1.3.4 典型的CNN結(jié)構(gòu)

典型的CNN包含卷積層、全連接層等組件，并采用softmax多類別分類器和多類交叉熵?fù)p失函數(shù)，一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)如圖1-19所示。

圖1-19 典型的CNN結(jié)構(gòu)

我們先介紹用來(lái)構(gòu)造CNN的常見組件：

·卷積層：執(zhí)行卷積操作提取底層到高層的特征，挖掘出圖片局部關(guān)聯(lián)性質(zhì)和空間不變性質(zhì)。

·池化層：執(zhí)行降采樣操作。通過(guò)取卷積輸出特征圖中局部區(qū)塊的最大值或者均值來(lái)實(shí)現(xiàn)。降采樣也是圖像處理中常見的一種操作，可以過(guò)濾掉一些不重要的高頻信息。

·全連接層：輸入層到隱藏層的神經(jīng)元是全部連接的。

·非線性變化：卷積層、全連接層后面一般都會(huì)接非線性變化層，例如Sigmoid、Tanh、ReLu等來(lái)增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力，在CNN里最常使用的為ReLu激活函數(shù)。

·Dropout：在訓(xùn)練階段隨機(jī)讓一些隱層節(jié)點(diǎn)不工作，提高神經(jīng)網(wǎng)絡(luò)的泛化能力，一定程度上防止過(guò)擬合，這一點(diǎn)就好比人眼在做圖像識(shí)別時(shí)，適當(dāng)遮住一部分像素不會(huì)影響識(shí)別結(jié)果一樣。相對(duì)于淺層學(xué)習(xí)的SVM、KNN和樸素貝葉斯等，深度學(xué)習(xí)由于參數(shù)眾多，更容易出現(xiàn)過(guò)擬合的現(xiàn)象，所以一般都需要使用Dropout機(jī)制。