2.1 多層神經(jīng)網(wǎng)絡(luò)的概述

2.1.1 隱藏層的意義

異或（XOR）運(yùn)算存在線性不可分的問題，其效果表達(dá)圖如圖2.1所示。單層神經(jīng)網(wǎng)絡(luò)中沒有添加非線性處理的激活函數(shù)，無法處理該問題。在多層神經(jīng)網(wǎng)絡(luò)中，使用隱藏層配合激活函數(shù)，可以處理該問題及更為復(fù)雜的其他非線性問題，其中激活函數(shù)就是一種常用的處理非線性問題的方法。一般而言，多層神經(jīng)網(wǎng)絡(luò)的隱藏層越多，處理效果會越好。

圖2.1 異或數(shù)據(jù)的效果表達(dá)圖

圖2.2所示的包含隱藏層的神經(jīng)網(wǎng)絡(luò)可以很好地解決異或問題。該神經(jīng)網(wǎng)絡(luò)由三層神經(jīng)元組成，除了輸入層和輸出層，還包含一個隱藏層。輸入層輸入兩個特征，隱藏層中包含三個神經(jīng)元，隱藏層使用sigmoid函數(shù)（一種激活函數(shù)）對數(shù)據(jù)進(jìn)行激活，激活后的數(shù)據(jù)要交給輸出層進(jìn)行二分類處理，輸出層只有一個神經(jīng)元。

圖2.2 包含隱藏層的神經(jīng)網(wǎng)絡(luò)