2.4 BP神經網絡

2.4.1 人工神經網絡

人工神經網絡是在現代神經生物學研究基礎上提出的模擬生物過程，以反映人腦某些特性的計算結構。它不是人腦神經系統的真實描寫，而只是其某種抽象、簡化和模擬。人工神經網絡由大量并行分布、有機相連的神經元組成，具有快速處理速度、高度容錯能力、自適應能力以及高度的映射能力、分類和計算能力。人工神經網絡的信息處理功能是由網絡的單元（神經元）的輸入特性（激活特性）和網絡的拓撲結構（神經元的連接方式）所決定的。

按突觸修正假說，神經網絡在拓撲結構固定時，其學習歸結為連接權的變化，也就是人工神經網絡可以經過訓練來解答問題。訓練一個神經網絡（包括一系列的輸入和理想的輸出作為訓練的樣本），根據一定的訓練算法對網絡進行足夠的訓練，使得神經網絡能夠學會包含在解中的基本原理。當訓練完成后，該解可以用來回答相應的問題。

2.4.2 BP神經網絡結構

BP（Back-Propagation）神經網絡，是基于誤差反向傳播的多層網絡，即用誤差反向傳播算法進行訓練的單向傳播的多層網絡，是人工神經網絡中最具代表性和應用得最為廣泛的一種網絡。它的提出為多層神經網絡成功地提供了一種有導師的訓練算法，并且已經在實際中得到了廣泛應用。

BP神經網絡具有三層（或三層以上）層次結構網絡，相鄰上、下層之間各神經元實現權連接，即下層的每個神經元與上層的每個神經元都實現權連接，而每層各神經元之間無連接。當一對學習模式提供給網絡后，神經元的激活值從輸入層經隱含層向輸出層傳播，在輸出層的各神經元獲得網絡的輸入響應，然后，按減小預期輸出與實際輸出誤差的方向，從輸出層經隱含層逐層修正各連接權，最后回到輸入層。

圖2-2所示為一個典型的三層BP神經網絡，它由輸入層、隱含層和輸出層組成。

2.4.3 BP神經網絡算法原理

BP神經網絡算法的指導思想是通過對網絡權值和閾值的修正，使誤差沿負梯度方向下降，從而使網絡輸出層的誤差平方和達到最小。算法由兩部分組成：信息的正向傳遞與誤差的反向傳播。在正向傳播過程中，輸入信息從輸入經隱含層逐層計算傳向輸出層，每一層神經元的狀態只影響下一層神經元的狀態。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉向反向傳播，通過網絡將誤差信號沿原來的連接通路反傳回來，修改各層神經元的權值，直至達到期望目標。

具體來說，其學習模式由以下4個過程組成：

（1）輸入層經隱含層向輸出層的“模式順傳播”過程。

（2）網絡的預期輸出與實際輸出之差的誤差信號由輸出層經隱含層向輸入層逐層修正連接權的“誤差逆傳播”的過程。

（3）由“模式順傳播”與“誤差逆傳播”的反復交替形成的“記憶訓練”過程。

（4）網絡趨向收斂，即網絡的全局誤差趨向極小值的“學習收斂”過程。

標準BP神經網絡算法的基本思想是最小二乘學習算法（或稱為LMS算法），它采用梯度搜索技術，以期使網絡對實際輸出與期望輸出的誤差平方和為最小。