3.2 人工神經(jīng)元

人工神經(jīng)元的研究源于腦神經(jīng)元學(xué)說，19世紀末，在生物、生理學(xué)領(lǐng)域，Waldeger等人創(chuàng)建了神經(jīng)元學(xué)說。

3.2.1 人工神經(jīng)元的數(shù)學(xué)模型

人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而我們把這些處理單元稱為人工神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)可看成是以人工神經(jīng)元為節(jié)點，用有向加權(quán)弧連接起來的有向圖。在此有向圖中，人工神經(jīng)元就是對生物神經(jīng)元的模擬，而有向加權(quán)弧則是軸突-突觸-樹突的模擬。有向加權(quán)弧的權(quán)值表示相互連接的兩個人工神經(jīng)元間相互作用的強弱。人工神經(jīng)元模型如圖3-3所示。

神經(jīng)網(wǎng)絡(luò)從兩個方面模擬大腦：

（1）神經(jīng)網(wǎng)絡(luò)獲取的知識是從外界環(huán)境中學(xué)習(xí)得來的。

（2）內(nèi)部神經(jīng)元的連接強度，即突觸權(quán)值，用于儲存獲取知識。

神經(jīng)網(wǎng)絡(luò)系統(tǒng)由能夠處理人類大腦不同部分之間信息傳遞的大量神經(jīng)元連接形成的拓撲結(jié)構(gòu)組成，依賴于這些龐大的神經(jīng)元數(shù)目和它們之間的聯(lián)系，人類的大腦收到的輸入信息刺激由分布式并行處理的神經(jīng)元相互連接進行非線性映射處理，從而實現(xiàn)復(fù)雜的信息處理和推理任務(wù)。

對于某個處理單元（神經(jīng)元）來說，假設(shè)來自其他處理單元（神經(jīng)元）i的信息為x_i，它們與本處理單元的互相作用強度，即連接權(quán)值w_i，i=1，2，…，n-1處理單元的內(nèi)部閾值為θ。那么本處理單元（神經(jīng)元）的輸入為，而處理單元的輸出為

式中，x_i為第i個元素的輸入；w_i為第i個處理單元與本處理單元的互聯(lián)權(quán)重，即神經(jīng)元連接權(quán)值；f為激活函數(shù)或作用函數(shù)，它決定節(jié)點（神經(jīng)元）的輸出；θ為隱藏層神經(jīng)節(jié)點的閾值。

3.2.2 人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)的主要工作是建立模型和確定權(quán)值，一般有前向型和反饋型兩種網(wǎng)絡(luò)結(jié)構(gòu)。人工神經(jīng)網(wǎng)絡(luò)一個相當重要的能力是其網(wǎng)絡(luò)能通過它的神經(jīng)元權(quán)值和閾值的不斷調(diào)整從環(huán)境中進行學(xué)習(xí)，直到網(wǎng)絡(luò)的輸出誤差達到預(yù)期的結(jié)果，就認為網(wǎng)絡(luò)訓(xùn)練結(jié)束了。

在人工神經(jīng)網(wǎng)絡(luò)設(shè)計及應(yīng)用研究中，通常需要考慮三個方面的內(nèi)容，即神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)形式、神經(jīng)網(wǎng)絡(luò)的工作過程和神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則。

1.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)形式

在構(gòu)造神經(jīng)網(wǎng)絡(luò)時，其神經(jīng)元的傳遞函數(shù)和轉(zhuǎn)換函數(shù)就已經(jīng)確定了。在網(wǎng)絡(luò)的學(xué)習(xí)過程中是無法改變轉(zhuǎn)換函數(shù)的，因此如果想要改變網(wǎng)絡(luò)輸出的大小，只能通過改變加權(quán)求和的輸入來達到。由于神經(jīng)元只能對網(wǎng)絡(luò)的輸入信號進行響應(yīng)處理，想要改變網(wǎng)絡(luò)的加權(quán)輸入只能修改網(wǎng)絡(luò)神經(jīng)元的權(quán)參數(shù)，因此神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)就是改變權(quán)值矩陣的過程。

2.神經(jīng)網(wǎng)絡(luò)的工作過程

神經(jīng)網(wǎng)絡(luò)的工作過程包括離線學(xué)習(xí)和在線判斷兩部分。離線學(xué)習(xí)過程中各神經(jīng)元進行規(guī)則學(xué)習(xí)、權(quán)參數(shù)調(diào)整、進行非線性映射關(guān)系擬合以達到訓(xùn)練精度；在線判斷則是訓(xùn)練穩(wěn)定的網(wǎng)絡(luò)讀取輸入信息、通過計算得到輸出結(jié)果。

3.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則是修正權(quán)值的一種算法，分為聯(lián)想式和非聯(lián)想式學(xué)習(xí)，有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)等。下面介紹幾個常用的學(xué)習(xí)規(guī)則。

（1）誤差修正型規(guī)則：一種有監(jiān)督的學(xué)習(xí)方法，根據(jù)實際輸出和期望輸出的誤差進行網(wǎng)絡(luò)連接權(quán)值的修正，最終網(wǎng)絡(luò)誤差小于目標函數(shù)達到預(yù)期結(jié)果。

誤差修正法，權(quán)值的調(diào)整與網(wǎng)絡(luò)的輸出誤差有關(guān)，它包括δ學(xué)習(xí)規(guī)則、Widrow-Hoff學(xué)習(xí)規(guī)則、感知器學(xué)習(xí)規(guī)則和誤差反向傳播的BP（Back Propagation）學(xué)習(xí)規(guī)則等。

（2）競爭型規(guī)則：無監(jiān)督學(xué)習(xí)過程，網(wǎng)絡(luò)僅根據(jù)提供的一些學(xué)習(xí)樣本進行自組織學(xué)習(xí)，沒有期望輸出，通過神經(jīng)元相互競爭對外界刺激模式響應(yīng)的權(quán)利進行網(wǎng)絡(luò)權(quán)值的調(diào)整，來適應(yīng)輸入的樣本數(shù)據(jù)。

對于無監(jiān)督學(xué)習(xí)的情況，事先不給定標準樣本，直接將網(wǎng)絡(luò)置于“環(huán)境”之中，學(xué)習(xí)（訓(xùn)練）階段與應(yīng)用（工作）階段成為一體。

（3）Hebb型規(guī)則：利用神經(jīng)元之間的活化值（激活值）來反映它們之間連接性的變化，即根據(jù)相互連接的神經(jīng)元之間的活化值（激活值）來修正其權(quán)值。

在Hebb型規(guī)則中，學(xué)習(xí)信號等于神經(jīng)元的輸出。Hebb型規(guī)則代表一種純前饋﹑無導(dǎo)師學(xué)習(xí)。該學(xué)習(xí)規(guī)則至今在各種神經(jīng)網(wǎng)絡(luò)模型中起著重要作用。典型的應(yīng)用，如利用Hebb型規(guī)則訓(xùn)練線性聯(lián)想器的權(quán)矩陣。

（4）隨機型規(guī)則：在學(xué)習(xí)過程中結(jié)合了隨機、概率論和能量函數(shù)的思想，根據(jù)目標函數(shù)（網(wǎng)絡(luò)輸出均方差）的變化調(diào)整網(wǎng)絡(luò)的參數(shù)，最終使網(wǎng)絡(luò)目標函數(shù)達到收斂值。

3.2.3 激活函數(shù)

在神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)解決問題的能力與效率除了與網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)，在很大程度上取決于網(wǎng)絡(luò)所采用的激活函數(shù)。激活函數(shù)的選擇對網(wǎng)絡(luò)的收斂速度有較大的影響，針對不同的實際問題，激活函數(shù)的選擇也應(yīng)不同。

神經(jīng)元在輸入信號作用下產(chǎn)生輸出信號的規(guī)律由神經(jīng)元功能函數(shù)f（Activation Function）給出，也稱激活函數(shù)，或稱轉(zhuǎn)移函數(shù)，這是神經(jīng)元模型的外特性。它包含了從輸入信號到凈輸入，再到激活值，最終產(chǎn)生輸出信號的過程。綜合了凈輸入、f函數(shù)的作用。f函數(shù)形式多樣，利用它們的不同特性可以構(gòu)成功能各異的神經(jīng)網(wǎng)絡(luò)。

常用的激活函數(shù)有以下幾種形式。

（1）閾值函數(shù)：該函數(shù)通常也稱為階躍函數(shù)。當激活函數(shù)采用階躍函數(shù)時，人工神經(jīng)元模型即MP模型。此時神經(jīng)元的輸出取1或0，反映了神經(jīng)元的興奮或抑制。

（2）線性函數(shù)：該函數(shù)可以在輸出結(jié)果為任意值時作為輸出神經(jīng)元的激活函數(shù)，但是當網(wǎng)絡(luò)復(fù)雜時，線性函數(shù)大大降低網(wǎng)絡(luò)的收斂性，故一般較少采用。

（3）對數(shù)S型函數(shù)：對數(shù)S型函數(shù)的輸出為0～1，常被要求為輸出0～1的信號選用。它是神經(jīng)元中使用最為廣泛的激活函數(shù)。

（4）雙曲正切S型函數(shù)：雙曲正切S型函數(shù)類似于被平滑的階躍函數(shù)，形狀與對數(shù)S型函數(shù)相同，以原點對稱，其輸出為-1～1，常常被輸出為-1～1的信號選用。

3.2.4 神經(jīng)元之間的連接形式

神經(jīng)網(wǎng)絡(luò)是一個復(fù)雜的互連系統(tǒng)，單元之間的互連模式將對網(wǎng)絡(luò)的性質(zhì)和功能產(chǎn)生重要影響，互連模式種類繁多。

（1）前向網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)）：網(wǎng)絡(luò)可以分為若干“層”，各層按信號傳輸先后順序依次排列，第i層的神經(jīng)元只接收第（i-1）層神經(jīng)元給出的信號，各神經(jīng)元之間沒有反饋。前向網(wǎng)絡(luò)可用有向無環(huán)路圖表示，如圖3-4所示。

由圖3-4可以看出，輸入節(jié)點并無計算功能，只是為了表征輸入矢量各元素的值。各層節(jié)點表示具有計算功能的神經(jīng)元，稱為計算單元。每個計算單元可以有任意個輸入，但只有一個輸出，它可送到多個節(jié)點作為輸入，稱輸入節(jié)點層為第零層。計算單元的各節(jié)點層從下至上依次稱為第1～第N層，由此構(gòu)成N層前向網(wǎng)絡(luò)。（也有把輸入節(jié)點層稱為第1層，于是對N層網(wǎng)絡(luò)將變?yōu)?i>N+1個節(jié)點層序號。）

第一節(jié)點層與輸出節(jié)點統(tǒng)稱為“可見層”，而其他中間層則稱為隱藏層，這些神經(jīng)元稱為隱節(jié)點。BP就是典型的前向網(wǎng)絡(luò)。

（2）反饋網(wǎng)絡(luò)：典型的反饋型神經(jīng)網(wǎng)絡(luò)如圖3-5（a）所示。

每個節(jié)點都表示一個計算單元，同時接收外加輸入和其他各節(jié)點的反饋輸入，每個節(jié)點也都直接向外部輸出。Hopfield網(wǎng)絡(luò)屬于此種類型。在某些反饋網(wǎng)絡(luò)中，各神經(jīng)元除接收外加輸入與其他各節(jié)點反饋輸入之外，還包括自身反饋。有時，反饋型神經(jīng)網(wǎng)絡(luò)也可表示為一張完全的無向圖，如圖3-5（b）所示，圖中每一個連接都是雙向的。這里，第i個神經(jīng)元對于第j個神經(jīng)元的反饋與第j～第i個神經(jīng)元反饋的突觸權(quán)重相等。

3.2.5 人工神經(jīng)網(wǎng)絡(luò)的分類

根據(jù)不同的分類方式，可對人工神經(jīng)網(wǎng)絡(luò)進行不同的分類。

（1）按性能分：連續(xù)型網(wǎng)絡(luò)和離散型網(wǎng)絡(luò)，或確定型網(wǎng)絡(luò)和隨機型網(wǎng)絡(luò)。

（2）按拓撲結(jié)構(gòu)分：前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。

·前向網(wǎng)絡(luò)有自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)（AdaptiveLinear，簡稱Adaline）、單層感知器、多層感知器、BP等。

前向網(wǎng)絡(luò)，網(wǎng)絡(luò)中各個神經(jīng)元接收前一級的輸入，并輸出到下一級，網(wǎng)絡(luò)中沒有反饋，可以用一個有向無環(huán)路圖表示。這種網(wǎng)絡(luò)實現(xiàn)信號是從輸入空間到輸出空間的變換，它的信息處理能力來自簡單非線性函數(shù)的多次復(fù)合。網(wǎng)絡(luò)結(jié)構(gòu)簡單，易于實現(xiàn)。反傳網(wǎng)絡(luò)是一種典型的前向網(wǎng)絡(luò)。

·反饋網(wǎng)絡(luò)有Hopfield、Hamming、BAM等。

反饋網(wǎng)絡(luò)，網(wǎng)絡(luò)內(nèi)神經(jīng)元間有反饋，可以用一個無向的完備圖表示。這種神經(jīng)網(wǎng)絡(luò)的信息處理是狀態(tài)的變換，可以用動力學(xué)系統(tǒng)理論處理。系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關(guān)系。Hopfield網(wǎng)絡(luò)、波耳茲曼機均屬于這種類型。

（3）按學(xué)習(xí)方法分：有教師（監(jiān)督）的學(xué)習(xí)網(wǎng)絡(luò)和無教師（無監(jiān)督）的學(xué)習(xí)網(wǎng)絡(luò)。

（4）按連接突觸性質(zhì)分：一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。