第1章　神經(jīng)網(wǎng)絡(luò)概述

在人工智能領(lǐng)域，神經(jīng)網(wǎng)絡(luò)方法占有很重要的位置。神經(jīng)網(wǎng)絡(luò)的研究人員將這種方法的靈感歸因于生物神經(jīng)學(xué)的研究。一般認(rèn)為這種方法是在1943年由心理學(xué)家W. McCulloch與數(shù)理邏輯學(xué)家W. Pitts提出的，他們?cè)趯?duì)人的神經(jīng)元反射進(jìn)行研究后，將其移植在分析和計(jì)算領(lǐng)域，提出了神經(jīng)元的基本數(shù)學(xué)模型，這種模型被稱(chēng)為M-P（McCulloch-Pitts）模型。所謂的M-P模型，是借鑒簡(jiǎn)單生物神經(jīng)元的結(jié)構(gòu)和工作原理而抽象出來(lái)的一個(gè)計(jì)算模型。典型的生物神經(jīng)元及其簡(jiǎn)化結(jié)構(gòu)如圖1-1所示。

生物神經(jīng)元細(xì)胞由細(xì)胞體和突起兩部分組成。細(xì)胞體由細(xì)胞核、細(xì)胞質(zhì)以及細(xì)胞膜構(gòu)成。細(xì)胞膜主要包覆在細(xì)胞周?chē)?，與細(xì)胞外部相隔離。由于人體中有電解質(zhì)，因此細(xì)胞內(nèi)外有一定的電位差；細(xì)胞質(zhì)是含水大約80%的半透明物質(zhì)。細(xì)胞核是整個(gè)細(xì)胞最重要的部分，是細(xì)胞的控制中心。

突起部分包括樹(shù)突、軸突和突觸。樹(shù)突是神經(jīng)元延伸到外部的纖維狀結(jié)構(gòu)。這些纖維狀結(jié)構(gòu)在離神經(jīng)元細(xì)胞體近的根部比較粗壯，然后逐漸分叉、變細(xì)，像樹(shù)枝一樣散布開(kāi)來(lái)，所以稱(chēng)為樹(shù)突。樹(shù)突的作用是接收來(lái)自其他神經(jīng)元的刺激（輸入信號(hào)），然后將刺激傳送到細(xì)胞體中。軸突是神經(jīng)元伸出的一條較長(zhǎng)的突起，甚至可長(zhǎng)達(dá)1m左右，其粗細(xì)均勻。軸突主要用來(lái)傳送神經(jīng)元的刺激，也稱(chēng)為神經(jīng)纖維。突觸是神經(jīng)元之間相互連接的部位，同時(shí)傳遞神經(jīng)元的刺激。髓鞘則是包在軸突外部的膜，用來(lái)保護(hù)軸突，同時(shí)也起一定的“屏蔽”作用。

神經(jīng)元對(duì)于外界刺激的響應(yīng)模式呈現(xiàn)出閾值型非線性特性。外部的刺激是以電信號(hào)的形式作用于神經(jīng)元的，如果電位的值沒(méi)有超過(guò)一定的閾值（－55mV）時(shí)，細(xì)胞就處在不興奮的狀態(tài)，稱(chēng)為靜息狀態(tài)。當(dāng)外部的刺激使神經(jīng)元的電位超過(guò)閾值，神經(jīng)元就開(kāi)始興奮。神經(jīng)元興奮后又恢復(fù)到靜息狀態(tài)時(shí)，會(huì)有一定時(shí)間的不響應(yīng)期，也就是在一段時(shí)間內(nèi)，即使神經(jīng)元受到了新的刺激也不會(huì)產(chǎn)生興奮了。在度過(guò)不響應(yīng)期之后，當(dāng)新的刺激到來(lái)并突破閾值時(shí)，神經(jīng)元才會(huì)再度響應(yīng)。由此可以看出，神經(jīng)元的響應(yīng)是非線性的過(guò)程，而且與刺激的強(qiáng)度和頻度是有關(guān)系的。

刺激在被神經(jīng)元響應(yīng)后經(jīng)過(guò)軸突傳送到其他神經(jīng)元，再經(jīng)過(guò)突觸與其他神經(jīng)元接觸后進(jìn)入其他神經(jīng)元的樹(shù)突，相當(dāng)于電子線路中的輸入／輸出接口。整個(gè)過(guò)程與信息傳遞的過(guò)程非常類(lèi)似。單個(gè)神經(jīng)元與成百上千個(gè)神經(jīng)元的軸突相互連接，可以接收到很多樹(shù)突發(fā)來(lái)的信息，在接收到這些信息后神經(jīng)元就對(duì)其進(jìn)行融合和加工。這種融合和加工的方式是比較復(fù)雜的，但是有一點(diǎn)是肯定的，就是這種融合和加工的過(guò)程是非線性的。當(dāng)很多個(gè)神經(jīng)元按照這樣的方式連接起來(lái)后，就可以處理一些外部對(duì)神經(jīng)元的刺激（輸入信號(hào)）了。

受到以上生物神經(jīng)元工作方式的啟發(fā)，神經(jīng)網(wǎng)絡(luò)的研究人員給出了單個(gè)神經(jīng)元的模型，如圖1-2所示。單個(gè)人工神經(jīng)元可以理解為一個(gè)多輸入單輸出的結(jié)構(gòu)，每個(gè)輸入都有不同的權(quán)值，用w₁，w₂，…，w_n表示，這就相當(dāng)于真實(shí)神經(jīng)元的樹(shù)突；加權(quán)后的輸入被統(tǒng)一集中起來(lái)進(jìn)行信息的融合，在單個(gè)人工神經(jīng)元里用簡(jiǎn)單求和來(lái)表示各種加權(quán)后輸入信息的集中和融合；在進(jìn)行信息融合后與一個(gè)閾值進(jìn)行比較用來(lái)模仿真實(shí)神經(jīng)元的閾值相應(yīng)特性；而此后在進(jìn)行信息處理時(shí)，通常由一個(gè)非線性函數(shù)來(lái)進(jìn)行，這個(gè)非線性函數(shù)稱(chēng)為活化函數(shù)，代表了神經(jīng)元被激活的意義。在有些文獻(xiàn)中，活化函數(shù)也被稱(chēng)為激活函數(shù)、變換函數(shù)、轉(zhuǎn)移函數(shù)等。在某些文獻(xiàn)里將活化函數(shù)稱(chēng)為傳遞函數(shù)，這是不可取的！因?yàn)槿菀缀推渌嘟鼘W(xué)科的專(zhuān)有名詞混淆，例如控制理論里所說(shuō)的傳遞函數(shù)和活化函數(shù)的意義就有很大區(qū)別！M-P模型可以通過(guò)一個(gè)帶參數(shù)的函數(shù)f（x，w）來(lái)實(shí)現(xiàn)對(duì)一些線性分類(lèi)問(wèn)題的處理。雖然其參數(shù)w（權(quán)重）一般由人設(shè)定，看上去沒(méi)有那么“智能”，但這種模型確實(shí)開(kāi)啟了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模式的新時(shí)代。

在20世紀(jì)50年代末，F(xiàn). Rosenblatt將單個(gè)的神經(jīng)元網(wǎng)絡(luò)模型發(fā)展成為多層感知機(jī)。這時(shí)候這個(gè)模型就有了非常正式的名字“神經(jīng)網(wǎng)絡(luò)”！雖然學(xué)術(shù)界的“反對(duì)派”仍然有些不屑地稱(chēng)其為“感知機(jī)”，但這種模型的權(quán)值參數(shù)已經(jīng)能夠自行調(diào)整，而且在分布式存儲(chǔ)、并行處理以及函數(shù)擬合方面顯示出強(qiáng)大的生命力，引起了眾多學(xué)者和工程人員的極大興趣，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了一個(gè)高潮時(shí)期。到了1960年，斯坦福大學(xué)的Bernard Widrow教授開(kāi)發(fā)了線性感知機(jī)，采用線性函數(shù)作為激活函數(shù)，并使用最小二乘法的思想對(duì)網(wǎng)絡(luò)的輸出進(jìn)行評(píng)價(jià)，為此后的BP（Back Propagation，前饋型）神經(jīng)網(wǎng)絡(luò)的產(chǎn)生奠定了基礎(chǔ)。

進(jìn)入20世紀(jì)70年代后，有3種重要的神經(jīng)網(wǎng)絡(luò)相繼誕生，分別是T. Kohonen提出的自組織特征映射（Self-Organizing Feature Map，簡(jiǎn)稱(chēng)SOFM或SOM）神經(jīng)網(wǎng)絡(luò)、Paul Werbos提出的BP神經(jīng)網(wǎng)絡(luò)以及S. Grossberg提出的自適應(yīng)共振理論（Adaptive Resonance Theory，ART）。其中，BP神經(jīng)網(wǎng)絡(luò)的出現(xiàn)堪稱(chēng)劃時(shí)代的產(chǎn)物。雖然在當(dāng)時(shí)人們沒(méi)有對(duì)其予以足夠的重視，但在隨后的幾年BP神經(jīng)網(wǎng)絡(luò)有了很大的發(fā)展，不僅解決了在傳統(tǒng)領(lǐng)域中的難題，而且在很多工程領(lǐng)域都大顯身手，名噪一時(shí)。在BP神經(jīng)網(wǎng)絡(luò)的引領(lǐng)下，RBF（徑向基）網(wǎng)絡(luò)也隨之誕生，在非線性擬合等諸多方面都有不俗的表現(xiàn)。

在BP神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，研究人員將反饋機(jī)制引入神經(jīng)網(wǎng)絡(luò)，這直接導(dǎo)致了Hopfield（反饋型）神經(jīng)網(wǎng)絡(luò)的產(chǎn)生。Hopfield神經(jīng)網(wǎng)絡(luò)成功解決了旅行商問(wèn)題，極大地推進(jìn)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。神經(jīng)網(wǎng)絡(luò)由此進(jìn)入了蓬勃發(fā)展的時(shí)期。技術(shù)的發(fā)展總是相互促進(jìn)的，Hopfield神經(jīng)網(wǎng)絡(luò)引入了反饋機(jī)制對(duì)于系統(tǒng)的精度有好處，但是又不可避免地帶來(lái)了反饋結(jié)構(gòu)的通病——整個(gè)系統(tǒng)的穩(wěn)定性問(wèn)題。由控制理論的基本原理可知，如果不能很好地解決穩(wěn)定問(wèn)題，系統(tǒng)將會(huì)陷入不穩(wěn)定的振蕩狀態(tài)。Hopfield神經(jīng)網(wǎng)絡(luò)是一種反饋型的神經(jīng)網(wǎng)絡(luò)，這種問(wèn)題也必然存在。這個(gè)問(wèn)題促進(jìn)了將神經(jīng)網(wǎng)絡(luò)作為一個(gè)系統(tǒng)進(jìn)行理論分析和探討方法的發(fā)展。此外，對(duì)于收斂和穩(wěn)定性問(wèn)題的不斷研究，神經(jīng)網(wǎng)絡(luò)領(lǐng)域的專(zhuān)家們不斷從其他學(xué)科獲得靈感，援引其他學(xué)科的思想對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行修正和改造，使神經(jīng)網(wǎng)絡(luò)不斷提升自身的性能。例如模擬退火算法和玻耳茲曼機(jī)（Boltzmann Machine，BM）的出現(xiàn)，將隨機(jī)性的因素引入神經(jīng)網(wǎng)絡(luò)，不但解決了當(dāng)時(shí)在神經(jīng)網(wǎng)絡(luò)中所存在的問(wèn)題，而且孕育了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的基本思想，為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的產(chǎn)生奠定了良好的基礎(chǔ)。

整個(gè)20世紀(jì)80年代是神經(jīng)網(wǎng)絡(luò)大發(fā)展的年代。在這個(gè)時(shí)期，各種結(jié)構(gòu)形式的神經(jīng)網(wǎng)絡(luò)不斷涌現(xiàn)，推動(dòng)了多個(gè)學(xué)科的發(fā)展，可以說(shuō)引領(lǐng)著各工程領(lǐng)域向智能化的方向不斷邁進(jìn)。在幾種基本的神經(jīng)網(wǎng)絡(luò)“硬核”基礎(chǔ)上，專(zhuān)家們同時(shí)又借鑒了其他學(xué)科的優(yōu)勢(shì)，發(fā)展出了很多復(fù)合型的神經(jīng)網(wǎng)絡(luò)，例如模糊神經(jīng)網(wǎng)絡(luò)等。

當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)是建立在樣本數(shù)據(jù)的基礎(chǔ)上的，因此神經(jīng)網(wǎng)絡(luò)運(yùn)行良好與否和樣本的情況密切相關(guān)，數(shù)據(jù)集樣本的數(shù)量和質(zhì)量直接影響到神經(jīng)網(wǎng)絡(luò)的運(yùn)算質(zhì)量。特別是當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)對(duì)于很多問(wèn)題的泛化控制并不盡如人意，這使得很多學(xué)者對(duì)于神經(jīng)網(wǎng)絡(luò)自身的發(fā)展提出了質(zhì)疑，在這些質(zhì)疑聲中，以統(tǒng)計(jì)學(xué)習(xí)理論學(xué)派最為引人注目。他們從多個(gè)側(cè)面對(duì)神經(jīng)網(wǎng)絡(luò)的運(yùn)算機(jī)制進(jìn)行評(píng)論，這些評(píng)論甚至上升到了哲學(xué)方法論的層面。統(tǒng)計(jì)學(xué)習(xí)理論學(xué)派在其重要的文獻(xiàn)中就指出：“在解決一個(gè)給定問(wèn)題時(shí)，要設(shè)法避免把解決一個(gè)更為一般的問(wèn)題作為其中間步驟”。同時(shí)還對(duì)神經(jīng)網(wǎng)絡(luò)方法做出評(píng)價(jià)：“……同理，與SVM（支持向量機(jī)，由統(tǒng)計(jì)學(xué)習(xí)理論直接發(fā)展而來(lái)）相比，NN（神經(jīng)網(wǎng)絡(luò)）不像一門(mén)科學(xué)，更像一門(mén)工程技巧……”，甚至對(duì)神經(jīng)網(wǎng)絡(luò)的科學(xué)性提出了質(zhì)疑（《統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)·不可證偽性理論》）。這些可以看作是統(tǒng)計(jì)學(xué)習(xí)理論與神經(jīng)網(wǎng)絡(luò)為代表的智能計(jì)算方法的爭(zhēng)鳴。在此過(guò)程中，統(tǒng)計(jì)學(xué)習(xí)理論有了較大發(fā)展，由統(tǒng)計(jì)學(xué)習(xí)理論直接發(fā)展而來(lái)的支持向量機(jī)及其衍生方法在很長(zhǎng)一段時(shí)間里占據(jù)了智能計(jì)算領(lǐng)域的主要陣地。

神經(jīng)網(wǎng)絡(luò)計(jì)算學(xué)派對(duì)受到的挑戰(zhàn)進(jìn)行了反思，進(jìn)入21世紀(jì)以后，神經(jīng)網(wǎng)絡(luò)計(jì)算學(xué)派調(diào)整了研究風(fēng)格：不再將神經(jīng)科學(xué)作為研究工作的指導(dǎo)思想。因?yàn)楫吘谷祟?lèi)對(duì)于自身神經(jīng)生理以及心理方面的情況也不甚了解。在吸收了統(tǒng)計(jì)學(xué)習(xí)理論學(xué)派卓有成效的研究成果基礎(chǔ)上，神經(jīng)網(wǎng)絡(luò)計(jì)算學(xué)派也將自己的研究與傳統(tǒng)嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)學(xué)科相結(jié)合。在2006年，深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）的推出標(biāo)志著神經(jīng)網(wǎng)絡(luò)的又一次復(fù)興。

在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，為了能夠提高網(wǎng)絡(luò)的工作效率和精度不得不增加網(wǎng)絡(luò)的層數(shù)，但是網(wǎng)絡(luò)層數(shù)的增加會(huì)給尋優(yōu)工作帶來(lái)困難，即使用傳統(tǒng)的梯度下降方法也很難找到最優(yōu)解。此外，隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，各種參數(shù)也會(huì)變得越來(lái)越多，在對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)就需要大量的標(biāo)簽數(shù)據(jù)。這樣的網(wǎng)絡(luò)結(jié)構(gòu)和算法基本不具備解決小樣本問(wèn)題的能力，而且其泛化性也比較差。這種多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)被形象地稱(chēng)為深度神經(jīng)網(wǎng)絡(luò)，很多學(xué)者也由此認(rèn)為深度神經(jīng)網(wǎng)絡(luò)不能進(jìn)行實(shí)際的應(yīng)用，因?yàn)橐?xùn)練這樣的網(wǎng)絡(luò)簡(jiǎn)直無(wú)從下手。Geoffrey Hinton提出的深度信念網(wǎng)絡(luò)將統(tǒng)計(jì)分析與神經(jīng)網(wǎng)絡(luò)相結(jié)合，很好地解決了這個(gè)問(wèn)題，為深度學(xué)習(xí)開(kāi)辟了新的道路。對(duì)于多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，深度信念網(wǎng)絡(luò)采用了逐層訓(xùn)練的方式，稱(chēng)為“貪婪逐層預(yù)訓(xùn)練”。這種訓(xùn)練方式通過(guò)無(wú)監(jiān)督方式對(duì)網(wǎng)絡(luò)進(jìn)行逐層訓(xùn)練，在訓(xùn)練第n層時(shí)前面的層不變，首先訓(xùn)練過(guò)的網(wǎng)絡(luò)層不會(huì)在新層引入后重新訓(xùn)練，這樣就可以為網(wǎng)絡(luò)賦予較好的初始權(quán)值。隨后網(wǎng)絡(luò)進(jìn)入了監(jiān)督學(xué)習(xí)階段，在此階段需要對(duì)預(yù)訓(xùn)練的網(wǎng)絡(luò)進(jìn)行精調(diào)（微調(diào)）最終達(dá)到最優(yōu)解。這種方法的一個(gè)直接結(jié)果就是產(chǎn)生了受限玻耳茲曼機(jī)。

有許多人在討論深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)到底有什么區(qū)別。其實(shí)區(qū)別主要有兩個(gè)方面：一是在網(wǎng)絡(luò)結(jié)構(gòu)上，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜；二是在深度學(xué)習(xí)中，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)于統(tǒng)計(jì)學(xué)習(xí)的方法予以了高度的重視。憑借著這兩點(diǎn)，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)將智能計(jì)算提升到了一個(gè)新的高度，也將神經(jīng)網(wǎng)絡(luò)計(jì)算引向“深度”，并將其推上了又一個(gè)高峰?；仡櫳窠?jīng)網(wǎng)絡(luò)的發(fā)展歷程，可以簡(jiǎn)單地用表1-1描述。

當(dāng)前，神經(jīng)網(wǎng)絡(luò)學(xué)派“比其他機(jī)器學(xué)習(xí)領(lǐng)域（如核方法或貝葉斯統(tǒng)計(jì)）的研究人員更可能地引用大腦影響，但是大家不應(yīng)該認(rèn)為深度學(xué)習(xí)在嘗試模擬大腦”。事實(shí)上，神經(jīng)網(wǎng)絡(luò)方法與其他機(jī)器學(xué)習(xí)方法的有效融合可能標(biāo)志著各種高效算法正在相互交融，從哲學(xué)方法論角度來(lái)講，有效融合應(yīng)該會(huì)比單純使用一種推理方法有更加強(qiáng)大的生命力，在實(shí)際的推理過(guò)程中會(huì)有更好的表現(xiàn)。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法基礎(chǔ)上將神經(jīng)網(wǎng)絡(luò)計(jì)算不斷引向“深度”，構(gòu)成深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可能是今后神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的發(fā)展方向。因此本書(shū)加入了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的內(nèi)容，使讀者能夠在一定程度上對(duì)神經(jīng)網(wǎng)絡(luò)的發(fā)展有較為全面的了解，方便以后進(jìn)行系統(tǒng)的學(xué)習(xí)。