- 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí):基于MATLAB的仿真與實(shí)現(xiàn)
- 姚舜才 李大威編著
- 4152字
- 2023-08-25 11:44:54
第1章 神經(jīng)網(wǎng)絡(luò)概述
在人工智能領(lǐng)域,神經(jīng)網(wǎng)絡(luò)方法占有很重要的位置。神經(jīng)網(wǎng)絡(luò)的研究人員將這種方法的靈感歸因于生物神經(jīng)學(xué)的研究。一般認(rèn)為這種方法是在1943年由心理學(xué)家W. McCulloch與數(shù)理邏輯學(xué)家W. Pitts提出的,他們?cè)趯?duì)人的神經(jīng)元反射進(jìn)行研究后,將其移植在分析和計(jì)算領(lǐng)域,提出了神經(jīng)元的基本數(shù)學(xué)模型,這種模型被稱(chēng)為M-P(McCulloch-Pitts)模型。所謂的M-P模型,是借鑒簡(jiǎn)單生物神經(jīng)元的結(jié)構(gòu)和工作原理而抽象出來(lái)的一個(gè)計(jì)算模型。典型的生物神經(jīng)元及其簡(jiǎn)化結(jié)構(gòu)如圖1-1所示。

圖1-1 典型的生物神經(jīng)元及其簡(jiǎn)化結(jié)構(gòu)
生物神經(jīng)元細(xì)胞由細(xì)胞體和突起兩部分組成。細(xì)胞體由細(xì)胞核、細(xì)胞質(zhì)以及細(xì)胞膜構(gòu)成。細(xì)胞膜主要包覆在細(xì)胞周?chē)?,與細(xì)胞外部相隔離。由于人體中有電解質(zhì),因此細(xì)胞內(nèi)外有一定的電位差;細(xì)胞質(zhì)是含水大約80%的半透明物質(zhì)。細(xì)胞核是整個(gè)細(xì)胞最重要的部分,是細(xì)胞的控制中心。
突起部分包括樹(shù)突、軸突和突觸。樹(shù)突是神經(jīng)元延伸到外部的纖維狀結(jié)構(gòu)。這些纖維狀結(jié)構(gòu)在離神經(jīng)元細(xì)胞體近的根部比較粗壯,然后逐漸分叉、變細(xì),像樹(shù)枝一樣散布開(kāi)來(lái),所以稱(chēng)為樹(shù)突。樹(shù)突的作用是接收來(lái)自其他神經(jīng)元的刺激(輸入信號(hào)),然后將刺激傳送到細(xì)胞體中。軸突是神經(jīng)元伸出的一條較長(zhǎng)的突起,甚至可長(zhǎng)達(dá)1m左右,其粗細(xì)均勻。軸突主要用來(lái)傳送神經(jīng)元的刺激,也稱(chēng)為神經(jīng)纖維。突觸是神經(jīng)元之間相互連接的部位,同時(shí)傳遞神經(jīng)元的刺激。髓鞘則是包在軸突外部的膜,用來(lái)保護(hù)軸突,同時(shí)也起一定的“屏蔽”作用。
神經(jīng)元對(duì)于外界刺激的響應(yīng)模式呈現(xiàn)出閾值型非線性特性。外部的刺激是以電信號(hào)的形式作用于神經(jīng)元的,如果電位的值沒(méi)有超過(guò)一定的閾值(-55mV)時(shí),細(xì)胞就處在不興奮的狀態(tài),稱(chēng)為靜息狀態(tài)。當(dāng)外部的刺激使神經(jīng)元的電位超過(guò)閾值,神經(jīng)元就開(kāi)始興奮。神經(jīng)元興奮后又恢復(fù)到靜息狀態(tài)時(shí),會(huì)有一定時(shí)間的不響應(yīng)期,也就是在一段時(shí)間內(nèi),即使神經(jīng)元受到了新的刺激也不會(huì)產(chǎn)生興奮了。在度過(guò)不響應(yīng)期之后,當(dāng)新的刺激到來(lái)并突破閾值時(shí),神經(jīng)元才會(huì)再度響應(yīng)。由此可以看出,神經(jīng)元的響應(yīng)是非線性的過(guò)程,而且與刺激的強(qiáng)度和頻度是有關(guān)系的。
刺激在被神經(jīng)元響應(yīng)后經(jīng)過(guò)軸突傳送到其他神經(jīng)元,再經(jīng)過(guò)突觸與其他神經(jīng)元接觸后進(jìn)入其他神經(jīng)元的樹(shù)突,相當(dāng)于電子線路中的輸入/輸出接口。整個(gè)過(guò)程與信息傳遞的過(guò)程非常類(lèi)似。單個(gè)神經(jīng)元與成百上千個(gè)神經(jīng)元的軸突相互連接,可以接收到很多樹(shù)突發(fā)來(lái)的信息,在接收到這些信息后神經(jīng)元就對(duì)其進(jìn)行融合和加工。這種融合和加工的方式是比較復(fù)雜的,但是有一點(diǎn)是肯定的,就是這種融合和加工的過(guò)程是非線性的。當(dāng)很多個(gè)神經(jīng)元按照這樣的方式連接起來(lái)后,就可以處理一些外部對(duì)神經(jīng)元的刺激(輸入信號(hào))了。

圖1-2 單個(gè)神經(jīng)元模型
受到以上生物神經(jīng)元工作方式的啟發(fā),神經(jīng)網(wǎng)絡(luò)的研究人員給出了單個(gè)神經(jīng)元的模型,如圖1-2所示。單個(gè)人工神經(jīng)元可以理解為一個(gè)多輸入單輸出的結(jié)構(gòu),每個(gè)輸入都有不同的權(quán)值,用w1,w2,…,wn表示,這就相當(dāng)于真實(shí)神經(jīng)元的樹(shù)突;加權(quán)后的輸入被統(tǒng)一集中起來(lái)進(jìn)行信息的融合,在單個(gè)人工神經(jīng)元里用簡(jiǎn)單求和來(lái)表示各種加權(quán)后輸入信息的集中和融合;在進(jìn)行信息融合后與一個(gè)閾值進(jìn)行比較用來(lái)模仿真實(shí)神經(jīng)元的閾值相應(yīng)特性;而此后在進(jìn)行信息處理時(shí),通常由一個(gè)非線性函數(shù)來(lái)進(jìn)行,這個(gè)非線性函數(shù)稱(chēng)為活化函數(shù),代表了神經(jīng)元被激活的意義。在有些文獻(xiàn)中,活化函數(shù)也被稱(chēng)為激活函數(shù)、變換函數(shù)、轉(zhuǎn)移函數(shù)等。在某些文獻(xiàn)里將活化函數(shù)稱(chēng)為傳遞函數(shù),這是不可取的!因?yàn)槿菀缀推渌嘟鼘W(xué)科的專(zhuān)有名詞混淆,例如控制理論里所說(shuō)的傳遞函數(shù)和活化函數(shù)的意義就有很大區(qū)別!M-P模型可以通過(guò)一個(gè)帶參數(shù)的函數(shù)f(x,w)來(lái)實(shí)現(xiàn)對(duì)一些線性分類(lèi)問(wèn)題的處理。雖然其參數(shù)w(權(quán)重)一般由人設(shè)定,看上去沒(méi)有那么“智能”,但這種模型確實(shí)開(kāi)啟了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模式的新時(shí)代。
在20世紀(jì)50年代末,F(xiàn). Rosenblatt將單個(gè)的神經(jīng)元網(wǎng)絡(luò)模型發(fā)展成為多層感知機(jī)。這時(shí)候這個(gè)模型就有了非常正式的名字“神經(jīng)網(wǎng)絡(luò)”!雖然學(xué)術(shù)界的“反對(duì)派”仍然有些不屑地稱(chēng)其為“感知機(jī)”,但這種模型的權(quán)值參數(shù)已經(jīng)能夠自行調(diào)整,而且在分布式存儲(chǔ)、并行處理以及函數(shù)擬合方面顯示出強(qiáng)大的生命力,引起了眾多學(xué)者和工程人員的極大興趣,神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了一個(gè)高潮時(shí)期。到了1960年,斯坦福大學(xué)的Bernard Widrow教授開(kāi)發(fā)了線性感知機(jī),采用線性函數(shù)作為激活函數(shù),并使用最小二乘法的思想對(duì)網(wǎng)絡(luò)的輸出進(jìn)行評(píng)價(jià),為此后的BP(Back Propagation,前饋型)神經(jīng)網(wǎng)絡(luò)的產(chǎn)生奠定了基礎(chǔ)。
進(jìn)入20世紀(jì)70年代后,有3種重要的神經(jīng)網(wǎng)絡(luò)相繼誕生,分別是T. Kohonen提出的自組織特征映射(Self-Organizing Feature Map,簡(jiǎn)稱(chēng)SOFM或SOM)神經(jīng)網(wǎng)絡(luò)、Paul Werbos提出的BP神經(jīng)網(wǎng)絡(luò)以及S. Grossberg提出的自適應(yīng)共振理論(Adaptive Resonance Theory,ART)。其中,BP神經(jīng)網(wǎng)絡(luò)的出現(xiàn)堪稱(chēng)劃時(shí)代的產(chǎn)物。雖然在當(dāng)時(shí)人們沒(méi)有對(duì)其予以足夠的重視,但在隨后的幾年BP神經(jīng)網(wǎng)絡(luò)有了很大的發(fā)展,不僅解決了在傳統(tǒng)領(lǐng)域中的難題,而且在很多工程領(lǐng)域都大顯身手,名噪一時(shí)。在BP神經(jīng)網(wǎng)絡(luò)的引領(lǐng)下,RBF(徑向基)網(wǎng)絡(luò)也隨之誕生,在非線性擬合等諸多方面都有不俗的表現(xiàn)。
在BP神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,研究人員將反饋機(jī)制引入神經(jīng)網(wǎng)絡(luò),這直接導(dǎo)致了Hopfield(反饋型)神經(jīng)網(wǎng)絡(luò)的產(chǎn)生。Hopfield神經(jīng)網(wǎng)絡(luò)成功解決了旅行商問(wèn)題,極大地推進(jìn)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。神經(jīng)網(wǎng)絡(luò)由此進(jìn)入了蓬勃發(fā)展的時(shí)期。技術(shù)的發(fā)展總是相互促進(jìn)的,Hopfield神經(jīng)網(wǎng)絡(luò)引入了反饋機(jī)制對(duì)于系統(tǒng)的精度有好處,但是又不可避免地帶來(lái)了反饋結(jié)構(gòu)的通病——整個(gè)系統(tǒng)的穩(wěn)定性問(wèn)題。由控制理論的基本原理可知,如果不能很好地解決穩(wěn)定問(wèn)題,系統(tǒng)將會(huì)陷入不穩(wěn)定的振蕩狀態(tài)。Hopfield神經(jīng)網(wǎng)絡(luò)是一種反饋型的神經(jīng)網(wǎng)絡(luò),這種問(wèn)題也必然存在。這個(gè)問(wèn)題促進(jìn)了將神經(jīng)網(wǎng)絡(luò)作為一個(gè)系統(tǒng)進(jìn)行理論分析和探討方法的發(fā)展。此外,對(duì)于收斂和穩(wěn)定性問(wèn)題的不斷研究,神經(jīng)網(wǎng)絡(luò)領(lǐng)域的專(zhuān)家們不斷從其他學(xué)科獲得靈感,援引其他學(xué)科的思想對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行修正和改造,使神經(jīng)網(wǎng)絡(luò)不斷提升自身的性能。例如模擬退火算法和玻耳茲曼機(jī)(Boltzmann Machine,BM)的出現(xiàn),將隨機(jī)性的因素引入神經(jīng)網(wǎng)絡(luò),不但解決了當(dāng)時(shí)在神經(jīng)網(wǎng)絡(luò)中所存在的問(wèn)題,而且孕育了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的基本思想,為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的產(chǎn)生奠定了良好的基礎(chǔ)。
整個(gè)20世紀(jì)80年代是神經(jīng)網(wǎng)絡(luò)大發(fā)展的年代。在這個(gè)時(shí)期,各種結(jié)構(gòu)形式的神經(jīng)網(wǎng)絡(luò)不斷涌現(xiàn),推動(dòng)了多個(gè)學(xué)科的發(fā)展,可以說(shuō)引領(lǐng)著各工程領(lǐng)域向智能化的方向不斷邁進(jìn)。在幾種基本的神經(jīng)網(wǎng)絡(luò)“硬核”基礎(chǔ)上,專(zhuān)家們同時(shí)又借鑒了其他學(xué)科的優(yōu)勢(shì),發(fā)展出了很多復(fù)合型的神經(jīng)網(wǎng)絡(luò),例如模糊神經(jīng)網(wǎng)絡(luò)等。
當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)是建立在樣本數(shù)據(jù)的基礎(chǔ)上的,因此神經(jīng)網(wǎng)絡(luò)運(yùn)行良好與否和樣本的情況密切相關(guān),數(shù)據(jù)集樣本的數(shù)量和質(zhì)量直接影響到神經(jīng)網(wǎng)絡(luò)的運(yùn)算質(zhì)量。特別是當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)對(duì)于很多問(wèn)題的泛化控制并不盡如人意,這使得很多學(xué)者對(duì)于神經(jīng)網(wǎng)絡(luò)自身的發(fā)展提出了質(zhì)疑,在這些質(zhì)疑聲中,以統(tǒng)計(jì)學(xué)習(xí)理論學(xué)派最為引人注目。他們從多個(gè)側(cè)面對(duì)神經(jīng)網(wǎng)絡(luò)的運(yùn)算機(jī)制進(jìn)行評(píng)論,這些評(píng)論甚至上升到了哲學(xué)方法論的層面。統(tǒng)計(jì)學(xué)習(xí)理論學(xué)派在其重要的文獻(xiàn)中就指出:“在解決一個(gè)給定問(wèn)題時(shí),要設(shè)法避免把解決一個(gè)更為一般的問(wèn)題作為其中間步驟”。同時(shí)還對(duì)神經(jīng)網(wǎng)絡(luò)方法做出評(píng)價(jià):“……同理,與SVM(支持向量機(jī),由統(tǒng)計(jì)學(xué)習(xí)理論直接發(fā)展而來(lái))相比,NN(神經(jīng)網(wǎng)絡(luò))不像一門(mén)科學(xué),更像一門(mén)工程技巧……”,甚至對(duì)神經(jīng)網(wǎng)絡(luò)的科學(xué)性提出了質(zhì)疑(《統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)·不可證偽性理論》)。這些可以看作是統(tǒng)計(jì)學(xué)習(xí)理論與神經(jīng)網(wǎng)絡(luò)為代表的智能計(jì)算方法的爭(zhēng)鳴。在此過(guò)程中,統(tǒng)計(jì)學(xué)習(xí)理論有了較大發(fā)展,由統(tǒng)計(jì)學(xué)習(xí)理論直接發(fā)展而來(lái)的支持向量機(jī)及其衍生方法在很長(zhǎng)一段時(shí)間里占據(jù)了智能計(jì)算領(lǐng)域的主要陣地。
神經(jīng)網(wǎng)絡(luò)計(jì)算學(xué)派對(duì)受到的挑戰(zhàn)進(jìn)行了反思,進(jìn)入21世紀(jì)以后,神經(jīng)網(wǎng)絡(luò)計(jì)算學(xué)派調(diào)整了研究風(fēng)格:不再將神經(jīng)科學(xué)作為研究工作的指導(dǎo)思想。因?yàn)楫吘谷祟?lèi)對(duì)于自身神經(jīng)生理以及心理方面的情況也不甚了解。在吸收了統(tǒng)計(jì)學(xué)習(xí)理論學(xué)派卓有成效的研究成果基礎(chǔ)上,神經(jīng)網(wǎng)絡(luò)計(jì)算學(xué)派也將自己的研究與傳統(tǒng)嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)學(xué)科相結(jié)合。在2006年,深度信念網(wǎng)絡(luò)(Deep Belief Network,DBN)的推出標(biāo)志著神經(jīng)網(wǎng)絡(luò)的又一次復(fù)興。
在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中,為了能夠提高網(wǎng)絡(luò)的工作效率和精度不得不增加網(wǎng)絡(luò)的層數(shù),但是網(wǎng)絡(luò)層數(shù)的增加會(huì)給尋優(yōu)工作帶來(lái)困難,即使用傳統(tǒng)的梯度下降方法也很難找到最優(yōu)解。此外,隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加,各種參數(shù)也會(huì)變得越來(lái)越多,在對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)就需要大量的標(biāo)簽數(shù)據(jù)。這樣的網(wǎng)絡(luò)結(jié)構(gòu)和算法基本不具備解決小樣本問(wèn)題的能力,而且其泛化性也比較差。這種多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)被形象地稱(chēng)為深度神經(jīng)網(wǎng)絡(luò),很多學(xué)者也由此認(rèn)為深度神經(jīng)網(wǎng)絡(luò)不能進(jìn)行實(shí)際的應(yīng)用,因?yàn)橐?xùn)練這樣的網(wǎng)絡(luò)簡(jiǎn)直無(wú)從下手。Geoffrey Hinton提出的深度信念網(wǎng)絡(luò)將統(tǒng)計(jì)分析與神經(jīng)網(wǎng)絡(luò)相結(jié)合,很好地解決了這個(gè)問(wèn)題,為深度學(xué)習(xí)開(kāi)辟了新的道路。對(duì)于多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),深度信念網(wǎng)絡(luò)采用了逐層訓(xùn)練的方式,稱(chēng)為“貪婪逐層預(yù)訓(xùn)練”。這種訓(xùn)練方式通過(guò)無(wú)監(jiān)督方式對(duì)網(wǎng)絡(luò)進(jìn)行逐層訓(xùn)練,在訓(xùn)練第n層時(shí)前面的層不變,首先訓(xùn)練過(guò)的網(wǎng)絡(luò)層不會(huì)在新層引入后重新訓(xùn)練,這樣就可以為網(wǎng)絡(luò)賦予較好的初始權(quán)值。隨后網(wǎng)絡(luò)進(jìn)入了監(jiān)督學(xué)習(xí)階段,在此階段需要對(duì)預(yù)訓(xùn)練的網(wǎng)絡(luò)進(jìn)行精調(diào)(微調(diào))最終達(dá)到最優(yōu)解。這種方法的一個(gè)直接結(jié)果就是產(chǎn)生了受限玻耳茲曼機(jī)。
有許多人在討論深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)到底有什么區(qū)別。其實(shí)區(qū)別主要有兩個(gè)方面:一是在網(wǎng)絡(luò)結(jié)構(gòu)上,深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜;二是在深度學(xué)習(xí)中,深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)于統(tǒng)計(jì)學(xué)習(xí)的方法予以了高度的重視。憑借著這兩點(diǎn),深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)將智能計(jì)算提升到了一個(gè)新的高度,也將神經(jīng)網(wǎng)絡(luò)計(jì)算引向“深度”,并將其推上了又一個(gè)高峰?;仡櫳窠?jīng)網(wǎng)絡(luò)的發(fā)展歷程,可以簡(jiǎn)單地用表1-1描述。
表1-1 神經(jīng)網(wǎng)絡(luò)發(fā)展歷程簡(jiǎn)表

當(dāng)前,神經(jīng)網(wǎng)絡(luò)學(xué)派“比其他機(jī)器學(xué)習(xí)領(lǐng)域(如核方法或貝葉斯統(tǒng)計(jì))的研究人員更可能地引用大腦影響,但是大家不應(yīng)該認(rèn)為深度學(xué)習(xí)在嘗試模擬大腦”。事實(shí)上,神經(jīng)網(wǎng)絡(luò)方法與其他機(jī)器學(xué)習(xí)方法的有效融合可能標(biāo)志著各種高效算法正在相互交融,從哲學(xué)方法論角度來(lái)講,有效融合應(yīng)該會(huì)比單純使用一種推理方法有更加強(qiáng)大的生命力,在實(shí)際的推理過(guò)程中會(huì)有更好的表現(xiàn)。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法基礎(chǔ)上將神經(jīng)網(wǎng)絡(luò)計(jì)算不斷引向“深度”,構(gòu)成深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可能是今后神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的發(fā)展方向。因此本書(shū)加入了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的內(nèi)容,使讀者能夠在一定程度上對(duì)神經(jīng)網(wǎng)絡(luò)的發(fā)展有較為全面的了解,方便以后進(jìn)行系統(tǒng)的學(xué)習(xí)。
- AI商業(yè)進(jìn)化論:“人工智能+”賦能新質(zhì)生產(chǎn)力發(fā)展
- 人工智能導(dǎo)論(通識(shí)版)
- 深度學(xué)習(xí)詳解:基于李宏毅老師“機(jī)器學(xué)習(xí)”課程
- 人工智能算法基礎(chǔ)
- OpenCV4.5計(jì)算機(jī)視覺(jué)開(kāi)發(fā)實(shí)戰(zhàn):基于Python
- 人人都是設(shè)計(jì)師:設(shè)計(jì)基礎(chǔ)+Midjourney+ChatGPT
- 大數(shù)據(jù)智能風(fēng)控:模型、平臺(tái)與業(yè)務(wù)實(shí)踐
- 被人工智能操控的金融業(yè)
- RPA智能機(jī)器人:實(shí)施方法和行業(yè)解決方案
- AI速成課:從AI編程到構(gòu)建智能軟件
- 當(dāng)計(jì)算機(jī)變成人:人工智能未來(lái)導(dǎo)引
- 一本書(shū)搞定起名:AI起名指南
- 圖分析與圖機(jī)器學(xué)習(xí):原理、算法與實(shí)踐
- 計(jì)算機(jī)視覺(jué)40例從入門(mén)到深度學(xué)習(xí)(OpenCV-Python)
- 知識(shí)圖譜:認(rèn)知智能理論與實(shí)戰(zhàn)