第四節(jié) 神經(jīng)網(wǎng)絡(luò)、神經(jīng)計(jì)算和計(jì)算神經(jīng)科學(xué)

一、人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)、神經(jīng)計(jì)算和神經(jīng)計(jì)算機(jī)是三個(gè)相互聯(lián)系、相互區(qū)別的新概念。神經(jīng)網(wǎng)絡(luò)（neural network）是類似生物腦或神經(jīng)系統(tǒng)的網(wǎng)絡(luò)模型；神經(jīng)計(jì)算機(jī)（neurocomputer）是神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)；神經(jīng)計(jì)算機(jī)所作的高速并行的分布式運(yùn)算，就是神經(jīng)計(jì)算（neurocomputation）。也可以說，神經(jīng)計(jì)算是神經(jīng)網(wǎng)絡(luò)的軟件實(shí)現(xiàn)。聯(lián)結(jié)理論（connectionism）的核心是并行分布式信息加工（parallel distributed processing, PDP）, PDP是神經(jīng)計(jì)算的同義語。聯(lián)結(jié)理論一詞概括了神經(jīng)網(wǎng)絡(luò)模型及其硬件實(shí)施和軟件實(shí)施中諸方面的特點(diǎn)。所以，它是較全面的高度概括性的術(shù)語。聯(lián)結(jié)理論或神經(jīng)網(wǎng)絡(luò)理論的出現(xiàn)不是偶然的，是計(jì)算機(jī)科學(xué)、神經(jīng)科學(xué)和心理學(xué)三個(gè)學(xué)科發(fā)展的產(chǎn)物。就心理學(xué)而言，聯(lián)結(jié)理論的歷史淵源可追溯到古老的聯(lián)想主義理論（associationism），這種理論在現(xiàn)代科學(xué)心理學(xué)誕生以前的18世紀(jì)就已經(jīng)存在。聯(lián)想是指不同概念在人們頭腦中相互作用的現(xiàn)象。可歸納出三條基本聯(lián)想律：類似律、對比律和接近律。現(xiàn)代心理學(xué)中還保留著聯(lián)想性思維等概念。20世紀(jì)20年代，行為主義心理學(xué)興起，把行為看做是刺激—反應(yīng)之間的聯(lián)結(jié)（S-R）。只要把握住刺激與反應(yīng)之間的關(guān)系，就可以闡明人類行為的基本規(guī)律。在對嬰兒行為的觀察和對動物學(xué)習(xí)過程的研究中，行為主義都取得了較大的進(jìn)展，發(fā)現(xiàn)了學(xué)習(xí)的練習(xí)率、頻因率和近因律等。20年代已經(jīng)成熟的經(jīng)典神經(jīng)生理學(xué)腦反射論，也將行為的基礎(chǔ)看成刺激與反應(yīng)之間的聯(lián)結(jié)，其生理基礎(chǔ)是刺激在腦內(nèi)引起的興奮灶與支配反應(yīng)的中樞興奮灶之間的聯(lián)結(jié)。學(xué)習(xí)行為正是在無關(guān)刺激（如鈴聲），不斷與有生物學(xué)意義的刺激（如食物）同時(shí)出現(xiàn)，在動物腦內(nèi)同時(shí)引起聽覺興奮灶和食物中樞的興奮灶，兩者便可以形成暫時(shí)聯(lián)系。通過先天的食物運(yùn)動通路引起飲食行為和唾液、胃液分泌的反應(yīng)。即使單獨(dú)出現(xiàn)鈴聲，不伴有食物強(qiáng)化，動物的食物運(yùn)動反應(yīng)和食物分泌反應(yīng)也會出現(xiàn)。這是由于腦內(nèi)已建立了暫時(shí)聯(lián)系。50年代，創(chuàng)始條件反射理論的蘇聯(lián)科學(xué)界，信守巴甫洛夫的經(jīng)典概念，認(rèn)為腦內(nèi)暫時(shí)聯(lián)系的形成，是由于非條件刺激的強(qiáng)興奮灶對條件刺激引起的弱興奮灶吸引的結(jié)果，這一過程必須在大腦皮層的參與下才能完成。然而，到70年代，神經(jīng)生物學(xué)的研究進(jìn)展已經(jīng)證明，暫時(shí)聯(lián)系是中樞神經(jīng)系統(tǒng)的普遍特性。無論是大腦皮層還是皮層下中樞，甚至脊髓都具有實(shí)現(xiàn)暫時(shí)聯(lián)系的能力，這是由于暫時(shí)聯(lián)系的細(xì)胞生理學(xué)基礎(chǔ)是“異源性突觸易化”。任何一個(gè)神經(jīng)末梢會聚在某一個(gè)神經(jīng)元上，形成許多異源性突觸。它們同時(shí)性的興奮或以極短時(shí)間間隔的興奮，都可以總合起來引起這個(gè)神經(jīng)元的發(fā)放。不同來源的突觸興奮可以彼此易化，就是異源性突觸易化現(xiàn)象。80年代，人工神經(jīng)網(wǎng)絡(luò)的聯(lián)結(jié)理論中，神經(jīng)單元之間連接權(quán)重的變換正是受到神經(jīng)生理學(xué)概念的啟發(fā)而產(chǎn)生的。

二、計(jì)算神經(jīng)科學(xué)

與神經(jīng)網(wǎng)絡(luò)理論不同，計(jì)算神經(jīng)科學(xué)是神經(jīng)科學(xué)的分支，以神經(jīng)生物學(xué)實(shí)驗(yàn)所得到的數(shù)據(jù)為基礎(chǔ)建立腦功能的數(shù)學(xué)模型，是這一學(xué)科的研究任務(wù)。

（一）神經(jīng)科學(xué)實(shí)驗(yàn)是計(jì)算神經(jīng)科學(xué)的基礎(chǔ)

計(jì)算神經(jīng)科學(xué)不同于人工神經(jīng)網(wǎng)絡(luò)的理論研究，必須以當(dāng)代神經(jīng)科學(xué)實(shí)驗(yàn)研究為基礎(chǔ)。只有密切關(guān)注神經(jīng)科學(xué)各層次研究的新技術(shù)和新成果，從中吸收建立模型的實(shí)驗(yàn)數(shù)據(jù)作為計(jì)算的基礎(chǔ)，才能作出有意義的貢獻(xiàn)。人工神經(jīng)網(wǎng)絡(luò)的研究家從神經(jīng)生理學(xué)、神經(jīng)解剖學(xué)教科書中就可以為自己的網(wǎng)絡(luò)研究工作找到生物學(xué)理論依據(jù)；計(jì)算神經(jīng)科學(xué)家則必須從神經(jīng)科學(xué)最新研究成果中尋找自己的計(jì)算課題。典型的計(jì)算神經(jīng)科學(xué)家既從事計(jì)算研究，又進(jìn)行某一領(lǐng)域的神經(jīng)科學(xué)實(shí)驗(yàn)。雖然計(jì)算機(jī)技術(shù)可以幫助他們更好地處理實(shí)驗(yàn)數(shù)據(jù)，進(jìn)行計(jì)算研究，但計(jì)算機(jī)的應(yīng)用并不是計(jì)算神經(jīng)科學(xué)家所必需的工作條件。計(jì)算神經(jīng)科學(xué)家通過對已有實(shí)驗(yàn)數(shù)據(jù)建立數(shù)學(xué)模型，不但可以預(yù)測新理論或給出新的實(shí)驗(yàn)設(shè)計(jì)，還可以給出實(shí)驗(yàn)手段所難以得到的科學(xué)數(shù)據(jù)。計(jì)算神經(jīng)科學(xué)研究的這些優(yōu)勢，必須是建立在最新的實(shí)驗(yàn)基礎(chǔ)上才能發(fā)揮出來。

（二）智能活動的顯現(xiàn)特性是計(jì)算神經(jīng)科學(xué)研究的主題

計(jì)算神經(jīng)科學(xué)不同于其脫胎的理論神經(jīng)生物學(xué)、計(jì)算神經(jīng)生物學(xué)、數(shù)學(xué)生物學(xué)和生物物理學(xué)。首先，在于它立足于智能或認(rèn)知活動顯現(xiàn)特性的計(jì)算分析。因此，那些基于神經(jīng)沖動的生物物理過程或神經(jīng)生理學(xué)數(shù)據(jù)之上的計(jì)算，或?qū)ι窠?jīng)系統(tǒng)生理功能和模擬研究并不屬于計(jì)算神經(jīng)科學(xué)的范疇。只有圍繞認(rèn)知活動或行為的顯現(xiàn)特性所進(jìn)行的計(jì)算和模擬研究，才是真正的計(jì)算神經(jīng)科學(xué)。

Hoppfield（1982）將3種智能系統(tǒng)統(tǒng)稱為物理實(shí)體系統(tǒng)（physical system）。它們智能活動的基本特點(diǎn)是顯現(xiàn)的集合計(jì)算能力（emergent collective computational ability）。顯然，還原論的方法學(xué)原理與計(jì)算神經(jīng)科學(xué)的要求背道而馳。所謂顯現(xiàn)特性，是指智能由其各組成成分的總體活動產(chǎn)生的，這不能由各部分相加而得到，是超越各部分之和的那些新特性。智能的這種顯現(xiàn)特性如將智能系統(tǒng)分解開就不復(fù)存在。所以，計(jì)算神經(jīng)科學(xué)對智能進(jìn)行計(jì)算和模擬研究的基本原理，是并行分布式信息加工原則。由此而產(chǎn)生兩個(gè)學(xué)科特色：計(jì)算分析圍繞認(rèn)知或智能問題，而不是神經(jīng)或神經(jīng)元生理功能的生物物理與物理化學(xué)機(jī)制；運(yùn)用并行分布式計(jì)算原理，雖然常常使用腦的簡化模型，但必須提供建立模型的理論框架、算法及其約束條件。

簡化模型中的算法及其約束條件，往往可通過現(xiàn)代數(shù)字計(jì)算機(jī)或神經(jīng)計(jì)算加以實(shí)現(xiàn)。計(jì)算神經(jīng)科學(xué)對計(jì)算機(jī)的使用，與高能物理學(xué)、流體力學(xué)、天文學(xué)、氣象學(xué)不同，不是運(yùn)用簡單方程或算法進(jìn)行大量重復(fù)運(yùn)算，也不像計(jì)算分子生物學(xué)、計(jì)算化學(xué)那樣，在具體實(shí)驗(yàn)和結(jié)果的計(jì)算分析中反復(fù)提高得到一種新理論。計(jì)算神經(jīng)科學(xué)并不意味著大量計(jì)算，也不意味著一定要使用現(xiàn)代計(jì)算機(jī)，而是要對認(rèn)知過程進(jìn)行表征，對其信息加工和信息存貯過程在與計(jì)算機(jī)比較中得到新的概念和數(shù)學(xué)表達(dá)。例如，Hopfield模型的出現(xiàn)，并沒有借助計(jì)算機(jī)進(jìn)行大量的數(shù)字計(jì)算，但這種數(shù)學(xué)模擬仍是計(jì)算神經(jīng)科學(xué)的一個(gè)組成部分。這是因?yàn)镠oppfield模型有助于對大腦獲取信息（學(xué)習(xí)）和提取信息（記憶）過程的理解。相反，即使應(yīng)用現(xiàn)代計(jì)算機(jī)對生物體某一器官的解剖學(xué)或化學(xué)成分進(jìn)行十分精細(xì)的大量計(jì)算，由于它和認(rèn)知功能無關(guān)，缺乏對智能活動等行為水平和細(xì)胞、分子水平關(guān)系的新認(rèn)識，所以仍不屬于計(jì)算神經(jīng)科學(xué)的研究范疇，而只能是計(jì)算生物學(xué)領(lǐng)域的研究。因此，計(jì)算神經(jīng)科學(xué)中的“計(jì)算”，無論是在整體、細(xì)胞和分子水平上，都必須立足于行為和智能的顯現(xiàn)特性之上，尋求理解智能活動基礎(chǔ)的概念、新算法，并在新算法及其約束條件與當(dāng)代各類計(jì)算機(jī)加以類比中，發(fā)現(xiàn)智能化計(jì)算機(jī)、智能化機(jī)器人和智能化武器設(shè)計(jì)的新原理。

（三）多種算法的比較研究是計(jì)算神經(jīng)科學(xué)發(fā)現(xiàn)科學(xué)真理的重要途徑

在神經(jīng)科學(xué)最新實(shí)驗(yàn)數(shù)據(jù)基礎(chǔ)上，計(jì)算神經(jīng)科學(xué)圍繞著智能活動的顯現(xiàn)特性進(jìn)行計(jì)算研究時(shí)，雖然運(yùn)用并行分布式計(jì)算原理，但計(jì)算方法應(yīng)多樣化。比較各種算法所得到的結(jié)果，才能較深刻地揭露生物腦智能活動的規(guī)律與特性。Linsker（1990）的“知覺自組織”一文，為我們樹立了一個(gè)典范。他用四層局域性轉(zhuǎn)變成有序的認(rèn)知內(nèi)容，這就是系統(tǒng)的自組織作用。對于這種自組織作用，他們采用Hebb方程、Hoopfield能量函數(shù)、主成分分析、最小平方法和信息計(jì)算等多種算法，并比較其間的共同特性。利用Hebb方程將網(wǎng)絡(luò)功能表達(dá)為四個(gè)方程式：

式中a1, a2, a3, a4, a5, R1, R2均為任一常數(shù)，Cj是第j 個(gè)輸入單元與輸出M單元的連接權(quán)重，式（1）、（2）是兩個(gè)獨(dú)立方程。

三、計(jì)算模型

（一）知覺的計(jì)算模型

在知覺研究領(lǐng)域中，從20世紀(jì)60～70年代的特征提取理論，到80年代的新拓?fù)淅碚摵椭X整合理論，越來越強(qiáng)調(diào)知覺中的搜索過程以及注意的作用問題。特別是Treisman關(guān)于知覺搜索中的維度和競爭性結(jié)合理論，不但正確解決了注意與知覺的關(guān)系，還解釋了錯(cuò)覺形成的機(jī)制；關(guān)于知覺的認(rèn)知心理學(xué)理論和研究方法，將在后面有關(guān)章節(jié)中詳細(xì)討論。這里簡要地舉例說明知覺計(jì)算研究的發(fā)展趨勢與意義。Tsotsos （1990）在近年知覺心理學(xué)理論影響下，使用復(fù)雜性水平的計(jì)算方法，分析視覺問題。所謂復(fù)雜性水平分析，就是將一個(gè)問題的計(jì)算要求和給定資源匹配起來的組合優(yōu)化算法。復(fù)雜性系列可分為P和NP兩類，P類（polynomial）是所有可控問題的復(fù)雜性，NP類是非可控問題的復(fù)雜性。復(fù)雜性水平分析可使一個(gè)NP問題找到一個(gè)多項(xiàng)式P（n），使此問題由時(shí)間復(fù)雜性為O（2P（n））的算法來解決。視覺匹配反應(yīng)時(shí)，可以反映出視覺機(jī)制與系統(tǒng)算法的復(fù)雜程度。所以，視覺搜索匹配過程也可分為兩類：一是事先有明確靶子的界定搜索（bounded visual search），是注意機(jī)制參與的視覺收搜過程，另一類僅隱含描述靶子的非界定性視覺搜索（unbounded visual search）。非界定的視覺匹配任務(wù)以象元數(shù)或刺激復(fù)雜性為指數(shù)關(guān)系，即O（I2）。非界定性視覺搜索匹配是NP完全性問題，界定搜索是P類有線性的時(shí)間復(fù)雜性問題。復(fù)雜性水平分析算法，就是要尋求使非界定NP完全性問題，轉(zhuǎn)換為界定搜索的條件。假設(shè)一套知覺圖形（images）由四維坐標(biāo)x、y、j、m表示，x、y是歐幾里得坐標(biāo)值，fn是圖形類別指標(biāo)的集合如顏色、運(yùn)動、深度等，由離散的正整數(shù)j表示。如果ix, y, j=m中，j不是m中的元素或x、y值超出圖的矩陣，則ix, y, j=0。視覺搜索靶子T（target）也是四維坐標(biāo)，與I一一對應(yīng)，但未必相等。兩者匹配是指：

式中Q為差別的絕對閾值。此式表明每次匹配的差別總和小于閾值Q時(shí)，才可完成一個(gè)圓形的匹配。如果在圖像系列中由許多圖像子集所構(gòu)成，則這些子集匹配的相關(guān)總和大于甲以上，才認(rèn)定兩者是最佳匹配。其相關(guān)由下式表示：

只有同時(shí)滿足上面兩個(gè)數(shù)學(xué)方程式的要求，才可認(rèn)定完全匹配。怎樣滿足這兩個(gè)匹配方程式的要求呢？至少有三種辦法：① 從高層次開始選擇匹配參數(shù)中影響最大的參數(shù)，優(yōu)先進(jìn)行組合優(yōu)化，即優(yōu)化和逼近的策略；② 降低匹配標(biāo)準(zhǔn)，提高匹配效率；③ 引入注意機(jī)制，首先抑制無關(guān)成分，很快選擇空間域使指數(shù)復(fù)雜性遞降為線性時(shí)間復(fù)雜性。總之，對視覺搜索的復(fù)雜性水平計(jì)算與傳統(tǒng)算法的不同之處，在于從頂-底的策略引入注意機(jī)制、復(fù)雜性遞降的算法原則。

（二）小腦結(jié)構(gòu)與機(jī)能模擬

小腦對運(yùn)動功能的調(diào)節(jié)作用及其結(jié)構(gòu)的有序性，很早就引起計(jì)算神經(jīng)科學(xué)家們的重視。著名學(xué)者M(jìn)arr（1969）提出了小腦皮層的理論，并對小腦網(wǎng)絡(luò)進(jìn)行了模擬。他認(rèn)為小腦網(wǎng)絡(luò)的功能在于接通適當(dāng)?shù)摹斑\(yùn)動命令”。小腦位于上下行神經(jīng)通路之巔，對運(yùn)動功能具有重要作用。形態(tài)學(xué)上小腦的最大特征是數(shù)以萬計(jì)的顆粒細(xì)胞與一個(gè)攀緣纖維同時(shí)聚合在一個(gè)浦肯野氏（浦氏）細(xì)胞上。所以，Marr的理論核心在于攀緣纖維和平行纖維的同時(shí)興奮，可引起顆粒細(xì)胞與浦氏細(xì)胞間突觸的變化，正是這類突觸存貯著傳入沖動及其應(yīng)激活的傳出沖動間的關(guān)系。到20世紀(jì)80年代，Marr的理論推斷在蛙的實(shí)驗(yàn)研究中得到證實(shí)。Chajlakhian等（1989）在此基礎(chǔ)上對小腦浦氏細(xì)胞網(wǎng)絡(luò)的學(xué)習(xí)能力進(jìn)行了計(jì)算機(jī)模擬。他們的網(wǎng)絡(luò)模型由1個(gè)浦氏細(xì)胞，20000個(gè)顆粒細(xì)胞和700根苔狀纖維組成。這些參數(shù)來自大白鼠小腦解剖學(xué)研究。平均5根苔狀纖維聚合到1個(gè)顆粒細(xì)胞上。反之，每根苔狀纖維均可與大約143個(gè)顆粒細(xì)胞發(fā)生連接。在這個(gè)網(wǎng)絡(luò)中進(jìn)行了兩類模擬試驗(yàn)：（1）記錄興奮的苔狀纖維；（2）在浦氏細(xì)胞中提取記錄過的信息。結(jié)果發(fā)現(xiàn)平行纖維與浦氏細(xì)胞間的突觸效率

E=I/N× log2g

式中I為信息容量，N為連接強(qiáng)度變化的突觸數(shù)目，g為突觸效率的狀態(tài)數(shù)。在這一模擬條件下突觸狀態(tài)只考查未學(xué)習(xí)的還是學(xué)習(xí)的兩種狀態(tài)。E的值總是小于1。這種結(jié)果意味著浦氏細(xì)胞的樹突膜在接受傳入沖動的特性上缺乏特異選擇性，既不純粹是主動活性的，又不純粹是被動性的，大量樹突之間存在著零協(xié)同性，浦氏細(xì)胞大量樹突之間關(guān)系類似噪聲，缺乏方向性，缺乏記憶信息的能力，這有利于自然選擇。

Braamhof（1991）根據(jù)小腦浦氏細(xì)胞對傳入脈沖刺激的時(shí)域編碼特性和其樹突上大量存在的鈣依從性鉀離子通道和鈣離子通道活動的時(shí)間特性，對小腦空間時(shí)間相關(guān)特性進(jìn)行數(shù)學(xué)模擬。他發(fā)現(xiàn)浦氏細(xì)胞與前額葉皮層細(xì)胞、聽覺皮層細(xì)胞和基底神經(jīng)節(jié)細(xì)胞一樣，具有高維時(shí)間空間相關(guān)的非線性運(yùn)算能力和學(xué)習(xí)能方。其數(shù)學(xué)模型由下列微積分方程和乙狀函數(shù)表達(dá)：

Ca ij（t）、K ij（t）分別代表鈣、鉀離子通道的開狀態(tài)，V ij代表相關(guān)的連接強(qiáng)度，θCa、θK 分別代表鈣、鉀通道導(dǎo)通閾，KCa和KK代表鈣離子通道和鉀離子通道的開關(guān)時(shí)間，大約在50～300毫秒之間，離子通道對V ij效應(yīng)由微分方程和乙狀函數(shù)所模擬，鉀離子通道導(dǎo)通降低V ij，鈣離子通道導(dǎo)通增加V ij, V ij與兩種離子通道開啟的關(guān)系是線性的，S Ca, ij描述游離鈣離子濃度及其對鈣依存性鉀通道開啟的作用。系統(tǒng)的輸出Oi（t）是各部分權(quán)重總和的乙狀函數(shù)。

從小腦模擬研究中可以看出，研究的層次從結(jié)構(gòu)形態(tài)、細(xì)胞神經(jīng)生理學(xué)特性到細(xì)胞膜上的離子通道特性的模擬，逐漸深化、發(fā)展，在理論上從小腦運(yùn)動控制功能、隨機(jī)選擇零協(xié)同性到時(shí)間空間多維相關(guān)對學(xué)習(xí)功能的模擬，也是個(gè)不斷提高的過程。一方面我們看到小腦模擬研究的這種發(fā)展提高過程；另一方面，我們必須認(rèn)識到計(jì)算神經(jīng)科學(xué)的這種模擬研究與細(xì)胞神經(jīng)生理學(xué)進(jìn)展還存在一段距離，神經(jīng)生物學(xué)對小腦學(xué)習(xí)研究的新事實(shí)和科學(xué)數(shù)據(jù)，還沒有吸收到計(jì)算研究的范疇。