要克服“組合爆炸”帶來的問題，就需要有能夠開發(fā)目標(biāo)領(lǐng)域結(jié)構(gòu)的算法，并且要能通過啟發(fā)式搜索、計(jì)劃以及靈活的抽象信息處理方式有效利用已有知識(shí)，而這些都是早期人工智能系統(tǒng)所欠缺的地方。其早期系統(tǒng)性能還有一個(gè)缺陷，就是過多依賴脆弱且無根據(jù)的符號(hào)化的表達(dá)方式，再加上數(shù)據(jù)稀缺以及硬盤條件嚴(yán)重限制了計(jì)算機(jī)的存儲(chǔ)容量和加工速度，這些都使早期系統(tǒng)沒有很好的方法來控制不確定性。到了20世紀(jì)70年代中期，這些問題變得越發(fā)突出。在意識(shí)到多數(shù)人工智能項(xiàng)目無法成功實(shí)現(xiàn)我們最初的設(shè)想后，人工智能的研究迎來了第一個(gè)寒冬：項(xiàng)目被砍，資金縮水，懷疑論甚囂塵上，人工智能備受冷落。

20世紀(jì)80年代早期，人工智能迎來了春天。當(dāng)時(shí)日本發(fā)起了第5代計(jì)算機(jī)系統(tǒng)工程，并專門為該工程建立起良好的公私合作伙伴關(guān)系，以確保充足的項(xiàng)目資金。該工程的主要目的在于超越當(dāng)時(shí)的技術(shù)發(fā)展水平，通過發(fā)展大規(guī)模并行計(jì)算結(jié)構(gòu)為人工智能的實(shí)現(xiàn)搭建平臺(tái)。該工程與日本的“戰(zhàn)后經(jīng)濟(jì)奇跡”一起受到關(guān)注，這一時(shí)期，西方國家政府以及商業(yè)精英們焦急地尋找能夠揭示日本經(jīng)濟(jì)成功的規(guī)律，以期在其國內(nèi)復(fù)制日本的這種繁榮。當(dāng)日本決定在人工智能領(lǐng)域大手筆投入時(shí)，其他國家都緊隨其后。

接下來的幾年見證了專家系統(tǒng)的繁榮。專家系統(tǒng)的設(shè)計(jì)理念是為決策者提供支持工具，該系統(tǒng)是一些基于從一系列由實(shí)際知識(shí)構(gòu)建的知識(shí)庫中得到簡(jiǎn)單推論的程序，而這些實(shí)際知識(shí)則是由某一領(lǐng)域的人類專家們提供并被精心編成以代碼表達(dá)的形式語言。當(dāng)時(shí)有大約幾百個(gè)類似的專家系統(tǒng)被建立起來。然而專家系統(tǒng)也同樣存在著缺陷：小規(guī)模系統(tǒng)沒什么太大價(jià)值，大規(guī)模系統(tǒng)則需要在開發(fā)、確認(rèn)和數(shù)據(jù)更新上耗費(fèi)大量成本，在運(yùn)用時(shí)往往也會(huì)非常麻煩。為了運(yùn)行一個(gè)單一程序，就設(shè)置一臺(tái)獨(dú)立計(jì)算機(jī)，這不太現(xiàn)實(shí)。所以到了20世紀(jì)80年代末期，人工智能的這一繁榮時(shí)期也變得黯淡起來。

第5代計(jì)算機(jī)系統(tǒng)工程并沒能實(shí)現(xiàn)它的目標(biāo)，而在美國和歐洲開展的類似項(xiàng)目也面臨著同樣的尷尬局面。第二次人工智能寒潮不期而至。這時(shí)，批評(píng)家的悲嘆甚囂塵上：“人工智能研究發(fā)展到今天，呈現(xiàn)出來的狀態(tài)往往是在特定領(lǐng)域取得了極其有限的成功之后，便立刻會(huì)在實(shí)現(xiàn)更宏大目標(biāo)的過程中遭遇挫折，而這種挫折往往都是被早期的成功所揭示的。”私人投資者們開始回避任何與人工智能相關(guān)的風(fēng)險(xiǎn)。甚至對(duì)于學(xué)術(shù)界人士以及學(xué)術(shù)資助人來說，“人工智能”一詞都讓人感到厭煩。

但技術(shù)依舊飛快地向前發(fā)展，到了20世紀(jì)90年代，第二次人工智能寒冬的冰雪開始消融。樂觀主義者重燃激情，因?yàn)樾录夹g(shù)似乎提供了一種有別于傳統(tǒng)邏輯范式（經(jīng)常被稱為GOFAI，意為“出色的老式人工智能”）的替代路徑，它聚焦于高水平符號(hào)處理，并且被20世紀(jì)80年代的專家系統(tǒng)發(fā)揮到了極致。神經(jīng)網(wǎng)絡(luò)和遺傳算法等新流行的技術(shù)有望在某種程度上克服GOFAI路徑的缺陷，尤其有可能會(huì)在傳統(tǒng)人工智能路徑的脆弱性上實(shí)現(xiàn)突破。這種脆弱性的主要體現(xiàn)是，只要系統(tǒng)存在一個(gè)微小的錯(cuò)誤假設(shè)，整個(gè)結(jié)果便會(huì)變得毫無意義。讓新技術(shù)引以為傲的是，它具備了更多的生物有機(jī)體屬性。以神經(jīng)網(wǎng)絡(luò)為例，它具備了“故障弱化”的特性：神經(jīng)網(wǎng)絡(luò)的微小損壞通常只會(huì)導(dǎo)致整體性能的微小弱化而不會(huì)造成系統(tǒng)完全崩潰。更重要的是，神經(jīng)網(wǎng)絡(luò)能夠從經(jīng)驗(yàn)中學(xué)習(xí)，也可以從樣本中找到最自然的概括路徑以及所輸入數(shù)據(jù)隱含的統(tǒng)計(jì)規(guī)律。這使得神經(jīng)網(wǎng)絡(luò)能夠有效解決模式識(shí)別和歸類的問題。比如，經(jīng)過聲吶信號(hào)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)能夠?qū)W會(huì)分辨潛水艇、水雷、海洋生物等不同的聲音特征，比人類專家還要精確。而神經(jīng)網(wǎng)絡(luò)在實(shí)現(xiàn)識(shí)別不同的聲音特征前，也不需要人類事先對(duì)聲音類別進(jìn)行定義，或者事先總結(jié)出這些聲音的不同特點(diǎn)。

簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型自20世紀(jì)50年代后期開始被人們熟知，在引入能夠訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的反向傳播算法之后，人工智能領(lǐng)域又迎來了一陣復(fù)蘇。多層神經(jīng)網(wǎng)絡(luò)在輸入層和輸出層之間有一個(gè)或多個(gè)神經(jīng)元隱含層，能夠比之前的簡(jiǎn)單系統(tǒng)具備更強(qiáng)大的功能。輔之以日益強(qiáng)大的計(jì)算機(jī)，工程師們便可以用改進(jìn)的算法建立起能夠被很好地應(yīng)用到許多領(lǐng)域中的神經(jīng)系統(tǒng)網(wǎng)絡(luò)。

基于傳統(tǒng)算法規(guī)則的GOFAI系統(tǒng)雖然邏輯嚴(yán)密，但是性能很差，而神經(jīng)網(wǎng)絡(luò)具備類似于人類大腦的特質(zhì)，比之前的GOFAI系統(tǒng)要好出許多。神經(jīng)網(wǎng)絡(luò)還催生出了新的“機(jī)制”論，即所謂的“連接機(jī)制”，這種連接機(jī)制聚焦于大規(guī)模平行的精粒度亞符號(hào)數(shù)據(jù)處理的重要性。自那時(shí)起，以人工神經(jīng)系統(tǒng)為主題的學(xué)術(shù)文獻(xiàn)已超過150000篇，并且人工神經(jīng)系統(tǒng)目前依舊是機(jī)器學(xué)習(xí)的重要路徑。

以進(jìn)化為基礎(chǔ)的算法，比如遺傳算法和遺傳編程，構(gòu)建了另一條引領(lǐng)人們走出第二次人工智能寒冬的新路徑。這類方法在學(xué)術(shù)領(lǐng)域產(chǎn)生的影響或許并沒有神經(jīng)網(wǎng)絡(luò)系統(tǒng)那么大，卻受到了廣泛的歡迎。進(jìn)化模型能夠維系一個(gè)備選方案群（方案群本身可以通過數(shù)據(jù)結(jié)構(gòu)和程序來實(shí)現(xiàn)），并通過改變或重組現(xiàn)有方案群中的變量來生成新的備選群。通過應(yīng)用選擇標(biāo)準(zhǔn)（適應(yīng)度函數(shù)）可以讓備選群周期性地減少，并且只讓其中那些更好的方案群進(jìn)入下一代。經(jīng)過數(shù)千代重復(fù)之后，備選方案池中解決方案的平均素質(zhì)就會(huì)慢慢提高。這種算法能夠在運(yùn)行中生成有效的解決方案來解決范圍很廣的問題，而這類解決方案可能是完全讓人耳目一新且非直觀的，比任何一個(gè)人類工程師設(shè)計(jì)出來的東西都更像自然結(jié)構(gòu)。從原理上講，這個(gè)過程可以在不太需要人工初始輸入具體而簡(jiǎn)單的適應(yīng)度函數(shù)的情況下發(fā)生。但在實(shí)際操作中，要讓進(jìn)化方法得以順利運(yùn)行，還是需要一定的技巧和獨(dú)特設(shè)計(jì)的，特別是要能設(shè)計(jì)出一個(gè)優(yōu)秀的表達(dá)形式。如果不能對(duì)可能的解決方案進(jìn)行有效編碼（也就是將其轉(zhuǎn)換成一種基因語言以匹配目標(biāo)領(lǐng)域的潛在結(jié)構(gòu)），關(guān)于進(jìn)化的研究道路就會(huì)變得蜿蜒曲折且沒有盡頭，它會(huì)迷失在一個(gè)宏大的研究空間中或者卡在某個(gè)局部環(huán)節(jié)上停滯不前。不過即便是有了好的表達(dá)格式，進(jìn)化算法也需要極大的計(jì)算量，并且常常會(huì)被“組合爆炸”擊垮。

20世紀(jì)90年代，神經(jīng)網(wǎng)絡(luò)和遺傳算法等研究方法激起了人們廣泛的興趣，為GOFAI范式提供了可替代的路徑。但本文在此并不是要為這兩個(gè)方法唱贊歌，也不是要拔高這類方法在機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域中的地位。實(shí)際上，過去20年間一個(gè)主要的理論進(jìn)展便是人們更清醒地意識(shí)到，目前表面上完全不同的各類技術(shù)，是可以被理解為存在于一個(gè)共同數(shù)學(xué)框架中的特殊案例的。舉個(gè)例子，許多類型的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)都可以被視為對(duì)特定類別統(tǒng)計(jì)計(jì)算的展示（是一種最大似然估計(jì)）。這其實(shí)是將神經(jīng)系統(tǒng)視為從實(shí)例中學(xué)習(xí)分類的更大一類算法中的一種，比如：決策樹、邏輯回歸模型、支持向量機(jī)、樸素貝葉斯、KNN算法等。在一定程度上，遺傳算法可以被視為一種隨機(jī)爬山法的演示，是尋找最優(yōu)化算法大類中的一種。每一類這種算法在建立分類和尋找解決空間上都有自己的優(yōu)缺點(diǎn)，而這些優(yōu)缺點(diǎn)都是能夠借助計(jì)算揭示出來的。不同的算法對(duì)處理時(shí)間和存儲(chǔ)空間的要求都有所不同，從而帶來了兩個(gè)問題：一個(gè)問題是算法的預(yù)先假設(shè)存在歸納偏置，不過這個(gè)問題可以通過納入外部內(nèi)容來得到緩解；另一個(gè)問題就是，如何把算法的內(nèi)在運(yùn)行機(jī)制向人類分析家們解釋清楚。

在機(jī)器學(xué)習(xí)以及創(chuàng)造性的問題解決模式之喧囂炫目的背后，是一系列特定的計(jì)算權(quán)衡。理想的狀態(tài)是實(shí)現(xiàn)完美的貝葉斯代理程序（Bayesian agent），即在可獲得的信息中尋找出概率最優(yōu)。當(dāng)然，這種理想狀態(tài)是無法實(shí)現(xiàn)的，因?yàn)闆]有一臺(tái)物理計(jì)算機(jī)能支持它所需要的宏大計(jì)算量（延伸閱讀1）。但我們?nèi)耘f能夠?qū)⑷斯ぶ悄芤暈閷ふ医輳降囊环N探索：借助人工智能手段，我們可以通過在將其引入特定現(xiàn)實(shí)領(lǐng)域并維持其性能的同時(shí)犧牲一些最優(yōu)解或者普遍性，進(jìn)而逐步靠近貝葉斯理想狀態(tài)。

回顧一下我們?cè)谶^去的20多年間，在像是貝葉斯網(wǎng)絡(luò)這類概率模型的發(fā)展中取得了什么樣的成果。貝葉斯網(wǎng)絡(luò)提供了一個(gè)在特定領(lǐng)域中表達(dá)的概率以及獨(dú)立條件之間關(guān)系的簡(jiǎn)潔方法。（探索這種關(guān)系對(duì)于我們克服“組合爆炸”帶來的困難至關(guān)重要，因?yàn)椤敖M合爆炸”本身從邏輯上看就是概率推理中遇到的一個(gè)問題。）貝葉斯網(wǎng)絡(luò)還有助于我們更深刻地理解因果概念。

將特定領(lǐng)域的學(xué)習(xí)問題與貝葉斯推理中的普遍問題聯(lián)系在一起的一個(gè)好處是，新的運(yùn)算法則能夠讓貝葉斯推理變得更加有效，進(jìn)而能夠使許多不同領(lǐng)域?qū)崿F(xiàn)快速進(jìn)步。舉例來說，蒙特卡洛法就直接被應(yīng)用到計(jì)算機(jī)視覺、機(jī)器人技術(shù)以及基因計(jì)算上。它的另一個(gè)好處則是能夠讓不同學(xué)科的研究者更容易地匯集他們的研究成果。圖表模型和貝葉斯統(tǒng)計(jì)學(xué)在許多領(lǐng)域都得到了關(guān)注，包括機(jī)器學(xué)習(xí)、統(tǒng)計(jì)物理學(xué)、生物信息學(xué)、組合優(yōu)化以及交流理論。而在機(jī)器學(xué)習(xí)領(lǐng)域，相當(dāng)多的近期成果都來源于對(duì)其他學(xué)術(shù)領(lǐng)域原創(chuàng)成果的吸收。（機(jī)器學(xué)習(xí)應(yīng)用在很大程度上就受益于更快的計(jì)算機(jī)以及更大的數(shù)據(jù)庫。）

延伸閱讀1一個(gè)理想的貝葉斯代理程序

一個(gè)理想的貝葉斯代理程序最初都會(huì)設(shè)定“先驗(yàn)概率分布”（Prior Probability Distribution），即先把概率賦給各個(gè)“可能世界”。但這種先驗(yàn)概率存在著歸納偏置，即認(rèn)為越是簡(jiǎn)單的可能世界，越具備較高的概率。

[我們可以將可能世界的簡(jiǎn)單性問題用一個(gè)正式的術(shù)語來進(jìn)行描述，即“柯爾莫哥洛夫復(fù)雜性”（Kolmogorov complexity），也就是完整描述一個(gè)世界所需要的計(jì)算機(jī)程序的最短長度。]先驗(yàn)概率還包含了編程者希望賦予程序的所有背景知識(shí)。

當(dāng)代理程序借助傳感器接收到新的信息后，它會(huì)遵循貝葉斯法則對(duì)新信息的分布進(jìn)行條件化，從而更新已有的概率分布。條件化是一種數(shù)學(xué)運(yùn)算，如果先驗(yàn)概率與新的概率不一致，那么數(shù)學(xué)運(yùn)算就會(huì)對(duì)原有的可能世界中的概率進(jìn)行重新設(shè)置。運(yùn)算的結(jié)果就是“后驗(yàn)概率分布”（Posterior Probability Distribution），當(dāng)然在下一輪運(yùn)算開始前，這種后驗(yàn)概率又會(huì)被視為先驗(yàn)概率。代理程序能夠通過觀察實(shí)現(xiàn)概率聚合，將概率集中在幾個(gè)不斷縮小的與證據(jù)相匹配的可能世界中，而在這幾個(gè)領(lǐng)域中，越簡(jiǎn)單的那些便有著越高的概率。

打個(gè)比方，我們可以把概率視為一大張紙上面的沙子。我們?cè)谶@張紙上畫出大小不同的區(qū)域，每一個(gè)區(qū)域都對(duì)應(yīng)一個(gè)可能世界，范圍越大的區(qū)域?qū)?yīng)越簡(jiǎn)單的可能世界。再想象一下鋪在整張紙上的沙子厚度相同：這就是我們的先驗(yàn)概率分布。每當(dāng)觀察者劃掉一個(gè)區(qū)域時(shí)，我們就把該區(qū)域內(nèi)的沙子拿走，然后平均鋪到其他剩余區(qū)域內(nèi)。整張紙上的沙子總量并沒有發(fā)生變化，只是隨著觀察證據(jù)的積累，沙子越來越集中到幾個(gè)較少的區(qū)域內(nèi)。這就是貝葉斯學(xué)習(xí)的最單純的模式。（要想計(jì)算出一個(gè)假設(shè)的概率，我們只需要測(cè)量出紙上已有領(lǐng)域中的沙子的數(shù)量就可以了，這與該假設(shè)在其中成立的可能世界相應(yīng)。）

至此，我們已經(jīng)定義了一個(gè)學(xué)習(xí)規(guī)則。對(duì)于代理程序而言，我們還需要一個(gè)決策規(guī)則。為了實(shí)現(xiàn)這一目的，我們給代理程序賦予一個(gè)效用函數(shù)，即給每個(gè)可能世界分配一個(gè)數(shù)字。具體數(shù)字代表著根據(jù)代理程序基本偏好設(shè)定的可能世界中的渴望度。現(xiàn)在，代理程序在每一步運(yùn)行中都會(huì)選擇有著最高期望效用的操作。（要尋找出最高期望效用的操作，代理程序可以先把所有可能的操作都羅列出來，然后計(jì)算出特定操作的條件概率分布，這種概率分布是通過觀察剛結(jié)束的操作結(jié)果來不斷調(diào)整當(dāng)前的概率分布的。最終，代理程序能夠計(jì)算出操作的期望值，這個(gè)期望值是每個(gè)可能世界與被賦予操作程序之可能世界的條件化概率的乘積之和。）

學(xué)習(xí)規(guī)則和決策規(guī)則一起構(gòu)成了代理程序的最優(yōu)概念。最優(yōu)概念已經(jīng)被廣泛應(yīng)用到人工智能、認(rèn)識(shí)論、科學(xué)哲學(xué)、經(jīng)濟(jì)學(xué)以及統(tǒng)計(jì)學(xué)上。但從現(xiàn)實(shí)層面上看，因?yàn)樗枰獔?zhí)行的運(yùn)算是難以實(shí)現(xiàn)的，因而很難設(shè)置這樣的代理程序。所有的嘗試都死在“組合爆炸”這個(gè)問題上，我們之前討論的GOFAI便是如此。為什么會(huì)這樣？只消考慮一下所有可能世界的任何一個(gè)微小子集即可：那些構(gòu)成一個(gè)計(jì)算機(jī)顯示器的子集都陷入無止境的真空狀態(tài)。一個(gè)顯示器有1000×1000個(gè)像素，每一個(gè)像素的狀態(tài)都有開和關(guān)兩種。即使是這種可能世界的子集，數(shù)量仍舊是巨大的：21000×1000種可能的顯示狀態(tài)，這個(gè)計(jì)算量比觀察宇宙所需的計(jì)算量都大。我們連可能世界的子集都無法列舉出來，更別說要去計(jì)算那些更精巧的獨(dú)立世界了。

雖然在物理上難以實(shí)現(xiàn)，最優(yōu)概念依舊在理論上備受關(guān)注。這個(gè)概念給我們提供了一種標(biāo)準(zhǔn)，使我們能夠判斷啟發(fā)式的近似算法，也讓我們可以在有些時(shí)候推理出特定條件下的最優(yōu)代理程序會(huì)做些什么。我們會(huì)在第十二章談到一些人工代理程序的最優(yōu)概念的替代路徑。