1.3　機(jī)器學(xué)習(xí)：現(xiàn)代人工智能的靈魂

從半個(gè)多世紀(jì)的發(fā)展歷程可以看出，人工智能技術(shù)的進(jìn)步走的是一條“反邏輯”的路。人類用一千多年的時(shí)間得到了可計(jì)算的邏輯，即數(shù)理邏輯。雖然絕大多數(shù)邏輯系統(tǒng)并不完備（可能存在不可證明真?zhèn)蔚拿}），但在很多時(shí)候已經(jīng)足以描述在數(shù)學(xué)和物理學(xué)上的很多知識(shí)（如概念、關(guān)系等）。這些知識(shí)是如此簡(jiǎn)潔美好，如果可以被計(jì)算機(jī)掌握，則有望實(shí)現(xiàn)理解、決策等智能行為，這也是最初的人工智能研究者所持有的基本思路。然而，人們?cè)谘芯窟^程中一步步發(fā)現(xiàn)，人為設(shè)計(jì)的知識(shí)以及基于這些知識(shí)的推理過程在實(shí)際應(yīng)用中非常困難。這不僅因?yàn)閷?duì)知識(shí)進(jìn)行形式化本身就很煩瑣，即使完成了這一形式化，依然會(huì)有各種沖突和不確定性存在，使得推理很難完成。相反，從數(shù)據(jù)中學(xué)習(xí)得到的知識(shí)雖然可能是不精確、不全面的，但在很多時(shí)候更適合實(shí)際應(yīng)用。因此，人工智能的研究者們不得不用數(shù)據(jù)學(xué)習(xí)逐漸取代人為設(shè)計(jì)。在這一過程中，我們失去了傳統(tǒng)數(shù)理邏輯的簡(jiǎn)潔和清晰，越來(lái)越依賴從數(shù)據(jù)中得到統(tǒng)計(jì)規(guī)律，而這些規(guī)律天然具有模糊性和近似性。

這意味著當(dāng)前人工智能技術(shù)與傳統(tǒng)AI在方法論上已經(jīng)有很大的不同了。當(dāng)代人工智能的本質(zhì)是讓機(jī)器從數(shù)據(jù)中學(xué)習(xí)知識(shí)，而不再是對(duì)人類知識(shí)的復(fù)制，這一方法稱為“機(jī)器學(xué)習(xí)”?；谶@樣的思路，人工智能已經(jīng)不再是人的附庸，它將和人類在平等的起跑線上汲取和總結(jié)知識(shí)，因而可能創(chuàng)造出比人類更巧妙的方法、生成比人類更高效的決策、探索人類從未發(fā)現(xiàn)過的知識(shí)空間。數(shù)據(jù)越豐富，計(jì)算能力越強(qiáng)，這種學(xué)習(xí)方法帶來(lái)的效果越好，超越人的可能性越高。當(dāng)前AI的很多成就很大程度是由龐大的數(shù)據(jù)資源和計(jì)算資源支撐的，典型的領(lǐng)域包括語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言處理、生物信息處理等。21世紀(jì)的AI是數(shù)據(jù)的AI，是機(jī)器學(xué)習(xí)的AI，“人工智能”里的“人工”更多的是設(shè)計(jì)學(xué)習(xí)原則，而非設(shè)計(jì)智能過程本身?；诖?，本書將重點(diǎn)介紹基于機(jī)器學(xué)習(xí)的現(xiàn)代AI技術(shù)。關(guān)于傳統(tǒng)AI方法，讀者可參考朱福喜老師編著的《人工智能基礎(chǔ)教程》一書⁽³⁾。

1.3.1　什么是機(jī)器學(xué)習(xí)

1959年，亞瑟·塞繆爾（Arthur Samule）發(fā)表了一篇名為Some Studies in Machine Learning Using the Game of Checkers的文章。該文章描述了一種會(huì)學(xué)習(xí)的西洋棋計(jì)算機(jī)程序，只需告訴該程序游戲規(guī)則和一些常用知識(shí)，經(jīng)過8~10小時(shí)的學(xué)習(xí)后，即可學(xué)到足以戰(zhàn)勝程序作者的棋藝。這款西洋棋游戲是世界上第一個(gè)會(huì)自主學(xué)習(xí)的計(jì)算機(jī)程序，宣告了機(jī)器學(xué)習(xí)的誕生。

什么是機(jī)器學(xué)習(xí)？塞繆爾認(rèn)為機(jī)器學(xué)習(xí)是“讓計(jì)算機(jī)擁有自主學(xué)習(xí)的能力，而無(wú)須對(duì)其進(jìn)行事無(wú)巨細(xì)的編程”的方法⁽⁴⁾。尼爾斯·約翰·尼爾森（Nils J. Nilsson）則認(rèn)為機(jī)器學(xué)習(xí)是“機(jī)器在結(jié)構(gòu)、程序、數(shù)據(jù)等方面發(fā)生了基于外部信息的某種改變，而這種改變可以提高該機(jī)器在未來(lái)工作中的預(yù)期性能”⁽⁵⁾。上述這些定義本質(zhì)上是一致的，即認(rèn)為機(jī)器學(xué)習(xí)是通過接收外界信息（包括觀察樣例、外來(lái)監(jiān)督、交互反饋等），獲得一系列知識(shí)、規(guī)則、方法和技能的過程。和傳統(tǒng)算法相比，機(jī)器學(xué)習(xí)的一個(gè)巨大優(yōu)勢(shì)在于程序設(shè)計(jì)者不必定義具體的流程，只需告訴機(jī)器一些通用知識(shí)，定義一個(gè)足夠靈活的學(xué)習(xí)結(jié)構(gòu)，機(jī)器即可通過觀察和體驗(yàn)積累實(shí)際經(jīng)驗(yàn)，對(duì)所定義的學(xué)習(xí)結(jié)構(gòu)進(jìn)行調(diào)整、改進(jìn)，從而獲得面向特定任務(wù)的處理能力。

1.3.2　機(jī)器學(xué)習(xí)發(fā)展史

圖1-5給出了機(jī)器學(xué)習(xí)發(fā)展歷史上的一些重要人物和標(biāo)志性事件?？傮w來(lái)說，20世紀(jì)50年代以前是技術(shù)積累階段，研究者在統(tǒng)計(jì)學(xué)習(xí)和優(yōu)化方法上提出了一系列模型和準(zhǔn)則。1950年圖靈提出圖靈測(cè)試準(zhǔn)則，開創(chuàng)了人工智能的廣闊領(lǐng)域。機(jī)器學(xué)習(xí)伴隨著人工智能的研究開始萌芽。1959年亞瑟·塞繆爾的劃時(shí)代論文將“機(jī)器學(xué)習(xí)”這一重要概念引入人工智能，并開始獨(dú)立解決實(shí)際問題。整個(gè)20世紀(jì)60年代，以符號(hào)邏輯為研究對(duì)象的符號(hào)學(xué)派（Symbolism）是人工智能研究的主流，人工神經(jīng)網(wǎng)絡(luò)、概率模型、遺傳算法等更側(cè)重“學(xué)習(xí)”的方法開始萌芽。進(jìn)入20世紀(jì)70年代，人工智能的冬天來(lái)臨，機(jī)器學(xué)習(xí)研究也走入困境，特別是在馬文·明斯基發(fā)表《感知器》一書后，被寄予厚望的人工神經(jīng)網(wǎng)絡(luò)的研究幾乎停滯。

這一狀態(tài)一直持續(xù)到20世紀(jì)80年代。因?yàn)榛诜?hào)邏輯的人工智能方法無(wú)法提供足夠的學(xué)習(xí)空間，一些學(xué)者開始轉(zhuǎn)向統(tǒng)計(jì)學(xué)習(xí)方法，形成了兩個(gè)主要研究方向：一是基于概率模型的貝葉斯學(xué)派（Bayesianism）；二是基于神經(jīng)網(wǎng)絡(luò)模型的連接學(xué)派（Connectionism）。貝葉斯學(xué)派的代表人物包括JudeaPearl，S. L. Lauritzen，D. J. Spiegelhalter等，連接學(xué)派的代表人物包括John Hopfield，David Rumelhart，Geoffrey Hinton等。

這兩個(gè)學(xué)派在基本思路上有很大的差異，但都認(rèn)為機(jī)器學(xué)習(xí)（包括人工智能）應(yīng)該有更靈活的學(xué)習(xí)框架，而非在人為定義的符號(hào)系統(tǒng)中小修小改。整個(gè)20世紀(jì)80年代，機(jī)器學(xué)習(xí)的研究者們?cè)谌斯ぶ悄茴I(lǐng)域的邊緣默默積累，貝葉斯學(xué)派提出了圖模型，連接學(xué)派發(fā)展出卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)等新型網(wǎng)絡(luò)結(jié)構(gòu)和高效的反向傳播（Back Propagation，BP）訓(xùn)練算法。

進(jìn)入20世紀(jì)90年代以后，以符號(hào)演算為基礎(chǔ)的傳統(tǒng)人工智能方法越來(lái)越表現(xiàn)出其局限性。第一，隨著任務(wù)越來(lái)越復(fù)雜，對(duì)知識(shí)的定義越來(lái)越困難，不僅知識(shí)數(shù)量越來(lái)越多，不同知識(shí)之間還經(jīng)常出現(xiàn)矛盾；第二，知識(shí)系統(tǒng)越復(fù)雜，新知識(shí)的加入越困難，產(chǎn)生的結(jié)果越難以估計(jì)；第三，對(duì)一些沒有先驗(yàn)知識(shí)的領(lǐng)域，推理系統(tǒng)無(wú)法工作；第四，人為創(chuàng)建的知識(shí)在面對(duì)實(shí)際問題時(shí)經(jīng)常會(huì)產(chǎn)生偏差，甚至?xí)?lái)嚴(yán)重錯(cuò)誤。相比之下，以統(tǒng)計(jì)方法為基礎(chǔ)的機(jī)器學(xué)習(xí)方法可以通過靈活的結(jié)構(gòu)從數(shù)據(jù)中學(xué)習(xí)知識(shí)，可以方便處理數(shù)據(jù)中的噪聲和矛盾?；诖?，以統(tǒng)計(jì)學(xué)習(xí)為特征的機(jī)器學(xué)習(xí)方法成為人工智能領(lǐng)域的主流方法。

進(jìn)入21世紀(jì)以后，計(jì)算機(jī)的性能比以前有了大幅提高，這為以統(tǒng)計(jì)學(xué)習(xí)為特征的機(jī)器學(xué)習(xí)方法提供了更加廣闊的發(fā)展空間。今天，機(jī)器學(xué)習(xí)在信號(hào)處理、自然語(yǔ)言理解、圖像處理、生物與醫(yī)學(xué)等各方面取得了前所未有的成功。如今，當(dāng)我們談?wù)撊斯ぶ悄艿臅r(shí)候，很多時(shí)候談?wù)摰氖菣C(jī)器學(xué)習(xí)。另一方面，互聯(lián)網(wǎng)積累了大量人為編輯的數(shù)據(jù)（如維基百科），這些數(shù)據(jù)的出現(xiàn)一定程度上解決了傳統(tǒng)符號(hào)方法在知識(shí)積累上的瓶頸，使得以知識(shí)圖譜（Knowledge Graph）為代表的新一代符號(hào)方法取得了長(zhǎng)足的進(jìn)步。有意思的是，新生代的符號(hào)主義研究者們開始主動(dòng)擁抱機(jī)器學(xué)習(xí)，利用機(jī)器學(xué)習(xí)方法對(duì)知識(shí)進(jìn)行抽象與推理。新符號(hào)主義是機(jī)器學(xué)習(xí)領(lǐng)域中的重要力量。關(guān)于機(jī)器學(xué)習(xí)和人工智能的發(fā)展歷史，有興趣的讀者可參考最近出版的一些科普著作⁽⁶⁾。

1.3.3　機(jī)器學(xué)習(xí)的基本框架

研究者對(duì)機(jī)器學(xué)習(xí)有各種各樣的表述。本書中，我們將從“知識(shí)”和“經(jīng)驗(yàn)”兩個(gè)概念來(lái)理解機(jī)器學(xué)習(xí)。所謂知識(shí)，是人類已經(jīng)獲得的可形式化的某種理性表達(dá)（如英語(yǔ)語(yǔ)法和數(shù)學(xué)公式等），這些知識(shí)也被稱為先驗(yàn)知識(shí)（Prior Knowledge，即已經(jīng)掌握的知識(shí)）。所謂經(jīng)驗(yàn)，是指機(jī)器在運(yùn)行環(huán)境中得到的反饋（比如，我們知道沸水是不能喝的，因?yàn)橛羞^一次被燙傷的經(jīng)歷，由此總結(jié)出了一條“不能喝沸水”的經(jīng)驗(yàn)）。經(jīng)驗(yàn)中包含大量有用的信息，只是掩蓋在復(fù)雜的表象之下，很難被直接利用。

“知識(shí)”和“經(jīng)驗(yàn)”是機(jī)器學(xué)習(xí)系統(tǒng)的兩個(gè)基本信息來(lái)源，基于其中任何一種信息源都可以構(gòu)造一個(gè)有效的智能系統(tǒng)。但是，基于單一信息源的系統(tǒng)存在明顯缺陷：純粹基于知識(shí)的系統(tǒng)封閉而不思進(jìn)取；純粹基于經(jīng)驗(yàn)的系統(tǒng)博聞而不求甚解。一種很自然的想法是將兩者結(jié)合起來(lái)。這類似一個(gè)新生兒，從誕生的那一刻起父母通過遺傳給他一個(gè)合理的神經(jīng)結(jié)構(gòu)（可以認(rèn)為是一個(gè)基于知識(shí)的“設(shè)計(jì)”），可以進(jìn)行呼吸、哭鬧等基本動(dòng)作，但更高級(jí)的能力（如語(yǔ)言、推理等）則需要通過后天學(xué)習(xí)，從經(jīng)驗(yàn)中進(jìn)行總結(jié)。因此，人類本身就是一個(gè)既有先驗(yàn)知識(shí)，也有后天學(xué)習(xí)的綜合系統(tǒng)。我們認(rèn)為這種先驗(yàn)知識(shí)和后天經(jīng)驗(yàn)學(xué)習(xí)相結(jié)合的能力獲取方式是現(xiàn)代機(jī)器學(xué)習(xí)乃至人工智能的基本特征之一，而如何平衡這兩者的關(guān)系產(chǎn)生了風(fēng)格迥異的學(xué)習(xí)方法。圖1-6給出基于知識(shí)—經(jīng)驗(yàn)的機(jī)器學(xué)習(xí)框架。下面從學(xué)習(xí)目標(biāo)、學(xué)習(xí)結(jié)構(gòu)、訓(xùn)練數(shù)據(jù)、學(xué)習(xí)方法四個(gè)方面展開討論。

學(xué)習(xí)目標(biāo)：機(jī)器學(xué)習(xí)任務(wù)的目標(biāo)是多種多樣的。從應(yīng)用角度看，學(xué)習(xí)目標(biāo)可分為感知（Perception）、推理（Induction）、生成（Generation）等。其中，感知包括聽聲、看畫等；推理包括尋找原因，作出決策等；生成包括生成語(yǔ)音、圖片、文字等。從任務(wù)性質(zhì)看，學(xué)習(xí)目標(biāo)可分為預(yù)測(cè)（Prediction）和描述（Description）兩類，前者是指給定一部分?jǐn)?shù)據(jù)（如昨天的股市指數(shù)）對(duì)另一部分?jǐn)?shù)據(jù)進(jìn)行預(yù)測(cè)（如今天的股市指數(shù)），后者是指對(duì)數(shù)據(jù)的內(nèi)在規(guī)律進(jìn)行發(fā)現(xiàn)和刻畫（如股市指數(shù)在一段時(shí)間內(nèi)的變化規(guī)律）。

學(xué)習(xí)結(jié)構(gòu)：學(xué)習(xí)結(jié)構(gòu)又稱模型，定義了用以表達(dá)系統(tǒng)知識(shí)的具體形式。函數(shù)（Function）是一種常見的模型，該模型將知識(shí)表達(dá)為由某一輸入到某一輸出的映射，學(xué)習(xí)時(shí)通過改變函數(shù)參數(shù)來(lái)吸收從數(shù)據(jù)中得到的新知識(shí)；圖和網(wǎng)絡(luò)（Network）是另一種常見的模型，該模型將知識(shí)表達(dá)為圖或網(wǎng)絡(luò)中節(jié)點(diǎn)的屬性以及節(jié)點(diǎn)之間的聯(lián)系，學(xué)習(xí)時(shí)通過改變這些屬性和聯(lián)系來(lái)吸收從數(shù)據(jù)中得到的新知識(shí)。

訓(xùn)練數(shù)據(jù)：數(shù)據(jù)是經(jīng)驗(yàn)的累積，利用數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行學(xué)習(xí)可以更新先驗(yàn)知識(shí)、提高系統(tǒng)實(shí)用性。數(shù)據(jù)的質(zhì)量、數(shù)量和對(duì)實(shí)際場(chǎng)景的覆蓋程度都會(huì)直接影響學(xué)習(xí)的結(jié)果，因此數(shù)據(jù)積累是機(jī)器學(xué)習(xí)研究的基礎(chǔ)，“數(shù)據(jù)是最寶貴的財(cái)富”已經(jīng)成為機(jī)器學(xué)習(xí)從業(yè)者的共識(shí)。

在收集和整理數(shù)據(jù)時(shí)，通常會(huì)關(guān)注數(shù)據(jù)是否準(zhǔn)確、是否完整，不同數(shù)據(jù)間的相關(guān)性如何。另外，我們一般不會(huì)直接使用原始數(shù)據(jù)，而是通過一系列預(yù)處理過程對(duì)數(shù)據(jù)進(jìn)行清洗過濾，并將數(shù)據(jù)中最顯著的部分提取出來(lái)（稱為特征提取）進(jìn)行學(xué)習(xí)。

學(xué)習(xí)方法：學(xué)習(xí)方法是學(xué)習(xí)過程的具體實(shí)現(xiàn)，即通常所說的算法。機(jī)器學(xué)習(xí)算法可分為有監(jiān)督學(xué)習(xí)（Supervised Learning）、無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）、半監(jiān)督學(xué)習(xí)（Semi-Supervised Learning）和強(qiáng)化學(xué)習(xí)（Reinforcement Learning）四種。其中，監(jiān)督學(xué)習(xí)需要人為對(duì)數(shù)據(jù)進(jìn)行標(biāo)注（如給貓的圖片標(biāo)上“貓”，給影評(píng)標(biāo)上正面或負(fù)面評(píng)價(jià)等）；無(wú)監(jiān)督學(xué)習(xí)不需要標(biāo)注；半監(jiān)督學(xué)習(xí)需要部分標(biāo)注；而強(qiáng)化學(xué)習(xí)只需要間接標(biāo)注（見第5章）。需要特別注意的是，算法的選擇是由學(xué)習(xí)結(jié)構(gòu)、學(xué)習(xí)目標(biāo)及數(shù)據(jù)特性等幾方面因素共同決定的，不存在一種普適算法在所有任務(wù)中全面勝出。

總之，我們認(rèn)為機(jī)器學(xué)習(xí)是一種將人類先驗(yàn)知識(shí)和后天經(jīng)驗(yàn)相結(jié)合，以提高計(jì)算機(jī)處理某種特定任務(wù)能力的計(jì)算框架。這一框架包括學(xué)習(xí)目標(biāo)、學(xué)習(xí)結(jié)構(gòu)、訓(xùn)練數(shù)據(jù)和學(xué)習(xí)算法四個(gè)部分?；谶@一框架，我們依賴先驗(yàn)知識(shí)設(shè)計(jì)合理的學(xué)習(xí)結(jié)構(gòu)，設(shè)計(jì)相應(yīng)的學(xué)習(xí)算法，從經(jīng)驗(yàn)數(shù)據(jù)中得到知識(shí)并對(duì)現(xiàn)有學(xué)習(xí)結(jié)構(gòu)進(jìn)行更新，使得既定的學(xué)習(xí)目標(biāo)得到優(yōu)化。