生命3.0何時出現

這個問題極富爭議，而且爭議得十分精彩。全球頂尖的人工智能研究者不僅在做出預測時眾說紛紜，他們的情緒反應也截然不同：有的是充滿信心的樂觀主義者，有的則懷有嚴肅的擔憂；甚至于，對于人工智能會在短期內對經濟、法律和軍事方面造成什么影響，他們也都難以達成共識。如果我們將討論的時間范圍擴大一些，把通用人工智能，特別是達到或超過人類智能水平、使得生命3.0成為可能的通用人工智能涵蓋進討論的話題，那么他們的分歧就更大了。與包括下棋軟件等狹義人工智能不同的是，通用人工智能幾乎可以完成任何目標，包括學習。

有趣的是，關于生命3.0的爭議圍繞著兩個而不是一個問題展開，這兩個問題分別是“何時”和“什么”，即如果生命3.0真的會出現，那何時會發生？這對人類意味著什么？我認為，存在三個截然不同的學派。這三個學派都值得我們認真對待，因為它們之中都包括一些世界頂尖的專家。我在圖1-2中描繪了這三個學派，它們分別是：數字烏托邦主義者（Digital Utopians）、技術懷疑主義者（Techno-Skeptics）和人工智能有益運動支持者（Members of The Beneficial-AI Movement）。現在，請允許我向你介紹一些他們中最雄辯的支持者。

數字烏托邦主義者：數字生命是宇宙進化的天賜之選

小時候，我認為億萬富翁都是浮夸和自大的，但2008年，當我在谷歌公司遇到拉里·佩奇時，他完全顛覆了我的刻板印象。佩奇穿著一條休閑牛仔褲，一件非常普通的襯衫。如果他坐在麻省理工學院的草地上，一定會迅速地融入野餐的人群。佩奇講話的時候很溫和，笑起來十分友善，這讓我在和他交談時感到很放松，沒有一絲緊張感。2015年7月18日，埃隆·馬斯克和他前妻塔盧拉·賴利（Talulah Riley）在納帕谷舉行了一個宴會。在宴會上，我遇到了佩奇，聊起了我們的孩子對糞便的共同興趣。我推薦了安迪·格里菲思（Andy Griffiths）的經典作品《我的屁股發瘋的那天》（The Day My Butt Went Psycho），佩奇馬上就買了一本。我不斷地提醒自己，他可能是人類歷史上最具影響力的人：我猜測，假設在我的有生之年出現了吞噬宇宙的超級智能數字生命，這個決定應該就是佩奇做出的。

后來，我們與我們的妻子們——露西·索斯沃斯（Lucy Southworth）和梅亞·奇塔·泰格馬克（Meia Chita-Tegmark）一起共進晚餐。在席間，我們討論了機器會不會產生意識這個問題。佩奇認為，這個問題是在混淆視聽，并沒那么重要。稍晚些時候，在雞尾酒會之后，佩奇和馬斯克展開了一場冗長但熱烈的辯論，主題是人工智能的未來以及我們應該為此做些什么。到凌晨時，圍觀者變得越來越多。我認為，佩奇激烈維護的觀點正是我認為的“數字烏托邦主義者”特有的觀點。這個派別認為，數字生命是宇宙進化自然而然、令人期待的下一步，如果我們讓數字智能自由地發展，而不是試著阻止或奴役它們，那么，幾乎可以肯定地說，結果一定會是好的。我認為，佩奇是數字烏托邦主義最具影響力的支持者。他說，如果生命會散播到銀河系各處甚至河外星系（他認為這肯定會發生），那么，這應當以數字生命的形式發生。他最大的擔心是，人們對人工智能的猜疑和妄想會延遲這個數字烏托邦的到來，而且可能會導致邪惡的人工智能發動軍事叛亂，接管人類社會，違背谷歌“不作惡”的座右銘。馬斯克則一直還擊，要求佩奇把觀點講得更詳細一些，比如，為什么他如此相信數字生命不會毀滅我們關心的一切。佩奇時不時抱怨馬斯克有“物種歧視”：只因某些生命形式是硅基而非碳基就認為它們低人一等。從第4章開始，我們會回到這些有趣的問題上，進行詳細的探討。

在那個炎熱夏日的泳池邊，盡管佩奇似乎有些寡不敵眾，但實際上，他極力維護的“數字烏托邦主義”擁有許多支持者。1988年，機器人學家兼未來學家漢斯·莫拉維克（Hans Moravec）寫了一本經典著作《智力后裔》（Mind Children），這本書啟發了整整一代數字烏托邦主義者。因此，這一觀點得以延續下來，后來又被未來學家雷·庫茲韋爾（Ray Kurzweil）所提煉。理查德·薩頓（Richard Sutton）是人工智能領域強化學習的先驅，在我們于波多黎各島舉行的會議上，他激情四射地捍衛了數字烏托邦主義。我之后會簡略地給你講講這個會議的情況。

技術懷疑主義者：沒有必要杞人憂天

有些思想家一點也不擔心人工智能將會帶來的影響，不過，不擔心的原因卻與數字烏托邦主義者截然不同。這些思想家認為，建造超人類水平的通用人工智能實在太困難了，沒有幾百年的時間，根本無法實現，因此沒必要杞人憂天。我把這種觀點稱為“技術懷疑主義”。擁有“中國谷歌”之稱的百度的前首席科學家吳恩達對這種觀點進行了很好的闡釋：“擔心殺手機器人的崛起，就好像擔心火星出現人口過剩一樣。”最近在波士頓的一場會議上，吳恩達再次向我重申了自己的這個觀點。他還告訴我，他擔心對人工智能風險的擔憂可能會引導人們對人工智能充滿惡意，從而制約人工智能的發展。還有一些技術懷疑主義者也發表過類似的言論，比如Roomba掃地機器人和Baxter工業機器人制作背后的原麻省理工學院教授羅德尼·布魯克斯（Rodney Brooks）。我發現一個很有趣的事實：盡管數字烏托邦主義者和技術懷疑主義者都認為我們無須擔心人工智能，但在其他事情上，兩者的共同點卻少之又少。大部分烏托邦主義者認為，與人類智能水平相當的通用人工智能可能會在20～100年內實現，而技術懷疑主義者認為，這是一種烏托邦式的幻想，他們經常會嘲笑一些人預測的“奇點”，并將其戲謔為“書呆子的臆想”。2014年12月的一個生日宴會上，我遇到了布魯克斯，他對我說，他百分之百地肯定，奇點不會發生在我的有生之年。“你確定你的意思不是99%？”在后來的一封郵件中，我如此問道。他回復我說：“不是沒用的99%。就是100%。奇點根本不會發生。”

人工智能有益運動支持者：人工智能的研究必須以安全為前提

2014年6月，我在巴黎的一家咖啡館第一次遇到了人工智能先驅斯圖爾特·羅素（Stuart Russell），他是典型的英國紳士，彬彬有禮。而且，他能言善辯，思維縝密，語調溫和，眼中閃爍著富于冒險的光芒。在我眼中，他仿佛就是斐利亞·福克（Phileas Fogg）的現代版本。福克是儒勒·凡爾納于1873年的小說《八十天環游地球》中的人物，是我童年時代心目中的英雄。雖然羅素是迄今在世的最著名的人工智能研究者之一，也是人工智能領域的標準教科書的作者之一，但他的謙遜和熱情很快讓我放松下來。他向我解釋說，人工智能領域的進展讓他相信，與人類智能水平相當的通用人工智能真的有可能在本世紀內變成現實。盡管他充滿希望，但他明白，并不是百分之百會產生好的結果。我們必須先回答一些重要的問題，而這些問題又是非常難以回答的，我們應該從現在就開始研究，這樣，到我們需要它們時，手邊才會有現成的答案。

今天，羅素的想法比較符合主流的觀點。全球各地有許多團隊正在進行他支持的人工智能安全性（AI-safety）研究。不過，對人工智能安全性的研究并不是歷來如此。《華盛頓郵報》一篇文章將2015年視為人工智能安全性研究進入主流視野的元年。在那之前，對人工智能風險的討論常常被主流人工智能研究者所誤解和忽視，而且，他們將進行人工智能安全性研究的人視為企圖阻礙人工智能進步并四處散播謠言的“盧德分子”。我們將在第5章繼續探討這個話題。

實際上，與羅素類似的擔憂最早是由計算機先驅艾倫·圖靈和數學家歐文·古德在半個世紀之前提出來的，古德與圖靈在第二次世界大戰中一起破譯過德國軍事的密碼。在過去的10年里，關于人工智能安全性的研究主要由一些獨立思想家來完成，比如埃利澤·尤德考斯基（Eliezer Yudkowsky）、邁克爾·瓦薩（Michael Vassar）和尼克·波斯特洛姆（Nick Bostrom），不過，他們并不是專業的人工智能研究者。這些人的研究對主流人工智能研究者影響甚微，因為主流研究者總是聚焦于他們的日常工作——如何讓人工智能系統變得更智能，而不是思考如果他們成功了會造成什么樣的長期后果。我認識的一些人工智能研究者，即便他們心中略有遲疑，也不太愿意表達出來，因為擔心自己會被視為危言聳聽的技術恐慌者。

我覺得，這種有失偏頗的情況需要被改變，這樣，整個人工智能界才能聯合起來，一起討論如何建造對人類有益的人工智能。幸運的是，我并不是孤身一人在作戰。2014年春天，我與我妻子梅亞、我的物理學家朋友安東尼·阿吉雷（Anthony Aguirre）、哈佛大學的研究生維多利亞·克拉科芙娜（Viktoriya Krakovna）以及Skype創始人揚·塔里安（Jaan Tallinn）一起，成立了一個非營利性組織“未來生命研究所”（Future of Life Institute，簡稱FLI）。我們的目標很簡單：保證生命在未來繼續存在下去，并盡可能的興旺發達。具體而言，我們認為，技術賦予了生命一種力量，這種力量要么讓生命實現空前的興盛，要么讓生命走向自我毀滅，而我們更青睞前一種。

2014年3月15日，未來生命研究所第一次會議在我家舉行，我們開啟了一場頭腦風暴。大約有30人參加，與會者包括來自波士頓地區的學生、教授和其他思想家。會議在這個問題上達成了廣泛的共識，那就是，雖然我們也應該關注生物技術、核武器和氣候變化，但我們的第一個主要目標是幫助人工智能安全性研究進入主流視野。我在麻省理工學院物理系的同事、因研究夸克而獲得諾貝爾獎的弗蘭克·韋爾切克（Frank Wilczek）建議我們，可以從撰寫專題文章開始，吸引人們對這個問題的注意力，從而讓這個問題變得不容忽視。于是，我向羅素（那時候我還沒見過他）和我的物理學同行史蒂芬·霍金尋求幫助，他們二人都同意加入我和韋爾切克，作為共同作者，一起寫文章。雖然我們的專題文章改寫了很多次，但還是被《紐約時報》等眾多美國報紙拒絕，因此，我們將其發表在了我們在《赫芬頓郵報》的博客賬號上。令我高興的是，《赫芬頓郵報》聯合創始人阿里安娜·赫芬頓（Arianna Huffington）親自寫來郵件說：“看到這篇文章，我太激動了！我們會把它放在頭條的位置上。”于是，這篇文章被放在了主頁的頂部，并引發了一大波媒體對人工智能安全性研究的報道，這波熱潮一直延續到了當年的年底。埃隆·馬斯克、比爾·蓋茨等科技界領袖紛紛加入討論。同年秋天，尼克·波斯特洛姆出版了《超級智能》（Superintelligence）一書，再一次點燃了公眾的討論熱情。

在未來生命研究所，人工智能有益運動的下一個目標是讓世界頂級的人工智能研究者齊聚一堂，澄清誤解，鑄就共識，并提出富有建設性的計劃。我們知道，想要說服一群享譽全球的科學家來參加一個由外行人組織的會議是很難的，尤其是會議的主題還如此富有爭議。因此，為了邀請到他們，我們竭盡了全力：禁止媒體參會；將會議時間安排在2015年1月份，地點安排在波多黎各的一個海濱度假村；免去了一切參會費用。我們給這次會議起了一個我們所能想到的最不危言聳聽的標題：“人工智能的未來：機遇與挑戰”。多虧我們的團隊中有斯圖爾特·羅素，因為有他的幫助，我們的組織委員會里才得以加入一批來自學術界和產業界的人工智能領袖，包括人工智能企業DeepMind創始人德米斯·哈薩比斯（Demis Hassabis），正是他，在2017年向人們證明了人工智能可以在圍棋中打敗人類。我對哈薩比斯了解得越多，就越發現他的熱情不僅在于讓人工智能變得更強大，還在于讓人工智能變得有益于人類。

結果，這是一場心靈的非凡碰撞（見圖1-3）。人工智能研究者、頂級經濟學家、法律學者、科技領袖等思想家齊聚一堂，這些人中包括埃隆·馬斯克和提出了“奇點”（Singularity）這個詞的科幻作家弗諾·文奇（Vernor Vinge），我們會在第4章聚焦這個話題。

這次會議的結果超過了我們最樂觀的預期。或許，是因為有陽光與紅酒的相伴，又或許，是因為時機正好。盡管話題很有爭議，但我們最后還是達成了一份了不起的共識。我們將共識的詳細內容寫入了一封公開信，最后有8000多人簽名，其中涵蓋了名副其實的“人工智能名人譜”。公開信的主旨是，我們應該重新定義人工智能的目標：創造目標有益的智能，而不是漫無目標的智能。公開信還提到了一份研究課題列表。參會者都同意，這些課題能進一步推進上述目標。人工智能有益運動開始逐步進入主流社會。在本書之后的章節中，我們將會介紹該運動的后續進展。

這個會議的另一個重要收獲是：人工智能的成功所引發的問題不僅在智識上令人著迷，而且在道德上也非常重要，因為我們的選擇可能會影響生命的整個未來。在歷史上，人類所做出的選擇的倫理意義固然很重要，但卻時常受到限制：我們能從最嚴重的瘟疫中恢復，但最雄偉的帝國最終也會分崩離析。在過去，人們知道，無論什么時候，人類都會面臨常年不斷的災害，比如貧窮、疾病和戰爭，這個事實就像太陽早晨一定會升起一樣肯定，因此，我們必須想盡辦法解決這些問題。不過，波多黎各會議上的一些發言人稱，現今面臨的問題可能和以前不一樣。他們說，這是歷史上頭一遭，我們或許能發明出足夠強大的科技，可以將那些災害永久性地清除出去；又或者，它也可能將人類推向末日。我們可能會在地球上甚至地球之外構建出一個空前繁榮的社會，同時也可能會讓全世界都處于強大的卡夫卡式的監控之下。