官术网_书友最值得收藏!

第3章 天算論(2)

  • 超級智能
  • (英)尼克·波斯特洛姆
  • 3735字
  • 2016-03-11 15:55:09

用我的話解釋,這是一個(gè)效能公式。效能就是效率(相對復(fù)雜性)的變化率,因此智能變化率就是智能效率(最優(yōu)化力)的微分。智能的效能取決于效率(所謂的最優(yōu)化力)與邊際成本變化(所謂的反抗度)的比率。

其中作者沒有直接點(diǎn)出的條件是,邊際成本是相對于復(fù)雜度而變化的(遞增或遞減)。越復(fù)雜,決策成本越低,就叫靈活(SMART,正的智慧);越復(fù)雜,決策成本越高,就叫遲鈍(負(fù)的智慧)。智能變化率相當(dāng)于張瑞敏說的打移動(dòng)靶,最優(yōu)化力相當(dāng)于他說的打固定靶。反抗度指的就是目標(biāo)轉(zhuǎn)變時(shí),要求槍口隨目標(biāo)移動(dòng)轉(zhuǎn)換所需付出的成本。

因此,智能變化率就是《周易》所說的那個(gè)“易”,也就是輕輕松松化解復(fù)雜性,表現(xiàn)為太極的“隨物宛轉(zhuǎn),與心徘徊”。舉例來說,表現(xiàn)在中華民族,就是5000年來對復(fù)雜變化的適應(yīng)(近期如快速適應(yīng)世界貿(mào)易組織);表現(xiàn)在個(gè)人能力上,如打乒乓球的靈活。超級智能,就是把這個(gè)中國人人無師自通的東西變成電腦的能力。

據(jù)我考證,人類的第一篇“天算論”,是微積分(也就是變化率之學(xué))的發(fā)明者萊布尼茨1703年發(fā)表于核心期刊《皇家科學(xué)院紀(jì)錄》上的《論中國伏羲二進(jìn)位制級數(shù)》。萊布尼茨在論文中說:“讓我感到自豪的是,若我未發(fā)現(xiàn)二進(jìn)位制數(shù)學(xué),這個(gè)六十四卦的體系,即伏羲易圖,再耗費(fèi)許多時(shí)間也不會(huì)被搞明白的。”

電腦的二進(jìn)制就主要是從這里來的,只不過當(dāng)年萊布尼茨送給康熙的二進(jìn)制計(jì)算器(帕斯卡爾二代機(jī))不是電的,而是手搖的。2004年中國還拿它到凡爾賽宮展覽過—它是超級智能在500年前的祖先。

人算控制天算

當(dāng)人算不如天算時(shí),以往人類典型的解決方案是像“霸王別姬”那樣抹脖子。

項(xiàng)羽認(rèn)為是天要亡他,人算不如天算,趕緊讓腦袋像燈泡那樣掉下來就完了。

波斯特洛姆的方案比項(xiàng)羽的方案要積極一些,至少先別認(rèn)輸,還要看看天算會(huì)有哪些規(guī)律,人算能有哪些辦法。這就是本書第五章以后的主要內(nèi)容。

雖然不敢說作者的這些辦法從根上是否管用,但想總比不想好,況且有許多想法還確實(shí)開闊了我們的思路。讀過本書以后的第一感覺是,項(xiàng)羽算白死了。

讀者讀到這里時(shí),應(yīng)該把自己想象成被別人追到烏江了,正想抹脖子,轉(zhuǎn)念一想,辦法也許會(huì)有,并且“萬一實(shí)現(xiàn)了呢”?

作者首先討論了超級智能的形式和能量,以及具有決定性優(yōu)勢的超級智能體有哪些戰(zhàn)略選擇。之后探討的重點(diǎn)轉(zhuǎn)向控制問題,并提出為了獲得可生存并且有利的結(jié)果,如何塑造初始條件的問題。最后指出為了增加成功概率,現(xiàn)在可以做些什么。我們分別進(jìn)行介紹。

一、戰(zhàn)略分析與控制

1.決定性戰(zhàn)略優(yōu)勢:分析形勢

提出正確問題,是解決問題的第一步。而第一個(gè)問題應(yīng)該是什么?

作者建議這樣提出問題:將會(huì)有一個(gè)還是多個(gè)超級智能?是否會(huì)有一次智能爆發(fā)能夠推動(dòng)某一個(gè)項(xiàng)目,使其遠(yuǎn)遠(yuǎn)超越其他所有項(xiàng)目,從而主宰未來?或者進(jìn)展會(huì)比較一致,在廣闊的范圍里同時(shí)展開,包含很多個(gè)項(xiàng)目,但是沒有一個(gè)能夠長期擁有壓倒性的領(lǐng)先地位?

這話說得比較繞,讓我用大白話翻譯吧:項(xiàng)羽轉(zhuǎn)念一想,將來是劉邦一家獨(dú)大呢,還是劉邦與其他人(如韓信、臧荼、張耳、彭越……)相爭呢?

2.超級認(rèn)知能力:分析霸主的戰(zhàn)略

第二步分析,假設(shè)出現(xiàn)了一個(gè)數(shù)字超級智能體,而且出于某種原因,它想要統(tǒng)治全球,那么它能夠成功嗎?作者進(jìn)一步探討超級智能會(huì)擁有哪些能力,以及這些能力能用來做什么。

相當(dāng)于如果判斷未來是劉邦一家獨(dú)大,就要進(jìn)一步分析他會(huì)有哪些能力,用于何處。

3.超級智能的意愿:分析戰(zhàn)略目標(biāo)與手段之間的關(guān)系第三步分析,超級智能可以擁有極大的根據(jù)自己的目標(biāo)塑造未來的能力。但是,它的目標(biāo)會(huì)是怎樣的?一個(gè)人工智能體的智能與動(dòng)機(jī)之間是什么關(guān)系?

作者設(shè)想了兩種情況。一是目標(biāo)導(dǎo)向(正交性論點(diǎn)),智能和最終目標(biāo)是獨(dú)立變量,任何水平的智能都可以搭配任何最終目標(biāo)。二是工具導(dǎo)向(工具性趨同論點(diǎn)),不管超級智能具有一系列最終目標(biāo)中的哪種,都將選擇相似的中間目標(biāo),因?yàn)樗鼈冇羞@么做的共同工具性理由。通過這兩種論點(diǎn),就可以思考一個(gè)超級智能體想要做什么的問題了。

相當(dāng)于分析劉邦想要做什么,是目標(biāo)導(dǎo)向的呢,還是手段導(dǎo)向的(為了手段而忘記目標(biāo)型的)?

4.結(jié)局注定是厄運(yùn)嗎?不同路徑具有不同后果作者發(fā)現(xiàn):當(dāng)人工智能本來愚蠢時(shí),變聰明是更安全的;但是當(dāng)它本來就聰明時(shí),變得更聰明則是更危險(xiǎn)的。就像有一個(gè)軸心點(diǎn),到這個(gè)點(diǎn)上,原來很有效的策略會(huì)突然開始逆反。我們可以把這個(gè)現(xiàn)象叫作“背叛轉(zhuǎn)折”。

作者舉了個(gè)例子:假設(shè)人工智能的最終目標(biāo)是“讓項(xiàng)目的贊助者高興”,于是它使在贊助者大腦的快樂中樞植入電極,這樣就能夠保證贊助者感受到極大快樂。當(dāng)然,贊助者可能并不想被改造成整天咧著嘴笑的傻子,但是如果這樣能最大限度地實(shí)現(xiàn)人工智能的最終目標(biāo),那么人工智能也會(huì)去實(shí)施這個(gè)方案。

相當(dāng)于如果劉邦太強(qiáng)大,無法被搞定,但如果他像洪秀全那樣沉溺于酒色,以為天下已經(jīng)搞定,這時(shí)便仍有機(jī)會(huì)。

5.控制問題

作者認(rèn)為,如果智能爆發(fā)的默認(rèn)后果是導(dǎo)致存在性災(zāi)難的發(fā)生,那么面對這樣的威脅,我們的思路必須立刻轉(zhuǎn)向?qū)で髴?yīng)對方法。有沒有辦法可以避免這樣的默認(rèn)結(jié)局?有沒有可能設(shè)計(jì)出受控制的智能爆發(fā)?

作者將對策集中于委托–代理問題,并把方法分為兩大類:能力控制和動(dòng)機(jī)選擇。

相當(dāng)于是選擇把文章做在韓信等將軍身上以使其造反,還是把文章做在劉邦身上以使其喪志。

6.多極情景:諸侯割據(jù)

這是與上面第2點(diǎn)并列的分岔。相當(dāng)于分析不是劉邦獨(dú)大,而是陷入諸侯割據(jù)的情況。

作者對這一情景的關(guān)注包含兩個(gè)層面。首先,社會(huì)融合可能會(huì)成為控制問題的一種解決方式。其次,即使沒有人著手去創(chuàng)造出多極條件來解決控制問題,多極結(jié)局也可能發(fā)生。那么,這種結(jié)局看起來可能是什么樣的呢?最終的競爭社會(huì)不一定會(huì)吸引人,也不一定能長久持續(xù)。

相當(dāng)于項(xiàng)羽如果分析到劉邦集團(tuán)會(huì)自亂陣腳,陷入內(nèi)亂,那就沒必要著急抹脖子了—畢竟先三十年河?xùn)|,再三十年河西。

二、獲取價(jià)值觀

《獲取價(jià)值觀》一章及以后的《確定選擇標(biāo)準(zhǔn)》各章是本書的精華,具有超越本書的普世的閱讀價(jià)值。

1.“目標(biāo)系統(tǒng)工程”

作者的本意,是提出一種叫“目標(biāo)系統(tǒng)工程”的東西,來避免出現(xiàn)天算超過人算后,電腦把自己當(dāng)作目的,而讓人成為電腦的手段這種異化局面。為此,主張人要先發(fā)制人(準(zhǔn)確地說是先發(fā)制“機(jī)”),把目標(biāo)的控制權(quán)掌握在人手中。用作者的話說:“對能力的控制最多是一個(gè)暫時(shí)、輔助的手段。除非要永久地限制超級智能,否則我們都需要掌握動(dòng)機(jī)選擇機(jī)制。”

我覺得最有意思的是“價(jià)值觀加載技術(shù)的總結(jié)”這張表(見本書第259頁)。

它對于治理各類目標(biāo)與手段不符的問題都有借鑒意義。它至少讓我們知道,除了搞運(yùn)動(dòng),人類還可以通過未來幾百年的建設(shè)來讓做事符合宗旨這件事,被專業(yè)化地完成。

作者關(guān)于“目標(biāo)系統(tǒng)工程”的具體設(shè)想,如管理效用函數(shù)、價(jià)值評估等,并不重要。將來會(huì)有人對其不斷改進(jìn),使之成熟。這本書最大的貢獻(xiàn)在于提出了一個(gè)非常正點(diǎn)(“思無邪”)的問題:“怎樣才能將一些價(jià)值觀加載到人工代理內(nèi)部,使該價(jià)值觀成為其追求的最終目標(biāo)呢?”這是人類一萬年來的夢想,但從來沒有實(shí)現(xiàn)過。“目標(biāo)系統(tǒng)工程”是關(guān)于魂的工程,離開了魂,夢便只不過停留在做夢階段。

正如作者指出的:“這個(gè)價(jià)值觀加載的問題很棘手,但一定要面對。”因?yàn)槌嘶甑脑颍€有現(xiàn)實(shí)而緊迫的原因:“如果這個(gè)代理不是智能的,那么它就會(huì)缺乏理解和再現(xiàn)那些對人類有意義的價(jià)值觀的能力。但是如果我們推遲進(jìn)程,直到代理變成超級智能之后才行動(dòng),就可以抑制住我們在其動(dòng)機(jī)系統(tǒng)中插手的企圖。”人類對土地、資本都沒有把握好,導(dǎo)致死傷幾千萬甚至幾億人以后,才想到提出正確的問題。希望這次不會(huì)再犯同樣的錯(cuò)誤。

2.意義建設(shè)

提出以“獲取價(jià)值觀”為核心的“目標(biāo)系統(tǒng)工程”,還具有更大意義。

我一直認(rèn)為,與農(nóng)業(yè)文明、工業(yè)文明并列的,是意義文明。信息只不過是意義的鏡子。談信息不談意義,好比只有鏡子,空無內(nèi)容。未來的互聯(lián)網(wǎng)是意義互聯(lián)網(wǎng)。意義就是這里說的“目標(biāo)”(準(zhǔn)確的說法是目的、宗旨),獲取價(jià)值觀則是指獲取對意義的把握權(quán)力(如果慎用“控制權(quán)力”這個(gè)字眼的話)。

工業(yè)文明有一個(gè)根本特點(diǎn),它是一個(gè)異化社會(huì)(資本主義、社會(huì)主義只是程度不同),異化社會(huì)的特點(diǎn)是系統(tǒng)地為了手段而忘記目的(例如,為了國內(nèi)生產(chǎn)總值而忘記幸福,為了貪污而忘記服務(wù),為了浪費(fèi)而忘記委托),這決定了工業(yè)社會(huì)整體來說,是把專業(yè)化的重點(diǎn)放在手段上,但必然的弱點(diǎn)是在目的上十分業(yè)余(表現(xiàn)在總是努力向東走,最后發(fā)現(xiàn)來到的是西邊)。

智能革命只是一種技術(shù)性的說法,映射到人文上應(yīng)是意義革命,也就是讓意義從不專業(yè)走向?qū)I(yè)的這樣一場革命。如果超越作者局限于自然科學(xué)的一般見識,順著“目標(biāo)系統(tǒng)工程”這一卓越思想,就可以發(fā)現(xiàn),作者所談的實(shí)際涉及的是信息文明的核心使命和實(shí)事(所謂“工程”)。

讀這本書,如果要有更大收獲,就要超越單純技術(shù)思維,從如何變一種類型的技術(shù)(異化的技術(shù))為另一種類型的技術(shù)(可“獲取價(jià)值觀”的技術(shù)),舉一反三地悟到如何讓整個(gè)技術(shù)作為手段服務(wù)于人的目的。

人算在技術(shù)上可能將來有不如天算的一天,但人因?yàn)榫哂幸饬x(再加上“清楚地知道如何制造超級智能機(jī)器”)而可以達(dá)到“人定”,于是順理成章可以“勝天”,或天人合一。

基于此,我說句題外話—超級智能,需要超級意義。

姜奇平

中國社會(huì)科學(xué)院信息化研究中心秘書長、《互聯(lián)網(wǎng)周刊》主編

主站蜘蛛池模板: 绥滨县| 五峰| 洞口县| 津市市| 宝坻区| 万州区| 繁昌县| 云龙县| 文安县| 兴山县| 仁寿县| 阿拉善右旗| 仁布县| 佛教| 海盐县| 容城县| 绍兴县| 五台县| 宁海县| 连州市| 耿马| 汪清县| 微山县| 万载县| 滨州市| 武冈市| 莒南县| 嘉祥县| 衢州市| 壶关县| 淮安市| 津南区| 晋城| 秦安县| 仁化县| 绥芬河市| 沿河| 织金县| 五原县| 洛隆县| 海阳市|