第三章　遏制問題

報復效應

艾倫·圖靈和戈登·摩爾不可能預見、更不可能左右社交媒體、表情包、維基百科或網絡攻擊這些新生事物。在原子彈問世幾十年后，原子彈的制造者已無法再阻止核戰爭爆發，就像亨利·福特無法阻止車禍發生一樣。技術所面臨的必然的挑戰在于，一旦某項發明問世并融入世界，其創造者就會迅速失去對其發展走向的控制。

技術存在于一個復雜且動態的系統（現實世界）中，其二階、三階乃至更高階的影響會以不可預測的方式擴散。理論上看似完美的技術，在現實中可能展現出完全不同的面貌，尤其是在它被復制和后續改造的過程中。無論一項發明的初衷多么友善，我們都永遠無法保證人們會如何實際運用它。托馬斯·愛迪生發明留聲機，原本是為了讓人們記錄自己的想法并為后世保存下來，也為了幫助盲人。然而，令他感到震驚的是，大多數人只是用留聲機來播放音樂。阿爾弗雷德·諾貝爾發明炸藥的初衷是將其用于采礦和鐵路建設。

谷登堡最初只是想通過印刷《圣經》來賺錢。然而，他的印刷機卻催生了科學革命和宗教改革運動，也因此成為天主教教會自創立以來遭遇的最大威脅。冰箱制造商從沒有想過氯氟碳化物會在臭氧層造成空洞，正如內燃機和噴氣式發動機的發明者未曾想到它們會導致冰山融化。事實上，早期的汽車愛好者曾認為汽車對環境有積極影響，他們認為，有了發動機，街道上那些堆積如山的馬糞就會消失，而馬糞曾是造成城市地區污垢和疾病傳播的罪魁禍首。他們根本沒想到全球變暖的問題。

理解技術，在某種程度上，就是要嘗試理解其意料之外的后果。1我們不僅要預測技術帶來的積極溢出效應，還要預測其“報復效應”。簡言之，任何技術都有可能出錯，而且往往是以一種與初衷背道而馳的方式出錯。想想處方阿片類藥物如何導致依賴成癮；抗生素的過度使用如何削弱了其藥效；衛星和所謂的“太空垃圾”碎片的激增如何給太空飛行帶來極大風險。這些都是典型的例子。

當技術不斷擴散，越來越多的人能夠使用、修改，并按自己的喜好來塑造它時，這會觸及一連串錯綜復雜、難以預料的因果鏈條。隨著我們的工具的力量呈指數級增長，普及程度急劇攀升，它們的潛在危害也在同步激增，其后果仿佛一個復雜難料的迷宮，無人能預測或防范。

某一天，有人在黑板上寫下幾個方程，或者在車庫里擺弄一個看似微不足道的原型機。然而，幾十年后，這些看似無足輕重的舉動卻可能帶來生死攸關的問題。隨著我們構建的系統日益強大，技術的風險面對我來說也變得越來越緊迫。我們如何保證這場新的技術浪潮利大于弊？

技術的這一問題是一個遏制問題。徹底消除這個問題可能難以實現，但我們可以減少它的影響。遏制是一種至關重要的能力，涵蓋了控制、限制以及必要時在技術的任何發展或部署階段關閉技術的能力。在某些情況下，這意味著我們一開始就應具備阻止技術擴散的能力，從而遏制潛在意外結果的蔓延，無論這些結果是好是壞。

技術的力量越強大，它就越是深入生活和社會的方方面面。因此，技術的問題往往會隨著技術能力的提升而加劇，所以隨著時間的推移，遏制的需求也變得更加迫切。

面對這些問題，技術人員可能袖手旁觀嗎？絕對不能。相比其他人，我們更需要直面這些問題。我們或許無法控制技術的最終點或其長遠影響，但這絕非推卸責任的理由。技術人員和社會在源頭上做出的決策，仍然有可能塑造結果。結果難以預測，并不意味著我們應該放棄嘗試。

在大多數情況下，遏制代表著一種富有意義的控制，表示我們有能力阻止特定的使用案例、改變某個研究方向或拒絕有害行為者的使用權限。這意味著我們要保持我們引導浪潮的能力，以確保技術的影響與我們的價值觀相契合，能助力我們這個物種的繁榮發展，并且不會帶來大于其益處的重大危害。

本章將揭示實現該目標所面臨的巨大挑戰。