我們將去向何方？誰將主宰？

吉米告訴我：“我的車子差點讓我發生車禍。”

“你的車子？怎么可能？”我問。

“在高速公路上長驅向前時，我使用自適應巡航系統（adaptive cruise control）。你知道，它能讓汽車保持勻速前進。當前方有車時，車子會自動減速，以保持安全距離。就這樣不久，路上汽車越來越多，所以我的車也減速慢了下來。后來，我快到達出口，就把車子轉進右側車道，準備離開高速公路。到那時，我已經使用自動巡航系統很久了，一直保持在低速下，連自己都忘了自動巡航系統還在開啟中，可是車子沒有忘記。我猜想它一定在自言自語：‘好棒啊，我前面終于沒有車子了。’然后它開始加速，直至高速公路上的限速——盡管此時正行駛在出口匝道上，需要慢速行駛。幸虧我很警覺，及時踩了剎車，否則后果不堪設想。”

我們如何適應科技，正處于重要變化之際。直到現在，人都還在主宰機器。我們控制機器的開關，指示它做何操作，并引導它完成一系列的操作。當科技越來越強大和復雜，我們就越不能了解它如何作用，更難以預測它的行為結果。當電腦和微處理介入，我們經常會感到迷惘和困擾、煩惱和氣憤。我們仍然自認為在主宰機器。而實際上，現在我們的機器正在逐步接管一切。它們看似頗具智慧和意志，其實不然。

機器善意地監控著我們的一舉一動，當然，這是為了安全、方便或者精確。當一切都正常時，這些聰明的機器確實有幫助；增進安全，減低重復動作帶來的無聊，使我們的生活更方便，而且比我們更精確地完成任務。當一部車子突然從前面硬擠進來時，我們的車子能自動平穩地換擋減速，的確是件很好的事。同樣的，微波爐知道馬鈴薯已經熟了，也是件不錯的事。可是，如果機器失敗了呢？如果它做了不當的動作，或與我們爭奪控制權，那會怎么樣？吉米的車子注意到前面沒車，因此在出口匝道上以高速公路的速度加速前進，結果如何？同樣的機器在正常狀況下很有用處，然而在突發狀況下卻會降低安全，減少舒適性和喪失準確性。對我們身處其境的人，它會導致危險和不適，帶來挫折和氣憤。

現今，當機器設備出現問題時，大都有提示和警報信號來表示自身的狀態。當機器有了問題，經常需要操作者在沒有預警的狀況下參與控制，經常沒有充分的時間做出適當反應。吉米幸虧能及時糾正汽車自動巡航系統的錯誤。如果他沒有及時發現問題呢？也許就會因此造成車禍而受到責怪。而諷刺的是：現實中，當一部所謂的智能設備導致出現事故時，經常會被歸咎于人為錯誤。

要讓人和智能設備之間順暢地互動，合理的方法是同時增強人與設備雙方的協調與合作。可惜設計這些系統的人往往不了解這一點。設備是如何判斷什么事情重要或不重要的？尤其當某情況下重要的事，而在另外一種情況下也許并不重要？

我曾經告訴數家汽車公司的工程師有關吉米和他的汽車的故事。他們通常有兩種反應：首先，他們責怪開車的人，駕駛者在即將駛入出口之前為何不關閉定速巡航系統？我解釋說他忘了。工程師們的另一個反應就是：他的駕駛技術不好。這種“責備-培訓”（blame-and-train)的哲學常常讓使責備者、保險公司、立法單位或社會人士自我感覺良好：人若犯錯，加以懲處。可是這樣并不能解決根本問題。不良的設計、不良的流程、不良的設施和不良的操作習慣通常才是真正的元兇，人只不過是這一連串復雜流程的最后一步。

盡管汽車制造商認為駕駛員應該記住車子自動控制系統的模式，從技術上來講沒錯，但這不能作為不良設計的借口。我們應該設計利用科技，使其契合使用者的實際行為方式，而不是要規定他們應該怎么做。更何況車子自動控制系統的設計并不能幫助駕駛員記憶。事實上，反而促使他們容易遺忘。定速巡航系統幾乎沒給駕駛員提供任何有關系統現況的線索：車子最好能夠提醒駕駛員正在使用哪些系統。

當我向設計汽車的工程師提起這點時，他們立即做出下一個反應：“是的，這是一個問題，不過，不必擔心，我們會改正。你說得對，汽車的導航系統應該知道車子到了高速公路的出口匝道，然后應該自動斷開巡航系統，或者至少切換到安全車速。”

這說明了一個基本的問題，機器并不聰明：智慧在設計者心中。設計者坐在自己的辦公室內，試圖想象汽車和駕駛員之間所有可能發生的事，然后思考解決問題的方法。可是，設計者怎么能決定對意外事件該如何反應？當我們遇到異常狀況，可以應用有創意、有想象力的方法解決。由于我們所設計的機器的“智能”并非真正存在于機器中，而是存在于設計者的腦子里，當意外事件發生時，如果設計者不在場從旁進行幫助，機器通常就會出問題。

對于意外事件，我們有兩點認識：首先，它們經常會發生；其次，它們發生的時刻，往往無法預期。

有一次，一家汽車公司的工程師給了我關于吉米故事的第三種反應。他不好意思地承認自己也碰到過被巡航系統誤導的事情，但那是另外一種情況：變換車道。在繁忙的高速公路上，駕駛者若要變換車道，必須要等到自己想要進入的車道有足夠的空檔，然后快速插入并道。這意味著，并道時，距離前后的車距都很近。在這種情況下，自動巡航系統很可能由于判斷與前車距離太近而剎車。

“這有什么問題嗎？”我問。“哦，也許會惹惱對方，但對我自己應該安全。”

“不，”工程師說：“這樣很危險，因為后面的駕駛者不知道你會突然并道后又踩剎車。如果他們沒有高度警惕，就會追尾。再說即使沒有撞上你，后面的駕駛者對你開車的方式也會很不悅。”

“或許，”該工程師笑著說：“也許車子應該裝上特殊的剎車燈，每當駕駛者沒有踩剎車而車子自動剎車時，此燈就會亮起來。這樣可以告訴后面車子：‘嘿，不要怪我，是汽車自動剎車的。’”

這個工程師雖然在開玩笑，但他這席話卻道出了人與機器之間的緊張關系。人們會因為各種理由采取行動，有些是正當的，有些就未必，有時會設想周密，有時則不計后果。機器則比較一致，根據人們早已編好的電腦程式和邏輯規則，對實際狀況加以衡量。但是機器有個根本的限制：它們對外界的覺察和人不一樣，它們欠缺比較高層的目標，而且它們無法理解必須與其互動的人的目標和動機。換句話說，機器與人有著本質上的不同：它們在某些方面比較強，特別是速度、動力和一致性，另外一些方面，像社交技巧、創意和想象力則比較弱。機器還欠缺同理心，即它們的行動對周遭的人會引起什么樣的影響。這些機器與人的差異，尤其是社交技巧和同理心，正是問題的癥結。更重要的是，這些差異也是沖突，是最根本的問題，不是簡單快速地修改一下電腦程序邏輯，或補充一個感應裝置就可以解決的。

如此，機器的行動與人的意愿就起了沖突。在很多情況下，這完全沒有問題，譬如，只要洗衣機能把衣服洗得干干凈凈，我不在意它洗衣服的方式與我的方法大相徑庭。一旦把衣服放進洗衣機并開機，它就自動開始工作，那是一個封閉的環境。一旦啟動，機器就開始接手工作，只要我不橫加干涉，一切都順利運作。

然而，在需要人和機器共同合作的狀況下會怎樣呢？抑或洗衣機開始工作后，我卻改變了心意？如果讓它知道我想重新設定洗衣程序？一旦自動洗衣流程已經開始運作，新的設定何時生效呢？還是要等到下一個加水時段？這個例子說明人和機器的反應迥異。有時，機器的反應看似完全武斷強硬，然而，機器如果能夠思考和說話，我猜想它會向你解釋自己的做法，認為人類才是捉摸不定、反復無常的。對使用者而言，這種持續的鉤心斗角會讓人感到沮喪。對觀察者來說，會深覺困擾，因為搞不清楚誰在控制，或者為何呈現某種特異的行為。人或機器，誰對誰錯真得并不重要，重要的是人與機器的不一致，會導致激憤、挫折，有時甚至造成損害或受傷。

人與機器之間行為的沖突是一個根本問題，因為不管機器的能力如何，它們都不能對周遭環境、對人的目標和動機以及對經常發生的異常狀況有足夠的了解。在一個完全可控的環境里，沒有令人討厭的人在旁邊干擾，沒有突發事件，且一切都能正確預測時，機器會運轉良好。這就是自動化發揮長處的舞臺。

但是，盡管其所處的環境完全受控而機器運轉良好時，它們的表現也并非完全符合我們的期望。以“智能”微波爐為例，它知道該用多大火力、多長時間烹調食物。當它工作時，一切都很順利：你只要把新鮮的鮭魚放進去并設定它你要烹魚。時間一到，烹調得正好，不管是水煮魚還是清蒸魚，它都用自己的程式做到最好。使用手冊上面寫道：“感應器能測出烹調期間增加的溫濕度，而且微波爐會根據不同種類和數量的食材自動調整烹飪時間。”但是，請注意這說明并未提到微波爐和人類的烹飪方式是否一樣。人會試試食物的硬度，看看顏色，或者再測量一下食物內部的溫度。這些微波爐都做不到，所以它只能做自己能做到的——測量溫濕度，它利用溫濕度來推論烹飪的程度。對于魚類和蔬菜，這個方法好像沒問題，但對其他食品則并不盡然。進一步說，感應系統的技術并非完美無缺。如果時間到了，食物卻仍未做熟，對于二次使用感應器，使用手冊警告說：“對同一道菜^[1]，不要連續用兩次感應系統，否則可能烹煮過度，或者燒焦食物。”智能微波爐也有其限度。

這類裝備能不能幫助居家用戶？可以說有，也可以說沒有。如果機器被認為是有“主見”的，它們一定會非常傲慢，不會告訴人家為什么它要這么做或它怎么做的，也不會說它們正在做什么，食物成熟到什么程度，潔凈度如何，或者衣物烘干了沒有。這些機器都靠傳感器控制，當結果不如所料時，就不知道該怎么辦。我知道很多人有足夠理由不愿使用這類設備，感興趣的人想知道“機器為什么這樣做”？對這個問題，設備無法回答，使用手冊也只字不提。

在世界各地的實驗室中，科學家們正在研究如何將更多的智能設備引進我們的生活里。有些實驗中的房子能感應到屋中居住者的所有動靜，自動開關燈，調節室溫，甚至還能挑選音樂。正在進行中的項目不勝枚舉：冰箱可以防止讓你吃進變質的食品，馬桶泄露你排出的體液狀況給醫生。冰箱和馬桶看似不配的搭檔，但它們合作起來可以監控你的飲食習慣，一個試圖控制吃進身體的食物，另外一個測量和評估排出體外的東西。我們有苛刻的體重計時刻監控我們的體重，根據需要使用健身器材。甚至茶壺用尖叫來提醒我們注意水開了。

當越來越多的聰明的設備進入日常生活，我們的生活會變得有好有壞。如果機器滿足我們所愿，那還不錯。但如果它們做不到，或導致本來很有效率、創意的使用者變成機器的仆人，隨時在監控、修理和維護機器，那就不太理想。這當然是不應發生的事，可事實確定如此。現在還來得及改進嗎？我們對此能做些什么？