1.2　AI的能力是怎么來的？

要想知道AI能力的底層原理，就需要了解與自然語言處理領域相關的兩個極其重要的技術概念。

1．機器學習

機器學習的底層原理有點類似考前“刷題”。雖然有很多題目我們不會，但是通過不斷看題目和答案，做得多了，我們自然而然就會掌握一些答題的規律、技巧，從而可以利用這些規律、技巧解答其他類似題目，獲得高分。

只不過計算機“刷”的不是考試題，而是數據。我們把需要計算機學習的數據輸入計算機，在機器學習的機制下，計算機就會像我們刷題那樣，對這些數據進行反復學習和練習，直到掌握數據的一些規律和特征。這就是機器“學習”的過程。

在機器學習機制下，只要用于訓練AI的數據量足夠大，訓練次數足夠多，AI就能根據掌握的規律，在特定文本語境基礎上實現如“文字接龍”般的預測，也就是給出看上去上下文通順且合乎邏輯的回答。

比如，輸入“我餓了，我想吃”，AI就可能接上“飯”這個詞，因為在它學習過的大量數據中，“想吃飯”是一個很常見的短語，這個短語在數據集里出現的頻率遠高于“想吃粑粑”等其他短語。

從原理上來說，只要訓練AI所使用的數據量足夠大，AI是可以完成任何語境下的“文字接龍”的。這一點正如概率學家埃米爾·博雷爾舉的一個例子：假設讓猴子在打字機上隨意敲打，只要給猴子無限時間，只要猴子敲打的次數足夠多，那么在某個時刻，猴子也可以打出莎士比亞的全部著作。這就是“大力出奇跡”的“涌現”效果。

我們在使用ChatGPT這類工具的時候，也會發現它在生成內容時，有一個字一個字打出來的感覺，這就體現了它基于問題語境，根據所掌握的規律進行“文字接龍”的過程。

雖然我們可以通過讓機器學習大量樣本的“大力出奇跡”策略，使AI在任何語境下都能生成邏輯通順的文本，但是在實際訓練過程中，光靠學習“文字接龍”，AI 仍然不知道哪些是符合期望的、“有用”的回答。

比如，我們問AI：“世界上最長的城墻是哪座？”AI除了回答標準答案“萬里長城”之外，也可以反問：“你能告訴我答案嗎？”或者問：“你怎么對這個問題感興趣呢？”抑或是：“我知道，但是我不告訴你。”這些回答都是符合正常對話邏輯的，但是很顯然，回答“萬里長城” 更符合我們的期望。如果AI不考慮我們的需求而“答非所問”，那么它就會被視為“人工智障”。

為了不讓AI“答非所問”，研究人員就讓人類參與到機器學習的過程中，讓人類就一些問題給出期望的答案，再把這些經過“人工標注”的數據交給AI學習，讓AI認識到符合人類期望的回答是什么樣的，從而引導 AI 往人類期望的方向去做“文字接龍”，給出人類認為正確且有用的回答。

這個引導AI往特定方向學習的過程就是機器學習中的“有監督指令微調”策略。通過這種有監督指令微調訓練的方法，我們可以得到一個相對簡易的 ChatGPT 模型。

雖然上述有人類參與的訓練可以大幅提升AI回答的精度和質量，但是我們也知道：人的時間和精力都是非常有限的，世間的知識多如繁星，全靠人類去告訴AI什么正確、什么錯誤，成本是非常高的，也完全不現實。

鑒于機器的時間和精力是無限的，那能不能讓機器自己指導和糾正自己呢？當然是可以的。這就是接下來要講的第二個技術概念。

2．強化學習

強化學習的本質也是機器學習，它可以從人類反饋或者交互環境中獲得獎勵或懲罰，使AI做出最恰當的行為。也就是說，在人工干預的環節，我們可以通過人工標注的數據訓練出一個專門負責監督AI回答的模型（Reward模型），以人類的評分標準對AI給出的答案進行評分。當AI生成了我們認為不錯的回答時，給予它鼓勵；當AI生成的回答不夠理想時，則給予它批評或對它進行糾正。這樣AI就能學習到人類的評分標準。

AI利用這個模型的監督和反饋不斷進行調整和優化，就會逐漸生成更加優質和獨特的回答。

前幾年谷歌開發的、擊敗了李世石的AlphaGo，使用的就是強化學習技術。AlphaGo通過自己和自己下棋來提升棋藝，從而成為無敵的圍棋手。

從最開始的“文字接龍”，到進一步的“人工干預”，再到機器自己迭代優化，加上駭人的訓練數據量，在不斷訓練的過程中“大力出奇跡”，AI的各種能力就涌現出來了，于是我們就看到了一個近乎全能的“百曉生”AI。

事實上，AI訓練過程所涉及的技術細節非常多、非常復雜。這里只大致介紹了基本的技術原理，如果你對技術細節感興趣，可以進一步查找資料。

孔子說：“工欲善其事，必先利其器”。我們在了解了AI能力背后的原理之后，就可以看看在AI賽道上有哪些主流的AI工具。