1.2.2 大語言模型“可怕”的能力：涌現

所有AI模型都是人造物，但即使是最簡單的文字識別AI，它的訓練過程在人類眼中也是一個“黑箱”，也就是說，人們能把AI訓練出來，但是不知道為什么AI就被訓練出來了。而大語言模型讓大家更困惑了，現在人類不僅搞不懂AI的訓練過程，還搞不懂大語言模型為什么會自己突然出現新能力。

“涌現”也就是突然出現，是指LLM在達到一定規模后自發表現出一些新的能力，如零樣本學習、上下文學習、多步推理等。這些能力在較小的模型中不出現，而在較大的模型中出現。涌現能力反映了LLM對自然語言數據中的規律和模式的學習及理解，也為LLM領域的發展提供了新的視角和挑戰。

前面提到的GPT的各種模擬、生成、創造、轉義等基本上是涌現的結果，其實人們（包括其創造者）根本不知道它們是怎么來的，只知道當訓練集大到一定程度的時候就會發生涌現現象。

涌現是AGI能夠出現的前提，之前人類針對不同的需求要訓練不同的AI模型，識別英文需要一個AI模型，識別中文又需要一個AI模型，語音助手更是無數模型的疊加，加上之前沒有辦法收集這么龐大的訓練集，所以其他模型大部分沒有展現出涌現現象，而LLM的涌現突出一個大，只要數據集夠大，什么都可能出現。