1.4　LLM的訓練范式

傳統機器學習通常是為特定任務（如分類）訓練模型。如圖 1-29 所示，我們認為這是一個單步過程。

圖 1-29：傳統機器學習是一個單步過程：為特定任務（如分類或回歸）訓練模型

相比之下，創建 LLM 通常包含至少兩個步驟。

語言建模

第一步稱為預訓練，占用了創建 LLM 過程中的大部分算力和訓練時間。LLM 在海量互聯網文本語料庫上進行訓練，使模型能夠學習語法、上下文和語言模式。這個寬泛的訓練階段并不是針對特定任務或應用的，而僅僅用于預測下一個詞。由此產生的模型通常被稱為基礎模型或基座模型。這些模型通常不會遵循指令。

微調

第二步是微調，有時也稱為后訓練（post-training），包括使用先前訓練好的模型，并在更具體的任務上進行進一步訓練。這使得 LLM 能夠適應特定任務或展現符合人們期望的行為。例如，我們可以微調一個基座模型，使其在分類任務上表現良好或遵循指令。這可以節省大量資源，因為預訓練階段成本相當高，通常需要大多數人和組織難以企及的數據和計算資源。例如，Llama 2 在包含 2 萬億詞元的數據集上進行訓練 15。想象一下創建該模型所需的計算資源！在第 12 章中，我們將介紹幾種在你的數據集上微調基礎模型的方法。

15Hugo Touvron et al.“Llama 2: Open Foundation and Fine-Tuned Chat Models.”arXiv preprint arXiv:2307.09288 (2023).

對于任何經過第一步（預訓練）的模型，我們都稱之為預訓練模型，這也包括經過微調的模型。這種兩步訓練方法如圖 1-30 所示。

圖 1-30：與傳統機器學習相比，LLM 訓練采用多步方法

如第 12 章所述，可以添加微調步驟來進一步使模型與用戶偏好對齊。