1.1.1　探索語言模型和NLP的基礎

作為 LLM，GPT 模型是 NLP 領域最新的模型類型，NLP 是機器學習（machine learning，ML）和AI的一個子領域。在深入研究 GPT 模型之前，有必要了解 NLP 及其相關領域。

盡管對AI的理解有所不同，但大體上，人們認為它讓計算機系統有能力執行那些通常需要人類智慧的任務。根據這個定義，許多算法可以被歸為AI算法，比如導航應用程序所用的交通預測算法或策略類電子游戲所用的基于規則的系統。從表面上看，在這些示例中，計算機似乎需要智能才能完成相關任務。

ML 是AI的一個子集。在 ML 中，我們不試圖直接實現AI系統使用的決策規則，而是試圖開發算法，使系統能夠通過示例自己學習。自從在 20 世紀 50 年代開始進行 ML 研究以來，人們已經在科學文獻中提出了許多 ML 算法。

在這些 ML 算法中，深度學習（deep learning，DL）算法已經引起了廣泛關注。DL 是 ML 的一個分支，專注于受大腦結構啟發的算法。這些算法被稱為人工神經網絡（artificial neural network，ANN）。它們可以處理大量的數據，并且在圖像識別、語音識別及 NLP 等任務上表現出色。

GPT 模型的基礎是一種特定的神經網絡架構，即 Transformer。2017 年，來自谷歌的 Vaswani 等人在論文“Attention Is All You Need”中提出了該架構。Transformer 就像閱讀機一樣，它關注句子或段落的不同部分，以理解其上下文并產生連貫的回答。此外，它還可以理解句子中的單詞順序和上下文意思。這使得 Transformer 在語言翻譯、問題回答和文本生成等任務中非常高效。圖 1-1 直觀展示了這些核心概念及其在提升 Transformer 模型處理各種語言任務能力方面的作用。

圖 1-1：從AI到 Transformer 的嵌套技術集合

NLP 是AI的一個子領域，專注于使計算機能夠處理、解釋和生成人類語言。現代 NLP 解決方案的基礎是 ML 算法。NLP 的目標是讓計算機能夠處理自然語言文本。這個目標涉及諸多任務，如下所述。

文本分類

將輸入文本歸為預定義的類別。這類任務包括情感分析和主題分類。比如，某公司使用情感分析來了解客戶對其服務的意見。電子郵件過濾是主題分類的一個例子，其中電子郵件可以被歸類為“個人郵件”“社交郵件”“促銷郵件”“垃圾郵件”等。

自動翻譯

將文本從一種語言自動翻譯成另一種語言。請注意，這類任務可以包括將代碼從一種程序設計語言翻譯成另一種程序設計語言，比如從 Python 翻譯成 C++。

問題回答

根據給定的文本回答問題。比如，在線客服門戶網站可以使用 NLP 模型回答關于產品的常見問題，教學軟件可以使用 NLP 模型回答學生關于所學主題的問題。

文本生成

根據給定的輸入文本（稱為提示詞1）生成連貫且相關的輸出文本。

1 對于 prompt 一詞，本書統一采用“提示詞”這個譯法，以符合業內慣例。不過，prompt 既可以是一個詞，也可以是一個句子、一段文本。對于 prompt engineering 等詞，本書仍采用“提示工程”等譯法。——譯者注

如前所述，LLM 是試圖完成文本生成任務的一類 ML 模型。LLM 使計算機能夠處理、解釋和生成人類語言，從而提高人機交互效率。為了做到這一點，LLM 會分析大量文本數據或基于這些數據進行訓練，從而學習句子中各個單詞間的模式和關系。這個學習過程可以使用各種數據源，包括維基百科、Reddit、成千上萬本書，甚至互聯網本身。這一學習過程使LLM能夠在接收到輸入文本后，預測最可能出現的下一個單詞，從而生成連貫且有意義的回復。LLM 具有大量的內部參數，在訓練過程中，構建該模型的算法會不斷尋找最優參數，以使模型能夠對下一個單詞做出最佳預測。現代語言模型，如最新的 GPT 模型，規模龐大且經過海量文本訓練，因此如今能夠直接執行大多數 NLP 任務，例如文本分類、機器翻譯、問答等。

　OpenAI已推出多種語言模型，截至撰寫本書時，最為先進且功能強大的模型當屬 GPT-4 系列。作為一個多模態模型，GPT-4 Vision 標志著重大的進步，它不僅擅長處理文本，還具備處理圖像輸入的能力。這一突破得益于LLM采用的 ViT（Vision Transformer，視覺 Transformer）這一專用架構，使其能夠有效解讀圖像。最新的 GPT-4o 模型在多模態方面更進一步，它不僅能夠處理和生成文本，還能理解和生成圖像及音頻。

LLM 的發展可以追溯到 20 世紀 90 年代，最初的語言模型較為簡單，例如 模型，它通過統計前幾個單詞的出現頻率來預測句子中的下一個單詞。在訓練文本中， 模型會選擇最常出現在前序單詞之后的單詞作為預測結果。盡管這種方法為語言建模奠定了基礎，但由于它在理解上下文和語法方面存在局限性，生成的文本往往缺乏連貫性和一致性。

為了提升 模型的性能，更先進的學習算法被引入，例如循環神經網絡（recurrent neural network，RNN）和長短時記憶網絡（long short-term memory，LSTM）。與 相比，這些模型能夠學習更長的序列，并更好地分析上下文信息。然而，它們在處理大規模數據時仍然存在效率問題。盡管如此，RNN 在很長一段時間內仍然是最有效的模型之一，因此被廣泛應用于機器翻譯等工具中。