1.1.2　ChatGPT發展歷程

ChatGPT作為一款AI產品，由大型語言模型GPT不斷迭代升級，并在GPT-3.5系列模型的基礎上進行微調而形成，迭代過程可以簡單概括為5代。

1．初代：GPT-1

2018年，OpenAI發布最早一代GPT-1，使用了內含幾十億個文本文檔的超大規模語言資料庫進行訓練，參數量為1.17億，有一定的泛化能力，能夠用于與監督任務無關的NLP任務中。其常用任務包括以下幾類。

（1）自然語言推理：判斷兩個句子的關系（包含、矛盾、中立）。

（2）問答與常識推理：輸入文章及若干答案，輸出答案的準確率。

（3）語義相似度識別：判斷兩個句子語義是否相關。

（4）分類：判斷輸入文本是指定的哪個類別。

2．升級：GPT-2

2019年，OpenAI發布升級版的GPT-2。GPT-2使用了更多的網絡參數與更大的數據集：最大模型共計48層，模型參數量達15億。在性能上，除了理解能力外，GPT-2在生成方面第一次表現出了強大的天賦，閱讀摘要、聊天、續寫、編故事，甚至生成假新聞、釣魚郵件或在網上進行角色扮演通通不在話下。

3．完善：GPT-3

2020年，規模擴大百倍的GPT-3誕生。模型參數量為1750億，可以完成自然語言處理的絕大部分任務：將網頁描述轉換為相應代碼、模仿人類敘事、創作定制詩歌、生成游戲劇本，甚至模仿已故的哲學家預測生命的真諦。

4．提升：InstructGPT

2022年1月，InstructGPT發布。OpenAI采用對齊研究（alignment research），試圖通過強化學習來減少GPT-3生成錯誤信息和攻擊性文本的數量，訓練出更真實、更無害，而且更好地遵循用戶意圖的語言模型InstructGPT，可以將有害的、不真實的和有偏差的輸出最小化。

5．應用：ChatGPT

2022年12月，ChatGPT誕生。ChatGPT使用與InstructGPT相同的方法訓練模型，將人類的反饋納入訓練過程，更好地使模型輸出與用戶意圖保持一致，但數據收集設置略有不同。2023年2月，ChatGPT正式推出ChatGPT Plus，定價為月訂閱費20美元。付費用戶可以獲得更快的響應速度，并優先嘗試新功能。

6．進化：ChatGPT 4.0

2023年3月14日，OpenAI發布了多模態語言模型ChatGPT 4.0，不僅能夠處理文本輸入，還能夠接受圖像輸入并為其生成相應的文本輸出。它的語言理解和生成能力都超過了ChatGPT 3.5，可以解答更復雜的問題。它新增了辨識圖像的功能，可以根據資料庫的分類辨識圖片的差異，在理解后用文字敘述圖片，連表格都可以分析解釋，增加了多模態交互的能力，在多種應用場景下提供更加豐富和靈活的服務。它還為一些應用程序提供支持，如Duolingo、Role Play等，增加了實用性和趣味性。

在隨意的談話中，GPT-3.5和GPT-4之間的區別比較小，但當任務的復雜性提升到一定程度時，GPT-4比GPT-3.5更可靠、更有創意，并且能夠處理更細微的指令。GPT-4在各種專業和學術基準上表現出相當高的人類水平，如圖1-3所示。例如，GPT-4參加模擬律師考試，得分在應試者的前10%左右，相比之下，GPT-3.5的得分在倒數10%左右。

GPT-4同樣會帶來與之前模型類似的風險，例如，生成有害建議、錯誤代碼或不準確信息等，其附加功能也會帶來新的風險。OpenAI聘請了五十多位來自AI對齊風險、網絡安全、生物風險、信任風險以及國際安全等領域的專家對模型進行對抗性測試，通過專家的反饋來改進模型。例如，經過改進的GPT-4有拒絕有關如何合成危險化學品的請求的能力，并且針對敏感問題提供辨證的解決方案，如表1-2所示。

總的來說，ChatGPT產品的總體演化過程可以概括為圖1-4的內容。

需要注意的是，ChatGPT是基于GPT模型構建的，特別用于生成類似對話的文本。例如，ChatGPT 3.5是基于GPT-3.5構建的，ChatGPT 4.0是基于GPT-4構建的。