- 解構ChatGPT
- 何靜 向安玲編著
- 1345字
- 2024-12-31 18:43:18
1.1.2 ChatGPT發展歷程
ChatGPT作為一款AI產品,由大型語言模型GPT不斷迭代升級,并在GPT-3.5系列模型的基礎上進行微調而形成,迭代過程可以簡單概括為5代。
1.初代:GPT-1
2018年,OpenAI發布最早一代GPT-1,使用了內含幾十億個文本文檔的超大規模語言資料庫進行訓練,參數量為1.17億,有一定的泛化能力,能夠用于與監督任務無關的NLP任務中。其常用任務包括以下幾類。
(1)自然語言推理:判斷兩個句子的關系(包含、矛盾、中立)。
(2)問答與常識推理:輸入文章及若干答案,輸出答案的準確率。
(3)語義相似度識別:判斷兩個句子語義是否相關。
(4)分類:判斷輸入文本是指定的哪個類別。
2.升級:GPT-2
2019年,OpenAI發布升級版的GPT-2。GPT-2使用了更多的網絡參數與更大的數據集:最大模型共計48層,模型參數量達15億。在性能上,除了理解能力外,GPT-2在生成方面第一次表現出了強大的天賦,閱讀摘要、聊天、續寫、編故事,甚至生成假新聞、釣魚郵件或在網上進行角色扮演通通不在話下。
3.完善:GPT-3
2020年,規模擴大百倍的GPT-3誕生。模型參數量為1750億,可以完成自然語言處理的絕大部分任務:將網頁描述轉換為相應代碼、模仿人類敘事、創作定制詩歌、生成游戲劇本,甚至模仿已故的哲學家預測生命的真諦。
4.提升:InstructGPT
2022年1月,InstructGPT發布。OpenAI采用對齊研究(alignment research),試圖通過強化學習來減少GPT-3生成錯誤信息和攻擊性文本的數量,訓練出更真實、更無害,而且更好地遵循用戶意圖的語言模型InstructGPT,可以將有害的、不真實的和有偏差的輸出最小化。
5.應用:ChatGPT
2022年12月,ChatGPT誕生。ChatGPT使用與InstructGPT相同的方法訓練模型,將人類的反饋納入訓練過程,更好地使模型輸出與用戶意圖保持一致,但數據收集設置略有不同。2023年2月,ChatGPT正式推出ChatGPT Plus,定價為月訂閱費20美元。付費用戶可以獲得更快的響應速度,并優先嘗試新功能。
6.進化:ChatGPT 4.0
2023年3月14日,OpenAI發布了多模態語言模型ChatGPT 4.0,不僅能夠處理文本輸入,還能夠接受圖像輸入并為其生成相應的文本輸出。它的語言理解和生成能力都超過了ChatGPT 3.5,可以解答更復雜的問題。它新增了辨識圖像的功能,可以根據資料庫的分類辨識圖片的差異,在理解后用文字敘述圖片,連表格都可以分析解釋,增加了多模態交互的能力,在多種應用場景下提供更加豐富和靈活的服務。它還為一些應用程序提供支持,如Duolingo、Role Play等,增加了實用性和趣味性。
在隨意的談話中,GPT-3.5和GPT-4之間的區別比較小,但當任務的復雜性提升到一定程度時,GPT-4比GPT-3.5更可靠、更有創意,并且能夠處理更細微的指令。GPT-4在各種專業和學術基準上表現出相當高的人類水平,如圖1-3所示。例如,GPT-4參加模擬律師考試,得分在應試者的前10%左右,相比之下,GPT-3.5的得分在倒數10%左右。

圖1-3 GPT類產品智能測試

圖1-3 (續)
GPT-4同樣會帶來與之前模型類似的風險,例如,生成有害建議、錯誤代碼或不準確信息等,其附加功能也會帶來新的風險。OpenAI聘請了五十多位來自AI對齊風險、網絡安全、生物風險、信任風險以及國際安全等領域的專家對模型進行對抗性測試,通過專家的反饋來改進模型。例如,經過改進的GPT-4有拒絕有關如何合成危險化學品的請求的能力,并且針對敏感問題提供辨證的解決方案,如表1-2所示。
表1-2 改進前后的GPT-4的回答

總的來說,ChatGPT產品的總體演化過程可以概括為圖1-4的內容。

圖1-4 ChatGPT演化過程
需要注意的是,ChatGPT是基于GPT模型構建的,特別用于生成類似對話的文本。例如,ChatGPT 3.5是基于GPT-3.5構建的,ChatGPT 4.0是基于GPT-4構建的。