1.1.2　ChatGPT發(fā)展歷程

ChatGPT作為一款A(yù)I產(chǎn)品，由大型語言模型GPT不斷迭代升級，并在GPT-3.5系列模型的基礎(chǔ)上進行微調(diào)而形成，迭代過程可以簡單概括為5代。

1．初代：GPT-1

2018年，OpenAI發(fā)布最早一代GPT-1，使用了內(nèi)含幾十億個文本文檔的超大規(guī)模語言資料庫進行訓(xùn)練，參數(shù)量為1.17億，有一定的泛化能力，能夠用于與監(jiān)督任務(wù)無關(guān)的NLP任務(wù)中。其常用任務(wù)包括以下幾類。

（1）自然語言推理：判斷兩個句子的關(guān)系（包含、矛盾、中立）。

（2）問答與常識推理：輸入文章及若干答案，輸出答案的準確率。

（3）語義相似度識別：判斷兩個句子語義是否相關(guān)。

（4）分類：判斷輸入文本是指定的哪個類別。

2．升級：GPT-2

2019年，OpenAI發(fā)布升級版的GPT-2。GPT-2使用了更多的網(wǎng)絡(luò)參數(shù)與更大的數(shù)據(jù)集：最大模型共計48層，模型參數(shù)量達15億。在性能上，除了理解能力外，GPT-2在生成方面第一次表現(xiàn)出了強大的天賦，閱讀摘要、聊天、續(xù)寫、編故事，甚至生成假新聞、釣魚郵件或在網(wǎng)上進行角色扮演通通不在話下。

3．完善：GPT-3

2020年，規(guī)模擴大百倍的GPT-3誕生。模型參數(shù)量為1750億，可以完成自然語言處理的絕大部分任務(wù)：將網(wǎng)頁描述轉(zhuǎn)換為相應(yīng)代碼、模仿人類敘事、創(chuàng)作定制詩歌、生成游戲劇本，甚至模仿已故的哲學(xué)家預(yù)測生命的真諦。

4．提升：InstructGPT

2022年1月，InstructGPT發(fā)布。OpenAI采用對齊研究（alignment research），試圖通過強化學(xué)習(xí)來減少GPT-3生成錯誤信息和攻擊性文本的數(shù)量，訓(xùn)練出更真實、更無害，而且更好地遵循用戶意圖的語言模型InstructGPT，可以將有害的、不真實的和有偏差的輸出最小化。

5．應(yīng)用：ChatGPT

2022年12月，ChatGPT誕生。ChatGPT使用與InstructGPT相同的方法訓(xùn)練模型，將人類的反饋納入訓(xùn)練過程，更好地使模型輸出與用戶意圖保持一致，但數(shù)據(jù)收集設(shè)置略有不同。2023年2月，ChatGPT正式推出ChatGPT Plus，定價為月訂閱費20美元。付費用戶可以獲得更快的響應(yīng)速度，并優(yōu)先嘗試新功能。

6．進化：ChatGPT 4.0

2023年3月14日，OpenAI發(fā)布了多模態(tài)語言模型ChatGPT 4.0，不僅能夠處理文本輸入，還能夠接受圖像輸入并為其生成相應(yīng)的文本輸出。它的語言理解和生成能力都超過了ChatGPT 3.5，可以解答更復(fù)雜的問題。它新增了辨識圖像的功能，可以根據(jù)資料庫的分類辨識圖片的差異，在理解后用文字敘述圖片，連表格都可以分析解釋，增加了多模態(tài)交互的能力，在多種應(yīng)用場景下提供更加豐富和靈活的服務(wù)。它還為一些應(yīng)用程序提供支持，如Duolingo、Role Play等，增加了實用性和趣味性。

在隨意的談話中，GPT-3.5和GPT-4之間的區(qū)別比較小，但當(dāng)任務(wù)的復(fù)雜性提升到一定程度時，GPT-4比GPT-3.5更可靠、更有創(chuàng)意，并且能夠處理更細微的指令。GPT-4在各種專業(yè)和學(xué)術(shù)基準上表現(xiàn)出相當(dāng)高的人類水平，如圖1-3所示。例如，GPT-4參加模擬律師考試，得分在應(yīng)試者的前10%左右，相比之下，GPT-3.5的得分在倒數(shù)10%左右。

GPT-4同樣會帶來與之前模型類似的風(fēng)險，例如，生成有害建議、錯誤代碼或不準確信息等，其附加功能也會帶來新的風(fēng)險。OpenAI聘請了五十多位來自AI對齊風(fēng)險、網(wǎng)絡(luò)安全、生物風(fēng)險、信任風(fēng)險以及國際安全等領(lǐng)域的專家對模型進行對抗性測試，通過專家的反饋來改進模型。例如，經(jīng)過改進的GPT-4有拒絕有關(guān)如何合成危險化學(xué)品的請求的能力，并且針對敏感問題提供辨證的解決方案，如表1-2所示。

總的來說，ChatGPT產(chǎn)品的總體演化過程可以概括為圖1-4的內(nèi)容。

需要注意的是，ChatGPT是基于GPT模型構(gòu)建的，特別用于生成類似對話的文本。例如，ChatGPT 3.5是基于GPT-3.5構(gòu)建的，ChatGPT 4.0是基于GPT-4構(gòu)建的。