- 解構(gòu)ChatGPT
- 何靜 向安玲編著
- 1345字
- 2024-12-31 18:43:18
1.1.2 ChatGPT發(fā)展歷程
ChatGPT作為一款A(yù)I產(chǎn)品,由大型語言模型GPT不斷迭代升級,并在GPT-3.5系列模型的基礎(chǔ)上進行微調(diào)而形成,迭代過程可以簡單概括為5代。
1.初代:GPT-1
2018年,OpenAI發(fā)布最早一代GPT-1,使用了內(nèi)含幾十億個文本文檔的超大規(guī)模語言資料庫進行訓(xùn)練,參數(shù)量為1.17億,有一定的泛化能力,能夠用于與監(jiān)督任務(wù)無關(guān)的NLP任務(wù)中。其常用任務(wù)包括以下幾類。
(1)自然語言推理:判斷兩個句子的關(guān)系(包含、矛盾、中立)。
(2)問答與常識推理:輸入文章及若干答案,輸出答案的準確率。
(3)語義相似度識別:判斷兩個句子語義是否相關(guān)。
(4)分類:判斷輸入文本是指定的哪個類別。
2.升級:GPT-2
2019年,OpenAI發(fā)布升級版的GPT-2。GPT-2使用了更多的網(wǎng)絡(luò)參數(shù)與更大的數(shù)據(jù)集:最大模型共計48層,模型參數(shù)量達15億。在性能上,除了理解能力外,GPT-2在生成方面第一次表現(xiàn)出了強大的天賦,閱讀摘要、聊天、續(xù)寫、編故事,甚至生成假新聞、釣魚郵件或在網(wǎng)上進行角色扮演通通不在話下。
3.完善:GPT-3
2020年,規(guī)模擴大百倍的GPT-3誕生。模型參數(shù)量為1750億,可以完成自然語言處理的絕大部分任務(wù):將網(wǎng)頁描述轉(zhuǎn)換為相應(yīng)代碼、模仿人類敘事、創(chuàng)作定制詩歌、生成游戲劇本,甚至模仿已故的哲學(xué)家預(yù)測生命的真諦。
4.提升:InstructGPT
2022年1月,InstructGPT發(fā)布。OpenAI采用對齊研究(alignment research),試圖通過強化學(xué)習(xí)來減少GPT-3生成錯誤信息和攻擊性文本的數(shù)量,訓(xùn)練出更真實、更無害,而且更好地遵循用戶意圖的語言模型InstructGPT,可以將有害的、不真實的和有偏差的輸出最小化。
5.應(yīng)用:ChatGPT
2022年12月,ChatGPT誕生。ChatGPT使用與InstructGPT相同的方法訓(xùn)練模型,將人類的反饋納入訓(xùn)練過程,更好地使模型輸出與用戶意圖保持一致,但數(shù)據(jù)收集設(shè)置略有不同。2023年2月,ChatGPT正式推出ChatGPT Plus,定價為月訂閱費20美元。付費用戶可以獲得更快的響應(yīng)速度,并優(yōu)先嘗試新功能。
6.進化:ChatGPT 4.0
2023年3月14日,OpenAI發(fā)布了多模態(tài)語言模型ChatGPT 4.0,不僅能夠處理文本輸入,還能夠接受圖像輸入并為其生成相應(yīng)的文本輸出。它的語言理解和生成能力都超過了ChatGPT 3.5,可以解答更復(fù)雜的問題。它新增了辨識圖像的功能,可以根據(jù)資料庫的分類辨識圖片的差異,在理解后用文字敘述圖片,連表格都可以分析解釋,增加了多模態(tài)交互的能力,在多種應(yīng)用場景下提供更加豐富和靈活的服務(wù)。它還為一些應(yīng)用程序提供支持,如Duolingo、Role Play等,增加了實用性和趣味性。
在隨意的談話中,GPT-3.5和GPT-4之間的區(qū)別比較小,但當(dāng)任務(wù)的復(fù)雜性提升到一定程度時,GPT-4比GPT-3.5更可靠、更有創(chuàng)意,并且能夠處理更細微的指令。GPT-4在各種專業(yè)和學(xué)術(shù)基準上表現(xiàn)出相當(dāng)高的人類水平,如圖1-3所示。例如,GPT-4參加模擬律師考試,得分在應(yīng)試者的前10%左右,相比之下,GPT-3.5的得分在倒數(shù)10%左右。

圖1-3 GPT類產(chǎn)品智能測試

圖1-3?。ɡm(xù))
GPT-4同樣會帶來與之前模型類似的風(fēng)險,例如,生成有害建議、錯誤代碼或不準確信息等,其附加功能也會帶來新的風(fēng)險。OpenAI聘請了五十多位來自AI對齊風(fēng)險、網(wǎng)絡(luò)安全、生物風(fēng)險、信任風(fēng)險以及國際安全等領(lǐng)域的專家對模型進行對抗性測試,通過專家的反饋來改進模型。例如,經(jīng)過改進的GPT-4有拒絕有關(guān)如何合成危險化學(xué)品的請求的能力,并且針對敏感問題提供辨證的解決方案,如表1-2所示。
表1-2 改進前后的GPT-4的回答

總的來說,ChatGPT產(chǎn)品的總體演化過程可以概括為圖1-4的內(nèi)容。

圖1-4 ChatGPT演化過程
需要注意的是,ChatGPT是基于GPT模型構(gòu)建的,特別用于生成類似對話的文本。例如,ChatGPT 3.5是基于GPT-3.5構(gòu)建的,ChatGPT 4.0是基于GPT-4構(gòu)建的。
- 移動平臺深度神經(jīng)網(wǎng)絡(luò)實戰(zhàn):原理、架構(gòu)與優(yōu)化
- 生成式AI:人工智能的未來
- 人工智能會搶哪些工作
- PyTorch深度學(xué)習(xí)應(yīng)用實戰(zhàn)
- 基于信息增強的圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法研究
- 智能控制:理論基礎(chǔ)、算法設(shè)計與應(yīng)用
- ROS機器人開發(fā)實踐
- 樂高創(chuàng)意機器人教程(初級 上冊 6-12歲)
- 會話式AI:自然語言處理與人機交互
- 無人機:知道這些就夠了
- 智能計算:原理與實踐
- 人工智能核心:神經(jīng)網(wǎng)絡(luò)(青少科普版)
- 機器學(xué)習(xí)實踐指南:案例應(yīng)用解析
- 移動機器人原理與設(shè)計(原書第2版)
- 機器學(xué)習(xí):基于OpenCV和Python的智能圖像處理