1.2.3　GPT-3

2020 年 6 月，OpenAI發(fā)布了 GPT-3。GPT-2 和 GPT-3 之間的主要區(qū)別在于模型的大小和用于訓(xùn)練的數(shù)據(jù)量。GPT-3 比 GPT-2 大得多，它有 1750 億個(gè)參數(shù)，這使其能夠捕捉更復(fù)雜的模式。此外，GPT-3 是在更廣泛的數(shù)據(jù)集上進(jìn)行訓(xùn)練的，包括 Common Crawl（它就像互聯(lián)網(wǎng)檔案館，其中包含來(lái)自數(shù)十億個(gè)網(wǎng)頁(yè)的文本）和維基百科。這個(gè)訓(xùn)練數(shù)據(jù)集包括來(lái)自網(wǎng)站、書籍和文章的內(nèi)容，使得 GPT-3 能夠更深入地理解語(yǔ)言和上下文。因此，GPT-3 在各種與語(yǔ)言相關(guān)的任務(wù)中都展示出更強(qiáng)的性能。此外，它在文本生成方面還展示出更強(qiáng)的連貫性和創(chuàng)造力。它甚至能夠編寫代碼片段，如 SQL 查詢，并執(zhí)行其他智能任務(wù)。此外，GPT-3 取消了微調(diào)步驟，而這在之前的 GPT 模型中是必需的。