1.2.2　GPT-2

2019 年初，OpenAI提出了 GPT-2。這是 GPT-1 的一個擴展版本，其參數量和訓練數據集的規模大約是 GPT-1 的 10 倍。這個新版本的參數量為 15 億，訓練文本數據量為 40 GB。2019 年 11 月，OpenAI發布了完整版的 GPT-2 模型。

　GPT-2 是公開可用的，可以從 Hugging Face 或 GitHub 下載。

GPT-2 表明，使用更大的數據集訓練更大的語言模型可以提高語言模型的任務處理能力，并使其在許多任務中超越已有模型 4。它還表明，更大的語言模型能夠更好地處理自然語言。

4 OpenAI于 2020 年發布論文“Scaling Laws for Neural Language Models”。該論文探討了基于 Transformer 架構的語言模型的性能如何隨著模型大小、數據集規模和訓練計算量的增加而變化，發現了模型性能與這些因素之間的冪律關系。——譯者注