1.2　大模型的概念

大模型是指具有超大規模參數和復雜計算結構的機器學習模型，通常基于深度神經網絡構建而成。參數是模型的內部變量，用于存儲和調整模型從數據中學習到的知識和能力。參數量是衡量模型復雜度和容量的一個重要指標。一般來說，參數量越大，模型越強大，但也越難訓練和部署。

訓練數據是指用于訓練模型的數據集，通常是從互聯網等來源收集和整理的文本、圖像、音頻、視頻等數據。訓練數據的質量和數量對模型的性能和泛化能力有很大的影響。一般來說，訓練數據越多越好，但也越難獲取和處理。

以自然語言處理為例，目前最大的語言模型之一是ChatGPT，它可以通過自然語言指令（natural language instruction，NLI）完成各種任務，如文本生成、問答、摘要、翻譯、對話等。ChatGPT使用多個不同數據集來進行預訓練，包括來自不同來源和領域的文本數據，如維基百科、圖書、新聞、社交媒體和論文等。

表1-1所示是目前主流的大模型匯總，其中谷歌在2023年5月發布的大模型PaLM 2，其參數量達到了3400億個。

表1-1　主流大模型匯總