1.1 傳統語言模型

傳統語言模型指的是一系列結構簡單的、用于計算單詞或單詞序列的概率的模型。它們從統計和概率的角度給出某個單詞或單詞序列“合法性”的評估。此處的“合法性”并不是指語法上的嚴謹程度，而是指某個單詞或單詞序列與人們使用語言的慣例的匹配程度。傳統語言模型的發展經歷了如下階段：

1）2000年之前，由于計算機硬件和自然語言處理技術發展水平等的限制，n-gram語言模型在自然語言處理領域具有統治性的地位。

2）2000年之后，前饋神經網絡的語言模型[1]的提出，標志著語言模型研究開始從統計技術向神經網絡技術遷移，這一類語言模型統稱為神經網絡語言模型。

本節講解n-gram語言模型和神經網絡語言模型的知識要點，并討論兩者之間的區別與聯系。