2.2　傳統(tǒng)語言模型

循環(huán)神經(jīng)網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)、門控循環(huán)單元等是傳統(tǒng)的語言模型，它們在很多自然語言處理任務(wù)中有著相關(guān)應(yīng)用。但是，Transformer的出現(xiàn)使得這些模型的應(yīng)用場景越來越少，這是因為Transformer具有更好的效果。