第2章 大模型網(wǎng)絡(luò)結(jié)構(gòu)

近年來，深度學(xué)習(xí)領(lǐng)域涌現(xiàn)出許多優(yōu)秀的模型和技術(shù)。這些里程碑式的工作推動(dòng)了自然語言處理領(lǐng)域的飛速發(fā)展，奠定了大模型的技術(shù)基礎(chǔ)。

本章主要介紹構(gòu)成大模型的基本組件和基礎(chǔ)算法。我們首先從Seq2Seq網(wǎng)絡(luò)結(jié)構(gòu)入手，介紹生成模型的基本結(jié)構(gòu)；然后，深入探討注意力機(jī)制解決的問題；隨后，進(jìn)一步剖析基于注意力機(jī)制構(gòu)建的Transformer模型的結(jié)構(gòu)，并特別介紹多頭注意力機(jī)制和位置編碼的細(xì)節(jié)，還闡述常見的詞元化方法；最后，詳細(xì)講解文本生成中的不同解碼策略及其應(yīng)用。