2.3　大模型基礎(chǔ)結(jié)構(gòu)——Transformer

OpenAI于2022年發(fā)布了一款名為ChatGPT的聊天機(jī)器人，它能模仿人類(lèi)的語(yǔ)言與用戶(hù)自然交流。從用戶(hù)使用效果來(lái)看，ChatGPT不僅能與人順暢地對(duì)話(huà)，還能寫(xiě)詩(shī)作文、編程開(kāi)發(fā)，它的能力令人驚嘆。

ChatGPT的全稱(chēng)是基于Transformer的預(yù)訓(xùn)練聊天生成模型（Chat Generative Pre-trained Transformer）。顧名思義，其基本結(jié)構(gòu)就是2017年谷歌發(fā)布的Transformer模型。接下來(lái)將詳細(xì)介紹Transformer的原理。