2.3 Transformer架構

Transformer[17]是近年來自然語言處理領域一項里程碑式的成果。Transformer最初在機器翻譯領域被提出，但因其出色的性能，很快橫掃各類自然語言處理任務，成為自然語言處理領域各模型的基本組成模塊，大模型自然也不例外。