第2章　提示詞基礎

2.1　提示詞基礎概念

2.1.1　提示詞和提示工程

Prompt是大語言模型領域的關鍵術語，一般譯為“提示詞”。AI領域中的大語言模型，如OpenAI的GPT系列，取得了顯著的突破，并在自然語言處理任務中展現強大的能力。為了與這些模型進行有效互動，人們需要使用提示詞，可以將它理解為觸發詞、引導詞或問題，用于引導大語言模型生成有關特定主題或內容的回應。提示詞實際上是人類與 AI 模型互動的入口，通過它，可以引導諸如ChatGPT這類大語言模型輸出語料文本。

大語言模型基于深度學習技術，經過大量訓練，能夠理解和生成人類語言。在訓練過程中，AI模型通過學習海量文本數據，逐漸掌握詞匯、語法、語義等知識，并運用這些知識在特定場景下生成相關的回應。在這個過程中，提示詞發揮著至關重要的作用。當向 AI 模型提供一個提示詞，例如“今天的天氣如何？”或“簡述量子物理的基本原理”，AI模型會根據所學知識和經驗，理解問題并生成符合語境的恰當回答。因此，在與 AI 大語言模型進行交互時，選擇或設計合適的提示詞至關重要，它對回答質量具有重要影響。

提示工程技術（Prompt Engineering Technology，PET）又稱上下文提示技術（In-Context Prompting Technology），是一門實證科學，專注于開發和優化提示詞，以幫助用戶將大語言模型應用于各種場景和研究領域。掌握提示工程相關技能，將有助于用戶更好地了解大語言模型的能力和局限性。研究人員可以利用提示工程來提升大語言模型處理復雜任務場景的能力，如問答和算術推理等。人們可以通過提示工程設計和研發強大的技術，實現與大語言模型或其他生態工具的高效對接。

在提示工程中時，研究人員需要關注如何有效地與大語言模型進行交流并引導其產生有用的輸出，這往往需要通過不斷實驗和調整找到最佳的方法。值得注意的是，盡管某些技巧可能看似簡單，但它們在實踐中可能具有很高的實用價值。

為了推動提示工程領域的發展，建立一種標準化的基準測試環境是至關重要的，這將有助于研究人員更容易地評估和比較不同方法的效果，從而為整個社區創造更多價值。同時，鼓勵研究人員采用迭代提示詞和外部工具等先進技術，也將有助于提高模型的可操控性和實用性。

總之，提示詞和提示工程在與 AI 大語言模型互動中發揮著核心作用。通過掌握提示工程的技巧和應用啟發式方法，可以更好地利用 AI 大語言模型的能力，更高質量地完成自然語言處理任務。在未來研究中，如何設計更優秀的提示詞以提高AI模型的理解和生成能力將成為重要課題，并能夠進一步推動大語言模型在各個領域的應用。

2.1.2　提示詞范式思想

ChatGPT 目前非常時髦，然而不少人卻并不了解ChatGPT的前輩——提示詞范式。提示詞思想是大語言模型實現真正大一統的關鍵一步。提示詞剛剛出現的時候，還不叫提示詞。最初，它是研究人員為了下游任務而設計出來的一種輸入形式或模板，能夠幫助預訓練語言模型“回憶”起自己在預訓練時“學習”到的東西，因此后來被慢慢地叫作提示詞了。現在，百度百科出現了一個新詞條（更新時間為2023年4月14日），一個社會新職業出現了，這就是“提示詞工程師”。程序員、研究員、產品經理等涉及重復性工作的腦力勞動者可能都將被 AI 取代，而這些職業可能都會演變成提示詞工程師。

要想在未來做好提示詞相關的開發，就需要深入理解提示詞思想。提示詞范式指的是“預訓練-提示”這一自然語言處理最新的范式，也屬于參數高效（Parameter Efficient）學習方法的一種。在之前的范式下產生的模型從本質上決定了無法在任務級別擁有泛化能力，而提示詞在任務級別具有泛化能力，對之前的自然語言處理范式形成了降維打擊。提示詞范式被認為是通往真正大一統語言模型的關鍵一步，在這個框架下，任務描述作為輸入的一部分被直接輸入預訓練模型，從而降低了對特定任務數據的需求。

在介紹提示詞范式前，先簡單了解一下“預訓練-微調”范式。“預訓練-微調”（Pre-training and Fine-tuning）是自然語言處理領域的一種常見范式，主要包含兩個階段。

預訓練：在這個階段，大語言模型（如BERT、GPT等）使用大量非特定任務場景的文本數據進行訓練。模型通過學習這些數據，逐漸掌握詞匯、語法、語義等方面的知識。預訓練模型充分利用了海量數據，從而為下一階段的微調奠定了基礎。

微調：在預訓練模型的基礎上，針對特定任務，如文本分類、情感分析等，使用有標簽的任務數據對模型進行微調。這一過程會對模型參數進行精細調整，以適應特定任務的需求。經過微調的模型在特定任務上通常有更好的性能。采用“預訓練-微調”范式，通過結合大量非特定任務場景的知識和特定任務的信息，模型能夠更好地解決具體的自然語言處理任務。

隨著預訓練語言模型體量的不斷增大，對其進行微調的硬件要求、數據需求以及實際成本也在不斷提高。除此之外，豐富多樣的下游任務也使得對于預訓練和微調階段的設計變得煩瑣復雜，因此研究人員希望探索更小巧輕量與普適高效的方法，提示工程就是在這個方向上的嘗試。提示詞方法可以分為手工提示詞（如Prefix Prompt和Cloze Prompt）和參數化提示詞（如離散提示詞和連續提示詞）。手工提示詞主要依靠自然語言來描述任務，而參數化提示詞則通過自動選擇和優化特定任務的提示詞來實現。這些方法使大語言模型能夠在任務級別上具有泛化能力，具有強大的少樣本或零樣本學習能力。“預訓練-提示”范式能夠在可訓練參數減少至千分之一的情況下，達到與“預訓練-微調”范式相當的效果。此外，隨著模型規模的增加，提示詞的效果越來越好。

提示詞工程技術的成功應用，如ChatGPT，證明了它在實現復合任務中的潛力。這種方法使得基于GPT-3.5的ChatGPT取得了驚人的效果，也意味著傳統針對子任務的獨立研究將逐漸淡出歷史舞臺，為新時代的自然語言處理技術鋪平道路。

筆者認為，提示詞范式為處理復雜自然語言處理任務提供了一種全新的解決方案，它突破了以往任務定義的限制，有望帶來更多創新應用，例如知識問答、對話系統等。然而，提示范式仍面臨一些挑戰，例如，如何在實際應用中確保模型的安全性和可解釋性。在未來的研究中，這些問題將成為自然語言處理領域關注的焦點，進一步推動大語言模型在各個領域的應用。