第1章 緒論
自然語言處理(Natural Language Processing, NLP)是人工智能領域和計算機科學領域的一個重要方向。它涵蓋了計算語言學、計算科學、認知科學和人工智能等領域。從科學的角度看,自然語言處理旨在模擬人類語言理解和產生的認知機制。從工程的角度看,自然語言處理以促進計算機與人類語言的交互為目的,重點關注如何開發與語言相關的新穎的應用程序。
自然語言處理作為一種專門為傳達含義或語義而構建的系統,其本質是一種象征性或離散性系統。自然語言處理中的典型應用場景包括語音識別、口語理解、對話系統、詞匯分析、語法分析、機器翻譯、知識圖譜、信息檢索、問答、情感分析、社會計算、自然語言生成和自然語言摘要。
盡管基于深度學習的自然語言處理取得了驚人的成功,其發展仍然面臨巨大的挑戰。語言是智慧的載體,即使是如今最強大的大規模語言模型,也仍然面臨著幻覺現象、多跳推理能力弱、數學能力不足等亟待解決的問題。
本書為自然語言處理入門書籍,將從計算語言學的角度出發并結合實例介紹各個任務及相關的方法。從這些基本任務的介紹中,讀者可以一窺自然語言處理學科的發展歷程以及范式轉變,從而對整個學科有一個更加寬泛和深刻的認知。