官术网_书友最值得收藏!

1.1 機器閱讀理解任務

學者C. Snow于2002年發表的一篇論文C. Snow.《Reading for understanding: Toward an R&D program in reading comprehension》. 2002.中將閱讀理解定義為“通過交互從書面文字中提取與構造文章語義的過程”。而機器閱讀理解的目標是利用人工智能技術,使計算機具有和人類一樣理解文章的能力。圖1-1所示為機器閱讀理解的一個樣例。示例中,機器閱讀理解模型需要用文章中的一段原文來回答問題。

圖1-1 機器閱讀理解任務樣例朱晨光,《機器閱讀理解:如何讓計算機讀懂文章》,中國計算機學會通訊,2019。

1.1.1 機器閱讀理解模型

機器閱讀理解模型的輸入為文章和問題文本,輸出為最終的回答。為了完成任務,模型需要深度分析文章語義以及文章和問題之間的聯系,然后根據文章中的內容作出準確回答。當前,絕大多數機器閱讀理解算法均采用深度學習模型,利用深度神經網絡進行建模與優化。深度學習的特點是,模型能根據訓練集上預測的準確度直接優化參數,不斷提高模型性能,從而達到很好的效果。機器閱讀理解所涉及的深度學習架構的概念、原理和實現將在第3章中介紹。

由于深度學習需要在數值空間處理信息,因此閱讀理解模型首先要對文章和問題進行數字化表示,形成文本編碼。常見的方法是詞向量(word vector):將文本分成若干單詞,然后用一串數字(即一個向量)表示一個單詞(見表1-1)。常用的中英文分詞與詞向量生成算法將在第2章中介紹。

表1-1 文本的數字化表示:分詞與詞向量

接下來,機器閱讀理解模型會對這些數字化編碼進行各種操作,獲得上下文信息以及文章和問題之間的語義關聯,從而獲取有關答案的線索。一般而言,基于深度學習的機器閱讀理解模型的架構分為3個部分:

? 編碼層對文章和問題進行單詞編碼,并完成上下文語義分析;

? 交互層處理文章和問題之間的關聯信息,找出文章中與問題相關的線索;

? 輸出層將之前處理的信息按照任務要求生成答案。

本書第4章將詳細介紹上述網絡層的具體架構與求解方式。不同的機器閱讀理解模型通常是上述3個部分中使用不同的模塊與連接方式。但無論哪種閱讀理解模型,其訓練過程都依賴于人工標注的數據,如大量文章-問題-答案的三元組。1.5節將介紹當前使用最廣泛的閱讀理解數據集。

但是,生成這些標注數據需要花費大量的時間和人力。因此,近年來自然語言處理界提出了預訓練+微調模式:在大量無標注文本數據上訓練大規模模型,然后在少量具體任務的標注數據(如閱讀理解)上進行微調。這種模式取得了很好的效果,也有效緩解了標注數據缺乏的問題。預訓練模型的原理及其在機器閱讀理解上的使用方式將在第6章介紹。

1.1.2 機器閱讀理解的應用

隨著各行各業文本數據的大量產生,傳統的人工處理方式因為處理速度慢、開銷巨大等因素成為產業發展的瓶頸。因此,能自動處理分析文本數據并從中抽取語義知識的機器閱讀理解技術逐漸受到人們的青睞。

例如,傳統的搜索引擎只能返回與用戶查詢相關的文檔,而閱讀理解模型可以在文檔中精確定位問題的答案,從而提高用戶體驗。在客戶服務中,利用機器閱讀理解在產品文檔中找到與用戶描述問題相關的部分并給出詳細解決方案,可以大大提高客服效率。在智能醫療領域,閱讀理解模型能根據患者癥狀描述自動查閱大量病歷和醫學論文,找到可能的病因并輸出診療方案。在語言教育方面,可以利用閱讀理解模型批改學生的作文并給出改進意見,隨時隨地幫助學生提高作文水平。本書將在第8章介紹更多機器閱讀理解的應用領域。

可以看出,凡是需要自動處理和分析大量文本內容的場景下,機器閱讀理解都可以幫助節省大量人力和時間。在很多領域中,如果閱讀理解模型的質量沒有達到完全替代人類的水平,可采用與人工結合的方式,利用計算機處理簡單高頻的問題,從而達到降低成本的作用。因此,機器閱讀理解成為當前人工智能研究中最前沿、最熱門的方向之一。

主站蜘蛛池模板: 莎车县| 大名县| 大竹县| 东乡族自治县| 山东| 方城县| 游戏| 湟源县| 丽水市| 类乌齐县| 大连市| 临泽县| 扬中市| 陆川县| 富平县| 延吉市| 阳东县| 遵义市| 呼图壁县| 贵德县| 开鲁县| 连城县| 澄江县| 江川县| 道孚县| 睢宁县| 寻乌县| 建阳市| 平乡县| 阿尔山市| 栾川县| 仁化县| 黑水县| 青海省| 会宁县| 杭锦旗| 白河县| 鹤峰县| 凤阳县| 西宁市| 夏河县|