基于深度學(xué)習(xí)的機(jī)器閱讀理解

王勇 林景彥 王瑛

摘 要：閱讀理解是考試中一個(gè)基本題型，其一般形式是給定一段文本，考生在閱讀完文本后根據(jù)文本內(nèi)容解答題目。如果機(jī)器也有閱讀理解的能力，能幫助我們從眾多的文本中找到我們需要的答案。近年來(lái)，深度學(xué)習(xí)發(fā)展迅猛并應(yīng)用到機(jī)器閱讀理解領(lǐng)域中，取得了很好的效果。本文首先闡述了機(jī)器閱讀理解的基本概況，基于深度學(xué)習(xí)機(jī)器閱讀理解模型的基本架構(gòu)。然后介紹了基于深度學(xué)習(xí)的機(jī)器閱讀理解研究現(xiàn)狀，包括數(shù)據(jù)集和經(jīng)典模型。

關(guān)鍵詞： 機(jī)器閱讀理解;深度學(xué)習(xí);自然語(yǔ)言處理

中圖分類(lèi)號(hào)： TP391? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）19-0203-02

1 機(jī)器閱讀理解概要

機(jī)器閱讀理解就是讓機(jī)器像人一樣能閱讀文本，讓計(jì)算機(jī)閱讀一篇文章，隨后讓計(jì)算機(jī)解答與文中信息相關(guān)的問(wèn)題，一般題型包括選擇題、填空題和分析題。機(jī)器閱讀理解，是當(dāng)前自然語(yǔ)言處理研究的核心任務(wù)之一[1]。與傳統(tǒng)分詞、命名實(shí)體識(shí)別和句法分析等任務(wù)相比包含更長(zhǎng)的篇章，更深層次的語(yǔ)義信息，需要綜合運(yùn)用文本表示、檢索、指代消解和推理等方法，具有很強(qiáng)的挑戰(zhàn)性。機(jī)器閱讀理解無(wú)論是在工業(yè)界還是學(xué)術(shù)界都有著很高的研究?jī)r(jià)值。當(dāng)前研究熱門(mén)主要在文本表示、相關(guān)片段檢索和答案生成三個(gè)方面。

機(jī)器閱讀理解能力的提高可輔助醫(yī)療診斷、閱卷、法官判決、智能客服、知識(shí)問(wèn)答和搜索引擎等。傳統(tǒng)的機(jī)器閱讀理解做法是手工提取特征和設(shè)計(jì)規(guī)則需要大量的人工勞動(dòng)力?；谏疃壬窠?jīng)網(wǎng)絡(luò)的機(jī)器閱讀理解可自動(dòng)學(xué)習(xí)與任務(wù)相關(guān)的特征和規(guī)則，能捕獲更多特征信息，包括一些人工很難理解到的信息。取得與傳統(tǒng)方法相當(dāng)甚至更好的效果，同時(shí)避免了傳統(tǒng)方法中需要人工提取特征以及一些預(yù)處理工具的問(wèn)題。

2 基本模型架構(gòu)

典型的基于深度學(xué)習(xí)機(jī)器閱讀理解模型包括詞向量層、表征層、交互層和輸出層。模型的輸入一般是一個(gè)三元組{P， Q， A}，其中P表示原文，Q代表問(wèn)題，A表示答案。

詞向量層就是將原文、問(wèn)題與答案的詞映射成低維詞向量。一般都是通過(guò)詞表查詞操作獲得詞向量。使用Word2vec、ELMo和BERT等詞向量工具大規(guī)模的文本上訓(xùn)練，可以獲得含有豐富語(yǔ)義和文法信息的詞向量表。

表征層就是用CNN和LSTM等深度神經(jīng)網(wǎng)絡(luò)對(duì)原文、問(wèn)題和答案每個(gè)單詞及其上下文語(yǔ)義進(jìn)行編碼。最常用的編碼器是雙向LSTM和雙向GRU，它們都有很強(qiáng)的語(yǔ)義序列建模能力。雙向LSTM和雙向GRU能從正向和反向兩個(gè)方向獲取整個(gè)句子的語(yǔ)義信息，并將這兩個(gè)方向的隱層狀態(tài)拼接起來(lái)表征句子的整體語(yǔ)義。

交互層主要是通過(guò)注意力機(jī)制實(shí)現(xiàn)文本信息的交互，得到交互后文本的表示。在基于深度學(xué)習(xí)機(jī)器閱讀理解任務(wù)中，主要運(yùn)用自注意力和互注意力兩種機(jī)制。自注意力機(jī)制一般針對(duì)原文，原文間的詞交互得到原文中的關(guān)鍵信息?；プ⒁饬C(jī)制一般是原文與問(wèn)題詞向量進(jìn)行交互，得到基于原文問(wèn)題的表示和基于問(wèn)題原文的表示。

輸出層是模型的最后一層，輸出層一般是輸出答案在原文中的起始位置與終止位置。主要是通過(guò)sigmoid函數(shù)或指針網(wǎng)絡(luò)對(duì)答案起始位置和終止位置預(yù)測(cè)。

模型評(píng)價(jià)指標(biāo)與題型相關(guān)。對(duì)于選擇題，評(píng)價(jià)標(biāo)準(zhǔn)是準(zhǔn)確率。對(duì)于填空題和分析題，評(píng)價(jià)指標(biāo)有EM、F1、BLEU和Rouge-L。

3 研究現(xiàn)狀

3.1 數(shù)據(jù)集

目前大部分大規(guī)模的機(jī)器閱讀理解數(shù)據(jù)集都是英文數(shù)據(jù)集，包括SQuAD、MS-MARCO和RACE。其中最流行的是SQuAD數(shù)據(jù)集[2]，它是由斯坦福大學(xué)于2016年發(fā)布的，被稱(chēng)為是自然語(yǔ)言處理的“ImageNet”數(shù)據(jù)集。SQuAD通過(guò)眾包的方式，從wikipedia上的536篇文章切出了23215個(gè)自然段，每個(gè)段落提五個(gè)問(wèn)題，貼近實(shí)際。數(shù)據(jù)集答案的類(lèi)別包括日期、人名、地點(diǎn)、數(shù)字和名詞詞組等。文本片段及答案如圖1所示。2018年SQuAD發(fā)布了2.0版本[3]，增大了數(shù)據(jù)集的難度，新增了超過(guò)五萬(wàn)個(gè)由人類(lèi)眾包者設(shè)計(jì)的無(wú)法回答的問(wèn)題，模型在回答問(wèn)題時(shí)需要判斷哪些問(wèn)題是在文本中沒(méi)有證據(jù)支持的，并拒絕回答這些問(wèn)題。

3.2 經(jīng)典模型

Seo[5]等提出了多層次、多粒度模型Bi-Directional Attention Flow（BiDAF），該模型在注意力層上同時(shí)計(jì)算問(wèn)題與原文和原文與問(wèn)題的相似度，通過(guò)數(shù)據(jù)流動(dòng)保留更多信息，更好地實(shí)現(xiàn)原文和問(wèn)題的交互。通過(guò)softmax函數(shù)和BiLSTM輸出答案的起始和結(jié)束位置。

Cui Y[6]等提出了Attention Over Attention模型（AOA），原文向量和問(wèn)題向量后相乘得到原文-問(wèn)題矩陣，然后分別從列和行兩個(gè)維度進(jìn)行softmax操作得到原文注意力矩陣和問(wèn)題注意力矩陣，其中問(wèn)題注意力矩陣是每一列元素求均值，將兩個(gè)注意力矩陣相乘，得到每個(gè)詞作為答案的概率。

Wang[7]等模仿人類(lèi)做閱讀理解過(guò)程，提出了R-Net。使用了詞和字兩種embedding使文本輸入特征更豐富。通過(guò)門(mén)機(jī)制與注意力機(jī)制實(shí)現(xiàn)了原文與問(wèn)題交互，原文自身重要信息提取。最后通過(guò)指針網(wǎng)絡(luò)輸出答案起始和終止位置。

Shen[8]等提出了ReasoNet。模型在推理答案階段運(yùn)用增強(qiáng)學(xué)習(xí)的方法，模擬人類(lèi)閱讀的過(guò)程，帶著問(wèn)題多次閱讀原文，當(dāng)從已知信息得出答案后，可動(dòng)態(tài)決定是否需要后續(xù)的推理或立刻停止閱讀把當(dāng)前答案作為最終答案輸出。

4 總結(jié)

隨著深度學(xué)習(xí)的發(fā)展，機(jī)器的閱讀理解能力跟人類(lèi)越來(lái)越接近，但仍存在較大的差距。當(dāng)前很多機(jī)器閱讀理解的方法仍然基于文本匹配而不是真正通過(guò)理解原文與問(wèn)題得出答案。下一步研究重點(diǎn)將包括外部知識(shí)（常識(shí)）的引入、基于多段落多文本的閱讀理解和可解析推理機(jī)制這三個(gè)方面。

參考文獻(xiàn)：

[1] 劉飛龍， 郝文寧， 陳剛，等. 基于雙線性函數(shù)注意力Bi-LSTM模型的機(jī)器閱讀理解[J]. 計(jì)算機(jī)科學(xué)， 2017（S1）：102-106，132.

[2] Rajpurkar P， Zhang J， Lopyrev K， et al. SQuAD： 100，000+? Questions? for Machine Comprehension of Text[C]// Conference on Empirical Methods in Natural Language Processing. 2016：2383-2392.

[3] Rajpurkar P， Jia R， Liang P. Know What You Don't Know： Unanswerable Questions for SQuAD[C]// Meeting of the Association for Computational Linguistics. 2018：784-789.

[4] He W ， Liu K ， Lyu Y ， et al. DuReader： a Chinese Machine Reading Comprehension Dataset from Real-world Applications[J]. arXiv preprint arXiv：1711.05073.

[5] Seo M， Kembhavi A， Farhadi A， et al. Bidirectional Attention Flow for Machine Comprehension[C]// International Conference on Learning Representations， 2017.

[6] Cui Y， Chen Z， Wei S， et al. Attention-over-Attention Neural Networks for Reading Comprehension[C]// Meeting of the Association for Computational Linguistics. 2017：593-602.

[7] Wang W， Yang N， Wei F， et al. Gated Self-Matching Networks for Reading Comprehension and Question Answering[C]// Meeting of the Association for Computational Linguistics. 2017：189-198.

[8] Shen Y， Huang P S， Gao J， et al. ReasoNet： Learning to Stop Reading in Machine Comprehension[C]// ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM， 2017：1047-1055.

【通聯(lián)編輯：唐一東】