基于事件表示的機(jī)器閱讀理解模型

王元龍，劉曉敏，張虎

基于事件表示的機(jī)器閱讀理解模型

王元龍*，劉曉敏，張虎

（山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，太原 030006）（ ? 通信作者電子郵箱ylwang@sxu.edu.cn）

要真正理解一段語(yǔ)篇，在閱讀理解過(guò)程對(duì)原文主旨線索的把握是非常重要的。針對(duì)機(jī)器閱讀理解中主旨線索類型的問(wèn)題，提出了基于事件表示的機(jī)器閱讀理解分析方法。首先，通過(guò)線索短語(yǔ)從閱讀材料中抽取篇章事件圖，其中包括事件的表示、事件要素的抽取和事件關(guān)系的抽取等；然后，綜合考慮事件的時(shí)間要素、情感要素以及每個(gè)詞在文檔中的重要性，采用TextRank算法選出線索相關(guān)的事件；最后，依據(jù)所選出的線索事件構(gòu)建問(wèn)題的答案。在收集了339道線索類題組成的測(cè)試集上，實(shí)驗(yàn)結(jié)果表明所提方法在BLEU和CIDEr評(píng)價(jià)指標(biāo)上與基于TextRank算法的句子排序方法相比均有所提升，具體來(lái)說(shuō)，BLEU-4指標(biāo)提升了4.1個(gè)百分點(diǎn)，CIDEr指標(biāo)提升了9個(gè)百分點(diǎn)。

自然語(yǔ)言處理；閱讀理解；主旨線索類型問(wèn)題；事件表示；篇章事件圖

0 引言

機(jī)器閱讀理解（Machine Reading Comprehension， MRC）任務(wù)旨在讓機(jī)器閱讀理解給定的文檔，能夠從文檔中尋找答案用于回答用戶提出的問(wèn)題，其目標(biāo)是通過(guò)綜合運(yùn)用文本的表示、理解、推理等自然語(yǔ)言處理與理解技術(shù)，使計(jì)算機(jī)具有和人類一樣理解文章的能力。由于文章和問(wèn)題均采用人類語(yǔ)言的形式，其背后涉及到詞法、句法、語(yǔ)法和語(yǔ)義等多方面的信息，因此這一任務(wù)的評(píng)價(jià)效果成為衡量機(jī)器對(duì)自然語(yǔ)言理解能力的重要指標(biāo)。

目前，針對(duì)機(jī)器閱讀理解中的問(wèn)題類型分為不同的任務(wù)：完型填空類問(wèn)題，問(wèn)句是將文檔中一個(gè)句子中的某個(gè)實(shí)體抽掉所產(chǎn)生，要求機(jī)器能正確預(yù)測(cè)被抽掉的實(shí)體，如數(shù)據(jù)集包括CNNDM（Cable News NetworkDailyMail）［1］和訊飛、哈工大的中文完形填空數(shù)據(jù)集HFL-RC（joint laboratory of HIT and iFLYTEK research-Reading Comprehension）［2］等；選擇類問(wèn)題，每篇文章對(duì)應(yīng)多個(gè)問(wèn)題，每個(gè)問(wèn)題有多個(gè)候選答案，機(jī)器需要在候選答案中找到最合適選項(xiàng)，如數(shù)據(jù)集MCTest（Machine Comprehension of Test）［3］、RACE（ReAding Comprehension dataset collected from English Examinations）［4］等；片段抽取類問(wèn)題，通常給定文章和問(wèn)題，機(jī)器需要在文章中找到答案對(duì)應(yīng)的區(qū)域，給出開始位置和結(jié)束位置，如數(shù)據(jù)集SQuAD（Stanford Question Answering Dataset）［5］、TriviaQA［6］等；自由形式問(wèn)題，該類問(wèn)題是來(lái)自搜索引擎或社區(qū)問(wèn)答，其問(wèn)題和答案是由人工整理的，需要理解多個(gè)段落回答問(wèn)題，如DuReader［7］、HotpotQA［8］、NarrativeQA［9］等。

從上述機(jī)器閱讀理解任務(wù)的問(wèn)題可以感受到人工智能技術(shù)正在為計(jì)算機(jī)賦予閱讀、分析和歸納文本的能力。為了反映機(jī)器更深的理解能力，很多學(xué)者針對(duì)高考語(yǔ)文閱讀理解任務(wù)進(jìn)行了研究。針對(duì)選擇類型題，郭少茹等［10］提出了基于多維度的投票方法，該方法將不同維度的語(yǔ)義相關(guān)性作為度量標(biāo)準(zhǔn)，運(yùn)用投票算法的思想選取問(wèn)題的最佳選項(xiàng)。王元龍等［11］先把選項(xiàng)按不同的特征分為4類，并針對(duì)因果關(guān)系類選項(xiàng)提出了相應(yīng)的解決方案，該方法僅是對(duì)選項(xiàng)的因果關(guān)系支持度分析做了一些探索，沒(méi)有考慮文檔中的篇章關(guān)系。針對(duì)問(wèn)答類題型，王智強(qiáng)等［12］利用篇章框架語(yǔ)義分析方法抽取答案句，該方法能夠從相似性與相關(guān)性兩方面獲得更好的答案句抽取結(jié)果。譚紅葉等［13］對(duì)抽取的答案句提出了句子融合方案，使得答案更加簡(jiǎn)潔、流暢。張兆濱等［14］提出了基于多任務(wù)層級(jí)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的問(wèn)題擴(kuò)展建模方法用于回答觀點(diǎn)類問(wèn)題。譚紅葉等［15］提出了一種基于BERT（Bidirectional Encoder Representation from Transformers）的多任務(wù)閱讀理解模型，利用注意力機(jī)制獲得豐富的問(wèn)題與篇章的表示，實(shí)現(xiàn)了問(wèn)題的多樣性解答。楊陟卓等［16］針對(duì)閱讀理解中概括型問(wèn)答題提出了基于詞語(yǔ)相似度匹配、框架匹配、篇章主題同時(shí)抽取候選句的方法，該方法可以有效抽取與問(wèn)題相關(guān)的內(nèi)容要點(diǎn)以及作者的觀點(diǎn)態(tài)度句，但仍缺乏對(duì)原文的句間關(guān)系分析以及對(duì)背景材料進(jìn)行深層語(yǔ)義理解。

本文關(guān)注高考語(yǔ)文中的文學(xué)作品閱讀理解任務(wù)，重點(diǎn)解決主旨線索類型的問(wèn)答類型題。該任務(wù)中問(wèn)題的答案是原文中的主旨線索，需要先對(duì)原文進(jìn)行深度理解，包括整體語(yǔ)篇結(jié)構(gòu)、作者情緒變化等。該類任務(wù)的問(wèn)題形式如例1和例2所示：

例1 ［北京/2016］：作者對(duì)老腔的認(rèn)識(shí)經(jīng)歷了怎樣的變化過(guò)程？請(qǐng)結(jié)合全文作簡(jiǎn)要說(shuō)明。

線索：很難產(chǎn)生驚詫之類的反應(yīng)→生出神秘感來(lái)→因相見(jiàn)恨晚而覺(jué)得懊喪自責(zé)→老腔具有強(qiáng)烈的呼應(yīng)和感染力，觸動(dòng)了當(dāng)代人的神經(jīng)→觀眾與老腔應(yīng)該是融為一體的，自己這種拉開間距尋求客觀欣賞的舉措是多余的

例2 ［北京/2018］：本文題目“水缸里的文學(xué)”意蘊(yùn)豐富，綜觀全文，你如何理解其中的寓意？以此為題有怎樣的表達(dá)效果？

線索：水缸與我童年密切相伴，是我童年認(rèn)識(shí)世界，體味人生，引發(fā)文學(xué)夢(mèng)的主要對(duì)象→水缸引發(fā)了關(guān)于河蚌故事的論述，激發(fā)了作者詩(shī)意的想象，是作者閱讀和體會(huì)世界的方式→因?yàn)樾r(shí)候物質(zhì)所限，作者渴望但無(wú)法閱讀兒童書，水缸刺激作者的想象、智力→水缸是作者童年時(shí)期的記憶，保留了作者的好奇心，保留了奇跡般的創(chuàng)造力

為了更好地理解原文的主旨線索，本文借助Zwann等［17］提出的事件索引假設(shè)理論，該理論指出在語(yǔ)篇閱讀中人們會(huì)根據(jù)不同的索引來(lái)整體地建構(gòu)所閱讀過(guò)的信息。文獻(xiàn)［17］中認(rèn)為，閱讀故事時(shí)，讀者監(jiān)控情境模型并更新之，情境模型有5個(gè)維度：時(shí)間、空間、因果、意圖和實(shí)體（客體、主角、主角的情緒等）。因此本文提出基于事件表示的閱讀理解模型，以事件作為篇章的基本單元和處理單位，存儲(chǔ)組成事件的概念及其之間的關(guān)系，進(jìn)而回答閱讀理解中主旨線索類型的問(wèn)題。首先，構(gòu)建原文的事件結(jié)構(gòu)圖，需要考慮適合文學(xué)作品的事件表示；然后，根據(jù)重要度選出線索相關(guān)的事件；最后，依據(jù)線索相關(guān)事件整理出主旨線索答案。

1 相關(guān)工作

不同領(lǐng)域?qū)κ录亩x存在差異，并且體現(xiàn)了該領(lǐng)域所關(guān)注的實(shí)際問(wèn)題。信息領(lǐng)域則更關(guān)注事件在信息處理中的應(yīng)用，包括事件的識(shí)別以及事件應(yīng)用。事件識(shí)別也稱作事件抽取（event extraction），是信息抽取領(lǐng)域中重要的一個(gè)組成部分，包括事件要素識(shí)別及事件關(guān)系識(shí)別。

1.1　事件要素識(shí)別

在事件抽取的過(guò)程中，一個(gè)事件往往被更形式化地定義為包含了事件觸發(fā)器（event trigger）、事件類型（event type）、事件元素（event argument）和事件元素角色（event argument role），因此事件抽取的任務(wù)就是識(shí)別出上述事件要素并且進(jìn)行結(jié)構(gòu)化組織［18］。ACE（Automatic Content Extraction）2015定義了8種事件類別（life，movement，conflict，contact等）和33種子事件類別（born，marry，injury，transport，attack等），每種事件類別對(duì)應(yīng)唯一的事件模板，如子事件born，事件模板（template）包括person、time-within、place等。

1.2　事件關(guān)系識(shí)別

目前，時(shí)序關(guān)系和因果關(guān)系是最重要的事件關(guān)系。Chambers等［19］提出腳本敘事性事件鏈（narrative event chain）概念，認(rèn)為這是一種新的知識(shí)結(jié)構(gòu)化表示方式，敘事性事件鏈由一系列的敘事性事件按照時(shí)序組合形成，并進(jìn)一步在這個(gè)工作的基礎(chǔ)上，組織了相關(guān)的評(píng)測(cè)TimeML（Time Markup Language）。TimeML評(píng)測(cè)主要還是集中在對(duì)時(shí)序關(guān)系事件的識(shí)別，大致任務(wù)分成兩部分：一是識(shí)別兩個(gè)事件實(shí)體，其次是判定兩個(gè)事件之間的時(shí)序關(guān)系。之后，事件之間的因果關(guān)系（Causality）也被人們提出，具有代表性的因果關(guān)系標(biāo)注語(yǔ)料庫(kù)有Palmer等［20］提出的PropBank 以及Prasad等［21］提出的PDTB （Penn Discourse TreeBank），前者標(biāo)注了動(dòng)詞與動(dòng)詞、動(dòng)詞與從句之間的因果關(guān)系，后者標(biāo)注了從句之間的因果關(guān)系，兩個(gè)因果關(guān)系標(biāo)注語(yǔ)料庫(kù)進(jìn)一步推動(dòng)了事件因果關(guān)系抽取技術(shù)的發(fā)展。Kruengkrai等［22］用 MCNNs（Multi-Column Neural Networks）從海量語(yǔ)料中尋找一個(gè)事件對(duì)的因果關(guān)系路徑，從而判斷事件對(duì)之間是否有因果關(guān)系。Kang等［23］也是從文本中挖掘因果特征來(lái)對(duì)時(shí)序事件的因果關(guān)系進(jìn)行判斷。

本文借鑒上述事件要素和事件關(guān)系識(shí)別的思想，進(jìn)一步提出了適合文學(xué)作品的事件表示、事件要素和關(guān)系類型定義及其抽取方法，進(jìn)而構(gòu)建篇章事件結(jié)構(gòu)圖，用于回答閱讀理解中主旨線索類型的問(wèn)題。

2 基于事件表示的閱讀理解方法

要真正地理解一個(gè)語(yǔ)篇，對(duì)原文主旨線索的把握是非常重要的閱讀理解過(guò)程。文章主旨線索是在文章的不同段落中都可見(jiàn)的詞、句子或是情節(jié)等，是文章結(jié)構(gòu)的紅線。它能貫穿全文，使文章渾然一體，使結(jié)構(gòu)完整嚴(yán)謹(jǐn)。為了讓機(jī)器能夠以一種更為接近于人腦的知識(shí)結(jié)構(gòu)體系去理解語(yǔ)篇，本文提出了基于事件表示的閱讀理解模型。

本文借助事件標(biāo)記模型來(lái)構(gòu)建閱讀理解模型，給出了主旨線索類問(wèn)題的解決方案。首先，通過(guò)事件要素抽取和多粒度事件表示構(gòu)建原文的事件結(jié)構(gòu)圖，需要考慮適合文學(xué)作品的事件表示；然后，基于TextRank算法選取關(guān)鍵事件；最后，依據(jù)關(guān)鍵事件構(gòu)建線索答案。

2.1　篇章事件圖構(gòu)建

本文以事件作為基本單位把閱讀理解中的原文表示成事件圖。事件圖的構(gòu)建包括事件表示以及事件間關(guān)系的表示。

2.1.1事件表示

文學(xué)作品閱讀理解中的事件是指發(fā)生在一段時(shí)間內(nèi)，由若干實(shí)體參與，表現(xiàn)出某些情緒或動(dòng)作的描述，通常是一個(gè)句子或句群。因此本文將情境模型的五維事件進(jìn)行整合，給出了適合文學(xué)作品的事件形式化定義，具體為：

（，，）

其中：表示動(dòng)作；表示實(shí)體（包括主體和客體）；表示時(shí)間；表示情緒。

2.1.2事件要素抽取方法

本文對(duì)不同的事件要素采用了不同的抽取方法，其中動(dòng)作和實(shí)體要素采用基于規(guī)則的方法，時(shí)間要素采用基于漢語(yǔ)框架網(wǎng)（Chinese FrameNet， CFN）的方法，情緒要素采用基于詞典的方法。具體抽取方法如下：

1）基于規(guī)則的動(dòng)作和實(shí)體要素抽取。本文借助哈工大的LTP（Language Technology Platform）的語(yǔ)義角色標(biāo)注和語(yǔ)義依存句法標(biāo)注來(lái)抽取動(dòng)作和實(shí)體要素。具體規(guī)則如下：①在語(yǔ)義角色標(biāo)注結(jié)果中如果有明確的論元，即有A0、A1的標(biāo)注，就采用語(yǔ)義角色標(biāo)注的結(jié)果；②否則基于語(yǔ)義依存標(biāo)注提取句子中的動(dòng)詞短語(yǔ)表示事件要素，動(dòng)詞短語(yǔ)的關(guān)系類型包括主謂關(guān)系（SuBject-Verb， SBV）、動(dòng)賓關(guān)系（Verb-OBject， VOB）以及動(dòng)補(bǔ)關(guān)系（ATTribute， ATT）。另外，動(dòng)詞前的程度詞和否定詞對(duì)事件抽取起到重要的作用，因此，本文構(gòu)建了程度詞和否定詞表，將其并入動(dòng)作要素中。

2）基于CFN的時(shí)間要素抽取。

本文采用與時(shí)間相關(guān)的框架識(shí)別時(shí)間要素，其中包括時(shí)間測(cè)量、時(shí)間向量、時(shí)間跨度、歷法單位、時(shí)量場(chǎng)景、時(shí)間亞區(qū)以及相對(duì)時(shí)間框架。每個(gè)框架包括若干與時(shí)間相關(guān)的詞元，如表1所示。

表1　時(shí)間相關(guān)框架描述

3）基于詞典的情緒要素抽取。

情緒要素抽取采用大連理工大學(xué)自然語(yǔ)言處理課題組發(fā)布的情感詞典［24］，在原文中出現(xiàn)的情感詞當(dāng)作該事件的情緒要素，該詞典包含27 466個(gè)情感詞。

2.1.3多粒度事件關(guān)系表示

為了更好地表達(dá)原文中的線索，本文依據(jù)句內(nèi)事件關(guān)系和句間事件關(guān)系，提出了多粒度事件關(guān)系表示。首先，掃描文本，按句號(hào)分割原文，識(shí)別句間的事件關(guān)系；然后，按照上述方法識(shí)別句子中的單個(gè)事件，依據(jù)事件關(guān)系線索詞識(shí)別事件與事件之間的關(guān)系。目前有因果、轉(zhuǎn)折和時(shí)序三種事件關(guān)系。例：［朋友跟我說(shuō)老腔如何如何，我卻很難產(chǎn)生驚詫之類的反應(yīng)。因?yàn)槲以陉P(guān)中地區(qū)生活了幾十年，卻從來(lái)沒(méi)聽說(shuō)過(guò)老腔這個(gè)劇種。］表示為如圖1所示的多粒度事件關(guān)系表示。

圖1　多粒度事件關(guān)系表示

2.2　基于TextRank算法的事件選取方法

在提取原文的主旨線索時(shí)，通常需要考慮以下幾個(gè)特點(diǎn)：1）時(shí)間連“線”，用時(shí)空詞語(yǔ)連接線索；2）以物作“線”和反復(fù)出“線”，高頻詞和關(guān)鍵詞經(jīng)常出現(xiàn)在線索中；3）以情導(dǎo)“線”，情感詞有助于分析材料之間的內(nèi)在聯(lián)系，理清感情發(fā)展變化的軌跡?；谏鲜鎏攸c(diǎn)，本文提出了將事件中的四種要素當(dāng)作事件排序的重要要素成分，提出了基于TextRank算法的事件選取方法，具體如算法1所示。

算法1 重要事件選取。

輸入 原文事件關(guān)系圖；

輸出 重要事件所在的句子。

步驟1 為每個(gè)事件找到向量表示（四種要素的詞向量）；

步驟2 計(jì)算事件向量間的相似性并存放在矩陣中；

步驟3 將相似矩陣轉(zhuǎn)換為以事件為節(jié)點(diǎn)、相似性得分為邊的圖結(jié)構(gòu)；

步驟4 利用TextRank算法，將排名最高的6個(gè)事件輸出構(gòu)成最后的重要事件；

步驟5 基于識(shí)別的重要事件檢索出其所在的句子。

2.3　答案構(gòu)建

本文按照原文句子順序?qū)⑵渌槿〉闹匾录诰渥舆M(jìn)行排序。為了使答案更加合理，對(duì)事件句子進(jìn)行了融合。如果抽取出的兩個(gè)事件為轉(zhuǎn)折關(guān)系，只保留后面的事件（轉(zhuǎn)折后的事件更重要）。如果抽取出的兩個(gè)事件為因果關(guān)系，只保留結(jié)果的事件。而對(duì)于時(shí)序關(guān)系的事件放在一個(gè)片段描述，具體格式如下：

其中，表示事件，小括號(hào)（）表示時(shí)序關(guān)系的事件集合。另外，為了讓答案更加合理，將答案中的第一人稱代詞用“作者”代替。

3 實(shí)驗(yàn)與結(jié)果分析

3.1　評(píng)測(cè)語(yǔ)料及標(biāo)準(zhǔn)

本文采用了BLEU-（BiLingual Evaluation Understudy）（=1，2，3，4）［17］和CIDEr（Consensus-based Image Description Evaluation）［19］5個(gè)評(píng)價(jià)指標(biāo)對(duì)抽取的答案進(jìn)行評(píng)價(jià)。其中，BLEU-指標(biāo)更關(guān)注抽取答案的準(zhǔn)確性和流暢度，用于分析抽取答案中有多少元詞組出現(xiàn)在參考答案中。CIDEr指標(biāo)主要評(píng)價(jià)模型有沒(méi)有抓取到關(guān)鍵信息，計(jì)算參考譯文和候選譯文之間的TF-IDF（Term Frequency- Inverse Document Frequency）向量余弦距離，以此度量二者的相似性。

3.2　結(jié)果分析

為了驗(yàn)證本文方法的效果，采用基于TextRank算法的句子排序方法作為基線方法，把文本分割成若干組成單元（單詞、句子）建立圖模型， 利用投票機(jī)制對(duì)文本中的重要成分進(jìn)行排序， 利用單篇文檔本身的信息實(shí)現(xiàn)重要句排序，TextRank算法輸出Top-6的句子作為主旨線索。

表2給出了本文方法與句子排序方法在5個(gè)評(píng)價(jià)指標(biāo)上實(shí)驗(yàn)結(jié)果比較。從表2可以看出，本文方法相較直接采用TextRank算法的句子排序在5個(gè)評(píng)價(jià)指標(biāo)上均有所提升，表明本文方法答案的準(zhǔn)確性和流暢度以及抓取到關(guān)鍵信息的能力均優(yōu)于直接采用TextRank算法的句子排序方法。另外，本文還測(cè)試了文獻(xiàn)［16］中基于詞語(yǔ)相似度匹配、框架匹配、篇章主題匹配同時(shí)抽取候選句的方法用在線索類題型的效果，如表2所示。實(shí)驗(yàn)結(jié)果表明，文獻(xiàn)［16］所提方法在5個(gè)評(píng)價(jià)指標(biāo)上比基線方法略高，低于本文方法，進(jìn)一步驗(yàn)證了本文方法的有效性。

表2不同方法對(duì)比實(shí)驗(yàn)結(jié)果 單位：%

Tab.2　Experimental results comparison of different methods unit：%

例3 ［北京/2016］：作者對(duì)老腔的認(rèn)識(shí)經(jīng)歷了怎樣的變化過(guò)程？請(qǐng)結(jié)合全文作簡(jiǎn)要說(shuō)明。

參考答案：作者從沒(méi)有聽過(guò)老腔，認(rèn)為老腔影響小。認(rèn)為老腔演出者不過(guò)是民間演出班社。到后來(lái)聽過(guò)一次老腔，深深地被老腔震撼。為自己的小說(shuō)《白鹿原》中沒(méi)有加入老腔的表演而遺憾，到最后在中山音樂(lè)堂再次領(lǐng)悟了老腔的震撼力。對(duì)老腔的理解更加深入了。

本文方法抽取的答案句：

2）因?yàn)槲以陉P(guān)中地區(qū)生活了幾十年［時(shí)間測(cè)量］，卻從來(lái)沒(méi)聽說(shuō)過(guò)老腔這個(gè)劇種，可見(jiàn)其影響的寬窄了。

構(gòu)建答案：

1）作者第一次看老腔演出，是前兩三年的事，朋友跟作者說(shuō)老腔如何如何，作者卻很難產(chǎn)生驚詫之類的反應(yīng)。2）開幕演出前的等待中，這是華陰縣的老腔演出班社，老腔是了不得的一種唱法，也就能想到他們是某個(gè)劇種的民間演出班社，作者對(duì)老腔便刮目相看了。3）直到后來(lái)小說(shuō)《白鹿原》改編成話劇，讓作者有了一種釋然的感覺(jué)。4）后來(lái)還想再聽老腔，卻難得如愿。

為了驗(yàn)證本文抽取的線索句是否容易聚集在原文中的某個(gè)段落或片段內(nèi)，本文統(tǒng)計(jì)了原文前50句被抽取到作為文中線索句的文章數(shù)量，具體如圖2所示。其中，橫坐標(biāo)為文中句子編號(hào)，縱坐標(biāo)為某句作為抽取結(jié)果的文章數(shù)量。從圖2中可以看出，與基于TextRank算法的句子排序方法相比，本文方法抽取到的句子分散在原文，更符合作者的線索思路。

圖2　線索句抽取結(jié)果比較

4 結(jié)語(yǔ)

本文關(guān)注高考語(yǔ)文中的文學(xué)作品閱讀理解任務(wù)，重點(diǎn)研究解決主旨線索類型的問(wèn)題。借助事件標(biāo)記模型，本文提出了基于事件表示的閱讀理解模型，以事件作為篇章的基本單元和處理單位，存儲(chǔ)組成事件的概念及其之間的關(guān)系，進(jìn)而回答閱讀理解中主旨線索類型的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，本文方法可以抽出答案要點(diǎn)，較好地反映出原文的線索及行文思路。

但是本文還存在如下不足：1）答案為從原文中抽取的結(jié)果，缺乏歸納能力；2）時(shí)間片段識(shí)別不夠準(zhǔn)確，造成抽取的線索片段不均勻。這些不足是我們未來(lái)需要改進(jìn)的方向，以期在原來(lái)基礎(chǔ)上進(jìn)一步研究探索出性能更優(yōu)的線索抽取方 法。

[1] CHEN D Q， BOLTON J， MANNING C D. A thorough examination of the CNN/Daily Mail reading comprehension task［C］// Proceeding of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2016： 2359-2367.

[2] CUI Y M， LIU T， CHEN Z P， et al. Consensus attention-based neural networks for Chinese reading comprehension［C］// Proceeding of the 26th International Conference on Computational Linguistics： Technical Papers. ［S.l.］： The COLING 2016 Organizing Committee， 2016：1777-1786.

[3] RICHARDSON M， BURGES C J C， RENSHAW E. MCTest： a challenge dataset for the open-domain machine comprehension of text［C］// Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2013： 193-203.

[4] LAI G K， XIE Q Z， LIU H X， et al. RACE： large-scale Reading comprehension dataset from examinations［C］// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2017：785-794.

[5] RAJPURKAR P， ZHANG J， LOPYREV K， et al. SQuAD： 100，000+ questions for machine comprehension of text［C］// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016： 2383-2392.

[6] JOSHI M， CHOI E， WELD D S， et al. TriviaQA： a large scale distantly supervised challenge dataset for reading comprehension［C］// Proceeding of the 55th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2017： 1601-1611.

[7] HE W， LIU K， LIU J， et al. DuReader： a Chinese reading comprehension dataset from real-world applications［C］// Proceedings of the 2018 Workshop on Machine Reading for Question Answering. Stroudsburg， PA： Association for Computational Linguistics， 2018：37-46.

[8] YANG Z L， QI P， ZHANG S Z， et al. HotpotQA： a dataset for diverse， explainable multi-hop question answering［C］// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2018：2369-2380.

[9] KO?ISKY T， SCHWARZ J， BLUNSOM P， et al. The NarrativeQA reading comprehension challenge［J］. Transactions of the Association for Computational Linguistics， 2017， 6：317-328.

[10] 郭少茹，張虎，錢揖麗，等. 面向高考閱讀理解的句子語(yǔ)義相關(guān)度［J］. 清華大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2017， 57（6）：575-579， 585.（GUO S R， ZHANG H， QIAN Y L， et al. Semantic relevancy between sentences for Chinese reading comprehension on college entrance examinations［J］. Journal of Tsinghua University （Science and Technology）， 2017， 57（6）：575-579， 585.）

[11] 王元龍，李茹，張虎，等. 閱讀理解中因果關(guān)系類選項(xiàng)的研究［J］. 清華大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2018， 58（3）：272-278.（WANG Y L， LI R， ZHANG H， et al. Causal options in Chinese reading comprehension［J］. Journal of Tsinghua University （Science and Technology）， 2018， 58（3）：272-278.）

[12] 王智強(qiáng)，李茹，梁吉業(yè)，等. 基于漢語(yǔ)篇章框架語(yǔ)義分析的閱讀理解問(wèn)答研究［J］. 計(jì)算機(jī)學(xué)報(bào)， 2016， 39（4）： 795-807.（WANG Z Q， LI R， LIANG J Y， et al. Research on question answering for reading comprehension based on Chinese discourse frame semantic parsing［J］. Chinese Journal of Computers， 2016， 39（4）： 795-807.）

[13] 譚紅葉，趙紅紅，李茹. 面向閱讀理解復(fù)雜問(wèn)題的句子融合［J］. 中文信息學(xué)報(bào)， 2017， 31（1）：8-16.（TAN H Y， ZHAO H H， LI R. Sentence fusion for complex problems in reading comprehension［J］. Journal of Chinese Information Processing， 2017， 31（1）：8-16.）

[14] 張兆濱，王素格，陳鑫，等. 閱讀理解中觀點(diǎn)類問(wèn)題的擴(kuò)展研究［J］. 中文信息學(xué)報(bào)， 2020， 34（6）： 89-96， 105.（ZHANG Z B， WANG S G， CHEN X， et al. Question expansion for machine reading comprehension of opinion［J］. Journal of Chinese Information Processing， 2020， 34（6）： 89-96， 105.）

[15] 譚紅葉，屈保興. 面向多類型問(wèn)題的閱讀理解方法研究［J］. 中文信息學(xué)報(bào)， 2020， 34（6）： 81-88.（TAN H Y， QU B X. An approach to multi-type question machine reading comprehension［J］. Journal of Chinese Information Processing， 2020， 34（6）：81-88.）

[16] 楊陟卓，李春轉(zhuǎn)，張虎，等. 基于CFN和篇章主題的概括型問(wèn)答題的解答［J］. 中文信息學(xué)報(bào)， 2020， 34（12）： 73-81.（YANG Z Z， LI C Z， ZHANG H， et al. Question answering for overview questions based on CFN and discourse topic［J］. Journal of Chinese Information Processing， 2020， 34（12）： 73-81.）

[17] ZWANN R A， RADVANSKY G A， HILLIARD A E， et al. Constructing multidimensional situation models during reading［J］. Scientific Studies of Reading， 1998， 2（3）：199-220.

[18] HUANG L F， JI H， CHO K， et al. Zero-shot transfer learning for event extraction［C］// Proceeding of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2018： 2160-2170.

[19] CHAMBERS N， JURAFSKY D. Unsupervised learning of narrative event chains［C］// Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2008：789-797.

[20] PALMER T， GILDEA D， KINGSBURY P. The proposition bank： an annotated corpus of semantic roles［J］. Computational Linguistics， 2005， 31（1）： 71-106.

[21] PRASAD R， MILTSAKAKI E， DINESH N， et al. The Penn Discourse TreeBank 2.0 annotation manual［R/OL］. （2007-12-17） ［2021-02-12］.https：//www.seas.upenn.edu/～pdtb/PDTBAPI/pdtb-annotation-manual.pdf.

[22] KRUENGKRAI C， TORISAWA K， HASHIMOTO C， et al. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks［C］// Proceedings of the 31st AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2017：3466-3473.

[23] KANG D， GANGAL V， LU A， et al. Detecting and explaining causes from text for a time series event［C］// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2017：2758-2767.

[24] 徐琳宏，林鴻飛，潘宇，等. 情感詞匯本體的構(gòu)造［J］. 情報(bào)學(xué)報(bào)， 2008， 27（2）： 180-185.（XU L H， LIN H F， PAN Y， et al. Constructing the affective lexicon ontology［J］. Journal of the China Society for Scientific and Technical Information， 2008， 27（2）： 180-185.）

WANG Yuanlong， born in 1983， Ph. D.， associate professor. His research interests include natural language processing， machine learning.

LIU Xiaomin， born in 2000， M. S. candidate. Her research interests include natural language processing.

ZHANG Hu， born in 1979， Ph. D.， associate professor. His research interests include natural language processing.

Machine reading comprehension model based on event representation

WANG Yuanlong*， LIU Xiaomin， ZHANG Hu

（，，030006，）

In order to truly understand a piece of text， it is very important to grasp the main clues of the original text in the process of reading comprehension. Aiming at the questions of main clues in machine reading comprehension， a machine reading comprehension method based on event representation was proposed. Firstly， the textual event graph including the representation of events， the extraction of event elements and the extraction of event relations was extracted from the reading material by clue phrases. Secondly， after considering the time elements， emotional elements of events and the importance of each word in the document， the TextRank algorithm was used to select the events related to the clues. Finally， the answers of the questions were constructed based on the selected clue events. Experimental results show that on the test set composed of the collected 339 questions of clues， the proposed method is better than the sentence ranking method based on TextRank algorithm on BiLingual Evaluation Understudy （BLEU） and Consensus-based Image Description Evaluation （CIDEr） evaluation indexes. In specific， BLEU-4 index is increased by 4.1 percentage points and CIDEr index is increased by 9 percentage points.

natural language processing; reading comprehension; question of main clues; event representation; textual event graph

This work is partially supported by National Natural Science Foundation of China （61806117， 62176145）.

1001-9081（2022）07-1979-06

10.11772/j.issn.1001-9081.2021050719

2021?05?07；

2022?02?21；

2022?02?25。

國(guó)家自然科學(xué)基金資助項(xiàng)目（61806117， 62176145）。

TP391.1

A

王元龍（1983—），男，山西大同人，副教授，博士，CCF會(huì)員，主要研究方向：自然語(yǔ)言處理、機(jī)器學(xué)習(xí)； 劉曉敏（2000—），女，山西朔州人，碩士研究生，主要研究方向：自然語(yǔ)言處理； 張虎（1979—），男，山西大同人，副教授，博士，CCF會(huì)員，主要研究方向：自然語(yǔ)言處理。