基于深度層次特征的閱讀理解模型

霍 歡,王忠萌

(1. 上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093；2. 復(fù)旦大學(xué) 上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室，上海 201203)

0 引言

機(jī)器閱讀，即讓機(jī)器閱讀自然語言文本，并根據(jù)該文本進(jìn)行相應(yīng)問題的回答。一般而言，其輸入輸出均為非結(jié)構(gòu)化的文本序列，這要求機(jī)器能夠從原始的文本中分析出所包含的信息。同時(shí)，當(dāng)一個(gè)問題對(duì)應(yīng)多個(gè)獨(dú)立的篇章時(shí)，還要求機(jī)器對(duì)各個(gè)篇章進(jìn)行篩選，然后從該篇章內(nèi)得到答案。在整個(gè)過程中，從文本中提取問題相關(guān)的篇章特征尤為重要。同時(shí)，在多個(gè)篇章的情形下，通過篇章本身的特征，來判斷篇章本身對(duì)答案的貢獻(xiàn)程度也是不容忽視的一個(gè)環(huán)節(jié)。

機(jī)器閱讀任務(wù)中，關(guān)于用傳統(tǒng)方法直接從篇章和問題文本中提取特征。Richardson等[1]在篇章上進(jìn)行滑動(dòng)窗口，然后用詞袋模型求取篇章片段與答案重疊程度，以此構(gòu)造特征。Chen等[2]提取單詞頻率、句子共現(xiàn)、依賴解析等特征。Rajpurkar等[3]使用成分分析、詞性標(biāo)注等特征。然而，這些傳統(tǒng)方法受句法分析結(jié)果影響較大。當(dāng)句子與問題表述不一致時(shí)，機(jī)器閱讀的性能會(huì)明顯降低。

隨著深度學(xué)習(xí)方法在自然語言處理方面取得廣泛成功。研究者們開始使用深度神經(jīng)網(wǎng)絡(luò)對(duì)篇章和問題文本進(jìn)行建模得到特征，并證明其具有一定的有效性。使用LSTM[4]或GRU[5]進(jìn)行基本建模的方法成為主流，同時(shí)注意力機(jī)制將答案與文本對(duì)齊作為下一層的特征。如Wang[6]等提出Match-LSTM提取特征，Cui[7]等使用GRU編碼，并使用雙重注意力機(jī)制來構(gòu)建特征。另一方面，卷積網(wǎng)絡(luò)在機(jī)器閱讀中得到運(yùn)用，對(duì)篇章內(nèi)每個(gè)片段進(jìn)行卷積運(yùn)算，從而得到特征。Yin[8]等使用兩個(gè)卷積層來提取篇章特征，第一個(gè)卷積層用來表示句子，第二個(gè)卷積層用來表示片段。Wu[9]等使用堆疊的膨脹卷積來進(jìn)行句子的編碼。

在實(shí)際的應(yīng)用場景中，機(jī)器閱讀需要面臨更多噪音的挑戰(zhàn)。由于文章來源于真實(shí)生活，生活用語中會(huì)存在著大量的不規(guī)范詞法、語法、句式。因而，需要多角度特征的充分結(jié)合，來更精準(zhǔn)地理解篇章信息。本文針對(duì)問答式中文機(jī)器閱讀，提出細(xì)節(jié)、片段、全文三個(gè)深度層次特征模型。在讀入的文本進(jìn)行詞向量表示后，使用循環(huán)網(wǎng)絡(luò)進(jìn)行基本建模。然后，融合注意力作為上下文特征，進(jìn)而利用殘差的堆疊卷積、高速公路網(wǎng)絡(luò)生成片段特征。同時(shí)，利用循環(huán)網(wǎng)絡(luò)對(duì)上下文進(jìn)行歸納。在2018機(jī)器閱讀理解技術(shù)競賽，本方法取得較好的結(jié)果。

1 相關(guān)工作

當(dāng)前，主流的機(jī)器閱讀模型一般分為輸入、混合、建模、輸出四個(gè)部分，分別進(jìn)行篇章與問題各自的編碼、篇章和問題的混合特征構(gòu)建、特征的建模、最終答案的輸出。

針對(duì)篇章和問題的混合，一般使用注意力機(jī)制完成對(duì)齊操作[10]。Wang等[6]提出篇章對(duì)問題的注意力，并用于機(jī)器閱讀。隨后，Wang等[11]提出參數(shù)注意力對(duì)問題編碼，Seo等[12]等提出問題對(duì)篇章的最大值注意力。進(jìn)一步地，有研究者關(guān)注卷積特征的提取，如Yu[13]等將卷積層和自匹配注意力合并為一個(gè)編碼塊，然后進(jìn)行堆疊。這些模型的缺點(diǎn)是數(shù)據(jù)流向和特征層次單一。本文在篇章和問題注意力混合的基礎(chǔ)上，使用基于卷積、若干層高速公路、反卷積的片段特征網(wǎng)絡(luò)。由于反卷積的存在，能夠避免卷積后填充序列兩端帶來的影響，同時(shí)利用了殘差[14]模塊來緩解深層網(wǎng)絡(luò)的難以訓(xùn)練的問題。最后，結(jié)合以原文的細(xì)節(jié)特征，以多數(shù)據(jù)流的方式進(jìn)行文本信息的精準(zhǔn)地把握。

針對(duì)模型輸出部分，對(duì)多篇章內(nèi)的答案排序問題，Tan[15]等提取篇章、問題為各自向量表示，然后通過全連接層進(jìn)行打分。而Wang[16]等提出各個(gè)答案之間的驗(yàn)證。以上兩方法按照篇章對(duì)問題或答案對(duì)答案的相似性來進(jìn)行篇章的劃分。以上兩種方法為了使模型學(xué)習(xí)到對(duì)篇章的評(píng)價(jià)，均運(yùn)用了獨(dú)立的損失函數(shù)。而本文使用包含問題、篇章、問題與篇章的多信息的來對(duì)每個(gè)篇章上下文的評(píng)價(jià)，使得信息更為充分。同時(shí)，本文將結(jié)果進(jìn)行線性變換，直接影響輸出層的輸出。

本文貢獻(xiàn)如下： 首先，提出一種提取片段特征的網(wǎng)絡(luò)模塊，利用深層卷積網(wǎng)絡(luò)結(jié)合高速公路網(wǎng)絡(luò)提取深層次片段特征。其次，提出了一種提取并利用全文特征的方式，將問題與篇章的多種信息融合一起對(duì)全文歸納。最后，設(shè)計(jì)細(xì)節(jié)、片段、全文三個(gè)層次的特征融合流程，從而較好地實(shí)現(xiàn)真實(shí)場景下的中文機(jī)器閱讀。

2 多層次特征模型

2.1 問題描述

本文所針對(duì)的問題為面向多篇文章的中文閱讀理解，其答案為文章中的一個(gè)片段。具體在模型中，該任務(wù)中的輸入為若干個(gè)篇章{P1,P2,…}，以及一個(gè)問題Q。其輸出為三個(gè)整數(shù)k,as,ae，分別為對(duì)應(yīng)的篇章編號(hào)、該篇章答案片段起始位置、該篇章答案片段終止位置。這樣，可以得到唯一的文本片段，作為最終的輸出。

2.2 整體框架

本模型由六個(gè)模塊組成，分別為輸入層、混合層、片段層、建模層、歸納層、輸出層。由于模型在處理單篇文檔和多篇文檔時(shí)，唯一的不同是輸出部分。為便于描述，我們接下來均以單個(gè)篇章的情況來介紹，最后在輸出層具體給出兩者不同的解決方案。

模型結(jié)構(gòu)與數(shù)據(jù)流如圖1所示，圖中加粗的箭頭表示三種特征數(shù)據(jù)流。模型以篇章和問題分詞后的各組符號(hào)(token)為輸入，轉(zhuǎn)換為詞向量后經(jīng)由雙向LSTM編碼，然后經(jīng)混合層進(jìn)行問題與文章的混合。一方面，混合后的結(jié)果經(jīng)過片段層，提取片段的特征。然后將該片段特征與篇章的原始編碼作為細(xì)節(jié)特征一起，經(jīng)由雙向LSTM一起進(jìn)行建模。另一方面，該混合特征通過歸納層，生成對(duì)文章的歸納。最后，用該歸納與建模后的結(jié)果一起進(jìn)行獨(dú)立的線性變換，并由softmax函數(shù)變換后的概率值，作為最終答案起始和終止位置的概率輸出。

圖1 深度層次特征模型框架

2.3 輸入層

式(1)～式(4)中，UP∈M×h為篇章的編碼矩陣，UQ∈N×h為問題的編碼矩陣。M,N分別為篇章、問題的長度，h為正反兩向的隱藏層維度之和。

2.4 混合層

混合層將問題和答案充分混合，為了使后面的各層可以根據(jù)問題確定答案。該層使用了兩種注意力機(jī)制，分別是文檔對(duì)問題的注意力和問題的參數(shù)注意力。最后將得到的兩個(gè)注意力矩陣與篇章編碼進(jìn)行拼接，得到最終的混合表示如式(5)～式(12)所示。

式(5)～式(12)中，S∈M×N為篇章與問題的相似矩陣，如Si,j即為和的內(nèi)積相似度。αt∈1×N為t處篇章編碼與問題編碼UQ之間的相似向量為注意力矩陣M×h的第t行。同樣，T∈M×N為問題的參數(shù)相似矩陣，v∈1×h為可訓(xùn)練的參數(shù)，β∈1×N為問題編碼UQ與參數(shù)v之間的相似向量1×h為注意力向量，平鋪后得到注意力矩陣。G∈M×3h為拼接后的輸出。

2.5 片段層

片段層的目的是提取出片段的特征，從而使得模型能夠關(guān)注于片段信息。本文采用卷積網(wǎng)絡(luò)來進(jìn)行相鄰若干單詞的混合，該片段層的結(jié)構(gòu)如圖2所示。

圖2 片段層結(jié)構(gòu)

首先，上一層的混合表示經(jīng)過非填充的卷積層，然后經(jīng)若干高速公路層[17]進(jìn)行變換，最后經(jīng)由反卷積層，同時(shí)計(jì)算殘差[14]作為該模塊最終輸出，如式(13)～式(17)所示。

其中，

(18)

g=σ(Wgx+bg)

(19)

highway(X)=χ(X,WH)·g+X·(1-g)

(20)

(21)

式(18)～式(21)中，bC,bH,bD,WC,WH,WD均為可訓(xùn)練參數(shù)，*為互相關(guān)運(yùn)算符，χ為非線性變換，H∈M×3h為輸出。

2.5 建模層

建模層接收原始細(xì)節(jié)特征和片段特征，進(jìn)行機(jī)器閱讀過程的建模，其輸出進(jìn)而可以與歸納層一起，經(jīng)過輸出層變換為最終答案的起始和終止位置。如式(22)所示。

M=BiLSTMM([UP;H])

(22)

其中，M∈M×h為輸出。

2.6 歸納層

歸納層對(duì)文章整體做出歸納。本模型使用雙向LSTM編碼和參數(shù)注意力兩個(gè)方面進(jìn)行歸納，最后經(jīng)過線性變換，得到歸納結(jié)果。

2.6 輸出層

輸出層將建模層的結(jié)果H，和歸納層的結(jié)果R融合，作為輸出。我們使用兩個(gè)不同的線性變換，并用softmax函數(shù)來分別得到答案起點(diǎn)位置和終點(diǎn)位置的概率輸出，如式(28)～式(30)所示。

當(dāng)有多個(gè)篇章時(shí)，將所有篇章拼接后的建模層和歸納層特征，按照第一個(gè)維度拼接即可，進(jìn)而整體進(jìn)行線性變換與softmax輸出。在獲取答案片段的操作中，對(duì)篇章內(nèi)的各個(gè)概率進(jìn)行答案片段定位，最終以as×ae最大值對(duì)應(yīng)的篇章編號(hào)為k，該as,ae即為最終的答案起始位置和終止位置。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

2018機(jī)器閱讀理解技術(shù)競賽采用He等[18]發(fā)布的面向真實(shí)應(yīng)用場景的大規(guī)模中文閱讀理解數(shù)據(jù)集DuReader。該數(shù)據(jù)來自于真實(shí)的百度搜索和百度知道網(wǎng)頁，其話題涵蓋了教育、文化、日常等各方面的內(nèi)容。該數(shù)據(jù)集對(duì)問題進(jìn)行了分類，從問題的呈現(xiàn)類型上，將問題分為實(shí)體、描述和是非三類；從問題的意義上，將問題分為事實(shí)和觀點(diǎn)兩類。統(tǒng)計(jì)情況如表1所示。

表1 問題分類統(tǒng)計(jì)(%)

本實(shí)驗(yàn)選用該數(shù)據(jù)集，共 30 萬條數(shù)據(jù)，其中包括 27 萬訓(xùn)練集、1 萬驗(yàn)證集和 12 萬測試集。本實(shí)驗(yàn)沒有擴(kuò)充數(shù)據(jù)集，僅在該數(shù)據(jù)上進(jìn)行。該數(shù)據(jù)集的評(píng)價(jià)方式為模型預(yù)測的答案片段與真實(shí)答案片段之間字符級(jí) Rough-L[19]和Bleu-4[20]。

3.2 預(yù)處理

由于該數(shù)據(jù)集的答案并非是嚴(yán)格的篇章連續(xù)片段，因此我們需要對(duì)答案進(jìn)行定位，來確定答案起始和終止位置的訓(xùn)練標(biāo)簽。

該預(yù)處理分為三個(gè)步驟。首先，對(duì)每個(gè)文檔和每個(gè)答案進(jìn)行如下匹配。匹配篇章中第一次出現(xiàn)與答案分詞相同的有意義詞匯，包括中文、英文和數(shù)字。其次，將匹配得到的結(jié)果區(qū)間進(jìn)行合并。最后，將各個(gè)文檔對(duì)應(yīng)的匹配度排序，選取最大匹配度作為目標(biāo)文檔，并選取該區(qū)間為答案的區(qū)間。

詳細(xì)地，我們采用的各個(gè)函數(shù)的偽代碼如下。

函數(shù)一，獲取一個(gè)篇章和一個(gè)答案的最大匹配片段

續(xù)表

函數(shù)二，獲取一個(gè)篇章和一個(gè)答案所有的匹配片段

輸入: 一個(gè)篇章和一個(gè)答案片段輸出: 所有匹配片段設(shè)已匹配列表為空設(shè)篇章指針為零設(shè)答案指針為零while 真 do if 篇章指針或答案指針越界then break end 按照函數(shù)一得到匹配結(jié)果 if 匹配結(jié)果非空 then 將答案指針后移到第一個(gè)非符號(hào)位 if 答案指針越界 do break end end 匹配結(jié)果添加入匹配列表 篇章指針加一 答案指針加一end返回匹配結(jié)果

函數(shù)三，合并匹配區(qū)間

續(xù)表

函數(shù)四，匹配各篇章和各答案

輸入: 各篇章和各答案輸出: 每個(gè)篇章與各答案的最大匹配區(qū)間設(shè)總匹配列表為空for 每個(gè)篇章 then 設(shè)候選區(qū)間列表為空 for 每個(gè)答案 then 按照函數(shù)二得篇章答案匹配列表 按照函數(shù)三得合并后的匹配列表 if 匹配列表為空then break end 得到列表內(nèi)的最大匹配結(jié)果 if 匹配長度大于閾值 then 候選區(qū)間列表添加該匹配 結(jié)果和匹配度 end if 候選區(qū)間列表非空 then if存在答案很短的情況 then 最終匹配列表添加候選區(qū)間 else 最終匹配列表添加最大匹配的 候選區(qū)間 end endend返回總匹配列表

由于按照此算法，某些答案無法匹配到原文，因而最終得到245 200條訓(xùn)練樣本與8 797條驗(yàn)證樣本。

3.3 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)的硬件環(huán)境如下，處理器為Intel I7 7700k, 內(nèi)存大小為32G，顯卡為NVIDIA GTX 1080。軟件環(huán)境如下，系統(tǒng)為Ubuntu16.04，開發(fā)語言為Python3.6，深度學(xué)習(xí)框架為PyTorch0.4.0。

在模型準(zhǔn)備階段，設(shè)計(jì)篇章最大長度為500，問題最大長度為50，最大篇章數(shù)為5。詞向量為GloVe[21]詞向量，在數(shù)據(jù)集本身上進(jìn)行訓(xùn)練，設(shè)置詞匯表大小為50萬，維度為200。

在模型實(shí)現(xiàn)階段，將詞向量設(shè)置為固定不變。各個(gè)循環(huán)網(wǎng)絡(luò)的隱藏層統(tǒng)一設(shè)置為100。設(shè)計(jì)卷積層如下，卷積核大小為4，步長為2。高速公路網(wǎng)絡(luò)設(shè)為3層，非線性函數(shù)為ReLU函數(shù)。除編碼層LSTM為雙層堆疊外，其他層的LSTM均為單層。在模型的詞向量輸出處和各個(gè)循環(huán)網(wǎng)絡(luò)輸出處，我們使用設(shè)計(jì)Dropout[22]率為0.2。

在模型訓(xùn)練階段，使用Xavier[23]初始化各個(gè)參數(shù)，訓(xùn)練器為Adam[24]，其學(xué)習(xí)率為0.001，并每隔1代進(jìn)行減半。L2正則系數(shù)為0.001。Batch大小為24。

3.4 結(jié)果分析

經(jīng)過15小時(shí)的訓(xùn)練，模型運(yùn)行了7個(gè)epoch的，其損失值變化如圖3所示。

圖3 模型損失值變化圖

在模型經(jīng)過每個(gè)epoch后，對(duì)驗(yàn)證集進(jìn)行一次驗(yàn)證，各個(gè)驗(yàn)證結(jié)果的不同指標(biāo)變化如圖4所示。

為了進(jìn)一步探究本模型各層次特征的作用及影響，我們在驗(yàn)證集上進(jìn)行實(shí)驗(yàn)。設(shè)計(jì)不同的特征組合，然后分別在不同的任務(wù)下進(jìn)行Rouge-L和BLEU-4分?jǐn)?shù)的計(jì)算，得到結(jié)果如圖5、圖6所示。

圖4 模型驗(yàn)證結(jié)果變化圖

圖5 不同特征組合在各數(shù)據(jù)來源下的表現(xiàn)

圖6 不同特征組合在各問題類型下的表現(xiàn)

綜合兩圖來看，首先顯而易見本模型增加特征之后，其性能大體上會(huì)得到提升；其次，根據(jù)提升的程度來看，片段特征的作用較為明顯，而全文特征的作用較弱；最后，從不同評(píng)測指標(biāo)來看，相較于Rouge-L分?jǐn)?shù)，BLEU-4分?jǐn)?shù)的提高要稍大一些。

對(duì)于不同問題類型下的表現(xiàn)，片段特征在描述類與實(shí)體類問題表現(xiàn)均較好，其效果可以充分體現(xiàn)；而全文特征僅在描述類問題上體現(xiàn)出優(yōu)勢，可知描述類問題中更需要對(duì)全文的概括與評(píng)價(jià)，并且在某些情況下該特征并非完全必要。對(duì)于不同數(shù)據(jù)來源的表現(xiàn)，主要集中在百度搜索類型上的提高。這說明，在噪音較大的情形下，更全面的特征可以帶來更好的性能。而對(duì)于較規(guī)范的數(shù)據(jù)，添加多層次特征帶來的提升較為有限。

對(duì)完整模型在測試集上進(jìn)行評(píng)測，由結(jié)果可知，本模型在單模型上獲得57.55的Rouge-L與50.87的Bleu-4分?jǐn)?shù),較為良好地適用于大規(guī)模真實(shí)場景機(jī)器閱讀。具體地比較如表2，表3所示。

表2 模型在不同數(shù)據(jù)來源下的分?jǐn)?shù)

表3 模型在不同問題類型下的分?jǐn)?shù)

由于無法準(zhǔn)確獲知其他模型的參數(shù)并控制變量，因而難以通過總準(zhǔn)確率的絕對(duì)差異直接比較。但可通過比較各個(gè)子任務(wù)準(zhǔn)確率的相對(duì)差異，來分析模型的性能，進(jìn)而做出評(píng)價(jià)。為此將其他各模型與本模型在數(shù)據(jù)來源、問題類型的分?jǐn)?shù)之差，分別繪

制到熱力圖上，如圖7、圖8所示。

觀察圖7與圖8，與本模型的測試結(jié)果類似的模型有BiDAF+S+Predict和D-Reader-L2+cls。首先，我們與前者進(jìn)行比較。該模型的總體分?jǐn)?shù)要高于本模型。然而，從數(shù)據(jù)來源上，百度知道部分的分?jǐn)?shù)不及本模型。從問題類型上，實(shí)體準(zhǔn)確率也不如本模型。本模型與之相比， 主要的弱項(xiàng)在于百度搜索部分，以及描述問題部分。究其原因，出于減少模型復(fù)雜度的考慮，本模型輸出層設(shè)計(jì)較為簡單，因而長距離建模受之前各層循環(huán)網(wǎng)絡(luò)限制，對(duì)問題描述類問題在某些場景下或許稍顯不足。

圖7 模型在不同數(shù)據(jù)來源下的分?jǐn)?shù)差異

圖8 模型在不同問題類型下的分?jǐn)?shù)差異

接下來我們與后者比較。本模型分?jǐn)?shù)唯一在實(shí)體的Rouge-L分?jǐn)?shù)略有不及。該模型的分?jǐn)?shù)較前后其他各組模型相比均較高，或許與其模型做了相應(yīng)改進(jìn)有關(guān)。由于本文針對(duì)答案片段型 機(jī) 器 閱讀，因而對(duì)于實(shí)體分散在篇章各處的情況，只能得到其中一個(gè)片段，故在該情況下性能會(huì)降低。

4 結(jié)論

本文針對(duì)面向真實(shí)場景的中文機(jī)器閱讀，為了更有效地把握文本呈現(xiàn)的復(fù)雜場景信息，提出一種深度層次網(wǎng)絡(luò)模型。從細(xì)節(jié)、片段、全文三個(gè)角度，對(duì)篇章材料進(jìn)行考察。對(duì)于細(xì)節(jié)特征，本文利用原始的循環(huán)網(wǎng)絡(luò)編碼；對(duì)于片段特征，設(shè)計(jì)了深度卷積網(wǎng)絡(luò)的實(shí)現(xiàn)；對(duì)于全文特征，設(shè)計(jì)了注意力機(jī)制和循環(huán)網(wǎng)絡(luò)的實(shí)現(xiàn)來提取問題與篇章融合信息。最后，通過完整的數(shù)據(jù)流，得到最終的結(jié)果，在2018機(jī)器閱讀理解技術(shù)競賽中的實(shí)驗(yàn)取得較好效果。