基于對(duì)比學(xué)習(xí)思想的多跳問題生成

王紅斌, 楊何禎旻, 王燦宇

(1. 昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院, 昆明 650500;2. 昆明理工大學(xué) 云南省人工智能重點(diǎn)實(shí)驗(yàn)室, 昆明 650500;3. 昆明理工大學(xué) 云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室, 昆明 650500;4. 云南農(nóng)業(yè)大學(xué) 大數(shù)據(jù)學(xué)院, 昆明 650201)

問題生成(question generation, QG)是與機(jī)器閱讀理解(machine reading comprehension, MRC)相關(guān)的一個(gè)自然語(yǔ)言處理任務(wù)[1-2]. 問題生成任務(wù)定義為: 給定一個(gè)文本描述和答案, 通過文本描述和答案生成內(nèi)容相關(guān)、 語(yǔ)序通順的問題. 問題生成可分為單跳問題生成和多跳問題生成. 單跳問題的答案出現(xiàn)在單一文檔中, 且這類問題多數(shù)可通過對(duì)問題和單一文檔使用關(guān)鍵詞匹配的方式進(jìn)行回答, 目前主流的閱讀理解數(shù)據(jù)集SQuAD所提供的問題都是單跳問題. 使用單跳問答數(shù)據(jù)集的訓(xùn)練模型雖然在單文本閱讀理解任務(wù)上表現(xiàn)較好, 但其無法評(píng)估需要多步推理能力的多文本閱讀理解任務(wù). 因此, 文獻(xiàn)[3]構(gòu)建了面向自然語(yǔ)言和多步推理問題的數(shù)據(jù)集HotpotQA, 該數(shù)據(jù)集是一個(gè)多文檔、 多跳推理、 標(biāo)注支持事實(shí)的同構(gòu)數(shù)據(jù)集. 面向自然語(yǔ)言和多步推理問題的數(shù)據(jù)集HotpotQA提供了大量的多跳問答數(shù)據(jù), 多跳問題的回答則需要定位多個(gè)信息來源并建模信息間的關(guān)系, 基于這些信息鏈進(jìn)行多步推理和理解, 更接近于人類的思維. 因此, 本文主要考慮多跳問題生成研究.

現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型在單跳和多跳問答數(shù)據(jù)集上都表現(xiàn)較好[4-24], 但這些方法嚴(yán)重依賴于大規(guī)模的人工標(biāo)注. 盡管當(dāng)前有監(jiān)督學(xué)習(xí)技術(shù)表現(xiàn)較好, 但人工標(biāo)注大規(guī)模的多跳問答訓(xùn)練數(shù)據(jù)集成本過高. Pan等[4]提出的無監(jiān)督多跳問題生成器MQA-QG作為第一個(gè)研究無監(jiān)督多跳問題生成的模型, 初步實(shí)現(xiàn)了采用自動(dòng)生成的多跳問題取代人工標(biāo)注的多跳問題, 但其效果仍與人工標(biāo)注的數(shù)據(jù)集有一定差距, 使用多跳問題生成器MQA-QG自動(dòng)生成的數(shù)據(jù)訓(xùn)練問答QA模型的結(jié)果與使用人工標(biāo)注的數(shù)據(jù)相比, EM值和F1值分別相差14.5和14.2, 因此還有較大的提升空間. 同時(shí), 多跳問題生成器MQA-QG將兩篇關(guān)聯(lián)的文本分別生成單跳問題, 再將單跳問題融合生成多個(gè)候選多跳問題, 該方法雖然無需標(biāo)注支持句, 但其生成的候選多跳問題不靈活且質(zhì)量參差不齊沒有進(jìn)行有效篩選.

為解決該問題, 本文在生成任務(wù)中引入對(duì)比學(xué)習(xí)的思想, 提出基于對(duì)比學(xué)習(xí)思想的多跳問題生成方法, 通過將生成的候選問題與原文本進(jìn)行對(duì)比, 并引入與參考問題的對(duì)比損失, 在一定程度上提高了生成問題的質(zhì)量且無需標(biāo)注支持句. 同時(shí)對(duì)生成的多跳問題集進(jìn)行數(shù)據(jù)增強(qiáng), 擴(kuò)充后的訓(xùn)練集放入QA模型訓(xùn)練能得到更好的訓(xùn)練效果. 將本文方法在多文本同構(gòu)數(shù)據(jù)集HotpotQA上進(jìn)行實(shí)驗(yàn), 實(shí)驗(yàn)結(jié)果表明, 所提出的基于對(duì)比學(xué)習(xí)思想的多跳問題生成方法不需要對(duì)支持句進(jìn)行標(biāo)注, 只需要一定的參考問題和對(duì)應(yīng)的文檔數(shù)據(jù)進(jìn)行訓(xùn)練, 成功生成并有效篩選了質(zhì)量較高的多跳問題集, 擴(kuò)充了原始訓(xùn)練集, 極大減少了人工標(biāo)注數(shù)據(jù)的需求, 在部分機(jī)器閱讀理解任務(wù)上取得了一定的性能提升.

1 相關(guān)工作

1.1 基于規(guī)則方法的問題生成

早期的問題生成研究主要采用規(guī)則方法, 基于規(guī)則的問題生成系統(tǒng)[5]需要人工設(shè)計(jì)將陳述句轉(zhuǎn)換為疑問句的復(fù)雜規(guī)則, 如句法樹轉(zhuǎn)換模板, 這些方法成功的關(guān)鍵取決于將陳述句轉(zhuǎn)換到疑問句的規(guī)則設(shè)計(jì)是否足夠好, 而轉(zhuǎn)化規(guī)則通常需要設(shè)計(jì)者具有深厚的語(yǔ)言知識(shí). 為改進(jìn)純基于規(guī)則的系統(tǒng), Heilman等[6]提出可以使系統(tǒng)生成過量的問題, 然后采用基于監(jiān)督學(xué)習(xí)的排序算法對(duì)問題質(zhì)量進(jìn)行排序, 選出排序最好的; 而監(jiān)督算法又要求人工設(shè)計(jì)復(fù)雜的特征集, 即使設(shè)計(jì)出來, 系統(tǒng)所生成的問題也與文檔有較多重疊, 導(dǎo)致生成的問題容易回答. 早期基于規(guī)則的方法初步證明了自然語(yǔ)言處理技術(shù)可以幫助生成問題從而減少人工勞動(dòng). 但由于語(yǔ)言本身的復(fù)雜性, 人工發(fā)現(xiàn)和歸納出所有的問題規(guī)則幾乎是不可能的, 而且規(guī)則方法難以擴(kuò)展, 為某個(gè)領(lǐng)域制定的規(guī)則通常很難在其他領(lǐng)域快速移植.

1.2 基于深度神經(jīng)網(wǎng)絡(luò)的問題生成

隨著深度學(xué)習(xí)技術(shù)的發(fā)展, 基于深度學(xué)習(xí)的問題生成研究取得了許多成果. 第一種方法是采用序列到序列模型實(shí)現(xiàn)問題生成. Bahdanau等[7]提出了一個(gè)采用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)BiRNN的序列到序列模型, 首次將注意力機(jī)制引入到自然語(yǔ)言處理(NLP)領(lǐng)域. Gulcehre等[8]和Gu等[9]引入了復(fù)制機(jī)制, 將文本中的內(nèi)容復(fù)制到輸出問題中, 強(qiáng)化了輸入與輸出之間的關(guān)聯(lián). 融入了復(fù)制機(jī)制的序列到序列模型, 采用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(BiLSTM)編碼器編碼段落, 采用融入復(fù)制機(jī)制的注意力雙向長(zhǎng)短期記憶(LSTM)解碼器生成問題. Du等[10]改進(jìn)了序列到序列的模型, 編碼端采用了句子級(jí)和篇章級(jí)的基于注意力機(jī)制的雙向LSTM編碼器, 解碼端采用了LSTM. Song等[11]通過在編碼端加入多視角匹配機(jī)制, 考慮了答案位置信息與所有文本詞的匹配信息, 豐富的匹配信息可以引導(dǎo)解碼器生成更準(zhǔn)確的問題. 第二種方法是基于Transformer模型的問題生成研究, Transformer結(jié)構(gòu)的提出使神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯任務(wù)取得了重大突破, 性能獲得很大提升. Scialom等[12]提出了使用Transformer模型進(jìn)行答案無關(guān)的文本問題生成任務(wù), 研究人員將Transformer結(jié)構(gòu)同樣應(yīng)用到了問題生成任務(wù)中, 仍可以與復(fù)制機(jī)制結(jié)合, 從而提高文本問題生成任務(wù)的性能. 第三種方法是基于預(yù)訓(xùn)練技術(shù)的問題生成研究. 該技術(shù)從大量的語(yǔ)料中學(xué)習(xí)自然語(yǔ)言知識(shí), 從而提高下游任務(wù)的表現(xiàn). 其中較常用的是預(yù)訓(xùn)練模型BERT[13], 該模型提出了掩碼訓(xùn)練的方式訓(xùn)練語(yǔ)言模型. 在下游任務(wù)中, 通過對(duì)語(yǔ)言模型的微調(diào)即可獲得較好的表現(xiàn). 后續(xù)的研究工作探索了多種不同的預(yù)訓(xùn)練模型, 并將其用于問題生成任務(wù)中, 使該任務(wù)的性能得到進(jìn)一步提升. 這類方法的模式為“預(yù)訓(xùn)練-微調(diào)”, 且一次預(yù)訓(xùn)練就能利用大量的語(yǔ)料, 微調(diào)過程時(shí)間更短, 其在文本問題生成領(lǐng)域具有廣闊的應(yīng)用前景.

1.3 多跳問題生成

近年來, 多跳問題生成研究成為問題生成領(lǐng)域的一個(gè)研究熱點(diǎn). Pan等[4]提出了一個(gè)無監(jiān)督的多跳問答框架MQA-QG, 是一個(gè)多跳問題生成器, 使用多跳問題生成器MQA-QG可以從同構(gòu)或異構(gòu)的數(shù)據(jù)集中生成接近人類思維的多跳問答訓(xùn)練集, 再用生成的訓(xùn)練集去訓(xùn)練多跳QA模型可得到更好的結(jié)果, 并且極大減少了人工標(biāo)注數(shù)據(jù)的需求. 同樣作為問答的數(shù)據(jù)源, 知識(shí)圖譜與無結(jié)構(gòu)的純文本數(shù)據(jù)源相比, 其優(yōu)勢(shì)主要體現(xiàn)在數(shù)據(jù)的結(jié)構(gòu)化、 精度、 關(guān)聯(lián)度等方面, 結(jié)構(gòu)化的知識(shí)圖譜以一種更清晰、 更準(zhǔn)確的方式表示人類知識(shí), 對(duì)于生成更契合實(shí)際應(yīng)用中復(fù)雜場(chǎng)景的復(fù)雜多跳問題效果更佳. Yu等[14]將知識(shí)圖譜和知識(shí)推理融入多跳問題生成研究中, 生成的多跳問題需要多個(gè)句子或段落的證據(jù)進(jìn)行推理才能回答, 緩解了多跳數(shù)據(jù)短缺的問題, 并提升了多跳機(jī)器閱讀理解的性能. Fei等[15]提出了一個(gè)簡(jiǎn)單有效的可控生成框架CQG, 保證了問題的復(fù)雜性和質(zhì)量, 同時(shí)引入了一種新的基于Transformer的可控解碼器, 以保證關(guān)鍵實(shí)體出現(xiàn)在問題中. Su等[16]提出的QA4QG使用Transformer結(jié)構(gòu)替代了圖結(jié)構(gòu), 同時(shí)考慮了問答任務(wù)對(duì)問題生成任務(wù)的幫助. Yu等[17]提出了相似的輸入文本表達(dá)結(jié)構(gòu), 其問題形式也相似, 即兩個(gè)樣本在文本上共享一個(gè)近似表達(dá)結(jié)構(gòu)的觀點(diǎn), 采用元學(xué)習(xí)提出了一個(gè)自適應(yīng)的多跳問題生成框架. Su等[18]提出了一個(gè)問題生成的多跳編碼融合網(wǎng)絡(luò)MulQG, 其通過圖卷積網(wǎng)絡(luò)(GCN)在多跳中進(jìn)行上下文編碼, 并通過編碼器推理門進(jìn)行編碼融合. Gupta等[19]根據(jù)上下文中的支持事實(shí)生成相關(guān)問題, 采用了多任務(wù)學(xué)習(xí)的方式, 并輔以answer-aware支持性事實(shí)預(yù)測(cè)任務(wù)指導(dǎo)問題生成. Sachan等[20]使用強(qiáng)Transformer進(jìn)行多跳問題生成, 同時(shí)采用基于圖網(wǎng)絡(luò)增強(qiáng)的方法與Transformer模型融合, 使問題生成效果進(jìn)一步提升.

本文主要考慮多跳問題生成, 提出一個(gè)基于對(duì)比學(xué)習(xí)的多跳問題生成模型, 該模型是一個(gè)分為生成階段和對(duì)比學(xué)習(xí)打分階段的生成-評(píng)估兩階段模型, 生成階段通過執(zhí)行推理圖生成候選多跳問題, 對(duì)比學(xué)習(xí)打分階段通過一個(gè)基于對(duì)比學(xué)習(xí)的無參考問題的候選問題打分模型對(duì)候選問題進(jìn)行打分排序, 并選擇最優(yōu)的候選問題.

2 方法設(shè)計(jì)

本文設(shè)計(jì)的模型是一個(gè)生成-評(píng)估兩階段模型. 生成階段提取和整合多個(gè)輸入源文本的信息生成多個(gè)候選多跳問題, 通過執(zhí)行橋式推理圖和比較式推理圖生成橋式候選多跳問題和比較式候選多跳問題. 對(duì)比學(xué)習(xí)打分階段通過一個(gè)基于對(duì)比學(xué)習(xí)思想的無參考問題的候選問題打分模型對(duì)候選問題進(jìn)行打分排序, 并選擇最優(yōu)的候選問題. 模型如圖1所示.

多跳問題生成的定義為給定多個(gè)自然語(yǔ)言文本D={D1,D2,…,Dn}, 其中Di表示輸入的第i個(gè)自然語(yǔ)言文本, 目標(biāo)是生成多跳自然語(yǔ)言問題Q.本文模型定義為給定兩篇原文本〈texti,textj〉和對(duì)應(yīng)的參考問題答案對(duì)〈refQ,refA〉, 問題生成模型f的目標(biāo)是生成候選多跳問題Q=f(texti,textj), 使得對(duì)比學(xué)習(xí)打分模型h給出的分?jǐn)?shù)r=h(Q,refQ)盡可能高.在該過程中, 模型被分解成兩個(gè)階段: 生成模型g和對(duì)比學(xué)習(xí)打分模型h, 前者負(fù)責(zé)生成候選多跳問題集合, 后者負(fù)責(zé)打分并選擇最優(yōu)候選多跳問題.

2.1 生成階段

生成階段模型分為兩個(gè)類型: 橋式多跳問題生成和比較式多跳問題生成.這兩種類型的問題生成方法基本上涵蓋了數(shù)據(jù)集HotpotQA的所有問題類型. 生成階段從輸入的兩個(gè)相關(guān)文本T={ti,tj}中提取、 生成、 融合相關(guān)信息得到候選的多跳問題集.

2.1.1 橋式多跳問題生成

橋式多跳問題生成階段模型g1的輸入為兩個(gè)具有共同實(shí)體的文本對(duì)T={ti,tj}, 生成的多個(gè)候選問題{Q1,Q2,…,Qn}=g1(T), 生成模型方案如圖2所示.多數(shù)多跳問題會(huì)通過橋?qū)嶓w整合信息[25].圖2中: FindBridge模塊表示提取兩個(gè)文本的共同橋?qū)嶓we=f(ti)∩f(tj), 其中f(·)表示實(shí)體抽取過程, 使用stanza_nlp工具包識(shí)別并提取出兩篇文本共同的橋?qū)嶓w; QGwithAns模塊表示通過第一個(gè)文本的內(nèi)容ti和答案a生成一個(gè)簡(jiǎn)單的單跳問題q1=QG(ti,a); QGwithEnt模塊表示通過第二個(gè)文本tj和提取的橋?qū)嶓we生成一個(gè)簡(jiǎn)單的單跳問題q2=QG(tj,e), 其中QG(·)表示單跳問題生成的過程, 該過程使用谷歌的T5預(yù)訓(xùn)練模型進(jìn)行單跳問題生成[26]; QuesToSent模塊表示將其中一個(gè)單跳問題q1轉(zhuǎn)換為陳述句式s[27]; BridgeBlend模塊表示將轉(zhuǎn)化為陳述句式的句子s與另一個(gè)單跳問題q2融合生成一個(gè)復(fù)雜的多跳問題Q=BERT-Large(s,q2), 其中BERT-Large[28]表示融合兩個(gè)單跳問題的預(yù)訓(xùn)練模型.

2.1.2 比較式多跳問題生成

比較式多跳問題生成階段模型g2的輸入為兩個(gè)具有比較屬性的文本對(duì)T={ti,tj}, 生成的多個(gè)候選問題{Q1,Q2,…,Qn}=g2(T), 生成模型方案如圖3所示.圖3中: FindComEnt模塊表示提取兩篇文本中可以作比較的屬性作為橋?qū)嶓we1=f(ti)和e2=f(tj), 其中f(·)表示使用stanza_nlp工具包提取可能作為比較屬性的實(shí)體, 例如時(shí)間、 地點(diǎn)、 數(shù)字等; QGwithAns模塊表示通過第一個(gè)文本生成一個(gè)簡(jiǎn)單的單跳問題q1=T5(ti), QGwithEnt模塊表示通過第二個(gè)文本生成一個(gè)簡(jiǎn)單的單跳問題q2=T5(tj), QGwithAns和QGwithEnt模塊使用谷歌的T5預(yù)訓(xùn)練模型進(jìn)行單跳問題生成; CompareBlend模塊表示將兩個(gè)單跳問題q1和q2融合生成一個(gè)比較式多跳問題Q, 此處的兩個(gè)單跳問題是關(guān)于不同的實(shí)體e1和e2的問題.

2.2 對(duì)比學(xué)習(xí)階段

對(duì)比學(xué)習(xí)階段設(shè)計(jì)為一個(gè)基于對(duì)比損失的無參考問題的候選問題打分模型h, 模型方案如圖4所示.輸入為兩篇相關(guān)的原文本對(duì)T={ti,tj}和參考問題refQ以及上一階段生成的候選多跳問題集Qi, 輸出為最優(yōu)的候選問題Q.針對(duì)原文本T={ti,tj}, 一個(gè)更好的候選多跳問題Q應(yīng)該獲得更高的打分, 建立一個(gè)評(píng)價(jià)打分模型h, 其目標(biāo)是為生成模型g生成的候選問題Qi打分ri, 可表示為

圖4 基于對(duì)比學(xué)習(xí)的無參考問題打分模型Fig.4 Scoring model without reference question based on contrastive learning

ri=h(Qi,T),

(1)

其中h表示打分模型.模型h初始化為預(yù)訓(xùn)練模型RoBERTa[29], 該模型首先分別對(duì)候選問題集Qi和原文本T={ti,tj}編碼; 然后計(jì)算候選問題與文本內(nèi)容的余弦相似度, 并將其作為候選問題Qi的無參考問題的打分ri; 最后模型輸出的多跳問題Q為獲得最高分的候選多跳問題, 即

Q=argmaxri,

(2)

其中ri表示第i個(gè)候選問題的無參考問題打分.選擇打分最高的問題Q作為最終候選多跳問題, 同時(shí)計(jì)算參考問題refQ與候選問題Qi的余弦相似度作為候選問題Qi的真實(shí)打分si, 期望候選問題Qi的無參考問題打分ri能更接近真實(shí)打分si.

不同于其他對(duì)比學(xué)習(xí)工作采用的明確構(gòu)建正例和負(fù)例, 本文模型對(duì)比學(xué)習(xí)階段的對(duì)比性體現(xiàn)在參數(shù)化模型h(·)評(píng)估生成問題的不同質(zhì)量.在對(duì)比學(xué)習(xí)階段的模型h中引入一個(gè)對(duì)比損失:

3 實(shí) 驗(yàn)

3.1 生成階段

本文實(shí)驗(yàn)采用數(shù)據(jù)集HotpotQA[3], 其是一個(gè)多文檔、 多跳推理、 標(biāo)注支持事實(shí)的同構(gòu)數(shù)據(jù)集. 要回答多跳問題, 需要定位多個(gè)信息來源并從中找到最相關(guān)的部分, 同時(shí)基于這些信息進(jìn)行多步推理和理解. 數(shù)據(jù)集HotpotQA包含78 909個(gè)橋式多跳問題和18 943個(gè)比較式多跳問題, 共97 852個(gè)多跳問題. 其中橋式問題分出72 991個(gè)問題作為訓(xùn)練集和5 918個(gè)問題作為驗(yàn)證集, 比較式問題分出17 456個(gè)問題作為訓(xùn)練集和1 487個(gè)問題作為驗(yàn)證集. 每個(gè)多跳問題都需要在兩篇標(biāo)注了支持事實(shí)的維基文檔進(jìn)行推理才能回答. 數(shù)據(jù)集HotpotQA標(biāo)注了支持事實(shí), 本文實(shí)驗(yàn)使用無監(jiān)督的生成方法, 所以只需提取出數(shù)據(jù)集中的文本內(nèi)容及對(duì)應(yīng)的問答集作為訓(xùn)練數(shù)據(jù), 無需標(biāo)注支持句.

實(shí)驗(yàn)采用精確匹配EM和F1值兩個(gè)評(píng)價(jià)指標(biāo). EM測(cè)量預(yù)測(cè)結(jié)果與基本事實(shí)之間精確字符串匹配的百分?jǐn)?shù),F1是精度和召回率的協(xié)調(diào)平均值, 即

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中模型分為兩個(gè)階段: 生成階段和對(duì)比學(xué)習(xí)打分階段. 在生成階段, 執(zhí)行多跳問題生成器g(·)生成兩種類型的問題集Qbridge和Qcomparison,Qbridge只包含生成的候選橋式問題,Qcomparison只包含生成的候選比較式問題, 將Qbridge和Qcomparison合并起來作為數(shù)據(jù)集HotpotQA生成的候選問題集Qhotpot. 在對(duì)比學(xué)習(xí)打分階段, 對(duì)于3個(gè)候選問題集Qbridge,Qcomparison,Qhotpot, 通過對(duì)比學(xué)習(xí)打分模型h(·)分別挑選出得分最高的問題集并通過數(shù)據(jù)增強(qiáng)得到Qbge-select,Qcom-select,Qhotpot-select作為最終的訓(xùn)練集, 實(shí)驗(yàn)數(shù)據(jù)的信息如下:Qbridge有37 647個(gè)問題,Qcomparison有17 455個(gè)問題,Qhotpot有55 102個(gè)問題,Qbge-select有44 316個(gè)問題,Qcom-select有32 126個(gè)問題,Qhotpot-select有76 442個(gè)問題.

為驗(yàn)證多跳問題生成能有效提高機(jī)器閱讀理解的能力, 對(duì)于數(shù)據(jù)集HotpotQA, 本文采用SpanBERT[30]作為QA模型驗(yàn)證生成的問題集Qbge-select,Qcom-select,Qhotpot-select對(duì)機(jī)器閱讀理解任務(wù)的效果, 并采用精確匹配EM值和F1值評(píng)價(jià)效果.

將本文實(shí)驗(yàn)?zāi)Ｐ头謩e與1個(gè)有監(jiān)督基線和4個(gè)無監(jiān)督基線模型進(jìn)行對(duì)比. 1個(gè)有監(jiān)督基線模型是將完整的原始數(shù)據(jù)集HotpotQA放入SpanBERT模型中訓(xùn)練得到的結(jié)果[30]. 4個(gè)無監(jiān)督基線模型分別是: 1) SQuAD-Transfer, 是用數(shù)據(jù)集SQuAD訓(xùn)練SpanBERT模型, 然后將其轉(zhuǎn)換為多跳QA; 2) Bridge-Only, 是只用原始數(shù)據(jù)集HotpotQA中的橋式數(shù)據(jù)訓(xùn)練SpanBERT模型; 3) Comparison-Only, 是只用原始數(shù)據(jù)集HotpotQA中的比較式數(shù)據(jù)訓(xùn)練SpanBERT模型; 4) MQA-QG[4], 是使用多跳問題生成器MQA-QG在數(shù)據(jù)集HotpotQA上進(jìn)行多跳問題生成, 然后將生成的數(shù)據(jù)訓(xùn)練SpanBERT模型. 將原始數(shù)據(jù)集HotpotQA中的橋式數(shù)據(jù)、 比較式數(shù)據(jù)以及全體數(shù)據(jù)分別與本文模型生成并篩選的數(shù)據(jù)Qbge-select,Qcom-select,Qhotpot-select相結(jié)合, 進(jìn)行數(shù)據(jù)增強(qiáng), 增強(qiáng)后的數(shù)據(jù)訓(xùn)練SpanBERT模型與有監(jiān)督基線模型進(jìn)行對(duì)比. 將本文模型生成并篩選的數(shù)據(jù)Qbge-select,Qcom-select,Qhotpot-select分別進(jìn)行數(shù)據(jù)增強(qiáng)后訓(xùn)練SpanBERT模型, 并與無監(jiān)督基線模型進(jìn)行對(duì)比. 實(shí)驗(yàn)的參數(shù)設(shè)置列于表1.

表1 參數(shù)設(shè)置Table 1 Parameter settings

實(shí)驗(yàn)設(shè)置4個(gè)epoch, 每個(gè)epoch設(shè)為10個(gè)step, 圖5為數(shù)據(jù)集Bridge,Comparison,Total實(shí)驗(yàn)過程的EM和F1值收斂曲線, 橫坐標(biāo)的0～9表示為第一個(gè)epoch, 10～19表示為第二個(gè)epoch, 20～29表示為第三個(gè)epoch, 30～39表示為第四個(gè)epoch, 4個(gè)epoch后EM值和F1值趨于平緩.

圖5 實(shí)驗(yàn)過程中EM和F1值的收斂過程Fig.5 Convergence process of EM and F1 values during experimental process

3.3 實(shí)驗(yàn)結(jié)果分析

不同模型的實(shí)驗(yàn)結(jié)果列于表2. 由表2可見, 對(duì)于有監(jiān)督基線SpanBERT, 本文模型的生成數(shù)據(jù)和原始數(shù)據(jù)的組合數(shù)據(jù)集對(duì)于部分機(jī)器閱讀理解任務(wù)的效果有一定提升, 側(cè)面反映了模型擴(kuò)充的數(shù)據(jù)集質(zhì)量較好. 基于有監(jiān)督的數(shù)據(jù)集Bridge和Comparison的實(shí)驗(yàn)結(jié)果表明, 由于Bridge橋式數(shù)據(jù)的推理鏈?zhǔn)琼樞蜴? 需要找到共同的橋?qū)嶓w才能有效關(guān)聯(lián)兩個(gè)文本, 而Comparison對(duì)比式數(shù)據(jù)的推理鏈需要比較兩個(gè)實(shí)體的同一屬性, 因此二者對(duì)于訓(xùn)練集的數(shù)據(jù)量有一定要求, 特別是Comparison對(duì)比式數(shù)據(jù)對(duì)訓(xùn)練集的數(shù)據(jù)量更敏感.

表2 各模型的實(shí)驗(yàn)結(jié)果Table 2 Experimental results of each model

對(duì)于無監(jiān)督基線, 本文模型的生成數(shù)據(jù)Qhotpot-select在機(jī)器閱讀理解任務(wù)中F1值達(dá)到了69.0, 優(yōu)于4個(gè)基線模型(SQuAD-Transfer,Bridge-Only,Comparison-Only,MQA-QG). 在沒有人工標(biāo)注支持句的弱監(jiān)督情況下,F1值與有監(jiān)督基線的差距由14.2縮短到13.8, 證明了本文模型對(duì)于生成高質(zhì)量多跳問題的有效性. Comparison和Total數(shù)據(jù)的F1值分別超出MQA-QG模型0.9和0.4, 而數(shù)據(jù)集Bridge的指標(biāo)沒有超過MQA-QG模型, 說明將候選問題與文本進(jìn)行對(duì)比學(xué)習(xí)的方式對(duì)于捕捉比較式數(shù)據(jù)集文檔的重要實(shí)體屬性語(yǔ)義信息更有效, 進(jìn)而篩選出質(zhì)量高的多跳問題.

綜上, 針對(duì)獲取大規(guī)模的多跳問答訓(xùn)練數(shù)據(jù)集耗時(shí)耗力的問題, 本文提出了一個(gè)分為生成階段和對(duì)比學(xué)習(xí)打分階段的生成-評(píng)估兩階段模型, 生成最優(yōu)候選問題的同時(shí)通過數(shù)據(jù)增強(qiáng)策略, 有效地通過擴(kuò)充訓(xùn)練集取得了機(jī)器閱讀理解任務(wù)上的性能提升. 在多文本同構(gòu)數(shù)據(jù)集HotpotQA上的實(shí)驗(yàn)結(jié)果表明, 基于對(duì)比學(xué)習(xí)思想的無監(jiān)督多跳問題生成方法對(duì)比了候選問題和源文本, 生成了質(zhì)量較高的無需人工標(biāo)注的多跳問題集, 有效擴(kuò)充并篩選了原始的訓(xùn)練集, 極大減少了人工標(biāo)注數(shù)據(jù)的需求, 同時(shí)在機(jī)器閱讀理解任務(wù)上性能提升較好.