• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多篇章多答案的閱讀理解系統(tǒng)

    2018-12-20 06:18:44劉家驊杜彥濤
    中文信息學(xué)報 2018年11期
    關(guān)鍵詞:參考答案文檔預(yù)處理

    劉家驊,韋 琬,陳 灝,杜彥濤

    (1. 清華大學(xué) 計算機系,北京 100084;2. 北京奇點機智科技有限公司,北京 100080)

    0 引言

    機器閱讀理解任務(wù)是自然語言處理的核心問題。近年來各個數(shù)據(jù)集的發(fā)布,大大推進(jìn)了機器閱讀理解任務(wù)的發(fā)展。最近,在由中國中文信息學(xué)會和中國計算機學(xué)會主辦,百度公司、中國中文信息學(xué)會評測工委會和中國計算機學(xué)會中文信息技術(shù)專委會承辦的2018機器閱讀理解技術(shù)競賽中,發(fā)布了一個大規(guī)模的源于真實搜索引擎任務(wù)場景的中文閱讀理解數(shù)據(jù)集,這將對中文閱讀理解領(lǐng)域的發(fā)展產(chǎn)生很大的推動作用。

    與其他早前發(fā)布的數(shù)據(jù)集相比,本次比賽的數(shù)據(jù)有如下特點: (1)來源于真實數(shù)據(jù),包含不同類型的問題。數(shù)據(jù)不但包括事實類問題,還包括大量意見型問題,而意見型問題常常對應(yīng)多個答案; (2)問題對應(yīng)的文檔以網(wǎng)頁全文的形式給出,其長度也大大超過常見閱讀理解模型的限制; (3)包括百度搜索和百度知道兩部分不同來源的數(shù)據(jù),相互間存在很大差異。這些特點決定了這個數(shù)據(jù)集比以往的機器閱讀理解數(shù)據(jù)集具有更大的挑戰(zhàn)性。為了應(yīng)對這些挑戰(zhàn),我們從數(shù)據(jù)預(yù)處理、特征表示、模型選擇、損失函數(shù)的設(shè)定和訓(xùn)練方法的選擇等多個方面對系統(tǒng)進(jìn)行改進(jìn)。實驗表明,每個部分的改進(jìn)都對結(jié)果的提高做出了貢獻(xiàn)。最終,我們的系統(tǒng)在ROUGE-L和BLEU-4上分別取得了63.38和59.23的分?jǐn)?shù),獲得了2018機器閱讀理解技術(shù)競賽的第一名。

    接下來,我們將從競賽數(shù)據(jù)集和評價方法、數(shù)據(jù)預(yù)處理、模型結(jié)構(gòu)、實現(xiàn)細(xì)節(jié)、實驗結(jié)果和樣例分析等方面分節(jié)介紹我們的工作,并在結(jié)論部分對工作進(jìn)行總結(jié)。

    1 競賽數(shù)據(jù)集和評價方法

    本次競賽的數(shù)據(jù)集包括30萬問題(其中訓(xùn)練集27萬,開發(fā)集1萬,測試集2萬),其中20萬來自先前公開發(fā)布的DuReader數(shù)據(jù)集[1],所有問題均為來自搜索引擎場景中用戶的真實問題。每個問題提供最多5個候選文檔以及人工撰寫的一個或者多個答案作為參考答案。數(shù)據(jù)集分為百度搜索和百度知道兩部分(以下簡稱搜索和知道),每一部分各包括15萬問題。搜索部分的文檔來源于百度搜索引擎提供的相關(guān)度最高的網(wǎng)頁,而知道部分的文檔來源于百度知道網(wǎng)站的站內(nèi)搜索引擎提供的相關(guān)度最高的問題對應(yīng)的網(wǎng)頁。與大多數(shù)常用的閱讀理解數(shù)據(jù)集不同的是,本次競賽數(shù)據(jù)集提供的每個文檔都包含來源網(wǎng)頁的全文文本內(nèi)容。

    競賽以測試集的人工標(biāo)注答案為參考答案,采用ROUGH-L為主評價和指標(biāo),BLEU4作為評價指標(biāo),其中以ROUGH-L作為主評價指標(biāo)。同時對于是非及實體類型問題,對ROUGE-L和BLEU4評價指標(biāo)進(jìn)行了輕微的改動,適當(dāng)增加了正確識別是非答案類型及匹配實體的得分獎勵,一定程度上彌補傳統(tǒng)ROUGE-L和BLEU4指標(biāo)對是非和實體類型問題評價不敏感的問題。

    2 數(shù)據(jù)預(yù)處理

    2.1 文檔預(yù)處理

    由于這次比賽數(shù)據(jù)集提供的每個文檔都包含來源網(wǎng)頁的全部文本內(nèi)容,長度比其他常用數(shù)據(jù)集長很多,最長的文檔包含多達(dá)9萬多個詞,大大超出了常用的機器閱讀理解模型可以接受的范圍(通常為數(shù)百詞)。因此,我們需要對文檔進(jìn)行預(yù)處理,抽取出文檔中可能含有答案的部分作為篇章輸入,放入模型中進(jìn)行訓(xùn)練和預(yù)測。

    對于知道和搜索兩部分?jǐn)?shù)據(jù),我們采取了不同的預(yù)處理方法。知道的數(shù)據(jù)來源是百度知道問答中相關(guān)問題的對應(yīng)網(wǎng)頁,所有內(nèi)容都是與網(wǎng)頁標(biāo)題對應(yīng)的問題(和用戶提出的問題不一定相同)相關(guān)的信息?;谠角懊娴男畔⒖赡茉接杏玫募僭O(shè),對于知道數(shù)據(jù)里面的每一篇文檔,我們將文檔標(biāo)題和所有段落順次連接,中間插入特殊的符號表示段落分割,然后截取最前面不超過預(yù)設(shè)最大長度的內(nèi)容,將得到的結(jié)果作為預(yù)處理的結(jié)果。

    對于搜索部分的數(shù)據(jù),文檔包含一般網(wǎng)頁的全部文本信息,前面部分的內(nèi)容有可能與問題沒有關(guān)系。因此,我們采取如下策略:

    (1) 將標(biāo)題和各段內(nèi)容以特殊符號分隔后連接在一起,如果得到的結(jié)果沒有超過預(yù)設(shè)最大長度,則將其作為預(yù)處理的結(jié)果;

    (2) 否則,我們計算各段落和問題的BLEU-4分?jǐn)?shù),以衡量段落和問題的相關(guān)性;

    (3) 在分?jǐn)?shù)排名前k的段落中,選擇最早出現(xiàn)的段落;

    (4) 選取標(biāo)題、這個段落以及下一個段落;

    (5) 對于此后第3到第10個段落,選取每個段落的第一句話;

    (6) 將所有選取的內(nèi)容以特殊符號分隔后連接在一起,截取最前面不超過預(yù)設(shè)最大長度的內(nèi)容,將得到的結(jié)果作為預(yù)處理的結(jié)果。

    上述方法基于兩個假設(shè): 第一,答案可能出現(xiàn)在與問題相似的段落后面;第二,越靠前面的內(nèi)容越重要。引入文檔標(biāo)題的原因在于從文檔標(biāo)題很容易判斷文檔內(nèi)容是否與問題相關(guān)。

    引入上述啟發(fā)式預(yù)處理機制后,采用同樣的模型,得到的結(jié)果比基線系統(tǒng)提供的簡單預(yù)處理方法有大幅提高,對此我們將在實驗部分具體說明。值得注意的是,數(shù)據(jù)集提供了未經(jīng)過分詞的原始文本以及分詞后的結(jié)果,我們的模型選擇分詞后的結(jié)果作為輸入。

    2.2 參考答案片段

    與大多數(shù)主流工作相同,我們將閱讀理解任務(wù)建模成篇章中的片段抽取問題。在數(shù)據(jù)集中,每個問題可能對應(yīng)多個人工撰寫的答案。對于每個答案,我們在篇章中尋找一個與答案F1分?jǐn)?shù)最高的片段,作為這個答案的參考答案片段,在訓(xùn)練時使用。對于僅使用一個答案片段的模型,我們采用與任意一個答案的F1分?jǐn)?shù)最高的片段作為參考答案片段訓(xùn)練模型(這種情況與百度提供的基線系統(tǒng)一致)。

    3 模型結(jié)構(gòu)

    3.1 特征表示層

    在現(xiàn)在常見的機器閱讀理解模型中,詞向量是最常用的特征表示方法。以往的工作表明,使用預(yù)先訓(xùn)練好的詞向量作為輸入,并在閱讀理解任務(wù)的訓(xùn)練過程中固定保持詞向量不變,相比于使用隨機初始化的詞向量,并在訓(xùn)練過程中同步訓(xùn)練詞向量,效果會有提升。因而,我們的模型也使用相同的方法。

    在英文閱讀理解模型中,加入基于字符序列得到的詞表示對于結(jié)果有穩(wěn)定的提升效果。這是因為英文單詞有豐富的詞綴變化,語義相同詞性不同的單詞擁有相同的詞干,只在詞綴上有所區(qū)分,而詞綴相同的單詞往往詞性相同。這樣的特性使得引入字符序列的信息能夠緩解未登錄詞的問題。而漢語詞匯沒有這樣的特性,含有相同字的不同詞語的意思可能完全沒有任何聯(lián)系。我們也嘗試使用循環(huán)神經(jīng)網(wǎng)絡(luò)整合預(yù)訓(xùn)練好的字向量的信息得到詞的表示,作為額外的特征表示,但是實驗效果并沒有明顯地變好。

    在以往的工作如文獻(xiàn)[2]中,除了詞向量以外,一些其他的特征也被運用在閱讀理解模型當(dāng)中。我們的模型使用了詞性標(biāo)注信息。我們使用詞性標(biāo)注工具,對每個問題和對應(yīng)的篇章進(jìn)行詞性標(biāo)注,得到其中每一個詞的詞性信息。對于每一種詞性,我們預(yù)先訓(xùn)練好對應(yīng)的詞性向量。問題和篇章中的每個詞對應(yīng)的詞性向量也作為詞的特征表示之一。

    對于篇章里面的每一個詞,我們還使用一個額外的二值特征wiq,表示這個詞有沒有在對應(yīng)的問題中出現(xiàn)。

    問題的類型也能夠?qū)卮饐栴}提供幫助。2018機器閱讀理解技術(shù)競賽將問題分成三種類型: 實體類,描述類和判斷類。我們認(rèn)為這樣的劃分不夠細(xì)致,通過簡單的關(guān)鍵字匹配,將問題劃分成九種常見類型,大致對應(yīng)英文的各個疑問詞。具體的問題分類和對應(yīng)的關(guān)鍵詞信息見表1。

    給定任意一個問題,首先按表1的順序從上到下匹配各個關(guān)鍵詞,如果問題包含某一分類的其中一個關(guān)鍵詞,則被匹配到該分類。如果問題沒有包含上述任意關(guān)鍵詞,則認(rèn)為問題是數(shù)據(jù)集給定的類型。因此,我們一共將問題分為12類(包括表1定義的九種類型和數(shù)據(jù)集本身給定的三種類型),對于每個問題,都會在問題開始加上一個特殊符號表示其對應(yīng)的問題類型。

    表1 問題分類和對應(yīng)關(guān)鍵詞

    3.2 問題篇章分別編碼層

    3.3 問題篇章匹配層

    3.3.1 BiDAF匹配層

    Seo[3]等提出BiDAF模型利用雙向注意力機制來融合問題和篇章的信息的方法。我們首先通過內(nèi)積計算出每個問題中的詞和每個篇章中的詞的相似度,如式(3)所示。

    (3)

    然后利用他們的方法計算出問題到篇章(context2query)和篇章到問題(query2context)的注意力表示,如式(4)~式(7)所示。

    A=softmax(S)

    (4)

    (5)

    b=softmax(maxcol(S))

    (6)

    (7)

    然后再利用一層雙向LSTM得到隱層表示,如式(8)所示。

    (8)

    3.3.2 MatchLSTM匹配層

    參照Wang和Jiang[4]提出的MatchLSTM模型,我們首先計算:

    然后再利用一層雙向LSTM得到隱層表示,如式(13)所示。

    (13)

    3.3.3 DCA匹配層

    Hasan和Fischer[5]提出在使用雙向注意力機制之后,再使用一層注意力機制進(jìn)一步融合信息的方法:

    然后再利用一層雙向LSTM得到隱層表示,如式(21)所示。

    (21)

    在實驗結(jié)果部分,我們會比較不同匹配層對模型性能帶來的影響。

    3.4 答案抽取層

    其中,t=1,2。

    在答案抽取層,為了給一個問題統(tǒng)一尋找一個答案片段,同一問題對應(yīng)的不同篇章得到的隱層表示被連接起來,這部分的實現(xiàn)和基線系統(tǒng)相同。

    3.5 損失函數(shù)

    對于片段抽取模型來說,通常采取如下?lián)p失函數(shù),如式(26)所示。

    (26)

    其中,a1和a2分別表示參考答案片段對應(yīng)篇章中的開始位置和結(jié)束位置。

    與大多數(shù)已有的閱讀理解數(shù)據(jù)集不同,2018機器閱讀理解技術(shù)競賽的數(shù)據(jù)集為每個問題提供不止一個參考答案。最終評判的時候,只要機器預(yù)測的答案與其中一個答案相同或者類似,就會得到比較高的分?jǐn)?shù)。因而,與只考慮一個參考答案的經(jīng)典模型相比,在訓(xùn)練的時候考慮所有參考答案可以更有效地利用數(shù)據(jù),訓(xùn)練出更好的模型。對于給出多個參考答案的問題,我們利用2.2節(jié)介紹的方法對于每個答案找到它在篇章中的參考答案片段,并定義如下?lián)p失函數(shù),如式(27)所示。

    (27)

    3.6 利用輔助任務(wù)聯(lián)合訓(xùn)練

    Tan[6]等提出了以預(yù)測答案從哪個篇章得到的問題作為輔助任務(wù),進(jìn)行聯(lián)合訓(xùn)練,提高多篇章閱讀理解模型性能的方法。我們借鑒了他們的思路,設(shè)計了篇章選擇損失函數(shù)。

    對于匹配層得到的每一個篇章的隱層表示,我們使用“注意力池化” (attention pooling)和投影變化,從而計算每一個篇章和問題的匹配分?jǐn)?shù)g:

    然后將輔助任務(wù)損失函數(shù)Lsp定義為:

    (32)

    +(1-selk)log(1-gk))

    其中,selk表示是否有答案片段出自該篇章。

    于是,我們使用最大似然估計聯(lián)合訓(xùn)練優(yōu)化目標(biāo)函數(shù),如式(33)所示。

    JMLE=L+λspLsp

    (33)

    3.7 利用最小風(fēng)險訓(xùn)練

    前面提出的損失函數(shù)使用最大似然估計,目標(biāo)是最大化訓(xùn)練集中每個問題的參考答案區(qū)間出現(xiàn)的概率。與之相比,使用最小風(fēng)險訓(xùn)練直接對評估指標(biāo)的期望進(jìn)行優(yōu)化,在機器翻譯等方向取得了很好的結(jié)果。

    在閱讀理解任務(wù)上,最小風(fēng)險訓(xùn)練的目標(biāo)函數(shù)可以被定義為式(34)。

    (34)

    參考前人的工作,進(jìn)行最小風(fēng)險訓(xùn)練的時候,我們以最大似然估計訓(xùn)練得到的模型參數(shù),作為初始化參數(shù)。在這種情況下,我們發(fā)現(xiàn),聯(lián)合訓(xùn)練最大似然估計和最小風(fēng)險訓(xùn)練的目標(biāo)函數(shù)可以得到更好的結(jié)果,如式(35)所示。

    J=JMLE+λMRTJMRT

    (35)

    3.8 判斷類問題模型

    然后將rp做投影到分類維度,再用交叉熵做損失函數(shù)訓(xùn)練分類模型。

    4 實現(xiàn)細(xì)節(jié)

    4.1 預(yù)訓(xùn)練詞向量

    我們利用數(shù)據(jù)集提供的未分詞文本和分詞結(jié)果,使用一層的LSTM模型訓(xùn)練了一個分詞器,然后用這個分詞器將SogouT的部分文檔進(jìn)行分詞,用分詞得到的結(jié)果作為輸入,以語言模型為訓(xùn)練目標(biāo),使用一層的LSTM模型訓(xùn)練256維的中文詞向量。得到的預(yù)訓(xùn)練詞向量被用在閱讀理解模型中,并且在訓(xùn)練閱讀理解模型的過程中保持不變。

    4.2 模型參數(shù)和訓(xùn)練方法

    在訓(xùn)練過程中,我們設(shè)定每個篇章的最大長度為500詞,batch size為32。為防止模型過擬合,層與層之間采用了dropout技術(shù),所有隱層表示向量為150維,單模型系統(tǒng)的dropout比例設(shè)為0.15。我們使用λMRT=10.0,在單一模型情況下λsp=5.0。

    我們采用Adam算法來優(yōu)化我們的模型,學(xué)習(xí)率(learning rate)在訓(xùn)練過程中保持0.001不變。對于知道部分和搜索部分的數(shù)據(jù),我們使用兩個模型分別訓(xùn)練和預(yù)測。使用最大似然估計訓(xùn)練模型時,我們訓(xùn)練10輪(epoch),每一輪訓(xùn)練之后在開發(fā)集測試性能,最終選擇開發(fā)集上性能最好的模型。使用最小風(fēng)險訓(xùn)練時,模型以最大似然估計訓(xùn)練得到的參數(shù)作為初始化參數(shù)進(jìn)行訓(xùn)練。由于使用最小風(fēng)險訓(xùn)練速度較慢,且使用最大似然估計訓(xùn)練好的模型參數(shù)進(jìn)行初始化以后,模型通常在第一輪訓(xùn)練結(jié)束的時候就達(dá)到最好的效果,于是使用最小風(fēng)險訓(xùn)練時我們只訓(xùn)練1輪。

    4.3 實驗環(huán)境和訓(xùn)練時間

    實驗所用的服務(wù)器使用4核Intel(R) Xeon(R) CPU E5-2630 v4 2.20GHz CPU,配有128GB內(nèi)存,顯卡為TITAN X Pascal,顯存大小為12GB。每個實驗使用單個GPU進(jìn)行訓(xùn)練。

    在搜索部分?jǐn)?shù)據(jù)上,BiDAF模型每一輪數(shù)據(jù)訓(xùn)練和驗證時間約為3h,MatchLSTM模型約為5h,DCA模型約為3h。知道部分?jǐn)?shù)據(jù)每一輪訓(xùn)練所用時間與搜索部分?jǐn)?shù)據(jù)相仿。使用最小風(fēng)險訓(xùn)練時,由于每次要計算所有片段和參考答案的Rouge-L值,訓(xùn)練速度相對緩慢,BiDAF模型每一輪大概需要16h。

    4.4 預(yù)測結(jié)果和結(jié)果后處理

    預(yù)測時,我們使用模型預(yù)測答案片段在篇章的開始位置和結(jié)束位置的概率分布,并尋找同一篇章內(nèi)使得開始位置概率乘以結(jié)束位置概率最大的片段作為預(yù)測結(jié)果。

    值得說明的是,數(shù)據(jù)集對每個問題提供多個文檔,這些文檔來源于搜索結(jié)果,并按照搜索結(jié)果順序呈現(xiàn),也就是說搜索系統(tǒng)認(rèn)為更靠前的文檔與問題更相關(guān),而這個信息在我們的系統(tǒng)里面并沒有顯式體現(xiàn)。盡管模型在訓(xùn)練的時候增加了輔助任務(wù)預(yù)測答案從哪一個篇章得到,我們發(fā)現(xiàn),對于訓(xùn)練好的模型,在開發(fā)集中僅使用前3篇文檔進(jìn)行預(yù)測的結(jié)果,比使用全部(最多5篇)文檔進(jìn)行預(yù)測得到的結(jié)果有明顯提高。在實驗部分我們會給出數(shù)據(jù)進(jìn)行具體說明。因此,在最后預(yù)測的時候,對于每個問題,我們僅使用前3篇文檔進(jìn)行預(yù)測,得到結(jié)果。

    我們還對提取出來的片段進(jìn)行簡單后處理,包括去除我們在預(yù)處理階段增加的特殊分隔符和“u3000”“ ”等特殊符號,以及對標(biāo)點符號進(jìn)行規(guī)范化處理。最終提交的結(jié)果是經(jīng)過后處理的結(jié)果。

    4.5 集成模型

    由于實驗結(jié)果表明,使用BiDAF、MatchLSTM和DCA作為匹配層的效果相近,為了使得集成模型來源的各個模型具有多樣性,我們采用了來自不同匹配模型的結(jié)果進(jìn)行集成。我們還使用了不同的dropout比例,不同的聯(lián)合學(xué)習(xí)比率訓(xùn)練不同的模型。表2詳細(xì)介紹了集成結(jié)果來源的各個模型的不同部分具體選項。所有18種不同選擇分別被用于訓(xùn)練,共得到18個模型,這些模型的結(jié)果最后被集成得到最終結(jié)果。

    表2 集成結(jié)果來源的模型選擇

    5 實驗結(jié)果

    5.1 不同匹配模型的選擇

    在模型結(jié)構(gòu)的匹配層部分,我們介紹了BiDAF、MatchLSTM和DCA三種不同的選擇。我們在開發(fā)集上比較了選用不同匹配方法的模型結(jié)果。表3展示了不同匹配層在搜索和知道上的結(jié)果。由于不同模型結(jié)果非常接近,為了減少誤差,對于每種情況,我們使用兩個不同的隨機種子訓(xùn)練模型,最終匯報的結(jié)果是兩個模型結(jié)果的平均值。

    表3 不同匹配層模型的表現(xiàn)

    可以看出,使用不同的匹配層得到的結(jié)果非常接近。MatchLSTM得到的結(jié)果最好,但是和BiDAF和DCA得到的結(jié)果非常接近。因此,在之后的單模型實驗中,我們選擇使用速度較快的BiDAF匹配層。而在集成模型的時候,為了使來源的各個模型具有多樣性,我們使用了BiDAF,MatchLSTM和DCA匹配層得到的不同模型。

    5.2 模型其他各部分的貢獻(xiàn)

    我們從基線系統(tǒng)開始,逐步增加各個部分,驗證每個部分對于效果帶來的影響。表4總結(jié)了這部分的實驗結(jié)果,其中數(shù)據(jù)是模型在開發(fā)集上沒有經(jīng)過后處理的直接預(yù)測結(jié)果的表現(xiàn)。值得說明的是,比賽提供的結(jié)果評估腳本里計算BLEU4指標(biāo)的方式造成了每個問題權(quán)重不等,答案長的問題實際權(quán)重更高,這是不合理的,而計算ROUGE-L的時候每個問題的權(quán)重是相同的,且最終比賽結(jié)果也選擇了ROUGE-L作為主要的評價指標(biāo),所以我們匯報實驗結(jié)果的時候主要關(guān)注ROUGE-L的結(jié)果。

    表4 模型各部分的影響

    從實驗結(jié)果可以看出,每項改變都使系統(tǒng)性能得到提升。其中,我們提出的啟發(fā)式篇章預(yù)處理的方法非常有效,使用這種方法相對于基線系統(tǒng)的預(yù)處理方法有大幅提高,在搜索部分提升了11.30,在知道部分也提升了4.62。使用預(yù)訓(xùn)練詞向量使得搜索和知道部分的結(jié)果分別進(jìn)一步提升了4.51和4.50。進(jìn)一步增加其他特征(詞性標(biāo)注、問題類型、wiq)會在搜索和知道上分別帶來0.17和0.65的額外提升。與僅利用一個答案相比,在損失函數(shù)中考慮多個答案使ROUGE-L指標(biāo)在搜索和知道上分別進(jìn)一步上升了1.60和1.30。值得說明的是,加上輔助任務(wù)進(jìn)行聯(lián)合訓(xùn)練后,雖然ROUGE-L值沒有大幅提高,但是模型訓(xùn)練的穩(wěn)定性得到了增強。

    最終,基于上面的模型,再使用最小風(fēng)險訓(xùn)練,我們的模型在開發(fā)集上搜索和知道的ROUGE-L值分別達(dá)到49.61和58.11,相比基線系統(tǒng)分別提高18.84和12.21。這是我們的單系統(tǒng)模型在開發(fā)集上沒有使用后處理的結(jié)果。

    5.3 僅用前三篇文檔進(jìn)行預(yù)測的的結(jié)果

    如4.4節(jié)所述,我們在實驗中發(fā)現(xiàn),對于同一個訓(xùn)練好的模型,在開發(fā)集中僅使用前3篇文檔得到的篇章進(jìn)行預(yù)測的結(jié)果,比使用全部文檔進(jìn)行預(yù)測得到的結(jié)果有明顯提高,表5給出了對比的實驗結(jié)果。

    表5 僅使用前三篇進(jìn)行預(yù)測的結(jié)果

    5.4 判斷模型的影響

    表6比較了使用3.8節(jié)描述的判斷模型給判斷類問題抽取出來的答案加上判斷結(jié)果后,對于在線測試集上ROUGE-L和BLEU4帶來的變化??梢钥闯觯由吓袛嘟Y(jié)果后,ROUGE-L和BLEU4分別提高了0.26和0.23。

    表6 判斷模型的影響

    5.5 在線測試集的結(jié)果

    表7顯示了我們的單模型和集成模型對在線測試集的實驗結(jié)果。集成模型的具體設(shè)置見實驗細(xì)節(jié)中的集成模型部分。可以看出,相比于單一模型,集成模型在ROUGE-L和BLEU-4上分別有1.58和2.28的提高。

    表7 在線測試集結(jié)果

    5.6 最終結(jié)果

    圖1顯示了比賽公布的最終結(jié)果,我們的系統(tǒng)在ROUGE-L和BLEU-4上分別取得了63.38和59.23的結(jié)果,排名第一,分別領(lǐng)先第2名2.39和3.30。

    圖1 最終比賽結(jié)果

    6 樣例分析

    圖2給出了一些開發(fā)集中我們系統(tǒng)預(yù)測答案沒有完全和參考答案相符的例子。其中,對于問題1,我們的預(yù)測答案包含了額外的非答案信息。問題2的預(yù)測答案只包括了參考答案的一部分,沒有完整包含應(yīng)有的信息。問題3對應(yīng)了另外的情況,我們的預(yù)測答案是文檔里完整包含了答案信息的片段,但是標(biāo)注者重新整理了這個片段并編寫得到了更簡潔和合適的參考答案。問題4則對應(yīng)了最差的情況,我們系統(tǒng)預(yù)測的結(jié)果完全不是回答給定問題的答案。從這些例子可以看出,我們的系統(tǒng)盡管整體上取得了不錯的結(jié)果,但在一些情況下仍然存在預(yù)測的答案不夠準(zhǔn)確(缺少必要部分,包含不必要的部分),甚至完全錯誤的情況。一種可能的解決方法是考慮引入答案驗證模塊,提高答案的準(zhǔn)確性。

    圖2 樣例分析

    7 結(jié)論

    2018機器閱讀理解技術(shù)競賽的數(shù)據(jù)集是基于真實場景的大規(guī)模數(shù)據(jù)集,包含不同類型的問題和不同來源的文檔,非常具有挑戰(zhàn)性。針對數(shù)據(jù)集的特點,我們從數(shù)據(jù)預(yù)處理、特征表示、模型選擇、損失函數(shù)的定置和訓(xùn)練方法的選擇等多個方面入手構(gòu)造系統(tǒng),在正式測試集中ROUGE-L和BLEU-4上分別取得了63.38和59.23的分?jǐn)?shù),在最終提交結(jié)果的105支參賽隊伍里取得了第一名的成績。

    猜你喜歡
    參考答案文檔預(yù)處理
    有人一聲不吭向你扔了個文檔
    基于預(yù)處理MUSIC算法的分布式陣列DOA估計
    2017年6月七、八年級參考答案
    2017年6月九年級參考答案
    基于RI碼計算的Word復(fù)制文檔鑒別
    淺談PLC在預(yù)處理生產(chǎn)線自動化改造中的應(yīng)用
    Persistence of the reproductive toxicity of chlorpiryphos-ethyl in male Wistar rat
    絡(luò)合萃取法預(yù)處理H酸廢水
    參考答案
    基于自適應(yīng)預(yù)處理的改進(jìn)CPF-GMRES算法
    亚洲精品第二区| 午夜av观看不卡| 日韩中文字幕视频在线看片| 性色avwww在线观看| 性色avwww在线观看| 欧美3d第一页| 欧美+日韩+精品| 久久人妻熟女aⅴ| 少妇人妻 视频| 免费大片18禁| av国产精品久久久久影院| 精品人妻熟女av久视频| 日日啪夜夜爽| 精品国产一区二区三区久久久樱花| av在线观看视频网站免费| 国产欧美另类精品又又久久亚洲欧美| 欧美激情极品国产一区二区三区 | 观看av在线不卡| 国产亚洲最大av| 成年人午夜在线观看视频| 国产精品久久久久久精品古装| 国产成人精品一,二区| 亚洲av二区三区四区| 亚洲一区二区三区欧美精品| 成人影院久久| 天堂俺去俺来也www色官网| 欧美变态另类bdsm刘玥| 天天操日日干夜夜撸| 女人精品久久久久毛片| 国产成人免费无遮挡视频| 国产精品一二三区在线看| 考比视频在线观看| 男女边摸边吃奶| 2018国产大陆天天弄谢| 99久国产av精品国产电影| 亚洲美女搞黄在线观看| 亚洲精品美女久久av网站| 欧美日韩成人在线一区二区| 91久久精品国产一区二区三区| 精品久久久精品久久久| 久久久久久久亚洲中文字幕| 人体艺术视频欧美日本| 国产极品天堂在线| 日韩大片免费观看网站| 久久久久人妻精品一区果冻| 三级国产精品片| 香蕉精品网在线| 一级爰片在线观看| 成人免费观看视频高清| 99国产综合亚洲精品| 国产精品秋霞免费鲁丝片| 久久97久久精品| 国产精品久久久久久精品古装| 国产色婷婷99| 国产成人精品无人区| 一本色道久久久久久精品综合| 免费观看性生交大片5| 热re99久久精品国产66热6| 亚洲欧美成人精品一区二区| 亚洲美女黄色视频免费看| av天堂久久9| 精品人妻熟女av久视频| 80岁老熟妇乱子伦牲交| 国产黄频视频在线观看| 久久99热这里只频精品6学生| 最近2019中文字幕mv第一页| 亚洲无线观看免费| 最新的欧美精品一区二区| 男女高潮啪啪啪动态图| 性色av一级| 国产精品不卡视频一区二区| 日韩av不卡免费在线播放| 有码 亚洲区| 国语对白做爰xxxⅹ性视频网站| 纯流量卡能插随身wifi吗| 日韩,欧美,国产一区二区三区| 18在线观看网站| 日韩强制内射视频| 欧美日韩av久久| 秋霞伦理黄片| 亚洲美女黄色视频免费看| 国产成人av激情在线播放 | 一个人看视频在线观看www免费| a级毛片在线看网站| 免费av中文字幕在线| 亚洲欧美一区二区三区国产| 少妇的逼水好多| 边亲边吃奶的免费视频| 99九九线精品视频在线观看视频| 在线免费观看不下载黄p国产| 国产成人精品一,二区| 制服丝袜香蕉在线| 搡老乐熟女国产| 亚洲欧美日韩另类电影网站| 欧美激情国产日韩精品一区| 美女主播在线视频| 王馨瑶露胸无遮挡在线观看| 国产成人精品一,二区| 满18在线观看网站| 伦理电影免费视频| 三上悠亚av全集在线观看| 久久久久久久久久久免费av| 精品一区二区免费观看| 99久久精品国产国产毛片| 国产日韩欧美亚洲二区| 亚洲av欧美aⅴ国产| 一级a做视频免费观看| 国产精品久久久久久精品电影小说| av在线老鸭窝| 中文天堂在线官网| 亚洲精品久久午夜乱码| 亚洲少妇的诱惑av| 男女啪啪激烈高潮av片| 人人澡人人妻人| 特大巨黑吊av在线直播| 国产av码专区亚洲av| 亚洲精品色激情综合| 男人爽女人下面视频在线观看| 久久久久久久亚洲中文字幕| 久久99一区二区三区| 免费久久久久久久精品成人欧美视频 | 亚洲av.av天堂| 国产成人免费无遮挡视频| 久久精品国产鲁丝片午夜精品| 看十八女毛片水多多多| 日本wwww免费看| 中文字幕精品免费在线观看视频 | 久久久久久久久久人人人人人人| 色吧在线观看| 国产精品99久久99久久久不卡 | 国产国拍精品亚洲av在线观看| 中文字幕精品免费在线观看视频 | 一级毛片黄色毛片免费观看视频| 我的女老师完整版在线观看| 女性被躁到高潮视频| 亚洲人成网站在线观看播放| 亚洲色图 男人天堂 中文字幕 | 久久午夜福利片| 国产乱人偷精品视频| 国产精品久久久久成人av| 高清毛片免费看| 黄色一级大片看看| 我的女老师完整版在线观看| 老司机影院成人| 考比视频在线观看| 搡女人真爽免费视频火全软件| 在线观看免费高清a一片| 中文字幕人妻熟人妻熟丝袜美| 老司机影院毛片| 777米奇影视久久| 在线免费观看不下载黄p国产| 蜜桃在线观看..| 成人手机av| 日日爽夜夜爽网站| 久久婷婷青草| 婷婷色综合大香蕉| 亚洲国产最新在线播放| 国产不卡av网站在线观看| 国产黄色免费在线视频| 嫩草影院入口| 青春草视频在线免费观看| 最近手机中文字幕大全| 亚洲人成网站在线播| 女性生殖器流出的白浆| 黑人猛操日本美女一级片| 国产无遮挡羞羞视频在线观看| 国产一区二区三区综合在线观看 | 欧美日韩视频高清一区二区三区二| 91精品国产九色| 伦理电影大哥的女人| 日本vs欧美在线观看视频| 五月天丁香电影| 欧美日韩视频精品一区| 久久精品熟女亚洲av麻豆精品| 久久鲁丝午夜福利片| 哪个播放器可以免费观看大片| 天堂俺去俺来也www色官网| 婷婷成人精品国产| 伦精品一区二区三区| 欧美日韩一区二区视频在线观看视频在线| 亚洲精品亚洲一区二区| av免费在线看不卡| 中文字幕av电影在线播放| 午夜激情福利司机影院| 精品久久久噜噜| 考比视频在线观看| 日韩熟女老妇一区二区性免费视频| 大陆偷拍与自拍| 2022亚洲国产成人精品| xxx大片免费视频| 日韩强制内射视频| 综合色丁香网| 国产乱来视频区| 麻豆成人av视频| 欧美激情国产日韩精品一区| 午夜av观看不卡| 国精品久久久久久国模美| 黑人巨大精品欧美一区二区蜜桃 | 国产男女超爽视频在线观看| 国产亚洲欧美精品永久| 韩国高清视频一区二区三区| 人妻一区二区av| 国产熟女午夜一区二区三区 | 视频中文字幕在线观看| 超碰97精品在线观看| 你懂的网址亚洲精品在线观看| 大片电影免费在线观看免费| 国产无遮挡羞羞视频在线观看| 色5月婷婷丁香| 日韩av在线免费看完整版不卡| 国产视频首页在线观看| 欧美日韩亚洲高清精品| 日本免费在线观看一区| 99九九线精品视频在线观看视频| 99热这里只有精品一区| 色5月婷婷丁香| 免费高清在线观看视频在线观看| 国产男女内射视频| 狠狠精品人妻久久久久久综合| 在线播放无遮挡| 国产精品偷伦视频观看了| 中文字幕av电影在线播放| 高清在线视频一区二区三区| 国产精品国产三级专区第一集| 青春草亚洲视频在线观看| 在线亚洲精品国产二区图片欧美 | 亚洲四区av| 亚洲第一av免费看| 欧美精品一区二区免费开放| 久久国内精品自在自线图片| 久久毛片免费看一区二区三区| a级毛片在线看网站| 高清av免费在线| 少妇熟女欧美另类| 成年人免费黄色播放视频| 少妇人妻久久综合中文| 成人18禁高潮啪啪吃奶动态图 | 18禁在线播放成人免费| 另类精品久久| 精品人妻熟女毛片av久久网站| 熟女电影av网| 国产一区二区在线观看av| 老司机亚洲免费影院| 国产又色又爽无遮挡免| 亚洲欧美成人综合另类久久久| 高清不卡的av网站| 久久精品久久久久久久性| 欧美激情 高清一区二区三区| 性高湖久久久久久久久免费观看| 亚洲欧美成人综合另类久久久| 欧美另类一区| 中文乱码字字幕精品一区二区三区| 精品久久久噜噜| 色5月婷婷丁香| 男女啪啪激烈高潮av片| 天美传媒精品一区二区| 亚洲不卡免费看| 99视频精品全部免费 在线| 中国三级夫妇交换| 三级国产精品片| 女性生殖器流出的白浆| xxx大片免费视频| 午夜精品国产一区二区电影| 寂寞人妻少妇视频99o| 国产视频首页在线观看| 亚洲美女搞黄在线观看| freevideosex欧美| 日日爽夜夜爽网站| 久久精品熟女亚洲av麻豆精品| 视频在线观看一区二区三区| 亚洲国产最新在线播放| 精品酒店卫生间| 五月玫瑰六月丁香| 中文字幕免费在线视频6| 国产免费现黄频在线看| 国产亚洲最大av| 国产精品99久久99久久久不卡 | 日产精品乱码卡一卡2卡三| 午夜久久久在线观看| 妹子高潮喷水视频| 蜜桃在线观看..| 久久精品久久久久久噜噜老黄| 欧美日韩国产mv在线观看视频| 日本欧美视频一区| 日本av免费视频播放| 91久久精品国产一区二区三区| 蜜桃国产av成人99| 母亲3免费完整高清在线观看 | 日本黄色日本黄色录像| 成人18禁高潮啪啪吃奶动态图 | 视频区图区小说| 国产日韩欧美视频二区| 欧美精品人与动牲交sv欧美| 99久国产av精品国产电影| 人人妻人人澡人人爽人人夜夜| 欧美少妇被猛烈插入视频| 91成人精品电影| 26uuu在线亚洲综合色| a级毛色黄片| av网站免费在线观看视频| 日韩免费高清中文字幕av| av有码第一页| 久久 成人 亚洲| 少妇精品久久久久久久| 国产熟女午夜一区二区三区 | 久久女婷五月综合色啪小说| 亚洲av福利一区| 美女视频免费永久观看网站| 成人免费观看视频高清| 色哟哟·www| 久久久精品区二区三区| 亚洲国产精品一区二区三区在线| 国产成人精品婷婷| 老熟女久久久| 国产黄频视频在线观看| 五月天丁香电影| www.av在线官网国产| 亚洲精品亚洲一区二区| 久久午夜福利片| 亚洲精品久久成人aⅴ小说 | 亚洲精品乱久久久久久| 久久精品久久久久久久性| 精品熟女少妇av免费看| 最近中文字幕高清免费大全6| 精品人妻一区二区三区麻豆| 免费观看a级毛片全部| 简卡轻食公司| 久久女婷五月综合色啪小说| 亚洲情色 制服丝袜| 丝袜喷水一区| 日本色播在线视频| 国内精品宾馆在线| 免费大片黄手机在线观看| 国产精品人妻久久久影院| 韩国高清视频一区二区三区| 永久免费av网站大全| 久久韩国三级中文字幕| 国产精品人妻久久久久久| 日韩不卡一区二区三区视频在线| 麻豆乱淫一区二区| 午夜福利网站1000一区二区三区| 免费大片18禁| 日韩精品免费视频一区二区三区 | 少妇被粗大的猛进出69影院 | 国产成人精品福利久久| a级毛片免费高清观看在线播放| 999精品在线视频| 永久免费av网站大全| 亚洲成人手机| 亚洲久久久国产精品| 大片电影免费在线观看免费| 99久久人妻综合| av播播在线观看一区| 国产精品熟女久久久久浪| 看十八女毛片水多多多| 91久久精品国产一区二区三区| 精品99又大又爽又粗少妇毛片| 亚洲国产精品一区二区三区在线| 中文字幕av电影在线播放| 80岁老熟妇乱子伦牲交| 啦啦啦在线观看免费高清www| 在线观看www视频免费| 男女免费视频国产| 国产视频首页在线观看| 日韩电影二区| 久久久久久久久大av| 免费黄色在线免费观看| av.在线天堂| 国产精品一区二区在线不卡| 男女无遮挡免费网站观看| 亚洲伊人久久精品综合| 亚洲av综合色区一区| 美女大奶头黄色视频| 精品卡一卡二卡四卡免费| 97超碰精品成人国产| 久久久国产一区二区| 日日啪夜夜爽| 搡女人真爽免费视频火全软件| 国产精品熟女久久久久浪| 夜夜爽夜夜爽视频| 久久久久精品久久久久真实原创| 人妻少妇偷人精品九色| 女性生殖器流出的白浆| 天堂8中文在线网| 中文字幕制服av| 汤姆久久久久久久影院中文字幕| 2021少妇久久久久久久久久久| 国产成人freesex在线| 亚洲精品国产色婷婷电影| 欧美精品高潮呻吟av久久| 99热国产这里只有精品6| 亚洲精品成人av观看孕妇| 永久网站在线| 啦啦啦中文免费视频观看日本| 久久精品熟女亚洲av麻豆精品| 91aial.com中文字幕在线观看| 亚洲国产精品成人久久小说| 亚洲成人av在线免费| 久久青草综合色| 97超碰精品成人国产| 九色成人免费人妻av| 涩涩av久久男人的天堂| av福利片在线| 国产精品久久久久久精品古装| 国产成人精品无人区| 99九九在线精品视频| 亚洲国产日韩一区二区| 日本av手机在线免费观看| 久久婷婷青草| 97超视频在线观看视频| 午夜精品国产一区二区电影| 如日韩欧美国产精品一区二区三区 | 亚洲欧洲日产国产| 一个人免费看片子| 亚洲国产av影院在线观看| 中文字幕制服av| 成人黄色视频免费在线看| 国产视频内射| 欧美亚洲 丝袜 人妻 在线| a 毛片基地| 成人毛片60女人毛片免费| 国产亚洲精品久久久com| 亚洲中文av在线| 丝袜美足系列| 一级毛片黄色毛片免费观看视频| 一本一本综合久久| 美女cb高潮喷水在线观看| 一个人免费看片子| 国产成人精品婷婷| 国产又色又爽无遮挡免| 亚洲精品久久午夜乱码| 成人亚洲欧美一区二区av| av电影中文网址| 人妻夜夜爽99麻豆av| 熟女人妻精品中文字幕| 亚洲av国产av综合av卡| 欧美成人精品欧美一级黄| 99热国产这里只有精品6| 亚洲国产精品国产精品| 大片电影免费在线观看免费| 久久亚洲国产成人精品v| 免费观看性生交大片5| 波野结衣二区三区在线| 最近手机中文字幕大全| 91久久精品电影网| 五月天丁香电影| 亚洲精品日韩在线中文字幕| 亚洲成人一二三区av| 成人国产麻豆网| 伊人久久国产一区二区| 大片电影免费在线观看免费| 色5月婷婷丁香| 成人漫画全彩无遮挡| 欧美人与善性xxx| 国产亚洲欧美精品永久| 丝袜喷水一区| 一级毛片 在线播放| 熟妇人妻不卡中文字幕| 观看av在线不卡| 国产亚洲一区二区精品| 亚洲少妇的诱惑av| 美女主播在线视频| 婷婷成人精品国产| 91aial.com中文字幕在线观看| 在线 av 中文字幕| 男女免费视频国产| 大香蕉97超碰在线| 九九在线视频观看精品| 国产成人av激情在线播放 | 欧美最新免费一区二区三区| 人人妻人人添人人爽欧美一区卜| av视频免费观看在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 久久精品国产亚洲av天美| 国产午夜精品久久久久久一区二区三区| 曰老女人黄片| 成人毛片a级毛片在线播放| av电影中文网址| 亚洲成人av在线免费| 丝袜美足系列| 久久国产精品大桥未久av| 国产成人a∨麻豆精品| 国产成人精品福利久久| 亚洲av免费高清在线观看| 国产永久视频网站| 在线亚洲精品国产二区图片欧美 | 欧美变态另类bdsm刘玥| 黄色毛片三级朝国网站| 两个人的视频大全免费| 嘟嘟电影网在线观看| 成人国产av品久久久| 一级a做视频免费观看| 国产毛片在线视频| 午夜老司机福利剧场| 成年美女黄网站色视频大全免费 | 最新中文字幕久久久久| 亚洲国产毛片av蜜桃av| 天天操日日干夜夜撸| 麻豆精品久久久久久蜜桃| 最黄视频免费看| 亚洲第一av免费看| 视频中文字幕在线观看| av.在线天堂| 最近的中文字幕免费完整| 看非洲黑人一级黄片| 国产一区有黄有色的免费视频| 有码 亚洲区| 欧美+日韩+精品| 美女内射精品一级片tv| 久久热精品热| 国产精品蜜桃在线观看| 一级片'在线观看视频| 亚洲在久久综合| 我要看黄色一级片免费的| 亚洲精品日韩在线中文字幕| 久久精品国产亚洲av天美| 大码成人一级视频| 国产毛片在线视频| 一本大道久久a久久精品| 婷婷色麻豆天堂久久| 99久久人妻综合| 欧美另类一区| .国产精品久久| 国产老妇伦熟女老妇高清| 一区在线观看完整版| 国产日韩欧美在线精品| 日本爱情动作片www.在线观看| 最近中文字幕2019免费版| 韩国av在线不卡| 精品国产乱码久久久久久小说| av在线老鸭窝| 成人18禁高潮啪啪吃奶动态图 | 观看美女的网站| 99精国产麻豆久久婷婷| 国产精品国产三级国产专区5o| 日韩伦理黄色片| 秋霞伦理黄片| 亚洲婷婷狠狠爱综合网| 蜜臀久久99精品久久宅男| 亚洲少妇的诱惑av| 美女xxoo啪啪120秒动态图| 久久久久久久久久久免费av| 国产成人aa在线观看| 亚洲美女视频黄频| 国产成人午夜福利电影在线观看| 国产成人a∨麻豆精品| 91午夜精品亚洲一区二区三区| 纯流量卡能插随身wifi吗| 午夜久久久在线观看| 久久久国产精品麻豆| 免费黄色在线免费观看| 女人精品久久久久毛片| 亚洲,欧美,日韩| 国产在视频线精品| 成人黄色视频免费在线看| 男人添女人高潮全过程视频| 一二三四中文在线观看免费高清| 欧美xxⅹ黑人| 国产欧美日韩一区二区三区在线 | 高清视频免费观看一区二区| 亚洲av免费高清在线观看| 国产精品成人在线| 久久国产精品男人的天堂亚洲 | 中文字幕制服av| 国国产精品蜜臀av免费| 成人免费观看视频高清| 亚洲国产色片| 精品久久久久久久久亚洲| 99久久精品一区二区三区| 久久青草综合色| 精品人妻偷拍中文字幕| 久久久久久人妻| 中文字幕最新亚洲高清| 国产免费现黄频在线看| 水蜜桃什么品种好| 99热网站在线观看| h视频一区二区三区| 天美传媒精品一区二区| 国产在线免费精品| 国产精品久久久久成人av| 观看av在线不卡| 人妻 亚洲 视频| 最近中文字幕高清免费大全6| 少妇高潮的动态图| 能在线免费看毛片的网站| 国产午夜精品久久久久久一区二区三区| 久久久国产欧美日韩av| 国产黄片视频在线免费观看| 精品人妻偷拍中文字幕| 亚洲精品乱码久久久v下载方式| 97在线视频观看| 国产有黄有色有爽视频| 91精品国产九色| 少妇的逼好多水| 日韩熟女老妇一区二区性免费视频| 九色亚洲精品在线播放| 色吧在线观看| 亚洲久久久国产精品| 国产精品99久久99久久久不卡 | 国产色婷婷99| av国产精品久久久久影院| 亚洲一区二区三区欧美精品| 亚洲国产毛片av蜜桃av| 91精品国产国语对白视频| 只有这里有精品99| 青春草视频在线免费观看| 一区二区三区免费毛片| 免费人妻精品一区二区三区视频| tube8黄色片| 少妇猛男粗大的猛烈进出视频| 亚洲精品乱码久久久久久按摩| 日日啪夜夜爽| 久久精品久久精品一区二区三区| 中文天堂在线官网| 91成人精品电影|