探索低資源的迭代式復(fù)述生成增強方法

張琳，劉明童，張玉潔，徐金安，陳鈺楓

（北京交通大學 計算機與信息技術(shù)學院，北京 100044）

復(fù)述生成（paraphrase generation）是自然語言處理中一個長期存在的問題[1]，旨在對給定文本轉(zhuǎn)換為同語言中相同語義但不同表達的句子，例如給定原句“How far is Beijing from Shanghai?”，可以生成其他不同表達的句子（復(fù)述句）“What is the distance between Shanghai and Beijing?”。近年來，復(fù)述生成技術(shù)被廣泛應(yīng)用機器翻譯[2]、自動問答[3]、文本摘要[4]、信息檢索[5]和對話生成系統(tǒng)[6]等自然語言處理任務(wù)中，進而提高系統(tǒng)的泛化性和魯棒性。

目前，深度神經(jīng)網(wǎng)絡(luò)的興起愈來愈提高自然語言處理高資源復(fù)述模型的能力，但仍存在以下兩方面的問題。一方面，現(xiàn)有的復(fù)述生成研究大多依賴于大規(guī)模的復(fù)述平行語料，而可用的高質(zhì)量復(fù)述資源十分匱乏，嚴重阻礙了復(fù)述生成模型對新語言或新領(lǐng)域的適用性。因此，如何在規(guī)模有限的訓(xùn)練數(shù)據(jù)上提高復(fù)述生成模型性能是該研究亟待解決的問題。另一方面，以往基于數(shù)據(jù)增強的復(fù)述生成模型自動生成的復(fù)述偽數(shù)據(jù)伴隨大量噪聲[7]，直接使用這些數(shù)據(jù)不利于模型性能的提升。因此，獲取高質(zhì)量的復(fù)述偽數(shù)據(jù)參與每輪模型的迭代訓(xùn)練是增強模型性能的重要環(huán)節(jié)。

為了解決以上問題，本文提出一種低資源下的迭代式復(fù)述生成方法來增強模型性能。其基本思路是最大化利用單語語料和已有小規(guī)模復(fù)述平行語料迭代式訓(xùn)練復(fù)述生成模型并生成復(fù)述偽數(shù)據(jù)，以此構(gòu)建高質(zhì)量的復(fù)述生成模型。與此同時，為了在模型每輪訓(xùn)練過程中獲取高質(zhì)量的偽復(fù)述，本文提出句子流暢性、語義相近性和表達多樣性的3 種計算方法，并以此為基準設(shè)計偽數(shù)據(jù)篩選算法，漸進地增益模型性能。在公開數(shù)據(jù)集Quora 上實驗結(jié)果表明，僅利用30%的復(fù)述數(shù)據(jù)在語義和多樣性評測指標上均超過了基線模型，驗證該方法的有效性。

1 相關(guān)研究

早期研究人員致力于使用人工定義的規(guī)則[8]和復(fù)述模板[9]來進行復(fù)述生成，通常效果不佳且需要大量的專家知識。之后，基于統(tǒng)計機器翻譯的方法[10-11]在一定程度上提升了復(fù)述生成模型效果，但受語料規(guī)模和模型學習能力的限制，復(fù)述生成質(zhì)量仍有待提高。

近年來，研究者們發(fā)現(xiàn)數(shù)據(jù)增強技術(shù)是擴充復(fù)述數(shù)據(jù)和提高模型性能的有效策略[12]。例如，基于同義詞[13]和近義詞[14]的詞匯替換數(shù)據(jù)增強方法，通過替換原句詞匯來生成不同的復(fù)述，但就其所能提供的多樣性而言，在句法多樣性方面仍受限制。隨后，Wieting 等[15]借助機器翻譯中的回譯方法，將捷克語-英語平行語料中捷克語句子翻譯為英語，利用譯文與原英語句合并構(gòu)建復(fù)述數(shù)據(jù)，但機器翻譯模型需要大規(guī)模的捷克語-英語平行語料來訓(xùn)練。后來，Iyyer 等[16]提出基于對抗訓(xùn)練的語言模型方法顯示出了優(yōu)勢，通過向樣本中注入噪聲以達到增強模型魯棒性的效果，但該方法在確定注入擾動的方向上需要昂貴的計算成本[17]。

此外已有研究表明，迭代式模型的性能在很大程度上取決于偽數(shù)據(jù)質(zhì)量[18]，大規(guī)模低質(zhì)量的偽數(shù)據(jù)容易導(dǎo)致模型學習效果差，生成語義偏差且句式單一的句子。為此，本文提出偽數(shù)據(jù)篩選算法選取高質(zhì)量的復(fù)述句對參與模型的迭代訓(xùn)練。

2 迭代式復(fù)述生成增強方法

本節(jié)將詳細闡述我們提出的方法，包括其基本組成部分及模型工作機制。

2.1 方法概述

迭代式復(fù)述生成增強方法主要分為3 個階段：初始訓(xùn)練階段、預(yù)訓(xùn)練-微調(diào)階段、迭代式訓(xùn)練階段。其整體框架如圖1 所示。

圖1 迭代式復(fù)述生成增強方法的整體框架Fig.1 Framework of iterative paraphrase generation enhancement method

2) 預(yù)訓(xùn)練-微調(diào)階段。在獲取成對的復(fù)述偽數(shù)據(jù)后，我們使用2.2 節(jié)設(shè)計的篩選算法抽取出高質(zhì)量的復(fù)述偽數(shù)據(jù)Dfilter，其余的復(fù)述偽數(shù)據(jù)記為Dremain。其中，我們僅使用Dfilter來預(yù)訓(xùn)練模型，直到驗證集上沒有觀察到改進，最后利用小規(guī)模復(fù)述語料Dpara對模型進行微調(diào)。

3) 迭代訓(xùn)練階段。我們使用篩選后的復(fù)述偽數(shù)據(jù)Dfilter和小規(guī)模復(fù)述平行語料Dpara訓(xùn)練一輪模型的過程記為第一次迭代。接下來，我們采用微調(diào)后的模型對余下單語語料Dremain(S)生成偽復(fù)述，并與上一輪篩選后保留的數(shù)據(jù)進行合并，作為第二次迭代。經(jīng)過N輪迭代訓(xùn)練后，得到最終復(fù)述生成模型。

綜上，我們設(shè)計迭代式復(fù)述生成增強的方法，算法步驟如下所示。

算法迭代式復(fù)述生成增強方法

輸出訓(xùn)練完成的復(fù)述生成模型

1)Dpara使用訓(xùn)練初始化復(fù)述生成模型M0；

4) 輸出最終迭代N輪的復(fù)述生成模型。

值得注意的是，模型自動生成的復(fù)述偽數(shù)據(jù)含有大量的噪聲數(shù)據(jù)在迭代訓(xùn)練過程將被不斷積累和放大，進而影響模型效果。對此，我們將生成句T作為復(fù)述偽數(shù)據(jù)的原句，原句S作為復(fù)述偽數(shù)據(jù)的參考句合并配對，使得模型在解碼過程中更多關(guān)注原句的語義信息，提升復(fù)述生成效果。

2.2 篩選算法

為了避免模型性能受到噪聲數(shù)據(jù)影響。我們聯(lián)合句子流暢性、語義相近性和表達多樣性3 種計算方法選取高質(zhì)量的復(fù)述句對，逐步受益于復(fù)述生成模型，滿足最終的篩選目標。

1) 句子流暢性(fluency)

采用典型的長短期記憶神經(jīng)網(wǎng)絡(luò)(long shortterm memory,LSTM)預(yù)訓(xùn)練語言模型計算困惑度(perplexity,PPL)得分，評估生成句表達自然流暢程度[19]。該方法主要根據(jù)詞的概率來估計句子的自然流暢程度，困惑度的具體計算過程為

式中：T為當前句子，T={w1,w2,···,wN}；N表示該句子長度；P(wi) 是第i個詞的概率，第1 個詞是P(w1|w0)；w0為句子的起始。

困惑度越小，說明該句子更加自然流暢，故我們保留困惑度較低的復(fù)述句。

2) 語義相近性(semantics)

其次，由于語義越相近的句對在向量空間中越接近，可以通過余弦相似度，衡量兩個句子的語義差異。為此，我們采用Sentence-BERT[20]方法（SBERT）獲取動態(tài)詞向量，繼而計算句對的余弦相似度。具體地，首先將復(fù)述偽數(shù)據(jù)輸入到兩個共享的BERT 模型，然后將輸出的字向量進行求平均值操作，將均值向量作為整個句子的句向量。之后，通過計算復(fù)述句向量和參考句向量之間的余弦相似度，進行語義相近性的評估，余弦值越大，語義越相近，其具體計算方法如式(1)所示。

式中：VX表示復(fù)述偽數(shù)據(jù)中原句的句向量；VY表示復(fù)述偽數(shù)據(jù)中生成句的句向量。

3) 表達多樣性(diversity)

最后，基于句子流暢性和語義相近性篩選方法后的復(fù)述偽數(shù)據(jù)，進一步獲取句式豐富的復(fù)述句對。首先，需要去除原句和生成句相同的句子。之后，利用BLEU 指標[21]比較復(fù)述句和原始句的N-gram 重合程度，重合程度越低，則兩個句子結(jié)構(gòu)具有明顯差別，多樣性越好。因此，在余下的句子中選取BLEU 得分低的句子加入訓(xùn)練。

綜上，篩選算法的具體執(zhí)行過程如下：首先，進行句子流暢性篩選，保留小于困惑度閾值的偽復(fù)述句及對應(yīng)輸入句。其次，進行語義相近性篩選，保留大于余弦相似度閾值的復(fù)述偽數(shù)據(jù)。最后，進行表達多樣性篩選，保留小于BLEU 閾值的偽復(fù)述句對。最終，通過上述篩選算法得到高質(zhì)量的復(fù)述偽數(shù)據(jù)。篩選方法的閾值設(shè)置如表1所示。

表1 篩選方法閾值設(shè)置Table 1 Threshold settings of the filter methods

2.3 模型介紹

采用融合注意力機制[22]、復(fù)制機制[23]和覆蓋機制[24]的編碼-解碼復(fù)述生成模型，其中復(fù)制機制解決模型解碼時無法生成未登錄詞、低頻詞的問題，覆蓋機制解決模型解碼時生成的詞匯重復(fù)問題，以此提高模型生成復(fù)述句的質(zhì)量。

復(fù)述生成模型的編碼器采用雙向長短時記憶循環(huán)神經(jīng)網(wǎng)絡(luò)Bi-LSTM，解碼器采用單向LSTM。給定復(fù)述語料模型編碼時，編碼器首先順序讀取輸入句X={x1,x2,···,xp}每個詞進行語義編碼。解碼時，注意力機制動態(tài)計算當前t時刻編碼器的隱狀態(tài)與解碼狀態(tài)st的對齊分數(shù)然后將softmax 激活函數(shù)應(yīng)用于對齊分數(shù)的計算，獲得歸一化t時刻所有詞的注意力權(quán)重at，注意力權(quán)重越高的詞，對目標詞預(yù)測的影響越大，計算公式如式(2)和式(3)所示。

其中v,Wh,Ws,battn表示可學習的參數(shù)。

隨后，整合編碼器隱藏層狀態(tài)hi和輸入句中每個詞語注意力權(quán)重，得到t時刻輸入句的上下文語義向量ct，計算公式為

為解決模型無法生成未登錄詞的問題，我們在注意力機制的基礎(chǔ)上引入復(fù)制機制。融合復(fù)制機制模型預(yù)測詞語w的概率P(w)的計算公式為

其中Pgen表示當前詞選擇生成模式進行預(yù)測的概率，取值范圍為[0,1]，計算公式如式(4)所示；Pvocab(w)表示對詞匯表中w的生成概率，計算公式如式(5)所示；1 ?Pgen表示當前詞選擇復(fù)制模式進行預(yù)測的概率，取值范圍同為[0,1]，Pcopy(w)表示原句中詞w的復(fù)制概率，計算公式如式(6)所示。當詞w為未登錄詞時，即選擇復(fù)制模式獲取目標詞，令Pvocab(w)=0；當詞w不 是未登錄詞時，令Pcopy(w)=0。

式中：σ表示sigmoid 函數(shù)；f表示softmax 函數(shù)；ct表示t時刻的上下文語義向量；yt?1表示上一個時刻t-1 生成詞語的向量表示；st表示t時刻解碼器隱狀態(tài)表示可學習參數(shù)。

為解決生成的詞匯重復(fù)問題，我們引入了覆蓋機制。具體地，通過添加覆蓋向量gt記錄歷史決策信息，使得注意力決策避免重復(fù)關(guān)注同一詞的位置，讓原句中未解碼的詞得到關(guān)注，其計算過程為

其中v、wg、Wh、Ws、battn表示可學習參數(shù)。

最后，我們基于注意力機制復(fù)述生成模型融合復(fù)制機制和覆蓋機制目標函數(shù)為

式中：θ表示模型參數(shù)，?lnP(wt)為生成詞語的損失函數(shù)，覆蓋機制的損失函數(shù)為括號內(nèi)的第2 項，最小化重復(fù)關(guān)注同一個詞的注意力決策，表示在t時 刻對詞xi的注意力決策。當根據(jù)上下文歷史決策對詞xi的注意力權(quán)重變大，則當前時刻t對該單詞注意力變??；反之，對該單詞注意力權(quán)重變大。超參數(shù) λ用來對覆蓋損失進行加權(quán)平衡，有效規(guī)避詞匯重復(fù)生成的問題。

3 實驗設(shè)計和實驗設(shè)置

3.1 實驗數(shù)據(jù)與對比模型

我們在英文Quora 問句復(fù)述語料上進行了評測實驗，訓(xùn)練集、驗證集和測試集分別為3×104、3000和3×104對句子。

本文采用的單語語料來自Quora 和Wiki-Answers 兩個數(shù)據(jù)集，共選取5×105對問題句。其中，從WikiAnwsers 數(shù)據(jù)集中的2.5×106對不同問題句中選取1.62×105對，從Quora 數(shù)據(jù)集的非復(fù)述句對中，通過拆分、去重等方法選取3.38×105對問題句。另外，為了驗證單語數(shù)據(jù)領(lǐng)域?qū)δＰ托阅苡绊懀覀儚腤ikiAnwsers 語料中隨機獲取了3×104對復(fù)述句對作為域外測試集。

我們與近年來使用Quora 數(shù)據(jù)集中1×105數(shù)據(jù)規(guī)模的復(fù)述生成模型進行了比較，這些模型主要包括：

1) Residual LSTM[25]重構(gòu)Seq2Seq 編碼-解碼網(wǎng)絡(luò)，在LSTM 網(wǎng)絡(luò)層間加入殘差網(wǎng)絡(luò)來訓(xùn)練更深的網(wǎng)絡(luò)模型結(jié)構(gòu)生成復(fù)述句；

2) DiPS[13]模型在解碼階段采用子模塊化函數(shù)生成不同的復(fù)述句；

基于南充市下轄景區(qū)為例，設(shè)計了旅游景區(qū)可達性模型，并依據(jù)現(xiàn)有數(shù)據(jù)對景區(qū)可達性進行測算，研究大數(shù)據(jù)背景下旅游景區(qū)交通可達性對景區(qū)旅游帶來的影響。研究表明，旅游景區(qū)交通可達性對景區(qū)旅游具有正向刺激作用，而區(qū)域經(jīng)濟發(fā)展水平以及景區(qū)知名度對各旅游景區(qū)以及南充市景區(qū)的整體交通網(wǎng)絡(luò)可達性指數(shù)影響較大?；诖?，提出了加快基礎(chǔ)設(shè)施建設(shè)提升交通運輸服務(wù)質(zhì)量、設(shè)計合理旅游路線優(yōu)化旅游產(chǎn)品結(jié)構(gòu)以及推進區(qū)域旅游合作機制建設(shè)等景區(qū)可達性優(yōu)化建議，從而促進南充市旅游產(chǎn)業(yè)的發(fā)展。

3) DNPG[26]將復(fù)述句分解為句子級和短語級，并對每個級別使用單獨的Transformer；

4) Seq2Seq-att[27]基于注意力機制的Seq2Seq模型；

5) SCSVED[27]提出一種提取目標句的句法變量和輸入句語義變量的變分編碼-解碼模型。

3.2 實驗設(shè)置

實驗預(yù)處理部分，本文首先過濾長度大于40個詞的句子，然后選擇詞頻高的前1.5×104個詞作為詞典，使用符號表示未登錄詞。

模型實驗參數(shù)具體設(shè)置如下：編碼器和解碼器中LSTM 的隱藏層大小設(shè)置為256 維，詞向量維度設(shè)置為128 維。設(shè)置Batch 大小為64，采用Adam優(yōu)化算法訓(xùn)練模型，Beam Size 設(shè)置為4，設(shè)置訓(xùn)練階段學習率為1×10-3，微調(diào)階段學習率為5×10-4。

我們采用ROUGE-1(R-1)、ROUGE-2(R-2)、ROUGE-L(R-L)[28]、BLEU、METEOR[29]和利用Stanford-corenlp 工具包計算句法編輯距離(Syn-TED)自動評測指標進行評測。

4 評測實驗和結(jié)果分析

4.1 評測結(jié)果

本實驗以大量復(fù)述數(shù)據(jù)(1×105個句對)訓(xùn)練的復(fù)述生成模型作為基線模型，實驗結(jié)果如表2所示。

表2 迭代式復(fù)述生成增強方法評測結(jié)果Table 2 Evaluation results of iterative paraphrase generation enhancement method

相較于基線模型，迭代1 輪的模型性能在各指標上已具有顯著的提升，R-1 和R-2 指標分別提升了2.41 和2.46，但在BLEU 指標上提升效果不明顯。隨著迭代次數(shù)增加，當模型迭代3 輪時，單語數(shù)據(jù)利用率約達到70%，復(fù)述生成模型性能在所有評測指標上均有大幅度的提升，BLEU、R-1、R-2、R-L、METEOR 和Syn-TED 分別提升了3.29、4.23、4.00、4.38、2.70 和0.11，充分驗證了迭代式復(fù)述生成增強方法對改進復(fù)述生成質(zhì)量的有效性，生成句法結(jié)構(gòu)更為豐富的句子。究其原因在于微調(diào)模型輔助增加了訓(xùn)練側(cè)的數(shù)據(jù)語義信息和多樣性，有利于模型發(fā)揮更為準確的預(yù)測能力。

進一步，表3 是我們與近年來經(jīng)典的復(fù)述生成模型比較的實驗結(jié)果，從中可以得出以下結(jié)論：

表3 復(fù)述生成模型評測結(jié)果Table 3 Evaluation results of paraphrase generation models

1) 從表中第6 行的數(shù)據(jù)可以看出，本方法在BLEU、R-1、R-2 指標數(shù)值雖然相較于最好模型有一定差距，但是結(jié)果在正常的數(shù)值范圍內(nèi)，說明其生成的復(fù)述句雖然語義一致性較低，但是能夠生成沒有句法和語法錯誤的正確句子，反映了本文設(shè)計的基于多機制融合的復(fù)述生成模型能夠滿足基本的復(fù)述要求，為后續(xù)迭代訓(xùn)練奠定基礎(chǔ)。

2) 從表中第7 行的數(shù)據(jù)可以看出，隨著迭代輪數(shù)的增加，復(fù)述生成模型性能有所提升。相較于性能較好的模型SCSVED 而言，本方法在BLEU、R-2 和R-L 指標上分別提升5.99、5.35 和6.84。與DNPG 模型相比，在R-2 指標上，本方法提升了1.37。以上實驗結(jié)果表明本方法生成的句子能夠與輸入句保持較高的語義相近性，驗證了所提方法的有效性。

4.2 消融實驗

為了更好的探究不同篩選計算方法對復(fù)述生成模型性能的影響，本文在3×104復(fù)述數(shù)據(jù)訓(xùn)練獲得的初始復(fù)述生成模型M0上進行迭代一輪消融實驗，沒有進行預(yù)訓(xùn)練-微調(diào)階段。此外，為驗證篩選算法的有效性并非通過增加數(shù)據(jù)規(guī)模對模型影響，我們隨機選取(*)與篩選算法同規(guī)模的復(fù)述偽數(shù)據(jù)進行迭代再訓(xùn)練，評測結(jié)果如表4所示，其中*表示隨機選取。

表4 消融實驗Table 4 Ablation experiments

當添加Fluency 篩選方法后，R-1、R-2 和RL 相對于基線模型分別提高1.35、1.36 和1.37。當添加Semantics 篩選方法后，在BLEU 和METEOR 指標上均超過基線模型。當添加Diversity篩選方法后，在Syn-TED 指標上超過基線模型，直觀反映生成句式變化的多樣性。與沒有加入篩選方法（No）訓(xùn)練的模型相比，本方法在多樣性指標Syn-TED 上表現(xiàn)較好。最后，當添加所有篩選方法后，各項評測指標相較于基線模型性能有所提升。

另外，由于本方法采用的單語數(shù)據(jù)是來自Quora 和WikiAnswers(記為Wiki)兩個不同領(lǐng)域的數(shù)據(jù)集。對此，表5 比較分析了這些單語數(shù)據(jù)領(lǐng)域迭代一輪后模型的領(lǐng)域適應(yīng)能力的影響。

表5 單語數(shù)據(jù)領(lǐng)域評測結(jié)果Table 5 Monolingual data domain evaluation results

以3×104句對的Quora 數(shù)據(jù)訓(xùn)練初始復(fù)述生成模型作為基線模型。與加入Quora 單語數(shù)據(jù)結(jié)果相比，加入Wiki 單語數(shù)據(jù)訓(xùn)練的模型在各項評測指標上均有顯著提升，表明我們的方法具有較強的領(lǐng)域適應(yīng)能力，并且在域外測試集上顯現(xiàn)出較好的泛化性，使得模型跨領(lǐng)域能力有所增強。

4.3 實例分析

此外，我們還對本方法所生成的實例進行了分析，具體如表6 所示，粗體為生成的最佳復(fù)述句。

表6 生成的復(fù)述實例Table 6 Examples of generated paraphrases

從表中可以看出，初始復(fù)述生成模型(N=0)生成的復(fù)述句“What happens to a question on quora if it is marked as needing further improvement ?”和原句相比，在句法和詞匯上沒有變化。然而，模型經(jīng)過3 輪迭代訓(xùn)練后，所生成的復(fù)述句“Why does quora mark my questions as needing improvement ?”在表達結(jié)構(gòu)上由“What happens to”轉(zhuǎn)換為“Why does”，以及根據(jù)句法信息將動詞的被動形式“marked”轉(zhuǎn)為主動形式“mark”。

由此可見，本方法所生成的復(fù)述句在句子表達結(jié)構(gòu)和詞性轉(zhuǎn)換上均有較大的變化，進一步表明本方法可以生成自然流暢、語義相近且表達豐富的復(fù)述句。

5 結(jié)束語

本文提出了一種探索低資源的迭代式復(fù)述生成增強方法，主要思想是最大化利用單語語料和小規(guī)模復(fù)述平行語料，迭代式訓(xùn)練復(fù)述生成模型并生成復(fù)述偽數(shù)據(jù)，以此擴充復(fù)述資源，進而增強模型性能。為了去除生成的復(fù)述偽數(shù)據(jù)中存在的噪聲，本文設(shè)計了偽數(shù)據(jù)篩選算法，以獲取高質(zhì)量的復(fù)述偽數(shù)據(jù)參與每輪迭代的模型訓(xùn)練，從而漸進地提升模型性能。在公開數(shù)據(jù)集Quora 上的實驗結(jié)果表明，本方法僅使用30%的復(fù)述數(shù)據(jù)集在語義和多樣性指標上均超過基線模型，從而驗證了所提方法的有效性。本方法的提出有利于在低資源環(huán)境下更容易構(gòu)建出高質(zhì)量的復(fù)述生成模型，減少對人工標注復(fù)述數(shù)據(jù)的依賴。在今后的工作中，如何利用豐富的外部復(fù)述知識進一步提升模型性能，將作為我們未來主要的研究方向。