基于指針機(jī)制與門控卷積單元的抽象式文本摘要方法

王子牛 湯燦 高建瓴

摘? 要： 為了提高生成摘要的連貫性和可讀性，同時(shí)避免傳統(tǒng)抽象式摘要方法的未登錄詞和生成摘要的自我重復(fù)問題。本文在注入注意力機(jī)制的序列到序列模型基礎(chǔ)上，加入了指向生成器網(wǎng)絡(luò)且在編碼器和解碼器之間加入了一個(gè)門控卷積單元。通過指針從原文中拷貝詞，在正確復(fù)述原文信息的同時(shí)，使用生成器生成一些新的詞，解決未登錄的問題;通過門控卷積單元控制信息流，解決摘要重復(fù)問題。實(shí)驗(yàn)數(shù)據(jù)主要依賴于LCSTS中文摘要數(shù)據(jù)集。根據(jù)實(shí)驗(yàn)結(jié)果顯示，該模型的ROUGE模型分?jǐn)?shù)高于傳統(tǒng)的Seq2seq模型，提高了文本摘要的質(zhì)量。

關(guān)鍵詞： Seq2seq;注意力機(jī)制;指向生成器網(wǎng)絡(luò);卷積門控單元

中圖分類號： TP391.1? ? 文獻(xiàn)標(biāo)識碼： A? ? DOI：10.3969/j.issn.1003-6970.2020.10.066

本文著錄格式：王子牛，湯燦，高建瓴. 基于指針機(jī)制與門控卷積單元的抽象式文本摘要方法[J]. 軟件，2020，41（10）：260263

【Abstract】： In order to improve the coherence and readability of the generated abstract， and to avoid the problem of unregistered words and phrase duplication in the traditional abstract abstract method. This article uses the traditional sequence-to-sequence method of adding attention mechanism. On the basis of the model， a pointer-generator network PG is added and a gated convolution unit is added between the encoder and the decoder. Copy the word from the original text with the pointer，while repeating the original information correctly， use the generator to generate some new words to solve the problem of unregistered words.Gated convolution unit controls information flow and solves the problem of duplicate abstracts. The experimental data mainly depends on the LCSTS Chinese abstract data set. According to the experimental results， The ROUGE score of this model is higher than that of the traditional Seq2seq model， which improves the quality of text abstracts.

【Key words】： Seq2seq; Attention mechanism; Points to generator network; Convolution gating unit

0? 引言

隨著近幾年大數(shù)據(jù)時(shí)代的高速發(fā)展，文本信息的爆發(fā)式增長，從海量的文本信息如新聞、博客、論文、微博等提取重要的內(nèi)容，已經(jīng)成為人類的一個(gè)迫切需求，面對巨大資源中非關(guān)鍵和冗余信息，機(jī)器的自動文本摘要很好的提高了人們的閱讀效率。

文本摘要任務(wù)分為好幾種，其中按照文檔數(shù)量可以分為單文檔摘要和多文檔摘要問題，按照按照實(shí)現(xiàn)方式可以分為提取式（extractive）和抽象式（abstractive）[1]。人類做文摘的時(shí)候也需要具備很強(qiáng)的語言閱讀理解能力和歸納總結(jié)能力，因此機(jī)器的文本摘要是自然語言處理中較難的任務(wù)。簡單的傳統(tǒng)摘要方法都是提取式，即從原文中提取關(guān)鍵信息然后組合起來。隨著深度學(xué)習(xí)在NLP中的深入[2]，更加注重了摘要的 連貫性、一致性，更接近于人類的摘要思維。具有編碼器和解碼器結(jié)構(gòu)的seq2seq模型[3]正好可以運(yùn)用在文本問題中，再加上注意力機(jī)制（attention）的注入，文本摘要的研究已經(jīng)上升到很高的層次。在當(dāng)前的研究上，文本摘要仍然存在一些問題，首先不能像抽取式那樣準(zhǔn)確的獲取文本的重要信息，在測試數(shù)據(jù)中存在未登錄詞，即訓(xùn)練詞表中沒有的詞（OOV），從而生成的摘要遺漏重要的信息。其次就是生成的摘要經(jīng)常會存在重復(fù)的問題，因?yàn)閭鹘y(tǒng)的seq2seq+attention模型在解碼的過程中，容易在不同時(shí)間步多次關(guān)注同一詞語而導(dǎo)致重復(fù)。

在現(xiàn)已有的模型基礎(chǔ)上，本文將指向生成器網(wǎng)絡(luò)（pointer-generator network）通過指針從原文中拷貝詞，在正確復(fù)述原文信息的同時(shí)，使用生成器生成一些新的詞，解決了未登錄的問題。再在seq2seq的encoder和decoder之間加入了一個(gè)門控卷積單元（CGU），負(fù)責(zé)控制編碼器到解碼器的信息流，考慮了摘要過程的全局信息，解決了前面attention機(jī)制可能導(dǎo)致的詞語重復(fù)的問題。

1? 相關(guān)研究

抽象式文本生成的思路是根據(jù)人類習(xí)慣，以不同于原文表訴而將文章的中心內(nèi)容和概念表達(dá)出來。隨著循環(huán)神經(jīng)網(wǎng)絡(luò)和seq2seq+attention在機(jī)器翻譯上表現(xiàn)很好，相應(yīng)的模型也出現(xiàn)在文本摘要領(lǐng)域。抽象式的問題都可以歸結(jié)為求解條件概率問題p（word| context），在上下文（context）的條件下，將訓(xùn)練的詞表中每一個(gè)詞的概率值都算出來，用概率最大的那個(gè)詞作為生成的詞，依次生成摘要中的所有詞。抽象式摘要本身是一個(gè)語言成成的問題，不可能將所有的詞都放到詞表中，從而造成未登錄詞（OOV）的問題。Rush[4] 提出了一種encoder-decoder結(jié)構(gòu)的基礎(chǔ)上加入注意力機(jī)制的生成式摘要方法，是個(gè)純數(shù)據(jù)驅(qū)動的模型Attention-Based Summarization（ABS），之后又提出了抽象式與抽取式融合的模型，在ABS模型的基礎(chǔ)上增加了特征函數(shù)，修改了評分函數(shù)，得到了效果更佳的ABS+模型[5]。2018年J. Gu[6]等人提出的copy機(jī)制，其encoder采用了一個(gè)雙向的RNN模型，在生成詞時(shí)存在兩種模式，分別是生成和拷貝模式，很好的解決了未登錄詞的問題，但是整個(gè)模型較復(fù)雜，在copy機(jī)制之前提出有提出過一種架構(gòu)來增強(qiáng)標(biāo)準(zhǔn)的seq2seq+ attention模型，即2015年Brain[7]等提出的指針網(wǎng)絡(luò)（pointer network），傳統(tǒng)帶有注意力機(jī)制的seq2seq模型輸出的是針對輸出詞匯表的一個(gè)概率分布，而Pointer Networks輸出的則是針對輸入文本序列的概率分布，特別適合用來直接復(fù)制輸入序列中的某些元素給輸出序列。Lin[8]等人提出的全局編碼框架，在seq2seq的encoder和decoder之間加入了一個(gè)門控卷積單元。

2? 一種融合指向生成網(wǎng)絡(luò)和門控卷積單元的摘要模型

本文設(shè)計(jì)的生成摘要中的Seq2seq模型是兩個(gè)RNN模型，一個(gè)作為編碼器，一個(gè)作為解碼器，其中編碼器是一個(gè)雙向的LSTM（Bi-directional Long Short- Term Memory BiLSTM）[9]，包含了上下文兩個(gè)方向的信息。解碼器是一個(gè)單向的LSTM，讀取輸入的詞并逐字生成摘要。在seq2seq模型的基礎(chǔ)上加入卷積門控模塊[10]和指向生成模塊，模型如圖1所示。

2.1? seq2seq模塊

這里的編碼器（encoder）是采用一個(gè)BiLSTM，由前向LSTM和后向LSTM組成，輸入序列X被一個(gè)個(gè)送入encoder中，產(chǎn)生一個(gè)encoder的隱藏層狀態(tài)hi的序列：

其中hi–1表示i的上一個(gè)時(shí)刻編碼器的隱藏狀態(tài)，f（）是一個(gè)非線性函數(shù)。解碼器（decoder）采用的是一個(gè)單向的LSTM，t時(shí)刻接受上一個(gè)詞的嵌入，其中若是訓(xùn)練階段這里是上一個(gè)參考摘要中的詞，若是測試階段是前一個(gè)decoder產(chǎn)生的詞，然后生成解碼器隱狀態(tài)st，根據(jù)上下文向量ct和st從而生成輸出序列Y。st計(jì)算如下：

其中yt–1和st–1分別是t–1時(shí)刻的輸出和解碼器隱藏狀態(tài)。

Seq2seq使用編碼器隱藏狀態(tài)和解碼器隱藏狀態(tài)計(jì)算新的時(shí)間步的注意力分布，進(jìn)而得到新的上下文向量（context vector）ct，使用softmax層對上下文變量解碼得到新時(shí)間步的詞匯分布。

（1）根據(jù)當(dāng)前解碼隱藏狀態(tài)st和輸出不同時(shí)間步的隱藏狀態(tài)hi分別計(jì)算得到attention分布at，這里at的計(jì)算參考Bahdanau et al.（2015）[11]：

其中v，Wh，Wz，batt都是學(xué)習(xí)參數(shù)，attention分配可以看做是對源詞的概率分布，告訴解碼器在哪里尋找下一個(gè)詞。

（2）計(jì)算attention分布對所有的hi加權(quán)和：

2.2? 卷積門控單元（CGU）

對于seq2seq模型來說，重復(fù)是一個(gè)經(jīng)常性的問題，尤其是在生成多個(gè)句子時(shí)更顯著，這里用了一個(gè)基于源文本上下文的全局信息的全局編碼框架，負(fù)責(zé)控制編碼器到解碼器的信息流，考慮了文本的全局信息，保證輸出的語義通順，解決了生成詞語重復(fù)的問題。這個(gè)框架主要的關(guān)鍵點(diǎn)是一個(gè)類似inception[12]結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)[13]和self-attention機(jī)制，CNN的結(jié)構(gòu)主要是考慮了n-gram，即語言的內(nèi)部關(guān)系，這是一個(gè)一維的卷積單元，主要是提取句子中的n-gram信息，根據(jù)inception的設(shè)計(jì)原則，使用兩個(gè)核心為3的kernel。

為了讓模型能進(jìn)一步關(guān)注整個(gè)文章的全局語義，使用self-attention機(jī)制來進(jìn)一步加強(qiáng)全局信息，自注意力機(jī)制不產(chǎn)生太多的計(jì)算復(fù)雜度，并且讓模型能在每個(gè)時(shí)間步都挖掘當(dāng)前詞語與文章中其他詞語的關(guān)系。自注意力計(jì)算如下：

其中Q和V表示CNN模塊生成的表示矩陣，且K=WattVK，其中Watt是一個(gè)可學(xué)習(xí)的矩陣。

CNN和self-attention機(jī)制共同組合成了卷積門控單元g，在每個(gè)時(shí)間步驟的gi：

其中ReLU為非線性激活函數(shù)[14]，先調(diào)用CNN結(jié)構(gòu)，使用ReLU這個(gè)非線性激活函數(shù)，生成一個(gè)新的輸出結(jié)果，然后再調(diào)用self-attention機(jī)制，來挖掘全局相關(guān)性，將他們的輸出打包成一個(gè)矩陣，然后將它設(shè)置為一個(gè)門（gate），既能找出數(shù)據(jù)中的n-gram信息又有全局相關(guān)性信息，保證了輸出的摘要具有通順的語義，解決了attention機(jī)制可能導(dǎo)致的詞語重復(fù)的問題。

2.3? 指針生成網(wǎng)絡(luò)

指針生成網(wǎng)絡(luò)是一個(gè)baseline模型和pointer network的混合模型。其中baseline模型是seq2seq模型框架。

首先Seq2seq+attention模型很好的解決了輸入輸出很好的匹配的問題，提高了整個(gè)模型的精確度，但其中一個(gè)缺點(diǎn)是隨著輸入序列長度的變化輸出序列的詞匯也會發(fā)生變化。針對這個(gè)問題，本文引用了指針網(wǎng)絡(luò)，顧名思義其結(jié)構(gòu)類似于編程語言中的指針，每個(gè)指針對應(yīng)一個(gè)輸入序列，從而可以直接操作輸入序列而不需要特意輸出詞匯表。換句話說，傳統(tǒng)帶有注意力機(jī)制的seq2seq模型輸出的是針對輸出詞匯表的一個(gè)概率分布，而Pointer Networks輸出的則是針對輸入文本序列的概率分布，

指針生成網(wǎng)絡(luò)即是混合了指針網(wǎng)絡(luò)與注入注意力機(jī)制的seq2seq模型，可以同時(shí)得到詞匯表和輸入序列的概率并結(jié)合，可能結(jié)合未必結(jié)果最好，所以這里用Pgen來作為軟選擇的概率，決定當(dāng)前預(yù)測是直接從輸入序列中復(fù)制一個(gè)詞還是從詞匯表中生成一個(gè)詞，Pgen計(jì)算如公式。

3? 實(shí)驗(yàn)及數(shù)據(jù)分析

3.1? 數(shù)據(jù)集

本文采用B.Hu等構(gòu)建的大規(guī)模高質(zhì)量中文短文本摘要數(shù)據(jù)集（largre scale Chinese short text sum mar i zation dataset，LCSTS）[15]，該數(shù)據(jù)集取自通過認(rèn)證的微博，包含政治、經(jīng)濟(jì)、軍事、電影、游戲等領(lǐng)域共超過2.4百萬條數(shù)據(jù)對并分為三個(gè)部分。其中第一部分是訓(xùn)練集包含了2400591對（短文本，摘要）;第二部分是從第一部分?jǐn)?shù)據(jù)中隨機(jī)采樣出來的測試集，包括了10666對人工標(biāo)注的（短文本，摘要）;第三部分為驗(yàn)證集包括了1106對。其數(shù)據(jù)格式是類似于XML的數(shù)據(jù)，編寫腳本分別提取里面的短文本和摘要并輸入到六個(gè)文件夾中。

3.2? 評估方式

本文使用的是由2004年Chin-Yew Lin提出的ROUGE評價(jià)標(biāo)準(zhǔn)[16]，ROUGE基于摘要中n元詞（n-gram）的共現(xiàn)信息來評價(jià)摘要，是一種面向n元詞召回率的評價(jià)方法。該方法由系統(tǒng)生成的自動摘要與多個(gè)專家分別生成的標(biāo)準(zhǔn)摘要集做對比，通過統(tǒng)計(jì)二者之間重疊的基本單元（n元語法、詞序列和詞對）的數(shù)目，來評價(jià)摘要的質(zhì)量，模型生成的摘要越接近標(biāo)準(zhǔn)摘要，則ROUGE分?jǐn)?shù)越高質(zhì)量越高，該方法現(xiàn)已成為摘要評價(jià)技術(shù)的通用指標(biāo)之一。ROUGE由一系列的評價(jià)方法組成，本文用到的是ROUGE-N（N=1、2）和ROUGE-L，其中ROUGE-1和-2分別代表基于模型生成的摘要與標(biāo)準(zhǔn)摘要之間的1元詞和2元詞重疊程度，ROUGE-L代表基于生成摘要和標(biāo)準(zhǔn)摘要之間的最長公共子序列的重疊程度。

3.3? 對比實(shí)驗(yàn)

本文主要解決的是文本摘要存在OOV和生成摘要詞語重復(fù)問題，針對這兩個(gè)問題分別加入了指向生成網(wǎng)絡(luò)和卷積門控單元兩個(gè)模塊。因此，對比實(shí)驗(yàn)選擇了傳統(tǒng)的注入注意力機(jī)制的seq2seq模型（atten tion），CopyNet模型，增加了卷積門控單元的seq2seq模型（attention+CGU），增加了卷積門控單元和指向生成網(wǎng)絡(luò)的seq2seq模型（attention+CGU+PG）總?cè)N中文文本摘要的方法。

3.4? 實(shí)驗(yàn)參數(shù)

本實(shí)驗(yàn)所用配置為linux操作系統(tǒng)openSUSE Leap 42.3，選用intel（R） Core（TM）i5 -7500的CPU，GeForce RTX2080Ti的GPU，深度學(xué)習(xí)框架為Tenorflow。神經(jīng)網(wǎng)絡(luò)隱藏單元數(shù)和詞嵌入[17]維數(shù)均為512，使用包含50000個(gè)詞語的詞匯表。實(shí)驗(yàn)設(shè)置批大小處理數(shù)為64，學(xué)習(xí)速率為0.0003，迭代次數(shù)為20次。隨著參數(shù)更新的總距離的增加，其學(xué)習(xí)速率也隨之減慢。在測試階段，使用束大小為 10的束搜索（beam search）來產(chǎn)生摘要。

3.5? 實(shí)驗(yàn)結(jié)果分析

在LCSTS數(shù)據(jù)集上分別使用三種基于seq2seq模型做抽象式文本摘要實(shí)驗(yàn)，得到的ROUGE分?jǐn)?shù)結(jié)果如表1所示。

從表1的對比可以看出，在各種基于seq2seq方法中，融合卷積門控單元和指向生成網(wǎng)絡(luò)（Attention+ CGU+PG）的模型在ROUGE的評判體系結(jié)果要優(yōu)于其他模型，其中ROUGE分?jǐn)?shù)分別比前者（Attention+ CGU）提高了0.08、0.12、0.21。另外，CopyNet是在序列到序列模型基礎(chǔ)上加入指針網(wǎng)絡(luò)的一個(gè)表現(xiàn)突出的模型，但是對比本文的模型，ROUGE分?jǐn)?shù)分別低了5.20、5.15、6.51。最后與傳統(tǒng)基于注意力機(jī)制的seq2seq模型對比可以看出，ROUGE得分大大提升。綜合對比這幾種抽象式的方法，本文所提出的模型能夠有效提升中文文本摘要的效果。

實(shí)驗(yàn)對三種不同模型的摘要結(jié)果輸出，得到同一篇短文本生成的不同摘要如表2所示。

從表2可以看出，在源文本中出現(xiàn)很多重復(fù)的詞語的時(shí)候，只注入Attention的摘要模型會對其過分關(guān)注，其中“愿意”和“走多遠(yuǎn)”兩次詞出現(xiàn)了兩次，導(dǎo)致生成的摘要語句重復(fù)。由于本實(shí)驗(yàn)使用的是50000的詞表，若文本出現(xiàn)詞表中沒有的詞，且有的標(biāo)點(diǎn)符號或特殊符號在實(shí)驗(yàn)的預(yù)處理上做得不夠，存在很多未被模型識別的[UNK]標(biāo)記。摘要模型在加入卷積門控單元后，對源文本的信息流有了全局的控制，基本解決了語句重復(fù)的問題，但是因?yàn)樵~表的問題，對解決文本摘要的OOV問題表現(xiàn)不足。最后，在同時(shí)加入卷積門控和指針網(wǎng)絡(luò)后，既可以控制全局的信息，又可以在詞表固定的限制下，指針直接從文本的輸入調(diào)用詞匯，在解決語句重復(fù)的基礎(chǔ)上，也很好的解決了未登錄詞的問題，生成的摘要更符合參考摘要表達(dá)的意思。

4? 結(jié)語

本文通過對抽象式文本摘要任務(wù)的學(xué)習(xí)和研究，針對當(dāng)前文本摘要出現(xiàn)的OOV和摘要片段重復(fù)的問題，在傳統(tǒng)的seq2seq+attention的模型上再加入了卷積門控單元和指向生成網(wǎng)絡(luò)，使得生成摘要準(zhǔn)確度有較高的提高。首先，卷積門控單元用到了卷積神經(jīng)網(wǎng)絡(luò)，這個(gè)是文本摘要的一個(gè)新思路，其結(jié)構(gòu)是一個(gè)一維的卷積單元，主要提取句子中的n-gram信息從而考慮了文本的全局信息，保證輸出的語義通順，提高了模型的語言理解能力，降低生成摘要的重復(fù)。其次，本文單純使用指針網(wǎng)絡(luò)的思想，每個(gè)指針對應(yīng)一個(gè)輸入序列，從而可以直接操作輸入序列而不需要特意輸出詞匯表，很好的解決了測試集中出現(xiàn)沒有訓(xùn)練到詞表中的詞匯。最后，結(jié)合兩種模型，通過ROUGE評價(jià)結(jié)果得到，本文的模型分?jǐn)?shù)高于傳統(tǒng)的Seq2seq模型，提高了文本摘要的質(zhì)量。

本文還存在不足之處，例如本文的數(shù)據(jù)集都是都是150字以內(nèi)的短文本，生成一個(gè)更短的摘要或標(biāo)題，但是長文本的情況還有待驗(yàn)證，另外文本的輸入序列是以字作為單位輸入的，然后每一行是一條數(shù)據(jù)，若將其分詞之后再輸入，實(shí)驗(yàn)結(jié)果可能有差異。

參考文獻(xiàn)

[1]侯圣巒， 張書涵， 費(fèi)超群. 文本摘要常用數(shù)據(jù)集和方法研究綜述[J]. 中文信息學(xué)報(bào)， 2019， 33（5）： 1-16.

[2]劉騰飛， 于雙元， 張洪濤， 尹鴻峰. 基于循環(huán)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69.

[3]SUTSKEVER I， VINYALS O， LE Q V. sequence to sequence learning with neural network [C]//Proceedings of 2014 annual conference on neural information processing systems （NIPS）. Montreal： Neural Information Processing Systems Foudation ， 2014： 3104-3112.

[4]RUSH A M， CHOPRA S， WESTON J. A neural attention model for abstractive sentence summarization [EB/OL]. [2017-12-30]. https： //arxiv. org/pdf/1509. 00685.

[5]CHOPRA S， AULI M， RUSH A M. Abstractive sentence summarization with attention recurrent neural network[C]// Conference of the North American chapter of the Association for Computational Linguistics. San Diego： Human Language Technologies 2016： 93-98.

[6]GU J， LU Z， LI H， ET AL. Incorporating copying mechanism in sequence-to sequence learning [C]//Proceedings of the 54th annual meeting of the Association for Computation Linguistics. Berlin： ACL， 2016： 1631-1640.

[7]Oriol Vinyals， Meire Fortunato， and Navdeep Jaitly. 2015a. Pointer networks. In Advances in Neural Information Processing Systems， pages 2674-2682.

[8]Junyang Lin， Xu Sun， Shuming Ma， Qi Su. Global Encoding for Abstractive Summarization[C]// Proceeding of the 56th annual Meeting of the Association for Computational Linguistics. Melbourne： ACL， 2018： 15-20.

[9]孫承愛， 丁宇， 田剛. 基于GLU-CNN和Attention-BiLSTM的神經(jīng)網(wǎng)絡(luò)情感傾向性分析[J]. 軟件， 2019， 40（07）： 62-66.

[10]孫承愛， 趙瑞， 田剛. 基于Aspect帶有CNN注意力機(jī)制的門控卷積網(wǎng)絡(luò)與情感分析[J]. 軟件， 2019， 40（07）： 8-15.

[11]Bahdanau D， Cho K， Bengio Y. Neural machine translation by jointly learning total ignand translate[J]. arXiv Preprint arXiv： 1409. 0473， 2014

[12]Szegedy C， Vanhoucke V， Ioffe S， et al. Rethinking the incep- tion architecture for computer vision[C]/ /Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， NV， USA： IEEE， 2016. [DOI：10. 1109/CVPR.2016.308]

[13]劉騰飛， 于雙元， 張洪濤， 尹鴻峰. 基于循環(huán)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69.

[14]Vinod Nair and Geoffrey E. Hinton. 2010. Rectifified linear units improve restricted boltzmann machines. In ICML 2010， pages 807-814.

[15]HU B， CHEN Q， ZHU F. LCSTS： A large scale Chinese short text summarization dataset[C]// Proceeding of the 2015 conference on empirical methods in natural language processing. Lisbon： EMNLP， 2015： 2667-2671.

[16]FLICKC. ROUGR： a package for automatic evaluation of summaries[EB/OL]. [2017-12-30]. http：//www.aclweb.org/ anthology/w04-1013.

[17]王紅斌， 郜洪奎. 基于word2vec和依存分析的事件識別研究[J]. 軟件， 2017， 38（06）： 62-65.