一種基于BERT的自動文本摘要模型構(gòu)建方法

岳一峰，黃 蔚，任祥輝

(華北計(jì)算技術(shù)研究所,北京 100083)

0 引 言

自動文本摘要是信息抽取的主要任務(wù)之一，也是自然語言處理(Nature Language Process, NLP)[1]領(lǐng)域的主要研究方向。它可以幫助人們從海量數(shù)據(jù)中快速、精準(zhǔn)地獲取所需要的信息，解決了數(shù)據(jù)總量龐大而且信息含量密度低與用戶高效精準(zhǔn)讀取信息的矛盾，并且在自動報(bào)告生成、新聞標(biāo)題生成、搜索結(jié)果預(yù)覽等領(lǐng)域中都有應(yīng)用[2]。

文本摘要從20世紀(jì)50年代末首次提出到現(xiàn)在已經(jīng)發(fā)展了60年，盡管它是NLP的主要研究方向之一，又有著很多的應(yīng)用場景，但是這個(gè)領(lǐng)域卻一直發(fā)展得比較緩慢。自動文本摘要按原文長度可分為長文本摘要和短文本摘要，按輸入文本的數(shù)量可分為單文檔摘要和多文檔摘要[3]，按摘要的產(chǎn)生方式可分為抽取式摘要(Extractive)和生成式摘要[4](Abstractive)。從一開始基于統(tǒng)計(jì)學(xué)的抽取式摘要到如今基于機(jī)器學(xué)習(xí)的生成式摘要，從一開始的PageRank算法到協(xié)同過濾，再從后來的聚類到如今的深度學(xué)習(xí)，學(xué)者們一直沒有停止對自動摘要算法的研究與創(chuàng)新。

生成式摘要對計(jì)算機(jī)來說，是一件極具挑戰(zhàn)性的任務(wù)。從文檔中生成一份合適的摘要，要求計(jì)算機(jī)在理解的基礎(chǔ)上對文章進(jìn)行分析取舍、裁剪拼接，最終生成短文。由此可見生成式文本摘要需要依靠NLP的相關(guān)理論。因此，它也成為近幾年的重要研究方向之一。

1 相關(guān)工作

1.1 文本摘要研究現(xiàn)狀

抽取式摘要主要是通過分析文本的統(tǒng)計(jì)特征、潛意語義特征等，在句子或者是段落級別上選擇關(guān)鍵句從而生成摘要。2004年，Mihalcea[5]提出了TextRank模型，該模型通過句子之間的相似度，而不是單純計(jì)算某些句子含有的關(guān)鍵字?jǐn)?shù)量，可以考慮整個(gè)句子以及全文的信息。2011年，Munesh Chandra等通過k-mixture概率模型計(jì)算句子的權(quán)重，以此選擇句子來組成摘要。而Badrinath等[6]針對單文檔的查詢摘要提出了一種基于改進(jìn)的LexRank算法，該算法首先對文章中句子進(jìn)行處理，然后構(gòu)造出一個(gè)標(biāo)量圖，最后通過計(jì)算余弦相似度等對句子進(jìn)行打分，計(jì)算出文本摘要。

與抽取式文本摘要不同，生成式摘要主要在理解文章語義的基礎(chǔ)上，從詞語層面上對句子進(jìn)行壓縮、提煉，最終實(shí)現(xiàn)生成摘要的目的。Yang等[7]設(shè)計(jì)了一種深度框架，用于多文檔自動摘要，首次將深度學(xué)習(xí)用于自動摘要。Rush等[8]將深度學(xué)習(xí)技術(shù)應(yīng)用到概括式自動摘要的研究中，該算法使用卷積模型對原始文檔進(jìn)行編碼，采用上下文相關(guān)的注意力前饋神經(jīng)網(wǎng)絡(luò)生成摘要。本文研究的就是這種基于深度學(xué)習(xí)的文本摘要。

當(dāng)前深度學(xué)習(xí)的出現(xiàn)雖然帶動了文本摘要的發(fā)展，但是依然存在諸如傳統(tǒng)詞向量在因無法對多義詞進(jìn)行有效表征而降低文本摘要準(zhǔn)確度和可讀性等問題，為此本文提出BERT-Seq2Seq-Attention模型用于文本摘要生成。

1.2 BERT研究現(xiàn)狀

BERT(Bidirectional Encoder Representations from Transformers)模型[9]于2018年由Google提出，模型采用表義能力更強(qiáng)的雙向Transformer網(wǎng)絡(luò)結(jié)構(gòu)[10]來對語言模型進(jìn)行訓(xùn)練，是一種通過大量語料訓(xùn)練得來的一個(gè)通用的“語言理解”模型，是第一個(gè)用在預(yù)訓(xùn)練NLP上的無監(jiān)督的、深度雙向系統(tǒng)。

BERT只需要一個(gè)額外的輸出層，對預(yù)訓(xùn)練BERT進(jìn)行微調(diào)，不需要針對特定任務(wù)對模型進(jìn)行修改就可以滿足各種任務(wù)。目前，BERT已在句子關(guān)系判斷任務(wù)、抽取式任務(wù)(SQuAD)、序列標(biāo)注任務(wù)(命名實(shí)體識別)、分類任務(wù)(SWAG)上都取得了突破性進(jìn)展。

2 BERT-Seq2Seq-Attention模型

BERT-Seq2Seq-Attention模型整體結(jié)構(gòu)如圖1所示，模型主要分為Encoder、Decoder和Attention，Encoder和Decoder均由Word embedding層、LSTM層和Hidden states組成。由Encoder對文本解碼，再由Decoder進(jìn)行編碼最終生成文本摘要。

圖1 Seq2Seq+Attention文本摘要模型

2.1 BERT詞向量模型

近年來，研究人員采用預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)作為語言模型，再以該語言模型為基礎(chǔ)針對垂直任務(wù)進(jìn)行微調(diào)然后處理的方式取得了很好的效果。比較典型的語言模型是從左到右計(jì)算下一個(gè)詞的概率，如公式(1)所示：

(1)

但是很多時(shí)候在將預(yù)訓(xùn)練模型應(yīng)用到垂直領(lǐng)域的時(shí)候，并不需要語言模型，而是需要一個(gè)詞的上下文表示，就能夠表征字的多義性、句子的句法特征等。針對這個(gè)問題，在2018年Devlin等[9]提出了BERT預(yù)訓(xùn)練語言模型。

圖2 BERT語言模型

為了關(guān)聯(lián)字左右兩側(cè)的上下文，BERT采用雙向Transformer作為編碼器，結(jié)構(gòu)如圖2所示。BERT模型還提出了“Masked語言模型”和“下一句預(yù)測”2個(gè)任務(wù)與創(chuàng)新點(diǎn)，分別對詞級別和句子級別進(jìn)行表示，并進(jìn)行聯(lián)合訓(xùn)練。

“Masked語言模型”的提出是為了表示向量，該方法采用一個(gè)非常直接的方式，遮住句子里某些單詞，讓編碼器預(yù)測這個(gè)單詞的原始詞匯。

為了解決fine tuning過程中出現(xiàn)沒有見過的詞等問題，算法中隨機(jī)遮住15%的單詞作為訓(xùn)練樣本，并且使用如下方法：

1)其中80%用masked token來代替。

2)10%用隨機(jī)的一個(gè)詞來替換。

3)10%保持這個(gè)詞不變。

“下一句預(yù)測”是指預(yù)訓(xùn)練一個(gè)二分類的模型來學(xué)習(xí)句子之間的關(guān)系。在NLP領(lǐng)域中很多諸如問答(QA)和自然語言推斷(NLI)等重要任務(wù)，都需要對2個(gè)句子之間的關(guān)系進(jìn)行理解，而人們現(xiàn)在使用的語言模型都不能很好地直接產(chǎn)生這種理解。為了理解語句語義，同時(shí)預(yù)訓(xùn)練“下一句預(yù)測”任務(wù)，算法先隨機(jī)替換一些語句，然后利用上一句進(jìn)行IsNext/NotNext預(yù)測。

BERT最重要的部分是雙向Transformer編碼結(jié)構(gòu)，Transformer舍棄了RNN的循環(huán)式網(wǎng)絡(luò)結(jié)構(gòu)，完全基于注意力機(jī)制來對一段文本進(jìn)行建模。Transformer編碼單元如圖3所示。

圖3 Transformer編碼單元

Transformer編碼單元最主要的模塊是自注意力部分。算法先對文章中的每一句話進(jìn)行處理，計(jì)算出單個(gè)詞與所有詞之間的關(guān)系，而后根據(jù)詞與詞之間的相互關(guān)系得出不同詞之間的關(guān)聯(lián)性及該詞在句子中的權(quán)重。因此利用這些相互關(guān)系來調(diào)整詞的權(quán)重可以重新獲得每個(gè)詞的表達(dá)。這個(gè)新的表征不但蘊(yùn)含了該詞本身，還蘊(yùn)含了其他詞與這個(gè)詞的關(guān)系，因此和單純的詞向量相比是一個(gè)更加全局的表達(dá)。

BERT預(yù)訓(xùn)練語言模型與其他語言模型相比，可以充分利用詞上下文的信息，獲得更好的詞向量表示，因此可以在一定程度上針對多義詞區(qū)分表示。

2.2 Sequence-to-Sequence模型

Sequence-to-Sequence(Seq2Seq)模型[11]的出現(xiàn)最早可以追溯到2014年，當(dāng)時(shí)主要用于機(jī)器翻譯任務(wù)，而生成式摘要和翻譯從深度學(xué)習(xí)框架下來看本質(zhì)上是一樣的，因此也可以采用Seq2Seq模型來生成摘要任務(wù)。Seq2Seq模型本質(zhì)上是一種Encoder-Decoder框架，在生成式摘要中，模型首先使用編碼器對原文進(jìn)行編碼[12]，得到原文的向量化表示S，然后再用解碼器對S進(jìn)行解碼，得到相對應(yīng)的摘要。

在Seq2Seq模型中，輸入是一段長文本，輸出則是一段短文本。假設(shè)輸入為x=(x1,…,xTx)，Encoder的輸入是由Word embedding[14]層對原文本中每個(gè)詞編碼后得到的詞向量(xt)和上一個(gè)RNN cell的Hidden state(ht-1)組成，輸出是這個(gè)RNN cell的Hidden state(ht)，如公式(2)所示：

ht=RNNenc(xt,ht-1)

(2)

如圖4所示，從Encoder開始，輸入經(jīng)過embedding層轉(zhuǎn)換為詞向量，然后進(jìn)入LSTM層。LSTM會在每一個(gè)cell上輸出Hidden state。如圖中的h1～h8。

圖4 Encoder圖解

(3)

如圖5所示Encoder的最后一個(gè)Hidden state:h8、Word embedding以及原始Context vector作為Decoder的輸入，輸出是Hidden state。

Context vector是對Encoder輸出Hidden states的加權(quán)平均，如公式(4)所示：

(4)

圖5 Decoder圖解

(5)

(6)

2.3 Attention注意力模型

Encoder-Decoder模型雖然非常經(jīng)典，但是也有著需要固定語義向量長度的局限性。因此Encoder-Decoder模型中編碼器需要對整個(gè)輸入序列進(jìn)行壓縮，而這就會帶來一些弊端，比如：壓縮后的語義向量無法完整地表示原始的信息；原始輸入內(nèi)容攜帶的信息的重要性也可能會因?yàn)樾蛄械膲嚎s而降低。這就使得解碼器在解碼時(shí)一開始就沒有獲得全部的關(guān)鍵信息，從而導(dǎo)致解碼時(shí)準(zhǔn)確率的降低。

為了解決上述問題，本文采用Attention模型[17]。模型在生成輸出時(shí)，會生成一個(gè)注意力范圍來標(biāo)記輸入序列需要重點(diǎn)關(guān)注的部分，然后根據(jù)所關(guān)注的部分生成下一個(gè)輸出。人們在閱讀的時(shí)候，通常只會注意具有信息量的詞，就是說人們對每個(gè)詞所施加的注意力是有所不同的，而Attention模型就由此而來。Attention模型雖然會增加模型訓(xùn)練的難度，卻能提升生成文本的效果。模型的大概示意圖如圖6所示。

圖6 Seq2Seq中的Attention

Attention層的輸入是Encoder的所有Hidden statesH：大小為(Hidden dim, Sequence length)和Decoder在一個(gè)時(shí)間點(diǎn)上的Hidden states大小為(Hidden dim, 1)。

第一步：轉(zhuǎn)置H為(Sequence length, Hidden dim)與s做點(diǎn)乘得到一個(gè)大小為(Sequence length, 1)的分?jǐn)?shù)。

第二步：對分?jǐn)?shù)做Softmax[22]得到一個(gè)和為1的權(quán)重。

第三步：將H與第二步得到的權(quán)重做點(diǎn)乘得到一個(gè)大小為(Hidden dim, 1)的Context vector。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境

操作系統(tǒng)GPUPythonTensorFlowCudaRougeUbuntuTesla P403.61.13.110.10.3.2

3.2 數(shù)據(jù)集

本實(shí)驗(yàn)采用的數(shù)據(jù)集是Gigaword，共包含接近950萬條來自New York Times等多個(gè)新聞源的新聞?wù)Z料，其中部分文章包含一句話新聞?wù)?headline)。Gigaword數(shù)據(jù)集的數(shù)據(jù)規(guī)模如表2所示。

表2 Gigaword數(shù)據(jù)集規(guī)模

數(shù)據(jù)集規(guī)模/條訓(xùn)練集3 800 000驗(yàn)證集189 000測試集2 000

Gigaword數(shù)據(jù)集的特點(diǎn)在于原句和摘要句都是單個(gè)句子，而在實(shí)際應(yīng)用中，除了對單個(gè)句子生成摘要的情形之外，還存在對由多個(gè)句子組成的整篇文本生成摘要的情形。

3.3 評價(jià)指標(biāo)

評價(jià)方法上，采用DUC的ROUGE[23]評價(jià)準(zhǔn)則對訓(xùn)練出的模型進(jìn)行評測，該準(zhǔn)則被廣泛應(yīng)用于文本摘要的生成效果評估，主要包括ROUGE-1、ROUGE-2和ROUGE-L。

3.4 實(shí)驗(yàn)過程

為了驗(yàn)證BERT作為embedding層的Seq2Seq-Attention模型的有效性，固定Seq2Seq-Attention的參數(shù)，采用不同的embedding層訓(xùn)練模型進(jìn)行對比。

1)Word to Vector模型。它本質(zhì)上是一種單詞聚類的方法，基本思想是把自然語言中的每一個(gè)詞語統(tǒng)一表示為一維的短向量，可以在百萬數(shù)量級的詞典和上億的數(shù)據(jù)集上進(jìn)行高效的訓(xùn)練，并且生成的詞向量可以很好地表示詞與詞之間的相似度。但是Word2Vec語言模型有自身的缺陷，它只能根據(jù)文章中句子的上文來推測下文，或者根據(jù)文章的下文來推測上文，就是說傳統(tǒng)的LSTM模型只能學(xué)習(xí)到單向的信息。

2)GloVe[24]模型。它可以把一個(gè)單詞表達(dá)成一個(gè)由實(shí)數(shù)組成的向量，從而捕捉到單詞之間的相似性、類比性等一些語義特性。相對于Word2Vec，GloVe算法更容易并行化計(jì)算、速度更快，但由于其使用了全局信息，所以內(nèi)存開銷也較高。

3)BERT模型。從模型或者方法的角度來看，BERT借鑒了ELMO、GPT以及CBOW，主要提出了masked語言模型和next sentence prediction。BERT可以解決其他詞向量無法對多義詞進(jìn)行有效表征而降低文本摘要準(zhǔn)確度和可讀性的問題，并且BERT效果好、普適性強(qiáng)，幾乎所有的NLP任務(wù)都可以套用BERT解決。

實(shí)驗(yàn)中采用的GloVe模型為Stanford開源的用Wikipedia2014和Gigaword5訓(xùn)練的glove.6B.100d，Word2Vec模型由Gigaword語料訓(xùn)練而來，BERT模型采用Google提供的BERT-Base，一共12層，隱層768維，采用12個(gè)Multi-head Attention模式，共1.1×108個(gè)參數(shù)。實(shí)驗(yàn)中，其他參數(shù)的設(shè)置為：num_units設(shè)置為256，learning_rate設(shè)置為0.001，dropout設(shè)置為0.2。

3.5 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)數(shù)據(jù)表明，BERT、GloVe和Word2Vec模型都在10個(gè)epoch左右的時(shí)候達(dá)到最優(yōu)解。最優(yōu)解時(shí)，從loss值來看，采用BERT模型的loss值最低，然后是GloVe和Word2Vec。從ROUGE評測結(jié)果來看，采用BERT的文本摘要算法在ROUGE-1、ROUGE-2、ROUGE-L上均得到了提升。實(shí)驗(yàn)中，模型的loss值隨epoch的變化情況如圖7所示。

圖7 實(shí)驗(yàn)loss值

BERT-Seq2Seq-Attention模型所生成的摘要效果如表3所示，對原文內(nèi)容概括充分完整并且用到了原文中沒有出現(xiàn)的單詞進(jìn)行概括，由此可見BERT在處理多義性時(shí)也有一定效果。

表3 BERT-Seq2Seq-Attention模型摘要示例

原文while trying to clear the way for u.n. fact-finders, u.s. sec-retary of state colin powell told congress wednesday he has no evidence of an israeli massacre of palestinians at the jenin ref-ugee camp on the west bank.標(biāo)準(zhǔn)摘要powell says he has no evidence that israel massacred palestini-ans生成摘要powell tells congress he has no evidence of israeli massacre

實(shí)驗(yàn)最終在ROUGE評價(jià)準(zhǔn)則上的評測結(jié)果如表4所示。其中P代表準(zhǔn)確率(Precision)；R代表召回率(Recall)；F代表F1分?jǐn)?shù)值，是準(zhǔn)確率和召回率的調(diào)和平均數(shù)。

表4 ROUGE評測結(jié)果

模型評測指標(biāo)Rouge-1Rouge-2Rouge-LBERTF0.360.160.32P0.410.180.39R0.330.150.32Word2VecF0.340.150.30P0.380.160.37R0.310.140.29GloVeF0.350.160.31P0.390.170.37R0.320.150.31

從評測結(jié)果可以看出，采用BERT模型在F1分?jǐn)?shù)值上，Rouge-1、Rouge-2、Rouge-L較Word2Vec分別提升了5.9%、6.7%、6.7%，較GloVe分別提升了2.9%、0、3.2%；在召回率上較Word2Vec分別提升了6.5%、7.1%、10.3%，較GloVe分別提升了3.1%、0%、3.2%；在準(zhǔn)確率上較Word2Vec分別提升了7.9%、12.5%、5.4%，較GloVe則分別提升了5.1%、5.9%、5.4%。由此可見采用BERT模型可以更好地完成文本摘要任務(wù)。

4 結(jié)束語

本文提出了BERT-Seq2Seq-Attention模型來解決傳統(tǒng)詞向量在自動文本摘要中無法表征詞的多義性的問題。該模型較Glove-Seq2Seq-Attention等模型，在提高生成摘要的準(zhǔn)確率和可讀性上都有一定的效果，ROUGE評測結(jié)果也較之前有一定程度的提升。

使用BERT與訓(xùn)練語言模型做編碼層比傳統(tǒng)的編碼層更能表征語句的特征，但仍有許多不足之處，例如由標(biāo)準(zhǔn)摘要轉(zhuǎn)換為向量時(shí)會產(chǎn)生信息的損耗；仁者見仁智者見智，人們對文章的理解不盡相同，標(biāo)準(zhǔn)摘要的側(cè)重點(diǎn)也不同；深度學(xué)習(xí)方法生成的摘要仍存在句子不通順、指代不明等問題。下一步的研究方向可以選擇解決摘要中指代不明等問題以及對中文自動文本摘要進(jìn)行改進(jìn)，之后在情報(bào)分析等領(lǐng)域中加以應(yīng)用，解決現(xiàn)階段情報(bào)工作的情報(bào)數(shù)據(jù)更加多元化、情報(bào)價(jià)值獲取更加困難、傳統(tǒng)情報(bào)處理和應(yīng)用模式無法滿足應(yīng)用需求等問題。