面向主題的無監(jiān)督文本摘要生成方法

蔣杰

摘要：隨著人工智能的迅速發(fā)展，傳統(tǒng)的文本摘要技術(shù)也從抽取式摘要向生成式摘要發(fā)展。當(dāng)源文檔中存在著多個(gè)主題的內(nèi)容時(shí)，現(xiàn)有的大多數(shù)生成式文本摘要方法會(huì)盡全面地對(duì)多主題內(nèi)容進(jìn)行概括和總結(jié)，而對(duì)其中包含某個(gè)主題的內(nèi)容可能無法進(jìn)行細(xì)致描述。針對(duì)這一問題，本文提出了一個(gè)面向主題信息的無監(jiān)督文本摘要生成方法。在給定目標(biāo)主題信息的情況下，在解碼器中利用注意力機(jī)制將目標(biāo)主題信息與文本本身的主題信息進(jìn)行信息融合，從而使得包含了目標(biāo)主題的文本得到較大的注意力權(quán)重，以此生成與目標(biāo)主題相關(guān)的文本摘要。在大規(guī)模英文文本數(shù)據(jù)集Yelp上的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的有效性和先進(jìn)性。

關(guān)鍵詞：自然語言處理;序列到序列模型;無監(jiān)督學(xué)習(xí);生成式摘要;主題信息;注意力機(jī)制

中圖分類號(hào)：TP18? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）28-0127-04

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Topic-oriented Unsupervised Text Summarization Generation Method

JIANG Jie

（Guangdong University of Technology， Guangzhou 510006， China）

Abstract： With the rapid development of artificial intelligence， traditional text summarization techniques have also evolved from extractive summaries to generative summaries. When there are multiple topics in the source document， most of the existing generative text summaries will summarize and summarize the content of multiple topics in a comprehensive manner， and the content of a certain topic may not be able to be described in detail. In response to this problem， this paper proposes a topic-oriented unsupervised text summary generation method. Given the target topic information， in the decoder， the attention machanism is used to fuse the target topic information with the topic information of the text itself， so that the text which contains the target topic information gets a larger attention weight， so as to generate a text summary related to the target topic. The experimental results on the large-scale English text data set Yelp verify the effectiveness and advancement of the proposed method.

Key words： natural language processing（ NLP ）;sequence-to-sequence（ seq2seq ） model;unsupervised learning;abstractive summarization;topic information;attention mechanism

1 引言

隨著互聯(lián)網(wǎng)產(chǎn)生的文本數(shù)據(jù)越來越多，文本信息過載問題日益嚴(yán)重，對(duì)各類文本進(jìn)行一個(gè)“降 維”處理顯得非常必要，文本摘要便是其中一個(gè)重要的手段。文本摘要技術(shù)是指通過各種技術(shù)，對(duì)文本或者是文本集合，抽取、總結(jié)或是精煉其中的要點(diǎn)信息，用以概括和展示原始文本（集合）的主要內(nèi)容或者大意。

當(dāng)前，文本摘要按照輸入類型可分為單文檔摘要和多文檔摘要。單文檔摘要是指從給定的一個(gè)文檔中生成摘要，多文檔摘要?jiǎng)t是從給定的一組文檔中生成摘要。按照輸出類型可分為抽取式摘要和生成式摘要。抽取式摘要是指從源文檔中抽取關(guān)鍵句和關(guān)鍵詞組成摘要，摘要全部來源于原文，如使用Lead技術(shù)[1]來產(chǎn)生摘要。而生成式摘要?jiǎng)t是根據(jù)原文的內(nèi)容，允許生成新的詞語、短語來組成摘要。生成式文本摘要主要依靠深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)，來自GoogleBrain團(tuán)隊(duì)就較早地提出的序列到序列[2]（Sequence-to-Sequence，seq2eq）模型，開啟了自然語言處理（Natural Language Processing，NLP）中端到端網(wǎng)絡(luò)的火熱研究。

近幾年來，一些基于深度學(xué)習(xí)的主題文本生成方法也取得了一定的成果。Feng等人[3]通過給定主題詞集合，利用長短期記憶（Long Short-Term Memory）[4]網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而產(chǎn)生一段包含這些主題詞的文本，與常規(guī)的自然語言生成方法[5-6]相比，在主題相關(guān)性和主題完整性上得到了一定的提高。來自Adobe的Krishna等人[7]則是構(gòu)造一個(gè)包含多個(gè)主題的文本數(shù)據(jù)集，針對(duì)同一文本，輸入不同的主題信息，從而生成相應(yīng)主題的文本摘要。也有學(xué)者通過對(duì)數(shù)據(jù)文本進(jìn)行一些預(yù)處理，如使用TextRank技術(shù)[8]，選出若干與當(dāng)前文本相關(guān)的主題詞，將主題詞與文本作為輸入，利用注意力機(jī)制將主題詞與輸入文本進(jìn)行信息融合，從而產(chǎn)生一段與這些主題詞內(nèi)容相關(guān)的文本。

雖然以上這些模型的主題信息的表示形式各有不同，且主題信息的使用方法也有所差異，但主題信息使用的意義就是為了使模型能夠生成與主題信息相關(guān)的文本摘要。鑒于此，本文提出一個(gè)面向主題的無監(jiān)督文本摘要生成方法。先給定目標(biāo)主題，然后在解碼器中利用注意力機(jī)制將目標(biāo)主題信息與文本主題信息進(jìn)行融合，因此不同主題的文本得到不同的注意力權(quán)重，擁有目標(biāo)主題的文本則得到較大的注意力權(quán)重，從而生成與目標(biāo)主題相關(guān)的文本摘要。

2? 面向主題的文本摘要生成模型

在自然語言處理中，大多數(shù)的生成式文本摘要模型都是基于seq2seq模型的，seq2seq本質(zhì)上是一個(gè)編碼器-解碼器模型。在seq2seq模型中，普遍使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[9]作為模型的編碼器和解碼器。編碼器RNN通過將長度為m的序列x={x1 ， x2 ，··· ， xm}編碼，得到中間序列H={h1 ， h2 ， ··· ， hm}，解碼器RNN將中間序列h進(jìn)行解碼，得到生成結(jié)果y={y1 ， y2 ， ··· ， yn}。

為了規(guī)避標(biāo)準(zhǔn)RNN無法長距離記憶的問題，一般會(huì)使用RNN的兩種改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)，LSTM網(wǎng)絡(luò)和GRU[10]，本研究提出的模型在編碼和解碼的階段都采用了LSTM網(wǎng)絡(luò)。本研究提出的模型如圖1所示，主要包含了兩個(gè)部分，第一個(gè)部分是一個(gè)Auto Encoder[11]模塊，Auto Encoder也叫做自編碼器，Auto Encoder包含兩個(gè)過程：encode和decode。給定k條評(píng)論文本作為輸入x={x1 ， x2 ， ··· ， xk}，在編碼過程中，通過編碼器g將輸入樣本映射到特征空間z，z= g（x）。z=[h，c]，h和c分別是編碼器中的LSTM在對(duì)輸入文本x中的每個(gè)token處理后輸出的hidden state和cell state的最后一層。在解碼過程中，通過解碼器f將特征空間z映射回原始空間得到重構(gòu)樣本x'={x1'， x2'，··· ， xk'}，p（x'|z）= f（z）。優(yōu)化目標(biāo)則是通過最小化重構(gòu)誤差來同時(shí)優(yōu)化encoder和decoder，從而學(xué)習(xí)得到針對(duì)文本輸入x的抽象特征表示z。在本模型中，使用的是標(biāo)準(zhǔn)的交叉熵誤差作為重構(gòu)誤差。

[?rec（{x1，x2...，xk}，g，f）? =j=1k?cross_entropy（xj，f（g（xj）））]? ? ? （1）

第二部分則是引入注意力機(jī)制的摘要模塊。在摘要模塊中，將特征空間z引入到注意力機(jī)制中，結(jié)合當(dāng)前系統(tǒng)主題與源文檔主題得到的主題相似度，得到最終注意力權(quán)重α。再將z與α結(jié)合，由此得到新的上下文信息C，最終將C輸入到解碼器f中，得到摘要y。將產(chǎn)生的摘要y輸入到編碼器g中，得到z'，z'= g（y），z'=[h'，c']。在本模塊中，優(yōu)化目標(biāo)是最小化z和z'中h的誤差，計(jì)算z和z'中h的誤差則是使用余弦距離來進(jìn)行計(jì)算。

[C=j=1khjαj]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

[y～fC]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （3）

[?sim（{x1，x2，…，xk}，g，f）=j=1kαjdcos （hj，h'）]? ? ? ? ? ? ? （4）

本文模型的整體架構(gòu)如圖1所示。其中AutoEncoder模塊和摘要模塊中的編碼器encoder是參數(shù)共享的，解碼器decoder也是參數(shù)共享的。在本模型中，總的損失函數(shù)[?model =?rec+?sim]。

3 面向主題的文本摘要生成模型的構(gòu)建

3.1 主題標(biāo)記及向量表示

在數(shù)據(jù)預(yù)處理過程中，人工對(duì)實(shí)驗(yàn)數(shù)據(jù)集中的文本信息進(jìn)行主題標(biāo)記，按照服務(wù)、環(huán)境、價(jià)格三個(gè)主題給文本進(jìn)行標(biāo)記，并以一個(gè)三維向量進(jìn)行表示v={v1，v2，v3}，若文本中包含了某個(gè)主題，則對(duì)應(yīng)位置的值為1，否則為0。此外模型會(huì)隨機(jī)生成目標(biāo)主題V={V1，V2，V3}，以一個(gè)one-hot[12]形式表示，分別對(duì)應(yīng)服務(wù)、環(huán)境、價(jià)格這三個(gè)主題，其中的有效位代表模型需要生成與有效位所對(duì)應(yīng)的主題相關(guān)的摘要。

3.2 編碼器

編碼器encoder采用的是單層單向的LSTM網(wǎng)絡(luò)來對(duì)輸入文本進(jìn)行編碼，從而將輸入文本映射到特征空間。LSTM的定義如下：

[it=σ（Wi[ht-1，xt]）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （5）

[ut=σ（Wu[ht-1，xt]）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （6）

[c～t=tanh（Wc[ht-1，xt]）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （7）

[ot=σ（Wo[ht-1，xt]）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（8）

其中Wi、Wu、Wc、Wo是權(quán)重矩陣。

[ct=ut*ct-1+it*c～t]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（9）

[ht=ot*tanh（ct）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（10）

其中h為短記憶，c為長記憶。

在編碼器中，LSTM網(wǎng)絡(luò)首先將初始狀態(tài)h0，c0設(shè)置為零向量。然后將輸入文本的詞嵌入向量從左至右的讀入，最終得到一個(gè)特征向量z，z=[h，c]。

3.3 解碼器

本文使用由注意力機(jī)制所計(jì)算出的注意力并結(jié)合LSTM網(wǎng)絡(luò)共同解碼并生成摘要。解碼過程可分為兩個(gè)部分，第一個(gè)部分是利用注意力機(jī)制對(duì)z中的h進(jìn)行注意力觀察，并結(jié)合模型主題與輸入文本之間的主題相似度，從而有針對(duì)性地生成一組對(duì)應(yīng)的注意力權(quán)重α，將生成的注意力權(quán)重α與h結(jié)合，從而產(chǎn)生一個(gè)新的上下文信息C。第二個(gè)部分則是在每個(gè)解碼時(shí)間步t時(shí)刻，LSTM網(wǎng)絡(luò)結(jié)合前一個(gè)詞向量wt-1、上一個(gè)時(shí)間步的解碼狀態(tài)[hdt-1]以及[cdt-1]計(jì)算新的解碼狀態(tài)hd t和cd t，并產(chǎn)生yt。具體實(shí)現(xiàn)過程如下：

[βi=1，Vi?vi-1， Vi?vi]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （11）

其中V為系統(tǒng)隨機(jī)產(chǎn)生的one-hot向量，為目標(biāo)主題。v = {v1，v2，...，vk}，為輸入文本所體現(xiàn)的主題向量。β = {β1，β1，...，βk}為模型主題與輸入文本之間的主題相似度。

構(gòu)成上下文信息C的注意力權(quán)重α的計(jì)算結(jié)果如下：

[αi=exp（η（hi，wd）βi）i=1kexp（η（hi，wd）βi）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（12）

[C=i=1kαihi]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （13）

[hdt=C? ? ? ? ? ? ? ? ?（t=0）]? ? ? ? ? ? ? ? ? ? ? ? ? ?（14）

[cdt=i=1kαici? ? ? ? ?（t=0）]? ? ? ? ? ? ? ? ? ? ? ? ? ? （15）

得到新的上下文信息Ct后，結(jié)合前一個(gè)詞yt-1，以及上一個(gè)時(shí)間步的解碼狀態(tài)hd t-1以及cd t-1，從而獲得當(dāng)前輸出狀態(tài)st，以及當(dāng)前解碼狀態(tài)hd t和cd t。

[odt，hdt，cdt=LSTM（yt-1，hdt-1，cdt-1）]? ? ? ? ? ? ? ? ? ? ? ?（16）

[st=maxot，jj=1，2，...，T]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （17）

[p（yty1，y2，...，yt-1）=softmax（Wsst）]? ? ? ? ? ? ? ? ? ? ?（18）

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)所使用的數(shù)據(jù)集為YELP數(shù)據(jù)集[13]，該數(shù)據(jù)集包含兩個(gè)部分。

1） 第一個(gè)部分是Businesses。它包含了YELP數(shù)據(jù)集中的商戶信息。

2） 第二個(gè)部分是Reviews。它包含了YELP數(shù)據(jù)集中顧客對(duì)Businesses中商戶的評(píng)論信息，主要包含了文本評(píng)論和情感打分（1～5分）。

3） 本文實(shí)驗(yàn)先對(duì)Businesses中商戶類型進(jìn)行了篩選，要求商戶類別中必須包含Restaurants標(biāo)簽，再對(duì)通過篩選后的商戶所對(duì)應(yīng)的Reviews中的評(píng)論信息進(jìn)行篩選，首先將評(píng)論信息中商戶出現(xiàn)頻次超過90%的商戶排除在外，這樣做的目的是為了避免數(shù)據(jù)集中出現(xiàn)某個(gè)商戶的評(píng)論信息過多，從而導(dǎo)致數(shù)據(jù)不均衡。并要求每個(gè)商戶所對(duì)應(yīng)的評(píng)論信息的條數(shù)大于等于50條，且每條評(píng)論信息中的文本評(píng)論長度小于等于150個(gè)單詞。

最終訓(xùn)練集、驗(yàn)證集、測(cè)試集分別對(duì)應(yīng)有27560、3327、3321條文本評(píng)論信息，其中與“服務(wù)”主題有關(guān)的文本評(píng)論有15002條，與“環(huán)境”主題有關(guān)的文本評(píng)論有9234條，與“價(jià)格”主題有關(guān)的文本評(píng)論有7785條。

4.2 評(píng)價(jià)標(biāo)準(zhǔn)

由于本文實(shí)驗(yàn)所使用的數(shù)據(jù)集為YELP數(shù)據(jù)集，且該數(shù)據(jù)集無Ground truth，所以采用以下三個(gè)指標(biāo)作為評(píng)價(jià)標(biāo)準(zhǔn)。

1） Word Overlap Score

在文本摘要領(lǐng)域中，對(duì)于摘要常用的評(píng)價(jià)工具為ROUGE[13]，其通過計(jì)算標(biāo)準(zhǔn)摘要和實(shí)驗(yàn)結(jié)果所生成的摘要計(jì)算重疊的詞匯來衡量摘要生成的質(zhì)量。由于本數(shù)據(jù)集無標(biāo)準(zhǔn)摘要，所以使用輸入文本x中每條文本與摘要計(jì)算一次ROUGE score，并將ROUGE score加權(quán)求和來表示摘要與輸入文本的詞重疊比例。在本實(shí)驗(yàn)中，計(jì)算ROUGE score使用ROUGE-1。

[WO=1Ni=1N[j=1kα（i）jROUGE（y（i），x（i）j）]]? ? ? ? ? ? ? ? ? ? ? ?（19）

其中N為一次訓(xùn)練中的數(shù)據(jù)塊的個(gè)數(shù)，x（i）j為第i個(gè)數(shù)據(jù)塊中第j條輸入文本，y（i）為第i個(gè)數(shù)據(jù)塊所生成的文本摘要，α（i）j為解碼器在第i個(gè)數(shù)據(jù)塊中注意力機(jī)制所計(jì)算出的第j個(gè)注意力權(quán)重。

2） Sentiment accuracy

一條有用的摘要不僅要在內(nèi)容上體現(xiàn)主題相關(guān)性，還要在情感上保持著一致性。由于一條評(píng)論信息中可能包含多個(gè)主題，所以當(dāng)出現(xiàn)多主題這種情況時(shí)，可以認(rèn)為評(píng)論信息的評(píng)分是顧客折中后給出的評(píng)分，即可以使用該評(píng)分來代表評(píng)論信息中關(guān)于某個(gè)主題的情感分?jǐn)?shù)。

[1N[i=1N（CLF（y（i））=round（j=1kα（i）jr（x（i）j）））]]? ? ? ? ? ? ? ? （20）

其中CLF為評(píng)分器，[r（x（i）j）]為第i個(gè)數(shù)據(jù)塊中第j條輸入文本的評(píng)分。

3） Negative Log-Likelihood（NLL）

為了評(píng)價(jià)實(shí)驗(yàn)所生成的文本摘要是否流暢通順，所以根據(jù)本實(shí)驗(yàn)?zāi)Ｐ皖A(yù)訓(xùn)練了一個(gè)語言模型，由訓(xùn)練好的語言模型來計(jì)算文本摘要的負(fù)對(duì)數(shù)似然的值來對(duì)文本進(jìn)行評(píng)判。

4.3 實(shí)驗(yàn)設(shè)置

在本實(shí)驗(yàn)的數(shù)據(jù)預(yù)處理過程中，使用了一個(gè)開源的單詞分詞器[14]對(duì)文本進(jìn)行分詞，再使用subword[15]模型，最終生成一個(gè)包含了32000個(gè)單詞的詞典。在實(shí)驗(yàn)中使用subword模型不僅可以減小詞表的大小，而且還可以解決seq2seq模型中經(jīng)常出現(xiàn)的稀有詞問題（UNK問題）。

本實(shí)驗(yàn)使用的語言是Pytorch，在本實(shí)驗(yàn)中語言模型，編碼器，解碼器均使用了512維的LSTM，256維度的詞向量。本實(shí)驗(yàn)采用了Adam[16]模型優(yōu)化器，β1=0.9，β2=0.99。對(duì)于語言模型，學(xué)習(xí)率設(shè)定為0.001，對(duì)于面向主題的文本摘要生成模型，學(xué)習(xí)率設(shè)定為0.0005，對(duì)于評(píng)分器，學(xué)習(xí)率設(shè)定為0.0001。在對(duì)語言模型和面向主題的文本摘要生成模型的訓(xùn)練中，擬定每次輸入模型的文本數(shù)k=30，在對(duì)評(píng)分器的訓(xùn)練中，擬定每次輸入模型的文本數(shù)為1。

語言模型的創(chuàng)建是為了評(píng)判摘要是否流暢通順，其本質(zhì)是一個(gè)LSTM網(wǎng)絡(luò)。擬定模型的輸入項(xiàng)為30條文本評(píng)論以及它們的結(jié)束定界符的組合，初始狀態(tài)h0和c0都為零向量。評(píng)分器是類似于RUSH[17]等人提到的多通道文本卷積神經(jīng)網(wǎng)絡(luò)，它具有3、4、5三個(gè)不同寬度的過濾器，每個(gè)過濾器具有128個(gè)特征圖以及0.5的淘汰率。

4.4 對(duì)比方法

本文選取了三個(gè)基準(zhǔn)模型和本文提出的模型進(jìn)行比較。

Opinosis[18]是一個(gè)基于圖結(jié)構(gòu)的摘要算法，旨在利用高度冗余的文本信息生成簡短的文本摘要，雖然該算法是生成式摘要算法，但是它只能通過從輸入文本中選取單詞，從而組成摘要。

VAE[19]是一個(gè)變分自編碼器，通過平均從輸入文本采樣到的隱變量Z，從而生成一條文本摘要。

MeanSum[20]是一個(gè)基于序列到序列的無監(jiān)督的文本摘要模型。該模型通過將特征向量z平均后送入到解碼器中，從而產(chǎn)生一條文本摘要。

4.5 實(shí)驗(yàn)結(jié)果分析

由表1結(jié)果可見：

1）Opinosis在詞重疊和情感準(zhǔn)確度這兩方面較其他三個(gè)方法還是略有不足，說明在生成式文本摘要這一任務(wù)中，采用深度學(xué)習(xí)的方法更加有效。

2）本文方法相較MeanSum而言，不僅引入了主題向量表示的概念及使用，而且還在解碼端使用了注意力機(jī)制，不僅彌補(bǔ)了MeanSum在多文檔摘要生成任務(wù)中的情感準(zhǔn)確度較低的問題，而且在內(nèi)容上，也更能體現(xiàn)主題相關(guān)性。

3）本文方法及其對(duì)照方法實(shí)際生成的文本摘要實(shí)例如表2所示。Opinosis通過抽取文本中的單詞來生成文本摘要，VAE則更偏向于利用文本中大量的冗余信息來生成文本摘要，MeanSum通過平均輸入文本信息生成文本摘要，但以上三種方法都不能合理利用文本信息中的主題信息，本文方法通過注意力機(jī)制使得擁有目標(biāo)主題的文本擁有更大的注意力權(quán)重，以此引導(dǎo)解碼器生成與目標(biāo)主題內(nèi)容相關(guān)的文本摘要。

5 結(jié)論

本文提出了一個(gè)面向主題的文本摘要生成算法，該算法不僅引入了主題信息的向量表示及其應(yīng)用，還將對(duì)輸出向量的注意力與主題向量進(jìn)行了信息融合。在YELP數(shù)據(jù)集上實(shí)驗(yàn)所得到的實(shí)驗(yàn)結(jié)果證實(shí)表明，該算法生成的文本摘要在內(nèi)容上可以更好地體現(xiàn)主題，且更能準(zhǔn)確地反映輸入文本中關(guān)于主題的情感。而且在未來還有很多等待發(fā)掘的工作，例如將本算法應(yīng)用在中文的文本摘要生成上，或者是嘗試挖掘更深層次的主題信息的運(yùn)用方法。

參考文獻(xiàn)：

[1] Rossiello G，Basile P，Semeraro G.Centroid-based text summarization through compositionality of word embeddings[C]//Proceedings of the MultiLing 2017 Workshop on Summarization and Summary Evaluation Across Source Types and Genres.Valencia，Spain.Stroudsburg，PA，USA：Association for Computational Linguistics，2017：12-21.

[2] 馮讀娟，楊璐，嚴(yán)建峰.基于雙編碼器結(jié)構(gòu)的文本自動(dòng)摘要研究[J].計(jì)算機(jī)工程，2020，46（6）：60-64.

[3] Feng X， Liu M， Liu J， et al. Topic-to-Essay Generation with Neural Networks[C]//IJCAI. 2018： 4078-4084.

[4] Hochreiter S，Schmidhuber J.Long short-term memory[J].Neural Computation，1997，9（8）：1735-1780.

[5] Guu K，Hashimoto T B，Oren Y，et al.Generating sentences by editing prototypes[J].Transactions of the Association for Computational Linguistics，2018，6：437-450.

[6] Liu L Q，Lu Y，Yang M，et al.Generative adversarial network for abstractive text summarization[EB/OL].2017

[7] Krishna K，Srinivasan B V.Generating topic-oriented summaries using neural attention[C]//Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies，Volume 1 （Long Papers）.New Orleans，Louisiana.Stroudsburg，PA，USA：Association for Computational Linguistics，2018：1697-1705.

[8] Mihalcea R ， Tarau P . TextRank： Bringing Order into Texts[C]//Proc Conference on Empirical Methods in Natural Language Processing，2004.

[9] Graves A.Generating sequences with recurrent neural networks[EB/OL].2013

[10] Fu R，Zhang Z，Li L.Using LSTM and GRU neural network methods for traffic flow prediction[C]//2016 31st Youth Academic Annual Conference of Chinese Association of Automation （YAC）.November 11-13，2016，Wuhan，China.IEEE，2016：324-328.

[11] Hinton G E，Krizhevsky A，Wang S D.Transforming auto-encoders[M]//Lecture Notes in Computer Science.Berlin，Heidelberg：Springer Berlin Heidelberg，2011：44-51.

（下轉(zhuǎn)第148頁）

（上接第130頁）

[12] Lin C Y，Hovy E.Automatic evaluation of summaries using N-gram co-occurrence statistics[C]//Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology - NAACL '03.May 27-June 1，2003.Edmonton，Canada.Morristown，NJ，USA：Association for Computational Linguistics，2003：150-157.

[13] Asghar N. Yelp dataset challenge： Review rating prediction[J]. arXiv preprint arXiv：1605.05362， 2016.

[14] Wu Y H，Schuster M，Chen Z F.et al.Google's neural machine translation system：bridging the gap between human and machine translation[EB/OL].2016

[15] Radev D R，Jing H Y，Sty? M，et al.Centroid-based summarization of multiple documents[J].Information Processing & Management，2004，40（6）：919-938.

[16] Han Z D.Dyna：a method of momentum for stochastic optimization[EB/OL].2018：arXiv：1805.04933[cs.LG].https：//arxiv.org/abs/1805.04933.

[17] Rush A M，Chopra S，Weston J.A neural attention model for abstractive sentence summarization[C]//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing.Lisbon，Portugal.Stroudsburg，PA，USA：Association for Computational Linguistics，2015.

[18] Ganesan K， Zhai C X， Han J. Opinosis： A graph based approach to abstractive summarization of highly redundant opinions[J]. 2010.

[19] Bowman S R，Vilnis L，Vinyals O，et al.Generating sentences from a continuous space[C]//Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning.Berlin，Germany.Stroudsburg，PA，USA：Association for Computational Linguistics，2016.

[20] Chu E，Liu P J.MeanSum：a neural model for unsupervised multi-document abstractive summarization[EB/OL].2018：arXiv：1810.05739[cs.CL].https：//arxiv.org/abs/1810.05739.

【通聯(lián)編輯：唐一東】