• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合詞匯特征的生成式摘要模型

    2019-06-11 08:27江躍華丁磊李嬌娥杜皓晅高凱
    關(guān)鍵詞:注意力機(jī)制自然語言處理

    江躍華 丁磊 李嬌娥 杜皓晅 高凱

    摘要:為了能在摘要生成過程中利用詞匯特征(包含n-gram和詞性信息)識別更多重點(diǎn)詞匯內(nèi)容,進(jìn)一步提高摘要生成質(zhì)量,提出了一種基于sequence-to-sequence(Seq2Seq)結(jié)構(gòu)和attention機(jī)制的、融合了詞匯特征的生成式摘要算法。算法的輸入層將詞性向量與詞向量合并后作為編碼器層的輸入,編碼器層由雙向LSTM組成,上下文向量由編碼器的輸出和卷積神經(jīng)網(wǎng)絡(luò)提取的詞匯特征向量構(gòu)成。模型中的卷積神經(jīng)網(wǎng)絡(luò)層控制詞匯信息,雙向LSTM控制句子信息,解碼器層使用單向LSTM為上下文向量解碼并生成摘要。實(shí)驗(yàn)結(jié)果顯示,在公開數(shù)據(jù)集和自采數(shù)據(jù)集上,融合詞匯特征的摘要生成模型性能優(yōu)于對比模型,在公開數(shù)據(jù)集上的ROUGE-1,ROUGE-2,ROUGE-L分?jǐn)?shù)分別提升了0.024,0.033,0.030。因此,摘要的生成不僅與文章的語義、主題等特征相關(guān),也與詞匯特征相關(guān),所提出的模型在融合關(guān)鍵信息的生成式摘要研究中具有一定的參考價值。

    關(guān)鍵詞:自然語言處理;文本摘要;注意力機(jī)制;LSTM;CNN

    中圖分類號:TP319文獻(xiàn)標(biāo)志碼:A

    Abstract: In order to use lexical features (including n-gram and part of speech information) to identify more key vocabulary content in the summarization generation process to further improve the quality of the summarization, an algorithm based on sequence-to-sequence (Seq2Seq) structure and attention mechanism and combining lexical features is proposed. The input layer of the algorithm combines the part of speech vector with the word vector, which is the input of the encoder layer. The encoder layer is composed of bi-directional LSTM, and the context vector is composed of the output of the encoder and the lexical feature vector extracted from the convolution neural network. The convolutional neural network layer in the model controls the lexical information, the bi-directional LSTM controls the sentence information, and the decoder layer uses unidirectional LSTM to decode the context vector and generates the summarization. The experiments on public dataset and the self-collected dataset show that the performance of the summarization generation model considering lexical feature is better than that of the contrast model. The ROUGE-1, ROUGE-2 and ROUGE-L scores on the public dataset are improved by 0.024, 0.033 and 0.030, respectively. Therefore, the generation of summarization is not only related to the semantics and themes of the article, but also to the lexical features.The proposed model provides a certain reference value in the research of generating summarization of integrating key infromation.

    Keywords:natural language processing; text summarization; attention mechanism; LSTM; CNN

    近年來,由于互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展以及用戶規(guī)模的爆發(fā)式增長,互聯(lián)網(wǎng)的數(shù)據(jù)呈現(xiàn)指數(shù)級增長。文本是目前形式多樣的信息數(shù)據(jù)中最主要的存在形式。如何能從海量的文本數(shù)據(jù)中挖掘出重要而且是用戶關(guān)心的話題和信息,對于提升閱讀效率、消化海量信息是非常有幫助的。文本摘要是文本信息自動抽取的主要任務(wù)之一,它追求以更加精簡、精確的方式,用少量文本盡可能地表述原文含義。按照產(chǎn)生方式的不同,文本自動摘要可分為抽取式和生成式摘要。其中,抽取式摘要主要是指從原文中抽取出和文章主題相關(guān)的內(nèi)容,在不超過一定字?jǐn)?shù)的限制下,盡可能地讓抽取的句子覆蓋到原文所有含義,并按順序排列生成一段摘要文本;生成式摘要則是通過讓模型學(xué)習(xí)原文中所表達(dá)的含義,推斷所需要生成的摘要內(nèi)容,由模型自動生成一段摘要文本。根據(jù)任務(wù)的不同,文本摘要也可分單文檔摘要和多文檔摘要。通常,人們在閱讀文章時,一方面要保留句子的大部分信息,另一方面要關(guān)注句子中重要的詞匯信息。在生成摘要時,應(yīng)對原文中的短語按照詞性做不同的處理,例如對名詞、動詞等有實(shí)際意義的詞匯信息,在生成摘要時保留信息;對于介詞、虛詞等無明顯含義的詞匯應(yīng)保留較少的信息。

    在Seq2Seq框架和attention機(jī)制的基礎(chǔ)之上提出了使用卷積神經(jīng)網(wǎng)絡(luò)提取詞匯特征,并將其融合在上下文中的方法,對原文的詞匯特征進(jìn)行提取,并和基礎(chǔ)框架所提取的句子特征一起構(gòu)成上下文特征矩陣,目的在于使用上下文信息時既要保留文本的序列信息,同時也要保留重點(diǎn)詞匯特征信息。

    1相關(guān)工作

    在生成單文檔摘要時,可通過深度學(xué)習(xí)的方式實(shí)現(xiàn),即使用大規(guī)模的數(shù)據(jù)集,以數(shù)據(jù)驅(qū)動的方式訓(xùn)練神經(jīng)網(wǎng)絡(luò),學(xué)習(xí)原文淺層語義并生成摘要。在相關(guān)工作中,RUSH等[1]和CHOPRA等[2]使用Seq2Seq框架,在編碼器端給定輸入的句子,在解碼器端輸出摘要的每個詞,并以局部注意力機(jī)制提升效果。NALLAPATI等[3]融入傳統(tǒng)的TF-IDF,POS、命名實(shí)體等特征來提升效果,引入Pointer解決未知詞和低頻詞。HU等[4]提供了一個新的中文短文本摘要數(shù)據(jù)集(數(shù)據(jù)來源為新浪微博),并根據(jù)正文和摘要之間的相關(guān)性進(jìn)行了人工評分。YAO等[5]總結(jié)了近幾年文本摘要領(lǐng)域的新方法,從抽取式和生成式、單文檔和多文檔這幾方面進(jìn)行評價,包括數(shù)據(jù)集和評價方法等。摘要生成時,其輸出句子的長度較難把控,為解決這個問題,KIKUCHI等[6]提出在解碼器端,將原摘要的長度信息輸入到LSTM中進(jìn)行控制,取得了較好的結(jié)果。ZENG 等[7]考慮到人工編寫摘要時通常需要先對全文內(nèi)容通讀以了解文章主題,提出將全文信息通過RNN編碼為一個向量,再進(jìn)行解碼。SEE等[8]通過在輸出端對下一個詞的生成或復(fù)制的概率進(jìn)行預(yù)測,解決OOV(out-of-vocabulary)和低頻詞的問題。GEHRING等[9]將編碼器和解碼器用卷積神經(jīng)網(wǎng)絡(luò)替代,達(dá)到了接近state-of-the-art的表現(xiàn)。CHANG等[10]在生成中文摘要時,當(dāng)編碼器輸入詞時可使模型獲得較多的信息,解碼器輸出字時可壓縮并精簡文章的內(nèi)容。MA等[11]在訓(xùn)練時將摘要內(nèi)容進(jìn)行自編碼,監(jiān)督生成的原始內(nèi)容編碼,使編碼器生成的內(nèi)容更加接近參考摘要。PAULUS等[12]提出內(nèi)注意力機(jī)制解決重復(fù)詞語的問題,訓(xùn)練方法中融合了監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)以提升效果。WANG等[13]以convolutional sequence to sequence(ConvS2S)為基礎(chǔ),將主題信息融入其中,使用強(qiáng)化學(xué)習(xí)訓(xùn)練方法優(yōu)化。FAN等[14]根據(jù)用戶寫作摘要的風(fēng)格,包括摘要長度、用詞等特征生成摘要。GAO等[15]提出了讀者感知生成摘要的任務(wù),設(shè)計(jì)了一個名為讀者感知摘要生成器(RASG)的對抗性學(xué)習(xí)模型,將讀者的評論納入生成式摘要。針對PECH(產(chǎn)品感知答案生成)任務(wù),GAO等[16]設(shè)計(jì)了一種基于對抗性學(xué)習(xí)的模型PAAG,提出一種基于注意力機(jī)制的閱讀審查方式,用來捕獲給定的問題中與評論相關(guān)度最高的詞語。

    和上述工作不同的是,筆者提出基于Seq2Seq的框架,在上下文特征中加入由卷積神經(jīng)網(wǎng)絡(luò)提取的詞匯特征,根據(jù)詞性信息判斷詞匯的重要性,進(jìn)而保留文章的重點(diǎn)內(nèi)容,完成文本摘要的生成。

    2融合詞匯特征模型

    以Seq2Seq為基礎(chǔ)框架模型,結(jié)構(gòu)如圖1所示。在輸入層,使用詞性向量和詞向量進(jìn)行疊加,構(gòu)成整個網(wǎng)絡(luò)的輸入向量。在編碼器端,分為2部分:一部分使用雙向LSTM[17]模型,對分詞后的源文本內(nèi)容進(jìn)行句子級別的淺層表征學(xué)習(xí);另一部分使用卷積神經(jīng)網(wǎng)絡(luò)對所有詞匯提取n-gram和詞性特征,最后將2部分學(xué)習(xí)到的特征矩陣融合在一起,構(gòu)成上下文向量。在輸出摘要時使用單向的LSTM,每個時間步都需要對上下文特征矩陣進(jìn)行注意力權(quán)重的分配,進(jìn)而生成詞匯。

    2.1構(gòu)建輸入層向量

    融合短語特征的自動摘要模型的輸入由2部分構(gòu)成,第1部分將分詞后的源文本轉(zhuǎn)換成詞向量,使用xw={xw1,xw2,…,xwn}來表示;第2部分將源文本的詞性轉(zhuǎn)換為向量,用xp={xp1,xp2,…,xpn}表示,其中n表示輸入詞性的索引。最后,對輸入序列的詞向量和詞性向量連接,得到帶有詞性特征的輸入向量wp,如式(1)所示。wpn=∑ni=1[xwi;xpi]。 ????????????????????????????(1)2.2Seq2Seq模型

    編碼器使用雙向LSTM模型,輸入的是帶有詞性特征的向量,通常將編碼器所有輸出的隱藏狀態(tài)作為原始句子的淺層語義表示,在解碼器端對該向量進(jìn)行解碼。由于模型所使用的是雙向LSTM,每個時間步都接收來自前一時刻或后一時刻的隱層狀態(tài),所以在每個時間步需要對前向和后向的各個隱層狀態(tài)向量進(jìn)行連接,得到包含前后語義的隱藏狀態(tài)。式(2)中t,t+1表示后一時刻的隱層向量,式(3)中t,t-1表示前一時刻的隱層向量,式(4)中t表示當(dāng)前時刻融合前向和后向的隱層向量,對于解碼器同樣使用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行解碼。t,t=LSTM(wpi,t+1,t+1),(2)

    t,t=LSTM(wpi,t-1,t-1),(3)

    t=[t:t]。(4)式(5)中st表示解碼器端的隱藏向量,ct表示LSTM中的狀態(tài)向量。式(6)中yt表示每個時間步輸出的摘要序列詞匯。st=LSTM(ct,yt-1,st-1),(5)

    yt=softmag(g[ct;st])。(6)2.3融合詞匯特征

    借鑒LIN 等[18]的工作內(nèi)容,依據(jù)其設(shè)定的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),卷積核的大小依次設(shè)定為k=1,k=3,使卷積神經(jīng)網(wǎng)絡(luò)能提取詞匯的n-gram的特征。在卷積層,將包含詞性的詞性序列作為基本單位輸入到網(wǎng)絡(luò)中,使用多個與輸入向量維度相一致的卷積單元學(xué)習(xí)詞匯特征。假設(shè)整個輸入序列的長度為n,對于每個卷積單元,經(jīng)過一次卷積后,生成與輸入矩陣大小相同的特征矩陣,最后將多個卷積結(jié)果和編碼器的隱層狀態(tài)連接,使用全連接層學(xué)習(xí)多種特征融合。h=(W[g1,g2,g3,]+b)。(7)式(7)中h為最終的編碼器隱層向量,維度為m×n,m代表輸入向量的維度,n表示輸入序列的長度,其中g(shù)1,g2,g3表示由卷積層輸出的特征矩陣。表示激活函數(shù)GLU[19]。得到融合詞匯特征和句子特征的隱層向量后,引入注意力機(jī)制[20]來捕獲輸出內(nèi)容與上下文向量的關(guān)聯(lián)程度。ct=∑Ni=1αtihi, ???????????????????????????????(8)

    αt=exp(eij)∑Tk=1exp(eik),(9)

    eij=α(si-1,hj)。(10)式(8)—式(10)中,ct表示當(dāng)前時刻的上下文向量,eij表示解碼器端隱層狀態(tài)st-1和編碼器隱層狀態(tài)hj之間的相關(guān)系數(shù)。當(dāng)輸出摘要時,需要將得到上下文的向量ct輸入到解碼器的LSTM單元中。

    2.4損失函數(shù)

    本文訓(xùn)練的模型采用反向傳播方式,目標(biāo)函數(shù)(代價函數(shù))為交叉熵代價函數(shù),將yt作為輸出生成的摘要詞匯,X為源文本輸入序列,模型訓(xùn)練的目標(biāo)是在給定輸入語句的情況下最大化每個輸出摘要詞的概率。式(11)中k表示同一個訓(xùn)練批次句子的索引,t表示句中輸入詞匯的索引。Δ=-1N∑Nk=1∑Tt=1log[p(y(k)t|y(k)

    3實(shí)驗(yàn)

    3.1數(shù)據(jù)集描述

    本文模型所使用的第一個數(shù)據(jù)集是大規(guī)模的中文短文本摘要數(shù)據(jù)集LCSTS[4],主要是收集自新浪微博的內(nèi)容,總共包含超過240多萬條摘要文本內(nèi)容。每對摘要文本中,其原始內(nèi)容少于140個字,摘要則由人工編寫。數(shù)據(jù)集共分為3部分,第1部分約240萬對,第2部分約1萬對,第3部分約1千對,其中第2部分和第3部分由人工方式對標(biāo)題和正文之間的相關(guān)度按照1至5進(jìn)行評分,得分越高相關(guān)度越高。按照HU等[4]的工作內(nèi)容,將數(shù)據(jù)集分割為訓(xùn)練集、驗(yàn)證集和測試集。另外,還使用第2個數(shù)據(jù)集,以人工方式收集并整理20條微博內(nèi)容供模型測試使用,參考摘要和原文內(nèi)容的抽取方式與LCSTS[4]數(shù)據(jù)集的抽取方式相同。

    3.2實(shí)驗(yàn)參數(shù)設(shè)置

    模型中詞向量的維度為512,詞性向量的維度為50,經(jīng)過網(wǎng)絡(luò)合并輸出后的特征維度為562。以每64個樣本為一個批次的方式進(jìn)行模型訓(xùn)練,設(shè)置Adam[21]的學(xué)習(xí)率為 0.001,設(shè)置代價函數(shù)的懲罰項(xiàng)為0.001。同時設(shè)置編碼器的LSTM神經(jīng)網(wǎng)絡(luò)層數(shù)為3層,解碼器的LSTM神經(jīng)網(wǎng)絡(luò)為1層,每個卷積層的輸出維度與輸入向量維度保持一致。該摘要生成模型運(yùn)行在Ubuntu 16.04系統(tǒng),運(yùn)行環(huán)境為PyTorch0.4和NVIDIA GTX 1080ti顯卡。

    3.3評價指標(biāo)設(shè)定

    實(shí)驗(yàn)借鑒RUSH等[1]的工作內(nèi)容,使用自動文本摘要的相關(guān)評測標(biāo)準(zhǔn)ROUGE[22]。該評測方法基于生成摘要和參考摘要中n-gram的共現(xiàn)信息來評價摘要質(zhì)量,現(xiàn)在被廣泛應(yīng)用于DUC評測任務(wù)。評測標(biāo)準(zhǔn)包括ROUGE-N,ROUGE-L等。其中N表示N元詞,而L表示最長公共序列。ROUGE-N的計(jì)算方式為ROUGE-N=∑S∈sumref∑gramn∈Scountmatch(gramn)∑S∈sumref∑gramn∈Scount(gramn),(12)式中:sumref表示參考摘要;countmatch(gramn)表示由模型生成的摘要和標(biāo)準(zhǔn)參考摘要中共同出現(xiàn)的n元詞個數(shù),count(gramn)則表示標(biāo)準(zhǔn)參考摘要中出現(xiàn)n元詞的個數(shù)。ROUGE-L表示模型生成摘要與標(biāo)準(zhǔn)參考摘要之間,最長的公共序列長度與參考摘要長度之間的比值。ROUGE-L相比于ROUGE-N考慮了摘要中詞語的次序,評價更為合理。

    4實(shí)驗(yàn)結(jié)果及分析

    本文所使用的對比模型是RNN[14]和RNN content[14]。其中,RNN content使用了上下文向量Content,將所有的編碼器輸出作為解碼器的輸入;RNN(W)使用的是jieba分詞后的文本進(jìn)行訓(xùn)練;RNN(C)使用基于詞的方法訓(xùn)練模型。Seq2Seq是本文所實(shí)現(xiàn)的基于Seq2Seq并結(jié)合注意力機(jī)制的模型,其編碼器和解碼器使用的分別為雙向LSTM和單向LSTM。

    表1給出的是不同模型的ROUGE測度值。本文所提出的融合詞匯特征的摘要生成模型與其他4種模型相比,性能有所提升。從表1中可以看出,使用雙向LSTM作為解碼器的Seq2Seq模型,要比單向的RNN作為編碼器的模型在ROUGE-1,ROUGE-2和ROUGE-L上分別提升0.013,0.020,0.019,說明使用雙向LSTM更能捕捉文章特征信息。融合詞匯特征的模型(HN)在基于Seq2Seq框架的基礎(chǔ)上,增加詞匯特征的融合要比不使用詞匯特征的模型在ROUGE-1,ROUGE-2和ROUGE-L上的指標(biāo)均有所提升。實(shí)驗(yàn)效果證明融合詞匯特征的模型比無詞匯特征的模型效果要更好一些。

    這里給出另一組與圖2中的實(shí)驗(yàn)結(jié)果樣例。源文本是:昨晚,南車、北車陸續(xù)發(fā)布公告。據(jù)一財(cái)記者多方了解,公告所提到的“籌劃重大事項(xiàng)”,正是醞釀將南北車合并,合并一事由國務(wù)院要求推進(jìn),并由國務(wù)委員王勇負(fù)責(zé)督辦,而合并背后的導(dǎo)火索,是兩家公司在海外市場競相壓價的“惡性競爭”。生成的摘要內(nèi)容:避免海外惡性競爭國務(wù)委員牽頭推南北車合并。圖2縱軸代表生成的摘要內(nèi)容,橫軸代表原文內(nèi)容,由于篇幅所限,只截取具有代表性的內(nèi)容。從圖2中可以看到,在生成的摘要詞匯和原文詞匯間注意力權(quán)重的不同,如原文內(nèi)容中的“合并一事由國務(wù)院要求推進(jìn)”與摘要中的“國務(wù)委員牽頭推南北車合并”,這兩段文本間色塊的深度明顯大于其他部分,表示這兩段內(nèi)容間有較強(qiáng)的關(guān)聯(lián)性。但圖2中也有一些注意力權(quán)重未能達(dá)到預(yù)期效果,如原文中的“由國務(wù)院”的“由”字和摘要中“南北車”的“車”字相關(guān)性最高,導(dǎo)致權(quán)重分配錯誤的原因可能是因?yàn)樵谀P陀?xùn)練過程中,對一些頻繁出現(xiàn)的搭配進(jìn)行了錯誤的學(xué)習(xí),解決途徑之一是增加訓(xùn)練集,以降低某些錯誤固定搭配的比例。

    表3所示的為本文所實(shí)現(xiàn)的HN模型和Seq2Seq模型在測試集2上的ROUGE分?jǐn)?shù)。從表3中可看到HN模型生成摘要的ROUGE分?jǐn)?shù)比Seq2Seq的要更高一點(diǎn)。說明本文所實(shí)現(xiàn)的模型在其他測試集上,也比單純的結(jié)合注意力機(jī)制的Seq2Seq模型更優(yōu)。但測試集1的ROUGE分?jǐn)?shù)明顯高于測試集2上的分?jǐn)?shù),主要由于測試集2為人工收集的數(shù)據(jù)集,考慮到成本問題,只有20條,數(shù)據(jù)不具有廣泛的代表性,僅作為比較模型的優(yōu)劣程度的指標(biāo)。

    5結(jié)語

    筆者提出的融合詞匯特征的模型應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)從原文本中提取詞匯特征,采用雙向LSTM提取句子特征,然后將詞匯特征與句子特征相融合,以達(dá)到利用詞匯特征尋找文章中重點(diǎn)內(nèi)容的需求。通過與其他模型相比較,證明了融合詞匯特征的模型是有效的。

    雖然所提出的模型達(dá)到了預(yù)期效果,但仍然有較大的提升空間,首先本文的模型只是通過非線性函數(shù)融合句子特征和詞匯特征,未對詞匯特征的權(quán)重進(jìn)行進(jìn)一步優(yōu)化,以后可考慮使用多層次注意力機(jī)制,對詞匯特征進(jìn)一步提取。其次在做摘要任務(wù)時,需要考慮文章的主題信息,而且如果文章內(nèi)容較長時,在模型的訓(xùn)練過程中通常會出現(xiàn)梯度爆炸或梯度消失等問題,也不利于模型提取重要信息。未來可進(jìn)一步考慮在長文本內(nèi)容中,使用劃分文章段落和句子的層次結(jié)構(gòu)的方法縮短序列,達(dá)到分塊提取重要信息的需求,同時可加入文章主題信息作為監(jiān)督,保證模型生成的摘要和文章主題相一致。

    參考文獻(xiàn)/References:

    [1]RUSH A M, CHOPRA S, WESTON J. A neural attention model for abstractive sentence summarization[C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Lisbon:[s.n.], 2015:379-389.

    [2]CHOPRA S, AULI M, RUSH A M. Abstractive sentence summarization with attentive recurrent neural networks[C]// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies. San Diego:[s.n.], 2016: 93-98.

    [3]NALLAPATI R, ZHOU B, SANTOS C N D, et al. Abstractive text summarization using sequence-to-sequence rnns and beyond[C]//Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning. Berlin:[s.n.],2016:280-290.

    [4]HU Baotian, CHEN Qingcai, ZHU Fangze. LCSTS:A large scale Chinese short text summarization dataset[C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Lisbon:[s.n.],2015: 1967-1972.

    [5]YAO Jinge, WAN Xiaojun, XIAO Jianguo. Recent advances in document summarization[J]. Knowledge and Information Systems, 2017, 53(2): 297-336.

    [6]KIKUCHI Y, NEUBIG G, SASANO R, et al. Controlling output length in neural encoder-decoders[C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Austin:[s.n.], 2016:1328-1338.

    [7]ZENG Wenyuan, LUO Wenjie, FIDLER S, et al. Efficient summarization with read-again and copy mechanism[C]// Proceedings of the International Conference on Learning Representations.[S.l.]:[s.n.],2017:1-13.

    [8]SEE A, LIU P J, MANNING C D. Get to the point: Summarization with pointer-generator networks[C]// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. [S.l.]:[s.n.],2017:1073-1083.

    [9]GEHRING J, AULI M, GRANGIER D, et al. Convolutional sequence to sequence learning[C]//Proceedings of the 34th International Conference on Machine Learning. [S.l.]:[s.n.],2017: 1243-1252.

    [10]CHANG C T, HUANG C C, HSU J Y J, et al. A hybrid word-character model for abstractive summarization[EB/OL]. https://arxiv.org/pdf/1802.09968v2.pdf, 2018-02-28.

    [11]MA Shuming, SUN Xu, LIN Junyang, et al. Autoencoder as assistant supervisor: Improving text representation for Chinese social media text summarization[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Short Papers). Melbourne:[s.n.], 2018:725-731.

    [12]PAULUS R, XIONG Caiming, SOCHER R. A deep reinforced model for abstractive summarization[C]//Proceedings of Sixth International Conference on Learning Representations. [S.l.]:[s.n.],2017:1-13.

    [13]WANG Li, YAO Junlin, TAO Yunzhe, et al. A reinforced topic-aware convolutional sequence-to-sequence model for abstractive text summarization[C]//Proceedings of the 27th International Joint Conference on Artificial Intelligence (IJCAI). [S.l.]:[s.n.], 2018: 4453-4460.

    [14]FAN A, GRANGIER D, AULI M. Controllable abstractive summarization[C]//Proceedings of the 2nd Workshop on Neural Machine Translation and Generation. Melbourne:[s.n.],2017:45-54.

    [15]GAO Shen, CHEN Xiuying, LI Piji, et al. Abstractive text summarization by incorporating reader comments[EB/OL]. https://arxiv.org/pdf/1812.05407v1.pdf, 2018-12-13.

    [16]GAO Shen, CHEN Xiuying, LI Piji,et al. Product-aware answer generation in e-commerce question-answering[C]//Proceedings of the 12th ACM International Conference on Web Search and Data Mining.[S.l.]:[s.n.],2019:07696.

    [17]HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

    [18]LIN Junyang, SUN Xu, MA Shuming, et al. Global encoding for abstractive summarization[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics(Short Papers). Melbourne:[s.n.], 2018:163-169.

    [19]DAUPHIN Y N, FAN A, AULI M, et al. Language modeling with gated convolutional networks[C]//Proceedings of the 34th International Conference on Machine Learning. Sydney:[s.n.], 2017: 933-941.

    [20]BAHDANAU D, CHO K, BENGIO Y. Neural machine translation by jointly learning to align and translate[C]// Proceedings of International Conference on Learning Representations.San Diego:[s.n.], 2015:14090473V6.

    [21]KINGMA D P, BA J L. Adam: A method for stochastic optimization[C]//Proceedings of International Conference on Learning Representations.San Diego:[s.n.], 2015:1412.6980V9.

    [22]LIN C Y, HOVY E. Automatic evaluation of summaries using N-gram co-occurrence statistics[C]//Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology.Stroudsburg:[s.n.], 2003:71-78.第40卷第2期河北科技大學(xué)學(xué)報(bào)Vol.40,No.2

    2019年4月Journal of Hebei University of Science and TechnologyApr. 2019

    猜你喜歡
    注意力機(jī)制自然語言處理
    基于深度學(xué)習(xí)的問題回答技術(shù)研究
    基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
    基于注意力機(jī)制的雙向LSTM模型在中文商品評論情感分類中的研究
    InsunKBQA:一個基于知識庫的問答系統(tǒng)
    基于組合分類算法的源代碼注釋質(zhì)量評估方法
    面向機(jī)器人導(dǎo)航的漢語路徑自然語言組塊分析方法研究
    漢哈機(jī)器翻譯中的文字轉(zhuǎn)換技術(shù)研究
    HowNet在自然語言處理領(lǐng)域的研究現(xiàn)狀與分析
    亚洲中文字幕一区二区三区有码在线看| 内地一区二区视频在线| 亚洲18禁久久av| 只有这里有精品99| 看免费成人av毛片| 日本在线视频免费播放| 亚洲五月天丁香| 嫩草影院精品99| 又粗又硬又长又爽又黄的视频 | 3wmmmm亚洲av在线观看| 免费观看在线日韩| 国产激情偷乱视频一区二区| 成年免费大片在线观看| 免费搜索国产男女视频| 国产亚洲91精品色在线| 国产成人91sexporn| 午夜福利在线在线| 不卡一级毛片| 日本熟妇午夜| 国产精品99久久久久久久久| 国产美女午夜福利| 精品久久国产蜜桃| 国产私拍福利视频在线观看| 亚洲国产精品sss在线观看| av.在线天堂| 久久久久久久久久久免费av| 亚洲色图av天堂| 国产午夜精品论理片| 精品久久久噜噜| 中文在线观看免费www的网站| 日本撒尿小便嘘嘘汇集6| 一边摸一边抽搐一进一小说| 99国产精品一区二区蜜桃av| 久久久久久国产a免费观看| 美女黄网站色视频| 国产精品av视频在线免费观看| 中文欧美无线码| 国产成人精品久久久久久| 国产毛片a区久久久久| 久久久久免费精品人妻一区二区| 国产探花在线观看一区二区| 老司机福利观看| 秋霞在线观看毛片| 一级黄片播放器| 亚洲最大成人手机在线| 少妇裸体淫交视频免费看高清| 长腿黑丝高跟| 亚洲综合色惰| 菩萨蛮人人尽说江南好唐韦庄 | 中国美白少妇内射xxxbb| 午夜视频国产福利| 亚洲不卡免费看| 别揉我奶头 嗯啊视频| 国产久久久一区二区三区| 婷婷色av中文字幕| 嘟嘟电影网在线观看| 国产单亲对白刺激| 久久久国产成人精品二区| 欧美高清性xxxxhd video| 成熟少妇高潮喷水视频| 国产久久久一区二区三区| 又黄又爽又刺激的免费视频.| 国产综合懂色| 别揉我奶头 嗯啊视频| 中文字幕人妻熟人妻熟丝袜美| 亚洲第一电影网av| 日本一本二区三区精品| 啦啦啦韩国在线观看视频| 国产色婷婷99| 国产精品永久免费网站| 久久精品国产亚洲av天美| 亚洲人成网站在线播| 成年免费大片在线观看| 欧美成人精品欧美一级黄| 久久精品国产鲁丝片午夜精品| 一卡2卡三卡四卡精品乱码亚洲| 国产精品永久免费网站| 中文字幕久久专区| 小蜜桃在线观看免费完整版高清| 成人永久免费在线观看视频| 天天一区二区日本电影三级| 欧美高清成人免费视频www| 中文字幕av在线有码专区| 久久久久久久久中文| 麻豆一二三区av精品| 色综合色国产| 久久鲁丝午夜福利片| 亚洲经典国产精华液单| 国产成人freesex在线| 国产精品.久久久| 亚洲国产高清在线一区二区三| 亚洲成人久久性| 麻豆久久精品国产亚洲av| 国产极品精品免费视频能看的| 中文亚洲av片在线观看爽| 不卡一级毛片| 男人舔奶头视频| 日韩中字成人| 菩萨蛮人人尽说江南好唐韦庄 | 少妇的逼水好多| 欧美日韩国产亚洲二区| 人妻制服诱惑在线中文字幕| 看十八女毛片水多多多| 波野结衣二区三区在线| 免费观看在线日韩| 亚洲成人精品中文字幕电影| 在线观看一区二区三区| 91麻豆精品激情在线观看国产| 我的女老师完整版在线观看| 九草在线视频观看| 国产亚洲精品久久久久久毛片| 国产爱豆传媒在线观看| 2021天堂中文幕一二区在线观| 少妇丰满av| 少妇丰满av| 99久久中文字幕三级久久日本| 久久久久久大精品| 国内揄拍国产精品人妻在线| 91av网一区二区| 婷婷六月久久综合丁香| 国产av不卡久久| 中文字幕熟女人妻在线| 一区二区三区四区激情视频 | 午夜免费男女啪啪视频观看| 99久久精品一区二区三区| 国产午夜精品论理片| 成人亚洲欧美一区二区av| 夜夜看夜夜爽夜夜摸| av天堂中文字幕网| 日本免费一区二区三区高清不卡| 亚洲激情五月婷婷啪啪| 欧美日韩精品成人综合77777| 高清日韩中文字幕在线| 国产黄a三级三级三级人| 男女边吃奶边做爰视频| 亚州av有码| 一边亲一边摸免费视频| 综合色丁香网| 少妇猛男粗大的猛烈进出视频 | 国产精品一二三区在线看| 桃色一区二区三区在线观看| 国产精品蜜桃在线观看 | 婷婷亚洲欧美| 免费无遮挡裸体视频| 悠悠久久av| 国产午夜精品久久久久久一区二区三区| 男女做爰动态图高潮gif福利片| 国产精品人妻久久久影院| 久久久久久大精品| 亚洲无线在线观看| 成人午夜高清在线视频| 久久国内精品自在自线图片| 乱系列少妇在线播放| 免费黄网站久久成人精品| 亚洲在线观看片| 搞女人的毛片| 欧美日韩一区二区视频在线观看视频在线 | 男人舔奶头视频| 久久亚洲精品不卡| 有码 亚洲区| 一个人观看的视频www高清免费观看| 午夜精品在线福利| 欧美色欧美亚洲另类二区| 国产久久久一区二区三区| 日韩一区二区视频免费看| 久久久久久久久久久免费av| 久久久久久九九精品二区国产| 欧美+亚洲+日韩+国产| 国内揄拍国产精品人妻在线| 综合色av麻豆| av视频在线观看入口| 久久午夜亚洲精品久久| 夜夜夜夜夜久久久久| 欧美高清性xxxxhd video| 国产av麻豆久久久久久久| 一个人看的www免费观看视频| 大型黄色视频在线免费观看| www日本黄色视频网| 亚洲内射少妇av| 欧美在线一区亚洲| 国产精品美女特级片免费视频播放器| 91精品国产九色| 波多野结衣巨乳人妻| 久久久久国产网址| 22中文网久久字幕| av国产免费在线观看| 久久中文看片网| a级毛片a级免费在线| 日韩欧美精品免费久久| 亚洲一区高清亚洲精品| 99精品在免费线老司机午夜| 亚洲在久久综合| 男女啪啪激烈高潮av片| 久久精品国产亚洲av香蕉五月| 偷拍熟女少妇极品色| 欧美色视频一区免费| 欧美另类亚洲清纯唯美| 亚洲人成网站在线观看播放| 欧美+日韩+精品| 麻豆久久精品国产亚洲av| eeuss影院久久| 男女边吃奶边做爰视频| av卡一久久| 久久久国产成人精品二区| 可以在线观看毛片的网站| 国产精品一区二区在线观看99 | 性插视频无遮挡在线免费观看| 亚洲成a人片在线一区二区| 国产v大片淫在线免费观看| 男人和女人高潮做爰伦理| 亚洲av不卡在线观看| 欧美变态另类bdsm刘玥| 欧美最新免费一区二区三区| 亚洲真实伦在线观看| av免费在线看不卡| 观看美女的网站| 一本一本综合久久| 国产v大片淫在线免费观看| av在线老鸭窝| 在线国产一区二区在线| 亚洲人成网站在线播放欧美日韩| 国产一区二区三区av在线 | 国产在视频线在精品| 亚洲精华国产精华液的使用体验 | 在线观看美女被高潮喷水网站| 99久久精品国产国产毛片| 国产精品伦人一区二区| 日韩大尺度精品在线看网址| 国产毛片a区久久久久| 免费看a级黄色片| 黑人高潮一二区| 91久久精品国产一区二区成人| 午夜激情福利司机影院| 中文字幕人妻熟人妻熟丝袜美| 伊人久久精品亚洲午夜| 欧美日本亚洲视频在线播放| 国产一区二区在线av高清观看| 国内精品宾馆在线| 久久精品国产鲁丝片午夜精品| 亚洲无线观看免费| 永久网站在线| 一区福利在线观看| 超碰av人人做人人爽久久| 久久午夜亚洲精品久久| 老师上课跳d突然被开到最大视频| 精品久久久久久久人妻蜜臀av| 亚洲电影在线观看av| 免费av毛片视频| 日日摸夜夜添夜夜爱| 特大巨黑吊av在线直播| 人人妻人人看人人澡| 亚洲中文字幕一区二区三区有码在线看| 少妇丰满av| 狠狠狠狠99中文字幕| 亚洲成a人片在线一区二区| 国产亚洲精品av在线| 1000部很黄的大片| 亚州av有码| 一本久久中文字幕| 国产91av在线免费观看| 免费看光身美女| 国产三级中文精品| 床上黄色一级片| 麻豆国产av国片精品| 男女那种视频在线观看| 免费av不卡在线播放| 特级一级黄色大片| 一个人看的www免费观看视频| 搡女人真爽免费视频火全软件| 国产高清有码在线观看视频| 国产日本99.免费观看| 日韩一区二区视频免费看| av在线蜜桃| 亚洲国产欧美在线一区| 国产亚洲精品久久久com| 精品久久久久久成人av| 亚洲最大成人中文| 26uuu在线亚洲综合色| 亚洲av一区综合| 国产精品蜜桃在线观看 | 自拍偷自拍亚洲精品老妇| 嫩草影院精品99| 99热全是精品| 国产精品野战在线观看| 欧美一区二区精品小视频在线| 日韩三级伦理在线观看| 亚洲va在线va天堂va国产| 国产 一区 欧美 日韩| 伦理电影大哥的女人| 国产不卡一卡二| 欧美性感艳星| 欧美3d第一页| 久久久久久久久久久丰满| 小蜜桃在线观看免费完整版高清| 一级毛片我不卡| 看黄色毛片网站| 国产一级毛片七仙女欲春2| 国产一区二区在线观看日韩| 嫩草影院精品99| 久久精品夜色国产| 精品久久久噜噜| 寂寞人妻少妇视频99o| 美女国产视频在线观看| 日日摸夜夜添夜夜爱| 成人二区视频| 国产伦在线观看视频一区| 12—13女人毛片做爰片一| 欧美潮喷喷水| 色视频www国产| 日韩大尺度精品在线看网址| 亚洲中文字幕一区二区三区有码在线看| 菩萨蛮人人尽说江南好唐韦庄 | 亚洲激情五月婷婷啪啪| 丰满人妻一区二区三区视频av| 成人无遮挡网站| 日本三级黄在线观看| 国产精品1区2区在线观看.| 久久精品夜夜夜夜夜久久蜜豆| 岛国在线免费视频观看| 可以在线观看的亚洲视频| 亚洲av成人精品一区久久| 国产精品久久久久久久电影| 成人国产麻豆网| 国产成人a∨麻豆精品| 欧美高清性xxxxhd video| 网址你懂的国产日韩在线| 亚洲欧美日韩无卡精品| 深爱激情五月婷婷| 女人被狂操c到高潮| 国产免费男女视频| 久久久成人免费电影| 精品欧美国产一区二区三| 国产 一区 欧美 日韩| 色哟哟哟哟哟哟| 亚洲av中文av极速乱| 成人特级av手机在线观看| 男人的好看免费观看在线视频| 男女那种视频在线观看| 精品一区二区三区人妻视频| 亚洲内射少妇av| 国产美女午夜福利| 成人午夜精彩视频在线观看| 91午夜精品亚洲一区二区三区| 综合色av麻豆| 久久久国产成人精品二区| 大香蕉久久网| 久久久久久久久大av| 日本欧美国产在线视频| 午夜精品一区二区三区免费看| 国产午夜福利久久久久久| 久久精品影院6| 中文字幕精品亚洲无线码一区| 尾随美女入室| 日本色播在线视频| 日韩高清综合在线| 免费一级毛片在线播放高清视频| 亚洲激情五月婷婷啪啪| 丰满乱子伦码专区| 内地一区二区视频在线| 亚洲中文字幕日韩| 欧美性猛交黑人性爽| 中文字幕制服av| 欧美日韩综合久久久久久| 国产精品日韩av在线免费观看| 国产日本99.免费观看| 婷婷亚洲欧美| 国产成年人精品一区二区| 人妻少妇偷人精品九色| 国产伦在线观看视频一区| 久久99热这里只有精品18| 国产精华一区二区三区| 一级毛片aaaaaa免费看小| av在线观看视频网站免费| 天天躁日日操中文字幕| 中文字幕久久专区| 只有这里有精品99| 色播亚洲综合网| av在线老鸭窝| 久久99精品国语久久久| 卡戴珊不雅视频在线播放| 亚洲丝袜综合中文字幕| 日产精品乱码卡一卡2卡三| 色播亚洲综合网| 午夜久久久久精精品| 日韩欧美 国产精品| 精品免费久久久久久久清纯| 99久久人妻综合| 悠悠久久av| 搡老妇女老女人老熟妇| 亚洲第一电影网av| 日韩av不卡免费在线播放| 嫩草影院新地址| 黄色欧美视频在线观看| 人人妻人人澡欧美一区二区| 国产精品久久视频播放| a级一级毛片免费在线观看| 国产真实伦视频高清在线观看| 亚洲国产精品成人综合色| 国产又黄又爽又无遮挡在线| 神马国产精品三级电影在线观看| 欧美日韩乱码在线| 国内久久婷婷六月综合欲色啪| 亚洲成人久久性| 久久6这里有精品| 美女被艹到高潮喷水动态| 欧美日韩在线观看h| 中国美女看黄片| kizo精华| 精品一区二区免费观看| 国产麻豆成人av免费视频| 国产黄片美女视频| 少妇的逼好多水| 人妻久久中文字幕网| 欧美三级亚洲精品| 国产一区二区三区在线臀色熟女| 日本在线视频免费播放| 久久久久久九九精品二区国产| 黄色视频,在线免费观看| 国产精品永久免费网站| 国产精品综合久久久久久久免费| 丝袜美腿在线中文| 国产日韩欧美在线精品| 欧美+亚洲+日韩+国产| 日日干狠狠操夜夜爽| 国内精品久久久久精免费| 深夜a级毛片| 插阴视频在线观看视频| 午夜免费男女啪啪视频观看| 最新中文字幕久久久久| 简卡轻食公司| 国产精品电影一区二区三区| 日本色播在线视频| 精品熟女少妇av免费看| 国产精品日韩av在线免费观看| 国产乱人偷精品视频| 蜜臀久久99精品久久宅男| 欧美xxxx黑人xx丫x性爽| 亚洲人成网站高清观看| 精品熟女少妇av免费看| 午夜a级毛片| 精华霜和精华液先用哪个| 久久欧美精品欧美久久欧美| 欧美激情在线99| 九草在线视频观看| 99久久精品国产国产毛片| 亚洲欧美日韩高清专用| 一本精品99久久精品77| 亚洲精品亚洲一区二区| 久久久精品94久久精品| 最后的刺客免费高清国语| 97超碰精品成人国产| 在线观看av片永久免费下载| 日日干狠狠操夜夜爽| 如何舔出高潮| 日韩,欧美,国产一区二区三区 | 亚洲精品456在线播放app| 久久这里有精品视频免费| 男女啪啪激烈高潮av片| 男女视频在线观看网站免费| 麻豆av噜噜一区二区三区| 啦啦啦韩国在线观看视频| 男人舔女人下体高潮全视频| 欧美高清成人免费视频www| 色5月婷婷丁香| 精品一区二区三区人妻视频| 狠狠狠狠99中文字幕| 精品久久久久久久久久久久久| 日本与韩国留学比较| 亚洲av第一区精品v没综合| 精品久久久噜噜| 波多野结衣高清无吗| 亚洲欧洲日产国产| 别揉我奶头 嗯啊视频| 免费无遮挡裸体视频| 免费大片18禁| 美女被艹到高潮喷水动态| 午夜福利高清视频| 一本久久精品| 白带黄色成豆腐渣| 最近视频中文字幕2019在线8| 久久人人爽人人片av| 日韩欧美 国产精品| 中国美女看黄片| 亚洲在久久综合| 我的女老师完整版在线观看| 人妻久久中文字幕网| 亚洲精品乱码久久久久久按摩| 一夜夜www| 国产在线男女| 欧美日韩精品成人综合77777| 狂野欧美白嫩少妇大欣赏| 欧美+日韩+精品| 男女边吃奶边做爰视频| 嘟嘟电影网在线观看| 成人毛片60女人毛片免费| 舔av片在线| 国产亚洲欧美98| 一进一出抽搐gif免费好疼| 搡老妇女老女人老熟妇| 麻豆一二三区av精品| 人人妻人人澡欧美一区二区| 99在线视频只有这里精品首页| 精品久久久久久久人妻蜜臀av| 欧美变态另类bdsm刘玥| 日韩一本色道免费dvd| 两个人视频免费观看高清| 亚洲精华国产精华液的使用体验 | 18禁裸乳无遮挡免费网站照片| 国产综合懂色| 看片在线看免费视频| 国产精品,欧美在线| 三级毛片av免费| av在线蜜桃| 日本免费a在线| 亚洲精华国产精华液的使用体验 | 久久九九热精品免费| 国产伦精品一区二区三区四那| 国产精品国产三级国产av玫瑰| 国产伦一二天堂av在线观看| 亚洲一级一片aⅴ在线观看| 最近2019中文字幕mv第一页| 国产亚洲精品久久久久久毛片| 久久久久久国产a免费观看| 久久人妻av系列| 寂寞人妻少妇视频99o| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 99热这里只有是精品50| 91av网一区二区| 国产精华一区二区三区| 国产成人一区二区在线| 久久精品久久久久久噜噜老黄 | 国产成人精品婷婷| 久99久视频精品免费| 小蜜桃在线观看免费完整版高清| 亚洲综合色惰| 亚洲欧美精品综合久久99| 亚洲电影在线观看av| 国产精品久久久久久av不卡| 一级毛片aaaaaa免费看小| 国产成人91sexporn| 老司机影院成人| 欧美一级a爱片免费观看看| 草草在线视频免费看| 日本一二三区视频观看| 婷婷亚洲欧美| 亚洲自偷自拍三级| 国内久久婷婷六月综合欲色啪| 国产精品一区二区性色av| 狂野欧美激情性xxxx在线观看| 久久人妻av系列| 久久热精品热| 一本久久中文字幕| 日日摸夜夜添夜夜添av毛片| 国产私拍福利视频在线观看| 亚洲成人久久爱视频| 全区人妻精品视频| 听说在线观看完整版免费高清| 国产成人午夜福利电影在线观看| 亚洲精品乱码久久久久久按摩| 丰满乱子伦码专区| 免费一级毛片在线播放高清视频| 18禁黄网站禁片免费观看直播| 99热这里只有是精品在线观看| 免费av不卡在线播放| 两个人视频免费观看高清| 成人欧美大片| 天堂√8在线中文| 久久这里有精品视频免费| 麻豆国产97在线/欧美| 欧美潮喷喷水| 狂野欧美激情性xxxx在线观看| 波多野结衣巨乳人妻| 嫩草影院精品99| 久久久久久久久中文| or卡值多少钱| 国产午夜精品论理片| 超碰av人人做人人爽久久| av在线亚洲专区| 综合色丁香网| 国产毛片a区久久久久| 亚洲精品影视一区二区三区av| 成人综合一区亚洲| 国产av不卡久久| 国产成人a区在线观看| 国产免费一级a男人的天堂| 免费人成视频x8x8入口观看| 国产日韩欧美在线精品| 亚洲国产欧美在线一区| 免费看av在线观看网站| 久久人人精品亚洲av| 午夜老司机福利剧场| 欧美区成人在线视频| 一区二区三区四区激情视频 | 欧美bdsm另类| 国模一区二区三区四区视频| 熟妇人妻久久中文字幕3abv| 日韩欧美三级三区| 亚洲av免费高清在线观看| 亚洲成人久久性| 亚洲av免费高清在线观看| 成人高潮视频无遮挡免费网站| av视频在线观看入口| 国产精品不卡视频一区二区| 噜噜噜噜噜久久久久久91| 亚洲在线观看片| 国产精品三级大全| 中文字幕人妻熟人妻熟丝袜美| 五月伊人婷婷丁香| 色视频www国产| 3wmmmm亚洲av在线观看| 99在线视频只有这里精品首页| 日本免费一区二区三区高清不卡| 偷拍熟女少妇极品色| 国产精品.久久久| 午夜老司机福利剧场|