基于時間遞歸序列模型的短文本語義簡化

藺偉斌 楊世瀚

摘 要：針對傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法無法處理梯度消失和梯度爆炸等問題，基于循環(huán)神經(jīng)網(wǎng)絡(luò)建立LSTM模型和seq2seq模型，提出時間遞歸序列模型TRSM，處理序列中間隔和延遲相對較長的輸入，使用BPTT反向傳播算法對中文微博語料庫進行訓(xùn)練。建立三組不同的實驗作為對比，實驗結(jié)果表明，TRSM模型處理后的微博文本更加簡潔精煉，更適合文本語義的提取，大大減少了計算量，文字縮減率達到60%以上，語義保持率達到1.8，簡化了用戶要處理的大量信息，處理后的結(jié)果能夠更好地用于幾個關(guān)鍵中文語義的處理任務(wù)。

關(guān)鍵詞：短文本信息;文本簡化;LSTM模型;TRSM模型;BPTT反向傳播算法;循環(huán)神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP391 文獻標(biāo)識碼：A 文章編號：2095-1302（2019）05-00-06

0 引 言

隨著互聯(lián)網(wǎng)的高速發(fā)展，各種互聯(lián)網(wǎng)信息（如語音信息、圖片信息、文本信息等）也呈爆發(fā)式增長。人們每天都能接觸到大量多樣的信息，如來自新聞報導(dǎo)、博客、微博等各個渠道的文本信息。為了對這些海量信息進行快速、高效地分析與處理，使機器準(zhǔn)確理解這些信息，經(jīng)研究發(fā)現(xiàn)，基于高語義保持度的文本簡化就是一個可行的方法。所以文本簡化逐漸成為人們的重要需求之一，也是自然語言處理領(lǐng)域的熱點問題。

目前，文本簡化的研究方法大致可以分為抽取型和生成型兩種類型。自然語言處理領(lǐng)域的研究員用不同的方式從這兩種類型中做文本簡化。文獻[1]采用Hedge Trimmer句子壓縮技術(shù)對英文語句進行壓縮，劃分出原句的語法結(jié)構(gòu)，組織成語法樹，再應(yīng)用一定的語法規(guī)則修改語法樹的一些組成部分。由于其主要依賴語法規(guī)則實現(xiàn)語句簡化，可能會忽略原文的某些語義，因此壓縮后的句子可能會丟失原句中的一些重要信息。文獻[2]提出基于句法規(guī)則的新聞稿首句壓縮技術(shù)，其目的是實現(xiàn)新聞標(biāo)題的自動生成，采樣文本為新聞稿首句，依照句法規(guī)則進行壓縮，生成更為簡潔的新句子作為新聞標(biāo)題。由于缺少對語義的規(guī)則限制，因此會相對減少壓縮后新句中核心內(nèi)容的保留度。文獻[3]提出帶有LSTM（Long Short-Term Memory）單元的編碼-解碼器，循環(huán)神經(jīng)網(wǎng)絡(luò)模型用于提取新聞內(nèi)容生成標(biāo)題，根據(jù)神經(jīng)網(wǎng)絡(luò)計算關(guān)鍵單詞的權(quán)重，生成摘要時有利于提高核心內(nèi)容在語義上的保留度。文獻[4]提出指針生成網(wǎng)絡(luò)和覆蓋機制處理生成的詞語未出現(xiàn)在詞匯表中以及生成詞的重復(fù)問題，其自動生成文本摘要的方法可提高生成句子的語義流暢度，從而提高了對原文內(nèi)容的語義保留。綜上可知，在文本簡化中提高語義保持度成為了一個非常重要的研究課題。

本文針對語義保持度，提出時間遞歸序列模型（Time Recursive Sequence Model，TRSM），結(jié)合序列到序列（seq2seq）的框架以及基于循環(huán)神經(jīng)網(wǎng)絡(luò)長短時記憶模型（LSTM）的方法來處理短文本的語義簡化，能夠緩解訓(xùn)練中梯度消失和梯度爆炸的問題，同時又能處理序列中間隔和延遲相對較長的輸入。該方法采用循環(huán)神經(jīng)網(wǎng)絡(luò)中的LSTM，能夠?qū)W習(xí)長期依賴信息，通過刻意設(shè)計來處理長期依賴問題，從而可以更好地處理向量空間中距離過長的時間序列，并能夠?qū)Ω鐣r間位置的信息保留記憶。通過實驗可以發(fā)現(xiàn)，采用該模型能更準(zhǔn)確地對文本進行簡化。

1 相關(guān)工作

1.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的文本簡化

人工神經(jīng)網(wǎng)絡(luò)[5]技術(shù)起源于20世紀(jì)60年代，當(dāng)時被稱為感知機，包含輸入層、隱含層和輸出層。輸入層輸入的特征向量經(jīng)過隱含層變換到達輸出層，輸出層得到具有特征的分類結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)等都屬于人工神經(jīng)網(wǎng)絡(luò)的分支，其中循環(huán)神經(jīng)網(wǎng)絡(luò)與其他神經(jīng)網(wǎng)絡(luò)的主要區(qū)別是輸出不僅取決于這一時刻的輸入，同時還取決于上一時刻的輸出，如圖1所示。

其中，t表示時刻，xt是輸入層的值，U是輸入xt的權(quán)重，st是隱含層的值，W是上一時刻隱含層的輸出st-1的權(quán)重，V是隱含層的輸出st的權(quán)重，ot是t時刻輸出層的值，可用公式表示為：

循環(huán)神經(jīng)網(wǎng)絡(luò)在自然語言處理領(lǐng)域中應(yīng)用最廣、效果最好。如建立語言模型、新聞標(biāo)題生成、文本生成、文本簡化等。Tomas Mikolov[6]提出的基于RNN的語言模型主要根據(jù)循環(huán)神經(jīng)網(wǎng)絡(luò)處理上下文時沒有文本長度的限制，通過各層神經(jīng)元的循環(huán)連接，文本信息可在網(wǎng)絡(luò)中傳遞和學(xué)習(xí)更長的時間。李[3]在新聞標(biāo)題生成結(jié)合RNN的LSTM模型中引入注意力（Attention）機制，當(dāng)信息輸入至編碼器（Encoder）后，不再限制編碼器輸出的向量長度。

1.2 中文語義分析中的文本簡化

中文語義分析是自然語言處理領(lǐng)域的眾多任務(wù)之一。任何對中文的理解都可以認(rèn)為是屬于中文語義分析的范疇。一段文字通常由單詞、句子和段落組成，可進一步分解為詞匯層面的語義分析、句子層面的語義分析和文本層面的語義分析[7]。語義分析的目的是通過建立有效的語言模型和系統(tǒng)實現(xiàn)每個語言級別（包括詞、句子、章節(jié)等）的自動語義分析，得到并理解整個文本表達的真實語義。

文本簡化是中文語義分析的技術(shù)之一，用一段短文本作為輸入，經(jīng)過系統(tǒng)處理后，輸出為一小段文本，并且文本語義不變，相對于輸入來說文本更加簡潔精練，這個過程就叫做文本簡化。近年來，文本簡化在神經(jīng)網(wǎng)絡(luò)技術(shù)中的應(yīng)用越來越廣泛，其中使用最多的框架是seq2seq模型。seq2seq是一種編碼器-解碼器（Decoder）架構(gòu)，模型如圖2所示。

seq2seq模型中，編碼器將輸入的文本編碼為語義表達向量（對應(yīng)于圖2中第4個節(jié)點的隱含狀態(tài)），使用解碼器的語義向量輸入序列和表達式來生成目標(biāo)文本序列W-X-Y-Z-〈EOS〉?！碋OS〉表示序列的結(jié)尾（End of Sequence），符號表示輸入序列或輸出序列的結(jié)束[8]。解碼器接收到〈EOS〉符號后開始解碼過程，直到〈EOS〉符號形成標(biāo)記解碼過程結(jié)束。本文使用的編碼器框架是基于循環(huán)神經(jīng)網(wǎng)絡(luò)的LSTM模型，解碼器框架同樣也是LSTM模型。

序列模型是一個字符在逐一處理序列過程中，逐個編碼器接收一個輸入字符的編碼過程，解碼器輸出在解碼過程中逐個字符地產(chǎn)生。原始模型的訓(xùn)練過程中，解碼器每接收一個答案中的字符序列（如W），就預(yù)測下一個字符輸出（如X）。經(jīng)典的訓(xùn)練目標(biāo)編碼器-解碼器架構(gòu)在編碼器輸入中給出，解碼器的輸出能夠最大化擬合訓(xùn)練集概率模型中的答案，即最大化數(shù)據(jù)似然[9]。

2 基于RNN的長短時記憶模型

2.1 把單詞表示成詞向量（word2vec）

word2vec過程分為三步：數(shù)據(jù)預(yù)處理、分詞及訓(xùn)練詞向量。

由于計算機無法直接識別自然語言，因此要先把文本中的每個詞轉(zhuǎn)化成計算機可以識別的語言，即把單詞用詞向量表示。采用word2vec構(gòu)建中文詞向量時，word2vec的文本輸入是需要分詞的，故在PyCharm開發(fā)環(huán)境下使用jieba工具對文本進行分詞。

word2vec中常用的重要模型有CBOW連續(xù)詞袋模型和Skip-Gram模型，前者是已知上下文預(yù)測當(dāng)前時刻的詞，后者是已知當(dāng)前時刻的詞預(yù)測上下文。采用語料庫訓(xùn)練word2vec模型，得到每個詞的詞向量表示并保存。

2.2 建立RNN模型RNN模型如圖3所示。

由圖3可知，隱含層s當(dāng)前時刻的輸出經(jīng)過權(quán)重W之后又返回自身作為下一時刻隱含層的輸入。用公式表達為：。其展開模型如圖4所示。

在計算s0，即第一個單詞的隱含層狀態(tài)時，需要用到上一時刻的隱含狀態(tài)st-1，但是這個狀態(tài)不存在，實現(xiàn)時一般設(shè)為0向量。

各隱含層單元相連接，網(wǎng)絡(luò)在t時刻的輸出ot用公式表達為：

對RNN的訓(xùn)練與對傳統(tǒng)ANN訓(xùn)練相同，均使用相同的BP誤差反向傳播算法。而在梯度下降算法中，每個時刻的輸出不僅取決于當(dāng)前網(wǎng)絡(luò)，還取決于前幾個時刻的網(wǎng)絡(luò)狀態(tài)。例如，當(dāng)t=4時，還需要向后傳遞3個步驟，接下來的3個步驟需要添加各種梯度，這就是BPTT（Backpropagation Through Time）反向傳播算法。需要指出的是，在RNN訓(xùn)練中，BPTT不能解決長期依賴問題（即當(dāng)前輸出與之前的長序列有關(guān)），一般來說，不要超過10個步驟。當(dāng)然，有很多方法可以解決這個問題，如LSTM模型。因此，將LSTM模型添加到RNN中，以解決訓(xùn)練中出現(xiàn)梯度消失和梯度爆炸[10]的問題。

2.3 建立LSTM模型

LSTM模型對傳統(tǒng)RNN中的隱含層做了一些修改，在一個隱含單元中加入遺忘門（Forget Gate）、輸入門（Input Gate）、輸出門（Output Gate）和細(xì)胞狀態(tài)（Cell State），如圖5所示。

其中，σ是Sigmoid 函數(shù)，遺忘門控制上一時刻細(xì)胞狀態(tài)Ct-1傳遞到當(dāng)前時刻細(xì)胞狀態(tài)Ct的信息量，bf是前面所有時刻遺忘門的值，公式表示為：

輸入門控制當(dāng)前時刻產(chǎn)生的新信息C't加入到細(xì)胞狀態(tài)Ct的信息量，bi是前面所有時刻新信息的值，bC是前面所有時刻細(xì)胞狀態(tài)的值，公式表示為：

細(xì)胞狀態(tài)根據(jù)遺忘門和輸入門的輸出更新，即上一時刻細(xì)胞狀態(tài)通過遺忘門的輸出與輸入門的輸出（當(dāng)前時刻的新信息）C't相加，公式表示為：

輸出門控制當(dāng)前時刻已更新的細(xì)胞狀態(tài)傳遞的信息量，并得到當(dāng)前時刻隱含單元的輸出ht，公式表示為：

LSTM模型主要是增加了遺忘門機制。例如，當(dāng)有序列輸入到模型時，模型可選擇在較長時刻的信息中保留重要信息，選擇遺忘不重要信息，避免模型一直學(xué)習(xí)。

2.4 建立seq2seq模型

seq2seq模型主要由編碼器和解碼器組成，編碼器和解碼器都由基于循環(huán)神經(jīng)網(wǎng)絡(luò)的LSTM模型構(gòu)成，其模型如圖6所示。

圖6中，h1，h2，…，hn是編碼器在每個時刻的隱含層狀態(tài)，C是經(jīng)過編碼器編碼之后的原始語料文本向量，s1，s2，…，sn是解碼器在每個時刻的隱含層狀態(tài)。整個過程是把原始語料數(shù)據(jù)輸入到編碼器中進行編碼，得出編碼器中隱含層的狀態(tài)映射，即得出文本向量C，然后輸入到解碼器中進行解碼，經(jīng)過解碼器隱含層狀態(tài)計算后得到序列的輸出結(jié)果。

3 TRSM模型

TRSM模型是結(jié)合基于循環(huán)神經(jīng)網(wǎng)絡(luò)建立的LSTM模型和seq2seq模型提出的處理文本簡化的一種時間序列模型。結(jié)合基于LSTM模型的編碼器中細(xì)胞狀態(tài)Ct與基于LSTM模型解碼器中的輸出門ot，訓(xùn)練后得到TRSM模型的輸出。公式表示為：

建立好各結(jié)構(gòu)所需模型后，將各模型合并起來，建立TRSM模型。

TRSM模型的建立步驟為：

（1）得到可用的原始語料數(shù)據(jù)，即使用word2vec對原始語料文本進行向量化處理，得到詞向量的結(jié)果;

（2）將由步驟（1）得到的詞向量作為編碼器的輸入，聯(lián)合LSTM模型構(gòu)成編碼器，在編碼器中輸出隱含層狀態(tài)的映射，得到文本向量;

（3）采用LSTM模型構(gòu)成解碼器，將由步驟（2）得到的文本向量輸入到解碼器LSTM模型中，經(jīng)過隱含層狀態(tài)計算后得到輸出的文本結(jié)果。合并各模型后的框架如圖7所示。

TRSM模型的優(yōu)點主要體現(xiàn)在以下幾點：

（1）輸入。傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)模型框架的輸入只能是固定大小的詞向量輸入，本文提出的TRSM模型突破了固定大小輸入的問題。

（2）訓(xùn)練。傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時會出現(xiàn)梯度消失和梯度爆炸等問題，而本文LSTM模型很好地緩解了模型訓(xùn)練中產(chǎn)生的梯度消失和爆炸問題。

但是使用時聯(lián)合模型也會出現(xiàn)一些不足，如原始數(shù)據(jù)庫的大小對實驗結(jié)果的影響，訓(xùn)練時各參數(shù)的調(diào)試對實驗結(jié)果的影響等。

構(gòu)建網(wǎng)絡(luò)模型的訓(xùn)練算法是BPTT反向傳播算法，文獻[11-12]給出了該算法的詳細(xì)推導(dǎo)過程，訓(xùn)練的基本思想如下：

（1）正向計算得出每個神經(jīng)元的輸出值，即6個變量ft，it，C't，ot，ht，Ct。

（2）反向計算得出每個神經(jīng)元的誤差項值，分為兩個方向：一是網(wǎng)絡(luò)沿時間序列的反向傳播，二是誤差項向上一層傳播[13]。

前向細(xì)胞輸出：

后向細(xì)胞輸出：

（3）根據(jù)得出的相應(yīng)的誤差項值，計算得出每個權(quán)重的梯度。

在處理全部編碼器與解碼器過程中，使用梯度優(yōu)化算法以及最大似然條件概率對損失函數(shù)loss值進行模型訓(xùn)練與優(yōu)化：

4 實驗與分析

4.1 測試訓(xùn)練語料庫

本文選取NLPIR微博語料庫[14]，先抽取大約20萬條數(shù)據(jù)進行訓(xùn)練與實驗，同時抽取大約100萬條數(shù)據(jù)進行橫向?qū)Ρ葘嶒?。對兩組實驗原始語料數(shù)據(jù)作相同預(yù)處理。首先去掉正文插入時間，正文發(fā)布時間，轉(zhuǎn)發(fā)、來源、評論數(shù)目等對實驗無影響的因素，同時去掉無用的符號和停用詞;然后對過濾后的數(shù)據(jù)進行分詞;再把數(shù)據(jù)作為輸入代入word2vec模型中進行訓(xùn)練，得到每個詞的向量表示并輸出文件“vector.bin”，計算兩個詞向量之間的余弦值得出詞向量之間的余弦相似度。以輸入數(shù)據(jù)樣本作為樣例測試詞向量訓(xùn)練結(jié)果，選取余弦相似度值最靠前的2個作為樣本示例，實驗結(jié)果及余弦相似度比較見表1所列。

4.2 模型參數(shù)設(shè)置

本文采用PyCharm開發(fā)工具，在PyCharm中搭建并安裝TensorFlow深度學(xué)習(xí)工具以及數(shù)據(jù)處理需要用到的word2vec，jieba分詞等工具，調(diào)試各代碼塊功能。同時給模型中的可調(diào)參數(shù)賦初始值，見表2所列。

參數(shù)設(shè)置過程偽代碼如下：

1.batch_size=256#batch大小

2.num_epochs=200#訓(xùn)練循環(huán)次數(shù)

3.seq_length=20#訓(xùn)練步長

4.learning_rate=0.001#學(xué)習(xí)速率

5.embed_dim=512#embedding layer大小

4.3 實驗結(jié)果與分析

抽取訓(xùn)練語料庫（NLPIR微博語料庫）中微博正文長度在50個中文字左右的幾條微博作為樣本進行3組實驗，同時在模型中讀出loss值并打印，取第1條微博樣本作為對比實驗，3組實驗設(shè)置如下：

（1）原始參數(shù)值;

（2）訓(xùn)練循環(huán)次數(shù)為200～300，其他參數(shù)值不變;

（3）學(xué)習(xí)速率為0.001～0.01，其他參數(shù)值不變;

實驗結(jié)果分別見表3、表4所列。

通過以上實驗結(jié)果可得：

（1）第1組實驗中使用原始參數(shù)值，經(jīng)過模型處理后，輸出的語句通順程度一般，loss值大約為1.87。

（2）第2組實驗把原始參數(shù)值中的訓(xùn)練循環(huán)次數(shù)從200增加至300，經(jīng)過模型處理后，輸出的語句通順程度一般，loss值大約為1.83，相比表1的loss值下降了0.04。

（3）第3組實驗把原始參數(shù)值中的學(xué)習(xí)速率從0.001增加至0.01，經(jīng)過模型處理后，輸出的語句通順程度一般，loss值大約為1.76，相比表1的loss值下降了0.11。

（4）在橫向?qū)Ρ葘嶒炛?，?xùn)練數(shù)據(jù)量由20萬增至100萬，經(jīng)過模型處理后，輸出的語句通順程度較為優(yōu)化，調(diào)參后的各組實驗中l(wèi)oss值普遍下降，loss值平均下降0.05左右。

文字縮減率橫向?qū)Ρ葘嶒灲Y(jié)果如圖8所示，語義保持率橫向?qū)Ρ葘嶒灲Y(jié)果如圖9所示。

由圖8可知，3組實驗的文字縮減率分別為67.2%，72.5%，62.5%，文字縮減率都在60%以上，說明實驗?zāi)Ｐ驮谖谋竞喕男Ч斜容^顯著，文字縮減是實驗的前提，體現(xiàn)樣本簡化的程度，而語義保持是實驗的目的。由圖9可知，3組實驗的語義保持率由模型結(jié)果與正文相比較，大致可用實驗結(jié)果數(shù)據(jù)中的loss值體現(xiàn)，即3組樣本的語義保持程度分別為1.87，1.86，1.81，根據(jù)數(shù)據(jù)可以判斷實驗?zāi)Ｐ蛯φ暮喕蟮恼Z義保持程度一般，對比每組更改后的參數(shù)值，訓(xùn)練循環(huán)次數(shù)和學(xué)習(xí)速率都能夠提升loss值，其中增加訓(xùn)練循環(huán)次數(shù)，對loss值提升4%，增加學(xué)習(xí)速率對loss值提升11%，即增加學(xué)習(xí)速率對loss值的增大效果更為明顯，同時也提高了模型輸出結(jié)果的語義保持率。

橫向?qū)Ρ葘嶒炛?，擴大訓(xùn)練數(shù)據(jù)的規(guī)模至100萬，模型輸出的語句相比20萬訓(xùn)練數(shù)據(jù)量下的語句較為流暢。擴大訓(xùn)練數(shù)據(jù)規(guī)模的loss值如圖10所示，ID1，ID2，ID3在20萬訓(xùn)練數(shù)據(jù)量下loss值分別為1.87，1.86，1.81，在100萬訓(xùn)練數(shù)據(jù)量下loss值分別為1.81，1.80，1.76。由loss值分析可得，隨著訓(xùn)練數(shù)據(jù)量增加，loss值逐漸下降，3組實驗下loss值平均下降5%左右，從而表明擴大訓(xùn)練數(shù)據(jù)量，模型結(jié)果更加優(yōu)化。

綜上所述，采用TRSM模型的輸出結(jié)果已經(jīng)出現(xiàn)“結(jié)婚”“辛苦”“迅速”“祝福新人幸福”這樣的詞語和短句，說明該模型在微博正文簡化中是有效的。通過以上3組實驗結(jié)果以及橫向?qū)Ρ葘嶒?，可分析得出：調(diào)試模型參數(shù)值及擴大訓(xùn)練數(shù)據(jù)量能夠影響到模型的輸出結(jié)果;增加訓(xùn)練循環(huán)次數(shù)、增大學(xué)習(xí)速率值可減小loss值;但模型輸出的語句通順程度與loss值的下降程度不算可觀，除參數(shù)值這個影響因素外，還可能存在其他影響因素，如訓(xùn)練語料庫的數(shù)據(jù)量不夠大等。由此可見，TRSM模型在處理文本簡化方面具有可行性與可靠性，對于如何提高可靠性以及實驗結(jié)果，將成為今后需要進行的工作。

5 結(jié) 語

本文基于循環(huán)神經(jīng)網(wǎng)絡(luò)的LSTM模型與seq2seq模型的復(fù)合提出時間遞歸序列模型TRSM，緩解了訓(xùn)練中梯度消失與梯度爆炸的問題，同時又能處理序列中間隔與延遲相對較長的輸入。針對實驗所需微博語料數(shù)據(jù)，對用戶的微博內(nèi)容進行語義分析與簡化，測試、驗證語料庫的訓(xùn)練，通過對模型參數(shù)的調(diào)試，優(yōu)化訓(xùn)練算法與實驗結(jié)果，得到了文本簡化方面可行且可信的結(jié)果，為方便處理各種中文語義任務(wù)提供了高效的預(yù)處理機制，平均文字縮減率達到60%以上，語義保持度達到1.8左右。

未來的工作是繼續(xù)擴大訓(xùn)練的語料庫，增至500萬甚至1 000萬級別，并擴展數(shù)據(jù)長度，引入注意力機制等，進一步提高實驗的精度與可信度，并評估其對后續(xù)中文語義處理任務(wù)的優(yōu)化程度。

參 考 文 獻

[1]景秀麗.Hedge Trimmer句子壓縮技術(shù)的算法實現(xiàn)及改進[J].沈陽師范大學(xué)學(xué)報（自然科學(xué)版），2012，30（4）：519-524.

[2] DAVID B D，ZAJIC D.Hedge Trimmer： a parse and trim approach to headline generation[J]. Proceedings of the HLT-NAACL，2003（3）：1-8.

[3]李慧，陳紅倩.結(jié)合注意力機制的新聞標(biāo)題生成模型[J].山西大學(xué)學(xué)報（自然科學(xué)版），2017，40（4）：670-675.

[4]龐超.神經(jīng)網(wǎng)絡(luò)在新聞標(biāo)題生成中的研究[D]. 北京：北京交通大學(xué)，2018.

[5]朱大奇.人工神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀及其展望[J]. 江南大學(xué)學(xué)報（自然科學(xué)版），2004，3（1）：103-110.

[6] MIKOLOV T ，MARTIN KARAFI?T，BURGET L ，et al.Recurrent neural network based language model[C]// Interspeech，Conference of the International Speech Communication Association，Makuhari，Chiba，Japan，September. DBLP，2015.

[7]神州泰岳.人工智能中的語義分析技術(shù)及其應(yīng)用[J].軟件和集成電路，2017（4）：42-47.

[8] CHENG J P，LAPATA M.Neural summarization by extracting sentences and words[J].Computer science，2016（3）：484-494.

[9] HU B，CHEN Q，ZHU F. LCSTS： a large scale chinese short text summarization dataset[J].Computer science，2015（7）：2667-2671.

[10] PASCANU R，MIKOLOV T，BENGIO Y.On the difficulty of training recurrent neural networks[C]// International Conference on Machine Learning.JMLR.org，2013.

[11] CHELBA C，MIKOLOV T，SCHUSTER M.One billion word benchmark for measuring progress in statistical language models based on neural networks[J].Computer science，2013（12）：34-39.

[12] BODEN M.A Guide to recurrent neural networks and backpropagation[Z].2002.

[13] GRAVES A.Supervised sequence labelling with recurrent neural networks[Z].Studies in computational intelligence，2008.

[14] NLPIR微博語料庫.自然語言處理與信息檢索共享平臺[OL].http：//www.nlpir.org.