一種基于CNN與雙向LSTM融合的文本情感分類方法

張翠　周茂杰

摘? 要： 現(xiàn)在文本情感分類普遍采用深度學(xué)習(xí)的方法。卷積神經(jīng)網(wǎng)絡(luò)可以較好地提取局部特征，但是缺少對上下文的理解。長短記憶網(wǎng)絡(luò)可以有效記憶較長距離的信息，有較強的全局性。為實現(xiàn)全局特征與局部特征的有效融合，研究了一種融合兩種特征的深度學(xué)習(xí)方法，構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)模型。利用互聯(lián)網(wǎng)中獲取的文本作為訓(xùn)練語料及測試語料，在百度開源平臺PaddlePaddle上進行實驗。實驗結(jié)果顯示，該算法與傳統(tǒng)CNN和LSTM模型算法相比，識別的準(zhǔn)確率分別提高了2.65和1.87個百分點，說明該模型算法在文本情感分類的性能上有所提高。

關(guān)鍵詞： 卷積神經(jīng)網(wǎng)絡(luò); 雙向長短記憶網(wǎng)絡(luò); 融合; 情感分類

中圖分類號：TP311? ? ? ? ? 文獻標(biāo)志碼：A? ? ?文章編號：1006-8228（2019）12-38-04

A text emotion classification method based on CNN and bidirectional LSTM fusion

Zhang Cui1， Zhou Maojie2

（1. BowenCollege of Management， Guilin University of Technology， Guilin， Guangxi 541006， China; 2. Guilin University of Technology）

Abstract： Nowadays， deep learning is widely used in text emotion classification. CNN （convolutional neural networks） can extract local features well， but it lacks the understanding of context. LSTM （long and short memory networks） can effectively memorize long-distance information and have a strong global character. In order to achieve the effective integration of global and local features， this paper studies a deep learning method with the fusion of the two， and constructs a deep learning network model. Using the text obtained from the Internet as training corpus and testing corpus， experiments are carried out on Baidu open source platform PaddlePaddle. The experiment results show that compared with the traditional CNN and LSTM models， the recognition accuracy of the proposed algorithm is improved by 2.65 and 1.87 percentage points respectively， which shows that the performance of this model in text emotion classification is improved.

Key words： convolutional neural networks; bidirectional long-short memory networks; fusion; emotion classification

0 引言

隨著互聯(lián)網(wǎng)的高速發(fā)展，自媒體時代已經(jīng)到來，人們可以隨時隨地發(fā)表觀點和評論，互聯(lián)網(wǎng)中的文本呈爆炸式增長。如何在網(wǎng)絡(luò)文本中挖掘有價值的信息，這是當(dāng)前一個重要的課題。網(wǎng)絡(luò)文本具有一定語義，同時帶有情感傾向，對于如何評價一類文本，人們更關(guān)心的是這條信息屬于正面還是負面，也就是情感極性，而不是具體的評論細節(jié)，只要了解評論的極性就實現(xiàn)了文本的價值，進而可以通過大量的評價數(shù)據(jù)做出正確的決策。由于網(wǎng)絡(luò)文本較多，我們很難通過人工分析來完成所有的文本情感分類。機器學(xué)習(xí)方法能自動完成文本的情感分析，為文本的情感分類提供了便利。

近年來，深度學(xué)習(xí)取得了較大的進展。深度學(xué)習(xí)首先是在圖像處理及音頻識別領(lǐng)域中取得了成功，一些學(xué)者將此方法推廣應(yīng)用到文本處理上，經(jīng)過多年的應(yīng)用實踐，證明深度學(xué)習(xí)方法用在文本處理上是可行的。與傳統(tǒng)的文本分類算法相比，深度學(xué)習(xí)算法能自動提取特征，加快處理速度，顯著提高分類效果。

深度學(xué)習(xí)的核心是利用多重非線性變換結(jié)構(gòu)對數(shù)據(jù)進行高階抽象，并最終完成數(shù)據(jù)特征識別的一種算法[1]。神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中重要的模型之一，經(jīng)過多年的發(fā)展，產(chǎn)生了多個變種，每種神經(jīng)網(wǎng)絡(luò)都有自己的優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)（CNN）利用卷積核進行移動計算，可以較好的提取局部特征[2-4]，但利用CNN進行文本識別，不能解決長文本的上下文依賴。

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）以序列形式輸入數(shù)據(jù)[5]，輸出數(shù)據(jù)要對當(dāng)前數(shù)據(jù)及前后數(shù)據(jù)都有所依賴，可以提取全局特征，LSTM（Long Short-Term Memory）是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，利用三門設(shè)計方法，解決了長期依賴導(dǎo)致的梯度消失和梯度爆炸問題[6]。

本文設(shè)計一種CNN與LSTM結(jié)合的深度學(xué)習(xí)模型，發(fā)揮CNN的局部特征提取優(yōu)勢，并且從全局上理解文本的情感特征。首先利用CNN提取局部特征，利用LSTM獲取上下文相關(guān)信息，然后將兩種特征信息的向量進行拼接，拼接后的特征向量作為文本的特征向量，將兩種神經(jīng)網(wǎng)絡(luò)有機結(jié)合，在文本情感識別上取得較好效果。

1 相關(guān)工作

情感分析的原理是通過對情感文本的分析，挖掘出文本所表達情感的極性和強烈程度。目前，情感分類主要是通過規(guī)則、情感詞典和機器學(xué)習(xí)兩種方法。近年來，機器學(xué)習(xí)方法取得了較大進步，情感分類的效果也大大改善。

機器學(xué)習(xí)方法中用得最多的是卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。Kalchbrenner等提出了利用CNN來進行自然語言處理[7]，提出了動態(tài)卷積神經(jīng)網(wǎng)絡(luò)（DCNN） 模型，適應(yīng)不同長度的文本，對不規(guī)則文本的處理效果較好;Kim在利用詞向量與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合實現(xiàn)了句子級的分類任務(wù)[8]。卷積神經(jīng)網(wǎng)絡(luò)在文本分類應(yīng)用中取得了較大的進步，但是它更關(guān)注局部特征，忽略了上下文的關(guān)系，文本的語義和情感都對上下文有較強的依賴作用，所以在文本的語義情感分類中，準(zhǔn)確率有一些影響。

循環(huán)神經(jīng)網(wǎng)絡(luò)以序列形式接受文本中的詞向量輸入，不但有當(dāng)前位置上的信息，而且有臨近位置的信息，可以有效地解決上下文依賴問題[9]。長短記憶網(wǎng)絡(luò)模型是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個子類，它在神經(jīng)網(wǎng)絡(luò)單元中加入三個門，可以避免長距離依賴產(chǎn)生的梯度消失問題，同時具有更強的記憶功能，對文本的識別能力更強。

2 情感模型研究

2.1 CNN模型

卷積神經(jīng)網(wǎng)絡(luò)利用卷積核與原始數(shù)據(jù)相乘，提取局部特征，因為在一個卷積神經(jīng)網(wǎng)絡(luò)中可以采用多個不同類型的卷積核，從而提取多個局部特征，因此具有較強的局部特征提取能力。因為相鄰的詞之間具有一定的修飾關(guān)系，并可以表達出情感傾向，所以本文在進行文本情感識別時，首先利用word2vec方法將文本構(gòu)造成向量集，在文本的向量集合中采用卷積運算，進行局部特征提取，經(jīng)過池化層后得到用于分類的輸出向量，最后利Softmax函數(shù)進行數(shù)據(jù)分類。

例如，句子分詞后得到n個詞，表示為：[S=w1，w2，…，wn]，其中wi表示句中第i個詞，向量化后可得[wi=Vwi]，其中[Vwi∈Rn*d]，表示S由組成n個詞構(gòu)成，每個詞轉(zhuǎn)化為d維向理，構(gòu)成了向量矩陣。

在分類時，把詞向量當(dāng)作獨立的個體，所以采用Fk=k*d維卷積核與向量矩陣進行卷積計算，分別表k個詞之間的局部聯(lián)系，特征提取如公式⑴所示。

⑴

Ci表示經(jīng)過一次卷積計算得到的局部特征值，f表示一個RELU函數(shù)，F(xiàn)k表示k*d維濾波器，b表示偏置值，經(jīng)過卷積核在矩陣上滑動計算一輪后得到完成的一個完整的局部特征向量C，記為：

⑵

為了降低向量維度，采用最大池化函數(shù)對C進行池化操作，。其中m為池化寬度。

⑶

di為卷積所提取特征，將所有的特征向量送到全連接層，最后的用Softmax激活函數(shù)的輸出層?？梢愿鶕?jù)輸出數(shù)據(jù)判斷出輸入詞向量的情感極性。

2.2 LSTM模型

1997年，Hochreiter首先提出了長短記憶網(wǎng)絡(luò)LSTM（Long Short-Term Memory）[7]，它是一種特殊循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），它可以有效解決RNN的梯度消失或梯度爆炸的問題，能夠?qū)W習(xí)到長期的依賴關(guān)系。與RNN相比，LSTM對神經(jīng)單元（Cell）的控制器進行了設(shè)計，能夠判斷信息是否有用，Cell控制單元如圖1所示。

在 LSTM模型中的控制單元由一個用于記錄狀態(tài)的記憶單元C和3控制數(shù)據(jù)流向的門（輸入門i、輸出門o和遺忘門f）組成。在時間節(jié)點t，數(shù)據(jù)進入控制單元后，通過計算，LSTM可以選擇記住或者遺忘某些信息，控制信息輸出，并將這些狀態(tài)信息傳遞到下一時刻t+1，各控制信息計算方法如式⑷至式⑻所示。

其中，ft表示t時間遺忘門信息，it表示t時刻輸入門信息，ot表示t時刻輸出門信息，用于控制信息的更新，達到信息增加和減少的目的，Ct表示對記憶單元的更新，表示遺忘多少信息以及當(dāng)前輸入信息哪些需要更新到當(dāng)前的記憶單元中。ht產(chǎn)生當(dāng)前的輸出結(jié)果，由輸出門決定哪些信息最終輸出。在以上公式中[σ]表示sigmoid函數(shù)，Wf、Wt、Wo，bf、bi、bo分別表示三個門的權(quán)重以及偏置值。

利用LSTM解決了對當(dāng)前詞的前文的依賴問題，但不能利用當(dāng)前詞之后的信息。一個詞的語義和情感不僅與之前的歷史信息有關(guān)，還與當(dāng)前詞之后的信息有著密切關(guān)系，所以本文利用采用雙向LSTM，一組詞向量分別作為正向和反向LSTM網(wǎng)絡(luò)的輸入，兩個LSTM的輸出合并之后，采用Softmax函數(shù)進行分類。如圖2所示。

2.3 CNN與LSTM融合模型

為了更好的利用文本的局部信息和全局信息，將兩種特征融合在一起，作為文本情感識別的判別依據(jù)。系統(tǒng)模型采用分層結(jié)構(gòu)，第一層為已經(jīng)進行了預(yù)處理的詞向量，可以直接在系統(tǒng)中使用，第二層中包括一個CNN神經(jīng)網(wǎng)絡(luò)和一個LSTM網(wǎng)絡(luò)。第三層為特征融合層，先對兩個輸出值拼接，接到一個全連接層上。第四層為輸出層，采用softmax函數(shù)計算出文本的情感詞性。CNN與LSTM融合模型如圖3所示。

3 實驗分析

本文采用百度paddlepaddle開源實平臺及并利用AIStudio提供的計算資源進行實驗，所配置的環(huán)境是雙核CPU和8G內(nèi)存。

實驗數(shù)據(jù)集采用網(wǎng)絡(luò)中獲取的文本資料，一共10000條，包括：政治、經(jīng)濟、文學(xué)、體育、美食五個大類，每類數(shù)據(jù)2000條。

首先采用結(jié)巴分詞將這些語料進行分詞操作，然后采用word2vec轉(zhuǎn)化成詞向量，導(dǎo)入paddlepaddle系統(tǒng)模型中，對本文構(gòu)建的系統(tǒng)模型進行訓(xùn)練，并進行調(diào)參操作，通過固定參數(shù)的方法，取100維詞向量，滑動窗口大小比較2、3、4，滑動窗口數(shù)量分別取40、80、120，在學(xué)習(xí)率為0.01時效果最佳。實現(xiàn)結(jié)果如表1所示。

4 總結(jié)

本論文采用CNN與雙向LSTM結(jié)合的方法進行文本情感分類，結(jié)合到了CNN的局部特征提取能力及LSTM的上下文依賴能力，在PaddlePaddle開源平臺上進行實驗，利用Python語言實現(xiàn)此模型的構(gòu)建，利用同一數(shù)據(jù)集作為輸入，對本文設(shè)計的模型與CNN模型，以及LSTM模型進行實驗，輸出文本情感識別的準(zhǔn)確率，比較識別效果，本文算法均有所提高。接下來的研究，可以增加LSTM網(wǎng)絡(luò)的堆疊層數(shù)及改變?nèi)诤戏绞?，增加注意力機制，以達到進一步提高情感識別效果的目的。

參考文獻（References）：

[1] Qi Fang，Heng Li，et al.A deep learning-based method for detecting non-certified work onconstruction sites [J].Advanced Engineering Informatics 35 （2018） 56–68

[2] LIU C Y，SUN W B，CHAO W H，et al.Convolution neural network for relation extraction[C]// International Conference on Advanced Data Mining and Applications. 2013.

[3] ZENG D J，LIU K，CHEN Y B，et al. Distant supervision for relation extraction via piecewise convolutional neural networks[C]// The 2015 Conference on Empirical Methods in Natural Language Processing. 2015.

[4] KALCHBRENNER N，GREFENSTETTE E，BLUNSOM P. A convolutional neural network for modelling sentences [J/OL] arXiv preprint，2014，2014：arXiv：1404.2188[2014-04-08].https： //arxiv.org /abs /1404.2188.

[5] EBRAHIMI J，DOU D. Chain based RNN for relation classification. [EB/OL].[2014-09-03]. http//www.aclweb.org/anthology/N/N15/N15-1133.pdf.

[6] HOCHREITER S，SCHMIDHUBER J. Long short-term memory[J].Neural Computation，1997，9（8）：1735 -1780

[7] KIM Y. Convolutional neural networks for sentence classification[EB/OL].[2014-09-03]. http：//emnlp2014.org/papers/pdf/EMN-LP2014181.pdf.

[8] ZHANG S， ZHENG D Q， HU X C， et al. bidirectional long short-term memory networks for relation classification[C]// PACLIC. 2015.

[9] CHO K， van MERRIENBOER B， CULCEHRE C，et al. Learning phrase representions using RNN encoder decoder for statistical machine translation[EB/OL].[2014-09-03].http：//www.aclweb.org/antology/D/d14/d14-1179.pdf.