基于兩種LSTM結(jié)構(gòu)的文本情感分析

張玉環(huán)，錢 江

（1. 北京郵電大學(xué)理學(xué)院，北京 100876；2. 北京郵電大學(xué)理學(xué)院，北京 100876）

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，越來(lái)越多的用戶開始在網(wǎng)上發(fā)表自己的意見，這些意見包括了公民對(duì)公共事件的看法以及顧客對(duì)商品的評(píng)論等等。而制造商為了提高產(chǎn)品質(zhì)量，改善營(yíng)銷策略，就必須充分了解用戶對(duì)商品和相關(guān)服務(wù)的意見。同時(shí)在如今的電商時(shí)代，越來(lái)越多的人選擇在網(wǎng)上購(gòu)物，但是消費(fèi)者無(wú)法像在實(shí)體店一樣見到真實(shí)的商品，檢查商品的質(zhì)量，所以對(duì)制造商和消費(fèi)者來(lái)說(shuō)，商品的評(píng)論數(shù)據(jù)都是很重要的[1]。這些評(píng)論往往表達(dá)了作者或正向（褒）、或負(fù)向（貶）、或中立的觀點(diǎn)[2]。但是，同一商品的評(píng)論往往有很多，這使得用戶和商家無(wú)法迅速掌握有用的信息，而傳統(tǒng)的問卷調(diào)查顯然不能滿足市場(chǎng)競(jìng)爭(zhēng)的需要，因此針對(duì)文本的情感傾向性分析[3]就有著重要的研究意義。文本的情感傾向性分析，即針對(duì)每一條文本，實(shí)現(xiàn)正向、中性、負(fù)向的三分類，識(shí)別其情感傾向[2]。文本分類[4]常用的方法有：決策樹、樸素貝葉斯、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等等[5]。而關(guān)于文本的情感傾向性分類，本文采用了與神經(jīng)網(wǎng)絡(luò)相關(guān)的算法。

1 相關(guān)研究

傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)又被稱為前饋神經(jīng)網(wǎng)絡(luò)（Feed Forward Neural Networks，F(xiàn)NN）[6,7]，包含輸入層、隱藏層和輸出層，層與層之間是全連接的，隱藏層之間的節(jié)點(diǎn)是無(wú)連接的。這種模型在處理序列數(shù)據(jù)時(shí)只能利用當(dāng)前時(shí)刻的信息，無(wú)法利用歷史信息[6]。

Elman[8]在 1990年提出了循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN），其隱藏層之間的節(jié)點(diǎn)也是有連接的，所以隱藏層的輸入不僅包括當(dāng)前時(shí)刻輸入層的輸入還包括上一時(shí)刻隱藏層的輸出。理論上，RNN能夠?qū)θ魏伍L(zhǎng)度的序列數(shù)據(jù)進(jìn)行處理。但是在實(shí)踐中，當(dāng)相關(guān)信息和當(dāng)前預(yù)測(cè)位置之間的間隔不斷增大時(shí)，比如“雖然……但是……”，我們要預(yù)測(cè)后面的“但是”，最需要的信息是前面的“雖然”，可是由于間隔太遠(yuǎn)，RNN就會(huì)喪失學(xué)習(xí)遠(yuǎn)距離信息的能力。這是因?yàn)镽NN使用BPTT[9]反向傳播算法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化時(shí)，會(huì)產(chǎn)生梯度消失和梯度爆炸問題[6,10,11]。

1997年，Hochreiter & Schimidhuber[9]提出了長(zhǎng)短期記憶單元（Long Short-Term Memory，LSTM）用于改進(jìn)傳統(tǒng)的 RNN 模型。LSTM通過帶細(xì)胞的記憶單元來(lái)替代RNN隱藏層中的模塊，同時(shí)使用輸入門和輸出門來(lái)讓信息選擇式通過[6]。1999年，Gers等[12]在前面的基礎(chǔ)上又引入了遺忘門。這三個(gè)門和細(xì)胞狀態(tài)的設(shè)計(jì)，使得LSTM[7,13]可以記憶、更新長(zhǎng)距離的信息，從而可以實(shí)現(xiàn)對(duì)長(zhǎng)距離信息的處理。

2014年，Cho等[14]提出了LSTM的一種簡(jiǎn)化版本GRU（Gated Recurrent Unit）[13]。它只包含兩個(gè)門：更新門（update gate）和重置門（reset gate）[9]，移除了輸出門及隱層細(xì)胞狀態(tài)。Chung 等[15]通過多組對(duì)比實(shí)驗(yàn)表明，GRU雖然參數(shù)更少，但是在多個(gè)任務(wù)上都和LSTM有相近的表現(xiàn)[6]。

2 文本情感分析

2.1 文本情感分析流程

首先把一段中文文本進(jìn)行分詞，然后將其轉(zhuǎn)化成詞向量表示，最后將轉(zhuǎn)化成的向量表示傳入LSTM/GRU神經(jīng)網(wǎng)絡(luò)，最后輸出的是這段文本的困惑度也即其概率值。

具體的流程如下：

Ⅰ訓(xùn)練過程：首先對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行人工情感標(biāo)注，分為正向情感樣本、中性情感樣本和負(fù)向情感樣本；然后分別對(duì)其進(jìn)行分詞和詞向量化；最后將轉(zhuǎn)化成的向量表示分別傳入LSTM/GRU神經(jīng)網(wǎng)絡(luò)。根據(jù)正、中、負(fù)三種情感樣本分別訓(xùn)練出覆蓋正向情感樣本的LSTM/GRU模型、覆蓋中性情感樣本的LSTM/GRU模型、覆蓋負(fù)向情感樣本的LSTM/GRU模型，簡(jiǎn)稱為正向情感模型、中性情感模型、負(fù)向情感模型。

Ⅱ測(cè)試過程：首先同樣對(duì)測(cè)試數(shù)據(jù)進(jìn)行人工情感標(biāo)注，分為正向情感樣本、中性情感樣本和負(fù)向情感樣本；然后分別對(duì)其進(jìn)行分詞和詞向量化；不同的是最后將轉(zhuǎn)化成的向量表示分別傳入正向情感模型、中性情感模型、負(fù)向情感模型。通過每個(gè)模型，都會(huì)得到一個(gè)概率值，所以最后得到的是一個(gè)3*3的矩陣，對(duì)角線上的元素即是正向情感模型、中性情感模型、負(fù)向情感模型預(yù)測(cè)正確的概率。本文中，我們?nèi)∪叩钠骄鶖?shù)作為L(zhǎng)STM/GRU模型對(duì)文本情感分析的正確率。

2.2 偽梯度下降法

以往在模型的參數(shù)調(diào)整方面，主要采用的方法是網(wǎng)格取值和隨機(jī)取值，然而網(wǎng)格取值效率太低，隨機(jī)取值又有很大的不確定性，因此本文提出了一種偽梯度下降法，相較于網(wǎng)格取值，可以在較短的時(shí)間內(nèi)達(dá)到較好的正確率。步驟如下：

下面來(lái)著重說(shuō)一下我的這幅《樂園》的具體創(chuàng)作過程，主要包括構(gòu)圖、色彩、線條、肌理效果、展出方式。這幅作品的尺寸為100cm*200cm，采用的是毛氈材料拼貼的方式。

（1）隨機(jī)選擇3個(gè)初始點(diǎn) x0,x1,x2∈R3（點(diǎn)的每一維度表示一個(gè)參數(shù)），分別進(jìn)行訓(xùn)練過程和測(cè)試過程，得到LSTM/GRU模型對(duì)文本情感分析的正確率 y0, y1,y2∈R，比較三者的值，從最大值對(duì)應(yīng)的點(diǎn)出發(fā)。為方便表述，假設(shè) y0最大。

（2）確定方向d，由于從正確率最高的點(diǎn) x0到其他兩點(diǎn) x1,x2都是正確率下降的方向，所以取正確?率上升的方向?yàn)椋?/p>

（3）確定步長(zhǎng)α，步長(zhǎng)與正確率上升的程度成正比，正確率上升的越多，步長(zhǎng)越大。正確率上升程度的比值為 （y0- y1） :（y0- y2），對(duì)其取整，記為l1:l2，在進(jìn)一步進(jìn)行歸一化，則步長(zhǎng)公式為：

（4）計(jì)算下一個(gè)點(diǎn) x3∈ R3的坐標(biāo)，依據(jù)公式在進(jìn)行訓(xùn)練過程和測(cè)試過程，得到此時(shí)LSTM/GRU模型對(duì)文本情感分析的正確率y3∈R。

（5）返回步1，此時(shí)選擇的3個(gè)點(diǎn)為上一次使用的 x0，新求出的 x3，以及剩下的 x1和 x2中正確率較高的點(diǎn)。然后依照上面的步驟繼續(xù)進(jìn)行，直到某個(gè)新求出的點(diǎn)的正確率與網(wǎng)格取值的最優(yōu)正確率相接近為止。

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集來(lái)源于京東的商品評(píng)論，共39000條，整理后，對(duì)評(píng)論數(shù)據(jù)進(jìn)行人工情感標(biāo)注，其中，正向情感樣本、中性情感樣本、負(fù)向情感樣本各有13000條，從正、中、負(fù)情感樣本中各隨機(jī)取出10000條作為訓(xùn)練數(shù)據(jù)，剩下的3000條作為測(cè)試數(shù)據(jù)。

3.2 LSTM、GRU結(jié)果分析

在LSTM/GRU模型中，參數(shù)num_steps表示模型展開的步數(shù)（batch_size的取值與之相同），hidden_size表示隱藏層的規(guī)模，keep_prob表示在dropout層中保持權(quán)重的概率。LSTM實(shí)驗(yàn)結(jié)果見表1，GRU實(shí)驗(yàn)結(jié)果見表2。

表1 LSTM實(shí)驗(yàn)結(jié)果Tab.1 LSTM experimental result

表2 GRU實(shí)驗(yàn)結(jié)果Tab.2 GRU experimental result

從實(shí)驗(yàn)結(jié)果可以看出：LSTM模型和 GRU模型在中文文本情感分析方面都有不錯(cuò)的結(jié)果，二者均可用于中文文本的情感多分類，并且在參數(shù)取值相同的情況下，GRU模型的正確率相對(duì) LSTM要好一些。

3.3 偽梯度下降法結(jié)果分析

對(duì)參數(shù) num_steps、batch_size、hidden_size、keep_prob進(jìn)行離散取值，其中 num_steps與batch_size取值相同，各參數(shù)取值見表3。

每個(gè)參數(shù)有3種選擇，所以一共是3*3*3=27種可能，各種情況下LSTM、GRU模型的正確率見表4。

根據(jù)以上結(jié)果可以得出：當(dāng)num_steps與batch_size取10，hidden_size取200，keep_prob取 0.7時(shí)，LSTM模型達(dá)到最高的正確率，為 0.839；GRU模型此時(shí)也達(dá)到了最高的正確率，為0.847。

表3 模型中的參數(shù)值Tab.3 Parameter values in the model

3.3.2 偽梯度下降法

為了保證參數(shù)的合理性，對(duì)每個(gè)參數(shù)都預(yù)設(shè)最小最大值：num_steps取 10-100，hidden_size取100-1000，keep_prob取 0.1-1。而且在利用偽梯度下降法求解新參數(shù)的過程中，如果前兩個(gè)參數(shù)出現(xiàn)不是整數(shù)的情況時(shí)，則直接取整，并且一定不能出現(xiàn)負(fù)數(shù)，keep_prob如果出現(xiàn)負(fù)數(shù)，則直接取成0.1。

表4 LSTM、GRU模型的正確率Tab.4 Accuracy of the LSTM、GRU model

LSTM模型結(jié)果如下：

Step1: 初始取 A（10,200,1），B（20,400,0.5），C（40,100,0.7）三點(diǎn)，其正確率分別為 0.825，0.8288，0.7609,從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn)D的坐標(biāo)為（2,695,0.3），根據(jù)參數(shù)范圍，取成（10,695,0.3），得到此時(shí)模型的正確率為0.815。

Step2: 保留上一步中使用的B點(diǎn)，以及剩下的A，C兩點(diǎn)中正確率較高的A點(diǎn)，所以下一步選擇的三個(gè)點(diǎn)是A，B，D。從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn)E的坐標(biāo)為（30,204,0.56），此時(shí)模型的正確率為0.8107。

Step3: 保留上一步中使用的B點(diǎn)，以及剩下的A，D兩點(diǎn)中正確率較高的A點(diǎn)，所以下一步選擇的三個(gè)點(diǎn)是A，B，E。從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn) F的坐標(biāo)為（13,597,0.4），此時(shí)模型的正確率為0.826。

Step4: 保留上一步中使用的B點(diǎn)，以及剩下的A，E兩點(diǎn)中正確率較高的A點(diǎn)，所以下一步選擇的三個(gè)點(diǎn)是A，B，F(xiàn)。從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn)G的坐標(biāo)為（29,402,0.3），此時(shí)模型的正確率為0.796。

Step5: 保留上一步中使用的B點(diǎn)，以及剩下的A，F(xiàn)兩點(diǎn)中正確率較高的F點(diǎn)，所以下一步選擇的三個(gè)點(diǎn)是G，B，F(xiàn)。從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn)H的坐標(biāo)為（12,383,0.7），此時(shí)模型的正確率為0.848。

GRU模型結(jié)果如下：

Step1: 初始取 A（10,200,1），B（20,400,0.5），C（40,100,0.7）三點(diǎn)，其正確率分別為0.83，0.841，0.764，從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn)D的坐標(biāo)為（10,688,0.3），得到此時(shí)模型的正確率為0.821。

Step2: 保留上一步中使用的B點(diǎn)，以及剩下的A，C兩點(diǎn)中正確率較高的A點(diǎn)，所以下一步選擇的三個(gè)點(diǎn)是A，B，D。從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn) E的坐標(biāo)為（30,275,0.5），此時(shí)模型的正確率為0.818。

Step3: 保留上一步中使用的B點(diǎn)，以及剩下的A，D兩點(diǎn)中正確率較高的A點(diǎn)，所以下一步選擇的三個(gè)點(diǎn)是A，B，E。從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn) F的坐標(biāo)為（17,550,0.3），此時(shí)模型的正確率為0.834。

Step4: 保留上一步中使用的B點(diǎn)，以及剩下的A，E兩點(diǎn)中正確率較高的A點(diǎn)，所以下一步選擇的三個(gè)點(diǎn)是A，B，F(xiàn)。從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn)G的坐標(biāo)為（28,483,0.2），此時(shí)模型的正確率為0.723。

Step5:保留上一步中使用的 B點(diǎn)，以及剩下的A，F(xiàn)兩點(diǎn)中正確率較高的F點(diǎn)，所以下一步選擇的三個(gè)點(diǎn)是G，B，F(xiàn)。從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn)H的坐標(biāo)為（13,313,0.8），此時(shí)模型的正確率為0.839。

Step6: 保留上一步中使用的B點(diǎn)，以及剩下的G，F(xiàn)兩點(diǎn)中正確率較高的F點(diǎn)，所以下一步選擇的三個(gè)點(diǎn)是H，B，F(xiàn)。從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn)I的坐標(biāo)為（24,297,0.6），此時(shí)模型的正確率為0.791。

Step7: 保留上一步中使用的B點(diǎn)，以及剩下的H，F(xiàn)兩點(diǎn)中正確率較高的 H點(diǎn)，所以下一步選擇的三個(gè)點(diǎn)是I，B，H。從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn) J的坐標(biāo)為（16,502,0.4），此時(shí)模型的正確率為0.734。

Step8: 保留上一步中使用的B點(diǎn)，以及剩下的H，I兩點(diǎn)中正確率較高的H點(diǎn)，所以下一步選擇的三個(gè)點(diǎn)是J，B，H。從正確率最高的點(diǎn)B出發(fā)，求出下一個(gè)點(diǎn)K的坐標(biāo)為（24,301,0.6），此時(shí)模型的正確率為0.847。

由上述結(jié)果可以看出：使用偽梯度下降的方法后，選擇3個(gè)初始點(diǎn)，LSTM模型只需5步就得到了 0.848的正確率，比網(wǎng)格取值的最優(yōu)結(jié)果更好；而GRU模型也只用了8步就得到了和網(wǎng)格取值同樣的最優(yōu)結(jié)果0.847。這說(shuō)明偽梯度下降的方法確實(shí)在參數(shù)調(diào)整方面有很大的應(yīng)用價(jià)值。

4 總結(jié)

本文通過LSTM、GRU模型實(shí)現(xiàn)了中文文本情感的三分類，得出了各種參數(shù)情況下模型的正確率；同時(shí)在調(diào)整參數(shù)方面提出的偽梯度下降法也有很好的效果。

由于偽梯度下降法與初始點(diǎn)、方向、步長(zhǎng)的選擇有關(guān)，所以可以在本文的基礎(chǔ)上進(jìn)一步探討它們之間的關(guān)系，從而得到一種更好的調(diào)參方法。

[1] 魏晶晶, 吳曉吟. 電子商務(wù)產(chǎn)品評(píng)論多級(jí)情感分析的研究與實(shí)現(xiàn)[J]. 軟件, 2013, 34(9): 65-67.

[2] 王坤亮. 漢語(yǔ)情感傾向自動(dòng)分類方法的研究[J]. 軟件,2013, 34(11): 73-76.

[3] 姚天昉, 程希文, 徐飛玉, 等. 文本意見挖掘綜述[J]. 中文信息學(xué)報(bào), 2008, 22(3): 71-80.

[4] 鄭世卓, 崔曉燕. 基于半監(jiān)督LDA的文本分類應(yīng)用研究[J].軟件, 2014, 35(1): 46-48.

[5] 陳海紅. 多核SVM文本分類研究[J]. 軟件, 2015, 36(5):7-10.

[6] 胡新辰. 基于LSTM的語(yǔ)義關(guān)系分類研究[D], 哈爾濱: 哈爾濱工業(yè)大學(xué), 2015.

[7] Graves A. Supervised Sequence Labelling with Recurrent Neural Networks[M]. Berlin Heidelberg: Springer, 2012.

[8] Elman J L. Finding structure in time[J]. Cognitive science,1990, 14(2): 179-211.

[9] Hochreiter S, Schmidhuber J.Long Short-Term Memory[J].Neural Computation, 1997, 9(8): 1735-1780.

[10] Hochreiter S. Untersuchungen zu dynamischen neuronalen Netzen[D]. Munchen: Technische Universitat, 1991.

[11] Bengio Y, Simard P, Frasconi P. Learning long-term dependencies with gradient descent is difficult[J]. IEEE Transactions on Neural Networks, 2002, 5(2): 157-166.

[12] Gers F A, Schmidhuber J, Cummins F. Learning to forget:Continual prediction with LSTM[J]. Neural computation,2000, 12(10): 2451-2471.

[13] Zhou G B, Wu J, Zhang C L, et al. Minimal Gated Unit for Recurrent Neural Networks[J]. International Journal of Automation and Computing, 2016, 13(3): 226-234.

[14] Cho K, Merrienboer B V, Gulcehre C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[J]. arXiv preprint arXiv: 1406.1078,2014.

[15] Chung J, Gulcehre C, Cho K H, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[J].arXiv preprint arXiv:1412.3555, 2014.