基于注意力雙層LSTM的長文本情感分類方法

（重慶電子工程職業(yè)學(xué)院 通信工程學(xué)院，重慶401331）

0 引言

隨著科學(xué)技術(shù)的迅猛發(fā)展，互聯(lián)網(wǎng)已成為全球各地用戶表達(dá)意向和觀點的一個平臺，產(chǎn)生了大量的文本。對文本進(jìn)行情感分析可以挖掘用戶真正的意見和建議。文本情感傾向性分析最早由Nasukawa[1]提出，用于判定句子、短語和詞所表達(dá)的情感極性，例如肯定、否定和中性，更細(xì)粒度的情感傾向性分析還包括表達(dá)的情感強度。近年來，富含情感信息的文本在互聯(lián)網(wǎng)上大量產(chǎn)生，情感傾向性分析以其豐富的應(yīng)用背景，逐漸變成了自然語言處理（NLP）領(lǐng)域的研究熱點之一。

傳統(tǒng)的文本情感傾向性分析主要采用兩類方法：基于情感詞典的方法和基于機器學(xué)習(xí)的方法?；谇楦性~典的方法主要是利用情感詞典中詞語的情感傾向和情感強度對詞語進(jìn)行打分，然后對分值進(jìn)行累加，根據(jù)總分判斷文本的情感類別。這種方法容易受到情感詞典領(lǐng)域性和人工規(guī)則完備性的影響?；跈C器學(xué)習(xí)的方法是對特征進(jìn)行選擇和建模，主要是使用人工標(biāo)注的數(shù)據(jù)訓(xùn)練機器學(xué)習(xí)模型，如SVM、KNN，其重要的影響因素是訓(xùn)練語料的質(zhì)量，且該方法難以表達(dá)復(fù)雜的語言關(guān)系。

近年來，深度學(xué)習(xí)技術(shù)快速發(fā)展，使得計算機從無標(biāo)注文本中自動學(xué)習(xí)到文本的深層表示成為可能。基于深度學(xué)習(xí)的方法利用神經(jīng)網(wǎng)絡(luò)來模擬人腦的學(xué)習(xí)過程，利用CNN、RNN和LSTM等進(jìn)行文本情感分析。在NLP領(lǐng)域中，基于深度學(xué)習(xí)的方法在建模和效果優(yōu)化等方面具有比較明顯的優(yōu)勢。

利用自動情感傾向性分析技術(shù)挖掘海量評論文本所包含的情感傾向，能夠發(fā)現(xiàn)大眾的情感演化規(guī)律，為制定營銷策略和監(jiān)控社會輿情提供決策支持，具有重要的應(yīng)用價值。然而，由于長文本評論的篇幅長、正負(fù)情感特征分布離散，現(xiàn)有方法難以根據(jù)全文信息準(zhǔn)確判斷長文本情感傾向，因此本文提出一種基于注意力雙層LSTM的長文本情感傾向性分析方法。該方法首先用LSTM學(xué)習(xí)句子級情感向量表示；然后用雙向LSTM對文檔中所有句子的語義及句子間的語義關(guān)系進(jìn)行編碼，基于注意力機制根據(jù)句子的情感語義貢獻(xiàn)度進(jìn)行權(quán)值分配，加權(quán)句子級情感向量表示得到文檔級情感向量表示；最終經(jīng)過Softmax層得到長文本情感傾向。

1 相關(guān)工作

長文本評論情感傾向性分析方法逐漸開始使用深度學(xué)習(xí)方法，其中以RNN[2]、CNN[3]和LSTM[4]為代表的深度學(xué)習(xí)方法在情感傾向性分析領(lǐng)域內(nèi)取得較好的結(jié)果。

基于CNN的算法雖然可以有效地進(jìn)行文本分類，但文本情感傾向性分析問題并非單純的文本分類問題。因為訓(xùn)練語料和預(yù)測語料均為包含作者情感的文本，故需要考慮文本上下文聯(lián)系才能實現(xiàn)對長文本情感傾向的準(zhǔn)確判別。因此，理想的文本情感傾向性分析算法需要考慮對長文本時序關(guān)系進(jìn)行記錄和學(xué)習(xí)。2014年，Kim等[3]利用CNN進(jìn)行文本情感分類，利用詞嵌入把文本映射成低維空間的特征矩陣，利用卷積層和下采樣層提取特征，實現(xiàn)文本情感分類。2015年，Severyn等[5]用CNN進(jìn)行推特長文本情感傾向性分析，使用非監(jiān)督神經(jīng)語言模型訓(xùn)練詞嵌入，在Semeval-2015任務(wù)上取得第一名的好成績。2017年，Segura等[6]第一次應(yīng)用CNN進(jìn)行西班牙語的情感傾向性分析。

RNN因包含輸入信息的時序關(guān)系而在情感傾向性分析中有重要應(yīng)用。2014年，Irsoy等[2]利用RNN進(jìn)行了情感傾向性分析，比基于傳統(tǒng)機器學(xué)習(xí)的文本情感分類方法的效果更好。2015年，Siwei等[7]使用RNN進(jìn)行文檔級情感分類，應(yīng)用池化層自動判斷在情感分類中重要的詞語。但不可忽略的是RNN自身具有一定的缺陷，當(dāng)循環(huán)輪次過多時，會產(chǎn)生長期依賴和梯度爆炸等問題。2016年，Zhang等[8]應(yīng)用RNN進(jìn)行微博的情感傾向性分析研究，輸入層輸入詞嵌入序列，經(jīng)過隱藏層數(shù)學(xué)變換得到句子向量，然后進(jìn)入輸出層。實驗結(jié)果表明計算句子向量表示有助于句子深層結(jié)構(gòu)的理解，也有助于不同領(lǐng)域的文本情感傾向性分析研究。

針對RNN的不足，其變體LSTM在神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)浇Y(jié)構(gòu)中采用記憶單元來控制信息的交互，從而避免了RNN的缺陷?；贚STM網(wǎng)絡(luò)的算法可以通過有選擇的保存和遺忘信息來存儲文本中重要的信息，從而完成文本情感傾向性分析。2015年，Tai等[9]構(gòu)建了長短式記憶（LSTM）的解析樹，將標(biāo)準(zhǔn)的LSTM時序鏈?zhǔn)浇Y(jié)構(gòu)演化為語法樹結(jié)構(gòu)，在文本情感分類上取得了較好的結(jié)果。2015年，Tang等[10]提出基于LSTM和門循環(huán)神經(jīng)網(wǎng)絡(luò)的情感分類方法LSTM-GRNN，該方法通過兩步建模文檔向量表示。首先使用LSTM學(xué)習(xí)句子向量表示；再次，應(yīng)用雙向門神經(jīng)網(wǎng)絡(luò)對句子語義及句子在文檔表示中的語義關(guān)系進(jìn)行編碼得到文檔向量表示，通過Softmax層進(jìn)行情感正負(fù)傾向分類，取得了較好的結(jié)果。2016年，Xu等[4]利用緩存LSTM進(jìn)行長文本情感傾向性分析，把記憶單元以不同遺忘速率分成幾組，更好地保存記憶信息。

2 中文長文本情感分類方法

2.1 原理框圖

本文基于注意力雙層LSTM進(jìn)行長文本評論情感傾向性分析。首先，利用LSTM從詞嵌入學(xué)習(xí)得到句子級情感向量表示；接著，通過雙向LSTM對文檔中所有句子的語義及句子間的語義關(guān)系進(jìn)行編碼；然后，基于注意力機制對具有不同情感語義貢獻(xiàn)度的句子進(jìn)行權(quán)值分配；最后，加權(quán)句子級情感向量表示得到長文本的文檔級情感向量表示，經(jīng)過Softmax層分類得到長文本評論情感類別。算法原理如圖1所示。

圖1 基于注意力雙層LSTM的長文本情感傾向性分析方法原理圖

2.2 LSTM

LSTM是一種特殊的RNN類型，可以學(xué)習(xí)長期依賴信息。1997年，Hochreiter等人提出了LSTM[11]，它比一般的RNN記憶能力更強，主要用于記憶長距離相關(guān)信息，它克服了循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度爆炸和梯度消失的缺點，并在很多任務(wù)中取得了不錯的結(jié)果。其結(jié)構(gòu)如圖2所示。

普通的RNN能夠處理遠(yuǎn)距離相關(guān)信息，因為當(dāng)前的輸入包括前一時刻的輸出。但是如果相關(guān)信息與當(dāng)前輸入位置之間的距離過遠(yuǎn)，RNN的遠(yuǎn)距離學(xué)習(xí)能力會驟降，而LSTM能幫助克服這一問題。LSTM通過一個細(xì)胞狀態(tài)來ct調(diào)節(jié)整個結(jié)構(gòu)，使得結(jié)構(gòu)具有更強的記憶能力。

LSTM提出的記憶存儲格由四部分組成：輸入門、輸出門、遺忘門和自循環(huán)連通結(jié)點。LSTM可以實現(xiàn)遺忘或記憶的功能，這是通過“門”來丟棄或者增加信息實現(xiàn)。輸入門將新的信息選擇性的記錄到記憶存儲格中，遺忘門能夠?qū)⒂洃洿鎯Ω裰械男畔⑦x擇性地遺忘，輸出門確定記憶存儲格的輸出值及記憶存儲格是否作用于其他神經(jīng)元。

圖2 長-短時記憶結(jié)構(gòu)示意圖

首先，LSTM要確定將被存放在細(xì)胞狀態(tài)ct中的新信息，由輸入門確定待更新值，然后將新候選值加入到狀態(tài)中，其計算方法如式(1)所示。

其中，it表示輸入門，xt表示t時刻輸入值，ct-1表示t-1時刻細(xì)胞狀態(tài)，ht-1表示t-1時刻輸出值，σ 表示 Logistic Sigmoid 函 數(shù)，wxi、whi、wci、bi為待學(xué)習(xí)參數(shù)。

除了輸入和存放新信息，還需要確定從細(xì)胞狀態(tài)ct中丟棄的舊信息內(nèi)容。這一功能由遺忘門完成，其計算方法如式(2)所示。

其中，ft表示遺忘門，xt表示t時刻輸入值，ct-1表示t-1時刻細(xì)胞狀態(tài)，ht-1表示t-1時刻輸出值，σ 表示 Logistic Sigmoid 函數(shù) ，wxf、wcf、wcf、bf為待學(xué)習(xí)參數(shù)。

接下來，更新細(xì)胞狀態(tài)ct，其計算方法如式(3)所示。

其中，ft表示遺忘門，it表示輸入門，xt表示t時刻輸入值，ct-1表示t-1時刻細(xì)胞狀態(tài)，ht-1表示t-1 時刻輸出值，wxc、whc、bc為待學(xué)習(xí)參數(shù)。

最后，LSTM需要確定細(xì)胞狀態(tài)的待輸出部分。這一功能由輸出門完成，其計算方法如式(4)所示。

其中，Ot表示輸出門,xt表示t時刻輸入值，ct表示t時刻細(xì)胞狀態(tài)，ht-1表示t-1時刻輸出值，σ表示 Logistic Sigmoid 函數(shù)，wx0、wh0、wco、bo為待學(xué)習(xí)參數(shù)。

LSTM本質(zhì)上是一種RNN，把細(xì)胞狀態(tài)通過tanh層進(jìn)行處理并得到一個 [-1,1]區(qū)間中的值，將其和待輸出部分相乘后最終確定輸出結(jié)果，其輸出值的計算方法如式(5)所示。

其中，Ot表示輸出門，ct表示細(xì)胞狀態(tài)，ht表示輸出值。

基于以上步驟，LSTM網(wǎng)絡(luò)可以完成對信息的選擇性存儲記憶功能，最終將有用信息保留并輸出。因可有效解決RNN中存在的長期依賴問題，所以LSTM網(wǎng)絡(luò)在自然語言處理中有良好的效果。

2.3 詞嵌入

詞嵌入又叫詞向量，它將一個單詞或詞組映射成低維空間中的實數(shù)向量。詞嵌入可以由經(jīng)典的神經(jīng)網(wǎng)絡(luò)語言模型 （NNLM）[12]在訓(xùn)練中產(chǎn)生，Word2vec是一個語言建模工具，實現(xiàn)將詞表征為實數(shù)值向量，是基于Mikolov[13]提出的神經(jīng)網(wǎng)絡(luò)概率語言模型。詞嵌入輸入整個文本集，利用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，輸出訓(xùn)練之后的每個詞語對應(yīng)的詞向量。詞嵌入上的每一維代表一個特征，此特征能表示詞語的上下文信息和語法信息。詞嵌入應(yīng)用到自然語言處理領(lǐng)域中的很多研究里，例如用詞嵌入計算詞語的語義相似度、詞性分析等等。詞嵌入的低維空間表示也避免了使用詞袋模型進(jìn)行文本特征表示時造成的“維度災(zāi)難”問題。

Word2vec改進(jìn)了神經(jīng)語言模型，結(jié)合了人工神經(jīng)網(wǎng)絡(luò)和概率模型，是一個可以用來快速計算詞嵌入的工具。Word2vec包含了兩種訓(xùn)練模型，分別為CBOW模型和Skip_gram模型，兩種模型都是由NNLM改進(jìn)而來，其結(jié)構(gòu)如圖3所示。

圖3 CBOW模型和Skip_gram模型結(jié)構(gòu)

從圖3中可知，Word2vec使用的詞嵌入表示方式是分布式表示，采用一個三層模型：輸入層、投影層和輸出層。CBOW模型是根據(jù)上下文來預(yù)測當(dāng)前詞語的概率。Skip-gram則是根據(jù)當(dāng)前詞語來預(yù)測上下文的概率。下面主要介紹CBOW模型的Hierarchical Softmax框架。

首先把每個單詞映射成矩陣W對應(yīng)位置上的列向量 wt，用 Context(w)=w1，w2，w3，…，wT表示上下文信息，把全文中的詞嵌入通過求和或連接得到隱藏層的輸入，詞嵌入模型以最大化輸出概率作為目標(biāo)，其計算公式如(6)所示。

CBOW模型訓(xùn)練詞嵌入的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

輸入層：包含context(x)中2c個詞的詞嵌入，m表示單個詞嵌入的維度。

v(context(w)1),v(context(w)2),…,v(context(w)2c)∈Rm

圖4 CBOW模型的網(wǎng)絡(luò)結(jié)構(gòu)示意圖

投影層：對輸入層的2c個詞嵌入求和累加，作為投影層的輸入，計算方法如公式(7)所示。

輸出層：輸出層對應(yīng)一棵哈夫曼二叉樹，二叉樹構(gòu)造過程如下：葉子節(jié)點是語料中出現(xiàn)過的詞，葉子節(jié)點對應(yīng)的權(quán)值是詞頻。在哈夫曼樹結(jié)構(gòu)中，一共N(=|D|)個葉子節(jié)點，分別對應(yīng)詞典D中的詞，非葉子節(jié)點N-1個。

基于詞嵌入的神經(jīng)網(wǎng)絡(luò)通常使用隨機梯度下降方法訓(xùn)練，其中梯度通過誤差反向傳播算法獲得[14]。CBOW模型的Hierarchical Softmax框架使用Softmax計算概率，如公式(8)所示。

公式(8)中每個yi是對應(yīng)于單個輸出詞的一個未正規(guī)化的log概率，計算方法如公式(9)所示。

其中，U,b是分類器Softmax的參數(shù)，函數(shù)h是通過詞嵌入的連接或者平均得到。

2.4 句子級情感向量表示

在詞嵌入的分布式表示取得進(jìn)展后，句子級、文檔級分布式表示也逐漸成為深度學(xué)習(xí)研究的重點。

詞嵌入包含了豐富的語義信息，在已知詞嵌入的情況下，求句子級情感向量表示的最簡單的方法就是直接加權(quán)詞嵌入[15]，但是這種方法過于簡單，把詞語視作獨立的符號，沒有考慮詞語之間的語義關(guān)系。依靠詞嵌入直接加權(quán)構(gòu)成句子級情感向量表示丟失了真實的情感語義信息。

句子級情感向量表示的生成方式主要包括使用CNN和LSTM的生成方式。論文使用LSTM生成句子級情感向量表示，首先，把句子視為由單詞按順序構(gòu)成的序列，每個單詞用詞嵌入表示，對應(yīng)位置上有一個中間表示；然后，獲得每個單詞的中間表示，中間表示代表句首到該位置的語義，該單詞的中間表示由當(dāng)前詞語的詞嵌入和前一個詞語的中間表示共同組成；最后，把句尾單詞的中間表示視為整個句子的情感向量表示。

2.5 注意力機制

Attention機制于20世紀(jì)90年代提出，最早應(yīng)用在視覺圖像領(lǐng)域，由于谷歌mind團(tuán)隊在RNN模型上使用了注意力機制進(jìn)行圖像分類而使注意力機制受到重視[16]。他們的研究是受到人類注意力機制的啟發(fā)，因為人在觀察一幅圖像的時候，并不是一次就把圖像上的所有像素都看過，而是把注意力集中在某一特定部分，然后移動注意力。而且人會根據(jù)上一次注意力集中的圖像位置學(xué)習(xí)到下一次注意力應(yīng)該觀察到的位置。隨后，2014年Bahdanau等人[17]第一次提出在自然語言處理領(lǐng)域應(yīng)用注意力機制，在神經(jīng)機器翻譯（NMT）中把一整句話映射為一個固定長度的表征向量，但是卻忽略了一些重要信息，無法把一個很長的句子所包含的所有信息編碼成一個向量。因此引入了注意力機制，可以使NMT關(guān)注一些重要部分同時忽略掉其他不重要部分。

圖5 注意力機制原理圖

注意力機制實現(xiàn)的原理是：對于輸入的關(guān)鍵部分，分配較多的權(quán)重，對于其他部分則分配較少的權(quán)重。注意力機制體現(xiàn)了資源的的合理分配，可以排除非關(guān)鍵因素對輸出結(jié)果的影響。圖5為本文注意力機制原理圖。

注意力機制通過對雙向LSTM的輸出進(jìn)行加權(quán)求和，得到文檔的向量表示。首先使用雙向LSTM編碼句子向量sj，編碼過程如式(10)和式(11)所示。

各個句子向量的hj權(quán)重αij表示如式 (13)所示。

其中eij計算方法如式(14)所示。

2.6 文檔級情感向量表示

目前幾種句子級分布式情感向量表示都局限于句子級，不能夠擴展至段落級或者文檔級。最簡單的文檔級情感向量表示是對文檔中包含的所有的句子級情感向量表示線性加權(quán)得到的。Le等人[18]提出的無監(jiān)督方法中最典型的文檔級向量分布式表示是Mikolov等人[13]提出的Skipgram模型的擴展，該向量表示能夠?qū)⒆冮L的文本表示為定長的特征。

在文檔級情感向量表示模型中，每個文檔映射到文檔向量空間中唯一的向量上且所有文檔向量組成一個文檔向量矩陣，這些文檔向量包含了對應(yīng)文檔的主題。該文檔級情感向量表示模型相較于句子級情感向量表示模型的優(yōu)勢在于既可以從無標(biāo)注的語料中學(xué)習(xí)文檔向量，又不依賴于句法分析樹。本文基于注意力機制給不同的句子級情感向量表示分配不同權(quán)值，然后加權(quán)句子級情感向量表示獲得文檔級情感向量表示。

3 實驗分析

3.1 實驗?zāi)康暮蛿?shù)據(jù)源

為驗證基于注意力雙層LSTM的長文本情感傾向性分析方法的效果，進(jìn)行模型對比實驗，與目前最優(yōu)模型LSTM-GRNN[10]進(jìn)行對比分析，與模型Convolutional NN(2014)[3]和Paragraph Vector[18]進(jìn)行對比分析。

實驗數(shù)據(jù)來自國外長文本評論，包括互聯(lián)網(wǎng)電影資料庫IMDb和酒店評論語料Yelp 2015。將訓(xùn)練集和測試集按4:1的比例切分。

表1 長文本情感傾向性分析實驗數(shù)據(jù)（條）

其中，#s/d代表平均每個文檔中的句子數(shù)，#w/d代表平均每個文檔中的詞語數(shù)。

3.2 實驗環(huán)境和條件

實驗所用軟件資源如表2所示，硬件資源如表3所示。

表2 實驗所用軟件資源

表3 實驗所用硬件資源

3.3 評價方法

論文采用正確率（Accuracy）評價長文本評論情感傾向性分析的結(jié)果，正確率計算方法如式(16)所示。

其中，TP是將正類評論文本預(yù)測為正類的數(shù)目，F(xiàn)N是將正類評論文本預(yù)測為負(fù)類的數(shù)目，F(xiàn)P是將負(fù)類評論文本預(yù)測為正類的數(shù)目，TN是將負(fù)類評論文本預(yù)測為負(fù)類的數(shù)目。

3.4 實驗過程和參數(shù)

LSTM-GRNN是Tang等提出的基于LSTM和雙向門循環(huán)神經(jīng)網(wǎng)絡(luò)的長文本情感傾向性分析方法，該方法首先使用LSTM學(xué)習(xí)句子向量表示；其次，應(yīng)用雙向門神經(jīng)網(wǎng)絡(luò)對句子語義及句子間的語義關(guān)系進(jìn)行編碼得到文檔向量表示；最后經(jīng)過softmax層進(jìn)行情感分類。

Convolutional NN是Kim等利用CNN進(jìn)行文本情感分類的方法，其利用詞嵌入把文本映射成低維空間的特征矩陣，利用卷積層和下采樣層提取特征，實現(xiàn)文本情感分類。

Paragraph Vector是Le and Mikolov提出的段落向量模型，其由一個無監(jiān)督學(xué)習(xí)算法構(gòu)成的，將變長的文本學(xué)習(xí)到固定長度的向量表征。該向量表征可用來預(yù)測上下文中的周圍的詞。

Attention-BiLSTM是論文提出的基于注意力雙層LSTM的長文本評論情感傾向性分析方法。為了驗證該算法的效果，設(shè)置詞嵌入詞匯表數(shù)為400 000，詞嵌入維度為100，設(shè)置每篇文檔最大句子數(shù)為18，單句最大詞匯數(shù)100。模型參數(shù)：損失函數(shù)為'categorical_crossentropy'，優(yōu)化方法為'rmsprop'，批梯度數(shù)量為 50，激活函數(shù)為'softmax'，LSTM層輸出尺寸為200。

3.5 實驗結(jié)果和結(jié)論

表4 長文本情感傾向性分析對比實驗

實驗結(jié)果表明本方法Attention-BiLSTM優(yōu)于LSTM-GRNN。Attention-BiLSTM在Yelp 2015語料上的情感分類正確率為70%，比目前最優(yōu)方法LSTM-GRNN提升了2.4%，在IMDb語料上的正確率為47.5%，提升了2.2%。Attention-BiLSTM方法分類效果更好，該方法利用LSTM學(xué)習(xí)句子級情感向量表示，使用雙向LSTM對句子的語義及句子間的語義關(guān)系進(jìn)行編碼，基于注意力機制根據(jù)句子的語義貢獻(xiàn)度進(jìn)行權(quán)值分配，進(jìn)一步提高了情感分類正確率。而目前最優(yōu)方法LSTM-GRNN不能根據(jù)句子的情感語義貢獻(xiàn)度對不同句子進(jìn)行權(quán)值分配，情感分類效果比Attention-BiLSTM差。Attention-BiLSTM在長文本評論情感傾向性分析上具有更好的效果。

4 小結(jié)

針對長文本評論篇幅長，正負(fù)情感特征離散分布且每個句子的情感語義貢獻(xiàn)度不同的問題，提出了一種基于注意力雙層LSTM的長文本評論情感傾向性分析方法。該方法通過雙向LSTM對文檔中所有句子的語義及句子間的語義關(guān)系進(jìn)行編碼，基于注意力機制對不同句子級情感向量表示分配不同權(quán)值，加權(quán)獲得長文本文檔級情感向量表示，經(jīng)過Softmax層進(jìn)行情感分類。在Yelp 2015和IMDb上進(jìn)行實驗，結(jié)果表明，情感分類正確率相比目前最優(yōu)方法LSTM-GRNN分別提升了2.4%和2.2%。Attention-BiLSTM情感傾向性分析方法表現(xiàn)更好，可以根據(jù)句子的情感語義貢獻(xiàn)度分配不同權(quán)重，進(jìn)一步提升了情感分類正確率。將來的研究可在以下三方面進(jìn)行：（1）文本特征的提取;（2）衡量評論的情感強度;（3）進(jìn)一步提升深度神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。