基于遷移學習的分層注意力網(wǎng)絡情感分析算法

曲昭偉，王 源，王曉茹

(1.北京郵電大學 網(wǎng)絡技術研究院，北京 100876； 2. 北京郵電大學 計算機學院，北京 100876)(*通信作者電子郵箱wyuan@bupt.edu.cn)

隨著互聯(lián)網(wǎng)技術的發(fā)展和社交網(wǎng)絡的普及，越來越多的用戶選擇在社交網(wǎng)站上發(fā)表自己的觀點，產(chǎn)生了大量的評論信息，這些評論信息表達了用戶的情感色彩和情感傾向性，因此，通過對評論文本進行情感分析可以判斷評論文本中的情感取向，應用于市場分析以及相關產(chǎn)品推薦上。

1 相關工作

文本情感分析又稱為觀點挖掘，利用自然語言處理、文本分析等方法對帶有情感色彩的文本進行分析、處理、推理和歸納[1]。

情感分析方法主要有基于情感詞典匹配的方法以及基于機器學習的方法。隨著深度學習逐漸成為自然語言處理領域研究熱點，利用深度學習的方法解決情感分析問題的技術飛速發(fā)展[2]。在自然語言處理領域，例如循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network, RNN)等深度神經(jīng)網(wǎng)絡在處理情感分析問題時具有明顯優(yōu)勢。長短期記憶網(wǎng)絡(Long Short-Term Memory, LSTM)可以捕捉到評論語句中的長期依賴關系，從整體上理解文本的情感語義，與卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)相比，RNN更適合處理序列信息。Li等[3]研究了樹結構的LSTM網(wǎng)絡；Cho等[4]提出了門循環(huán)單元(Gated Recurrent Unit, GRU)，與LSTM網(wǎng)絡相比，具有更少的參數(shù)；Ravanelli等[5]將一種加權循環(huán)單元應用于語音識別領域，實驗結果證明該結構具有較好的語音識別效果。

近年來，遷移學習逐漸成為數(shù)據(jù)挖掘領域的研究重點，即將從源領域學習到的模型或思想應用于目標領域。在計算機視覺領域，在大規(guī)模圖像分類數(shù)據(jù)集(ImageNet)上訓練的深度卷積神經(jīng)網(wǎng)絡[6]可以用作其他模型中的組成部分，并在一系列任務上得到出色的結果。Zhuang等[7]提出一種基于雙編碼層自編碼器的監(jiān)督表示的遷移學習方法；Tan等[8]探究了以一種稱為遠程域遷移學習的新型遷移學習問題，在目標域與源域完全不同的情況下實現(xiàn)遷移學習；Long等[9]提出了深度適配網(wǎng)絡的深度遷移學習方法；吳斌等[10]針對古代詩歌等短文本的情感分析問題提出一種基于特征擴展的遷移學習模型。

在文本情感分析問題中，利用Word2Vec[11]和GloVe[12]等模型進行無監(jiān)督訓練得到的詞向量遷移到自然語言處理任務中能夠提高模型的性能，但是這類無監(jiān)督訓練得到的詞向量無法準確代表上下文關系[13]，該問題也限制了分類模型的準確率。針對以上問題，本文提出一種基于遷移學習的分層注意力神經(jīng)網(wǎng)絡(Transfer Learning based Hierarchical Attention Neural Network, TLHANN)的情感分析方法，利用機器翻譯模型編碼器生成的詞的分布式表示與GloVe模型訓練的詞向量相結合作為情感分析算法的輸入，準確表示文本語境關系，并采用最小門單元(Minimal Gate Unit, MGU)[14]簡化算法結構，經(jīng)過大量實驗證明了本文算法的分類準確率比傳統(tǒng)算法有較大提升。

2 基于遷移學習的文本情感分析算法

2.1 訓練LSTM編碼器

由于機器翻譯任務的數(shù)據(jù)集遠大于其他自然語言處理任務，本文提出的情感分析算法的第一部分是利用英語-德語翻譯任務訓練一個LSTM編碼器。這一步驟的目的是為了得到可以應用于文本情感分析的輔助的隱藏向量，從而提高情感分析算法的性能。這些輸出的隱藏向量與GloVe訓練的詞向量相結合，作為情感分析部分的輸入。

(1)

(2)

(3)

(4)

根據(jù)全局注意力模型[14]，可變長度的對齊向量χt可以表示為：

(5)

(6)

其中ct定義為源隱藏狀態(tài)的加權平均。最后輸出單詞的分布表示為：

(7)

經(jīng)過上述機器翻譯任務的訓練之后，本文得到了一個雙向LSTM編碼器，利用這個編碼器得到新句子的隱藏向量，將它與傳統(tǒng)的GloVe向量相結合，如圖1所示。

對于輸入序列w，后續(xù)情感分析模型的輸入x如式(8)所示：

(8)

圖1 將利用機器翻譯任務訓練的編碼器遷移到情感分類任務中

2.2 情感分析任務

基于Yang等[16]提出的模型，本文采用的情感分析算法具有分層結構，分為單詞層和句子層。在每一層，使用一種簡化的循環(huán)神經(jīng)網(wǎng)絡結構單元——最小門單元(MGU)。MGU只有一個門單元——遺忘門，將輸入(重置)門合并入了遺忘(更新)門，結構圖如圖2所示。在t時刻，MGU計算當前的狀態(tài)為：

(9)

遺忘門控制上一時刻記憶的遺忘程度以及附加多少新信息，MGU的遺忘門的表示為：

ft=σ(Wf+Ufht-1+bf)

(10)

(11)

圖2 最小門單元結構

本文采用的是一種分層的情感分析算法，結構如圖3所示。在單詞層，將翻譯任務訓練得到的隱藏向量與GloVe向量相結合作為模型的輸入，并采用MGU網(wǎng)絡來模擬句子的語義表示。

(12)

(13)

(14)

(15)

然后得到句子表示：

(16)

圖3 TLHANN算法結構

得到了句子層的表示si之后，利用相同方式獲得文檔層的表示：

hi=MGU(si);i∈[1,m]

(17)

同樣，不同的句子對判別文檔的情感極性所起到的作用也有差異，因此，在句子層也采用注意力機制，并引入句子層的上下文向量vs，如式(18)～ (20)所示：

vi=tanh(Wshi+bs)

(18)

(19)

(20)

d是最終得到的文檔表示，而上下文向量vs被隨機初始化并通過訓練過程學習得到。

上文得到的d總結了文檔中句子的所有信息，因此可以將它作為文檔情感分類的特征。使用一個多層感知器可以得到：

(21)

然后使用softmax層得到不同情感等級的概率分布：

(22)

其中：pc是情感等級是c的概率，C是情感等級數(shù)。

本文使用黃金情感分布和模型預測的情感分析的交叉熵誤差作為損失函數(shù)：

(23)

(24)

3 實驗與分析

3.1 數(shù)據(jù)集及實驗設置

在進行機器翻譯任務時使用了兩個數(shù)據(jù)集，分別為WMT2016的Multi30k數(shù)據(jù)集和IWSLT2016年的機器翻譯任務數(shù)據(jù)集，其中Multi30k的訓練集由30 000個描述圖像的句子對組成，IWSLT2106的機器翻譯數(shù)據(jù)集訓練集由209 772個句子對組成。在訓練LSTM編碼器時，使用the CommonCrawl-840B GloVe 模型生成英語詞向量，得到300維的詞向量，這里的LSTM網(wǎng)絡的隱藏層隱藏單元數(shù)設置為300。訓練時采用隨機梯度下降算法，學習率以1開始，當驗證復雜度首次提高時，每個周期將學習率減半，Dropout均為0.2。在Multi30k數(shù)據(jù)集上訓練的機器翻譯模型在測試集上的BLEU(BiLingual Evaluation Understudy)分數(shù)為37.6，在IWSLT2106版本的機器翻譯數(shù)據(jù)集上訓練得到的模型在測試集上的BLEU分數(shù)為24.7。

對于情感分析任務，使用4個數(shù)據(jù)集：IMDB、IMDB2、Yelp2013和Yelp2014。數(shù)據(jù)集的詳細信息見表1，將數(shù)據(jù)集按8 ∶1 ∶1的比例分為training、development、testing集。

表1 實驗數(shù)據(jù)集的統(tǒng)計信息

本文使用兩個常用的模型評價指標：準確率(Accuracy)和均方根誤差(Root Mean Square Error, RMSE)，其中準確率用來評價情感分析算法的表現(xiàn)，RMSE用來衡量預測的情感級別和真實值的偏差。Accuracy和RMSE的公式如下：

Accuracy=T/N

(25)

(26)

其中：GRi是真實的情感等級，PRi是預測的情感等級，G是GRi與PRi相等的文檔數(shù)，N是總文檔數(shù)。本文設置情感分析算法中MGU隱藏單元數(shù)為300，注意力機制中的單詞、句子上下文向量為300維。使用development集來調(diào)超參數(shù)并且使用Adadelta在訓練中更新參數(shù)。

3.2 實驗結果及分析

本節(jié)分別將本文提出的基于遷移學習的分層注意力神經(jīng)網(wǎng)絡的情感分析方法與未引入遷移學習的方法包括SSWE (Sentiment-Specific Word Embeddings)+ SVM(Support Vector Machine)[17]、LSTM+ UPA(User Product Attention)[18]、LSTM+CBA(Cognition Based Attention)[19]進行對比。其中SSWE+SVM利用特殊的情感詞嵌入，采用SVM分類器進行情感分析；LSTM+UPA方法利用LSTM網(wǎng)絡結合注意力機制進行情感分析；LSTM+CBA方法利用基于視覺追蹤數(shù)據(jù)的注意力機制的LSTM網(wǎng)絡進行分析。實驗結果如表2和表3，其中表2為以上四種方法的分類準確率, 文所提算法的分類準確率與LSTM+CBA算法和SVM算法相比分別平均提升了8.7%及23.4%，表3為四種方法的均方根誤差值。從實驗結果可以看出，對于同樣的情感分析數(shù)據(jù)集，本文方法具有更高的分類準確率和更小的誤差。

表2 四種方法的分類準確率對比

表3 四種方法的分類均方根誤差對比

另外，比較了在遷移學習部分中，用于訓練LSTM編碼器的機器翻譯數(shù)據(jù)量對后續(xù)情感分析任務的影響，實驗結果如表4所示。實驗結果表明，翻譯數(shù)據(jù)集越大，將得到的LSTM編碼器遷移到情感分析任務時，對于算法性能的提升越大；也就是說，用于訓練LSTM編碼器的機器翻譯數(shù)據(jù)集越大，將該編碼器遷移到情感分析任務中時，生成的分布式表示能夠更好地體現(xiàn)句子上下文關系，對于文本情感極性的預測更有幫助。

表4 與隨機初始化詞向量相比本文算法的準確率提升效果 %

為了說明注意力機制的作用，在4個數(shù)據(jù)集上比較了本文的基于遷移學習的分層注意力神經(jīng)網(wǎng)絡(Transfer Learning based Hierarchical Attention Neural Network, TLHANN)與不引入注意力機制——基于遷移學習的分層神經(jīng)網(wǎng)絡(Transfer Learning based Hierarchical Neural Network, TLHNN)的性能，實驗結果如表5所示。從表5中可以看出，在情感分析算法中引入注意力機制能提升算法的性能，在IMDB、Yelp2013、Yelp2014和IMDB2數(shù)據(jù)集上的分類準確率分別提升了4.0%、2.0%、2.3%以及10.6%。

表5 注意力機制對于分類模型的影響(分類準確率)

4 結語

本文針對情感分析問題提出了一個基于遷移學習的分層注意力神經(jīng)網(wǎng)絡(TLHANN)算法。首先利用機器翻譯任務訓練一個LSTM編碼器，將其遷移到情感分析任務中用來生成分布式表示作為神經(jīng)網(wǎng)絡的輸入，并采用簡化的循環(huán)神經(jīng)網(wǎng)絡結構，減少了模型參數(shù)數(shù)量。經(jīng)過大量實驗驗證了該算法在不同的數(shù)據(jù)集上的出色表現(xiàn)。研究其他自然語言處理任務對于情感分析問題的可遷移性并提高分類準確率將成為下一步工作的重點。