基于并行混合網(wǎng)絡(luò)融入注意力機制的情感分析

孫 敏，李 旸，莊正飛，余大為

（安徽農(nóng)業(yè)大學信息與計算機學院，合肥 230036）

0 引言

隨著Web2.0時代的到來，越來越多的人們喜歡在網(wǎng)絡(luò)上分享自己的一些經(jīng)驗、知識和感受等各種信息。例如，美團、餓了么、攜程等各種應(yīng)用軟件都包含各種用戶的評論信息，充分利用這些信息不僅能指導消費者進行合理消費，而且還能夠讓商家認識自身的問題，對下一次決策有關(guān)鍵的作用［1］。那么，如何從大量數(shù)據(jù)中高效、準確和快速獲取用戶的情感傾向就變得尤其重要。文本的情感分析是重要的研究方向其中之一，能夠有效地分析出文本所包含的各種情感信息［2］。

文本情感分析［3］作為自然語言處理領(lǐng)域的一個重要研究方向。傳統(tǒng)的文本情感分析的方法主要包含基于機器學習的方法［4］和基于詞典［5］的情感分析兩種?；跈C器學習的方法需要大量人工標注數(shù)據(jù)，在處理復雜分類問題時泛化能力不強；基于詞典的情感分析方法雖然不需要人工標注數(shù)據(jù)，但需要構(gòu)建情感詞典，而且分類的效果主要取決于情感詞典的大小和質(zhì)量。當下，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［6］和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［7］作為兩大主流深度學習模型被應(yīng)用在自然語言處理領(lǐng)域并且取得很好的效果，尤其是在短文本的情感分析任務(wù)中。Kim［8］對比了詞向量不同構(gòu)造方法，把預訓練處理好的詞向量作為神經(jīng)網(wǎng)絡(luò)的輸入，利用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)句子級的文本分類，把神經(jīng)網(wǎng)絡(luò)應(yīng)用于情感分類的任務(wù)中。Kalchbrenner 等［9］提出動態(tài)卷積神經(jīng)網(wǎng)絡(luò)模型用于提取句子的特征、處理不同長度的情感文本。由于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)提取得到的只是局部特征，同時忽略了特征的前后聯(lián)系，針對此問題本文提出并行混合網(wǎng)絡(luò)融入注意力機制模型。

Mikolov 等［10］提出將循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用到文本分類任務(wù)中，因為循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出取決于當前的輸入和上一個節(jié)點輸出的結(jié)果，可以更好學習到句子上下文的語義信息。但是循環(huán)神經(jīng)網(wǎng)絡(luò)在學習句子特征時容易出現(xiàn)梯度彌散問題，為了解決此問題，Hochreiter等［11］提出長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)模型，LSTM 是RNN 的眾多變體之一，雖然LSTM 在提取長距離上下文語義信息上是一種很有效的網(wǎng)絡(luò)模型，但結(jié)構(gòu)復雜，因此導致訓練需要大量的時間和內(nèi)存空間。Cho 等［12］提出的門限循環(huán)單元（Gated Recurrent Unit，GRU）是LSTM 的一個變體，GRU 比LSTM 的架構(gòu)簡單，模型的訓練效率得到了有效的提升。雙向門限循環(huán)單元（Bidirectional Gated Recurrent Unit，BGRU）神經(jīng)網(wǎng)絡(luò)是由一個向前傳播的GRU和一個向后傳播GRU，前后兩個方向GRU的輸出狀態(tài)連接組成的神經(jīng)網(wǎng)絡(luò)，本文使用BGRU 來提取全局的特征挖掘文本中深層語義信息。

注意力機制的核心作用是在眾多信息中注意到對當前任務(wù)更關(guān)鍵的信息。Mnih 等［13］進行圖像處理時在RNN 基礎(chǔ)上引入注意力機制，使得圖像處理效果較好。Bahdanau 等［14］把注意力機制應(yīng)用在自然語言處理任務(wù)中，通過注意力機制可以把每個詞學習到的表達和預測需要的詞聯(lián)系起來。從此之后，注意力機制被文本分析學者所廣泛關(guān)注，例如，王偉等［15］提出基于BiGRU-Attention模型的情感分類；田生偉等［16］將Bi-LSTM 和attention 機制結(jié)合對維吾爾語事件實訓關(guān)系進行識別；白靜等［17］使用BiLSTM-CNN-Attention 進行兩種特征融合的分類；陳潔等［18］采用混合神經(jīng)網(wǎng)絡(luò)模型處理短文本情感分析都取得比較好的分類結(jié)果。

為了避免單一卷積神經(jīng)網(wǎng)絡(luò)忽略詞的上下文語義信息和最大池化處理時會丟失大量特征信息，本文在卷積神經(jīng)網(wǎng)絡(luò)和BGRU 提取得到的特征融合之后引入注意力機制提高文本情感分析的準確率和F1-Measure綜合評價指標。

1 混合網(wǎng)絡(luò)融入注意力機制模型

本文提出并行混合網(wǎng)絡(luò)融入注意力機制模型的文本情感分析構(gòu)造方法主要從以下兩個方面考慮：1）把卷積神經(jīng)網(wǎng)絡(luò)和雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)學習得到的特征進行融合；2）把融合之后的特征送入到注意力機制中以便判斷不同的詞對句子含義的重要程度。

1.1 CNN并聯(lián)BGRU提取特征并融合

本文利用卷積神經(jīng)網(wǎng)絡(luò)提取句子的局部特征，卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)主要有輸入層、卷積層、池化層和輸出層。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Convolutional neural network structure

輸入層 文本中每個句子中每一個詞都要利用Glove 映射為對應(yīng)的詞向量xi，句子中每個詞向量xi組成句子矩陣S，如式（1）所示：

其中，xi∈Rk，xi表示句子矩陣中第i個詞的詞向量，k表示詞向量的維度。S∈Rn×k，n表示句子矩陣中詞向量的個數(shù)。本實驗中詞向量的維度k=200。

卷積層 卷積層采用r×k的濾波器對句子矩陣S執(zhí)行卷積操作提取S的局部特征c。如式（2）所示：

其中：w代表卷積核，b代表偏置項；f代表通過ReLU進行非線性操作的函數(shù)；xi：i+r-1代表句子矩陣中從i到i+r-1 共r行向量；ci代表通過卷積操作得到的局部特征。濾波器在整個句子矩陣中從上往下已設(shè)置的步長進行滑動，得到局部特征向量集合C，如式（3）所示：

池化層 池化方法分為兩種，分別為最大池化和平均池化，本實驗采用最大池化的方法對卷積操作得到的局部特征向量集合提取最大的特征代替整個局部特征，而且通過池化操作還可以降低特征向量的大小。如式（4）所示：

其中，1 ≤j≤r，1 ≤i≤n-m+1，m為卷積核個數(shù)。

輸出層 將池化層中得到的所有Mji拼接組成句子級特征向量。

文本具有很強的序列性，因此充分提取文本上下文語義信息就顯得非常重要。為了體現(xiàn)文本的序列特征，使用LSTM建立序列模型。但是LSTM 模型結(jié)構(gòu)復雜，在訓練時會花費更多的時間代價。GRU 是LSTM 的變體，主要的變化是使用更新門代替了LSTM 中的輸入門和遺忘門，模型結(jié)構(gòu)的復雜度相對變得更加簡單，訓練參數(shù)減少并且時間代價比較低。其模型結(jié)構(gòu)如圖2所示，具體的計算過程如式（5）～（8）所示：

其中，rt表示重置門；zt表示更新門；ht表示隱含層狀態(tài)的輸出；yt表示GRU 的輸出；Wr，Wz，Wh，Wo分別表示各個狀態(tài)的權(quán)重矩陣，σ和tanh表示激活函數(shù)。

圖2 GRU模型結(jié)構(gòu)Fig.2 GRU model structure

GRU 只是考慮當前詞的上文信息并沒有考慮到下文的信息，為了解決這個問題，本文使用雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)不僅能夠充分提取上文信息而且還能考慮到下文信息對當前詞的影響，主要是由1 個單向向前傳播的GRU 和1 個單向向后傳播的GRU 組成，輸出的結(jié)果由這2 個GRU 共同決定。其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，具體的計算過程如式（10）～（12）所示：

圖3 BGRU情感分析網(wǎng)絡(luò)模型Fig.3 BGRU sentiment analysis network model

1.2 注意力機制獲取詞的重要程度

注意力機制來源于對人類視覺的研究，人們會在所有的信息中選擇性地關(guān)注自己在意的部分，同時還可以忽略其他的信息。把注意力機制應(yīng)用在文本的情感分析中可以通過權(quán)重的分配計算不同詞的詞向量概率權(quán)重，使得部分詞可以得到更多的關(guān)注從而突出重要的詞語，提高分類的準確率。其模型結(jié)構(gòu)如圖4所示。

圖4 注意力機制模型結(jié)構(gòu)Fig.4 Attention mechanism model structure

假設(shè)dt為卷積神經(jīng)網(wǎng)絡(luò)和雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)提取得到的特征融合之后的特征向量，通過神經(jīng)網(wǎng)絡(luò)得到對dt隱層的表示，如式（13）所示：

1.3 并行混合網(wǎng)絡(luò)融入注意力機制模型

1.3.1 并行混合網(wǎng)絡(luò)融入注意力機制模型的構(gòu)造

并行混合網(wǎng)絡(luò)融入注意力機制模型結(jié)構(gòu)如圖5 所示。本文的模型主要由卷積神經(jīng)網(wǎng)絡(luò)（CNN）、雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)（BGRU）和注意力機制組成。其中，模型左邊的卷積神經(jīng)網(wǎng)絡(luò)部分是由3個大小分別為3、4、5的卷積核組成，為了能夠更加全面地提取文本中的局部特征；模型右邊的是利用雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)提取詞的上下文的語義信息和文本中詞的全局特征；模型的下面是注意力機制，主要是利用卷積神經(jīng)網(wǎng)絡(luò)和雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)提取得到的特征計算不同的詞向量概率權(quán)重，使得部分詞得到更多的關(guān)注，提高分類的準確率。

本文并行混合網(wǎng)絡(luò)融入注意力機制模型詳細介紹如下：

1）將文本中的詞利用Glove 映射為對應(yīng)的詞向量xi，然后組成句子矩陣S。

2）增加卷積神經(jīng)網(wǎng)絡(luò)，提取得到文本中的局部特征Mji。

3）增加雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)，得到詞的上下文語義信息和詞的全局特征y。

4）將2）、3）提取的特征融合得到dt作為注意力機制的輸入，為了使部分詞得到更多的關(guān)注提高分類的準確率，得到文本向量ct。

5）增加Dense層，使用sigmoid激活函數(shù)對文本進行分類。

6）模型損失函數(shù)使用交叉熵損失函數(shù)categorical_crossentropy，模型在訓練的過程中不斷地更新參數(shù)達到最優(yōu)的效果。

圖5 并行混合網(wǎng)絡(luò)融入注意力機制模型Fig.5 Model based on parallel hybrid network and attention mechanism

1.3.2 并行混合網(wǎng)絡(luò)融入注意力機制模型的訓練

本文在訓練并行混合網(wǎng)絡(luò)融入注意力機制模型中的參數(shù)包括卷積神經(jīng)網(wǎng)絡(luò)、雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機制中的全部參數(shù)。本模型使用的優(yōu)化器是Adam，因為Adam 優(yōu)化器結(jié)合了RMSProp 和AdaGrad 二者的優(yōu)點，還可以計算參數(shù)的自適應(yīng)學習率。為了防止在訓練過程中過擬合，分別在三個卷積層之后加入Dropout 函數(shù)，并把Dropout 設(shè)置為0.5，通過在每一次的迭代中隨機丟棄部分訓練參數(shù)來提高模型的泛化能力。本模型使用Sigmoid函數(shù)進行分類如式（16）所示：

其中：j表示的是類別數(shù)，本文中主要分為積極和消極，取值是0 或者1。θ為模型所有的參數(shù)。訓練模型的參數(shù)θ使用的損失函數(shù)是交叉熵損失函數(shù)。本文樣本點為（x，y），y為真實的標簽，取值是0或者1?，F(xiàn)在假設(shè)yt為樣本點的真實標簽，yp為該樣本點屬于積極類別的概率。如式（17）所示：

2 實驗

在公開帶有情感標簽的電影評論IMDB 數(shù)據(jù)集上，對本文提出的情感模型進行驗證和分析。實驗環(huán)境具體配置如表1所示。

2.1 實驗數(shù)據(jù)

實驗的數(shù)據(jù)主要來自于電影評論IMDB 數(shù)據(jù)集，電影情感評論的標簽主要分為二種：0 或者1。如果情感評論是積極的標記為1，情感評論是消極的標記為0。數(shù)據(jù)集的劃分情況如表2所示。

表1 實驗環(huán)境具體配置Tab.1 Detailed configuration of experimental environment

表2 數(shù)據(jù)集Tab.2 Datasets

2.2 實驗參數(shù)設(shè)置

實驗參數(shù)的設(shè)置直接影響模型的分類效果，但實驗中又有很多的超參數(shù)需要設(shè)置與調(diào)整，在每一次迭代完成之后，會根據(jù)實驗的準確率和損失率對所設(shè)置的超參數(shù)調(diào)整，經(jīng)過多次實驗以及多次迭代具體的參數(shù)設(shè)置如表3所示。

表3 參數(shù)設(shè)置Tab.3 Parameter settings

2.3 實驗評價標準

評價是實驗中一個重要的環(huán)節(jié)，可以直接反映出模型的好壞，本實驗在電影評論情感分析的樣本上采用準確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1-Measure作為評價情感分析結(jié)果好壞的標準。準確率評估的是對模型正確分類的能力；精確率評估的是查準率；召回率評估的是查全率；F1-Measure 是綜合評價指標。本實驗針對該問題給出的分類結(jié)果混淆矩陣如表4所示，用此來介紹4種實驗評價標準的計算方式。其中：TP（True Positive）指的是積極分類預測為積極分類數(shù)，F(xiàn)N（False Negative）指的是積極分類預測為消極分類數(shù)，F(xiàn)P（False Positive）指的是消極分類預測為積極分類數(shù)，TN（True Negative）指的是消極分類預測為消極分類數(shù)。

準確率（Accuracy）計算如式（18）所示：

表4 分類結(jié)果混淆矩陣Tab.4 Confusion matrix of classification results

2.4 詞向量維度的選擇

詞向量能夠有效地反映詞與詞之間的關(guān)聯(lián)度以及語義信息，理論上來說詞向量維度越大越好，但是在實際情況的應(yīng)用中需要考慮實驗的整體性能和整體代價，從而選出最合適的詞向量維度。分析表5可得，當詞向量維度為50時，模型的整體性能最差，主要是因為詞向量維度過小，使得詞中包含的上下文相互影響的語義信息較少；當詞向量維度為200 時，模型的整體性能最好，訓練的時間相對較小，主要因為詞中上下文的關(guān)聯(lián)度比較大，包含更豐富的文本語義信息。因此本模型把詞向量的維度設(shè)置成200。

表5 不同詞向量維度的實驗結(jié)果Tab.5 Experimental results of different vectors dimensions of words

2.5 BGRU隱藏層節(jié)點數(shù)的選擇

根據(jù)表6分析可以得出，當BGRU 隱含層節(jié)點數(shù)為32時，模型的accuracy 和F1-Measure 最低，因為節(jié)點數(shù)過少不能夠完全地提取語義信息；當節(jié)點數(shù)由64 增加到96 時，模型的Accuracy 和F1-Measure 達到最高的值；隨后繼續(xù)增加節(jié)點數(shù)，Accuracy 和F1-Measure 都呈現(xiàn)下降的趨勢，說明當節(jié)點數(shù)不斷增加時，模型的整體性能越來越差。所以，本實驗中BGRU隱含層節(jié)點數(shù)選擇為96最好。

表6 不同節(jié)點數(shù)的實驗結(jié)果Tab.6 Experimental results of different numbers of nodes

2.6 對比實驗設(shè)置

本實驗模型與以下幾種常見模型進行對比分析。為了使對比的結(jié)果更具有可比性和準確性，所有模型詞向量的輸入都是Glove200維，每個對比模型中的參數(shù)值選取都一樣。

1）CNN［19］：只有CNN，由3 個卷積核大小分別為3、4、5 的卷積神經(jīng)網(wǎng)絡(luò)組成。

2）BLSTM［20］：只有BLSTM 網(wǎng)絡(luò)，其中BLSTM 隱含層節(jié)點數(shù)為96。

3）BGRU［21］：只有BGRU 網(wǎng)絡(luò)，其中BGRU 隱含層節(jié)點數(shù)為96。

4）CNN-BGRU：把3 個卷積核大小分別為3、4、5 的CNN與隱含層節(jié)點數(shù)為96的BGRU網(wǎng)絡(luò)鏈式連接。

5）CNN+BGRU：此模型主要是把3個卷積核大小分別為3、4、5的CNN與隱含層節(jié)點數(shù)為96的BGRU網(wǎng)絡(luò)并行連接。

6）CNN+BGRU+Attention：本文提出的模型在把3 個卷積核大小分別為3、4、5的CNN與隱含層節(jié)點數(shù)為96的BGRU網(wǎng)絡(luò)并行連接的基礎(chǔ)上引入注意力機制。

2.7 實驗結(jié)果分析

實驗在測試集上計算出Accuracy 值、Precision 值、Recall值、F1-Measure值，具體各個模型實驗結(jié)果如表7所示。

表7 不同模型的實驗結(jié)果Tab.7 Experimental results of different models

表7給出了6種實驗結(jié)果，從Accuracy 和F1-Measure這兩個評價指標可以得出，本文提出的CNN+BGRU+Attention 模型分別達到了91.46%和91.36%，均優(yōu)于其他的5種模型。從1、2組對比的實驗結(jié)果可知，只利用卷積神經(jīng)網(wǎng)絡(luò)提取文本語義信息的效果遠差于利用雙向長短時記憶神經(jīng)網(wǎng)絡(luò)獲取文本的上下文語義信息；從2、3 組可以看出在BLSM 結(jié)構(gòu)上做了改進的BGRU 不僅在訓練的時間上大幅縮減而且模型的Accuracy 和F1-Measure都得到了部分的提升；從4、5組和1、2、3組的實驗結(jié)果可以看出，兩種模型的任意組合在情感分析的任務(wù)中都要比單個CNN模型或者單個的BLSTM、BGRU模型效果好，主要是因為可以利用CNN提取文本的局部語義信息，以及對文本特征的強學習能力，雙向循環(huán)神經(jīng)網(wǎng)絡(luò)可以提取序列化特征上下文的學習能力，因此在模型組合時對CNN提取得到的特征進行再加工有著積極作用；第4 組的鏈式融合主要來源于Lai 等［22］將CNN模型和BiGRU模型以鏈式的方式融合，從4、5組對比實驗的結(jié)果可知本文提出并行融合的方式比鏈式融合方式效果更好；從5、6組實驗得出，在融合之后的模型中引入注意力機制能有效地提高Accuracy和F1-Measure，因為注意力機制通過權(quán)重的分配計算不同詞的詞向量概率權(quán)重，為模型學習到的特征給予不同的關(guān)注度，有利于模型快速地抓住最重要的特征。

本文將6 種模型在IMDB 數(shù)據(jù)集上，利用表3 參數(shù)設(shè)置中的參數(shù)訓練，得到在驗證集上的準確率、損失率與迭代次數(shù)之間的變化曲線，分別如圖6和圖7所示。

圖6 不同模型驗證集準確率變化情況Fig.6 Variation of accuracy of different models on verification set

從圖6 中可以看出，隨著迭代次數(shù)的增加，各個模型的準確率都在逐漸上升，并且在第二次迭代的時候所有模型的準確率都達到87%以上。本文模型的曲線相對于其他5條曲線變化比較平穩(wěn)，波動較小，驗證集準確率的值處于較高的位置，尤其在第7次迭代后較為明顯達到93%以上，得出本文模型在提取文本特征情感分析任務(wù)中更穩(wěn)定。

根據(jù)圖7可以分析出，CNN模型和BLSTM模型相對于其他4種模型的損失率變化波動最大極其不穩(wěn)定；而本文所使用的模型loss值下降速度較快并且loss值很快到達了一個相對低的穩(wěn)定值，總結(jié)出本文設(shè)計的模型取得了較好的收斂效果。

圖7 不同模型驗證集損失率變化情況Fig.7 Variation of loss of different models on verification set

迭代時間指的是完成一次實驗所需要的時間。圖8 給出了迭代時間與迭代次數(shù)之間的變化曲線?？傮w來看各個模型的迭代時間沒有很大的波動，整體時間呈平穩(wěn)趨勢。CNN 模型的迭代時間最短，主要的原因是卷積神經(jīng)網(wǎng)絡(luò)的最大池化層的訓練迭代收斂；BLSTM 的迭代時間最長，這與BLSTM 結(jié)構(gòu)比較復雜、參數(shù)太多分不開，BGRU 是BLSTM 的一種改進，減少“門”的數(shù)量，并把細胞狀態(tài)和隱藏狀態(tài)結(jié)合在了一起，結(jié)構(gòu)更加簡單，訓練參數(shù)減少，因此訓練的時間也降低很多；本文提出模型的迭代時間高于CNN-BGRU 和CNN+BGRU，主要的原因是引入注意力機制在能夠獲取重點信息的同時也增加了加權(quán)計算時間。

圖8 不同模型迭代時間變化情況Fig.8 Iteration time variation of different models

3 結(jié)語

本文提出一種基于并行混合網(wǎng)絡(luò)融入注意力機制的文本情感分析方法，該方法將文本轉(zhuǎn)換為詞向量后分別通過3 個大小不同的卷積核更全面、更細致地提取文本的特征和雙向門限循環(huán)網(wǎng)絡(luò)獲取上下文的語義信息，在提取得到的特征進行融合之后引入注意力機制使部分詞可以得到更多的關(guān)注突出重要的詞語，從而提高模型對文本類別的分類能力。從實驗結(jié)果的分析中可以看出，在相同的實驗條件下本模型的整體性能比單個CNN 或者單個BGRU 要好得多，雖然本模型在IMDB數(shù)據(jù)集上的準確率、綜合評價指標較高，損失率較低，但是如果數(shù)據(jù)集的數(shù)量比較大，準確率、綜合評價指標可能會有所下降，同時訓練的時間大大增加。需要不斷地改進模型以及算法，使得模型在數(shù)據(jù)量比較大時，得到較高的準確率、較低的損失率，同時減少訓練的時間。