注意力機(jī)制在情感分析中的應(yīng)用研究

王宇欣，方浩宇，張 偉，韓 普

(南京郵電大學(xué)，江蘇 南京 210003)

0 引 言

情感分析也稱意見挖掘、文本傾向性分析[1]。用戶情感分析對(duì)互聯(lián)網(wǎng)治理、用戶需求分析和網(wǎng)絡(luò)輿情傳播及引導(dǎo)發(fā)揮著重要作用，近些年成為社會(huì)各界的關(guān)注熱點(diǎn)。傳統(tǒng)的情感分析需要依賴情感詞典和人工規(guī)則，無(wú)法勝任復(fù)雜任務(wù)的情感分析任務(wù)。近些年，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)等神經(jīng)網(wǎng)絡(luò)模型成為情感分析的主流研究方法。為提高深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)模型的可解釋性，使其準(zhǔn)確捕捉文本或語(yǔ)句中的關(guān)鍵情感詞，減少噪音干擾，具有顯著目標(biāo)檢測(cè)功能的注意力機(jī)制得到了廣泛應(yīng)用。

Bahdanau等[2]最初將注意力機(jī)制應(yīng)用于機(jī)器翻譯任務(wù)，借鑒圖像處理任務(wù)中的注意力思想，對(duì)關(guān)鍵信息準(zhǔn)確提取，提高了模型生成譯文的質(zhì)量。注意力機(jī)制不僅應(yīng)用于機(jī)器翻譯[2-3]、序列標(biāo)注[4-5]和問答系統(tǒng)[6-7]等任務(wù)，而且常用于情感分析研究。在不同任務(wù)中，注意力機(jī)制都展現(xiàn)出了對(duì)長(zhǎng)距離依賴關(guān)系的較強(qiáng)捕捉能力。鑒于以上考慮，該文從注意力機(jī)制概念和分類、與神經(jīng)網(wǎng)絡(luò)和特征的融合及多模態(tài)情感分析中的應(yīng)用進(jìn)行系統(tǒng)全面地分析。

1 注意力機(jī)制的概念及分類

1.1 注意力機(jī)制的概念

1980年，Treisman等[8]針對(duì)視覺早期加工問題提出了注意的特征整合理論，該理論將注意力的選擇機(jī)制分為檢測(cè)獨(dú)立特征的前注意階段，以及可在獨(dú)立特征之間建立聯(lián)系，定位特征信息的注意階段。前注意階段收集并編碼環(huán)境中有關(guān)特征，但該階段并不能為后續(xù)處理過程提供直接空間關(guān)系，與注意并無(wú)關(guān)聯(lián)。而注意階段則是對(duì)前期收集的物體特征進(jìn)行邏輯加工，整合得出該物體輪廓，并同已知的物體描述進(jìn)行比較，得出需重點(diǎn)關(guān)注的特征。視覺注意力的特征整合理論具有自上而下加工、局部交互等特性，為深度學(xué)習(xí)中注意力機(jī)制的產(chǎn)生奠定了一定的理論基礎(chǔ)。注意力機(jī)制體現(xiàn)了與視覺注意力相似的工作原理。，它結(jié)合了外部信息及內(nèi)部感知，在神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)輸入數(shù)據(jù)的關(guān)鍵信息后，通過不斷學(xué)習(xí)提高注意力對(duì)目標(biāo)區(qū)域的觀察精度，高效地分配有限資源。

最早的注意力機(jī)制應(yīng)用于機(jī)器翻譯領(lǐng)域[2]，該機(jī)制基于Encoder-Decoder框架[9]搭建，通過將輸入序列轉(zhuǎn)化為固定長(zhǎng)度的向量實(shí)現(xiàn)編碼，再將此前生成的固定長(zhǎng)度向量轉(zhuǎn)化為輸出序列即完成解碼。其中，輸入序列表示為X={x1,x2,…,xm}，輸出序列表示為Y={y1,y2,…,yn}，輸入序列通過編碼模塊的非線性變換轉(zhuǎn)化成語(yǔ)義編碼C，再將其輸入到解碼模塊轉(zhuǎn)化為輸出序列Y，具體計(jì)算公式如下：

C=F(x1,x2,…,xm)

(1)

yi=G(C,y1,y2,…,yi-1)

(2)

該框架中引入注意力機(jī)制來(lái)解決序列長(zhǎng)度增加導(dǎo)致解碼精確性下降的問題，在編碼解碼過程中加入隱藏向量序列hi(i=1,2,…,n)，可使模型借助輸入序列傳遞的信息有選擇性地篩選子集進(jìn)行解碼，其計(jì)算公式如下：

(3)

假設(shè)查詢?yōu)镼，數(shù)據(jù)源為S，關(guān)鍵字為K，權(quán)重為V，注意力值為A，序列中以鍵值對(duì)(K,V)的形式來(lái)儲(chǔ)存源文本上下文中每一個(gè)元素，則注意力機(jī)制是Q到一系列鍵值對(duì)(K,V)的映射函數(shù)。其中，注意力機(jī)制先計(jì)算qt與ki的相似度，得到注意力得分ei，相似度越高，表明某元素對(duì)于查詢目標(biāo)越重要，ei值越大；再用softmax函數(shù)對(duì)注意力得分ei進(jìn)行歸一化處理，突出重要元素的權(quán)重；最后根據(jù)權(quán)重系數(shù)對(duì)V值進(jìn)行加權(quán)求和，獲得注意力值A(chǔ)，具體計(jì)算公式如下：

eti=F(qt,ki)

(4)

(5)

(6)

1.2 注意力機(jī)制的分類

(1)全局注意力機(jī)制與局部注意力機(jī)制。

根據(jù)關(guān)注范圍，可分為全局注意力機(jī)制和局部注意力機(jī)制[3]。二者的區(qū)別在于前者在計(jì)算注意力機(jī)制值時(shí)考慮源文本序列中每個(gè)元素的權(quán)重系數(shù)，而后者僅考慮預(yù)測(cè)窗口內(nèi)元素的權(quán)重分布，并采用高斯分布的計(jì)算方式增強(qiáng)注意力機(jī)制的運(yùn)行效果。全局注意力存在噪聲干擾，運(yùn)行效果會(huì)隨著源文本長(zhǎng)度增加而減弱，同時(shí)在運(yùn)行過程中會(huì)產(chǎn)生不必要的計(jì)算開銷；局部注意力可更準(zhǔn)確地對(duì)源文本中重要特征進(jìn)行識(shí)別并提高其注意力權(quán)重，減少計(jì)算消耗。

(2)軟注意力機(jī)制和硬注意力機(jī)制。

根據(jù)注意力機(jī)制在計(jì)算注意力值時(shí)的方法不同，注意力機(jī)制可分為軟注意力機(jī)制和硬注意力機(jī)制[10]。軟注意力機(jī)制在計(jì)算注意力值時(shí)，將輸入的序列與對(duì)應(yīng)的注意力權(quán)重加權(quán)求即可得到注意力值，其中注意力權(quán)重的取值范圍在區(qū)間[0.1]內(nèi)；而硬注意力機(jī)制則引入一個(gè)由注意力權(quán)重變換得到的變量，該變量取值僅為0或1，其注意力值由輸入序列與新的變量加權(quán)求和后得到。新變量的引入導(dǎo)致硬注意力機(jī)制對(duì)單個(gè)元素只會(huì)采取關(guān)注或不關(guān)注的策略，即其用在情感分析領(lǐng)域中時(shí)只能對(duì)單個(gè)詞進(jìn)行關(guān)注，而無(wú)法準(zhǔn)確關(guān)注上下文的情感信息，因此并不適用。

(3)動(dòng)態(tài)注意力機(jī)制。

動(dòng)態(tài)注意力將前一時(shí)刻包含實(shí)體表示和注意力值的注意力信息輸入注意力網(wǎng)絡(luò)，與上下文語(yǔ)句表示融合后通過得分計(jì)算，歸一化后下一時(shí)刻的注意力值，再通過GRU網(wǎng)絡(luò)得到新的實(shí)體表示。李麗雙等[11]首次將動(dòng)態(tài)注意力機(jī)制應(yīng)用于特定目標(biāo)的情感分類任務(wù)，該機(jī)制可以根據(jù)上下文信息動(dòng)態(tài)改變目標(biāo)實(shí)體表示和注意力值，有效地獲取了目標(biāo)實(shí)體上下文的情感特征，排除了以前誤注意到的信息，降低了噪聲干擾。

(4)自注意力機(jī)制。

自注意力機(jī)制[12]可應(yīng)用于序列內(nèi)部，通過計(jì)算將句子中任意兩個(gè)詞直接聯(lián)系起來(lái)，進(jìn)而捕獲源文本序列內(nèi)部元素間相互依賴的特征，解決了基于外部查詢的編碼器-解碼器會(huì)導(dǎo)致忽視文本自身特性的問題。為應(yīng)對(duì)不同任務(wù)以及模型性能提升的需求，自注意力不僅可以代替單獨(dú)使用，也可以替換編碼器或解碼器并結(jié)合其他神經(jīng)網(wǎng)絡(luò)模型使用。

(5)多頭注意力機(jī)制。

多頭注意力機(jī)制在編碼器與解碼器中大量使用多頭自注意力[13]，對(duì)文本序列做多次并行注意力計(jì)算，允許模型同時(shí)關(guān)注不同位置的表示子空間的信息。為提高模型的并行計(jì)算能力，Vaswani等[13]將位置信息編碼融入多頭注意力，可以防止當(dāng)前序列與后續(xù)序列的位置信息發(fā)生混淆，且由于多頭注意力的每個(gè)頭都經(jīng)過降維處理，模型不會(huì)為實(shí)驗(yàn)帶來(lái)過多的計(jì)算開銷。李輝等[14]在情感分析中使用雙層多頭自注意力機(jī)制，學(xué)習(xí)并捕獲文本中的詞依賴關(guān)系及結(jié)構(gòu)特征，提高了模型的精確度。

2 結(jié)合注意力機(jī)制與神經(jīng)網(wǎng)絡(luò)的情感分析模型

2.1 與循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)合的情感分析模型

(1)注意力機(jī)制融入RNN的情感分析模型。

循環(huán)神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)的多層BP神經(jīng)網(wǎng)絡(luò)隱藏層中建立了橫向聯(lián)系，并使用權(quán)重矩陣將上一時(shí)間序列中神經(jīng)單元的值傳遞至下一時(shí)間序列中，使模型具備記憶功能。Rong等[15]設(shè)計(jì)出一種深度半監(jiān)督的遞歸神經(jīng)網(wǎng)絡(luò)用于結(jié)構(gòu)信息感知。Cai等[16]利用雙向RNN[17]結(jié)合注意力機(jī)制進(jìn)行多任務(wù)的情感分析。RNN具有記憶性、參數(shù)共享、圖靈完備等特點(diǎn)，在對(duì)序列的非線性特征的學(xué)習(xí)時(shí)具有一定優(yōu)勢(shì)。但RNN僅依靠隱藏單元并不能很好地保存序列信息，隨著時(shí)間推移，模型會(huì)忘記之前的狀態(tài)信息，且由于激活函數(shù)的累乘，會(huì)出現(xiàn)梯度消失及梯度爆炸問題，訓(xùn)練困難度較大，應(yīng)用范圍受限。

(2)注意力機(jī)制融入LSTM的情感分析模型。

長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(Long Short Term Memory，LSTM)[18]是RNN的變體。LSTM在RNN的基礎(chǔ)上，采用“細(xì)胞狀態(tài)”的思想，增加了對(duì)過去狀態(tài)的過濾，有選擇地進(jìn)行狀態(tài)的記憶與遺忘，更好地結(jié)合注意力機(jī)制應(yīng)用于情感分析任務(wù)。申靜波等[19]為突出情感分析過程中單個(gè)詞匯的重要貢獻(xiàn)率，將注意力機(jī)制融入LSTM中，提高了分類效果?；贚STM能夠捕捉文本前后情感語(yǔ)義關(guān)系的特點(diǎn)，顧軍華等人[20]提出了CNN-Attention-LSTM模型。陳千等[21]在融合LSTM、CNN與注意力機(jī)制的基礎(chǔ)上，提出了兩種針對(duì)單標(biāo)記和多標(biāo)記情感分類任務(wù)的循環(huán)卷積注意力模型，實(shí)驗(yàn)表明該模型具有較強(qiáng)穩(wěn)定性。段宇翔等人[22]設(shè)計(jì)了基于LSTM-CNNS的情感增強(qiáng)模型，結(jié)合情感詞庫(kù)和自注意力機(jī)制對(duì)中文微博文本進(jìn)行情感分析。在以上情感分析任務(wù)中，注意力機(jī)制與LSTM的融合降低了模型訓(xùn)練難度，同時(shí)充分利用了文本上下文中元素之間的相互關(guān)系，挖掘關(guān)鍵信息的價(jià)值。

針對(duì)更細(xì)粒度的情感分析任務(wù)，彭祝亮等[23]在Bi-LSTM[24]中加入方面注意力模塊，使模型可以同時(shí)對(duì)文本的不同方面進(jìn)行獨(dú)立訓(xùn)練，解決了方面情感分析中句子包含多方面情感特征或特征表示模糊時(shí)，無(wú)法有效提取情感特征的問題。Li等[25]在字編碼的基礎(chǔ)上結(jié)合Bi-LSTM和注意力機(jī)制，對(duì)帶有網(wǎng)絡(luò)俚語(yǔ)、表情符的中文微博文本進(jìn)行幽默情感檢測(cè)。Zhao等[26]提出了方面級(jí)情感分類模型，融合了Bi-LSTM、帶有位置編碼的雙向注意力機(jī)制與圖卷積網(wǎng)絡(luò)，用情感圖對(duì)方面情感的依賴關(guān)系進(jìn)行建模。

(3)注意力機(jī)制融入GRU的情感分析模型。

門控循環(huán)單元(Gated Recurrent Unit，GRU)是由Cho等[27]提出的一種LSTM的變體模型，不同于LSTM輸入門、遺忘門、輸出門的三重門設(shè)定，GRU只有更新門與重置門。更新門控制了當(dāng)前狀態(tài)保存的前一時(shí)刻狀態(tài)信息的量；重置門控制前一狀態(tài)信息被忽略的程度。結(jié)構(gòu)設(shè)計(jì)上GRU比LSTM網(wǎng)絡(luò)更簡(jiǎn)單，整體訓(xùn)練速度更快，也同樣可以解決RNN網(wǎng)絡(luò)中的長(zhǎng)依賴問題。袁和金等[28]利用多通道CNN進(jìn)行不同粒度特征提取，再利用Bi-GRU集成文本特征，搭配注意力機(jī)制獲得文本上下文情感特征。孫敏等[29]設(shè)計(jì)了并行混合網(wǎng)絡(luò)框架，在模型的嵌入層采用CNN與Bi-GRU提取不同特點(diǎn)的文本特征，經(jīng)特征融合后送入注意力機(jī)制來(lái)判斷不同單詞的重要程度，并完成情感分析任務(wù)。Liu等[30]首次將二維卷積注意力模塊(CBAM)[31]應(yīng)用于不同粒度級(jí)別的情感分析任務(wù)，并融合了Bi-GRU與帶有注意力機(jī)制的二維CNN，研究表明，CBAM考慮了文檔中復(fù)雜的組合語(yǔ)義和依賴關(guān)系，可以進(jìn)一步提升模型效果。

2.2 與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合的情感分析模型

卷積神經(jīng)網(wǎng)絡(luò)是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，最初應(yīng)用于圖像處理任務(wù)。該模型一般包含輸入層、用于特征提取的卷積層、用于插入非線性特征的激勵(lì)層、用于簡(jiǎn)化計(jì)算負(fù)責(zé)度和提取主要特征的池化層以及用于連接所有神經(jīng)元并完成分類的全連接層。其具有權(quán)值共享、局部連接等特點(diǎn)，被廣泛應(yīng)用于情感分析任務(wù)中。Shin等[32]針對(duì)情感分析任務(wù)，提出將注意力機(jī)制有效融入CNN的方法，以提升傳統(tǒng)CNN的魯棒性。徐菲菲等[33]運(yùn)用CNN的卷積模塊提取文本初步特征，再利用注意力機(jī)制與最小門控單元[34]進(jìn)行關(guān)鍵信息的優(yōu)化與加強(qiáng)。朱燁等[35]利用k近鄰算法得到加權(quán)文本矩陣，并與原始文本矩陣融合構(gòu)建注意力，最后利用雙通道CNN對(duì)文本進(jìn)行情感分類，該模型可以有效利用文本特征間的依賴關(guān)系，獲取更多有用信息。

在CNN整體框架中，將低層特征加權(quán)組合形成了高層特征，即計(jì)算前一層的激活值與后一層神經(jīng)元權(quán)重乘積的和，并通過非線性激活函數(shù)進(jìn)行激活。這些操作使得高低層特征之間的位置關(guān)系變得模糊，傳統(tǒng)CNN模型在文本分析中會(huì)存在上下文語(yǔ)義丟失等問題。

2.3 與混合神經(jīng)網(wǎng)絡(luò)結(jié)合的情感分析模型

為解決傳統(tǒng)CNN在文本分析中丟失上下文語(yǔ)義、最大池化操作中丟失大量特征信息等問題，陳潔等[36]提出了并行混合神經(jīng)網(wǎng)絡(luò)，該模型將Bi-GRU融入CNN輸出端，并在CNN卷積層和Bi-GRU輸出端插入注意力機(jī)制，從而保留較多語(yǔ)義特征，提高了情感分析的精準(zhǔn)度。楊長(zhǎng)利等[37]在混合神經(jīng)網(wǎng)絡(luò)層融合膠囊網(wǎng)絡(luò)、Bi-GRU與注意力機(jī)制，使其自適應(yīng)地感知上下文信息，在提取局部特征、減少池化層信息丟失的同時(shí)，又兼顧處理文本序列全局特征，提高情感分類準(zhǔn)確度。王麗亞等[38]提出字符級(jí)聯(lián)合網(wǎng)絡(luò)特征融合模型，先利用Skip-gram模型提取字符級(jí)詞向量，再使用Bi-GRU和CNN-BiGRU并行的聯(lián)合網(wǎng)絡(luò)提取其中的特征，并利用前饋?zhàn)⒁饬δＰ瓦M(jìn)行篩選、降噪，完成情感分析。

2.4 與其他神經(jīng)網(wǎng)絡(luò)結(jié)合的情感分析模型

(1)注意力機(jī)制融入膠囊網(wǎng)絡(luò)的情感分析模型。

CNN的池化雖然可以通過壓縮數(shù)據(jù)尺寸、減少實(shí)驗(yàn)參數(shù)使模型加速收斂，并控制過度擬合、減少計(jì)算損耗，但相對(duì)應(yīng)地會(huì)使部分重要數(shù)據(jù)丟失，降低了模型分辨率。為彌補(bǔ)CNN無(wú)法動(dòng)態(tài)識(shí)別圖像、位置信息表示模糊的不足，Sabour等[39]提出膠囊網(wǎng)絡(luò)模型，利用平移可變性特點(diǎn)多角度識(shí)別圖像中的物體，精確圖中事物的位置關(guān)系，并通過動(dòng)態(tài)路由算法分割高度重疊的對(duì)象。王家乾等[40]將多頭自注意力機(jī)制用于獲取語(yǔ)義信息，膠囊網(wǎng)絡(luò)用于獲取空間位置信息，多頭交互注意力機(jī)制用于信息融合。該模型捕捉了中長(zhǎng)距離語(yǔ)義信息和位置特征信息，提高了模型性能。楊長(zhǎng)利等[37]提出了雙通道混合神經(jīng)網(wǎng)絡(luò)模型，將注意力機(jī)制分別與膠囊網(wǎng)絡(luò)、雙向門限循環(huán)單元Bi-GRU相結(jié)合，使其自適應(yīng)地感知上下文信息并提取影響文本情感分析的文本特征。

(2)注意力機(jī)制融入其他神經(jīng)網(wǎng)絡(luò)的情感分析模型。

切片循環(huán)神經(jīng)網(wǎng)絡(luò)(SRNN)[41]利用切片思想，在不改變序列中循環(huán)結(jié)構(gòu)的基礎(chǔ)上，實(shí)現(xiàn)RNN的并行化。該模型將輸入序列分割成最小的等子序列，循環(huán)單元可同時(shí)在每層的每個(gè)子序列中同時(shí)工作，信息通過多層神經(jīng)網(wǎng)絡(luò)傳輸。實(shí)驗(yàn)結(jié)果證明，在不改變循環(huán)單元的情況下，SRNN的運(yùn)行速度比RNN結(jié)構(gòu)快135倍。陳虎等[42]將注意力機(jī)制與雙向切片門控循環(huán)單元結(jié)合，切片后的多個(gè)子序列輸入到Bi-GRU中，并通過注意力機(jī)制對(duì)其隱藏狀態(tài)進(jìn)行加權(quán)計(jì)算。實(shí)驗(yàn)表明，該模型可以彌補(bǔ)低層網(wǎng)絡(luò)的長(zhǎng)期依賴型損失，充分提取文本語(yǔ)義特征。

通過已有研究可知，在神經(jīng)網(wǎng)絡(luò)中融入注意力機(jī)制可取得更好的情感分析效果。在與神經(jīng)網(wǎng)絡(luò)結(jié)合時(shí)，注意力機(jī)制通常用CNN的卷積層與池化層之間，或者用在Bi-LSTM，Bi-GRU等模型輸出之后，以提高重要信息的權(quán)重。由于CNN更善于抽取上下文中的局部信息，而GRU更善于捕獲文本序列的全局信息，因此，基于CNN、Bi-GRU和注意力機(jī)制的并行混合神經(jīng)網(wǎng)絡(luò)模型(CA-BGA)[36]具有更好的效果。在CA-BGA模型中，自注意力機(jī)制分別與CNN和Bi-GRU融合以提取局部特征和全局特征。實(shí)驗(yàn)表明，該模型比CNN加注意力機(jī)制效果高出8.24%，注意力機(jī)制將模型性能提升了1.65%。

3 基于注意力機(jī)制的特征融合情感分析模型

3.1 融合基本特征的情感分析模型

在文本情感分析中，名詞、動(dòng)詞、形容詞等實(shí)詞相比介詞、連詞等虛詞更突出情感信息。為減低虛詞的噪聲干擾，突出目標(biāo)元素，提高模型精確度，曾碧卿等[43]采用局部注意力卷積神經(jīng)網(wǎng)絡(luò)從詞和詞性兩種特征中提取篇章特征，在詞特征通道和詞性特征通道獲取到特征表示后，在全局注意力層對(duì)兩種特征進(jìn)行特征融合。王家乾等[40]將Glove詞向量和Bi-GRU分別結(jié)合多頭自注意力機(jī)制，獲取并融合上下文和目標(biāo)詞的語(yǔ)義特征，接著通過膠囊網(wǎng)絡(luò)獲取相應(yīng)的位置特征，并使用多頭交互注意力機(jī)制將位置與語(yǔ)義特征進(jìn)行拼接，最終完成情感分析。

為發(fā)揮表情符號(hào)對(duì)識(shí)別微博文本情感極性的輔助作用，提升模型精度，譚皓等[44]在Bi-LSTM中融入表情符注意力機(jī)制，將文本與表情符同時(shí)訓(xùn)練以得到含有上下文信息的表情符向量。韓萍等[45]將融入表情符號(hào)特征的基本語(yǔ)義向量作為模型輸入，并利用帶有位置信息的多維自注意力機(jī)制對(duì)詞向量進(jìn)行注意力計(jì)算，得到語(yǔ)句的權(quán)重矩陣并提取句子特征向量，最后完成情感分類。針對(duì)情感分析中否定詞、副詞等情感修飾詞未被充分利用的現(xiàn)狀，謝潤(rùn)忠等[46]建立了含有情感修飾詞和情感詞的情感語(yǔ)言庫(kù)，經(jīng)過BERT預(yù)訓(xùn)練得到的情感語(yǔ)言庫(kù)詞向量與語(yǔ)料詞向量，并分別輸入基于雙通道注意力機(jī)制的全連接神經(jīng)網(wǎng)絡(luò)和Bi-GRU提取情感與語(yǔ)義信息特征。

3.2 融合深層特征的情感分析模型

藍(lán)亦倫等[47]通過自編碼器得出視覺和情感語(yǔ)義的聯(lián)合嵌入特征，再利用注意力機(jī)制確定圖像中與聯(lián)合嵌入特征相關(guān)的顯著區(qū)域，并基于該區(qū)域構(gòu)建情感分類器，解決了視覺與文本特征存在差異的問題。為提升模型對(duì)句法信息和詞依存關(guān)系的捕獲能力，陳佳偉等[48]使用多頭自注意力機(jī)制獲取語(yǔ)義信息，并通過圖卷積網(wǎng)絡(luò)獲取句子依存樹中的句法信息和詞依存關(guān)系，最后輸入GTRU[49]完成情感分析任務(wù)。由于傳統(tǒng)文檔級(jí)情感分析中存在語(yǔ)義理解不足等問題，劉廣峰等[50]先通過層級(jí)LSTM提取深層情感特征，再利用LDA算法計(jì)算得到的主題分布矩陣構(gòu)建注意力機(jī)制提取文檔特征，并依據(jù)上述兩種特征進(jìn)行情感分析。

通過已有文獻(xiàn)可以發(fā)現(xiàn)，在特征融合的情感分析模型中，注意力機(jī)制不僅可以提高重要詞匯的權(quán)重，還可以捕獲深層語(yǔ)義信息及融合多種特征。在融合基本特征的情感分析模型中，詞性和位置特征可以降低虛詞和連詞等對(duì)實(shí)驗(yàn)的干擾；表情符號(hào)和否定詞包含較為強(qiáng)烈的情感信息，融合這些特征后可以提升模型的準(zhǔn)確率。在融合深層特征的模型中，語(yǔ)義嵌入、句法依存和主題信息可以提升模型對(duì)詞語(yǔ)間關(guān)系和詞語(yǔ)與主題間關(guān)系的識(shí)別精度，以及語(yǔ)義信息的捕獲能力。

4 基于注意力機(jī)制的多模態(tài)情感分析模型

4.1 結(jié)合文本與圖像的多模態(tài)情感分析

在文本與圖像結(jié)合的多模態(tài)應(yīng)用中，早期的多模態(tài)分析不能充分挖掘多模態(tài)數(shù)據(jù)的研究?jī)r(jià)值。為提高多模態(tài)情感分析的性能，Huang等[51]將兩個(gè)分別針對(duì)圖像和文本信息的獨(dú)立單峰注意力機(jī)制，與基于中間融合的多模態(tài)注意力機(jī)制，通過后期融合完成情感預(yù)測(cè)。Truong等[52]利用注意力機(jī)制將視覺信息應(yīng)用于句子級(jí)別的對(duì)齊，解決了文本與圖像信息融合過程中會(huì)產(chǎn)生向量空間不一致的問題。Man等[53]在通過CNN獲得圖像的局域地圖后，利用注意力機(jī)制輔助神經(jīng)網(wǎng)絡(luò)獲取全局特征，最后由張量融合網(wǎng)絡(luò)[54]將圖像特征與LSTM提取的文本特征融合，達(dá)到獲取局部關(guān)注特征與全局上下文特征的目的。

4.2 結(jié)合文本與語(yǔ)音的多模態(tài)情感分析

針對(duì)文本和語(yǔ)音的多模態(tài)分析任務(wù)，Xu等[55]以Bi-LSTM為主框架，通過語(yǔ)音編碼、語(yǔ)音識(shí)別文本編碼以及基于注意力機(jī)制的多模態(tài)融合網(wǎng)絡(luò)三個(gè)模塊，實(shí)現(xiàn)了音頻和識(shí)別文本在時(shí)序空間的交互。吳良慶等[56]先獲得語(yǔ)音及文本的情緒和情感單模態(tài)特征，再分別獲取情緒特征對(duì)應(yīng)的情感特征得到完整的情緒特征單模態(tài)表示，之后通過自注意力機(jī)制捕獲各模態(tài)間的交互特征，最終得到多模態(tài)情緒與情感表示。

4.3 針對(duì)視頻的多模態(tài)情感分析

針對(duì)視頻的多模態(tài)分析任務(wù)，王雨竹等[57]使用Bi-GRU分別從視頻中獲取文本、語(yǔ)言和圖像的模態(tài)數(shù)據(jù)，利用模態(tài)間上下文感知注意力機(jī)制，捕獲并融合各模態(tài)與上下文交互信息，將多模態(tài)特征合并輸入分類器及回歸器完成情感分析。

針對(duì)包含視頻、短視頻和表情包等多模態(tài)情感分析任務(wù)，注意力機(jī)制一方面可以提取不同模態(tài)的特征，完成各模態(tài)間信息的融合，另一方面可以完成模態(tài)間信息對(duì)齊以解決向量空間不一致的問題。

已有研究多使用神經(jīng)網(wǎng)絡(luò)提取不同模態(tài)的信息，并通過融合特征或提取交互特征的方式，完成多模態(tài)情感分析。

5 研究趨勢(shì)

隨著深度學(xué)習(xí)的不斷發(fā)展，注意力機(jī)制的更多特性被不斷挖掘并應(yīng)用在情感分析領(lǐng)域，如何使其適應(yīng)不同需求的分析任務(wù)是當(dāng)前學(xué)界關(guān)注的熱點(diǎn)?；诋?dāng)前的最新研究成果，結(jié)合注意力機(jī)制的情感分析研究趨勢(shì)主要表現(xiàn)在以下兩點(diǎn)。

(1)反諷以及多模態(tài)情感的辨別。

在情感分析中，反諷、諷刺等作為難以辨別真實(shí)意圖的情感表達(dá)方式，一定程度上降低了模型準(zhǔn)確度。未來(lái)，研究學(xué)者可以嘗試?yán)枚嗄B(tài)注意力機(jī)制來(lái)解決反諷情感難以檢測(cè)的問題，通過捕捉說(shuō)話者細(xì)微的動(dòng)作變化，并結(jié)合所述文字或話音信息，分析人們是在正常表述情感狀態(tài)，還是在利用反諷或自嘲強(qiáng)調(diào)自己與他人不同的立場(chǎng)。融合不同模態(tài)信息可以增強(qiáng)模型對(duì)模糊語(yǔ)義的感知與判斷。

(2)自注意力機(jī)制的應(yīng)用延伸。

近年來(lái)，出現(xiàn)了針對(duì)圖像識(shí)別任務(wù)的注意力機(jī)制衍生模型，如通過對(duì)各特征通道間的作用關(guān)系進(jìn)行建模，提高重要特征通道的權(quán)重的Squeeze-and-Excitation Network(SENet)[58]、包含通道注意力和空間注意力的注意力模塊CBAM[31]以及通過十字交叉的注意力網(wǎng)絡(luò)獲取長(zhǎng)依賴關(guān)系的Criss Cross Network(CCNet)[59]。這些衍生模型較傳統(tǒng)注意力機(jī)制的效果有明顯提高，后續(xù)可以應(yīng)用于情感分析任務(wù)。

6 結(jié)束語(yǔ)

首先介紹了注意力機(jī)制的概念和常見類型；其次對(duì)注意力機(jī)制與常用神經(jīng)網(wǎng)絡(luò)模型CNN、RNN及其衍生模型、膠囊網(wǎng)絡(luò)及幾種神經(jīng)網(wǎng)絡(luò)的混合模型等進(jìn)行了系統(tǒng)闡述；接著基于注意力機(jī)制并梳理了融合文本基本和深度特征的情感分析模型；然后對(duì)注意力機(jī)制在多模態(tài)情感分析中的應(yīng)用進(jìn)行分類整理；最后給出了注意力機(jī)制在情感分析任務(wù)中的研究趨勢(shì)，為該領(lǐng)域的發(fā)展提供進(jìn)一步參考。