一種循環(huán)互作用注意力的屬性級(jí)情感分類模型

張周彬 邵黨國 馬 磊 楊嘉林 相 艷,2*

1(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院 云南 昆明 650500)2(昆明理工大學(xué)云南省人工智能重點(diǎn)實(shí)驗(yàn)室 云南 昆明 650500)

0 引 言

屬性情感分類是細(xì)粒度情感分類任務(wù)，目的是準(zhǔn)確抽取特定屬性的情感信息，判斷其情感極性[1-2]。例如，評(píng)論“Best of all is the warm vibe,the owner is super friendly and service is fast.”含有三個(gè)屬性“warm”、“owner”、“service”,它們的情感極性分別為正向、正向、正向。因此，屬性情感極性的判斷不僅依賴于上下文信息，還依賴于屬性的信息[3]。特別地，對(duì)于含有多個(gè)屬性的上下文，如果忽視屬性的信息，則很難識(shí)別不同屬性的情感極性。Jiang等[4]對(duì)Twitter數(shù)據(jù)集進(jìn)行了人工評(píng)估，結(jié)果表明40%的文本情感傾向性判斷錯(cuò)誤都源于沒有考慮屬性信息。

注意力機(jī)制最早用于圖像處理領(lǐng)域，主要作用是輔助神經(jīng)網(wǎng)絡(luò)對(duì)圖像信息處理時(shí)重點(diǎn)關(guān)注某些特定的信息。Bahdanau等[5]將注意力機(jī)制和循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合應(yīng)用于機(jī)器翻譯任務(wù)中，驗(yàn)證了注意力機(jī)制在自然語言處理領(lǐng)域的有效性。隨后注意力機(jī)制在文本分類、閱讀理解等自然語言任務(wù)中都取得了比較好的結(jié)果。Wang等[6]提出利用長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)和注意力機(jī)制對(duì)上下文提取特征時(shí)，加入基于屬性特征的注意力機(jī)制，取得了比較好的結(jié)果。Ma等[7]提出利用互動(dòng)學(xué)習(xí)注意力機(jī)制的方式學(xué)習(xí)屬性和上下文的表示，進(jìn)行情感分析。這些方法的成功應(yīng)用都表明了將循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制結(jié)合進(jìn)行屬性情感分類的有效性。

GRU(Gated Recurrent Unit)網(wǎng)絡(luò)是LSTM網(wǎng)絡(luò)的一種變體，相比LSTM網(wǎng)絡(luò)更為簡單，僅由更新門和重置門構(gòu)成，用于對(duì)神經(jīng)元信息的讀取、寫入，減少了模型的參數(shù)和復(fù)雜度，成為當(dāng)前比較流行的循環(huán)神經(jīng)網(wǎng)絡(luò)。由于文本中詞與詞之間都有依賴關(guān)系，使得GRU網(wǎng)絡(luò)廣泛地應(yīng)用于文本處理領(lǐng)域，并且取得比較好的結(jié)果。為了更好地學(xué)習(xí)屬性的情感信息，本文以GRU網(wǎng)絡(luò)為基礎(chǔ)，提出一種循環(huán)互作用注意力模型(Recurrent Mutual Attention Model,RMAM)進(jìn)行屬性情感分類。

1 相關(guān)工作

屬性級(jí)情感分類相關(guān)研究可分為基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法和基于神經(jīng)網(wǎng)絡(luò)的方法。傳統(tǒng)機(jī)器學(xué)習(xí)的方法中，代表性的方法有：文獻(xiàn)[8-9]利用手工定義規(guī)則的方式提取屬性特征。文獻(xiàn)[10-11]利用隱馬爾可夫模型(Hidden Markov Model，HMM)和條件隨機(jī)場(Conditional Random Field，CRF)模型對(duì)屬性和上下文進(jìn)行建模。雖然這些方法也能取得一定的效果，但是它們的性能嚴(yán)重依賴人工提取特征的質(zhì)量，并且耗費(fèi)大量的人力物力，模型復(fù)雜、泛化能力差。由于深度學(xué)習(xí)能夠自動(dòng)提取有效特征，使得深度學(xué)習(xí)方法被廣泛地應(yīng)用于自然語言處理(NLP)任務(wù)中。一些研究員提出將深度學(xué)習(xí)和傳統(tǒng)的方法相結(jié)合處理屬性級(jí)情感分類問題。Nguyen等[12]將循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和句法分析樹相結(jié)合。Dong等[13]采用一種自適應(yīng)的RNN網(wǎng)絡(luò)處理屬性情感分類問題。這些方法相比傳統(tǒng)的方法取得了比較好的性能，但是還是依賴了情感詞典、句法分析等傳統(tǒng)手段。為了徹底擺脫傳統(tǒng)的方法，一些研究員對(duì)深度學(xué)習(xí)進(jìn)行了深入的研究，在屬性級(jí)情感分類任務(wù)取得了比較好的結(jié)果[14-15]。Chen等[16]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于屬性情感分類任務(wù)中。Xue等[17]將門控機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合應(yīng)用于屬性情感分類。Ruder等[18]提出一種分層的雙向長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(Bi-LSTM)，有效學(xué)習(xí)句子內(nèi)部和句子之間的關(guān)系。Tang等[19]使用兩個(gè)LSTM網(wǎng)絡(luò)對(duì)屬性左右兩側(cè)的上下文進(jìn)行建模，挖掘?qū)傩缘那楦行畔ⅰay等[20]通過對(duì)上下文和屬性建模捕捉它們之間的關(guān)系，然后送入神經(jīng)網(wǎng)絡(luò)中自適應(yīng)的捕捉屬性詞和它的情感詞。Wang等[21]提出對(duì)詞語和從句聯(lián)合訓(xùn)練的方法。支淑婷等[22]融合多注意從不同角度提取屬性的情感特征。

以上的研究工作中，大部分模型忽視了對(duì)屬性單獨(dú)建模，以及上下文和屬性的相互作用。不同屬性的情感極性不僅依賴于上下文本身，還依賴于屬性的特征信息。因此，本文提出RMAM模型，將GRU網(wǎng)絡(luò)和注意力機(jī)制相結(jié)合，對(duì)屬性和上下文分別建模，提取有效的情感特征進(jìn)行屬性情感分類。

2 基于循環(huán)互作用注意力的模型

2.1 模型構(gòu)建

本文提出的RMAM模型如圖1所示。上下文的輸入為上下文詞向量，屬性的輸入為屬性向量，兩者通過單向GRU網(wǎng)絡(luò)進(jìn)行獨(dú)立語義編碼得到上下文隱藏層向量和屬性隱藏層向量。接著，將上下文隱層向量做平均池化得到上下文初始表示，利用該上下文初始表示去監(jiān)督屬性注意力權(quán)重的計(jì)算，該注意力權(quán)重和與屬性隱層向量相乘獲得屬性最終表示。然后，利用屬性最終表示去監(jiān)督上下文隱藏層向量注意力權(quán)重的計(jì)算，該注意力權(quán)重和上下文隱藏層向量相乘獲得上下文最終表示。最后，將屬性最終表示和上下文最終表示拼接得到評(píng)論文本最終的編碼特征，并利用該特征進(jìn)行情感分類。

圖1 循環(huán)互作用注意力模型

2.1.1 上下文和屬性的輸入

2.1.2 屬性表示

(1)

(2)

(3)

(4)

式中：Wt∈Rdt×dc表示權(quán)重;bt∈Rm表示偏置。

2.1.3 上下文表示

(5)

(6)

(7)

式中：Wc∈Rdc×dt表示權(quán)重;bc∈Rn表示偏置。

2.1.4 情感分類

將上下文的最終表征Cf和屬性的最終表征Tf拼接S=[Tf,Cf]送入Softmax函數(shù)，輸出屬性最終的情感分類結(jié)果。

2.2 模型訓(xùn)練

RMAM模型的訓(xùn)練采用反向傳播算法，損失函數(shù)利用交叉熵代價(jià)函數(shù)，為了避免過擬合問題，加入L2正則化，利用最小化損失函數(shù)對(duì)模型進(jìn)行優(yōu)化：

(8)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)和參數(shù)設(shè)置

RMAM模型在SemEval 2014 Task4上進(jìn)行了實(shí)驗(yàn)。SemEval 2014數(shù)據(jù)集由Restaurant和Laptop兩個(gè)不同領(lǐng)域語料構(gòu)成，數(shù)據(jù)集的評(píng)論中包含正向、中性和負(fù)向三種情感極性。表1顯示了實(shí)驗(yàn)數(shù)據(jù)的統(tǒng)計(jì)情況。

表1 實(shí)驗(yàn)數(shù)據(jù)

本文中詞向量使用的是Pennington等[23]提出的預(yù)訓(xùn)練的glove的300維詞向量，所有權(quán)重矩陣的初始值均通過均勻分布U(-0.1,0.1)隨機(jī)采樣給出，偏置的初始值為0。每次訓(xùn)練的batch_size=128,Dropout=0.3，使用Adam優(yōu)化算法的優(yōu)化參數(shù)，學(xué)習(xí)率設(shè)置為0.01。

3.2 基線模型

為了評(píng)估RMAM模型的有效性，將其與一些基線模型進(jìn)行比較，基線模型如下：

TD-LSTM[19]:TD-LSTM模型通過兩個(gè)LSTM對(duì)屬性的上下文信息從正向和反向進(jìn)行語義編碼，然后，將兩個(gè)隱藏層的輸出拼接進(jìn)行屬性情感分類。

AT-LSTM[6]：AT-LSTM模型在LSTM網(wǎng)絡(luò)的基礎(chǔ)上引入注意力機(jī)制，重點(diǎn)關(guān)注屬性的情感信息，取得比較好的結(jié)果。

TC-LSTM[19]：TC-LSTM模型是在TD-LSTM模型上的一種改進(jìn)，將屬性特征拼接到上下文作為模型的輸入，讓模型自動(dòng)識(shí)別和屬性相關(guān)的信息，提升情感分類的準(zhǔn)確性。

ATAE-LSTM[6]:ATAE-LSTM模型是在AT-LSTM模型的輸入層引入屬性特征，讓模型能夠在雙向LSTM網(wǎng)絡(luò)語義編碼時(shí)學(xué)習(xí)更多與屬性相關(guān)的特征信息。

IAN[7]：IAN模型是對(duì)屬性和上下文分別單獨(dú)建模，利用互作用注意力方式學(xué)習(xí)生成屬性和上下文有效的表示，最后將它們拼接預(yù)測屬性的情感極性。

3.3 實(shí)驗(yàn)分析

3.3.1 與基線模型的比較

本文將6種模型在SemEval2014 task4 Restaurant和Laptop兩個(gè)不同領(lǐng)域語料上進(jìn)行了實(shí)驗(yàn)，表2給出了6種模型在屬性級(jí)情感分類三分類和二分類準(zhǔn)確率比較情況。

表2 不同模型屬性情感分類準(zhǔn)確率比較

從表2的結(jié)果可以看出，對(duì)于屬性情感極性三分類任務(wù)，ATAE-LSTM和TC-LSTM模型相比TC-LSTM和AT-LSTM模型均取得比較好的結(jié)果，說明在模型中引入屬性特征能夠幫助模型挖掘?qū)傩院蜕舷挛闹胁煌~語義關(guān)聯(lián)信息，方便模型學(xué)習(xí)不同屬性的情感特征。而ATAE-LSTM模型相比TC-LSTM模型在語料Restaurant上準(zhǔn)確率高出0.9%，驗(yàn)證了注意力機(jī)制在屬性情感分類任務(wù)中的有效性。IAN模型通過兩個(gè)LSTM網(wǎng)絡(luò)對(duì)屬性和上下文進(jìn)行獨(dú)立編碼語義信息，利用互作用注意力方式重點(diǎn)關(guān)注和屬性相關(guān)的情感信息，相比ATAE-LSTM和TC-LSTM模型在Restaurant和Laptop語料上準(zhǔn)確率高出1.4%、2.4%和2.3%、1.1%，再一次證明注意力機(jī)制和屬性的引入對(duì)于屬性情感分類的有效性。而RMAM模型在這兩個(gè)語料上獲得最好的結(jié)果，相比IAN模型提升1.6%和0.6%。

為了進(jìn)一步顯示RMAM模型的有效性，本文將Restaurant和Laptop兩個(gè)語料中的中性數(shù)據(jù)剔除，只保留正向和負(fù)向的數(shù)據(jù)進(jìn)行二分類實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表2所示，可以看出在剔除中性樣本后，RMAM模型在Restaurant和Laptop兩個(gè)領(lǐng)域的語料上的準(zhǔn)確率都有明顯提升，說明模型對(duì)于中性樣本分類效果不理想。通過對(duì)Restaurant和Laptop兩個(gè)語料中的中性情感樣本進(jìn)行分析發(fā)現(xiàn)，這些樣本大都是對(duì)屬性進(jìn)行了一個(gè)客觀描述，并沒有表達(dá)任何情感。例如“This is a consistently great place to dine for lunch or dinner.”對(duì)屬性“l(fā)unch”和“dinner”沒有表達(dá)情感。另外，基于評(píng)論的隨意性和多樣性使得大多數(shù)的評(píng)論并不遵循語法規(guī)則，且對(duì)情感的表達(dá)常采用情感符號(hào)、網(wǎng)絡(luò)用語或者比較含蓄的方式，使得模型不能很好地識(shí)別屬性的情感信息，從而將屬性的情感極性判斷錯(cuò)誤。通過實(shí)驗(yàn)結(jié)果的比較，本文提出的模型相比其他基線模型在Restaurant和Laptop語料上均取得了最好的結(jié)果，分別為0.925和0.884。比基線模型中最好的IAN模型高出0.9%和0.4%，說明RMAM模型能夠比較好地解決不同領(lǐng)域的屬性情感分類任務(wù)。

3.3.2 屬性和上下文互作用學(xué)習(xí)作用分析

為了驗(yàn)證屬性和上下文互作用學(xué)習(xí)的有效性，本文將上下文和屬性之間的互作用學(xué)習(xí)去掉構(gòu)建了新的模型(An recurrent attention model，RAM)。RAM模型的思想是:對(duì)屬性和上下文分別單獨(dú)建模，它們各自利用自身注意力分別計(jì)算注意力權(quán)重，提取有效情感特征。RMAM模型和RAM模型分別進(jìn)行了三分類實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 互作用學(xué)習(xí)對(duì)分類準(zhǔn)確率的影響

由圖2可知，在兩個(gè)不同領(lǐng)域的數(shù)據(jù)集上，RMAM模型相比RAM模型取得了更好的結(jié)果，在Restaurant和Laptop兩個(gè)語料上分別高出2.1%和3%，表明屬性和上下文之間互作用學(xué)習(xí)能夠?qū)W習(xí)到更好的情感特征。

4 結(jié) 語

針對(duì)屬性級(jí)情感分類任務(wù)，本文提出RMAM模型，利用兩個(gè)GRU網(wǎng)絡(luò)和注意力相結(jié)合網(wǎng)絡(luò)以互作用對(duì)屬性和上下文進(jìn)行建模，提取有效的情感特征。RMAM模型可以密切關(guān)注屬性和上下文中重要信息，生成屬性和上下文的有效表示，解決了以往模型忽視屬性信息和對(duì)屬性單獨(dú)建模的問題。在SemEval 2014 Task4兩個(gè)不同領(lǐng)域數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了RMAM模型可以學(xué)習(xí)屬性和上下文的有效信息，相比于其他基線模型在屬性情感分類的準(zhǔn)確率上有進(jìn)一步的提升。

RMAM模型主要利用GRU網(wǎng)絡(luò)和注意力機(jī)制對(duì)屬性和上下文自動(dòng)提取情感特征，但是對(duì)于包含的否定詞和一些網(wǎng)絡(luò)用語是無法識(shí)別的，這是導(dǎo)致分類錯(cuò)誤的一個(gè)主要原因。下一步的任務(wù)是在此方法的基礎(chǔ)上加入傳統(tǒng)的方法(情感詞典等)，更好地識(shí)別情感特征。