基于ERNIE2.0-BiLSTM-Attention的隱式情感分析方法

黃山成，韓東紅，喬百友，吳 剛，王國仁

1(東北大學(xué) 計算機科學(xué)與工程學(xué)院，沈陽 110819) 2(北京理工大學(xué) 計算機學(xué)院，北京 100081) E-mail：handonghong@cse.neu.edu.cn

1 引 言

文本情感分析又被稱之為意見挖掘，是指通過計算機技術(shù)對文本的主客觀性、觀點、情緒、極性的挖掘和分析，對文本的情感傾向做出分類判斷[1]，涉及包括自然語言處理、計算語言學(xué)、機器學(xué)習(xí)等多個領(lǐng)域.文本的語言表達層面依據(jù)是否出現(xiàn)顯式情感詞，將情感分析分為顯式情感分析和隱式情感分析.其中隱式情感分析被定義為“不含有顯式情感詞，但表達了主觀情感的語言片段(句子，從句或短語)”[2].人們對客觀事物的認知、體驗各不相同，由此所觸發(fā)的情感豐富而抽象，情感表達上也往往比較委婉含蓄，如采用某種修辭手法或客觀陳述而不含情感詞的方式進行情感表達.隱式情感根據(jù)表達方式的不同可分為事實型和修辭型，其中修辭型又可細分為比喻型、反問型和反諷型.研究表明，多種社交網(wǎng)絡(luò)平臺產(chǎn)生的文本中隱式本中隱式情感表達約占15%-20%.下面以新浪微博中的博文為例分析其隱式情感類型，如表1所示.

表1 隱式情感文本示例Table 1 Examples of implicit sentiment text

微博E1和E2均不包含情感詞，僅陳述客觀事實但也蘊含了某種情感.這種無顯式情感詞的客觀陳述句就是事實型隱式情感句.微博E3則通過比喻的修辭手法表達消極情緒.可以看出，此類情感因缺少顯式情感詞作為情感線索，表達含蓄內(nèi)斂，隱晦難懂，因此隱式情感分析也已然成為自然語言處理中的核心難題之一.

顯式情感分析作為自然語言處理領(lǐng)域的基礎(chǔ)性研究，技術(shù)已相對成熟，而隱式情感分析則剛剛起步，研究成果鮮有問世.相比于顯式情感研究，隱式情感分析面臨以下挑戰(zhàn)[3]：1)情感表達沒有顯式情感詞，使得基于情感詞典的方法一再失效，而且隱式情感句用詞相對客觀中立，致使基于詞袋模型的文本表示無法進行有效區(qū)分；2)由于表達方式的委婉含蓄，使得文本語義表示和理解更加困難；3)隱式情感往往與情感持有者的個人主觀認知有密切關(guān)系，缺乏統(tǒng)一界定標準.

研究表明，隱式情感特征與句中情感實體、上下文語境之間存在著重要聯(lián)系，并且外部知識的使用也是分析隱式情感的重要手段.首先，情感實體本身可能體現(xiàn)隱式情感，如E1中實體“新型冠狀病毒”自身體現(xiàn)消極情感；而E2中的“百年老店”則暗含一種積極的情感.其次，隱式情感句特別是修辭型情感句往往需要借助外部知識進行分析，例如一些句子中含有“紅豆”、“月亮”、“柳樹”等象征性詞匯，借助外部知識可知其分別帶有“相思”、“思念”、“送別”等含義，由此可見，外部知識可輔助隱式情感分類.此外，上下文情感信息同樣有助于進行隱式情感分類[3].如對E1進行情感分類，由于該句屬于事實型陳述且無顯式情感詞，易被預(yù)測為中性情感.若該句的上下文中有“我很擔憂”這種顯式情感句，則可以輔助該句的情感極性判別.

綜上所述，本文圍繞社交網(wǎng)絡(luò)文本的隱式情感分析，以預(yù)訓(xùn)練語言模型ERNIE2.0為基礎(chǔ)捕捉隱式情感句詞義、語義及語法特征[4]，并融合BiLSTM(Bi-directional Long Short-Term Memory)和Attention注意力機制對社交網(wǎng)絡(luò)文本進行隱式情感分析研究，最后提出一種基于ERNIE2.0-BiLSTM-Attention(EBA)的隱式情感分析模型.本文的主要貢獻點如下：

1)因預(yù)訓(xùn)練語言模型ERNIE2.0具有實體識別功能且經(jīng)過外部知識訓(xùn)練，本文利用其進行文本表示并捕獲底層語義、語法信息[4]；

2)針對如何捕捉隱式文本上下文信息的問題，利用BiLSTM神經(jīng)網(wǎng)絡(luò)對文本進行編碼，再融合注意力機制進行情感權(quán)重計算；

3)最后在SMP2019“拓爾思杯”中文隱式情感分析評測數(shù)據(jù)集進行實驗，本文所提出模型(EBA)和最新方法相比，性能均有明顯提高.

2 相關(guān)工作

雖然隱式情感分析是自然語言處理領(lǐng)域的核心子任務(wù)之一，面向中文的相關(guān)研究剛剛興起.本節(jié)將圍繞文本隱式情感分析及表示學(xué)習(xí)方法，介紹國內(nèi)外研究動態(tài).

情感分類研究方法大致可以分基于情感知識的方法和基于機器學(xué)習(xí)的方法兩種.機器學(xué)習(xí)中的深度學(xué)習(xí)方法因其結(jié)構(gòu)靈活、易于特征融合等特點在情感分析領(lǐng)域中取得了廣泛的應(yīng)用.卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent NeuralNetworks)，在文本表示方面取得了很好的效果；長短期記憶模型LSTM[5]被引入到 RNN模型中，旨在解決其處理過長的文本序列時容易出現(xiàn)梯度消失或爆炸問題；GRU模型[6]是對LSTM 進行簡化的神經(jīng)網(wǎng)絡(luò)，僅使用更新門和重置門兩種門控單元以減少模型復(fù)雜度.利用LSTM或者GRU對句子進行建模存在一個問題：無法編碼從后到前的信息，于是在此基礎(chǔ)上提出的的BiLSTM可以更好的捕捉雙向的語義依賴，具有更強的表示能力.

以往關(guān)于隱式情感分析的研究主要針對隱喻識別[3]，Lakoff[7]將其定義為隱喻表達的源域與目標域在認知、常識等方面的沖突映射.Mason等人[8]依據(jù)目標動詞在不同領(lǐng)域所表達含義不同，建立源域到目標領(lǐng)域的映射關(guān)系，提出能夠?qū)崿F(xiàn)自動識別特定領(lǐng)域間“源域—目標域”映射的CorMet模型.Shutova等人[9]研究隱喻概念的分布并提出隱喻模式識別算法，在多語言文本的隱喻句上具有較好識別性能.Zhang等人[10]研究發(fā)現(xiàn)使用一些領(lǐng)域名詞以及名詞短語能夠隱晦表達情感，一般而言，包含它們的句子表達了某種隱式情感傾向.Greene等人[11]分析隱式情感句的語法結(jié)構(gòu)，進行語言驅(qū)動的特征和隱式情感關(guān)聯(lián)性分析，并利用相似度計算提升文本情感分類的效果.隱式情感的識別通常還需要引入其他的特征和知識以便于情感分析，Balahur等人[12]使用常識知識庫，從同為隱式情感句的上下文中準確推斷句子的情感.

近幾年隱式情感分析在國內(nèi)取得新的進展，學(xué)者開始利用深度學(xué)習(xí)方法進行隱式情感研究.廖健[3]采用多層語義融合的表示學(xué)習(xí)方法對事實型情感分析進行語言建模，即分析事實型隱式情感句特征，并將情感目標、上下文顯式情感語義信息融入到構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)中，充分利用上下文語義特征和情感目標兩大重要特征進行隱式情感分類中.潘東行等人[13]分析隱式情感句中重要的上下文語境特征，提出一種融合上下文特征的中文隱式情感分類模型.趙容梅等人[14]提出一種CNN-BiLSTM-Attention的中文隱式情感分析方法.EnguangZuo[15]提出一種上下文特定異構(gòu)圖卷積網(wǎng)絡(luò)(CsHGCN)，利用圖卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建上下文表示框架.JiyaoWei等人[16]分析情感極性特征差異提出一種基于多極正交注意力的BiLSTM隱式情感分析方法，該方法同時使用了BERT預(yù)訓(xùn)練語言模型.

近幾年多項自然語言處理任務(wù)均利用預(yù)訓(xùn)練語言模型使得性能得到提升.其中ERNIE2.0[4]是一種知識增強的語義表示模型，用海量數(shù)據(jù)和相關(guān)先驗知識持續(xù)構(gòu)建無監(jiān)督預(yù)訓(xùn)練任務(wù)，并通過多任務(wù)學(xué)習(xí)增量地更新模型，從而幫助模型高效地學(xué)習(xí)詞匯、句法和語義表征.

由此可知，隱式情感句缺少顯式情感詞作為情感線索，隱式情感識別亟需新的特征與表示方法，另一方面，隱式情感通常與情感實體、外部知識、上下文情感信息等密切相關(guān).基于此，本文預(yù)訓(xùn)練部分采用ERNIE 2.0語言模型，充分利用其外部知識和實體信息；并且采用融合BiLSTM+Attention的混合神經(jīng)網(wǎng)絡(luò)以捕捉上下文顯式情感信息，旨在提高隱式情感分類效果.

3 隱式情感分析EBA模型

3.1 問題定義

隱式情感分類任務(wù)即對不帶顯式情感詞的隱式情感句進行情感識別，本文將其視為3分類問題，并做如下定義：模型的輸入為隱式情感句S={W1，W2，…，WT}，其中T代表句子中包含的詞數(shù)，Wt表示第t個詞.輸出為對應(yīng)的情感標簽yt，yt∈L，L={0，1，2}.其中0，1，2分別代表中性、積極、消極情感標簽.

3.2 模型結(jié)構(gòu)

ERNIE2.0-BiLSTM-Attention(EBA)為本文所提出的隱式情感分析方法，即采取利用海量外部知識訓(xùn)練的模型ERINE2.0并融合BiLSTM+Attention混合神經(jīng)網(wǎng)絡(luò)，以提取高效隱式情感特征，旨在提高隱式情感分析模型的性能.EBA模型包括輸入層、預(yù)訓(xùn)練語言模型層、BiLSTM層、注意力機制層、全連接層和輸出層.模型結(jié)構(gòu)圖如圖1所示.

圖1 EBA模型結(jié)構(gòu)圖Fig.1 Structure diagram of EBA model

3.2.1 輸入層

在輸入層中，句子中的每個詞Wt通過獨熱編碼的表示法表示為一個索引嵌入，表示為et∈Rd，將索引嵌入et傳輸?shù)筋A(yù)訓(xùn)練層，其中d表示語料庫詞匯集大小.

3.2.2 預(yù)訓(xùn)練語言模型層

ERNIE 2.0用海量數(shù)據(jù)和相關(guān)先驗知識進行預(yù)訓(xùn)練時，能夠不斷地引入大量的預(yù)訓(xùn)練任務(wù)，以提升模型在詞匯、句法和語義上的表征能力，本文利用該模型的外部知識進行隱式情感分析.另外，與BERT[17]相同的是ERNIE 2.0也需要隱蔽一些詞匯，而且ERNIE 2.0還隱蔽實體詞匯，因此訓(xùn)練后具有實體識別功能.

ERNIE 2.0模型采用一個多層Transformer[18]作為編碼器.Transformer通過自注意力機制捕獲每個詞向量在文本序列中的上下文信息，并生成上下文語境表征嵌入.對于給定的序列，其起始位置是預(yù)定義的分隔符[CLS]；對于輸入為多段的任務(wù)，不同段之間用預(yù)定義的[SEP]分隔.

本文在預(yù)訓(xùn)練層使用ERNIE2.0模型，編碼更多的語義信息、詞匯信息、語法信息，得到包括[CLS]標記的特征向量E∈Rde.其中de表示詞向量維度.再將E輸入全連接層后得到該層輸出xt，并將其作為BiLSTM層的輸入，計算公式如公式(1)所示:

xt=Wa·E+ba

(1)

式中，Wa∈Rde×da，da為偏置向量ba的維度.

3.2.3 BiLSTM層

BiLSTM模型中基本的LSTM單元由3個門和保存每個神經(jīng)元狀態(tài)的傳送帶組成，通過門控機制控制信息傳輸?shù)穆窂?BiLSTM由兩個基本LSTM組成，可以有效捕捉上下文信息用于隱式情感分析.每個LSTM單元的狀態(tài)計算公式表示為公式(2)-公式(7):

ft=σ(Wf·[ht-1，xt]+bf)

(2)

it=σ(Wi·[ht-1，xt]+bi)

(3)

(4)

(5)

ot=σ(Wo·[ht-1，xt]+bo)

(6)

ht=ot·tanhct

(7)

其中ft，it和ot分別表示遺忘門，輸入門和輸出門；ct是內(nèi)部信息狀態(tài)；ht為時間t的輸出；Wf，Wi，Wo∈Rdh×dk權(quán)重矩陣，bf，bi，bc，bo∈Rdh為偏置；dh為LSTM隱藏層中的單元數(shù)；xt∈Rda表示來自預(yù)訓(xùn)練層的單詞嵌入；dk=da+dh，σ是sigmoid函數(shù)；·和⊙分別表示矩陣乘法和元素乘法.

(8)

V={v1，…，vt，…，vT}

(9)

3.2.4 注意力機制層

注意力機制通過注意力描述目標輸出與原輸入數(shù)據(jù)之間的依賴關(guān)系，即文本句子中的詞與輸出結(jié)果之間的相關(guān)性，使用注意力機制可以捕獲重要文本情感信息.注意力機制層會為各個輸入分配合適的權(quán)重進行加權(quán)輸出，該層輸入為V.R為權(quán)重分配后注意力機制層的輸出，則其公式如公式(10)-式(12)所示:

M=tanh(Wm·V+bm)

(10)

α=softmax(WT·M)

(11)

R=V·αT

(12)

其中Wm作為注意力機制層的權(quán)重矩陣，bm為偏置向量，WT為隨機初始化的參數(shù)矩陣，α為輸入分配的權(quán)重.

3.2.5 全連接層

在全連接層，將極性相關(guān)的融合分布式特征表示映射到實例標簽空間，起分類器的作用.將注意力機制層的輸出R輸入到全連接層，輸出為Y，計算公式如公式(13)所示:

Y=tanh(Ws·R+bs)

(13)

其中Ws表示全連接層權(quán)重矩陣，bs是偏置向量.

3.2.6 輸出層

在輸出層，采用softmax函數(shù)進行歸一化，并將全連接層的輸出Y轉(zhuǎn)換為每個情感極性類別的近似概率值y，計算如公式(14)所示:

y=softmax(A·Y+b)

(14)

其中，A表示輸出層參數(shù)矩陣，b為偏置向量.

4 實驗和分析

4.1 數(shù)據(jù)集

本文所采用的數(shù)據(jù)集為SMP2019“拓爾思杯”中文隱式情感分析評測數(shù)據(jù)集，該數(shù)據(jù)集由山西大學(xué)提供.數(shù)據(jù)主要來源于社交網(wǎng)絡(luò)媒體，包括微博、旅游網(wǎng)站、產(chǎn)品論壇，主要領(lǐng)域/主題包括但不限于：春晚、霧霾、樂視、國考、旅游、端午節(jié)等.

數(shù)據(jù)集分為訓(xùn)練集和測試集，情感標簽分為積極、消極和中性3種，數(shù)據(jù)標注詳情如表2所示.

表2 實驗數(shù)據(jù)統(tǒng)計Table 2 Statistics of experimental data

由表2可知，隱式情感表達中情感傾向更多的是中性情感，占比47.3%，積極情感和消極情感分別占25.9%和26.8%的比例.積極性情感數(shù)據(jù)集數(shù)量占比最少，可知微博用戶進行積極性情感表達時更側(cè)重于顯示表達，另一方面也能推斷出利用深度學(xué)習(xí)方法識別積極性隱式情感更有難度.

4.2 參數(shù)設(shè)置

將整個訓(xùn)練樣本分成若干個Batch，Batch Size為每個batch中訓(xùn)練樣本的數(shù)量；LSTM hidden_size1和LSTM hidden_size2分別為BiLSTM兩層LSTM的隱藏層維度；Epoch是一個完整數(shù)據(jù)集通過神經(jīng)網(wǎng)絡(luò)正向傳播一次并進行反向傳播一次的過程.實驗參數(shù)設(shè)置如表3所示.

表3 參數(shù)設(shè)置Table 3 Parameter settings

4.3 評價方法

實驗采用準確率P、召回率R以及F1 值共 3個指標評價模型的性能，其計算如公式(15)-公式(17)所示:

(15)

(16)

(17)

4.4 實驗結(jié)果

本文將隱式情感分類視為三分類問題，情感傾向類別分別為積極、消極和中性3種.

實驗中，將本文提出的EB(ERNIE2.0+BiLSTM)和EBA(ERNIE2.0+BiLSTM+Attention)模型方法，分別與2020年發(fā)表的兩篇關(guān)于隱式情感分析的論文進行性能對比，這兩種方法均使用到神經(jīng)網(wǎng)絡(luò)和注意力機制.BiLSTM with Multi-Polarity Orthogonal Attention[17]在論文中的實驗評價指標只有F1值.實驗結(jié)果如表4所示.

從表4可知，積極類別的隱式情感相較于其它2類情感識別起來更加困難.本文提出的EB模型和EBA模型均能較好地識別積極性隱式情感，其中EB模型在積極類別的隱式情感識別中取得最優(yōu)效果；EBA模型方法能夠提升中性和消極隱式情感識別的準確率，并取得最佳整體性能.其中BiLSTM with Multi-Polarity Orthogonal Attention方法使用到了BERT+BiLSTM+Attentin，與之對比能說明在隱式情感分析上，ERNIE2.0比BERT效果要好.總之本文提出的隱式情感分類模型在各項評價指標上均取得顯著提升.

表4 不同隱式情感分析模型的性能對比Table 4 Performance comparison of different implicit affective analysis models

為了更加直觀地體現(xiàn)模型整體性能，本文做了一些基礎(chǔ)性分類模型實驗以及消融實驗，評價指標為平均準確率、平均召回率和平均F1值，實驗結(jié)果如表5所示.由表5可知，本文所提出的EB模型和 EBA模型方法在整體分類效果上優(yōu)于其他方法.其中EB模型和EBA模型均在P上取得最優(yōu)值，EB在R上取得最優(yōu)值，EBA在F1值上取得最優(yōu)值.

表5 各模型整體效果Table 5 Overall effect of each model

本文進行的眾多基礎(chǔ)性分類模型實驗表明，單純使用深度神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練時，GRU網(wǎng)絡(luò)效果最佳，這是因為GRU擁有長期記憶能力并較之于LSTM，其減少一個門函數(shù)并且參數(shù)更少.根據(jù)LSTM與LSTM+Attention、BiLSTM與BiLSTM+Attention兩組對比實驗可知，在使用神經(jīng)網(wǎng)絡(luò)時，對顯示情感分類效果具有顯著提升的Attention注意力機制在隱式情感分類效果上反而有所降低.加上具備實體識別功能的ERNIE2.0后，各分類模型性能均顯著提高.這進一步表明，利用大量外部知識進行預(yù)訓(xùn)練的ERNIE2.0具有強大文本表示性能.本文還使用BERT進行微調(diào)實驗，實驗效果同樣顯著，說明了預(yù)訓(xùn)練模型對隱式情感具有很好的識別能力.EBA與BERT相比，實驗效果有明顯提升，充分體現(xiàn)出本文語言模型結(jié)合神經(jīng)網(wǎng)絡(luò)的優(yōu)勢.根據(jù)表5和表4還能發(fā)現(xiàn)，EBA模型較EB模型使用了Attention，雖在整體分類效果上并未產(chǎn)生明顯效果，但卻提高了中性、消極情感識別準確率.

5 結(jié)束語

圍繞社交網(wǎng)絡(luò)文本的隱式情感分析任務(wù)，針對句中缺少顯式情感詞的問題，本文考慮情感實體信息、外部知識和上下文語境，提出了一種基于ERNIE2.0+BiLSTM+Attention(EBA)的隱式情感分析方法.首先，本文采用帶有豐富外部知識的ERNIE2.0預(yù)訓(xùn)練模型進行文本表示，以準確捕捉隱式情感句詞性特征、語義特征及語法特征；其次將其文本表示輸入到BiLSTM+Attention混合網(wǎng)絡(luò)中，更好抽取上下文語義信息，旨在提高情感預(yù)測性能.最后在隱式情感分析公開數(shù)據(jù)集上的實驗結(jié)果表明，在各項評價指標上，本文所提出的EB和EBA模型都優(yōu)于已有的基礎(chǔ)模型.與2020年最新的實驗結(jié)果進行對比，本文提出的模型性能更好.盡管本文的工作提升了分類模型的預(yù)測效果，但在情感實體信息的利用方面仍然具備一定的局限性.所以，接下來的工作將利用知識圖譜進行實體增強語義信息，著重研究實體對隱式情感的深層次影響，以達到更好的分類效果.