融合圖游走信息的圖注意力網(wǎng)絡(luò)方面級情感分析*

楊春霞,桂 強,馬文文,徐 奔

(1.南京信息工程大學自動化學院,江蘇 南京 210044;2.江蘇省大數(shù)據(jù)分析技術(shù)重點實驗室,江蘇 南京 210044;3.江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心,江蘇 南京 210044)

1 引言

情感分析是自然語言處理領(lǐng)域的基本任務(wù)之一,旨在分析一篇文章或一個句子的情感極性。隨著互聯(lián)網(wǎng)的發(fā)展,很多互聯(lián)網(wǎng)平臺涌現(xiàn)大量的關(guān)于產(chǎn)品和服務(wù)的評論,評論往往包含一個或多個方面詞的內(nèi)容。傳統(tǒng)的情感分析作為粗粒度的分析任務(wù)已不能滿足這種需求,而基于方面的情感分析ABSA(Aspect-Based Sentiment Analysis)是一項細粒度的情感分析任務(wù),它能夠確定一個句子中出現(xiàn)的一個或多個方面詞的情感極性。如圖1所示,在“The food is good,but the staff is horrible.”一句中,方面詞是“food”和“staff”,它們的情感極性分別是積極的和消極的。因其在處理評論文本數(shù)據(jù)中的積極作用,方面級的情感分析是近年來情感分析任務(wù)中研究的熱點。

Figure 1 Examples of restaurant reviews

現(xiàn)有的工作關(guān)于語法信息和語義信息的使用都有研究,但多從語義角度使用注意力機制獲取單詞權(quán)重信息,使用句法依存樹獲得句子的語法信息,沒有將句法信息用于獲取單詞權(quán)重的探索,忽略了句法結(jié)構(gòu)對提取句子中不同單詞重要程度的作用。在語法圖上的圖游走獲取單詞節(jié)點的權(quán)重,彌補了從句法結(jié)構(gòu)方面獲取單詞權(quán)重的不足。此外,對于一個句子中含有多個方面詞的文本,現(xiàn)有情感分析任務(wù)模型可能會將方面詞與情感詞匹配錯誤。如何獲得單詞之間的關(guān)聯(lián)性,準確關(guān)注對目標方面詞情感極性起作用的上下文部分是值得研究的問題。本文使用單詞節(jié)點權(quán)重和節(jié)點之間權(quán)重2種權(quán)重信息相結(jié)合的方法解決這一問題?；谝陨戏治?本文提出一種融合圖游走信息的圖注意力神經(jīng)網(wǎng)絡(luò)模型GW-GAT(Graph Attention neural neTwork model that integrates Graph Walk information),工作內(nèi)容如下所示:

(1)本文在以方面詞為根節(jié)點的句法依存樹的基礎(chǔ)上構(gòu)建語法圖;在語法圖上進行圖游走得到基于句法信息單詞節(jié)點的權(quán)重系數(shù),將權(quán)重系數(shù)和經(jīng)過編碼的隱藏表示相乘得到帶有權(quán)重信息的句子特征表示。

(2)使用基于依存樹的圖注意力GAT(Graph Attention neTwork)融合語義信息和語法信息更新句子節(jié)點表示,獲取句子節(jié)點與節(jié)點之間權(quán)重。建立由節(jié)點到節(jié)點之間的權(quán)重分配機制,突出與方面詞相關(guān)的情感信息,以保留更多的情感極性相關(guān)信息,弱化無關(guān)信息。

(3)在3個情感分析公開數(shù)據(jù)集上進行對比實驗和有效性實驗等,實驗結(jié)果表明,本文提出的GW-GAT模型是有效的。

2 相關(guān)工作

情感分析的研究對處理大批量評論文本信息具有積極的意義,早期的研究采用人工標注和情感詞典的方法[1],現(xiàn)在的研究大多使用深度學習的方法?；谡Z義的方法在神經(jīng)網(wǎng)絡(luò)的幫助下自動地學習文本數(shù)據(jù)表示。Nguyen等[2]采用神經(jīng)網(wǎng)絡(luò)的方法成功完成ABSA任務(wù)。Tang等[3]在長短期記憶LSTM(Long Short-Term Memory) 網(wǎng)絡(luò)的基礎(chǔ)上,對文本中方面詞的上文和下文信息分別建模,提出的TD-LSTM(Target-Dependent LSTM)模型,取得了比傳統(tǒng)LSTM更好的效果。Nguyen和Tang等人提出的模型雖然考慮了方面詞與其上下文詞的語義相關(guān)性,但沒有關(guān)注到上下文中對方面詞情感極性起關(guān)鍵作用的信息。針對這一問題,Wang等[4]將LSTM與注意力機制結(jié)合,提出了ATAE-LSTM(ATtention-based LSTM with Aspect Embedding),該模型使用方面詞參與計算注意力權(quán)重,當以不同的方面詞作為輸入時,注意機制給句子中的單詞分配不同的權(quán)重,取得了不錯的效果。為了有效識別上下文句子中目標方面詞的情感極性,Huang等[5]提出了交互注意力模型AOA(Attention-Over-Attention),通過對方面詞注意力機制和上下文注意力機制聯(lián)合建模的方法捕捉方面詞和上下文句子之間的交互作用,注意力機制的使用使得這些模型的分類效果得到了提升[6]。此外,只從語義的角度出發(fā)會忽略句子的語法結(jié)構(gòu)對情感分析任務(wù)的影響,通過引入句法結(jié)構(gòu)改進句子表示對提升模型分類性能至關(guān)重要。得益于依賴解析器的發(fā)展,Zhang 等[7]使用原始句法依賴樹表示結(jié)構(gòu)信息,保留了句法依賴樹的原始結(jié)構(gòu),在情感分析任務(wù)中引入了句法信息。Wang等[8]修改了依存樹的構(gòu)建方法,生成以方面詞為根節(jié)點的句法依賴樹,并對樹進行修剪,只保留與方面詞有直接依賴關(guān)系的邊,使情感信息的獲取更加方便。Chen等[9]對句法依賴樹使用了注意力矩陣,用以區(qū)分單詞之間的依賴性,提高了模型表示句子的能力。Chen等[10]將依賴樹集成到神經(jīng)網(wǎng)絡(luò)模型中,用于表達句子的句法結(jié)構(gòu),增加了情感分析任務(wù)中句法信息的使用方式。He等[11]使用基于句法的注意力機制,將方面詞和上下文分開表示,將不同方面詞作為輸入時,通過關(guān)注句子的不同部分來探索方面詞與其上下文之間的關(guān)系。但是,這些方法并沒有同時考慮語義信息和句法結(jié)構(gòu)信息,更缺乏語義信息和句法信息的融合。Zhao等[12]提出了一種基于圖卷積網(wǎng)絡(luò)GCN(Graph Convolutional Network)的方面級情感分類模型,該模型可以有效地捕獲一個句子中多方面之間的情感依賴關(guān)系。

上述模型使用注意力機制有效地識別出與目標方面詞情感極性相關(guān)的上下文成分,使用依賴樹有效地建模句子的結(jié)構(gòu)信息?；谧⒁饬C制和基于句法結(jié)構(gòu)的模型都取得了不錯的效果,但這些方法都沒有從句法結(jié)構(gòu)的角度獲取句子中單詞的權(quán)重,此外,這些模型直接使用給定的方面詞來尋找與方面詞相關(guān)的情感詞,在多方面詞語句中可能會導致兩者之間的不匹配。

因此,為了解決從句法結(jié)構(gòu)角度獲得句子單詞權(quán)重和多方面詞句子中方面詞的情感詞關(guān)注錯誤問題,本文提出了融合圖游走信息的圖注意力網(wǎng)絡(luò)方面級情感分析模型GW-GAT。該模型結(jié)合句法結(jié)構(gòu),通過聚合上下文特征來改進句子表示。在依存樹的基礎(chǔ)上建立的語法圖維護了樹的原始結(jié)構(gòu)信息。同時,通過激活語法圖中的邊緣,圖的游走過程能夠聚焦于上下文單詞信息,得到節(jié)點的權(quán)重表示,作為更新句子特征表示的權(quán)重系數(shù)。在此基礎(chǔ)上,使用圖注意力網(wǎng)絡(luò)獲得句子節(jié)點之間的關(guān)聯(lián)程度,通過單詞節(jié)點與節(jié)點之間的權(quán)重信息相結(jié)合的方法,識別與目標方面詞情感極性相關(guān)的上下文詞。綜上所述,本文所提模型能夠利用句法結(jié)構(gòu)信息獲取單詞權(quán)重,并且能夠識別與目標方面詞情感極性相關(guān)的上下文詞,降低無關(guān)情感詞對方面詞情感極性的影響。

3 GW-GAT模型

本文提出的GW-GAT模型主要包含文本序列的詞嵌入層、用于編碼單詞語義的Bi-LSTM(Bidirectional LSTM)層、用于聚合上下文單詞權(quán)重的圖游走層、用于關(guān)聯(lián)節(jié)點信息和語義信息的GAT層,以及用于情感極性分類的全連接和Softmax層。整體上分為句意信息提取部分、語法結(jié)構(gòu)建模與單詞權(quán)重分配部分,以及信息融合與單詞關(guān)聯(lián)部分。GW-GAT模型結(jié)構(gòu)如圖2所示。

Figure 2 Structure of GW-GAT

3.1 詞向量

本文使用GloVe[13]模型將原始輸入語句映射為300維的詞向量,即將輸入句子x={x1,x2,…,xm-1,xm}映射為詞向量表示α={α1,α2,…,αω,…,αn-1,αn},其中,n=300,αω是方面詞的詞嵌入表示,α′={α1,α2,…,αn-1,αn}是除方面詞以外的上下文詞嵌入表示。

3.2 編碼詞向量

本文使用Bi-LSTM對上下文語義信息進行編碼。LSTM模型是遞歸神經(jīng)網(wǎng)絡(luò)的一種優(yōu)化變體,在遞歸神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了記憶模塊,以解決長期依賴問題。Bi-LSTM在LSTM基礎(chǔ)上增加了對反向信息的編碼,如式(1)～式(3)所示:

(1)

(2)

(3)

其中,ht表示正向LSTM和反向LSTM輸出隱藏向量連接后得到的最終隱藏向量,st表示t時刻Bi-LSTM的輸入。本文使用Bi-LSTM模型將詞向量α={α1,α2,…,αn-1,αn}編碼為隱藏向量h={h1,h2,…,hn-1,hn}。

3.3 語法圖上的圖游走

句法依賴樹的成功使用提供了完整的句子結(jié)構(gòu)信息,句法依賴樹可以以句子中不同的詞為根節(jié)點構(gòu)建,本文使用高級解析技術(shù)[14]來構(gòu)建以方面詞為根節(jié)點的依賴樹。借助句法依賴樹構(gòu)建語法圖[15]對結(jié)構(gòu)信息進行重新表示,依賴樹和語法圖如圖3所示。將句法依賴樹中的一些邊進行反轉(zhuǎn),以允許從方面詞出發(fā)遍歷到依賴樹中每個單詞節(jié)點。例如,除根節(jié)點之外的方面詞與情感詞之間將被反轉(zhuǎn),以圖3“The food is good but the staff is horrible.”語句為例,“staff”與“horrible”之間關(guān)系由r#nsubj反轉(zhuǎn)后被標記為nsnuj。在語法圖上,將每條遍歷方向上的最后一個節(jié)點記為停止節(jié)點,并標記為ext。

Figure 3 Specific example of aspect-based dependency tree and corresponding syntax graph

語法圖可以解釋為句子x的一個有向圖G=(V,E),其中,V是圖中節(jié)點的集合,E是圖中有向邊的集合。

將根節(jié)點復制k個副本nk,不同的副本nk從根節(jié)點出發(fā)對語法圖上的有向邊進行遍歷。當副本成功沿著語法圖中路徑遍歷到停止節(jié)點時,則該路徑上的詞高亮顯示。通過計算語法圖中除根節(jié)點外所有單詞節(jié)點經(jīng)過的路徑數(shù)來給每個單詞分配權(quán)重,以圖3中句子為例,單詞節(jié)點“good”經(jīng)過的路徑最多,因此被分配最高的權(quán)重。通過測量邊緣和上下文單詞屬于同一子樹的可能性來計算每個邊緣激活的概率。通過每個副本的游走過程可以得到句子中單詞的權(quán)重表示,將這一過程稱為語法圖上的圖游走,簡稱圖游走,如圖4所示,其中,x*表示根節(jié)點和中間單詞節(jié)點,s*表示停止節(jié)點。

Figure 4 Graph walk on the syntax graph

語法圖是邊和節(jié)點的集合,從語法圖的根節(jié)點出發(fā)遍歷到圖中每一條邊上的停止節(jié)點,每條遍歷的路徑到達停止節(jié)點后該路徑上的單詞和邊將被高亮顯示,通過計算每個單詞節(jié)點經(jīng)過路徑數(shù)占所有遍歷數(shù)的概率給不同單詞分配權(quán)重,其中根節(jié)點不參與計算。對于給定的邊e=(u,r,v),u和v為相鄰的節(jié)點,r為節(jié)點之間的邊,沿路徑到達停止節(jié)點的概率如式(4)所示:

(4)

其中,qu和qv分別表示相鄰節(jié)點u和v的嵌入表示;θr表示邊的嵌入表示;wp和bp表示概率計算中不斷更新的學習參數(shù),下標p表示概率;σ′(·)表示對輸入向量中的每個元素利用Sigmoid進行激活。

將從根節(jié)點到每個停止節(jié)點si路徑上邊的概率相乘得到第i個單詞xi的權(quán)重ai,計算方法如式(5)所示:

(5)

其中,εs表示從根節(jié)點到停止節(jié)點s的所有邊的集合。

最后,利用詞向量α編碼后的隱藏向量h與節(jié)點權(quán)重a相乘得到新的節(jié)點特征,如式(6)所示:

(6)

3.4 圖神經(jīng)網(wǎng)絡(luò)融合

本文使用圖注意力網(wǎng)絡(luò)在單詞節(jié)點權(quán)重的基礎(chǔ)上獲取單詞節(jié)點之間的權(quán)重信息,使單詞節(jié)點權(quán)重信息和節(jié)點之間的權(quán)重信息相結(jié)合,達到匹配目標方面詞相關(guān)上下文詞的目的。圖注意力網(wǎng)絡(luò)是圖神經(jīng)網(wǎng)絡(luò)的變體,能更新句子節(jié)點表示,獲得單詞節(jié)點之間的權(quán)重。將句子表示中每個節(jié)點信息與LSTM層對應的隱藏狀態(tài)相關(guān)聯(lián),一個GAT層通過聚合領(lǐng)域的隱藏狀態(tài)來更新節(jié)點表示。圖5顯示了在一個句子中應用GAT的例子。

Figure 5 Graph attention network

(7)

(8)

3.5 預測情感極性

在得到表示hg后,將其輸入全連通層,然后輸入softmax歸一化層,即得到極性決策空間上的概率分布,如式(9)所示:

(9)

損失函數(shù)選用基于L2正則化的交叉熵損失函數(shù),如式(10)所示:

(10)

4 實驗與結(jié)果分析

4.1 實驗環(huán)境及數(shù)據(jù)集

本文實驗的開發(fā)工具為Pycharm,開發(fā)語言為Python 3.7.10,開發(fā)框架為PyTorch 1.8.1,使用NVIDIA GeForce GTX1650 GPU運行程序。本文使用3個公開數(shù)據(jù)集來驗證GW-Walk模型的有效性,3個數(shù)據(jù)集分別是來自SemEval 2014[17]的Restaurant數(shù)據(jù)集(簡稱為Rest14)和Laptop數(shù)據(jù)集,以及Dong等人[18]抓取并處理的Twitter數(shù)據(jù)集。這些數(shù)據(jù)集專用于方面級情感分析任務(wù),數(shù)據(jù)集情感極性比例如表1所示。

Table 1 Statistics of datasets

4.2 實驗參數(shù)設(shè)置

本文使用預先訓練的300維GloVe向量(Pennington,Socher,and Manning 2014)來初始化預先訓練的嵌入,并隨機初始化30維的詞性標簽嵌入。預先訓練和詞性標記的嵌入都被連接為詞嵌入。BiLSTM隱藏狀態(tài)的維數(shù)設(shè)置為300。本文采用Adam作為優(yōu)化器。

4.3 模型對比實驗分析

本節(jié)將GW-GAT模型與基線模型SVM、LSTM、ASGCN及最近出現(xiàn)的模型R-GAT、DM-GCN[19-23]等進行對比,以實驗精度Acc和宏觀平均F1為評價指標,來檢驗GW-GAT的性能,對比結(jié)果如表2所示。本文基線模型數(shù)據(jù)直接引用參考文獻,表2中加粗字體表示最優(yōu)值,‘-’表示實驗結(jié)果數(shù)據(jù)缺失,‘w/o’表示去除。

Table 2 Comparison of experimental results of different models

分析表2實驗結(jié)果可知,本文提出的GW-GAT模型在相同數(shù)據(jù)集上無論是準確率還是F1分數(shù)均有所提升。

在3個數(shù)據(jù)集上,與結(jié)構(gòu)相似的模型ASGCN相比,本文提出的GW-GAT模型的Acc與F1均有較大提高,準確率分別提高了3.16%,4.54%和2.17%,F1值分別提高了4.61%,5.88%和2.56%。值得一提的是,R-GAT和DM-GCN作為近期公開發(fā)表論文中的模型,其分類效果顯著,其中,R-GAT模型使用關(guān)系圖注意力網(wǎng)絡(luò)建立方面詞與情感詞之間的聯(lián)系,解決了方面詞與情感詞匹配混淆問題;但GW-GAT模型在Rest14和Laptop數(shù)據(jù)集上的效果優(yōu)于這2個模型,說明本文提出的解決方案是有效的。實驗分析認為,模型分類效果提高的原因是GW-GAT模型對句法依賴樹進行改進構(gòu)建了語法圖,并在語法圖上執(zhí)行了圖游走操作,聚合上下文結(jié)構(gòu)信息生成單詞權(quán)重表示。通過使用GAT網(wǎng)絡(luò)聚合帶有權(quán)重的單詞結(jié)構(gòu)信息和上下文語義信息,得到單詞之間的關(guān)聯(lián)程度信息,匹配與目標方面詞相關(guān)的上下文情感詞,信息考慮全面,使情感極性匹配更加準確。

4.4 模型消融實驗

為了驗證模型改進的有效性,本節(jié)進行消融實驗以評判每種改進對模型性能的作用,實驗結(jié)果如表2所示。

4.4.1 語法圖和圖游走操作的有效性

為了研究圖游走過程對模型的改進效果,本節(jié)刪除了GW-GAT的整個圖游走網(wǎng)絡(luò)并使用經(jīng)過Bi-LSTM層獲取的語義特征表示作為圖注意力網(wǎng)絡(luò)的輸入,將這種被刪減的模型稱為“GW-GAT w/o grap”。消融實驗結(jié)果表明,在3個數(shù)據(jù)集上原模型與去掉語法圖的模型相比,準確率分別提高了2.4%,5.17%和0.87%,F1值分別提高了4.57%,6.55%和2.18%。這表明圖游走網(wǎng)絡(luò)在聚合語法結(jié)構(gòu)信息,使用單詞權(quán)重系數(shù)改進句子特征表示方面是有效的。本文模型在Rest14和Laptop 數(shù)據(jù)集上效果顯著,但在Twitter 數(shù)據(jù)集上提升不明顯?？梢钥闯?如果數(shù)據(jù)集包含大量的噪聲,使用語法信息并不能取得很大的改進。

以句子“The food is good,but the staff is horrible.”為例,句子中具體單詞經(jīng)過圖游走后的權(quán)重分布如圖6所示。由圖6可知,圖游走網(wǎng)絡(luò)在獲取句子單詞節(jié)點的權(quán)重信息方面是有效的。

Figure 6 Word weight distribution

4.4.2 圖注意力的有效性

為了驗證結(jié)合單詞節(jié)點與節(jié)點之間的權(quán)重信息方法的有效性,本節(jié)構(gòu)建了GW-GAT w/o GAT模型和GW-GCN 模型,分別代表消融GAT后的模型和將GAT換成GCN的模型。

GW-GAT w/o GAT模型實驗結(jié)果如表2所示,由表2中數(shù)據(jù)可知,使用了圖注意力機制的模型在準確率和F1值上均有明顯提升,說明了圖注意力機制獲取單詞節(jié)點之間權(quán)重是有效的。

將GAT模型換成GCN模型,使用同樣可以聚合上下文信息和句法信息的GCN模型可以進行更直觀的對比,2種模型分類準確率對比如圖7所示。圖7結(jié)果表明,結(jié)合使用單詞節(jié)點權(quán)重和節(jié)點之間權(quán)重是有效的。將GAT換成GCN后雖然能夠更新單詞節(jié)點表示,但缺失了單詞節(jié)點之間的權(quán)重信息,分類效果明顯下降。這也說明本文使用單詞節(jié)點權(quán)重和節(jié)點之間權(quán)重相結(jié)合的方法能有效地提高方面級情感分析的分類效果,表明結(jié)合使用2種權(quán)重信息在關(guān)注與方面詞情感極性相關(guān)上下文信息方面是有效的。

綜上所述,本文利用圖游走網(wǎng)絡(luò)獲取句子中單詞的權(quán)重系數(shù),利用圖注意力網(wǎng)絡(luò)獲得單詞節(jié)點之間的權(quán)重,并將2種權(quán)重信息相結(jié)合有效提升了模型的性能。

5 結(jié)束語

本文提出了一種結(jié)合句法信息和語義信息的GW-GAT網(wǎng)絡(luò)模型,使用語法圖上的圖游走從句法結(jié)構(gòu)中獲得句子中單詞節(jié)點權(quán)重,改進句子表示,使用圖注意力網(wǎng)絡(luò)獲取句子單詞節(jié)點之間權(quán)重,在單詞節(jié)點權(quán)重的基礎(chǔ)上獲取單詞之間的權(quán)重信息,有效地關(guān)注與方面詞情感極性相關(guān)的上下文信息,解決了方面詞與情感詞不匹配的問題。在3個公開數(shù)據(jù)集上的實驗結(jié)果表明,本文提出的GW-GWT模型優(yōu)于基線模型,驗證了對句子語法信息的使用和權(quán)重信息的結(jié)合對提高模型性能的重要性。但是,在沒有明顯句法結(jié)構(gòu)的非正式和簡短數(shù)據(jù)集上,GW-GAT模型效果不優(yōu),后續(xù)將研究對非正式和簡短情感分析數(shù)據(jù)的處理。