融合多頭依賴圖注意的詞句交互短文本方面情感分析模型

摘 要：根據(jù)短文本情感分析現(xiàn)有方法中存在的不遵守常規(guī)語法、沒有充分利用上下文詞與方面詞間深層情感表達(dá)的問題，提出了一種融合多頭依賴圖注意的詞句交互短文本方面情感分析模型（IDM-GAT，interactive dependent multi-head graph attention），在句子層面通過加入相對位置向量增強情感信息的嵌入，然后使用依賴圖注意力結(jié)構(gòu)計算句子中單個單詞及單詞間依賴的注意力權(quán)重，盡可能提取短文本中的稀疏依賴關(guān)系；在詞語層面對上下文詞和方面詞使用自注意力池化、平均池化方法，在保留情感特征的同時降低模型的計算復(fù)雜度。兩種層面的結(jié)合從全局和局部兩個角度對短文本進(jìn)行更全面的建模。通過仿真實驗驗證，所提模型在Semeval2014飯店評論、電腦評論、ACL14 twitter 3個基準(zhǔn)數(shù)據(jù)集上分別達(dá)到了83.85%、79.15%、74.39%的準(zhǔn)確率。

關(guān)鍵詞：多頭依賴圖注意；交互注意力；短文本；方面情感分析

DOI：10.15938/j.jhust.2024.05.002

中圖分類號： TP391

文獻(xiàn)標(biāo)志碼： A

文章編號： 1007-2683（2024）05-0010-08

Aspect-Based Sentiment Analysis Model for Short Text"with Interactive Dependent Multi-head Graph Attention

AI Siyu， CHEN Hailong， CUI Xinying， AN Rui

（School of Computer Science and Technology， Harbin University of Science and Technology， Harbin 150080， China）

Abstract：This article proposes an Interactive Dependent Multi-head Graph Attention （IDM-GAT） model for short text sentiment analysis based on dependent multi-head graph attention， which addresses the shortcomings of existing methods for short text sentiment analysis， such as non-compliance with conventional grammar and insufficient utilization of deep emotional expression between contextual words and aspect words. The model enhances the embedding of sentiment information at the sentence level by adding relative position vectors. Then， it uses the dependent graph attention structure to calculate the attention weights of individual words and dependencies between words in the sentence， and extracts sparse dependency relationships in short text as much as possible. It uses self-attention pooling and average pooling methods for contextual and aspect words at the word level， reducing the computational complexity of the model while preserving emotional features. The combination of two levels provides a more comprehensive modeling of short texts from both global and local perspectives. Through simulation experiments， the proposed model achieved accuracy of 83.85%， 79.15%， and 74.39% on three benchmark datasets： Semeval2014 hotel reviews， computer reviews， and ACL14 Twitter， respectively.

Keywords：dependent multi-head graph attention; interactive attention; short text; aspect-based sentiment analysis

0 引 言

方面情感分析的任務(wù)是識別待分析語句中一個方面術(shù)語在其上下文中表達(dá)的情感極性^［1］，如例句“手機屏幕效果不錯，但是電池壽命有點短”中，兩個方面詞的極性相反，“手機屏幕”的評價是正面的，而關(guān)于“手機電池”是負(fù)面的。近年來方面情感分析成為自然語言處理領(lǐng)域極為活躍的研究方向之一，如何高效挖掘文本中的有效信息也成為了該領(lǐng)域的研究重點^［2］，該領(lǐng)域的研究對商業(yè)和社會都具有重要意義，通過分析相關(guān)的評論數(shù)據(jù)集，可以得知商品各方面性能的情況以及人們的使用感受，從而做出進(jìn)一步的調(diào)整。

現(xiàn)有的方面級別情感分析有兩大任務(wù)^［3］：識別句子中出現(xiàn)的實體的情感極性（ATSA，aspect term sentiment analysis）和識別句子中指定方面術(shù)語的情感極性（ACSA，aspect category sentiment analysis），本文主要關(guān)注的是ACSA任務(wù)，目前最流行的方法是基于端到端的神經(jīng)網(wǎng)絡(luò)混合模型，隨著注意力進(jìn)入人們的視野，ACSA任務(wù)的精確度又有了明顯的提升。然而短文本分類并非易事，顧名思義，短文本通常為不超過250個字符的評論數(shù)據(jù)，語義往往稀疏且模糊，現(xiàn)有的方法如圖卷積網(wǎng)絡(luò)，有效的避免了模型在語法解析方面的錯誤，但這往往也會產(chǎn)生一些不穩(wěn)定、毫無意義的語法結(jié)構(gòu)，比如當(dāng)目標(biāo)對象包含多個單詞時，現(xiàn)有的研究大多認(rèn)為各部分的重要性相同并且簡單地計算其平均值作為向量表示，而忽略了特定方面類別對句子句法結(jié)構(gòu)的影響，且缺乏對句子中全局依賴信息的建模，因此充分利用有限的語義信息成為了短文本方面情感分析的核心任務(wù)?；谝陨蠁栴}，本文提出了一個方面情感分析新模型IDM-GAT（interactive dependent multi-head graph attention），試圖解決上述存在的弱點，對短語和句子兩種層級應(yīng)用不同的注意力機制—依賴圖注意力機制和自注意力機制，通過多種注意力機制的交互信息可以從情緒詞匯信息中獲得額外的知識來獲取意見詞匯，更全面的捕捉方面詞與其情感上下文詞之間的依賴關(guān)系。本文的主要貢獻(xiàn)如下：①在初始文本向量的基礎(chǔ)上添加相對位置編碼信息，讓注意力更加關(guān)注距離方面詞更近的情感表達(dá)；②基于句子內(nèi)部的多頭依賴圖注意力——減少與方面無關(guān)的單詞造成的噪聲影響；③考慮了句子順序上下文和句法結(jié)構(gòu)，采用交互自注意力機制提取情感信息。

1 相關(guān)工作

在信息爆炸的時代，基于方面的情感分析方法是極為重要的，由于句子在方面級別的情感極性因目標(biāo)詞而異，所以它與一般的情感分析之間有很大的差異，基于方面的情感分析主要任務(wù)是分析和處理主觀評論，讓人們能夠從中獲得更為重要的評論信息，一般來說主要包括4個子任務(wù)^［4］：方面術(shù)語提取（aspect term extraction，ATE）、方面類別檢測（ACD，aspect category detection）、意見詞提取（OTE，opinion term extraction）、基于方面的情緒分類（ABSC ，aspect-based sentiment classification），本文主要研究ABSC，即預(yù)測句子中每個給定方面術(shù)語的情感極性，接下來將介紹一些基于方面的情緒分析的相關(guān)工作，把之前工作中所采用的方法劃分為3類：傳統(tǒng)機器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法（深度學(xué)習(xí)方法）以及圖卷積神經(jīng)網(wǎng)絡(luò)方法。

傳統(tǒng)的機器學(xué)習(xí)方法需要大量的手工來標(biāo)注句子中的特征信息，如情感詞匯^［5］、單詞袋、TF-IDF等。這些傳統(tǒng)方法普遍需要人工設(shè)計且存在成本高、泛化能力和注釋質(zhì)量差等缺點。為了解決這一系列問題，研究學(xué)者們提出了使用基于深度學(xué)習(xí)的模型，它具有強大的自我學(xué)習(xí)、挖掘特征的能力，可以顯著提高工作效率^［6］。

Tang等^［7］提出了靶標(biāo)依賴LSTM（TD-LSTM，target dependent long short-term memory）和靶標(biāo)連接LSTM（TC-LSTM，target connection long short-term memory）。模型使用LSTM對句子進(jìn)行編碼，TD-LSTM模型根據(jù)目標(biāo)詞將文本分為句子左右兩部分，用從左到右方向的LSTM編碼句子的左半部分，從右到左方向的LSTM編碼句子的右半部分，將它們連接起來，得到被兩個方向LSTM編碼的隱藏狀態(tài)。兩個模型在理論上相似，區(qū)別是TC-LSTM可以進(jìn)一步學(xué)習(xí)目標(biāo)詞，進(jìn)行情緒分類的最終表示，即每個單詞先與目標(biāo)單詞連接，再被輸入到LSTM中。

過去，方面情感分類領(lǐng)域的方法在處理多字目標(biāo)時簡單地采用平均池。Ma等^［8］提出的IAN模型克服了這個問題，通過注意力機制來獲取每個目標(biāo)詞的權(quán)重，使分類器能夠關(guān)注目標(biāo)詞中較重要的詞然后進(jìn)行分類。對于IAN，目標(biāo)詞的平均值是用來關(guān)注文本的，但對于目標(biāo)詞語，每個詞的重要性是不一樣的。因此必須先學(xué)習(xí)每個目標(biāo)詞的重要性，才能確定并產(chǎn)生最終的上下文表示。本文提出同時使用注意力池化和平均池化兩種方法，將兩種方法的向量加權(quán)平均后作為分類器最后的輸入向量。在最近的研究中，往往采用引入圖卷積網(wǎng)絡(luò)（GCN，graph convolutional network）^［9］的方法將句子解析成一個句法依賴樹來獲得結(jié)果，對于給定的單詞，GCN可以根據(jù)語法距離捕獲與前一個方面單詞相對遠(yuǎn)離的單詞，從而提高情感分析的性能；Yang等^［10］提出的AOIARN模型通過在方面詞和意見詞分別構(gòu)建兩個語義層提取信息，將兩層信息充分交互，從而獲取二者之間的關(guān)系； Lan等^［11］在DC-GCN中提出使用雙通道交互圖卷積網(wǎng)絡(luò)的同時考慮語法依賴樹和多方面的情感依賴關(guān)系，并在基準(zhǔn)數(shù)據(jù)集上取得了更好的性能，然而以上方法沒有使用注意力機制，因此遺漏了重要的信息。

Xiao等^［12］受Bahdanau等^［13］的啟發(fā)，將GCN與多頭注意力相結(jié)合的方法加以改進(jìn)，在方面情感分析任務(wù)上取得了更好的效果；Beck等^［14］改進(jìn)了門控圖神經(jīng)網(wǎng)絡(luò)，使得節(jié)點和邊有各自的隱藏表示，雖然解決了參數(shù)爆炸的問題，但還是存在節(jié)點和邊無法共享參數(shù)的缺點。本文使用的多頭注意力機制對此缺點加以了改進(jìn)，Huang等^［15］利用目標(biāo)依賴圖注意力網(wǎng)絡(luò)（TD-GAT）將句子表示為方面目標(biāo)和相關(guān)詞直接連接的依賴圖，明確構(gòu)建了單詞之間的語法結(jié)構(gòu)，將情緒特征傳播到方面目標(biāo)；Lu等^［16］注意到了方面詞內(nèi)部存在的語義關(guān)系及其情緒極性的交互關(guān)系，采用4種不同的情緒感知圖網(wǎng)絡(luò)模型進(jìn)行方面級別的情感分析，可是該模型無法從隱晦的情感表達(dá)文本中找到清晰的情感極性線索，因此該模型無法很好的應(yīng)用在短文本場景中；借鑒transformer^［17］的思想，Wang等^［18］在GCN中加入注意力機制，根據(jù)給定的目標(biāo)詞，捕捉句子的關(guān)鍵部分，該方法通過LSTM生成隱藏狀態(tài)，在對每個隱藏狀態(tài)進(jìn)行向量乘法后，使用softmax生成總權(quán)值為1的權(quán)值。句子中的每個詞的重要性可以不斷更新，和隱藏狀態(tài)的權(quán)重通過加權(quán)平均成為最終的上下文表示，而不是僅僅直接使用最后的隱藏狀態(tài)或把所有隱藏狀態(tài)的平均值作為最后的上下文表示；Zhang等^［19］首次提出使用基于圖卷積網(wǎng)絡(luò)的依賴樹獲取語法信息和單詞之間的句法依賴關(guān)系；Zhao等^［20］提出使用雙向的注意力捕捉句子中不同方面詞之間的依賴關(guān)系；Zhu等^［21］結(jié)合全局和局部結(jié)構(gòu)信息，提出了全局和局部依賴引導(dǎo)的圖卷積網(wǎng)絡(luò)（GL-GCN）模型。

然而以上方法在生成文本表示時，常常忽略了文本中單詞間的交互信息，從而導(dǎo)致部分語義丟失，不利于識別與之相關(guān)的目標(biāo)對象的情緒特征。

2 IDM-GAT模型

2.1 任務(wù)定義

本文模型的最終目標(biāo)是準(zhǔn)確的在句子中識別一個方面詞的情緒極性，每個句子由n個單詞序列組成，表示為S={w1，w2，w3，…，wn}，其中wi指句子中第i個位置的字，方面詞由m個單詞組成，表示為T={wT1，wT2，wT3，…，wTm}，任務(wù)的目標(biāo)是將上下文中各方面詞的情緒極性分為積極、消極和中性，例如：“飯店的飯菜味道不錯，但是就餐環(huán)境不太好”中，目標(biāo)詞“飯菜”的情感極性為正向的，而“就餐環(huán)境”則為負(fù)向。

2.2 基本思想

本文的新模型IDM-GAT，如圖1所示，可以從全局和局部兩種角度對句子進(jìn)行編碼學(xué)習(xí)，將全局語義表示和局部語義表示進(jìn)行融合后可以更加充分的理解每個單詞的實際含義，以此進(jìn)行更準(zhǔn)確的情感分析，本文提出的模型主要由5個部分組成：輸入層，Glove嵌入層，BGRU特征提取層，詞句交互融合注意力層，分類輸出層。

2.3 模型結(jié)構(gòu)

2.3.1 輸入層

對于給定的句子文本S，由n個單詞組成的序列，wi表示句子中位于第i個位置的單詞，為了更好的利用位置信息，引入位置編碼來增強更接近方面詞的上下文詞的信息特征，用pi表示句子中第i個單詞到方面詞的相對距離，

位置編碼信息的計算如式（1），將其與初始文本單詞向量wi融合輸入到單詞嵌入中，輸出的詞嵌入可以表示輸入位置信息的單詞表示。

pi=1－a_start－in，0≤ilt;a_start0，a_start≤ilt;a_end1－i－a_endn，a_end≤i≤n（1）

其中：a_start表示方面詞的開始位置；a_end表示方面詞的結(jié)束位置。連接后的全局文本位置表示向量wg的計算如式（2）：

wg=wi·pi（2）

方面詞由m個單詞組成，表示為wt={wT1，wT2，wT3，…，wTm}，上下文詞由n-m個詞組成，表示為wc={wC1，wC2，wC3，…，wC^n－m}。

本文使用Glove方法來初始化單詞向量，在上一步驟中，為了更好地利用位置信息，我們將位置向量附加到初始文本向量中。通過這種方式，詞嵌入層就可以獲得來自輸入位置的信息。

2.3.2 BGRU特征提取層

本文使用BiGRU雙向的對上下文信息進(jìn)行建模。對于給定的單詞嵌入序列S={w1，w2，w3，…，wn}前后兩個方向的GRU分別生成隱藏狀態(tài)，按公式（3）連接正向和反向的隱藏狀態(tài)，得到輸出的隱藏狀態(tài)h：

h={h→;h←}（3）

在本層中我們采用BGRU雙向的對含有位置信息的文本進(jìn)行建模，得到的輸出分別為：句子：HS={h^S1，h^S2，h^S3，…，h^Sn}；方面詞：HT={hT1，hT2，hT3，…，hTm}；上下文詞：HC={hC1，hC2，hC3，…，hC^n－m}。

2.3.3 詞句交互注意力層

只利用BGRU無法得出句子中哪些單詞對于某一個方面詞意義更重要的結(jié)論，因此本文提出使用兩種注意力方法對句子級別和短語級別的語義信息進(jìn)行編碼提取，增強模型對句子中情緒詞的關(guān)注。

1）多頭依賴圖注意模塊

本模塊以圖注意力網(wǎng)絡(luò)為基礎(chǔ)進(jìn)行研究擴(kuò)展，與現(xiàn)有的基于語法的方法不同，圖注意力網(wǎng)絡(luò)是圖神經(jīng)網(wǎng)絡(luò)的一種變體，在語義解釋方面優(yōu)于其他形式的圖神經(jīng)網(wǎng)絡(luò)，利用依賴關(guān)系相關(guān)信息，使用獨立的編碼器進(jìn)行結(jié)構(gòu)建模，本模塊從句子級別對語義信息進(jìn)行編碼，計算了兩個方面的注意力得分—單詞注意力和單詞間依賴注意力，并將這兩種注意力組合作為句子級別的最終注意力權(quán)重。將單詞wi與單詞wj之間的依賴關(guān)系定義為R^ij，依賴矩陣表示為r^ij∈R^dr，該矩陣在多頭注意力中是共享的，其中單詞節(jié)點注意力eW^ij的計算如式（4），單詞間依賴關(guān)系注意力eD^ij的計算如式（5）：

eW^ij=f（h^l－1Si，h^l－1Sj），j∈N（i）－inf，otherwise（4）

eD^ij=f（h^l－1Si，r^ij），j∈N（i）－inf，otherwise（5）

其中：f為計算兩個向量相似度的函數(shù)，計算如公式（6）：

f（x，y）=LeakyRELU（^f→T［x‖y］）（6）

式中：f→∈瘙綆^2F′；‖表示向量拼接。

將上面兩種注意力表示按式（7）結(jié)合，得到的全局注意力得分va同時考慮了單詞特征和單詞間依賴關(guān)系：

va=exp（eW^ij+eD^ij）∑^j∈N（i）exp（eW^ij+eD^ij）（7）

多頭依賴圖注意力根據(jù)給定單詞wi和相鄰單詞更新第l層表示hl^Si的計算過程如式（8）：

hl^Si=∏kk=1tanh（∑j∈N（i）α^lkijW^lkVh^l－1Sj）（8）

其中：k表示多頭的數(shù)量；W^lkV表示第l層第k個頭的參數(shù)矩陣；tanh表示激活函數(shù)；α^lkij表示hli對h^l－1j的依賴程度。本模塊可以精準(zhǔn)的描述鄰接節(jié)點對于已知節(jié)點的重要性，同時擴(kuò)展了注意力機制的編碼通道。

2）交互自注意力模塊

捕捉句子中對指定方面詞意義重要的單詞，僅僅依靠GRU是遠(yuǎn)遠(yuǎn)不夠的，為了解決這個問題，本文在詞語層面對于方面詞和上下文詞的隱藏向量使用交互注意力機制。本模塊的目標(biāo)是對一個方面詞及其上下文詞之間的關(guān)系進(jìn)行建模，通過單詞的語義信息計算方面詞與每個上下文詞的注意力權(quán)重來獲得依賴關(guān)系，交互注意力的基本模塊選用關(guān)注內(nèi)部的自注意力機制，在提取情緒詞時，內(nèi)部注意力機制只允許注意力一個方面的信息詞。這減少了模型的額外負(fù)擔(dān)，將其應(yīng)用在方面詞與上下文詞中，獲取短語級別的關(guān)系表示V^att，其中hTi、hCi是上一步驟中BGRU層輸出的方面詞和上下文詞的隱藏狀態(tài)，具體計算如式（9）、式（10）、式（11）：

v^att－t=Hα=∑Mⁱ⁼¹αi·hTi;v^att－t∈R^dat（9）

v^att－c=Hα=∑^N－Mi=1αi·hCi;v^att－c∈R^dac（10）

αi=exp（r（hTi））∑M^j=1exp（r（hTi））（11）

其中：v^att－t為方面詞的自注意力向量表示；v^att－c為上下文詞的自注意力向量表示，通過短語向量V^att獲取的方面詞和上下文詞的信息后，利用交互式的方法計算文本中方面詞與每個情感上下文詞之間的深層依賴關(guān)系，交互注意力機制使模型加強對句子中情感單詞的注意力，而不是只考慮單詞的語義。

2.3.4 池化層

除了計算兩者的自注意力信息，本文還采用了傳統(tǒng)的平均池化方法得出另一個短語級別的深層向量表示V_avg，具體計算如式（12）、式（13）：

v_avg－T=∑mⁱ⁼¹hTim（12）

v_avg－C=∑^n－mi=1hCin－m（13）

其中：v_avg－T為方面詞的平均向量表示；v_avg－C為上下文詞的平均向量表示，將兩者的注意力向量和平均池化向量按式（14）、（15）、（16）分別進(jìn)行聚合交互：

vt=［v_att－t;v_att－c］（14）

vg=［v_avg－t;v_avg－c］（15）

vb=vtvg（16）

將兩個模塊的注意力向量拼接，作為分類層的輸入，具體的計算如式（17）：

vf=vavb（17）

2.3.5 分類輸出層

為了預(yù)測一個給定方面的情緒極性，我們將信息交互層得到的最終表示vf輸入到一個全連接的層中，最終通過Softmax輸出用于分類。情緒極性的預(yù)測概率p的數(shù)學(xué)模型定義如式（18）：

p=Softmax（Wpvf+bp）（18）

其中Wp和bp是可訓(xùn)練的權(quán)重和偏差，在模型訓(xùn)練過程中，使用交叉熵?fù)p失的梯度下降方法和L2正則化，具體計算如式（19）：

Loss=－∑^d∈YD∑F^f=1Y^dflogP^df+λ‖Θ‖2（19）

其中：D為評論文本數(shù)據(jù)集；f為類的數(shù)量；P^df為各類的預(yù)測概率；λ為正則系數(shù)；Θ表示可訓(xùn)練的參數(shù)集。

3 數(shù)據(jù)集和實驗設(shè)置、結(jié)果分析

3.1 數(shù)據(jù)集

為了獲得更有說服力的測試結(jié)果，必須獲得較為準(zhǔn)確、全面的測試數(shù)據(jù)集，本文在3個情感分析數(shù)據(jù)集上進(jìn)行了對比實驗，以驗證所提模型的性能，其中包含SemEval2014的餐廳評論數(shù)據(jù)集（以下簡稱R14）、筆記本電腦評論數(shù)據(jù)集（以下簡稱L14）、ACL14的Twitter數(shù)據(jù)集（以下簡稱T14），為了便于實驗統(tǒng)計分析，將數(shù)據(jù)集中表示沖突情緒極性（既表示了積極又表示了消極）的文本刪除，保留三種情緒：積極、中性和消極，數(shù)據(jù)細(xì)節(jié)統(tǒng)計如表1所示。

3.2 實驗參數(shù)設(shè)置

本文通過一系列的參數(shù)優(yōu)化實驗選擇了最佳分類正確率的超參數(shù)，表2展示了IDM-GAT模型的超參數(shù)設(shè)置，實驗中所有的權(quán)值矩陣都由均勻分布U（-0.01，0.01）隨機初始化，訓(xùn)練過程中使用Adam優(yōu)化器進(jìn)行優(yōu)化，主要使用pytorch深度學(xué)習(xí)框架對模型進(jìn)行訓(xùn)練和預(yù)測。

3.3 基線模型

為了驗證本文模型的有效性，將與以下一些經(jīng)典有效的基線模型的實驗結(jié)果進(jìn)行比較：

SVM^［6］：經(jīng)典的機器學(xué)習(xí)方法，利用詞匯特征進(jìn)行文本分類；

LSTM^［23］：基礎(chǔ)的遞歸神經(jīng)網(wǎng)絡(luò)模型，長短時記憶網(wǎng)絡(luò)；

ATAE-LSTM^［24］：初始化階段將目標(biāo)詞嵌入添加到每個上下文詞嵌入中，可以突出目標(biāo)詞在 LSTM 中的狀態(tài)，獲得更充分的特征；

TC-LSTM^［7］：將目標(biāo)句子中的每個單詞進(jìn)行詞向量表示后，平均值形成向量矩陣，在每一步輸入時，把輸入詞向量和目標(biāo)向量合在一起作為輸入；

TD-LSTM^［7］：采用兩種LSTM網(wǎng)絡(luò)對左上下文和方面詞、右上下文與方面詞兩個方向進(jìn)行建模；

IAN^［8］：通過在兩個LSTM中引入注意力機制分別表示方面詞和上下文；

MEMNET^［24］：將注意力多次應(yīng)用于單詞嵌入，最后一個注意力的輸出輸入到softmax中進(jìn)行預(yù)測；

ASGCN^［25］：利用句法信息和單詞之間的依賴關(guān)系在依賴樹上建立GCN；

SK-GCN^［26］：使用Bi-LSTM對句子進(jìn)行編碼，并使用圖卷積神經(jīng)網(wǎng)絡(luò)來表示語法樹和知識圖，常用于方面極性分類；

GAT^［27］：通過計算相鄰節(jié)點的注意力系數(shù)，再進(jìn)行加權(quán)求和，對于某個節(jié)點，它的下一層嵌入是該節(jié)點對其相鄰節(jié)點做自注意力的結(jié)果；

TD-GAT^［15］：將句子表示為方面目標(biāo)和相關(guān)詞直接連接的依賴圖，明確構(gòu)建了單詞之間的語法結(jié)構(gòu)，將情緒特征傳播到方面目標(biāo)；

RGAT^［28］：GAT方法的改進(jìn)，聚合了邊上的信息；

SPGCN^［16］：基于圖卷積網(wǎng)絡(luò)的改進(jìn)模型，含有4種鄰接圖的情感交互圖；

GL-GCN^［21］：結(jié)合全局和局部結(jié)構(gòu)信息，以圖卷積網(wǎng)絡(luò)基礎(chǔ)的全局和局部依賴引導(dǎo)網(wǎng)絡(luò)模型。

3.4 實驗結(jié)果

通過表3得出以下結(jié)論：

1）基于SVM的模型在3個數(shù)據(jù)集上都取得了較好的結(jié)果，這說明機器學(xué)習(xí)的方法依舊值得我們學(xué)習(xí)和借鑒，在基于RNN的神經(jīng)網(wǎng)絡(luò)基線模型中，LSTM的效果最差，TD-LSTM因結(jié)合上下文而更多的捕捉了句子中的重要信息，ATAE-LSTM因具有捕捉句子中重要信息的注意力機制而取得了更好的效果，IAN的性能比ATAE-LSTM提升了約（2～3）%，因為它將注意力目標(biāo)放在首位，有助于提高分類精度，我們的方法在3個數(shù)據(jù)集上最高提高了11%左右，證明了我們的模型的有效性。

2）基于圖的模型相較于其他類型的模型如ATAE-LSTM在實驗中取得了更高的準(zhǔn)確率，這說明基于圖的模型具有較好的學(xué)習(xí)短文本中隱藏信息的能力，尤其是本文提出的模型中，將圖結(jié)構(gòu)與注意力機制在兩種層面并行處理，可以更好的彌補其他模型無法聚合句子中相鄰單詞語義關(guān)系的缺點。

3）與GCN相比，GAT模型捕獲了更好的標(biāo)簽相關(guān)性。注意力機制可以識別相關(guān)文本中情緒詞的重要性。兩者之間的關(guān)鍵區(qū)別是信息如何從鄰域聚集起來。GAT通過關(guān)注每個節(jié)點的相鄰節(jié)點來計算每個節(jié)點的隱藏狀態(tài)，并遵循自注意力策略。

3.5 消融實驗與優(yōu)化實驗

本文還進(jìn)行了消融實驗，分析了IDM-GAT模型中位置向量、依賴圖注意力、交互注意力3個結(jié)構(gòu)的影響，性能變化如表4所示。主要研究了不同模塊在Restaurant14數(shù)據(jù)集上的有效性。結(jié)果表明這3個部分在模型中都是極其重要的結(jié)構(gòu)，其中消去了依賴圖注意力模塊后的模型性能下降的最多，說明了依賴圖注意力模塊的重要性，它聚集了單詞節(jié)點和詞間依賴兩個方面的注意力信息權(quán)重，驗證了句子中存在復(fù)雜的情感關(guān)系，說明本文模型能夠識別每個單詞的深層關(guān)聯(lián)。

為了進(jìn)一步分析本文模型中各部分對模型性能的影響，我們對模型中各種參數(shù)進(jìn)行了實驗，在其他參數(shù)不變的情況下，改變GAT的層數(shù)測試實驗結(jié)果，記錄了GAT從1層到6層的表現(xiàn)，結(jié)果顯示當(dāng)層數(shù)超過兩層時，模型的性能會隨著層數(shù)的增加不斷下降，確定了最理想的層數(shù)為2層，實驗結(jié)果如表5所示。

4 結(jié) 論

本文設(shè)計了一個短文本方面情感分析模型IDM-GAT，從詞語和句子兩種粒度對短文本中稀疏的方面情感關(guān)系進(jìn)行提取、建模，在詞語粒度使用自注意力機制和平均池化兩種方法，可以更高效的賦予單詞注意力權(quán)重，更密切的關(guān)注方面詞和上下文詞中的重要部分；在句子粒度中提出的依賴圖注意力方法，可以同時獲得單詞節(jié)點權(quán)重及相鄰節(jié)點間的依賴關(guān)系，大量實驗表明本文模型的結(jié)構(gòu)都對模型的改進(jìn)起到了積極的作用，相較于多個基線模型都在一定程度上提高了性能，最高在基準(zhǔn)數(shù)據(jù)集上提高了11%的準(zhǔn)確率。

參 考 文 獻(xiàn)：

［1］ TANG D， QIN B， LIU T. Aspect Level Sentiment Classification with Deep Memory Network［C］//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing， 2016： 214.

［2］ 劉宇鵬，李國棟.基于棧式預(yù)訓(xùn)練模型的中文序列標(biāo)注［J］.哈爾濱理工大學(xué)學(xué)報，2022，27（1）：8.

LIU Yupeng， LI Guodong， et al. Chinese Sequence Labeling Based on Stack Pre-training Model［J］. Journal of Harbin University of Science and Technology， 2022，27（1）：8.

［3］ HUANG B， GUO R， ZHU Y， et al. Aspect-level Sentiment Analysis with Aspect-specific Context Position Information［J］.Knowledge-Based Systems， 2022， 243：108473.

［4］ ZHOU Z， WANG Q. R-transformer Network Based on Position and Self-attention Mechanism for Aspect-level Sentiment Classification［J］. IEEE Access， 2019， 7： 127754.

［5］ 呂淑寶，王明月，翟祥，等.一種深度學(xué)習(xí)的信息文本分類算法［J］.哈爾濱理工大學(xué)學(xué)報，2017，22（2）：105.

LU Shubao， WANG Mingyue， ZHAI Xiang， et al. AN Information Text Classification Algorithm Based on DBN ［J］. Journal of Harbin University of Science and Technology， 2017，22（2）：105.

［6］ PLATT J C .Sequential Minimal Optimization： A Fast Algorithm for Training Support Vector Machines［J］.Microsoft Research， 1998.

［7］ TANG D， QIN B， FENG X， et al. Effective LSTMs for Target-Dependent Sentiment Classification［J］.Computer Science， 2015.

［8］ MA D， LI S， ZHANG X， et al. Interactive Attentionnetworks for Aspect-level Sentiment Classification［J］. arXiv Preprint arXiv：1709.00893， 2017.

［9］ KIPF T N， WELLING M. Semi-supervised Classification with Graph Convolutional Networks［J］. arXiv Preprint arXiv：1609.02907， 2016.

［10］YANG B， HAN D， ZHOU R， et al. Aspect Opinion Routing Network with Interactive Attention for Aspect-based Sentiment Classification［J］. Information Sciences， 2022， 616： 52.

［11］LAN Z， HE Q， YANG L. Dual-Channel Interactive Graph Convolutional Networks for Aspect-Level Sentiment Analysis［J］. Mathematics， 2022， 10（18）： 1.

［12］XIAO L， HU X， CHEN Y， et al. Targeted Sentiment Classification Based on Attentional Encoding and Graph Convolutional Networks［J］. Applied Sciences， 2020， 10（3）： 957.

［13］CHOROWSKI J K， BAHDANAU D， SERDYUK D， et al. Attention-based Models for Speech Recognition［J］. Advances in Neural Information Processing Systems， 2015： 28.

［14］BECK D， HAFFARI G， COHN T. Graph-to-Sequence Learning Using Gated Graph Neural Networks［C］//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）， 2018： 273.

［15］HUANG B， CARLEY K M. Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks［C］//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）， 2019： 5469.

［16］LU Q， SUN X， SUTCLIFFE R， et al. Sentiment Interaction and Multi-graph Perception with Graph Convolutional Networks for Aspect-based Sentiment Analysis［J］. Knowledge-Based Systems， 2022， 256： 109840.

［17］VASWANI A， SHAZEER N， PARMAR N， et al. Attention Is All You Need［J］. arXiv Preprint arXiv：1706.03762， 2017.

［18］WANG K， SHEN W， YANG Y， et al. Relational Graph Attention Network for Aspect-based Sentiment Analysis［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics， 2020： 3229.

［19］ZHANG C， SONG D， LI Q. Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks［C］//EMNLP-IJCNLP 2019-2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing， Proceedings of the Conference， 2020： 4568.

［20］ZHAO P， HOU L， WU O. Modeling Sentiment Dependencies with Graph Convolutional Networks for Aspect-level Sentiment Classification［J］. Knowledge-Based Systems， 2020， 193： 105443.

［21］ZHU X， ZHU L， GUO J， et al. GL-GCN： Global and Local Dependency Guided Graph Convolutional Networks for Aspect-based Sentiment Classification［J］. Expert Systems with Applications， 2021， 186： 115712.

［22］HOCHREITER S， SCHMIDHUBER J. Long Short-term Memory［J］. Neural Computation， 1997， 9（8）： 1735.

［23］WANG Y， HUANG M， ZHU X， et al. Attention-based LSTM for Aspect-level Sentiment Classification［C］//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing， 2016： 606.

［24］TAI Y， YANG J， LIU X， et al. Memnet： A Persistent Memory Network for Image Restoration［C］//Proceedings of the IEEE International Conference on Computer Vision， 2017： 4539.

［25］ZHANG C， LI Q， SONG D. Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks［J］. arXiv Preprint arXiv： 1909.03477，2019.

［26］ZHOU J， HUANG J X， HU Q V， et al. Sk-gcn： Modeling Syntax and Knowledge Via Graph Convolutional Network for Aspect-level Sentiment Classification［J］. Knowledge-Based Systems， 2020， 205： 106292.

［27］VELICKOVIC P， CUCURULL G， CASANOVA A， et al. Graph Attention Networks［J］. stat， 2017， 1050（20）： 10-48550.

［28］BUSBRIDGE D， SHERBURN D， CAVALLO P， et al. Relational Graph Attention Networks［J］. arXiv Preprint arXiv：1904.05811， 2019.

（編輯：溫澤宇）

基金項目： 國家自然科學(xué)基金面上項目（61772160）.

作者簡介："艾思雨（2000—），女，碩士研究生；

崔欣瑩（1998—），女，碩士研究生.

通信作者："陳海龍（1975—），男，博士，教授，碩士研究生導(dǎo)師，E-mail：hrbustchl@163.com.