基于圖注意力神經(jīng)網(wǎng)絡(luò)的中文隱式情感分析

楊善良，常 征

山東理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 淄博255000

情感分析是自然語(yǔ)言處理領(lǐng)域的關(guān)鍵技術(shù)之一，分析文本中包含的情感、態(tài)度、觀點(diǎn)、情緒等因素，識(shí)別文本表達(dá)的情感類(lèi)別。隨著網(wǎng)絡(luò)社交媒體的快速發(fā)展，網(wǎng)絡(luò)輿情、網(wǎng)民情緒、危機(jī)事件等對(duì)社會(huì)、經(jīng)濟(jì)和政治產(chǎn)生越來(lái)越大的影響，情感分析技術(shù)成為網(wǎng)絡(luò)輿情分析和預(yù)測(cè)的核心技術(shù)，受到學(xué)術(shù)界和業(yè)界的廣泛關(guān)注和研究。近年來(lái)，很多情感分析方法被提出，特別是在深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)得到應(yīng)用之后，文本情感分析的準(zhǔn)確率得到提升。但是情感分析技術(shù)仍然面臨很大的挑戰(zhàn)，例如在隱式情感分析方面的效果還不太好。

情感分析包含顯式情感分析和隱式情感分析，在以前的研究中沒(méi)有嚴(yán)格的區(qū)分，但是兩者存在明顯差異。顯式情感中包含了情感詞、情感轉(zhuǎn)折詞、副詞等明確表達(dá)情感信息的詞語(yǔ)，可以使用規(guī)則方法和機(jī)器學(xué)習(xí)方法進(jìn)行識(shí)別。隱式情感中不包含情感詞語(yǔ)，很難直接判斷其情感類(lèi)別，語(yǔ)義表達(dá)更加含蓄。表1給出了隱式情感語(yǔ)句的例子，三個(gè)例句分別表達(dá)了正面、負(fù)面和中性的情感，雖然在語(yǔ)句中找不出明確表達(dá)情感的詞語(yǔ)，但是仍然能夠表達(dá)出正面和負(fù)面的情緒。例如“滿滿的回憶，很多那個(gè)時(shí)代的元素?！北磉_(dá)了正面情緒，帶有正面的情感色彩。

表1 隱式情感語(yǔ)句實(shí)例表Table 1 Instance table of implicit sentiment sentences

隱式情感分析的研究已經(jīng)受到關(guān)注，隱式情感分析模型多采用神經(jīng)網(wǎng)絡(luò)模型和注意力機(jī)制。文獻(xiàn)使用BiLSTM循環(huán)神經(jīng)網(wǎng)絡(luò)和GCN圖卷積神經(jīng)網(wǎng)絡(luò)研究中文文本隱式情感分析[1-2]。隱式情感分析的困難主要在于以下三個(gè)方面：不包含情感詞語(yǔ)，情感特征提取更加困難；語(yǔ)句中的詞語(yǔ)屬于客觀詞或中性詞，通過(guò)上下文語(yǔ)義產(chǎn)生不同情感，語(yǔ)義特征提取困難；對(duì)主觀情感傾向的表達(dá)比較委婉，與認(rèn)知背景相關(guān)，沒(méi)有標(biāo)準(zhǔn)定義。

根據(jù)以上困難，可以提出兩個(gè)假設(shè)：第一，語(yǔ)言環(huán)境中的詞語(yǔ)之間會(huì)有影響，相互作用產(chǎn)生不同情感；句子中詞語(yǔ)對(duì)情感表達(dá)的重要性不同。為了表示詞語(yǔ)之間的相互影響和詞語(yǔ)情感表達(dá)的差異，本文提出基于圖注意力神經(jīng)網(wǎng)絡(luò)的情感分析模型ISA-GACNN，用圖模型表示詞語(yǔ)之間、詞語(yǔ)和句子之間的關(guān)聯(lián)關(guān)系，用注意力機(jī)制計(jì)算詞語(yǔ)對(duì)情感表達(dá)的重要性。對(duì)注意力機(jī)制進(jìn)行改進(jìn)，由于多頭注意力的存儲(chǔ)信息存在重復(fù)疊加的情況，借鑒文獻(xiàn)中的正交注意力模型[1]，使用注意力正交約束多頭注意力存儲(chǔ)不同的情感信息，保證注意力之間的差異性；語(yǔ)句中一般存在部分詞語(yǔ)對(duì)情感表達(dá)非常重要，借鑒文獻(xiàn)中限制刪除詞語(yǔ)和保留詞語(yǔ)數(shù)量的約束[3]，使用分值約束使注意力權(quán)重關(guān)注若干個(gè)重要詞語(yǔ)。

1 相關(guān)工作

近年來(lái)情感分析成為自然語(yǔ)言處理領(lǐng)域的熱點(diǎn)研究方向，情感分析方法可以分為基于規(guī)則的方法、基于機(jī)器學(xué)習(xí)的方法、基于深度學(xué)習(xí)的方法。隨著情感分析研究的深入，隱式情感分析得到越來(lái)越多的關(guān)注。從隱式情感分析和圖神經(jīng)網(wǎng)絡(luò)兩個(gè)方面分析隱式情感分析的相關(guān)研究工作，并在前人的研究基礎(chǔ)上闡述本文的研究動(dòng)機(jī)。

1.1 隱式情感分析

隱式情感分析在沒(méi)有顯式情感詞語(yǔ)的情況下，識(shí)別文本的情感類(lèi)別，比顯式情感分析任務(wù)更加困難。詞語(yǔ)語(yǔ)義表示和隱式情感表示是隱式情感分析研究的基礎(chǔ)問(wèn)題。文獻(xiàn)使用基于特征的方法分析隱式情感，通過(guò)挖掘潛在的情感模型，識(shí)別方面級(jí)情感和觀點(diǎn)級(jí)情感[4]。文獻(xiàn)提出基于知識(shí)的詞語(yǔ)歧義消解方法，從而減輕詞語(yǔ)歧義對(duì)隱式情感分析的影響[5]。

詞語(yǔ)語(yǔ)義表示在隱式情感分析任務(wù)中起到關(guān)鍵作用，在詞語(yǔ)語(yǔ)義表示的基礎(chǔ)上使用注意力機(jī)制分析文本中蘊(yùn)含的情感信息，能夠有效提高隱式情感分析的準(zhǔn)確率。文獻(xiàn)提出基于上下文的異構(gòu)圖卷積神經(jīng)網(wǎng)絡(luò)模型，使用Bi-GRU、GCN編碼目標(biāo)信息和上下文信息，最后使用注意力機(jī)制融合上下文語(yǔ)義信息[2]。文獻(xiàn)提出基于混合神經(jīng)網(wǎng)絡(luò)的中文隱式情感分析模型，使用CNN網(wǎng)絡(luò)提取文本特征，使用LSTM網(wǎng)絡(luò)提取上下文信息，設(shè)計(jì)了單詞級(jí)和句子級(jí)注意力關(guān)注對(duì)情感貢獻(xiàn)大的特征[6]。文獻(xiàn)提出帶有多極性注意力的BiLSTM模型，使用多極性注意力識(shí)別詞語(yǔ)的情感屬性[1]。

1.2 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)具有表達(dá)關(guān)聯(lián)信息的能力，捕捉數(shù)據(jù)中的結(jié)構(gòu)關(guān)系，在社交分析、生物信息和計(jì)算機(jī)視覺(jué)等任務(wù)上表現(xiàn)出突出的效果，綜述文獻(xiàn)對(duì)圖神經(jīng)網(wǎng)絡(luò)模型做了系統(tǒng)總結(jié)[7-8]。近年來(lái)，新的圖神經(jīng)網(wǎng)絡(luò)模型不斷被提出，例如GCN（Graph Convolutional Network）、GAT（Graph Attention Network）、GaAN（Gated Attention Network）、HetGNN（Heterogeneous Graph Neural Network）、HAN（Heterogeneity Attention Network）等。文獻(xiàn)提出圖注意力神經(jīng)網(wǎng)絡(luò)模型GAT，使用自注意力機(jī)制解決了圖卷積相關(guān)模型的缺陷，賦予鄰居節(jié)點(diǎn)不同權(quán)重，使模型能夠解決歸納問(wèn)題和傳導(dǎo)問(wèn)題[9]。文獻(xiàn)在大規(guī)模時(shí)空?qǐng)D上使用門(mén)控注意力機(jī)制，提出門(mén)控注意力圖模型GaAN，使用卷積子圖控制每個(gè)注意力的重要性[10]。文獻(xiàn)提出異構(gòu)圖神經(jīng)網(wǎng)絡(luò)HetGNN，同時(shí)考慮異構(gòu)結(jié)構(gòu)信息和異構(gòu)內(nèi)容信息[11]。文獻(xiàn)提出異構(gòu)圖注意力神經(jīng)網(wǎng)絡(luò)模型HAN，考慮了包含不同類(lèi)型節(jié)點(diǎn)和邊的異構(gòu)圖，使用節(jié)點(diǎn)層和語(yǔ)義層注意力學(xué)習(xí)重要的節(jié)點(diǎn)和重要的元路徑[12]。

在文本分類(lèi)任務(wù)上使用圖神經(jīng)網(wǎng)絡(luò)，利用文本數(shù)據(jù)的結(jié)構(gòu)關(guān)系構(gòu)建圖神經(jīng)網(wǎng)絡(luò)，例如詞語(yǔ)共現(xiàn)、句法關(guān)系、上下文關(guān)系等[13-14]。文獻(xiàn)提出圖卷積神經(jīng)網(wǎng)絡(luò)文本分類(lèi)模型，首先使用詞語(yǔ)共現(xiàn)關(guān)系和詞語(yǔ)文本關(guān)聯(lián)關(guān)系構(gòu)建文本圖譜，然后訓(xùn)練GCN網(wǎng)絡(luò)[13]。文獻(xiàn)構(gòu)建文本圖張量，用來(lái)描述語(yǔ)義、語(yǔ)法、上下文等信息，并使用圖內(nèi)傳播和圖間傳播兩種算法傳播信息[14]。

在情感分類(lèi)任務(wù)上也出現(xiàn)一些使用圖神經(jīng)網(wǎng)絡(luò)模型的研究成果。文獻(xiàn)使用圖卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制解決基于方面的情感分類(lèi)任務(wù)[15]。文獻(xiàn)提出基于注意力的圖卷積神經(jīng)網(wǎng)絡(luò)模型AEGCN來(lái)解決目標(biāo)情感分類(lèi)任務(wù)[16]。文獻(xiàn)使用圖卷積神經(jīng)網(wǎng)絡(luò)捕捉多個(gè)方面之間語(yǔ)義依賴關(guān)系，在模型中使用注意力機(jī)制編碼多方面和上下文[17]。文獻(xiàn)研究了情感表示學(xué)習(xí)，使用圖神經(jīng)網(wǎng)絡(luò)對(duì)文本語(yǔ)義關(guān)系建模，訓(xùn)練模型得到包含語(yǔ)義信息和句法信息的情感詞向量[18-19]。

注意力機(jī)制在神經(jīng)網(wǎng)絡(luò)模型中發(fā)揮著關(guān)鍵作用[20]。上述文獻(xiàn)中采用自注意力、多頭注意力等常用注意力模型，缺少對(duì)注意力機(jī)制的深入研究。本文提出自約束注意力機(jī)制，在圖注意力神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上使用正交約束和注意力分值約束，提高注意力機(jī)制的有效性和可解釋性。

2 模型方法

該部分研究圖卷積網(wǎng)絡(luò)GCN和圖注意力網(wǎng)絡(luò)GAT，在此基礎(chǔ)上提出基于圖注意力神經(jīng)網(wǎng)絡(luò)的隱式情感分析模型ISA-GACNN。

2.1 GCN網(wǎng)絡(luò)

GCN是一種多層的圖神經(jīng)網(wǎng)絡(luò)，使用鄰居節(jié)點(diǎn)特征不斷更新節(jié)點(diǎn)向量，最終得到含有上下文語(yǔ)義的節(jié)點(diǎn)表示。假設(shè)G(V,E)表示圖，包含節(jié)點(diǎn)集合V和邊集合E。用X∈Rn×m表示節(jié)點(diǎn)特征，n是節(jié)點(diǎn)的數(shù)量，m是特征向量的維度。A(Aij)∈Rn×n表示圖G的鄰接矩陣，A的對(duì)角線元素設(shè)置為1，表示節(jié)點(diǎn)自連接。D(Dij)∈Rn×n表示圖G的度矩陣，用于計(jì)算拉普拉斯矩陣。公式（1）是GCN單層圖卷積網(wǎng)絡(luò)的計(jì)算公式：

2.2 GAT網(wǎng)絡(luò)

Velickovi和Bengio等人[9]提出圖注意力神經(jīng)網(wǎng)絡(luò)GAT，在卷積計(jì)算的過(guò)程中使用自注意力機(jī)制，增強(qiáng)了圖神經(jīng)網(wǎng)絡(luò)的信息傳播和表示能力[9]。假設(shè)有圖的輸入h={h1,h2,…,hn},hi∈Rm，其中n表示圖中節(jié)點(diǎn)的數(shù)量，m表示節(jié)點(diǎn)特征向量的維度。GAT網(wǎng)絡(luò)的輸出為，其中m′是輸出節(jié)點(diǎn)特征向量的維度。公式（3）是注意力機(jī)制的權(quán)重αij的計(jì)算公式，表示第i節(jié)點(diǎn)的第j個(gè)鄰居節(jié)點(diǎn)的權(quán)重，其中Ni表示節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)集合，W∈Rm′×m是節(jié)點(diǎn)特征向量的權(quán)重矩陣，||是運(yùn)算符表示兩個(gè)向量之間拼接，aT∈R2m′是注意力機(jī)制的權(quán)重，LeakyReLU是非線性激活函數(shù)。

圖注意力機(jī)制只計(jì)算節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)上的權(quán)重，并融合其鄰居節(jié)點(diǎn)上的信息。GAT的輸出層計(jì)算方法如公式（4），其中σ是非線性激活函數(shù)。

GAT模型中使用多頭注意力機(jī)制使模型學(xué)習(xí)過(guò)程更加穩(wěn)定，多頭注意力計(jì)算方法如公式（5）：

單層GAT計(jì)算，網(wǎng)絡(luò)節(jié)點(diǎn)只融合其鄰居節(jié)點(diǎn)的信息，如果要融合距離更遠(yuǎn)處的節(jié)點(diǎn)信息，則要使用多層GAT網(wǎng)絡(luò)層。

2.3 隱式情感分析模型

本文提出基于圖注意力卷積神經(jīng)網(wǎng)絡(luò)的情感分析模型ISA-GACNN，使用圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)隱式情感語(yǔ)句建模，并采用注意力機(jī)制提取對(duì)情感分析重要的語(yǔ)句特征。情感分析的流程圖如圖1所示，首先對(duì)情感語(yǔ)料進(jìn)行預(yù)處理，使用哈爾濱工業(yè)大學(xué)分詞工具HTP進(jìn)行分詞；然后計(jì)算詞語(yǔ)的點(diǎn)互信息PMI和TF-IDF值，建立包含句子節(jié)點(diǎn)和詞語(yǔ)節(jié)點(diǎn)的異構(gòu)圖譜；最后將異構(gòu)圖輸入ISAGACNN網(wǎng)絡(luò)，得到句子節(jié)點(diǎn)的特征向量，使用softmax計(jì)算文本節(jié)點(diǎn)在各個(gè)情感類(lèi)別上的概率分布，最終得到文本情感分類(lèi)標(biāo)簽。該小節(jié)詳細(xì)介紹模型結(jié)構(gòu)和使用模型進(jìn)行隱式情感分類(lèi)的原理。

圖1 模型流程圖Fig.1 Flow chart of model

2.3.1 輸入數(shù)據(jù)

假設(shè)輸入隱式情感文本集合表示為D(d1,d2,…,dn)，經(jīng)過(guò)分詞處理之后使用詞語(yǔ)集合表示文本。單個(gè)文本使用di表示，di∈Rl表示文本特征向量。文本包含若干個(gè)詞語(yǔ){wi1,wi2,…,wim}，其中wij∈Rl表示詞語(yǔ)特征向量，l是特征向量維度。

異構(gòu)圖譜由詞語(yǔ)節(jié)點(diǎn)和句子節(jié)點(diǎn)共同組成，表示為G(V,E),V是圖的節(jié)點(diǎn)，V?{D,W},vi∈V,D是隱式情感語(yǔ)句節(jié)點(diǎn)集合，W是詞語(yǔ)節(jié)點(diǎn)集合；E是節(jié)點(diǎn)之間的邊集合，eij∈E，詞語(yǔ)與詞語(yǔ)之間的邊權(quán)重根據(jù)點(diǎn)互信息PMI值確定，句子節(jié)點(diǎn)和詞語(yǔ)之間的邊權(quán)重根據(jù)詞頻逆文檔頻率TF-IDF值確定。異構(gòu)圖譜的結(jié)構(gòu)如圖2所示，圖中di表示句子節(jié)點(diǎn)，wij表示詞語(yǔ)節(jié)點(diǎn)，分別在詞語(yǔ)和詞語(yǔ)、句子和詞語(yǔ)之間建立連接。節(jié)點(diǎn)vi和節(jié)點(diǎn)vj之間的邊權(quán)重eij的計(jì)算如式（6）所示：

圖2 異構(gòu)圖譜G的結(jié)構(gòu)示意圖Fig.2 Structural diagram of heterogeneity graph G

點(diǎn)互信息PMI用來(lái)衡量?jī)蓚€(gè)詞語(yǔ)之間的語(yǔ)義關(guān)系，當(dāng)PMI(i,j)的值大于零時(shí)，說(shuō)明詞語(yǔ)i和詞語(yǔ)j之間存在緊密的語(yǔ)義關(guān)系；當(dāng)PMI(i,j)的值小于零時(shí)，說(shuō)明詞語(yǔ)i和詞語(yǔ)j之間語(yǔ)義關(guān)系不密切或者不存在語(yǔ)義關(guān)系。所以在構(gòu)建圖G的時(shí)候只在PMI值大于零的兩個(gè)詞語(yǔ)之間建立關(guān)聯(lián)關(guān)系。PMI的計(jì)算如式（7），其中p(i,j)是詞語(yǔ)i和詞語(yǔ)j在統(tǒng)計(jì)窗口內(nèi)同時(shí)出現(xiàn)的概率，p(i)和p(j)分別是詞語(yǔ)i和詞語(yǔ)j在統(tǒng)計(jì)窗口中出現(xiàn)的概率。

詞頻逆文檔頻率TF-IDF用來(lái)衡量詞語(yǔ)對(duì)于文本的重要程度，詞語(yǔ)的重要程度和詞語(yǔ)在文本中出現(xiàn)的頻率呈正比增加，同時(shí)和詞語(yǔ)在語(yǔ)料集合中出現(xiàn)的頻率呈反比降低。詞語(yǔ)i在語(yǔ)句j中的TF-IDF值計(jì)算如式（8）所示。其中，nij表示詞語(yǔ)i在文檔j中出現(xiàn)的頻率，|D|表示語(yǔ)料庫(kù)中所有文檔的數(shù)量，{j:ti∈dj}表示包含詞語(yǔ)i的所有文檔。

2.3.3 ISA-GACNN網(wǎng)絡(luò)

ISA-GACNN網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，首先將構(gòu)建的異構(gòu)圖輸入GCN圖卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)卷積操作捕捉詞語(yǔ)間的語(yǔ)義關(guān)系；然后使用注意力機(jī)制計(jì)算詞語(yǔ)權(quán)重，更新語(yǔ)句節(jié)點(diǎn)的特征向量；最后使用全連接層和softmax計(jì)算情感標(biāo)簽的概率分布。在注意力機(jī)制中使用正交約束和權(quán)重分值約束，正交約束保證了多頭注意力存儲(chǔ)信息的差異性；權(quán)重分值約束保證了注意力機(jī)制關(guān)注部分重要詞語(yǔ)。

圖3 ISA-GACNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure of ISA-GACNN

圖譜G中保存了詞語(yǔ)節(jié)點(diǎn)wi和句子節(jié)點(diǎn)di的特征向量矩陣X(xi),xi∈Rm,m是節(jié)點(diǎn)特征向量的維度；節(jié)點(diǎn)之間的鄰接矩陣A(aij),aij表示節(jié)點(diǎn)i和j之間的連接邊權(quán)重。

災(zāi)情就是命令，地震發(fā)生后，武定供電局局長(zhǎng)立即組織相關(guān)應(yīng)急辦人員召開(kāi)地震緊急會(huì)，根據(jù)縣政府工作要求和楚雄供電局蔡局長(zhǎng)工作指示要求，隨即啟動(dòng)武定供電局地震災(zāi)害Ⅳ級(jí)應(yīng)急響應(yīng)，把抗震救災(zāi)保供電作為首要工作來(lái)抓，統(tǒng)一思想，統(tǒng)一認(rèn)識(shí)，統(tǒng)一行動(dòng)，集中所有人力、物力、財(cái)力全力以赴開(kāi)展抗震救災(zāi)保供電工作，提出10條應(yīng)急工作要求。

圖卷積神經(jīng)網(wǎng)絡(luò)能夠在節(jié)點(diǎn)之間傳播語(yǔ)義信息，經(jīng)過(guò)卷積計(jì)算節(jié)點(diǎn)的特征向量包含了語(yǔ)義信息和詞語(yǔ)間的關(guān)聯(lián)信息，這里使用圖卷積神經(jīng)網(wǎng)絡(luò)層更新節(jié)點(diǎn)特征向量。圖卷積神經(jīng)網(wǎng)絡(luò)層的計(jì)算如式（9）所示，其中A?是鄰接矩陣的正則化拉普拉斯矩陣，鄰接矩陣A的矩陣元素是節(jié)點(diǎn)之間的權(quán)重eij,W′∈Rl×o是卷積權(quán)重，o是卷積操作的輸出節(jié)點(diǎn)特征向量維度。

在GCN層之后，使用注意力機(jī)制計(jì)算鄰居節(jié)點(diǎn)對(duì)中心節(jié)點(diǎn)的重要程度，也就是詞語(yǔ)對(duì)語(yǔ)句節(jié)點(diǎn)情感表達(dá)的貢獻(xiàn)程度。節(jié)點(diǎn)vi的注意力計(jì)算示意圖如圖4所示，vi是中心節(jié)點(diǎn)，vij(j=1,2,…)是鄰居節(jié)點(diǎn)，αij(j=1,2,…)是節(jié)點(diǎn)之間的權(quán)重，就是鄰居節(jié)點(diǎn)對(duì)中間節(jié)點(diǎn)的重要程度。

圖4 注意力機(jī)制結(jié)構(gòu)圖Fig.4 Structure of attention mechanism

注意力的計(jì)算如式（10）所示，其中Ni表示節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)，Q∈Ro×m′是注意力的查詢權(quán)重，K∈Ro×m′是注意力的關(guān)鍵字權(quán)重，aT∈R2m′是注意力權(quán)重向量。

得到注意力權(quán)重之后，使用注意力權(quán)重更新節(jié)點(diǎn)特征向量，更新公式如式（11）所示，σ是非線性激活函數(shù)。W″∈Ro×l是注意力機(jī)制輸出的權(quán)重向量，l是輸出節(jié)點(diǎn)的特征向量維度。鄰居節(jié)點(diǎn)的注意力權(quán)重越大，對(duì)中心節(jié)點(diǎn)的特征向量貢獻(xiàn)就越多。

在注意力機(jī)制計(jì)算的過(guò)程中，可以使用多頭注意力計(jì)算權(quán)重，節(jié)點(diǎn)特征向量的更新公式如式（12）所示：

這里在使用注意力機(jī)制的時(shí)候考慮兩個(gè)問(wèn)題，第一，多頭注意力機(jī)制計(jì)算出的權(quán)重存在重疊的情況，會(huì)降低模型表示信息的能力，所以需要保證多頭注意力之間差異性；第二，通常情況下，語(yǔ)句中部分重要詞語(yǔ)對(duì)情感表達(dá)起到關(guān)鍵作用，所以注意力權(quán)重應(yīng)該集中在部分重要詞語(yǔ)上。這里提出正交注意力約束和權(quán)重分值約束。

通過(guò)多頭注意力得到權(quán)重向量[α1,α2,…,αn],αi是第i個(gè)注意力權(quán)重向量，為了注意力權(quán)重向量之間保留差異，減少重疊信息，使用正交約束。公式（13）是注意力正交約束的計(jì)算公式，通過(guò)最小化L1保證多頭注意力之間的差異性。

句子節(jié)點(diǎn)的鄰居節(jié)點(diǎn)是組成語(yǔ)句的詞語(yǔ)集合，鄰居節(jié)點(diǎn)集合的注意力權(quán)重表示為αi[α11,α12,…,α1m]。注意力權(quán)重不能只集中在一個(gè)詞語(yǔ)上，否則會(huì)丟失大量語(yǔ)義信息；也不能分散在所有詞語(yǔ)上，否則起不到關(guān)注重要詞語(yǔ)的作用。注意力分值約束首先計(jì)算權(quán)重向量的方差，然后使用單峰函數(shù)f(x)=x+1/x約束方差取值，當(dāng)方差為1的時(shí)候取到最小值2，從而實(shí)現(xiàn)權(quán)重集中在部分詞語(yǔ)上的目的。分值約束的計(jì)算方法如公式（14）所示。其中ρi是第i個(gè)句子權(quán)重矩陣的方差，N是句子數(shù)量。通過(guò)最小化L2控制句子注意力集中在部分重要詞語(yǔ)上。

更新句子節(jié)點(diǎn)的特征向量之后，使用句子特征向量計(jì)算情感類(lèi)別的概率分布，預(yù)測(cè)文本的情感類(lèi)別。使用全連接層和softmax函數(shù)計(jì)算。全連接層的計(jì)算如式（15），使用句子節(jié)點(diǎn)vi∈D的特征向量，其中W1∈Rl×c,c是情感分類(lèi)類(lèi)別數(shù)量，σ是非線性激活函數(shù)。

Softmax是歸一化函數(shù)，計(jì)算句子節(jié)點(diǎn)的類(lèi)別概率分布，計(jì)算公式如公式（16），zi表示屬于第i個(gè)情感類(lèi)別的概率。

使用交叉熵?fù)p失函數(shù)作為分類(lèi)結(jié)果的損失函數(shù)，計(jì)算公式如式（17）所示，其中D是文本集合，tdk是文本的標(biāo)注標(biāo)簽，zdk是預(yù)測(cè)文本情感概率。

公式（18）是模型的損失函數(shù)，使用隨機(jī)梯度下降算法優(yōu)化模型參數(shù)，使得損失函數(shù)逐步下降，最終得到最優(yōu)的隱式情感分析模型。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

2019年，第八屆全國(guó)社會(huì)媒體處理大會(huì)SMP組織了中文隱式情感評(píng)測(cè)SMP-ECISA，發(fā)布了中文隱式情感分析評(píng)測(cè)數(shù)據(jù)集。該數(shù)據(jù)集由山西大學(xué)提供，數(shù)據(jù)來(lái)源主要包括微博、旅游網(wǎng)站、產(chǎn)品論壇，主要領(lǐng)域包括春晚、霧霾、樂(lè)視、國(guó)考、旅游、端午節(jié)等。數(shù)據(jù)集已經(jīng)使用大規(guī)模情感詞典過(guò)濾掉包含顯示情感詞的文本。數(shù)據(jù)標(biāo)注為褒義隱式情感（標(biāo)簽1）、貶義隱式情感（標(biāo)簽2）以及不含情感傾向的句子（標(biāo)簽3）。訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的情況如表2所示。表中總數(shù)是指標(biāo)注的語(yǔ)句數(shù)量，褒義句數(shù)表示標(biāo)注為褒義隱式情感句的數(shù)量，貶義句數(shù)表示標(biāo)注為貶義隱式情感句的數(shù)量，中性句數(shù)是標(biāo)注為不包含情感句的數(shù)量。訓(xùn)練集和驗(yàn)證集具有公開(kāi)標(biāo)簽，這里使用已標(biāo)注的數(shù)據(jù)按照9∶1的比例進(jìn)行訓(xùn)練和測(cè)試，已標(biāo)注的語(yǔ)句總數(shù)為19 917句。

表2 數(shù)據(jù)集信息表Table 2 Information of datasets

3.2 評(píng)價(jià)指標(biāo)

評(píng)價(jià)指標(biāo)采用準(zhǔn)確率P、召回率R和F值，計(jì)算公式如式（19）～（21）所示。其中TP是將正類(lèi)預(yù)測(cè)為正類(lèi)的數(shù)量，F(xiàn)P是將負(fù)類(lèi)預(yù)測(cè)為正類(lèi)的數(shù)量，F(xiàn)N是將正類(lèi)預(yù)測(cè)為負(fù)類(lèi)的數(shù)量。F值是綜合考慮準(zhǔn)確率和召回率的調(diào)和值，反映了模型的整體效果。

3.3 結(jié)果分析

對(duì)所提模型ISA-GACNN進(jìn)行實(shí)驗(yàn)分析，首先介紹模型所采用的參數(shù)，然后使用評(píng)價(jià)指標(biāo)分析模型和添加兩種約束機(jī)制之后的結(jié)果，最后和文獻(xiàn)中的基準(zhǔn)模型進(jìn)行對(duì)比分析。所提出模型的準(zhǔn)確率和F值均高于基準(zhǔn)模型，驗(yàn)證了所提模型的有效性和先進(jìn)性。

3.3.1 模型參數(shù)

模型參數(shù)如表3所示，參數(shù)值根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)設(shè)置。初始化節(jié)點(diǎn)特征向量的時(shí)候使用正態(tài)分布，使得模型更容易得到最優(yōu)解。輸入特征向量的維度為100，在進(jìn)行圖卷積操作之后，輸出特征向量的維度為100，經(jīng)過(guò)注意力機(jī)制更新的特征向量維度為100，本文模型采用的注意力機(jī)制頭數(shù)為3，權(quán)重向量為[a1,a2,a3]。

表3 模型參數(shù)表Table 3 Parameters of proposed model

3.3.2 實(shí)驗(yàn)結(jié)果

模型實(shí)驗(yàn)結(jié)果如表4所示，表中OC表示在圖注意力模型上添加正交約束OC（Orthogonal Constraint），SC表示在圖注意力模型上添加分值約束SC（Score Constraint）。從實(shí)驗(yàn)結(jié)果可以看出，基礎(chǔ)模型ISA-GCNN的F值為88.8%，添加注意力正交約束和分值約束之后均提升了模型準(zhǔn)確率，F(xiàn)值達(dá)到90%以上，說(shuō)明兩種約束對(duì)情感分類(lèi)都有作用。同時(shí)添加兩種約束得到最好結(jié)果的F值達(dá)到91.7%。

表4 模型實(shí)驗(yàn)結(jié)果表Table 4 Result of experiments %

3.3.3 對(duì)比分析

比較文獻(xiàn)中的基準(zhǔn)模型和本文所提模型，文獻(xiàn)基準(zhǔn)模型包括GRU、LSTM、BiLSTM、文獻(xiàn)[1]的模型、文獻(xiàn)[2]的CsHGCN模型和文獻(xiàn)[6]所提模型，GRU、LSTM和BiLSTM的F值采用文獻(xiàn)[1]的結(jié)果值。模型對(duì)比實(shí)驗(yàn)的結(jié)果如表5所示，表中“—”表示文獻(xiàn)中沒(méi)有該指標(biāo)的結(jié)果；文獻(xiàn)[2]的指標(biāo)采用三種情感類(lèi)別的平均值。從實(shí)驗(yàn)結(jié)果表可以看出，本文提出的模型的F值為91.7%，遠(yuǎn)高于其他基準(zhǔn)模型，比文獻(xiàn)[6]的模型F值高11.7%。

表5 模型對(duì)比實(shí)驗(yàn)結(jié)果表Table 5 Result of contrast test %

4 總結(jié)

本文研究了基于圖注意力神經(jīng)網(wǎng)絡(luò)的隱式情感分析，提出ISA-GACNN模型。闡述了模型研究的動(dòng)機(jī)、原理和結(jié)構(gòu)，在SMP2019中文隱式情感分析評(píng)測(cè)數(shù)據(jù)集上驗(yàn)證了模型的有效性和先進(jìn)性。隱式情感分析最大的特點(diǎn)是不包含顯式情感詞，表達(dá)情感更加含蓄，情感特征提取更加困難。本文提出圖注意力卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)注意力機(jī)制進(jìn)行約束，保證多頭注意力之間的差異性和注意力關(guān)注部分重要詞語(yǔ)。通過(guò)實(shí)驗(yàn)分析驗(yàn)證了圖注意力神經(jīng)網(wǎng)絡(luò)模型和注意力機(jī)制對(duì)情感分析的作用。本文的研究還沒(méi)有考慮外部知識(shí)對(duì)隱式情感分析的影響，在后續(xù)的研究中將探索詞語(yǔ)詞性、依存關(guān)系等語(yǔ)義信息在圖神經(jīng)網(wǎng)絡(luò)情感分析模型中的應(yīng)用。