基于雙重多視角表示的目標(biāo)級(jí)隱性情感分類(lèi)

崔蒙蒙，劉井平，阮彤，宋雨秋，杜渂

（1.華東理工大學(xué)信息科學(xué)與工程學(xué)院，上海 200237；2.迪愛(ài)斯信息技術(shù)股份有限公司， 上海 200032）

0 引言

作為情感分析中的一項(xiàng)重要任務(wù)［1］，目標(biāo)級(jí)情感分類(lèi)（TSC）［2］旨在識(shí)別文本中給定的一個(gè)或多個(gè)目標(biāo)的情感極性（積極、中立、消極）。比如，給定語(yǔ)句“Bush is a good man and was a strong governor in Florida.”以及目標(biāo)“Bush”，該目標(biāo)的情感極性是積極的。

根據(jù)情感的表達(dá)方式，TSC 可以被拆分為兩個(gè)子任務(wù)：顯性情感分析和隱性情感分析。顯性情感分析任務(wù)是指判定給定目標(biāo)的情感極性的依據(jù)在文本中是顯式提及的。針對(duì)上述示例，判定目標(biāo)“Bush”的極性是積極的原因是該目標(biāo)周?chē)小癵ood”一詞。此類(lèi)子任務(wù)的語(yǔ)料主要集中在產(chǎn)品評(píng)論、社交媒體評(píng)論等文本中，因?yàn)檫@些文本往往是用戶用來(lái)顯性表達(dá)自己情感喜好的評(píng)論。隱性情感分析任務(wù)是指需要充分理解整個(gè)隱性表達(dá)文本的語(yǔ)義來(lái)確定句子中給定目標(biāo)的隱式情感極性。比如，給定文本“Mr.Priebus said he would rebuild effort in 50 states rather than focus on battle among states.”，判斷“he”的隱性情感極性是積極的原因是從“rebuild effort …among states”的語(yǔ)義中推斷出目標(biāo)“he”要為各個(gè)州的重建做貢獻(xiàn)，而不是發(fā)動(dòng)州與州之間的戰(zhàn)爭(zhēng)來(lái)擾亂各個(gè)州的安定。由示例可以看出，隱性表達(dá)文本往往是表達(dá)者站在中立的角度表達(dá)對(duì)人物態(tài)度的言論，且言論中不包含明顯的情感詞。此類(lèi)子任務(wù)的語(yǔ)料主要集中在新聞報(bào)道的文本中，因?yàn)樾侣動(dòng)浾咄ǔ１灰蟛荒苊鞔_表達(dá)自己對(duì)所報(bào)道的人物的態(tài)度。與顯性情感分析子任務(wù)相比，研究隱性情感分析子任務(wù)更具有挑戰(zhàn)性，并且該研究領(lǐng)域的進(jìn)一步發(fā)展可以有效提升人們對(duì)網(wǎng)絡(luò)輿情的理解，從而應(yīng)用于輿情分析［3-4］、信息檢索［3］、觀點(diǎn)挖掘［5］等下游任務(wù)。

目前大多數(shù)研究主要集中在顯性情感分析任務(wù)，但這些方法難以充分建模目標(biāo)與其上下文之間的語(yǔ)義關(guān)系，從而無(wú)法準(zhǔn)確識(shí)別文本中目標(biāo)的隱含情感。這些研究主要被分為3 類(lèi)：第1 類(lèi)是利用目標(biāo)周?chē)纳舷挛奶卣鱽?lái)判定目標(biāo)的情感極性，上下文特征的獲取方法包括：傳統(tǒng)特征工程如基于詞典的方法［6-7］和深度神經(jīng)網(wǎng)絡(luò)如基于注意力機(jī)制［8-9］或者卷積神經(jīng)網(wǎng)絡(luò)的方法［10］；第2 類(lèi)是根據(jù)文本的依存關(guān)系將文本轉(zhuǎn)化為圖，并使用圖網(wǎng)絡(luò)方法如圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）［11］來(lái)建模單詞與單詞之間的句法關(guān)系與語(yǔ)義關(guān)系；第3 類(lèi)是在獲取文本深度特征的基礎(chǔ)上，融入外部知識(shí)來(lái)增強(qiáng)文本中隱性情感的表達(dá)能力。其中，外部知識(shí)主要包括知識(shí)庫(kù)（如WordNet［12］、SenticNet［13］和ConceptNet［14］）或先驗(yàn)情感知識(shí)（如LIWC［15］、NRC［16］和MPQA［17］）。然而，上述方法仍存在以下問(wèn)題：

首先現(xiàn)有方法側(cè)重于對(duì)目標(biāo)進(jìn)行建模，較少有研究工作考慮與目標(biāo)無(wú)關(guān)的文本語(yǔ)義表示。比如，有學(xué)者利用方面級(jí)注意力機(jī)制［9，18-19］和局部上下文關(guān)注機(jī)制［8，20］來(lái)獲取上下文感知的目標(biāo)語(yǔ)義表示向量。但是，這些研究工作鮮有考慮與目標(biāo)無(wú)關(guān)的輸入文本的整體語(yǔ)義表示，其相應(yīng)的背景信息可以為目標(biāo)極性的判定提供更全面的語(yǔ)義信息。其次上述方法所考慮的信息視角不夠全面（要么是基于單視角，要么是基于兩個(gè)視角），難以充分捕獲到目標(biāo)和文本的語(yǔ)義信息。比如，文獻(xiàn)［8，10，21］僅考慮利用文本視角來(lái)識(shí)別目標(biāo)的情感，文獻(xiàn)［22-24］通過(guò)文本視角和圖視角對(duì)目標(biāo)進(jìn)行建模，文獻(xiàn)［25-26］僅采用文本視角和外部知識(shí)視角對(duì)目標(biāo)建模。

為解決上述問(wèn)題，本文提出基于雙重多視角的表示學(xué)習(xí)（DMVRL）模型，分別對(duì)輸入文本和目標(biāo)進(jìn)行雙重建模，并將獲取的表示進(jìn)行深度融合來(lái)識(shí)別目標(biāo)的情感極性。在輸入文本方面，采用大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型、圖卷積網(wǎng)絡(luò)以及文本與先驗(yàn)情感知識(shí)的相關(guān)性分別對(duì)文本、圖結(jié)構(gòu)以及外部知識(shí)進(jìn)行建模，進(jìn)而采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)3 個(gè)視角下的文本表示進(jìn)行融合。在目標(biāo)方面，本文也同樣從上述3 個(gè)視角進(jìn)行建模，得到文本、圖結(jié)構(gòu)、外部知識(shí)視角下的目標(biāo)語(yǔ)義表示，進(jìn)而將3 種語(yǔ)義表示進(jìn)行拼接，并將其輸入到多層感知器（MLP）進(jìn)行情感極性的預(yù)測(cè)。

1 相關(guān)工作

本文的相關(guān)工作從視角方面考慮可以歸為3 類(lèi)：第1 類(lèi)是僅考慮文本的方法，稱(chēng)為基于文本的方法；第2 類(lèi)是結(jié)合文本和圖結(jié)構(gòu)的方法，稱(chēng)為基于圖結(jié)構(gòu)的方法；第3 類(lèi)是結(jié)合文本和外部知識(shí)的方法，稱(chēng)為基于外部知識(shí)的方法。

1.1 基于文本的方法

為了充分利用TSC 任務(wù)中句子的上下文信息，有很多建模目標(biāo)和上下文的語(yǔ)義關(guān)系的方法被提出。早期提出的機(jī)器學(xué)習(xí)方法通過(guò)提取詞袋特征和情感詞特征來(lái)識(shí)別句子中目標(biāo)的情感極性［6-7］。由于提取淺層特征的效率低下，研究人員提出各種神經(jīng)網(wǎng)絡(luò)模型來(lái)提取目標(biāo)和它的上下文之間的深層特征，包括卷積神經(jīng)網(wǎng)絡(luò)方法［10，18］、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）方法［19，21］和帶有注意力機(jī)制的預(yù)訓(xùn)練語(yǔ)言模型（PLM）的方法［8-9］。例如，文獻(xiàn)［21］采用兩個(gè)長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）［27］對(duì)目標(biāo)的左右文本分別建模，然后根據(jù)目標(biāo)周?chē)奈谋具M(jìn)行極性的預(yù)測(cè)。并且，CNN 在提取局部上下文的特征方面也很常見(jiàn)，文獻(xiàn)［10］使用CNN 從句子的上下文中提取特定目標(biāo)的表示用于情感分類(lèi)。此外，還有具有豐富上下文的語(yǔ)言表示模型，比如BERT［28］和RoBERTa［29］。文獻(xiàn)［8］在BERT 的基礎(chǔ)上采用局部上下文關(guān)注機(jī)制來(lái)提取局部上下文特征，并通過(guò)建模局部文本和目標(biāo)之間的語(yǔ)義相關(guān)性來(lái)進(jìn)行情感分類(lèi)。然而，上述方法只聚焦在句子的上下文，忽略了圖結(jié)構(gòu)和外部知識(shí)的建模，只重點(diǎn)考慮目標(biāo)的周?chē)谋拘畔ⅲ疚奶岢龅哪Ｐ瓦€考慮了文本自身的信息。

1.2 基于圖結(jié)構(gòu)的方法

為了進(jìn)一步增強(qiáng)TSC 任務(wù)中文本信息的表示，研究人員又提出一些方法［22-24］用來(lái)學(xué)習(xí)目標(biāo)在圖中的表示，其中圖是建立在序列（句子或多個(gè)單詞）的依存樹(shù)上的。例如，文獻(xiàn)［22］在依存樹(shù)上使用GCN來(lái)學(xué)習(xí)帶有句法信息的方面詞表示，并用于最終情感分類(lèi)的方法。同樣地，文獻(xiàn)［23］首先基于句子構(gòu)建了依存樹(shù)，然后采用GCN 從依存樹(shù)中學(xué)習(xí)特定方面詞的表示來(lái)進(jìn)行情感分類(lèi)的方法。此外，文獻(xiàn)［24］基于句子中的多個(gè)方面詞構(gòu)建圖，采用GCN 和注意力機(jī)制共同捕捉不同方面詞之間的情感依賴(lài)關(guān)系來(lái)進(jìn)行最終分類(lèi)的方法。一般來(lái)說(shuō)，這些研究首先是利用句子的信息構(gòu)造依存圖，并使用GCN 學(xué)習(xí)節(jié)點(diǎn)與節(jié)點(diǎn)之間的依賴(lài)關(guān)系，僅提取圖中目標(biāo)部分的表示用于情感分類(lèi)。然而，上述方法只聚焦在圖的建模上，忽略了其他視角的建模，此外這些方法只重點(diǎn)考慮了圖視角下的目標(biāo)周?chē)谋拘畔?，本文還考慮了文本視角下的目標(biāo)周?chē)谋拘畔ⅰ?/p>

1.3 基于外部知識(shí)的方法

為了提高句子表達(dá)隱含情感的能力，研究人員提出將外部知識(shí)整合到模型中的方法［25-26，30］。這些方法分為兩類(lèi)：一類(lèi)是與常識(shí)有關(guān)；另一類(lèi)是與先驗(yàn)情感知識(shí)相關(guān)。針對(duì)前一類(lèi)，文獻(xiàn)［25］將常識(shí)知識(shí)整合到句子中，同樣地，文獻(xiàn)［30］也將相同的常識(shí)知識(shí)和依存信息結(jié)合起來(lái)用于情感分類(lèi)；針對(duì)后一類(lèi)，文獻(xiàn)［26］將先驗(yàn)知識(shí)的表示和句子的表示拼接用于最終情感分類(lèi)的方法?？傊?，雖然這些方法考慮了外部知識(shí)，但上述的知識(shí)融合方法也只是簡(jiǎn)單地將句子和先驗(yàn)的情感知識(shí)連接起來(lái)，依然不能很好地提取句子中的隱性情感特征。

2 問(wèn)題定義與方法框架

本節(jié)首先給出形式化的問(wèn)題定義，然后描述提出目標(biāo)級(jí)隱性情感分析方法框架。

給定文本S={w1,w2,…,wn}和一個(gè)目標(biāo)集合T={t1,t2,…,tm}，其中，n表示文本中的單詞個(gè)數(shù)，m表示目標(biāo)個(gè)數(shù)（目標(biāo)可能由多個(gè)單詞組成），本文的任務(wù)是識(shí)別每個(gè)給定目標(biāo)的情感極性。比如，給定文本“He brightened the room as soon as he came in，Clark added.”及其目標(biāo)“He”和“Clark”，理想的模型需要分別輸出“積極”和“中立”。由于不同目標(biāo)的情感極性判定是相同且獨(dú)立的，因此接下來(lái)主要討論針對(duì)一個(gè)目標(biāo)的情感識(shí)別解決方案。

如圖1 所示，本文提出的模型主要包括3 個(gè)部分：即文本表示學(xué)習(xí)模塊、目標(biāo)表示學(xué)習(xí)模塊和融合模塊。其中，文本表示學(xué)習(xí)模塊主要從文本視角、圖結(jié)構(gòu)視角以及外部知識(shí)視角進(jìn)行建模，并采用CNN模型融合上述3 種表示。值得注意的是，文本視角和圖視角的融入是為了分別獲取句子的整體和局部特征，而外部知識(shí)視角的融入是為了提高模型對(duì)隱性表達(dá)文本的判定能力。目標(biāo)表示學(xué)習(xí)模塊也同樣從上述3 種視角進(jìn)行學(xué)習(xí)，并將3 種表示向量進(jìn)行拼接。在獲得文本和目標(biāo)的語(yǔ)義表示后，將其輸入到融合模塊得到目標(biāo)和上下文之間的聯(lián)合語(yǔ)義向量，從而更好地實(shí)現(xiàn)隱式情感極性的分類(lèi)。

圖1 DMVRL 整體結(jié)構(gòu)Fig.1 The overall structure of DMVRL

3 基于多視角的文本表示學(xué)習(xí)

文本表示學(xué)習(xí)主要由4 個(gè)模塊組成：即文本自身表示學(xué)習(xí)、基于圖結(jié)構(gòu)的文本表示學(xué)習(xí)、基于外部知識(shí)的文本表示學(xué)習(xí)以及多視角的文本表示學(xué)習(xí)融合模塊。

3.1 文本自身表示學(xué)習(xí)

文本自身是指輸入的語(yǔ)句S={w1,w2,…,wn}。為了捕獲上下文的語(yǔ)義，一種直接的做法是采用Word2vec 或Glove［10］來(lái)獲得S中wi(i=1,2,…,n)的詞向量，并將其融合得到句子的表示，但這種詞嵌入模型學(xué)習(xí)得到的向量無(wú)法根據(jù)上下文的變化而有所不同，且隱性情感分析更加依賴(lài)于上下文的整體語(yǔ)義信息。因此，本文采用了上下文相關(guān)的預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行編碼。具體而言，首先在句子的起始和終止位置分別插入了特殊符［CLS］和［SEP］，然后將修改后的句子輸入到BERT 中獲得最后一層的隱藏層向量：

3.2 圖視角下的上下文表示學(xué)習(xí)

目標(biāo)情感極性的判定往往傾向于其周?chē)嚯x的單詞［26，30］，越靠近目標(biāo)的單詞，對(duì)模型判定隱性情感的貢獻(xiàn)越大。給定文本“Mr.Priebus said he would rebuild effort in 50 states rather than focus on battle among states.”以及目標(biāo)“he”，當(dāng)文本中每個(gè)詞的權(quán)重相同時(shí)，“he”的隱式極性被判斷為消極（錯(cuò)誤的）。因此，本文根據(jù)單詞與目標(biāo)詞的距離構(gòu)建權(quán)重圖，并通過(guò)圖網(wǎng)絡(luò)學(xué)習(xí)每個(gè)單詞的表示。

具體而言，權(quán)重圖的節(jié)點(diǎn)由文本中的單詞組成，邊取決于在給定窗口內(nèi)詞與詞之間是否共現(xiàn)。當(dāng)兩個(gè)詞出現(xiàn)在同一個(gè)窗口內(nèi)，則有邊；否則沒(méi)有邊。此外，每條邊也會(huì)分配權(quán)重W，計(jì)算方式如下：

為了學(xué)習(xí)基于權(quán)重圖的文本表示，一種直接的做法是采用傳統(tǒng)的GCN，但是由于其穩(wěn)定性較差，難以擴(kuò)展到大規(guī)模網(wǎng)絡(luò)中，因此本文采用一個(gè)方面級(jí)GCN［23］對(duì)圖進(jìn)行編碼。與傳統(tǒng)GCN 不同，方面級(jí)GCN 引入了歸一化因子。形式化地，給定無(wú)向圖G=(V,E,A)，其中，vi(i=1,2,…,n)?V和?E分別表示權(quán)重圖G的節(jié)點(diǎn)和邊，A?Rn×n是圖G的鄰接矩陣。矩陣A中的元素Aij表示邊的權(quán)重，其中對(duì)角線上的值都為1。方面級(jí)GCN 可以被看做是一個(gè)消息傳遞框架，它將信息從鄰居節(jié)點(diǎn)傳遞給目標(biāo)節(jié)點(diǎn)，并附帶歸一化因子。在信息傳遞的過(guò)程中，在第l層每個(gè)節(jié)點(diǎn)的隱藏層向量的更新如下：

3.3 外部知識(shí)視角下的上下文表示學(xué)習(xí)

外部知識(shí)是指以鍵值對(duì)形式存儲(chǔ)的情感詞典，其中，鍵是常用詞，值是情感詞，比如，在LIWC、MPQA、NRC 詞典中，單詞pioneer 的情感詞包括anticipation 和 surprise 等。外部知識(shí)往往可以為隱性情感分析的判定帶來(lái)有利的貢獻(xiàn)，比如，給定新聞文本“Coloradans，naturally having that pioneer spirit，gravitate towards someone like Cruz，said State Rep.”和目標(biāo)“Coloradans”、“pioneer”等詞的先驗(yàn)情感信息，可以幫助模型更好地判斷該目標(biāo)在文本中的隱含情感是積極的。

為了學(xué)到外部知識(shí)視角下的上下文表示，本文擬設(shè)計(jì)以下幾個(gè)步驟：首先給定文本S={w1,w2,…,wn}和情感詞典，其中詞典包括η個(gè)預(yù)先定義的情感詞，本文為文本中的每個(gè)單詞wi定義一個(gè)維度為η的向量x，每維的值是0 或1，表示單詞wi能否在詞典中找到相應(yīng)的情感詞；然后將向量x輸入到全連接層中獲取每個(gè)單詞的情感嵌入表示，即xw=Wk x+b，其中，Wk?和b?是可學(xué)習(xí)的參數(shù)矩陣；最后整個(gè)文本（包括特殊符CLS 和SEP）的情感知識(shí)表示是XS=[；；…；]，n是句子S的長(zhǎng)度，XS?。

3.4 多視角的上下文表示的融合方法

在獲得文本自身的表示、圖視角下的文本表示以及外部知識(shí)視角下的文本表示后，本文需要進(jìn)一步對(duì)上述3 種文本表示進(jìn)行深度融合，因?yàn)閱我灰暯堑奈谋颈硎静蛔阋杂?xùn)練高質(zhì)量的目標(biāo)級(jí)隱性情感分類(lèi)器，所以需要融合3 種視角的表示以得到上下文充分表示。

為了融合3 個(gè)視角下的文本表示：Ts?，GL?和XS?，一些常規(guī)的做法主要有最大池化、平均池化、向量拼接、向量求和以及CNN。其中，最大池化是對(duì)不同視角下向量的對(duì)應(yīng)維度取最大值，平均池化是指對(duì)應(yīng)維度取平均值，向量求和是指對(duì)應(yīng)維度求和，向量拼接是指不同視角下向量的拼接，CNN 是對(duì)不同視角下的向量做卷積運(yùn)算。具體如下：首先定義一個(gè)堆疊矩陣I=[Ts：GL：Xs]?，其中，[：]表示堆疊操作；其次使用c個(gè)k×k卷積核將I映射為I'，其中I'?。實(shí)驗(yàn)結(jié)果表明，這5 種方法中CNN 的融合效果最好。

4 基于多視角的目標(biāo)表示學(xué)習(xí)

與文本表示學(xué)習(xí)方式類(lèi)似，目標(biāo)的表示學(xué)習(xí)也先通過(guò)上述3 種視角獲得，并進(jìn)一步將得到的向量進(jìn)行拼接融合。

為了獲得文本視角和圖視角下的目標(biāo)表示向量，分別針對(duì)兩個(gè)視角下的表示向量采用掩碼策略，其核心思想是將文本和圖中的非目標(biāo)部分用0 替代，并保持目標(biāo)部分的向量t=[wτ+1,wτ+2,…,wτ+m]不變，定義如下：

針對(duì)外部知識(shí)視角下的目標(biāo)表示，一種直接的方法是對(duì)外部知識(shí)和目標(biāo)詞的整合向量做平均池化。但是這一方法存在無(wú)法區(qū)分作用在不同目標(biāo)詞上的外部知識(shí)權(quán)重大小，從而不能有效地將外部知識(shí)融入到目標(biāo)詞中。因此，本文采用注意力機(jī)制來(lái)計(jì)算目標(biāo)詞與外部知識(shí)庫(kù)中情感詞的相關(guān)性。給定目標(biāo)文本，首先獲取目標(biāo)表示然后從外部知識(shí)庫(kù)中查找每個(gè)目標(biāo)詞對(duì)應(yīng)的情感極性詞語(yǔ)集合E={e1,e2,…,eη}，其中，ei表示外部知識(shí)庫(kù)中的極性單詞。其次利用詞嵌入矩陣W?將E進(jìn)行初始化，其中，dh定義為詞嵌入的維度，初始化之后就得到了與目標(biāo)相關(guān)的外部知識(shí)的表示EK={ek1,ek2,…,ekη}，其中eki?。最后采用注意力機(jī)制計(jì)算目標(biāo)與外部知識(shí)的相關(guān)性，定義如下：

其中：fscore是一個(gè)打分函數(shù)，計(jì)算了eki對(duì)hj的重要性，hj來(lái)自于，eki來(lái)自于EK。打分函數(shù)fscore定義如下：

其中：W1和W2是可學(xué)習(xí)參數(shù)。至此，可以得到以目標(biāo)為主的外部知識(shí)的表示EKt，其計(jì)算公式如下：

其中：⊙代表元素間的點(diǎn)乘運(yùn)算。

5 訓(xùn)練方式

其中：⊕是拼接操作。將拼接后的向量ht輸入到一個(gè)全連接層，并通過(guò)Softmax 函數(shù)計(jì)算目標(biāo)不同情感極性的概率。在訓(xùn)練階段，采用交叉熵?fù)p失函數(shù)，定義如下：

其中：N和K分別表示訓(xùn)練集的樣本數(shù)和情感極性標(biāo)簽的個(gè)數(shù)；yi表示第i個(gè)樣本中目標(biāo)的真實(shí)情感類(lèi)別；p(t)i是模型預(yù)測(cè)目標(biāo)的情感類(lèi)別；λ是L2 正則化項(xiàng)的權(quán)重；Θ表示所有的可訓(xùn)練參數(shù)。

6 實(shí)驗(yàn)結(jié)果與分析

本節(jié)首先給出關(guān)于數(shù)據(jù)集、基線模型、實(shí)驗(yàn)參數(shù)設(shè)定以及度量指標(biāo)的相關(guān)實(shí)驗(yàn)設(shè)置；其次在隱性情感分析數(shù)據(jù)集和顯性情感分析數(shù)據(jù)集上進(jìn)行大量的實(shí)驗(yàn)對(duì)比和分析；最后給出模型的詳細(xì)分析，包括消融實(shí)驗(yàn)、窗口大小對(duì)模型性能的影響、注意力機(jī)制的可視化以及在隱性情感分析數(shù)據(jù)集上的典型案例分析等。

6.1 實(shí)驗(yàn)設(shè)置

6.1.1 數(shù)據(jù)集

在NewsMTSC-mt、NewsMTSC-rw、Restaurant 14［31］、Laptop14［31］以及Twitter［32］5 個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)集的數(shù)據(jù)分布如表1 所示，其中，Pos.表示積極，Neu.表示中立，Neg.表示消極，同時(shí)給出每個(gè)數(shù)據(jù)集中的隱性情感樣本所占的比例。

表1 基準(zhǔn)數(shù)據(jù)集上的情感極性分布Table 1 Distribution of sentiment polarity on benchmark datasets

6.1.2 基線模型

為了證明DMVRL 模型的有效性，本文將其與下面公開(kāi)的模型的性能進(jìn)行比較。

1）SPC-BERT［33］：是一個(gè)通過(guò)構(gòu)建輔助句進(jìn)行方面級(jí)情感分析的模型。該模型通過(guò)構(gòu)造輔助句子將方面級(jí)情感分析從單句分類(lèi)任務(wù)轉(zhuǎn)換為句對(duì)分類(lèi)任務(wù)，并在BERT 模型上進(jìn)行微調(diào)，取得了當(dāng)時(shí)最先進(jìn)的結(jié)果。

2）TD-BERT［34］：是一個(gè)目標(biāo)級(jí)情感分類(lèi)模型。該模型將BERT 的最后一層中的目標(biāo)部分向量取出，并經(jīng)過(guò)池化層，再與BERT 的［CLS］向量融合，將融合后的句子表示進(jìn)行極性分類(lèi)。

3）LCF-BERT［20］：是一個(gè)聚焦局部上下文的方面級(jí)情感分類(lèi)模型。該模型首先通過(guò)多頭自注意力機(jī)制來(lái)捕獲上下文的局部特征和全局特征，然后采用Local-Context-Focus 機(jī)制來(lái)提取與方面詞相關(guān)的局部上下文特征，最后利用注意力機(jī)制將方面級(jí)局部上下文表示和全局上下文表示融入到模型中。

4）AEN-BERT［9］：是一個(gè)基于BERT 的注意力編碼器網(wǎng)絡(luò)模型。該模型首先借助自注意力機(jī)制和交互注意力機(jī)制分別得到上下文的表示、目標(biāo)的表示和兩者之間的交互向量，然后將三者進(jìn)行平均池化操作，最后將拼接的向量用于分類(lèi)。

5）Sentic-LSTM［25］：是一個(gè)利用常識(shí)知識(shí)來(lái)進(jìn)行方面級(jí)情感分類(lèi)的模型。該模型通過(guò)將常識(shí)知識(shí)庫(kù)整合到基于注意力的LSTM 模型中來(lái)提取目標(biāo)級(jí)和句子級(jí)的特征，并將其用于最后的分類(lèi)。

6）DualGCN［35］：是一個(gè)對(duì)偶的圖卷積網(wǎng)絡(luò)模型。該模型首先分別利用語(yǔ)義GCN 和語(yǔ)法GCN 獲取目標(biāo)的語(yǔ)義表示和句法表示，然后將兩種表示拼接，并將拼接的結(jié)果用于最后的分類(lèi)。

7）SK-GCN［30］：是一個(gè)整合語(yǔ)義和外部知識(shí)信息的GCN 模型。該模型通過(guò)GCN 對(duì)句子的依存樹(shù)和情感常識(shí)知識(shí)庫(kù)進(jìn)行聯(lián)合建模，得到句子的語(yǔ)義表示用于最后的分類(lèi)。

8）GRU-TSC［26］：是一個(gè)融入了先驗(yàn)情感知識(shí)的目標(biāo)級(jí)情感分類(lèi)模型。該模型首先分別利用BERT和詞嵌入矩陣得到句子的表示和外部知識(shí)表示，然后采用MASK 機(jī)制從句子的表示中得到目標(biāo)的表示，最后采用單層的門(mén)控循環(huán)單元對(duì)這3 種表示進(jìn)行交互，并將交互的結(jié)果向量用于分類(lèi)。

9）TNet［10］：是一個(gè)采用CNN 作為特征提取器的方面級(jí)情感分類(lèi)模型。該模型是通過(guò)一個(gè)針對(duì)目標(biāo)的編碼組件將目標(biāo)信息整合到局部上下文的表示信息中。

6.1.3 參數(shù)設(shè)定

在文本視角中，設(shè)置dc=768 和dh=768。在圖視角中，設(shè)置窗口的范圍為｛1，2，3，4，5，6，7，8，9｝，λ=1/2 是式（2）中的超參數(shù)。由于節(jié)點(diǎn)數(shù)目較少，方面級(jí)GCN 的層數(shù)設(shè)置為1。卷積操作的向量維度為dconv=3×dh。在外部知識(shí)視角中，采用3 個(gè)先驗(yàn)情感知識(shí)庫(kù)，分別是LIWC、NRC 和MPQA，其中預(yù)定義的情感詞總數(shù)η=15。在模型訓(xùn)練中，batch size 設(shè)置為8，學(xué)習(xí)率設(shè)置為3×106，epoch 設(shè)置為10。此外，每組實(shí)驗(yàn)用不同的隨機(jī)種子訓(xùn)練10 次，并報(bào)告實(shí)驗(yàn)結(jié)果的平均值。

6.1.4 度量指標(biāo)

本文采用準(zhǔn)確率（A）、平均召回率（ra）和宏平均F1m值作為模型的評(píng)價(jià)指標(biāo)。

6.2 模型對(duì)比

6.2.1 在隱性情感分析數(shù)據(jù)集上的結(jié)果對(duì)比

為了評(píng)估本文提出的DMVRL 模型在隱性情感分析方面的表現(xiàn)，本文將其與所有基線模型在Testmt 和Test-rw 測(cè)試集上的性能進(jìn)行比較。實(shí)驗(yàn)結(jié)果如表2 所示。

表2 在NewsMTSC-mt 和NewsMTSC-rw 隱性情感分析數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 2 Experiment results on the NewsMTSC-mt and NewsMTSC-rw implicit sentiment analysis datasets %

從表2 得出以下結(jié)論：

1）無(wú)論是基于BERT 的方法還是基于RoBERTa的方法，本文提出的DMVRL 在所有指標(biāo)上都優(yōu)于其他基線模型，這表明DMVRL 可以從不同的視角充分捕捉目標(biāo)和上下文的語(yǔ)義。此外，DMVRL 在兩個(gè)數(shù)據(jù)集上都實(shí)現(xiàn)了最好的準(zhǔn)確率，分別是85.3%和86.6%。在基于句子方法的AEN、SPC、TD、LCF模型中，DMVRL 模型的準(zhǔn)確率比這些模型都高。原因可能是本文提出的DMVRL 融入了圖和外部知識(shí)，分別為隱性文本提供了重要的局部上下文語(yǔ)義特征和顯式的先驗(yàn)情感知識(shí)。與基于圖結(jié)構(gòu)的方法相比，DMVRL 模型比SK-GCN 的準(zhǔn)確率分別高了5.7 和6.5 個(gè)百分點(diǎn)。這可能是由于DMVRL 不僅建模了目標(biāo)和上下文，而且也將其他兩個(gè)視角的表示融入到模型中，充分捕獲了隱性文本的上下文語(yǔ)義特征。并且，在基于外部知識(shí)的Sentic-LSTM 和GRU-TSC 方法中，DMVRL 的性能依然比這些模型的性能好，這從實(shí)驗(yàn)的角度證明了DMVRL 能夠高效地將顯性的情感知識(shí)融入到隱性文本中，從而輔助隱性文本中目標(biāo)的情感分類(lèi)。

2）在基于RoBERTa 的3 種類(lèi)型的基線方法中，LCF 比DualGCN 的表現(xiàn)要好，GRU-TSC 又比DualGCN 的性能要好。但它們?nèi)员缺疚牡姆椒ú睿@更加表明DMVRL 融合各個(gè)視角的表示是有用的。

3）在Test-mt 和Test-rw 兩個(gè)隱性情感分析數(shù)據(jù)集中，各個(gè)模型在Test-rw 上的性能要優(yōu)于Test-mt 上的性能。這可能是由于Test-rw 中隱式表達(dá)情感的數(shù)據(jù)所占比例要比Test-mt 中的低，模型更容易判斷目標(biāo)的情感極性。

6.2.2 在顯性情感分析數(shù)據(jù)集上的結(jié)果對(duì)比

本文也在顯性情感分析數(shù)據(jù)集（Laptop 14、Restaurant 14 和Twitter）上進(jìn)行了基于BERT 模型的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表3所示，其中，粗體表示值為最優(yōu)。

從表3 可以得出以下結(jié)論：

1）DMVRL 模型在3 個(gè)顯性情感分析數(shù)據(jù)集上都取得了最佳的效果，在3 個(gè)數(shù)據(jù)集上的F1m值分別達(dá)到了82.6%、82.1% 和76.2%，這說(shuō)明本文的方法不僅適用于隱性情感分析，也適用于顯性情感分析。

2）在3 個(gè)顯性表達(dá)情感的數(shù)據(jù)集上，各個(gè)模型在Twitter 數(shù)據(jù)集上的效果比在其他數(shù)據(jù)集上要差，原因可能是推特文本比其他數(shù)據(jù)集中的文本要短，導(dǎo)致模型沒(méi)有捕獲更多有用的信息。

6.3 模型分析

6.3.1 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出模型在各個(gè)視角下的表示學(xué)習(xí)以及各個(gè)子模型的有效性，本文設(shè)計(jì)了一系列消融實(shí)驗(yàn)和替換各個(gè)主要子模型的對(duì)比實(shí)驗(yàn)。

依據(jù)消融實(shí)驗(yàn)的設(shè)計(jì)，本文依次消除各個(gè)視角下的表示學(xué)習(xí)模塊，如表4 和表5 所示。其中，w/o CR 代表僅去掉文本自身的表示與僅去掉圖視角下的表示，w/o KR 代表僅去掉外部知識(shí)視角下的表示，w/o GR 代表僅去掉圖視角下的表示，w/o Attention代表僅去掉目標(biāo)和外部知識(shí)之間的注意力機(jī)制，w/o CNN 代表僅去掉卷積融合模塊，CR 代表僅采用文本自身的表示，GR 代表僅采用圖視角下的表示，KR 代表僅采用外部知識(shí)視角下的表示。此外，還進(jìn)行了單個(gè)視角下的情感分析實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表4和表5 所示。

表4 在NewsMTSC-mt 和NewsMTSC-rw 隱性情感分析數(shù)據(jù)集上的消融實(shí)驗(yàn)Table 4 Ablation experiments on the NewsMTSC-mt and NewsMTSC-rw implicit sentiment analysis datasets %

表5 在Laptop 14、Restaurant 14 和Twitter 顯性情感分析數(shù)據(jù)集上基于BERT 的消融實(shí)驗(yàn)結(jié)果Table 5 Ablation experiment results of with BERT on Laptop 14，Restaurant 14，and Twitter explicit sentiment analysis datasets %

從表4、表5 可以得出以下結(jié)論：

1）融合3 個(gè)視角下的表示學(xué)習(xí)模型DMVRL 在所有數(shù)據(jù)集上都取得了最佳的效果，說(shuō)明每個(gè)視角下的表示學(xué)習(xí)模塊都是有用的。

2）刪除任意一個(gè)視角都會(huì)影響模型的性能。尤其是刪除基于圖視角下的表示學(xué)習(xí)模塊，基于BERT的DMVRL 在Test-mt 和Test-rw 測(cè)試集上的準(zhǔn)確率分別下降了2.9%和2.0%。

3）在大部分情況下，只用文本視角的模型性能在Test-mt 和Test-rw 數(shù)據(jù)集上較好，僅用圖視角的模型性能在Laptop 14，Restaurant 14 和Twitter 數(shù)據(jù)集上較好。

針對(duì)替換各個(gè)主要子模型的對(duì)比實(shí)驗(yàn)的設(shè)計(jì)，本文分別將文本層面的BERT 替換為Glove，圖結(jié)構(gòu)層面的方面級(jí)GCN 替換為傳統(tǒng)GCN，融合輸入文本在不同視角下表示的CNN 分別替換為最大池化、平均池化、向量拼接和向量求和，外部知識(shí)和目標(biāo)詞之間的注意力機(jī)制替換為平均池化。實(shí)驗(yàn)結(jié)果如表6～表9 所示，其中粗體表示值為最優(yōu)。

表6 在Laptop 14、Restaurant 14 和Twitter 顯性情感分析數(shù)據(jù)集上基于Glove 的實(shí)驗(yàn)結(jié)果Table 6 Experimental results with Glove on Laptop 14，Restaurant 14 and Twitter explicit sentiment analysis datasets %

從表4～表9 可以得出如下結(jié)論：

1）從6 和表7 可以看出，本文所提方法DMVRL（BERT）比DMVRL（Glove）的模型性能更好，這表明BERT 在目標(biāo)級(jí)隱性情感分類(lèi)的有效性。此外，本文采用的DMVRL（Glove）模型性能優(yōu)于上述采用Glove 的基線模型的性能，這說(shuō)明即使采用Glove 模型，DMVRL 同時(shí)對(duì)目標(biāo)詞和目標(biāo)周?chē)奈谋窘Ｒ约叭诤细鱾€(gè)視角的表示是有效的。

表7 在NewsMTSC-mt 和NewsMTSC-rw 隱性情感分析數(shù)據(jù)集上基于Glove 的實(shí)驗(yàn)結(jié)果Table 7 Experimental results with Glove on NewsMTSC-mt and NewsMTSC-rw implicit sentiment analysis datasets %

2）從表8 和表9 可以看出，本文使用方面級(jí)GCN 的模型性能比使用傳統(tǒng)GCN 的模型性能更好。這可能是因?yàn)榉矫婕?jí)GCN 加入了歸一化因子，使得模型在學(xué)習(xí)圖中節(jié)點(diǎn)信息傳遞過(guò)程的特征分布更穩(wěn)定，從而提高模型性能。此外，本文使用傳統(tǒng)GCN的模型性能要優(yōu)于使用傳統(tǒng)GCN 的基線模型性能，這進(jìn)一步說(shuō)明了即使采用傳統(tǒng)的GCN，本文方法同時(shí)對(duì)目標(biāo)周?chē)奈谋竞湍繕?biāo)詞建模是可取的，且從多個(gè)視角融合兩者的表示是有效的。

表8 在Laptop 14、Restaurant 14 和Twitter 顯性情感分析數(shù)據(jù)集上采用GCN 的實(shí)驗(yàn)結(jié)果Table 8 Experimental results with GCN on Laptop 14，Restaurant 14 and Twitter explicit sentiment analysis datasets %

表9 在NewsMTSC-mt 和NewsMTSC-rw 隱性情感分析數(shù)據(jù)集上采用GCN 的實(shí)驗(yàn)結(jié)果Table 9 Experimental results with GCN on NewsMTSC-mt and NewsMTSC-rw implicit sentiment analysis datasets %

3）從表4 可以看出，在對(duì)文本自身的表示、圖視角下的文本表示以及外部知識(shí)視角下的文本表示進(jìn)行深度融合的多種策略中，本文采用的CNN 融合方法比向量拼接、最大池化、平均池化、向量求和這4 種策略都好，這說(shuō)明CNN 不僅能夠融合3 個(gè)視角下的向量，還能夠提取信息量豐富的n-gram 特征，從而提高分類(lèi)準(zhǔn)確率。

4）從表5 可以看出，本文采用注意力機(jī)制比采用平均池化的模型性能要優(yōu)，這進(jìn)一步說(shuō)明了注意力機(jī)制不僅能夠衡量不同的外部知識(shí)對(duì)目標(biāo)的極性貢獻(xiàn)，而且能夠提高模型識(shí)別目標(biāo)的隱性情感的準(zhǔn)確率。

6.3.2 窗口的影響

為了分析窗口對(duì)模型性能的影響，本文從改變窗口的大小進(jìn)行實(shí)驗(yàn)，結(jié)果如圖2 所示。從實(shí)驗(yàn)結(jié)果可以看出，當(dāng)窗口大小為2 時(shí)，模型在5 個(gè)數(shù)據(jù)集上的準(zhǔn)確率和F1m值達(dá)到頂峰；當(dāng)窗口大小2 時(shí)，模型在5 個(gè)數(shù)據(jù)集上的準(zhǔn)確率和F1m值呈現(xiàn)震蕩下降的狀態(tài)，即使有上升階段也沒(méi)有窗口大小為2 時(shí)的效果好。

圖2 在5 個(gè)數(shù)據(jù)集上不同窗口大小下模型的性能比較Fig.2 Performance comparison of models with different window size on five datasets

此外，本文對(duì)比了在5 個(gè)數(shù)據(jù)集上通過(guò)距離窗口構(gòu)圖和依存關(guān)系構(gòu)圖的模型。實(shí)驗(yàn)結(jié)果如表10和表11 所示。

表10 窗口大小為2 的圖和依存圖的性能對(duì)比Table 10 Performance comparison between the graph of window size 2 and the dependency graph %

表11 窗口大小為2 的圖和依存圖的構(gòu)圖時(shí)間對(duì)比Table 11 Building time comparison between the graph of window size 2 and the dependency graph 單位：min

從表10 可以看出，本文采用窗口構(gòu)建的圖比采用依存關(guān)系構(gòu)建的圖取得了更好的性能。特別地，窗口設(shè)為2 的模型的F1m值比采用依存圖的模型的F1m值高了0.5%～1.9%。

從表11 可以看出，本文對(duì)比了窗口為2 時(shí)和采用依存關(guān)系的構(gòu)圖時(shí)間。從表中可以看出，根據(jù)依存關(guān)系的構(gòu)圖時(shí)間是用窗口構(gòu)圖時(shí)間的3～8 倍，這也證明了基于窗口構(gòu)圖的方法比采用依存圖的方法能實(shí)現(xiàn)更好的性能，且基于窗口的構(gòu)圖時(shí)間要比依存圖的構(gòu)圖時(shí)間少得多，大幅提高了程序的執(zhí)行效率。

6.3.3 注意力機(jī)制可視化

本節(jié)給出了注意力機(jī)制的可視化結(jié)果，即利用熱力圖展示不同先驗(yàn)情感詞對(duì)目標(biāo)詞的貢獻(xiàn)程度。比如，給定隱性文本“The night began when Trump，in a short White House speech，nominated Judge Gorsuch from the 10th Circuit Court of Appeals in Denver to the court.”和目標(biāo)詞“Trump”、“Judge Gorsuch”，這兩者的情感極性分別是積極和中立的。圖3 所示給出了不同先驗(yàn)情感詞對(duì)這兩者的貢獻(xiàn)程度。從圖3 可以看出，注意力機(jī)制模型為目標(biāo)“Judge Gorsuch”有關(guān)的正面情感詞賦予了較高的權(quán)重（顏色越深，貢獻(xiàn)越大），為目標(biāo)“Trump”有關(guān)的中性情感詞賦予了較高的權(quán)重。總而言之，注意力機(jī)制可以有效分配不同目標(biāo)詞的先驗(yàn)情感知識(shí)，進(jìn)一步輔助模型對(duì)目標(biāo)的隱性情感的極性判定。

圖3 目標(biāo)詞和先驗(yàn)情感詞之間的注意力分?jǐn)?shù)可視化Fig.3 The visualization of attention scores between target words and pre-defined prior sentiment words

6.3.4 隱性情感分析數(shù)據(jù)集的案例分析

為了更直觀地體現(xiàn)DMVRL 在隱性情感分析任務(wù)上的有效性，本文將其與AEN（基于句子的方法）、DualGCN（基于圖結(jié)構(gòu)的方法）和GRU-TSC（基于外部知識(shí)的方法）基線模型進(jìn)行對(duì)比，典型的對(duì)比案例如表12 所示。

表12 典型的隱性文本示例Table 12 Examples of typical implicit text

從對(duì)比結(jié)果可以看出，本文提出的DMVRL 在識(shí)別這些隱性文本中的目標(biāo)情感上具有優(yōu)勢(shì)。由此可以得出以下結(jié)論：

1）與基于文本的方法AEN 相比，DMVRL 模型的識(shí)別結(jié)果準(zhǔn)確率較高，這可能是由于DMVRL 還融入了圖和外部知識(shí)。

2）與基于圖結(jié)構(gòu)的方法DualGCN 相比，DMVRL的識(shí)別結(jié)果準(zhǔn)確率較高，可能的原因是DMVRL 不僅聯(lián)合建模了目標(biāo)和上下文，而且也將圖結(jié)構(gòu)和外部知識(shí)視角下的表示融入到模型中，為模型識(shí)別隱性文本的目標(biāo)情感提供了更多的語(yǔ)義知識(shí)。

3）與基于外部知識(shí)的GRU-TSC 方法對(duì)比，DMVRL 的識(shí)別準(zhǔn)確率略高，這表明DMVRL 利用Attention 機(jī)制融入外部知識(shí)的方法要比GRU-TSC通過(guò)拼接來(lái)融入外部知識(shí)的方法更適合隱性文本的目標(biāo)情感識(shí)別，也說(shuō)明融入圖結(jié)構(gòu)的表示對(duì)捕獲隱性文本的語(yǔ)義很重要。

總而言之，由于隱性文本缺乏情感詞和依賴(lài)上下文的特點(diǎn)，使得傳統(tǒng)的文本分類(lèi)方法不再適用，因此結(jié)合不同視角的DMVRL 能夠充分捕獲目標(biāo)和上下文的語(yǔ)義，對(duì)解決隱性文本中目標(biāo)的情感識(shí)別問(wèn)題更有利。

7 結(jié)束語(yǔ)

本文提出基于雙重多視角表示學(xué)習(xí)的目標(biāo)級(jí)隱性情感分類(lèi)模型。針對(duì)文本的表示學(xué)習(xí)，從文本自身、圖結(jié)構(gòu)以及外部知識(shí)3 個(gè)視角探索文本表示學(xué)習(xí)方法，并給出基于卷積網(wǎng)絡(luò)的表示融合方法。針對(duì)目標(biāo)的表示學(xué)習(xí)，從上述3 種視角出發(fā)為目標(biāo)學(xué)習(xí)得到準(zhǔn)確的語(yǔ)義向量，然后將文本的語(yǔ)義向量與目標(biāo)語(yǔ)義向量進(jìn)行深度融合并輸入到目標(biāo)級(jí)隱性情感分類(lèi)器。在5 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，DMVRL 模型都取得了最佳的效果。但是本文僅利用文本模態(tài)作為背景知識(shí)來(lái)判斷隱性文本中目標(biāo)的情感極性，下一步將考慮引入圖像模態(tài)，通過(guò)圖像和文本之間的聯(lián)系增強(qiáng)模型提取隱式特征的能力，以更全面地捕獲隱性情感分析任務(wù)中的隱式含義。