基于交互注意力的雙圖卷積網(wǎng)絡(luò)的金融實體情感極性識別方法

任鵬飛,李 旸,王素格,3,李書琪, 閆婧濤

(1. 山西大學(xué) 計算機(jī)與信息技術(shù)學(xué)院,山西 太原 030006;2. 山西財經(jīng)大學(xué) 金融學(xué)院,山西 太原 030006;3.山西大學(xué) 計算智能與中文信息處理教育部重點實驗室,山西 太原 030006)

0 引言

文本情感分析是自然語言處理領(lǐng)域中一項重要的任務(wù),按照文本表示的語言粒度,實體級和方面級情感分析均屬于細(xì)粒度情感分類任務(wù),旨在判別給定目標(biāo)實體或者方面的情感極性(正面、負(fù)面、中性)。隨著Restaurant、Laptop和Twitter等領(lǐng)域英文數(shù)據(jù)集的發(fā)布[1-2],許多研究人員致力于方面級情感分析的研究[3]。在金融領(lǐng)域,涉及的金融情感主要聚焦在實體級層面,例如,“網(wǎng)絡(luò)借貸平臺選擇很重要,優(yōu)秀公司如京東金融、支付寶借唄、騰訊微粒貸,重點黑名單如小資錢包,涉嫌非法集資近五個億,平臺對外宣稱的資格證書和銀行存管全是假的”,該句子包括四個實體,對于前三個實體,其情感極性均為正面,而對于“小資錢包”實體,其情感極性為負(fù)面。然而,在金融領(lǐng)域的實體情感分析研究相對較少,劉宇瀚等人[4]結(jié)合字形特征與迭代學(xué)習(xí)方法研究金融領(lǐng)域命名實體識別,但僅識別金融領(lǐng)域的公司名、品牌名等實體,并未對實體的情感進(jìn)行判別。俞佳炳[5]提出了一種使用門控機(jī)制融合字詞嵌入的表示方法,建立了結(jié)合注意力機(jī)制的長短期記憶神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的混合神經(jīng)網(wǎng)絡(luò)模型,但該模型并未引入金融實體和語句之間的關(guān)聯(lián)關(guān)系。

目前,金融領(lǐng)域的實體情感分析研究主要面臨三方面的挑戰(zhàn): 一是缺乏公開標(biāo)注的金融領(lǐng)域中文實體級情感分析數(shù)據(jù)集;二是金融實體專有名詞表達(dá)具有多樣性,一些分詞工具難以準(zhǔn)確地進(jìn)行分詞;三是金融領(lǐng)域的情感表達(dá)具有隱式性,例如,“高返平臺、暴雷”等。目前僅有2019CCF大數(shù)據(jù)與計算智能大賽下金融信息負(fù)面及主體判定賽題評測(1)https://www.datafountain.cn/competitions/353/datasets,該評測僅識別金融文本中情感極性為負(fù)面的實體,未對正面和中性情感極性的實體進(jìn)一步細(xì)分判定。針對這些問題,本文提出了一種基于實體與句子交互注意力機(jī)制的雙圖卷積網(wǎng)絡(luò)的金融實體情感識別方法(ASynSemGCN)。該方法首先利用預(yù)訓(xùn)練模型RoBERTa-wwm-ext[6],結(jié)合實體,對句子進(jìn)行初始表示,再通過多頭注意力機(jī)制建立實體與句子之間的交互信息表示,從而增強(qiáng)句子對實體情感極性判別的指導(dǎo)。在此基礎(chǔ)上,對句子的交互表示,分別利用語法圖卷積網(wǎng)絡(luò)(SynGCN)和語義圖卷積網(wǎng)絡(luò)(SemGCN),獲得實體的句法和語義深層表示,最后,將實體的深層表示、實體字級嵌入表示以及句子嵌入表示拼接,再通過全連接層對實體進(jìn)行情感極性識別。其中,SynGCN模塊主要是利用依存句法解析器的所有依賴弧的概率矩陣,豐富句子的語法知識,SemGCN模塊主要是利用自注意力機(jī)制獲得注意力矩陣,進(jìn)而捕獲句子中每個詞的語義信息,獲得句子的語義表示。本文的主要貢獻(xiàn)如下:

(1) 利用注意力機(jī)制,建立實體和句子信息交互表示,增強(qiáng)實體的情感語義表示;

(2) 基于雙圖卷積網(wǎng)絡(luò),建立句子的句法和語義的深層表示,從而增強(qiáng)句子對實體的隱式情感表示;

(3) 構(gòu)建一個金融領(lǐng)域的中文實體情感分析數(shù)據(jù)集,并且在該數(shù)據(jù)集上驗證了本文所提方法的有效性。

1 相關(guān)工作

目前,實體級情感分析任務(wù)的相關(guān)研究較少,而且與該任務(wù)相關(guān)的研究主要集中在方面級情感分析。早期的研究人員主要是利用情感詞典和人工標(biāo)注的特征進(jìn)行情感極性識別,而這些方法耗時費力。近年來,神經(jīng)網(wǎng)絡(luò)模型被應(yīng)用于方面級情感分析中。Tang等人[7]使用兩個LSTM將方面與上下文進(jìn)行建模,以增強(qiáng)方面的信息表示。Liu等人[8]利用BiLSTM從正向和反向?qū)渥舆M(jìn)行編碼,并將它們進(jìn)行拼接,用于情感極性識別。然而,僅用LSTM并不能捕獲與方面相關(guān)的重要信息,因此,Wang等人[9]提出了基于注意力機(jī)制的ATAE-LSTM模型,該模型利用注意力機(jī)制對LSTM隱藏層輸出加權(quán)求和,進(jìn)而計算句子中每個詞對給定方面的重要性。Ma等人[10]提出了基于注意力機(jī)制的IAN模型,該模型利用LSTM對句子和方面進(jìn)行編碼,并使用注意力機(jī)制對它們進(jìn)行交互學(xué)習(xí),獲取與方面相關(guān)的語義特征。Fan等人[11]提出了一種多粒度注意機(jī)制,用于捕獲方面和其上下文間的語義交互信息。Wu等人[12]提出了一種方面-上下文交互表示結(jié)構(gòu),該結(jié)構(gòu)僅依賴一種注意力機(jī)制生成上下文和方面的序列到序列的表示。但是,在利用注意力機(jī)制進(jìn)行方面與句子交互時,有可能丟失一些與方面項相關(guān)的詞語信息。為了增強(qiáng)方面與句子中詞的聯(lián)系,有學(xué)者將語法知識應(yīng)用于方面級情感分析,如Phan等人[13]引入句法相對距離,以降低與方面聯(lián)系較弱的無關(guān)詞的影響;Sun等[14]利用依賴樹表示句法結(jié)構(gòu)信息,用于縮短方面和句子中觀點詞的距離,使得句子中保留依賴信息;Liang等[15]利用依賴樹上的圖卷積網(wǎng)絡(luò)學(xué)習(xí)具有語法信息的方面表示。Li等[16]利用雙圖卷積網(wǎng)絡(luò)分別獲取方面的語法和語義表示,并融合方面的語法和語義表示對其情感極性進(jìn)行判別。

上述方法主要是針對較短長度的實體進(jìn)行情感極性判別,并未考慮金融領(lǐng)域中不同實體和句子之間的依賴關(guān)系。由于金融領(lǐng)域中實體名稱較多,情感表達(dá)隱晦,分詞工具難以準(zhǔn)確進(jìn)行分詞,因此,為了增強(qiáng)實體的情感語義表示,本文建立句子和實體之間的關(guān)聯(lián)信息,并提出了一種基于交互注意力的雙圖卷積網(wǎng)絡(luò)的金融實體情感極性識別方法(ASynSemGCN)。

2 金融實體情感分析數(shù)據(jù)集構(gòu)建

2.1 數(shù)據(jù)收集和清洗

本文使用的數(shù)據(jù)來源于2019CCF大數(shù)據(jù)與計算智能大賽下金融信息負(fù)面及主體判定賽題(2)https://www.datafountain.cn/competitions/353/datasets,并對原始數(shù)據(jù)進(jìn)行了數(shù)據(jù)清洗和重新標(biāo)注。數(shù)據(jù)清洗過程如下:

(1) 數(shù)據(jù)去重: 若數(shù)據(jù)中包含給定實體且語句有重復(fù),則只保留一條信息。

(2) 刪除無關(guān)符號: 若數(shù)據(jù)中存在網(wǎng)址、url標(biāo)簽、特殊符號(表情符號等)以及多余空格,將這些無關(guān)符號刪除。

(3) 刪除多余子詞: 若給定的語句中,存在實體列表中多余的子詞,將其刪除。例如,“旺旺貸跑路!深圳警方確定投資人被騙!”,實體列表為“旺貸、旺旺貸”,僅保留實體“旺旺貸”。

(4) 刪除與實體無關(guān)聯(lián)的語句: 例如,實體為“京東白條”,句子為“一個人蹲在角落里,靜靜的聽著歌回憶著曾經(jīng),眼淚悄然落下,才知道自己京東白條提現(xiàn)一勇敢互助感恩京東白條提現(xiàn)對話宜賓地震災(zāi)區(qū)受災(zāi)群眾京東白條怎么用新華社成都6月24日電記者吳光于康錦謙袁波距宜賓長寧縣6.0級地震發(fā)生僅過去5天,6月22日夜,珙縣一場5.4級的地震讓人們再次從睡夢中……”。該實例雖然包含“京東白條”,但句子的整體內(nèi)容實際與“京東白條”無關(guān),將這類數(shù)據(jù)刪除。

2.2 標(biāo)注過程及數(shù)據(jù)規(guī)模

按2.1節(jié)介紹的方法對原始數(shù)據(jù)進(jìn)行清洗處理后,再由兩名標(biāo)注者對每條語句及其對應(yīng)的實體情感進(jìn)行獨立標(biāo)注,且相互之間沒有交流,標(biāo)注完成后,若兩名標(biāo)注者標(biāo)注的數(shù)據(jù)有差異,則加入第三名標(biāo)注者商量討論,直至標(biāo)注結(jié)果一致。為了說明標(biāo)注實體情感的一致性,采用卡帕系數(shù)[17]衡量一致性指標(biāo)。本文標(biāo)注數(shù)據(jù)集的卡帕一致性為0.884 3,說明所標(biāo)注的金融實體情感分析數(shù)據(jù)集是可靠的。

數(shù)據(jù)集中的實體主要包括“螞蟻金服、小資錢包、京東白條、宜貸網(wǎng)、錢寶網(wǎng)、紅嶺創(chuàng)投、360金融、中弘控股、上海鼎夕金融信息服務(wù)有限公司、e租寶、河北幸福消費金融公司、中國支付通、……”。這些實體主要是公司名和品牌名等。

標(biāo)注后的金融實體情感分析語料規(guī)模如表1所示。

表1 金融實體情感分析語料規(guī)模統(tǒng)計

部分標(biāo)注示例如表2所示。

表2 部分標(biāo)注示例

在表2中,金融實體情感極性為負(fù)面、正面、中性三類。對于Id為2的句子,“京東白條”僅給出定義,對于此類數(shù)據(jù),標(biāo)注為中性。

3 ASynSemGCN模型

由于不同的金融實體采用的情感表達(dá)有可能不同,并且一個句子還有可能包含多個實體,例如,“現(xiàn)如今網(wǎng)絡(luò)借貸平臺很多,京東金融深受用戶喜愛,而錢寶網(wǎng)、雅堂金融、唐小僧以及聯(lián)璧金融被業(yè)內(nèi)稱為四大高返平臺,在唐小僧之前,錢寶網(wǎng)及雅堂金融已經(jīng)爆雷。”,該例子中涉及多個金融實體,包括京東金融、錢寶網(wǎng)、雅堂金融、唐小僧、聯(lián)璧金融,它們所在句子的情感表達(dá)有所不同,其情感極性也不盡相同。因此,實體所在句子對實體情感極性判別具有重要的指導(dǎo)作用,為此,本文將實體融入句子的表示中,建立兩者的交互表示,在此基礎(chǔ)上,利用雙圖卷積網(wǎng)絡(luò)對其進(jìn)一步深層表示,從而建立金融實體情感極性的判別模型。該模型總體框架包含四部分: 融入實體的句子嵌入表示、實體與句子交互表示、雙圖卷積網(wǎng)絡(luò)的句子深層表示、實體情感極性預(yù)測?？傮w模型框架如圖1所示。

3.1 融入實體的句子嵌入表示

RoBERTa-wwm-ext[6]是利用大量文本語料訓(xùn)練得到的一個預(yù)訓(xùn)練模型,可以生成序列的字向量。金融實體的專名較多,需要字向量的支持,因此,本文將金融實體情感極性識別任務(wù)的輸入設(shè)計為融入實體的句子,即將句子s與給定實體a進(jìn)行連接,作為RoBERTa-wwm-ext(RoBERTa)的輸入“[CLS]句子[SEP]實體[SEP]”,從而分別獲得句子字級嵌入表示H∈R(m+n+3)×d、實體字級嵌入表示Ha∈Rm×d和句子嵌入表示Hpool∈R1×d。其中,m和n分別是實體中字的個數(shù)和句子中字的個數(shù)。

3.2 實體與句子交互表示

為了進(jìn)一步刻畫實體與句子的關(guān)聯(lián)關(guān)系,本文采用多頭注意力機(jī)制[18]對實體字級嵌入表示和句子字級嵌入表示進(jìn)行交互表示。將實體作為注意力機(jī)制Query,句子作為注意力機(jī)制Key和Value,第i個頭注意力的句子表示如式(1)所示。

(1)

通過h個頭注意力的句子表示Hs如式(2)所示。

Hs=MultiHead(Q,K,V)

=Concat(head1,…,headh)WO

(2)

3.3 雙圖卷積網(wǎng)絡(luò)的句子嵌入表示

受文獻(xiàn)[16]的啟發(fā),依存語法和上下文語義均有利于金融實體的情感識別,為此,本文在實體與句子的交互表示的基礎(chǔ)上,利用SynGCN和SemGCN對句子進(jìn)行深層表示。

將句子表示向量Hs∈Rn×d作為語法圖和語義圖的初始結(jié)點表示,將依存句法解析器[19]的所有依賴弧的概率矩陣Msyn∈Rn×n作為SynGCN中邊的初始輸入。將自注意機(jī)制獲得句子中每個詞的注意力得分矩陣Msem∈Rn×n作為SemGCN中邊的初始輸入,具體計算如式(3)所示。

(3)

其中,WQ∈Rd×d和WK∈Rd×d表示可學(xué)習(xí)的參數(shù)矩陣,d表示輸入結(jié)點維度,自注意力頭數(shù)為1。利用SynGCN和SemGCN,分別得到網(wǎng)絡(luò)的第l層的第i個結(jié)點的隱層向量表示如式(4)、式(5)所示。

基于SynGCN和SemGCN的句子表示分別如下:

為了提升模型對實體情感極性識別的性能,本文引入了正交正則化因子和差分正則化因子。正交正則化的目的是讓句子中每個詞的注意力得分向量保持正交性,差分正則化的目的是學(xué)習(xí)SynGCN模塊和SemGCN模塊的差異特征。正交正則化因子Lort和差分正則化因子Ldif計算分別如式(6)、式(7)所示。

(6)

(7)

其中,I表示單位矩陣,下標(biāo)F表示Frobenius范數(shù)。

其中,W1和W2表示可訓(xùn)練參數(shù)。

利用包含實體的句子表示的式(8)和式(9),可以得到實體的句法和語義深層表示分別如式(10)、式(11)所示。

3.4 實體情感極性預(yù)測

池化操作如式(12)～式(14)所示。

其中,f(·)為池化函數(shù)。

連接操作后實體特征表示x,如式(15)所示。

(15)

對于實體表示x,將其輸入到線性層,再通過softmax函數(shù)獲得實體x情感極性概率,計算如式(16)所示。

(16)

其中,Wp和bp表示可學(xué)習(xí)的權(quán)重和偏置。

本文所提模型的最終損失由標(biāo)準(zhǔn)交叉熵Lcro、正交正則化子Lort、差分正則化子Ldif、其他參數(shù)θ損失之和確定。

(17)

其中,λ1,λ2,λ3表示正則化系數(shù),θ表示所有可訓(xùn)練模型參數(shù),Lcro表示標(biāo)準(zhǔn)交叉熵?fù)p失,計算如式(18)所示。

(18)

4 實驗

為了驗證本文提出的模型對金融實體情感極性判別的有效性,神經(jīng)網(wǎng)絡(luò)模型采用PyTorch深度學(xué)習(xí)框架編寫,運行環(huán)境為Python 3.6.9。

4.1 數(shù)據(jù)集與評價指標(biāo)

采用第2節(jié)構(gòu)建的金融領(lǐng)域?qū)嶓w情感分析數(shù)據(jù)集,評價指標(biāo)為準(zhǔn)確率(Acc)和宏平均F1值(Ma-F1)。數(shù)據(jù)集中訓(xùn)練集、驗證集和測試集的比例為8∶1∶1,統(tǒng)計情況如表3所示。

表3 數(shù)據(jù)集統(tǒng)計

4.2 對比模型

由于實體級情感分析方法較少,為了驗證本文所提出方法的有效性,選擇以下與實體級情感分析相關(guān)的八種方面級情感分析方法進(jìn)行對比實驗。

(1)ATAE-LSTM[9]: 利用LSTM對給定的句子和方面進(jìn)行編碼,再利用注意力機(jī)制對LSTM隱藏層輸出加權(quán)求和,獲得關(guān)注方面的特征。

(2)IAN[10]: 利用LSTM對句子和方面進(jìn)行編碼,再利用注意力機(jī)制對它們進(jìn)行交互學(xué)習(xí),獲得交互信息特征。

(3)TD-LSTM[7]: 利用兩個LSTM分別對方面與其左邊的句子、方面與其右邊的句子進(jìn)行編碼,預(yù)測方面的情感極性。

(4)TC-LSTM[7]: 利用兩個LSTM分別對方面與其左邊的句子、方面與其右邊的句子進(jìn)行編碼,并且拼接方面的向量表示,預(yù)測方面的情感極性。

(5)MemNet[20]: 多次利用注意力機(jī)制計算句子中每個詞和方面之間的得分,獲得與方面相關(guān)的特征。

(6)AOA[21]: 利用交叉注意力模塊,計算句子到方面和方面到句子之間的注意力權(quán)重。

(7)BERT-SPC[22]: 將句子和方面分別輸入到BERT預(yù)訓(xùn)練模型中,獲取各自的語義表示。

(8)DualGCN[16]: 利用雙圖卷積網(wǎng)絡(luò),獲得句子的句法和語義表示。

4.3 實驗設(shè)置

本文模型利用RoBERTa對融合實體的句子進(jìn)行編碼,隱層向量維度為768,優(yōu)化器采用Adam。對于ATAE-LSTM,IAN,TD-LSTM,TC-LSTM,MemNet和AOA比較模型,本文利用已經(jīng)訓(xùn)練好的金融中文詞向量[23]進(jìn)行編碼, 隱層向量維度為300。全部模型的實驗參數(shù)設(shè)置如表4所示。

表4 參數(shù)設(shè)置

4.4 比較實驗結(jié)果與分析

利用4.2節(jié)中介紹的八種比較方法與本文方法在第4.1節(jié)介紹的數(shù)據(jù)集進(jìn)行對比實驗,實驗結(jié)果如表5所示。

表5 九種不同方法之間的比較實驗結(jié)果

從表5可以看出:

(1) 本文提出的ASynSemGCN方法在Acc和Ma-F1值上均優(yōu)于其他對比方法,說明本文方法對金融領(lǐng)域?qū)嶓w情感可以進(jìn)行有效判別,同時也說明在金融領(lǐng)域中句子對判別實體情感的極性起到重要的作用。

(2) 基于RoBERTa詞向量的方法與基于Word2Vec向量的方法相比,其性能更好。這是由于RoBERTa是一種動態(tài)的詞向量表示方法,該方法可以動態(tài)地根據(jù)所給詞上下文生成詞向量,另外, RoBERTa詞向量維度為768維,可以包含更豐富的語義知識,而基于Word2Vec詞向量的維度僅為300維,遠(yuǎn)低于RoBERTa,而且每個詞的詞向量都是固定的,不能根據(jù)詞的上下文來動態(tài)生成。

(3) 本文方法和DualGCN-RoBERTa方法進(jìn)行對比,在Acc和Ma-F1值上分別提升了1.56和1.81個百分點,說明了實體和句子之間注意力機(jī)制有利于捕獲實體和句子間的情感交互信息。此外進(jìn)一步實體字級嵌入表示信息的引入,也有利于增強(qiáng)不同實體對其情感極性的指導(dǎo)作用,進(jìn)而提升整體實體情感識別的性能。

4.5 消融實驗

為了驗證本文提出模型的各個部件的性能,本節(jié)進(jìn)行消融實驗。

DualGCN-RoBERTa: 在ASynSemGCN模型的基礎(chǔ)上,去除實體和句子間注意力機(jī)制和實體字級嵌入表示。

-attention: 在ASynSemGCN模型的基礎(chǔ)上,僅去除實體和句子間注意力機(jī)制。

-entity: 在ASynSemGCN模型的基礎(chǔ)上,僅去除實體字級嵌入表示。

-SemGCN: 在ASynSemGCN模型的基礎(chǔ)上,僅去除基于語義的圖卷積網(wǎng)絡(luò)。

-SynGCN: 在ASynSemGCN模型的基礎(chǔ)上,僅去除基于語法的圖卷積網(wǎng)絡(luò)。

-mutual: 在ASynSemGCN模型的基礎(chǔ)上,僅去除基于語法和基于語義的圖卷積網(wǎng)絡(luò)之間的交互模塊。

-pooled_output: 在ASynSemGCN模型的基礎(chǔ)上,僅去除句子的嵌入表示。

模型消融在金融領(lǐng)域?qū)嶓w情感分析數(shù)據(jù)集的實驗結(jié)果如表6所示。

表6 模型消融實驗結(jié)果

由表6實驗結(jié)果可以看出:

(1) 去除任一模塊,金融實體情感判別的Acc和Ma-F1指標(biāo)均會下降,說明所有模塊均有利于判別金融實體情感的極性。

(2) -attention方法和-entity方法,實體情感識別的Acc和Ma-F1相比本文的方法都下降了,說明交互注意力機(jī)制可以增強(qiáng)實體和句子間的信息交互表示,實體字級嵌入表示可以增強(qiáng)實體情感語義表示。

(3) -SemGCN和-SynGCN兩個,相比于本文方法的實體情感識別的Acc和Ma-F1均有下降,說明SemGCN利用自注意力機(jī)制后獲得了注意力矩陣,可以捕獲句子中每個詞的語義信息,而豐富句子的語法知識,增強(qiáng)實體和句子之間的關(guān)聯(lián),但是-SemGCN比-SynGCN下降更多,說明數(shù)據(jù)的語義信息比句法結(jié)構(gòu)更重要,這也驗證了金融數(shù)據(jù)的實體情感表達(dá)更多是隱式表述,結(jié)構(gòu)性不強(qiáng)。

(4) -mutual方法和-pooled_output方法,相比于其他模塊,它們的實體情感識別的Acc和Ma-F1下降是最為明顯的,說明一方面在得到SemGCN和SynGCN表示后,對二者進(jìn)行交互可以充分融合句子語法和語義的信息表示,另一方面,實體所在句子不同,對實體情感極性判別指導(dǎo)作用不同,引入句子嵌入表示可以進(jìn)一步增強(qiáng)實體的情感語義表示。

4.6 注意力頭數(shù)對實體情感識別的影響

為了驗證實體和句子之間信息交互的注意力頭數(shù)對金融實體情感極性識別的影響,本節(jié)針對不同注意力頭數(shù)進(jìn)行對比實驗,實驗結(jié)果如表7所示。

表7 不同注意力頭數(shù)的實驗結(jié)果比較

由表7實驗結(jié)果可以看出,當(dāng)注意力的頭數(shù)為4時,本文提出的模型判別金融實體情感性能達(dá)到最優(yōu)。當(dāng)頭數(shù)為3和6時,模型性能會急劇下降,說明模型的頭數(shù)并不是越多越好,而是當(dāng)模型性能達(dá)到較好的效果后,增加頭數(shù)反而會降低模型的性能。

4.7 圖卷積層數(shù)對實體情感識別的影響

為了驗證不同圖卷積網(wǎng)絡(luò)層數(shù)對金融實體情感判別性能的影響,將選擇層數(shù)1到層數(shù)4進(jìn)行對比實驗,實驗結(jié)果如表8所示。

表8 不同圖卷積網(wǎng)絡(luò)層數(shù)的實驗結(jié)果比較

由表8實驗結(jié)果可以看出,當(dāng)圖卷積網(wǎng)絡(luò)層數(shù)為3時,本文提出模型的判別金融實體情感的Acc最高,性能達(dá)到最優(yōu)。相比于圖卷積網(wǎng)絡(luò)層數(shù)為4時模型,即使Ma-F1指標(biāo)略微有所下降,但是模型的復(fù)雜度有較大的降低,因此,本文所有實驗均采用了3層圖卷積網(wǎng)絡(luò)。

4.8 實例可視化的分析

為了探究ASynSemGCN模型中注意力機(jī)制所關(guān)注的內(nèi)容,本文對句子1～3的注意力權(quán)重進(jìn)行了可視化,顏色越深,代表詞在句子中越重要,如表9所示。

表9 注意力機(jī)制可視化表

由表9可以看出,通過ASynSemGCN模型標(biāo)注句子1的極性正確,句子2和句子3標(biāo)注錯誤。

從可視化結(jié)果可以看出,句子1中對于“京東金融”和“錢寶網(wǎng)”兩個實體,模型對“用戶喜愛”、“網(wǎng)絡(luò)借貸”“高返平臺”“爆雷”等詞匯顏色最深,因此,可以正確判斷“京東金融”實體情感極性為正面,“錢寶網(wǎng)”實體的情感極性為負(fù)面。而句子2和句子3,針對“京東金融”和“微時貸”兩個實體,模型關(guān)注句子中詞匯較為均勻,沒有重點強(qiáng)調(diào)信息,因此,錯誤判斷情感極性為中性。說明模型在面對較短長度的金融文本時,缺乏對文本進(jìn)行深入分析的能力,之后將針對這一問題嘗試引入常識庫來增加句子外部知識,以提高情感極性判別準(zhǔn)確率。

5 結(jié)束語

本文構(gòu)建了一個金融實體情感分析數(shù)據(jù)集,并提出了一種基于交互注意力的雙圖卷積網(wǎng)絡(luò)的金融實體情感極性識別方法(ASynSemGCN)。該方法首先利用預(yù)訓(xùn)練模型RoBERTa-wwm-ext,結(jié)合實體對句子進(jìn)行初始表示,并且利用多頭注意力機(jī)制獲取實體和句子之間的交互信息,提升了實體和句子之間的語義關(guān)聯(lián)程度。通過基于語法的圖卷積網(wǎng)絡(luò)(SynGCN)和基于語義的圖卷積網(wǎng)絡(luò)(SemGCN)分別獲得句子的句法和語義的深層表示。最后,將實體的深層表示、實體字級嵌入表示以及句子嵌入表示拼接,再通過全連接層獲得最終實體的情感極性。在未來的研究工作中,我們將引入金融常識庫豐富句子語義信息,進(jìn)一步提升金融實體的情感極性判別的準(zhǔn)確率。