基于雙重情感感知的可解釋謠言檢測

葛曉義,張明書,魏 彬,劉 佳

(1.武警工程大學 密碼工程學院,陜西 西安 710086;2.武警工程大學 網絡與信息安全武警部隊重點實驗室,陜西 西安 710086)

0 引言

社交媒體的快捷性和便利性等優(yōu)點給工作、生活和學習帶來了巨大的便利,為用戶發(fā)布、分享和獲取各種信息提供了便捷的渠道。目前社交媒體已成為各國發(fā)布外交政策和相關評論的重要平臺,也演變成網絡認知戰(zhàn)的主戰(zhàn)場。然而不可忽視的是,社交媒體的謠言泛濫,嚴重影響了網絡的良性發(fā)展,甚至影響著社會、經濟和文化的發(fā)展。新冠肺炎疫情防控期間,博人眼球的虛假消息,對疫情防控造成了一定干擾。有效檢測謠言有利于凈化網絡空間和維護社會穩(wěn)定,具有重要的現(xiàn)實意義[1],為了遏制謠言傳播,消除謠言帶來的影響,越來越多的學者致力于謠言檢測任務[2]。

情感分析作為文本分析中確定文本表達情感極性和強度的部分,常被用于謠言檢測任務中。Wu[3]等人考慮到謠言和用戶評論之間存在情感關聯(lián)和語義沖突,提出了自適應交互融合網絡來實現(xiàn)特征之間的交叉交互融合,從而捕獲帖子和評論之間的相似語義和沖突語義。Guo[4]等人分別提取謠言和用戶評論的語義及情感特征進行謠言檢測,取得較好效果。Zhang[5]等人通過情感字典獲取謠言和用戶評論的情感表示來探究二者之間的情感差,將情感特征作為增強特征進行謠言檢測。

然而上述方法仍有一定的局限性。首先,沒有考慮謠言和用戶評論的情感相關性,以及謠言語義和用戶評論情感的相關性。用戶評論往往是較短的句子,導致語義特征不夠豐富,而用戶評論中蘊含著對謠言明確的態(tài)度,情感更加豐富,因此用戶評論的情感傾向更能反映檢測內容的真假[6]。其次,沒有從局部角度獲取謠言和用戶評論的情感特征。社交媒體中謠言和用戶評論的句子往往較短,情感特征通常體現(xiàn)在個別情感色彩豐富的詞匯上,因此獲取局部情感特征更能表達情感傾向[7]。最后,在已有的可解釋謠言檢測模型中,僅利用謠言文本和用戶評論[8]、轉發(fā)用戶序列和用戶信息[9]等提供合理解釋,忽視了從情感角度提供合理的解釋。

針對現(xiàn)有研究的不足,本文提出一種基于雙重情感感知的可解釋謠言檢測模型。為了從全局角度探究謠言語義和用戶評論的相關性,首先,利用雙向門循環(huán)單元(Bidirectional gate recurrent unit,Bi-GRU)和注意力(Attention)獲取謠言語義特征和用戶評論情感特征;其次,通過Co-Attention 獲取謠言語義特征與用戶評論情感特征的相關性,以篩選與謠言語義相關的用戶評論情感特征并進行融合,利用協(xié)同注意力(Co-Attention)權重提供解釋。為了從局部角度探究謠言和用戶評論的情感相關性,首先,通過卷積神經網絡(Convolutional Neural Network,CNN)提取謠言和用戶評論的情感特征,其次,通過Co-Attention學習謠言與用戶評論的情感相關性,旨在獲取與謠言情感相關的用戶評論情感特征進行融合,并利用Co-Attention權重提供解釋。本文的貢獻如下:

(1)提出一種新的可解釋謠言檢測模型,分別從謠言語義和用戶評論情感以及謠言情感和用戶評論情感出發(fā)進行謠言檢測。

(2)通過Co-attention機制學習謠言語義與評論情感的相關性,以及謠言情感與評論情感的相關性,通過Co-attention權重從情感角度產生合理的解釋。

(3)在真實數(shù)據集上的實驗表明,與先進的模型相比,具有較好的檢測效果和合理的解釋性,實驗代碼開源在碼云①https://gitee.com/wj_gxy/dual-emotion_aware。

1 相關工作

1.1 謠言檢測

謠言檢測根據特征通常分為基于謠言內容、基于社會上下文及基于混合特征的方法。謠言內容可以分為文本和視覺兩個方面,文本方面指根據謠言的語言風格[10]、寫作風格[11]和情感[12-14]等提取文本特征和情感特征,例如劉[13]等人提出使用卷積神經網絡提取文本特征進行的謠言檢測模型,Cui[14]等人通過實驗表明,情感分析對系統(tǒng)性能的影響最大。視覺特征則是從視頻或圖片中提取特征[15]。基于社會上下文的檢測方法一般可以分為基于用戶和基于網絡。前者是根據謠言發(fā)布者和轉發(fā)用戶的特點進行建模[11,16],特征主要包括用戶性別、粉絲數(shù)、用戶配置;后者通過社交網絡中的轉發(fā)或關注結構的特征進行謠言檢測,如:Bian[16]等人利用雙向圖神經網絡模型學習嵌入謠言傳播?；诨旌咸卣鞯姆椒ㄊ侨诤隙嗄B(tài)或者多重特征進行謠言檢測,如Wu[17]等人分別學習文本和圖像的表示,利用模態(tài)的上下文注意力網絡融合模態(tài)內(Intra-modality)和模態(tài)間(Inter-modality)的關系進行謠言檢測;Zhang[5]等人在通過情感詞典獲取發(fā)布者情感、用戶評論情感和情感代溝,作為假新聞檢測器的補充特征,取得了很好的效果。

近年來的研究趨向于可解釋謠言檢測[18],主要通過提取用戶信息[19]、轉發(fā)序列[9]、新聞內容和用戶評論[8]等來提供解釋。Lu[19]等人利用兩次協(xié)同注意力機制通過突出可疑的轉發(fā)者以及他們關注的話語來生成解釋。Jin[20]等人通過對微妙線索的細粒度建模來提高檢測的,準確性和可解釋性。

1.2 深度學習可解釋性

雖然深度學習模型在越來越多領域得到應用,卻常因不具備透明度、可信度以及不符合倫理道德標準等遭詬病,因此對深度學習可解釋性的需求也越來越高[21]。近年來,深度學習可解釋性模型開始在越來越多的領域應用,如網絡安全[22]、推薦系統(tǒng)[23]、醫(yī)療[24]、社交網絡[19]等。深度學習可解釋性模型一般是指模型決策結果以可理解的方式呈現(xiàn),能夠幫助理解復雜模型的內部工作機制以及模型做出特定決策的原因[25]?？山忉屝砸话惴譃閮仍诳山忉屝院褪潞罂山忉屝訹26]。內在可解釋性[8]是通過構建將可解釋性直接納入其結構的自解釋模型來實現(xiàn)的,而事后可解釋性[27]需要創(chuàng)建第二個模型來為現(xiàn)有模型提供解釋。在謠言檢測中應當更傾向于內在可解釋性,在檢測結果中就存在著自解釋的信息。

2 本文模型

本文提出的可解釋謠言檢測模型分別從全局和局部對謠言和用戶評論在情感上的關系獲取特征,進行謠言檢測。模型如圖1所示,主要由四部分構成:①https://github.com/Embedding/Chinese-Word-Vectors嵌入層,利用詞嵌入向量和情感嵌入向量對謠言和用戶評論進行向量表示;②特征提取層,通過Bi-GRU 與Attention獲取謠言的語義表示和用戶評論的情感表示,通過CNN 獲取謠言和用戶評論的情感表示;③雙重情感感知層,分別依據謠言語義特征與用戶評論情感特征,以及謠言文本情感特征與用戶評論情感特征,通過Co-attention獲取謠言語義特征與用戶評論情感之間的相關性和謠言情感特征與用戶評論情感特征的相關性;④預測層,將Co-attention 獲取的特征進行拼接,通過Softmax分類。

圖1 可解釋謠言檢測模型框架

2.1 嵌入層

在進行特征提取前,首先對每個詞進行詞向量嵌入和情感向量嵌入。英文詞向量嵌入采用Robyn[28]等人預先訓練好的Numberbatch詞向量,在詞向量相似性上優(yōu)于Word2Vec[29]和Glo Ve[30],中文詞向量采用預訓練的微博詞向量①。

受情感建模工作文獻[31]的啟發(fā),本文將情感元素融入到預先訓練好的詞向量中獲取情感嵌入向量。該方法基于NRC 情感詞典創(chuàng)建了兩組約束,一組用于與情緒(例如綁架,悲傷)具有積極關系的單詞,另一組用于跟蹤與該情緒相反的每個單詞(綁架,喜悅),喜悅是悲傷的反面。

通過增加一個新的訓練階段,使用情感詞匯和基本情緒詞匯將情感信息擬合到預訓練的Numberbatch詞向量中獲取情感向量。在訓練情感嵌入時采用的正面與反面的約束字典以及中英文向量大小統(tǒng)計如表1所示。

表1 字典統(tǒng)計

2.2 特征提取層

經過數(shù)據預處理后,一條謠言由M個句子組成,其中每個句子s由m個詞組成si=[xi1,xi2,…,xim],一條謠言對應的用戶評論由N個句子組成,其中每個句子e由n個詞組成ej=[xj1,xj2,…,xjn]。經過預訓練的詞向量和情感向量表示后用于提取語義特征和情感特征。

2.2.1 語義特征提取

理論上RNN 能夠捕獲長期依賴,但在實踐中,舊的記憶會隨著序列變長而消失。為了捕獲RNN的長期依賴關系,使用GRU 來確保更持久的內存。雖然詞中都包含上下文信息和整個句子的信息,但是句子中每個詞的重要性不同。具體如圖2所示。

圖2 語義特征提取過程

謠言中的詞匯往往與上下文具有關聯(lián)性,具有較強的雙向語義依賴,因此逆序處理十分必要,采用Bi-GRU 從詞的兩個方向建模獲取謠言語義特征。詞嵌入的向量si=[wi1,wi2,…,wim]通過Bi-GRU可以得到,如式(1)所示。

通過連接前向隱藏狀態(tài)和后向隱藏狀態(tài),獲取詞的特征表示通過注意力機制學習詞的重要性來獲得句子向量s∈R2d×m如式(2)所示。

其中αit衡量tth單詞對新聞內容s的重要性,αit計算如式(3)所示。

其中,uit是通過完全嵌入層從隱藏狀態(tài)hit獲得的,Ww和bw是可訓練的參數(shù),uw為權重矩陣。

2.2.2 情感特征提取

在模型中共提取三部分情感特征,圖中一部分用戶評論的情感特征與謠言語義特征提取方法相同,采用Bi-GRU 與Attention的方法獲得用戶評論的情感特征E=[e1,e2,…,eN]。

其中謠言情感特征與另一部分用戶評論情感特征采用CNN 模型提取,CNN 模型能夠較好地提取局部特征,并且模型訓練的效率高,因此選用一維卷積神經網絡提取謠言情感特征U=[u1,u2,…,uM]與用戶評論情感特征V=[v1,v2,…,vN],具體方法如圖3所示。

圖3 基于CNN 的特征表示

對用戶評論中某一行評論情感嵌入后的向量ej=[wj1,wj2,…,wjn]∈Rn×d進行卷積操作:

其中,W∈Rλ×d是可學習的參數(shù)矩陣,b是偏置項,ReLU 是激活函數(shù)。對卷積得到的hj進行最大池化可得到每一句評論的情感特征:

CNN 層使用兩個過濾器(λ∈{2,3})來獲取多個特征,將不同的輸出連接起來,形成vj作為用戶評論的單個表示。最后可以得到用戶評論中每個評論的情感特征,形成用戶評論的情感矩陣V=[v1,v2,…,vN]。

2.3 雙重情感感知層

用戶評論中往往包含著大量的與謠言相關的信息,但它們信息量較小,噪聲較大。因此利用謠言自身進行謠言檢測和解釋謠言真假是薄弱的,而評論中情感豐富,與語義特征相比,情感特征更加突出,更有利于謠言檢測,并能通過情感反映謠言真假的原因。通過協(xié)同注意力機制學習評論情感與謠言的相關性,利用情感的注意力權重和謠言中的詞匯來進行謠言檢測和謠言解釋,具體過程如圖4所示。

圖4 協(xié)同表示過程

謠言表示為:S=[s1,s2,…,sM],評論情感特征表示為:E=[e1,e2,…,eN]。

首先計算相似矩陣F=tanh(EWseS),其中,F∈RN×M,Wse∈R2d×2d,是可學習的參數(shù)矩陣。將相似矩陣作為一個特征,則可以學習謠言語義特征和用戶評論情感特征的協(xié)同表示。

Ws、We∈Rk×2d為可學習的參數(shù)矩陣,可以學習謠言文本和評論情感特征的注意力權重:

其中,as∈R1×M,ae∈R1×N分別是謠言中每個詞和評論的情感特征中每個評論的注意權重。Whs、Whe是可訓練權重。最終,通過加權協(xié)同表示。

利用協(xié)同注意力機制對謠言情感特征和用戶評論情感特征計算相似矩陣,獲取對應的權重分別生成協(xié)同表示。

2.4 預測層

將提取到的特征通過全連接層輸出,最后通過softmax函數(shù)來獲得分類的結果,如式(9)所示。

其中,為softmax函數(shù)計算的概率值,Wf為權重矩陣,b為偏置項。

3 實驗結果與分析

3.1 實驗數(shù)據

Twitter15和Twitter16[32]數(shù)據集選擇“真”和“假”標簽數(shù)據,數(shù)據集中都包含謠言內容、用戶評論和相應的轉發(fā)用戶序列等信息。Weibo20由Zhang[5]等人在Weibo16[33]的基礎上通過聚類算法去重,并增加了2014年4月至2018年11月被微博社區(qū)管理中心認定的虛假信息,形成新的數(shù)據集。Weibo20數(shù)據集包含謠言內容、用戶評論和標簽三部分信息。數(shù)據集的統(tǒng)計如表2所示。

表2 數(shù)據集統(tǒng)計

3.2 實驗設置

為突出本文方法的先進性,在上述數(shù)據集進行實驗,將實驗結果與先進模型進行比對和分析。

?RNN[33]:一種基于RNN 的方法,將社交上下文信息建模為可變長度的時間序列,用于學習謠言的連續(xù)表示。

?text-CNN[34]:一種基于卷積神經網絡的文本分類模型,利用多個卷積濾波器來捕獲不同粒度的文本特征。

?HAN[35]:一種基于層次注意力網絡的文檔分類模型,利用詞級注意力和句子級注意力來學習新聞內容表示。

?dEFEND[8]:一種基于協(xié)同注意力的假新聞檢測模型,學習新聞內容和用戶評論之間的相關性,并利用Co-attention的權重從謠言文本和用戶評論給出解釋。

?PLAN[9]:一種關注用戶交互的可解釋謠言檢測模型,將謠言及轉發(fā)評論作為Transformer的輸入,并利用延遲時間嵌入代替的位置嵌入進行謠言檢測,通過Attention為帖子和標簽提供解釋。

?DualEmotion[5]:一種基于雙重情感特征的假新聞檢測模型,通過學習謠言情感特征、評論情感特征及情感特征差作為假新聞檢測器的補充特征。

在Twitter15與Twitter16數(shù)據集中,d EFEND模型中謠言文本句子個數(shù)為1,長度為32,評論句子分別選取12 和9 條,長度為32;為了對比公平,Dual emotion模型利用Bi-GRU 提取文本特征,分別選擇12和9條評論提取情感特征;本文所提模型,謠言文本個數(shù)為1,長度為32,評論個數(shù)分別為12和9條,長度為32,其他模型參照原文設置。

在Weibo20數(shù)據集中,dEFEND 模型中謠言文本句子個數(shù)為1,長度為64,評論句子選取100條,長度為32;由于數(shù)據集中不存在延遲時間,因此PLAN 模型不再對比;為了對比公平,Dual emotion模型利用Bi-GRU 提取文本特征,選擇100條評論提取情感特征;本文所提模型的謠言文本個數(shù)為1,長度為64,評論個數(shù)為100條,長度為32,其他模型參照原文設置。

3.3 實驗結果

數(shù)據集按照6:2:2的比例劃分為訓練集、驗證集、測試集,每一個數(shù)據集中的樣本比例為1∶1。實驗使用Adam 更新參數(shù),學習率分別為0.001與0.005,L2正則化系數(shù)為0.001。詞向量與情感詞向量維度均設置為300。設置常用的評價指標為:正確率Accuracy、準確率Precision、召回率Recall以及F1。在Twitter15、Twitter16 和Weibo20 上 的實驗結果如表3～表5所示,表中加黑數(shù)據為最優(yōu)結果,下劃線數(shù)據為次優(yōu)結果。

從表3、表4與表5可以發(fā)現(xiàn),在Twitter15、Twitter16與Weibo20 數(shù)據集上,本文所提模型在各個指標上都顯著優(yōu)于其他模型,在Twitter15與Twitter16上的F1分別提高了約4.1%與3.0%,在準確率上分別提高了約3.9%與3.3%;在Weibo20上F1提高了約4.3%,在準確率上提高了約4.4%。實驗結果證明,本文所提模型不僅優(yōu)于基于單一特征的方法,更是優(yōu)于基于混合特征的方法,充分體現(xiàn)了模型的優(yōu)越性。

表3 Twitter15上不同模型的結果對比

表4 Twitter16上不同模型的結果對比

表5 Weibo20上不同模型的結果對比

在RNN、text-CNN、HAN 三種基于單一特征的方法中,HAN 模型效果更好,說明在提取語義特征方面,HAN 模型更具有優(yōu)勢。d EFEND、PLAN、Dual Emotion三種基于混合特征的方法明顯優(yōu)于基于單一特征的方法,這說明基于混合特征的模型利用不同的方法融合更多的特征往往具有更好的效果。在基于混合特征的模型中,PLAN 模型將位置嵌入替換為延遲時間嵌入進行謠言檢測,取得優(yōu)于d EFEND 模型僅考慮謠言和用戶評論的效果。Dual Emotion模型在不采用Attention的情況下,僅利用謠言語義特征與情感特征融合就取得更好的結果。

該模型與基于混合特征的方法相比,也具有明顯的優(yōu)勢。本文所提模型優(yōu)于dEFEND 模型和PLAN 模型,說明同樣僅利用謠言和用戶評論,提取語義特征和情感特征取得更優(yōu)結果,這表明選取更有效的特征是檢測謠言的關鍵。本文所提模型優(yōu)于Dual Emotion模型,說明同樣以文本與評論情感作為謠言檢測器特征,Co-Attention提取特征相關性更具有優(yōu)勢。不可否認的是,Dual Emotion模型提取情感特征更具有全面性,因為當前社交媒體中的用戶評論更喜歡用表情或者一些圖片表達自己的情感傾向,Dual Emotion模型在獲取情感特征時能夠針對表情對應的情感特征一并提取,但忽視了謠言文本情感與用戶評論情感的內在關系。各個模塊對模型性能的影響將在消融實驗部分詳細闡述。

3.4 消融實驗

消融實驗主要研究兩部分內容:①評論數(shù)量對模型性能的影響;②模型各模塊對模型性能的影響。

實驗一分別選擇不同的評論數(shù)量提取情感特征,實驗結果如圖5所示。

圖5 用戶評論數(shù)目的影響

可以發(fā)現(xiàn),隨著評論數(shù)量的增加,模型檢測性能有所提高,在推特數(shù)據集中,評論數(shù)量基數(shù)較少,隨著評論數(shù)目的增加,檢測性能隨之提高,但是在微博數(shù)據集中,評論基數(shù)大,隨著評論數(shù)目的增加,性能提升相對較小,這是因為微博數(shù)據集中,相同的評論較多。

實驗二是探究模型中各模塊對模型性能的影響,“-S”:僅有謠言語義特征和用戶評論情感特征的模型;“-E”:僅有謠言情感特征和用戶據評論情感特征的模型;“-B”:所有特征由Bi-GRU 與Attention提取;“-C”:表示所有特征均由CNN 提取的模型;“-A”:本文所提模型;實驗結果如圖6所示。

圖6 模型中各模塊的影響

實驗結果表明,模型中的每一個模塊都具有重要的作用,同時特征的提取方式發(fā)生改變會嚴重影響模型的性能?！?B”與“-C”模型雖然都提取了所有特征,但是準確率依然沒有本文所提模型高,這是因為“-B”模型提取的是整體特征,“-C”模型提取的是局部特征,而本文模型是整體特征與局部特征的結合,就整體與局部而言,僅提取局部特征的“-C”模型較“-B”模型具有更好的效果。尤其是當去除情感特征提取模塊時,模型的準確率會顯著下降,同時將“-S”模型與dEFEND模型對比可以發(fā)現(xiàn),利用用戶評論的情感特征比用戶評論語義特征效果更好,這說明在模型中情感特征比語義特征具有更好的作用。

3.5 可解釋性分析

在2.3節(jié)介紹的Co-attention權重使模型具有可解釋性,根據權重分布的位置,可以揭示謠言檢測在謠言文本和用戶評論中的證據詞,下面分別對模型中兩個Co-attention權重進行案例分析。

3.5.1 CNN 提取特征的可解釋性

通過CNN 提取謠言情感特征和用戶評論情感特征,Co-attention權重可以揭示謠言文本和用戶評論中關注的句子,用戶評論中的權重分布如圖7和表6所示。

表6 Weibo案例分析的權重分布(一)

圖7 Twitter案例分析的權重分布(一)

在圖7中,發(fā)現(xiàn)第2句和第6句的權重最大,上述兩句評論中均包含對謠言文本信息的否定態(tài)度,均能對此做出解釋。在NRC的情感字典中,分別有與情緒有著正反關系的詞匯,在第二句中的“sensationalist”與“sadness”對應,“crash”與“anger”對應。

通過表6中權重選擇的前6條用戶評論可以發(fā)現(xiàn),每一句都直接對謠言文本中的內容表示懷疑和否定的態(tài)度。

3.5.2 Bi-GRU 與Attention提取特征的可解釋性

利用Bi-GRU 與Attention分別提取謠言語義特征和用戶評論情感特征,具體如圖8和表7所示。

表7 Weibo案例分析的權重分布(二)

通過圖8可以看出,在選擇用戶評論情感和謠言文本語義時,權重更傾向于與謠言文本語義匹配信息的選擇,也從另一角度給出解釋。

通過表7可以發(fā)現(xiàn),權重所選擇的前6條用戶評論與之前完全不同,更傾向于事實的選擇,其中3條評論與“政協(xié)”相關,其他的也都是契合謠言文本的語義信息。

3.5.3 全局與局部的可解釋性

對比兩種權重分布可以發(fā)現(xiàn),Weibo20數(shù)據集的用戶評論基數(shù)大,兩種權重選擇前6條用戶評論完全不同,Twitters數(shù)據集的用戶評論基數(shù)小,雖然前2條評論都是第2句和第6句,但是先后順序、權重分布也不同。從全局看,基于Bi-GRU 與Attention提取特征的可解釋性是從謠言語義特征和用戶評論情感特征角度出發(fā),選擇用戶評論更多的是與謠言文本相關的內容,如上述案列中,用戶評論中包含“政協(xié)”“農民”等詞語;從局部看,基于CNN 提取特征的可解釋方法是從謠言情感特征和用戶評論情感特征角度出發(fā),選擇用戶評論更多的是對謠言文本所持的態(tài)度,如上述案列中,用戶評論中包含“辟謠”“真的假的”“真相”等詞語。

4 總結

考慮到謠言和用戶評論中具有強烈的情感傾向,本文提出了一種基于雙重情感感知的可解釋謠言檢測模型,分別提取謠言語義特征,謠言情感特征和用戶評論情感特征進行謠言檢測,并提供解釋。實驗結果表明,該模型具有較好的檢測結果和較合理的解釋性。同時,該模型還可以用于社交媒體上的其他任務,尤其是當前社交媒體上認知戰(zhàn)正越演越烈,可以利用該模型進行仇恨語言檢測、意識形態(tài)檢測等任務。在下步工作中,我們將根據謠言的特點進行仇恨語言檢測和立場檢測的多任務實驗,進一步研究社交媒體中認知偏移的規(guī)律。