基于用戶權威度和多特征融合的微博謠言檢測模型*

許莉芬,曹霑懋,鄭明杰,肖博健

(1.華南師范大學計算機學院,廣東 廣州 510631;2.華南師范大學人工智能學院,廣東 佛山 528200)

1 引言

社交媒體是新聞傳播、政治活動、科學發(fā)現(xiàn)或產(chǎn)品廣告的流行媒介。由于社交媒體可以快速廣泛地傳播信息,總有人為了特定的利益,在網(wǎng)絡上發(fā)布謠言信息,嚴重影響了網(wǎng)絡的良性發(fā)展,甚至影響社會穩(wěn)定。有效地檢測謠言有利于凈化網(wǎng)絡空間和維護社會穩(wěn)定,具有十分重要的現(xiàn)實意義。

為了進行謠言檢測,一些研究對社交網(wǎng)絡中的用戶特征進行建模,從用戶群體中提取特征,如用戶信息[1]和用戶歷史行為[2,3]等,并結合機器學習和深度學習模型實現(xiàn)謠言檢測。

Rieh[4]發(fā)現(xiàn),信息的可信度由其來源的權威度所支配。微博用戶作為信息發(fā)布和傳播的主體,其權威度是傳播影響因素中的一個重要評價指標。研究用戶權威度,對于預測帖子的真實性具有積極的意義。

研究表明[5],信息的語言風格和語氣有助于區(qū)分虛假陳述和真實陳述。說謊者在講述虛假的故事時傾向于更頻繁地使用負面情緒詞,作為內(nèi)疚的標志,同時也傾向于在文本中頻繁使用感嘆號和問號,表達發(fā)布者激動的心情。Li等人[6]驗證了將發(fā)布的文本中的語境特征(如情緒和標點符號的使用特征等)視為傳播謠言有關的線索是合乎邏輯的。

在謠言檢測領域,研究人員在3個方面打下了堅實的理論基礎:用戶、語境和文本特征表示。但是,傳統(tǒng)的用戶特征強調(diào)用戶屬性和用戶關聯(lián)的關系,在謠言檢測任務中還沒有對社交網(wǎng)絡中的用戶權威度進行精確的定量表示,這使得量化用戶權威度并將其與謠言識別相結合很難。

針對上述問題,本文提出基于用戶權威度和多特征融合的謠言檢測模型MRUAMF(Microblog Rumor detection model based on User Authority and Multi-feature Fusion ),主要工作如下:

(1)提出了一種用戶權威度的計算方法并將其用于謠言檢測。

(2)提出了一種基于用戶特征、語境特征和文本特征融合的特征表示策略。使用BERT(Bidirectional Encoder Representations from Transformers)模型獲得文本特征,并結合多模態(tài)適應門MAG(Multimodal Adaptation Gate)[7]將用戶特征、語境特征與文本特征進行融合。

(3)本文在微博謠言數(shù)據(jù)集上進行了實驗,以檢驗MRUAMF模型的有效性。

2 相關工作

現(xiàn)有的謠言檢測方法大致可以分為2類:手工特征提取的方法和基于深度學習的方法。

傳統(tǒng)的基于手工特征提取的方法主要從3個方面來設計謠言檢測模型:(1)關注統(tǒng)計文本內(nèi)容和用戶信息的特征構造檢測模型。如Liang等人[8]利用用戶行為的手工特征進行建模檢測,Castillo等人[9]提取用戶信息和發(fā)表的微博內(nèi)容特征來構造謠言檢測模型。(2)關注傳播路徑和傳播節(jié)點等特征的傳播結構檢測模型。 如Kwon等人[10]利用謠言傳播結構的特征設計謠言檢測模型。(3)關注文本信息隨時間變化的統(tǒng)計特征的時間序列檢測模型。如Ma等人[11]認為謠言文本和非謠言文本在時間序列上變化的模式不同,并抓取多種社會上下文特征隨時間流逝的變化,以此設計謠言檢測模型。然而,基于手工特征提取的方法依賴特征的選取,且缺乏一種標準和系統(tǒng)的方法來設計跨平臺的通用特征和處理不同類型的謠言。

深度學習的迅速發(fā)展催生了許多基于深度學習的謠言檢測模型。由于增強了自動表示學習的能力,基于深度學習的謠言檢測模型的檢測性能要優(yōu)于傳統(tǒng)手工特征提取的謠言檢測模型。大多數(shù)現(xiàn)有的基于深度學習的方法主要側重于從文本內(nèi)容、用戶評論和圖像中提取文本特征和視覺特征。Ma等人[12]首先提出用循環(huán)神經(jīng)網(wǎng)絡RNN(Recursive Neural Network)進行謠言識別,他們基于謠言傳播過程中的轉發(fā)時間序列數(shù)據(jù),使用門控循環(huán)單元GRU(Gate Recurrent Unit)學習時間和文本特征。Shu等人[13]提出了一種共同關注網(wǎng)絡,利用新聞內(nèi)容和用戶評論進行謠言檢測。Jin等人[14]提出了一種用于提取視覺、文本和社會背景特征的模型。此外,一些研究還采用了其它深度學習技術,如多任務學習[15]和對抗學習[16],來學習更豐富的內(nèi)容感知特征。然而,有些謠言是故意通過模仿真實的新聞來撰寫的。由于缺乏必要的領域知識,僅從內(nèi)容特征方面構建謠言檢測模型很難進一步提高檢測性能。

一些研究人員意識到用戶在謠言傳播中發(fā)揮著重要作用。例如,Zhang等人[17]提出了一種名為Fake Detector的自動假新聞可信度推理模型。作者分析了多種屬性,如用戶個人資料特征、用戶與假新聞創(chuàng)建者之間的聯(lián)系,并使用深度擴散神經(jīng)模型來學習文章內(nèi)容、創(chuàng)作者和主題的特征。Dong等人[18]提出了一種用于謠言檢測的具有用戶和情感信息的分層注意網(wǎng)絡。Chen等人[19]提出了用于謠言檢測的具有注意力的用戶方面多視圖學習模型,有效地學習傳播帖子的用戶的個人資料視圖、結構視圖和時間視圖表示,將學習到的用戶特征與內(nèi)容特征連接起來,用于檢測任務。

盡管上述研究中提到的融合用戶特征的方法在社交網(wǎng)絡環(huán)境中檢測謠言是有效的,但是也有一定的局限性。這些方法在用戶級別上強調(diào)用戶資料和用戶關聯(lián)的關系,但沒有更進一步地挖掘用戶資料。本文借助用戶特征、語境特征與文本特征,并從用戶權威度角度構建用戶特征,通過深度學習來分析信息的真實性。

3 相關定義與模型準備

本節(jié)介紹用戶權威度和語境的相關定義和計算方法,所涉及的重要符號如表1所示。

Table 1 Description of symbols

3.1 用戶權威度

用戶權威度[20]指用戶在社交網(wǎng)絡關系中具有的影響力與公眾對其信服的程度。為了量化用戶權威度,本文通過用戶的交際廣度(Commuication Span)來衡量用戶的影響力,并從平臺認證指數(shù)(Platform Authentication Index)、用戶信息完整度(Information Integrity)和用戶活躍度(Activity Degree)方面度量公眾對其信服的程度?；谶@些指標構建用戶權威度。首先,考慮了用戶信息完整度,完整的用戶信息能夠讓公眾更好地了解用戶的背景和專業(yè)領域,從而更愿意信任用戶的觀點和意見。其次,考慮了用戶的平臺認證指數(shù),認證身份能夠提高用戶在社交網(wǎng)絡中的信譽度和影響力。第三,考慮了用戶在微博上的活躍度,高度活躍的用戶能夠吸引更多的關注和互動,從而提高其影響力和信服程度。最后,鑒于廣泛的社交網(wǎng)絡關系能夠提高用戶的影響力和信服程度,本文考慮了用戶的交際廣度。

3.1.1 用戶信息完整度

用戶的信息能夠反映用戶的真實性,具有完整的、真實信息的用戶會具有更高的權威度。用戶信息包含昵稱、性別、簡介和地址信息。本文構建向量V=(v1,v2,…,vn)用以表示用戶基本信息的填寫情況。其中,vi表示序號為i的標簽是否包含信息。當vi=1時,表示第i號的標簽存在有效信息;當vi=0時,表示第i號的標簽不存在有效信息。定義用戶u的信息完整度I(u)為用戶愿意公開的信息占所有信息標簽的比例,如式(1)所示:

(1)

其中,n表示向量V的維度。

3.1.2 用戶平臺認證指數(shù)

定義用戶u的平臺認證指數(shù)P(u)為平臺對用戶給出的認證評價。平臺認證是微博官方認證平臺對用戶進行審查認證。P(u)的計算方法如式(2)所示:

(2)

3.1.3 用戶活躍度

定義用戶u的活躍度A(u)為用戶在一定時間內(nèi)發(fā)布帖子的頻率。用戶活躍度計算方法如式(3)所示:

(3)

其中,Num(u)表示用戶在時間段t內(nèi)發(fā)布的帖子數(shù)量,這里的t指從用戶注冊起到獲取數(shù)據(jù)的這段時間的天數(shù)。

3.1.4 用戶交際廣度

在微博社交網(wǎng)絡中,用戶通過關注成為對方的粉絲。粉絲表明他人對用戶的關注,是對用戶微博評論轉發(fā)的潛在用戶。用戶擁有粉絲越多,與粉絲的交互程度越高,用戶的影響力越大,權威度越高。用戶u的交際廣度C(u)的定義如式(4)所示:

(4)

其中,Pfans(u)表示用戶純粉絲數(shù);Mfans(u)表示用戶互粉數(shù);Fans(u)表示用戶粉絲數(shù),Fans(u)=Mfans(u)+Pfans(u);Att(u)表示用戶關注數(shù);ω1表示用戶純粉絲數(shù)的權重系數(shù),ω2表示用戶互粉數(shù)的權重系數(shù),初始值ω1=0.7,ω2=0.3。

3.1.5 用戶權威度模型的構建

基于上述4個指標,本文使用層次分析法確定權重系數(shù),并利用特征向量法計算用戶權威度評價特征的權值,求解步驟如下:

步驟1設用戶權威度評價的判斷矩陣為B,其中的元素bi,j表示特征i相比特征j對評價結果影響的重要程度的倍數(shù)。本文認為,最能體現(xiàn)用戶權威度的首要因素是用戶交際廣度,其次是用戶平臺認證指數(shù),第3是用戶活躍度,第4是用戶信息完整度。之所以將用戶信息完整度置于第4,是因為用戶信息中可能含有虛假的成分。按照四元組(I(u),A(u),P(u),C(u))為判斷矩陣B賦值,如式(5)所示:

(5)

步驟2求解判斷矩陣B的最大特征值的特征向量并進行歸一化處理,得到各個指標的權重μ,如式(6)所示:

μ=(0.0439,0.0885,0.3286,0.5390)

(6)

本文構建的用戶權威度定量計算模型的量化計算方法如式(7)所示。

Au(u)=(I(u),A(u),P(u),C(u))×μT

(7)

3.2 語境

語境對信息的傳播有強大的影響力。情緒是語境的重要組成部分。謠言往往具有消極的情緒,具體來說,謠言的語氣總是很強烈,感嘆號的使用比較頻繁[6],尤其是當情感是懷疑或驚訝時,問號和感嘆號的出現(xiàn)次數(shù)較多,因此可以將情緒、問號與感嘆號的數(shù)量作為區(qū)分謠言的特征。

3.2.1 情緒

本文提取用戶發(fā)布的帖子和對應轉發(fā)的帖子的文本進行情緒分析。調(diào)用中文情感分析庫cnsenti,將情緒劃分為好、樂、哀、怒、懼、惡、驚7種情緒,并統(tǒng)計7種情緒詞的頻數(shù)。本文選擇其中頻數(shù)最大的情緒詞作為帖子的情緒代表。

3.2.2 問號和感嘆號數(shù)量

本文統(tǒng)計源帖及其轉發(fā)帖子中問號和感嘆號的數(shù)量,并將其作為區(qū)分謠言的特征之一。

4 MRUAMF模型

4.1 模型結構

MRUAMF模型主要包括5個部分:用戶特征提取、語境特征提取、文本特征提取、多特征融合和預測分類。在用戶特征挖掘上,將用戶權威度及其4項構成指標作為用戶特征。在語境特征挖掘上,進行情緒統(tǒng)計分析,并統(tǒng)計符號數(shù)量。圖1顯示了MRUAMF模型的總體結構。

Figure 1 Structure of MRUAMF model

4.2 輸入

按照第3節(jié)的描述收集用戶信息,包括:(1)昵稱;(2)簡介;(3)性別;(4)粉絲數(shù);(5)互粉數(shù);(6)關注數(shù);(7)是否經(jīng)過微博認證;(8)地址信息;(9)歷史發(fā)布的帖子數(shù)量。每條源帖下包含了其他用戶轉發(fā)的帖子,本文對源貼及其轉發(fā)帖子的文本內(nèi)容進行統(tǒng)計分析,獲取文本情緒標記、問號和感嘆號的數(shù)量。

4.3 特征提取與融合

4.3.1 用戶特征提取

本文使用2層全連接網(wǎng)絡提取與用戶權威度相關的指標作為用戶特征,包括:(1)平臺認證指數(shù);(2)活躍度;(3)交際廣度;(4)信息完整度;(5)權威度。

將用戶特征用向量Vu=(vp,va,vc,vi,vr)表示,向量中的每個值分別對應上述5種特征,即平臺認證指數(shù)、活躍度、交際廣度、信息完整度和權威度的數(shù)值。本文使用2層全連接網(wǎng)絡對用戶特征進行學習和融合,2層全連接網(wǎng)絡的計算過程和輸出如式(8)和式(9)所示:

U′=ReLU(Wu1Vu+bu1)

(8)

U=ReLU(Wu2U′+bu2)

(9)

其中,Wu1和Wu2分別表示第1層和第2層全連接網(wǎng)絡的權重矩陣,bu1和bu2表示相應的偏移項。U′表示相應的第1層全連接網(wǎng)絡輸出的中間向量,U表示相應的第2層全連接網(wǎng)絡輸出的用戶融合特征向量,U∈R768。本文使用修正線性單元ReLU(Rectified Linear Unit)函數(shù)作為激活函數(shù)。

4.3.2 語境特征提取

根據(jù)第3節(jié)的描述,本文選取以下語境特征:(1)情緒;(2)問號的數(shù)量;(3)感嘆號的數(shù)量。

對情緒標簽進行預處理,對情緒的分類標簽使用數(shù)值代替,將7種情緒映射到0～6的整數(shù)。用向量Vc=(vs,vq,ve)表示語境特征,向量中的每個值分別對應上述語境特征的數(shù)值。本文使用2層全連接網(wǎng)絡對語境特征進行學習和融合,2層全連接網(wǎng)絡的計算方法和輸出公式如式(10)和式(11)所示:

C′=ReLU(Wc1Vc+bc1)

(10)

C=ReLU(Wc2C′+bc2)

(11)

其中,Wc1和Wc2分別表示第1層和第2層全連接網(wǎng)絡的權重矩陣,bc1和bc2分別表示相應的偏移項。C′是第1層全連接網(wǎng)絡輸出的中間向量,C是第2層全連接網(wǎng)絡輸出的語境融合特征向量,C∈R768。

4.3.3 文本特征提取

本文使用BERT提取文本特征。BERT模型能夠聯(lián)系上下文語義進行學習,結合自注意力機制考慮每個詞語對其他詞語的重要程度,預訓練出來的向量表示效果比word2vec的更好。BERT模型主要包括2個階段:編碼階段和生成向量表示階段。使用BERT模型在數(shù)據(jù)集上進行微調(diào),獲得文本特征Z∈R768。

4.3.4 特征融合

受多模態(tài)適應門(MAG)的啟發(fā),本文將3種特征即文本特征、用戶特征和語境特征通過MAG進行特征融合,如圖2所示。MAG單元接收3個特征作為輸入。令三元組(Z,U,C)表示文本特征、用戶特征和語境特征輸入。Z表示文本特征,U表示用戶特征,C表示語境特征,其維度均為768。將文本特征分別與用戶特征和語境特征拼接得到[Z;U]和[Z;C],并利用它們生成2個注意力門控向量gu和gc:

Figure 2 Structure of MAG combining user feature and context feature

gu=ReLU(Wgu[Z;U]+bu)

(12)

gc=ReLU(Wgc[Z;C]+bc)

(13)

其中,Wgu和Wgc分別表示用戶和語境的權重矩陣,bu和bc表示相應的偏移向量。

然后,分別將U和C與各自的注意力門控向量相乘獲得向量H,如式(14)所示:

H=gu·(WuU)+gc·(WsC)+bH

(14)

其中,Wu和Ws分別表示用戶信息和語境信息的權重矩陣,bH表示偏移向量。

(15)

(16)

其中,β表示通過交叉驗證過程選擇的超參數(shù),‖Z‖2和‖H‖2分別表示Z和H的L2范數(shù)。

4.4 預測分類

本文使用Softmax分類器進行謠言檢測,預測結果如式(17)所示:

(17)

其中,Wz表示權值矩陣,bz表示偏置向量,Softmax(·)激活函數(shù)用于判斷目標是否為謠言。

5 實驗與結果分析

為了驗證MRUAMF模型的有效性,本節(jié)在同一個微博數(shù)據(jù)集上將其與其它基線模型進行比較,并設計一系列實驗驗證MRUAMF模型的合理性。

5.1 實驗設置

5.1.1 實驗數(shù)據(jù)集

數(shù)據(jù)集來源于Ma等人[21]構建的微博謠言數(shù)據(jù)集,該數(shù)據(jù)集包含4 664個源帖,每條源帖下有若干條轉發(fā)的帖子,同時還包含了用戶的信息。

本文分別選取60%的微博數(shù)據(jù)集組成訓練集,30%組成測試集,10%組成驗證集。數(shù)據(jù)集的統(tǒng)計信息如表2所示。

Table 2 Statistic of dataset

5.1.2 實驗參數(shù)設置

本文使用PyTorch深度學習框架編碼模型,使用Adam優(yōu)化器進行訓練,學習率為5e-5;使用交叉熵損失函數(shù);設置BERT網(wǎng)絡的隨機失活率為0.1,批大小為16。

5.1.3 評價指標

本文采用準確率(ACC)、精確度(P)、召回率(R)和F1分數(shù)(F1)作為評估指標來衡量模型的性能。

5.1.4 基線模型

在微博數(shù)據(jù)集上,本文提出的MRUAMF模型與下列基線模型進行對比實驗:

(1)DTC(Decision Tree Classifier)[22]:基于用戶行為特征,使用決策樹分類器DTC進行謠言識別的模型。

(2)SVM-RBF(Support Vector Machine using Radial Basis Function)[23]:使用徑向基函數(shù)RBF作為核函數(shù)的支持向量機SVM模型。

(3)GRU[14]:基于RNN的謠言識別模型,用于捕獲謠言識別輸入的上下文信息。

(4)TD-RvNN(Top-Down tree-structured Recur- sive Neural Network)[24]:一種基于RNN的樹結構模型,該模型在樹結構中嵌入隱藏的指示信號,并探索帖子內(nèi)容對謠言檢測的重要性。

(5)PLAN(Post-Level Attention Network)[25]:一種用于謠言檢測的分層令牌和后級注意力模型。

(6)GCAN(Graph-aware Co-Attention Network)[26]:一種圖感知共同關注網(wǎng)絡,利用源帖的內(nèi)容及其基于傳播的用戶來檢測信息的真實性。

(7)UMLARD(User-aspect Multi-view Learning with Attention for Rumor Detection)[19]:一種用于謠言檢測的用戶端注意力多視角學習模型,該模型學習傳播帖子用戶的不同視圖表示,并將學到的用戶方面特征與內(nèi)容特征連接起來。

所有模型在測試集上的實驗結果如表3所示。

Table 3 Experimental results of different models (R:rumor,N:non rumor)

5.2 實驗分析

5.2.1 與基線模型的比較與分析

表3的實驗結果表明,傳統(tǒng)的基于手工特征提取的模型如DTR、SVM-RBF的效果均不佳。這些模型基于帖子的統(tǒng)計數(shù)據(jù)使用手工提取的特征,不足以捕捉文本的可概括性特征,無法形成文本特征間的高級交互。

基于深度學習的模型優(yōu)于基于手工特征提取的模型。GRU和TD-RvNN均是基于RNN的模型,PLAN使用自注意力機制用于模擬帖子之間的交互,其效果比GRU和TD-RvNN的要優(yōu)。但是,上述3種模型主要關注文本信息而忽略了其他類型的特征。

GCAN從用戶相似度建模,提取傳播帖子的用戶特征和源帖文本特征。UMLARD通過對用戶的信息進行建模豐富了謠言檢測的工作主體。GCAN和UMLARD的檢測效果比PLAN的性能更佳,這個結果也驗證了用戶特征在傳播謠言的過程中起著重要的作用,用戶是錯誤信息的主要傳播者。

MRUAMF模型在微博數(shù)據(jù)集上優(yōu)于所有對比基線模型。與最佳基線模型UMLARD相比,MRUAMF模型通過用戶權威度構造用戶特征,并融合了語境特征,從而提高了檢測效果。

5.2.2 不同輸入特征對預測結果的影響

本文在特征提取部分介紹了文本、用戶和語境融合特征。本節(jié)介紹基于不同特征組合的消融實驗。設置了4種特征組合,第1組為文本特征,第2組為文本特征+用戶特征,第3組為文本特征+語境特征,第4組為文本特征+用戶特征+語境特征。消融實驗結果如圖3所示。

Figure 3 Results of ablation experiment

圖3表明,相較于第1組,其余3組在該數(shù)據(jù)集上表現(xiàn)更好,這說明增加用戶特征或語境特征作為輔助特征可以豐富謠言語義信息,從而提高檢測效果。在ACC指標上,第4組的測試結果相比第2組和第3組均有所提高,這證實了本文使用文本、用戶和語境3種類型的特征對提高謠言檢測能力有積極的影響。通過從用戶信息和語境信息這2個不同的角度提取特征,引入多特征融合,使模型能夠更好地實現(xiàn)分類預測。

5.2.3 不同特征融合方法對預測結果的影響

本文使用MAG處理特征融合,本節(jié)將其與其它常用的特征融合方法進行對比,以探索它們對性能的影響,結果如表4所示。

Table 4 Results of different feature fusion methods表4 不同特征融合方法結果

表4中的融合方法包括:(1)加法:Z+U+C;(2)串聯(lián):[Z;U;C];(3)MLP:Z+tanh(W1U+b1)+tanh(W2C+b2),其中,W1和W2表示權重矩陣,b1和b2表示偏移項,tanh(·)是激活函數(shù)。

從表4可以看出,使用MAG的融合方法在ACC指標上均優(yōu)于另外3種方法,這表明了使用MAG進行多特征融合的有效性。

5.2.4 用戶權威度分析

令標簽UR和UN分別表示發(fā)布謠言的用戶和發(fā)布非謠言的用戶。圖4和圖5分別是間隔為0.1的權威度區(qū)間上UR和UN的數(shù)量分布圖。

Figure 4 Distribution of UR based on authority interval

Figure 5 Distribution of UN based on authority interval

圖4表明發(fā)布謠言的用戶,權威度主要集中在[0.4,0.5)和[0.8,0.9)。圖5表明發(fā)布非謠言的用戶,權威度主要集中在[0.8,0.9)。由此可見,總體上發(fā)布謠言的用戶權威度較發(fā)布非謠言的用戶權威度低,這也證實了權威度是謠言檢測的一個重要的評價指標。通常來說,權威度較低的用戶更容易散布謠言。

6 結束語

本文提出的MRUAMF模型實現(xiàn)了對微博帖子的謠言識別。首先,考慮到用戶權威度對謠言檢測的積極作用,本文通過級聯(lián)用戶權威度及其相關指標,使用2層全局連接層網(wǎng)絡提取特征,有效量化和壓縮用戶特征。其次,對帖子中的語境信息進行挖掘,這有助于提高謠言的識別能力。使用BERT預訓練文本獲得文本特征表示,并結合多模態(tài)適應門將用戶特征、語境特征與文本特征融合。實驗結果表明,本文提出的模型能有效地實現(xiàn)謠言檢測。未來,將探索更有效的謠言檢測模型,如利用社交網(wǎng)絡的拓撲結構來提升謠言分類器的性能。并將在更具有差異性的數(shù)據(jù)集上進行深入探索。