結(jié)合社交網(wǎng)絡(luò)圖的多模態(tài)虛假信息檢測(cè)模型

摘 要：針對(duì)現(xiàn)有虛假信息檢測(cè)方法主要基于單模態(tài)數(shù)據(jù)分析，檢測(cè)時(shí)忽視了信息之間相關(guān)性的問(wèn)題，提出了結(jié)合社交網(wǎng)絡(luò)圖的多模態(tài)虛假信息檢測(cè)模型。該模型使用預(yù)訓(xùn)練Transformer模型和圖像描述模型分別從多角度提取各模態(tài)數(shù)據(jù)的語(yǔ)義，并通過(guò)融合信息傳播過(guò)程中的社交網(wǎng)絡(luò)圖，在文本和圖像模態(tài)中加入傳播信息的特征，最后使用跨模態(tài)注意力機(jī)制分配各模態(tài)信息權(quán)重以進(jìn)行虛假信息檢測(cè)。在推特和微博兩個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，所提模型的虛假信息檢測(cè)準(zhǔn)確率穩(wěn)定為約88%，高于EANN、PTCA等現(xiàn)有基線(xiàn)模型。實(shí)驗(yàn)結(jié)果表明所提模型能夠有效融合多模態(tài)信息，從而提高虛假信息檢測(cè)的準(zhǔn)確率。

關(guān)鍵詞：網(wǎng)絡(luò)輿情； 虛假信息檢測(cè)； 多模態(tài)融合； 跨模態(tài)注意力； 社交網(wǎng)絡(luò)圖

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2024）07-010-1992-07

doi：10.19734/j.issn.1001-3695.2023.11.0565

Multimodal misinformation detection model with social network graph

Abstract：To address the issues of existing misinformation detection approaches， which primarily focus on single-modal data analysis and ignore the correlation between information during detection， this paper proposed a multimodal misinformation detection model combined with the social network graph（MMD-SNG model）. This model used the pre-trained Transformer model and the image caption model to extract the semantics of each modality from multiple perspectives. It incorporated the features of propagated information into the text and image data by fusing the social network graph of the information dissemination process. Finally， this model used a multimodal co-attention mechanism to allocate the weights of each modality for misinformation detection. This paper conducted comparative experiments on two real datasets including Twitter and Weibo， the proposed MMD-SNG model achieved a consistent detection accuracy of approximately 88%， which was higher than existing misinformation detection approaches such as EANN and PTCA. The experimental results demonstrate that the proposed model can fuse multimodal information effectively to improve the accuracy of misinformation detection.

Key words：online public opinion; misinformation detection; multimodal fusion; multimodal co-attention; social network graph

0 引言

隨著我國(guó)數(shù)字經(jīng)濟(jì)的發(fā)展與通信基礎(chǔ)設(shè)施的日益完善，我國(guó)網(wǎng)民規(guī)模已達(dá)到10.67億，互聯(lián)網(wǎng)在城鄉(xiāng)居民生活中得到了越來(lái)越廣泛的普及與應(yīng)用［1］。以微博、推特、微信朋友圈等為主的在線(xiàn)社交媒體平臺(tái)逐步取代傳統(tǒng)紙質(zhì)與電視媒體，成為人們獲取信息、分享觀點(diǎn)、交換意見(jiàn)的主要場(chǎng)所。在線(xiàn)社交媒體平臺(tái)正在促進(jìn)文本、圖片等多模態(tài)形式的信息在互聯(lián)網(wǎng)上快速傳播，而這些海量的多模態(tài)信息對(duì)我國(guó)網(wǎng)民和社會(huì)輿情有著廣泛且深遠(yuǎn)的影響。雖然在線(xiàn)社交媒體平臺(tái)擁有許多優(yōu)秀內(nèi)容，但由于其用戶(hù)規(guī)模龐大且內(nèi)容來(lái)源難以檢測(cè)，其同樣易被用來(lái)傳播各種形式的虛假信息，如圖1所示。不實(shí)信息借助在線(xiàn)社交媒體平臺(tái)進(jìn)行快速傳播，往往會(huì)誤導(dǎo)用戶(hù)甚至引發(fā)嚴(yán)重的網(wǎng)絡(luò)輿情管理問(wèn)題［2］。因此，作為及時(shí)阻止虛假信息傳播的基礎(chǔ)環(huán)節(jié)，準(zhǔn)確檢測(cè)社交平臺(tái)中的虛假信息就顯得至關(guān)重要。

模態(tài)是指信息的來(lái)源或者信息表示形式。文本、圖像、視頻、聲音和種類(lèi)繁多的傳感器信號(hào)都可以稱(chēng)為一種模態(tài)［3］。其中，文本和圖像是當(dāng)前在線(xiàn)社交媒體的主要內(nèi)容形式。不同模態(tài)表示的信息往往存在交叉或互補(bǔ)，融合具有交叉或互補(bǔ)內(nèi)容的多模態(tài)數(shù)據(jù)能夠?yàn)楣芾頉Q策提供更多且更準(zhǔn)確的信息，提高決策準(zhǔn)確率。因此如何處理利用所獲取的多模態(tài)信息是提高決策總體準(zhǔn)確率的關(guān)鍵［4］。

傳統(tǒng)的虛假信息檢測(cè)方法，主要從單一圖像模態(tài)或單一文本模態(tài)入手進(jìn)行檢測(cè)，或是對(duì)兩種模態(tài)進(jìn)行簡(jiǎn)單的融合，一方面從文本方面對(duì)在線(xiàn)社交媒體平臺(tái)內(nèi)容制定文本規(guī)則或關(guān)鍵詞屏蔽，另一方面從圖片方面進(jìn)行圖片特征檢測(cè)［5］。這類(lèi)方法的主要問(wèn)題有：a）虛假信息檢測(cè)過(guò)程中大多是對(duì)各條信息獨(dú)立檢測(cè)，忽視了信息之間的相關(guān)性；b）簡(jiǎn)單的模態(tài)融合易丟失圖像模態(tài)與文本模態(tài)之間的交互信息，影響了檢測(cè)的準(zhǔn)確率。

多模態(tài)信息的融合處理主要包括模態(tài)表示、模態(tài)轉(zhuǎn)換、模態(tài)對(duì)齊與融合等步驟。為了利用在線(xiàn)社交媒體平臺(tái)中各信息之間豐富的關(guān)聯(lián)來(lái)檢測(cè)虛假信息，本文將社交網(wǎng)絡(luò)圖融入多模態(tài)轉(zhuǎn)換、對(duì)齊、融合的過(guò)程，提出結(jié)合社交網(wǎng)絡(luò)圖的多模態(tài)虛假信息檢測(cè)（multimodal misinformation detection model with the social network graph，MMD-SNG）模型。該模型將在線(xiàn)社交媒體平臺(tái)上的用戶(hù)與內(nèi)容連接起來(lái)，在信息檢測(cè)過(guò)程中共享各信息中的知識(shí)，協(xié)助彼此之間的檢測(cè)；同時(shí)通過(guò)改進(jìn)模型損失函數(shù)，在模態(tài)融合之前進(jìn)行信息與社交網(wǎng)絡(luò)圖的對(duì)齊；最后使用跨模態(tài)注意力機(jī)制動(dòng)態(tài)分配圖像模態(tài)、文本模態(tài)、圖像描述模態(tài)、社交網(wǎng)絡(luò)特征的權(quán)重，將結(jié)果輸入至多層全連接層，進(jìn)行虛假/非虛假信息分類(lèi)，生成檢測(cè)結(jié)果。

本文主要貢獻(xiàn)如下：

a）將社交網(wǎng)絡(luò)圖結(jié)合進(jìn)虛假信息檢測(cè)模型中，通過(guò)社交網(wǎng)絡(luò)圖連接原本獨(dú)立進(jìn)行檢測(cè)的信息，使各信息之間能夠進(jìn)行知識(shí)共享，從而提高虛假信息的檢測(cè)準(zhǔn)確率。

b）將現(xiàn)有圖像描述模型和跨模態(tài)注意力機(jī)制引入虛假信息檢測(cè)，并改進(jìn)模型損失函數(shù)，對(duì)多模態(tài)信息進(jìn)行轉(zhuǎn)換、對(duì)齊與融合，提高對(duì)信息中各模態(tài)相關(guān)性的利用率，減少信息冗余，提高檢測(cè)效率。

1 相關(guān)研究

虛假信息（misinformation）是指憑空捏造或被有意扭曲的消息，不能真實(shí)反映客觀事物的本來(lái)面貌。近些年，國(guó)內(nèi)外學(xué)者針對(duì)虛假信息的各類(lèi)屬性與傳播特征，提出了很多虛假信息檢測(cè)方法，包括制定文本規(guī)則、文本可信度評(píng)估等文本模態(tài)信息檢測(cè)方法以及融合多模態(tài)信息的深度學(xué)習(xí)方法等。

1.1 單模態(tài)虛假信息檢測(cè)

虛假信息檢測(cè)方法的早期研究主要基于人工制定的特征規(guī)則，從文本內(nèi)容、用戶(hù)信息以及傳播鏈的角度檢測(cè)信息。例如，Castillo等人［6］通過(guò)制定規(guī)則，對(duì)Twitter傳播的信息文本和傳播用戶(hù)進(jìn)行主題發(fā)現(xiàn)與可信度評(píng)估，以發(fā)現(xiàn)社交媒體中的虛假信息。這類(lèi)方法起到了一定的檢測(cè)效果，但手工制定規(guī)則的成本較高且無(wú)法及時(shí)適應(yīng)實(shí)時(shí)更新的信息檢測(cè)。

近年來(lái)隨著計(jì)算機(jī)算力的不斷提升與深度學(xué)習(xí)技術(shù)的日益完善，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型被應(yīng)用于獲取虛假信息檢測(cè)的有效特征并進(jìn)行分類(lèi)［7］。Ma等人［8］基于遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）學(xué)習(xí)微博文本的連續(xù)表示，通過(guò)學(xué)習(xí)微博帖子的上下文信息以及文本隨時(shí)間變化的特征來(lái)識(shí)別虛假信息。Nasir等人［9］提出了一種混合深度學(xué)習(xí)模型，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）和遞歸神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行虛假信息分類(lèi)。Di Sotto等人［10］通過(guò)將所提取錯(cuò)誤信息的關(guān)鍵特征與深度學(xué)習(xí)方法進(jìn)行融合以檢測(cè)虛假的健康信息。這類(lèi)方法通過(guò)自動(dòng)提取信息中各模態(tài)的特征以檢測(cè)虛假信息，但因其僅提取單一模態(tài)信息而無(wú)法提取多模態(tài)信息完整語(yǔ)義，所以準(zhǔn)確率不夠令人滿(mǎn)意。

1.2 多模態(tài)虛假信息檢測(cè)

隨著在線(xiàn)社交媒體平臺(tái)信息從基于文本的帖子發(fā)展為帶有圖片或視頻的多媒體推文，學(xué)者們開(kāi)始研究包含文本模態(tài)和圖像模態(tài)的多模態(tài)虛假信息檢測(cè)方法。Wang等人［11］提出基于生成對(duì)抗網(wǎng)絡(luò)（generative adversarial networks，GAN）的EANN模型，將多模態(tài)數(shù)據(jù)進(jìn)行簡(jiǎn)單融合后輸入GAN判別器中判定事件類(lèi)別，利用學(xué)習(xí)到的每個(gè)事件的共享特征與獨(dú)有特征強(qiáng)化虛假信息分類(lèi)器。Khattar等人［12］提出基于雙模態(tài)變分自編碼器和二元神經(jīng)網(wǎng)絡(luò)分類(lèi)器的MVAE模型，通過(guò)優(yōu)化觀測(cè)數(shù)據(jù)的邊際似然值的邊界，來(lái)學(xué)習(xí)概率潛在變量模型。張國(guó)標(biāo)等人［13］通過(guò)對(duì)圖片與文本進(jìn)行語(yǔ)義一致性計(jì)算，構(gòu)建虛假新聞檢測(cè)模型。Zhou等人［14］基于多模態(tài)特征聯(lián)合和跨模態(tài)相似性來(lái)學(xué)習(xí)社交媒體信息表示的SAFE模型，并通過(guò)計(jì)算相似度與損失函數(shù)相結(jié)合來(lái)改進(jìn)分類(lèi)模型。

在融合圖像模態(tài)與文本模態(tài)進(jìn)行虛假信息檢測(cè)的同時(shí)，為了提高檢測(cè)準(zhǔn)確率，學(xué)者們提出基于社交網(wǎng)絡(luò)圖的虛假信息檢測(cè)方法。Yang等人［15］提出基于圖卷積網(wǎng)絡(luò)與對(duì)抗訓(xùn)練的CGAT模型，通過(guò)訓(xùn)練鑒別器以區(qū)分在社交媒體中偽裝身份的虛假信息發(fā)布者。Wei等人［16］提出基于貝葉斯方法的考慮信息傳播過(guò)程中潛在關(guān)系的EBGCN模型，該方法能夠自適應(yīng)地確定傳播圖中邊的權(quán)重值以處理傳播結(jié)構(gòu)中的不確定性。Zheng等人［17］在社交網(wǎng)絡(luò)中考慮隱藏鏈接預(yù)測(cè)并且通過(guò)損失函數(shù)對(duì)齊來(lái)提升模態(tài)融合效果。韓雪明等人［18］在傳播樹(shù)結(jié)構(gòu)上利用Transformer架構(gòu)學(xué)習(xí)帖子的語(yǔ)義關(guān)系，提出了一種基于傳播樹(shù)的節(jié)點(diǎn)及路徑雙注意力虛假信息檢測(cè)模型DAN-tree，進(jìn)一步對(duì)傳播結(jié)構(gòu)上的深層結(jié)構(gòu)和語(yǔ)義信息進(jìn)行融合。這類(lèi)虛假信息檢測(cè)方法多是對(duì)文本模態(tài)、圖片模態(tài)與社交網(wǎng)絡(luò)進(jìn)行兩兩組合，尚未充分利用數(shù)據(jù)中的所有信息。

綜上，當(dāng)前虛假信息檢測(cè)少有對(duì)多個(gè)模態(tài)信息進(jìn)行融合、轉(zhuǎn)換、對(duì)齊的虛假信息檢測(cè)研究，尚未充分利用數(shù)據(jù)語(yǔ)義信息提高檢測(cè)準(zhǔn)確率。因此，在過(guò)去研究的基礎(chǔ)上，本文結(jié)合社交網(wǎng)絡(luò)圖特征，融合文本模態(tài)與圖像模態(tài)以提高虛假信息檢測(cè)的準(zhǔn)確率。

2 多模態(tài)虛假信息檢測(cè)模型MMD-SNG

結(jié)合社交網(wǎng)絡(luò)圖的多模態(tài)虛假信息檢測(cè)模型（MMD-SNG模型）主要由社交網(wǎng)絡(luò)圖以及多模態(tài)表示、轉(zhuǎn)換、對(duì)齊、融合模塊組成，其結(jié)構(gòu)如圖2所示。

MMD-SNG模型將輸入待檢測(cè)的多模態(tài)信息轉(zhuǎn)換為集合Info={info1，info2，…，infon}。在其中，每條多模態(tài)信息infoi∈Info，infoi={ti，pi，ui，ci}，ti表示該信息所包含的文本，pi表示該信息所包含的圖片，ui表示在社交平臺(tái)發(fā)布該信息的用戶(hù)，ci表示該信息所獲得的評(píng)論集合。一條多模態(tài)信息可以包含多條來(lái)自不同用戶(hù)的評(píng)論，即ci={c1i，c2i，…，cji}。

根據(jù)輸入數(shù)據(jù)集建立初始社交網(wǎng)絡(luò)圖G={N，A}，其中N表示社交網(wǎng)絡(luò)圖中的節(jié)點(diǎn)，本文將社交平臺(tái)中的信息、用戶(hù)、評(píng)論作為社交網(wǎng)絡(luò)圖的節(jié)點(diǎn)，N的個(gè)數(shù)表示為k；社交網(wǎng)絡(luò)圖中的鄰接矩陣表示為A∈{0，1}k×k，當(dāng)aij=1時(shí)表示節(jié)點(diǎn)nodei與nodej之間存在一條無(wú)向邊。

2.1 社交網(wǎng)絡(luò)圖特征

將社交平臺(tái)中的信息、用戶(hù)、評(píng)論作為社交網(wǎng)絡(luò)圖的節(jié)點(diǎn)。對(duì)于信息與評(píng)論節(jié)點(diǎn)的初始化，選用下文提取其中文本信息的句向量作為節(jié)點(diǎn)初始化特征；而對(duì)于用戶(hù)節(jié)點(diǎn)，則選用其所發(fā)布的所有信息與評(píng)論的句向量平均值作為節(jié)點(diǎn)初始化特征。為了緩解社交網(wǎng)絡(luò)圖中鏈接稀疏的問(wèn)題，本文通過(guò)計(jì)算節(jié)點(diǎn)間的余弦相似度對(duì)社交網(wǎng)絡(luò)圖進(jìn)行潛在鏈路預(yù)測(cè)，如式（1）所示。

其中：xi，xj為對(duì)應(yīng)節(jié)點(diǎn)nodei、nodej的初始化特征向量；βi，j為兩節(jié)點(diǎn)的余弦相似度。

本文認(rèn)為余弦相似度大于一定閾值的節(jié)點(diǎn)間可能存在潛在鏈路，因此在預(yù)測(cè)后鄰接矩陣A′中將余弦相似度大于所設(shè)閾值θ的兩節(jié)點(diǎn)連接設(shè)置為1，如式（2）所示。

使用圖注意力網(wǎng)絡(luò)［19］提取社交網(wǎng)絡(luò)圖特征，能夠?qū)Σ煌泥徑庸?jié)點(diǎn)賦予不同的權(quán)重，更有利于關(guān)鍵信息的匯聚。對(duì)于節(jié)點(diǎn)nodei，逐個(gè)計(jì)算其與鄰接節(jié)點(diǎn)nodej的注意力權(quán)重，如式（3）所示。

ei，j=LeakyReLU（Concat（xiW，xjW）×a）（3）

得到節(jié)點(diǎn)nodei與其鄰接節(jié)點(diǎn)的注意力權(quán)重ei，j后，使用softm1514f2a2c35a2d7c1aedde2108066c396fde03bf3bb13b163bc3c5d9b41ee656ax進(jìn)行注意力權(quán)重歸一化。在社交媒體中，一條評(píng)論可以對(duì)一條信息提出同意觀點(diǎn)或反對(duì)觀點(diǎn)，由注意力機(jī)制會(huì)相應(yīng)得到正注意力權(quán)重與負(fù)注意力權(quán)重。在softmax函數(shù)中，會(huì)將負(fù)注意力權(quán)重值賦予相對(duì)較小的注意力分?jǐn)?shù)，導(dǎo)致反對(duì)觀點(diǎn)所獲得的注意力較少［20］。因此，在計(jì)算注意力分?jǐn)?shù)的同時(shí)，計(jì)算取負(fù)注意力權(quán)重時(shí)的注意力分?jǐn)?shù)，得到節(jié)點(diǎn)nodei與其鄰接節(jié)點(diǎn)的正注意力分?jǐn)?shù)αi，j與負(fù)注意力分?jǐn)?shù)α′i，j，如式（4）（5）所示。

將正負(fù)注意力分?jǐn)?shù)與鄰接節(jié)點(diǎn)特征進(jìn)行加權(quán)求和后進(jìn)行拼接，拼接后的向量經(jīng)過(guò)一層全連接層即可得到經(jīng)過(guò)圖注意力網(wǎng)絡(luò)匯聚后的社交網(wǎng)絡(luò)圖特征x′i，如式（6）所示。

2.2 文本模態(tài)特征

利用預(yù)訓(xùn)練模型提取文本模態(tài)特征。此處使用BERT模型［21］，該模型利用自注意力機(jī)制對(duì)文本進(jìn)行全局上下文理解，能夠更好地捕捉文本的語(yǔ)義信息。對(duì)于多模態(tài)社交媒體信息數(shù)據(jù)集Info中的文本T={t1，t2，…，tn}，首先進(jìn)行去除停用詞與分詞等預(yù)處理，并在文本前添加標(biāo)識(shí)分類(lèi)。對(duì)于每一條文本ti，利用基于無(wú)監(jiān)督預(yù)訓(xùn)練的BERT模型對(duì)其進(jìn)行向量表示，即B={b1，b2，…，bn}，如式（7）所示。

其中：L表示句子長(zhǎng)度；dw表示詞向量維度，本文設(shè)置為512；每條bi第一行的詞向量bi［CLS］對(duì)應(yīng)該文本的分類(lèi)標(biāo)識(shí)，將分類(lèi)標(biāo)識(shí)所對(duì)應(yīng)的詞向量作為該文本的句向量。句向量經(jīng)全連接層降維后作為跨模態(tài)注意力中文本模態(tài)的輸入ft。

2.3 圖像模態(tài)特征

對(duì)于圖像模態(tài)的表征，CNN使用卷積核來(lái)獲取圖像信息，但不擅長(zhǎng)融合其他模態(tài)的信息，而Transformer的輸入不需要保持二維圖像，通?？梢灾苯訉?duì)像素進(jìn)行操作得到初始嵌入向量，更適合多模態(tài)信息融合，因此本文使用Transformer提取多模態(tài)社交媒體信息中的圖像模態(tài)特征。此處使用CLIP模型［22］中預(yù)訓(xùn)練的ViT［23］模型。

對(duì)于多模態(tài)社交媒體信息數(shù)據(jù)集中的圖像P={p1，p2，…，pn}，首先進(jìn)行圖像變換與圖像切塊等預(yù)處理，并添加標(biāo)識(shí)分類(lèi)以及每個(gè)圖像塊的位置編碼。對(duì)于每一張圖片pi，利用基于對(duì)比學(xué)習(xí)預(yù)訓(xùn)練的ViT模型抽取其特征，即V={v1，v2，…，vn}，如式（8）所示。

其中：每條vi第一行的向量vi［CLS］對(duì)應(yīng)該圖片的分類(lèi)標(biāo)識(shí)。本文將分類(lèi)標(biāo)識(shí)所對(duì)應(yīng)的向量作為該圖片的全局特征向量，經(jīng)全連接層降維后作為跨模態(tài)注意力中圖像模態(tài)的輸入fp。

2.4 多頭注意力機(jī)制的跨模態(tài)融合

在已有多模態(tài)虛假信息檢測(cè)研究中，多采用直接相加融合或點(diǎn)乘融合，在模態(tài)融合時(shí)未進(jìn)行權(quán)重動(dòng)態(tài)分配，無(wú)法對(duì)各模態(tài)之間相關(guān)聯(lián)語(yǔ)義進(jìn)行針對(duì)性融合。為此，本文引入多頭跨模態(tài)注意力機(jī)制，以使模型更好地捕捉不同模態(tài)之間的關(guān)聯(lián)性，在更好地學(xué)習(xí)不同模態(tài)之間共性的同時(shí)減少信息冗余。多頭注意力機(jī)制的跨模態(tài)融合計(jì)算方法如式（9）～（11）所示。

如圖2所示，分別將所獲取的文本模態(tài)特征ft、圖像模態(tài)特征fp、社交網(wǎng)絡(luò)圖特征fs作為注意力機(jī)制中的Q、K、V，從而獲得文本-圖像融合特征ftp、圖像-文本融合特征fpt、社交網(wǎng)絡(luò)圖-文本融合特征fst、社交網(wǎng)絡(luò)圖-圖像融合特征fsp。

通常從社交媒體上獲取的圖像-文本對(duì)是弱相關(guān)的，即文本包含與圖像無(wú)關(guān)的文字或圖像包含文本中沒(méi)有描述的實(shí)體［25］。因此跨模態(tài)注意力機(jī)制對(duì)于圖像模態(tài)和文本模態(tài)映射仍停留在其各自的空間，難以學(xué)習(xí)到跨模態(tài)信息之間的交互。為了改善在噪聲數(shù)據(jù)中的學(xué)習(xí)問(wèn)題，引入均方差損失Euclid Math OneLApalign，以對(duì)齊社交網(wǎng)絡(luò)圖、圖像模態(tài)、文本模態(tài)三者之間的信息，如式（12）所示。

2.5 虛假信息檢測(cè)分類(lèi)

通過(guò)前述的多模態(tài)特征提取和跨模態(tài)對(duì)齊，獲得輸入多層全連接層的所有輸入，且所有特征均通過(guò)全連接層降至同一維度。將這些特征向量拼接后輸入多層全連接層，得到最終虛假信息檢測(cè)分類(lèi)結(jié)果，如式（13）（14）所示。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

采用微博［26］與推特［27］兩個(gè)真實(shí)社交媒體虛假信息檢測(cè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，分析本文方法的性能。微博與推特均為目前主流的社交媒體平臺(tái)，其數(shù)據(jù)具有代表性。兩個(gè)數(shù)據(jù)集均包含文本、圖像、評(píng)論以及標(biāo)注。其中，微博數(shù)據(jù)集中的文本內(nèi)容為中文，推特?cái)?shù)據(jù)集中的文本內(nèi)容為英文。

為了對(duì)比分析多模態(tài)虛假信息檢測(cè)方法，在數(shù)據(jù)集的預(yù)處理階段，本文專(zhuān)注于檢測(cè)具有多模態(tài)特征的虛假信息，因此刪除了數(shù)據(jù)集中僅含文本或圖片的數(shù)據(jù)以及重復(fù)數(shù)據(jù)，同時(shí)為了保證數(shù)據(jù)質(zhì)量，刪除了經(jīng)word piece分詞后token序列長(zhǎng)度小于5的數(shù)據(jù)或圖片單邊分辨率低于112的數(shù)據(jù)。設(shè)置句子token序列長(zhǎng)度為80，對(duì)于超長(zhǎng)的句子，截去超出部分；對(duì)于長(zhǎng)度不足80的句子則用標(biāo)識(shí)符補(bǔ)齊。同時(shí)，將圖片大小調(diào)整為224×224×3，以方便模型輸入。經(jīng)過(guò)預(yù)處理后的數(shù)據(jù)集如表1所示。

3.2 實(shí)驗(yàn)設(shè)置及評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)均基于單張NVIDIA RTX3090 24 GB GPU訓(xùn)練，使用的CUDA版本為11.3。本文通過(guò)基于Python的深度學(xué)習(xí)框架PyTorch實(shí)現(xiàn)MMD-SNG模型，所使用的預(yù)訓(xùn)練模型權(quán)重來(lái)自HuggingFace，將預(yù)處理完的數(shù)據(jù)輸入進(jìn)模型進(jìn)行訓(xùn)練。

將數(shù)據(jù)集按7∶1∶2隨機(jī)劃分訓(xùn)練集、驗(yàn)證集與測(cè)試集，所有實(shí)驗(yàn)均在相同的訓(xùn)練集、測(cè)試集上完成。在訓(xùn)練過(guò)程中，本文使用AdamW作為目標(biāo)函數(shù)的優(yōu)化器，學(xué)習(xí)率設(shè)置為0.001，權(quán)重衰減系數(shù)設(shè)置為0.01，全連接層激活函數(shù)為GELU，訓(xùn)練批次大小設(shè)置為96，訓(xùn)練輪數(shù)設(shè)置為80。本文在訓(xùn)練中采用早停策略，如損失函數(shù)在10輪訓(xùn)練中未下降則停止訓(xùn)練。

由于本文選用數(shù)據(jù)集中的兩類(lèi)數(shù)據(jù)數(shù)量不同，所以本文選用準(zhǔn)確率（accuracy）、加權(quán)平均精確率（weighed-precision）、加權(quán)平均召回率（weighed-recall）、加權(quán)平均F1分?jǐn)?shù)（weighed-F1-score）作為評(píng)價(jià)指標(biāo)，上述評(píng)價(jià)指標(biāo)在后續(xù)表中分別簡(jiǎn)稱(chēng)為A、P、R、F1。

3.3 基線(xiàn)模型

本文選擇了幾種在公開(kāi)數(shù)據(jù)集中表現(xiàn)出優(yōu)異性能的虛假信息檢測(cè)模型，將其與本文模型作對(duì)比，具體如下：

a）EANN（event adversarial neural network）［11］：該模型采用Text-CNN模型提取文本模態(tài)特征，采用VGG-19模型提取圖像模態(tài)特征，兩者通過(guò)連接融合后進(jìn)行虛假信息檢測(cè)。該模型提出采用生成對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)各事件的獨(dú)立性，有利于模型學(xué)習(xí)各事件的獨(dú)立特征。b）GLAN（global-local attention network）［28］：該模型基于社交網(wǎng)絡(luò)圖，將相關(guān)轉(zhuǎn)發(fā)的語(yǔ)義信息與注意力機(jī)制進(jìn)行融合，為每條信息生成包含社交語(yǔ)義的局部特征表示，同時(shí)構(gòu)建一個(gè)全局異質(zhì)圖捕獲豐富的結(jié)構(gòu)信息用于虛假信息檢測(cè)。

c）SAFE（similarity-aware fake news detection）［14］：該模型通過(guò)引入一個(gè)額外的全連接層的擴(kuò)展Text-CNN來(lái)提取文本模態(tài)特征與圖像特征，并在損失函數(shù)中引入文本模態(tài)與圖像模態(tài)的微調(diào)余弦相似性以進(jìn)行虛假信息檢測(cè)。

d）EBGCN（edge-enhanced Bayesian graph convolutional network）［16］：該模型采用貝葉斯方法，自適應(yīng)地重新考慮了社交網(wǎng)絡(luò)圖中的潛在關(guān)系，結(jié)合了文本嵌入層與圖卷積神經(jīng)網(wǎng)絡(luò)共同提取社交網(wǎng)絡(luò)圖特征，然后通過(guò)節(jié)點(diǎn)更新模塊與邊推理模塊捕獲圖結(jié)構(gòu)特征，將兩者拼接以進(jìn)行虛假信息檢測(cè)。

e）PTCA（pre-trained Transformer and cross attention）［29］：該模型采用預(yù)訓(xùn)練的Transformer分別提取文本和圖像特征，同時(shí)使用Text-CNN多角度提取語(yǔ)義特征，通過(guò)交叉注意力機(jī)制獲取兩個(gè)模態(tài)的融合特征后進(jìn)行虛假信息檢測(cè)。

其中EANN、SAFE、PTCA同時(shí)提取了文本模態(tài)與圖像模態(tài)特征進(jìn)行虛假信息檢測(cè)，GLAN、EBGCN在提取社交媒體信息文本模態(tài)特征的基礎(chǔ)上融合了社交網(wǎng)絡(luò)圖進(jìn)行虛假信息檢測(cè)。

3.4 對(duì)比實(shí)驗(yàn)本文提出的結(jié)合社交網(wǎng)絡(luò)圖的多模態(tài)虛假信息檢測(cè)模型MMD-SNG與其他模型在推特?cái)?shù)據(jù)集上的實(shí)驗(yàn)對(duì)比結(jié)果如表2所示，在微博數(shù)據(jù)集上的實(shí)驗(yàn)對(duì)比結(jié)果如表3所示，粗體表示在該指標(biāo)下取得的最優(yōu)結(jié)果。

由表2和3所示，MMD-SNG模型在兩個(gè)真實(shí)虛假信息檢測(cè)數(shù)據(jù)集中評(píng)價(jià)指標(biāo)上優(yōu)于當(dāng)前先進(jìn)的基線(xiàn)模型，相關(guān)結(jié)果分析如下：

a）在與EANN模型的對(duì)比中，MMD-SNG在兩個(gè)數(shù)據(jù)集的檢測(cè)準(zhǔn)確率平均高出了7.1%。EANN在融合階段僅采用了高維的拼接融合，表明MMD-SNG中采用跨模態(tài)注意力融合機(jī)制能夠有效減少模態(tài)融合過(guò)程中各個(gè)模態(tài)所包含的噪聲信息，動(dòng)態(tài)計(jì)算的注意力分?jǐn)?shù)能夠?qū)?quán)重賦予各模態(tài)中的有效信息，從而提高模態(tài)融合效率。

b）GLAN將原信息、轉(zhuǎn)發(fā)信息與用戶(hù)信息之間的結(jié)構(gòu)關(guān)系建模為社交網(wǎng)絡(luò)異質(zhì)圖，但在建模過(guò)程中只考慮社交媒體中的文本模態(tài)信息，忽略了圖像模態(tài)信息，在與GLAN模型的對(duì)比中，表明圖像模態(tài)的加入有助于豐富社交媒體信息的特征表示，多模態(tài)融合后的特征具有更加豐富的語(yǔ)義信息，能夠增強(qiáng)虛假信息檢測(cè)效果。

c）SAFE在文本與圖像模態(tài)融合階段，通過(guò)計(jì)算相似度的方式將兩種模態(tài)間的特征進(jìn)行融合，其實(shí)驗(yàn)結(jié)果表明在模態(tài)融合階段考慮各模態(tài)間的相似度以對(duì)齊模態(tài)，有助于提高模態(tài)融合性能。

d）與GLAN相似，EBGCN采用貝葉斯方法，在社交網(wǎng)絡(luò)圖中考慮了節(jié)點(diǎn)間的潛在關(guān)系可靠性，但同樣僅抽取文本模態(tài)特征，表明了在虛假信息檢測(cè)中考慮社交網(wǎng)絡(luò)圖的潛在鏈路預(yù)測(cè)能夠提升檢測(cè)性能。

e）PTCA使用了兩個(gè)經(jīng)預(yù)訓(xùn)練的Transformer模型（BERT和ViT）分別提取文本和圖像特征，一定程度上克服了樣本數(shù)量不足的局限性，該模型還采用Text-CNN模型多角度提取文本語(yǔ)義信息，最后通過(guò)交叉注意力機(jī)制進(jìn)行特征融合。同時(shí)，由于基于Transformer模型中的自注意力機(jī)制帶來(lái)了二次方計(jì)算復(fù)雜度，與本文相同，模型在表現(xiàn)出優(yōu)異性能的同時(shí)，其計(jì)算時(shí)間與算力消耗方面與上述模型相比較大。

3.5 交叉驗(yàn)證實(shí)驗(yàn)

為避免偶然性，更全面評(píng)估模型表現(xiàn)，本節(jié)將兩個(gè)數(shù)據(jù)集中虛假信息與非虛假信息兩類(lèi)數(shù)據(jù)平均分成五份進(jìn)行分層五折交叉驗(yàn)證。交叉驗(yàn)證實(shí)驗(yàn)其余設(shè)置與對(duì)比實(shí)驗(yàn)相同，五次實(shí)驗(yàn)結(jié)果取平均值，結(jié)果如表4所示。

由表4可以看出，MMD-SNG模型在兩個(gè)真實(shí)數(shù)據(jù)集上的交叉驗(yàn)證實(shí)驗(yàn)表現(xiàn)與對(duì)比實(shí)驗(yàn)中的結(jié)果相近，證明了該模型的可靠性。

3.6 消融實(shí)驗(yàn)

為驗(yàn)證本文模型中各部分模塊功能，通過(guò)對(duì)本文模型去除對(duì)應(yīng)模塊進(jìn)行消融實(shí)驗(yàn)。在兩個(gè)數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果如表5和6所示，粗體表示在該指標(biāo)下取得的最優(yōu)結(jié)果。MMD-SNG為本文模型，MMD表示在本文模型的基礎(chǔ)上去除社交網(wǎng)絡(luò)特征與模態(tài)對(duì)齊，MMD-V表示在本文模型的基礎(chǔ)上去除視覺(jué)模態(tài)特征、圖像描述特征與模態(tài)對(duì)齊，MMD-T表示在本文模型的基礎(chǔ)上去除文本模態(tài)特征與模態(tài)對(duì)齊，MMD-IC表示在本文模型的基礎(chǔ)上去除圖像描述特征。

由表5、6數(shù)據(jù)，對(duì)消融實(shí)驗(yàn)結(jié)果分析如下：

a）與去除了社交網(wǎng)絡(luò)圖的MMD相比，MMD-SNG中社交網(wǎng)絡(luò)圖特征的加入將各條獨(dú)立的信息通過(guò)圖結(jié)構(gòu)連接起來(lái)，使得在模型檢測(cè)時(shí)能夠同時(shí)考慮多條信息語(yǔ)義，能夠提高多模態(tài)虛假信息檢測(cè)模型性能。

b）MMD-IC的性能下降表明，圖像描述模態(tài)的加入對(duì)原有信息作了數(shù)據(jù)增強(qiáng)，能夠利用信息中的全部語(yǔ)義，以提升模型各項(xiàng)性能。

c）MMD-V與MMD-T的性能結(jié)果表明，多模態(tài)虛假信息檢測(cè)相比于單一模態(tài)檢測(cè)，能夠從多角度提取信息特征，使檢測(cè)性能得到顯著提高；且在不同數(shù)據(jù)集中，文本模態(tài)與圖片模態(tài)所表現(xiàn)出的信息量不同，同時(shí)利用多種模態(tài)數(shù)據(jù)能夠有效提升虛假信息檢測(cè)模型的魯棒性。

3.7 參數(shù)敏感性實(shí)驗(yàn)

在本文2.1節(jié)潛在鏈路預(yù)測(cè)式（2）與2.5節(jié)的模型損失函數(shù)式（16）中，潛在鏈路預(yù)測(cè)閾值θ與分類(lèi)損失函數(shù)與對(duì)齊損失函數(shù)前的系數(shù)λ1和λ2是本文模型中的重要超參數(shù)，因此，本節(jié)對(duì)不同參數(shù)的取值導(dǎo)致模型性能的影響進(jìn)行評(píng)估。

參數(shù)敏感性實(shí)驗(yàn)結(jié)果分別如圖3和4所示。從圖3中可以看出，當(dāng)其他參數(shù)固定時(shí)，改變?chǔ)鹊闹的軐?duì)模型在不同數(shù)據(jù)集上的性能均產(chǎn)生較大影響，當(dāng)節(jié)點(diǎn)相似度閾值設(shè)為0.5時(shí)進(jìn)行潛在鏈路預(yù)測(cè)，能夠使模型性能取得最優(yōu)。

從圖4可以看出，當(dāng)固定θ為0.5時(shí)，在一定范圍內(nèi)，模型性能總體趨勢(shì)為隨著λ1和λ2的增加而增加，說(shuō)明模態(tài)對(duì)齊能夠使得模態(tài)間數(shù)據(jù)具有一致性，對(duì)齊損失函數(shù)與分類(lèi)損失函數(shù)的結(jié)合能夠有效提升模型性能。經(jīng)多次實(shí)驗(yàn)結(jié)果表明，當(dāng)λ1的取值為1.8，λ2的取值為2.4時(shí)，模型的性能取得最優(yōu)。

3.8 樣例分析

為了更加直觀證明本文模型的有效性，將本文模型的結(jié)果與現(xiàn)有基線(xiàn)模型進(jìn)行比較，結(jié)果如圖5所示。圖5為在兩個(gè)數(shù)據(jù)集中被MMD-SNG正確檢測(cè)的社交媒體信息，其中綠框中的為真實(shí)信息，紅框中的為虛假信息。從圖5中可以看出，多模態(tài)虛假信息主要涉及圖像竄改、夸大文本內(nèi)容、圖像與文本描述不符等情況。圖5（a）（b）為常識(shí)類(lèi)與諺語(yǔ)類(lèi)文本信息，比較模型（如EANN、GLAN）對(duì)其進(jìn)行了錯(cuò)誤分類(lèi)，本文模型由于采用經(jīng)過(guò)預(yù)訓(xùn)練的語(yǔ)言模型提取文本特征，能夠正確檢測(cè)該類(lèi)信息。圖5（c）為圖片信息中含有地圖的信息，比較模型（如EANN、PTCA）對(duì)其進(jìn)行了錯(cuò)誤分類(lèi)，本文模型由于具有圖像描述模塊，對(duì)于識(shí)別圖片中的文字以及地圖類(lèi)圖片時(shí)，能夠準(zhǔn)確識(shí)別到圖片中的文字信息并提高檢測(cè)正確率。

圖5（d）中所示的圖片與現(xiàn)實(shí)具有差距，可能是一張偽造的圖片、圖5（e）中文字與圖片相比具有夸大成分、而圖5（f）中則是圖片內(nèi)容與文本不符。以上三個(gè)例子均具有上述虛假信息主要特征，本文模型均正確將其檢測(cè)為虛假信息，而比較模型（如PTCA、EBGCN等）將其分類(lèi)為非虛假信息。上述結(jié)果表明，本文模型能夠有效地提取多模態(tài)社交媒體信息中的文本信息和圖像信息，與社交網(wǎng)絡(luò)圖的結(jié)合以及利用圖像描述進(jìn)行數(shù)據(jù)增強(qiáng)能夠更全面地檢測(cè)社交媒體信息的真實(shí)性，證明其在多模態(tài)虛假信息檢測(cè)任務(wù)中的有效性。

4 結(jié)束語(yǔ)

針對(duì)當(dāng)前在線(xiàn)社交媒體平臺(tái)虛假信息檢測(cè)方法中存在的忽略信息間相關(guān)性和多模態(tài)融合不充分問(wèn)題，本文提出結(jié)合社交網(wǎng)絡(luò)圖的多模態(tài)虛假信息檢測(cè)模型。該模型采用社交網(wǎng)絡(luò)圖連接通常獨(dú)立進(jìn)行檢測(cè)的信息，將圖信息以節(jié)點(diǎn)特征的形式融合進(jìn)虛假信息檢測(cè)模型；同時(shí)，提出基于圖像描述模型的多模態(tài)數(shù)據(jù)增強(qiáng)方法，將經(jīng)過(guò)模態(tài)轉(zhuǎn)換后的圖像描述文本融合進(jìn)最終的決策模型中；最后，經(jīng)過(guò)模態(tài)對(duì)齊與跨模態(tài)注意力機(jī)制，將社交網(wǎng)絡(luò)特征、文本模態(tài)特征、圖像模態(tài)特征、圖像描述特征進(jìn)行融合以作虛假信息檢測(cè)。在推特和微博上的實(shí)驗(yàn)結(jié)果表明，其相比已有模型取得了更好的準(zhǔn)確率。

本研究的不足之處在于，構(gòu)建社交網(wǎng)絡(luò)圖時(shí)僅考慮了文本模態(tài)信息，無(wú)法全面捕獲多媒體信息中的關(guān)聯(lián)性；并且，本文所使用的圖像描述模型僅可產(chǎn)生英文文本描述，在中文數(shù)據(jù)集上會(huì)與現(xiàn)有的中文文本模態(tài)產(chǎn)生特征間隔，從而造成信息冗余。未來(lái)研究可在MMD-SNG模型的基礎(chǔ)上，完善社交網(wǎng)絡(luò)圖的構(gòu)建以及探索使用中文圖像描述模型，進(jìn)一步優(yōu)化多模態(tài)虛假信息檢測(cè)模型的計(jì)算效果。

參考文獻(xiàn)：

［1］中國(guó)互聯(lián)網(wǎng)網(wǎng)絡(luò)信息中心. 第51次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告 ［R/OL］. （2023-03-02） ［2023-05-31］. https：//www. cnnic. net. cn/n4/2023/0303/c88-10757. html. （China Internet Network Information Center. The 51st statistical report on the development of China’s Internet ［R/OL］. （2023-03-02） ［2023-05-31］. https：//www. cnnic. net. cn/n4/2023/0303/c88-10757. html.）

［2］王晰巍， 邱程程， 李玥琪. 突發(fā)公共事件下社交網(wǎng)絡(luò)謠言辟謠效果評(píng)價(jià)及實(shí)證研究［J］. 情報(bào)理論與實(shí)踐， 2022， 45（12）： 14-21. （Wang Xiwei， Qiu Chengcheng， Li Yueqi. Evaluation and empirical research on the effect of social network rumors refutation under public emergencies［J］. Information Studies： Theory & Application， 2022， 45（12）： 14-21.）

［3］Bengio Y， Courville A， Vincent P. Representation learning： a review and new perspectives［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2013，35（8）： 1798-1828.

［4］Baltruaitis T， Ahuja C， Morency L P. Multimodal machine learning： a survey and taxonomy［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2018，41（2）： 423-443.

［5］Guo Haoming， Huang Tianyi， Huang Huixuan， et al. A systematic review of multimodal approaches to online misinformation detection［C］//Proc of the 5th IEEE International Conference on Multimedia Information Processing and Retrieval. Piscataway， NJ： IEEE Press， 2022： 312-317.

［6］Castillo C， Mendoza M， Poblete B. Information credibility on Twitter［C］//Proc of the 20th International Conference on World Wide Web. New York： ACM Press， 2011： 675-684.

［7］Mishra S， Shukla P， Agarwal R. Analyzing machine learning enabled fake news detection techniques for diversified datasets［J］. Wireless Communications and Mobile Computing， 2022，2022（1）： article ID 1575365.

［8］Ma Jing， Gao Wei， Mitra P， et al. Detecting rumors from microblogs with recurrent neural networks［C］//Proc of the 25th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2016： 3818-3824.

［9］Nasir J A， Khan O S， Varlamis I. Fake news detection： a hybrid CNN-RNN based deep learning approach［J］. International Journal of Information Management Data Insights， 2021，1（1）： 100007.

［10］Di Sotto S， Viviani M. Health misinformation detection in the social web： an overview and a data science approach［J］. International Journal of Environmental Research and Public Health， 2022，19（4）： 2173.

［11］Wang Yaqing， Ma Fenglong， Jin Zhiwei， et al. EANN： event adversarial neural networks for multi-modal fake news detection［C］//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM Press， 2018： 849-857.

［12］Khattar D， Goud J S， Gupta M， et al. MVAE： multimodal variatio-nal autoencoder for fake news detection［C］//Proc of World Wide Web Conference. New York： ACM Press， 2019： 2915-2921.

［13］張國(guó)標(biāo)， 李潔. 融合多模態(tài)內(nèi)容語(yǔ)義一致性的社交媒體虛假新聞檢測(cè)［J］. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)， 2021， 5（5）： 21-29. （Zhang Guobiao， Li Jie. Detecting social media fake news with semantic consistency between multi-model contents［J］. Data Analysis and Knowledge Discovery， 2021， 5（5）： 21-29.）

［14］Zhou Xinyi， Wu Jindi， Zafarani R. Safe： similarity-aware multi-modal fake news detection［C］//Proc of Pacific-Asia Conference on Know-ledge Discovery and Data Mining. Cham： Springer， 2020： 354-367.

［15］Yang Xiaoyu， Lyu Yuefei， Tian Tian， et al. Rumor detection on social media with graph structured adversarial learning［C］//Proc of the 29th International Conference on International Joint Conferences on Artificial Intelligence. 2021： 1417-1423.

［16］Wei Lingwei， Hu Dou， Zhou Wei， et al. Towards propagation uncertainty： edge-enhanced Bayesian graph convolutional networks for rumor detection［C］//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. Stroudsburg， PA： ACL Press， 2021： 3845-3854.

［17］Zheng Jiaqi， Zhang Xi， Guo Sanchuan， et al. MFAN： multi-modal feature enhanced attention networks for rumor detection［C］//Proc of the 31st International Joint Conference on Artificial Intelligence. 2022： 2413-2419.

［18］韓雪明，賈彩燕，李軒涯，等. 傳播樹(shù)結(jié)構(gòu)節(jié)點(diǎn)及路徑雙注意力謠言檢測(cè)模型［J］. 計(jì)算機(jī)科學(xué)， 2023， 50（4）： 22-31. （Han Xueming， Jia Caiyan， Li Xuanya， et al. Dual-attention network model on propagation tree structures for rumor detection［J］. Computer Science， 2023，50（4）： 22-31.）

［19］Velicˇkovic＇ P， Cucurull G， Casanova A， et al. Graph attention networks［EB/OL］. （2018-02-04）［2023-05-31］. https：//arxiv. org/pdf/1710.10903.pdf.

［20］Tian Tian， Liu Yudong， Yang Xiaoyu， et al. QSAN： a quantum-probability based signed attention network for explainable false information detection［C］//Proc of the 29th ACM International Conference on Information & Knowledge Management. New York： ACM Press， 2020： 1445-1454.

［21］Devlin J， Chang Mingwei， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［EB/OL］. （2019-05-24）［2023-05-31］. https：//arxiv.org/pdf/1810.04805.pdf.

［22］Radford A， Kim J W， Hallacy C， et al. Learning transferable visual models from natural language supervision［C］//Proc of International Conference on Machine Learning. 2021： 8748-8763.

［23］Dosovitskiy A，Beyer L，Kolesnikov A，et al. An image is worth 16×16 words： transformers for image recognition at scale［EB/OL］. （2021-6-3）［2023-05-31］. https：//arxiv.org/pdf/2010.11929.pdf.

［24］Li Junnan， Li Dongxu， Xiong Caiming， et al. Blip： bootstrapping language-image pre-training for unified vision-language understanding and generation［C］//Proc of the 39th International Conference on Machine Learning. 2022： 12888-12900.

［25］Li Junnan， Selvaraju R， Gotmare A， et al. Align before fuse： vision and language representation learning with momentum distillation［J］. Advances in Neural Information Processing Systems， 2021，34： 9694-9705.

［26］Song Changhe， Yang Cheng， Chen Huimin， et al. CED： credible early detection of social media rumors［J］. IEEE Trans on Know-ledge and Data Engineering， 2019， 33（8）： 3035-3047.

［27］Zubiaga A， Liakata M， Procter R. Exploiting context for rumour detection in social media［C］//Proc of International Conference on Social Informatics. Cham： Springer， 2017： 109-123.

［28］Yuan Chunyuan， Ma Qianwen， Zhou Wei， et al. Jointly embedding the local and global relations of heterogeneous graph for rumor detection［C］//Proc of IEEE International Conference on Data Mining. Piscataway， NJ： IEEE Press， 2019： 796-805.

［29］蔣保洋， 但志平， 董方敏，等. 基于雙預(yù)訓(xùn)練Transformer和交叉注意力的多模態(tài)謠言檢測(cè)［J］. 國(guó)外電子測(cè)量技術(shù)， 2023， 42（4）： 149-157. （Jiang Baoyang， Dan Zhiping， Dong Fangmin， et al. Multimodal rumor detection method based on dual pre-trained Transformer and cross attention mechanism［J］. Foreign Electronic Measurement Technology， 2023， 42（4）： 149-157.）