基于專家混合與領(lǐng)域特征的網(wǎng)絡(luò)謠言識別模型＊

安全 徐國天 中國刑事警察學(xué)院

引言

隨著互聯(lián)網(wǎng)的快速發(fā)展和廣泛應(yīng)用，以微博為代表的社交媒體平臺已成為人們獲取政治、金融和健康等信息的重要渠道。然而，社交媒體平臺在方便人們分享信息的同時，也為網(wǎng)絡(luò)謠言傳播提供了新渠道。2023年7月21日，公安部召開新聞發(fā)布會，自開展為期100天的網(wǎng)絡(luò)謠言打擊整治專項行動以來，全國公安機關(guān)共偵辦案件2300余起，整治互聯(lián)網(wǎng)平臺企業(yè)近8000家，依法關(guān)停違法違規(guī)賬號2.1萬余個，清理網(wǎng)絡(luò)謠言信息70.5萬余條[1]。謠言發(fā)布者利用熱點新聞的熱度散布虛假信息，混淆視聽，給社會帶來實際威脅的同時，也會削弱公眾對政府和媒體的信任。

為了打擊網(wǎng)絡(luò)謠言，學(xué)者們曾采用機器學(xué)習(xí)算法，將謠言檢測視為二分類問題，從文本內(nèi)容和用戶個人資料等信息中提取各種類型特征[2]。這些特征可以包括詞頻、詞向量和句法結(jié)構(gòu)等，之后對提取的特征進行學(xué)習(xí)，從而建立分類檢測模型。傳統(tǒng)的機器學(xué)習(xí)方法側(cè)重于人工提取特征來對謠言進行檢測。例如，2011年，Castillo等人[3]利用文本、主題和傳播特征來研究Twitter新聞的可信度，并構(gòu)建決策樹分類模型；2015年，Ma等人[4]提出動態(tài)時間序列結(jié)構(gòu)模型，該模型能夠抓取多種社會語境特征隨時間的變化，在網(wǎng)絡(luò)謠言傳播早期階段展現(xiàn)出強大的識別能力；2016年，曾子明等人[5]定義了用戶可信度和微博影響力特征，并提出融合LDA和隨機森林的謠言識別模型。

機器學(xué)習(xí)算法在特征提取與選擇過程中，不僅耗費大量的人力、物力與時間，且獲取特征的魯棒性也不足。隨著網(wǎng)絡(luò)謠言規(guī)模和復(fù)雜性增加，深度學(xué)習(xí)方法應(yīng)運而生。2016年，Ma等人[6]將謠言文本內(nèi)容輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中，利用隱層向量表示文本信息并輸入到分類器中，得到分類結(jié)果；2017年，F(xiàn)eng等人[7]對新聞內(nèi)容進行建模，將向量拼接成一個矩陣并用卷積神經(jīng)網(wǎng)絡(luò)提取文本特征，最終將嵌入向量輸入到分類器中進行檢測；2019年，Ma等人[8]利用對抗學(xué)習(xí)方法訓(xùn)練生成器和判別器，擴展訓(xùn)練數(shù)據(jù)。將生成內(nèi)容和原始內(nèi)容輸入到分類器中進行檢測，提升模型的魯棒性和分類準(zhǔn)確率；2021年，南瓊等人[9]構(gòu)建了中文多領(lǐng)域虛假新聞數(shù)據(jù)集Weibo21，并提出多領(lǐng)域虛假新聞檢測模型MDFEND，該模型利用注意力機制提取新聞的內(nèi)容和領(lǐng)域特征，通過門控網(wǎng)絡(luò)對特征表示進行聚合，從而進行多領(lǐng)域虛假新聞檢測工作；2022年，耿唯佳等人[10]融合TextCNN和TextRNN模型，挖掘文本語義和時序特征，對兩種特征進行加權(quán)融合，實現(xiàn)對網(wǎng)絡(luò)謠言的識別；2023年，吳越等人[11]提出了基于并行圖注意力網(wǎng)絡(luò)的謠言檢測方法ParallelGAT，該模型分別使用BiCAT和MIGAT模塊獲取謠言的傳播和知識特征，最終通過聚合模塊生成的特征向量進行謠言檢測。

早期，由于網(wǎng)絡(luò)謠言數(shù)據(jù)量少，研究者們將不同數(shù)據(jù)混合用于檢測工作[12]。然而，這種方式忽略了不同領(lǐng)域間謠言的差異，例如，健康類謠言的高頻關(guān)鍵詞有“新冠”“醫(yī)院”和“病毒”等；事故類謠言的高頻關(guān)鍵詞有“地震”“火災(zāi)”和“車禍”等。隨著數(shù)據(jù)量的增加，研究者們開始根據(jù)謠言所屬領(lǐng)域進行檢測工作[13]。在疫情期間，“喝白酒，能夠預(yù)防新冠病毒感染”等無根據(jù)言論在社交媒體平臺上層出不窮。研究者們利用深度學(xué)習(xí)模型開展有關(guān)新冠病毒網(wǎng)絡(luò)謠言的檢測工作，并取得顯著進展[14]。以ELECTRA模型為例，在COVID-19FakeNews數(shù)據(jù)集上訓(xùn)練后準(zhǔn)確率可達(dá)94.8%[15]。然而，將這類模型應(yīng)用于其它領(lǐng)域謠言時，檢測效果則會大打折扣。

現(xiàn)有的網(wǎng)絡(luò)謠言檢測方法多是利用單一領(lǐng)域的大量數(shù)據(jù)來訓(xùn)練模型。這些模型在相應(yīng)領(lǐng)域的性能較高，但在實際生活中面對多個領(lǐng)域數(shù)據(jù)，此類模型泛用性不足，實用價值也隨之降低。為了進一步研究和開發(fā)適用于多樣化情境下的網(wǎng)絡(luò)謠言檢測模型，提高檢測的精度和覆蓋率，本文提出一種基于專家混合和領(lǐng)域特征的謠言識別模型WMTC。模型采用WoBERT預(yù)訓(xùn)練模型，將謠言的文本內(nèi)容轉(zhuǎn)化為向量表示，選擇改進的多尺度TextCNN模型作為“專家模型”進行特征提取，之后根據(jù)謠言所屬領(lǐng)域?qū)μ卣鬟M行加權(quán)融合并輸入分類器中進行檢測。實驗結(jié)果表明，該模型的性能要優(yōu)于其它混合、單領(lǐng)域和跨領(lǐng)域謠言檢測模型。

一、網(wǎng)絡(luò)謠言檢測模型

（一）預(yù)訓(xùn)練模型WoBERT

BERT是GoogleAI研究院[16]于2018年發(fā)布的一種預(yù)訓(xùn)練模型。傳統(tǒng)BERT模型采用WordPiece分詞操作，會將文本分割成較小的子詞來加快訓(xùn)練速度。但對于中文來說，BERT會將每一個漢字都切分開，訓(xùn)練的結(jié)果就是孤零零的漢字向量。在現(xiàn)代漢語中，以字為單位建模無法表達(dá)詞語或者短語中包含的豐富語義信息，這也造成BERT在很多中文任務(wù)上的表現(xiàn)并不理想。2020年，有研究人員發(fā)布了基于詞顆粒度的中文語言預(yù)訓(xùn)練模型WoBERT[17]。該模型會使用結(jié)巴分詞對輸入的內(nèi)容進行“預(yù)分詞”操作，如果詞匯在分詞表中則保留，否則將其切分為字。最后，將詞序列拼接起來，作為最后的分詞結(jié)果。實驗結(jié)果表明，WoBERT在中文文本分類等任務(wù)上的性能要優(yōu)于Google發(fā)布的中文BERT。因此，本文選用WoBERT作為預(yù)訓(xùn)練模型。

（二）改進的多尺度TextCNN模型

相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，TextCNN網(wǎng)絡(luò)結(jié)構(gòu)簡單，僅包含一個卷積層和一個池化層，使用Softmax來進行分類。模型的參數(shù)數(shù)目少，訓(xùn)練速度快，對文本數(shù)據(jù)的淺層特征提取能力很強。但在長文本領(lǐng)域，TextCNN受限于卷積核大小，較長文本可能會被截斷或忽略部分信息，并且該模型是基于局部窗口進行卷積和池化操作，因此無法充分捕捉到全局語義和上下文信息。

2014年，Google公司發(fā)布的GoogLeNet[18]采用Inception模塊來優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)，即分別使用池化和卷積操作來縮小特征圖尺寸，再將兩者得出的特征圖組合起來，這種做法既增加了網(wǎng)絡(luò)的寬度和深度，又減少了模型的參數(shù)量，降低了過擬合風(fēng)險。本文借鑒Inception模塊的思想，對TextCNN進行改進：在原有卷積層前添加池化核和卷積核，增加通道數(shù)并對文本信息的淺層特征進行提取。然后，并行使用多個不同尺寸的卷積核對特征進行進一步提取，并使用零填充保持維度不變。最后，將卷積層輸出的特征疊加后進行最大池化，得到特征向量。改進的多尺度TextCNN模型，如圖1所示。

（三）混合專家模型

混合專家模型的核心思想是將多個專家模型組合成一個大型集成模型。從結(jié)構(gòu)角度來說，混合專家模型可以分為兩個部分，分別是專家模型和門控網(wǎng)絡(luò)，專家模型是多個獨立子模型組成的集合，每一個子模型被稱為一個專家模型。專家模型之間相互獨立，學(xué)習(xí)相同或不同的特征，本文選用多尺度TextCNN作為專家模型；門控網(wǎng)絡(luò)通過學(xué)習(xí)參數(shù)決定哪些專家模型應(yīng)該對特定輸入數(shù)據(jù)或任務(wù)負(fù)責(zé)，從而將多個專家模型的預(yù)測結(jié)果進行加權(quán)組合，得到最終的輸出結(jié)果。使用混合專家模型可以顯著提高模型在處理復(fù)雜任務(wù)時的性能，但是卻存在著負(fù)載不平衡的問題：在最初的幾個樣本上表現(xiàn)較好的專家模型會被門控網(wǎng)絡(luò)分配更高的權(quán)重，并得到更充分的優(yōu)化，而其余專家模型無法被充分訓(xùn)練。2021年，Simiao等人[19]提出負(fù)載不平衡本質(zhì)上是由門控網(wǎng)絡(luò)造成的，該問題源自于門控網(wǎng)絡(luò)的初始化或優(yōu)化過程，因此使用隨機門控網(wǎng)絡(luò)可以從根本上解決負(fù)載不平衡問題。

（四）基于專家混合和領(lǐng)域特征的謠言識別模型WMTC

本文在WoBERT和多尺度TextCNN的基礎(chǔ)之上，結(jié)合混合專家模型提出一種基于專家混合和領(lǐng)域特征的謠言識別模型WMTC，整體框架如圖2所示。

模型的工作流程如下：

對數(shù)據(jù)進行預(yù)處理，將網(wǎng)絡(luò)謠言文本內(nèi)容作為WoBERT的輸入，編碼后得到一組詞向量W={W1,…,WN}，N為編碼后詞向量序列的長度。選用多尺度TextCNN作為專家模型，一個專家模型提取的特征只能包含部分信息，無法覆蓋謠言內(nèi)容的全部特征。為了獲取各個領(lǐng)域中謠言內(nèi)容的高質(zhì)量表示，模型利用專家混合的優(yōu)勢，同時使用多個專家模型（T=5）對謠言內(nèi)容進行特征提取。每個專家模型可以表示為公式（1）：

其中，W是輸入每個專家模型的詞向量，βi是模型參數(shù)，T是專家模型數(shù)量，則每個專家網(wǎng)絡(luò)提取的特征可表示為公式（2）：

將網(wǎng)絡(luò)謠言的領(lǐng)域標(biāo)簽作為WoBERT的輸入，編碼后得到一組領(lǐng)域向量X={X1,…,Xd}，然后，將領(lǐng)域向量輸入多層感知機生成專家模型的權(quán)重向量。最后，與均勻分布生成的隨機矩陣A相乘，使權(quán)重向量α具有一定的隨機性并進行Softmax歸一化。權(quán)重向量α可以表示為公式（3）：

使用權(quán)重向量α={α1,α2,…αi}(1≤i≤T)來對不同專家模型獲取的特征表示進行聚合，各維度代表不同專家模型在不同領(lǐng)域所占權(quán)重。最終獲得謠言內(nèi)容的特征向量可表示為公式（4）：

使用有Softmax輸出層的MLP作為分類器，交叉熵作為損失函數(shù)，y為預(yù)測值，yi為真實值，則有公式（5）和公式（6）：

本文模型將WoBERT和多尺度TextCNN相結(jié)合，充分利用了它們各自的特點：WoBERT作為一種強大的預(yù)訓(xùn)練語言模型，能夠充分理解文本內(nèi)容的上下文信息，并捕捉詞匯、句法和語義的豐富信息。WoBERT豐富的詞向量表示，可以幫助TextCNN模型更好地理解和刻畫文本的語義和上下文關(guān)系。混合專家模型可以根據(jù)網(wǎng)絡(luò)謠言所屬的領(lǐng)域生成不同的權(quán)重來調(diào)整不同專家模型的貢獻(xiàn)，從而顯著地提高了模型的泛用性和準(zhǔn)確率。

二、實驗設(shè)置

（一）數(shù)據(jù)集

本文使用中科院計算技術(shù)研究所，數(shù)字內(nèi)容合成與偽造檢測實驗室的Weibo21數(shù)據(jù)集進行網(wǎng)絡(luò)謠言檢測實驗。該數(shù)據(jù)集是中文文本數(shù)據(jù)，包含2014年12月至2021年3月，微博社區(qū)管理中心官方帳戶認(rèn)定的網(wǎng)絡(luò)謠言，以及同時期經(jīng)睿鑒識謠平臺鑒定的真實新聞。每條數(shù)據(jù)包含網(wǎng)絡(luò)謠言的文本內(nèi)容、評論和時間戳等多個維度的信息，共有4488條網(wǎng)絡(luò)謠言和4640條真實新聞，涵蓋科技、軍事、教育、災(zāi)害、政治、健康、金融、娛樂、社會共9個領(lǐng)域。

在數(shù)據(jù)預(yù)處理階段，首先，對數(shù)據(jù)進行篩選，僅保留文本內(nèi)容、所屬領(lǐng)域和標(biāo)簽3個特征；然后，使用正則表達(dá)式對文本內(nèi)容中的特殊符號、亂碼文字和emoji表情進行去除；最后，對數(shù)據(jù)集進行隨機化，將得到隨機數(shù)據(jù)集按照6:2:2劃分為訓(xùn)練集、驗證集和測試集。

（二）實驗環(huán)境及參數(shù)設(shè)置

本文實驗環(huán)境為一臺運行內(nèi)存為32GB，硬盤空間為1TB，搭載2.30GHz的12th Gen Intel CoreTMi7-12700H處理器，GPU為NVIDA GeForce RTX 3060（顯存6GB），安裝Windows11操作系統(tǒng)的電腦。編程語言和平臺版本為Python3.7.13，集成開發(fā)環(huán)境采用PyCharm Community Edition 2022.2，主要使用的深度學(xué)習(xí)庫為pytorch1.12、transformers4.27.3、numpy1.19.5。

本文模型可分為WoBERT、多尺度TextCNN和分類器三部分。在WoBERT模型部分，選用的預(yù)訓(xùn)練模型為WoBERT Plus，嵌入維度設(shè)置為768。在處理文本數(shù)據(jù)時，限制文本序列的最大長度為170個標(biāo)記；在TextCNN部分，模型第一層池化層的池化核尺寸為768＊5，第1層卷積核尺寸為768＊5，第二層卷積核尺寸分別為1＊1、3＊1、5＊1、10＊1和15＊1。在兩層之間進行批量歸一化并使用ReLU作為激活函數(shù)，最終輸出維度為256；在分類器部分，包含線性層、BatchNorm和Dropout層，其中Dropout概率設(shè)置為0.2，選用ReLU作為激活函數(shù)；整個訓(xùn)練過程中，用于數(shù)據(jù)加載器中的工作線程數(shù)指定為4。經(jīng)過實驗和模型調(diào)優(yōu)后，本文在模型使用Adam優(yōu)化器來自動調(diào)整學(xué)習(xí)率和權(quán)重衰退，其參數(shù)初值分別選定為0.0001和5e-6。在綜合考慮計算資源、內(nèi)存限制和模型復(fù)雜度后，本文選定批量大小為64。通過觀察模型的收斂情況，本文選定模型訓(xùn)練的epoch為20。

（三）模型評價標(biāo)準(zhǔn)

在使用深度學(xué)習(xí)模型進行分類任務(wù)時，通常使用精確率（Precision）、召回率（Recall）和F1分值（F1 Score）來評判模型性能的好壞。根據(jù)三種指標(biāo)構(gòu)成的混淆矩陣結(jié)構(gòu)見表2。

其中，TP表示被模型檢測為網(wǎng)絡(luò)謠言，并且檢測正確的樣本數(shù)量；FP表示被模型檢測為網(wǎng)絡(luò)謠言，但是檢測錯誤的樣本數(shù)量；FN表示被模型檢測為真實新聞，但是檢測錯誤的樣本數(shù)量；TN表示被模型檢測為真實新聞，并且檢測正確的樣本數(shù)量；N則表示TP、FP、FN、TN的總和，代表測試數(shù)據(jù)集中所有樣本的數(shù)量。

在本文中，以上三種指標(biāo)的具體評價方式如下：

（1）精確率表示所有被預(yù)測為網(wǎng)絡(luò)謠言的樣本中，預(yù)測正確的樣本數(shù)量所占比例，如公式（7）所示。

（2）召回率表示所有網(wǎng)絡(luò)謠言樣本中，預(yù)測正確的樣本數(shù)量所占比例，如公式（8）所示。

（3）F1分值是精確率和召回率的加權(quán)平均值，如公式（9）所示。

精確率體現(xiàn)了模型對真實新聞的區(qū)分能力，精確率越高，模型對真實新聞的區(qū)分能力越強；召回率體現(xiàn)了模型對網(wǎng)絡(luò)謠言的識別能力，召回率越高，模型對網(wǎng)絡(luò)謠言的識別能力越強；F1分值是兩者的綜合，F(xiàn)1分值越高，模型越穩(wěn)健。

三、實驗結(jié)果及分析

（一）基準(zhǔn)模型

為了評估本文提出的WMTC模型在謠言檢測任務(wù)中的實際效果，在實驗中使用經(jīng)過上述預(yù)處理后的數(shù)據(jù)集，與其它基準(zhǔn)模型的檢測效果進行比較。為了確?；鶞?zhǔn)模型結(jié)果的公正性，本文在進行單領(lǐng)域基準(zhǔn)模型的實驗時，每次使用1個領(lǐng)域的數(shù)據(jù)對模型進行訓(xùn)練并進行試驗；在進行混合基準(zhǔn)模型實驗時，使用所有領(lǐng)域的數(shù)據(jù)對模型進行訓(xùn)練，并分別對每個領(lǐng)域進行試驗。本文實驗采用的基準(zhǔn)模型有：

（1）BERT：使用相同的預(yù)訓(xùn)練模型WoBERT Plus，并將模型參數(shù)設(shè)置為凍結(jié)狀態(tài)；

（2）TextCNN：使用多尺度TextCNN模型進行試驗，模型與專家模型結(jié)構(gòu)保持一致；

（3）MMoE[20]：多任務(wù)學(xué)習(xí)模型，MMoE在MoE的基礎(chǔ)上進行改進，對每個子任務(wù)都引入一個門控網(wǎng)絡(luò)，以此來捕獲不同子任務(wù)之間的差異性。使用該模型進行試驗時，將不同領(lǐng)域網(wǎng)絡(luò)謠言內(nèi)容視為不同子任務(wù)進行建模；

（4）EDDFN[21]：該模型引入一種無監(jiān)督技術(shù)，選擇一組未標(biāo)記的信息新聞記錄進行人工標(biāo)簽，可以聯(lián)合保存新聞記錄中的特定領(lǐng)域和跨領(lǐng)域知識，以檢測來自不同領(lǐng)域的網(wǎng)絡(luò)謠言；

（5）MDFEND：該模型使用TextCNN作為專家模型，將謠言內(nèi)容作為門控網(wǎng)絡(luò)的輸入，并通過注意力機制來提取謠言的領(lǐng)域特征為專家模型分配權(quán)重。

（二）實驗結(jié)果對比

WMTC模型與其它基準(zhǔn)模型在Weibo21數(shù)據(jù)集上的實驗結(jié)果見表3至表5。

（三）實驗結(jié)果分析

通過比較WMTC模型與其它基準(zhǔn)模型的實驗結(jié)果，可以得出如下結(jié)論：

（1）比較單領(lǐng)域和混合檢測模型的結(jié)果，可以發(fā)現(xiàn)，混合檢測模型的3項性能均高于單領(lǐng)域檢測模型。說明收集多個領(lǐng)域的網(wǎng)絡(luò)謠言對模型進行訓(xùn)練，有助于提高模型的性能和魯棒性；

（2）比較混合和跨領(lǐng)域檢測模型的結(jié)果，可以發(fā)現(xiàn)，跨領(lǐng)域檢測模型的3項性能均高于混合檢測模型，說明了網(wǎng)絡(luò)謠言的領(lǐng)域特征對模型訓(xùn)練的重要性；

（3）比較WMTC和MMOE模型的結(jié)果，可以發(fā)現(xiàn)，不同領(lǐng)域的網(wǎng)絡(luò)謠言之間存在著一定的聯(lián)系，可以利用其它領(lǐng)域的數(shù)據(jù)來提高特定領(lǐng)域的檢測效果；

（4）比較WMTC和MDFEND模型的結(jié)果，可以發(fā)現(xiàn)，使用隨機矩陣可以緩解混合專家模型的復(fù)雜不平衡問題，從而提高模型性能；

（5）比較模型的召回率和精確率，可以發(fā)現(xiàn)，選用的模型除MMOE模型外，均對網(wǎng)絡(luò)謠言的區(qū)分能力比較強；

（6）WMTC模型在對網(wǎng)絡(luò)謠言內(nèi)容進行特征提取的同時，按照謠言所屬領(lǐng)域?qū)μ卣鬟M行聚合，有效對謠言內(nèi)容和領(lǐng)域之間的關(guān)系進行建模。因此，在Weibo21數(shù)據(jù)集上，WMTC模型綜合性能優(yōu)于其他模型，證明了該模型的有效性和優(yōu)越性。

四、結(jié)語

本文針對現(xiàn)有的網(wǎng)絡(luò)謠言檢測模型在多樣化情景下性能低的問題，提出了一種基于專家混合和領(lǐng)域特征的謠言識別模型WMTC。模型使用WoBERT和多尺度TextCNN對謠言文本內(nèi)容進行高質(zhì)量的提取，之后結(jié)合領(lǐng)域信息生成權(quán)重，對專家模型提取的特征進行聚合。實驗結(jié)果表明，WMTC模型在Weibo21數(shù)據(jù)集上的綜合表現(xiàn)優(yōu)于現(xiàn)有的單領(lǐng)域、混合以及跨領(lǐng)域謠言檢測模型。但模型仍存在一些不足之處，需要進一步研究和改進，現(xiàn)實中社交網(wǎng)絡(luò)平臺上，往往充斥著各種類型的網(wǎng)絡(luò)謠言，本模型僅能對網(wǎng)絡(luò)謠言的文字內(nèi)容進行識別，無法識別圖片和視頻信息。因此，針對網(wǎng)絡(luò)謠言檢測引入圖像信息處理技術(shù)是未來需要進一步研究和改進的方向。