時(shí)序特性引導(dǎo)下的謠言事件檢測(cè)方法評(píng)測(cè)

關(guān)鍵詞：社交網(wǎng)絡(luò)，早期謠言檢測(cè)，事件漂移，時(shí)序引導(dǎo)，數(shù)據(jù)劃分方案

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

謠言指真實(shí)性尚未得到證實(shí)的信息［1-2］. 由于社交網(wǎng)絡(luò)的開(kāi)放性，謠言可以在網(wǎng)絡(luò)上廣泛傳播，謠言的蔓延往往會(huì)對(duì)社會(huì)產(chǎn)生嚴(yán)重的負(fù)面影響［3-7］，后續(xù)再采取辟謠措施不僅會(huì)耗費(fèi)大量的資源和成本，對(duì)已經(jīng)造成的不可逆危害也無(wú)能為力. 為了遏制虛假信息的傳播，維護(hù)社會(huì)安寧和網(wǎng)絡(luò)環(huán)境的清潔，迫切需要在這些信息大規(guī)模傳播之前及時(shí)識(shí)別和揭示其虛假性，采取果斷的干預(yù)措施，因此，自動(dòng)檢測(cè)謠言變得尤為關(guān)鍵. 深度學(xué)習(xí)技術(shù)的興起很大程度上促進(jìn)了謠言檢測(cè)任務(wù)的進(jìn)步，它可以自動(dòng)地從謠言的文本信息、圖片信息或結(jié)構(gòu)信息中學(xué)習(xí)到潛在的特征關(guān)系，例如，使用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）來(lái)捕獲帖子的時(shí)間序列信息［8-9］，使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）來(lái)提取帖子的局部特征［10］，或使用圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks，GCN）來(lái)納入傳播結(jié)構(gòu)信息［11-13］. 但是，現(xiàn)有的謠言檢測(cè)方法［8-15］都是基于已知的大規(guī)模數(shù)據(jù)集（例如PHEME［16］，Twit?ter15［17］和Twitter16［17］）進(jìn)行訓(xùn)練的，數(shù)據(jù)通常被隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，然后利用深度學(xué)習(xí)的方法來(lái)取得良好的預(yù)測(cè)結(jié)果.

這種用于訓(xùn)練謠言檢測(cè)模型的隨機(jī)數(shù)據(jù)集的劃分方法面臨兩個(gè)重大挑戰(zhàn). 首先，使用隨機(jī)劃分方案訓(xùn)練的模型通常在測(cè)試階段表現(xiàn)出良好的性能［18］，但信息的分布可能會(huì)受時(shí)間的影響［19］，導(dǎo)致潛在的數(shù)據(jù)漂移和性能下降. 其次，在現(xiàn)實(shí)環(huán)境中，為了有效地檢測(cè)未來(lái)事件中的謠言，謠言檢測(cè)模型必須利用已經(jīng)發(fā)生的事件數(shù)據(jù)進(jìn)行訓(xùn)練，數(shù)據(jù)集進(jìn)行隨機(jī)劃分不能滿足這種現(xiàn)實(shí)的邏輯需求. 所以，部分研究者開(kāi)始考慮按照原始帖子發(fā)布的時(shí)間順序來(lái)劃分?jǐn)?shù)據(jù)集［18，20］，但他們忽視了帖子所屬的事件信息，而謠言檢測(cè)會(huì)受到相關(guān)事件主題的影響［19］. 此外，這種直接按照原始帖子發(fā)布的時(shí)間順序來(lái)劃分?jǐn)?shù)據(jù)集的方式，忽視了原始帖子與回復(fù)帖子之間的時(shí)間關(guān)聯(lián).

本研究提出一種新穎的數(shù)據(jù)劃分方案，旨在解決上述傳統(tǒng)數(shù)據(jù)劃分方法的不足. 該方案根據(jù)事件的時(shí)間順序?qū)?shù)據(jù)集進(jìn)行劃分，以確保測(cè)試事件對(duì)模型的不可見(jiàn)性. 實(shí)施這個(gè)新方案能夠增強(qiáng)謠言檢測(cè)模型對(duì)新興事件的泛化能力，使其更接近真實(shí)場(chǎng)景中謠言檢測(cè)任務(wù)的本質(zhì)和初衷.

本文的貢獻(xiàn)如下.

（1）在謠言檢測(cè)任務(wù)中發(fā)現(xiàn)了一個(gè)經(jīng)常被忽視的問(wèn)題，即不考慮事件時(shí)間層面的信息，這種疏忽通常會(huì)使模型表現(xiàn)出一個(gè)較高的檢測(cè)性能.

（2）為了解決這一問(wèn)題，提出一種新穎的數(shù)據(jù)劃分方案. 具體地，為了增強(qiáng)謠言檢測(cè)模型對(duì)實(shí)時(shí)發(fā)生的新興事件的魯棒性，本文提出的方案利用數(shù)據(jù)集中事件的發(fā)生時(shí)間并根據(jù)事件的發(fā)生順序?qū)?shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集. 此外，對(duì)于擁有回復(fù)信息的數(shù)據(jù)集，還對(duì)回復(fù)信息的可見(jiàn)策略進(jìn)行了設(shè)置.

（3）實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的數(shù)據(jù)劃分方案相比，本文提出的數(shù)據(jù)劃分方案顯著降低了謠言檢測(cè)模型的性能. 在PHEME 數(shù)據(jù)集上性能最大下降了24%，在Twitter15 數(shù)據(jù)集上性能最大下降了49%，在Twitter16 數(shù)據(jù)集上性能最大下降了53%. 進(jìn)一步揭示了現(xiàn)有數(shù)據(jù)劃分方法中存在的問(wèn)題，并提出了一種更實(shí)用的劃分策略，以規(guī)范化謠言檢測(cè)任務(wù)的研究流程.

1 相關(guān)工作

首先介紹謠言數(shù)據(jù)集中涉及的概念［16-17］，然后介紹主流的謠言檢測(cè)方法和現(xiàn)有的謠言檢測(cè)數(shù)據(jù)集劃分方案.

數(shù)據(jù)集：一個(gè)謠言檢測(cè)數(shù)據(jù)集就是一個(gè)事件集，包含一系列不同主題的事件.

事件：一個(gè)事件由一系列的聲明組成.

聲明：聲明是謠言檢測(cè)任務(wù)分類的目標(biāo)，共有兩種類型的聲明.

（1）僅有文本的聲明：每個(gè)聲明由其類別標(biāo)簽（例如謠言或非謠言）、原始帖子的文本信息以及相關(guān)回復(fù)帖子的文本信息（如果有）組成.

（2）具有傳播結(jié)構(gòu)的聲明：除了僅有文本的聲明中包含的上述信息（包含回復(fù)帖子）外，該類型的每個(gè)聲明還具有傳播結(jié)構(gòu)信息，即原始帖子和回復(fù)帖子之間的回復(fù)關(guān)系.

1. 1謠言檢測(cè) 謠言檢測(cè)方法主要包括兩大類：基于文本和基于社交背景的謠言檢測(cè)方法.

Ma et al［8］率先將深度學(xué)習(xí)方法引入謠言檢測(cè)領(lǐng)域，將聲明的文本內(nèi)容分割成固定的長(zhǎng)度，并將其輸入RNN，GRU （Gated Recurrent Unit），LSTM（ Long Short?Term" Memory），以捕獲信息的時(shí)間動(dòng)態(tài). 隨后，Yu et al［10］利用CNN 從聲明的文本中提取關(guān)鍵特征，并在重要特征之間形成高層交互. 然而，基于文本的謠言檢測(cè)方法面臨的一個(gè)挑戰(zhàn)是謠言的風(fēng)格、平臺(tái)和話題是不斷變化的［21］，因此，研究人員需要更多的輔助信息來(lái)幫助檢測(cè)謠言，因而提出了基于社交背景的謠言檢測(cè)方法.

基于社交背景的謠言檢測(cè)方法主要是從社交媒體中提取用戶的可信度信息或謠言的傳播信息（點(diǎn)贊、評(píng)論和回復(fù)等）來(lái)輔助謠言檢測(cè)［22］. Ma etal［11］考慮了謠言的傳播結(jié)構(gòu)信息，提出一種自下而上和自上而下的樹(shù)狀結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的謠言檢測(cè)方法. Liu and Wu［14］使用CNN 和RNN 對(duì)新聞的傳播路徑進(jìn)行分類，進(jìn)行早期的謠言檢測(cè). Bianet al［12］使用兩個(gè)GCN 分別捕捉謠言的傳播模式和擴(kuò)散模式，以學(xué)習(xí)合適的高級(jí)表示. Sun et al［13］在考慮謠言傳播結(jié)構(gòu)的同時(shí)，將對(duì)比學(xué)習(xí)和對(duì)抗學(xué)習(xí)引入謠言檢測(cè)模型，有效提高了模型的泛化能力. Zheng et al［23］在建立謠言檢測(cè)模型時(shí)考慮了傳播結(jié)構(gòu)信息和用戶的社交圈信息. Zhang etal［24］利用事件圖的不同反事實(shí)證據(jù)來(lái)進(jìn)行基于傳播結(jié)構(gòu)的謠言檢測(cè)的多視圖解釋，實(shí)現(xiàn)了可解釋和穩(wěn)健的謠言檢測(cè).

近年來(lái)，一些研究人員將更多的方法引入謠言檢測(cè)領(lǐng)域. Choudhry et al［25］將謠言檢測(cè)任務(wù)形式化為一個(gè)多任務(wù)問(wèn)題，將情緒檢測(cè)問(wèn)題看作多任務(wù)的一個(gè)子任務(wù)，以提高謠言檢測(cè)模型的準(zhǔn)確性. Lu et al［26］將謠言檢測(cè)任務(wù)與主觀性分類任務(wù)相結(jié)合，因?yàn)橹{言發(fā)布者傾向于模仿客觀的語(yǔ)氣，而了解真相的人傾向于用強(qiáng)烈的主觀評(píng)論來(lái)反駁謠言. Hu et al［27］通過(guò)檢索多模態(tài)不一致證據(jù)來(lái)輔助謠言檢測(cè). 此外，一些研究［22，28-33］在謠言檢測(cè)領(lǐng)域引入域適應(yīng)方法，以提高模型在面對(duì)不同信息分布時(shí)的檢測(cè)性能.

1. 2數(shù)據(jù)集劃分

1. 2. 1隨機(jī)劃分 如前所述，謠言檢測(cè)任務(wù)是對(duì)聲明的類別進(jìn)行分類，但大多數(shù)現(xiàn)有的謠言檢測(cè)研究都忽略了事件層面的信息，并將所有的聲明都當(dāng)作訓(xùn)練模型的數(shù)據(jù)集，再將其劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集. 例如，Ma et al［8］和Yu et al［10］采用留出法，即隨機(jī)選擇基于聲明的數(shù)據(jù)集中的10% 作為驗(yàn)證集來(lái)調(diào)整模型參數(shù)，剩下的90% 按照3∶1 的比例劃分為訓(xùn)練集和測(cè)試集. 但使用這種留出法進(jìn)行數(shù)據(jù)劃分具有偶然性，因此一些研究采用留一法［34-35］或交叉驗(yàn)證法［12-13，36-37］來(lái)劃分?jǐn)?shù)據(jù)集. 交叉驗(yàn)證法是將基于聲明的數(shù)據(jù)集劃分成K 份，使用K - 1 份進(jìn)行模型訓(xùn)練，剩余的一份用于模型評(píng)估. 將這一過(guò)程重復(fù)K 次，使每一份數(shù)據(jù)都有機(jī)會(huì)成為訓(xùn)練集和測(cè)試集，最終取K 次結(jié)果的平均值. 留一法是交叉驗(yàn)證法的一種特例，與交叉驗(yàn)證法中將數(shù)據(jù)隨機(jī)劃分為K 份不同. 留一法每次僅將數(shù)據(jù)集中的一個(gè)數(shù)據(jù)作為測(cè)試數(shù)據(jù)，其余數(shù)據(jù)均為訓(xùn)練數(shù)據(jù)［38］.

但是，這種隨機(jī)數(shù)據(jù)劃分方法存在兩個(gè)顯著缺點(diǎn). 首先，它沒(méi)有考慮數(shù)據(jù)集中的事件信息，即對(duì)于來(lái)自同一事件的聲明，一些聲明出現(xiàn)在訓(xùn)練集中，一些聲明存在于測(cè)試集中，盡管模型的評(píng)估性能很好，但其無(wú)法處理數(shù)據(jù)集之外的事件. 其次，這種數(shù)據(jù)劃分方法沒(méi)有考慮聲明和事件的出現(xiàn)時(shí)間與順序. 因?yàn)樾畔鞑ナ且粋€(gè)過(guò)程，這意味著將所有聲明/事件都獨(dú)立對(duì)待是不現(xiàn)實(shí)的（因?yàn)樵缙谑录?huì)引發(fā)新的事件），因此，不考慮事件發(fā)生順序的模型對(duì)于新興事件的聲明不具有魯棒性.

1. 2. 2按時(shí)間順序劃分 除了簡(jiǎn)單的隨機(jī)劃分外，一些研究按照聲明的時(shí)間順序來(lái)劃分?jǐn)?shù)據(jù)集，以此實(shí)現(xiàn)測(cè)試聲明的不可見(jiàn)性. 例如，Wu et al［20］根據(jù)聲明的時(shí)間對(duì)數(shù)據(jù)進(jìn)行劃分，使用前50% 的聲明進(jìn)行訓(xùn)練，后50% 的聲明進(jìn)行測(cè)試. Mu etal［18］還研究了數(shù)據(jù)漂移的影響，提出兩種新的數(shù)據(jù)集劃分方案：標(biāo)準(zhǔn)按時(shí)間順序劃分和分層按時(shí)間順序劃分. 具體地，在PHEME［16］和Twitter15數(shù)據(jù)集中，使用標(biāo)準(zhǔn)按時(shí)間順序劃分方法，對(duì)所有聲明按照時(shí)間順序進(jìn)行排序，將最早出現(xiàn)的70%的聲明作為訓(xùn)練集，最新的20% 的聲明作為測(cè)試集，剩下的聲明作為驗(yàn)證集；對(duì)于Twitter16 和微博［33］數(shù)據(jù)集，使用分層按時(shí)間順序劃分方法，根據(jù)標(biāo)簽（例如謠言和非謠言）將聲明劃分為對(duì)應(yīng)子集，然后根據(jù)標(biāo)準(zhǔn)按時(shí)間順序劃分方法劃分每個(gè)子集，得到相應(yīng)的訓(xùn)練集、驗(yàn)證集和測(cè)試集，最后根據(jù)目的（即訓(xùn)練、驗(yàn)證和測(cè)試）合并各個(gè)子集，得到最終的劃分. 需要注意，Mu et al［18］使用的Twitter15 和Twitter16 數(shù)據(jù)集與本文使用的數(shù)據(jù)集不完全相同，因?yàn)镸u et al［18］明確使用了數(shù)據(jù)集中的具體時(shí)間戳，而本文使用的Twitter15［17］和Twitter16［17］數(shù)據(jù)集只包含相對(duì)時(shí)間信息. 此外，Mu et al［18］沒(méi)有發(fā)布其完整的數(shù)據(jù)集.

雖然Mu et al［18］根據(jù)時(shí)間順序劃分基于聲明的數(shù)據(jù)集，但這種劃分方式仍然缺少事件信息，而謠言檢測(cè)會(huì)受到相關(guān)事件主題的影響［28，39］. 此外，考慮時(shí)間線時(shí)，有必要確保來(lái)自訓(xùn)練集和驗(yàn)證集中聲明的回復(fù)出現(xiàn)在測(cè)試集中的聲明之前，但Mu et al［18］沒(méi)有進(jìn)行相關(guān)的討論. 因此，本文提出了一種新的數(shù)據(jù)劃分方案來(lái)對(duì)謠言檢測(cè)方法進(jìn)行評(píng)測(cè)，該方案按照事件對(duì)數(shù)據(jù)集進(jìn)行劃分，并考慮了事件發(fā)生的時(shí)間順序. 早期的事件被納入訓(xùn)練集，一個(gè)新事件被分割成兩部分，最早的m 個(gè)聲明組成驗(yàn)證集，其余聲明組成測(cè)試集. 此外，考慮到謠言檢測(cè)的初衷是在謠言傳播惡化之前及時(shí)進(jìn)行檢測(cè)和遏制，必須確保測(cè)試集中的內(nèi)容晚于驗(yàn)證集中的內(nèi)容，所以，如果一條聲明涉及一系列回復(fù)帖子（例如PHEME 數(shù)據(jù)集），新的數(shù)據(jù)劃分方案會(huì)假設(shè)在新事件（即驗(yàn)證集和測(cè)試集）上對(duì)某一聲明是否為謠言進(jìn)行分類時(shí)，不能看到該聲明的所有回復(fù)帖子. 這種情況，本文將在新事件中的回復(fù)帖子設(shè)置為一步可見(jiàn)，詳見(jiàn)2. 3.

2 數(shù)據(jù)集和劃分方案

本節(jié)提出一種用于訓(xùn)練和評(píng)估謠言檢測(cè)模型的新的數(shù)據(jù)集劃分方案.

2. 1數(shù)據(jù)集 選擇PHEME［16］，Twitter15［17］和Twitter16［17］作為研究的基準(zhǔn)數(shù)據(jù)集，因?yàn)檫@三個(gè)數(shù)據(jù)集可以公開(kāi)獲得并已在之前的研究中被廣泛使用［11，13-14，36］. 這三個(gè)數(shù)據(jù)集都是從著名的社交平臺(tái)Twitter 上收集得到. 具體地，PHEME 是一個(gè)標(biāo)簽不平衡的數(shù)據(jù)集，更符合現(xiàn)實(shí)中信息的標(biāo)簽分布，主要包含九個(gè)重大事件，這些事件中的聲明都包含一個(gè)具體的發(fā)生時(shí)間，用格林尼治標(biāo)準(zhǔn)時(shí)間（GMT）表示. PHEME 數(shù)據(jù)集具有兩種類型的標(biāo)簽，即謠言（R）和非謠言（N），用于謠言的二分類檢測(cè). Twitter15 和Twitter16 是平衡的數(shù)據(jù)集，分別包含298 個(gè)事件和182 個(gè)事件，根據(jù)文獻(xiàn)［13］提供的數(shù)據(jù)統(tǒng)計(jì)得到. 與PHEME 不同，Twitter?15 和Twitter16 中的聲明只有相對(duì)時(shí)間，即一個(gè)聲明的原始帖子的時(shí)間被標(biāo)記為起始時(shí)間（即時(shí)間為0），其回復(fù)帖子的時(shí)間被標(biāo)記為兩個(gè)帖子之間的時(shí)間間隔. 值得注意的是，由于受到Twitter 服務(wù)條款的限制［17］，這兩個(gè)數(shù)據(jù)集沒(méi)有提供回復(fù)帖子的文本信息. 此外，Twitter15 和Twitter16 包含四種類型的標(biāo)簽：非謠言（N）、虛假謠言（F）、真實(shí)謠言（T）和未經(jīng)證實(shí)的謠言（U），用于謠言的四分類檢測(cè). 三個(gè)數(shù)據(jù)集的具體信息如表1 所示.

只使用聲明的純文本信息進(jìn)行謠言檢測(cè)的研究［22，30，40］可直接使用上述數(shù)據(jù)集，而基于傳播結(jié)構(gòu)的謠言檢測(cè)研究［12，23］人工提取了Twitter 數(shù)據(jù)集上的回復(fù)信息. 例如，考慮傳播結(jié)構(gòu)的研究GACL［13］對(duì)三個(gè)數(shù)據(jù)集進(jìn)行了清理，因?yàn)槠涫褂玫穆暶骺偭啃∮谠及姹荆ㄈ绫? 所示）. 此外，由于Twitter15 和Twitter16 沒(méi)有提供聲明的回復(fù)帖子信息，GACL 也從Twitter 中人工提取了相應(yīng)的回復(fù)帖子. 因此，本文將GACL 提出的數(shù)據(jù)集稱為PHEME ? GACL，Twitter15 ? GACL 和Twit?ter16?GACL.

2. 2隨機(jī)劃分 采用五折交叉驗(yàn)證來(lái)進(jìn)行隨機(jī)劃分，這也是大多數(shù)謠言檢測(cè)模型使用的劃分方案［11-13，36-37］，即按照70%，10% 和20% 的比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.

2. 3按事件發(fā)生的時(shí)間順序劃分 本文提出的新的數(shù)據(jù)集劃分方案由兩部分組成：（1）PHEME和PHEME?GACL 數(shù)據(jù)集，其中的事件具有特定的時(shí)間戳；（2）Twitter 和Twitter?GACL 數(shù)據(jù)集，其中的事件沒(méi)有特定的時(shí)間戳.

按事件發(fā)生的時(shí)間順序?qū)HEME 數(shù)據(jù)集中的事件進(jìn)行排序，選擇最早發(fā)生的八個(gè)事件作為訓(xùn)練集，第九個(gè)事件作為測(cè)試集. 由于驗(yàn)證集的作用是調(diào)整模型參數(shù)、驗(yàn)證模型效果并選擇性能最佳的模型，因此本文提出的數(shù)據(jù)劃分方案作如下設(shè)定. 從最新的事件（待檢測(cè)的事件）中收集的驗(yàn)證集是最有效的，所以，新的數(shù)據(jù)集劃分方案根據(jù)聲明中原始帖子的發(fā)布時(shí)間對(duì)測(cè)試集中的事件聲明進(jìn)行排序，選擇最早的m 個(gè)聲明作為驗(yàn)證集（后續(xù)的實(shí)驗(yàn)中設(shè)置m = 100），剩余的聲明作為最終的測(cè)試集. 此外，考慮到謠言的早期檢測(cè)，驗(yàn)證集和測(cè)試集中不包含所有聲明的回復(fù)帖子，本研究設(shè)定回復(fù)帖子一步可見(jiàn)，即對(duì)新事件上的聲明的回復(fù)帖子按照其發(fā)布的時(shí)間順序排列，并選擇最早發(fā)布的回復(fù)帖子作為該聲明可見(jiàn)的回復(fù)信息.

PHEME?GACL 數(shù)據(jù)集只包含八個(gè)事件，本文選擇最早發(fā)生的六個(gè)事件作為訓(xùn)練集，第七個(gè)事件作為測(cè)試集，忽略第八個(gè)事件，因?yàn)槠湟?guī)模較?。偣仓挥?2個(gè)聲明），其余設(shè)置與PHEME 數(shù)據(jù)集保持一致.

Twitter 和Twitter?GACL 共有四個(gè)數(shù)據(jù)集，Twitter15，Twitter16，Twitter15 ? GACL 和Twit?ter16?GACL，沒(méi)有明確包含事件的開(kāi)始時(shí)間，并且每個(gè)事件中的聲明類別標(biāo)簽完全相同，因此，本文提出的數(shù)據(jù)劃分方案為每種類型的標(biāo)簽選擇了五個(gè)事件作為測(cè)試集. 新的數(shù)據(jù)劃分方案下數(shù)據(jù)集的統(tǒng)計(jì)信息如表2 和表3 所示.

基于上述提出的按事件發(fā)生的時(shí)間順序劃分?jǐn)?shù)據(jù)集，謠言檢測(cè)的問(wèn)題定義如下.

定義 謠言檢測(cè) 給定一個(gè)包含N 個(gè)過(guò)去事件的事件集S，對(duì)于新出現(xiàn)的事件s_{N + 1}，給定它前m個(gè)聲明的原始帖子（和相應(yīng)的第一步回復(fù)帖子，如果有），目標(biāo)是訓(xùn)練一個(gè)謠言檢測(cè)模型來(lái)預(yù)測(cè)事件sN + 1 上即將發(fā)布的聲明是否為謠言.

3 實(shí)驗(yàn)

3. 1模型 選擇六個(gè)相對(duì)新穎且具有代表性的模型作為謠言檢測(cè)模型以評(píng)估不同的數(shù)據(jù)劃分方案. 其中，BERT［40］是一個(gè)最新的使用純文本聲明的謠言檢測(cè)模型；BIGCN［12］是對(duì)于具有傳播結(jié)構(gòu)的聲明的代表性研究；GACL［13］和RDMSC［23］是最新的研究；EANN［30］和MetaDetector［22］嘗試使用域自適應(yīng)方法來(lái)改善模型在面對(duì)新事件時(shí)的性能. 以下是對(duì)六個(gè)模型的更詳細(xì)描述.

BERT［40］是一個(gè)使用純文本信息進(jìn)行微調(diào)的BERT謠言檢測(cè)模型.

EANN［30］是具有事件鑒別器的謠言檢測(cè)模型，該鑒別器捕捉了事件之間的不變特征，以提高對(duì)新事件的檢測(cè)能力.

MetaDetector［22］是基于EANN［30］的模型，通過(guò)事件鑒別器來(lái)消除事件特定的特征，并應(yīng)用偽事件鑒別器來(lái)評(píng)估現(xiàn)有事件對(duì)新事件的影響.

BIGCN［12］使用兩層GCN 來(lái)捕獲謠言的傳播和擴(kuò)散模式.

GACL［13］是最新的謠言檢測(cè)模型之一，既考慮了聲明的傳播結(jié)構(gòu)信息，又引入了對(duì)抗學(xué)習(xí)和對(duì)比學(xué)習(xí)，以獲得不變特征并解決泛化問(wèn)題.

RDMSC［23］也是最新的謠言檢測(cè)模型之一，不僅考慮了聲明的傳播結(jié)構(gòu)信息，還使用了用戶信息進(jìn)行輔助檢測(cè).

3. 2評(píng)估指標(biāo) 對(duì)于PHEME 和PHEME?GA?CL 數(shù)據(jù)集，由于是二分類任務(wù)，使用精確率（Prec）、召回率（Rec）、F1 值（F1）和總體準(zhǔn)確率（Acc_all）作為評(píng)估指標(biāo). 另外，由于Twitter 和Twitter?GACL 數(shù)據(jù)集具有多個(gè)類別標(biāo)簽，使用總體準(zhǔn)確率（Acc_all）和各類別準(zhǔn)確率（Acc）作為分析的評(píng)估指標(biāo).

其中，對(duì)于某一類別標(biāo)簽的聲明，TP 是將該類別聲明正確分類的數(shù)量，F(xiàn)P 是將該類別聲明錯(cuò)誤分類的數(shù)量，TN 是將其他類別聲明正確地不分類到該類別標(biāo)簽的數(shù)量，F(xiàn)N 是將其他類別聲明錯(cuò)誤地分類到該類別標(biāo)簽的數(shù)量. 此外，K 為標(biāo)簽的類別數(shù)，N 是待檢測(cè)的聲明總量.

3. 3實(shí)現(xiàn)細(xì)節(jié) 實(shí)驗(yàn)中BERT［40］，EANN［30］，MetaDetector［22］ ，BIGCN［12］ ，GACL［13］ 和RD?MSC［23］的初始學(xué)習(xí)率分別設(shè)置為0. 001，0. 001，0. 01，0. 0005，0. 0005 和0. 0005，batchsize 設(shè)置為16，100，50，120，120 和120，和原始模型的文獻(xiàn)或

代碼中的設(shè)置一致. 對(duì)于MetaDetector 模型，由于采用了域自適應(yīng)方法，需要兩種類型的訓(xùn)練集，即已有事件和新事件，因此，對(duì)于隨機(jī)劃分和按時(shí)間順序劃分兩種數(shù)據(jù)集劃分方法，實(shí)驗(yàn)時(shí)將驗(yàn)證集作為新事件的訓(xùn)練集. 此外，由于PHEME 數(shù)據(jù)集有驗(yàn)證集，實(shí)驗(yàn)時(shí)采用同樣的策略將其視為訓(xùn)練集的一部分. Twitter15 和Twitter16 數(shù)據(jù)集則經(jīng)過(guò)重新劃分，將新事件的原始測(cè)試集按4∶1的比例劃分為測(cè)試集和訓(xùn)練集.

3. 4實(shí)驗(yàn)結(jié)果

3. 4. 1在PHEME 和PHEME?GACL數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果 表4 和表5 分別展示了在PHEME和PHEME?GACL 數(shù)據(jù)集上使用三種數(shù)據(jù)劃分方案的實(shí)驗(yàn)結(jié)果. 如表所示，在事件具有特定時(shí)間戳的PHEME 和PHEME?GACL數(shù)據(jù)集上，與隨機(jī)劃分方法相比，本文提出的兼顧謠言事件時(shí)序特性的數(shù)據(jù)劃分方法將模型的精度至少降低了7%. 與將聲明按時(shí)間順序進(jìn)行劃分的方法［18］相比，使用本文提出的方法時(shí)模型的準(zhǔn)確率也有所下降，在PHEME數(shù)據(jù)集上至少下降0. 7%，在PHEME?GACL 數(shù)據(jù)集上下降1%，證明本文提出的數(shù)據(jù)劃分方案揭示了基線模型進(jìn)行隨機(jī)劃分的低能力，即在面對(duì)突發(fā)的新事件時(shí)不具備魯棒性和泛化性. 因此，考慮事件發(fā)生時(shí)間順序的數(shù)據(jù)劃分方案可以提升謠言檢測(cè)模型的性能.

此外，MetaDetector 在PHEME 上的實(shí)驗(yàn)中出現(xiàn)了病態(tài)問(wèn)題，即在使用本文提出的新的數(shù)據(jù)劃分方案時(shí)，所有待檢測(cè)的聲明都被預(yù)測(cè)為同一類別. 主要是因?yàn)樾率录锌捎玫穆暶鲾?shù)量很少（只有100個(gè)），且根據(jù)表2的統(tǒng)計(jì)，這100個(gè)可用的聲明中非謠言聲明的比例高達(dá)77%，這是極不平衡的情況. MetaDetector 使用這種有限的新事件數(shù)據(jù)進(jìn)行訓(xùn)練，導(dǎo)致了結(jié)果中的病態(tài)問(wèn)題.

3. 4. 2在Twitter 和Twitter?GACL數(shù)據(jù)集上的的實(shí)驗(yàn)結(jié)果 按照時(shí)間順序劃分的方法需要聲明具有具體的時(shí)間戳，但是Twitter15，Twitter16，Twitter15 ?GACL 和Twitter16 ?GACL 數(shù)據(jù)集不符合該條件，因此在實(shí)驗(yàn)時(shí)只比較兩種數(shù)據(jù)劃分方法（即隨機(jī)劃分和本文提出的劃分方法）. 表6～9 展示了在不同數(shù)據(jù)集劃分方法下模型的性能比較結(jié)果. 由表可見(jiàn)，和隨機(jī)劃分相比，本文提出的數(shù)據(jù)劃分方法導(dǎo)致模型性能明顯下降. 在Twitter15，Twitter16，Twitter15 ? GACL 和Twit?ter16 ? GACL 數(shù)據(jù)集上，準(zhǔn)確率分別降低至少19%，30%，36% 和34%，證明當(dāng)前大多數(shù)謠言檢測(cè)模型采用的隨機(jī)劃分方法在檢測(cè)新事件時(shí)會(huì)表現(xiàn)出較低的性能. 因此，有必要提出一個(gè)新的數(shù)據(jù)劃分方法作為研究謠言檢測(cè)模型的評(píng)測(cè)方法.

3. 4. 3整體分析與可視化 本文提出的數(shù)據(jù)劃分方案揭示了當(dāng)前謠言檢測(cè)模型與實(shí)際應(yīng)用中對(duì)新興事件的謠言檢測(cè)之間的能力差距，再對(duì)模型在不同數(shù)據(jù)集上的表現(xiàn)差異進(jìn)行更深入的研究.在比較給定模型在不同數(shù)據(jù)集上的表現(xiàn)時(shí)有兩個(gè)觀察結(jié)果.

（1）基于文本的謠言檢測(cè)模型在PHEME 上的性能表現(xiàn)普遍優(yōu)于Twitter15和Twitter16數(shù)據(jù)集，因?yàn)镻HEME不僅包含聲明的原始帖子，還包括回復(fù)帖子，提供了更豐富的信息，更有利于謠言檢測(cè). 而基于傳播結(jié)構(gòu)的謠言檢測(cè)模型是根據(jù)Twitter15 和Twitter16數(shù)據(jù)集人工獲取聲明的回復(fù)文本，因此在這兩類數(shù)據(jù)集上的性能表現(xiàn)沒(méi)有明顯的差異.

（2）使用兩種數(shù)據(jù)劃分方案，即隨機(jī)劃分和本文的按事件時(shí)間劃分時(shí)，模型在Twitter15，Twitter16，Twitter15?GACL 和Twitter16?GACL上的性能比在PHEME 和PHEME ?GACL 上下降得更多. 因?yàn)門witter15，Twitter16，Twitter15?GACL 和Twitter16?GACL 數(shù)據(jù)集中每個(gè)事件的聲明類型是一致的，在本文提出的新的數(shù)據(jù)劃分方案下，為了避免信息泄露，這四個(gè)數(shù)據(jù)集在測(cè)試集上的事件信息完全不可見(jiàn). 而在PHEME和PHEME?GACL 上，允許使用新事件的前100 個(gè)聲明. 因此，在兩種數(shù)據(jù)劃分方法下，模型在Twitter15，Twitter16，Twitter15 ? GACL 和Twit?ter16?GACL 數(shù)據(jù)集上的性能表現(xiàn)差距更大.

采用t?SNE［41］對(duì)PHEME 和PHEME?GACL數(shù)據(jù)集上的新事件和已有事件的數(shù)據(jù)分布進(jìn)行可視化，如圖1 所示. 圖1a 是在PHEME 數(shù)據(jù)集上使用Word2vec［42］獲得的單詞嵌入的可視化結(jié)果，圖1b 和圖1c 是在PHEME?GACL 數(shù)據(jù)集上的可視化結(jié)果，它們分別使用Word2vec 來(lái)獲得單詞嵌入，使用經(jīng)過(guò)微調(diào)的BERT［43］模型來(lái)獲得單詞嵌入并結(jié)合GCN 來(lái)提取傳播結(jié)構(gòu).

具體地，由圖1a 和圖1b 可見(jiàn)，在PHEME 和PHEME?GACL 數(shù)據(jù)集上，新事件和已有事件的數(shù)據(jù)分布不同，標(biāo)簽比例存在不平衡的問(wèn)題. 因此，在構(gòu)建謠言檢測(cè)模型時(shí)，可以考慮使用遷移學(xué)習(xí)［44-45］、元學(xué)習(xí)［46］、多任務(wù)學(xué)習(xí)［47-48］和增量學(xué)習(xí)［49-50］等方法，以消除數(shù)據(jù)分布的差異，更好地提高模型在面對(duì)新事件時(shí)的泛化能力. 由圖1c可見(jiàn)，使用BERT 能提取更全面的文本特征，并且，在考慮了聲明的傳播結(jié)構(gòu)之后，新事件和已有事件的分布不再是主要的差異，謠言和非謠言數(shù)據(jù)被映射到不同的特征空間. 證明在進(jìn)行謠言檢測(cè)的研究時(shí)，有必要提取更全面、更豐富的文本特征和傳播結(jié)構(gòu)特征.

4 結(jié)論

本研究引入了一種新穎的數(shù)據(jù)集劃分方案來(lái)評(píng)估實(shí)時(shí)新興事件背景下謠言檢測(cè)方法的有效性. 與常用的隨機(jī)劃分方法不同，本文提出的方法考慮了事件的時(shí)間順序，并充分考慮了數(shù)據(jù)分布中可能存在的時(shí)序漂移問(wèn)題，更符合現(xiàn)實(shí)世界中謠言檢測(cè)任務(wù)的工作流程. 實(shí)驗(yàn)結(jié)果表明，盡管使用隨機(jī)劃分方案訓(xùn)練的謠言檢測(cè)模型在測(cè)試集上表現(xiàn)良好，但在使用本文提出的劃分方案時(shí)，其性能顯著下降，凸顯了現(xiàn)有模型在有效檢測(cè)未來(lái)新興事件時(shí)所面臨的挑戰(zhàn). 由于對(duì)實(shí)時(shí)發(fā)生的新興事件的檢測(cè)仍然是一個(gè)重要但未被充分研究的問(wèn)題，引入本文的新數(shù)據(jù)劃分方案能使謠言檢測(cè)研究更多地關(guān)注和解決新事件上的檢測(cè)問(wèn)題，還可以在一定程度上迫使謠言檢測(cè)模型增強(qiáng)處理未知事件的泛化能力，并提高整體的檢測(cè)性能.

（責(zé)任編輯 楊可盛）