基于Attention與Bi-LSTM的謠言識(shí)別方法

冀源蕊, 康海燕, 方銘浩

(1.北京信息科技大學(xué) 信息管理學(xué)院 北京 100192; 2.中國(guó)郵政儲(chǔ)蓄銀行 軟件研發(fā)中心 北京 100160)

0 引言

謠言是指沒有相應(yīng)事實(shí)基礎(chǔ)卻被捏造出來,并利用各種渠道傳播的言論。其受眾面廣,傳播速度快,可能會(huì)對(duì)正常的社會(huì)秩序造成不良的影響。針對(duì)社會(huì)網(wǎng)絡(luò)中謠言泛濫的問題,研究者們進(jìn)行了大量的嘗試與探索[1-5]。目前,針對(duì)謠言的檢測(cè)主要分為基于機(jī)器學(xué)習(xí)的檢測(cè)方法和基于深度學(xué)習(xí)的檢測(cè)方法?；跈C(jī)器學(xué)習(xí)的謠言檢測(cè)方法由三個(gè)步驟構(gòu)成[6],分別是為訓(xùn)練數(shù)據(jù)提取有效特征;利用特征在訓(xùn)練數(shù)據(jù)集上訓(xùn)練分類模型;使用訓(xùn)練模型對(duì)測(cè)試數(shù)據(jù)集進(jìn)行預(yù)測(cè)。如此不斷評(píng)估優(yōu)化,從而判斷測(cè)試集數(shù)據(jù)是否為謠言。Guo等[7]提取出基于賬戶的特征,如用戶可信度、可靠性和名譽(yù)度等信息,將這些信息作為有效特征進(jìn)行機(jī)器學(xué)習(xí)模型的訓(xùn)練。Kumar等[8]提出一種基于監(jiān)督機(jī)器學(xué)習(xí)的謠言檢測(cè)方法,采用支持向量機(jī)模型對(duì)提取特征后的謠言信息進(jìn)行檢測(cè)和識(shí)別。Gumaei等[9]提出一種基于XGBoost的謠言檢測(cè)分類方法,針對(duì)阿拉伯語推文中的謠言信息進(jìn)行檢測(cè)。傳統(tǒng)的機(jī)器學(xué)習(xí)謠言檢測(cè)方法依賴特征工程,需要消耗大量的人力、物力和時(shí)間,且提取的特征主要集中在原始消息和轉(zhuǎn)發(fā)消息中的詞匯和語義特征,難以系統(tǒng)地概括謠言的特點(diǎn)。因此,研究者們嘗試使用基于深度學(xué)習(xí)的謠言檢測(cè)方法。

基于深度學(xué)習(xí)的謠言檢測(cè)方法是目前較為流行的謠言識(shí)別方案。由于社交網(wǎng)絡(luò)中的信息是一種與時(shí)間密切相關(guān)的時(shí)序數(shù)據(jù),而循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)在時(shí)間序列和句子等變長(zhǎng)序列信息的建模過程中顯示出了很好的效果[10]。Ma等[11]最早將RNN引入謠言檢測(cè)過程中,通過對(duì)文本序列數(shù)據(jù)進(jìn)行時(shí)間維度上的建模分析,得到謠言上下文信息隨時(shí)間變化的隱式特征,并加入長(zhǎng)短期記憶(long-short term memory,LSTM)和門控單元等額外的隱藏層,解決長(zhǎng)序列訓(xùn)練過程中由于RNN層數(shù)增加導(dǎo)致的梯度消失和梯度爆炸問題。此外,Chen等[12]提出結(jié)合RNN和變分自編碼器的無監(jiān)督學(xué)習(xí)模型來學(xué)習(xí)社會(huì)網(wǎng)絡(luò)用戶的網(wǎng)絡(luò)行為;Alsaeedi等[13]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)Twitter上的虛假信息進(jìn)行分類和識(shí)別;Bian等[14]利用雙向圖卷積網(wǎng)絡(luò)對(duì)社交媒體中的謠言進(jìn)行識(shí)別。

雖然基于深度學(xué)習(xí)的謠言檢測(cè)方法擺脫了人工構(gòu)建特征工程的方式,但是其端到端的結(jié)構(gòu)難以把握謠言信息中的關(guān)鍵成分,使得模型訓(xùn)練缺乏可控性,訓(xùn)練時(shí)間長(zhǎng)且模型復(fù)雜。另外,根據(jù)文獻(xiàn)[15]可知,約72%的謠言在剛發(fā)布時(shí)被轉(zhuǎn)發(fā)的次數(shù)更多,如果不能及時(shí)阻止其傳播,就會(huì)形成謠言的二次傳播,此時(shí)辟謠難度加大,再想消除謠言造成的負(fù)面影響變得極為困難。因此,需要設(shè)計(jì)一種有效識(shí)別謠言二次傳播的方案。本文提出一種基于Attention與Bi-LSTM的深度學(xué)習(xí)謠言識(shí)別方法,引入Attention機(jī)制實(shí)現(xiàn)謠言二次傳播的有效識(shí)別,采用Word Embedding機(jī)制將文本數(shù)據(jù)映射到一個(gè)低維度的實(shí)數(shù)向量,避免了高維度的輸入導(dǎo)致LSTM模型產(chǎn)生維度災(zāi)難。在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,所提方法能達(dá)到94.3%的準(zhǔn)確率,驗(yàn)證了該方法的有效性。

1 基于Attention與Bi-LSTM的謠言識(shí)別方法

為了快速準(zhǔn)確地對(duì)謠言進(jìn)行識(shí)別,設(shè)計(jì)了一種基于Attention與Bi-LSTM的謠言識(shí)別方法,具體流程如圖1所示。該方法主要包括數(shù)據(jù)處理模塊、核心算法模塊和謠言識(shí)別模塊。其中,數(shù)據(jù)處理模塊通過詞向量模型將預(yù)處理后的原始數(shù)據(jù)轉(zhuǎn)換為訓(xùn)練數(shù)據(jù);核心算法模塊負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)的構(gòu)建以及模型訓(xùn)練;謠言識(shí)別模塊負(fù)責(zé)對(duì)新輸入的信息進(jìn)行謠言判別。

圖1 基于Attention與Bi-LSTM的謠言識(shí)別方法流程Figure 1 Flow chart of rumor identification method based on Attention and Bi-LSTM

1.1 數(shù)據(jù)收集和預(yù)處理

利用爬蟲技術(shù)爬取流言百科、微博辟謠中心等新聞媒體和社交網(wǎng)站進(jìn)行謠言數(shù)據(jù)收集;利用爬蟲技術(shù)爬取搜狐新聞不同類別的新聞數(shù)據(jù)進(jìn)行正常數(shù)據(jù)收集。將收集的所有謠言數(shù)據(jù)與正常數(shù)據(jù)無標(biāo)記存儲(chǔ)為wordEmbding.txt,作為訓(xùn)練詞向量模型的輸入數(shù)據(jù);將收集的所有謠言數(shù)據(jù)與正常數(shù)據(jù)有標(biāo)記存儲(chǔ)為indexData.csv。

1.2 訓(xùn)練詞向量模型

采用Python的Gensim模塊來訓(xùn)練詞向量模型,該模塊采用的接口是word2vec API。將生成的wordEmbding.txt作為輸入,使用Gensim模塊對(duì)詞向量模型訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練,并最終得到詞向量模型word2vec.bin。訓(xùn)練過程中,設(shè)置詞向量維度為200,詞向量上下文最大距離為5,隨機(jī)梯度下降法中最大迭代次數(shù)為8,min_count為1。最終訓(xùn)練出詞向量模型word2vec.bin作為輸出,用于生成訓(xùn)練數(shù)據(jù)。

1.3 生成訓(xùn)練數(shù)據(jù)

設(shè)置每條輸入的序列處理長(zhǎng)度為200,一次訓(xùn)練所選取的樣本數(shù)為128,訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)的比例為9∶1。從indexData.csv文件中讀取數(shù)據(jù)集,將句子分割成詞表示,并去除低頻詞和停用詞,通過特征提取將標(biāo)簽轉(zhuǎn)換成索引表示,保存為label2idx.json,從word2vec中取出預(yù)訓(xùn)練好的詞向量,并將詞映射成索引表示,保存成word2idx.json的數(shù)據(jù)格式。從詞向量模型中讀取出詞嵌入矩陣W,作為初始化值輸入模型中。自動(dòng)分割生成訓(xùn)練集和驗(yàn)證集,通過該驗(yàn)證集來測(cè)試模型的精確度。

1.4 神經(jīng)網(wǎng)絡(luò)模型搭建

本文設(shè)計(jì)了一種基于Attention與Bi-LSTM的謠言識(shí)別方法,其中LSTM采取的雙層結(jié)構(gòu)具有正向和反向兩層,通過神經(jīng)元的雙向傳遞解決RNN中的梯度消失問題。由于LSTM具有門機(jī)制,每個(gè)門中的記憶細(xì)胞都能夠控制LSTM單元保留的歷史信息的程度以及記憶當(dāng)前輸入的信息,使它們能夠保留重要的特征,丟棄不重要的特征。之所以引入第二層神經(jīng)結(jié)構(gòu)來擴(kuò)展LSTM網(wǎng)絡(luò),是因?yàn)槠潆[藏層到隱藏層的連接以相反的時(shí)間順序流動(dòng)。因此,該模型能夠利用過去和未來的信息。該方法引入Attention機(jī)制,解決了傳統(tǒng)中文文本分類對(duì)于長(zhǎng)序列編解碼精度下降的問題,同時(shí)計(jì)算出每個(gè)時(shí)序的權(quán)重,作為特征向量提高模型精確度。

基于Attention與Bi-LSTM的謠言識(shí)別方法架構(gòu)如圖2所示。所構(gòu)建的用于謠言識(shí)別的Attention與Bi-LSTM神經(jīng)網(wǎng)絡(luò)模型包括輸入層、詞嵌入層、雙向LSTM層、Attention層和輸出層。

圖2 基于Attention與Bi-LSTM的謠言識(shí)別方法架構(gòu)Figure 2 The architecture of rumor recognition method based on Attention and Bi-LSTM

1.4.1輸入層 將訓(xùn)練集word2idx.json中的每個(gè)句子定義為T個(gè)單詞組成的句子S={x1,x2,…,xT},每個(gè)詞定義為inputXi,標(biāo)簽定義為inputY。

1.4.2詞嵌入層 利用embedding_lookup函數(shù)通過詞嵌入矩陣將輸入的inputXi轉(zhuǎn)換成詞向量xt,生成詞嵌入矩陣W,作為初始值輸入模型中。

1.4.3雙向LSTM層 包含前向和后向LSTM兩層,每層具有相同的結(jié)構(gòu)。其中,每個(gè)神經(jīng)元包含四部分:輸出門ot,輸入門it,遺忘門ft和長(zhǎng)短記憶狀態(tài)ct。t時(shí)刻某個(gè)神經(jīng)元的輸入門包含三個(gè)參數(shù):當(dāng)前輸入xt,前一時(shí)刻神經(jīng)元的隱狀態(tài)ht-1,前一時(shí)刻神經(jīng)元的狀態(tài)ct-1。神經(jīng)元的輸出門是二維的,包含權(quán)重h和類別C。W為其對(duì)應(yīng)的詞嵌入矩陣,b為偏置項(xiàng),σ為softmax函數(shù),tanh為激活函數(shù)。將128個(gè)樣本數(shù)據(jù)一次性輸入雙向LSTM層進(jìn)行訓(xùn)練,完成一次正反向傳播和參數(shù)更新,具體過程如下。

1) 遺忘門層。遺忘門決定從當(dāng)前細(xì)胞狀態(tài)中丟棄什么信息,即控制上一個(gè)神經(jīng)元輸入記憶ct-1的遺忘程度,使用公式ft=σ(Wf·[ht-1,xt]+bf)進(jìn)行計(jì)算,輸出當(dāng)前細(xì)胞狀態(tài)對(duì)應(yīng)的0～1之間的數(shù)字,其中0表示完全丟棄,1表示完全保留。

1.4.4Attention層 在雙向LSTM層后引入Attention 層,將LSTM層輸出的權(quán)重組合成矩陣H=[h1,h2,…,hn]。注意力反映的是每一個(gè)單詞的時(shí)序權(quán)重對(duì)關(guān)系分類的重要程度,因此通過學(xué)習(xí)一個(gè)時(shí)序權(quán)重向量得到最好的輸出,計(jì)算過程為

M=tanh(H),

(1)

α=softmax(WTM),

(2)

r=HαT,

(3)

h*=tanh(r)。

(4)

式(1)通過tanh激活函數(shù)將向量映射到-1～1,式(2)根據(jù)softmax層得到時(shí)序權(quán)重的特征,式(3)通過乘以原權(quán)重矩陣來增加特征的影響,式(4)把權(quán)重輸出通過tanh激活函數(shù)進(jìn)行映射。最終輸出的三維矩陣包含詞向量權(quán)重、時(shí)序權(quán)重和類別數(shù)。

本文引入Attention機(jī)制主要解決了輸入序列隨時(shí)間不斷增長(zhǎng)導(dǎo)致原始權(quán)重的表現(xiàn)越來越差的問題,通過保留LSTM編碼器對(duì)輸入序列的中間輸出結(jié)果,打破了傳統(tǒng)編碼器-解碼器結(jié)構(gòu)在編解碼時(shí)依賴內(nèi)部一個(gè)固定長(zhǎng)度向量的限制,再通過訓(xùn)練模型對(duì)這些輸入進(jìn)行選擇性學(xué)習(xí),并且在模型輸出時(shí)將輸出序列與之關(guān)聯(lián),生成一個(gè)權(quán)重向量。通過與該權(quán)重向量相乘,使每一次迭代中詞匯的單獨(dú)特征合并為句子級(jí)的特征。

1.4.5輸出層 通過全連接層把高維矩陣轉(zhuǎn)變?yōu)榈途S矩陣,同時(shí)把原始特征映射到各個(gè)隱語義節(jié)點(diǎn),即分類的顯示表達(dá),得到預(yù)測(cè)標(biāo)簽y。將上一層得到的隱藏狀態(tài)作為輸入,句子S具有標(biāo)簽y的似然函數(shù)為

p(y|S)=softmax(WSh*+bS)。

(5)

標(biāo)簽y的最大似然函數(shù)為

y=argmaxyp(y|S)。

(6)

樣本的損失函數(shù)為

(7)

式中:m為類別數(shù),是L2正則化參數(shù)。J的值越大,當(dāng)前模型的評(píng)估效果越差,通過損失函數(shù)使模型預(yù)測(cè)輸出更接近真實(shí)樣本標(biāo)簽。最終得到二維輸出預(yù)測(cè)標(biāo)簽和h*,保存在神經(jīng)網(wǎng)絡(luò)模型中。

1.5 訓(xùn)練模型

在所有收集到的訓(xùn)練數(shù)據(jù)中,中文數(shù)據(jù)共有253 226條,其中謠言數(shù)據(jù)28 991條,正常新聞數(shù)據(jù)224 235條;英文數(shù)據(jù)共有3 798條,其中謠言數(shù)據(jù)1 490條,正常數(shù)據(jù)2 308條。設(shè)置訓(xùn)練數(shù)據(jù)為231 322條,驗(yàn)證數(shù)據(jù)為25 702條,利用這些數(shù)據(jù)進(jìn)行模型訓(xùn)練與驗(yàn)證。

1.6 識(shí)別謠言

定義X為用戶輸入的未知文本,對(duì)其去除停用詞、標(biāo)點(diǎn)符號(hào)和分詞處理,加載word2idx.json和label2idx.json,將輸入的X通過word2idx建立每個(gè)詞的詞向量,若沒有這個(gè)詞則用UNK表示。加載保存的模型,通過調(diào)用softmax分類器來預(yù)測(cè)一個(gè)句子S的標(biāo)簽y。分類器將隱藏狀態(tài)h*作為輸入,經(jīng)過softmax層估計(jì)出每個(gè)類別的概率,即是否為謠言數(shù)據(jù)的概率,從而實(shí)現(xiàn)謠言的識(shí)別。

通過上述六個(gè)步驟實(shí)現(xiàn)基于Attention與Bi-LSTM的謠言識(shí)別方法,該方法的主要優(yōu)勢(shì)是通過Attention機(jī)制和雙向LSTM優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),從而能更好地識(shí)別謠言信息。尤其是針對(duì)謠言二次傳播的識(shí)別,即使謠言改頭換面或換湯不換藥的重新發(fā)布,也能快速地判別出來,減少臃腫的判別步驟,避免陷入一個(gè)緩慢的重新辟謠循環(huán)中。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)

實(shí)驗(yàn)平臺(tái)操作系統(tǒng)為Windows 10+64位,開發(fā)環(huán)境為Pycharm,編程語言為Python 3.8,CPU為11th Gen Intel(R) Core(TM) i5-11400H@2.70 GHz,內(nèi)存為16 GB。實(shí)驗(yàn)使用TensorFlow1.13.1CPU0構(gòu)建深度學(xué)習(xí)模型。

所使用的數(shù)據(jù)集包括中文數(shù)據(jù)集和英文數(shù)據(jù)集。中文數(shù)據(jù)集的正常新聞數(shù)據(jù)主要來自搜狐新聞網(wǎng)站,分為健康、社會(huì)、科學(xué)、傳說軼事和其他五類;謠言數(shù)據(jù)來自微信辟謠助手、新浪微博辟謠中心、流言百科等網(wǎng)站收集的謠言,其中最大的來源是文獻(xiàn)[11]中使用的謠言數(shù)據(jù),也分為健康、社會(huì)、科學(xué)、傳說軼事和其他五類。英文數(shù)據(jù)集的正常新聞數(shù)據(jù)主要來自Twitter,謠言數(shù)據(jù)通過github收集整理。

2.2 實(shí)驗(yàn)方案

由于謠言數(shù)據(jù)收集過程中存在一定誤差,經(jīng)過篩查過濾掉字符少于20個(gè)和兩條數(shù)據(jù)相似度高于60%的數(shù)據(jù),共得到可用數(shù)據(jù)257 024條,將正常新聞數(shù)據(jù)標(biāo)記為0,謠言數(shù)據(jù)標(biāo)記為1,存儲(chǔ)為csv文件進(jìn)行訓(xùn)練。設(shè)置學(xué)習(xí)率為0.001,神經(jīng)元個(gè)數(shù)為256,嵌入層embeddingSize為300,數(shù)據(jù)流batchSize為128,遺棄保留率dropoutKeepProb值為0.5,測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)的比率為0.8。根據(jù)上述配置進(jìn)行模型訓(xùn)練,訓(xùn)練次數(shù)為4,每加載40次訓(xùn)練數(shù)據(jù)后對(duì)模型進(jìn)行一次評(píng)估。在得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型后,根據(jù)用戶輸入的未知文章調(diào)用訓(xùn)練好的模型來判斷輸入文章是否為謠言。

2.3 實(shí)驗(yàn)過程與分析

2.3.1有效性測(cè)試實(shí)驗(yàn) 正向LSTM層的訓(xùn)練過程如圖3所示。使用真實(shí)值與預(yù)測(cè)值的偏差情況反映模型的擬合能力,偏差值越小,說明模型的擬合能力越強(qiáng)。

由圖3可以看出,在正向LSTM層的訓(xùn)練過程中,偏差值始終在0上下波動(dòng),說明模型訓(xùn)練過程較為穩(wěn)定。同時(shí),在正向LSTM層的訓(xùn)練過程中,按照數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)中的傳遞順序,從遺忘門層到輸出門層,偏差值減小,說明隨著模型的不斷訓(xùn)練,模型的擬合能力在逐漸增強(qiáng)。反向LSTM層的訓(xùn)練過程如圖4所示。

圖3 正向LSTM層的訓(xùn)練過程Figure 3 Training process of forward LSTM layer

圖4 反向LSTM層的訓(xùn)練過程Figure 4 Training process of reverse LSTM layer

由圖4可以看出,在反向LSTM層的訓(xùn)練過程中,偏差值始終在0上下波動(dòng),說明模型的訓(xùn)練過程較為穩(wěn)定。同時(shí),在反向LSTM層的訓(xùn)練過程中,按照數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)中的傳遞順序,從遺忘門層到輸出門層,偏差值減小,同樣說明模型的擬合能力在逐漸增強(qiáng)。

綜合圖3和圖4可知,經(jīng)過訓(xùn)練后的LSTM層能自動(dòng)發(fā)現(xiàn)那些對(duì)于分類起到關(guān)鍵作用的詞,形成長(zhǎng)期的記憶,從而有效識(shí)別謠言的二次傳播。

Attention層的訓(xùn)練過程如圖5所示?？梢钥闯?隨著訓(xùn)練輪次的增加,偏差值在0上下波動(dòng),說明訓(xùn)練過程中正常新聞與謠言數(shù)據(jù)的擬合程度在不斷變化,但該值始終維持在區(qū)間[-0.15,0.15],說明在訓(xùn)練過程中Attention層表現(xiàn)較為穩(wěn)定。

圖5 Attention層的訓(xùn)練過程Figure 5 Training process of Attention layer

輸出層的訓(xùn)練過程如圖6所示,該圖描述了輸入與輸出的匹配度。可以看出,訓(xùn)練前期匹配度的波動(dòng)較大,后期波動(dòng)放緩且趨近于0,說明訓(xùn)練過程中謠言和正常新聞分類的匹配度逐漸趨于擬合,模型的訓(xùn)練效果較好。

訓(xùn)練過程中損失函數(shù)的變化如圖7所示。損失函數(shù)是用來估量模型的預(yù)測(cè)值與真實(shí)值不一致的程度,損失函數(shù)越小,模型效果就越好。由圖7可知,損失值在剛開始時(shí)很大,隨著訓(xùn)練過程的進(jìn)行逐漸減小,越來越趨近于0,說明該模型的預(yù)測(cè)值與真實(shí)值越來越相近,準(zhǔn)確率逐步增高,將該模型用于謠言與正常新聞的分類是可靠的。

2.3.2對(duì)比實(shí)驗(yàn) 對(duì)所設(shè)計(jì)的基于Attention與Bi-LSTM的謠言識(shí)別方法的準(zhǔn)確率進(jìn)行測(cè)試,在真實(shí)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。使用二分類問題的精確率、準(zhǔn)確率、召回率和F1值作為評(píng)價(jià)指標(biāo),定義非謠言為正類,謠言為負(fù)類。選擇三種基于深度學(xué)習(xí)的謠言識(shí)別方案作為對(duì)比方法,分別為基于卷積神經(jīng)網(wǎng)絡(luò)的謠言識(shí)別方案(CAMI)[16]、基于卷積神經(jīng)網(wǎng)絡(luò)與雙向LSTM混合的謠言識(shí)別方案(CNN-BiLSTM)[17]和基于深度神經(jīng)網(wǎng)絡(luò)的謠言識(shí)別方案(DNN-RD)[18]。將本文方法與上述三種謠言識(shí)別方案進(jìn)行對(duì)比,結(jié)果如表1所示。

由表1可以看出,與其他三種方案相比,本文方法在謠言識(shí)別方面的準(zhǔn)確率最高,可以達(dá)到94.3%。此外,本文方法在精確率、召回率以及F1值指標(biāo)中

表1 不同模型的對(duì)比實(shí)驗(yàn)結(jié)果Table 1 Comparative experimental results of different models

均取得了最好的實(shí)驗(yàn)結(jié)果。說明與其他方案相比,本文所提出的基于Attention與Bi-LSTM的謠言識(shí)別方法在謠言識(shí)別方面效果更好,可以實(shí)現(xiàn)對(duì)所輸入謠言信息的準(zhǔn)確識(shí)別。

3 結(jié)語

在當(dāng)前嚴(yán)峻的網(wǎng)絡(luò)謠言傳播形勢(shì)背景下,本文提出一種基于Attention與Bi-LSTM的深度學(xué)習(xí)謠言識(shí)別方法,對(duì)用戶輸入的文本進(jìn)行判別,及時(shí)提醒用戶是否閱讀到謠言。與傳統(tǒng)RNN模型相比,本文方法構(gòu)建了雙層LSTM結(jié)構(gòu),解決了RNN中的梯度消失問題。此外,引入Attention機(jī)制能有效地對(duì)長(zhǎng)序列編解碼的時(shí)序問題進(jìn)行關(guān)聯(lián),從每個(gè)句子中捕獲最重要的語義信息,并形成長(zhǎng)期的記憶,實(shí)現(xiàn)針對(duì)謠言二次傳播的快速識(shí)別,彌補(bǔ)傳統(tǒng)RNN算法在長(zhǎng)期記憶方面的不足。未來還可利用云計(jì)算技術(shù)將模型放入云服務(wù)器中,當(dāng)用戶瀏覽新聞時(shí)就可以根據(jù)當(dāng)前瀏覽數(shù)據(jù),實(shí)時(shí)上傳到云服務(wù)器進(jìn)行計(jì)算,判別用戶是否正在閱讀謠言,從而實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)中正在傳播的新聞進(jìn)行實(shí)時(shí)檢測(cè),識(shí)別出謠言便可立即攔截,由監(jiān)測(cè)平臺(tái)方對(duì)謠言進(jìn)行處理,從而降低謠言的傳播總量。