• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于知識(shí)圖譜的多特征融合謠言檢測(cè)方法

    2024-06-01 01:53:41劉小洋李慧張康旗段迪文癸凌

    劉小洋 李慧 張康旗 段迪 文癸凌

    摘 要:為了解決謠言檢測(cè)中由于缺乏外部知識(shí)而導(dǎo)致模型難以感知內(nèi)隱信息,進(jìn)而限制了模型挖掘深層信息的能力這個(gè)問題,提出了基于知識(shí)圖譜的多特征融合謠言檢測(cè)方法(KGMRD)。首先,對(duì)于每個(gè)事件,將帖子和評(píng)論共同構(gòu)建為一個(gè)文本序列,并利用分類器從中提取情感特征,利用ConceptNet基于文本構(gòu)造其知識(shí)圖譜,將知識(shí)圖譜中的實(shí)體表示利用注意力機(jī)制與文本的語義特征進(jìn)行聚合,進(jìn)而得到增強(qiáng)的語義特征表示;其次,在傳播結(jié)構(gòu)方面,對(duì)于每個(gè)事件,基于帖子的傳播轉(zhuǎn)發(fā)關(guān)系構(gòu)建傳播結(jié)構(gòu)圖,使用DropEdge對(duì)傳播結(jié)構(gòu)圖進(jìn)行剪枝,從而得到更有效的傳播結(jié)構(gòu)特征;最后,將得到的特征進(jìn)行融合處理得到一個(gè)新的表示。在Weibo、Twitter15和Twitter16 三個(gè)真實(shí)數(shù)據(jù)集上,使用SVM-RBF等七個(gè)模型作為基線進(jìn)行了對(duì)比實(shí)驗(yàn)。結(jié)果表明:對(duì)比當(dāng)前效果最好的基線,KGMRD方法在Weibo數(shù)據(jù)集的ACC指標(biāo)提升了1.1%;在Twitter15和Twitter16數(shù)據(jù)集的ACC指標(biāo)上提升了2.2%,證明了KGMRD方法是合理的、有效的。

    關(guān)鍵詞:知識(shí)圖譜;注意力機(jī)制;情感詞典;謠言檢測(cè)

    中圖分類號(hào):TP399?? 文獻(xiàn)標(biāo)志碼:A??? 文章編號(hào):1001-3695(2024)05-012-1362-06

    doi: 10.19734/j.issn.1001-3695.2023.10.0425

    Knowledge graph based multi-feature fusion rumor detection

    Abstract:In order to solve the problem that it is difficult for the model to perceive implicit information due to the lack of external knowledge in rumor detection, which limits the ability of the model to mine deep information, this paper proposed knowledge graph based multi-feature fusion rumor detection (KGMRD) method. Firstly, for each event, it constructed posts and comments together into a text sequence and used a classifier to extract the emotional features. This paper constructed a knowledge graph based on text using ConceptNet and aggregated the entity representation in the knowledge graph with the semantic features of text using the attention mechanism, so as to obtain the enhanced semantic feature representation. Secondly, in terms of communication structure, for each event, this paper built its communication structure diagram based on the propagation and forwarding relationship of the post, and used DropEdge to prune the communication structure diagram, so as to obtain more effective communication structure characteristics. Finally, it fused the obtained features to get a new representation and compared seven models including SVM-RBF on three real datasets of Weibo, Twitter15 and Twitter16. The experimental results show that compared with the current baseline with the best effect, the KGMRD method has the best ACC on the Weibo dataset and improves the ACC by 1.1%, and there is a 2.2% improvement on Twitter15 and Twitter16 dataset in ACC. The experiment proves that the KGMRD method is reasonable and effective.

    Key words:knowledge graph; attention mechanism; emotion dictionary; rumor detection

    0 引言

    虛假信息是故意傳播以誤導(dǎo)或欺騙為目的的虛假或者不準(zhǔn)確的消息,其無論是對(duì)社會(huì)還是個(gè)人都有極大的影響[1]。Vosoughi等人[2]將虛假信息與真實(shí)信息的傳播結(jié)構(gòu)進(jìn)行了對(duì)比,發(fā)現(xiàn)虛假信息的傳播范圍更遠(yuǎn)、更快、更深、更廣。虛假信息由于其巨大的負(fù)面影響而成為一個(gè)重要問題,引起了研究人員的廣泛關(guān)注[3]。謠言多集中爆發(fā)于突發(fā)事件,在這種情況下,由于人們對(duì)事實(shí)的認(rèn)知有限,在恐慌心理的影響下,民眾更傾向于相信并傳播謠言。因此,研究社交網(wǎng)絡(luò)上虛假信息的傳播特征,盡早識(shí)別出謠言,對(duì)社交網(wǎng)絡(luò)的發(fā)展和治理有重大意義。

    傳統(tǒng)的謠言檢測(cè)方法主要是利用深度學(xué)習(xí)或機(jī)器學(xué)習(xí)方法,從發(fā)布的帖子本身出發(fā),特征工程集中在文本內(nèi)容方面的挖掘,得到單純基于內(nèi)容特征的謠言檢測(cè)方法[4],然而這些方法在謠言檢測(cè)中不能取得較好的效果。Ma等人[5]從空間結(jié)構(gòu)出發(fā),考慮帖子在傳播過程中的信息,提出基于傳播結(jié)構(gòu)特征的謠言檢測(cè)方法,以獲得模型更好的表現(xiàn)?,F(xiàn)有研究基于傳播結(jié)構(gòu)特征和文本內(nèi)容特征[6],提高了謠言檢測(cè)模型的效果,但是仍存在局限性,包括:a)帖子自身的局限性,例如文本篇幅較短,現(xiàn)有的方法從中提取到的語義信息有限;b)網(wǎng)絡(luò)用語存在縮寫、別名等現(xiàn)象,例如:“特朗普”“川普”“特朗普先生”均表示同一個(gè)人,是對(duì)“唐納德·特朗普”的特指,這些知識(shí)層面的提及和聯(lián)系有助于提升判斷帖子內(nèi)容的可信度。然而,這些信息不能直接與文本中的實(shí)體相關(guān)聯(lián),因此需要引入外部知識(shí)來增強(qiáng)實(shí)體間的聯(lián)系,將知識(shí)信息整合到知識(shí)圖譜中,進(jìn)而增強(qiáng)謠言檢測(cè)的效果。

    針對(duì)上述問題,本文提出了基于知識(shí)圖譜注意力機(jī)制的多特征融合謠言檢測(cè)方法。該方法充分挖掘文本中的語義信息,結(jié)合外部知識(shí)提取實(shí)體背景知識(shí),并利用注意力機(jī)制將其進(jìn)行聚合,得到外部知識(shí)增強(qiáng)的語義信息;利用情感詞典和情感分類器抽取文本中的情感特征,構(gòu)建傳播結(jié)構(gòu)圖并提取傳播結(jié)構(gòu)特征,最終進(jìn)行融合并分類。

    本文的主要貢獻(xiàn)有:

    a)結(jié)合英文的Twitter 15、Twitter 16數(shù)據(jù)集和中文的Weibo數(shù)據(jù)集,結(jié)合社交網(wǎng)絡(luò)中發(fā)帖與評(píng)論的信息;以帖子和其評(píng)論轉(zhuǎn)發(fā)為節(jié)點(diǎn),構(gòu)建了謠言傳播結(jié)構(gòu)圖,使用GCN提取了傳播圖的結(jié)構(gòu)特征。

    b)利用外部知識(shí)構(gòu)建知識(shí)圖譜,將其嵌入表達(dá)作為背景知識(shí),通過注意力機(jī)制與文本語義特征進(jìn)行聚合以獲得語義特征的高階表達(dá),接著與情感特征以及結(jié)合傳播結(jié)構(gòu)特征進(jìn)行特征融合,得到謠言檢測(cè)更有效的表示,基于此提出了一種基于知識(shí)圖譜的多特征融合謠言檢測(cè)方法。

    c)將KGMRD方法在Weibo、Twitter 15和Twitter 16三個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn),并與SVM-RBF等七種機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型進(jìn)行了對(duì)比分析,以驗(yàn)證KGMRD方法的合理性與有效性。

    1 相關(guān)工作

    近年來,社交媒體的興起加劇了謠言的產(chǎn)生與傳播,謠言對(duì)社會(huì)穩(wěn)定性的影響使得謠言檢測(cè)吸引了大量研究者的注意。早期的謠言檢測(cè)主要依賴于從文本內(nèi)容、用戶信息、傳播結(jié)構(gòu)等方面提取謠言的特征,以對(duì)帶有標(biāo)簽的帖子進(jìn)行分類。這些特征主要是通過人工提取的,屬于勞動(dòng)密集型。如Kwon等人[4]提出了基于文本特征的時(shí)間序列并融合了各種社會(huì)語境信息的謠言檢測(cè)方法。Ma等人[5]用傳播樹模擬了微博帖子的傳播方式,基于內(nèi)核傳播樹Kernel,通過區(qū)分傳播樹結(jié)構(gòu)之間的相似性以達(dá)到區(qū)分不同類型謠言的高階模式。然而這些方法太依賴特征工程,需要大量的人力投入,費(fèi)時(shí)費(fèi)力。

    隨著數(shù)據(jù)量的攀升以及數(shù)據(jù)種類的多樣性,人工提取特征的難度也逐漸加大,為了實(shí)破這個(gè)局限性并學(xué)習(xí)謠言的高級(jí)特征,更多深度學(xué)習(xí)方法被用于挖掘謠言的各種隱藏特征以用于自動(dòng)謠言檢測(cè)。謠言的傳播結(jié)構(gòu)和時(shí)間特征也被考慮以提高謠言檢測(cè)的準(zhǔn)確性。Bi等人[6]從微博信息傳播網(wǎng)絡(luò)的語義信息出發(fā),構(gòu)建其異構(gòu)圖,使用節(jié)點(diǎn)級(jí)注意力結(jié)合微博節(jié)點(diǎn)的鄰居節(jié)點(diǎn)以生成具有特定語義的節(jié)點(diǎn)嵌入,再使用語義級(jí)注意力融合提取到的不同語義,進(jìn)而得到更高級(jí)的語義表示。GCN能夠更好地從圖中或者樹中捕獲全局結(jié)構(gòu)特征,注意力機(jī)制能更好地聚合文本內(nèi)容以從中獲得更加關(guān)鍵的隱藏特征。隨著對(duì)謠言檢測(cè)這一領(lǐng)域的不斷深入研究,也有一些研究者將注意力放在外部知識(shí)上,希望借助外部知識(shí)來增強(qiáng)文本的語義表達(dá),進(jìn)而獲得更高效的表達(dá)。如Castillo等人[7]依據(jù)情感詞典提取了Twitter謠言文本和非謠言文本中的情感詞,進(jìn)而達(dá)到謠言檢測(cè)的目的。還有學(xué)者引入知識(shí)圖譜以補(bǔ)充帖子內(nèi)容,以產(chǎn)生更好的表示用于謠言檢測(cè)。Sun等人[8]使用雙動(dòng)態(tài)GCN對(duì)傳播中的消息動(dòng)態(tài)和背景知識(shí)進(jìn)行融合建模。

    然而這些方法忽略了實(shí)體之間的知識(shí)級(jí)相關(guān)性,無法根據(jù)知識(shí)圖譜中特定的背景語義來捕捉實(shí)體間的高階語義信息,基于此提出了基于知識(shí)圖譜的多特征融合謠言檢測(cè)方法。圖1是針對(duì)謠言案例結(jié)合本文提出的引用外部知識(shí)對(duì)謠言進(jìn)行分析的結(jié)果。

    2 KGMRD模型

    知識(shí)圖譜的多特征融合謠言檢測(cè)模型的總體框架如圖2所示。

    圖2中,首先對(duì)于帖子中的文本,利用知識(shí)蒸餾獲得ConceptNet中關(guān)于文本中實(shí)體的背景知識(shí),并利用GCN提取其嵌入式表達(dá)。接著,利用預(yù)訓(xùn)練模型BERT獲得文本的語義特征。為了獲得增強(qiáng)的語義表達(dá),使用了多頭注意力機(jī)制將實(shí)體與語義信息進(jìn)行聚合;利用外部知識(shí)情感詞典獲得文本的情感特征表示,將其與增強(qiáng)的語義信息表達(dá)進(jìn)行融合;傳播結(jié)構(gòu)的特征提取依賴于基于節(jié)點(diǎn)之間存在評(píng)論-轉(zhuǎn)發(fā)關(guān)系,將源帖或者源微博(推文)、轉(zhuǎn)發(fā)微博、評(píng)論的用戶作為傳播結(jié)構(gòu)圖中的節(jié)點(diǎn),用于構(gòu)造傳播圖。使用GCN提取傳播結(jié)構(gòu)圖中的結(jié)構(gòu)信息,由于原始的傳播結(jié)構(gòu)中包含大量無用或者冗余的節(jié)點(diǎn)或邊,進(jìn)而會(huì)干擾提取出的結(jié)構(gòu)特征。這里使用DropEdge方法隨機(jī)去除冗余的邊和節(jié)點(diǎn),以減少干擾,提取更有效的結(jié)構(gòu)特征,進(jìn)而提高謠言檢測(cè)的準(zhǔn)確度。

    對(duì)于每一個(gè)事件Ei有相應(yīng)的標(biāo)簽Yi與之對(duì)應(yīng),來表示事件的性質(zhì),yi∈{TR,F(xiàn)R} (TR 代表的是謠言,F(xiàn)R代表的不是謠言),在一些數(shù)據(jù)集中,yi還有其他取值(TR,true rumor;FR,false rumor;UF,unverified rumor;NR,non-rumor)。謠言檢測(cè)的目的就是通過學(xué)習(xí)謠言數(shù)據(jù)中的特征并構(gòu)造分類器,根據(jù)學(xué)習(xí)到的特征使用謠言分類器來區(qū)分真實(shí)性未知的微博或推文。

    f:Ei→Yi(1)

    其中:Ei是將要確定的事件;Yi是分類器給出的事件真實(shí)性標(biāo)簽。

    2.1 知識(shí)蒸餾

    知識(shí)圖譜是結(jié)構(gòu)化的數(shù)據(jù)模型,具有描述真實(shí)世界實(shí)體的數(shù)百萬個(gè)條目,例如人、物、地點(diǎn)。知識(shí)圖譜中的實(shí)體表示為圖節(jié)點(diǎn),實(shí)體之間的關(guān)系表示為邊。知識(shí)圖譜已經(jīng)被廣泛用于推薦系統(tǒng)[9]以及對(duì)話生成中。一些方法嘗試將知識(shí)圖譜引入到謠言檢測(cè)中,利用從外部知識(shí)中提取背景知識(shí)信息,以補(bǔ)充語義相關(guān)性來達(dá)到更好的謠言檢測(cè)效果[10~13]。

    2.2 文本語義特征提取

    BERT是一種基于Transformer構(gòu)架的高級(jí)預(yù)訓(xùn)練詞嵌入模型[12],本文使用BERT作為句子編碼器以獲得句子的上下文表示,將其作為文本的語義特征。

    P=BERT-CLS(w1,…,wn)(4)

    2.3 外部知識(shí)增強(qiáng)注意力

    在獲得文本語義特征以及實(shí)體表達(dá)后,為了表征外部知識(shí)的相對(duì)重要性,將文本語義特征序列Pt投影到注意力機(jī)制的Q、K、V向量中,即Q=PWQ,K=PWK,V=PWV。其中W(·)是可訓(xùn)練參數(shù)矩陣,通過這種方法可以得到語義特征和背景知識(shí)更加有效的聚合,其表示如下:

    其中:[;]表示拼接;P′是通過注意力機(jī)制融合的具有更有效表達(dá)的結(jié)果。多頭注意力機(jī)制被用于獲得多頭注意力層的輸入結(jié)果:

    Multihead(P′)=Concat(P′1,P′2,…,P′n)W(6)

    其中:P′是每個(gè)注意力層的輸出;n是注意力層的層數(shù);W是可訓(xùn)練參數(shù)。

    2.4 情感特征提取

    對(duì)于帖子和評(píng)論的向量表示,將其長度控制為L,對(duì)于文本長度大于L的,將其裁剪為L,長度小于L的將其用0向量進(jìn)行填充,使其長度為L。接著對(duì)于長度為L的文本序列C=[c1,c2,c3,…,ci,…,cL],其中ci是文本的第i個(gè)單詞。將這些向量表示輸入到提出的模型中,提取其中的情感特征。

    為了使獲得的情感特征更具有解釋性,使用了情感分類器和情感詞典從文本內(nèi)容中提取特征。給定的文本輸入序列為L,其中ci是文本中的第i個(gè)單詞,目標(biāo)是從文本C中提取情感特征。

    1)情感分類

    對(duì)于情感分類,使用公開的情感分類器去獲得帖子文本的情感分類特征。給定情感分類器Femo和帖子文本C,假設(shè)輸出的維度是df,因此對(duì)文本C的預(yù)測(cè)是Femo(C),從而能夠獲得文本的情感分類特征emocategoryT=Femo(C),其中emocategoryT∈Euclid ExtraaBpdf。

    2)情感詞典

    為了更好地獲得句子的情感表示以及充分利用情感詞典信息,本文將情感詞典加入到情感特征提取任務(wù)中,為模型提供額外的情感特征信息。將情感詞典記為D={d1,d2,…,dm},其中情感詞典D包含m種情感,對(duì)于情感d∈D,情感字典提供了一個(gè)包含L個(gè)情感單詞的單詞表Euclid Math OneFAp={f1,f2,…,fL}。

    在給定文本C的情況下,逐漸將每個(gè)單詞和完整文本在左右情緒中的得分進(jìn)行匯總以豐富表示。

    對(duì)于情緒d,首先計(jì)算單詞級(jí)別的得分score(Ci,d),其中ci是文本序列C中的第i個(gè)單詞,如果單詞ci在詞典Euclid Math OneFAp中,不僅考慮它的出現(xiàn)頻率,還考慮其上下文中的程度詞和否定詞。

    接著對(duì)文本分詞,找出文檔中的情感詞、否定詞以及程度副詞,查看每個(gè)情感詞之前有無否定詞及程度副詞,將它之前的否定詞和程度副詞劃分為一個(gè)組。若有否定詞,則將情感詞的情感權(quán)值乘以否定詞的值,若有程度副詞就乘以其程度值,然后將所有組的得分加起來,大于0的歸于正向情感,小于0的歸于負(fù)向,得分的絕對(duì)值大小反映了文本的消極或積極的程度,通過這種方式獲得每個(gè)單詞的情感得分,其計(jì)算方式如下:

    其中:s是左側(cè)上下文的窗口大?。籲eg(cj)和deg(cj)分別是單詞cj的負(fù)值和程度值,這些可以通過情感詞典查找到。

    將所有獲得的單詞得分score(ci,d)進(jìn)行相加,得到基于文本的情感得分score(C,d),文本情感得分的計(jì)算如下:

    將獲得的文本級(jí)情感得分拼接得到基于情感詞典的情感特征:

    得到這兩種特征后,將所有獲得的不同種類的情感特征進(jìn)行拼接,進(jìn)而得到文本的情感特征emoC,如下所示。

    2.5 傳播結(jié)構(gòu)特征提取

    基于帖子及其轉(zhuǎn)發(fā)和評(píng)論關(guān)系,為其構(gòu)造了帖子的傳播結(jié)構(gòu)圖G〈V,E〉,其中V作為傳播結(jié)構(gòu)圖的節(jié)點(diǎn)集,包含了帖子發(fā)布者和用戶節(jié)點(diǎn),E是傳播結(jié)構(gòu)圖的邊集表示節(jié)點(diǎn)之間有評(píng)論或者轉(zhuǎn)發(fā)行為。由于近年來,卷積模型在圖域中的應(yīng)用越來越廣泛,在現(xiàn)有的卷積模型中,GCN的表現(xiàn)是極有效的模型之一,所以,在模型中采用GCN,其計(jì)算消息傳遞架構(gòu)的方式如下:

    Hk=M(A,Hk-1;Wk-1)(14)

    其中:Hk和Hk-1分別是由第k和第k-1層的卷積層計(jì)算得來的隱藏向量矩陣;M是信息傳播函數(shù);A是傳播結(jié)構(gòu)圖的鄰接矩陣;Wk-1表示可訓(xùn)練的參數(shù)。由ChebNet[14]對(duì)消息傳播函數(shù)的定義可知,式(14)可寫成如下形式:

    由于傳播圖G的節(jié)點(diǎn)多且較為復(fù)雜,為了防止在GCN訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象,同時(shí)為了減少由于過平滑引起的信息缺失,采用了DropEdge機(jī)制在模型訓(xùn)練時(shí)隨機(jī)刪減掉原始圖中的邊。假設(shè)傳播結(jié)構(gòu)圖的總共邊數(shù)為Ne,棄邊率為p,那么DropEdge后的鄰接矩陣A′由以下方式計(jì)算得到:

    A′=A-Adrop(16)

    其中:Adrop是對(duì)G中的邊集E進(jìn)行隨機(jī)采樣后形成的鄰接矩陣;鄰接矩陣中邊的數(shù)目為Ne×p。

    GCN被用于提取謠言的傳播結(jié)構(gòu)特征,傳播圖G的隱藏特征矩陣H1可以由以下公式獲得:

    其中:Hk表示是GCN中的第k層特征;Wk表示參數(shù)矩陣;X是基于傳播樹構(gòu)建的特征矩陣;模型中用ReLU函數(shù)作為激活函數(shù)。

    2.6 分類預(yù)測(cè)

    在獲得了具有情感信息的語義特征和根節(jié)點(diǎn)增強(qiáng)的傳播結(jié)構(gòu)特征之后,將這些特征進(jìn)行拼接,從而獲得融合特征F:

    F=concat(P′,emoc,H)(19)

    3 實(shí)驗(yàn)設(shè)置

    3.1 數(shù)據(jù)集

    為了驗(yàn)證模型的有效性并使實(shí)驗(yàn)結(jié)果具有普遍性,在中文的Weibo數(shù)據(jù)集和兩個(gè)英文的數(shù)據(jù)集Twitter 15、Twitter 16上進(jìn)行實(shí)驗(yàn)。傳播結(jié)構(gòu)圖中的節(jié)點(diǎn)表示用戶的源帖子,邊表示轉(zhuǎn)發(fā)或者評(píng)論關(guān)系。在Weibo數(shù)據(jù)集中有兩種標(biāo)簽,分別是true rumor(TR)和false rumor(FR), 在Twitter數(shù)據(jù)集中有四種標(biāo)簽,分別為true rumor(TR)、false rumor(FR)、unverified rumor(UF)和none rumor(NR)。數(shù)據(jù)集詳細(xì)信息如表1所示。

    3.2 實(shí)驗(yàn)設(shè)置

    在實(shí)驗(yàn)環(huán)節(jié),實(shí)驗(yàn)配置為Windows10、CPU Xeon Gold 6226R×2、128 GB內(nèi)存、NVIDIA Quadro RTX A6000×2。在實(shí)驗(yàn)中用下面的模型作為謠言檢測(cè)模型的基準(zhǔn),與KGMRD方法進(jìn)行了比較分析。

    a)SVM-RBF[15],一種基于SVM并結(jié)合了RBF內(nèi)核的檢測(cè)模型,它是使用了新浪微博的具體特征構(gòu)建的分類器。

    b)RvNN[16]是一種基于樹狀結(jié)構(gòu)RNN的模型,該模型考慮了謠言傳播結(jié)構(gòu)的自上而下和自底向上兩個(gè)方向的特征。

    c)VAE-GCN[17]提出了基于GCN的圖卷積編碼解碼的謠言檢測(cè)模型,學(xué)習(xí)謠言的文本和傳播結(jié)構(gòu)特征以進(jìn)行謠言檢測(cè)。

    d)Bi-GCN[18]是一種基于GCN的謠言檢測(cè)模型,考慮謠言的傳播和擴(kuò)散結(jié)構(gòu),并通過根節(jié)點(diǎn)特征增強(qiáng)來增強(qiáng)節(jié)點(diǎn)表示。

    e)PPC[19]結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的謠言檢測(cè)模型,該模型考慮了用戶特征在傳播路徑上的全局和局部變化。

    f)HAGNN[20]提出基于圖神經(jīng)網(wǎng)絡(luò)的謠言檢測(cè)模型,捕獲不同粒度文本內(nèi)容的高級(jí)表示,融合傳播結(jié)構(gòu)進(jìn)行謠言檢測(cè)。

    g)GCNFEM[21]使用圖卷積網(wǎng)絡(luò)表示謠言傳播樹,以源和響應(yīng)帖子為圖,并根據(jù)隨時(shí)間推移發(fā)現(xiàn)的對(duì)謠言的響應(yīng)來更新節(jié)點(diǎn)表示,進(jìn)而達(dá)到檢測(cè)謠言的目的。

    采用accuracy(ACC)、precision(Prec)、recall(Rec)和F1-score(F1)對(duì)提出的KGMRD方法進(jìn)行性能評(píng)估。在Weibo數(shù)據(jù)集上采用ACC、Prec、Rec和F1;在Twitter 15和Twitter 16數(shù)據(jù)集上采用ACC和F1進(jìn)行評(píng)價(jià)。

    3.3 結(jié)果分析

    在Weibo數(shù)據(jù)集上,將KGMRD方法與經(jīng)典的SVM-RBF等七種基線模型進(jìn)行分析,其實(shí)驗(yàn)結(jié)果如表2所示。

    表2中,KGMRD方法以94.6%的準(zhǔn)確率(ACC)成為對(duì)比的七種模型中表現(xiàn)最好的模型,與最佳基準(zhǔn)相比有1.1%的提升,其中 F1值達(dá)到了94.5%,與最佳基準(zhǔn)相比有0.5%的提升,精確率(Prec)更是達(dá)到了95.9%。因此KGMRD方法整體來說優(yōu)于其他模型。

    在Twitter 15和Twitter 16數(shù)據(jù)集上將KGMRD方法與傳統(tǒng)的SVM-RBF等七種基線模型進(jìn)行了對(duì)比分析,實(shí)驗(yàn)結(jié)果如表3和4所示。

    圖3是KGMRD模型在Twitter16和Weibo數(shù)據(jù)集上的三條樣本案例得到的結(jié)果,模型輸出預(yù)測(cè)概率,經(jīng)過分類器映射得到false或true的結(jié)果,將輸出結(jié)果與真實(shí)標(biāo)簽對(duì)比,表明提出的模型對(duì)Text(1)~Text(3)的預(yù)測(cè)均準(zhǔn)確。

    表3、4中,KGMRD方法在Twitter 15和Twitter 16兩個(gè)數(shù)據(jù)集上以88.7%和89.5%的準(zhǔn)確率成為表現(xiàn)最好的模型,與基線中表現(xiàn)最好的HAGNN模型的準(zhǔn)確率相比分別有2.2%和2.1%的提升。此外,從表3和4可以看到,KGMRD在兩個(gè)數(shù)據(jù)集上的TR指標(biāo)分別達(dá)到了89.3%和92.2%,在NR、FR和UR上的精確率也都能達(dá)到85%以上。

    通過表2~4可以看出,與SVM-RBF等模型相比,KGMRD及GRU、PPC等模型在一系列評(píng)價(jià)指標(biāo)上均有較大的提升,且都達(dá)到了88%以上的準(zhǔn)確率,表明了基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)檢測(cè)方法在原理上大幅優(yōu)于基于傳統(tǒng)機(jī)器學(xué)習(xí)的檢測(cè)方法,證明了神經(jīng)網(wǎng)絡(luò)模型在不依賴于特征工程的同時(shí),有著更好的謠言特征提取能力。在五個(gè)深度學(xué)習(xí)檢測(cè)模型中, KGMRD、VAE-GCN和Bi-GCN等結(jié)合了GCN來提取謠言的傳播結(jié)構(gòu)特征,在檢測(cè)精度上優(yōu)于其他三個(gè)模型,表明了以圖結(jié)構(gòu)來對(duì)傳播過程進(jìn)行建模并以圖卷積神經(jīng)網(wǎng)絡(luò)來提取謠言在傳播過程中的結(jié)構(gòu)特征是有效的。KGMRD利用外部知識(shí)增強(qiáng)文本的語義特征表達(dá)的謠言檢測(cè)模型,在各項(xiàng)指標(biāo)上優(yōu)于其他模型,表明了通過外部知識(shí)增強(qiáng)文本語義對(duì)于提升謠言檢測(cè)的精度是合理有效的??傮w上,KGMRD方法在不同程度上均優(yōu)于其他的傳統(tǒng)機(jī)器學(xué)習(xí)及深度學(xué)習(xí)七種模型。

    3.4 消融實(shí)驗(yàn)

    為了驗(yàn)證KGMRD方法中各個(gè)模塊的有效性,設(shè)計(jì)了相應(yīng)的消融實(shí)驗(yàn)。消融實(shí)驗(yàn)的模型如下:

    a)KGMRD/KGA:去掉模型中的知識(shí)圖譜和注意力機(jī)制模塊,即將語義特征、情感特征和傳播結(jié)構(gòu)特征相結(jié)合進(jìn)行謠言檢測(cè)。

    b)KGMRD/GCN:去掉模型中的知識(shí)圖譜和注意力機(jī)制模塊,即不考慮帖子的傳播結(jié)構(gòu),將使用注意力機(jī)制聚合了外部知識(shí)而獲得的增強(qiáng)語義特征與情感特征融合進(jìn)行謠言檢測(cè)。

    c)KGMRD/E:去掉模型中的情感特征提取模塊,即增強(qiáng)的語義特征與傳播結(jié)構(gòu)特征相結(jié)合進(jìn)行謠言檢測(cè)。

    在Weibo、Twitter 15、Twitter 16數(shù)據(jù)集上對(duì)以上三種模型進(jìn)行驗(yàn)證,以衡量不同模塊的性能和合理性,并與KGMRD模型進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如圖4所示。圖4是四種模型在Twitter 15、Twitter16數(shù)據(jù)集上的結(jié)果。圖5是以上四個(gè)模型針對(duì)兩條不同的謠言樣本案例Text(1)和Text(2)進(jìn)行概率預(yù)測(cè)。從圖4和5中可以看出,與其他三種模型相比,模型KGMRD有更好的表現(xiàn),進(jìn)而證實(shí)了模型各模塊的有效性。

    3.5 早期檢測(cè)

    由于隨著時(shí)間的增加,謠言擴(kuò)散的范圍會(huì)越來越廣,產(chǎn)生的負(fù)面影響也會(huì)越來越大,所以盡早地檢測(cè)出謠言的存在并抑制其傳播非常重要,對(duì)謠言的早期發(fā)現(xiàn)能力也成為衡量謠言檢測(cè)效果的一個(gè)重要指標(biāo)。為了驗(yàn)證該模型對(duì)謠言早期檢測(cè)的有效性,在三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)過程中設(shè)置了一系列的檢測(cè)截止日期,并對(duì)從釋放時(shí)間到截止日期時(shí)間的數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)。早期檢測(cè)結(jié)果如圖6所示。

    圖6(a)~(c)分別顯示了KGMRD方法與傳統(tǒng)的機(jī)器學(xué)習(xí)方法DTC、SVM-RBF等,以及深度學(xué)習(xí)方法PPC等模型在Weibo、Twitter 15和Twitter 16數(shù)據(jù)集上,當(dāng)設(shè)置不同截至?xí)r間的情況下的性能對(duì)比。圖6顯示,KGMRD方法在源帖早期就達(dá)到了較高的準(zhǔn)確率。此外,在每個(gè)截止時(shí)間,本文提出的模型都明顯優(yōu)于其他模型,表明KGMRD方法不僅有利于長期的謠言檢測(cè),而且有助于謠言的早期檢測(cè)。

    4 結(jié)束語

    本文利用外部知識(shí)中的信息提出了一種自動(dòng)謠言檢測(cè)方法KGMRD??紤]了帖子中的實(shí)體信息與外部知識(shí)的鏈接,結(jié)合注意力機(jī)制將兩者更好地聚合以得到增強(qiáng)的語義特征,提取帖子中的情感特征,考慮帖子傳播結(jié)構(gòu)特征;將增強(qiáng)的語義特征與情感特征以及結(jié)構(gòu)特征融合,進(jìn)而得到融合特征并進(jìn)行謠言檢測(cè)。為了評(píng)估KGMRD模型的合理性、有效性,在Weibo、Twitter 15和Twitter 16數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),對(duì)比SVM-RBF等七種不同的模型;為了驗(yàn)證各個(gè)模塊的有效性,在三個(gè)數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,KGMRD方法綜合來說優(yōu)于傳統(tǒng)的SVM-RBF等七種基線模型,全面論證了KGMRD方法的合理性與有效性。

    下一步將考慮從源帖的圖片、音頻、視頻等不同的模態(tài)信息中提取謠言特征,實(shí)現(xiàn)多模態(tài)謠言檢測(cè)。

    參考文獻(xiàn):

    [1]Miró-Llinares F,Aguerri J C. Misinformation about fake news: a systematic critical review of empirical studies on the phenomenon and its status as a ‘threat [J]. European Journal of Criminology,2023,20(1): 356-374.

    [2]Vosoughi S,Roy D,Aral S. The spread of true and false news online [J]. Science,2018,359(6380): 1146-1151.

    [3]龐源餛,張宇山. 句子級(jí)狀態(tài)下 LSTM 對(duì)謠言鑒別的研究 [J]. 計(jì)算機(jī)應(yīng)用研究,2022,39(4): 2038-2041 (Pang Yuanhun,Zhang Yushan. Rumor identification research based on sentence-state LSTM[J]. Application Research of Computers,2022,39(4): 2038-2041.)

    [4]Kwon S J,Cha M Y,Jung K M,et al. Prominent features of rumor propagation in online social media

    [C]// Proc of the 13th IEEE International Conference on Data Mining. Piscataway,NJ:IEEE Press,2013: 1103-1108.

    [5]Ma Jing,Gao Wei,Wong K F. Detect rumors in microblog posts using propagation structure via kernel learning [C]//Proc of the 55th Annual Meeting of the Association for Computational Linguistics (Vo-lume 1: Long Papers).Stroudsburg,PA:Association for Computational Linguistics,2017: 708-717.

    [6]Bi Bei,Wang Yaojun,Zhang Haicang,et al. Microblog-HAN: a micro-blog rumor detection model based on heterogeneous graph attention network [J]. PLoS One,2022,17(4): 12-20.

    [7]Castillo C,Mendoza M,Poblete B. Information credibility on Twitter [C]// Proc of the 20th International Conference on World Wide Web. New York: ACM Press,2011: 675-684.

    [8]Sun Mengzhu,Zhang Xi,Zheng Jiaqi,et al. DDGCN: dual dynamic graph convolutional networks for rumor detection on social media [C]// Proc of AAAI Conference on Artificial Intelligence. Palo Alto,CA: AAAI Press,2022: 4611-4619.

    [9]Zhang Chengyang,Huang Xianying,An Jiahao. MACR: multi-information augmented conversational recommender [J]. Expert Systems with Applications,2023,213: 118981.

    [10]郭秋實(shí),李晨曦,劉金碩. 引入知識(shí)表示的圖卷積網(wǎng)絡(luò)謠言檢測(cè)方法 [J]. 計(jì)算機(jī)應(yīng)用研究,2022,39(7): 2032-2036. (Guo Qiu-shi,Li Chenxi,Liu Jinshuo. Rumor detection with knowledge representation and graph convolutional network [J]. Application Research of Computers,2022,39(7): 2032-2036.)

    [11]Speer R,Chin J,Havasi C. ConceptNet 5.5: an open multilingual graph of general knowledge[C]//Proc of the 31st AAAI Conference on Artificial Intelligence. Palo Alto,CA:AAAI Press,2017:4444-4451.

    [12]Dun Yaqian,Tu Kefei,Chen Chen,et al. KAN: knowledge-aware attention network for fake news detection [C]// Proc of AAAI Confe-rence on Artificial Intelligence. Palo Alto,CA:AAAI Press,2021: 81-89.

    [13]Tseng Yuwen,Yang Huikuo,Wang Weiyao,et al. KAHAN: know-ledge-aware hierarchical attention network for fake news detection on social media [C]// Companion Proceedings of the Web Conference 2022. New York: ACM Press,2022: 868-875.

    [14]Welling M,Kipf T N. Semi-supervised classification with graph convo-lutional networks [EB/OL]. (2017-02-22). https://arxiv.org/abs/1609.02907.

    [15]Yang Fan,Liu Yang,Yu Xiaohui,et al. Automatic detection of rumor on Sina Weibo [C]// Proc of ACM SIGKDD Workshop on Mining Data Semantics. New York: ACM Press,2012: 1-7.

    [16]Ma Jing,Gao Wei,Wong K F. Rumor detection on Twitter with tree-structured recursive neural networks [C]// Proc of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg,PA: ACL Press,2018:1980-1989.

    [17]Lin Hongbin,Zhang Xi,F(xiàn)u Xianghua. A graph convolutional encoder and decoder model for rumor detection [C]// Proc of the 7th IEEE International Conference on Data Science and Advanced Analytics. Piscataway,NJ:IEEE Press,2020: 300-306.

    [18]Bian Tian,Xiao Xi,Xu Tingyang,et al. Rumor detection on social media with bi-directional graph convolutional networks [C]// Proc of AAAI Conference on Artificial Intelligence. Palo Alto,CA:AAAI Press,2020: 549-556.

    [19]Liu Yang,Wu Yifang. Early detection of fake news on social media through propagation path classification with recurrent and convolutio-nal networks [C]// Proc of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto,CA:AAAI Press,2018: 354-361.

    [20]Xu Shouzhi,Liu Xiaodi,Ma Kai,et al. Rumor detection on social media using hierarchically aggregated feature via graph neural networks [J].Applied Intelligence,2022,53:3136-3149.

    [21]Thota N R,Sun Xiaoyan,Dai Jun. Early rumor detection in social media based on graph convolutional networks [C]// Proc of International Conference on Computing,Networking and Communications. Piscataway,NJ: IEEE Press,2023: 516-522.

    欧美日韩中文字幕国产精品一区二区三区| 中文字幕av在线有码专区| 国产欧美日韩精品亚洲av| av免费在线观看网站| 老司机深夜福利视频在线观看| 国内精品久久久久精免费| 一进一出抽搐动态| 欧美成人一区二区免费高清观看 | 久久这里只有精品中国| 国产精品98久久久久久宅男小说| 午夜久久久久精精品| 真人一进一出gif抽搐免费| 男女床上黄色一级片免费看| 久久欧美精品欧美久久欧美| 老司机在亚洲福利影院| 亚洲自偷自拍图片 自拍| 欧美乱码精品一区二区三区| 欧美一级毛片孕妇| 99久久精品国产亚洲精品| 久久精品国产亚洲av香蕉五月| 国产精品乱码一区二三区的特点| 人人妻人人看人人澡| 欧美色欧美亚洲另类二区| 久久精品国产亚洲av高清一级| 亚洲七黄色美女视频| 桃红色精品国产亚洲av| 久久午夜亚洲精品久久| 丰满的人妻完整版| 国产一区在线观看成人免费| 精品高清国产在线一区| 丰满人妻熟妇乱又伦精品不卡| 国产真实乱freesex| 亚洲人成77777在线视频| 欧美黑人精品巨大| 日韩欧美精品v在线| 亚洲第一欧美日韩一区二区三区| 啦啦啦免费观看视频1| 一进一出抽搐gif免费好疼| 91在线观看av| 中出人妻视频一区二区| 欧美成人性av电影在线观看| 亚洲av美国av| 色噜噜av男人的天堂激情| 亚洲成人精品中文字幕电影| 成人一区二区视频在线观看| 国产精品久久久久久人妻精品电影| 999久久久国产精品视频| 亚洲国产日韩欧美精品在线观看 | 欧美日韩瑟瑟在线播放| 国产精品亚洲美女久久久| 99riav亚洲国产免费| 18美女黄网站色大片免费观看| 亚洲aⅴ乱码一区二区在线播放 | 日本三级黄在线观看| 欧美成人免费av一区二区三区| 久9热在线精品视频| 国产精品综合久久久久久久免费| 亚洲专区字幕在线| 狂野欧美白嫩少妇大欣赏| 欧美性猛交黑人性爽| 国产精品一及| 久久婷婷人人爽人人干人人爱| 亚洲无线在线观看| 国产真人三级小视频在线观看| 一级黄色大片毛片| 在线观看舔阴道视频| av在线天堂中文字幕| 十八禁网站免费在线| 亚洲国产精品sss在线观看| 91字幕亚洲| 国产一级毛片七仙女欲春2| 人人妻,人人澡人人爽秒播| 色老头精品视频在线观看| 国产熟女午夜一区二区三区| 亚洲黑人精品在线| 1024香蕉在线观看| 亚洲激情在线av| 免费av毛片视频| 性欧美人与动物交配| 成人三级黄色视频| 国产精品一及| 久久国产精品影院| 一二三四在线观看免费中文在| 777久久人妻少妇嫩草av网站| 人人妻人人看人人澡| 国产午夜精品论理片| 老司机午夜十八禁免费视频| 久久中文字幕一级| 亚洲成人免费电影在线观看| 色av中文字幕| 国产精品九九99| 老汉色∧v一级毛片| 色尼玛亚洲综合影院| www.www免费av| 哪里可以看免费的av片| ponron亚洲| 真人做人爱边吃奶动态| 色综合欧美亚洲国产小说| 桃红色精品国产亚洲av| 国产高清有码在线观看视频 | 亚洲国产精品合色在线| 国产欧美日韩一区二区精品| 舔av片在线| 19禁男女啪啪无遮挡网站| 日韩欧美 国产精品| 成人18禁高潮啪啪吃奶动态图| 午夜激情福利司机影院| 亚洲av第一区精品v没综合| 一本综合久久免费| 日本一区二区免费在线视频| 成在线人永久免费视频| 日韩 欧美 亚洲 中文字幕| 精品国产超薄肉色丝袜足j| 成人一区二区视频在线观看| 真人一进一出gif抽搐免费| 国产精品一区二区三区四区久久| 怎么达到女性高潮| 国产精品美女特级片免费视频播放器 | 国产精品精品国产色婷婷| 欧美三级亚洲精品| 国产精品98久久久久久宅男小说| 国产激情偷乱视频一区二区| 熟女少妇亚洲综合色aaa.| 岛国在线免费视频观看| 亚洲成人精品中文字幕电影| 亚洲熟女毛片儿| 久久精品国产综合久久久| 成人18禁在线播放| 亚洲色图 男人天堂 中文字幕| cao死你这个sao货| 婷婷精品国产亚洲av在线| 最好的美女福利视频网| 国产精品1区2区在线观看.| 成人欧美大片| 99久久综合精品五月天人人| 别揉我奶头~嗯~啊~动态视频| 日韩av在线大香蕉| 亚洲男人天堂网一区| 少妇人妻一区二区三区视频| 动漫黄色视频在线观看| 日韩国内少妇激情av| 91九色精品人成在线观看| 淫妇啪啪啪对白视频| 免费看日本二区| 精品欧美国产一区二区三| 丝袜美腿诱惑在线| 亚洲,欧美精品.| 亚洲国产精品sss在线观看| 夜夜看夜夜爽夜夜摸| 成人永久免费在线观看视频| 久久午夜综合久久蜜桃| 一卡2卡三卡四卡精品乱码亚洲| 两性夫妻黄色片| 色播亚洲综合网| 男女下面进入的视频免费午夜| 精品少妇一区二区三区视频日本电影| 91在线观看av| 99久久国产精品久久久| 中文字幕熟女人妻在线| а√天堂www在线а√下载| 90打野战视频偷拍视频| 亚洲国产欧洲综合997久久,| 欧美日本亚洲视频在线播放| 在线国产一区二区在线| 看片在线看免费视频| 91麻豆av在线| 高清毛片免费观看视频网站| 国产精品av久久久久免费| 欧美午夜高清在线| 亚洲av成人不卡在线观看播放网| 欧美三级亚洲精品| 久久久久免费精品人妻一区二区| 亚洲天堂国产精品一区在线| 国产激情久久老熟女| 很黄的视频免费| 嫁个100分男人电影在线观看| 亚洲七黄色美女视频| 亚洲中文av在线| 久久久久久久午夜电影| 一个人免费在线观看电影 | 欧美国产日韩亚洲一区| 成年免费大片在线观看| 桃色一区二区三区在线观看| 欧美色视频一区免费| 成年人黄色毛片网站| 日本一二三区视频观看| 99久久无色码亚洲精品果冻| 俄罗斯特黄特色一大片| 亚洲国产欧洲综合997久久,| 宅男免费午夜| 国产黄a三级三级三级人| 岛国视频午夜一区免费看| 1024香蕉在线观看| 午夜a级毛片| 亚洲av美国av| www.999成人在线观看| 精品国产美女av久久久久小说| 亚洲乱码一区二区免费版| 国产野战对白在线观看| 久久久国产欧美日韩av| 欧美成人午夜精品| 亚洲一区二区三区色噜噜| 在线a可以看的网站| 国产精品一区二区三区四区免费观看 | 亚洲国产中文字幕在线视频| 国产av又大| 88av欧美| 男女下面进入的视频免费午夜| 久久久久久九九精品二区国产 | 又粗又爽又猛毛片免费看| 成人18禁高潮啪啪吃奶动态图| 日本在线视频免费播放| 欧美日韩一级在线毛片| 中亚洲国语对白在线视频| 国产在线观看jvid| 亚洲专区国产一区二区| 国产乱人伦免费视频| 非洲黑人性xxxx精品又粗又长| 久久中文字幕一级| 黄色视频,在线免费观看| 欧美av亚洲av综合av国产av| 色在线成人网| 国产亚洲精品第一综合不卡| 国内少妇人妻偷人精品xxx网站 | av欧美777| 免费在线观看影片大全网站| 一级毛片女人18水好多| 丰满人妻熟妇乱又伦精品不卡| 精品无人区乱码1区二区| 久久九九热精品免费| 又大又爽又粗| а√天堂www在线а√下载| 在线观看美女被高潮喷水网站 | 国产视频一区二区在线看| 国产亚洲精品久久久久久毛片| 成人亚洲精品av一区二区| 国产日本99.免费观看| 亚洲色图 男人天堂 中文字幕| 欧美黑人欧美精品刺激| 亚洲激情在线av| 免费av毛片视频| 他把我摸到了高潮在线观看| 欧美黄色片欧美黄色片| 亚洲性夜色夜夜综合| 精品国产美女av久久久久小说| 亚洲 欧美 日韩 在线 免费| 国产亚洲精品第一综合不卡| 两个人的视频大全免费| 亚洲熟女毛片儿| 一区二区三区激情视频| 精品一区二区三区视频在线观看免费| 嫩草影视91久久| 18禁观看日本| 男女午夜视频在线观看| 亚洲欧美日韩无卡精品| 日本 av在线| 美女大奶头视频| 久久久久久九九精品二区国产 | 久久九九热精品免费| 一进一出抽搐动态| 久久久精品国产亚洲av高清涩受| 特大巨黑吊av在线直播| 老司机福利观看| 国产97色在线日韩免费| 国产成人欧美在线观看| 久久伊人香网站| 国产成人av激情在线播放| 在线国产一区二区在线| 欧美 亚洲 国产 日韩一| 久热爱精品视频在线9| 亚洲国产精品合色在线| 妹子高潮喷水视频| 成人国产一区最新在线观看| 美女免费视频网站| 村上凉子中文字幕在线| 午夜福利在线在线| 日韩成人在线观看一区二区三区| 亚洲av成人不卡在线观看播放网| 在线视频色国产色| 亚洲国产看品久久| 欧美午夜高清在线| 在线免费观看的www视频| 黄色女人牲交| 男女床上黄色一级片免费看| 色播亚洲综合网| 制服诱惑二区| 午夜精品久久久久久毛片777| 18禁裸乳无遮挡免费网站照片| 精品国产亚洲在线| 搞女人的毛片| 超碰成人久久| 欧美午夜高清在线| 欧美高清成人免费视频www| 岛国视频午夜一区免费看| 男人舔女人下体高潮全视频| 夜夜夜夜夜久久久久| 国内毛片毛片毛片毛片毛片| 亚洲精品中文字幕一二三四区| 国产人伦9x9x在线观看| 夜夜躁狠狠躁天天躁| 国产伦在线观看视频一区| 亚洲va日本ⅴa欧美va伊人久久| 国产69精品久久久久777片 | 狠狠狠狠99中文字幕| 久久久国产精品麻豆| 国内揄拍国产精品人妻在线| 欧美黄色片欧美黄色片| 哪里可以看免费的av片| 此物有八面人人有两片| 精品人妻1区二区| 亚洲专区国产一区二区| 在线国产一区二区在线| 757午夜福利合集在线观看| 欧美+亚洲+日韩+国产| 亚洲一区中文字幕在线| 久久久久久久久中文| 日日摸夜夜添夜夜添小说| 欧美乱码精品一区二区三区| 日韩精品中文字幕看吧| 久久久久国产精品人妻aⅴ院| 又紧又爽又黄一区二区| 午夜福利高清视频| 亚洲成人国产一区在线观看| 久久天躁狠狠躁夜夜2o2o| 午夜免费激情av| 国产单亲对白刺激| 亚洲精品av麻豆狂野| 黑人操中国人逼视频| 国内精品一区二区在线观看| 日韩免费av在线播放| 日韩欧美国产一区二区入口| 亚洲人与动物交配视频| 91av网站免费观看| 18禁裸乳无遮挡免费网站照片| 亚洲国产看品久久| 无遮挡黄片免费观看| 亚洲av中文字字幕乱码综合| 久热爱精品视频在线9| 成人av一区二区三区在线看| 亚洲国产欧美网| 日韩中文字幕欧美一区二区| 欧美av亚洲av综合av国产av| 哪里可以看免费的av片| 亚洲黑人精品在线| 无人区码免费观看不卡| 精品日产1卡2卡| 校园春色视频在线观看| 一区二区三区国产精品乱码| 免费无遮挡裸体视频| 999精品在线视频| 国产免费av片在线观看野外av| 国产一区二区在线av高清观看| 欧美性猛交黑人性爽| 日本一二三区视频观看| 国产日本99.免费观看| 国产av一区在线观看免费| 欧洲精品卡2卡3卡4卡5卡区| 欧美极品一区二区三区四区| 91老司机精品| 亚洲熟女毛片儿| 成人三级黄色视频| 91麻豆精品激情在线观看国产| 天堂√8在线中文| 久久亚洲真实| 欧美色欧美亚洲另类二区| 午夜成年电影在线免费观看| 看免费av毛片| 亚洲精品一卡2卡三卡4卡5卡| 欧美一区二区精品小视频在线| 亚洲真实伦在线观看| 亚洲美女视频黄频| 精品免费久久久久久久清纯| 99久久国产精品久久久| 99热这里只有精品一区 | 亚洲中文字幕一区二区三区有码在线看 | 国产视频内射| 黄色a级毛片大全视频| 女同久久另类99精品国产91| 亚洲 国产 在线| 婷婷亚洲欧美| 国产主播在线观看一区二区| 99在线人妻在线中文字幕| 精品免费久久久久久久清纯| 大型av网站在线播放| 一级作爱视频免费观看| 久久草成人影院| 黄色毛片三级朝国网站| 动漫黄色视频在线观看| 亚洲专区国产一区二区| 欧美日韩亚洲国产一区二区在线观看| 亚洲av片天天在线观看| 人妻夜夜爽99麻豆av| 天天躁夜夜躁狠狠躁躁| 国产高清视频在线播放一区| 久久国产乱子伦精品免费另类| 在线免费观看的www视频| 最近最新中文字幕大全免费视频| 久99久视频精品免费| 丁香六月欧美| 一级毛片精品| 久久精品亚洲精品国产色婷小说| 国产精品乱码一区二三区的特点| 精品人妻1区二区| 免费在线观看完整版高清| 一个人免费在线观看电影 | 久久午夜综合久久蜜桃| 中文字幕av在线有码专区| 少妇熟女aⅴ在线视频| 久久精品夜夜夜夜夜久久蜜豆 | 女人爽到高潮嗷嗷叫在线视频| 又黄又爽又免费观看的视频| 999精品在线视频| 巨乳人妻的诱惑在线观看| 久久中文看片网| 男女之事视频高清在线观看| 久久亚洲真实| 亚洲第一欧美日韩一区二区三区| 在线观看日韩欧美| 又爽又黄无遮挡网站| 午夜久久久久精精品| 最新在线观看一区二区三区| 夜夜躁狠狠躁天天躁| 国产熟女xx| 又粗又爽又猛毛片免费看| 久久精品影院6| 极品教师在线免费播放| 1024手机看黄色片| 欧美日韩亚洲国产一区二区在线观看| 成熟少妇高潮喷水视频| 50天的宝宝边吃奶边哭怎么回事| 亚洲专区字幕在线| 老司机靠b影院| 12—13女人毛片做爰片一| www日本在线高清视频| 国产aⅴ精品一区二区三区波| 亚洲 欧美一区二区三区| 黑人巨大精品欧美一区二区mp4| 欧美黑人精品巨大| 日本免费一区二区三区高清不卡| 日韩欧美一区二区三区在线观看| 一进一出抽搐gif免费好疼| 欧美日本亚洲视频在线播放| 九九热线精品视视频播放| 男人的好看免费观看在线视频 | 级片在线观看| 欧美 亚洲 国产 日韩一| 亚洲 国产 在线| 久久精品影院6| 久久久国产成人免费| 午夜激情福利司机影院| 国产精品久久电影中文字幕| 人人妻人人看人人澡| 黄色 视频免费看| av国产免费在线观看| 久久久久久国产a免费观看| 欧美成人一区二区免费高清观看 | 久久久水蜜桃国产精品网| 亚洲国产欧美一区二区综合| 麻豆国产av国片精品| 久久伊人香网站| 在线观看一区二区三区| 国产欧美日韩一区二区三| 少妇裸体淫交视频免费看高清 | 国产精品影院久久| 久久中文看片网| 日本一二三区视频观看| 麻豆av在线久日| 亚洲男人的天堂狠狠| 欧美性长视频在线观看| 999久久久国产精品视频| 国产97色在线日韩免费| 日日摸夜夜添夜夜添小说| 级片在线观看| 日本五十路高清| 俺也久久电影网| 一本综合久久免费| 中文字幕人妻丝袜一区二区| 亚洲第一欧美日韩一区二区三区| 精品一区二区三区视频在线观看免费| 亚洲九九香蕉| 欧美大码av| 欧美在线黄色| 天堂av国产一区二区熟女人妻 | 久久国产乱子伦精品免费另类| 亚洲av成人一区二区三| 黄色视频不卡| 亚洲熟女毛片儿| 亚洲,欧美精品.| 久久亚洲真实| 久久久国产成人免费| 黄色a级毛片大全视频| 久久国产乱子伦精品免费另类| 国产黄色小视频在线观看| 成人三级做爰电影| 18美女黄网站色大片免费观看| 亚洲第一电影网av| av免费在线观看网站| www.自偷自拍.com| 日本精品一区二区三区蜜桃| 黄色女人牲交| 99国产综合亚洲精品| 最近在线观看免费完整版| 久久久久久久久免费视频了| ponron亚洲| 精品国产乱码久久久久久男人| 91国产中文字幕| 亚洲av成人精品一区久久| 亚洲 欧美 日韩 在线 免费| 视频区欧美日本亚洲| 亚洲欧美日韩高清专用| 好看av亚洲va欧美ⅴa在| 亚洲电影在线观看av| 亚洲片人在线观看| 中亚洲国语对白在线视频| 老司机福利观看| 久热爱精品视频在线9| 丁香欧美五月| 亚洲av熟女| 国产久久久一区二区三区| 国产精品一区二区精品视频观看| 啦啦啦免费观看视频1| 大型av网站在线播放| 国产成人啪精品午夜网站| 身体一侧抽搐| 久久久水蜜桃国产精品网| 国产亚洲av嫩草精品影院| 久久精品国产99精品国产亚洲性色| 国产伦在线观看视频一区| 午夜激情av网站| 日本黄大片高清| 91成年电影在线观看| 制服诱惑二区| 亚洲av片天天在线观看| 国产av在哪里看| 在线观看美女被高潮喷水网站 | 人人妻,人人澡人人爽秒播| 国产一区二区激情短视频| 在线看三级毛片| 岛国在线观看网站| www.999成人在线观看| 国产97色在线日韩免费| 啦啦啦观看免费观看视频高清| 欧美不卡视频在线免费观看 | 无限看片的www在线观看| 国产一区二区三区视频了| 国产精品,欧美在线| 欧美性猛交黑人性爽| 黄色丝袜av网址大全| 亚洲最大成人中文| 欧美黑人欧美精品刺激| 国产视频内射| 成年版毛片免费区| 国产亚洲欧美在线一区二区| 毛片女人毛片| 一本大道久久a久久精品| 久久中文看片网| 国产日本99.免费观看| 亚洲va日本ⅴa欧美va伊人久久| 国产蜜桃级精品一区二区三区| 亚洲一码二码三码区别大吗| 欧美久久黑人一区二区| 人人妻,人人澡人人爽秒播| 亚洲aⅴ乱码一区二区在线播放 | 国产1区2区3区精品| 男女午夜视频在线观看| a在线观看视频网站| 亚洲中文日韩欧美视频| 日韩精品免费视频一区二区三区| 精品熟女少妇八av免费久了| 成人国产综合亚洲| 男女床上黄色一级片免费看| 久99久视频精品免费| 欧美日韩精品网址| 亚洲中文av在线| 天堂影院成人在线观看| 欧美又色又爽又黄视频| 男女视频在线观看网站免费 | 成人高潮视频无遮挡免费网站| 少妇被粗大的猛进出69影院| 99精品久久久久人妻精品| 亚洲国产中文字幕在线视频| 国产三级中文精品| 日韩av在线大香蕉| 久久久久久久久中文| 两个人免费观看高清视频| 国产成人一区二区三区免费视频网站| 国产精品99久久99久久久不卡| 欧美av亚洲av综合av国产av| 日韩高清综合在线| 人人妻人人看人人澡| 亚洲av美国av| 老司机午夜福利在线观看视频| 国产视频一区二区在线看| 成人欧美大片| 婷婷六月久久综合丁香| 国产亚洲欧美98| 我的老师免费观看完整版| 在线观看美女被高潮喷水网站 | 成熟少妇高潮喷水视频| 欧美黑人精品巨大| 一进一出抽搐动态| 日韩国内少妇激情av| 午夜福利高清视频| 亚洲中文av在线| 99久久综合精品五月天人人| 999久久久国产精品视频| 久久久久九九精品影院| 在线十欧美十亚洲十日本专区| 国产一区二区三区在线臀色熟女| 国产99久久九九免费精品| 国产免费av片在线观看野外av| 婷婷丁香在线五月| 国产精品亚洲一级av第二区| а√天堂www在线а√下载| 欧美最黄视频在线播放免费|