• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多模態(tài)Transformer的虛假新聞檢測研究

    2024-01-03 09:10:10王震宇朱學(xué)芳
    情報學(xué)報 2023年12期
    關(guān)鍵詞:集上模態(tài)特征

    王震宇,朱學(xué)芳

    (南京大學(xué)信息管理學(xué)院,南京 210023)

    0 引 言

    近年來,移動智能設(shè)備的迅速發(fā)展改變了人們獲取信息的方式,社交媒體已經(jīng)成為人們?yōu)g覽信息、表達(dá)和交流意見的主要渠道。隨著微博、Twit‐ter、抖音等應(yīng)用程序的用戶數(shù)量大幅上升,社交媒體平臺上存在的信息數(shù)據(jù)也呈現(xiàn)爆發(fā)式增長。虛假新聞[1]常被定義為“故意、可證實(shí)為虛假并可能誤導(dǎo)讀者的新聞文章”,由于用戶不會驗(yàn)證其發(fā)布或轉(zhuǎn)發(fā)信息的真實(shí)性,造成了大量虛假新聞的廣泛傳播。如果沒有恰當(dāng)?shù)谋O(jiān)管,那么這些虛假新聞很可能會誤導(dǎo)更多的讀者,甚至造成惡劣的社會影響,因此,針對社交媒體平臺上的虛假新聞檢測研究已經(jīng)成為一個新的研究熱點(diǎn)。

    為了遏制虛假新聞的傳播,社交媒體平臺做了許多嘗試。早期主要是通過邀請相關(guān)領(lǐng)域的專家或機(jī)構(gòu)對用戶發(fā)布的虛假新聞進(jìn)行確認(rèn),這種方法費(fèi)時、費(fèi)力且無法應(yīng)對指數(shù)式增長的信息數(shù)據(jù),當(dāng)前自動化虛假新聞檢測方法受到了廣泛關(guān)注?,F(xiàn)有的自動化虛假新聞檢測方法可以歸納為傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法兩類。其中,傳統(tǒng)機(jī)器學(xué)習(xí)方法包括支持向量機(jī)(support vector machine,SVM)[2]和決策樹[3]等,這些方法依賴于從新聞相關(guān)信息中手工提取的特征。然而,虛假新聞的內(nèi)容十分復(fù)雜,難以依靠手工提取到足夠的有效特征,深度學(xué)習(xí)方法利用神經(jīng)網(wǎng)絡(luò)充當(dāng)特征提取器,能夠從原始數(shù)據(jù)中自動提取特征。例如,Ma等[4]利用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)從新聞的文本和社會背景中學(xué)習(xí)隱藏表示;Yu等[5]利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)從虛假新聞中提取關(guān)鍵特征和特征高階交互關(guān)系。但是,上述方法通常只關(guān)注新聞中的文本信息,而忽略了其他模態(tài)的信息(如圖像),這些信息對提升虛假新聞檢測性能同樣十分關(guān)鍵。圖1是Twitter數(shù)據(jù)集中關(guān)于臺風(fēng)桑迪的虛假新聞示例,其中圖片是經(jīng)過處理的,結(jié)合圖像信息和文本信息有助于對虛假新聞進(jìn)行檢測。

    圖1 Twitter虛假新聞示例

    隨著深度神經(jīng)網(wǎng)絡(luò)在各種非線性表示學(xué)習(xí)任務(wù)中不斷取得突破,許多多模態(tài)表示學(xué)習(xí)任務(wù)也開始使用深度學(xué)習(xí)方法提取特征,其中包括多模態(tài)虛假新聞檢測。Wang等[6]提出了事件對抗神經(jīng)網(wǎng)絡(luò)(event adversarial neural network,EANN),該模型能夠在提取虛假新聞中多模態(tài)特征的同時刪除特定于某個事件的特征。Khattar等[7]提出了多模態(tài)變分自編碼器(multimodal variational auto encoder,MVAE)來提取新聞中的多模態(tài)特征,并將提取到的特征分別送入解碼器和分類器中用于重建原始樣本和虛假新聞檢測。Singh等[8]使用NasNet Mobile模型提取圖像特征,同時使用BERT(bidirectional encoder representations from transformers)和ELEC‐TRA(efficiently learning an encoder that classifies to‐ken replacements accurately)組合模型提取文本特征,大大減少了模型參數(shù)數(shù)量,提高了模型訓(xùn)練速度。雖然上述模型均在虛假新聞檢測任務(wù)中表現(xiàn)出良好的性能,但是依然存在以下問題。

    (1)現(xiàn)有的多模態(tài)虛假新聞檢測方法主要使用預(yù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)來提取圖像特征,如VGG16(visual geometry group 16)[9]、VGG19[6-7,10-11]、ResNet[12]。在實(shí)際訓(xùn)練過程中,充當(dāng)圖像特征提取器的預(yù)訓(xùn)練模型的參數(shù)會保持凍結(jié),但是預(yù)訓(xùn)練模型并不完美,這會限制整個多模態(tài)模型的性能。為了減少特征提取時間,圖像特征通常會被預(yù)先存儲起來,往往會使得這些模型的缺點(diǎn)被忽略。

    (2)由于不同模態(tài)數(shù)據(jù)之間可以相互補(bǔ)充,因此,處理好跨模態(tài)特征融合是多模態(tài)模型成功的關(guān)鍵?,F(xiàn)有多模態(tài)虛假新聞檢測方法使用的特征融合方式通常十分簡單,例如,EANN[6]和SpotFake[10]僅將圖像特征和文本特征拼接在一起送入分類器中,沒有充分考慮模態(tài)間的互補(bǔ)關(guān)系。

    為了解決上述問題,本文提出了基于端到端訓(xùn)練的多模態(tài)Transformer模型(multimodal end-to-end transformer,MEET),訓(xùn)練過程中模型所有參數(shù)不會凍結(jié)。MEET主要由多模態(tài)特征提取器和特征融合模塊構(gòu)成。通過使用視覺Transformer代替CNN提取圖像特征,將對圖像輸入的處理簡化為與處理文本輸入一致的無卷積方式,統(tǒng)一了不同模態(tài)的特征提取過程。特征融合模塊使用共同注意力(coattention)模塊[13],其中文本特征和圖像特征被分別輸入兩個對稱的Transformer中,并使用交叉注意力機(jī)制來實(shí)現(xiàn)多模態(tài)交叉融合。此外,本文研究了端到端預(yù)訓(xùn)練對模型性能的影響,預(yù)訓(xùn)練數(shù)據(jù)集均為多模態(tài)數(shù)據(jù)集。通過在3個公開虛假新聞數(shù)據(jù)集上的實(shí)驗(yàn),證明了本文模型性能優(yōu)于當(dāng)前最好的方法。

    本文的主要貢獻(xiàn)如下:

    (1)提出了MEET模型,使用視覺Transfomer作為圖像特征提取器,以相同的方式處理不同模態(tài)的輸入,同時采用端到端的方式對模型進(jìn)行了訓(xùn)練。

    (2)首次在虛假新聞檢測任務(wù)中使用共同注意力模塊,該模塊已經(jīng)成功應(yīng)用于多個視覺語言任務(wù)中[14],如圖像問答、圖像文本檢索等。本文通過實(shí)例分析證明了共同注意力模塊在虛假新聞檢測中的有效性。

    (3)第一次在虛假新聞檢測任務(wù)中引入端到端預(yù)訓(xùn)練,并在Twitter數(shù)據(jù)集上與沒有經(jīng)過預(yù)訓(xùn)練的MEET模型進(jìn)行了對比分析,實(shí)驗(yàn)結(jié)果驗(yàn)證了端到端預(yù)訓(xùn)練方法的優(yōu)越性。

    1 相關(guān)研究

    1.1 虛假新聞檢測

    現(xiàn)有的虛假新聞檢測方法可以大致分為傳統(tǒng)方法和深度學(xué)習(xí)方法。早期研究者[15-16]主要使用由專家從新聞相關(guān)信息中手工提取的特征訓(xùn)練虛假新聞分類器,如用戶特征、主題特征、傳播特征等。雖然這些手動選擇的特征被證實(shí)是有效的,但提取這些特征通常需要復(fù)雜的特征工程。與傳統(tǒng)方法相比,深度學(xué)習(xí)方法能夠從原始數(shù)據(jù)中自動提取特征,目前用于虛假新聞檢測任務(wù)的深度學(xué)習(xí)方法可以分為單模態(tài)虛假新聞檢測方法和多模態(tài)虛假新聞檢測方法。

    現(xiàn)有的單模態(tài)虛假新聞檢測方法主要是從新聞文本中提取文本特征或從新聞圖片中提取圖像特征。Ma等[4]使用循環(huán)神經(jīng)網(wǎng)絡(luò)從新聞中學(xué)習(xí)隱藏特征。Yu等[5]使用卷積神經(jīng)網(wǎng)絡(luò)獲取新聞的關(guān)鍵特征和高階交互關(guān)系。Bahad等[17]進(jìn)一步研究了CNN和RNN在虛假新聞檢測中的表現(xiàn),使用新聞文本特征評估了雙向長短期記憶(long short-term memory,LSTM)網(wǎng)絡(luò)、CNN、RNN和單向長短期記憶網(wǎng)絡(luò)的性能。此外,Qi等[18]提取了新聞圖像不同像素域的視覺信息,并將其送入多域視覺神經(jīng)網(wǎng)絡(luò)來檢測虛假新聞。

    隨著深度學(xué)習(xí)技術(shù)在特征提取和特征融合中的廣泛應(yīng)用,多模態(tài)虛假新聞檢測方法受到越來越多的關(guān)注。Jin等[19]首次在虛假新聞檢測領(lǐng)域使用多模態(tài)模型,通過注意力機(jī)制融合了提取到的新聞圖像、文本和社會背景特征。Khattar等[7]提出了能夠?qū)W習(xí)兩種模態(tài)共享表示的MVAE,模型被訓(xùn)練從學(xué)習(xí)到的共享表示中重建兩種模態(tài),并將學(xué)習(xí)到的共享用于虛假新聞檢測。Singhal等[10]使用預(yù)訓(xùn)練BERT模型提取新聞文本特征,同時使用預(yù)訓(xùn)練VGG19模型提取新聞圖像特征。Qian等[12]使用預(yù)訓(xùn)練模型學(xué)習(xí)新聞文本和圖像表示,并將學(xué)習(xí)到的文本和圖像表示輸入多模態(tài)上下文注意網(wǎng)絡(luò)以融合不同模態(tài)特征。

    雖然預(yù)訓(xùn)練模型已經(jīng)成功用于提取新聞的多模態(tài)特征,但是不同模態(tài)的特征提取器通常會使用不同的模型結(jié)構(gòu),如提取文本特征的Transformer結(jié)構(gòu)、提取圖像特征的CNN結(jié)構(gòu),CNN結(jié)構(gòu)比Trans‐former結(jié)構(gòu)更加復(fù)雜,特征提取時間也更長。為了節(jié)省訓(xùn)練時間,實(shí)際訓(xùn)練時往往會選擇凍結(jié)預(yù)訓(xùn)練模型參數(shù),只訓(xùn)練整個模型的頭部,而無法達(dá)到端到端的訓(xùn)練效果。

    1.2 視覺Transformer

    盡管Transformer已經(jīng)成為自然語言處理的主流架構(gòu)[20],但是直至最近才被用于圖像處理[21-22]。為了將圖像變?yōu)榉蟃ransformer輸入要求的序列形式,視覺Transformer(vision transformer,ViT)將圖片切分為大小相同的patch后組合成序列輸入,patch機(jī)制的引入極大簡化了將圖像嵌入形式轉(zhuǎn)變?yōu)槲谋厩度胄问降倪^程。視覺Transformer已經(jīng)在許多計算機(jī)視覺任務(wù)中取得了最先進(jìn)的成果,如物體檢測[23]、圖像補(bǔ)全[24]、自動駕駛[25]等。本文提出的MEET模型是以視覺Transformer作為圖像特征提取器的、完全基于Transformer的多模態(tài)模型。

    2 模型設(shè)計

    本文提出的基于多模態(tài)Transformer的虛假新聞檢測模型結(jié)構(gòu)如圖2所示。整個模型主要由3個部分構(gòu)成,分別是多模態(tài)特征提取器、共同注意力模塊和虛假新聞檢測器。多模態(tài)特征提取器負(fù)責(zé)提取新聞的文本特征和圖像特征,之后,文本特征和圖像特征會被送入共同注意力模塊進(jìn)行多模態(tài)特征融合,最后,融合特征會作為虛假新聞器的輸入以生成最終的分類結(jié)果。

    圖2 基于多模態(tài)Transformer的虛假新聞檢測模型

    2.1 文本特征提取

    文本特征提取器采用Transformer結(jié)構(gòu),Trans‐former在問答任務(wù)、命名實(shí)體識別、文本分類等多個領(lǐng)域均被證明是有效的[26-28]。為了提升模型的泛化性能,本文使用了在大規(guī)模語料上預(yù)訓(xùn)練的語言模型。目前常用的預(yù)訓(xùn)練語言模型有BERT[26]和Ro‐BERTa[27],兩者均使用Transformer編碼器作為網(wǎng)絡(luò)主體。RoBERTa相較于BERT的主要改進(jìn)在于修改了BERT原有的預(yù)訓(xùn)練策略,包括使用更大的文本嵌入詞匯表、預(yù)訓(xùn)練任務(wù)中去除預(yù)測下一個句子和使用動態(tài)掩碼策略等。RoBERTa已經(jīng)在多個自然語言處理任務(wù)上表現(xiàn)出超越BERT的性能[27]。本文在第3節(jié)中對這兩種文本編碼器進(jìn)行了對比分析。此外,為了證明預(yù)訓(xùn)練語言模型的必要性,本文還測試了只使用BERT的嵌入層作為文本編碼器的情況。

    令T={t[CLS],t1,…,tm,t[SEP]},其中T表示輸入的文本嵌入;m表示新聞文本中的單詞數(shù);t[CLS]為分類標(biāo)記嵌入,表示該位置的特征向量用于分類任務(wù);t[SEP]為分句標(biāo)記嵌入,用于句子結(jié)尾。提取到的文本特征表示為L={l[CLS],l1,…,lm,l[SEP]},其中l(wèi)i對應(yīng)于ti轉(zhuǎn)換后的特征;l[CLS]為分類標(biāo)記的特征向量,代表文本的語義特征。L的計算公式為

    其中,l∈Rdt為對應(yīng)位置的輸出層隱藏狀態(tài);dt為文本嵌入維數(shù)。

    2.2 圖像特征提取

    為了使圖像輸入的三維矩陣結(jié)構(gòu)變?yōu)榉蟃ransformer輸入要求的序列結(jié)構(gòu),首先要對圖像進(jìn)行序列化預(yù)處理,整個處理過程如圖3所示。假設(shè)圖像輸入矩陣尺寸為224×224×3,使用卷積層將圖像切分為14×14個patch,之后將所有patch展平成長度為196的序列,在序列前拼接分類標(biāo)記嵌入再加上位置嵌入,就得到了完整的圖像嵌入矩陣。本文圖像特征提取器采用基于對比語言圖像預(yù)訓(xùn)練(contrastive language-image pre-training,CLIP)的視覺Transformer模型[29],以下簡稱CLIP-ViT。CLIPViT與其他預(yù)訓(xùn)練視覺Transfomer的區(qū)別在于其預(yù)訓(xùn)練數(shù)據(jù)是多模態(tài)的,是在從互聯(lián)網(wǎng)上抓取的4億個圖像文本對上訓(xùn)練的。此外,CLIP-ViT在Ima‐geNet分類等基準(zhǔn)數(shù)據(jù)集上展現(xiàn)出強(qiáng)大的零樣本學(xué)習(xí)能力。本文在第3節(jié)中通過對比實(shí)驗(yàn)深入研究了CLIP-ViT的作用。

    圖3 圖像預(yù)處理過程

    對于給定圖像嵌入R,通過CLIP-ViT提取到的圖像特征可以表示為

    其中,v∈Rdr;vClass為分類標(biāo)記的特征;dr為圖像嵌入維數(shù)。

    2.3 共同注意力模塊

    為了使模型能夠?qū)W習(xí)到圖像和文本之間的語義對應(yīng)關(guān)系,本文使用共同注意力模塊對圖像特征和文本特征進(jìn)行交叉融合。如圖4所示,共同注意力模塊由兩個交叉注意力網(wǎng)絡(luò)構(gòu)成,每個交叉注意力網(wǎng)絡(luò)都是一個N層的Transformer結(jié)構(gòu),與一般Transformer相比,每層多了一個交叉注意力塊。通過在兩個網(wǎng)絡(luò)對應(yīng)層的交叉注意力塊之間交換鍵矩陣K和值矩陣V,使得圖像對應(yīng)的文本特征能夠被納入網(wǎng)絡(luò)輸出的圖像表示中,同樣地,文本對應(yīng)的圖像特征也會被納入網(wǎng)絡(luò)輸出的文本表示中。共同注意力模塊已經(jīng)被用于視覺語言模型中,并且在圖像問答、圖像標(biāo)注等任務(wù)上證明了其有效性[13-14]。

    圖4 共同注意力模塊

    2.4 多模態(tài)融合及分類

    通過共同注意力模塊的交叉注意力機(jī)制,本文得到了更新后的圖像特征W={w0,w1,…,wn}和文本特征S={s0,s1,…,sm},其中w0和s0分別表示圖像和文本的分類特征。將圖像分類特征與文本語義分類進(jìn)行拼接,得到多模態(tài)融合特征C。

    虛假新聞檢測器以多模態(tài)融合特征C作為輸入,利用兩層全連接層來預(yù)測新聞是真假新聞的概率,計算公式為

    其中,σ1為gelu激活函數(shù);σ2為softmax激活函數(shù);H為第一層全連接層的輸出;P為最終輸出的分類預(yù)測概率,模型損失函數(shù)為P與新聞標(biāo)簽真實(shí)值的交叉熵。

    3 實(shí)證研究

    3.1 數(shù)據(jù)集及評價指標(biāo)

    本文將提出的MEET模型與其他基線模型在3個公開的虛假新聞數(shù)據(jù)集上進(jìn)行了比較,包括英文Twitter數(shù)據(jù)集[30]、中文Weibo數(shù)據(jù)集[19]以及中文Bi‐en數(shù)據(jù)集①https://www.biendata.xyz/competition/falsenews/。

    Twitter數(shù)據(jù)集是在MediaEval研討會上發(fā)布的虛假新聞檢測數(shù)據(jù)集MediaEval2015[30],該數(shù)據(jù)集由17000條來自Twitter平臺的推文文本及其相關(guān)圖像組成,是多模態(tài)虛假新聞檢測任務(wù)中最常用的數(shù)據(jù)集之一。遵照已有研究成果[7],本文以沒有重疊事件的方式將數(shù)據(jù)集劃分為訓(xùn)練集(15000條)和測試集(2000條)。

    Weibo數(shù)據(jù)集由經(jīng)過微博官方辟謠平臺驗(yàn)證的虛假新聞和經(jīng)新華社核實(shí)的真實(shí)新聞組成,這些新聞同樣包含文本和圖像[19]。使用不同語言的數(shù)據(jù)集能夠更好地評估模型的泛用性和魯棒性。按照已有方法[7]將該數(shù)據(jù)集劃分為訓(xùn)練集(80%)和測試集(20%)。

    Bien數(shù)據(jù)集來自人工智能競賽平臺BienData舉辦的互聯(lián)網(wǎng)虛假新聞檢測挑戰(zhàn)賽①,原始數(shù)據(jù)集分為兩個部分:帶標(biāo)簽的訓(xùn)練集(38471條)和不帶標(biāo)簽的測試集(4000條)。與已有研究[31]一致,本文將原始訓(xùn)練集按照4∶1劃分為訓(xùn)練集和測試集。

    為提高數(shù)據(jù)質(zhì)量,本文首先對3個數(shù)據(jù)集進(jìn)行簡單的預(yù)處理,篩選出既包含文本又包含圖像的新聞,其中圖像僅限靜態(tài)圖片,不包括動態(tài)圖像和視頻。經(jīng)過篩選和處理后的數(shù)據(jù)集統(tǒng)計信息如表1所示。

    本文使用準(zhǔn)確率(accuracy)作為模型主要評價指標(biāo),這是分類任務(wù)中的常用指標(biāo)。此外,實(shí)驗(yàn)中統(tǒng)計了模型的精確率(precision)、召回率(re‐call)和F1分?jǐn)?shù)(F1-score)作為補(bǔ)充評價指標(biāo),可以減少類型不平衡時準(zhǔn)確率指標(biāo)可靠性下降的問題。

    3.2 端到端預(yù)訓(xùn)練設(shè)置

    本文對MEET模型進(jìn)行了端到端的視覺語言預(yù)訓(xùn)練(vision-and-language pre-training,VLP)。預(yù)訓(xùn)練任務(wù)包括掩碼語言建模(masked language model‐ing,MLM)和圖像文本匹配(image-text matching,ITM)。在MLM任務(wù)中,將15%的輸入文本替換為掩碼標(biāo)記([MASK]),并讓模型學(xué)習(xí)輸出被替換的原始文本。在ITM任務(wù)中,按相同概率采樣匹配和不匹配的圖像標(biāo)題對送入模型,模型需要輸出輸入的圖像標(biāo)題對是否匹配。

    本文遵循已有研究[32],在4個公開數(shù)據(jù)集上對模型進(jìn)行端到端預(yù)訓(xùn)練,包括COCO數(shù)據(jù)集[33]、Con‐ceptual Captions數(shù)據(jù)集[34]、SBU Captions數(shù)據(jù)集[35]和Visual Genome數(shù)據(jù)集[36]。為了使預(yù)訓(xùn)練數(shù)據(jù)集與微調(diào)數(shù)據(jù)集中的文本語言保持一致,本文只在英文Twitter數(shù)據(jù)集上對端到端預(yù)訓(xùn)練效果進(jìn)行了驗(yàn)證。

    3.3 實(shí)驗(yàn)設(shè)置及模型超參數(shù)

    根據(jù)對3個公開數(shù)據(jù)集中文本長度的統(tǒng)計,將Twitter數(shù)據(jù)集文本序列最大長度設(shè)置為50,Weibo數(shù)據(jù)集和Bien數(shù)據(jù)集文本序列最大長度設(shè)置為200,超出部分截斷,不足部分補(bǔ)零。對于圖片,所有圖片輸入大小均被調(diào)整為224×224×3,訓(xùn)練過程中對圖片應(yīng)用隨機(jī)的數(shù)據(jù)增強(qiáng)[37]以加強(qiáng)模型泛化性能,驗(yàn)證和測試過程中不使用數(shù)據(jù)增強(qiáng)。

    本文所有實(shí)驗(yàn)均在內(nèi)存為32G,顯卡為NVID‐IA RTX 3090的服務(wù)器上完成。本文使用的編程語言為python 3.8,使用的深度學(xué)習(xí)框架為pytorchlightning 1.3.2、pytorch 1.7.1和transformers 4.6.0。

    MEET模型的圖像特征提取器和文本特征提取器均是12層Transformer結(jié)構(gòu),圖像嵌入和文本嵌入維數(shù)均為768。共同注意模塊中兩個交叉注意力網(wǎng)絡(luò)均為6層Transformer結(jié)構(gòu)。虛假新聞檢測器中兩層全連接層的神經(jīng)元個數(shù)分別為1536和2,激活函數(shù)分別為gelu和softmax,損失函數(shù)為交叉熵?fù)p失函數(shù)。

    本文使用AdamW優(yōu)化器,訓(xùn)練批次大小為256,為了減緩模型過擬合同時加速模型收斂,學(xué)習(xí)率在訓(xùn)練總步數(shù)的前10%中會從0線性遞增到設(shè)置的學(xué)習(xí)率,之后再線性衰減到0。

    3.4 文本和視覺編碼器的對比分析

    由于完全訓(xùn)練一個MEET模型耗時較長,本文先在較少訓(xùn)練輪數(shù)下探究了不同文本和視覺編碼器的表現(xiàn)。實(shí)驗(yàn)分為兩個階段:首先,評估了在缺少視覺或文本模態(tài)時各種編碼器的性能;其次,通過研究不同文本編碼器與視覺編碼器的組合,深入分析了視覺編碼器的作用。為了保證實(shí)驗(yàn)的可靠性,每個實(shí)驗(yàn)在不同的隨機(jī)數(shù)種子上執(zhí)行5次,并采用測試集的平均準(zhǔn)確率作為評價指標(biāo)。實(shí)驗(yàn)中所有模型的訓(xùn)練輪數(shù)設(shè)定為10,底層和頂層學(xué)習(xí)率分別設(shè)定為1e-5和1e-4,底層包括文本編碼器和視覺編碼器,頂層包括共同注意力模塊和虛假新聞檢測器。

    3.4.1 文本編碼器對比

    如表2所示,BERT和RoBERTa在各數(shù)據(jù)集上表現(xiàn)存在顯著差異。在中文Weibo數(shù)據(jù)集和Bien數(shù)據(jù)集中,兩者表現(xiàn)相當(dāng);但在英文Twitter數(shù)據(jù)集上,BERT明顯優(yōu)于RoBERTa。值得注意的是,僅基于文本的BERT和RoBERTa在兩個中文數(shù)據(jù)集的測試集上的準(zhǔn)確率已超過部分使用非Transformer結(jié)構(gòu)文本編碼器的多模態(tài)模型。此外,采用BERT嵌入層的模型在3個數(shù)據(jù)集的測試集上僅持續(xù)預(yù)測同一類別,這表明預(yù)訓(xùn)練文本編碼器在僅基于文本的虛假新聞檢測任務(wù)中是必要的。

    表2 無視覺模態(tài)時的文本編碼器對比

    3.4.2 視覺編碼器對比

    如表3所示,本文在圖像方面比較了CLIP-ViT-16和CLIP-ViT-32兩種模型,其中16和32表示模型的patch大小。實(shí)驗(yàn)結(jié)果表明,CLIP-ViT-16在所有數(shù)據(jù)集上性能更佳。在Twitter數(shù)據(jù)集上,視覺編碼器明顯優(yōu)于文本編碼器,這與各數(shù)據(jù)集中新聞圖片數(shù)量有關(guān)。Twitter數(shù)據(jù)集的圖片數(shù)量遠(yuǎn)少于Weibo數(shù)據(jù)集和Bien數(shù)據(jù)集,因此,視覺編碼器在Twitter數(shù)據(jù)集上需要學(xué)習(xí)的虛假新聞圖像特征也較少。

    表3 無文本模態(tài)時的視覺編碼器對比

    3.4.3 文本和視覺編碼器組合對比

    如表4所示,所有多模態(tài)組合模型相較于單一模態(tài)模型的性能都有明顯提升,這包括僅使用BERT嵌入層作為文本編碼器的模型。在引入視覺模態(tài)后,各文本編碼器之間的性能差距顯著減小,但使用一個預(yù)訓(xùn)練的文本編碼器仍具有重要意義。在視覺編碼器方面,CLiP-ViT-16和CLiP-ViT-32均表現(xiàn)出良好性能,尤其是CLiP-ViT-16在Weibo數(shù)據(jù)集和Bien數(shù)據(jù)集上分別達(dá)到了89.70%和97.15%的平均準(zhǔn)確率,超越了現(xiàn)有最佳模型的表現(xiàn)。

    表4 文本和視覺編碼器組合對比

    3.4.4 學(xué)習(xí)率設(shè)置

    本文深入探討了不同學(xué)習(xí)率對模型性能的影響,并選用CLiP-ViT-16和RoBERTa作為默認(rèn)編碼器。表5展示了在4種學(xué)習(xí)率設(shè)置下訓(xùn)練的模型表現(xiàn)。對于Weibo數(shù)據(jù)集和Bien數(shù)據(jù)集,對模型頂層參數(shù)采用更高的學(xué)習(xí)率有助于取得更好的結(jié)果。然而,在Twitter數(shù)據(jù)集上模型性能卻呈現(xiàn)下降趨勢。這是由于Twitter數(shù)據(jù)集中視覺模態(tài)相對文本模態(tài)更為重要,多模態(tài)融合過程中視覺模態(tài)起主導(dǎo)作用,較高的學(xué)習(xí)率容易導(dǎo)致過擬合現(xiàn)象。相反地,在Weibo數(shù)據(jù)集和Bien數(shù)據(jù)集中文本模態(tài)和視覺模態(tài)的重要性相當(dāng),較高的學(xué)習(xí)率有助于學(xué)習(xí)到更復(fù)雜的多模態(tài)融合策略。

    表5 不同學(xué)習(xí)率設(shè)置對比

    3.5 基線模型

    3.5.1 單模態(tài)模型

    (1)Textual:該模型僅使用新聞文本作為模型輸入。使用預(yù)訓(xùn)練的詞嵌入模型生成文本嵌入,將文本嵌入輸入雙向LSTM模型以提取新聞文本特征,最后使用全連接層輸出分類結(jié)果。

    (2)Visual:該模型僅使用新聞圖片作為模型輸入。先將圖片輸入預(yù)訓(xùn)練VGG19模型提取圖像特征,再將圖像特征輸入全連接層進(jìn)行虛假新聞檢測。

    3.5.2 多模態(tài)模型

    (1)EANN[6]:EANN主要由3個部分組成,即多模態(tài)特征提取器、虛假新聞檢測器和事件鑒別器。在多模態(tài)特征提取器中,分別使用TextCNN模型和預(yù)訓(xùn)練VGG19模型提取文本特征和圖像特征,將提取到的文本特征和圖像特征拼接后輸入虛假新聞檢測器中。為了保證實(shí)驗(yàn)公平,本文使用的是不包含事件鑒別器的簡化版EANN。

    (2)MVAE[7]:MVAE使用雙模態(tài)變分自編碼器和二值分類器進(jìn)行虛假新聞檢測。其中,雙模態(tài)變分自編碼器使用雙向LSTM模型和預(yù)訓(xùn)練VGG19模型作為文本編碼器和圖像編碼器,利用全連接層進(jìn)行特征融合。

    (3)SpotFake[10]:SpotFake使用預(yù)訓(xùn)練語言模型(BERT)提取文本特征,并使用預(yù)訓(xùn)練VGG19模型提取圖像特征,沒有使用特征融合方法。

    (4)HMCAN(hierarchical multi-modal contextu‐al attention network)[12]:HMCAN使用預(yù)訓(xùn)練BERT模型和ResNet模型提取新聞文本特征和圖像特征,并將提取到的特征輸入多模態(tài)上下文注意網(wǎng)絡(luò)進(jìn)行特征融合,此外模型還使用層次編碼網(wǎng)絡(luò)捕捉輸入文本的層次語義特征。

    (5)CEMM(correlation extension multimod‐al)[31]:CEMM先利用光學(xué)字符識別(optical char‐acter recognition,OCR)技術(shù)從附加圖像中識別文本信息,再使用BERT和雙向LSTM從新聞文章及其OCR文本中提取文本特征,并計算兩者的相似性得分。最后將這些特征與圖像直方圖特征拼接后輸入分類器以進(jìn)行虛假新聞檢測。

    3.6 實(shí)驗(yàn)結(jié)果及分析

    根據(jù)3.4節(jié)的實(shí)驗(yàn)結(jié)果,本文選擇RoBERTa作為MEET模型的文本編碼器,CLIP-ViT-16作為視覺編碼器。表6展示了MEET模型與其他基線模型在3個公開數(shù)據(jù)集上的性能對比。為了公平對比,本文在這3個數(shù)據(jù)集上訓(xùn)練了HMCAN模型,學(xué)習(xí)率設(shè)定為1e-3,保持其他訓(xùn)練設(shè)置與MEET模型一致。

    表6 不同方法在3個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

    如表6所示,在Twitter數(shù)據(jù)集上HMCAN模型的復(fù)現(xiàn)結(jié)果與原文存在較大差異,這可能是因?yàn)樵趧澐諸witter數(shù)據(jù)集時,HMCAN沒有確保訓(xùn)練集與測試集的事件無重疊。此外,從HMCAN的公開源碼可知該模型并非端到端訓(xùn)練,這也可能對其性能產(chǎn)生影響。同時,HMCAN在處理BERT提取的文本特征時將其平均分成3段與圖像特征進(jìn)行分層特征融合,但在這一過程中模型沒有充分考慮短文本的情況,導(dǎo)致后兩段文本中存在大量無效的填充標(biāo)記(padding token)。然而,源碼中模型并未對這些填充標(biāo)記進(jìn)行掩碼處理。對于Twitter數(shù)據(jù)集,本文僅關(guān)注HMCAN模型的復(fù)現(xiàn)結(jié)果。

    實(shí)驗(yàn)結(jié)果顯示,多模態(tài)模型相較于單模態(tài)模型具有顯著優(yōu)勢。除了本文方法外,SpotFake模型和HMCAN模型的表現(xiàn)同樣出色,這表明預(yù)訓(xùn)練的BERT模型能夠更有效地從新聞文本中提取特征。本文提出的MEET模型在3個數(shù)據(jù)集上的準(zhǔn)確率均超過其他基線模型,并在其他評價指標(biāo)上也能取得最佳或次佳的成績。MEET(VLP)模型在Twitter數(shù)據(jù)集上的表現(xiàn)尤為突出,進(jìn)一步證實(shí)了端到端預(yù)訓(xùn)練能提升模型性能。圖5是MEET(VLP)模型和MEET模型在訓(xùn)練過程中的損失曲線,可以看出,MEET(VLP)模型在前200步的訓(xùn)練損失下降速度更快,這表明端到端預(yù)訓(xùn)練不僅能提升模型性能,還可以加速模型收斂。

    圖5 不同預(yù)訓(xùn)練設(shè)置下的訓(xùn)練損失曲線

    為了展示MEET模型在多模態(tài)融合上的優(yōu)越性,本文對兩個虛假新聞實(shí)例進(jìn)行了注意力可視化分析。如圖6所示,雖然從文本內(nèi)容上看,這兩則新聞似乎無法判斷真?zhèn)?,但圖6a中窗外的海底景色和圖6b中墻上的合影照片均顯得異??梢伞T诠餐⒁饬δK的第一層注意力圖中,模型最初將注意力分散在圖片的各個區(qū)域。經(jīng)過一層交叉注意力網(wǎng)絡(luò)后,第二層注意力圖顯示模型能夠在圖像中檢測到文本的部分語義對象,如“views”“bedroom”“toilets”。在多次交叉融合后,最終層注意力圖體現(xiàn)出模型將注意力集中在兩幅圖中最不合理的部分,并成功判斷出這些新聞為虛假信息。以上可視化分析結(jié)果可以證實(shí),本文模型能夠有效地利用多模態(tài)信息對虛假新聞進(jìn)行檢測。

    圖6 MEET模型多模態(tài)融合注意力可視化

    4 總結(jié)與展望

    針對現(xiàn)有多模態(tài)虛假新聞檢測方法的不足,本文提出了一種基于多模態(tài)Transformer的虛假新聞檢測模型。首先,該模型將圖像輸入序列化成文本輸入的形式;其次,利用預(yù)訓(xùn)練Transformer以相同的方式提取文本特征和圖像特征;再其次,通過共同注意力模塊實(shí)現(xiàn)不同模態(tài)間的交叉融合;最后,將融合后的圖像特征和文本特征拼接起來送入全連接層生成檢測結(jié)果。本文在3個公開數(shù)據(jù)集上進(jìn)行了對比實(shí)驗(yàn)和實(shí)例分析,實(shí)驗(yàn)結(jié)果證明了該模型的優(yōu)勢和模型中每個模塊的有效性。本文部分內(nèi)容已用于申請發(fā)明專利[38]。

    同時,本文尚存在以下不足。由于受到端到端預(yù)訓(xùn)練數(shù)據(jù)集的限制,本文只在Twitter數(shù)據(jù)集上驗(yàn)證了端到端預(yù)訓(xùn)練的效果,后續(xù)可以嘗試在預(yù)訓(xùn)練數(shù)據(jù)集中添加中文數(shù)據(jù)集或多語言數(shù)據(jù)集,從而能夠在更多不同語言的虛假新聞數(shù)據(jù)集上進(jìn)行端到端預(yù)訓(xùn)練的實(shí)驗(yàn)。此外,本文模型只考慮了新聞的文本信息和圖像信息,未來可以考慮引入更多模態(tài)以提升模型檢測性能。

    猜你喜歡
    集上模態(tài)特征
    Cookie-Cutter集上的Gibbs測度
    鏈完備偏序集上廣義向量均衡問題解映射的保序性
    如何表達(dá)“特征”
    不忠誠的四個特征
    復(fù)扇形指標(biāo)集上的分布混沌
    抓住特征巧觀察
    國內(nèi)多模態(tài)教學(xué)研究回顧與展望
    基于HHT和Prony算法的電力系統(tǒng)低頻振蕩模態(tài)識別
    由單個模態(tài)構(gòu)造對稱簡支梁的抗彎剛度
    計算物理(2014年2期)2014-03-11 17:01:39
    線性代數(shù)的應(yīng)用特征
    河南科技(2014年23期)2014-02-27 14:19:15
    欧洲精品卡2卡3卡4卡5卡区| 老司机在亚洲福利影院| 日韩欧美国产一区二区入口| 国产欧美日韩精品亚洲av| 99国产综合亚洲精品| 99香蕉大伊视频| 黄色丝袜av网址大全| 久久精品亚洲熟妇少妇任你| 国产又爽黄色视频| 亚洲av成人av| 女性生殖器流出的白浆| 91av网站免费观看| 亚洲五月天丁香| 国产熟女午夜一区二区三区| 丝袜人妻中文字幕| 久久久国产欧美日韩av| 久久精品国产亚洲av香蕉五月| 国产精品精品国产色婷婷| 成在线人永久免费视频| 国产精品久久视频播放| 一区在线观看完整版| 十分钟在线观看高清视频www| 大码成人一级视频| 十分钟在线观看高清视频www| √禁漫天堂资源中文www| 久久久久久久久免费视频了| 一区二区三区国产精品乱码| 精品国产国语对白av| 成年版毛片免费区| 亚洲国产高清在线一区二区三 | 操美女的视频在线观看| 黄色片一级片一级黄色片| 麻豆国产av国片精品| 97超级碰碰碰精品色视频在线观看| √禁漫天堂资源中文www| 中文字幕av电影在线播放| 日韩国内少妇激情av| 级片在线观看| 女同久久另类99精品国产91| 美女高潮喷水抽搐中文字幕| 欧美日韩一级在线毛片| 9191精品国产免费久久| 亚洲国产精品999在线| 亚洲人成77777在线视频| 国产欧美日韩一区二区精品| 精品第一国产精品| 少妇粗大呻吟视频| 成在线人永久免费视频| 色av中文字幕| 九色亚洲精品在线播放| 亚洲视频免费观看视频| 国产熟女午夜一区二区三区| 成人欧美大片| 亚洲 国产 在线| 18禁国产床啪视频网站| 97人妻精品一区二区三区麻豆 | 中文字幕另类日韩欧美亚洲嫩草| 亚洲人成77777在线视频| 亚洲,欧美精品.| 日本三级黄在线观看| 欧美丝袜亚洲另类 | 色老头精品视频在线观看| 欧美乱色亚洲激情| 国产精品亚洲一级av第二区| 成人国产一区最新在线观看| 午夜a级毛片| 琪琪午夜伦伦电影理论片6080| 99国产精品一区二区蜜桃av| 一区在线观看完整版| 首页视频小说图片口味搜索| 精品第一国产精品| 无限看片的www在线观看| 亚洲精品在线美女| 亚洲美女黄片视频| 88av欧美| 久久久久久久精品吃奶| 色av中文字幕| 在线观看www视频免费| 欧美黄色片欧美黄色片| 国产欧美日韩综合在线一区二区| 亚洲av片天天在线观看| 亚洲国产看品久久| 午夜福利视频1000在线观看 | 美女高潮到喷水免费观看| 三级毛片av免费| 丝袜美足系列| 亚洲精品在线观看二区| 99国产精品一区二区蜜桃av| 人人澡人人妻人| 欧美亚洲日本最大视频资源| 俄罗斯特黄特色一大片| 国产av一区在线观看免费| 精品不卡国产一区二区三区| 欧美日本中文国产一区发布| 欧美中文日本在线观看视频| www日本在线高清视频| 男人舔女人下体高潮全视频| 两性夫妻黄色片| 成人欧美大片| 国产欧美日韩一区二区三区在线| 国产成年人精品一区二区| 免费在线观看影片大全网站| 一级作爱视频免费观看| 好男人在线观看高清免费视频 | 午夜亚洲福利在线播放| 91国产中文字幕| 狂野欧美激情性xxxx| 黄色毛片三级朝国网站| 黑人巨大精品欧美一区二区mp4| 精品人妻1区二区| 国产私拍福利视频在线观看| 免费高清在线观看日韩| tocl精华| 国产精品永久免费网站| 国产精品亚洲美女久久久| 免费在线观看影片大全网站| 欧美黑人精品巨大| 99国产综合亚洲精品| 欧美日韩福利视频一区二区| 天堂影院成人在线观看| 亚洲三区欧美一区| 成人免费观看视频高清| 亚洲国产精品久久男人天堂| 精品久久久精品久久久| 亚洲 国产 在线| 人人澡人人妻人| 欧美日本视频| 午夜激情av网站| 亚洲专区中文字幕在线| 国产高清激情床上av| 国产免费av片在线观看野外av| 啦啦啦 在线观看视频| 亚洲av第一区精品v没综合| 一区在线观看完整版| 成人18禁高潮啪啪吃奶动态图| 美女国产高潮福利片在线看| 伊人久久大香线蕉亚洲五| 天堂√8在线中文| 亚洲一码二码三码区别大吗| 亚洲成a人片在线一区二区| 亚洲人成电影观看| 午夜亚洲福利在线播放| 操出白浆在线播放| 熟女少妇亚洲综合色aaa.| 高清在线国产一区| 国产免费男女视频| 日韩欧美国产一区二区入口| 国产精品香港三级国产av潘金莲| 精品久久久久久成人av| 国产精品亚洲美女久久久| 成人国产一区最新在线观看| 久久久水蜜桃国产精品网| 久久九九热精品免费| 亚洲欧洲精品一区二区精品久久久| 久久久久国产精品人妻aⅴ院| 村上凉子中文字幕在线| 国产亚洲欧美在线一区二区| 午夜精品在线福利| 成人18禁高潮啪啪吃奶动态图| 欧美精品亚洲一区二区| 久久狼人影院| 亚洲精品中文字幕一二三四区| 亚洲欧美激情综合另类| 看黄色毛片网站| 少妇粗大呻吟视频| www.999成人在线观看| 十八禁人妻一区二区| 精品久久蜜臀av无| 亚洲欧洲精品一区二区精品久久久| 男女之事视频高清在线观看| a在线观看视频网站| 可以免费在线观看a视频的电影网站| 9191精品国产免费久久| 免费无遮挡裸体视频| 99久久久亚洲精品蜜臀av| 人人妻人人澡欧美一区二区 | 99国产精品一区二区蜜桃av| 非洲黑人性xxxx精品又粗又长| 国产成人av激情在线播放| 亚洲人成网站在线播放欧美日韩| 日韩精品免费视频一区二区三区| 国产成人精品久久二区二区91| 国产精品亚洲av一区麻豆| 亚洲国产欧美网| 成人国产一区最新在线观看| 女生性感内裤真人,穿戴方法视频| 精品欧美国产一区二区三| 亚洲天堂国产精品一区在线| 国产精品免费视频内射| 国产av一区二区精品久久| 日本a在线网址| 精品久久久久久成人av| 一级毛片精品| 成人国语在线视频| 多毛熟女@视频| 久久精品亚洲熟妇少妇任你| 人人妻,人人澡人人爽秒播| 成人免费观看视频高清| 一区在线观看完整版| 国产精品 欧美亚洲| 99久久99久久久精品蜜桃| 亚洲中文字幕日韩| 久久精品aⅴ一区二区三区四区| 亚洲av熟女| 欧美中文综合在线视频| 欧美激情久久久久久爽电影 | 久久午夜亚洲精品久久| 黄色a级毛片大全视频| 欧美亚洲日本最大视频资源| 日本精品一区二区三区蜜桃| 91国产中文字幕| 免费观看精品视频网站| 一级a爱视频在线免费观看| 午夜a级毛片| 18美女黄网站色大片免费观看| 亚洲国产中文字幕在线视频| 欧美精品亚洲一区二区| 亚洲视频免费观看视频| 青草久久国产| 人人澡人人妻人| 国产高清视频在线播放一区| 99国产精品免费福利视频| 成人手机av| 在线观看免费日韩欧美大片| 国产一区二区激情短视频| 久久中文字幕人妻熟女| 无人区码免费观看不卡| 手机成人av网站| 国产一卡二卡三卡精品| 国产精品美女特级片免费视频播放器 | 一夜夜www| 18美女黄网站色大片免费观看| 欧美久久黑人一区二区| 色哟哟哟哟哟哟| 亚洲av日韩精品久久久久久密| 日本vs欧美在线观看视频| 黄色毛片三级朝国网站| 亚洲一区二区三区色噜噜| 欧美在线黄色| 国产蜜桃级精品一区二区三区| 久久性视频一级片| 日韩欧美国产在线观看| www日本在线高清视频| 搡老岳熟女国产| 国产精品九九99| 午夜精品在线福利| 午夜久久久久精精品| 亚洲国产高清在线一区二区三 | 久久精品91蜜桃| 久久婷婷人人爽人人干人人爱 | 久久 成人 亚洲| 亚洲三区欧美一区| 久久久久久大精品| 成人手机av| 免费在线观看日本一区| 日本黄色视频三级网站网址| 深夜精品福利| 国产亚洲欧美在线一区二区| 熟妇人妻久久中文字幕3abv| 欧美激情久久久久久爽电影 | 一边摸一边抽搐一进一小说| 色精品久久人妻99蜜桃| 国产精品永久免费网站| 亚洲情色 制服丝袜| 一区二区三区国产精品乱码| 欧美av亚洲av综合av国产av| 亚洲av电影在线进入| 欧美成狂野欧美在线观看| 制服人妻中文乱码| 曰老女人黄片| 美女大奶头视频| 一夜夜www| svipshipincom国产片| 在线观看免费视频日本深夜| 宅男免费午夜| 国产av又大| 男男h啪啪无遮挡| 久久人人精品亚洲av| 欧美在线一区亚洲| 国产高清videossex| 国产成人欧美| 国产av精品麻豆| 91麻豆av在线| 亚洲人成网站在线播放欧美日韩| 欧美日本中文国产一区发布| 桃色一区二区三区在线观看| 不卡av一区二区三区| 亚洲精品美女久久久久99蜜臀| 欧美中文综合在线视频| 美女免费视频网站| 久久精品国产99精品国产亚洲性色 | 97人妻精品一区二区三区麻豆 | 欧美日韩亚洲国产一区二区在线观看| 村上凉子中文字幕在线| 18禁黄网站禁片午夜丰满| 久久香蕉精品热| 免费人成视频x8x8入口观看| 欧美日韩瑟瑟在线播放| 亚洲精品中文字幕一二三四区| 亚洲国产欧美网| 国产一区二区三区综合在线观看| 高潮久久久久久久久久久不卡| 日本 av在线| 国产单亲对白刺激| 亚洲欧美日韩无卡精品| 国产97色在线日韩免费| 日韩欧美国产一区二区入口| 国产精品秋霞免费鲁丝片| 国产成人欧美| 麻豆国产av国片精品| 一边摸一边做爽爽视频免费| 午夜福利在线观看吧| 日韩精品中文字幕看吧| 最近最新中文字幕大全免费视频| 少妇熟女aⅴ在线视频| 俄罗斯特黄特色一大片| 好看av亚洲va欧美ⅴa在| 女性生殖器流出的白浆| 精品久久久久久久人妻蜜臀av | 成人18禁在线播放| 亚洲片人在线观看| 午夜成年电影在线免费观看| 免费少妇av软件| 99久久精品国产亚洲精品| 纯流量卡能插随身wifi吗| 午夜精品在线福利| 999精品在线视频| 国产成人影院久久av| 欧美不卡视频在线免费观看 | 女生性感内裤真人,穿戴方法视频| 两个人看的免费小视频| 国产精品二区激情视频| 日韩大尺度精品在线看网址 | 色综合婷婷激情| 啦啦啦 在线观看视频| 国产成人av激情在线播放| 亚洲视频免费观看视频| 久久国产精品人妻蜜桃| 黄片小视频在线播放| 日本三级黄在线观看| 国产精品香港三级国产av潘金莲| 国产成人啪精品午夜网站| 99re在线观看精品视频| 欧美中文综合在线视频| 国产免费av片在线观看野外av| 免费久久久久久久精品成人欧美视频| 久热这里只有精品99| 亚洲精品国产一区二区精华液| 巨乳人妻的诱惑在线观看| 亚洲成a人片在线一区二区| 黑人巨大精品欧美一区二区蜜桃| 无人区码免费观看不卡| 婷婷精品国产亚洲av在线| 美女 人体艺术 gogo| 亚洲专区中文字幕在线| 久久久精品国产亚洲av高清涩受| 午夜精品国产一区二区电影| 午夜老司机福利片| 国产三级在线视频| 国产97色在线日韩免费| 日本欧美视频一区| 欧洲精品卡2卡3卡4卡5卡区| 乱人伦中国视频| 高清黄色对白视频在线免费看| 亚洲国产精品久久男人天堂| 欧美激情久久久久久爽电影 | 久久影院123| 女人高潮潮喷娇喘18禁视频| 久久久久九九精品影院| 又黄又粗又硬又大视频| 亚洲第一青青草原| 国产欧美日韩综合在线一区二区| 9热在线视频观看99| 国产亚洲欧美在线一区二区| 国产精品久久电影中文字幕| 欧美+亚洲+日韩+国产| 在线观看午夜福利视频| 在线国产一区二区在线| 欧美老熟妇乱子伦牲交| 日本撒尿小便嘘嘘汇集6| 国产视频一区二区在线看| 91av网站免费观看| 久久青草综合色| 精品一品国产午夜福利视频| 三级毛片av免费| 亚洲欧美激情在线| 午夜亚洲福利在线播放| 人妻丰满熟妇av一区二区三区| 久久婷婷人人爽人人干人人爱 | 国产精品日韩av在线免费观看 | 狠狠狠狠99中文字幕| 色老头精品视频在线观看| 夜夜爽天天搞| 一区二区三区激情视频| 麻豆国产av国片精品| 午夜视频精品福利| x7x7x7水蜜桃| 亚洲精品一区av在线观看| 两人在一起打扑克的视频| 男女午夜视频在线观看| 国产成人欧美在线观看| 国产高清激情床上av| 亚洲第一电影网av| 亚洲成av片中文字幕在线观看| 久久久久久久久免费视频了| 亚洲中文av在线| 精品卡一卡二卡四卡免费| 天天添夜夜摸| 又黄又爽又免费观看的视频| 一边摸一边抽搐一进一小说| 久久婷婷成人综合色麻豆| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲精品在线观看二区| 亚洲欧美精品综合久久99| 亚洲片人在线观看| 久久人妻av系列| 长腿黑丝高跟| 成人欧美大片| 极品教师在线免费播放| 亚洲午夜精品一区,二区,三区| а√天堂www在线а√下载| 精品久久久久久久人妻蜜臀av | 高清在线国产一区| 国产欧美日韩精品亚洲av| 窝窝影院91人妻| 亚洲狠狠婷婷综合久久图片| 日韩精品中文字幕看吧| 桃红色精品国产亚洲av| 大型黄色视频在线免费观看| 女人被狂操c到高潮| 啦啦啦免费观看视频1| 精品久久久久久成人av| 国产成年人精品一区二区| 黄色毛片三级朝国网站| 可以在线观看的亚洲视频| 波多野结衣高清无吗| 欧美中文日本在线观看视频| 国产精品久久久人人做人人爽| 久久国产精品人妻蜜桃| 成人免费观看视频高清| 不卡av一区二区三区| 一级,二级,三级黄色视频| 美女国产高潮福利片在线看| 久久性视频一级片| 波多野结衣高清无吗| 久久草成人影院| 精品人妻在线不人妻| 亚洲精品国产色婷婷电影| 亚洲久久久国产精品| 丁香六月欧美| 亚洲欧美一区二区三区黑人| 久久草成人影院| 涩涩av久久男人的天堂| 多毛熟女@视频| 99精品欧美一区二区三区四区| 麻豆一二三区av精品| 少妇裸体淫交视频免费看高清 | 日本三级黄在线观看| 深夜精品福利| 亚洲在线自拍视频| 亚洲第一青青草原| 中文字幕最新亚洲高清| 在线永久观看黄色视频| 免费久久久久久久精品成人欧美视频| 久久人人精品亚洲av| 99精品久久久久人妻精品| 亚洲人成网站在线播放欧美日韩| 国产伦人伦偷精品视频| 啦啦啦韩国在线观看视频| 99热只有精品国产| 亚洲一区高清亚洲精品| 国产精品一区二区精品视频观看| 国内毛片毛片毛片毛片毛片| 成人欧美大片| 黄片小视频在线播放| 欧美国产日韩亚洲一区| 免费少妇av软件| 国产精品亚洲av一区麻豆| 嫩草影视91久久| 中文字幕人妻熟女乱码| 悠悠久久av| 男人操女人黄网站| 老汉色∧v一级毛片| 久久九九热精品免费| 欧美成人午夜精品| www.www免费av| 亚洲精品一卡2卡三卡4卡5卡| 色播亚洲综合网| 一边摸一边抽搐一进一出视频| av视频在线观看入口| 国产精品乱码一区二三区的特点 | 国产亚洲精品一区二区www| 欧美日韩中文字幕国产精品一区二区三区 | 亚洲欧美精品综合久久99| av中文乱码字幕在线| 午夜精品在线福利| 少妇 在线观看| 日日干狠狠操夜夜爽| 国产精品亚洲美女久久久| 大陆偷拍与自拍| 久久精品国产综合久久久| 视频区欧美日本亚洲| 麻豆一二三区av精品| 欧美日韩中文字幕国产精品一区二区三区 | 窝窝影院91人妻| 99在线人妻在线中文字幕| www.熟女人妻精品国产| 一进一出好大好爽视频| 黄色丝袜av网址大全| 一进一出好大好爽视频| 级片在线观看| 精品国产美女av久久久久小说| 国产精品 欧美亚洲| 日韩欧美一区视频在线观看| 精品久久久久久成人av| 国产精品香港三级国产av潘金莲| 精品日产1卡2卡| 美女免费视频网站| 欧美色欧美亚洲另类二区 | 欧美日韩福利视频一区二区| 午夜精品国产一区二区电影| 在线观看免费午夜福利视频| 欧美一区二区精品小视频在线| 欧美日韩一级在线毛片| 好男人电影高清在线观看| 非洲黑人性xxxx精品又粗又长| 神马国产精品三级电影在线观看 | 国产精品二区激情视频| 亚洲情色 制服丝袜| 国产一卡二卡三卡精品| 最近最新中文字幕大全电影3 | 欧美日本亚洲视频在线播放| 性少妇av在线| 涩涩av久久男人的天堂| 久久久国产成人精品二区| 丁香欧美五月| 国产亚洲欧美精品永久| 国产主播在线观看一区二区| 在线播放国产精品三级| 在线免费观看的www视频| 精品一区二区三区av网在线观看| 十八禁网站免费在线| 亚洲精品av麻豆狂野| 国产精品自产拍在线观看55亚洲| 又紧又爽又黄一区二区| 亚洲成a人片在线一区二区| 宅男免费午夜| 亚洲自偷自拍图片 自拍| 如日韩欧美国产精品一区二区三区| 国产成人系列免费观看| 一级毛片女人18水好多| 日日干狠狠操夜夜爽| 一区二区三区高清视频在线| 亚洲av电影不卡..在线观看| 99在线人妻在线中文字幕| 日韩精品中文字幕看吧| 国产国语露脸激情在线看| av视频免费观看在线观看| 精品高清国产在线一区| 日韩大码丰满熟妇| 波多野结衣av一区二区av| 亚洲欧美日韩高清在线视频| 国产成人精品无人区| 纯流量卡能插随身wifi吗| 国产亚洲欧美98| 免费少妇av软件| 午夜久久久久精精品| 天堂√8在线中文| 欧美乱码精品一区二区三区| 久久九九热精品免费| 国产真人三级小视频在线观看| 窝窝影院91人妻| 中亚洲国语对白在线视频| 亚洲少妇的诱惑av| 淫妇啪啪啪对白视频| 亚洲一码二码三码区别大吗| 久久人人97超碰香蕉20202| 天堂影院成人在线观看| 国产亚洲精品久久久久5区| 12—13女人毛片做爰片一| 法律面前人人平等表现在哪些方面| 露出奶头的视频| 成人特级黄色片久久久久久久| 成年女人毛片免费观看观看9| 国产黄a三级三级三级人| 黄色成人免费大全| 欧美黄色淫秽网站| 91精品三级在线观看| 午夜激情av网站| 欧美色欧美亚洲另类二区 | av电影中文网址| 亚洲色图 男人天堂 中文字幕| 男人舔女人下体高潮全视频| 精品卡一卡二卡四卡免费| 欧美乱妇无乱码| av欧美777| 黑人操中国人逼视频| 久久午夜亚洲精品久久| 亚洲精品久久成人aⅴ小说| 亚洲午夜理论影院| 午夜精品在线福利| 国产主播在线观看一区二区| 好看av亚洲va欧美ⅴa在| 好男人在线观看高清免费视频 | 日韩大码丰满熟妇| 美女大奶头视频| 国产精品电影一区二区三区| 中文字幕另类日韩欧美亚洲嫩草| 美女国产高潮福利片在线看| 大香蕉久久成人网| 亚洲 欧美 日韩 在线 免费| 免费在线观看黄色视频的| 女人高潮潮喷娇喘18禁视频| 欧美成人免费av一区二区三区| 久久婷婷人人爽人人干人人爱 |