語(yǔ)義增強(qiáng)的多模態(tài)虛假新聞檢測(cè)思考

福建師范大學(xué)協(xié)和學(xué)院信息技術(shù)系 陳耿

本文主要以語(yǔ)義增強(qiáng)的多模態(tài)虛假新聞檢測(cè)思考為重點(diǎn)進(jìn)行闡述，首先分析語(yǔ)義增強(qiáng)的多模態(tài)虛假新聞檢測(cè)背景，從文本語(yǔ)義編碼器模塊建立、視覺(jué)語(yǔ)義編碼器模塊建立、多模態(tài)結(jié)合模塊建立、分類(lèi)模塊建立幾個(gè)方面深入說(shuō)明并探討語(yǔ)義增強(qiáng)的多模態(tài)虛假新聞檢測(cè)創(chuàng)新與實(shí)踐，旨在為相關(guān)研究提供參考。

1 語(yǔ)義增強(qiáng)的多模態(tài)虛假新聞檢測(cè)背景

1.1 虛假新聞實(shí)際特征

一般而言，若新聞內(nèi)容呈現(xiàn)出虛構(gòu)傾向，偏離真實(shí)化生活，則這個(gè)新聞可能是虛假新聞。人們閱讀過(guò)程中依舊會(huì)感受“這是實(shí)際發(fā)生的事實(shí)”。虛假新聞?wù)w涉及三個(gè)層面：第一個(gè)層面是單一化假新聞，由于網(wǎng)絡(luò)體現(xiàn)出匿名特征，還可以言論自由，若有人故意編造新聞，會(huì)出現(xiàn)相關(guān)信息圖片在多次轉(zhuǎn)載后出現(xiàn)文字和標(biāo)題不貼切現(xiàn)象；第二個(gè)層面是煽動(dòng)化的假新聞，信息可能由不法分子創(chuàng)造，引出社會(huì)動(dòng)蕩，捏造極端性文字，讓圖片存在血腥暴力的特色；第三個(gè)層面是與利益存在關(guān)系的假新聞，個(gè)體以獲取利益為前提，擅自發(fā)布醒目標(biāo)題，與新聞主旨相匹配，多數(shù)情況可以吸引眼球畫(huà)面，新聞內(nèi)容以廣告或推銷(xiāo)為主[1]。排除虛假新聞主體，新聞發(fā)布者總是發(fā)布不切合實(shí)際新聞信息，尤其是運(yùn)用固有社交媒體平臺(tái)中張貼與新聞主旨沒(méi)有關(guān)系的信息標(biāo)簽。所以虛假新聞經(jīng)常來(lái)源于多種類(lèi)型模態(tài)信息，因此怎樣得到上述特點(diǎn)是創(chuàng)設(shè)模型關(guān)鍵。

1.2 多模態(tài)虛假新聞檢測(cè)現(xiàn)狀

立足于分析對(duì)象本質(zhì)特征，虛假新聞檢測(cè)劃分事件檢測(cè)以及微博檢測(cè)，前者是通過(guò)相同類(lèi)型事件信息，綜合判斷新聞消息是否具備可信度，需要一定時(shí)間支持，部分關(guān)鍵虛假性新聞在事件產(chǎn)生前大范圍存在于社交媒體內(nèi)，可能在較短時(shí)間內(nèi)生成負(fù)面影響；后者對(duì)單一微博信息具備真實(shí)性和事件檢測(cè)結(jié)果互相對(duì)比，此種模式在具體應(yīng)用期間能保證檢測(cè)時(shí)效性，所以備受研究者重視，那么微博模式的虛假新聞檢測(cè)分析更具備意義和價(jià)值[2]。諸多文獻(xiàn)通過(guò)文本內(nèi)容及傳播內(nèi)容生成虛假性新聞，以文本內(nèi)容為基礎(chǔ)形成虛假新聞，固有語(yǔ)言風(fēng)格模型構(gòu)建早期語(yǔ)言學(xué)基礎(chǔ)、主題基礎(chǔ)特征等，還包含深度模型為前提的自動(dòng)化信息高層特征。社交上下文檢測(cè)方法尤其存在于用戶(hù)行為的真實(shí)性層面和網(wǎng)絡(luò)信息傳遞層面，起到一定作用。

最近幾年，部分工作逐步體現(xiàn)出視覺(jué)模態(tài)對(duì)虛假新聞檢測(cè)起到顯著價(jià)值，虛假新聞信息圖片包含圖片誤用、圖片篡改兩種形式。圖片誤用沒(méi)有刻意修改，來(lái)源其他類(lèi)型事件或被錯(cuò)誤感知的真實(shí)性圖片；圖片篡改是運(yùn)用工具刻意改動(dòng)像素，也是自動(dòng)轉(zhuǎn)變某種算法的非具體化圖片?，F(xiàn)有視覺(jué)模態(tài)強(qiáng)調(diào)借助圖片取證和語(yǔ)義特征與上下文特征，全面完成虛假新聞信息檢測(cè)[3]。

除此之外，文本模態(tài)類(lèi)型、視覺(jué)模態(tài)類(lèi)型在一定程度給虛假信息檢測(cè)帶來(lái)補(bǔ)充性信息，關(guān)聯(lián)多模態(tài)信息開(kāi)展虛假新聞檢測(cè)是比較重要的問(wèn)題。神經(jīng)網(wǎng)絡(luò)檢測(cè)方法是對(duì)多模態(tài)數(shù)據(jù)、虛假新聞檢測(cè)結(jié)合，產(chǎn)生含有注意力表現(xiàn)的一種循環(huán)網(wǎng)絡(luò)融合文本以及社交信息，提供虛假新聞檢測(cè)的泛化功能。隨后借助對(duì)抗學(xué)習(xí)理念納入事件類(lèi)型，模型學(xué)習(xí)被賦予和事件無(wú)關(guān)的多模態(tài)性能；依托編碼器與解碼器創(chuàng)設(shè)多模態(tài)新聞特征傳遞過(guò)程，對(duì)于虛假新聞檢測(cè)有效性條件，在事實(shí)知識(shí)匱乏情況下，是無(wú)法全方位感知多模態(tài)新聞事件內(nèi)部語(yǔ)義的；結(jié)合外部圖譜對(duì)文本實(shí)體概念進(jìn)行具體分析，能夠得到語(yǔ)義體系。通過(guò)網(wǎng)絡(luò)建立文本模型和建立圖片模型的交互體系，上述操作方式可彰顯外部知識(shí)圖譜優(yōu)勢(shì)，強(qiáng)化人們對(duì)新聞?wù)Z義掌握[4]，可是創(chuàng)設(shè)圖片語(yǔ)義信息時(shí)依舊表現(xiàn)出不足?；诖耍瑢?duì)于上述工作任務(wù)，提倡語(yǔ)義增強(qiáng)的多模態(tài)虛假新聞檢測(cè)，對(duì)外部知識(shí)的文本信息與圖片信息進(jìn)行處理，全面關(guān)聯(lián)不相同類(lèi)型模態(tài)的異構(gòu)基礎(chǔ)特征進(jìn)行新聞檢測(cè)，存在一定現(xiàn)實(shí)意義。

2 語(yǔ)義增強(qiáng)的多模態(tài)虛假新聞檢測(cè)創(chuàng)新與實(shí)踐

在創(chuàng)設(shè)虛假新聞檢測(cè)方法過(guò)程中，應(yīng)保持創(chuàng)新理念，切合實(shí)際的建立相關(guān)的模塊，即文本語(yǔ)義編碼器模塊、視覺(jué)語(yǔ)義編碼器模塊、多模態(tài)結(jié)合模塊和分類(lèi)模塊。

2.1 文本語(yǔ)義編碼器模塊的建立

文本是新聞事件集中闡述主體，涉及大量數(shù)據(jù)信息，給新聞?wù)鎸?shí)性判斷提供多個(gè)條件。目前存在的方法是借助循環(huán)設(shè)神經(jīng)網(wǎng)絡(luò)建模文本上下文數(shù)據(jù)，捕捉文本表現(xiàn)層實(shí)踐模式。因?yàn)樘卣魈崛‰A段匱乏一定真實(shí)知識(shí)加入，那么此類(lèi)型的方式體現(xiàn)出感知新聞文本內(nèi)容實(shí)體能力的局限性，不能完全得出虛假新聞?wù)Z義線(xiàn)索。BERT（預(yù)訓(xùn)練模型）不只體現(xiàn)建模功能，還可在語(yǔ)料內(nèi)部生成常識(shí)知識(shí)，百度提倡知識(shí)增強(qiáng)語(yǔ)義代表模型，即ERNIE，其內(nèi)部結(jié)構(gòu)和BERT存在一定關(guān)聯(lián)，借助Transformer編碼器功能形成相關(guān)Self機(jī)制，完成上下文數(shù)據(jù)建模。和BERT存在差異，ERNIE涉及的詞句與實(shí)體單元，能夠延伸部分知識(shí)類(lèi)的語(yǔ)料預(yù)訓(xùn)練空間[5]，還可全面了解建模實(shí)體知識(shí)，增強(qiáng)模型現(xiàn)有語(yǔ)義表達(dá)水平。換言之ERNIE不只對(duì)上下文編碼器所含有的詞句表達(dá)，還可充當(dāng)知識(shí)保存器，在句子表達(dá)含義生成階段完整的保存對(duì)應(yīng)知識(shí)。所以ERNIE可充當(dāng)文本模態(tài)信息提取器，體現(xiàn)建模文本擁有表現(xiàn)層性能。

在此需要注意，社交媒體文字圖片相關(guān)新聞信息是新聞重點(diǎn)表現(xiàn)形式，可借助百度預(yù)訓(xùn)練形式進(jìn)行文字模型提取，實(shí)現(xiàn)新聞信息檢測(cè)模塊建設(shè)。

2.2 視覺(jué)語(yǔ)義編碼器模塊的建立

與真實(shí)性新聞信息配圖對(duì)比，虛假新聞圖片質(zhì)量不高，體現(xiàn)出沖擊力與情感煽動(dòng)的問(wèn)題。實(shí)際方法是在卷積神經(jīng)網(wǎng)絡(luò)支撐下得到顏色信息、邊緣信息及紋理信息。因外部知識(shí)匱乏，此類(lèi)型視覺(jué)特征以感知層為主，不能全面了解新聞圖片內(nèi)層語(yǔ)義[6]。本質(zhì)上，新聞圖片和新聞性的視覺(jué)實(shí)體存在關(guān)系，尤其是名人信息、地標(biāo)信息、旗幟信息，確切的判斷可讓人們?nèi)轿徽莆斩嗄B(tài)語(yǔ)義，得到虛假新聞線(xiàn)索。因此相關(guān)人員要利用圖片表示名人信息與地標(biāo)信息過(guò)程，分析圖片包含的地點(diǎn)和新聞文本是不是匹配，識(shí)別圖片物體，判斷文本實(shí)體作用處理多模態(tài)新聞沖突點(diǎn)。同時(shí)應(yīng)關(guān)聯(lián)視覺(jué)特征向量模型，關(guān)聯(lián)外部模型圖片視覺(jué)實(shí)體模型的本質(zhì)語(yǔ)義。另外要想科學(xué)的判斷圖片名人信息與地標(biāo)信息真實(shí)性，即創(chuàng)設(shè)信息集，全面檢測(cè)信息可靠性?？紤]到中文標(biāo)注信息集相對(duì)較少，通過(guò)百度平臺(tái)可提供對(duì)應(yīng)接口體系。強(qiáng)調(diào)名人信息檢測(cè)模型的構(gòu)建，達(dá)到判斷公眾人物數(shù)據(jù)真實(shí)性的目的；形成地標(biāo)檢測(cè)模型，達(dá)到判斷中外地標(biāo)真實(shí)性的目的；形成旗幟檢測(cè)模型，達(dá)到國(guó)旗國(guó)徽與民族服飾信息真實(shí)性判斷的目的；形成敏感目標(biāo)檢測(cè)模型，達(dá)到判斷疾病表征與爆炸火災(zāi)以及暴恐信息真實(shí)性的目的。由此獲取實(shí)體組成列表，提供外部知識(shí)的實(shí)體語(yǔ)義信息數(shù)據(jù)，在ERNIE網(wǎng)絡(luò)內(nèi)納入實(shí)體列表信息，得到實(shí)體表達(dá)序列。

2.3 多模態(tài)結(jié)合模塊的建立

經(jīng)過(guò)上述兩點(diǎn)操作，得到文本的表達(dá)結(jié)果與文本圖片結(jié)合表達(dá)的結(jié)果，之后需求對(duì)多種類(lèi)型的異構(gòu)特點(diǎn)加以統(tǒng)一化多模態(tài)信息傳遞。圖片中會(huì)存有兩個(gè)或者兩個(gè)以上的視覺(jué)主體，然而并不是全部檢測(cè)的實(shí)體都可提供虛假新聞檢測(cè)的便捷條件，關(guān)聯(lián)全部的實(shí)體數(shù)據(jù)信息，可能引出信息冗余與噪聲不足的現(xiàn)象。初步明確和文本相互感應(yīng)的視覺(jué)實(shí)體更關(guān)鍵，所以要關(guān)聯(lián)文本引導(dǎo)注意力機(jī)制[7]，研究不相同圖片區(qū)域?qū)φZ(yǔ)義理解產(chǎn)生的差異性效果，應(yīng)將這些信息互補(bǔ)，拼接多個(gè)組成特點(diǎn)，獲取新聞多模態(tài)表示模型。

2.4 微信公共平臺(tái)模塊的建立

微信公共平臺(tái)是當(dāng)今社會(huì)一種典型媒介，強(qiáng)調(diào)和受眾之間深化溝通，人們借助此平臺(tái)互相傳遞信息，受眾明確指令之后接收?qǐng)D片與文字，適應(yīng)大眾對(duì)主題閱讀的興趣需求，對(duì)多模態(tài)語(yǔ)言傳遞進(jìn)行反饋調(diào)節(jié)。因此多模態(tài)的信息檢測(cè)中，可適當(dāng)納入微信平臺(tái)，提高大眾對(duì)新聞檢測(cè)的參與程度，詮釋多模態(tài)話(huà)語(yǔ)互動(dòng)的內(nèi)涵。

2.5 分類(lèi)模塊的建立

得到輸入新聞多模態(tài)表示形式，把信息傳遞給全連接層再具體分類(lèi)。

首先是數(shù)據(jù)集。虛假新聞分析階段，公開(kāi)性多模態(tài)數(shù)據(jù)集不多，在之后實(shí)驗(yàn)中要探索中文形式微博數(shù)據(jù)集性能，然而模型也可作用在英文形式新聞數(shù)據(jù)集表達(dá)上，主要是由于文本模型強(qiáng)調(diào)深層語(yǔ)義信息的交互和文本表現(xiàn)間關(guān)系不密切，那么語(yǔ)言形式和模型兩者互相影響要在后續(xù)工作中全面被檢驗(yàn)。劃分信息數(shù)據(jù)與檢驗(yàn)信息過(guò)程，歸納全部的信息總結(jié)不相同形式的事件[8]。以此為前提，分類(lèi)處理事件級(jí)別，確保訓(xùn)練信息與檢驗(yàn)信息不會(huì)和新聞信息存有交叉的部分，因?yàn)榫C合數(shù)據(jù)量不多，那么可依托訓(xùn)練集形式與檢驗(yàn)集形式以及測(cè)試集形式全面進(jìn)行研究。

其次是實(shí)驗(yàn)設(shè)計(jì)。在虛假新聞檢測(cè)評(píng)估上，實(shí)驗(yàn)設(shè)計(jì)指標(biāo)包含準(zhǔn)確率項(xiàng)目與假新聞種類(lèi)項(xiàng)目、新聞?wù)倩芈薯?xiàng)目，選取圖片翻轉(zhuǎn)的形式讓假新聞檢測(cè)評(píng)估更為具體化。

（1）對(duì)比結(jié)構(gòu)。利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)文本信息分類(lèi)展現(xiàn)，引進(jìn)多種形式的卷積核，數(shù)目參數(shù)是100；循環(huán)神經(jīng)網(wǎng)絡(luò)充當(dāng)文本類(lèi)別劃分的經(jīng)典形式，注意力機(jī)制重疊網(wǎng)絡(luò)是理解是對(duì)比體現(xiàn)，網(wǎng)絡(luò)隱層單元參數(shù)調(diào)整為128；預(yù)訓(xùn)練語(yǔ)言模型更為廣泛的存在于自然語(yǔ)言加工中，任務(wù)數(shù)據(jù)集微調(diào)結(jié)束對(duì)比Transformers以及BERT模型結(jié)果[9]。

（2）單視覺(jué)模態(tài)判斷思路。利用視覺(jué)特征提取器獲取信息，微調(diào)文本任務(wù)數(shù)據(jù)集。

（3）多模態(tài)判斷思路。把注意力機(jī)制為核心設(shè)置神經(jīng)網(wǎng)絡(luò)作用在融合文本中，體現(xiàn)對(duì)比結(jié)果公平性，轉(zhuǎn)移處理社交特征的結(jié)構(gòu)模塊。把預(yù)訓(xùn)練文本模態(tài)特征與視覺(jué)模態(tài)特征互相關(guān)聯(lián)，在新聞事件分類(lèi)器中融入虛假新聞數(shù)據(jù)；關(guān)聯(lián)多模態(tài)編碼器與新聞檢測(cè)器的任務(wù)模型設(shè)置，提取預(yù)訓(xùn)練特征，有效的形成中間表達(dá)形式，作用在輸入特征與虛假新聞的類(lèi)別篩選上。

（4）結(jié)果情況。分類(lèi)準(zhǔn)確率明顯大于其他對(duì)比方式，語(yǔ)義增強(qiáng)的多模態(tài)模型可讓虛假新聞檢測(cè)效果提升，特別是虛假新聞的召回，表明模型能夠分析多模態(tài)語(yǔ)義線(xiàn)索，即觀(guān)察存在缺陷方法內(nèi)容的虛假性新聞，具體如表1所示。

表1 檢測(cè)方法的性能對(duì)比Tab.1 Performance comparison of detection methods

3 結(jié)語(yǔ)

綜上所述，針對(duì)多模態(tài)新聞?wù)Z義分析不夠透徹現(xiàn)象，關(guān)聯(lián)本文探索語(yǔ)義增強(qiáng)多模態(tài)虛假新聞檢測(cè)方式，依托外部模型保存新聞事件信息，分析多模態(tài)新聞的語(yǔ)義特征，得到語(yǔ)義層次的多種視覺(jué)數(shù)據(jù)，由此才可讓多模態(tài)異構(gòu)體系更完整。