大眾認(rèn)知安全防護(hù)關(guān)鍵技術(shù)研究進(jìn)展

范偉健,王永濱

（中國(guó)傳媒大學(xué)智能融媒體教育部重點(diǎn)實(shí)驗(yàn)室，北京 100024）

1 引言

隨著社交網(wǎng)絡(luò)被大眾廣泛使用，信息的數(shù)字化傳播方式潛移默化地改變了公共媒體空間的整體結(jié)構(gòu)。人們可以通過微信、微博、自媒體等各種網(wǎng)絡(luò)平臺(tái)便捷地獲取大量信息。但在享受這些便利的同時(shí)，大眾也必須面對(duì)一些別有目的的信息傳播帶來的一系列問題，如過濾氣泡，虛假信息，政治分化和仇恨言語(yǔ)等。

例如，在2016年美國(guó)總統(tǒng)大選期間，一條關(guān)于選舉的虛假新聞在世界范圍廣泛傳播［1］。虛假信息的影響范圍已經(jīng)擴(kuò)展到了全球。此外，Covid-19疫情爆發(fā)以來，其相關(guān)信息也成為了全球互聯(lián)網(wǎng)錯(cuò)誤信息的主要話題［2］。

在網(wǎng)絡(luò)與社會(huì)現(xiàn)實(shí)的不斷交互下，“后真相”現(xiàn)象也不斷增多，反映著當(dāng)前網(wǎng)絡(luò)輿論場(chǎng)域一種不信任、無法形成共識(shí)的狀態(tài)［3］。針對(duì)數(shù)字化信息的定量分析與自動(dòng)檢測(cè)成為一個(gè)亟待解決的社會(huì)問題。為了能夠更快更好地解決這一問題，郭斌等人提出了一個(gè)跨學(xué)科研究方向稱為“認(rèn)知安全（Cognition Security,CogSec）”，定義為通過了解人與虛假新聞之間的互動(dòng)模式、認(rèn)知行為以及社會(huì)影響與傳播機(jī)制，來探索識(shí)別虛假新聞、維護(hù)人類認(rèn)知安全的有效途徑［4］。

除了上述提到的內(nèi)容，人工智能技術(shù)的發(fā)展對(duì)數(shù)字化信息的識(shí)別與審核提出了更高的要求：從原先人工創(chuàng)作到人機(jī)協(xié)作或機(jī)器生成的文本、圖像和音視頻內(nèi)容［5］。例如，通過深度偽造技術(shù)（Deepfake）生成真實(shí)人物從未說過的音頻或篡改真實(shí)的視頻內(nèi)容［7］。這類內(nèi)容被一些有心之人用于偽造政客言論和不實(shí)證據(jù)，嚴(yán)重影響了公眾輿論和政治局勢(shì)［7］。

綜上所述，公共空間數(shù)字化轉(zhuǎn)型對(duì)輿論形成、傳播過程和大眾認(rèn)知安全都具有重大影響。為了能夠在巨量數(shù)字化信息中保護(hù)大眾安全，需要計(jì)算機(jī)科學(xué)、語(yǔ)言學(xué)、社會(huì)學(xué)、心理學(xué)、法學(xué)、神經(jīng)科學(xué)、認(rèn)知科學(xué)以及腦科學(xué)等多角度的綜合研究。本文首先從CogSec的概念出發(fā)，調(diào)研了現(xiàn)有研究的相關(guān)概念，以及涉及認(rèn)知安全防護(hù)現(xiàn)存的主要研究任務(wù)；其次，調(diào)研現(xiàn)有用于大眾認(rèn)知安全防護(hù)的關(guān)鍵技術(shù)和進(jìn)展；最后，討論了大眾認(rèn)知安全防護(hù)的主要挑戰(zhàn)和未來方向。

2 認(rèn)知安全防護(hù)

郭斌等人在明確定義認(rèn)知安全和認(rèn)知安全防護(hù)的概念后提出了認(rèn)知安全領(lǐng)域。其原始出發(fā)點(diǎn)主要是針對(duì)虛假新聞，并延伸至關(guān)于虛假新聞帶來的一系列問題的解決技術(shù)。具體定義如下［4］：

定義1認(rèn)知安全：指虛假新聞對(duì)人類認(rèn)知的潛在影響，包括錯(cuò)誤認(rèn)知、不實(shí)知識(shí)獲取、有偏見的決策等。

定義2認(rèn)知安全防護(hù)：致力于有效干預(yù)，確保人的認(rèn)知安全，包括認(rèn)知機(jī)制研究、信息傳播模式挖掘、虛假新聞早期檢測(cè)、惡意機(jī)器人檢測(cè)等技術(shù)。

在調(diào)研過程中發(fā)現(xiàn)虛假新聞并不能代表造成當(dāng)前網(wǎng)絡(luò)環(huán)境中有害現(xiàn)象的數(shù)字化信息。表1總結(jié)了包括虛假新聞在內(nèi)的現(xiàn)有研究涉及到的數(shù)字化信息的相關(guān)概念［8-12］。

表1 現(xiàn)有研究工作中出現(xiàn)的相關(guān)概念

在本文中，將認(rèn)知安全的概念進(jìn)行擴(kuò)充，將虛假新聞延伸至無效信息，并將無效信息定義如下：

定義3無效信息：在網(wǎng)絡(luò)平臺(tái)中發(fā)布的信息，且至少屬于以下情況之一：a）沒有包含實(shí)質(zhì)內(nèi)容；b）包含不實(shí)內(nèi)容；c）具有惡意目的；d）包含未經(jīng)驗(yàn)證的內(nèi)容。

雖然在現(xiàn)有的研究中還沒有發(fā)現(xiàn)直接研究認(rèn)知安全防護(hù)領(lǐng)域的工作。但現(xiàn)有的一些相關(guān)學(xué)科和任務(wù)已經(jīng)有了不同程度的進(jìn)展，其部分成果如下：

（1）社交機(jī)器人

社交機(jī)器人能夠通過特定程序或算法模仿真實(shí)用戶的社交行為，且具有一定自主決策能力［12］。Salge等人指出，推特中有約8.5%的賬戶為社交機(jī)器人，并頻繁參與新聞、熱點(diǎn)事件、商業(yè)交流等社交活動(dòng)［13］。社交機(jī)器人最初是為了自動(dòng)地為用戶提供真實(shí)新聞和信息而提出的，但最近有越來越多的社交機(jī)器人傳播謠言與有害信息，加劇了輿論沖突［14］。

（2）回音室效應(yīng)

指在一個(gè)相對(duì)封閉的網(wǎng)絡(luò)環(huán)境中，一些觀點(diǎn)相近的聲音不斷重復(fù)，令處于相對(duì)封閉環(huán)境中的大多數(shù)人認(rèn)為這些觀點(diǎn)就是事實(shí)的全部。而該封閉網(wǎng)絡(luò)外部的任何信息，都很難在這個(gè)網(wǎng)絡(luò)中傳播或者不會(huì)達(dá)到這個(gè)網(wǎng)絡(luò)中。隨著推薦算法的興起，回音室效應(yīng)進(jìn)一步加劇。當(dāng)用戶總在瀏覽自己喜歡的信息時(shí)，其認(rèn)知行為會(huì)被潛移默化地影響［15］。例如，Barberá等人發(fā)現(xiàn)，政治話題的信息主要在具有相似意識(shí)形態(tài)偏好的用戶之間傳播［16］。在社交網(wǎng)絡(luò)中，高度同質(zhì)化的回音室效應(yīng)會(huì)降低人們識(shí)別無效信息的能力，從而助長(zhǎng)無效信息的傳播［17］。

（3）媒體可信度

Jamieson等人的研究表明，新聞媒體在報(bào)道事實(shí)的同時(shí)，經(jīng)常會(huì)考慮政府的影響、受眾偏好、贊助商喜好等因素［18］。即媒體由于主觀性而無法公正、客觀地報(bào)道新聞事件，是認(rèn)知偏差的一種表現(xiàn)形式。在各方面的綜合影響下，網(wǎng)絡(luò)媒體往往不經(jīng)過核實(shí)就發(fā)布報(bào)道，這為無效信息的傳播提供了機(jī)會(huì)。

（4）虛假新聞和謠言識(shí)別

用戶的認(rèn)知局限性和社交媒體平臺(tái)特性等因素導(dǎo)致虛假新聞和謠言的傳播。傳統(tǒng)的虛假新聞和謠言通常以文本模態(tài)進(jìn)行傳播。然而，網(wǎng)絡(luò)社交平臺(tái)的發(fā)展使其擁有了更多的模態(tài)，使其具有更強(qiáng)的吸引力和更大的影響力［19］。

（5）虛假評(píng)論

指評(píng)論者對(duì)產(chǎn)品或服務(wù)發(fā)表的內(nèi)容與自身真實(shí)感受不一致的評(píng)論［20］。評(píng)論者發(fā)布虛假評(píng)論的主要?jiǎng)訖C(jī)是獲得情感補(bǔ)償和/或財(cái)物等利益，如商家出于不良競(jìng)爭(zhēng)的目的雇傭利益團(tuán)體中的用戶發(fā)布虛假評(píng)論。評(píng)論是網(wǎng)絡(luò)口碑的主要傳遞途徑，為用戶提供參考意見，幫助他們了解產(chǎn)品或服務(wù)的優(yōu)勢(shì)與不足，同時(shí)可以使商家進(jìn)行有針對(duì)性的改進(jìn)。而真實(shí)用戶對(duì)于虛假評(píng)論的識(shí)別能力往往較低，難以識(shí)別出帶有欺騙性質(zhì)的評(píng)論內(nèi)容［21］。

（6）文本生成檢測(cè)

當(dāng)前許多研究表明，文本生成模型已經(jīng)可以生成類似人類語(yǔ)言風(fēng)格的文本，特別是在語(yǔ)法、流暢性、連貫性和對(duì)知識(shí)的使用方面［22,23］。文本生成模型已經(jīng)應(yīng)用在故事生成、對(duì)話回復(fù)生成、代碼自動(dòng)補(bǔ)全等多個(gè)任務(wù)中。然而文本生成模型也面臨著被惡意使用的情況，如虛假新聞、虛假產(chǎn)品評(píng)論和垃圾郵件的生成［24］。

3 關(guān)鍵技術(shù)

本部分在上述擴(kuò)展后概念的基礎(chǔ)上，從認(rèn)知機(jī)制、基于內(nèi)容、基于信息傳播、基于社交行為和新興技術(shù)五個(gè)角度概述大眾認(rèn)知安全防護(hù)的關(guān)鍵技術(shù)。

3.1 認(rèn)知機(jī)制

以內(nèi)容交互為核心的網(wǎng)絡(luò)用戶行為，如發(fā)布、轉(zhuǎn)發(fā)、點(diǎn)贊等，會(huì)極大地影響數(shù)字化信息的傳播和影響力。了解網(wǎng)絡(luò)平臺(tái)上大眾分享、轉(zhuǎn)發(fā)等行為的機(jī)制對(duì)于他們的認(rèn)知安全防護(hù)至關(guān)重要。

神經(jīng)科學(xué)一直被廣泛應(yīng)用于人機(jī)交互的相關(guān)領(lǐng)域。其領(lǐng)域內(nèi)的相關(guān)研究為大眾認(rèn)知安全防護(hù)提供了許多理論基礎(chǔ)。例如，Dmochowski等人發(fā)現(xiàn)相對(duì)于文本，人們觀看視頻時(shí)大腦活動(dòng)更加活躍［25］。Falk等人的研究表明小群體的個(gè)體神經(jīng)反應(yīng)可以用來預(yù)測(cè)大規(guī)模群體的行為［26］。Hasson等人則發(fā)現(xiàn)，不同個(gè)體的大腦在觀看復(fù)雜場(chǎng)景時(shí)，表現(xiàn)出高度一致的行為傾向［27］。

同時(shí)還有一些研究旨在學(xué)習(xí)社交網(wǎng)絡(luò)中的信息分享機(jī)制。例如，Scholz等人［28］提出了一個(gè)神經(jīng)認(rèn)知框架來理解信息分享的機(jī)制。他們發(fā)現(xiàn)分享操作與用戶自我表達(dá)和強(qiáng)化社會(huì)聯(lián)系的動(dòng)機(jī)有關(guān)。Hodas等人通過分析人格類型、情緒、大腦反應(yīng)以及人們分享的內(nèi)容類型之間的聯(lián)系發(fā)現(xiàn)用戶的分享行為可以通過性格和當(dāng)時(shí)的情緒狀態(tài)來預(yù)測(cè)［29］。Falk等人通過觀察用戶翻閱信息時(shí)的神經(jīng)反應(yīng)發(fā)現(xiàn)個(gè)體在信息分析的初始過程中會(huì)產(chǎn)生更大的心理活動(dòng)［30］。

除了神經(jīng)科學(xué)領(lǐng)域外，Lewandowsky等人從心理學(xué)角度，通過觀察用戶對(duì)錯(cuò)誤信息的記憶程度，研究認(rèn)知因素在識(shí)別錯(cuò)誤信息中的作用。并將大眾在面對(duì)錯(cuò)誤信息時(shí)的認(rèn)知問題分為持續(xù)影響效應(yīng)、說服難度、傾向接受自己的知識(shí)和對(duì)錯(cuò)誤信息的接受四類［31］。

3.2 基于內(nèi)容特征的關(guān)鍵技術(shù)

盡管網(wǎng)絡(luò)媒體平臺(tái)上數(shù)字化信息包含許多社會(huì)語(yǔ)境內(nèi)容，但建立可靠的識(shí)別系統(tǒng)所必需的主要特征來源是直接從信息內(nèi)容中提取的特征。而基于內(nèi)容特征的關(guān)鍵技術(shù)可以分為文本表征分析、心理語(yǔ)言學(xué)因素分析和多模態(tài)表征分析。

（1）文本表征分析

現(xiàn)有網(wǎng)絡(luò)無效信息的識(shí)別通常依賴于文本內(nèi)容中的寫作風(fēng)格或語(yǔ)言特征（如詞匯特征、句法特征、和主題特征等）。最直接的文本表征的方法是將識(shí)別任務(wù)視為文本分類問題，并使用 RST［32］，LIWC［33］和text-CNN［34］等技術(shù)進(jìn)行研究。例如，Egele等人［35］使用七個(gè)文本內(nèi)容特征對(duì)網(wǎng)絡(luò)信息進(jìn)行建模，然后通過判斷之后發(fā)布的信息是否偏離已創(chuàng)建的模型來檢測(cè)社交機(jī)器人。

此外，真實(shí)的信息往往會(huì)引發(fā)用戶的悲傷、快樂和信任的情感，而虛假新聞往往會(huì)引發(fā)公眾的驚訝、恐懼和厭惡。Alonso等人提出了一種融合多種情感特征提取器的虛假信息檢測(cè)方法［36］。

（2）心理語(yǔ)言學(xué)因素分析

由心理學(xué)相關(guān)研究表明，基于事實(shí)的陳述在內(nèi)容和質(zhì)量上都與虛構(gòu)的陳述不同。寫作風(fēng)格特征旨在用可量化的特征來識(shí)別不同的內(nèi)容風(fēng)格。Potthast等人［37］就利用真實(shí)新聞和虛假新聞在寫作風(fēng)格上的差異，提出了一種用于檢測(cè)虛假新聞的元學(xué)習(xí)模型。Marouf等人針對(duì)網(wǎng)絡(luò)不當(dāng)言論數(shù)據(jù)集，使用LIWC工具構(gòu)建了六種不同心理學(xué)因素特征［38］。

（3）多模態(tài)表征分析

帶有視覺內(nèi)容的信息要比純文本信息傳播的速度更快，并且越來越多的信息通過圖像進(jìn)行傳播，已經(jīng)有大量研究聚焦于預(yù)測(cè)帶有誤導(dǎo)內(nèi)容多模態(tài)信息。

Garimella和Eckles從WhatsApp收集了2500幅圖像樣本，并進(jìn)行標(biāo)注。他們根據(jù)這個(gè)數(shù)據(jù)集進(jìn)行了不同類型的圖像識(shí)別研究，如斷章取義的圖像、篡改圖像、誤導(dǎo)圖像等。該研究還發(fā)現(xiàn)，帶有暴力因素的圖像比其他圖像信息傳播速度更快［39］。

Volkova等人提出了使用文本、視覺和詞匯特征檢測(cè)誤導(dǎo)信息的模型［40］。Zlatkova等人通過比較文本和圖像之間不同特征組的表現(xiàn)來完成關(guān)于圖像聲明的真實(shí)性判斷任務(wù)［41］。Wang等人在分析了社交媒體圖像推文后，發(fā)現(xiàn)帶有篡改圖像的推文會(huì)有更高的用戶參與度［42］。

3.3 基于信息傳播的關(guān)鍵技術(shù)

建模信息如何傳播有助于分析無效信息的傳播機(jī)制，為阻止無效信息的擴(kuò)散提供理論依據(jù)和技術(shù)支撐。在社會(huì)學(xué)、物理學(xué)和計(jì)算機(jī)科學(xué)中，社交網(wǎng)絡(luò)中的信息傳播一直是研究熱點(diǎn)之一。信息傳播建模、信息源檢測(cè)和影響力最大化分析等研究都為大眾認(rèn)知安全防護(hù)提供研究路徑與可靠方法。

（1）傳播機(jī)制

社交網(wǎng)絡(luò)中的虛假信息往往會(huì)導(dǎo)致社區(qū)內(nèi)的同質(zhì)化和社區(qū)間的兩極分化，且虛假內(nèi)容傳播的早期階段往往表現(xiàn)為病理模式。Friggeri等人通過分析Facebook上的謠言傳播發(fā)現(xiàn)，在社交平臺(tái)中謠言的擴(kuò)散深度比普通信息更深［43］。Liu等人發(fā)現(xiàn)真實(shí)新聞和虛假新聞的傳播模式存在明顯差異［44］。

為了理解社交網(wǎng)絡(luò)的脆弱性，提高用戶對(duì)虛假新聞的應(yīng)變能力，Wang等人提出了一個(gè)多變量跳躍傳播引導(dǎo)框架，該框架對(duì)輿論的傳播動(dòng)態(tài)進(jìn)行建模，引導(dǎo)輿論達(dá)到理想狀態(tài)［45］。Martins等人提出了一個(gè)觀點(diǎn)傳播模型CODA，將用戶的不同觀點(diǎn)視為離散變量，將每個(gè)觀點(diǎn)建模為連續(xù)的觀點(diǎn)函數(shù)，目標(biāo)用戶根據(jù)鄰居觀點(diǎn)的貝葉斯描述來決定是否改變自己的觀點(diǎn)［46］。Yang等人為了描述用戶角色之間的交互操作及其對(duì)信息傳播的影響，提出了角色感知的信息傳播模型［47］。Gilani等人通過分析真實(shí)用戶和社交機(jī)器人在推特上發(fā)布和轉(zhuǎn)發(fā)的行為，發(fā)現(xiàn)社交機(jī)器人在信息傳播中起著非常重要的作用［48］。

（2）關(guān)鍵節(jié)點(diǎn)影響機(jī)制

Morone等人將滲透理論引入到社會(huì)網(wǎng)絡(luò)影響節(jié)點(diǎn)發(fā)現(xiàn)中，發(fā)現(xiàn)大量弱連接（低度）節(jié)點(diǎn)可以成為最優(yōu)影響者［49］。Amati利用動(dòng)態(tài)轉(zhuǎn)發(fā)圖中節(jié)點(diǎn)的度、親密度、之間度和PageRank中心度來尋找Twitter中最有影響力的用戶［50］。Qiu等人結(jié)合網(wǎng)絡(luò)嵌入、圖卷積和注意力機(jī)制提出一個(gè)基于深度學(xué)習(xí)的影響力預(yù)測(cè)框架，學(xué)習(xí)用戶潛在的社會(huì)表征來評(píng)估其社會(huì)影響［51］。

（3）影響機(jī)制

社交網(wǎng)絡(luò)用戶是否會(huì)被影響，取決于其相關(guān)社區(qū)的組成部分和結(jié)構(gòu)，而不是社區(qū)的規(guī)模大小。因此，以目標(biāo)用戶的鄰居為代表的不同社會(huì)環(huán)境和影響可以被認(rèn)為是社會(huì)影響的驅(qū)動(dòng)機(jī)制。Kramer等人的研究證明了Facebook中每個(gè)用戶的情緒都會(huì)受到其他用戶的影響［52］，這為大規(guī)模的社會(huì)影響和傳染提供了實(shí)驗(yàn)基礎(chǔ)。

Abebe等人從人們心理敏感性變化的角度研究了信息傳染的過程，并提出了一個(gè)社會(huì)觀點(diǎn)的動(dòng)態(tài)模型，綜合利用群體觀點(diǎn)的最大化和最小化來影響社會(huì)輿論［53］。Messias等人則從影響力的角度出發(fā)，提出了惡意社交機(jī)器人的行為策略，包括定期發(fā)布某個(gè)熱門話題的推文、不同的發(fā)布間隔和內(nèi)容完整性［54］。Abokhodair等人通過分析社交機(jī)器人的發(fā)布行為、社交結(jié)構(gòu)、群體行為特征及影響網(wǎng)絡(luò)，發(fā)現(xiàn)社交機(jī)器人如果擁有更多類似人的社交行為就會(huì)提高其傳播影響力［55］。

3.4 基于社交行為技術(shù)

社交行為主要包含用戶的發(fā)布、轉(zhuǎn)發(fā)、評(píng)論和點(diǎn)贊數(shù)等操作以及這些操作的時(shí)間信息。分析和挖掘現(xiàn)有網(wǎng)絡(luò)平臺(tái)中社交行為數(shù)據(jù)具有重要的價(jià)值。

Ma等人利用時(shí)間序列的社會(huì)語(yǔ)境特征來檢測(cè)網(wǎng)絡(luò)謠言［56］。Jin等人通過挖掘評(píng)論中支持或反對(duì)意見，提出了一種用于謠言檢測(cè)的可信度傳播網(wǎng)絡(luò)模型［57］。Ruchansky等人通過結(jié)合信息的文本特征、用戶評(píng)論和發(fā)布者特征，提出了基于RNN的虛假新聞檢測(cè)模型［58］。Shu等人通過研究發(fā)布者、信息內(nèi)容和用戶之間的社會(huì)關(guān)系，提出了一個(gè)用于對(duì)人與內(nèi)容的交互進(jìn)行建模的關(guān)系嵌入網(wǎng)絡(luò)，并將該模型用于檢測(cè)虛假信息［59］。

Boshmaf等人利用社交機(jī)器人與人類用戶在好友數(shù)、發(fā)文時(shí)間間隔、發(fā)布內(nèi)容和賬戶屬性等方面的差異特征，提出了一種基于隨機(jī)森林的社交機(jī)器人檢測(cè)方法［60］。Haustein等人分析真實(shí)推特用戶和社交機(jī)器人在轉(zhuǎn)發(fā)科學(xué)類文章方面的差異，發(fā)現(xiàn)社交機(jī)器人在涉及主題、來源等方面的轉(zhuǎn)發(fā)往往沒有主題聚焦的特性［61］。此外，Varol等人發(fā)現(xiàn)，與人類用戶相比，社交機(jī)器人的社交行為選擇更加隨意，它們與真實(shí)用戶之間的雙向交互更少［62］。

3.5 新興技術(shù)

目前最先進(jìn)的文本生成模型已經(jīng)能夠生成接近人類語(yǔ)言風(fēng)格的文本，特別是在語(yǔ)法、流暢性、連貫性以及對(duì)現(xiàn)實(shí)世界知識(shí)的使用上。文本生成模型的發(fā)展使其能夠服務(wù)于各種各樣的應(yīng)用中，包括故事生成、對(duì)話回復(fù)生成、代碼自動(dòng)補(bǔ)全等。然而，文本生成模型也可能被濫用，如虛假新聞生成、虛假產(chǎn)品評(píng)論生成和垃圾郵件等。Gao等人發(fā)現(xiàn)推特中63%的無效信息是基于模板生成的［63］。因此，構(gòu)建能夠最大限度地減少文本生成模型誤用帶來的威脅的工具是很重要的。

表2 列舉了現(xiàn)有的一些典型的文本生成模型［24］。對(duì)于語(yǔ)言模型任務(wù)，可以在特定領(lǐng)域的語(yǔ)料庫(kù)上對(duì)這些訓(xùn)練過的文本生成模型進(jìn)行微調(diào)，以生成適配各自領(lǐng)域的文本。例如，Adelani等人對(duì)GPT-2模型在產(chǎn)品評(píng)論的特定領(lǐng)域進(jìn)行微調(diào)，生成了模仿真實(shí)用戶評(píng)論風(fēng)格的虛假評(píng)論［64］。

表2 文本生成模型

而在最近的GROVER相關(guān)研究中，有研究者發(fā)現(xiàn)從文本生成模型中檢測(cè)虛假信息的最佳模型還是其模型本身。此外，RoBERTa檢測(cè)器可以泛化到在其預(yù)訓(xùn)練期間未看到的數(shù)據(jù)源上，該檢測(cè)器可以在推文中準(zhǔn)確地識(shí)別出機(jī)器生成的推文，性能表現(xiàn)遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)的機(jī)器學(xué)習(xí)模型和復(fù)雜神經(jīng)網(wǎng)絡(luò)模型。同時(shí)，在檢測(cè)由文本生成模型生成的新聞文章和由微調(diào)的GPT-2模型生成的產(chǎn)品評(píng)論任務(wù)中，RoBERTa檢測(cè)器也優(yōu)于現(xiàn)有的模型。

4 挑戰(zhàn)與未來

雖然在大眾認(rèn)知安全防護(hù)這一新興研究領(lǐng)域內(nèi)還沒有針對(duì)性的研究，但相關(guān)學(xué)科和相似任務(wù)的研究已經(jīng)為該領(lǐng)域研究提供了初步的理論基礎(chǔ)和技術(shù)支撐。今后，這一領(lǐng)域仍有許多研究挑戰(zhàn)與實(shí)際問題需要解決，本部分將討論其中一些急需解決的問題。

（1）對(duì)于大眾認(rèn)知安全防護(hù)，首先要了解人類對(duì)無效信息的認(rèn)知機(jī)制。而認(rèn)知機(jī)制的研究涉及認(rèn)知科學(xué)、心理學(xué)、神經(jīng)科學(xué)等多個(gè)學(xué)科。針對(duì)當(dāng)前網(wǎng)絡(luò)媒體平臺(tái)的發(fā)展，需要深入研究具體的認(rèn)知問題。例如，個(gè)體認(rèn)知對(duì)群體行為的影響；滿足用戶認(rèn)知偏好的無效信息的特征；社交行為對(duì)個(gè)體認(rèn)知的影響等。

（2）信息傳播模型和影響力模型是人類社會(huì)的一種普遍現(xiàn)象，它有助于社會(huì)網(wǎng)絡(luò)中觀點(diǎn)動(dòng)力學(xué)、行為塑造和認(rèn)知偏好的研究。因此對(duì)社交網(wǎng)絡(luò)上有影響力的用戶進(jìn)行評(píng)估，最大化地提高其在信息傳播過程中的影響力，有助于中斷無效信息的傳播進(jìn)程。這就需要加快研究在新的網(wǎng)絡(luò)媒介中信息的傳播理論，以及真實(shí)信息對(duì)大眾的快速影響最大化機(jī)制。

（3）網(wǎng)絡(luò)媒體平臺(tái)中的信息通常具有極高的時(shí)效性，平均傳播時(shí)間不超過三天，且無效信息的傳播往往在早期階段就已造成極大的影響。因此，針對(duì)無效信息的早期發(fā)現(xiàn)是一個(gè)重要的課題。盡管關(guān)于虛假新聞的早期發(fā)現(xiàn)這一相似任務(wù)已經(jīng)進(jìn)行了一些研究，但其性能表現(xiàn)仍有待提高。

（4）隨著深度學(xué)習(xí)和大規(guī)模預(yù)訓(xùn)練模型的成果應(yīng)用，現(xiàn)有的模型研究通常只給出相關(guān)任務(wù)的結(jié)果，而針對(duì)結(jié)果的決策依據(jù)幾乎沒有解釋。然而，無效信息挖掘過程中的可解釋性以及模型透明性對(duì)于說服大眾具有不可替代的作用。隨著可解釋機(jī)器學(xué)習(xí)的發(fā)展和知識(shí)圖譜的引入，深度學(xué)習(xí)模型也具有了一定的可解釋，但為了能夠更好地獲取大眾的信任，如概率圖模型、基于復(fù)雜規(guī)則的知識(shí)圖譜和人機(jī)交互機(jī)制等可解釋技術(shù)依舊需要進(jìn)一步探索。

5 結(jié)論

本文針對(duì)認(rèn)知安全這一全新的研究課題，為了更加準(zhǔn)確描述認(rèn)知安全防護(hù)的內(nèi)容，在通過相關(guān)領(lǐng)域和研究任務(wù)的充分調(diào)研后，擴(kuò)展了認(rèn)知安全的相關(guān)概念并回顧了一些現(xiàn)有研究的代表性成果，包括社交機(jī)器人、回聲室效應(yīng)、媒體可信度、文本生成檢測(cè)等。然后，本文通過認(rèn)知機(jī)制、基于內(nèi)容、基于社交網(wǎng)絡(luò)、基于社交行為和新興技術(shù)五個(gè)角度分析了涉及大眾認(rèn)知安全防護(hù)的現(xiàn)有研究工作進(jìn)展，并討論了這一新興領(lǐng)域所面臨的實(shí)際問題。大眾認(rèn)知安全防護(hù)的研究仍處于起步階段，相關(guān)領(lǐng)域的研究人員仍面臨許多挑戰(zhàn)和問題。