數(shù)字化時代內(nèi)容風控領(lǐng)域的實踐探索

摘要：隨著數(shù)字化時代的到來，大數(shù)據(jù)、人工智能等新技術(shù)、新應用、新業(yè)態(tài)高速發(fā)展，由文字、圖片、視頻等傳播形態(tài)帶來的海量信息流通過各種內(nèi)容平臺廣泛傳播，多元呈現(xiàn)形式及創(chuàng)作主體引發(fā)的網(wǎng)絡(luò)信息亂象、內(nèi)容安全事件頻發(fā)。如何防止違法違規(guī)信息傳播，規(guī)范傳播秩序，成為社會廣泛關(guān)注的話題。

文章分析數(shù)字化時代內(nèi)容風控的發(fā)展背景、市場現(xiàn)狀及主要業(yè)務(wù)模式，以人民網(wǎng)、Facebook等媒體為研究對象，探究這些媒體發(fā)揮內(nèi)容把關(guān)優(yōu)勢，依托大數(shù)據(jù)、人工智能等技術(shù)，圍繞內(nèi)容風控標準制定、技術(shù)賦能、平臺建設(shè)等方面開展的實踐探索，進而指出數(shù)字化時代主流媒體在推動內(nèi)容風控產(chǎn)業(yè)發(fā)展、提升行業(yè)整體審核水平、助力互聯(lián)網(wǎng)尤其是商業(yè)平臺信息內(nèi)容生態(tài)良性發(fā)展中所具備的優(yōu)勢與價值。

關(guān)鍵詞：數(shù)字化時代；新媒體；內(nèi)容風控；內(nèi)容把關(guān)；PGC；UGC；AIGC

中圖分類號：G206；G210.7 文獻標志碼：A 文章編號：1674-8883（2023）13-0080-03

美國麻省理工學院教授尼葛洛龐帝在《數(shù)字化生存》中提出，后信息社會，又稱比特時代或數(shù)字化時代，是繼工業(yè)時代和信息時代之后的新時代[1]。當前，新一代人工智能正在全球范圍內(nèi)蓬勃發(fā)展，推動著人類社會生活、生產(chǎn)、消費模式的巨大變革，為經(jīng)濟社會發(fā)展提供了新動能[2]。

科技革命和產(chǎn)業(yè)變革使得媒體的傳播方式和商業(yè)模式正在被重塑，媒體內(nèi)容的生產(chǎn)及分發(fā)方式發(fā)生根本性改變——從專業(yè)生成內(nèi)容（PGC）到用戶生成內(nèi)容（UGC）再到AI生成內(nèi)容（AIGC），創(chuàng)作者生態(tài)不斷變化，效率和產(chǎn)出都呈倍速提升[3]。媒體產(chǎn)業(yè)從傳統(tǒng)的垂直層級結(jié)構(gòu)轉(zhuǎn)變?yōu)闄M向網(wǎng)絡(luò)結(jié)構(gòu)；傳統(tǒng)媒體的受眾轉(zhuǎn)向數(shù)字媒體，通過互聯(lián)網(wǎng)和移動設(shè)備獲取信息；新的媒體形態(tài)和內(nèi)容表達方式不斷涌現(xiàn)。

一方面，數(shù)字媒體的崛起為媒體提供了更多交互方式和商業(yè)模式，實現(xiàn)了個性化定制和精準營銷；另一方面，傳統(tǒng)媒體面臨收入下降、市場份額流失和盈利模式變革等挑戰(zhàn)。

“新媒體”，即數(shù)字化媒體，是生長于數(shù)字傳播技術(shù)之上的媒體形態(tài)及傳播范式。當代數(shù)字新媒體浪潮本身就是數(shù)字化社會與數(shù)字化經(jīng)濟的組成部分之一，因此數(shù)字化這一動作在媒體領(lǐng)域早已開始[4]。人工智能產(chǎn)業(yè)前景廣闊，生成式AI更是一個極具突破性的產(chǎn)業(yè)發(fā)展方向，它不僅能給數(shù)字媒體和虛擬空間帶來價值，還能促進實體行業(yè)的發(fā)展[5]。雖然數(shù)字化時代給人們帶來了諸多便利，但是也帶來了新的挑戰(zhàn)，如數(shù)字隱私、網(wǎng)絡(luò)安全、知識產(chǎn)權(quán)等。

一、內(nèi)容風控的發(fā)展背景及市場現(xiàn)狀

數(shù)字化時代，海量信息真假難辨，內(nèi)容安全事件時有發(fā)生。其中，以UGC最為典型[6]。用戶由信息接收者轉(zhuǎn)變?yōu)樾畔⑸a(chǎn)者，每個用戶都可以進行內(nèi)容生產(chǎn)。但用戶的知識素養(yǎng)、專業(yè)技術(shù)、道德水平參差不齊。某些商業(yè)平臺為了賺取流量，散布違反法律法規(guī)、違背社會公序良俗的內(nèi)容。如果不對這些內(nèi)容亂象加以約束管理，必定會誤導用戶、影響社會輿論甚至破壞國家政治穩(wěn)定。

AIGC的出現(xiàn)或?qū)⒋蚱苽鹘y(tǒng)的人為局限，實現(xiàn)獨立創(chuàng)作和內(nèi)容生態(tài)的無限供應。但隨著AIGC涉足的領(lǐng)域越來越廣，其可能在倫理、道德和法律方面引發(fā)諸多問題[7]，如AI生成的內(nèi)容可能包含虛假、具有誤導性的信息等，這會削弱信息的真實性和可信度，并對受眾產(chǎn)生不良影響。

此外，AI生成的部分內(nèi)容包含個人信息，如姓名、照片、聯(lián)系方式等，可能被用于誹謗、惡意抨擊，導致個人的隱私權(quán)、人格權(quán)被侵犯。這些風險均需要重視，并采取措施來減少負面影響。

近年來，為整治網(wǎng)絡(luò)生態(tài)突出問題，監(jiān)管部門加大打擊違法力度，并采取了一系列治理措施，對維護網(wǎng)絡(luò)內(nèi)容安全特別是意識形態(tài)安全，提出了更高要求。2022年，中國國家互聯(lián)網(wǎng)信息辦公室組織開展13項“清朗”專項行動，清理違法和不良信息5430余萬條，處置賬號680余萬個，下架APP、小程序2890余款，解散關(guān)閉群組、貼吧26萬個，關(guān)閉網(wǎng)站7300多家[8]。

對互聯(lián)網(wǎng)內(nèi)容平臺來說，內(nèi)容風控的成敗直接決定著平臺和企業(yè)的生死。隨著各行業(yè)、各組織機構(gòu)日漸增強內(nèi)容風控意識，內(nèi)容風控成為互聯(lián)網(wǎng)平臺和企業(yè)的標配風控項。對監(jiān)管部門來說，互聯(lián)網(wǎng)上的信息龐雜，很難完全掌握和跟蹤所有信息；信息傳播速度快，審查難、取證難；部分平臺對審核標準和尺度把握得不夠準確，“自審自校”的機制無法做到嚴謹、客觀、公正，這些都對內(nèi)容風控提出了新挑戰(zhàn)[9]。

所謂“內(nèi)容風控”，即互聯(lián)網(wǎng)內(nèi)容風險防控。業(yè)內(nèi)觀點認為，內(nèi)容風控是針對互聯(lián)網(wǎng)上海量內(nèi)容的內(nèi)外部風險進行宏觀到微觀的引導和審核，從內(nèi)容安全等領(lǐng)域幫助企業(yè)化解監(jiān)管風險和社會輿論風險[10]。內(nèi)容風控的核心是內(nèi)容審核[11]，基于圖像、文本、音視頻的檢測技術(shù)，可自動檢測違法違規(guī)內(nèi)容。內(nèi)容風控是一個很大的體系，除了基礎(chǔ)審核，還包括前期內(nèi)容生產(chǎn)風控規(guī)范、輿情引導、內(nèi)容的二次巡檢、產(chǎn)品界面的風控提示等工作配合。人民網(wǎng)總裁葉蓁蓁曾總結(jié)道，“‘內(nèi)容風控是一項政策密集型、技術(shù)密集型、管理密集型、人才密集型的全新業(yè)務(wù)”[12]。

目前，內(nèi)容風控行業(yè)正處于發(fā)展初級階段，呈現(xiàn)出專業(yè)化、智能化、規(guī)?；a(chǎn)業(yè)化特點，其市場規(guī)模伴隨移動互聯(lián)網(wǎng)內(nèi)容產(chǎn)業(yè)發(fā)展不斷擴大。按照方正證券的預測，當下中國互聯(lián)網(wǎng)內(nèi)容產(chǎn)業(yè)規(guī)模在9500億以上，假設(shè)內(nèi)容審核投入占互聯(lián)網(wǎng)內(nèi)容市場的2%，那么整個內(nèi)容審核行業(yè)的規(guī)模將超190億，如果其中50%是大廠閉環(huán)，其余給到第三方市場化企業(yè)的市場空間也會在百億以上[13]。

二、內(nèi)容風控的主要業(yè)務(wù)模式

從當前的技術(shù)手段來看，內(nèi)容風控的主要業(yè)務(wù)模式包括下列五類：

數(shù)據(jù)采集與分析模式。該模式主要通過采集用戶的行為數(shù)據(jù)、社交媒體數(shù)據(jù)、設(shè)備數(shù)據(jù)等信息，并通過數(shù)據(jù)挖掘和分析技術(shù)來識別潛在的風險和不良內(nèi)容。通過用戶在社交媒體上的言論和行為數(shù)據(jù)，判斷其是否存在惡意行為或發(fā)布不良內(nèi)容的傾向。

內(nèi)容審核與過濾模式。該模式主要通過建立內(nèi)容審核和過濾系統(tǒng)，對用戶上傳的內(nèi)容進行實時檢測和篩選。這些系統(tǒng)通常包括關(guān)鍵詞過濾、圖像識別等算法，以識別和過濾不良內(nèi)容。

用戶行為監(jiān)控與反欺詐模式。該模式主要通過監(jiān)控用戶的行為模式和交易數(shù)據(jù)，識別潛在的欺詐行為和風險。識別用戶賬號的異常登錄地點、登錄時間、登錄設(shè)備，以及不尋常的交易行為，判斷是否存在賬號被盜用、交易欺詐等風險。

實名認證與信用評估模式。該模式主要通過實名認證和個人信用評估來建立用戶信任度，降低不良內(nèi)容的風險。要求用戶提供真實姓名、身份證號碼等，利用大數(shù)據(jù)和機器學習技術(shù)進行信用評估，以識別高風險用戶和不良行為。

協(xié)同過濾與社群監(jiān)督模式。該模式主要通過建立用戶社群和使用者反饋機制，并通過協(xié)同過濾算法和社區(qū)監(jiān)督來推薦和篩選內(nèi)容。系統(tǒng)會根據(jù)用戶的興趣、評價和行為歷史，為其推薦相關(guān)內(nèi)容，并通過用戶的反饋等來動態(tài)調(diào)整和優(yōu)化推薦結(jié)果。

上述業(yè)務(wù)模式通常會結(jié)合多種技術(shù)手段，如人工智能、機器學習、數(shù)據(jù)挖掘等，以提高內(nèi)容風控的準確性和效率。

從商業(yè)市場模式來看，自建審核團隊和第三方審核是內(nèi)容風控的兩種主要模式。第三方內(nèi)容風控，是由第三方專業(yè)機構(gòu)借助技術(shù)和人工審核團隊，對平臺進行違規(guī)內(nèi)容識別，過濾并刪除含有違規(guī)信息的圖文及音視頻，確保平臺內(nèi)容合法合規(guī)，內(nèi)容平臺方根據(jù)審核內(nèi)容及數(shù)量支付給第三方機構(gòu)一定報酬的業(yè)務(wù)模式[14]。

目前，第三方內(nèi)容風控服務(wù)商的標配是“機器識別+人工審核”。機器識別，即基于深度學習及大規(guī)模樣本訓練，對內(nèi)容進行分析，分辨其中可能存在的違法違規(guī)內(nèi)容，對其進行標紅和分類預處理后交由人工審核。除此之外，還有少數(shù)服務(wù)商提供“機器識別+人工審核+安全策略”服務(wù)。審核主體包括互聯(lián)網(wǎng)企業(yè)及傳統(tǒng)媒體，其中互聯(lián)網(wǎng)企業(yè)包括阿里云、騰訊云等。以騰訊云為例，其推出的基于人工智能和大數(shù)據(jù)技術(shù)的內(nèi)容審查系統(tǒng)，能夠有效幫助企業(yè)監(jiān)測和審查用戶生成的內(nèi)容，防止違法違規(guī)信息的傳播。

從風控需求來看，互聯(lián)網(wǎng)時代內(nèi)容風控應滿足橫縱兩方面要求。橫向方面，內(nèi)容形式應做到全域覆蓋，主要包括文本、圖片、音頻、視頻、網(wǎng)頁；縱向方面，垂直場景應做到深度應用。

由于人工智能對內(nèi)容的辨別程序的準確性具有不確定性，所以目前80%以上的內(nèi)容風險仍有賴于人工研判。內(nèi)容風控產(chǎn)業(yè)需要大量專業(yè)人才，這些專業(yè)人才必須有豐富的政治、歷史、文化、經(jīng)濟、軍事等知識儲備，才能識別各類違規(guī)內(nèi)容及其形態(tài)變形。

三、內(nèi)容風控領(lǐng)域的實踐探索

目前，國內(nèi)外一些主流媒體已經(jīng)就內(nèi)容風控服務(wù)輸出展開探索。如Facebook，利用機器學習算法和圖像識別技術(shù)來識別和過濾違規(guī)內(nèi)容，并通過收集用戶反饋和人工審核來填補機器學習算法的工作。

（一）主流媒體的優(yōu)勢

與互聯(lián)網(wǎng)企業(yè)相比，主流媒體擁有更專業(yè)的團隊，其對政策導向的把控和解讀更加權(quán)威，能為用戶提供高質(zhì)量、可信賴的內(nèi)容。尤其是在面對重大事件、敏感事件時，主流媒體的團隊經(jīng)驗豐富，能夠通過風控服務(wù)維護用戶的合法權(quán)益，提升用戶體驗，起到凈化網(wǎng)絡(luò)環(huán)境的作用?？梢哉f，主流媒體是幫助用戶明辨是非、營造清朗輿論空間的主力軍。

（二）主流媒體在內(nèi)容風控領(lǐng)域的實踐探索

隨著互聯(lián)網(wǎng)內(nèi)容產(chǎn)業(yè)的發(fā)展和內(nèi)容監(jiān)管政策的逐步規(guī)范，內(nèi)容風控市場持續(xù)擴大。具有天然導向把控和內(nèi)容把關(guān)優(yōu)勢的主流媒體現(xiàn)已成為第三方內(nèi)容風控服務(wù)輸出主力。

內(nèi)容風控服務(wù)方面，人民網(wǎng)推出第三方風控平臺，提供文字、圖片、音頻、視頻等全品類內(nèi)容風控及培訓服務(wù)，業(yè)務(wù)范圍覆蓋文字、圖片、短視頻等各類新型互聯(lián)網(wǎng)內(nèi)容形態(tài)。通過組建專業(yè)的內(nèi)容審核團隊及采用人工和技術(shù)相結(jié)合的方式，對平臺上的內(nèi)容進行嚴格審核。不僅如此，還針對不同的內(nèi)容和敏感問題制定了專門的審核規(guī)則和標準，利用人工智能和大數(shù)據(jù)技術(shù)，積累了大量內(nèi)容風險識別模型和算法。

市場應用方面，人民網(wǎng)采用“人工智能初審+人工復審”的審核模式。與大型央企、國企、互聯(lián)網(wǎng)企業(yè)建立長期合作模式；針對中小型企業(yè)搭建云審核平臺，通過智能化、標準化服務(wù)，幫助中小型企業(yè)確保內(nèi)容安全、降低內(nèi)容審核成本。人民網(wǎng)把內(nèi)容風控定義為一個全新職業(yè)，形成職業(yè)分級與分類，同時形成“風控大腦”，通過數(shù)據(jù)積累，使自身不僅能提供內(nèi)容風控服務(wù)，還能對外輸出一套業(yè)務(wù)標準[15]。

新華網(wǎng)自主研發(fā)的自動審核系統(tǒng)，可以自動識別和過濾違法違規(guī)信息，確保信息質(zhì)量和可信度。此外，其還利用區(qū)塊鏈技術(shù)構(gòu)建了內(nèi)容溯源系統(tǒng)，對內(nèi)容的來源和傳播路徑進行追蹤和溯源。該技術(shù)能夠有效對抗信息篡改和虛假信息的傳播，為用戶提供更安全、更可靠的信息環(huán)境。

四、結(jié)語

近年來，從中央到地方陸續(xù)發(fā)布多項互聯(lián)網(wǎng)內(nèi)容治理措施，監(jiān)管政策趨嚴。在凈化網(wǎng)絡(luò)生態(tài)、規(guī)范網(wǎng)絡(luò)傳播秩序的背景下，主流媒體應發(fā)揮內(nèi)容把關(guān)優(yōu)勢，依托大數(shù)據(jù)、人工智能等技術(shù)，圍繞內(nèi)容風控標準制定、平臺建設(shè)、人才培養(yǎng)等，開展更多內(nèi)容風控領(lǐng)域的創(chuàng)新實踐，助推內(nèi)容風控產(chǎn)業(yè)發(fā)展，助力網(wǎng)絡(luò)強國、數(shù)字中國建設(shè)。

參考文獻：

[1] 尼古拉·尼葛洛龐帝.數(shù)字化生存[M].北京：電子工業(yè)出版社，2017：158-160.

[2] 王延峰，于曉宇，史占中，等.賦能：人工智能與數(shù)字經(jīng)濟[M].北京：高等教育出版社，2022：31-32.

[3] 呂白，機器貓. AIGC+：100倍速生產(chǎn)爆款內(nèi)容的底層邏輯[M].北京：北京理工大學出版社，2023：6-9.

[4] 高陽.新媒體的邏輯：內(nèi)容生產(chǎn)與商業(yè)變現(xiàn)[M].北京：社會科學文獻出版社，2020：22-25.

[5] 丁磊.生成式人工智能[M].北京：中信出版集團，2023：17-19.

[6] 陳安慶.內(nèi)容審核：傳統(tǒng)媒體盈利新模式[J].青年記者，2019（4）：11-12.

[7] 劉瓊. ChatGPT AI革命[M].北京：華齡出版社，2023：185-187.

[8] 中國國家網(wǎng)信辦：2022年清朗行動下架APP、小程序2890余款[EB/OL].中國新聞網(wǎng)，https：//www.jwview.com/jingwei/html/03-28/533834.shtml，2023-03-28.

[9] 簡承淵，馮思潮，何嬌.全媒體時代內(nèi)容風控的困境與新路徑[J].青年記者，2019（10）：36-37.

[10] 夏云.互聯(lián)網(wǎng)時代內(nèi)容風控業(yè)務(wù)研究[J].綜合研究，2021（11）：83-84.

[11] 黃奇帆，朱巖，邵平.數(shù)字經(jīng)濟：內(nèi)涵與路徑[M].北京：中信出版社，2022：7-9.

[12] 人民網(wǎng)總裁葉蓁蓁：主流媒體引導力，可否這樣實現(xiàn)？[EB/OL].人民網(wǎng)，http：//media.people.com.cn/n1/2019/0211/c192370-30617943. html，2019-02-11.

[13] 辛瑞佳.以科技為驅(qū)動，打造智能化的內(nèi)容風控平臺[J].傳媒，2019（19）：22，24.

[14] 劉暢.內(nèi)容審核這門生意，將走向何方？[EB/OL].財富中文網(wǎng)，https：//new.qq.com/rain/a/20220226A08HN700，2022-02-26.

[15] 朱浩齊.構(gòu)建全鏈路內(nèi)容風控體系，解決內(nèi)容安全難題[J].中國信息安全，2020（2）：73-74.

作者簡介 張燕，編輯，研究方向：國際新聞。