人工智能生成內(nèi)容技術(shù)在內(nèi)容安全治理領(lǐng)域的風(fēng)險(xiǎn)和對(duì)策

喬喆

工程與應(yīng)用

人工智能生成內(nèi)容技術(shù)在內(nèi)容安全治理領(lǐng)域的風(fēng)險(xiǎn)和對(duì)策

喬喆

（中國(guó)移動(dòng)通信集團(tuán)有限公司信息安全管理與運(yùn)行中心，北京 100053）

近年來(lái)，人工智能生成內(nèi)容（artificial intelligence generated content，AIGC）技術(shù)取得了顛覆性成果，成為AI領(lǐng)域研究和應(yīng)用的新趨勢(shì)，推動(dòng)著人工智能進(jìn)入新時(shí)代。首先，分析了AIGC技術(shù)的發(fā)展現(xiàn)狀，重點(diǎn)介紹了生成對(duì)抗網(wǎng)絡(luò)、擴(kuò)散模型等生成模型和多模態(tài)技術(shù)，并對(duì)現(xiàn)有的文本、語(yǔ)音、圖像和視頻生成的技術(shù)能力進(jìn)行調(diào)查闡述；然后，對(duì)AIGC技術(shù)在內(nèi)容安全治理領(lǐng)域帶來(lái)的風(fēng)險(xiǎn)進(jìn)行重點(diǎn)分析，包括虛假信息、內(nèi)容侵權(quán)、網(wǎng)絡(luò)與軟件供應(yīng)鏈安全、數(shù)據(jù)泄露等方面；最后，針對(duì)上述安全風(fēng)險(xiǎn)，分別從技術(shù)、應(yīng)用和監(jiān)管層面，提出應(yīng)對(duì)策略。

人工智能生成內(nèi)容；生成模型；多模態(tài)技術(shù)；內(nèi)容安全治理

0 引言

隨著人工智能（artificial intelligence，AI）的快速發(fā)展和普及，AIGC已經(jīng)成為當(dāng)今社會(huì)中一個(gè)備受矚目的領(lǐng)域。AIGC[1]是指利用深度學(xué)習(xí)等人工智能技術(shù)生成的內(nèi)容，包括但不限于文本、音頻、圖片和視頻。嚴(yán)格意義上說(shuō)，1957年萊杰倫·希勒和倫納德·艾薩克森完成的人類(lèi)歷史上第一支由計(jì)算機(jī)創(chuàng)作的音樂(lè)作品——《伊利亞克組曲》，就可被看作AIGC的開(kāi)端，至今已有66年。

在人工智能發(fā)展初期，受限于數(shù)據(jù)、算力、算法等各方面因素，AIGC技術(shù)大多基于預(yù)先定義的規(guī)則或模板[2]，與真正的智能創(chuàng)作相去甚遠(yuǎn)。近年來(lái)，一方面，大數(shù)據(jù)技術(shù)不斷成熟，基礎(chǔ)算力大幅提升，基于生成對(duì)抗網(wǎng)絡(luò)和擴(kuò)散模型等生成式人工智能的AIGC技術(shù)快速迭代[3]，徹底打破了模版化、公式化生成方法的局限，可靈活生成豐富的多模態(tài)內(nèi)容。例如，對(duì)于文本生成而言，早期大多采用基于模版的方法，如早期的對(duì)話(huà)系統(tǒng)[4]基于符號(hào)規(guī)則和模版填充相關(guān)信息，而如今的大型語(yǔ)言模型[5]能夠進(jìn)行可控文本生成，內(nèi)容長(zhǎng)度不斷突破。另一方面，隨著數(shù)實(shí)融合的不斷深入，人類(lèi)對(duì)數(shù)字內(nèi)容的質(zhì)量和豐富度需求空前高漲，大量AI生成作品的出現(xiàn)降低了高質(zhì)量數(shù)字內(nèi)容生產(chǎn)的專(zhuān)業(yè)門(mén)檻[6]。直到2022年，才算是AIGC的爆發(fā)之年，從AI繪畫(huà)到ChatGPT，人們看到了AIGC無(wú)限的創(chuàng)造潛力和未來(lái)應(yīng)用的可能性。

然而，AIGC技術(shù)的廣泛應(yīng)用帶來(lái)了一系列內(nèi)容安全治理方面的挑戰(zhàn)。在這個(gè)數(shù)字信息爆炸的時(shí)代，信息的真實(shí)性、準(zhǔn)確性和合規(guī)性成為亟待解決的問(wèn)題[7]。濫用AIGC技術(shù)產(chǎn)生的大量虛假信息、不良信息、違法信息可能會(huì)給人們帶來(lái)嚴(yán)重的負(fù)面影響，甚至威脅人們的生命財(cái)產(chǎn)安全。例如，AIGC技術(shù)可能被用于制造虛假信息進(jìn)行敲詐勒索、生成惡意代碼進(jìn)行網(wǎng)絡(luò)攻擊等，破壞網(wǎng)絡(luò)生態(tài)和社會(huì)安全。AIGC技術(shù)的普及使內(nèi)容安全治理面臨著前所未有的風(fēng)險(xiǎn)。同時(shí)，與風(fēng)險(xiǎn)并存的是AIGC技術(shù)所帶來(lái)的巨大機(jī)遇。例如，利用AIGC技術(shù)，可以自動(dòng)化地統(tǒng)計(jì)分析數(shù)字內(nèi)容，從而提高內(nèi)容審核的效率和準(zhǔn)確性，降低人力成本，為內(nèi)容平臺(tái)提供更好的服務(wù)。

因此，本文將對(duì)AIGC技術(shù)在內(nèi)容安全治理領(lǐng)域面臨的風(fēng)險(xiǎn)和機(jī)遇進(jìn)行深入探討。首先，概述AIGC技術(shù)的發(fā)展現(xiàn)狀，以及其在文本、語(yǔ)音、圖像和視頻等內(nèi)容創(chuàng)作上的技術(shù)能力和應(yīng)用案例；接著，探討AIGC技術(shù)在內(nèi)容安全治理領(lǐng)域所面臨的主要風(fēng)險(xiǎn)，包括虛假信息、網(wǎng)絡(luò)安全和隱私保護(hù)等方面；最后，針對(duì)這些風(fēng)險(xiǎn)挑戰(zhàn)，分別從技術(shù)、應(yīng)用和法律層面總結(jié)分析了在當(dāng)前AIGC技術(shù)發(fā)展和應(yīng)用背景下的工作建議與應(yīng)對(duì)策略。本文為相關(guān)領(lǐng)域的學(xué)術(shù)研究和實(shí)踐工作提供了有益的參考，致力于推動(dòng)AIGC技術(shù)的健康發(fā)展和內(nèi)容安全治理的不斷進(jìn)步。

1 AIGC技術(shù)發(fā)展現(xiàn)狀

1.1 AIGC技術(shù)爆發(fā)標(biāo)志著人工智能研究熱點(diǎn)從分析式向生成式轉(zhuǎn)變

分析式人工智能需要搜集大量標(biāo)注數(shù)據(jù)形成訓(xùn)練集，并學(xué)習(xí)訓(xùn)練數(shù)據(jù)中數(shù)據(jù)與數(shù)據(jù)標(biāo)記之間的最佳映射規(guī)則，進(jìn)而完成各類(lèi)機(jī)器學(xué)習(xí)任務(wù)。生成式人工智能通常采用無(wú)監(jiān)督方式學(xué)習(xí)海量未標(biāo)注數(shù)據(jù)的模式與統(tǒng)計(jì)特征，采用少量人工標(biāo)注數(shù)據(jù)訓(xùn)練或無(wú)須訓(xùn)練就可以完成各類(lèi)機(jī)器學(xué)習(xí)任務(wù)。生成式人工智能可以充分利用海量的未標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)，相比分析式人工智能具有更強(qiáng)的泛化能力[8]。判別式模型和生成式模型的區(qū)別如圖1所示，對(duì)比機(jī)器學(xué)習(xí)中的判別式模型和生成式模型，判別式模型估計(jì)條件概率分布，根據(jù)(|)求得標(biāo)記，強(qiáng)調(diào)直接從數(shù)據(jù)中學(xué)習(xí)決策函數(shù)；而生成式模型估計(jì)聯(lián)合概率分布(,)，強(qiáng)調(diào)學(xué)習(xí)數(shù)據(jù)生成的規(guī)律，從而更好地對(duì)數(shù)據(jù)進(jìn)行表征建模。

圖1 判別式模型和生成式模型的區(qū)別

1.2 生成式人工智能相比分析式人工智能存在三大優(yōu)勢(shì)

一是分析式人工智能任務(wù)大部分可以直接用生成式人工智能模型來(lái)解決，但反之不成立。例如，文本分類(lèi)是一個(gè)典型的分析式人工智能任務(wù)，可以引導(dǎo)生成式人工智能模型生成類(lèi)別標(biāo)簽來(lái)實(shí)現(xiàn)文本分類(lèi)。但普通的文本分類(lèi)模型最終輸出的概率分布是針對(duì)人類(lèi)預(yù)先定義的類(lèi)別標(biāo)簽，而不是針對(duì)詞表的，無(wú)法直接生成文本內(nèi)容。

二是生成式人工智能泛化能力遠(yuǎn)超分析式人工智能。在生成式人工智能模型構(gòu)建中，隨著模型參數(shù)和訓(xùn)練數(shù)據(jù)不斷增加，模型性能穩(wěn)步提升。目前在自然語(yǔ)言領(lǐng)域，生成式人工智能模型已經(jīng)全面超越分析式人工智能模型，并不斷逼近人類(lèi)水平甚至超越人類(lèi)水平。例如，GPT-4在各類(lèi)考試中[9]，排名超過(guò)大多數(shù)人類(lèi)。

三是生成式人工智能可以完成邏輯場(chǎng)景的自動(dòng)轉(zhuǎn)換，而分析式人工智能針對(duì)不同的應(yīng)用場(chǎng)景則需要重新設(shè)計(jì)并訓(xùn)練模型。生成式人工智能一旦訓(xùn)練完成，通常可以處理不同任務(wù)（如文本分類(lèi)、摘要、生成等），在推理階段能夠自動(dòng)轉(zhuǎn)換邏輯場(chǎng)景。即使有（已知邏輯下的）新的學(xué)習(xí)任務(wù)時(shí)，也無(wú)須訓(xùn)練人員干預(yù)，僅需提供給生成式模型少量樣例進(jìn)行學(xué)習(xí)（in context learning）[10]，模型就能夠完成相應(yīng)任務(wù)，模型本身不必重新訓(xùn)練。生成式人工智能是當(dāng)前人類(lèi)邁向通用人工智能最可能的途徑。而分析式人工智能一旦訓(xùn)練完成，則只能夠處理與訓(xùn)練數(shù)據(jù)同分布的任務(wù)。分析式人工智能只能局限于專(zhuān)有人工智能，在特定領(lǐng)域中可以較好地發(fā)揮作用，但通用性受限。

1.3 生成對(duì)抗網(wǎng)絡(luò)、擴(kuò)散模型、ChatGPT、跨模態(tài)對(duì)齊等技術(shù)催生AIGC大爆發(fā)

（1）生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）、擴(kuò)散模型（diffusion model）使AI生成的內(nèi)容更加精細(xì)逼真。生成對(duì)抗網(wǎng)絡(luò)[11]大幅提升AI生成內(nèi)容的逼真程度。其由一個(gè)生成器和一個(gè)判別器組成，模型使用合作的零和博弈框架來(lái)學(xué)習(xí)。生成器的訓(xùn)練目標(biāo)是使生成內(nèi)容真假難辨，判別器的訓(xùn)練目標(biāo)是精準(zhǔn)辨別內(nèi)容真假。生成器將內(nèi)容輸出給判別器進(jìn)行判別，判別器將判別結(jié)果反饋給生成器進(jìn)行改進(jìn)。得益于雙方博弈的學(xué)習(xí)策略，生成對(duì)抗網(wǎng)絡(luò)生成內(nèi)容的真實(shí)性和清晰度得到極大提升。該技術(shù)成功應(yīng)用于圖像、視頻、語(yǔ)音和三維物體等多種內(nèi)容的生成。如英偉達(dá)發(fā)布的StyleGAN-XL模型[12]生成的高分辨率圖片，人眼難以分辨真假；又如DeepMind發(fā)布的DVD-GAN模型[13]用來(lái)生成連續(xù)視頻，在草地、廣場(chǎng)等明確場(chǎng)景下表現(xiàn)突出。

擴(kuò)散模型[14]使多媒體內(nèi)容產(chǎn)業(yè)爆發(fā)式發(fā)展。近年來(lái)，擴(kuò)散模型在圖片生成任務(wù)中超越了GAN，并且在諸多應(yīng)用領(lǐng)域都表現(xiàn)出色。擴(kuò)散模型原理受熱力學(xué)概念啟發(fā)，即通過(guò)不斷給原始內(nèi)容增加噪聲將內(nèi)容最終轉(zhuǎn)化為純?cè)肼暎偻ㄟ^(guò)學(xué)習(xí)如何逆轉(zhuǎn)這種噪聲疊加過(guò)程從純?cè)肼暬謴?fù)原始內(nèi)容。這一過(guò)程與人類(lèi)進(jìn)行創(chuàng)作的過(guò)程非常近似，人類(lèi)在創(chuàng)作初期的思路可能是零散而混亂的，接近噪聲。在創(chuàng)作過(guò)程中人類(lèi)的思路逐漸清晰，最終經(jīng)過(guò)不斷地修改和完善（去噪聲）形成最終的作品。相比生成對(duì)抗網(wǎng)絡(luò)，擴(kuò)散模型無(wú)須引入判別器，架構(gòu)更加簡(jiǎn)單，訓(xùn)練更加穩(wěn)定，在各方面任務(wù)中都超過(guò)了生成對(duì)抗網(wǎng)絡(luò)。例如，著名的DALL-E、Stable Diffusion、Midjourney等都是基于擴(kuò)散模型的產(chǎn)品。2022年，一位游戲設(shè)計(jì)師使用Midjourney生成的《太空歌劇院》畫(huà)作獲得美國(guó)科羅拉多州博覽會(huì)一項(xiàng)美術(shù)競(jìng)賽一等獎(jiǎng)，這標(biāo)志著AI創(chuàng)作畫(huà)作首次擊敗人類(lèi)藝術(shù)家。

（2）ChatGPT叩響了通用人工智能的大門(mén)。通用人工智能[15]是指一種能夠像人類(lèi)一樣在各種領(lǐng)域中執(zhí)行任務(wù)的智能系統(tǒng)。ChatGPT的誕生讓人們看到了通用人工智能的曙光。2022年12月，OpenAI推出的ChatGPT不僅具有出色的人類(lèi)意圖理解能力和多輪對(duì)話(huà)能力，還能夠幫助人類(lèi)完成種不可思議的任務(wù)，并且通曉100多種語(yǔ)言。近期，OpenAI進(jìn)一步推出了GPT-4，其在多種人類(lèi)考試中排名超過(guò)大部分人類(lèi)，可以結(jié)合圖片和文本綜合理解人類(lèi)意圖，并給出正確反饋。同時(shí)，OpenAI發(fā)布了ChatGPT的插件系統(tǒng)，可實(shí)現(xiàn)與Web搜索、科學(xué)計(jì)算等上千個(gè)插件應(yīng)用對(duì)接。OpenAI將ChatGPT定義為一種新型智能計(jì)算機(jī)架構(gòu)，它不但可以和人溝通，還可以和任何插件應(yīng)用溝通，并可以自主協(xié)同調(diào)用多個(gè)應(yīng)用完成人類(lèi)的復(fù)雜任務(wù)需求。顯然，ChatGPT可以與其他多媒體生成產(chǎn)品進(jìn)行協(xié)同，幫助人類(lèi)更高效地完成各類(lèi)多媒體內(nèi)容生成工作。

（3）跨模態(tài)對(duì)齊技術(shù)使能自然語(yǔ)言驅(qū)動(dòng)多媒體生成。沒(méi)有見(jiàn)過(guò)“老虎”的人讀再多的書(shū)也不知道“老虎”長(zhǎng)什么樣子，同理，僅學(xué)習(xí)大量人類(lèi)的語(yǔ)言限制了AI理解現(xiàn)實(shí)世界的能力?？缒B(tài)數(shù)據(jù)對(duì)齊技術(shù)極大地提高了AI對(duì)現(xiàn)實(shí)世界的認(rèn)知能力?？缒B(tài)算法ViLBERT[16]采用Bert提取文本特征，基于預(yù)訓(xùn)練的目標(biāo)檢測(cè)網(wǎng)絡(luò)生成圖像預(yù)選框及其視覺(jué)特征，依靠Co-TRM完成文本和視覺(jué)特征的融合。2021年，OpenAI發(fā)布的CLIP[17]采用Transformer提取文本和圖片特征，能夠有效地將文字和圖片中的物體、語(yǔ)義、風(fēng)格等信息進(jìn)行對(duì)齊。此外，多模態(tài)模型UNIMO[18]和FLAVA[19]將圖文特征提取統(tǒng)一起來(lái)，即訓(xùn)練一個(gè)統(tǒng)一的大模型，使得該模型既能很好地適配單模態(tài)數(shù)據(jù)（文本或圖像），又能很好地適配多模態(tài)數(shù)據(jù)。在中文方面，文心ERNIE-ViLG[20]是目前全球規(guī)模最大的中文跨模態(tài)生成模型之一，該模型通過(guò)自回歸算法將圖像生成和文本生成統(tǒng)一建模，增強(qiáng)模型的跨模態(tài)語(yǔ)義對(duì)齊能力，顯著提升圖文生成效果。

2021年3月OpenAI發(fā)布AI繪畫(huà)產(chǎn)品DALL·E，只需要輸入一句文字，DALL·E就能理解并自動(dòng)生成一幅意思相符的圖像，背后的關(guān)鍵技術(shù)即 CLIP。類(lèi)似產(chǎn)品還有Stable Diffusion、Midjourney和Gen-2等。斬獲7項(xiàng)奧斯卡大獎(jiǎng)的科幻電影《瞬息全宇宙》中的部分視覺(jué)效果，使用的是Runway公司的視頻生成產(chǎn)品，利用自然語(yǔ)言進(jìn)行視覺(jué)場(chǎng)景構(gòu)建，以大幅提升視覺(jué)特效的制作效率。

2 AIGC技術(shù)能力分析

2.1 AI生成文本：全方位逼近人類(lèi)水平

? 日常對(duì)話(huà)問(wèn)答能力：善解人意，可促膝長(zhǎng)談。ChatGPT和文心一言都通過(guò)學(xué)習(xí)和理解人類(lèi)的語(yǔ)言進(jìn)行對(duì)話(huà)，不僅能夠根據(jù)聊天的上下文進(jìn)行互動(dòng)，真正像人類(lèi)一樣聊天交流，而且能夠主動(dòng)承認(rèn)錯(cuò)誤和無(wú)法回答的問(wèn)題，大幅提升了對(duì)用戶(hù)意圖的理解能力。

? 閱讀理解和文本編輯寫(xiě)作能力：考試成績(jī)超越部分普通人類(lèi)。OpenAI發(fā)布的GPT-4具備強(qiáng)大的推理能力，不僅能夠理解圖表進(jìn)行數(shù)字計(jì)算，而且在各大考試（GRE、SAT等）中，幾乎取得了滿(mǎn)分成績(jī)[9]。

? 語(yǔ)言翻譯能力：支持世界百種語(yǔ)言互譯。在文本翻譯方面，GPT-3當(dāng)時(shí)已被證明可以與最先進(jìn)的機(jī)器翻譯系統(tǒng)媲美。2022年9月21日，OpenAI發(fā)布Whisper自動(dòng)語(yǔ)音識(shí)別（automatic speech recognition，ASR）系統(tǒng)，經(jīng)過(guò)68萬(wàn)小時(shí)的多語(yǔ)言和多任務(wù)監(jiān)督數(shù)據(jù)訓(xùn)練，支持多種語(yǔ)言的轉(zhuǎn)錄，以及將這些語(yǔ)言翻譯成英語(yǔ)。

? 圖片描述能力：可看懂梗圖笑點(diǎn)。VisualGPT[21]是一個(gè)由OpenAI開(kāi)發(fā)的圖像描述模型，能夠利用預(yù)訓(xùn)練語(yǔ)言模型GPT中的知識(shí)，其可以在多種領(lǐng)域應(yīng)用，包括對(duì)少見(jiàn)的物體進(jìn)行描述。大型多模態(tài)模型GPT-4能接受圖像和文本輸入，再輸出正確的文本回復(fù)，不僅能夠生成圖像的描述，還能理解圖像的含義進(jìn)行問(wèn)答。

? 代碼理解和生成能力：精通多種編程語(yǔ)言開(kāi)發(fā)與漏洞修復(fù)。OpenAI的大型語(yǔ)言模型訓(xùn)練數(shù)據(jù)包括GitHub上的開(kāi)源代碼庫(kù)，使得AIGC不僅能夠理解人類(lèi)的自然語(yǔ)言，還能讀懂計(jì)算機(jī)語(yǔ)言。利用AIGC技術(shù)可以給代碼生成對(duì)應(yīng)的功能注釋?zhuān)踔量梢陨商囟ㄓ猛镜拇a、實(shí)現(xiàn)代碼語(yǔ)言之間的相互轉(zhuǎn)換和漏洞修復(fù)等。例如，GitHub Copilot是一個(gè) GitHub和OpenAI合作產(chǎn)生的AI代碼生成工具，可根據(jù)命名或者正在編輯的代碼上下文為開(kāi)發(fā)者提供代碼建議。

2.2 AI生成語(yǔ)音：語(yǔ)音表達(dá)連貫自然，聲音模仿惟妙惟肖

? 文本生成語(yǔ)音的能力：語(yǔ)音表達(dá)連貫自然，字正腔圓。利用AIGC技術(shù)對(duì)給定文本生成語(yǔ)音，已經(jīng)廣泛應(yīng)用于客服及硬件機(jī)器人、有聲讀物制作、語(yǔ)音播報(bào)等任務(wù)。例如，喜馬拉雅運(yùn)用文本—語(yǔ)音轉(zhuǎn)換（text to speech，TTS）技術(shù)重現(xiàn)單田芳聲音版本的《毛氏三兄弟》和歷史類(lèi)作品。

? 語(yǔ)音復(fù)制能力：聲音模仿惟妙惟肖，真假難辨。AIGC的語(yǔ)音復(fù)制技術(shù)可以利用目標(biāo)人的一小段語(yǔ)音，生成目標(biāo)人在任意文本上的語(yǔ)音，如AI擬聲工具ElevenLabs提供的嗓音復(fù)刻。

2.3 AI圖像生成：水平超越大部分人類(lèi)畫(huà)師

? 圖像局部生成和更改能力：圖片實(shí)現(xiàn)移花接木、偷天換日。利用AIGC技術(shù)可以進(jìn)行圖片去水印和換臉等局部?jī)?nèi)容修改。AI去水印的工具，如水印云，能夠支持一鍵去除圖片中的文字、標(biāo)識(shí)、人物、瑕疵等內(nèi)容，消除圖片中多余元素。在A(yíng)I換臉?lè)矫妫贒eepfake[22]已經(jīng)衍生出很多換臉應(yīng)用，如Faceswap、FakeApp、DeepFaceLab等。

? 草圖生成高清圖像：“神筆馬良”成為現(xiàn)實(shí)。利用AIGC技術(shù)以圖生圖，主要指基于草圖生成完整圖像，如基于草圖生成人臉的Deep Face Drawing等。

? 文本生成圖像能力：心想“圖”成，畫(huà)出各種奇思妙想。OpenAI發(fā)布的DALL·E 2[23]能夠根據(jù)文本描述創(chuàng)建圖像，還可以基于文本引導(dǎo)進(jìn)行圖像編輯。從Midjourney的V1到V5版本，文本生成圖像的質(zhì)量提升明顯，已經(jīng)可以生成電影大片級(jí)圖像。

? 精細(xì)化控制圖像生成能力：實(shí)現(xiàn)圖像精準(zhǔn)PS。有時(shí)人們希望對(duì)生成圖片的輪廓、深度、邊緣、物體姿態(tài)等內(nèi)容進(jìn)行精細(xì)化控制，而這些信息很難精確地使用自然語(yǔ)言描述。ControlNet[24]開(kāi)創(chuàng)性地實(shí)現(xiàn)精準(zhǔn)控圖，其可以自動(dòng)從參考圖像中提取上述精控信息，并在這些信息的指導(dǎo)下進(jìn)行圖片的創(chuàng)作。其可以很好地應(yīng)用于建筑設(shè)計(jì)、室內(nèi)裝飾風(fēng)格設(shè)計(jì)等場(chǎng)景。

2.4 AI生成視頻：輕而易舉地合成虛擬視頻和特效視頻

? 視頻屬性編輯能力：黑白影片智能上色，模糊視頻變高清視頻。利用AIGC技術(shù)，可以進(jìn)行視頻畫(huà)質(zhì)修復(fù)、局部畫(huà)面修飾、生成視頻特效和自動(dòng)美顏等。例如，Runway公司發(fā)布的人工智能視頻編輯模型Gen-1[25]，可對(duì)視頻素材進(jìn)行轉(zhuǎn)換，并使用文字指令加以剪輯，如更換影片中車(chē)輛的顏色。

? 視頻自動(dòng)剪輯能力：智能識(shí)別精彩片段創(chuàng)作電影預(yù)告片。典型案例包括Adobe與斯坦福大學(xué)共同研發(fā)的AI視頻剪輯系統(tǒng)、IBM Watson自動(dòng)剪輯電影預(yù)告片以及Flow Machine。

? 文本生成視頻能力：創(chuàng)意文案速成特效大片。文本生成視頻，即根據(jù)給定文本生成符合描述的短視頻。例如，Meta公司推出的一款人工智能系統(tǒng)模型Make-A-Video[26]，可以根據(jù)給定的文字提示生成異想天開(kāi)、獨(dú)一無(wú)二的視頻。Runway推出的Gen-2 AI模型，可直接輸入文字生成短視頻。

3 AIGC技術(shù)內(nèi)容安全風(fēng)險(xiǎn)警示

3.1 濫用AIGC技術(shù)生成虛假信息危害社會(huì)安定團(tuán)結(jié)

? 偽造虛假身份實(shí)施電信詐騙。利用AIGC技術(shù)，可以提取音頻樣本的聲紋特征進(jìn)行語(yǔ)音復(fù)制，輕松模仿一個(gè)人的聲音，從而實(shí)施詐騙。同時(shí)，可以生成各類(lèi)話(huà)術(shù)劇本，還能創(chuàng)建一個(gè)擁有圖片、語(yǔ)音和視頻信息的“虛擬角色”實(shí)施電信詐騙。例如，根據(jù)《華爾街日?qǐng)?bào)》報(bào)道[27]，2019年3月，犯罪分子通過(guò)商業(yè)化的人工智能語(yǔ)音生成軟件，成功模仿并冒充一家德國(guó)公司的CEO，欺騙其多位同事和合作伙伴，一天內(nèi)多次詐騙并轉(zhuǎn)移資金，使得該公司損失220 000歐元（約折合173萬(wàn)元）。

? 制造虛假證據(jù)用于勒索。勒索者通過(guò)AI換臉軟件將受害人人臉移植到裸模身上或正在從事不法活動(dòng)的人身上，用于向受害人本人或家屬進(jìn)行敲詐勒索。

? 制造虛假新聞操控輿論走向。利用AIGC技術(shù)，可以短時(shí)間內(nèi)制造大批謠言，特別是生成關(guān)于政治人物的虛假圖片、視頻、音頻，生成帶偏見(jiàn)的評(píng)論等信息進(jìn)行輿論走向的操控。

? 生成虛假日志欺騙日志審計(jì)。攻擊者利用AIGC技術(shù)根據(jù)該系統(tǒng)已有的日志內(nèi)容生成逼真的虛假操作行為日志，并替換已有的操作日志，從而更好地隱匿攻擊行為，同時(shí)使日志審計(jì)功能失效。

? 使用ChatGPT生成詐騙內(nèi)容。目前可以讓ChatGPT以舉例的方式生成詐騙內(nèi)容，并讓其進(jìn)一步對(duì)內(nèi)容進(jìn)行改寫(xiě)和拓展。

AIGC本身并不具有主動(dòng)意識(shí)和動(dòng)機(jī)，只是一個(gè)根據(jù)數(shù)據(jù)和模型生成內(nèi)容的工具，其生成虛假信息的主要原因有以下幾點(diǎn)：一是訓(xùn)練數(shù)據(jù)偏差，AIGC的訓(xùn)練數(shù)據(jù)本身存在偏見(jiàn)、錯(cuò)誤或虛假信息，在生成內(nèi)容時(shí)可能會(huì)重復(fù)這些偏見(jiàn)和錯(cuò)誤；二是統(tǒng)計(jì)模式自身局限，AIGC模型是基于統(tǒng)計(jì)學(xué)習(xí)的，通過(guò)學(xué)習(xí)大量數(shù)據(jù)中的模式和規(guī)律生成內(nèi)容，但有時(shí)候這些模式可能并不代表真實(shí)的事實(shí)，而是簡(jiǎn)單地反映數(shù)據(jù)中的頻率和共現(xiàn)關(guān)系；三是缺乏判斷力，AI缺乏人類(lèi)的判斷力和理解能力，不能像人類(lèi)一樣辨別真實(shí)信息和虛假信息，只是簡(jiǎn)單地根據(jù)概率生成內(nèi)容；四是對(duì)抗性樣本，對(duì)抗性樣本是一種特別設(shè)計(jì)的輸入，可以欺騙AIGC模型，導(dǎo)致輸出錯(cuò)誤或虛假結(jié)果；五是數(shù)據(jù)覆蓋范圍有限，訓(xùn)練數(shù)據(jù)通常只涵蓋特定領(lǐng)域或特定類(lèi)型的內(nèi)容，這導(dǎo)致模型在其他領(lǐng)域或內(nèi)容上可能表現(xiàn)不佳，并容易輸出虛假信息。

3.2 AIGC生成侵權(quán)內(nèi)容導(dǎo)致法律糾紛

人工智能撰寫(xiě)的文章等AIGC作品存在著作權(quán)歸屬不清的現(xiàn)實(shí)困境[28]，其主要根源在于訓(xùn)練數(shù)據(jù)可能包含版權(quán)保護(hù)的內(nèi)容。這一問(wèn)題不僅可能導(dǎo)致使用AIGC技術(shù)創(chuàng)作的作品無(wú)法獲得著作權(quán)保護(hù)，阻礙人工智能技術(shù)發(fā)揮其創(chuàng)作價(jià)值，還有可能因人工智能的海量摹寫(xiě)行為稀釋既有作品權(quán)利人的獨(dú)創(chuàng)性，威脅他人的合法權(quán)益。2023年3月16日，美國(guó)版權(quán)局發(fā)布新規(guī)，人工智能自動(dòng)生成的作品不受版權(quán)法保護(hù)，堅(jiān)持只有人類(lèi)創(chuàng)作的內(nèi)容才能得到版權(quán)保護(hù)。

3.3 AIGC生成問(wèn)題代碼威脅網(wǎng)絡(luò)與軟件供應(yīng)鏈安全

AIGC的訓(xùn)練數(shù)據(jù)可以包括各類(lèi)開(kāi)源代碼庫(kù)，一方面可能包含惡意軟件的代碼，導(dǎo)致能夠生成網(wǎng)絡(luò)攻擊進(jìn)而攻擊相關(guān)代碼程序；另一方面開(kāi)源倉(cāng)庫(kù)代碼質(zhì)量良莠不齊，導(dǎo)致生成代碼可能存在缺陷。

? 協(xié)助非專(zhuān)業(yè)人員實(shí)施網(wǎng)絡(luò)攻擊。利用ChatGPT等大型語(yǔ)言模型可以快速編寫(xiě)惡意軟件，如生成釣魚(yú)郵件協(xié)助網(wǎng)絡(luò)攻擊；生成加密工具遠(yuǎn)程鎖定他人計(jì)算機(jī)，由此進(jìn)行勒索；生成攻擊腳本，對(duì)網(wǎng)絡(luò)用戶(hù)進(jìn)行用戶(hù)標(biāo)志模塊（subscriber identify module，SIM）交換攻擊（身份盜竊攻擊）等。歐洲刑警組織曾警告，ChatGPT可能被濫用于網(wǎng)絡(luò)釣魚(yú)、虛假信息和網(wǎng)絡(luò)犯罪。

? 生成缺陷代碼難以追查。軟件工程師在項(xiàng)目開(kāi)發(fā)過(guò)程中，可能會(huì)利用ChatGPT快速生成特定功能代碼。然而，根據(jù)OpenAI的評(píng)估，Codex只有37%的概率給出正確代碼。除了存在無(wú)法運(yùn)行的bug，基于A(yíng)I編寫(xiě)的代碼還可能會(huì)引入漏洞。Pearce等[29]通過(guò)研究89個(gè)場(chǎng)景中生成的代碼，發(fā)現(xiàn)GitHub Copilot給出的結(jié)果中40%存在漏洞。

3.4 AIGC生成偏見(jiàn)內(nèi)容導(dǎo)致個(gè)人、企業(yè)名譽(yù)受損

模型開(kāi)發(fā)者很容易將自身偏好、偏見(jiàn)、價(jià)值觀(guān)帶入模型中。企業(yè)或個(gè)人在使用AIGC技術(shù)能力對(duì)外提供服務(wù)時(shí)若出現(xiàn)偏見(jiàn)內(nèi)容，將會(huì)導(dǎo)致名譽(yù)受損。例如，Replika最初的產(chǎn)品定位為“關(guān)心人類(lèi)的AI朋友”，可提供陪聊服務(wù)，但之后多次爆出性騷擾用戶(hù)事件。此外，當(dāng)將AIGC技術(shù)應(yīng)用于教育行業(yè)時(shí)，若對(duì)內(nèi)容審查不嚴(yán)，偏見(jiàn)內(nèi)容會(huì)嚴(yán)重影響學(xué)生的價(jià)值觀(guān)。

3.5 利用AIGC欺騙智能識(shí)別系統(tǒng)

合成偽造生物識(shí)別信息。AIGC技術(shù)能夠讀取并模仿生成生物識(shí)別信息，偽造身份以欺騙身份驗(yàn)證，大幅增大了智能識(shí)別系統(tǒng)的入侵風(fēng)險(xiǎn)。例如，益博睿的一份報(bào)告就概述了企業(yè)面臨的合成身份欺詐威脅，即網(wǎng)絡(luò)犯罪分子使用深度偽造的面孔欺騙生物識(shí)別驗(yàn)證，這已經(jīng)被確定為增長(zhǎng)最快的金融犯罪類(lèi)型。這將不可避免地給依賴(lài)面部識(shí)別軟件作為其身份和訪(fǎng)問(wèn)管理策略一部分的企業(yè)帶來(lái)重大挑戰(zhàn)。

3.6 使用AIGC服務(wù)導(dǎo)致核心數(shù)據(jù)泄露

根據(jù)OpenAI官網(wǎng)公布的隱私政策，其并未提及類(lèi)似歐盟《通用數(shù)據(jù)保護(hù)條例》（General Data Protection Regulation，GDPR）等數(shù)據(jù)保護(hù)法規(guī)，在“使用數(shù)據(jù)”條款里，OpenAI承認(rèn)會(huì)收集用戶(hù)使用服務(wù)時(shí)輸入的數(shù)據(jù)，但未對(duì)數(shù)據(jù)的用途做進(jìn)一步說(shuō)明。企業(yè)員工在使用ChatGPT服務(wù)完成工作任務(wù)時(shí)很容易將企業(yè)核心數(shù)據(jù)資料發(fā)送給ChatGPT，從而導(dǎo)致企業(yè)核心數(shù)據(jù)泄露，造成無(wú)法挽回的損失。例如，微軟和亞馬遜已禁止員工向ChatGPT分享敏感數(shù)據(jù)，以防后者的輸出包含或出現(xiàn)類(lèi)似公司機(jī)密信息。此外，意大利數(shù)據(jù)保護(hù)局表示，ChatGPT涉嫌違法收集個(gè)人數(shù)據(jù)且沒(méi)有建立年齡驗(yàn)證機(jī)制，即日起暫時(shí)禁止使用，成為首個(gè)禁用ChatGPT的國(guó)家。

3.7 AIGC訓(xùn)練不當(dāng)容易導(dǎo)致隱私數(shù)據(jù)泄露

一方面，如果在訓(xùn)練AIGC模型的過(guò)程中使用了未脫敏的數(shù)據(jù)，使用AIGC服務(wù)的惡意用戶(hù)可以采用特定的交互模式獲取這些隱私信息，從而導(dǎo)致個(gè)人隱私數(shù)據(jù)泄露。例如，F(xiàn)acebook曾因未經(jīng)個(gè)人同意使用公開(kāi)圖片集進(jìn)行算法訓(xùn)練，違反了《生物識(shí)別信息隱私法》（Biometric Information Privacy Act，BIPA），最終賠償6.5億美元，微軟、亞馬遜、谷歌同樣曾因此陷入BIPA訴訟中。

另一方面，AIGC模型在垂直行業(yè)的落地應(yīng)用離不開(kāi)行業(yè)數(shù)據(jù)精調(diào)訓(xùn)練。這涉及基礎(chǔ)大模型服務(wù)提供商與垂直行業(yè)企業(yè)的聯(lián)合。但行業(yè)數(shù)據(jù)對(duì)于企業(yè)具有較高的商業(yè)價(jià)值，一旦對(duì)外泄露會(huì)導(dǎo)致嚴(yán)重經(jīng)濟(jì)損失。這嚴(yán)重阻礙了AIGC技術(shù)賦能垂直行業(yè)。

4 應(yīng)對(duì)策略

4.1 技術(shù)層面：加強(qiáng)AIGC相關(guān)技術(shù)研究

（1）利用數(shù)字水印技術(shù)實(shí)現(xiàn)AIGC合成內(nèi)容追蹤溯源

針對(duì)人工智能撰寫(xiě)的文章、生成的圖片等AIGC作品存在著作權(quán)歸屬不清和知識(shí)產(chǎn)權(quán)剽竊等一系列風(fēng)險(xiǎn)，可以跟進(jìn)研究合成內(nèi)容的標(biāo)記算法——數(shù)字水印技術(shù)。數(shù)字水印技術(shù)[30]是一項(xiàng)保護(hù)版權(quán)的信息隱藏技術(shù)，可以有效避免數(shù)字產(chǎn)品在傳播過(guò)程中遭到篡改與非法利用。文本、圖像、音頻、視頻等均可作為數(shù)字水印的載體。在自然語(yǔ)言方面，已經(jīng)有研究人員提出一種為大規(guī)模語(yǔ)言模型添加水印的方法[31]，該方法在不影響大模型生成文本質(zhì)量的基礎(chǔ)上實(shí)現(xiàn)了水印的添加。驗(yàn)證者可使用算法對(duì)文本中的數(shù)字水印進(jìn)行驗(yàn)證，從而快速識(shí)別機(jī)器生成的文本內(nèi)容。對(duì)于圖像數(shù)據(jù)[32]，可以從訓(xùn)練數(shù)據(jù)和模型層面將水印信息嵌入圖像中，使人眼難以辨別載體圖像與含水印圖像之間的差異，在不影響圖像視覺(jué)效果的情況下，實(shí)現(xiàn)水印信息的可靠傳輸，并在傳輸過(guò)程中遭遇失真或一定程度的攻擊后仍能完整地提取出水印，可被有效地應(yīng)用于泄密追蹤、版權(quán)認(rèn)證、防偽溯源等。

（2）使用AIGC技術(shù)進(jìn)行詐騙內(nèi)容識(shí)別和解釋

對(duì)于利用AIGC技術(shù)生成的詐騙信息，同樣可以使用AIGC技術(shù)進(jìn)行詐騙內(nèi)容的識(shí)別和解釋。例如，可以利用ChatGPT進(jìn)行詐騙短信的判定，以及對(duì)判定結(jié)果進(jìn)行解釋分析。盡管ChatGPT等AIGC相關(guān)模型擁有各種強(qiáng)大的能力，但受限于參數(shù)量大、訓(xùn)練周期長(zhǎng)和未開(kāi)源等因素，無(wú)法完成本地化部署使用。針對(duì)此問(wèn)題，可以利用AIGC模型產(chǎn)生高質(zhì)量數(shù)據(jù)，在輕量級(jí)開(kāi)源模型上做微調(diào)。例如，模型Baize[33]通過(guò)利用ChatGPT與自身進(jìn)行對(duì)話(huà)，自動(dòng)生成一個(gè)高質(zhì)量的多輪聊天語(yǔ)料庫(kù)，并在一個(gè)開(kāi)源的大型語(yǔ)言模型LLaMA上進(jìn)行參數(shù)微調(diào)，在多輪對(duì)話(huà)上表現(xiàn)出良好的性能，最大限度地減少潛在的風(fēng)險(xiǎn)。

（3）AI模型加固，防止AIGC合成生物信息攻擊

為了避免AIGC生成的虛假數(shù)據(jù)攻擊AI生物識(shí)別系統(tǒng)，導(dǎo)致系統(tǒng)的誤判、失效和癱瘓，需要采用深度學(xué)習(xí)的模型加固等技術(shù)提高系統(tǒng)識(shí)別準(zhǔn)確率和對(duì)抗攻擊的能力。例如，可以研究使用特征凝結(jié)、空間平滑、高斯數(shù)據(jù)增強(qiáng)和對(duì)抗訓(xùn)練等方法增強(qiáng)AI模型識(shí)別對(duì)抗樣本的能力，以防御AIGC生成的對(duì)抗樣本對(duì)AI模型的攻擊。

（4）利用AI技術(shù)鑒別虛假合成內(nèi)容

一方面，由于Deepfake等合成圖像和語(yǔ)音技術(shù)的日益普及和濫用，需要研究人員構(gòu)建強(qiáng)大的偽造內(nèi)容檢測(cè)解決方案。對(duì)于圖像數(shù)據(jù)，進(jìn)行像素級(jí)紋理識(shí)別，分析圖像中的噪聲信息和不正常的輪廓和邊緣，判斷圖像是否屬于合成偽造；對(duì)于音頻數(shù)據(jù)，進(jìn)行時(shí)域、頻域、倒頻域和其他域的信號(hào)分析，利用深度學(xué)習(xí)技術(shù)進(jìn)行聲紋特征提取和對(duì)比。近期，哈爾濱工業(yè)大學(xué)和南洋理工大學(xué)提出全球首個(gè)多模態(tài)Deepfake檢測(cè)定位模型[34]，不僅能夠判斷輸入圖像?文本對(duì)的真假，也嘗試定位篡改內(nèi)容（如圖像篡改區(qū)域和文本篡改單詞），讓AIGC偽造無(wú)處可藏。

另一方面，AIGC的廣泛應(yīng)用可能會(huì)產(chǎn)生大量假新聞和謠言，這對(duì)AI檢測(cè)技術(shù)帶來(lái)了巨大的挑戰(zhàn)。當(dāng)前，利用AI鑒別假新聞和謠言已經(jīng)有了一定的研究基礎(chǔ)。例如，麻省理工學(xué)院的計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（Computer Science and Artificial Intelligence Laboratory，CSAIL）提出一種可以鑒別信息來(lái)源準(zhǔn)確性和個(gè)人政治偏見(jiàn)的AI系統(tǒng)；復(fù)旦大學(xué)團(tuán)隊(duì)提出了LOREN[35]，一種全新的可解釋事實(shí)檢驗(yàn)范式。在多模態(tài)方面，SAFE[36]利用多模態(tài)之間的對(duì)比分析，依據(jù)新聞的文本信息和視覺(jué)信息的匹配度識(shí)別虛假新聞。此外，大量研究工作[37]結(jié)合知識(shí)圖譜等外部知識(shí)來(lái)輔助識(shí)別虛假信息。外部知識(shí)含有豐富的語(yǔ)義信息和客觀(guān)事實(shí)，可以幫助模型更好地理解和對(duì)比分析新聞內(nèi)容，從而識(shí)別出虛假新聞中的造假之處。

（5）違規(guī)內(nèi)容檢測(cè)，防止傳播AIGC生成的違規(guī)信息

一是文本合規(guī)檢測(cè)[38]，利用大型語(yǔ)言模型判斷文本內(nèi)容是否包含違規(guī)信息；二是圖片/視頻合規(guī)檢測(cè)，通過(guò)視覺(jué)模型提取圖片特征，判斷圖片包含的信息是否合規(guī)；三是音頻合規(guī)檢測(cè)，利用深度學(xué)習(xí)算法分析音頻中是否包含敏感詞匯、受版權(quán)保護(hù)的內(nèi)容，以及是否違反國(guó)家相關(guān)規(guī)定。

（6）隱私計(jì)算避免AIGC訓(xùn)練數(shù)據(jù)的隱私泄露

針對(duì)多方數(shù)據(jù)合作訓(xùn)練AIGC模型時(shí)，可能存在的數(shù)據(jù)泄露風(fēng)險(xiǎn)，可以進(jìn)一步加強(qiáng)研究聯(lián)邦機(jī)器學(xué)習(xí)。通過(guò)設(shè)計(jì)高性能的隱私計(jì)算方法，能有效幫助多個(gè)機(jī)構(gòu)在滿(mǎn)足用戶(hù)隱私保護(hù)、數(shù)據(jù)安全和政府法規(guī)的要求下，進(jìn)行數(shù)據(jù)使用和AIGC模型訓(xùn)練。

（7）AI反偏見(jiàn)技術(shù)，助力AIGC公平性研究

為了避免AIGC在實(shí)際應(yīng)用場(chǎng)景中產(chǎn)生偏見(jiàn)信息，未來(lái)需要進(jìn)一步加強(qiáng)AI模型反偏見(jiàn)技術(shù)研究。人工智能的“黑箱”特性使得性別或種族等偏見(jiàn)與更多更復(fù)雜的參數(shù)相勾連，因此很難通過(guò)直接刪除或屏蔽模型參數(shù)來(lái)完成偏見(jiàn)的剔除。算法偏見(jiàn)的根源來(lái)自數(shù)據(jù)，不公正的數(shù)據(jù)集是偏見(jiàn)的土壤。因此，構(gòu)建更加公正的數(shù)據(jù)集無(wú)疑是算法偏見(jiàn)根本性的解決方法之一。此外，針對(duì)訓(xùn)練好的模型，利用技術(shù)手段偵測(cè)偏見(jiàn)、解除偏見(jiàn)，也是AI反偏見(jiàn)研究的重點(diǎn)內(nèi)容。例如，哥倫比亞大學(xué)的研究者開(kāi)發(fā)了一款名為DeepXplore的軟件，它可以通過(guò)“哄騙”系統(tǒng)犯錯(cuò)，暴露算法神經(jīng)網(wǎng)絡(luò)中的缺陷；谷歌推出工具What-If，其是TensorBoard中用于檢測(cè)偏見(jiàn)的工具；IBM也將其偏見(jiàn)檢測(cè)工具AI Fairness 360工具包開(kāi)源，其中包括超過(guò)30個(gè)公平性指標(biāo)和9個(gè)偏差緩解算法。從目前的成果來(lái)看，大多技術(shù)突破還僅處于初級(jí)階段，即檢測(cè)偏見(jiàn)，消除偏見(jiàn)方面的研究仍亟須進(jìn)一步努力。

4.2 應(yīng)用層面：構(gòu)建中間層，完善AIGC應(yīng)用部署策略

在部署AIGC相關(guān)應(yīng)用時(shí)，通過(guò)在應(yīng)用和模型之間構(gòu)建雙向中間層，完善部署策略，可以有效緩解AIGC技術(shù)帶來(lái)的不良影響，如圖2所示。一是過(guò)濾層，利用審核分類(lèi)器在監(jiān)控和執(zhí)行管道中過(guò)濾掉AIGC模型輸出的有害內(nèi)容。例如，當(dāng)AIGC模型輸出涉恐等敏感數(shù)據(jù)時(shí)，過(guò)濾層對(duì)內(nèi)容進(jìn)行判定，若觸發(fā)了過(guò)濾策略，則不向應(yīng)用層輸出模型原始的輸出內(nèi)容，而采用相關(guān)提示進(jìn)行代替。二是防護(hù)層，對(duì)操作者輸入模型的內(nèi)容做審核，防止“越獄”。例如，當(dāng)應(yīng)用層傳來(lái)的用戶(hù)輸入包含惡意內(nèi)容時(shí)，觸發(fā)防護(hù)層的檢測(cè)，若判定結(jié)果是惡意的，則此輸入被攔截，不會(huì)送入模型進(jìn)行推理，并向應(yīng)用層反饋判定信息。

圖2 AIGC部署策略：過(guò)濾層和防護(hù)層

4.3 監(jiān)管層面：不斷健全法律法規(guī)，為AIGC技術(shù)健康發(fā)展保駕護(hù)航

AIGC技術(shù)的健康發(fā)展，離不開(kāi)國(guó)家層面及時(shí)有效地出臺(tái)相應(yīng)的法律法規(guī)。自2019年11月起，我國(guó)先后出臺(tái)《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》等文件，對(duì)生成合成類(lèi)內(nèi)容提出不同程度的監(jiān)管要求。2022年12月11日，國(guó)家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》強(qiáng)調(diào)不得利用深度合成服務(wù)從事法律、行政法規(guī)禁止的活動(dòng)，要求深度合成服務(wù)提供者落實(shí)信息安全主體責(zé)任。此外，國(guó)家互聯(lián)網(wǎng)信息辦公室網(wǎng)站2023年4月11日消息，為促進(jìn)生成式人工智能技術(shù)健康發(fā)展和規(guī)范應(yīng)用，根據(jù)《中華人民共和國(guó)網(wǎng)絡(luò)安全法》等法律法規(guī)，國(guó)家互聯(lián)網(wǎng)信息辦公室起草了《生成式人工智能服務(wù)管理辦法（征求意見(jiàn)稿）》，并向社會(huì)公開(kāi)征求意見(jiàn)。

5 結(jié)束語(yǔ)

本文介紹了AIGC技術(shù)的發(fā)展現(xiàn)狀，分析了生成式人工智能相比分析式人工智能所具有的優(yōu)勢(shì)。針對(duì)不同的生成數(shù)據(jù)格式，分別總結(jié)了AIGC豐富的技術(shù)能力，并提供相應(yīng)技術(shù)案例。但是，任何技術(shù)都是一把雙刃劍，本文詳細(xì)列舉了AIGC技術(shù)的飛速發(fā)展，以及給內(nèi)容安全治理帶來(lái)的諸多風(fēng)險(xiǎn)挑戰(zhàn)。最后，為了實(shí)現(xiàn)AIGC技術(shù)健康可持續(xù)地發(fā)展，分別從技術(shù)、應(yīng)用和法律層面，總結(jié)分析了未來(lái)的工作建議與應(yīng)對(duì)策略。

[1] 李白楊, 白云, 詹希旎, 等. 人工智能生成內(nèi)容(AIGC)的技術(shù)特征與形態(tài)演進(jìn)[J]. 圖書(shū)情報(bào)知識(shí), 2023(1): 66-74.

LI B Y, BAI Y, ZHAN X N, et al. The technical features and aromorphosis of artificial intelligence generated content (AIGC)[J]. Documentation, Information & Knowledge, 2023(1): 66-74.

[2] CAO Y, LI S, LIU Y, et al. A comprehensive survey of AI-generated content (AIGC): a history of generative AI from GAN to ChatGPT[J]. arXiv preprint, 2023, arXiv: 2303.04226.

[3] WU J, GAN W, CHEN Z, et al. AI-generated content (AIGC): a survey[J]. arXiv preprint, 2023, arXiv: 2304.06632.

[4] ADAMOPOULOU E, MOUSSIADES L. An overview of Chatbot technology[C]//IFIP International Conference on Artificial Intelligence Applications and Innovations. Cham: Springer, 2020: 373-383.

[5] TOUSEEF I, QURESHI S. The survey: text generation models in deep learning[J]. Journal of King Saud University - Computer and Information Sciences, 2022, 34(6): 2515-2528.

[6] 詹希旎, 李白楊, 孫建軍. 數(shù)智融合環(huán)境下AIGC的場(chǎng)景化應(yīng)用與發(fā)展機(jī)遇[J]. 圖書(shū)情報(bào)知識(shí), 2023(1): 75-85, 55.

ZHAN X N, LI B Y, SUN J J. Application scenarios and development opportunities of AIGC in the digital intelligence integration environment[J]. Documentation, Information & Knowledge, 2023(1): 75-85, 55.

[7] ZHOU X Y, ZAFARANI R. A survey of fake news[J]. ACM Computing Surveys, 2021, 53(5): 1-40.

[8] 喻國(guó)明, 蘇健威. 生成式人工智能浪潮下的傳播革命與媒介生態(tài)[J]. 新疆師范大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版), 2023, 44(5): 65-73.

YU G M, SU J W. Communication revolution and media ecology under the wave of generative artificial intelligence[J]. Journal of Xinjiang Normal University (Edition of Philosophy and Social Sciences), 2023, 44(5): 65-73.

[9] KATZ D M, BOMMARITO M J, GAO S, et al. GPT-4 passes the bar exam[J]. SSRN Electronic Journal, 2023.

[10] DONG Q, LI L, DAI D, et al. A survey on in-context learning[J]. arXiv preprint, 2022, arXiv: 2301.00234.

[11] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139-144.

[12] KARRAS T, LAINE S, AITTALA M, et al. Analyzing and improving the image quality of StyleGAN[C]//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2020: 8107-8116.

[13] CLARK A, DONAHUE J, SIMONYAN K. Adversarial video generation on complex datasets[J]. arXiv preprint, 2019, arXiv: 1907.06571.

[14] CROITORU F A, HONDRU V, IONESCU R T, et al. Diffusion models in vision: a survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(9): 10850-10869.

[15] 馬化騰. 從專(zhuān)用人工智能邁向通用人工智能[J]. 中國(guó)科技產(chǎn)業(yè), 2019(9): 9.

MA H T. From special artificial intelligence to general artificial intelligence[J]. Science & Technology Industry of China, 2019(9): 9.

[16] LU J, BATRA D, PARIKH D, et al. ViLBERT: pretraining task-agnostic visiolinguistic representations for vision-and- language tasks[J]. arXiv preprint, 2019, arXiv: 1908.02265.

[17] RADFORD A, KIM J W, HALLACY C, et al. Learning transferable visual models from natural language supervision[J]. arXiv preprint, 2021, arXiv: 2103.00020.

[18] LI W, GAO C, NIU G C, et al. UNIMO-2: end-to-end unified vision-language grounded learning[C]//Proceedings of Findings of the Association for Computational Linguistics: ACL 2022. Stroudsburg: Association for Computational Linguistics, 2022: 3187-3201.

[19] SINGH A, HU R H, GOSWAMI V, et al. FLAVA: a foundational language and vision alignment model[C]//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2022: 15617-15629.

[20] FENG Z D, ZHANG Z Y, YU X T, et al. ERNIE-ViLG 2.0: improving text-to-image diffusion model with knowledge-enhanced mixture-of-denoising-experts[C]//Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2023: 10135-10145.

[21] CHEN J, GUO H, YI K, et al. VisualGPT: data-efficient adaptation of pretrained language models for image captioning[C]//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2022: 18009-18019.

[22] ZHANG T. Deepfake generation and detection, a survey[J]. Multimedia Tools and Applications, 2022, 81(5): 6259-6276.

[23] RAMESH A, DHARIWAL P, NICHOL A, et al. Hierarchical text-conditional image generation with CLIP latents[J]. arXiv preprint, 2022, arXiv: 2204.06125.

[24] ZHANG L, RAO A, AGRAWALA M. Adding conditional control to text-to-image diffusion models[J]. arXiv preprint, 2023, arXiv: 2302.05543.

[25] ESSER P, CHIU J, ATIGHEHCHIAN P, et al. Structure and content-guided video synthesis with diffusion models[J]. arXiv preprint, 2023, arXiv: 2302.03011.

[26] SINGER U, POLYAK A, HAYES T, et al. Make-a-video: text-to-video generation without text-video data[J]. arXiv preprint, 2022, arXiv: 2209.14792.

[27] STUPP C. Fraudsters used AI to mimic CEO’s voice in unusual cybercrime case[J]. The Wall Street Journal, 2019, 30(8).

[28] 孫山. 人工智能生成內(nèi)容著作權(quán)法保護(hù)的困境與出路[J]. 知識(shí)產(chǎn)權(quán), 2018, 28(11): 60-65.

SUN S. Predicament and outlet of copyright law protection of artificial intelligence-generated content[J]. Intellectual Property, 2018, 28(11): 60-65.

[29] PEARCE H, AHMAD B, TAN B, et al. Asleep at the keyboard? assessing the security of GitHub copilot’s code contributions[C]//Proceedings of 2022 IEEE Symposium on Security and Privacy (SP). Piscataway: IEEE Press, 2022: 754-768.

[30] 向德生, 楊格蘭, 熊岳山. 數(shù)字水印技術(shù)研究[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2005, 26(2): 326-328, 334. XIANG D S, YANG G L, XIONG Y S. Survey of digital watermarking[J]. Computer Engineering and Design, 2005, 26(2): 326-328, 334.

[31] KIRCHENBAUER J, GEIPING J, WEN Y, et al. A watermark for large language models[J]. arXiv preprint, 2023, arXiv: 2301.10226.

[32] 吳德陽(yáng), 張金羽, 容武艷, 等. 數(shù)字圖像水印技術(shù)綜述[J]. 高技術(shù)通訊, 2021, 31(2): 148-162.

WU D Y, ZHANG J Y, RONG W Y, et al. Survey of digital image watermarking technology[J]. Chinese High Technology Letters, 2021, 31(2): 148-162.

[33] XU C, GUO D, DUAN N, et al. Baize: an open-source chat model with parameter-efficient tuning on self-chat data[J]. arXiv preprint, 2023, arXiv: 2304.01196.

[34] SHAO R, WU T, LIU Z. Detecting and grounding multi-modal media manipulation[J]. arXiv preprint, 2023, arXiv: 2304.02556.

[35] CHEN J J, BAO Q B, SUN C Z, et al. LOREN: logic-regularized reasoning for interpretable fact verification[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2022, 36(10): 10482-10491.

[36] ZHOU X Y, WU J D, ZAFARANI R. SAFE: similarity-aware multi-modal fake news detection[C]//Pacific-Asia Conference on Knowledge Discovery and Data Mining. Cham: Springer, 2020: 354-367.

[37] MRIDHA M F, KEYA A J, HAMID M A, et al. A comprehensive review on fake news detection with deep learning[J]. IEEE Access, 2021(9): 156151-156170.

[38] 蔡鑫. 基于Bert模型的互聯(lián)網(wǎng)不良信息檢測(cè)[J]. 電信科學(xué), 2020, 36(11): 121-126.

CAI X. Internet bad information detection based on Bert model[J]. Telecommunications Science, 2020, 36(11): 121-126.

Risks and countermeasures of artificial intelligence generated content technology in content security governance

QIAO Zhe

Information Security Management and Operation Center, China Mobile Communications Group Co., Ltd., Beijing 100053, China

Recently, artificial intelligence generated content (AIGC) technology has achieved various disruptive results and has become a new trend in AI research and application, driving AI into a new era. Firstly, the development status of AIGC technology was analyzed, focusing on generative models such as generative adversarial networks and diffusion models, as well as multimodal technologies, and surveying and elaborating on the existing technological capabilities for text, speech, image and video generation. Then, the risks brought by AIGC technology in the field of content security governance were focused and analyzed, including fake information, content infringement, network and software supply chain security, data leakage and other aspects. Finally, in view of the above security risks, counter strategies were proposed from the technical, application and regulatory levels, respectively.

AIGC, generative model, multimodal technology, content security governance

TP399

A

10.11959/j.issn.1000?0801.2023190

2023?05?24；

2023?10?11

喬喆（1981? ），男，中國(guó)移動(dòng)通信集團(tuán)有限公司信息安全管理與運(yùn)行中心策略運(yùn)營(yíng)處處長(zhǎng)、經(jīng)濟(jì)師，主要研究方向?yàn)榫W(wǎng)絡(luò)信息安全。