生成式人工智能濫用惡用的安全威脅及對(duì)策建議研究

文 ｜國(guó)家信息中心 王曉冬 李木子

以ChatGPT為代表的生成式人工智能（AIGC）給人類社會(huì)帶來(lái)了巨大的技術(shù)紅利，為第四次工業(yè)革命提供了新動(dòng)能。但也逐漸暴露出一系列安全風(fēng)險(xiǎn)。尤其是2022年下半年以來(lái)，涌現(xiàn)出WormGPT、PoisonGPT、EvilGPT等一批惡意人工智能大模型，給AIGC的安全治理帶來(lái)了新的嚴(yán)峻挑戰(zhàn)，亟待未雨綢繆，加強(qiáng)治理。

一、生成式人工智能滋生了惡意大模型的新威脅

生成式人工智能滋生了一批惡意人工智能大模型。惡意人工智能大模型是指由非法組織或不法分子操縱，借助開(kāi)源模式模仿ChatGPT等合法模型，基于有害語(yǔ)料庫(kù)訓(xùn)練而生滋生的、專門用于網(wǎng)絡(luò)犯罪、詐騙等非法行為的一類非法大模型。惡意大模型與人工智能的濫用還不盡相同，其產(chǎn)生的直接目的就是用于各類非法行為，主要運(yùn)行于暗網(wǎng)，具有更強(qiáng)的隱蔽性、危害性，形成了“人工智能+犯罪”新治理挑戰(zhàn)，對(duì)國(guó)家安全、行業(yè)創(chuàng)新、生產(chǎn)生活等方面造成危害。

表1 惡意人工智能聊天機(jī)器人典型代表

（一）對(duì)維護(hù)國(guó)家安全提出新挑戰(zhàn)

濫用、惡用AIGC給國(guó)家政治和軍事帶來(lái)了新的安全挑戰(zhàn)。一是在意識(shí)形態(tài)安全方面，AIGC在數(shù)據(jù)投喂、算法訓(xùn)練等環(huán)節(jié)易受到核心技術(shù)掌控方操縱，出現(xiàn)污染投毒和算法偏見(jiàn)等問(wèn)題。可能成為西方國(guó)家對(duì)華“認(rèn)知戰(zhàn)”的新工具。二是在技術(shù)自主可控方面，霸權(quán)國(guó)家主導(dǎo)AIGC標(biāo)準(zhǔn)制定，技術(shù)相對(duì)弱勢(shì)的國(guó)家可能盲目大規(guī)模進(jìn)行產(chǎn)品使用和追隨開(kāi)發(fā)，出現(xiàn)因科技封鎖和貿(mào)易制裁等遭遇“卡脖子”危險(xiǎn)。三是在國(guó)防軍事安全方面，AIGC提高了作戰(zhàn)人員、武器和指揮信息系統(tǒng)的智能交互水平，對(duì)歷史戰(zhàn)況和現(xiàn)實(shí)情報(bào)通過(guò)先進(jìn)算法進(jìn)行快速推演分析，提升打擊精度和反應(yīng)速度。美國(guó)軍方在2023年已開(kāi)始利用AIGC撰寫國(guó)防咨詢報(bào)告，并成立Lima工作組在五角大樓評(píng)估、整合和使用該技術(shù)。

（二）對(duì)行業(yè)應(yīng)用創(chuàng)新造成新沖擊

濫用、惡用AIGC給產(chǎn)業(yè)和行業(yè)發(fā)展帶來(lái)了新的安全沖擊。一是在教育就業(yè)方面，各種AIGC產(chǎn)品總體內(nèi)容質(zhì)量仍良莠不齊，容易出現(xiàn)創(chuàng)作的“劣幣驅(qū)逐良幣”現(xiàn)象。利用AIGC輔助完成課業(yè)和學(xué)術(shù)研究減少了必要的批判甄別和分析研究過(guò)程，會(huì)產(chǎn)出更多虛假信息和學(xué)術(shù)垃圾。二是在產(chǎn)業(yè)轉(zhuǎn)型方面，大部分傳統(tǒng)行業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程仍較為緩慢，對(duì)于正確運(yùn)用AIGC收集、處理數(shù)據(jù)，并將其應(yīng)用于研發(fā)、生產(chǎn)、銷售等各環(huán)節(jié)的意愿和能力尚且不足，大規(guī)模盲目引入AIGC可能會(huì)適得其反。

（三）對(duì)生產(chǎn)生活方式帶來(lái)新威脅

濫用、惡用AIGC給企業(yè)經(jīng)營(yíng)和個(gè)人生活帶來(lái)了新的安全威脅。一是在企業(yè)經(jīng)營(yíng)安全方面，易出現(xiàn)數(shù)據(jù)合規(guī)風(fēng)險(xiǎn)、版權(quán)侵權(quán)、商業(yè)秘密泄露等問(wèn)題。使用AIGC的分析決策黑盒、專業(yè)化團(tuán)隊(duì)培養(yǎng)、投資預(yù)算等問(wèn)題也會(huì)對(duì)企業(yè)的平穩(wěn)運(yùn)行造成困難。二是在個(gè)人使用安全方面，山寨版GPT不斷涌現(xiàn)，相關(guān)域名注冊(cè)和盜用暴漲，頻繁向用戶索取信息授權(quán)，服務(wù)質(zhì)量差，跑路風(fēng)險(xiǎn)高。AIGC還可繞過(guò)郵件過(guò)濾和防病毒軟件等傳統(tǒng)安全措施，生成低成本、個(gè)性化的網(wǎng)絡(luò)釣魚軟件和虛假?gòu)V告。

二、生成式人工智能安全治理難點(diǎn)

（一）包容審慎存在失衡，政策尺度有待細(xì)化

AIGC是一個(gè)新生事物，其發(fā)展規(guī)律還未完全明晰，包容審慎的政策尺度和平衡點(diǎn)較難把握。一方面，目前AIGC安全治理政策在適應(yīng)數(shù)字時(shí)代新型商業(yè)模式和秩序框架，鼓勵(lì)新業(yè)態(tài)自主創(chuàng)新、資源共享、國(guó)際合作等方面還有待健全完善。另一方面，在AIGC政策具體實(shí)施層面還存在市場(chǎng)形勢(shì)判斷難、干預(yù)時(shí)機(jī)決斷難、責(zé)任主體劃分難等難點(diǎn)，市場(chǎng)主體開(kāi)展安全可信技術(shù)創(chuàng)新激勵(lì)和容錯(cuò)措施尚未制度化。包容審慎監(jiān)管試點(diǎn)較少，對(duì)擬實(shí)施或已實(shí)施的監(jiān)管產(chǎn)生的積極影響和消極影響進(jìn)行評(píng)估的監(jiān)管影響分析程序重視度不夠，科技倫理治理公共服務(wù)平臺(tái)有待建設(shè)。

（二）協(xié)同治理能力不足，聯(lián)動(dòng)合力有待提升

人工智能技術(shù)加速和深化了跨部門的數(shù)據(jù)共享、流程再造和業(yè)務(wù)聯(lián)動(dòng)?？绮块T協(xié)同監(jiān)管仍存在信息孤島、職責(zé)孤島，人工智能立法存在困境。AIGC市場(chǎng)主體間競(jìng)爭(zhēng)態(tài)勢(shì)強(qiáng)、利益沖突多、合作意愿弱，數(shù)據(jù)、技術(shù)、人才等資源的共享壁壘高，參與標(biāo)準(zhǔn)制定意愿較低，相關(guān)開(kāi)源社區(qū)的建設(shè)和技術(shù)創(chuàng)新生態(tài)布局遲緩。

（三）監(jiān)管手段相對(duì)滯后，技術(shù)賦能有待加強(qiáng)

“以技術(shù)管技術(shù)、以技術(shù)治技術(shù)”的監(jiān)管治理體系尚不健全。在倫理安全層面，深度偽造技術(shù)層出不窮，而檢測(cè)算法的泛化性、健壯性等還有待提升。在算法安全層面，算法安全內(nèi)生機(jī)理、風(fēng)險(xiǎn)評(píng)估、全生命周期安全監(jiān)測(cè)等關(guān)鍵技術(shù)支撐還需進(jìn)一步加強(qiáng)。在數(shù)據(jù)安全層面，數(shù)據(jù)安全監(jiān)測(cè)預(yù)警技術(shù)有待創(chuàng)新，數(shù)字貿(mào)易跨境監(jiān)管仍有進(jìn)步空間。非現(xiàn)場(chǎng)、物聯(lián)感知、穿透式等新型監(jiān)管手段運(yùn)用不夠充分，監(jiān)管智能化水平有待提升。

三、生成式人工智能安全治理對(duì)策建議

（一）健全制度規(guī)則，提升政企協(xié)同治理能力

1.政府發(fā)揮規(guī)范引導(dǎo)指揮棒作用

一是加大查處管控和宣傳教育。實(shí)行包容審慎和分類分級(jí)監(jiān)管，監(jiān)控查處非法使用和傳播惡意AIGC行為，管制違規(guī)賬號(hào)。二是健全技術(shù)規(guī)范和評(píng)價(jià)標(biāo)準(zhǔn)。制定AIGC預(yù)訓(xùn)練和優(yōu)化訓(xùn)練數(shù)據(jù)、標(biāo)注、數(shù)據(jù)分類分級(jí)保護(hù)等方面的國(guó)家標(biāo)準(zhǔn)，以及深度偽造、智能群呼設(shè)備等高風(fēng)險(xiǎn)AI技術(shù)的使用規(guī)范。三是完善法律體系和制度框架。采用安全港等機(jī)制處理內(nèi)容責(zé)任歸屬問(wèn)題，加強(qiáng)和改進(jìn)反壟斷和反不正當(dāng)競(jìng)爭(zhēng)執(zhí)法。探索我國(guó)數(shù)據(jù)存儲(chǔ)體系優(yōu)化，構(gòu)建數(shù)據(jù)被動(dòng)出境的主動(dòng)防御體系，建立跨境數(shù)據(jù)流動(dòng)規(guī)則和白名單等機(jī)制。

2.相關(guān)企業(yè)強(qiáng)化責(zé)任與安全意識(shí)

一是保障內(nèi)容安全可信。采用人機(jī)審核相結(jié)合的方式弱化和刪減不當(dāng)內(nèi)容，對(duì)AIGC進(jìn)行顯著標(biāo)識(shí)，提供使用和退出服務(wù)簡(jiǎn)明的解決方案?？紤]采用時(shí)間戳、哈希值校驗(yàn)、電子簽名等技術(shù)手段為AIGC提供溯源與認(rèn)證，主動(dòng)向使用統(tǒng)一的AIGC數(shù)據(jù)標(biāo)準(zhǔn)或元數(shù)據(jù)標(biāo)準(zhǔn)靠攏。二是完善安全制度流程。抓取開(kāi)放數(shù)據(jù)應(yīng)遵循合法、正當(dāng)和必要原則，敏感信息進(jìn)行脫敏處理，企業(yè)內(nèi)部針對(duì)不同的崗位和職級(jí)設(shè)置數(shù)據(jù)權(quán)限。設(shè)定高獎(jiǎng)勵(lì)額度的“漏洞懸賞計(jì)劃”。三是配合安全監(jiān)管檢查。嚴(yán)格遵從開(kāi)源許可協(xié)議規(guī)定行使開(kāi)源軟件的復(fù)制權(quán)、修改權(quán)、發(fā)行權(quán)。主動(dòng)向主管部門申報(bào)安全評(píng)估，履行算法備案和變更等手續(xù)，提升服務(wù)透明度。對(duì)于機(jī)密程度高、創(chuàng)新要求高的技術(shù)密集型產(chǎn)業(yè)，例如軍工、航天、芯片等行業(yè)在使用AIGC過(guò)程中要著重進(jìn)行審慎評(píng)估和內(nèi)查外糾。

（二）加強(qiáng)技術(shù)創(chuàng)新，健全安全治理技術(shù)體系

1.完善人工反饋的強(qiáng)化學(xué)習(xí)機(jī)制

注重對(duì)人工反饋的強(qiáng)化學(xué)習(xí)機(jī)制（RLHF）的優(yōu)化。從與訓(xùn)練語(yǔ)言模型、收集數(shù)據(jù)并訓(xùn)練獎(jiǎng)勵(lì)模型、強(qiáng)化學(xué)習(xí)微調(diào)語(yǔ)言模型等階段，降低數(shù)據(jù)成本、優(yōu)化算法、改進(jìn)微調(diào)策略，防止被某些策略繞開(kāi)而產(chǎn)出不當(dāng)內(nèi)容，使模型與人類需求對(duì)齊。自動(dòng)化調(diào)用模型知識(shí)，進(jìn)一步降低對(duì)大規(guī)模高質(zhì)量人工標(biāo)注數(shù)據(jù)的依賴。

2.加強(qiáng)模型安全技術(shù)研究及應(yīng)用

一是部署數(shù)據(jù)和模型安全防御。通過(guò)優(yōu)化魯棒訓(xùn)練算法應(yīng)對(duì)數(shù)據(jù)投毒，采取截?cái)嗷煜?、差分隱私等手段使模型隱私信息模糊化，采取模型水印、模型指紋等溯源手段保障知識(shí)產(chǎn)權(quán)專有性。二是做好各類接口安全性設(shè)計(jì)。采用身份驗(yàn)證、日志監(jiān)控、網(wǎng)關(guān)等技術(shù)手段加強(qiáng)API和網(wǎng)頁(yè)端接口的安全防范管理。使用VPN等加密通道傳輸數(shù)據(jù)，部署抵御DdoS的工具，使用嗅探器等檢測(cè)安全問(wèn)題并跟蹤數(shù)據(jù)泄露。三是分析研究新型LLM。探索利用人工智能工具逐步實(shí)現(xiàn)自動(dòng)化對(duì)抗惡意AIGC，進(jìn)而用大模型“對(duì)抗”大模型。

（三）優(yōu)化監(jiān)管手段，提升智能治理監(jiān)管能力

一是完善內(nèi)容分類篩選機(jī)制。完善內(nèi)容分類、濫用模式捕獲、人工評(píng)審決策和通知用戶機(jī)制，并增強(qiáng)對(duì)非英語(yǔ)語(yǔ)言的支持。二是強(qiáng)化生成內(nèi)容檢測(cè)技術(shù)。通過(guò)實(shí)時(shí)聚類、特征庫(kù)匹配等強(qiáng)化文本檢測(cè)技術(shù)，依托生理信號(hào)特征、GAN圖像特征、數(shù)據(jù)驅(qū)動(dòng)等強(qiáng)化深度偽造檢測(cè)技術(shù)。三是拓展監(jiān)管工具場(chǎng)景應(yīng)用。探索智能化監(jiān)管手段，例如數(shù)字沙盒、隱私護(hù)盾等與相關(guān)行業(yè)企業(yè)對(duì)接。

四、結(jié)語(yǔ)

本文對(duì)AIGC濫用惡用的安全治理進(jìn)行了研究。歸納了濫用惡用AIGC對(duì)國(guó)家安全、行業(yè)創(chuàng)新、生產(chǎn)生活等三方面威脅，總結(jié)出AIGC政策尺度有待細(xì)化、聯(lián)動(dòng)合力有待提升、技術(shù)賦能有待加強(qiáng)等難點(diǎn)。最后，從健全制度規(guī)則、加強(qiáng)技術(shù)創(chuàng)新、優(yōu)化監(jiān)管手段等方面提出對(duì)策建議，對(duì)促進(jìn)AIGC規(guī)范應(yīng)用和健康發(fā)展具有重要啟示作用。