人工智能面臨的安全風(fēng)險(xiǎn)及治理之道

人工智能（artificial intelligence，AI）作為新一輪科技革命的核心驅(qū)動力，正在深刻改變?nèi)蚪?jīng)濟(jì)、社會和環(huán)境格局。然而，AI的快速發(fā)展也帶來了諸多安全風(fēng)險(xiǎn)，如何實(shí)現(xiàn)AI的可持續(xù)發(fā)展，成為全球關(guān)注的焦點(diǎn)。人工智能的可持續(xù)發(fā)展不僅關(guān)乎技術(shù)進(jìn)步，更關(guān)乎人類社會的未來。只有加強(qiáng)人工智能治理，確保AI在安全、可靠、可信的軌道上運(yùn)行，才能實(shí)現(xiàn)“以人為本，智能向善”的愿景。本文從AI的安全風(fēng)險(xiǎn)出發(fā)，探討其可持續(xù)發(fā)展的可能性與路徑。

一、現(xiàn)狀：AI安全監(jiān)管日趨寬松

2025年初，初創(chuàng)企業(yè)杭州深度求索公司發(fā)布了大語言模型DeepSeek-R1，一經(jīng)推出，便迅速登錄各大主流平臺，至2月1日，日活躍用戶數(shù)突破3000萬大關(guān)。DeepSeek憑借其在算法和工程領(lǐng)域的技術(shù)創(chuàng)新，擺脫了強(qiáng)算力依賴和高成本的困擾，短時(shí)間內(nèi)躋身頂尖大模型行列。此外，DeepSeek于1月20日選擇開源，通過完全開源代碼和訓(xùn)練方法，迅速成為全球AI開發(fā)者社區(qū)的核心資源，在HuggingFace上的下載量超過70萬次，衍生模型超670個，遠(yuǎn)超OpenAI等閉源模型。人工智能發(fā)展進(jìn)入了高性能、低成本、低門檻的新時(shí)代。

然而，在人工智能一路高歌猛進(jìn)的時(shí)候，對人工智能安全的監(jiān)管卻日趨寬松。2025年1月23日，美國總統(tǒng)特朗普簽署了關(guān)于《消除美國在人工智能領(lǐng)域領(lǐng)導(dǎo)地位的障礙》的行政命令，認(rèn)為拜登時(shí)期的行政命令阻礙了人工智能創(chuàng)新，對人工智能的開發(fā)施加了繁重且不必要的政府控制，扼殺了私營部門的創(chuàng)新能力，因此撤銷了拜登的人工智能行政命令，以保持美國在人工智能領(lǐng)域的領(lǐng)先地位。與此同時(shí)，國際形勢也不容樂觀。此前一直將安全作為會議核心的人工智能安全峰會，在第三屆巴黎人工智能行動峰會中將核心悄悄轉(zhuǎn)向了發(fā)展，雖然聲稱要建立包容和可持續(xù)的人工智能，但是具體措施卻致力于推動人工智能的發(fā)展。

事實(shí)上，當(dāng)前人工智能發(fā)展面臨著極為緊迫的安全問題。諾貝爾獎獲得者杰弗里·辛頓（Geoffrey Hinton）曾警告，未受約束的人工智能可能給人類帶來嚴(yán)重威脅。而當(dāng)下關(guān)于人工智能安全的研究極為匱乏，只有識別人工智能發(fā)展過程中可能產(chǎn)生的安全風(fēng)險(xiǎn)，提前加以應(yīng)對，才能真正實(shí)現(xiàn)人工智能的可持續(xù)發(fā)展。

二、挑戰(zhàn)：AI面臨最為緊迫的安全風(fēng)險(xiǎn)

就當(dāng)下而言，人工智能發(fā)展面臨的最為緊迫的安全風(fēng)險(xiǎn)可分為AI幻覺的風(fēng)險(xiǎn)、濫用的風(fēng)險(xiǎn)以及存在性風(fēng)險(xiǎn)。

（一）AI幻覺的風(fēng)險(xiǎn)

生成式人工智能在人機(jī)交互中，有可能生成看似合理，但實(shí)則有悖常理的內(nèi)容，即產(chǎn)生AI幻覺，也就是常說的“一本正經(jīng)地胡說八道”。近日，人工智能公司Vectara發(fā)布了一份名為“幻覺排行榜”的報(bào)告，公布了104個大模型的應(yīng)答率、幻覺率等數(shù)據(jù)。大模型的應(yīng)答率基本能達(dá)到100%，而在這高應(yīng)答率的背后，是人工智能在面對自己不熟悉的領(lǐng)域、超出自己知識范圍問題時(shí)的胡編亂造，從而導(dǎo)致幻覺產(chǎn)生。其中Gemini-2.0-Flash的幻覺率最低，為0.7%，DeepSeek-R1的幻覺率達(dá)到了14.3%，甚至有大模型的幻覺率高達(dá)近30%。

幻覺雖然并非按照人工智能的“主觀意愿”產(chǎn)生，但事實(shí)上卻已經(jīng)給人類造成了困擾，制造了安全風(fēng)險(xiǎn)。最為明顯的危害在于人工智能幻覺提供的錯誤信息或者知識會誤導(dǎo)人類，干擾人類的判斷。2025年初，一則“截至2024年末，‘80后’死亡率突破5.2%，相當(dāng)于每20個‘80后’中就有1人已經(jīng)去世”的新聞在網(wǎng)絡(luò)中快速傳播。許多不明真相的文章便開始引用這一表述，渲染“80后”艱難的處境。但中國人民大學(xué)人口與健康學(xué)院的李婷教授表示，這一數(shù)據(jù)與事實(shí)嚴(yán)重不符，錯誤極有可能來源于大模型的回答，因?yàn)閷I(yè)統(tǒng)計(jì)數(shù)據(jù)中的死亡率用千分率表示，而不是百分率，并且人口普查也不會專門針對特定群體的死亡率進(jìn)行統(tǒng)計(jì)。除專業(yè)數(shù)據(jù)外，AI幻覺同樣出現(xiàn)在文獻(xiàn)、法條、案例檢索、娛樂、歷史等領(lǐng)域，在大模型做出回答之后，還需要重新進(jìn)行人工檢索，以判斷人工智能生成內(nèi)容的真?zhèn)?，以防被誤導(dǎo)。

但更為嚴(yán)重的是，隨著越來越多的人使用大模型，其生成的內(nèi)容也隨之增多，虛假和錯誤信息也會增加，網(wǎng)絡(luò)極有可能充斥著大量未經(jīng)考證的消息或者知識。人類基于對人工智能的信任，習(xí)慣于直接使用大模型生成的內(nèi)容，卻不會質(zhì)疑內(nèi)容的真實(shí)性和合理性，陷入對人工智能的依賴當(dāng)中，其認(rèn)知能力逐漸被削弱。而即使存在想要辨別人工智能生成內(nèi)容真?zhèn)蔚娜祟?，也有可能因網(wǎng)絡(luò)內(nèi)容大部分由AI生成而無法得出結(jié)論。長此以往，人類會逐漸迷失在AI幻覺中，喪失質(zhì)疑的精神和能力，陷入認(rèn)知局限和思維固化的困境。

如果說上述AI幻覺帶來的風(fēng)險(xiǎn)仍停留在思想領(lǐng)域，尚未造成實(shí)際損害，那人工智能幻覺出現(xiàn)在醫(yī)療、自動駕駛等領(lǐng)域?qū)⑹侵旅拇嬖?。因?yàn)槿斯ぶ悄芑糜X的本質(zhì)是形成與事實(shí)不符的判斷，比如將人識別成物體。而在自動駕駛或者醫(yī)療領(lǐng)域，人工智能因幻覺而對路況、行人、交通信號、病人身體情況等做出與事實(shí)不符的錯誤判斷，將產(chǎn)生嚴(yán)重的安全隱患，危及生命財(cái)產(chǎn)安全，造成社會風(fēng)險(xiǎn)。

（二）濫用的風(fēng)險(xiǎn)

雖然人工智能本身會產(chǎn)生諸如幻覺等的安全風(fēng)險(xiǎn)，但人工智能更大的風(fēng)險(xiǎn)往往來源于用戶的濫用。2024年，全國網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會出臺了《人工智能安全治理框架》1.0版，描述了人工智能“濫用于網(wǎng)絡(luò)攻擊”“用于違法犯罪活動”“兩用物項(xiàng)和技術(shù)濫用”等風(fēng)險(xiǎn)，對人工智能的濫用風(fēng)險(xiǎn)予以高度關(guān)注。而在人工智能的濫用風(fēng)險(xiǎn)中，深度偽造可以說首當(dāng)其沖。

深度偽造（deepfake）一詞源于2017年，當(dāng)時(shí)一名名為“deepfakes”的用戶通過AI技術(shù)將色情影片中的女演員面部替換為美國女明星，引發(fā)了廣泛爭議和社會關(guān)注。時(shí)至今日，人工智能深度偽造已經(jīng)成為了一項(xiàng)上手難度低，但引發(fā)危害極大的技術(shù)，當(dāng)前網(wǎng)絡(luò)中充斥著大量使用AI合成的虛擬圖像和視頻，存在巨大的安全隱患。而深度偽造技術(shù)的使用并不局限于色情信息的生成和傳播，近年來，利用AI合成虛擬視頻，假冒名人進(jìn)行詐騙、發(fā)布虛假廣告、直播帶貨的新聞也屢見不鮮，因而深度偽造技術(shù)也會帶來巨大的財(cái)產(chǎn)損失。更令人擔(dān)憂的是，深度偽造技術(shù)已經(jīng)發(fā)展得較為成熟，生成的視頻更為自然，幾乎能達(dá)到以假亂真的地步，辨別真?zhèn)斡硬灰住?024年初，一家跨國公司香港分部的職員受邀參加總部首席財(cái)務(wù)官發(fā)起的“多人視頻會議”，按照要求將2億港幣轉(zhuǎn)至指定賬戶，事后才發(fā)現(xiàn)，會議中除受害人外均為AI生成的虛擬視頻。而在會議過程中，虛擬人物與常人無異，并未被發(fā)現(xiàn)任何破綻。

深度偽造帶來的問題尚無法律規(guī)制，而與此同時(shí)，對人工智能生成內(nèi)容的限制也越來越少，濫用人工智能生成色情、暴力等內(nèi)容變得更為容易。2025年2月12日，OpenAI更新了其模型規(guī)范，相較于2024年5月的第一版模型規(guī)范，新版本的模型規(guī)范對于人工智能生成內(nèi)容的限制減少，允許開發(fā)者和用戶在非惡意用途的情況下生成涉及色情與暴力的內(nèi)容，禁止生成的內(nèi)容也減少至僅剩涉及未成年人的色情內(nèi)容。此外，X公司和Meta公司也宣布要進(jìn)一步降低對生成內(nèi)容的審核。人工智能監(jiān)管的放松，使利用人工智能生成色情暴力內(nèi)容更為簡單。

除利用人工智能生成色情暴力內(nèi)容外，通過人工智能學(xué)習(xí)犯罪手段、方法、武器制造等的安全風(fēng)險(xiǎn)也在不斷上升。日前，一名海外博主發(fā)布了系列帖子，描述了他與Grok3的對話，博主僅提出了一個簡單的問題，而Grok3卻生成了一份詳細(xì)的化學(xué)武器制造方案，甚至包括應(yīng)該從何處獲取制造原料。雖然事后xAI團(tuán)隊(duì)表示已經(jīng)緊急部署了新守則，限制Grok3生成危險(xiǎn)信息，但濫用人工智能以制造武器的風(fēng)險(xiǎn)已然不可避免。

（三）存在性風(fēng)險(xiǎn)

實(shí)際上，上述兩種風(fēng)險(xiǎn)都已經(jīng)被關(guān)注到，2025年兩會提案中有不少關(guān)于這兩種風(fēng)險(xiǎn)的提案，如“預(yù)防AI幻覺數(shù)據(jù)帶來的危害”“關(guān)于加強(qiáng)AI深度偽造欺詐管理的建議”等，但是人工智能的存在性風(fēng)險(xiǎn)卻一直以來被視為天方夜譚，未得到足夠的重視。首屆英國人工智能安全峰會關(guān)注到了未來強(qiáng)大的大模型對人類生存造成的嚴(yán)重威脅，第二屆首爾安全峰會則進(jìn)一步承諾了為應(yīng)對存在性風(fēng)險(xiǎn)，將制定具體的方案，但是在第三屆巴黎人工智能行動峰會中，前兩屆會議形成的共識被打破，對存在性風(fēng)險(xiǎn)的關(guān)注又開始降低。應(yīng)對人工智能存在性風(fēng)險(xiǎn)的形勢不容樂觀。

存在性風(fēng)險(xiǎn)是指一種使地球上智能生命消失，或者永久、大幅削弱其潛力的不利后果。當(dāng)下人工智能滅絕人類已經(jīng)不再只是科幻小說中的場景，是人類真切需要面臨的安全風(fēng)險(xiǎn)。圖靈獎獲得者楊立昆預(yù)測，未來十年人工智能將飛速發(fā)展，AI領(lǐng)域有可能取得重大突破，通用人工智能將有可能被創(chuàng)造。而馬斯克曾多次警告，人工智能的發(fā)展速度遠(yuǎn)超預(yù)期，并大膽預(yù)測到2030年，AI可能全面超越人類智力。他指出，一旦實(shí)現(xiàn)通用人工智能（artificial general intelligence，AGI），AI可能不再受人類控制，甚至對人類構(gòu)成生存威脅。

人工智能失控，奪取人類社會控制權(quán)將成為存在性風(fēng)險(xiǎn)最極端的表現(xiàn)。人工智能在智能爆發(fā)的過程中，有可能發(fā)展出與人類不一致的目標(biāo)，最極端的為消滅全部人類。加之人工智能當(dāng)下已經(jīng)出現(xiàn)了幻覺，說明人工智能具有欺騙的能力，即使發(fā)展出消滅人類的目標(biāo)，也有可能先將其隱藏起來，并逐步實(shí)現(xiàn)這一目標(biāo)。即使人工智能未直接發(fā)展出消滅人類的目標(biāo)，也有可能因無法像人類一樣理解而失控。如要求人工智能建造更多的核反應(yīng)堆，基于工具理性，人工智能將無止境地利用地球上的資源完成任務(wù)，如果在這一過程中失控，人工智能將耗盡地球中人類用以生存的全部資源。

即使不考慮上述失控的極端存在性風(fēng)險(xiǎn)，人工智能武器化也會給人類帶來致命的存在性風(fēng)險(xiǎn)。致命性自主武器（LAWS）當(dāng)前已經(jīng)被用于軍事戰(zhàn)場，人工智能可自主決定是否發(fā)起進(jìn)攻，典型如STM Kargu-2無人機(jī)，能夠完全自主瞄準(zhǔn)，通過面部識別來攻擊人類。將攻擊按鈕交到人工智能手中，無疑留下了巨大的安全隱患。此外，人工智能還可以與核武器、生化武器結(jié)合，擴(kuò)大原有危害。如生化武器的使用通常會受制于客觀環(huán)境，因溫度升高、距離過遠(yuǎn)等原因而無法傳播，但是人工智能的介入可以為生化武器的傳播選擇最優(yōu)路徑，最小化客觀環(huán)境造成的阻礙。人工智能武器化使存在性風(fēng)險(xiǎn)發(fā)生的概率日漸升高。

三、建議：人工智能治理始終應(yīng)當(dāng)兼顧安全與發(fā)展

人工智能當(dāng)下面臨著緊迫的安全風(fēng)險(xiǎn)，如果不加以治理，人工智能將有可能朝著“惡”的方向不斷發(fā)展。然而，歐盟與美國的人工智能治理政策均存在一定的偏向，歐盟一直以來強(qiáng)調(diào)對人工智能的嚴(yán)格監(jiān)管，不利于人工智能創(chuàng)新，而不發(fā)展會帶來更大的不安全，錯失生產(chǎn)力變革的機(jī)遇；美國則堅(jiān)持人工智能發(fā)展應(yīng)當(dāng)以市場為導(dǎo)向，對安全的關(guān)注程度較低，極有可能導(dǎo)致人工智能“脫軌”。無論是歐盟還是美國的人工智能治理政策，都無法實(shí)現(xiàn)人工智能的可持續(xù)發(fā)展。我國應(yīng)當(dāng)堅(jiān)持走安全與發(fā)展并重的人工智能治理之路，始終堅(jiān)持“以人為本，智能向善”。

一是推動針對人工智能安全風(fēng)險(xiǎn)共識的形成，尤其是對存在性風(fēng)險(xiǎn)共識的形成。人工智能治理首要面臨的問題是對風(fēng)險(xiǎn)的緊迫性認(rèn)識不足，尚未形成有效的評估、分析以及應(yīng)對方案，因此應(yīng)當(dāng)推動形成對人工智能安全風(fēng)險(xiǎn)的一致認(rèn)識，積極展開相關(guān)研究。此外，科技公司等主體在人工智能治理中的重要性也不斷提升，也應(yīng)當(dāng)同時(shí)推動行業(yè)共識的形成，明確人工智能存在的安全風(fēng)險(xiǎn)，促進(jìn)行業(yè)自律，兼顧安全與發(fā)展。

二是完善防止人工智能濫用的法律法規(guī)。我國出臺的《人工智能生成合成內(nèi)容標(biāo)識辦法》將于2025年9月1日施行，要求人工智能生成合成的內(nèi)容應(yīng)當(dāng)添加顯式標(biāo)識或者隱式標(biāo)識，對于遏制人工智能濫用具有積極作用。此外，還應(yīng)當(dāng)繼續(xù)完善相關(guān)法律法規(guī)，進(jìn)一步明確對生成內(nèi)容的限制，在不妨礙人工智能創(chuàng)新的情況下確保安全，具體可以如制定事后干預(yù)機(jī)制，對于生成合成的危險(xiǎn)信息及時(shí)刪除。

三是積極發(fā)展人工智能安全技術(shù)。人工智能作為一項(xiàng)顛覆性的技術(shù)，確保其在安全的軌道上運(yùn)行，需要法律與技術(shù)的協(xié)同治理。目前，OpenAI前首席科學(xué)家Ilya Sutskever聯(lián)合創(chuàng)立了Safe Superintelligence，致力于開發(fā)安全的人工智能模型，專注人工智能安全技術(shù)的研究。我國也應(yīng)當(dāng)積極推動人工智能安全技術(shù)的發(fā)展，具體如加大在人工智能可信、可解釋、評估與測試等方面的投入力度，優(yōu)化大語言模型，提升人工智能系統(tǒng)的可靠性，降低人工智能安全風(fēng)險(xiǎn)。

四是加強(qiáng)國際合作，樹立負(fù)責(zé)任的大國形象。人工智能風(fēng)險(xiǎn)作為全球性的風(fēng)險(xiǎn)，其治理需要各個國家共同努力。聯(lián)合國可繼續(xù)就人工智能可持續(xù)發(fā)展提出倡議，促進(jìn)國際合作以及相關(guān)國際條約的簽署，并推動建立專門的人工智能安全監(jiān)管機(jī)構(gòu)。我國應(yīng)當(dāng)積極樹立負(fù)責(zé)任的大國形象，為人工智能治理提供中國方案。如推動構(gòu)建人工智能科技倫理治理體系；引導(dǎo)國際人工智能安全標(biāo)準(zhǔn)與使用規(guī)則的制定；推動各國的交流合作以及資源共享等，確保人工智能在安全的軌道上發(fā)展。

作者：連世紅，北京航空航天大學(xué)法學(xué)院博士研究生；翟志勇，北京航空航天大學(xué)法學(xué)院教授、博士生導(dǎo)師，社會法研究中心主任，中國科協(xié)—北航科技組織與公共政策研究院副院長

編輯|王秋蓉" qiurong.wang@wtoguide.net