人工智能犯罪的樣態(tài)解構(gòu)與治理應(yīng)對
——以歐洲警察署報告為中心展開

文/王彩玉 趙賀軍

當前，ChatGPT 已成為人工智能無限潛力的象征——變革生產(chǎn)方式、優(yōu)化生產(chǎn)決策、重新定義人機協(xié)作界限。這種影響作用于犯罪，催生了網(wǎng)絡(luò)犯罪變異升級。與傳統(tǒng)犯罪不同，網(wǎng)絡(luò)犯罪具有高度可復(fù)制性。一旦開發(fā)，網(wǎng)絡(luò)技術(shù)可共享、復(fù)制、出售甚至外包，實現(xiàn)犯罪技術(shù)市場化或提供“犯罪即服務(wù)”。從犯罪工具到犯罪目標等要素，類ChatGPT 人工智能對網(wǎng)絡(luò)犯罪的影響是全鏈條、全領(lǐng)域的，值得加強研究、積極應(yīng)對。歐洲警察署創(chuàng)新實驗室組織歐洲技術(shù)與安全專家開展研討，發(fā)布《ChatGPT：大型語言模型對執(zhí)法的影響》，初探網(wǎng)絡(luò)犯罪者濫用ChatGPT 的可能性，并為執(zhí)法部門提出簡要建議。本文以歐洲警察署報告為中心展開，結(jié)合犯罪經(jīng)濟學理論與人工智能犯罪及治理最新動態(tài)進行研討。

一、ChatGPT 本質(zhì)解析與安全保護

作為基于GPT-3、GPT-3.5、GPT-4 等大型語言模型的應(yīng)用，ChatGPT 本質(zhì)上是一種自回歸語言模型，借助深度學習和神經(jīng)網(wǎng)絡(luò)，理解輸入與輸出之間關(guān)聯(lián)，生成符合上下文語義的合理響應(yīng)。鑒于ChatGPT 可訪問海量信息、響應(yīng)用戶提示生成各種答案，開發(fā)者引入一系列安全功能，防止用戶惡意利用。審查端點用于內(nèi)容過濾、安全檢查以及監(jiān)控防范不當行為，可評估輸入是否包含色情、仇恨、暴力等內(nèi)容以及模型是否被用于實施欺詐、政治競選或游說、具有高人身傷害風險的活動（如開發(fā)武器、運營管理關(guān)鍵基礎(chǔ)設(shè)施、宣揚自殘行為）、具有高經(jīng)濟損失風險的活動（如傳銷、賭博）等《使用政策》（Usage policies）中禁止的行為。然而，歐洲警察署指出，研究人員和犯罪者可通過要求ChatGPT 以代碼形式給出答案、替換提示詞并更改背景、創(chuàng)建虛構(gòu)案例等變通方案規(guī)避ChatGPT 創(chuàng)建者設(shè)置的安全和審查功能。目前最為強大的變通方案是越獄指令集，可引導(dǎo)模型響應(yīng)任何提示。

二、ChatGPT 犯罪樣態(tài)

人工智能時代的到來再次給網(wǎng)絡(luò)犯罪提供代際躍升機會?！胺缸锛捶?wù)”是一種網(wǎng)絡(luò)犯罪模式，指在網(wǎng)絡(luò)犯罪生態(tài)中技術(shù)人員利用互聯(lián)網(wǎng)和數(shù)字技術(shù)，向其他網(wǎng)絡(luò)犯罪分子提供犯罪工具、資源和服務(wù)的行為。英國計算機科學家考德威爾指出，“人工智能可被用作犯罪工具，利用其能力促進針對現(xiàn)實世界目標的行動，如預(yù)測個人或機構(gòu)的行為、發(fā)現(xiàn)并利用漏洞；生成用于勒索或玷污聲譽的虛假內(nèi)容；執(zhí)行人類犯罪者無法或不愿自己完成的活動等。人工智能系統(tǒng)也可成為犯罪活動目標，規(guī)避對犯罪構(gòu)成障礙的保護系統(tǒng)；逃避對已犯罪行的偵查或起訴；使受信任系統(tǒng)或關(guān)鍵系統(tǒng)出現(xiàn)故障，制造破壞或損害公眾信任?！?/p>

（一）ChatGPT 作為犯罪工具

犯罪經(jīng)濟學家加里·貝克認為，犯罪行為是一種理性選擇，犯罪者會衡量行為帶來的成本與效益。生成式人工智能所具備的自適應(yīng)性和學習能力，使攻擊者能以更低成本實施更復(fù)雜的犯罪行為，智能化、自動化也放大了犯罪威脅與收益。

歐洲警察署指出，ChatGPT 擅長為用戶提供隨時可用的信息，以響應(yīng)各種提示。若潛在犯罪者對特定犯罪領(lǐng)域一無所知，ChatGPT 可通過提供關(guān)鍵信息，推動犯罪預(yù)備提速升級。換言之，ChatGPT 可在潛在犯罪者先驗知識匱乏的情況下協(xié)助了解恐怖主義、網(wǎng)絡(luò)犯罪、兒童性虐待等諸多犯罪領(lǐng)域。誠然，相關(guān)信息可在網(wǎng)上查詢獲取，但潛在犯罪者借助ChatGPT 可更容易地了解并實施特定犯罪活動。

1.社會工程——網(wǎng)絡(luò)詐騙、網(wǎng)絡(luò)釣魚的終點在何方？

社會工程是一種利用心理學和人類行為特征，獲取敏感信息、操縱目標心理的技術(shù)，攻擊者通過多種方式引導(dǎo)受攻擊者思維向攻擊者期望的方向發(fā)展。社會工程利用的是人性弱點，而人性是永恒存在的，這使其成為長久有效的攻擊方式。犯罪經(jīng)濟學強調(diào)犯罪活動與供求關(guān)系之間的聯(lián)系，ChatGPT 根據(jù)上下文響應(yīng)信息并可選用特定寫作風格的特點，可幫助犯罪者更巧妙地操縱受害者心理，提升網(wǎng)絡(luò)詐騙、網(wǎng)絡(luò)釣魚等基于社會工程原理的犯罪活動的成功率、利潤率。

歐洲警察署指出，一直以來，犯罪者需自行創(chuàng)建詐騙方案，在批量生產(chǎn)情況下，目標受眾通常能根據(jù)明顯拼寫錯誤、不準確內(nèi)容識別騙局。然而，ChatGPT 可根據(jù)用戶提示起草高度真實文本，輕松調(diào)整釣魚郵件的行文背景，涵蓋投資詐騙、商務(wù)電郵詐騙、冒充老板詐騙等諸多形式。此外，犯罪者可利用ChatGPT 營造虛假社交媒體參與情況，為各類網(wǎng)絡(luò)騙局披上合理合法的外衣。

荷蘭格羅寧根大學研究者發(fā)現(xiàn)，使用人工智能技術(shù)開發(fā)社交機器人可幫助犯罪者欺騙、操縱受害者。社交機器人本質(zhì)上是通過生成內(nèi)容與互聯(lián)網(wǎng)用戶交互、模擬人類行為的算法，向受害者發(fā)送鏈接請求，為控制受害者計算機創(chuàng)造機會。

2.虛假信息——大規(guī)模滲透與深度偽造的完美幫兇？

歐洲警察署指出，ChatGPT 具備高效、規(guī)?；a(chǎn)看似真實可信文本的能力，這使其成為宣傳滲透、虛假信息的理想選擇——允許用戶以較少努力生成傳播反映特定敘事的消息。ChatGPT 可用于代表特定參與者開展網(wǎng)絡(luò)宣傳，宣揚捍衛(wèi)某些已被揭示為虛假信息的觀點。此外，犯罪者可利用ChatGPT 搜集更多可能促進恐怖活動的信息，例如恐怖主義融資或匿名文件共享。

來自美國亞利桑那州的詹妮弗在參議院講述犯罪者使用人工智能模擬女兒在假綁架中驚恐聲音向其索要贖金的經(jīng)歷

歐洲警察署強調(diào)，雖然ChatGPT 拒絕為其認為明顯具有惡意的提示提供答案，但犯罪者可采取相應(yīng)措施規(guī)避限制。類ChatGPT 應(yīng)用不僅會促進虛假信息、仇恨言論、恐怖主義內(nèi)容傳播，還會導(dǎo)致公眾產(chǎn)生錯誤信任度，機器生成內(nèi)容相較于人類撰寫的內(nèi)容可能具有更高的客觀性。

ChatGPT 可為虛假或誤導(dǎo)性信息傳播提供便利，即使沒有“誤用”，因為ChatGPT 一個已知缺陷，即為編造虛假信息，包括可能對個人造成誹謗的信息。2023 年4 月，喬治華盛頓大學教授喬納森發(fā)表《被ChatGPT 誹謗：我自己對人工智能的奇異體驗》，講述被ChatGPT 誣陷實施性騷擾的經(jīng)歷，“為何人工智能會編造虛假新聞并發(fā)布虛假聲明？可能是人工智能及算法的偏見、缺陷不亞于對其進行編程的人類”。

綜上，類ChatGPT 生成式人工智能生成的文本，結(jié)合用戶畫像、定向推送和定位，可將文本針對特定受眾專門定制、滿足其偏好，提高虛假信息的數(shù)量、質(zhì)量和影響力，加劇“過濾氣泡”和兩極分化擴散。深度偽造作為虛假信息傳播高級形式，借助人工智能創(chuàng)建的視頻、圖像、語音，模糊真實與虛假的界限，對社會信任帶來極大挑戰(zhàn)，同時也推動網(wǎng)絡(luò)犯罪產(chǎn)業(yè)規(guī)模和復(fù)雜度進一步提升。

2023 年6 月，詹妮弗在司法委員會作證講述個人經(jīng)歷，她在外接到電話，聽到女兒抽泣著說：“媽媽，這里有壞人，幫幫我！”一個男人接過電話說：“聽著，你的女兒在我手里，你若報警，我就把她的胃裝滿毒品，把她送到墨西哥，你再也見不到她了！”背景音中女兒拼命懇求。綁架者勒索100 萬美元，詹妮弗心急如焚，最后在另一位母親幫助下，給丈夫撥通電話，發(fā)現(xiàn)女兒安全躺在家里的床上。但詹妮弗遭到巨大心理創(chuàng)傷——“他們是如何得到她的聲音的？他們是如何讓她哭泣的？她的抽泣是她獨有的！我們是否被網(wǎng)絡(luò)跟蹤？聽到孩子帶著恐懼和痛苦的懇求，知道他們受到傷害，而你無助絕望，這是每個父母最糟糕的噩夢……難道這就是我們正在創(chuàng)造的未來——濫用人工智能卻沒有后果或懲戒？”

針對人工智能語音克隆犯罪激增現(xiàn)狀，美國警方發(fā)布《人工智能語音克隆警報》，指出“人工智能語音克隆是一個在特定人錄音的大型數(shù)據(jù)集上訓練人工智能模型的過程。模型學習模仿聲音、語氣和語調(diào)，可生成聽起來像該人的新語音”。2023 年5 月，邁克菲公司發(fā)布《全球人工智能網(wǎng)絡(luò)安全報告》，指出：（1）在7000 名受調(diào)查者中，十分之一表示曾收到人工智能語音克隆消息，其中77%表示因此遭受金錢損失；（2）克隆需要原件，犯罪者可輕松獲取原始語音文件，53%成年人表示每周至少一次在網(wǎng)上或錄音中分享語音數(shù)據(jù)，這些數(shù)據(jù)可能受到黑客攻擊、盜竊；（3）測試發(fā)現(xiàn)只需三秒音頻就足以生成與原始音頻匹配度高達85%的克隆品，同時可輕松復(fù)制美國、英國、印度、澳大利亞等世界各地口音。

塔伊斯·費爾南達等學者指出，要關(guān)注人工智能深度偽造“說謊者紅利”，騙子利用深度偽造視頻抹黑真實視頻，稱視頻被操縱，引發(fā)公眾對原視頻真實性懷疑。公眾越意識到可用人工智能修改視頻的可能性，就越會懷疑原視頻的真實性，“這種紅利的流動與教育公眾了解深度偽造危險性的成功程度成正比”。

3.惡意代碼——勒索軟件量產(chǎn)，網(wǎng)絡(luò)攻擊平民化？

犯罪經(jīng)濟學認為，犯罪是一種回應(yīng)經(jīng)濟環(huán)境變化的現(xiàn)象，網(wǎng)絡(luò)犯罪者也在適應(yīng)不斷升級的網(wǎng)絡(luò)安全技術(shù)并尋求利用新漏洞、新弱點。ChatGPT 可快速創(chuàng)建代碼及迭代版本，規(guī)避傳統(tǒng)安全監(jiān)測，對網(wǎng)絡(luò)安全威脅發(fā)揮“放大”作用。同時，人工智能帶來的網(wǎng)絡(luò)攻擊“平民化”凸顯，即使是沒有技術(shù)背景的犯罪者也可通過人工智能學習攻擊技巧、代碼和戰(zhàn)術(shù)，這在整體上推進犯罪資源共享、技術(shù)專長整合、攻擊鏈條優(yōu)化，帶來更“高效”的網(wǎng)絡(luò)犯罪產(chǎn)品和服務(wù)。

網(wǎng)絡(luò)犯罪者正在轉(zhuǎn)向人工智能語音克隆

歐洲警察署指出，在生成擬人化語言之外，ChatGPT還能產(chǎn)出多種不同編程語言代碼。使用當前版本的ChatGPT 已可為各種惡意活動創(chuàng)建基本工具。盡管這些工具只是基本工具，如網(wǎng)絡(luò)釣魚頁面或惡意VBA 腳本，但為網(wǎng)絡(luò)犯罪提供開端。這種類型的自動代碼生成對于那些對編碼和開發(fā)知之甚少的犯罪者特別有用。至關(guān)重要的是，只有當模型意識到自身在做什么，防止ChatGPT提供潛在惡意代碼的保護措施才會發(fā)揮效能；若將提示分解為單獨步驟，則可輕松規(guī)避保護措施。

歐洲警察署強調(diào)，雖然當前ChatGPT 生成的網(wǎng)絡(luò)犯罪工具仍非常簡單，但鑒于技術(shù)進步，犯罪者對ChatGPT 的積極利用將會帶來相當嚴峻的犯罪形勢。GPT-4 模型更善于理解代碼上下文背景、更正錯誤消息以及修復(fù)編程錯誤。對于技術(shù)基礎(chǔ)匱乏的潛在犯罪者來說，GPT-4 是一種寶貴的資源。同時，更高級的犯罪者可利用GPT-4 的改進功能將復(fù)雜的網(wǎng)絡(luò)犯罪手法迭代完善甚至是自動化。

如今，利用ChatGPT 生成惡意軟件已不僅是理論上的可能性，繞過安全防護措施的惡意利用受到廣泛關(guān)注，甚至在暗網(wǎng)論壇中成為熱門話題。

人工智能黑客攻擊

2023 年1 月，檢查點研究團隊（CHECK POINT RESEARCH）發(fā)布研究博客《OPWNAI：網(wǎng)絡(luò)犯罪者開始使用CHATGPT》，分析了主要暗網(wǎng)黑客社區(qū)內(nèi)容，列舉2022 年12 月犯罪者使用ChatGPT 創(chuàng)建信息竊取程序、加密工具、勒索軟件、暗網(wǎng)市場腳本等惡意工具的真實示例，如一名黑客展示利用ChatGPT 創(chuàng)建代碼，實現(xiàn)通過第三方API 獲取門羅幣、比特幣等最新加密貨幣價格，可成為暗網(wǎng)市場支付系統(tǒng)的組成部分。

4.開發(fā)者的陰暗面——秘密數(shù)據(jù)爬取與大規(guī)模隱私侵犯？

歐洲警察署在報告中深刻發(fā)問：大型語言模型服務(wù)未來將如何處理用戶數(shù)據(jù)是存在不確定性的，對話是否會被存儲？是否會將敏感個人信息泄露給未經(jīng)授權(quán)的第三方？如今，現(xiàn)實執(zhí)法司法案例已給出初步回答。

2023 年6 月，美國的ChatGPT 集體訴訟從利益、風險等角度揭開OpenAI 公司的陰暗面——訴訟書指出，OpenAI 公司“將短期財務(wù)利益置于人類利益之上……在秘密的情況下對互聯(lián)網(wǎng)進行大規(guī)模爬取，侵犯個人財產(chǎn)權(quán)和隱私權(quán)。這些爬取行為沒有得到用戶個人同意，也沒有遵守網(wǎng)站使用條款以及加利福尼亞和其他州和聯(lián)邦的法律。爬取的個人信息被用于構(gòu)建人工智能產(chǎn)品，并通過商業(yè)模式出售訪問權(quán)限，從中謀取經(jīng)濟利益”。理性選擇理論（Rational Choice Theory）認為，犯罪行為是個體基于風險和收益的理性決策。將OpenAI 公司定位為“微軟的數(shù)據(jù)搜集公司，向微軟提供數(shù)百萬個人的ChatGPT 用戶和非用戶數(shù)據(jù)……產(chǎn)品在利用被盜數(shù)據(jù)進行培訓的基礎(chǔ)上，才達到今天的復(fù)雜程度”，ChatGPT 在一定意義上可能構(gòu)成非法數(shù)據(jù)爬取與盜竊的犯罪工具。

2023 年6 月，“OpenAI 公司集體訴訟第一案”在美國加州北部地區(qū)巡回法院發(fā)起，指控OpenAI 公司和微軟公司“在開發(fā)、營銷和運營人工智能產(chǎn)品時，非法收集、使用和分享數(shù)以億計的互聯(lián)網(wǎng)用戶的個人信息，包括兒童信息，侵犯原告的財產(chǎn)權(quán)、隱私權(quán)和其他法律權(quán)利，并給社會帶來潛在的災(zāi)難性風險”，違反《電子通信隱私法》《計算機欺詐和濫用法》《加利福尼亞侵犯隱私法》《加利福尼亞不正當競爭法》《伊利諾伊州生物識別信息隱私法》《伊利諾伊州消費者欺詐和欺騙性商業(yè)行為法》等法律法規(guī)。起訴書指出，被告在超出合理授權(quán)范圍下從ChatGPT 用戶和集成ChatGPT 插件的平臺中非法收集并利用來自全球數(shù)百萬消費者的個人數(shù)據(jù)，包括：（1）用戶在產(chǎn)品中輸入的所有內(nèi)容；（2）用戶注冊時輸入的賬號信息；（3）名稱；（4）聯(lián)系方式；（5）登錄憑證；（6）電子郵件；（7）付費用戶的支付信息；（8）交易記錄；（9）從用戶設(shè)備和瀏覽器中提取的識別數(shù)據(jù)，如互聯(lián)網(wǎng)協(xié)議地址和位置，包括用戶的地理位置；（10）社交媒體信息；（11）聊天日志數(shù)據(jù)；（12）使用資料；（13）分析；（14）緩存數(shù)據(jù)；（15）點擊數(shù)據(jù)；（16）輸入搜索數(shù)據(jù)以及其他在線活動數(shù)據(jù)等，以繼續(xù)開發(fā)訓練大型語言模型和深度語言算法。起訴書強調(diào)，“作為對大規(guī)模隱私侵犯的加劇，OpenAI 公司未提供有效程序供個人請求刪除個人信息或訓練數(shù)據(jù)。相反，OpenAI 公司只提供一個電子郵箱地址，消費者可通過郵箱聯(lián)系刪除。但這個選項是虛假的——無論個人是否在技術(shù)上可以請求ChatGPT 刪除數(shù)據(jù)，徹底刪除是不可能的。因為ChatGPT 是基于個人輸入數(shù)據(jù)、個人信息、其他用戶數(shù)據(jù)和非用戶數(shù)據(jù)進行訓練的，這些數(shù)據(jù)無法徹底從人工智能系統(tǒng)中提取出來，正如一個人無法忘記在六年級學過的數(shù)學”。此外，以喜劇演員莎拉·西爾弗曼為代表的文藝創(chuàng)作者也發(fā)起訴訟，指控OpenAI 公司和Meta 公司使用非法的“影子圖書館”（Shadow Libraries）訓練模型。

漫畫：美國聯(lián)邦貿(mào)易委員會對ChatGPT 發(fā)起調(diào)查

在執(zhí)法方面，自2023 年3 月意大利個人數(shù)據(jù)保護局以“非法收集用戶個人數(shù)據(jù)，且沒有設(shè)置年齡驗證系統(tǒng)防止未成年人接觸違法有害信息”為由率先對ChatGPT采取臨時封鎖以來，加拿大、法國、英國、西班牙數(shù)據(jù)保護監(jiān)管機構(gòu)陸續(xù)對ChatGPT 發(fā)起調(diào)查。在美國，ChatGPT收到的第一份調(diào)查命令來自聯(lián)邦貿(mào)易委員會。2023 年7月，聯(lián)邦貿(mào)易委員會對ChatGPT 背后的OpenAI 公司就是否使用了“不公平或欺騙性的隱私或數(shù)據(jù)安全措施”或“可能對消費者帶來潛在傷害（包括聲譽傷害）的不公平或欺騙性做法”簽發(fā)民事調(diào)查令（Civil Injunction Demand，CID）。在這份長達20 頁的文件中，聯(lián)邦貿(mào)易委員會向OpenAI 公司提出49 個詳細問題，并要求提供17 類文件以供調(diào)查，重點問題有：（1）描述模型開發(fā)和使用過程中的數(shù)據(jù)情況，包括數(shù)據(jù)獲取方式、數(shù)據(jù)來源、訓練數(shù)據(jù)中各種語言的占比等；（2）描述公司對數(shù)據(jù)泄露安全風險的考量，包括受攻擊系統(tǒng)、受影響的用戶數(shù)量、攻擊檢測、攻擊來源等；（3）描述產(chǎn)品對不同類型個人信息的收集、使用及存儲方式，包括數(shù)據(jù)來源、存儲位置與默認存儲時間、用戶選擇不留存數(shù)據(jù)后的存儲時間、用戶請求刪除數(shù)據(jù)后的存儲時間。

（二）ChatGPT 作為“犯罪目標”

在犯罪經(jīng)濟學視角下，ChatGPT 模型和數(shù)據(jù)由于自身吸引力和價值，可能成為潛在“犯罪目標”——遭受完整性攻擊、成員推理攻擊，抑或是賬戶信息泄露。這些風險使得保護ChatGPT 模型和數(shù)據(jù)安全變得至關(guān)重要。

1.數(shù)據(jù)中毒——誤導(dǎo)模型結(jié)果的險惡手段？

數(shù)據(jù)中毒作為對抗性攻擊的一種策略，也屬于完整性攻擊的一部分，通過向訓練數(shù)據(jù)中注入惡意信息損害人工智能模型的性能和可信度。

2023 年4 月，美國桑斯（SANS）研究院發(fā)現(xiàn)，對抗性人工智能攻擊是2023 年最值得關(guān)注的新興網(wǎng)絡(luò)攻擊技術(shù)之一。對抗性人工智能攻擊本質(zhì)是“欺騙機器學習模型的惡意輸入”，導(dǎo)致系統(tǒng)審查的材料被錯誤分類。在特定情況下，攻擊過于微妙，人類無法直接察覺，但其仍會導(dǎo)致人工智能系統(tǒng)犯錯。對抗性人工智能攻擊的一個典型例證即為“中毒攻擊”，攻擊者通過在訓練過程中注入損壞節(jié)點影響系統(tǒng)訓練數(shù)據(jù)的完整性，從而改變預(yù)測模型的結(jié)果。

綠盟科技（NSFOCUS）指出，ChatGPT 面臨嚴峻的數(shù)據(jù)中毒風險：（1）在預(yù)訓練階段，ChatGPT 訓練數(shù)據(jù)包含網(wǎng)絡(luò)公開數(shù)據(jù)源，若公共數(shù)據(jù)集被惡意投毒、加入噪聲干擾，會導(dǎo)致模型生成文本錯誤、語義不連續(xù)等問題；（2）后門植入的投毒會導(dǎo)致一些字母符號觸發(fā)模型作出特定行為；（3）在模型推理階段，ChatGPT 在答案生成過程中可能會使用額外數(shù)據(jù)庫和數(shù)據(jù)源進行文本搜索，這也存在數(shù)據(jù)中毒的可能性；（4）若OpenAI 公司未來以用戶歷史對話內(nèi)容作為語料庫更新ChatGPT，那也將成為訓練數(shù)據(jù)投毒的攻擊面。

值得注意的是，在數(shù)據(jù)中毒之外，若ChatGPT 依賴用戶反饋進行優(yōu)化，攻擊者還可以利用這一點引導(dǎo)模型進行“負優(yōu)化”。例如，在ChatGPT 已經(jīng)提供高質(zhì)量答案情況下，攻擊者還惡意作出負面評價和不當反饋，或通過對話不斷批評和糾正ChatGPT 答案。面對大量惡意反饋，若ChatGPT 沒有設(shè)置適當?shù)陌踩呗?，將會影響后續(xù)版本文本生成質(zhì)量。

2.成員推理攻擊——身份暴露的威脅？

在成員推理攻擊中，黑客目的是發(fā)現(xiàn)并重建用于訓練模型的樣本。成員推理攻擊背后的邏輯是，模型對訓練數(shù)據(jù)（模型見過的）和其他數(shù)據(jù)（模型沒見過的）的表現(xiàn)是不同的。這種性能差異可能體現(xiàn)在模型預(yù)測、損失值、梯度信息等方面。

布拉格捷克理工大學研究員埃里克在《超越保障措施：探討ChatGPT 的安全風險》中指出，成員推理攻擊可能導(dǎo)致私人和敏感數(shù)據(jù)泄露，黑客可提取ChatGPT 訓練數(shù)據(jù)?？ɡ岬葘W者在2021 年以“從大型語言模型中提取訓練數(shù)據(jù)”為主題進行實驗，成功演示對GPT-2 訓練數(shù)據(jù)的提取攻擊，通過“詢問”語言模型，恢復(fù)了包含姓名、電話號碼和電子郵件地址等在內(nèi)的個人身份信息訓練樣本，并得出“大型語言模型比小型語言模型更容易受到攻擊”的結(jié)論。

此外，有研究者發(fā)現(xiàn)隨機面部生成器“此人不存在”（This Person Does Not Exist）算法生成的假面部與訓練數(shù)據(jù)中的真實個人面部非常相似——通過成員推理攻擊，可識別各不相同但具有相同身份的樣本。這使得攻擊者能夠推斷某些照片包含在訓練數(shù)據(jù)集中的真實個人面部，從而造成隱私安全風險。例如，若對醫(yī)療數(shù)據(jù)模型發(fā)起成員推理攻擊，攻擊者可將某種疾病與現(xiàn)有人員聯(lián)系起來。攻擊對象不僅限于使用生物特征數(shù)據(jù)集（面部圖像、錄音、步態(tài)檢測）的模型，還可能包括基于遺傳數(shù)據(jù)等高度敏感信息的模型。

3.信息竊取——ChatGPT 賬戶憑據(jù)流入暗網(wǎng)，敏感信息或遭泄露？

2023 年以來，全球網(wǎng)絡(luò)安全威脅情報平臺Group-IB 已識別13426 臺保存ChatGPT 登錄憑據(jù)的信息竊取感染設(shè)備。平臺從過去一年在非法暗網(wǎng)市場交易的信息竊取惡意軟件日志中發(fā)現(xiàn)了這些被盜的ChatGPT 登錄憑據(jù)。信息竊取惡意軟件從安裝在受感染計算機上的瀏覽器中收集保存在瀏覽器中的登錄憑據(jù)、銀行卡信息、加密錢包信息、緩存數(shù)據(jù)、瀏覽記錄和其他數(shù)據(jù)，然后將其發(fā)送給惡意軟件運營者。亞太地區(qū)是過去一年中被信息竊取惡意軟件盜取的ChatGPT 登錄憑據(jù)數(shù)量最多的地區(qū)。2022 年6 月至2023 年5 月，全球保存ChatGPT 登錄憑據(jù)的信息竊取感染設(shè)備最集中的地區(qū)包括：（1）亞太地區(qū)40999 個；（2）中東和非洲24925 個；（3）歐洲16951個。ChatGPT 登錄憑據(jù)被盜數(shù)量最多的國家包括：（1）印度12632 個；（2）巴基斯坦9217 個；（3）巴西6531 個。當前諸多企業(yè)正將ChatGPT 集成到運營流程中，鑒于ChatGPT 標準配置是保留所有對話，若犯罪者獲得賬戶的登錄憑據(jù)，可能在無意中獲取大量敏感情報。

三、ChatGPT 發(fā)展趨勢

人工智能技術(shù)的發(fā)展源于工業(yè)社會、承傳信息社會，正邁向智能社會。生成式人工智能，尤其是以ChatGPT為代表的大型語言模型，致力于深度優(yōu)化語言和對話交互，實現(xiàn)更加自然流暢的人機交流；個性化智能服務(wù)成為發(fā)展重點，為用戶提供定制化體驗；跨領(lǐng)域融合創(chuàng)新不斷加速，推動工業(yè)生產(chǎn)、醫(yī)療保健、智慧警務(wù)等落地。然而，驚喜與挑戰(zhàn)并存——ChatGPT 濫用可能形成龐大黑市和犯罪產(chǎn)業(yè)鏈，促進基于模型與數(shù)據(jù)的黑市交易、工具供應(yīng)，智能犯罪服務(wù)專業(yè)化加劇，各類犯罪者之間的交流協(xié)作將愈發(fā)頻繁，形成更大規(guī)模的犯罪網(wǎng)絡(luò)。

隨機面部生成器“此人不存在”生成的面部圖像

歐洲警察署指出，ChatGPT 帶來的最大影響之一是“探索性交流”，即通過簡單提問，快速收集幾乎無限主題的關(guān)鍵信息。無須在搜索引擎上手動搜索、梳理總結(jié)大量信息，就能迅速深入了解某一特定主題的能力，可顯著加快學習過程，從而比以前更快地進入新領(lǐng)域。鑒于ChatGPT 對犯罪的影響已然顯現(xiàn)，必須要考慮技術(shù)發(fā)展的前景問題。在ChatGPT 引發(fā)互聯(lián)網(wǎng)轟動后不久，微軟于2023 年1 月宣布向ChatGPT 投資100 億美元。不久之后，微軟首次嘗試將ChatGPT 集成到必應(yīng)等應(yīng)用中。與此同時，谷歌等競爭對手也紛紛發(fā)布各自實驗性對話式人工智能服務(wù)。ChatGPT 等大型語言模型是生成式人工智能的重要代表。這就產(chǎn)生一系列問題：在大型科技公司支持下，ChatGPT 等大型語言模型將會變得多強大？私營領(lǐng)域如何解決大型語言模型的犯罪濫用問題？

歐洲警察署預(yù)測，人工智能犯罪將趨向真實化、復(fù)雜化，且更難與人類作品區(qū)分。人工智能生成文本檢測研究正在推進，將來可能在該領(lǐng)域發(fā)揮重要作用，但目前檢測工具準確性較低。同時，大型語言模型的普遍開發(fā)利用會帶來更多安全挑戰(zhàn)，其他人工智能服務(wù)的融合發(fā)展會開辟全新的應(yīng)用維度。多模式人工智能系統(tǒng)即為典型例證，這種系統(tǒng)可將會話聊天機器人與可生成合成媒體的系統(tǒng)相結(jié)合，進行令人信服的深度造假，也可將視覺和聽覺等感官能力納入系統(tǒng)之中。此外，托管在暗網(wǎng)上、無安全過濾措施的“黑暗大模型”（Dark LLMs）以及針對特定有害數(shù)據(jù)進行訓練的大型語言模型都會出現(xiàn)。

網(wǎng)絡(luò)犯罪者專用的蠕蟲GPT 出現(xiàn)

如今，歐洲警察署針對ChatGPT 的犯罪預(yù)測不僅走向現(xiàn)實，更得到印證。生成式人工智能這一突破性技術(shù)的深遠影響在于其不僅是對擬人化文本的簡單分析與生成，還對社會動態(tài)和心理因素進行更為深入的挖掘與理解，形成犯罪、人性和技術(shù)的復(fù)雜融合。

2023 年7 月，一種名為“蠕蟲GPT”（WormGPT）的新型網(wǎng)絡(luò)犯罪工具在暗網(wǎng)掀起熱潮。蠕蟲GPT 基于開源GPT 語言模型構(gòu)建，與OpenAI 公司的ChatGPT、谷歌公司的巴德（Bard）等相比，沒有任何安全過濾措施、道德參數(shù)阻止模型響應(yīng)具有惡意意圖的請求，專為惡意網(wǎng)絡(luò)活動設(shè)計。蠕蟲GPT 針對來自合法網(wǎng)站、暗網(wǎng)論壇、黑客手冊、惡意軟件樣本、網(wǎng)絡(luò)釣魚模板等各種來源的數(shù)十億個單詞進行訓練，可基于數(shù)據(jù)爬取、社會工程等技術(shù)為惡意網(wǎng)絡(luò)活動生成具有連貫性、針對性的內(nèi)容，使用蠕蟲、特洛伊木馬、勒索軟件、間諜軟件或鍵盤記錄程序感染用戶設(shè)備，入侵多個網(wǎng)站并注入惡意軟件代碼等。目前，蠕蟲GPT 只能通過暗網(wǎng)訪問，使用比特幣、以太幣等加密貨幣進行支付訂閱。

四、ChatGPT 治理路徑

ChatGPT 安全治理的本質(zhì)在于全面應(yīng)對犯罪、倫理、社會和技術(shù)等方面挑戰(zhàn)——在理解犯罪動機和機制基礎(chǔ)之上，降低濫用或針對ChatGPT 進行犯罪的機會成本，在模型開發(fā)、應(yīng)用和運行“全生命周期”上加強前置化監(jiān)管與預(yù)防性治理，同時關(guān)注經(jīng)濟后果、提高犯罪風險成本，促進類ChatGPT 生成式人工智能安全、可信與負責任地發(fā)展。

歐洲警察署針對ChatGPT 安全治理提出以下建議：（1）鑒于惡意利用大型語言模型可能造成的潛在危害，要深化問題意識，盡快發(fā)現(xiàn)處理潛在安全漏洞；（2）大型語言模型具有可見的實際影響，執(zhí)法機關(guān)要了解所有可能受影響的犯罪領(lǐng)域，更好地預(yù)測、防范、偵查不同類型的犯罪濫用；（3）鑒于技術(shù)行業(yè)在這一領(lǐng)域進行大量投資，執(zhí)法機關(guān)應(yīng)與利益相關(guān)者加強溝通，確保安全機制成為關(guān)鍵考量因素并不斷改進優(yōu)化。

放眼全球，人工智能安全治理進程明顯提速，國際組織、主要國家和地區(qū)都在追趕以ChatGPT 為代表的生成式人工智能的演化速度。2023 年6 月，七國集團（G7）數(shù)據(jù)保護和隱私機構(gòu)發(fā)布《生成式人工智能聯(lián)合聲明》，呼吁人工智能開發(fā)商和提供商采取安全保障措施防范成員推理攻擊等網(wǎng)絡(luò)威脅和攻擊，厘清人工智能供應(yīng)鏈各參與者之間責任邊界，將個人數(shù)據(jù)收集限定在必要范圍內(nèi)。7 月，聯(lián)合國安理會召開首次人工智能專題會議，強調(diào)人工智能對全球和平與安全帶來的潛在風險，提出建立多利益相關(guān)方人工智能高級別咨詢委員會。11 月，全球首份人工智能國際性聲明《布萊切利宣言》在英國簽署，強調(diào)人工智能應(yīng)當以安全、以人為中心、值得信賴和負責任的方式設(shè)計、開發(fā)、部署和使用，將人工智能全生命周期安全納入考量，前沿人工智能技術(shù)開發(fā)者對系統(tǒng)安全負有重大責任。

值得關(guān)注的是，歐洲議會高票通過《關(guān)于制定〈人工智能法案〉和修訂某些歐盟立法的提案的修正案》，新增針對基礎(chǔ)模型提供者的合規(guī)義務(wù)要求，包括：（1）風險控制，通過適當?shù)脑O(shè)計、測試和分析，在開發(fā)之前和整個開發(fā)過程中，以適當?shù)姆椒?，識別并減少對安全造成的合理可預(yù)見的風險；（2）數(shù)據(jù)治理，只處理和納入經(jīng)過適當數(shù)據(jù)治理措施的數(shù)據(jù)集，特別是審查數(shù)據(jù)來源的適當性；（3）安全評估，在開發(fā)和設(shè)計過程中通過適當方法進行評估，保障基礎(chǔ)模型在整個生命周期內(nèi)達到適當?shù)目深A(yù)測性、可解釋性、可糾正性、安全性水平；（4）登記備案，在模型投放市場前，在歐盟數(shù)據(jù)庫中進行登記備案；（5）透明度要求，基于此類模型的生成式人工智能系統(tǒng)必須披露哪些內(nèi)容是人工智能生成的，以便幫助區(qū)分所謂的深度造假圖像和真實圖像，并確保防止生成非法內(nèi)容。

ChatGPT 安全治理將是一個不斷學習、完善的過程，隨著技術(shù)進步和應(yīng)用場景不斷擴展，治理需要持續(xù)跟進并適應(yīng)新挑戰(zhàn)、新威脅。但前行萬里，不忘初心、防范化解犯罪風險、保障數(shù)據(jù)與系統(tǒng)安全只是治理過程，其最終目的仍要回歸人的層面，提升人的安全素養(yǎng)，引導(dǎo)技術(shù)向善，促進產(chǎn)業(yè)良性發(fā)展。