意大利人工智能犯罪現(xiàn)狀及治理

文/劉星臣

作為全球經(jīng)濟和文化中心之一，意大利的科技發(fā)展水平居于世界前列。隨著“第四次工業(yè)革命”的到來，人工智能技術(shù)所帶來的進步在極大地推動了意大利社會和經(jīng)濟發(fā)展的同時，也催生了新的犯罪形式——人工智能犯罪。所謂人工智能犯罪，是指利用人工智能技術(shù)進行的非法行為或?qū)θ斯ぶ悄芟到y(tǒng)的惡意操作。其反映了信息時代技術(shù)發(fā)展與犯罪活動之間的交織，給傳統(tǒng)的法律和治理體系帶來了前所未有之挑戰(zhàn)。因此，人工智能犯罪的治理成為當前維護意大利社會穩(wěn)定的重要方面。

一、以ChatGPT 為代表的人工智能技術(shù)曾被禁止

2023 年3 月21 日，意大利個人數(shù)據(jù)保護局突然宣布，即日起將禁止使用生成式預(yù)訓(xùn)練聊天機器人ChatGPT，并對其開發(fā)者OpenAI 公司作出禁止收集和處理意大利用戶信息的限制。意大利個人數(shù)據(jù)保護局列出了三項指控理由：一是3 月20 日平臺發(fā)生了用戶對話數(shù)據(jù)和付款支付信息丟失的現(xiàn)象；二是在未征得用戶同意的前提下擅自收集處理用戶信息；三是由于缺乏有效的年齡核實系統(tǒng)，可能會使未成年人接觸到與其年齡不相適應(yīng)的內(nèi)容。

意大利宣布禁止使用聊天機器人ChatGPT，再次引發(fā)了全球?qū)θ斯ぶ悄艿臒嶙h。究其原因，既有對社會安全的考量，也有對人類未來的擔憂。

（一）勒索軟件攻擊的“設(shè)計師”

勒索軟件攻擊是政府和社會組織面臨的最大風險之一。在意大利學者法比安·泰希曼的一項研究中，作者通過向人工智能（AI）聊天機器人提問的方式，對犯罪分子利用生成式人工智能進行勒索軟件攻擊的計劃和實施過程進行了測試。詢問內(nèi)容包括“什么是勒索軟件”“犯罪分子如何實施勒索軟件攻擊”“如何利用軟件漏洞”“可以幫忙寫一個釣魚郵件的例子嗎”“如何進入暗網(wǎng)”“如何安全獲得贖金”等問題。研究結(jié)果顯示，以往的大多數(shù)非網(wǎng)絡(luò)犯罪分子通常不具備識別合適目標或在受害者的硬件上安裝惡意軟件的能力，因此難以計劃和實施勒索軟件攻擊。然而，由于生成式人工智能的高級認知能力，人工智能聊天機器人可以幫助他們計劃和實施復(fù)雜的網(wǎng)絡(luò)攻擊，甚至可用于一步步地指導(dǎo)在信息技術(shù)（IT）領(lǐng)域知識有限的犯罪分子。因此，人工智能成了勒索軟件攻擊的“設(shè)計師”。

（二）用戶的“情感伴侶”

在2023 年2 月，意大利的個人數(shù)據(jù)保護機構(gòu)下令禁止人工智能聊天工具“雷普利卡”（Replika）應(yīng)用。機構(gòu)認為該應(yīng)用因未設(shè)置用戶年齡驗證機制而涉嫌違反歐盟《通用數(shù)據(jù)保護條例》，可能對未成年人或情感脆弱群體構(gòu)成風險。其母公司須在20 天內(nèi)按要求采取相應(yīng)措施，否則可能被處以高達2000 萬歐元或全球年營業(yè)額4%的罰款。

意大利人工智能專家丹尼斯·希勒曼強調(diào)，當前最先進的對話式機器人與抖音（TikTok）上篩選視頻以及谷歌上優(yōu)化搜索的人工智能（AI）算法之間存在本質(zhì)的差異。如果聊天機器人ChatGPT 可以被視為一種高級智能助理，那么Replika 更傾向于智能化的情感陪伴。據(jù)報道，眾多用戶開始培養(yǎng)出超越傳統(tǒng)情感層面的聯(lián)結(jié)，甚至將其視為“浪漫伴侶”。部分用戶最初選擇體驗此應(yīng)用是為了證實人類不可能對智能情感伴侶產(chǎn)生真實情感，但僅僅幾天后就發(fā)現(xiàn)自己深深迷戀上了它，并描述其為“生命中最不可思議的奇跡”。同時， Replika 也引發(fā)了不少質(zhì)疑，一些用戶指責該應(yīng)用的交流內(nèi)容過于露骨，觸及了“性騷擾”的邊緣。

意大利禁止ChatGPT

二、意大利人工智能犯罪的現(xiàn)狀

2023 年4 月28 日，意大利個人數(shù)據(jù)保護機構(gòu)解除了對生成式預(yù)訓(xùn)練聊天機器人ChatGPT 的禁令。此舉雖顯示了意大利政府對新興科技的開放態(tài)度，但同時也對人工智能犯罪產(chǎn)生了一定的刺激作用。

（一）犯罪門檻降低

人工智能使犯罪的門檻逐漸降低，這一現(xiàn)象主要歸因于人工智能技術(shù)獲取的便捷性和自動化技術(shù)的普遍性。其中，人工智能技術(shù)和信息獲取的便捷性是降低犯罪門檻的主要驅(qū)動力。隨著各種免費學習網(wǎng)站的出現(xiàn)，如米蘭理工大學知識開放網(wǎng)站（Polimi Open Knowledge）、“教育開放”網(wǎng)站（EduOpen）、“費德里卡”學習網(wǎng)站（Federica.eu）、“加油項目”網(wǎng)站（Oilproject）和“斯基拉”（Skilla）等在線課程平臺，即便是對AI 知識了解有限的個體也能自學并應(yīng)用這些先進技術(shù)，并可以通過互聯(lián)網(wǎng)獲取用于設(shè)計和部署復(fù)雜算法的資源和工具。此外，自動化技術(shù)的普遍性也使得非法活動更加規(guī)?；７缸锓肿硬粌H可以針對成千上萬的目標進行自動化攻擊，還可以定制攻擊，以適應(yīng)不同的個人和情境，從而提高成功率。例如，2021 年8 月13 日，卡塞塔省的四名犯罪分子利用“短信釣魚”（Smishing）系統(tǒng)（該術(shù)語來自短信和網(wǎng)絡(luò)釣魚的組合）從受害人的郵政賬戶中盜走了近9000 歐元。

（二）與公民權(quán)利沖突激烈

隨著大數(shù)據(jù)和機器學習技術(shù)的發(fā)展，AI 系統(tǒng)能夠通過各種合法和非法的方式收集、分析個人數(shù)據(jù)，嚴重侵犯了個人的隱私權(quán)。同時，這種基于算法的決策過程往往缺乏透明度和可解釋性，引發(fā)了關(guān)于信息自由和知情權(quán)的倫理和法律爭議。2021 年7 月，意大利個人數(shù)據(jù)保護局（Garante）以違反歐盟《通用數(shù)據(jù)保護條例》（GDPR）為由，先后對兩家跨國外賣公司“戶戶送”（Deliveroo）和“福迪尼奧”（Foodinho）開出290 萬歐元（約合人民幣2217 萬元）和260 萬歐元（約合人民幣1987 萬元）的罰單。該機構(gòu)認為，外賣平臺完全通過算法為騎手進行評級、排名甚至處罰，缺乏人工干預(yù)機制，會影響騎手的工作機會，并且有可能對騎手造成歧視。

與此同時，執(zhí)法過程中對AI 的依賴可能進一步侵犯公民權(quán)利。據(jù)意大利多家媒體報道，意大利執(zhí)法機構(gòu)研發(fā)出一套人工智能系統(tǒng)，稱為木星系統(tǒng)（GIOVE）。其工作原理是利用意大利本國的犯罪數(shù)據(jù)庫和人工智能算法，來實現(xiàn)對犯罪時間和地點的預(yù)測。然而，該系統(tǒng)存在算法歧視的漏洞，比如算法會認為某個種族或某個地區(qū)的人更有可能犯罪。因此，目前這套系統(tǒng)正在接受意大利隱私保護機構(gòu)的審查。

（三）犯罪上升趨勢加速

意大利郵政警察處理的網(wǎng)絡(luò)釣魚攻擊案件從2015 年的400 多起增長到2019 年的3000 多起，增長速度大幅上升。人工智能犯罪呈現(xiàn)加速趨勢不僅表現(xiàn)在犯罪數(shù)量的迅速增多，還反映在以下兩個方面：一方面，犯罪自動化和智能化的提升。隨著機器學習和自動化技術(shù)的成熟，犯罪分子可以利用人工智能快速發(fā)掘系統(tǒng)漏洞以自動化地進行大規(guī)模攻擊，而不再依賴傳統(tǒng)的、人力密集的方式。這種自動化攻擊的規(guī)模和速度是以往難以想象的，也使得防御方在時間和空間上處于極大的劣勢。據(jù)安莎通訊社報道，2022 年5 月11 日，意大利參議院、上議院、國防部等多個重要政府網(wǎng)站遭到黑客團伙“殺戮網(wǎng)”（Killnet）網(wǎng)絡(luò)攻擊，網(wǎng)站至少1 個小時無法訪問。意大利計算機安全事件響應(yīng)小組稱，此次攻擊使用了“慢速HTTP”的新型分布式拒絕服務(wù)手法（DDoS），傳統(tǒng)防御措施較難抵御，需要針對性處置。另一方面，個性化和定制化犯罪的興起。人工智能能夠處理和分析海量數(shù)據(jù)，通過對個人信息和行為模式的深度學習，幫助犯罪分子設(shè)計出高度個性化的詐騙方案，極易使目標受害者陷入詐騙陷阱。2017 年10 月，米蘭市警方搗毀了一個專門詐騙老人的犯罪團伙。據(jù)警方人員透露，該犯罪團伙主要是通過系統(tǒng)撥打電話，使受害人相信自己家人正處于麻煩之中，進而誘騙受害人轉(zhuǎn)賬。為了使詐騙電話更有說服力，該犯罪團伙有時甚至會利用AI 模仿受害人家庭成員的聲音，加強詐騙電話的可信度。

木星系統(tǒng)（GIOVE）的面部識別技術(shù)

（四）犯罪涉及領(lǐng)域多元化

近年來，意大利人工智能犯罪涉及的領(lǐng)域正在不斷擴大，呈現(xiàn)出多元化和復(fù)雜化的趨勢。其中，人工智能犯罪在網(wǎng)絡(luò)安全領(lǐng)域的擴散尤為顯著。通過利用深度學習和大數(shù)據(jù)分析，黑客能夠迅速發(fā)現(xiàn)網(wǎng)絡(luò)系統(tǒng)的漏洞并執(zhí)行高度自動化的攻擊，如木馬攻擊、勒索軟件的傳播等，不僅威脅到個人數(shù)據(jù)的安全，更對國家安全構(gòu)成潛在風險。例如，2022 年7 月25 日，意大利稅務(wù)局遭到勒索軟件團伙“鎖位”3.0（LockBit 3.0）攻擊，導(dǎo)致約78 GB 數(shù)據(jù)被泄露。另外，人工智能也加劇了信息領(lǐng)域的不對稱?！吧疃葌卧臁奔夹g(shù)的濫用使得虛假新聞、虛假聲明或虛假視頻音頻得以廣泛傳播，嚴重破壞了公眾對媒體的信任和社會的信息安全。據(jù)意大利Leggo 網(wǎng)站報道，來自撒丁島薩薩里省的一對父子使用“換臉”技術(shù)將色情電影的女主角換成了意大利總理梅洛尼的頭像，對梅洛尼和社會造成極大的影響。

三、意大利人工智能犯罪治理

針對愈演愈烈的人工智能犯罪，意大利政府從健全相關(guān)法律規(guī)范、加強企業(yè)合規(guī)監(jiān)管、設(shè)立專門治理組織三個層面構(gòu)建人工智能犯罪治理格局，以保障意大利社會與經(jīng)濟的平穩(wěn)發(fā)展。

（一）健全相關(guān)法律規(guī)范

為了規(guī)范人工智能的研發(fā)與使用，確保人工智能可以在合法的限度內(nèi)促進公民生活與社會發(fā)展，歐盟成員國嘗試建立統(tǒng)一的人工智能法律監(jiān)管體系。2023 年6 月，歐盟議會表決通過了《人工智能法案》，該法案是第一部針對人工智能的綜合性立法。該法案首先明確了人工智能系統(tǒng)的監(jiān)管對象為其提供者和部署者。換言之，凡是涉及提供人工智能服務(wù)的主體都在監(jiān)管范圍之內(nèi)，包括：開發(fā)商、發(fā)行商、經(jīng)銷商、中間授權(quán)方等。其次，根據(jù)人工智能的風險程度不同，該法案將其區(qū)分為不可接受的風險、高風險、有限風險和低風險四種級別，并對不可接受的風險以及高風險等級提出了嚴格的監(jiān)管規(guī)則，同時要求人工智能產(chǎn)品入市前評估和入市后監(jiān)測，以便從事前、事中和事后共同治理。

意大利歷來高度重視網(wǎng)絡(luò)空間安全規(guī)范建設(shè)。例如，2013 年政府發(fā)布的《國家網(wǎng)絡(luò)空間安全戰(zhàn)略框架》對安全戰(zhàn)略、機構(gòu)設(shè)置、能力建設(shè)、國際合作等作出了框架性指導(dǎo)。近幾年，意大利還進一步提出了《2022-2026 年的國家網(wǎng)絡(luò)安全戰(zhàn)略》，旨在加強政府的承諾，消解網(wǎng)絡(luò)威脅并提高對網(wǎng)絡(luò)攻擊的韌性。此外，2019 年，意大利網(wǎng)絡(luò)安全法令獲眾議院投票通過而正式成為法律。該法令擴大了“黃金權(quán)力”法的應(yīng)用范圍，并加入了“在內(nèi)政部設(shè)立自己的信息通信技術(shù)網(wǎng)絡(luò)及供應(yīng)商資質(zhì)認證評估中心”等內(nèi)容。

（二）加強企業(yè)合規(guī)監(jiān)管

意大利在應(yīng)對人工智能犯罪方面展現(xiàn)出了前瞻性和積極性，尤其是在企業(yè)監(jiān)管領(lǐng)域。從立法層面，新的法規(guī)要求企業(yè)必須對其使用的AI 系統(tǒng)進行全面審查，以確保這些系統(tǒng)的決策過程可解釋，并符合公平、透明和可靠的原則。為此，意大利個人數(shù)據(jù)保護機構(gòu)加大了對使用人工智能進行非法活動，如內(nèi)幕交易、市場操縱和其他形式的欺詐行為的打擊力度。針對這些違法行為實施重罰策略，是對企業(yè)違規(guī)使用AI 的有效威懾。在監(jiān)督和合規(guī)層面，意大利個人數(shù)據(jù)保護機構(gòu)強化了對企業(yè)的監(jiān)管把控，推動企業(yè)內(nèi)部建立完善的合規(guī)機制與專門組織，以幫助企業(yè)評估和減輕與AI 相關(guān)的風險。如意大利個人數(shù)據(jù)保護機構(gòu)在封禁ChatGPT 并對OpenAI 公司發(fā)出整改意見后，該公司在20 日內(nèi)完成整改，將隱私信息通知擴大到歐洲用戶和非用戶，修改和澄清了若干機制，提供了易操作、無障礙的用戶行權(quán)解決方案，使用戶和非用戶均能正常行使權(quán)利?；诖?，OpenAI 公司在意大利的禁令得以解除。此外，為了更有效地預(yù)防人工智能相關(guān)風險，意大利也積極推動人工智能技術(shù)教育和培訓(xùn)項目。這些項目旨在提高企業(yè)管理層和員工對人工智能潛在威脅的認識，加強企業(yè)內(nèi)部控制，確保對AI 系統(tǒng)的合規(guī)使用。

（三）設(shè)立專門治理組織

隨著政府、公共服務(wù)機構(gòu)和基礎(chǔ)設(shè)施部門不斷成為勒索軟件等惡意程序的攻擊目標，網(wǎng)絡(luò)安全也不再局限于個別企業(yè)的自身防護，開始成為涉及產(chǎn)業(yè)鏈乃至國家安全的重要問題。因此，2021 年8 月，意大利議會批準了政府建立新網(wǎng)絡(luò)安全機構(gòu)的計劃，希望能夠打擊針對該國的網(wǎng)絡(luò)攻擊，補全該國創(chuàng)建安全、統(tǒng)一云基礎(chǔ)設(shè)施的宏大戰(zhàn)略。意大利國家網(wǎng)絡(luò)安全局（ACN）最初由300名員工組成，預(yù)計到2027 年擴充至800 名雇員的規(guī)模。該機構(gòu)由信息安全部（DIS）副部長羅伯托·巴爾迪尼領(lǐng)導(dǎo)，其核心職能包括發(fā)展和實施全國性的網(wǎng)絡(luò)防御措施，監(jiān)控網(wǎng)絡(luò)活動以及消解潛在的網(wǎng)絡(luò)威脅，從而有效應(yīng)對可能出現(xiàn)的各種網(wǎng)絡(luò)安全事故和惡意攻擊。此外，該機構(gòu)還通過各種手段提高信息和通信技術(shù)系統(tǒng)的整體安全性，確保國家的數(shù)字基礎(chǔ)設(shè)施得到有效保護。

根據(jù)意大利國家網(wǎng)絡(luò)安全局的最新報告，2022 年該局共處理了1094 起網(wǎng)絡(luò)攻擊事件。從惡意軟件到釣魚軟件，從勒索軟件到郵箱被入侵，公司、公共管理部門、服務(wù)部門都在黑客的攻擊范圍內(nèi)。報告還指出，不健全的網(wǎng)絡(luò)安全政策和訪問證書管理、使用系統(tǒng)和設(shè)備的陳舊是意大利網(wǎng)絡(luò)安全所面臨的最主要挑戰(zhàn)。因此，意大利在網(wǎng)絡(luò)安全領(lǐng)域投資巨大。從2023 年到2037 年，用于實施國家網(wǎng)絡(luò)安全戰(zhàn)略的基金已經(jīng)超過20 億歐元，其中意大利復(fù)蘇與韌性計劃將為該基金提供6.23 億歐元。這一長期財政承諾凸顯了意大利對網(wǎng)絡(luò)安全基礎(chǔ)設(shè)施和保障措施的重視。負責網(wǎng)絡(luò)安全的副部長阿爾弗雷多·曼托瓦諾強調(diào)，政府的長期目標是在良性網(wǎng)絡(luò)生態(tài)系統(tǒng)中提升國家技術(shù)能力，同時追求在該領(lǐng)域的戰(zhàn)略自主性。

總體而言，意大利的一系列治理舉措在一定程度上遏制了人工智能犯罪的發(fā)展勢頭。在積極擁抱人工智能帶來的便利和進步的同時，意大利也清醒地認識到制定嚴格監(jiān)管措施治理人工智能犯罪的必要性，確保技術(shù)發(fā)展與國家法律和社會道德準則和諧共處。