歐盟2021年《人工智能法》研究

王偉潔 鄧攀科 呂志遠(yuǎn)

1(中國(guó)電子信息產(chǎn)業(yè)發(fā)展研究院 北京 100043) 2(華為技術(shù)有限公司 北京 100095)

當(dāng)前，全球數(shù)字經(jīng)濟(jì)正逐漸向以人工智能(AI)為核心驅(qū)動(dòng)力的智能經(jīng)濟(jì)新階段邁進(jìn).隨著AI技術(shù)在各行業(yè)領(lǐng)域的廣泛應(yīng)用，其在為經(jīng)濟(jì)、社會(huì)發(fā)展注入新動(dòng)能的同時(shí)，也帶來了系列監(jiān)管難題.2021年4月，歐盟發(fā)布《人工智能法》提案(以下簡(jiǎn)稱 “提案”)，提出AI統(tǒng)一監(jiān)管規(guī)則，旨在從國(guó)家法律層面限制AI技術(shù)發(fā)展帶來的潛在風(fēng)險(xiǎn)和不良影響，使在符合歐洲價(jià)值觀和基本權(quán)利的基礎(chǔ)上進(jìn)一步加強(qiáng)AI技術(shù)應(yīng)用創(chuàng)新，并借此使歐洲成為可信賴的全球AI中心.該提案是全球首部有關(guān)AI管制的法律建議，研究其內(nèi)容和創(chuàng)新點(diǎn)，對(duì)制定我國(guó)AI等數(shù)字技術(shù)治理方案具有重要的借鑒意義.

1 提案核心內(nèi)容

1) 寬泛定義了AI系統(tǒng)，并設(shè)置了AI規(guī)則的域外適用性.

一方面，提案對(duì)AI系統(tǒng)、AI系統(tǒng)供應(yīng)鏈涉及的相關(guān)環(huán)節(jié)以及不同類別的AI數(shù)據(jù)等相關(guān)要素進(jìn)行了定義(如表1所示)，其中對(duì)監(jiān)管對(duì)象(AI系統(tǒng))的定義表現(xiàn)出極強(qiáng)的寬泛性，幾乎涵蓋了全部使用傳統(tǒng)及新興AI技術(shù)的系統(tǒng)，與《通用數(shù)據(jù)保護(hù)條例》(GDPR)中對(duì)受監(jiān)管的個(gè)人數(shù)據(jù)的寬泛定義保持一致[1-4].另一方面，提案明確所有在歐盟市場(chǎng)投放、使用AI系統(tǒng)及其相關(guān)服務(wù)的國(guó)內(nèi)外供應(yīng)商、服務(wù)商，只要其AI系統(tǒng)影響到歐盟及歐盟公民，均將受到提案的約束，保證了AI規(guī)則的域外適用性.

表1 AI相關(guān)要素定義

2) 對(duì)不同應(yīng)用場(chǎng)景中的AI系統(tǒng)實(shí)施風(fēng)險(xiǎn)定級(jí)，并分別提出規(guī)制路徑.

提案基于不同應(yīng)用場(chǎng)景的風(fēng)險(xiǎn)差異性，將AI系統(tǒng)分為不可接受、高風(fēng)險(xiǎn)、有限風(fēng)險(xiǎn)、極小風(fēng)險(xiǎn)4個(gè)等級(jí)，并針對(duì)不同風(fēng)險(xiǎn)等級(jí)實(shí)施不同程度的規(guī)制(如表2所示)，從而構(gòu)建起以風(fēng)險(xiǎn)為基礎(chǔ)的四級(jí)治理體系.該體系將對(duì)基本人權(quán)和社會(huì)公平構(gòu)成明顯威脅的應(yīng)用場(chǎng)景中的AI系統(tǒng)視為“不可接受”，將可能危及公民人身安全及生活基本權(quán)利的應(yīng)用場(chǎng)景中的AI系統(tǒng)視為“高風(fēng)險(xiǎn)”，將具有特定透明義務(wù)的應(yīng)用場(chǎng)景中的AI系統(tǒng)視為“有限風(fēng)險(xiǎn)”，將提供簡(jiǎn)單工具性功能的應(yīng)用場(chǎng)景中的AI系統(tǒng)視為“極小風(fēng)險(xiǎn)”.

表2 不同應(yīng)用場(chǎng)景中的AI系統(tǒng)的風(fēng)險(xiǎn)定級(jí)

3) 為在特定領(lǐng)域提供“高風(fēng)險(xiǎn)”AI系統(tǒng)的企業(yè)提出了全生命周期式的多重合規(guī)要求，旨在增強(qiáng)AI產(chǎn)品及服務(wù)的透明度.

提案重點(diǎn)對(duì)“高風(fēng)險(xiǎn)”AI系統(tǒng)的開發(fā)、部署和應(yīng)用等全生命周期提出了系列規(guī)范，并要求AI系統(tǒng)供應(yīng)商履行以下透明義務(wù)：一是在AI系統(tǒng)開發(fā)過程中，建立風(fēng)險(xiǎn)管理系統(tǒng)、進(jìn)行數(shù)據(jù)質(zhì)量檢驗(yàn)、設(shè)計(jì)用戶告知和日志追溯功能、搭建網(wǎng)絡(luò)安全保障能力、編制用于監(jiān)管審計(jì)的技術(shù)信息文件等；二是在AI系統(tǒng)首次運(yùn)營(yíng)前或者升級(jí)迭代后，及時(shí)開展合規(guī)性評(píng)估，并在歐盟委員會(huì)建立和管理的大數(shù)據(jù)庫(kù)中進(jìn)行備案登記；三是在AI系統(tǒng)投入使用過程中，建立與AI系統(tǒng)風(fēng)險(xiǎn)級(jí)別相匹配的售后監(jiān)測(cè)系統(tǒng)與人為監(jiān)督機(jī)制，對(duì)AI系統(tǒng)應(yīng)用中的風(fēng)險(xiǎn)進(jìn)行監(jiān)控預(yù)警，并在發(fā)現(xiàn)可能的風(fēng)險(xiǎn)后召回系統(tǒng)進(jìn)行處理并通知相關(guān)監(jiān)管機(jī)構(gòu)；四是在AI系統(tǒng)發(fā)生故障或嚴(yán)重事故時(shí)，立即采取補(bǔ)救措施，并在半個(gè)月內(nèi)向監(jiān)管部門報(bào)告.

4) 設(shè)立專門AI監(jiān)督機(jī)構(gòu)，加大監(jiān)管執(zhí)法力度.

在AI監(jiān)管主體方面，提案提出將通過建立歐盟人工智能委員會(huì)，推動(dòng)AI新規(guī)則的實(shí)施和完善以及后續(xù)AI標(biāo)準(zhǔn)的制定出臺(tái)，并借此搭建各國(guó)監(jiān)管部門的聯(lián)絡(luò)渠道，協(xié)調(diào)整個(gè)歐盟層面的AI監(jiān)管政策，保持AI監(jiān)管體系的統(tǒng)一性.此外，要求各成員國(guó)建立通知機(jī)構(gòu)，指定和通知第三方合格評(píng)定機(jī)構(gòu)開展監(jiān)管評(píng)估，并定期將監(jiān)管調(diào)查信息發(fā)送至歐盟人工智能委員會(huì).在AI監(jiān)管執(zhí)法方面，提案提出將對(duì)在創(chuàng)建或應(yīng)用AI系統(tǒng)過程中的違法企業(yè)，處以約3 600萬美元或全球年度總營(yíng)業(yè)額的2%～6%的行政罰款，取兩者中的最高金額進(jìn)行處罰.相比GDPR中4%年?duì)I業(yè)額的罰款金額，提案的AI監(jiān)管處罰力度進(jìn)一步加大.此外，還將對(duì)未在規(guī)定時(shí)間內(nèi)實(shí)施整改措施的企業(yè)的AI系統(tǒng)進(jìn)行撤回，限制其市場(chǎng)銷售.

2 提案亮點(diǎn)分析

1) 與GDPR有效銜接，進(jìn)一步明確了AI系統(tǒng)的數(shù)據(jù)治理要求.

數(shù)據(jù)和算法是AI技術(shù)的核心要素，AI系統(tǒng)通過數(shù)據(jù)喂養(yǎng)進(jìn)行算法模型優(yōu)化，算法模型也應(yīng)用于對(duì)個(gè)人數(shù)據(jù)的深度挖掘從而實(shí)現(xiàn)基于學(xué)習(xí)的智能化服務(wù)[5-8].提案重點(diǎn)關(guān)注了AI系統(tǒng)的數(shù)據(jù)安全和算法歧視偏見等問題，并進(jìn)行了明確的規(guī)制，包括：AI系統(tǒng)需在收集用戶數(shù)據(jù)前履行告知義務(wù)，保證用戶的知情權(quán)和選擇權(quán)，確保數(shù)據(jù)采集的合法性；在訓(xùn)練、驗(yàn)證、測(cè)試“高風(fēng)險(xiǎn)”AI系統(tǒng)數(shù)據(jù)集時(shí)應(yīng)完成數(shù)據(jù)質(zhì)量檢驗(yàn)、算法偏見評(píng)估檢查等；在AI監(jiān)管沙箱中處理個(gè)人數(shù)據(jù)時(shí)，應(yīng)保證個(gè)人數(shù)據(jù)處于功能獨(dú)立、隔離且受保護(hù)的數(shù)據(jù)處理環(huán)境中，并實(shí)施授權(quán)訪問和數(shù)據(jù)刪除機(jī)制.GDPR中提及，在開發(fā)AI系統(tǒng)和大數(shù)據(jù)應(yīng)用程序時(shí)應(yīng)盡力平衡數(shù)據(jù)保護(hù)和其他社會(huì)經(jīng)濟(jì)利益，但對(duì)如何實(shí)現(xiàn)這一目標(biāo)并未進(jìn)一步明確[9].提案特設(shè)條款，對(duì)“高風(fēng)險(xiǎn)”AI系統(tǒng)和AI監(jiān)管沙箱等場(chǎng)景中的數(shù)據(jù)和算法治理提出了明確要求，與GDPR進(jìn)行了較好的銜接與匹配.

2) 搭建具備可拓展性的法律框架，彌補(bǔ)了技術(shù)監(jiān)管的滯后性缺陷.

面對(duì)飛速發(fā)展的AI等新興數(shù)字技術(shù)，法律的適用性持續(xù)時(shí)間往往較短，難以實(shí)現(xiàn)對(duì)迭代快速的AI技術(shù)的全面監(jiān)管，AI領(lǐng)域的法制體系滯后性凸顯.提案為此專門預(yù)留了及時(shí)調(diào)整更新法律規(guī)則的空間，通過設(shè)置“動(dòng)態(tài)清單”，巧妙化解了法律滯后性和技術(shù)飛速發(fā)展之間的矛盾.例如，針對(duì)AI系統(tǒng)定義，提案以附件清單形式詳細(xì)列舉了屬于AI范圍的技術(shù)和方法，并通過更新清單機(jī)制，保持與最前沿AI技術(shù)的同步性；針對(duì)“高風(fēng)險(xiǎn)”AI系統(tǒng)的界定，提案制定了“高風(fēng)險(xiǎn)”清單，并賦予歐盟人工智能委員會(huì)結(jié)合風(fēng)險(xiǎn)多邊性，判斷添加新“高風(fēng)險(xiǎn)”應(yīng)用場(chǎng)景的建議權(quán)利，確保法律的及時(shí)更新.

3) 實(shí)施AI系統(tǒng)的分類分級(jí)監(jiān)管，構(gòu)建系統(tǒng)性AI治理體系.

AI技術(shù)具有跨學(xué)科、前沿知識(shí)融合等復(fù)雜屬性[10]，不同AI系統(tǒng)在相同場(chǎng)景中可造成不同種類的風(fēng)險(xiǎn)，相同AI系統(tǒng)在不同場(chǎng)景中的應(yīng)用亦可造成不同種類或不同程度的風(fēng)險(xiǎn).提案采用分類分級(jí)思路，在梳理重點(diǎn)應(yīng)用場(chǎng)景類別的基礎(chǔ)上，對(duì)不同應(yīng)用場(chǎng)景按照AI系統(tǒng)風(fēng)險(xiǎn)可能的影響程度和危害性質(zhì)實(shí)施不同等級(jí)的分類治理，替代對(duì)不同場(chǎng)景的AI風(fēng)險(xiǎn)進(jìn)行分散專項(xiàng)治理的傳統(tǒng)路徑.通過構(gòu)建清晰且系統(tǒng)性的治理框架，實(shí)現(xiàn)對(duì)AI系統(tǒng)復(fù)雜性風(fēng)險(xiǎn)的“降維”治理.

4) 建立AI監(jiān)管沙箱機(jī)制，探索監(jiān)管AI風(fēng)險(xiǎn)的新模式.

技術(shù)風(fēng)險(xiǎn)的法律規(guī)制常見難點(diǎn)之一就是如何在實(shí)現(xiàn)有效監(jiān)管的同時(shí)兼顧技術(shù)創(chuàng)新發(fā)展，鼓勵(lì)企業(yè)負(fù)責(zé)任的創(chuàng)新行為[11-14].提案提出通過建立AI監(jiān)管沙箱，為AI系統(tǒng)的開發(fā)、部署、驗(yàn)證、測(cè)試提供一個(gè)可控的隔離環(huán)境，使歐洲企業(yè)在免責(zé)條件下進(jìn)行AI相關(guān)的試驗(yàn)和創(chuàng)新，且試驗(yàn)過程受到監(jiān)管部門的監(jiān)督.該機(jī)制通過在可控的范圍內(nèi)實(shí)行容錯(cuò)糾錯(cuò)機(jī)制，在杜絕AI未知風(fēng)險(xiǎn)向不可控外部環(huán)境擴(kuò)散的同時(shí)，為企業(yè)創(chuàng)造了相對(duì)寬松的創(chuàng)新發(fā)展環(huán)境.

3 對(duì)我國(guó)的4點(diǎn)啟示

1) 強(qiáng)化AI立法，制定具備銜接性與靈活性的法律監(jiān)管框架.

基于AI風(fēng)險(xiǎn)的復(fù)雜性、多變性[15-18]以及其與數(shù)據(jù)安全的緊密關(guān)聯(lián)性，在探索AI法律規(guī)制路徑時(shí)，可參考?xì)W盟提案亮點(diǎn)，增強(qiáng)法律內(nèi)容的銜接協(xié)調(diào)與靈活開放特性.一方面，確保AI法律與我國(guó)《網(wǎng)絡(luò)安全法》《民法典》《數(shù)據(jù)安全法》《個(gè)人信息保護(hù)法(草案)》的有效銜接，明確AI語境下的數(shù)據(jù)安全及個(gè)人隱私保護(hù)原則，規(guī)制AI數(shù)據(jù)安全風(fēng)險(xiǎn)；另一方面，針對(duì)AI技術(shù)、不同風(fēng)險(xiǎn)應(yīng)用場(chǎng)景等具有變化特征的概念進(jìn)行動(dòng)態(tài)定義，通過設(shè)置清單列表并建立類似數(shù)據(jù)庫(kù)功能的“增刪改查”調(diào)整機(jī)制，確保法律在技術(shù)發(fā)展和場(chǎng)景變更下的時(shí)效性和靈活性，防止AI法律內(nèi)容滯后帶來的監(jiān)管困境.

2) 探索分類分級(jí)監(jiān)管路徑，依據(jù)不同應(yīng)用場(chǎng)景精準(zhǔn)施策.

可采用提案中的分類分級(jí)治理思路，依托對(duì)不同場(chǎng)景類別的梳理以及場(chǎng)景風(fēng)險(xiǎn)對(duì)個(gè)人生命和生活權(quán)利、社會(huì)秩序的影響大小的分析判斷，將不同應(yīng)用場(chǎng)景進(jìn)行分級(jí)，對(duì)歸屬同一風(fēng)險(xiǎn)級(jí)別場(chǎng)景中的AI系統(tǒng)進(jìn)行統(tǒng)一管控，對(duì)不同風(fēng)險(xiǎn)級(jí)別場(chǎng)景中的AI系統(tǒng)采取具有不同約束程度的治理方式，從而建立起自下而上限制逐步加深的“風(fēng)險(xiǎn)金字塔”規(guī)制模型.嘗試以“風(fēng)險(xiǎn)金字塔”為抓手，構(gòu)建系統(tǒng)精準(zhǔn)的AI監(jiān)管治理體系，以擺脫長(zhǎng)久以來在面對(duì)復(fù)雜多樣的AI系統(tǒng)風(fēng)險(xiǎn)時(shí)監(jiān)管效能低下的困境.

3) 明確企業(yè)在AI產(chǎn)品開發(fā)、運(yùn)營(yíng)過程中的強(qiáng)制性義務(wù)，提高AI系統(tǒng)的透明度.

企業(yè)在AI產(chǎn)品開發(fā)過程中，應(yīng)建立完善的AI系統(tǒng)風(fēng)險(xiǎn)管控流程，包括開展數(shù)據(jù)質(zhì)量檢驗(yàn)避免數(shù)據(jù)投毒等事件的發(fā)生、建立日志追溯機(jī)制強(qiáng)化風(fēng)險(xiǎn)的歸因溯源、建設(shè)網(wǎng)絡(luò)安全保障能力防止數(shù)據(jù)泄露等；在AI產(chǎn)品投入市場(chǎng)使用前或系統(tǒng)改造后，定期通過第三方評(píng)估機(jī)構(gòu)開展評(píng)估認(rèn)證，向監(jiān)管部門備案AI算法的設(shè)計(jì)運(yùn)行機(jī)制、可能的偏見和漏洞，AI數(shù)據(jù)安全保護(hù)和風(fēng)險(xiǎn)管控措施等；在AI產(chǎn)品投入使用后，及時(shí)開展監(jiān)控預(yù)警，建立應(yīng)急響應(yīng)機(jī)制，及時(shí)處理可能的AI風(fēng)險(xiǎn)事故并同步監(jiān)管部門.

4) 多措并舉構(gòu)建體系化的AI監(jiān)管機(jī)制，制定包容審慎的技術(shù)監(jiān)管措施.

一是設(shè)立獨(dú)立的AI監(jiān)管機(jī)構(gòu)，負(fù)責(zé)跟蹤AI技術(shù)發(fā)展和應(yīng)用場(chǎng)景變化，及時(shí)提出AI新風(fēng)險(xiǎn)應(yīng)對(duì)、監(jiān)管范圍更新等相關(guān)建議；對(duì)不負(fù)責(zé)任的AI提供者實(shí)施約談處罰，進(jìn)行有效制約和威懾.二是加快制定AI相關(guān)技術(shù)和應(yīng)用安全標(biāo)準(zhǔn)，明確各領(lǐng)域AI系統(tǒng)的審計(jì)、日志、告知等透明性要求與衡量指標(biāo)；培育權(quán)威的第三方AI風(fēng)險(xiǎn)評(píng)估機(jī)構(gòu)，開展AI算法、透明度、數(shù)據(jù)安全風(fēng)險(xiǎn)等相關(guān)評(píng)估.三是建議由AI監(jiān)管機(jī)構(gòu)確定監(jiān)管沙箱的基本原則和條件[19-21]，要求具備創(chuàng)新性但風(fēng)險(xiǎn)未知的AI產(chǎn)品在進(jìn)入市場(chǎng)之前，預(yù)先在沙箱環(huán)境中進(jìn)行迭代驗(yàn)證，使用戶在受保護(hù)的環(huán)境中使用AI產(chǎn)品或服務(wù).

4 結(jié)束語

當(dāng)前，數(shù)字技術(shù)的國(guó)際競(jìng)爭(zhēng)不僅聚焦于高端人才和技術(shù)本身，國(guó)際規(guī)則制定的先發(fā)優(yōu)勢(shì)也是競(jìng)爭(zhēng)中不可忽視的核心要素.歐盟深刻認(rèn)識(shí)到此問題，在數(shù)據(jù)保護(hù)和AI技術(shù)監(jiān)管方面，始終走在立法實(shí)踐的最前沿，以實(shí)現(xiàn)對(duì)全球數(shù)字技術(shù)發(fā)展和治理的話語權(quán)的掌控.此前，歐盟利用《通用數(shù)據(jù)保護(hù)條例》對(duì)全球互聯(lián)網(wǎng)科技巨頭的數(shù)據(jù)違規(guī)行為頻出監(jiān)管重拳，為全球諸多國(guó)家和地區(qū)治理方案的制定帶來了深刻影響，成為各國(guó)個(gè)人數(shù)據(jù)保護(hù)的立法立規(guī)參照.現(xiàn)今，歐盟《人工智能法》的提出是歐盟在數(shù)字領(lǐng)域再上的一道“緊箍咒”，也是里程碑式的監(jiān)管規(guī)則.該提案內(nèi)容對(duì)我國(guó)開展AI監(jiān)管具有重要參考意義.