算法決策風(fēng)險防范的法制路徑研究

陳 飏，裴亞楠

(重慶郵電大學(xué) 網(wǎng)絡(luò)空間安全與信息法學(xué)院，重慶 400065)

一、問題的提出

大數(shù)據(jù)時代，以海量數(shù)據(jù)收集和機(jī)器自主學(xué)習(xí)為基礎(chǔ)的算法決策技術(shù)日臻發(fā)展，正逐漸取代傳統(tǒng)意義上的人為決策，廣泛且深入地改變著我們的生活方式與社會發(fā)展。如在應(yīng)聘與招聘、購物與旅游、租房與賣房等社會生活方式中，算法決策已成為諸等商業(yè)網(wǎng)站為達(dá)成利益目標(biāo)而首選的智能技術(shù)。此外，算法決策也更多地運(yùn)用于司法、行政等公權(quán)力領(lǐng)域，如刑事審判中，美國以算法決策技術(shù)構(gòu)建再犯風(fēng)險評估內(nèi)容(COMPAS)，并以此作為重要量刑依據(jù)[1]74，其部分州還采用公共安全評估(PSA)和服務(wù)級別目錄修訂版(LSI-R)等罪犯風(fēng)險性評估軟件[2]。在國內(nèi)，上海高院于2017年采用“上海刑事案件智能輔助辦案系統(tǒng)”(又名“206”系統(tǒng))，即以算法決策進(jìn)行刑事案件智能審判[3]。在民事審判中，北京法院應(yīng)用以算法決策為核心技術(shù)的“睿法官”人工智能，對婚姻等家事類案件進(jìn)行要件事實的提取與固定，快速協(xié)助法官理清事實與爭點(diǎn)；江蘇無錫中院推出的“智慧執(zhí)行系統(tǒng)”更是有效緩解了“執(zhí)行難”的問題[4]。在行政領(lǐng)域，算法決策早已成為行政審批或行政執(zhí)法、社會治安、市政建設(shè)等行政決策之重要輔助工具，2020年突發(fā)疫情下的健康碼即是“算法行政”的典型應(yīng)用。

信息化、大數(shù)據(jù)時代，算法決策之地位舉足輕重。然而，時代發(fā)展變化中的每一種事物好像都包含有自己的反面折射[5]，算法決策也是如此。因其自身的技術(shù)性、不透明性與不確定性，算法決策的應(yīng)用風(fēng)險頻頻發(fā)生，隱私泄露與算法歧視現(xiàn)象屢見不鮮，更因使用者對算法決策技術(shù)的過度依賴而模糊人的主體地位與算法技術(shù)的工具屬性之界定，甚至因無條件信任算法決策結(jié)果而喪失獨(dú)有的判斷力，以致最終損益人的自主性地位。為緩和乃至消解算法決策應(yīng)用風(fēng)險，推動人與技術(shù)的和諧發(fā)展，世界各國和地區(qū)都在積極制定對策，本文擇取比較法的視角，通過域外的制度考察與經(jīng)驗借鏡，以期建構(gòu)適應(yīng)中國國情的算法決策風(fēng)險防范路徑，助益并推動算法決策技術(shù)的合法應(yīng)用與合理發(fā)展。

二、算法決策及其風(fēng)險表現(xiàn)形式

算法是由一系列步驟分明的清晰指令組成的計算機(jī)程序[6]128。人工智能時代，算法超越了以計算機(jī)程序為主的形式，在海量數(shù)據(jù)收集和機(jī)器自主學(xué)習(xí)的基礎(chǔ)上，配置以更強(qiáng)大的數(shù)據(jù)處理能力。算法具備越來越強(qiáng)的決策功能，深刻影響著人們的信息接收方式、容量、內(nèi)容及其最終的選擇或決定等，但風(fēng)險也應(yīng)運(yùn)而生。

(一)隱私泄露風(fēng)險

美國學(xué)者洛麗·安德魯斯曾發(fā)出大數(shù)據(jù)時代下個人“隱私死亡”之警告，因記錄個人生活數(shù)據(jù)的收集點(diǎn)越多，他人可輕易獲得的隱私信息就越多[7]。隨著機(jī)器自主學(xué)習(xí)和算法決策的進(jìn)一步發(fā)展，隱私泄露不僅發(fā)生在數(shù)據(jù)的收集階段，而且還會發(fā)生在算法的預(yù)測階段。并且，為最大限度開發(fā)智能技術(shù)治理能力，算法決策使用者都竭力深度挖掘個人數(shù)據(jù)。這就意味著，在數(shù)據(jù)的收集階段從未向網(wǎng)絡(luò)平臺披露的個人信息，極有可能被深度學(xué)習(xí)算法推斷出來。Facebook案例就是例證：根據(jù)該網(wǎng)站58 000名志愿者用戶提供的諸如種族、智力、宗教及政治觀點(diǎn)、性格特征、幸福指數(shù)、父母離異、年齡性別等信息進(jìn)行數(shù)學(xué)建模，自動化算法在未獲取志愿者其他信息或個性特征的情況下，居然精準(zhǔn)預(yù)測出該用戶是否為同性戀者的結(jié)論[8]。

同樣，在食品安全、環(huán)境污染或交通治安等公共領(lǐng)域，越來越普遍的公共視頻監(jiān)控也正強(qiáng)烈沖擊著公民的隱私權(quán)保護(hù)。如在美國紐約全城，早已被一個由9 000個“智能”攝像機(jī)組成的綜合網(wǎng)絡(luò)智能監(jiān)控覆蓋，該智能監(jiān)控不僅判定著主體行為的合法或違法，甚至有望替代人為判斷，全面執(zhí)行法律規(guī)定，直接作出最終決定[9]。傳統(tǒng)理論認(rèn)為，隱私應(yīng)止于屋門之前，即當(dāng)人們步入公共空間，便不再享有合理的隱私權(quán)期待[10]86。然而，司法行政機(jī)關(guān)在應(yīng)用智能監(jiān)控算法決策系統(tǒng)時，囿于算法自身存有的安全漏洞、數(shù)據(jù)采集或違法使用以及數(shù)據(jù)存儲的不安全等原因，使數(shù)據(jù)主體的隱私正遭遇赤裸裸的侵犯與泄露的風(fēng)險。公共視頻監(jiān)控的過度收集和數(shù)據(jù)共享，不僅令數(shù)據(jù)主體時刻面臨被監(jiān)控的風(fēng)險，而且更是時刻面臨數(shù)據(jù)泄露、隱私泄露、敏感信息被識別、數(shù)據(jù)泄露風(fēng)險提高等倫理危機(jī)[11]。

置身于信息時代的我們，智能手機(jī)等電子設(shè)備不可或缺，一旦數(shù)字設(shè)備連接網(wǎng)絡(luò)，互聯(lián)網(wǎng)服務(wù)供應(yīng)商、移動運(yùn)營商、電子郵件賬號供應(yīng)商等自然負(fù)有保護(hù)用戶在線對話、發(fā)布圖片等使用痕跡的隱私信息的責(zé)任。但是，一旦警方或其他政府機(jī)構(gòu)要求調(diào)取信息時，根據(jù)電子前沿基金會的報告，大多數(shù)服務(wù)供應(yīng)商(如雅虎、微軟、臉書和谷歌)均在未通知用戶的前提下全盤提交[12]。顯然，很多服務(wù)供應(yīng)商即使盡全力保護(hù)用戶的隱私，但面對公權(quán)力的要求，也不得不向其披露借助算法決策得到的用戶信息。

(二)算法歧視風(fēng)險

算法決策能被普遍接受的重要原因，即是借力機(jī)器決策能在一定程度上克服人為的主觀障礙。但因使用者本身的目的性、算法決策過程的不透明、算法自主學(xué)習(xí)的偏見性以及決策者與被決策者之間信息嚴(yán)重不對稱等因素，隱蔽了算法決策的復(fù)雜性與歧視性風(fēng)險。

算法收集的每一份數(shù)據(jù)都具有重大的經(jīng)濟(jì)價值。所以，算法決策使用者為實現(xiàn)利益最大化，往往借由機(jī)器優(yōu)勢大肆分析海量數(shù)據(jù)以獲得更深層級的數(shù)據(jù)，從而達(dá)到商業(yè)監(jiān)視等經(jīng)濟(jì)目的。如以“大數(shù)據(jù)殺熟”為原理的價格歧視就使數(shù)據(jù)主體遭受不公平待遇——會員票價反而比非會員票價高，高檔手機(jī)付費(fèi)更多，商品搜索頻次越多越貴等，均是該類歧視的典型表現(xiàn)[13]113。另外，算法使用者還藉由“用戶畫像”，即通過數(shù)據(jù)分析描述用戶的行為信息和性格特點(diǎn)，對不同群體進(jìn)行分類與身份建構(gòu)，從而進(jìn)行特定推送，助力交易目的達(dá)成[14]。理論上而言，算法決策是一種“偏見進(jìn)，則偏見出”的運(yùn)作模式[13]112。因此，算法決策的前提，即數(shù)據(jù)的選擇和收集對決策結(jié)果的非歧視性具有決定性影響。對此，盡管已引發(fā)技術(shù)層的重視，并選擇相應(yīng)的替代變量取代敏感性信息，如郵政編碼、信用評分等，但這些替代變量是否符合算法決策目的特定原則，又是否會帶來其他“副作用”，仍存質(zhì)疑(1)算法決策目的特定原則，是指要求所收集的數(shù)據(jù)屬于支持該決策的相關(guān)因素，且應(yīng)該在數(shù)據(jù)收集之前明確。。因為算法參數(shù)可能是某些偏見數(shù)據(jù)通過計算后的間接結(jié)果，只是表面看來屬良性屬性[6]135-136。

可以說，算法決策總是蘊(yùn)含著價值判斷，總是與特定的價值立場相關(guān)，甚至于背后隱藏著利益集團(tuán)的操控[15]。美國小城雷丁利用大數(shù)據(jù)分析初創(chuàng)公司PredPol生產(chǎn)的犯罪預(yù)測軟件，協(xié)助警方進(jìn)行巡邏與犯罪預(yù)防。該軟件將地理位置作為基礎(chǔ)數(shù)據(jù)，且重點(diǎn)關(guān)注每一次犯罪的類型、時間與地點(diǎn)，表面看似客觀、合理，但是其最終仍依賴于警方對犯罪類型的選擇。如果該地警方選擇的犯罪類型包含流浪、酗酒以及侵犯型乞討等在美國貧困地區(qū)十分常見的犯罪，那么,該軟件在囊括這類輕微犯罪數(shù)據(jù)的基礎(chǔ)上，會得出“貧困地區(qū)更有可能發(fā)生犯罪”的輕率結(jié)論。如此，更多警力將被派駐于貧困地區(qū)[16]，進(jìn)而記錄到更多犯罪數(shù)據(jù)。此種數(shù)據(jù)選擇失誤引起的算法歧視，將會產(chǎn)生持續(xù)性的惡性循環(huán)，嚴(yán)重影響社會治安管理秩序。

(三)人類自主性受損風(fēng)險

算法決策在人類社會扮演著日益重要的角色，甚至逐漸超越工具屬性而成為信息配置的基本規(guī)則，開始獨(dú)立擁有巨大的資源配置權(quán)，削弱、取代人的主體地位[17]。算法決策精確、高效、便捷等自身優(yōu)勢，利導(dǎo)著人類大量應(yīng)用而對其產(chǎn)生過度依賴，極度降低了人類的自主性特質(zhì)。

此類風(fēng)險于司法、行政等公權(quán)力領(lǐng)域的表現(xiàn)尤甚明顯。于前者，在仰賴法官自由心證、自由裁量的民事審判實踐中，算法決策難以涵蓋法官長期積累的審判經(jīng)驗，更無法替代法官的自由裁量權(quán)。因此，依賴算法決策技術(shù)的審判活動，必然會造成削弱法官主體中心的潛在風(fēng)險。馬爾庫塞說，因科學(xué)技術(shù)具有明顯的工具性和奴役性，甚至具有統(tǒng)治人和奴役人的社會功能，從形式上看，技術(shù)運(yùn)用可能在短期內(nèi)似乎強(qiáng)化了法官能力，但從長遠(yuǎn)而論，則會形成一種對法官的隱形操縱，從而使得司法決策由“以法官為中心”逐漸轉(zhuǎn)向“以數(shù)據(jù)為中心”[18]106。前述之再犯風(fēng)險評估和量刑評估等軟件，就是該類風(fēng)險在司法領(lǐng)域的競相表現(xiàn)。

同樣，在行政管理活動中，如果任由算法決策在行政領(lǐng)域的肆意、泛化應(yīng)用，勢必削弱甚至吞噬行政裁量的能動性。以行政處罰為例，在傳統(tǒng)行政模式下，行政機(jī)關(guān)可在法定的處罰種類和處罰幅度內(nèi)進(jìn)行合理的選擇，但在自動化行政中，借助算法決策輔助行政處罰，根本無從及時、有效地發(fā)揮行政主體享有的行政裁量權(quán)的功能與作用。自然，若行政機(jī)關(guān)主體長期完全依賴算法決策結(jié)果，勢必侵蝕行政主體的自主判斷能力，甚至無法及時檢測出錯誤的決策結(jié)果。

三、域外算法決策風(fēng)險防范的經(jīng)驗借鏡

算法決策技術(shù)帶來隱私泄露、算法歧視以及人類自主性受損等風(fēng)險。為此，美國、歐盟、德國等國家或地區(qū)都提出了針對性舉措，為中國構(gòu)建算法決策風(fēng)險防范路徑提供了有益資鑒。

(一)美國：健全的算法決策法律規(guī)制體系

擇以自動化行政中算法決策應(yīng)用的治理政策論，美國業(yè)已形成政府與非政府組織之間雙向協(xié)同規(guī)制模式，即政府主導(dǎo)，建構(gòu)自上而下、建制完備的算法決策之相關(guān)制度與規(guī)范規(guī)則。同時，其非政府組織也積極作為，且以更新、更快、更強(qiáng)的針對性舉措，積極規(guī)避、防范行業(yè)內(nèi)部的算法決策風(fēng)險。

在算法決策法律制定與設(shè)計層面，美國聯(lián)邦政府正愈加積極表現(xiàn)，各種舉措不僅規(guī)制聯(lián)邦行政機(jī)關(guān)的行為，同時規(guī)制私人企業(yè)等非政府組織的行為。早在1970年和1974年，美國聯(lián)邦貿(mào)易委員會(FTC)就分別頒布《公平信用報告法》(FCRA)和《平等信用機(jī)會法》(ECOA)，其內(nèi)容就已涉及信用評分領(lǐng)域的自動化決策[19]。顯然，美國對算法自動化決策早有足夠的關(guān)注與重視，并且在信用評分這一特定領(lǐng)域?qū)嵤┝酸槍π砸?guī)制。其后，2000年生效的《兒童在線隱私保護(hù)法》專門對13歲以下兒童的個人隱私設(shè)定特別的保護(hù)要求；2016年，聯(lián)邦政府更是相繼發(fā)布《人工智能報告》《人工智能戰(zhàn)略計劃》以及《人工智能應(yīng)用監(jiān)管指南》[20]14-18。上述一系列聯(lián)邦相關(guān)立法、戰(zhàn)略性計劃均是人工智能領(lǐng)域的專門性法律文件，立足重點(diǎn)性、針對性監(jiān)管的要求，促進(jìn)以算法決策為核心的智能技術(shù)的開發(fā)與運(yùn)用，也盡可能保證智能技術(shù)系統(tǒng)的安全。

同時，美國聯(lián)邦貿(mào)易委員會(FTC)也一直密切關(guān)注并監(jiān)管侵犯隱私規(guī)則問題。為此，F(xiàn)TC多次專門舉辦聽證會，探討算法、人工智能和預(yù)測分析的競爭以及消費(fèi)者保護(hù)等重大問題，其重點(diǎn)關(guān)注算法、人工智能和預(yù)測分析的背景、技術(shù)應(yīng)用、應(yīng)用原則以及消費(fèi)者保護(hù)[21]。另外，美國各州和地方政府亦以立法形式直接規(guī)范各種場景下的算法決策應(yīng)用——現(xiàn)已有40個州通過法律或行政命令實施對自動駕駛汽車的規(guī)制。2017年，紐約市議會成為首家通過算法透明法案的地方立法機(jī)構(gòu)；佐治亞州和佛羅里達(dá)州及時更新社會服務(wù)相關(guān)立法，明確算法決策系統(tǒng)所涉及的政府資源等社會服務(wù)的優(yōu)先次序和分配問題[20]22。可見，美國聯(lián)邦政府對于算法決策等人工智能新型技術(shù)的規(guī)制正趨向全領(lǐng)域的應(yīng)用與監(jiān)管。

必須指出的是，美國非政府組織對算法決策風(fēng)險治理也發(fā)揮著重要作用。諸如人工智能伙伴關(guān)系、消費(fèi)者報告組織、民主與技術(shù)中心等社會性組織，在技術(shù)政策、公民權(quán)利、自律性規(guī)制等領(lǐng)域協(xié)助政府開展工作，已經(jīng)成為指導(dǎo)未來算法政策和原則的重要力量。此外，為加強(qiáng)算法歧視的自律性規(guī)制，美國計算機(jī)協(xié)會還專門發(fā)布了關(guān)于算法透明度及可審查性的七項基本原則，即算法透明原則、算法救濟(jì)原則、算法負(fù)責(zé)原則、算法解釋原則、算法數(shù)據(jù)可靠性原則、算法可審查原則和算法驗證原則[22]117。實踐中，旨在為算法決策系統(tǒng)的合理運(yùn)行提供規(guī)范性標(biāo)準(zhǔn)之七項基本原則的協(xié)同配合，設(shè)計階段就須加強(qiáng)、完成算法決策系統(tǒng)的合理性與公平性檢測。

質(zhì)言之，在政府與非政府雙向協(xié)同規(guī)制模式下，美國已逐步形成健全的算法決策法律規(guī)制體系，奠定其算法決策的規(guī)范支持，指導(dǎo)或指示算法決策于各種場景中的高效應(yīng)用。這樣，不但緩釋使用者與決策對象之間的權(quán)益摩擦，而且也積極促進(jìn)、保障以算法決策為核心的人工智能新型技術(shù)的科學(xué)發(fā)展。

(二)歐盟：數(shù)據(jù)主體的反自動化決策權(quán)

2018年5月，歐盟正式實施《通用數(shù)據(jù)保護(hù)條例》(GDPR)，在其成員國內(nèi)部全面生效。作為數(shù)據(jù)保護(hù)的典范性法律規(guī)范，GDPR關(guān)于算法決策應(yīng)用風(fēng)險的防范與規(guī)避在世界范圍內(nèi)都具有顯著的示范性作用。

GDPR第22條確立數(shù)據(jù)主體享有不受自動化決策影響的重要權(quán)利，亦即學(xué)者謂之“反自動化決策權(quán)”。GDPR針對算法決策風(fēng)險防范中最為突出的措施就是賦予數(shù)據(jù)主體這一新權(quán)利——“反自動化決策權(quán)”，以此反向強(qiáng)化數(shù)據(jù)控制者責(zé)任[22]506。

其實，歐盟早在1995年的《數(shù)據(jù)保護(hù)指令》(DPID)中就已作出“數(shù)據(jù)主體有權(quán)反對自動化決策的影響”的規(guī)定。其第15條第1款規(guī)定，成員國應(yīng)賦予每個人一種權(quán)利，一種不受完全基于數(shù)據(jù)自動化處理而對自身產(chǎn)生顯著法律影響的權(quán)利。這也是第一個立足數(shù)據(jù)保護(hù)背景的規(guī)范完全基于機(jī)器決策結(jié)果的歐盟立法[23]?，F(xiàn)行GDPR第22條即是DPID第15條的延續(xù)和發(fā)展，其具體內(nèi)容如下(2)參見歐盟《通用數(shù)據(jù)保護(hù)條例》(GDPR)。。

第一，數(shù)據(jù)主體有權(quán)反對此類決策：完全依靠自動化處理(包括用戶畫像)對數(shù)據(jù)主體做出的具有法律影響或類似嚴(yán)重影響的決策。

第二，當(dāng)決策存在如下情形時，第1款不適用：(a)當(dāng)決策對于數(shù)據(jù)主體與數(shù)據(jù)控制者的合同簽訂或合同履行是必要的；(b)當(dāng)決策是歐盟或成員國的法律所授權(quán)的，控制者是決策的主體，并且已經(jīng)制定了恰當(dāng)?shù)拇胧┍ＷC數(shù)據(jù)主體的權(quán)利、自由與正當(dāng)利益；(c)當(dāng)決策建立在數(shù)據(jù)主體明確同意的基礎(chǔ)之上。

第三，在第2款所規(guī)定的(a)和(c)中，數(shù)據(jù)控制者應(yīng)當(dāng)采取適當(dāng)措施保障數(shù)據(jù)主體的權(quán)利、自由、正當(dāng)利益，以及數(shù)據(jù)主體可以對控制者進(jìn)行人工干涉，以便表達(dá)其觀點(diǎn)和對決策進(jìn)行異議的基本權(quán)利。

第四，第2款所規(guī)定的決策的基礎(chǔ)不適用于第9條第1款所規(guī)定的特定類型的個人數(shù)據(jù)，除非符合第9條第2款(a)或(g)的規(guī)定，并且已經(jīng)采取了保護(hù)數(shù)據(jù)主體權(quán)利、自由與正當(dāng)利益的措施(3)《通用數(shù)據(jù)保護(hù)條例》(GDPR)第9條(對特殊類型個人數(shù)據(jù)的處理)第1款規(guī)定：對于那些顯示種族或民族背景、政治觀念、宗教或哲學(xué)信仰或工會成員的個人數(shù)據(jù)、基因數(shù)據(jù)、為了特定識別自然人的生物性識別數(shù)據(jù)以及和自然人健康、個人性生活或性取向相關(guān)的數(shù)據(jù)，應(yīng)當(dāng)禁止處理；第2款(a)規(guī)定：數(shù)據(jù)主體明確同意基于一個或多個特定目的而授權(quán)處理其個人數(shù)據(jù)，但依照歐盟或成員國的法律規(guī)定，數(shù)據(jù)主體無權(quán)解除第1段中所規(guī)定的禁令的除外；第2款(g)規(guī)定：處理對實現(xiàn)實質(zhì)性的公共利益必要的、建立在歐盟或成員國的法律基準(zhǔn)之上、對實現(xiàn)目標(biāo)是相稱的、尊重數(shù)據(jù)保護(hù)權(quán)的核心要素，并且為數(shù)據(jù)主體的基本權(quán)利和利益提供合適和特定的保護(hù)措施。。

GDPR第22條第1款直接確立數(shù)據(jù)當(dāng)事人有權(quán)不受僅基于自動化處理的、包括對其產(chǎn)生法律影響或?qū)ζ洚a(chǎn)生類似重大影響的決定的權(quán)利；第2款是第1款的豁免條款，列明不適用的具體情形，反向界定數(shù)據(jù)主體不受自動化決策影響的明確范圍；第3款又是第2款豁免條款的條件限制，指出當(dāng)數(shù)據(jù)控制者以合同簽訂或履行為必要、或以數(shù)據(jù)主體明確知情同意為理由而認(rèn)為數(shù)據(jù)主體不享有反對自動化決策影響的權(quán)利時，應(yīng)采取適當(dāng)措施保障數(shù)據(jù)主體的權(quán)利、自由和正當(dāng)利益，并允許數(shù)據(jù)主體對數(shù)據(jù)控制者進(jìn)行人工干涉，表明其異議立場或自生觀點(diǎn)的基本權(quán)利；第4款重在強(qiáng)調(diào)對個人敏感性數(shù)據(jù)的高度關(guān)注。

相較于DPID第15條，GDPR第22條完善并著重強(qiáng)調(diào)數(shù)據(jù)主體的基本權(quán)益，為數(shù)據(jù)主體夯實更全面、更有力的法律保護(hù)基礎(chǔ)。其序言第71條明確強(qiáng)調(diào)，數(shù)據(jù)主體有權(quán)反對基于自動化處理并對其產(chǎn)生法律影響或者其他顯著影響的決策結(jié)果，且數(shù)據(jù)主體有權(quán)要求進(jìn)行人工干預(yù)(4)這里的自動化處理并對其產(chǎn)生顯著影響的決策結(jié)果是指：任何形式的自動化處理個人數(shù)據(jù)，以此評估數(shù)據(jù)主體的身體素質(zhì)、工作情況、經(jīng)濟(jì)狀況、個人喜好、地理位置等相關(guān)方面，評估結(jié)果對數(shù)據(jù)主體產(chǎn)生重大影響。。同時，為進(jìn)一步強(qiáng)化算法決策控制者的責(zé)任、保障數(shù)據(jù)主體的權(quán)利，GDPR明確將透明度與問責(zé)原則列為數(shù)據(jù)處理的核心原則，并通過設(shè)立歐盟層面的數(shù)據(jù)保護(hù)委員會和成員國層面獨(dú)立的數(shù)據(jù)保護(hù)監(jiān)管機(jī)構(gòu)，形成相當(dāng)完備的行政監(jiān)管體系[24]。

為應(yīng)對算法決策帶來的隱私泄露、算法歧視等風(fēng)險，歐盟已然開創(chuàng)“反自動化決策權(quán)”(國內(nèi)有學(xué)者譯成“算法解釋權(quán)”)之先河，意旨尊重數(shù)據(jù)主體的個人基本權(quán)益和人格尊嚴(yán)，降低甚至杜絕算法決策應(yīng)用風(fēng)險給數(shù)據(jù)主體帶來的權(quán)益損害與不利后果。

(三)德國：苛嚴(yán)的算法決策應(yīng)用規(guī)制

面對高精尖性的算法決策技術(shù)，德國提出了更高、更嚴(yán)的要求。其在遵守GDPR的基礎(chǔ)上，積極制定符合本國發(fā)展形態(tài)的專屬制度規(guī)范，以防范、規(guī)避算法決策的應(yīng)用風(fēng)險。其中，算法決策于行政領(lǐng)域應(yīng)用的專門規(guī)制是最重墨之筆。

2017年6月，德國聯(lián)邦議院通過《歐盟數(shù)據(jù)保護(hù)適應(yīng)和實施法案》，就此開啟歐盟GDPR基本規(guī)定的適用[25]。針對行政管理活動領(lǐng)域中的算法決策應(yīng)用，也為促進(jìn)科技自由發(fā)展與數(shù)據(jù)主體權(quán)利保護(hù)的平衡，順應(yīng)行政現(xiàn)代化、智能化的發(fā)展，加速稅收和社會法領(lǐng)域的程序現(xiàn)代化建設(shè)，德國專門在《稅收條例》和《社會法典(第十卷)》引入全自動作出的具體行政行為條款，并于2017年擴(kuò)展至一般《行政程序法》，即在《行政程序法》中引入“全自動作出的具體行政行為”概念，并匹配若干法條的修改以彌補(bǔ)自動化行政中法律依據(jù)存在的瑕疵，以此規(guī)范算法決策在自動化行政中應(yīng)用的具體行為[26]170。

同時，德國已開始嘗試直接規(guī)制算法設(shè)計本身，試圖促令法律和倫理規(guī)范徑直進(jìn)入算法。德國交通部部長任命的倫理委員會就有專門報告，要求算法編寫者遵守一系列倫理法則，并提出具體的20條倫理指導(dǎo)意見，其核心即要求把人的生命放在首位[1]73。另外，第36屆信息官員自由會議也通過“算法在公共管理中的透明度”文件，其中規(guī)定德國政府部門使用算法必須要予以公布的具體內(nèi)容[27]：(1)有關(guān)程序輸入、輸出數(shù)據(jù)的類別信息；(2)算法所涉邏輯，包括計算公式、輸入數(shù)據(jù)的權(quán)重、基本的專業(yè)知識以及用戶部署的個人配置；(3)最終決策的范圍以及程序可能產(chǎn)生的后果。顯然，德國主流觀點(diǎn)認(rèn)為，重視法律與倫理規(guī)范、明確算法透明度問題，是保障算法決策結(jié)果準(zhǔn)確、公平、有效的重要因素。

綜合前述，各國為防范或規(guī)避算法決策于各種領(lǐng)域應(yīng)用的實然風(fēng)險，都有因應(yīng)本國特點(diǎn)的自主制度或規(guī)則設(shè)計。美國基于政府與非政府組織的協(xié)同規(guī)制，形成一種健全的法律規(guī)制體系；歐盟GDPR第22條特別強(qiáng)調(diào)數(shù)據(jù)主體享有的反對自動化決策影響的權(quán)利，在保護(hù)自然人基本權(quán)利與自由的同時，更彰顯算法決策風(fēng)險防范的事后規(guī)制措施的示范性作用；德國在遵守GDPR的基礎(chǔ)上，積極制定符合國家發(fā)展形態(tài)的專屬制度規(guī)范，重點(diǎn)是算法決策在行政領(lǐng)域應(yīng)用的特殊規(guī)制，以此促進(jìn)科技自由發(fā)展與數(shù)據(jù)主體權(quán)利保護(hù)達(dá)致平衡。

四、算法決策風(fēng)險防范路徑的中國展望

隨著算法決策技術(shù)廣度、深度的進(jìn)一步拓展與深入，不僅會加重上述三大主要風(fēng)險的危害性，而且未來還可能產(chǎn)生不可測之風(fēng)險類型。為積極應(yīng)對已有風(fēng)險，有效防范將來風(fēng)險，我們必須制定并完善算法決策的相關(guān)制度規(guī)定、加強(qiáng)算法決策風(fēng)險評估機(jī)制、明確算法決策風(fēng)險責(zé)任規(guī)定等，以盡可能實現(xiàn)算法決策風(fēng)險的事先預(yù)防與事后救濟(jì)。

(一)重申、確立并加強(qiáng)人的主體地位

馬長山指出，當(dāng)下的人工智能仍定性為人類所創(chuàng)造的高度自動化、智能化的工具，雖然該工具發(fā)展到一定階段能夠模仿人類動作與感受，但終究非屬人類。換言之，人工智能并無自主意志，僅是技術(shù)產(chǎn)出品，根本上就只能定性其為工具屬性[28]。同樣，為有效防范、規(guī)避算法決策的應(yīng)用風(fēng)險，確定數(shù)據(jù)主體事后救濟(jì)的問責(zé)對象，必須加強(qiáng)算法決策使用者的主體地位意識并明確算法決策的工具屬性。

以民事審判為例，算法決策作為司法機(jī)關(guān)在司法實踐中采用的一種治理手段或工具，即是輔助司法機(jī)關(guān)進(jìn)行決策。即便未來算法決策技術(shù)向高精尖飛速發(fā)展，甚至直接取代人工決策而作出最終判定，也無從改變其輔助性的工具屬性。簡言之，無論是輔助人工決策還是取代人工決策，算法決策都僅被限定以輔助地位、協(xié)助司法機(jī)關(guān)完成審判工作。此外，在不同場景應(yīng)用中，算法決策控制者或使用者應(yīng)當(dāng)牢牢掌握算法決策技術(shù)的主導(dǎo)權(quán)，不可全仰賴決策系統(tǒng)，必須嚴(yán)防或杜絕算法決策技術(shù)在深入發(fā)展和滲透后完全取代人為決策的可能，甚至凌駕于人為決策之上。

無論算法決策應(yīng)用是在司法審判、行政管理活動還是商業(yè)領(lǐng)域，都不能改變算法決策的工具屬性。所以，必須厘清算法決策使用者與算法決策技術(shù)本身的主次關(guān)系，以規(guī)范算法決策技術(shù)的發(fā)展方向，使其不偏離自身的工具屬性定位。

(二)完善算法決策的相關(guān)制度規(guī)定

大數(shù)據(jù)時代，算法決策技術(shù)帶來諸多不確定性，雖然制度的出臺總是滯后于技術(shù)的發(fā)展，但是以制度的方式規(guī)制已知的事物是非常有效的[29]?；谇笆鰧γ绹W盟、德國的比較考察與經(jīng)驗借鏡，立足本國國情，及時制定完善相關(guān)法律法規(guī)與具體規(guī)則已勢成必然。

2016年，我國頒布了《中華人民共和國網(wǎng)絡(luò)安全法》，旨在保障我國網(wǎng)絡(luò)運(yùn)行安全和信息安全，維護(hù)網(wǎng)絡(luò)空間主權(quán)和國家安全以及社會公共利益，保護(hù)公民、法人和社會其他組織的合法權(quán)益，促進(jìn)經(jīng)濟(jì)社會信息化的健康發(fā)展[30]。依據(jù)該法第四章之網(wǎng)絡(luò)信息安全的規(guī)定，以列舉方式明確指出網(wǎng)絡(luò)運(yùn)營者收集、使用個人信息，應(yīng)當(dāng)遵循合法、正當(dāng)、必要的原則，明示收集、使用目的，并須經(jīng)被收集者同意；網(wǎng)絡(luò)運(yùn)營者應(yīng)當(dāng)確保其收集個人信息的安全(5)《中華人民共和國網(wǎng)絡(luò)安全法》第41條規(guī)定：“網(wǎng)絡(luò)運(yùn)營者收集、使用個人信息，應(yīng)當(dāng)遵循合法、正當(dāng)、必要的原則，公開收集、使用規(guī)則，明示收集、使用信息的目的、方式和范圍，并經(jīng)被收集者同意。網(wǎng)絡(luò)運(yùn)營者不得收集與其提供的服務(wù)無關(guān)的個人信息，不得違反法律、行政法規(guī)的規(guī)定和雙方的約定收集、使用個人信息，并應(yīng)當(dāng)依照法律、行政法規(guī)的規(guī)定和與用戶的約定，處理其保存的個人信息。”第42條規(guī)定：“網(wǎng)絡(luò)運(yùn)營者不得泄露、篡改、毀損其收集的個人信息；未經(jīng)被收集者同意，不得向他人提供個人信息。但是，經(jīng)過處理無法識別特定個人且不能復(fù)原的除外。網(wǎng)絡(luò)運(yùn)營者應(yīng)當(dāng)采取技術(shù)措施和其他必要措施，確保其收集的個人信息安全，防止信息泄露、毀損、丟失。在發(fā)生或者可能發(fā)生個人信息泄露、毀損、丟失的情況時，應(yīng)當(dāng)立即采取補(bǔ)救措施，按照規(guī)定及時告知用戶并向有關(guān)主管部門報告?！?。另外，在《中華人民共和國個人信息保護(hù)法(草案)》中也明確規(guī)定了個人信息處理的基本原則、協(xié)調(diào)個人信息保護(hù)與促進(jìn)信息自由流動的關(guān)系，以及有關(guān)敏感個人信息問題等諸多內(nèi)容[31]。

顯然，數(shù)據(jù)安全是一切問題的首要出發(fā)點(diǎn)。為規(guī)范算法決策于數(shù)據(jù)收集與使用階段的嚴(yán)謹(jǐn)性，切實防范算法決策隱私泄露風(fēng)險，我國在制定算法決策相關(guān)制度時，自然必須重視數(shù)據(jù)安全問題。如明示算法決策使用者應(yīng)當(dāng)遵循合法、必要、正當(dāng)?shù)脑瓌t；明示數(shù)據(jù)收集和使用的目的，積極保障數(shù)據(jù)主體的知情同意權(quán)益；遭遇算法決策使用者未經(jīng)數(shù)據(jù)主體同意而擅自采集或者不合目的使用數(shù)據(jù)時，數(shù)據(jù)主體有權(quán)提出異議等。特別需要指出的是，就此數(shù)據(jù)主體的異議權(quán)可借鑒GDPR第22條規(guī)定，即在公權(quán)力應(yīng)用算法決策場景下，對數(shù)據(jù)主體做出具有法律影響或類似嚴(yán)重影響的決策結(jié)果時，數(shù)據(jù)主體有權(quán)對該結(jié)果提出反對意見。具體應(yīng)用：在算法決策輔助自動化行政過程中，行政相對人之?dāng)?shù)據(jù)主體有權(quán)要求人工介入；對此情狀，行政主體必須聽取相對人的陳述，如果要求合理，則必須即時中斷自動程序而轉(zhuǎn)入普通程序。此外，行政主體還負(fù)有于法定情形下須履行主動中斷自動程序的義務(wù)，如根據(jù)德國《稅務(wù)條例》和《行政程序法》的規(guī)定，可要求行政機(jī)關(guān)對個案相對人在自動程序外的重要情況進(jìn)行調(diào)查，若符合中斷條件，行政機(jī)關(guān)必須主動恢復(fù)普通程序[26]177。

此外，相應(yīng)制度規(guī)定還應(yīng)滿足算法決策于不同領(lǐng)域的具體應(yīng)用場景。僅類化于行政管理、司法審判及民商業(yè)等領(lǐng)域，算法決策也并非能適用其各自領(lǐng)域下的所有場景。當(dāng)外部環(huán)境阻礙機(jī)器決策、或有造成決策結(jié)果錯誤風(fēng)險之虞，該類場景就只能采用人為決策。對此，德國行政程序法就專門針對算法決策于自動化行政領(lǐng)域的應(yīng)用限定兩個條件：(1)法律保留，即僅當(dāng)法律法規(guī)允許時方可適用；(2)僅限行政機(jī)關(guān)無裁量或無判斷余地時方有適用空間[10]89。“兩個限定條件”可為我國明確算法決策的具體應(yīng)用場景提供有效資鑒。對于法律保留論，還須提供原則性指引，而非面面俱到地實施干預(yù)，如在授益行為、不涉及當(dāng)事人重大利益事項上，法律可以對算法決策于行政管理活動的應(yīng)用賦予概括性授權(quán)以釋放創(chuàng)新空間。當(dāng)然，在情況較為復(fù)雜、尤其關(guān)乎人身權(quán)益等決策不可逆的場景下，算法決策應(yīng)用必須審慎以待。

(三)加強(qiáng)算法決策的風(fēng)險評估機(jī)制

以算法決策為核心技術(shù)的一系列人工智能新型技術(shù)的應(yīng)用已成必然。因此，為促進(jìn)算法決策技術(shù)的良性發(fā)展，同時保障數(shù)據(jù)主體的合法權(quán)益，維護(hù)社會秩序的穩(wěn)定性，必須有側(cè)重、分步驟地有效運(yùn)行算法決策風(fēng)險的評估機(jī)制。

算法決策的運(yùn)行基礎(chǔ)是數(shù)據(jù)，數(shù)據(jù)質(zhì)量即是其風(fēng)險評估的基礎(chǔ)性要件。為驗證數(shù)據(jù)質(zhì)量是否存在瑕疵，以及該瑕疵對決策結(jié)果產(chǎn)生的消極影響又是否超過其為決策結(jié)果帶來的積極影響，同時還需研判算法決策于具體場景適用的可行性。所以，事先必須用比例原則對算法決策系統(tǒng)進(jìn)行風(fēng)險評估。具體操作可依據(jù)以下“三個判斷”進(jìn)行[18]112：(1)適應(yīng)性判斷。判斷算法決策系統(tǒng)的設(shè)計是否合理、合法，且決策系統(tǒng)對數(shù)據(jù)的收集、選擇和處理又是否能最大限度降低數(shù)據(jù)質(zhì)量瑕疵(如隱私信息、敏感性信息)，以達(dá)到使用者預(yù)期目的。(2)均衡性判斷。比照算法決策系統(tǒng)運(yùn)行可能產(chǎn)生的積極影響與消極影響，只有確認(rèn)前者明顯高于后者時才可通過評估。(3)必要性判斷。使用者應(yīng)采用對數(shù)據(jù)主體消極影響最小的算法決策系統(tǒng)，以最大限度降低技術(shù)的不確定性和數(shù)據(jù)質(zhì)量瑕疵，否則，決策結(jié)果可靠性無以保障。即僅限于同時滿足“三個判斷”評估模式的算法決策系統(tǒng)才可通過事前檢測并被投入實踐應(yīng)用。

風(fēng)險評估的先行者莫過于德國。20世紀(jì)70年代，德國《聯(lián)邦數(shù)據(jù)保護(hù)法》就作出規(guī)定，自動收集、處理和使用個人數(shù)據(jù)的公共機(jī)構(gòu)和私法主體,或以其他方法處理個人數(shù)據(jù)并且至少擁有20人長期雇員的，或因市場研究目的而自動處理數(shù)據(jù)的私主體，都必須書面任命常設(shè)的個人數(shù)據(jù)保護(hù)顧問,否則將承擔(dān)相應(yīng)的法律責(zé)任[32]48-49。同時，為賦予個人數(shù)據(jù)保護(hù)顧問以更強(qiáng)的權(quán)力支撐，在企業(yè)外部還設(shè)立數(shù)據(jù)保護(hù)監(jiān)管局。當(dāng)個人數(shù)據(jù)保護(hù)顧問面臨來自企業(yè)的壓力時，還可向數(shù)據(jù)保護(hù)監(jiān)管局尋求援助[32]49。但需明確的是，該顧問在企業(yè)算法治理、數(shù)據(jù)活動的監(jiān)管中始終占據(jù)主體地位，而數(shù)據(jù)保護(hù)監(jiān)管局反倒成了輔助角色?？梢哉f，德國踐行的是以行業(yè)自律加政府監(jiān)管之雙重風(fēng)險評估機(jī)制——不僅自主督進(jìn)企業(yè)內(nèi)部的算法決策風(fēng)險防范，也同步提升政府監(jiān)管的力度。當(dāng)然，在某種程度上，也正因企業(yè)外部數(shù)據(jù)保護(hù)監(jiān)管局的存在能有效防止個人數(shù)據(jù)保護(hù)顧問淪為擺設(shè)，更有利于促進(jìn)個人數(shù)據(jù)保護(hù)顧問職權(quán)的有效行使。

基于此，我國在這一相關(guān)制度或機(jī)構(gòu)的設(shè)定方面，就應(yīng)明示個人數(shù)據(jù)保護(hù)顧問的相關(guān)規(guī)定。首先，企業(yè)內(nèi)部的個人數(shù)據(jù)保護(hù)顧問應(yīng)熟悉該企業(yè)的基礎(chǔ)業(yè)務(wù)，同時還須掌握算法決策與數(shù)據(jù)保護(hù)的基本知識，因為算法決策的強(qiáng)技術(shù)性與隱蔽性不可能促令企業(yè)員工都具備檢測本企業(yè)算法風(fēng)險的技能。但是，對于個人數(shù)據(jù)保護(hù)顧問而言，具備專業(yè)技能和隨時可檢測算法決策風(fēng)險的能力是其必備條件。其次，個人數(shù)據(jù)保護(hù)顧問還應(yīng)具有相當(dāng)?shù)呢?zé)任意識，積極履行自身風(fēng)險評估職責(zé)，適時提出異議。若企業(yè)施以高壓，該顧問應(yīng)當(dāng)及時請求數(shù)據(jù)保護(hù)監(jiān)管局的適時介入與調(diào)查。數(shù)據(jù)保護(hù)監(jiān)管局亦須具備評估算法決策風(fēng)險的專業(yè)技術(shù)與能力，以認(rèn)真監(jiān)督該顧問履職情況，并定期接受關(guān)于算法決策應(yīng)用的情況匯報。

(四)明確算法決策風(fēng)險的責(zé)任規(guī)定

劃定算法責(zé)任歸屬，不僅是為了明確算法決策風(fēng)險引起的責(zé)任承擔(dān)，而且也是為使算法決策技術(shù)能以一種更負(fù)責(zé)任的方式良性運(yùn)行。無論于各種應(yīng)用場景，都應(yīng)當(dāng)有因應(yīng)的責(zé)任界定與劃分。

尤其關(guān)涉公權(quán)力領(lǐng)域的應(yīng)用，更需有責(zé)任主體的明確規(guī)定。無論行政管理或司法裁判，公權(quán)力機(jī)關(guān)都是通過與私人技術(shù)主體的公私合作方式進(jìn)行應(yīng)用算法決策。因此，算法決策過程的實際主體至少有公權(quán)力機(jī)關(guān)、數(shù)據(jù)主體以及私人技術(shù)主體三類。然而，不管是人為決策行為還是算法決策行為，其法律意義上的主體仍是公權(quán)力機(jī)關(guān)，私人技術(shù)主體只是公權(quán)力機(jī)關(guān)實現(xiàn)其行為目的的輔助與載體。所以，于數(shù)據(jù)主體而論，無須關(guān)心到底哪些主體介入行政或司法程序，只需針對法律規(guī)定的行使公權(quán)力的權(quán)力主體尋求救濟(jì)即可[33]。即一旦算法決策風(fēng)險造成數(shù)據(jù)主體權(quán)益受損，公權(quán)力機(jī)關(guān)即成責(zé)任主體，數(shù)據(jù)主體應(yīng)當(dāng)向公權(quán)力機(jī)關(guān)問責(zé)。至于私人技術(shù)主體承擔(dān)的責(zé)任，主要關(guān)涉其與公權(quán)力主體之間的合作協(xié)議，如果私人技術(shù)主體存在過錯，按協(xié)議約定承擔(dān)相應(yīng)的責(zé)任即可[33]。因此，對于公權(quán)力領(lǐng)域下三重主體共同參與的算法決策過程，責(zé)任主體的認(rèn)定并無根本性變化，僅需藉由算法決策相關(guān)制度進(jìn)行細(xì)節(jié)的調(diào)整和明確即可。

對于商業(yè)領(lǐng)域的應(yīng)用，則須加強(qiáng)算法決策設(shè)計者、使用者的責(zé)任規(guī)制。2018年，我國通過《中華人民共和國電子商務(wù)法》，首次明確網(wǎng)絡(luò)平臺不合法設(shè)計、部署和應(yīng)用的部分算法責(zé)任，包括搜索算法(競價排名)的明示義務(wù)、推薦算法的消費(fèi)者保護(hù)義務(wù)等，體現(xiàn)立法者對算法地位和作用的合理認(rèn)知[34]。同時，落實有效調(diào)整算法決策風(fēng)險的責(zé)任規(guī)定：(1)優(yōu)化系統(tǒng)本身，加強(qiáng)算法決策系統(tǒng)設(shè)計者的風(fēng)險責(zé)任意識，促令其于設(shè)計之初須充分考量算法風(fēng)險防范與可問責(zé)性問題[35]；(2)明確算法決策設(shè)計者、使用者應(yīng)當(dāng)遵守的基本原則，以強(qiáng)化責(zé)任意識，形成高效的自律性規(guī)制。一如前述美國行業(yè)內(nèi)部的自律性規(guī)制范式，該國計算機(jī)協(xié)會通過發(fā)布有關(guān)算法透明度及可審查性的七項基本原則，以此規(guī)范算法決策使用者的行為，降低算法決策風(fēng)險發(fā)生的概率。我國可以此為資鑒，適時調(diào)整、完善算法決策風(fēng)險責(zé)任的相關(guān)規(guī)定，有效防范算法決策風(fēng)險的發(fā)生，并最大化降低因法律模糊性而遭致數(shù)據(jù)主體的二度傷害。

五、結(jié) 語

實踐證明，協(xié)調(diào)算法決策等科學(xué)技術(shù)的發(fā)展與數(shù)據(jù)主體合法權(quán)益的保障二者之關(guān)系，已然成為大數(shù)據(jù)時代人們的共同關(guān)注焦點(diǎn)。藉由他山之石路徑考察與經(jīng)驗借鏡，中國于算法決策風(fēng)險防范的法制路徑構(gòu)建，首先，必須立足本國國情的切實考量，重申、確立并加強(qiáng)人的主體地位意識，更須對算法決策之工具輔助屬性進(jìn)行明確定位。在此前提下，及時、有效地制定相關(guān)法律法規(guī)及其配套制度與具體規(guī)則，以此秉持、恪守規(guī)范算法決策于數(shù)據(jù)收集與使用階段的嚴(yán)謹(jǐn)性，清晰界定算法決策于行政、司法或商業(yè)領(lǐng)域中的具體應(yīng)用場景。其次，還須以比例原則加強(qiáng)算法決策風(fēng)險評估機(jī)制，并嘗試在企業(yè)內(nèi)部增設(shè)個人數(shù)據(jù)保護(hù)顧問，以實現(xiàn)風(fēng)險評估的專人負(fù)責(zé)制。最后，還須明確算法決策風(fēng)險的責(zé)任規(guī)定，明示責(zé)任主體，強(qiáng)化算法決策設(shè)計者、使用者的風(fēng)險責(zé)任意識。誠然，無論于行政、司法等公權(quán)力領(lǐng)域，抑或商業(yè)等其他領(lǐng)域，算法決策風(fēng)險都無法一一避及。今后，伴隨算法決策技術(shù)的深度發(fā)展、人工智能自主學(xué)習(xí)能力的突破性進(jìn)展，定會產(chǎn)生更多不可預(yù)估之風(fēng)險。因此，我們必須不斷審視算法決策技術(shù)，增強(qiáng)自身風(fēng)險防范能力，以促進(jìn)算法決策技術(shù)的良性發(fā)展，盡可能最大化地保障數(shù)據(jù)主體的合法權(quán)益不受侵害。