風險視角下對算法偏見的雙軌治理
——自動決策算法中偏見性因素的規(guī)制研究

□肖夢黎

（1.華東政法大學 法律學院，上海201620；2.華東理工大學 法學院，上海200237）

一、問題的提出

我們每個人都被各種各樣的算法所籠罩，各種超級平臺收集著我們的身份信息、聯系人信息、違法信息、生物數據甚至政治評論，點擊“拒絕”即無法訪問。算法形成了“全景敞式”的權力，每個普通人都在被“一種不間斷的書寫日夜跟蹤”[1](p215)。在工作招聘、申請教育機會、信貸額度、綠卡排期甚至是犯罪預測中[2](p674-671)，算法的自動決策無處不在。算法的核心是基于現有行為對用戶的未來行為進行預測，賦予相對人以數字人格，對其未來的機會產生影響[3](p37)。通過不同企業(yè)與政府主體間數據庫的購買與算法判斷的導入構成了算法使用的擴散，并可能導致一種人們盡力使自己的生活方式符合算法的新模式，從而最終形成了算法對人類社會的規(guī)訓。

隨著算法工具化與算法行政不斷擴展的趨勢，自動化決策中隱含的算法歧視會產生波紋式的擴大影響。算法與經濟社會深度融合，從自動駕駛、信用評級到司法裁判中的應用，逐漸成為一種自帶判斷的區(qū)分方式[4](p181-182)。算法當然會存在偏見：一方面，算法使用的大量數據本就來源于社會本身，這種鏡像式的結構自然也會將社會中的歧視與偏見如實地帶入算法。比如當貸款公司將征信系統(tǒng)的數據分析源逐漸拓展到淘寶、eBay等的交易評價、微博與Facebook的好友人數以及LinkedIn的人脈對象時，居住在富裕板塊的人會更容易獲得貸款，而女性申請者則會獲得較低的額度①美國Movenbank，國內支付寶的花唄、京東白條等都在應用此類技術。。另一方面，作為技術的算法也是一種生命體，技術與發(fā)明技術的人類間存在所謂的“相夫差異”[5](p49)，算法因此會產生新的偏見。比如在招聘算法中，通勤時間較長的員工該項評分就會呈現為負值，而少數族群由于經濟條件上的弱勢會居住在遠離市中心的地方，就會導致一個較低的錄用率，從而實質上構成對該群體的歧視[6](p84)。算法編寫者可能會利用數據主體弱點進行數據殺熟，或者根據敏感信息（如政治傾向）等對特定群體進行結果操縱。更令人擔憂的是，算法決策正在侵入越來越多的公共領域，在諸如自動稅收與行政許可的“秒批”中，算法已經在做出具有即時生效性的具體行政行為[7](p65)。在美國，算法評估正在取代現金保釋[8]。蘇州市2015年就建立了覆蓋91種違法行為的犯罪預測系統(tǒng)②馬德林：《互聯網技術帶給中國社會治安“全新可能性”》，載《中國新聞》2016年10月13日。。算法廣泛應用帶來的是接連出現的“算法丑聞”，這些以數學形式表現的“殺傷性武器”可能會隨意關閉使用者的未來機會之門[9](p6-10)。人類無法期待自動化決策系統(tǒng)自行解決問題，因此對算法的規(guī)制就顯得尤為重要。

對于自動決策算法中偏見性因素的規(guī)制，法學界的討論大致圍繞算法透明原則、算法解釋權以及設置數據保護官與數據監(jiān)管局[10](p49-52)等幾種路徑。算法治理則主要存在歐盟的《通用數據保護條例》（下簡稱“GDPR”）中的個體賦權模式，美國《算法問責法案》中的外部治理模式以及本土化的設置平臺義務模式[11](p21-25)。在尋求算法透明化的過程中，強制算法公開與控制算法結果的路徑顯然存在問題。一方面，算法的強制公開可能導致商業(yè)秘密與知識產權的泄露；另一方面，源代碼的公開也無法真正使普通公眾理解、獲得救濟。在對自動決策算法中的偏見性因素進行問責的過程中，受算法影響者（數據主體）享有包括對算法知情、質詢和申訴的權利。而算法的設計與使用者（也就是數據控制方）相應的有披露數據來源、解釋算法過程與接受算法審計等一系列義務。

法學界討論的算法規(guī)制更多是方法論上的，從法律適用上進行條分縷析。但在計算機技術不斷更迭的時代，算法透明原則的實施效果往往取決于法律價值與技術實現兩個層面，技術治理可以為法律治理提供新的洞見。本文將就如何通過法律價值引導下的技術手段具體討論實現算法透明的原則，將規(guī)制方法從事后追責、將算法工具化的方式轉成以風險識別為前提、技術治理與法律治理并重的規(guī)制方式。

二、風險理念下的算法透明與預防性規(guī)制

算法透明原則指涉的是一種基于規(guī)則的“透明度模型”，具體包括“輸入數據、系統(tǒng)在推理和決策（規(guī)則制定）層面所包含的規(guī)范性、做出的該決定的背景和進一步影響，以及負責的參與者”等方面[12](p433)。對于機器學習與自動決策而言，透明度原則并不是一種可見性的程度，而是一種看到相關目的的能力。就像某些學者所言，算法透明原則僅在少數情形下適用，而在多數情況下既不可行也無必要。披露對象的技術能力、自動決策下算法的不可知與干擾項披露等應該都會影響算法透明的實效[13](p20-21)?！皵祿寗拥淖詣踊獯a”的透明度是基于這樣一種理解：透明度不能被視為純粹的開放性，而應該是一種交流行為。從這個觀點來看，透明度也是一種治理方式。

在自動決策算法的規(guī)制中，技術治理與法律治理是無法分割的[14](p63-65)。在新型“監(jiān)視資本主義”的場景下，技術化統(tǒng)治也要靠技術手段來化解。從“白箱”算法到“灰箱”算法、“黑箱”算法，直至自動決策化不斷加深的“感知”算法與“奇異”算法，將法律價值嵌入到技術治理中是一種更為有效的應對算法霸權的規(guī)制方式。技術治理的理念主要是預防性的，面向未來風險的，因此在算法透明原則的實踐過程中尤其要注意算法風險的分類。

（一）風險分類的規(guī)制前提

針對不同風險應該采取分類治理的規(guī)制方式。正如GDPR在第22條規(guī)定，如果某項算法會對相對人產生法律影響或與之相類似的顯著影響，數據主體就有不受僅依賴于自動決策的權利。接下來的問題就是如何將算法區(qū)分為會產生法律影響或與之相類似的顯著影響與其他類型的算法。GDPR在第29條工作組指南中規(guī)定了何種應視為對個體產生重要影響：比如信用貸款審批、電子招聘、醫(yī)療服務、教育或自動化決策顯著影響了個人的習慣或選擇；通過自動化決策的應用達到取消合同、取消住房福利等的后果；以及在定向廣告中，利于數據殺熟或政治傾向等的敏感信息[15](p398-404)。如果自動決策算法不會對數據主體產生重大影響，算法相對人可以行使GDPR第21條的退出權；若自動化決策本身會對數據主體產生重大影響，則算法使用者應該保障人工介入自動決策，以及數據主體對自動化決策提出質疑的權利。

與之相類似，美國《公平信用報告法》否決了在信用評分中應用自動化決策的決定。美國國會2019年4月提出的《算法問責法案》也對高風險算法進行了列舉式界定，其中包括對個體隱私安全等造成嚴重不利后果的算法，涉及種族、膚色、政治觀點、宗教、工會身份、生物數據、性別、性傾向、犯罪記錄、逮捕記錄的算法，以及在公共場所進行系統(tǒng)性監(jiān)督的算法①《算法問責法案》共規(guī)定了五種類別的高風險算法，筆者在此重新歸納。其中有些雖然是高風險算法，但是由于應用特別廣泛，實際上無法進行有效控制。比如基于個人的工作表現、經濟狀況、個人偏好、地理位置和行為軌跡而做出的影響個人權利的算法等。。對于這些高風險算法，算法的設計與使用者應該對算法的設計、訓練數據的收集和想要達致的目標等方面做出詳細說明。

（二）對于低風險算法的監(jiān)管沙盒與責任豁免

對于風險較低的算法而言，出于運營成本與保護創(chuàng)新的考慮，應該使其自主發(fā)展，并在數據保護一端賦予算法相對人（數據主體）以退出權。在此僅介紹監(jiān)管沙盒（監(jiān)管音盒）的創(chuàng)新型舉措：監(jiān)管沙盒（Regulatory Sandbox）是英國金融行為監(jiān)管局（FCA）創(chuàng)設的一種針對金融科技配套豁免規(guī)則的監(jiān)管模式。監(jiān)管沙盒由監(jiān)管委員會運營，提供受監(jiān)視的試驗環(huán)境測試算法，從技術維度評估算法風險，從而提供一種區(qū)別于代碼核查、模型比對的動態(tài)監(jiān)管機制。監(jiān)管委員會可以設立專用數據庫，從中隨機生成真實數據和干擾數據，進而對算法進行校驗，以測試算法的準確性、可信度、風險性以及對用戶決策的干預程度。

對于監(jiān)管沙盒而言，目前多是由監(jiān)管部門對初創(chuàng)行業(yè)進行遴選，從而實現對海量訓練集數據的校驗與一定程度的算法責任豁免。但是若將準入門檻修改為依申請加入，不做主觀篩選，也就成為法國模式下的監(jiān)管音盒（Regulatory Soundbox），從而使得對于不同企業(yè)的監(jiān)管強度更加均衡[16]。監(jiān)管沙盒在自動決策算法領域的應用可以在風險規(guī)制與創(chuàng)新友好間尋求平衡，支持小微初創(chuàng)企業(yè)進行低風險、突破式的創(chuàng)新。

（三）對于高風險算法的技術驗證與人機回圈

對于高風險的算法應該遵循事先審查與事后可解釋的算法透明路徑。歐盟的《通用數據保護條例》規(guī)定了“至少應為數據主體提供關于自動化決策中所運用邏輯的有用信息、該處理的重要性與其對數據主體可能造成的后果”①詳見歐盟《通用數據保護條例》第13條第2款f項、第14條第2款g項、第15條第1款h項。。美國的《算法問責法案》則規(guī)定，針對某些高風險算法，應詳細說明算法決策，包括算法設計、訓練數據和算法目標等信息②2019年4月10日，美國國會兩院議員提出《算法問責法案》（Algorithmic Accountability Act），要求大型科技公司評估并消除其“自動決策系統(tǒng)”給個人信息隱私和安全帶來的風險，以及因種族、膚色、宗教、政治信仰、性別或其他方面差異帶來的歧視性偏見。該法案將適用于年收入超過5000萬美元的企業(yè)，持有至少100萬人口或設備數據或主要扮演數據經紀人角色的組織。。算法可解釋原則若想順利實施，必須符合兩個要求：其一是可以找到某項固定不變的因素，顯著性地導致算法輸出結果中的偏見；其二是需要保證算法不會被后續(xù)編寫者篡改。事實上，算法是很可能被篡改的，因此應該運用加密承諾的方式。而找尋算法中某個固定不變的導致輸出結果產生偏見的要素的途徑就是有效的算法驗證。

1.自動決策算法的可驗證性。軟件驗證是一種運用數學證明來表明軟件具有某些特性的技術。其既可以通過分析現有代碼，也可以通過使用專用工具提取被證明為正確的不變性約束條件③在計算機科學中，invariant就是在程序的執(zhí)行過程或部分執(zhí)行過程中，可以認為絕對正確的條件。它是在執(zhí)行的某個階段中總是true的邏輯斷言。所謂invariant，就是針對某個主體（對象、方法等）的一些“絕對真理”式的約束，不論該主體處于何種狀態(tài)或階段，都必須滿足這些約束條件。它們不受狀態(tài)和階段的轉移影響，即所謂不變性。因而將invariant翻譯成“不變性約束條件”。。與靜態(tài)分析（旨在檢查已編寫的代碼是否存在錯誤或偏離其規(guī)范）或軟件測試（旨在通過在特定配置中執(zhí)行軟件來驗證軟件是否滿足特定的功能需求）不同，軟件驗證可以從邏輯上解釋算法在不同條件下的運作行為。經過驗證的程序附帶一個數學證明，證明它們具有某些不變性約束條件，因此不必對這些不變性約束條件進行測試[2](p662-665)。

加密承諾就是一種提供算法可驗證性的重要方式，未來區(qū)塊鏈技術的廣泛應用將使得通過時間戳的驗證程序成為可能。公私鑰密碼學可以在不預先共享私鑰的前提下發(fā)送加密信息，以保障不同節(jié)點間的數據記錄不可偽造與被篡改[17](p85-86)。可以說，區(qū)塊鏈技術是密碼學的重要應用，而究其原理而言，加密承諾是由第三方或在安全的地方保存的密封文件的數字等價物。它將提交者綁定到被提交對象（信封內的對象）的特定值，以便稍后可以顯示該對象，并且任何人都可以驗證承諾是否與該數字對象相對應。加密承諾與信封中的信件類似。一旦一個對象“在”密封的信封中，觀察者就看不到它，任何人也不能改變它。特定的承諾可用于在特定時間鎖定對秘密的了解，而不泄露秘密的內容。同時仍然允許稍后在法庭等場所披露該秘密，并保證該秘密在過渡期間不被更改。而該加密承諾在密封后也會產生一個密鑰，用于驗證承諾。加密承諾有助于實現自動化決策的程序規(guī)則正當性，確保每個決策都使用同樣的策略。做出自動決策的公司或機構隨后將在確定的日期在公開場所對承諾進行公開，也可以在遭遇質詢后向法院等監(jiān)督機構披露源代碼和公開密鑰，以證明其在承諾時擁有特定的源代碼[2](p662-667)。

自動決策算法中隨機數的公平性也應該是可驗證的，隨機過程的設計不當也會導致后續(xù)的算法解釋遭遇困難。因此在處理會對相對人產生重大影響的決策時，為了防止算法的濫用，應該由可信的第三方提供一個種子值，然后通過種子產生可復制值的加密算法實現隨機過程。這些種子值應該預先設置與一些不能更改的信息標識相對應，比如身份證號、社會保險號或者受試者姓名等，這樣既可以在系統(tǒng)中保持隨機性的好處，也可以保證涉及重要權益的種子值不會被算法設計者篡改。

2.人機回圈。就可能對相對人產生重大影響的自動決策算法而言，另一個行之有效的糾偏方式就是加入“人”的因素，為算法決策過程注入民主化。人機回圈（human-in-the-loop）原則認為，當在算法決策中遇到諸如倫理、道德風險、偏見等機器學習仍無法獲得最優(yōu)解的問題時，就需要通過人類智慧的補足來優(yōu)化算法，從而為機器學習提供一種民主的或者說是非設計者的“濾鏡”[18]。設定緩刑期限算法的程序員可能并不十分了解法律本身，而訓練集與編程中的偏差則會帶入到算法中，并作為自動決策結果出現。在這一過程中，行業(yè)專家與有道德判斷能力的公眾的引入、人機交流技術與用戶申訴等機制的設置可以有效打破技術專家對算法決策權的壟斷?！蹲匀弧冯s志上就公布了一個針對自動駕駛面臨的困境所做的調查，該調查囊括了來自233個國家與地區(qū)超過4000萬份問卷，總結了不同地區(qū)針對自動駕駛的不同態(tài)度，從而對如何發(fā)展全球性的、社會可接受的機器倫理的原則進行了論述，為人機回圈的適用提供了有益的范例[19]。

三、以算法審查與算法解釋權為核心的事后規(guī)制

算法解釋權與算法透明原則是一體兩面的制度，只有在算法透明原則的框架下，個人方可提出并行使算法解釋權。算法透明原則可以視為對算法設計與使用方的義務設定，而算法解釋權則是對受算法影響者（數據主體）的一種具體賦權。算法的設計與使用者負有對數據輸入、邏輯過程、特定因素權重等某一項或某幾項的披露與解釋義務，受算法影響者因而享有對算法的知情權、質詢權與申訴權。對于算法審查與算法解釋權的原則性探討已經有很多，但仍未解決的問題則是如何打開“黑箱”進行審查，是基于何種方式進行解釋，繼而再回答司法救濟中如何解決算法歧視認定的問題。

（一）通過零知識證明原則進行的算法審查

由于算法設計者、使用者作為消費者的信息受托人負有忠實義務與注意義務[20]，因此應該由行政機關或第三方機構對算法進行審查，從而避免對公眾的權利侵害。算法審計包括非侵入用戶式審查（Noninvasive User Audit）、借助傀儡審查（Sock Puppet Audit）、層層打開式審查（Scraping Audit）與聯合審查（Collaborative Audit）等[21](p197-202)?，F階段已經可以通過一些技術方式實現對于算法執(zhí)行過程的審查。通過算法設計者內部的數據活動顧問與外部的數據活動監(jiān)管局對接的二元監(jiān)管方式可以有效進行算法歧視性的審查。“數據活動顧問從企業(yè)內部對算法進行設計與使用的評估控制，而數據活動監(jiān)管局從外部對數據活動顧問提供必要的援助和監(jiān)督?！盵10](p43)

算法審查面臨的棘手問題就是通過何種方式對復雜性極高，且存在于“黑箱”中的自動決策算法進行歧視性審查。零知識證明原則可以證明實際使用的決策策略，或在特定情況下達成的特定決策具有特定屬性，但不必揭示如何知道該屬性或決策策略是什么①一個經典例子是假設兩個百萬富翁出去吃午飯，二者同意更富有的人應該支付費用。不過，兩人都不愿意向對方透露其財富數額。零知識證明可以讓他們兩人都知道誰更富有（因此誰應該支付餐廳的費用），而不必透露兩者的價值。See Danielle Keats Citron，Technological Due Process，85 WASH.U.L.REV.1249，1256（2008）（describing systemic errors in the automated eligibility determinations for federal bene?fits programs）.。與前述的加密承諾相對應，假設決策者做出A、B、C三個承諾（commitment）：A代表算法設計者對于非歧視性政策的遵循承諾，B代表在特定情況下輸入A的承諾，C是對在該情況下實際達成時做出的自動化決策的承諾。這些承諾可以事先發(fā)送給監(jiān)管機構或者是可信的第三方，從而保證在算法實施期間不被篡改。當用戶提起算法審查時，算法設計者、使用者就可以公布密鑰，算法審查機關通過零知識證明原則使公眾驗證A、B和C確實相互對應。也就是說，當提交的策略A應用于輸入的數據B時，結果就是提交的結果C。如此就可以由公眾與特定審查機關完成對自動決策過程的核實。所有這些驗證過程都不披露決策政策本身，也不披露可能包含在輸入或結果中的私人數據。

更為重要的是，如果特定的自動決策受到質疑，法院或其他監(jiān)督機構可以迫使算法制定方披露其所使用的實際策略和輸入數據，用以核實算法是否符合其公布的承諾。其核心在于算法設計方雖然是在自動決策中，但也應該是遵循了某種統(tǒng)一的策略。例如，若被試的性別被顛倒，信用評分將是相同的。在這種情況下，零知識證明原則可以展示輸入與輸出關系的性質。

（二）算法解釋權

1.基于算法相對人訴求為中心的算法解釋權。如果想要對算法進行解釋，可以提供兩種解釋思路：一種是以模型為中心的解釋（MCEs），另一種是以主體為中心的解釋（SCEs）的解釋方式[22](p18-20)。以模型為中心的解釋關注的是模型本身，以了解自動化決策背后的邏輯、語境、變量與演繹表現。該解釋方式可以解決一些算法決策所涉及的程序規(guī)則性的問題，但無法兼顧對于單個數據主體對特定“有意義的信息”的解釋要求。以主體為中心的解釋模式是建立在輸入記錄的基礎上并圍繞輸入記錄形成的，只能在給定的查詢做出時予以提供，該查詢可以是真實的、虛構的或探索性的。

GDPR第13、14條規(guī)定，當數據主體的個人數據被算法使用時，應擁有獲得算法解釋的權利①對于算法解釋權，歐洲委員會基于對自動決策危害的顧慮，建議將解釋權放置在第20條，歐洲議會建議放置在序言第58條，歐洲理事會則認為不應當包含這項內容。最終妥協(xié)結果是將該內容納入序言第71條。轉引自程瑩：《元規(guī)制模式下的數據保護與算法規(guī)制——以歐盟〈通用數據保護條例〉為研究樣本》，載《法律科學》2019年第4期。，也就是數據主體擁有掌握其信息的權利。序言的表述則更加清晰，若某項算法會對個人權利產生重要影響，那么數據控制者需要參與并審查自動化決策。GDPR第12條規(guī)定，算法控制者應當以清晰和平白的語言，以一種簡潔、透明、易懂和容易獲取的形式“為數據主體提供關于自動化決策中所運用邏輯的有用信息、該處理的重要性與其可能對數據主體產生的后果”，可認為GDPR采取的更多是一種基于算法主體為中心的算法解釋。基于個體本身的算法解釋權可以回答敏感度的問題，比如更換哪些輸入值會使結果發(fā)生相反的變化，也可以解釋分類聚類的合理性問題，比如用于訓練集的哪些數據記錄與我的最相似，像我這樣的人被錯誤分類的次數是多于還是少于平均水平[22](p51-53)。

以算法相對人主體為中心的解釋更多關注的是如何在算法與受算法影響的主體間建立一種關系，從而為個體提供更有意義的解釋。該種解釋其實是在機器學習的場景下，致力于提供一些設計中的“接縫點”，將注意力從算法內部的復雜性轉向關注其輸入與輸出這樣的接縫點，從而有效回避了商業(yè)秘密、知識產權的沖突，解決了部分算法不可知的問題?；趥€體的算法解釋權對應的是模型不可知系統(tǒng)（pedagogical system），也就是基于個體查詢得到的相關信息，不太會侵犯知識產權，也不易被逆向地模仿或重塑。

因此算法解釋權應該被理解為：當數據主體認為算法決策得出的結果與自己預期不相符合時，有要求對算法設計以及運行（數據的分析處理過程）進行解釋的權利。權利主體為數據主體，而義務主體為數據控制者。解釋內容應該依據GDPR第22條第1款以及第4款所述的包括數據畫像及有關的邏輯程序和有意義信息在內的相關內容，以及此類處理對數據主體的意義和預期影響。解釋的內容應符合兩個標準：第一，具有相關性，即必須與相對人所受的具體自動化決策相關；第二，相對人能夠理解。

2.算法說明書與無條件反事實解釋。如果要進行算法解釋，那么如何解釋就需要考慮法律規(guī)制與技術規(guī)制兩個方面。對于公眾而言，無可能也無必要對每項涉及自身權益的算法都提出解釋需求，因為這樣也等于部分告別了算法統(tǒng)治下的現代社會。如果公布算法或者解釋算法邏輯與內部結構、各種因素權重確實有困難，是否可以制定類似藥品說明書的算法說明書。就像雖然制藥工藝受專利法與商業(yè)秘密保護而免于公開，但是功能主治與禁忌說明應該公開。在算法設計方向使用者公布隱私條例時，應該對主要使用算法的邏輯、目的等加以公布，對涉及的敏感因素予以提示。

如果算法相對人一旦提出了算法解釋的需求，也可以遵循無條件反射事實（unconditional counter?factual）解釋的方法：即不需要解釋內部“黑箱”的運算邏輯，而是將算法依賴的外部因素加以解釋[23](p860-861)。在不打開算法“黑箱”的條件下，了解某項算法是否存在某種價值與倫理的前置性要求，繼而實現問責①比如針對為什么減稅是適當的這一問題，政策邏輯的回應是因為減稅的先決條件是高通貨膨脹和貿易逆差，而目前的情況顯示了這些因素。而反事實解釋則是如果通貨膨脹率降低，減稅就不可取了。如果沒有貿易逆差，就不建議減稅。正常邏輯下的算法模型刻畫起來難度較大，即使在單變量的情況下，也很難解釋函數如何隨著輸入的變化而變化。若轉換為無條件反事實解釋，就轉而采用端到端的綜合方法來解決問題，函數的輸入輸出與決策邏輯就非常清楚。。我們對反事實解釋的概念取決于相關概念：無條件反事實原則不致力于解釋這個世界的因果關系，而是提供更具信息性的一組反事實解釋，從而提供反事實所對應的結果附近的不同選擇[23](p878-882)。算法模型的刻畫難度較大，即使在單變量的情況下，也很難解釋函數如何隨著輸入的變化而變化。反事實解釋的方法是以提供能夠改變決策的最小信息量的方式編制的，不需要理解算法的內部邏輯。一個單一的反事實可以顯示某個決定是如何基于某些數據做出的，而這些數據在決策做出前不會被改變，接下來只要通過計算機算出有意義的反事實。包括神經網絡、向量機和回歸器在內的許多機器學習的標準分類都是通過在一組訓練數據上找到使目標最小化的最優(yōu)權重集來進行訓練的②在這個數據集中，種族（race）是使用一個離散變量建模的，該變量只能接受標簽0或1，分別對應于“白色”或“黑色”。反事實顯示“黑色”學生會得到更好的分數。對于“黑人”學生來說，種族確實在計算出的反事實下有所不同，顯示出決定和種族之間的依賴性（這通常是受法律保護的屬性）。Wachter，Sandra，B.Mittelstadt，and C.Russell“.Counterfactual Explanations without Opening the Black Box：Automated Decisions and the GDPR.”Social Science Electronic Publishing（2017）.。比如在根據種族、法學院之前的平均分數和法學院入學考試分數（LAST）來預測法學院學生的第一年平均分數中，反事實顯示黑人學生會得到更好的分數，從而顯示這一決策與種族之間的依賴性。要求算法的設計者與使用者建立一個因果模型，并將其傳達給非專業(yè)的公眾是非常困難的。反事實繞過了解釋復雜機器學習系統(tǒng)內部工作的實質性挑戰(zhàn)，而轉變?yōu)橄驍祿黧w提供信息。這些信息既容易理解，又對決策原因的理解、挑戰(zhàn)決策與改變未來行為等卓有成效。

3.退出算法決策或者要求訂正的權利。當討論算法解釋權時，更重要的一點是賦予受算法影響者退出決策或者修改決策輸入的權利。也就是說，算法解釋只是開端，而當算法的設計者和使用者對自動決策做出解釋后，受算法影響者還有修正決策的權利[24](p73)。比如GDPR中賦予了數據主體更正、清除個人數據的權利，以及限制、拒絕算法設計者與使用者處理個人數據的權利[25](p51-52)。GDPR同樣賦予了數據主體以被遺忘權，被遺忘權不僅僅只是要求算法使用者刪除數據，也包括使其進行數據脫敏、增殖或消減數據等（比如通過增加與敏感信息并列的一系列虛構信息對抗算法，或者使某些搜索結果劣后出現）的做法[26](p150-151)。算法解釋權其實是一種通過賦權來合理分配風險，彌合算法使用者與受算法影響者間權力鴻溝的治理工具。

（三）司法審查中對歧視性因素的認定方式

如果在算法解釋中發(fā)現了歧視性因素，也并不能直接認定算法設計者需要承擔相關責任。美國司法審查中就形成了對基于主觀故意的算法歧視審查與基于無過錯的算法歧視審查兩種模式。針對算法歧視中存在主觀故意的模式，原告需要證明被告（算法設計者）存在主觀上的歧視意圖或與歧視相關的刻板印象，如能證明，被告就需承擔責任。這一原則確立于“麥克唐納道格拉斯公司訴格林”（McDonnell Douglas Corp.v.Green）①McDonnell Douglas Corp.v.Green，411 U.S.792（1973）.一案，而在“岡薩雷斯訴谷歌”案中，法院遵循的邏輯也是如此。該種模式的核心在于審查算法是否存在故意的不同待遇，而這種針對特有群體的不同待遇與刻板印象需要對算法決策起實質性作用。在原告可以用間接證據證明的情況下，就可以被認定為存在算法歧視。

由于受算法影響者對于主觀過錯的證明非常困難，于是美國法院逐漸演化出了對無過錯情況下的算法歧視審查。即不考慮算法的主觀意圖，而是觀察其客觀結果是否導致差異性影響，從而認定是否構成算法歧視。美國聯邦最高法院在“康涅狄格州訴迪爾”（Connecticut v.Teal）案中確立了該原則。受算法影響者往往不具備真正理解算法的能力，因此應采取過錯推定原則。這種情況下算法控制方會以商業(yè)必要性為抗辯理由，原告方即需要提出被告有可替代的算法程序再行反駁。在這種模式下，法院需要綜合三個方面的因素做出認定：其一是差異性影響：算法對原告產生的不利影響大于對其他一般公眾產生的不利影響。其二是商業(yè)必要性審查，考察算法行為的選擇與商業(yè)目標間是否存在直接相關性。其三是可替代算法決策評估：若存在非差異性影響的算法，就應該認定歧視②參見“阿爾伯馬爾紙業(yè)公司訴穆迪”（Albemarle Paper Co v.Moody）一案。。

四、結語：在算法時代重塑規(guī)制理念

針對自動決策算法中形成的“全景敞式”的權力與可能產生的各種偏見性因素，需要采取包容審慎的風險治理的規(guī)制理念。將鼓勵創(chuàng)新與保護用戶權益通盤考慮，提升國家的數據治理能力，重點解決算法應該如何“透明”的法律技術問題。自動決策算法可以劃分為對算法相對人有重大影響的與風險較低的兩種類別：對于低風險算法，出于運營成本與保護創(chuàng)新的考慮，應使其自主發(fā)展，保障算法相對人的退出權，并考慮引入監(jiān)管沙盒（音盒）等方式進行一定程度的責任豁免。若算法可能對相對人產生重大影響，則應該采取加密承諾、公平的隨機過程等在內的軟件驗證方式；注重人機回圈，為算法決策過程注入民主化，增加用戶體驗的反饋環(huán)節(jié)。在事后規(guī)制中，可以通過零知識證明原則、無條件反事實解釋等方法在避免打開“黑箱”的情況下對提出解釋權請求的當事人進行算法的解釋與審查，并與司法訴訟過程中差異性影響的審查方案相銜接。

本文對算法透明原則、算法解釋權與算法審計等原則的探討從原理拓展到具體的技術方案。在對自動決策算法進行規(guī)制的討論中，實質上也是在技術治理與法律治理中加以選擇，某種程度上也是在探索科技與法律的關系。技術治理遵循的是自我偏好的邏輯，而法律治理遵循的是社會共識的邏輯。這兩種路徑其實都包含技術治理與法律治理的思維，只是含量、側重點有所不同。對于算法規(guī)制這一問題而言，技術治理是不可或缺的。該考慮的是如何平衡這兩種治理手段，使得法律治理得以對技術發(fā)展做出較好的引領和歸化。