反算法歧視：理論反思與制度建構(gòu)

□張恩典

一、問(wèn)題的提出:反算法歧視面臨的一個(gè)前提性理論命題

以大數(shù)據(jù)與機(jī)器學(xué)習(xí)算法為主要驅(qū)動(dòng)力的人工智能革命席卷而來(lái)，在全面而深刻地改變經(jīng)濟(jì)、社會(huì)和生活方式的同時(shí)，也開啟人類社會(huì)的第四次工業(yè)革命①德國(guó)學(xué)者克勞斯·施瓦布認(rèn)為，我們當(dāng)前正處于第四次工業(yè)革命的開端。其特點(diǎn)在于:“同過(guò)去相比，互聯(lián)網(wǎng)變得無(wú)所不在，移動(dòng)性大幅提高；傳感器體積變得更小，性能更強(qiáng)大、成本也更低；與此同時(shí)，人工智能和機(jī)器學(xué)習(xí)也開始嶄露鋒芒?！标P(guān)于第四次工業(yè)革命的論述，參見(jiàn)[德]克勞斯·施瓦布.第四次工業(yè)革命:轉(zhuǎn)型的力量[M].李菁，譯.北京:中信出版社，2016:3-11.。大數(shù)據(jù)算法決策的核心功能在于預(yù)測(cè)。為了提高決策的精準(zhǔn)性，商業(yè)機(jī)構(gòu)和公共部門紛紛運(yùn)用機(jī)器學(xué)習(xí)算法模型作出各種決策，算法自動(dòng)決策在公私領(lǐng)域的廣泛運(yùn)用，顯露出其替代人類決策的趨勢(shì)，人類已經(jīng)逐漸進(jìn)入“算法社會(huì)”[1]。隨著算法治理術(shù)的廣泛運(yùn)用，算法歧視的問(wèn)題也逐漸顯露出來(lái)②關(guān)于算法治理術(shù)的研究，參見(jiàn)Mireille Hildebrand.Privacy，Due Process and Computational Turning:The Philosophy of Law Meets the Philosophy of Technology[M].New York:Routledge，2013:143-167.。在國(guó)外，警察在偵查活動(dòng)中廣泛運(yùn)用由算法模型系統(tǒng)主導(dǎo)的預(yù)測(cè)警務(wù)系統(tǒng)引發(fā)了社會(huì)民眾對(duì)種族歧視的擔(dān)憂[2]。在國(guó)內(nèi)，近年來(lái)，“大數(shù)據(jù)殺熟”引發(fā)社會(huì)廣泛關(guān)注和爭(zhēng)論[3]。這些關(guān)注與爭(zhēng)論，實(shí)則從不同側(cè)面反映出算法歧視問(wèn)題的嚴(yán)重性和緊迫性。置身于“算法為王”的評(píng)分社會(huì)場(chǎng)景之中，如何保障和實(shí)現(xiàn)那些全方位滲透、影響甚至操縱人類公私事務(wù)的算法決策的公正性，是一個(gè)亟待解決的重大理論和現(xiàn)實(shí)問(wèn)題[4]。為了克服和緩解算法歧視，包括法律學(xué)者在內(nèi)的專家學(xué)者正在進(jìn)行積極探索算法歧視的規(guī)制方案和路徑。從研究現(xiàn)狀來(lái)看，目前對(duì)于算法歧視的規(guī)制方案的研究主要從兩個(gè)維度展開，即技術(shù)維度和法律維度。前者將算法歧視的根源歸結(jié)為技術(shù)問(wèn)題，認(rèn)為是數(shù)據(jù)采集和算法模型設(shè)計(jì)的不合理，導(dǎo)致算法歧視的發(fā)生，并希冀透過(guò)算法模型技術(shù)的改進(jìn)來(lái)提高算法公正性，進(jìn)而解決算法歧視問(wèn)題[5]；后者則將算法歧視的根源歸咎于法律制度的缺失，并寄望于通過(guò)完善相應(yīng)法律制度來(lái)尋求緩解和規(guī)制算法歧視的制度方案[6][7]。

客觀而言，算法歧視的規(guī)制離不開技術(shù)支撐和制度規(guī)則的建構(gòu)。有關(guān)算法歧視規(guī)制的研究進(jìn)路和具體路徑對(duì)于緩解算法歧視問(wèn)題無(wú)疑具有重要意義，也為我們進(jìn)一步探索算法歧視的規(guī)制方案提供了有益參考。然而，以上兩個(gè)維度的算法歧視規(guī)制方案的探索均忽略了一個(gè)重要的前提性理論命題，即反算法歧視究竟應(yīng)當(dāng)遵循何種反歧視法理學(xué)和反歧視理論?現(xiàn)有研究進(jìn)路的問(wèn)題在于，要么未能從反歧視法理的視角來(lái)審視算法歧視的問(wèn)題，要么忽略算法歧視的特征和特殊之處，在未經(jīng)檢視的情況下徑直將傳統(tǒng)反歧視法理嫁接到算法歧視的場(chǎng)景之中。由于現(xiàn)有算法歧視規(guī)制研究在歧視理論上缺乏應(yīng)有的理論自覺(jué)，導(dǎo)致無(wú)論是算法模型的技術(shù)規(guī)制路徑，還是制度建構(gòu)維度的研究，均缺乏適當(dāng)?shù)姆雌缫暦ɡ淼睦碚摰旎?，而容易在反算法歧視的算法技術(shù)設(shè)計(jì)和制度建構(gòu)中出現(xiàn)偏頗，乃至出現(xiàn)“水土不服”的情況，進(jìn)而使得規(guī)制方案難以真正發(fā)揮反歧視的作用，甚至有可能加劇大數(shù)據(jù)時(shí)代的歧視和不平等①值得特別指出的是，目前也有學(xué)者對(duì)算法歧視引發(fā)的平等權(quán)保護(hù)模式問(wèn)題進(jìn)行反思性研究，并在一定程度上觸及反算法歧視的法理問(wèn)題。相關(guān)研究，參見(jiàn)崔靖梓.算法歧視挑戰(zhàn)下平等權(quán)保護(hù)的危機(jī)與應(yīng)對(duì)[J].法律科學(xué)，2019(3):29-42.。

筆者以為，無(wú)論是透過(guò)算法模型改進(jìn)的技術(shù)規(guī)制路徑，還是透過(guò)法律制度完善的規(guī)制方案，均需要以適當(dāng)?shù)姆雌缫暦ɡ頌榍疤犷A(yù)設(shè)，因?yàn)樗惴Ｐ驮O(shè)計(jì)與算法歧視法律制度規(guī)則設(shè)計(jì)首先要面對(duì)的基本問(wèn)題，便是算法歧視的判斷與識(shí)別問(wèn)題，而這又涉及反算法歧視的種種規(guī)制方案究竟意欲達(dá)致何種“反歧視”目標(biāo)等根本性問(wèn)題。基于此，筆者不揣淺陋，以人工智能時(shí)代為背景，在描述大數(shù)據(jù)算法歧視的類型和特征基礎(chǔ)之上，檢討傳統(tǒng)反歧視法律理論在因應(yīng)機(jī)器學(xué)習(xí)算法模型所產(chǎn)生的各種歧視問(wèn)題方面存在的不足之處，進(jìn)而提出合理調(diào)適傳統(tǒng)反歧視理論的思路，并據(jù)此提出相應(yīng)的算法歧視的制度規(guī)制方案，以期對(duì)人工智能時(shí)代的反算法歧視理論研究和制度建構(gòu)有所助益。

二、人工智能時(shí)代的算法歧視:類型與特征

人工智能時(shí)代，各種以海量數(shù)據(jù)為原料“喂食”而成的機(jī)器學(xué)習(xí)算法正在廣泛介入私人生活和公共治理領(lǐng)域。在私人領(lǐng)域，互聯(lián)網(wǎng)巨頭借助各種推薦算法模型所作出的精準(zhǔn)營(yíng)銷在很大程度上影響人們的消費(fèi)偏好；銀行機(jī)構(gòu)運(yùn)用算法模型對(duì)我們進(jìn)行信用評(píng)分，決定著人們的信用聲譽(yù)；公司運(yùn)用算法模型來(lái)判斷求職者的崗位匹配度，并據(jù)此作出是否雇傭的決策。在公共治理領(lǐng)域，公共部門正逐漸運(yùn)用機(jī)器學(xué)習(xí)算法模型來(lái)決定各種公共物品的配置與分配。算法模型不僅被運(yùn)用于城市公共安全治理和食品安全監(jiān)管活動(dòng)中，而且被運(yùn)用于扶貧資源的分配中②關(guān)于大數(shù)據(jù)、人工智能技術(shù)在城市公共安全、食品安全和精準(zhǔn)扶貧等公共治理領(lǐng)域中的運(yùn)用，請(qǐng)參見(jiàn)趙家新.江蘇深挖大數(shù)據(jù)打造智慧警務(wù)[N].人民公安報(bào)，2018-3-27(001)；鄭小梅，宣應(yīng)，鄢留寶.為食品安全監(jiān)管裝上“智慧大腦”[N].嘉興日?qǐng)?bào)，2019-4-2(3)；段虹.用大數(shù)據(jù)助力精準(zhǔn)扶貧[N].經(jīng)濟(jì)日?qǐng)?bào)，2017-2-17(15).關(guān)于人工智能技術(shù)在公共治理領(lǐng)域的運(yùn)用及其引發(fā)的行政法治隱憂的分析和闡釋，參見(jiàn)張恩典.人工智能算法決策對(duì)行政法治的挑戰(zhàn)及制度因應(yīng)[J].行政法學(xué)研究，2020(4):34-45.。由此可見(jiàn)，我們已然置身于“一個(gè)數(shù)據(jù)評(píng)級(jí)無(wú)所不在的世界，我們很多人的日常生活都被處理成了‘信號(hào)’，并作為實(shí)施獎(jiǎng)懲、給予利益和施加責(zé)任的依據(jù)”[8]32?？陀^而言，機(jī)器學(xué)習(xí)算法模型設(shè)計(jì)和運(yùn)用，蘊(yùn)含著設(shè)計(jì)者和使用者對(duì)效率和公正價(jià)值的追求，希望借由算法模型來(lái)克服人類決策的偏見(jiàn)與歧視，提高公私?jīng)Q策的客觀性和公正性，優(yōu)化公私資源配置。但是，必須看到，大數(shù)據(jù)算法決策并非如同算法設(shè)計(jì)者和使用者所鼓吹的那般天然具有公正性和客觀性，那些未經(jīng)合理約束和控制的算法模型非但不能提高效率，促進(jìn)公正，給人類帶來(lái)福祉，反而有可能給個(gè)人基本權(quán)利帶來(lái)嚴(yán)重?fù)p害，成為剝削和壓制、制造社會(huì)不平等的“數(shù)學(xué)生化武器”[9]3-22[10]。在大數(shù)據(jù)算法決策大行其道的今天，我們需要追問(wèn)和反思的一個(gè)問(wèn)題是:大數(shù)據(jù)算法是否徹底根除了潛藏在人類靈魂深處的偏見(jiàn)與歧視，抑或只是為人類的偏見(jiàn)與歧視提供了看似中立客觀的技術(shù)性包裝而已?其實(shí)，伴隨著算法決策的興起，算法歧視的問(wèn)題和爭(zhēng)論一直如影隨形，并引發(fā)持續(xù)的高度關(guān)注。下面，筆者將對(duì)算法歧視的類型與特征加以分析。

(一)算法歧視的類型分析

從算法歧視的形成機(jī)理上，可以將算法歧視加以類型化。算法歧視主要有如下幾種類型:一是用于訓(xùn)練算法模型的歷史數(shù)據(jù)本身存在偏見(jiàn)，一旦將這種存有偏見(jiàn)的、受污染的數(shù)據(jù)集用于機(jī)器學(xué)習(xí)，所訓(xùn)練的算法模型很可能會(huì)存有偏見(jiàn)。二是將種族、性別等具有顯著歧視性的數(shù)據(jù)用于算法模型的訓(xùn)練，從而導(dǎo)致歧視的發(fā)生。三是利用“代理”變量用于訓(xùn)練算法模型，例如運(yùn)用郵政編碼或者位置信息作為識(shí)別特定對(duì)象的身份、能力和偏好的代理。四是特征選擇所導(dǎo)致的歧視。目前，機(jī)器學(xué)習(xí)算法模型的訓(xùn)練主要是監(jiān)督式機(jī)器學(xué)習(xí)，即首先由算法工程師對(duì)用于訓(xùn)練的數(shù)據(jù)集進(jìn)行標(biāo)記。數(shù)據(jù)標(biāo)記的主要任務(wù)是對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行特征選擇，然后將標(biāo)記后的數(shù)據(jù)集用于算法模型的訓(xùn)練，并對(duì)機(jī)器學(xué)習(xí)過(guò)程進(jìn)行監(jiān)督糾正。算法工程師在對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行特征選擇的過(guò)程中，容易將個(gè)人的偏見(jiàn)和歧視植入特征選擇的過(guò)程之中。第五，數(shù)據(jù)質(zhì)量不高導(dǎo)致算法歧視。算法工程師收集的用于訓(xùn)練算法模型的數(shù)據(jù)集質(zhì)量不高，導(dǎo)致算法模型預(yù)測(cè)的精準(zhǔn)性不高，從而引發(fā)算法偏見(jiàn)和歧視。

由此可見(jiàn)，算法決策并非如同算法模型開發(fā)者和運(yùn)用者所標(biāo)榜的那般客觀公正，而是潛藏著各種歧視和偏見(jiàn)；同時(shí)，需要指出的是，以上是從形成機(jī)理視角對(duì)算法歧視進(jìn)行的類型化分析，旨在表明算法歧視通常容易由以上幾種方式產(chǎn)生，但并非意味著算法歧視就必然發(fā)生，其是否構(gòu)成歧視仍需根據(jù)反歧視的法理來(lái)加以判斷與識(shí)別。從理論層面，根據(jù)行為主體主觀上是否具備“歧視”意圖，將歧視界分為“主觀”的差別性待遇歧視與“客觀”的差別性影響歧視①美國(guó)學(xué)者塔爾·扎爾克主張歧視的三分法，即將歧視界分為顯性歧視、隱性歧視和差別性影響。這實(shí)際上是將差別對(duì)待這一故意歧視進(jìn)一步區(qū)分為顯性歧視與隱性歧視。參見(jiàn)Tal Zarsky，Understanding Discrimination in the Scored Society[J].Washington Law Review，2014，89(4):1384-1404.?？陀^而言，上述兩種歧視類型均有可能在算法決策中出現(xiàn)，并且在算法場(chǎng)景中，歧視總體上呈現(xiàn)出向客觀的結(jié)構(gòu)性、差別性影響歧視轉(zhuǎn)變的趨勢(shì)。

(二)算法歧視的特征描述

大數(shù)據(jù)算法決策機(jī)制與人類決策機(jī)制具有顯著差異，而算法決策的特征也在很大程度上決定了算法歧視呈現(xiàn)出不同于人類歧視的特征。

首先，算法歧視具有結(jié)構(gòu)性特征。所謂算法歧視結(jié)構(gòu)性，意指大數(shù)據(jù)算法決策所產(chǎn)生的歧視中相當(dāng)一部分是源于歷史數(shù)據(jù)中所隱藏的歧視，這些歧視經(jīng)由機(jī)器學(xué)習(xí)過(guò)程而被植入算法模型之中，從而使得算法模型自動(dòng)生成的決策中延續(xù)了歷史數(shù)據(jù)中的偏見(jiàn)。美國(guó)計(jì)算機(jī)學(xué)者斯維尼將這種由于歷史統(tǒng)計(jì)數(shù)據(jù)所產(chǎn)生的歧視稱為結(jié)構(gòu)性種族主義[11][12]272-278。算法歧視的結(jié)構(gòu)性特征給歧視的判斷和識(shí)別帶來(lái)了困難，由此也引發(fā)了一個(gè)爭(zhēng)論，即算法模型的設(shè)計(jì)者和使用者究竟是否需要對(duì)由具有偏見(jiàn)和歧視的歷史數(shù)據(jù)訓(xùn)練的算法模型所產(chǎn)生的歧視后果負(fù)責(zé)。

其次，算法歧視具有高度隱蔽性。算法決策具有高度模糊性特征。有學(xué)者將算法決策的過(guò)程形容為“算法黑箱”，其決策過(guò)程難以為普通人所理解和洞悉[8]10-12。而算法決策的黑箱效應(yīng)則源于算法決策的模糊性特征。根據(jù)美國(guó)學(xué)者珍娜·布雷爾的一項(xiàng)研究成果，算法自動(dòng)決策的模糊性主要源自于以下三個(gè)方面:第一，由于商業(yè)秘密或者國(guó)家秘密所導(dǎo)致的不透明性；第二，由于技術(shù)了解程度所導(dǎo)致的不透明性；第三，算法本身的復(fù)雜性所導(dǎo)致的不透明性[13]。算法決策的模糊性特征使其能夠以高度隱蔽、常人無(wú)法察覺(jué)的方式對(duì)個(gè)人加以區(qū)別對(duì)待。例如，在刑事司法領(lǐng)域，算法刑事司法的運(yùn)行方式通常意味著很少有機(jī)會(huì)以熟悉的方式進(jìn)行故意歧視，而算法模型訓(xùn)練的特征選擇過(guò)程創(chuàng)造了通過(guò)將種族作為輸入選項(xiàng)，或有意省略種族變量以產(chǎn)生歧視類型，或以模仿相同效果的方式選擇數(shù)量不足的變量的機(jī)會(huì)。但是，客觀而言，這種掩蓋將很難發(fā)現(xiàn)[14]。由此可見(jiàn)，算法模型的復(fù)雜性和算法決策過(guò)程的高度不透明為算法設(shè)計(jì)者和使用者提供了掩蓋歧視行為的遮羞布，而個(gè)人因無(wú)法知曉其決策過(guò)程，只能被動(dòng)接受算法開發(fā)者和運(yùn)用者以“科學(xué)客觀”之名所作出的具有差別性影響乃至帶有歧視意圖的決策結(jié)果。

第三，算法歧視具有高度單體性。以大數(shù)據(jù)分析為基礎(chǔ)的算法決策具有高度的分析能力，能夠?qū)κ挛锖腿诉M(jìn)行分類，并對(duì)個(gè)人行為進(jìn)行高度解析。大數(shù)據(jù)算法對(duì)個(gè)人的高度解析，破壞乃至消解了個(gè)人的完整性，也使得社會(huì)演變?yōu)樗^的“微粒社會(huì)”。德國(guó)學(xué)者庫(kù)克里克為我們描繪了微粒社會(huì)的理想圖景:“最理想的情況下，數(shù)據(jù)會(huì)使我們更加清楚并更加精確地定義自己的需求，我們究竟需要什么來(lái)讓我們感到舒適。數(shù)據(jù)同時(shí)將揭示我們自身，并使得生活環(huán)境盡可能確切地適應(yīng)我們的需求成為可能。這就是微粒社會(huì)的終極理想?！盵15]13在由算法模型主導(dǎo)的微粒社會(huì)中，正在發(fā)生著一場(chǎng)差異革命。而這場(chǎng)差異革命的結(jié)果則是造就一個(gè)個(gè)由各種分散的數(shù)據(jù)碎片所拼湊成的單體，具有主體性的個(gè)體被算法所肢解，并逐漸被單體所取代。在算法設(shè)計(jì)者和使用者眼中所呈現(xiàn)的只是一片片數(shù)據(jù)或數(shù)據(jù)集，以及根據(jù)這些海量動(dòng)態(tài)數(shù)據(jù)碎片所勾勒出來(lái)的用戶畫像。

借助算法模型，公共組織和商業(yè)機(jī)構(gòu)得以對(duì)以單體化形式存在的決策對(duì)象進(jìn)行完美歧視?！按髷?shù)據(jù)殺熟”便充分地向人們呈現(xiàn)了算法歧視的單體性特征①關(guān)于大數(shù)據(jù)價(jià)格歧視的識(shí)別認(rèn)定與法律規(guī)制研究，參見(jiàn)付麗霞.大數(shù)據(jù)價(jià)格歧視行為之非法性認(rèn)定研究:問(wèn)題、爭(zhēng)議與應(yīng)對(duì)[J].華中科技大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)，2020(2):95-104.。在小數(shù)據(jù)時(shí)代，如何根據(jù)消費(fèi)者的偏好需求來(lái)對(duì)其進(jìn)行差異化定價(jià)，實(shí)現(xiàn)所謂的精準(zhǔn)營(yíng)銷，一直是各大商家孜孜以求的愿望。商家受制于有限的信息獲取途徑和高額的信息獲取成本，只能基于有限的信息對(duì)消費(fèi)者的保留價(jià)格作出估計(jì)，采取所謂的不完全價(jià)格歧視。然而在大數(shù)據(jù)時(shí)代，借助于差別化定價(jià)算法模型，“從前粗放式的歧視定價(jià)行為已演化為更為精準(zhǔn)的消費(fèi)者分組。在這個(gè)過(guò)程中，商家會(huì)為我們貼上一個(gè)個(gè)標(biāo)簽，他們既會(huì)考察消費(fèi)者的價(jià)格敏感度和消費(fèi)習(xí)慣，也會(huì)綜合社會(huì)階層和脾氣秉性對(duì)分組的影響?！盵16]此時(shí)，作為個(gè)體的消費(fèi)者不見(jiàn)了，呈現(xiàn)出來(lái)的是消費(fèi)數(shù)據(jù)碎片以及根據(jù)這些數(shù)據(jù)碎片內(nèi)容所進(jìn)行的各種形形色色的分組。電商平臺(tái)利用算法模型對(duì)所收集的海量數(shù)據(jù)信息來(lái)對(duì)消費(fèi)者進(jìn)行用戶畫像，精準(zhǔn)定位其消費(fèi)偏好，并據(jù)此盡可能逼近消費(fèi)者的保留價(jià)格，以制定差異化的價(jià)格，實(shí)現(xiàn)所謂的完全價(jià)格歧視和完美的行為歧視，最大限度地攫取消費(fèi)者剩余。

第四，算法歧視具有高度系統(tǒng)連鎖性。雖然目前大多數(shù)機(jī)器學(xué)習(xí)算法是在人類工程師的監(jiān)督下進(jìn)行的，但不可否認(rèn)的是，機(jī)器學(xué)習(xí)具有相當(dāng)程度的自動(dòng)性，這也使得算法決策在一定程度上呈現(xiàn)出取代人類決策的趨向。具有自動(dòng)性的機(jī)器學(xué)習(xí)算法能夠發(fā)現(xiàn)、揭示隱藏在海量數(shù)據(jù)中的相關(guān)性，這意味著，一旦個(gè)體被算法模型判斷為來(lái)自某個(gè)受保護(hù)階層的成員而被標(biāo)記，其在某個(gè)場(chǎng)景中的數(shù)字化形象會(huì)被保留下來(lái)，并會(huì)被其他領(lǐng)域中的算法工程師作為訓(xùn)練數(shù)據(jù)用以訓(xùn)練新的算法模型，而這一新的算法模型會(huì)延續(xù)之前的偏見(jiàn)與歧視，從而在個(gè)人身上發(fā)生系統(tǒng)性歧視連鎖反應(yīng)，從而加劇社會(huì)的不平等?！叭绻腥艘坏┍毁N上了‘懶惰’‘不可靠’‘極端’或者更加糟糕的標(biāo)簽，那么他的人生可能就此毀了?！盵8]46這是因?yàn)槠渌I(lǐng)域的算法模型將極有可能參照先前算法所運(yùn)用的分類標(biāo)準(zhǔn)對(duì)個(gè)人進(jìn)行分類，再次將其歸入不良信用者、好逸惡勞者或邊際消費(fèi)者之列。

綜上所述，在大數(shù)據(jù)時(shí)代，歧視問(wèn)題仍然存在，其仍然根植于人類的腦海之中，隱藏于算法模型和數(shù)據(jù)代碼之中，并借助數(shù)學(xué)和工程學(xué)所營(yíng)造的科學(xué)、中立及客觀的形象，對(duì)普通民眾尤其是那些來(lái)自弱勢(shì)群體的人們進(jìn)行區(qū)別對(duì)待，產(chǎn)生差別性影響。在算法社會(huì)中，算法歧視所呈現(xiàn)出來(lái)的高度隱蔽性、結(jié)構(gòu)性、單體性、連鎖性等一系列特征無(wú)疑增加了歧視識(shí)別、判斷和審查的難度，給經(jīng)典反歧視法律理論帶來(lái)深刻挑戰(zhàn)。

三、算法決策語(yǔ)境下傳統(tǒng)反歧視理論的適用困境

平等一直是人類不懈追求的重要價(jià)值之一，而根植于人類內(nèi)心、深入并固化于社會(huì)生活中的歧視則成為人類實(shí)現(xiàn)平等的主要障礙。為了捍衛(wèi)平等價(jià)值，法律一直將反歧視作為重要使命。反歧視的法理與制度并非鐵板一塊，而是受到平等理念的深刻影響。

按照經(jīng)典理論，可以將平等界分為形式平等與實(shí)質(zhì)平等，基于這一區(qū)分，反歧視理論進(jìn)路界分為反分類歧視理論與反從屬歧視理論。反分類歧視理論以康德義務(wù)論為哲學(xué)基礎(chǔ)，并以形式平等為價(jià)值追求，強(qiáng)調(diào)人與人之間形式上的平等，主張不能基于人的種族、性別、宗教信仰等因素而對(duì)人加以區(qū)別對(duì)待。在歧視的判斷標(biāo)準(zhǔn)上，以義務(wù)論哲學(xué)為基礎(chǔ)的反分類歧視理論主張將是否具備歧視意圖作為認(rèn)定歧視的一個(gè)基本判斷標(biāo)準(zhǔn)，因此，在歧視判斷標(biāo)準(zhǔn)上，反分類歧視理論遵循所謂“差別待遇”標(biāo)準(zhǔn)[17]。

相較而言，反從屬歧視理論則以功利主義后果論為哲學(xué)基礎(chǔ)，并以實(shí)質(zhì)平等為價(jià)值目標(biāo)，強(qiáng)調(diào)結(jié)果上的平等，主張不能以反歧視的目的而使人受到差別性影響，進(jìn)而使其在社會(huì)中處于從屬地位。簡(jiǎn)而言之，反從屬歧視理論旨在反對(duì)立法和決定所產(chǎn)生的差別性影響。在歧視的判斷標(biāo)準(zhǔn)上，以功利主義后果論為哲學(xué)基礎(chǔ)的反從屬歧視理論主張以客觀上是否產(chǎn)生歧視后果、而并非以主觀上具備歧視意圖作為判斷是否構(gòu)成歧視的基本判斷標(biāo)準(zhǔn)，故而在歧視判斷標(biāo)準(zhǔn)上，反從屬歧視理論堅(jiān)持所謂“差別性影響”判斷標(biāo)準(zhǔn)①關(guān)于反分類歧視理論和反從屬歧視理論的分析，參見(jiàn)Reva B.Siegel.Equality Talk:Antisubordination and Anticlassification Values in Constitutional Struggles over Brown[J].Harvard Law Review， 2004， 117(5):1470-1547.Jack M Balkin， Reva B Siegel， Jack M Balkin， Reva B Siegel.The American Civil Rights Tradition:Anticlassification or Antisubordination?[J].University of Miami Law Review，2003，58(1):9-11.關(guān)于兩種反歧視理論政治哲學(xué)基礎(chǔ)的分析，參見(jiàn)Tal Z.Zarsky.An Analytic Challenge:Discrimination Theory in the Age of Predictive Analytics[J].A Journal of Law and Policy for the Information Society， 2017，14(1):11-36.。

反分類歧視理論與反從屬歧視理論脫胎于美國(guó)種族歧視問(wèn)題的政治法律論爭(zhēng)。從上述兩大反歧視理論在種族歧視問(wèn)題突出的美國(guó)社會(huì)的運(yùn)用來(lái)看，以差別待遇理論為判斷標(biāo)準(zhǔn)的反分類歧視理論和以差別性影響為判斷標(biāo)準(zhǔn)的反從屬歧視理論實(shí)屬兩大主流反歧視理論，對(duì)反歧視制度建構(gòu)和司法實(shí)踐產(chǎn)生了深刻影響，并且伴隨著顯性歧視向隱性歧視的轉(zhuǎn)向，反從屬歧視理論因其判斷標(biāo)準(zhǔn)的客觀性而具有更為廣闊的應(yīng)用前景。兩大經(jīng)典反歧視法律理論雖然源自美國(guó)種族歧視，但是由于上述反歧視理論分歧的背后實(shí)則是形式平等與實(shí)質(zhì)平等之爭(zhēng)，因而其理論的影響力是世界性的，包括歐盟和我國(guó)在內(nèi)的諸多國(guó)家地區(qū)的反歧視理論探索與制度建構(gòu)均未超越上述兩大反歧視法律理論的基本范疇。目前我國(guó)關(guān)于就業(yè)歧視、身份歧視等問(wèn)題的討論仍可整合進(jìn)上述兩大反歧視理論之中②關(guān)于美國(guó)反歧視法律理論對(duì)我國(guó)反就業(yè)歧視立法和司法實(shí)踐的影響，參見(jiàn)閻天.重思中國(guó)反就業(yè)歧視法的當(dāng)代興起[J].中外法學(xué)，2012(3):560-577.郭延軍.就業(yè)性別歧視的法律判斷標(biāo)準(zhǔn)——基于美國(guó)法律實(shí)踐的考察[J].環(huán)球法律評(píng)論，2011(6):29-42.。因此，本文將以上兩大反歧視法律理論作為檢視對(duì)象，將其置于人工智能算法決策場(chǎng)景之下加以全面考察、反思，以揭示其適用困境。

在人工智能算法自動(dòng)決策興起的背景之下，人們?cè)谙硎艽髷?shù)據(jù)算法帶來(lái)的便利的同時(shí)，也面臨著新技術(shù)引發(fā)的各種新的不平等問(wèn)題?；诖髷?shù)據(jù)算法所產(chǎn)生的各種歧視現(xiàn)象亦不斷涌現(xiàn)，既在很大程度上加劇了社會(huì)不平等，也給傳統(tǒng)反歧視理論帶來(lái)相當(dāng)程度的挑戰(zhàn)。下文中，筆者將結(jié)合算法歧視的本質(zhì)特征來(lái)檢視算法時(shí)代兩大反歧視理論所面臨的適用困境。

(一)反分類歧視理論之困境

第一，算法歧視的隱秘性特征給反分類歧視理論帶來(lái)挑戰(zhàn)。正如前述，反分類歧視理論在價(jià)值目標(biāo)上追求“形式平等”，主張立法、決策和行為均應(yīng)對(duì)所有人同等視之，不能基于個(gè)人的種族、性別、膚色、宗教信仰等而對(duì)其加以差別待遇。在大數(shù)據(jù)時(shí)代，個(gè)人數(shù)據(jù)信息被公私機(jī)構(gòu)廣泛收集，其中不乏涉及個(gè)人隱私的敏感數(shù)據(jù)，并且這些敏感數(shù)據(jù)信息連同普通數(shù)據(jù)信息一起被作為“訓(xùn)練數(shù)據(jù)”，用于機(jī)器學(xué)習(xí)算法模型的訓(xùn)練。然而，由于目前算法模型生成階段和決策階段都具有高度隱秘性和模糊性，缺乏基本的透明性，算法決策模型所運(yùn)用的數(shù)據(jù)無(wú)需公開，算法歧視以一種隱秘的方式進(jìn)行。在算法決策缺乏基本透明性的情形之下，反分類歧視理論將很難發(fā)揮作用，而且更為重要的是，按照傳統(tǒng)反分類歧視理論，將種族、性別、膚色等具有顯性歧視特征的因素排除大數(shù)據(jù)收集范圍之外，并禁止將其作為機(jī)器學(xué)習(xí)算法模型的訓(xùn)練數(shù)據(jù)，也仍然難以達(dá)到消除歧視影響的目的。因?yàn)榇髷?shù)據(jù)算法能夠借助其他替代性數(shù)據(jù)，讓那些不具有顯著歧視特征的數(shù)據(jù)作為“代理”變量，仍然能夠?qū)崿F(xiàn)歧視的目的。

第二，算法歧視的結(jié)構(gòu)性特征消解了反分類歧視理論確立的“差別待遇”判斷標(biāo)準(zhǔn)的歧視識(shí)別功能。反分類歧視理論是一種典型的主觀主義的歧視理論，這一點(diǎn)充分反映在其所確立的“差別待遇”這一歧視判斷標(biāo)準(zhǔn)上。從司法實(shí)踐觀之，“差別待遇”標(biāo)準(zhǔn)堅(jiān)持從決策主體的主觀狀態(tài)出發(fā)，要求決策主體必須具備主觀上的“歧視意圖”(discriminatory intent)，方才構(gòu)成歧視。然而，這一具有鮮明主觀主義特征的歧視判斷標(biāo)準(zhǔn)在算法歧視場(chǎng)景中，卻面臨著被懸置的極大可能。究其原因，在人工智能算法決策背景之下，“歧視意圖”這一反分類歧視要件的識(shí)別和認(rèn)定將變得異常困難。一方面，從機(jī)器學(xué)習(xí)算法模型訓(xùn)練角度觀之，算法模型訓(xùn)練所運(yùn)用的數(shù)據(jù)集相當(dāng)一部分是歷史性數(shù)據(jù)，這些數(shù)據(jù)形成于特定的社會(huì)、經(jīng)濟(jì)、文化背景之中，其中很有可能帶有特定社會(huì)場(chǎng)景中的歧視烙印。那么，如果數(shù)據(jù)訓(xùn)練者將這些歷史數(shù)據(jù)作為算法模型的訓(xùn)練數(shù)據(jù)集，是否能夠就據(jù)此認(rèn)定算法模型的運(yùn)用者具有“歧視意圖”呢?在筆者看來(lái)，按照目前的反分類歧視理論，那些由具有一定偏見(jiàn)的歷史數(shù)據(jù)所訓(xùn)練的算法模型所作出的算法決策，即使從結(jié)果上可能會(huì)產(chǎn)生歧視性后果，也不能就此反推算法模型的設(shè)計(jì)者和運(yùn)用者就具有“歧視意圖”。這意味著，算法歧視中，由于缺乏歧視意圖這一主觀要件，以“差別待遇”為判斷標(biāo)準(zhǔn)的反分類歧視理論將面臨適用困境。另一方面，從算法決策機(jī)制看，算法決策所具有的自動(dòng)性和模糊性無(wú)疑增加了歧視識(shí)別的難度，意欲證明算法模型的設(shè)計(jì)者和使用者具有“歧視意圖”將變得極為困難。

誠(chéng)如學(xué)者所言:“通過(guò)機(jī)器學(xué)習(xí)或深度學(xué)習(xí)將訓(xùn)練數(shù)據(jù)轉(zhuǎn)換為新的分類方案，并沒(méi)有明顯地映射到熟悉的人類意圖形式上?！盵14]這意味著，在算法自動(dòng)決策場(chǎng)景中，歧視行為變得更為隱蔽和不可察覺(jué)，傳統(tǒng)以“差別待遇”為標(biāo)準(zhǔn)的反分類歧視理論面臨著嚴(yán)峻挑戰(zhàn)，如需發(fā)揮作用，亟須加以適當(dāng)調(diào)整。

(二)反從屬歧視理論之困境

客觀而言，相較于呈現(xiàn)高度主觀主義色彩的反分類歧視理論所面臨的嚴(yán)峻挑戰(zhàn)，具有顯著客觀主義特征的反從屬歧視理論，因其契合了算法歧視的結(jié)構(gòu)性和系統(tǒng)性特征，在算法決策場(chǎng)景中展露出更大的適用空間。美國(guó)部分學(xué)者基于算法歧視的結(jié)構(gòu)性和系統(tǒng)性特征，主張將差別性影響作為算法歧視的判斷和識(shí)別標(biāo)準(zhǔn)[5][18]。但是，這并不意味著，以“差別性影響”為判斷標(biāo)準(zhǔn)的反從屬理論便是完美無(wú)缺的，相反，在算法決策場(chǎng)景中，其也面臨著適用上的困境，亦存在著被架空的危險(xiǎn)。

第一，強(qiáng)調(diào)群體公正的反從屬理論無(wú)法回應(yīng)算法歧視的單體性特征。反從屬歧視理論是一種結(jié)構(gòu)主義的歧視理論，它更多聚焦于政治、社會(huì)、經(jīng)濟(jì)層面的結(jié)構(gòu)性因素所導(dǎo)致的系統(tǒng)性、結(jié)構(gòu)性歧視問(wèn)題。相較于專注于“個(gè)體公正”的反分類歧視理論，反從屬歧視理論更關(guān)注“群體公正”。目前，公共和私人部門運(yùn)用算法模型作出的決策正在導(dǎo)致對(duì)社會(huì)弱勢(shì)群體的結(jié)構(gòu)性排斥和歧視，許多設(shè)計(jì)糟糕的算法模型正在加劇、惡化弱勢(shì)群體的生存境遇[9]113[19]。將專注“群體公正”的反從屬歧視理論運(yùn)用于算法決策之中，確實(shí)有助于改善那些受到算法決策系統(tǒng)性排斥和歧視的群體的社會(huì)地位，在一定程度上有助于緩解長(zhǎng)期以來(lái)存在的結(jié)構(gòu)性排斥，改善其生存境況。但是，需要注意的是，以“群體公正”為導(dǎo)向的差別性影響標(biāo)準(zhǔn)，忽視了個(gè)體公正。

在算法決策之中，除了結(jié)構(gòu)性歧視問(wèn)題之外，仍存在嚴(yán)重的個(gè)體公正問(wèn)題。正如前文所述，算法自動(dòng)決策表面上追求所謂“個(gè)性化”，然而，透過(guò)所謂個(gè)性化推薦、精準(zhǔn)化服務(wù)的光鮮外表，我們會(huì)看到，“這并不是真正針對(duì)個(gè)體的服務(wù)。模型在我們看不到的地方仍然把我們歸類為各種各樣的群體，以各種行為模式為指標(biāo)。不管最終的分析正確與否，這種不透明性都會(huì)導(dǎo)致欺詐?！盵9]190實(shí)際上，這是將個(gè)人行為和特征進(jìn)行高度解析之后再分別納入不同的組群之中，所遵循的仍是一種去個(gè)體化的邏輯理路和操作方式。而其導(dǎo)致的必然后果則是個(gè)體公正被忽視，因?yàn)樵谒惴Ｐ偷脑O(shè)計(jì)者和運(yùn)用者眼中，個(gè)體已經(jīng)不再重要，重要的只是碎片化的數(shù)據(jù)而已。誠(chéng)如美國(guó)學(xué)者盧克斯所言:“在當(dāng)今的數(shù)字時(shí)代，自我的概念主要依賴于算法的結(jié)果。人們將個(gè)人的特點(diǎn)與具體‘可知性’的特點(diǎn)的大型數(shù)據(jù)集進(jìn)行對(duì)比，尋找二者的相關(guān)性。從某種意義上講，這種做法其實(shí)就是自我的公式化。有的算法異常復(fù)雜，需要收集特定個(gè)體盡可能多的數(shù)據(jù)，才能得出結(jié)果。有的算法采用‘歸謬法’，就像在抽象派藝術(shù)中采用最粗略的‘模糊人影’來(lái)表示人一樣，追求簡(jiǎn)單化?！盵20]在算法自動(dòng)決策場(chǎng)景，單體化特征是算法歧視的基本特征。意欲規(guī)制算法自動(dòng)決策的單體化歧視，首先需要將個(gè)人作為完整的個(gè)人加以看待，關(guān)注個(gè)體公正，而并非僅僅聚焦于群體公正[21]。然而，以規(guī)制系統(tǒng)性、結(jié)構(gòu)性歧視見(jiàn)長(zhǎng)的反從屬歧視理論卻因聚焦群體公正，關(guān)注統(tǒng)計(jì)上的平等(statistical parity)，忽略了個(gè)體公正，難以有效回應(yīng)大數(shù)據(jù)時(shí)代個(gè)體所面臨的具有高度單體性特征的歧視類型[22]。

第二，反從屬歧視理論的差別性影響標(biāo)準(zhǔn)在算法決策場(chǎng)景中容易被架空。不同于反分類歧視理論的差別待遇標(biāo)準(zhǔn)的主觀主義特質(zhì)，反從屬歧視理論的差別性影響標(biāo)準(zhǔn)是從特定決策行為所產(chǎn)生的外部影響上來(lái)判斷行為人是否構(gòu)成歧視，而并不關(guān)心行為人主觀上是否具備歧視意圖，即只要當(dāng)特定行為造成受保護(hù)階層不成比例地承受負(fù)面結(jié)果，造成所謂差別性影響，便極有可能構(gòu)成歧視。但是，為了防止差別性影響標(biāo)準(zhǔn)在實(shí)踐中的泛化，在適用差別性影響標(biāo)準(zhǔn)判斷歧視行為時(shí)，還增加了一個(gè)豁免條件，即行為人如能證明其所作出的決策行為是考慮了與其決策的“相關(guān)性”因素，便不構(gòu)成歧視。換言之，即使決策在客觀上造成了差別性影響，決策者仍然能夠借由證明其行為考慮了與特定決策相關(guān)因素而得到豁免，進(jìn)而被判定為不構(gòu)成歧視。以雇傭決策為例，按照差別性影響標(biāo)準(zhǔn)，雇主如果能夠證明其在雇傭決策中是在考慮與工作相關(guān)的因素的基礎(chǔ)上所作出的決策，即使其行為導(dǎo)致大量弱勢(shì)群體不成比例地被拒絕雇傭，其雇傭決策行為仍具正當(dāng)性而不構(gòu)成歧視。

相較于具有高度主觀性的“歧視意圖”而言，差別性影響標(biāo)準(zhǔn)具有高度客觀性。在算法決策場(chǎng)景中，依據(jù)這一標(biāo)準(zhǔn)將使得歧視更容易判斷識(shí)別。反從屬理論所秉持的這一客觀歧視標(biāo)準(zhǔn)，相對(duì)更適合算法自動(dòng)決策場(chǎng)景中因?yàn)闅v史數(shù)據(jù)和數(shù)據(jù)質(zhì)量不高所帶來(lái)的大量的結(jié)構(gòu)性和系統(tǒng)性歧視。但是，目前，差別性影響標(biāo)準(zhǔn)附加的考慮決策“相關(guān)性”因素的豁免條件，使得算法模型的開發(fā)者和運(yùn)用者可以以“相關(guān)性”為由主張歧視豁免，亦即即使其運(yùn)用算法模型作出了導(dǎo)致實(shí)質(zhì)性不平等后果，造成所謂“差別性影響”的決策，亦不構(gòu)成歧視，無(wú)須承擔(dān)法律責(zé)任。

綜上所述，隨著人工智能算法決策的興起，算法自動(dòng)決策所帶來(lái)的歧視問(wèn)題給反分類理論和反從屬理論這兩大傳統(tǒng)歧視理論均帶來(lái)相當(dāng)程度的挑戰(zhàn)，兩大歧視理論及其歧視判斷標(biāo)準(zhǔn)在算法決策場(chǎng)景中均存在適用上的困境，亟待加以合理調(diào)適，以因應(yīng)人工智能時(shí)代的算法歧視問(wèn)題。

四、基于算法決策場(chǎng)景的反歧視理論調(diào)適

面對(duì)兩大經(jīng)典歧視理論在大數(shù)據(jù)算法歧視的判斷和規(guī)制實(shí)踐中所面臨的適用困境，需要對(duì)傳統(tǒng)歧視理論加以適當(dāng)?shù)男迾?gòu)，期待借由理論的進(jìn)一步完善，能夠適應(yīng)算法自動(dòng)決策場(chǎng)景，并發(fā)揮反歧視理論在反算法歧視方面的功能，以遏制人工智能時(shí)代算法歧視肆意蔓延的態(tài)勢(shì)。

(一)反分類歧視理論之修構(gòu)

在算法自動(dòng)決策場(chǎng)景中，算法歧視的結(jié)構(gòu)性特征確實(shí)導(dǎo)致傳統(tǒng)反分類歧視理論的適用空間被大幅壓縮，但是，這并不意味著反分類歧視理論便完全式微，筆者認(rèn)為，在經(jīng)過(guò)適當(dāng)調(diào)適之后，該歧視理論在大數(shù)據(jù)時(shí)代仍能夠煥發(fā)強(qiáng)大生命力。其具體完善路徑分為微觀和宏觀兩個(gè)層面。

首先，在微觀層面，宜對(duì)反分類歧視理論加以適當(dāng)調(diào)整，放寬差別待遇判斷標(biāo)準(zhǔn)，將間接的隱性歧視(implicit bias)納入其中。根據(jù)歧視行為主觀性的程度差異，可以將歧視分為顯性歧視(expilict bias)、隱性歧視與差別性影響。其中，顯性歧視是直接的、故意的歧視；隱性歧視是間接的、非故意的歧視；差別性影響則對(duì)歧視行為實(shí)施者的主觀態(tài)度不做要求，而從客觀后果上對(duì)歧視行為加以判斷。隱性歧視與顯性歧視的關(guān)鍵差別之處在于:顯性歧視直接將種族、膚色、性別作為區(qū)別待遇的考量因素，而隱性歧視往往采用其他更為間接的因素作為區(qū)別對(duì)待的考量因素，因此其在歧視意圖的認(rèn)定上也更為困難?，F(xiàn)實(shí)中，從主觀上看，在隱性歧視中，與顯性歧視直接進(jìn)行歧視、并追求歧視后果的發(fā)生不同，歧視行為實(shí)施者在主觀上更多呈現(xiàn)出間接放任或疏忽大意的態(tài)度。在算法決策場(chǎng)景中，隱性歧視大量存在。根據(jù)美國(guó)學(xué)者塔爾·扎爾克的研究，在算法決策場(chǎng)景中，隱性歧視主要包括掩飾、潛意識(shí)歧視、依賴受污染的數(shù)據(jù)集和工具和公然的運(yùn)用“代理”變量四種類型[23]。此時(shí)，由于并未將種族、膚色、性別直接作為變量，主觀上缺乏故意的歧視意圖，按照現(xiàn)有反分類歧視理論難以認(rèn)定其構(gòu)成歧視。為了回應(yīng)算法決策場(chǎng)景的歧視判斷難題，可以考慮引入隱性歧視概念，并在歧視意圖判斷標(biāo)準(zhǔn)上適當(dāng)放寬，將算法開發(fā)者和運(yùn)用者在算法決策中的間接故意和疏忽大意也納入歧視意圖范疇之中。具體而言，在算法歧視的判斷中，不要求算法模型運(yùn)用者在算法決策中必須具有直接故意歧視意圖，只要其未盡到審慎的審查義務(wù)，將那些與種族、膚色、宗教信仰等特征高度關(guān)聯(lián)的“代理”變量運(yùn)用于算法決策之中，不顧及歧視后果發(fā)生可能性，便構(gòu)成間接歧視意圖，進(jìn)而構(gòu)成隱性歧視。歧視意圖標(biāo)準(zhǔn)的放寬，將使得證明算法模型的設(shè)計(jì)者和運(yùn)用者具有主觀上的歧視意圖的難度顯著降低，證明其行為構(gòu)成歧視的難度亦將會(huì)隨之降低，從而避免出現(xiàn)大量的實(shí)質(zhì)性算法歧視行為因難以證明其主觀歧視意圖的存在而無(wú)法追究責(zé)任的情形。

其次，在宏觀層面上，宜將反刻板印象歧視理論吸收整合到反分類歧視理論之中，實(shí)現(xiàn)反分類歧視理論的更新?！翱贪逵∠笞罨镜亩x是，他們是對(duì)群體特征的確信”[24]。刻板印象的形成有著深厚的認(rèn)知心理學(xué)基礎(chǔ)，人類對(duì)于外部事物的認(rèn)知和理解常常借助于固有的觀念。作為人類與生俱來(lái)的一種認(rèn)知方式，刻板印象因具有深刻的認(rèn)知基礎(chǔ)而難以克服，但是，一旦這種刻板印象轉(zhuǎn)化為具體的行為、并有可能對(duì)他人造成歧視時(shí)，則需要納入法律的調(diào)整范圍[25]。反刻板印象理論旨在反對(duì)這種基于經(jīng)濟(jì)、社會(huì)、文化等因素所形成的刻板印象而對(duì)特定主體進(jìn)行差別對(duì)待。例如，在女性就業(yè)問(wèn)題上，雇主通常是長(zhǎng)期以來(lái)基于特定經(jīng)濟(jì)社會(huì)文化所形成的對(duì)女性群體的固定刻板印象而作出某一特定的女性個(gè)體是否適合該份工作的判斷，進(jìn)而作出是否雇傭的決策。反刻板印象歧視理論認(rèn)為，這種基于對(duì)女性群體的刻板印象來(lái)看待特定女性的做法對(duì)該女性而言顯然是不公平的。近年來(lái)，反刻板印象歧視理論也逐漸成為一個(gè)重要的反歧視理論，并在反歧視司法實(shí)踐中日漸受到重視①M(fèi)issouri v.Jenkins， 515 U.S.70， 120-21(1995).。在美國(guó)法院審理的J.E.B.v.Alabama ex rel.TB.案例中，法院認(rèn)為“那種旨在認(rèn)可和延續(xù)關(guān)于男女相對(duì)能力的令人不快的、過(guò)時(shí)的和過(guò)分的刻板印象歧視違反了平等保護(hù)”②511 U.S.127，137-46(1994).。筆者認(rèn)為，鑒于算法歧視的單體性特征，宜將反刻板印象理論整合進(jìn)反從屬理論，將反刻板印象作為反算法歧視的一個(gè)重要目標(biāo)。理由如下所述。

一方面，兩者具有重要理論淵源，為理論整合提供了可能性。兩大反歧視理論具有重要理論淵源表現(xiàn)在:無(wú)論是反分類歧視理論，還是反刻板印象歧視理論，均是廣義上的反分類歧視理論，即都反對(duì)參照特定的分類來(lái)對(duì)人加以差別對(duì)待；兩者都要求平等對(duì)待個(gè)體。從寬泛意義上，反分類歧視理論蘊(yùn)含著將個(gè)人作為獨(dú)立的個(gè)體而非某個(gè)特定群體的成員來(lái)對(duì)待的要求，由此，反刻板印象歧視理論構(gòu)成了反分類理論的下位概念。由于共享相同的理論淵源，將兩者進(jìn)行理論整合具有了可能性。當(dāng)然，從核心含義上，兩者存在著一定的差別。反分類歧視理論要求對(duì)來(lái)自不同的群體的個(gè)體進(jìn)行平等對(duì)待，如對(duì)來(lái)自男性群體中的A與來(lái)自女性群體中的B平等對(duì)待；而反刻板印象歧視理論則要求將來(lái)自某一群體的A作為個(gè)體來(lái)加以對(duì)待，以使得A從人們對(duì)某一群體所形成的刻板印象中擺脫出來(lái)[21]。換言之，反分類歧視理論中的平等對(duì)待是無(wú)論種族、性別、宗教信仰等因素的平等對(duì)待，而反刻板印象歧視理論的平等對(duì)待是將特定主體作為個(gè)人來(lái)加以對(duì)待，而非基于特定群體的統(tǒng)計(jì)數(shù)據(jù)所形成的刻板印象來(lái)對(duì)待個(gè)人，這就使得個(gè)人得以從分類化的群體中獨(dú)立出來(lái)，被作為個(gè)人來(lái)加以對(duì)待，有利于保證個(gè)人的完整性。

另一方面，反刻板印象歧視理論具有的反算法歧視功能為理論整合提供了必要性。正如前述，在由機(jī)器學(xué)習(xí)算法所主導(dǎo)的算法社會(huì)中，大數(shù)據(jù)算法決策所遵循的是物以類聚、人以群分的分類邏輯，算法社會(huì)是一個(gè)典型的分類社會(huì)[26]。大數(shù)據(jù)算法決策的分類邏輯是去個(gè)體化，在此過(guò)程中，個(gè)人的完整性和自然秉性被算法模型借由各自分格技術(shù)高度透析、消解。在算法決策場(chǎng)景中，機(jī)器學(xué)習(xí)算法模型通常運(yùn)用各種數(shù)據(jù)參數(shù)來(lái)建構(gòu)一個(gè)標(biāo)準(zhǔn)的、并符合算法設(shè)計(jì)者預(yù)期的完美“主體”形象，然后將這個(gè)完美的主體形象用以評(píng)價(jià)真實(shí)的個(gè)體，這個(gè)由算法模型生成的完美的主體形象實(shí)則成為評(píng)價(jià)個(gè)體的基本參照系。以算法雇傭決策為例，雇傭算法模型的開發(fā)者在算法模型的訓(xùn)練過(guò)程中，需要事先運(yùn)用各種歷史招聘和員工日常工作表現(xiàn)等數(shù)據(jù)參數(shù)訓(xùn)練出一個(gè)理想的“好雇員”模型，然后按照這一“好雇員”模型來(lái)判斷應(yīng)聘者是否符合該模型，進(jìn)而作出是否雇傭的決定。然而，這一由機(jī)器學(xué)習(xí)算法所生成的“好雇員”模型本身可能是基于對(duì)特定弱勢(shì)群體的刻板印象。由此可見(jiàn)，在機(jī)器學(xué)習(xí)算法模型的生成過(guò)程中，算法模型設(shè)計(jì)者所試圖建構(gòu)的標(biāo)準(zhǔn)化形象，以及據(jù)此所收集用以訓(xùn)練算法的數(shù)據(jù)集等一系列行動(dòng)，均有可能是在對(duì)特定弱勢(shì)群體持某種負(fù)面刻板印象的前提下展開的。

在機(jī)器學(xué)習(xí)算法大行其道的今天，算法模型的設(shè)計(jì)者和使用者得以隱秘地將其對(duì)特定群體的刻板印象植入算法模型之中，進(jìn)而透過(guò)算法自動(dòng)決策對(duì)特定個(gè)人和群體加以差別對(duì)待。反刻板印象歧視理論則旨在要求將個(gè)體與其所從屬的類別區(qū)別來(lái)看，將其作為獨(dú)立的個(gè)體來(lái)加以對(duì)待，而不能將那些業(yè)已形成的對(duì)其所從屬的群體的刻板印象作為評(píng)價(jià)其個(gè)人的判斷標(biāo)準(zhǔn)。反刻板印象歧視理論這一將個(gè)人作為個(gè)體來(lái)加以看待的基本教義，與以分類為基本特征的算法社會(huì)正在興起的一項(xiàng)重要權(quán)利類型——請(qǐng)求作為個(gè)人加以對(duì)待的權(quán)利——可謂不謀而合③關(guān)于統(tǒng)計(jì)歧視與請(qǐng)求作為個(gè)人加以對(duì)待的權(quán)利的關(guān)系的分析，參見(jiàn)Kasper Lippert-Rasmussen.We are all Different:Statistical Discrimination and the Right to be Treated as an Individual[J].The Journal of Ethics， 2011， 15:47-59.。反刻板印象歧視理論因其主張將個(gè)人作為獨(dú)立的個(gè)人而非分類群組中一員來(lái)加以對(duì)待，從而使得個(gè)人得以在很大程度上擺脫那些基于刻板印象的算法模型所作出的決策[21]。當(dāng)算法設(shè)計(jì)者基于對(duì)特定群體的刻板印象而收集帶有偏見(jiàn)的數(shù)據(jù)，將其運(yùn)用于訓(xùn)練算法模型時(shí)，并運(yùn)用該算法模型作出針對(duì)該特定主體的決策，該特定主體可以基于反刻板印象歧視理論主張算法模型的設(shè)計(jì)者或使用者的行為構(gòu)成歧視，并要求其承擔(dān)相應(yīng)責(zé)任。

(二)反從屬歧視理論之修構(gòu)

在算法自動(dòng)場(chǎng)景中，反從屬歧視理論相對(duì)而言具有更為廣闊的前景。但是，正如前述，其也面臨被架空的威脅。反從屬歧視理論的差別性影響標(biāo)準(zhǔn)在具體實(shí)踐中采用“相關(guān)性”的豁免條件時(shí)，決策者能夠以特定因素之考量與決定之間具有“相關(guān)性”為由，證明其行為的正當(dāng)性，因此不構(gòu)成歧視，其決策對(duì)特定群體造成不成比例的負(fù)面影響而無(wú)須承擔(dān)相應(yīng)責(zé)任。實(shí)踐中，差別性影響標(biāo)準(zhǔn)寬泛的“相關(guān)性”無(wú)法緩解算法歧視問(wèn)題，反而可能加劇算法歧視。

通常而言，相關(guān)性豁免條件只需要證明特定因素或變量之考量與某一決定之間存在統(tǒng)計(jì)學(xué)意義上的相關(guān)性即可。相關(guān)性是一個(gè)非常寬泛的標(biāo)準(zhǔn)，這對(duì)于大數(shù)據(jù)算法決策而言更是輕而易舉，大數(shù)據(jù)算法模型的核心功能就在于能夠發(fā)現(xiàn)海量數(shù)據(jù)之間潛藏的相關(guān)性。但是發(fā)現(xiàn)事物之間的統(tǒng)計(jì)學(xué)意義上的相關(guān)性并不意味著兩者之間就存在因果關(guān)系，更不意味著對(duì)這種相關(guān)性運(yùn)用就具有正當(dāng)性。誠(chéng)如學(xué)者所言:“算法發(fā)現(xiàn)某種相關(guān)性，并不一定意味著我們就可以利用這種相關(guān)性”[12]275。例如，大數(shù)據(jù)算法模型發(fā)現(xiàn)黑人具有較高的再犯率，是否據(jù)此就能以種族、膚色作為判斷其再犯風(fēng)險(xiǎn)的相關(guān)性因素呢?答案顯然是否定的。必要性豁免條件要求決策者證明其在特定決策中將某一因素或數(shù)據(jù)變量納入考量范圍，對(duì)于改善決策結(jié)果、實(shí)現(xiàn)特定的決策目標(biāo)而言，具有顯著的正當(dāng)性。例如，某一特定因素或數(shù)據(jù)變量真實(shí)地、準(zhǔn)確地顯示其影響到?jīng)Q策的績(jī)效，根據(jù)必要性豁免條件，要求算法模型的開發(fā)者和運(yùn)用者證明其在算法決策中所考量的因素或者運(yùn)用的數(shù)據(jù)變量與特定決策之間具有正當(dāng)性，真實(shí)準(zhǔn)確地揭示出兩者之間的關(guān)聯(lián)，將其納入考量范圍是合理甄別而非歧視。較之于寬泛的相關(guān)性豁免條件，必要性豁免條件則更為嚴(yán)格。對(duì)于算法模型的開發(fā)者和運(yùn)用者而言，必要性豁免條件要求其對(duì)造成差別性影響的特定決策的合理性和正當(dāng)性作出解釋說(shuō)明，實(shí)則是對(duì)其苛以更高的證明標(biāo)準(zhǔn)，無(wú)疑增加了證明難度。因此，為了充分發(fā)揮差別性影響標(biāo)準(zhǔn)在識(shí)別、判斷以及規(guī)制算法歧視的功能，宜提高差別性影響標(biāo)準(zhǔn)的豁免門檻，以更為嚴(yán)格的“必要性”豁免條件替代寬松的“相關(guān)性”豁免條件。

以雇傭決策為例，按照必要性豁免條件，算法模型的設(shè)計(jì)者和使用者僅證明某個(gè)數(shù)據(jù)變量與雇傭決策具有“工作相關(guān)性”(job-relateness)是不夠的，算法模型的使用者和設(shè)計(jì)者還應(yīng)當(dāng)證明在算法模型的設(shè)計(jì)中使用的這些數(shù)據(jù)變量具有“業(yè)務(wù)必要性”(business necessity)。換言之，單純以統(tǒng)計(jì)學(xué)上的相關(guān)性并不足以證明算法模型的使用者和設(shè)計(jì)者作出雇傭決定的正當(dāng)性，而是需要證明其運(yùn)用雇傭算法模型訓(xùn)練的的某一因素或變量與工作績(jī)效之間存在顯著的關(guān)聯(lián)性和必要性，而且當(dāng)原告能夠證明存在歧視后果更少的替代性措施時(shí)，作為雇傭算法模型運(yùn)用者的被告以“業(yè)務(wù)必要性”的理由請(qǐng)求豁免承擔(dān)歧視責(zé)任的訴求將不能成立[21]。提高差別性影響標(biāo)準(zhǔn)的豁免門檻，旨在防止大量對(duì)弱勢(shì)群體產(chǎn)生不成比例的負(fù)面影響的歧視行為出現(xiàn)逸脫現(xiàn)象，真正發(fā)揮差別性影響標(biāo)準(zhǔn)在識(shí)別、判斷和規(guī)制算法歧視中的重要功能。

五、反算法歧視之制度建構(gòu)

在算法自動(dòng)決策中，“受優(yōu)待和受歧視的群體主要是在計(jì)算的過(guò)程中才能被區(qū)分開來(lái)。法律不再是為平等的人而撰寫，我們需要生產(chǎn)出‘平等者’，使得他們服從這樣的規(guī)則”[15]120。這意味著，大數(shù)據(jù)算法正在逐漸改變歧視的產(chǎn)生方式，而且對(duì)于歧視的規(guī)制也日益依賴于算法模型開發(fā)設(shè)計(jì)中的倫理植入。誠(chéng)如學(xué)者所言:“對(duì)算法嵌入倫理道德的價(jià)值是有必要的，它強(qiáng)調(diào)設(shè)計(jì)符合倫理原則的算法，為人類提供幫助或者算法自身在某種程度上具有倫理決策的能力?！盵27]技術(shù)專家和倫理學(xué)者在算法歧視規(guī)制中無(wú)疑占據(jù)重要地位，但仍離不開相應(yīng)的制度支撐。筆者認(rèn)為，在反算法歧視的制度規(guī)則的建構(gòu)中，應(yīng)以反算法歧視理論價(jià)值和反歧視目標(biāo)定位為基本遵循，貫徹“通過(guò)設(shè)計(jì)實(shí)現(xiàn)公平”的規(guī)制原則[28]，根據(jù)算法歧視類型、特征加以類型化制度建構(gòu)。具體而言，一方面，以反分類歧視目標(biāo)為宗旨，建立健全數(shù)據(jù)清潔制度，強(qiáng)化對(duì)算法模型訓(xùn)練數(shù)據(jù)的事前清潔處理；另一方面，以反從屬歧視目標(biāo)為宗旨，盡快建立算法歧視影響評(píng)估制度，通過(guò)對(duì)擬投入使用的算法模型的潛在歧視風(fēng)險(xiǎn)進(jìn)行預(yù)測(cè)評(píng)估。同時(shí)，建立算法模型運(yùn)行動(dòng)態(tài)審查制度，根據(jù)兩大反歧視目標(biāo)，對(duì)算法模型進(jìn)行全過(guò)程動(dòng)態(tài)審查，以發(fā)現(xiàn)歧視后果或潛在歧視風(fēng)險(xiǎn)。

(一)建立數(shù)據(jù)清潔制度

在大數(shù)據(jù)算法決策場(chǎng)景中，形式平等仍然是算法社會(huì)的重要追求，算法自動(dòng)決策仍需滿足形式平等的要求。為了實(shí)現(xiàn)算法自動(dòng)決策的形式平等，應(yīng)當(dāng)建立算法模型的事前數(shù)據(jù)清潔制度，明確算法模型的設(shè)計(jì)者的數(shù)據(jù)清潔義務(wù)和責(zé)任，禁止將具有顯著歧視性特征的數(shù)據(jù)作為算法模型的訓(xùn)練數(shù)據(jù)。這意味著，在特定算法模型訓(xùn)練和設(shè)計(jì)之前，需要對(duì)用于算法模型訓(xùn)練的數(shù)據(jù)進(jìn)行清潔。首先，將諸如種族、性別、年齡、宗教信仰等具有顯著歧視性特征的數(shù)據(jù)排除；其次，對(duì)于算法模型設(shè)計(jì)者在算法使用“郵政編碼”“地域”等數(shù)據(jù)作為“代理”時(shí)予以禁止，這些數(shù)據(jù)在歧視性程度上雖沒(méi)有種族、性別、年齡等顯著，但其仍然具有明顯的歧視特征，因此，對(duì)于這些具有“歧視特征”的數(shù)據(jù)應(yīng)當(dāng)予以排除，禁止將其作為算法模型的訓(xùn)練數(shù)據(jù)，以盡可能確保算法模型在種族、性別、年齡、宗教信仰等方面的“中立性”。盡管有學(xué)者認(rèn)為，禁止種族、性別、年齡、宗教信仰乃至于地域等與種族具有高度關(guān)聯(lián)的“代理”數(shù)據(jù)運(yùn)用于算法模型的訓(xùn)練，將會(huì)造成算法決策的準(zhǔn)確度降低，不利于算法自動(dòng)決策功能的發(fā)揮，甚至?xí)种苿?chuàng)新[29]?？陀^而言，將上述具有顯著歧視性特征的數(shù)據(jù)排除算法模型之外，確實(shí)在一定程度上會(huì)降低算法決策預(yù)測(cè)的精準(zhǔn)性，但是，筆者認(rèn)為，算法決策預(yù)測(cè)精準(zhǔn)性的提高不能以犧牲公民所享有的平等保護(hù)這一基本權(quán)利為代價(jià)，不能單純?yōu)榱颂岣咚^的決策效率而讓人們?cè)馐懿黄降鹊膮^(qū)別對(duì)待，而應(yīng)當(dāng)在確保形式平等的基礎(chǔ)上，追求決策效率。從這個(gè)意義上而言，針對(duì)算法自動(dòng)決策中存在的差別待遇歧視，建立事先的算法數(shù)據(jù)清潔制度尤為必要，這是保證算法決策形式平等的重要機(jī)制。

(二)建立算法歧視動(dòng)態(tài)審查制度

機(jī)器學(xué)習(xí)算法具有高度的自動(dòng)性，算法模型能夠發(fā)現(xiàn)海量數(shù)據(jù)之間潛在的相關(guān)性，并在算法訓(xùn)練和運(yùn)行過(guò)程中，產(chǎn)生算法設(shè)計(jì)者意想不到的歧視后果。針對(duì)這種情形，宜建立復(fù)合性算法動(dòng)態(tài)審查制度。首先，在審查方式上，宜采取定期審查與不定期審查相結(jié)合，以發(fā)現(xiàn)算法模型和算法決策中的歧視。其次，在審查內(nèi)容上，宜采行過(guò)程審查與結(jié)果審查相結(jié)合，一方面，對(duì)算法模型的輸入數(shù)據(jù)和過(guò)程是否具有歧視進(jìn)行審查；另一方面，對(duì)算法模型所輸出的結(jié)果即算法自動(dòng)決策后果是否具有歧視進(jìn)行審查。第三，在算法歧視審查標(biāo)準(zhǔn)上，應(yīng)當(dāng)堅(jiān)持差別對(duì)待標(biāo)準(zhǔn)與差別性影響標(biāo)準(zhǔn)相結(jié)合，既要審查算法模型設(shè)計(jì)中是否具有差別對(duì)待的主觀歧視，又要審查算法模型的輸出結(jié)果是否對(duì)受保護(hù)群體產(chǎn)生不成比例的歧視后果。同時(shí)，鑒于算法自動(dòng)決策場(chǎng)景中結(jié)構(gòu)性、系統(tǒng)性歧視大量增加，宜將這種客觀、隱性的歧視作為審查重點(diǎn)，采用上文修改后的差別性影響標(biāo)準(zhǔn)，對(duì)此類算法歧視進(jìn)行識(shí)別和規(guī)制[30]。

(三)建立算法歧視影響評(píng)估制度

在大數(shù)據(jù)算法決策場(chǎng)景中，歧視具有高度的隱蔽性，歧視的判斷和識(shí)別在算法模型的遮蔽下變得更為困難，此時(shí)往往需要從算法模型輸出的后果上加以判斷和識(shí)別。面對(duì)算法自動(dòng)決策給受保護(hù)群體造成的系統(tǒng)性歧視后果，反算法歧視還需要以實(shí)質(zhì)平等作為重要價(jià)值追求。因此，在具體制度建構(gòu)上，可以參酌環(huán)境影響評(píng)價(jià)制度，建立算法歧視影響評(píng)估制度[31]。算法歧視影響評(píng)估制度是采取算法平權(quán)行動(dòng)的重要步驟[32]。這一制度要求在算法模型設(shè)計(jì)完成后、投入使用前，由專門機(jī)構(gòu)對(duì)算法可能造成的潛在歧視影響進(jìn)行事前評(píng)估，尤其要對(duì)其是否將對(duì)特定受保護(hù)群體產(chǎn)生不成比例的差別性影響加以評(píng)估。如經(jīng)過(guò)評(píng)估后，發(fā)現(xiàn)擬投入使用的算法模型將產(chǎn)生潛在的歧視性后果，則不得將此算法模型投入使用。為了確保算法歧視影響評(píng)估制度真正發(fā)揮作用，需要對(duì)該制度加以合理建構(gòu)。

具體而言，第一，在算法歧視影響評(píng)估主體上，從保證算法影響評(píng)估中立性和專業(yè)性角度而言，宜由專業(yè)的、第三方評(píng)估機(jī)構(gòu)進(jìn)行評(píng)估。第二，在算法歧視評(píng)估范圍上，一方面是針對(duì)擬投入運(yùn)行的算法模型的歧視性影響進(jìn)行評(píng)價(jià)，另一方面，需要除算法模型決策之外的替代性方案的潛在歧視性影響也應(yīng)納入評(píng)估范圍，從而判斷算法模型決策是否是優(yōu)先選擇。第三，建立算法歧視影響評(píng)估報(bào)告披露制度。為了保證算法歧視影響評(píng)估活動(dòng)的公開透明，算法歧視影響評(píng)估機(jī)構(gòu)應(yīng)當(dāng)以適當(dāng)?shù)姆绞綄?duì)特定算法模型所作出的評(píng)估報(bào)告予以披露，披露對(duì)象主要是針對(duì)潛在受算法決策影響的主體。第四，建立算法歧視影響評(píng)估公眾參與機(jī)制。算法歧視影響評(píng)估公眾參與機(jī)制是保障算法評(píng)估活動(dòng)公正、透明的一項(xiàng)重要制度。在由專業(yè)機(jī)構(gòu)主導(dǎo)算法歧視影響評(píng)估活動(dòng)中，選擇一些具有較高專業(yè)知識(shí)背景、且受到算法模型決策潛在影響的公眾參與到算法模型評(píng)估活動(dòng)中，能夠在一定程度上發(fā)揮監(jiān)督算法歧視影響評(píng)估活動(dòng)、表達(dá)合理利益訴求的功能。

上述算法歧視規(guī)制制度的建立，能夠形成一套貫穿于算法模型設(shè)計(jì)和算法自動(dòng)決策全過(guò)程的算法歧視識(shí)別與規(guī)制方案，有助于緩解算法自動(dòng)決策造成的歧視，并在很大程度上實(shí)現(xiàn)算法公正。當(dāng)然，在算法歧視規(guī)制實(shí)踐中，需要根據(jù)反歧視的目標(biāo)預(yù)設(shè)，有針對(duì)性地選擇運(yùn)用相應(yīng)的制度方案。如果在具體算法決策場(chǎng)景中，算法研發(fā)者和運(yùn)用者更多地追求形式平等，要健全機(jī)構(gòu)內(nèi)部數(shù)據(jù)清潔制度。例如設(shè)立負(fù)責(zé)內(nèi)部數(shù)據(jù)清潔的組織或人員，完善數(shù)據(jù)清潔流程，以保證數(shù)據(jù)清潔工作落到實(shí)處。如果在特定算法決策場(chǎng)景中，算法研發(fā)者和運(yùn)用者更多地追求實(shí)質(zhì)平等，則要建立健全機(jī)構(gòu)內(nèi)部的算法歧視影響評(píng)估機(jī)制。數(shù)據(jù)和算法管理部門則要盡快出臺(tái)數(shù)據(jù)清潔和算法歧視影響評(píng)估方面的規(guī)范指引，以為算法開發(fā)和運(yùn)用機(jī)構(gòu)展開反算法歧視的內(nèi)部合規(guī)管理活動(dòng)提供規(guī)范引導(dǎo)。

六、結(jié)語(yǔ)

平等是人類不懈的價(jià)值追求，在漫長(zhǎng)的人類社會(huì)中，人類為爭(zhēng)取平等付出了艱辛努力，乃至殊死的斗爭(zhēng)。反歧視法律理論正是人類長(zhǎng)期以來(lái)通過(guò)法律反對(duì)歧視、尋求平等的智慧結(jié)晶。置身于由大數(shù)據(jù)算法驅(qū)動(dòng)的人工智能時(shí)代，人類反對(duì)歧視、尋求平等的理想愿景并沒(méi)有因此改變。在很大意義上，大數(shù)據(jù)算法技術(shù)承載著人類追求公平和效率的美好愿景，但是，我們不能因此陷入“技術(shù)烏托邦”之中，而應(yīng)看到，大數(shù)據(jù)算法模型不僅潛藏著各種歧視與偏見(jiàn)，而且在一定程度上改變了歧視呈現(xiàn)的樣態(tài)，并給傳統(tǒng)反歧視法律理論帶來(lái)深刻挑戰(zhàn)。究其本質(zhì)，目前算法歧視的治理是一種面向弱人工智能體的道德嵌入，并遵循“通過(guò)設(shè)計(jì)實(shí)現(xiàn)公平的治理原則”[33]。而這種嵌入的過(guò)程無(wú)疑需要法律理論和制度層面的有力回應(yīng)，時(shí)下法學(xué)界對(duì)人工智能法律主體資格和責(zé)任承擔(dān)方面的研究便是明證。面對(duì)算法決策場(chǎng)景和算法歧視呈現(xiàn)的新特征，對(duì)歧視法律理論和制度加以合理調(diào)適與建構(gòu)，同樣具有重要的理論和現(xiàn)實(shí)意義。在算法社會(huì)中，隨著算法自動(dòng)決策日益廣泛而深入地介入就業(yè)、醫(yī)療、教育、社會(huì)保障乃至執(zhí)法等各類決策過(guò)程之中，影響乃至決定公共資源在不同社會(huì)群體之間的分配，算法決策的平等性和公正性將成為一個(gè)利益攸關(guān)的重要問(wèn)題，反算法歧視必將成為所有追求平等的人們關(guān)注的一個(gè)焦點(diǎn)話題，也將成為包括法律人在內(nèi)的各學(xué)科學(xué)者肩負(fù)的重要使命，我們必須認(rèn)真對(duì)待，并透過(guò)倫理、制度和技術(shù)多維度的共同合作，尋找適當(dāng)?shù)闹卫矸桨福右杂行?yīng)對(duì)和解決。