法治與政府決策自動(dòng)化①

□［澳］莫妮卡·佐尼魯特，莉亞·本內(nèi)特·摩西，喬治·威廉姆斯 著，廖建凱譯

（1.新南威爾士大學(xué) 法學(xué)院，澳大利亞 悉尼；2.西南政法大學(xué) 人工智能法學(xué)院，重慶401120）

自動(dòng)化有望改善各類流程。采用受控程序和系統(tǒng)來(lái)代替人類勞動(dòng)，可以提高效率、確定性和一致性。因此，自動(dòng)化在制藥、零售、銀行和交通等領(lǐng)域，受到私營(yíng)部門(mén)的歡迎也就不足為奇。自動(dòng)化也能給政府帶來(lái)益處，它有潛力使政府決策更準(zhǔn)確、更高效和更公平。一些國(guó)家在福利分配和刑事審判等領(lǐng)域積極推進(jìn)自動(dòng)化，輔助或替代政府人工決策的自動(dòng)化系統(tǒng)正越來(lái)越多地被使用。然而自動(dòng)化的快速應(yīng)用也引發(fā)了爭(zhēng)議。一方面機(jī)器學(xué)習(xí)等技術(shù)的變革潛力，因能提高經(jīng)濟(jì)效益而受到稱頌；另一方面大眾普遍認(rèn)為，其給隱私權(quán)和平等權(quán)等權(quán)利帶來(lái)風(fēng)險(xiǎn)。自動(dòng)化如何與基本的法律概念和規(guī)范相互作用的問(wèn)題，引起了法學(xué)理論、技術(shù)和哲學(xué)交叉領(lǐng)域理論家的廣泛關(guān)注。

本文采用寬泛的視角評(píng)估政府決策自動(dòng)化對(duì)法治的益處與挑戰(zhàn)。其目的不是進(jìn)行徹底的分析，而是批判性研究法治原則如何被兩種使用越來(lái)越多的自動(dòng)化影響：人工編寫(xiě)的預(yù)編程規(guī)則（例如專家系統(tǒng)）和從歷史數(shù)據(jù)中衍生出規(guī)則并進(jìn)行推理或預(yù)測(cè)的工具（通常應(yīng)用機(jī)器學(xué)習(xí)）。我們研究的焦點(diǎn)是自動(dòng)化對(duì)政治和國(guó)家制度中最廣泛認(rèn)可的三個(gè)核心法治觀念的影響：透明和責(zé)任、可預(yù)測(cè)性和一致性、法律面前人人平等。

一、法治

法治是一項(xiàng)正在進(jìn)行的政治工程，其核心在于一種廣泛堅(jiān)持的信念，即社會(huì)應(yīng)由法律治理。歐盟、俄羅斯、中國(guó)、津巴布韋和伊朗等形形色色的社會(huì)和看似不可調(diào)和的政治體制都認(rèn)可法治，是法治這一概念的顯著特征。如此多的國(guó)家和政治制度都接受法治，是因?yàn)檫@個(gè)概念沒(méi)有一個(gè)公認(rèn)的定義。它無(wú)處不在，卻又難以捉摸。作為一個(gè)“本質(zhì)上有爭(zhēng)議的概念”[1](p52)，不同的社會(huì)可以認(rèn)同法治，但對(duì)法治的內(nèi)涵卻存在分歧。一些學(xué)者將對(duì)法治的理解分為形式觀念和實(shí)質(zhì)觀念，前者聚焦于合法性的來(lái)源和形式，而后者還包括關(guān)于法律內(nèi)容的規(guī)定。法治既包含程序因素也包含實(shí)體因素的觀點(diǎn)被廣為接受[2](p467)。

我們的目標(biāo)不是給出另一種關(guān)于法治的解釋。相反，我們僅僅關(guān)注普遍接受的法治內(nèi)涵，即法律必須是可預(yù)測(cè)的、穩(wěn)定的、可獲得的和法律面前人人平等[3](p1)。在應(yīng)用這些原則時(shí)，我們的關(guān)注點(diǎn)主要是法治的形式和程序方面，而非其包含言論自由和隱私權(quán)等廣泛人權(quán)的能力。因此，我們的分析僅限于以下核心部分：透明和責(zé)任、可預(yù)測(cè)性和一致性、法律面前人人平等。

（一）透明和責(zé)任

法治最廣為人知的方面是，政府必須確保制定的規(guī)則和決定透明并對(duì)其負(fù)責(zé)。透明要求公開(kāi)國(guó)家的運(yùn)行情況，個(gè)人可以獲取法律規(guī)則和行政決定[4]。這很重要，因?yàn)檫@樣個(gè)人就可以知曉影響他們的決定的原因，并了解未來(lái)的決策將如何影響他們。在民主制度中，對(duì)法律運(yùn)作原則（雖然不一定是影響他人的決定的具體細(xì)節(jié)）有一定的了解，對(duì)人們理解和評(píng)價(jià)政府的表現(xiàn)也是有用的。責(zé)任進(jìn)一步要求政府遵從法律并對(duì)其行為負(fù)責(zé)（例如，行政行為違反法律時(shí)可以被推翻）。透明和責(zé)任是相關(guān)的，因?yàn)闆Q策過(guò)程或制度的透明是使該過(guò)程或制度可責(zé)的必要（但非充分）條件[5](p534–537)。

（二）可預(yù)測(cè)性和一致性

法治另一個(gè)被廣泛接受的方面是，法律應(yīng)該是可預(yù)測(cè)的和一致的[6](p270–271)。許多人認(rèn)為，這對(duì)個(gè)人自由不可或缺，是“人們所說(shuō)的法治”的基本組成部分。法律的可預(yù)測(cè)性和一致性通常被認(rèn)為具有雙重作用。它提高了政府決策的確定性和效率，使個(gè)人可以有效地管理他們的私人生活和事務(wù)[7]。它還具有一種道義上的意義，即應(yīng)平等對(duì)待類似案件。在普通法體系中，法律的可預(yù)見(jiàn)性和一致性可通過(guò)司法遵循先例得到進(jìn)一步提高。

（三）法律面前人人平等

法律面前人人平等要求所有人都必須受到法律平等的制約和對(duì)待，而不應(yīng)不適當(dāng)?shù)仡櫦八麄兊牡匚换蚱渌闆r。從廣義上講，法律面前人人平等可以保證任何個(gè)人或群體都不會(huì)因其種族或民族、性別、來(lái)源國(guó)、宗教信仰、性取向或其他無(wú)關(guān)的個(gè)人特征而享有特權(quán)或受到歧視[8]。本文使用的是法律面前人人平等的狹義概念，即人們不論其地位如何，都應(yīng)享有平等的法律權(quán)利，并且在享有這些權(quán)利時(shí)，要“類似案件類似處理”[9](p237)。法律面前人人平等的狹義定義，在一系列法律和政治制度中有著最為廣泛的適用。

二、決策自動(dòng)化

政府決策中的自動(dòng)化不是一種新現(xiàn)象，也并非與單一的技術(shù)相關(guān)。自動(dòng)化依賴于一種技術(shù)工具或系統(tǒng)，其參與決策的程度有所不同，從決策輔助（計(jì)算機(jī)輔助人類作決策）到人工參與（人類部分參與決策），再到人類完全在決策過(guò)程中消失。

為了闡明這一點(diǎn)，研究從自動(dòng)化輔助決策到完全由機(jī)器決策的具體事例很有用。從決策輔助工具開(kāi)始，機(jī)場(chǎng)海關(guān)官員使用的臉部識(shí)別工具可能會(huì)將申請(qǐng)人識(shí)別為安全監(jiān)視名單上的人，并從數(shù)據(jù)庫(kù)中調(diào)出此人的記錄。然后，海關(guān)官員可能會(huì)審查數(shù)據(jù)庫(kù)中的信息，詢問(wèn)申請(qǐng)人，并決定是否允許此人入境。在這個(gè)范圍內(nèi)，還有一些系統(tǒng)可以自動(dòng)確定與決策相關(guān)的一些事實(shí)，如個(gè)人是否符合年齡標(biāo)準(zhǔn)，而將決策的剩余部分留給政府官員。此外，自動(dòng)化系統(tǒng)可以給出與評(píng)估相關(guān)的信息，而非純粹基于事實(shí)標(biāo)準(zhǔn)，例如評(píng)估個(gè)人是否危險(xiǎn)或遵守還款計(jì)劃。自動(dòng)化可能還會(huì)建議決策者以一種特定的方式來(lái)裁決案件，在這種情況下，決策者可能會(huì)將這樣的建議或多或少地當(dāng)作是結(jié)果的決定因素。最后，系統(tǒng)可以識(shí)別相關(guān)信息，然后根據(jù)這些信息做出決策，而不需要人工介入。例如，在確定申請(qǐng)人是否符合領(lǐng)取福利待遇的標(biāo)準(zhǔn)時(shí)，可能會(huì)出現(xiàn)這種情況。

各種各樣的技術(shù)正在或者可能用于政府決策自動(dòng)化。在分析自動(dòng)化對(duì)法治的影響時(shí)，我們將其分為兩種典型類型，盡管這兩種類型的自動(dòng)化系統(tǒng)也可能在決策過(guò)程中相互結(jié)合。第一種類型的自動(dòng)化，遵循一系列由人類預(yù)先編寫(xiě)的程序規(guī)則。第二種類型的自動(dòng)化，應(yīng)用由系統(tǒng)從歷史數(shù)據(jù)推斷出的規(guī)則。在說(shuō)明它們?nèi)绾谓Y(jié)合之前，有必要通過(guò)事例分別研究它們——專家系統(tǒng)和有監(jiān)督的機(jī)器學(xué)習(xí)。

（一）專家系統(tǒng)

專家系統(tǒng)作為一個(gè)通用術(shù)語(yǔ)，用來(lái)描述機(jī)器完成通常需要人類智能才能完成的任務(wù)的情形。專家系統(tǒng)是預(yù)編程邏輯的一個(gè)例子，規(guī)則被編碼到系統(tǒng)中，并應(yīng)用到新的例子以得出結(jié)論。一般來(lái)說(shuō)，這些規(guī)則是由那些對(duì)決策所涉領(lǐng)域有充分了解的人編寫(xiě)或與他們協(xié)商設(shè)計(jì)的[10](p13-14)。例如，在政府決策方面，是那些了解有關(guān)立法規(guī)定和決策標(biāo)準(zhǔn)的人。專家系統(tǒng)可用作決策過(guò)程的自動(dòng)化組件，它依賴于清晰、固定和有限的標(biāo)準(zhǔn)。

由于專家系統(tǒng)以明確的規(guī)則為基礎(chǔ)，因此可以給出決策的理由，以及作出決策所依據(jù)的重要事實(shí)和規(guī)則。在一個(gè)確定是否滿足標(biāo)準(zhǔn)A、B 和C的極其簡(jiǎn)單的專家系統(tǒng)事例中，系統(tǒng)的輸出可能是“申請(qǐng)人X 因?yàn)椴粷M足標(biāo)準(zhǔn)C，因此沒(méi)有資格享有這種福利”?？梢越o出作出決定的原因，是因?yàn)橄到y(tǒng)使用與規(guī)則本身相同的邏輯，即根據(jù)標(biāo)準(zhǔn)A、B和C 對(duì)每個(gè)申請(qǐng)人進(jìn)行評(píng)估。該系統(tǒng)還可以通過(guò)將編碼規(guī)則寫(xiě)成一個(gè)或多個(gè)聲明的方式提高對(duì)公眾的透明度，例如“申請(qǐng)人只有在滿足A、B 和C 的情況下才有資格獲得該福利”[11](p114-115)。

專家系統(tǒng)已被各國(guó)政府用來(lái)輔助和取代人類決策者。自20世紀(jì)80年代以來(lái)，這類系統(tǒng)被設(shè)計(jì)用于各種政府場(chǎng)景，如兒童保護(hù)和社會(huì)福利計(jì)算。下面論及的澳大利亞自動(dòng)追債系統(tǒng)和瑞典自動(dòng)化學(xué)生福利系統(tǒng)，是預(yù)編程系統(tǒng)更現(xiàn)代的事例。無(wú)論它們是否被編碼為傳統(tǒng)的“專家系統(tǒng)”（通常將推理引擎與規(guī)則數(shù)據(jù)庫(kù)分開(kāi)），都再現(xiàn)了類似的方法。特別是，這兩個(gè)系統(tǒng)在人類精心設(shè)計(jì)的邏輯基礎(chǔ)上運(yùn)行，相同的輸入必然產(chǎn)生相同的輸出。

（二）有監(jiān)督的機(jī)器學(xué)習(xí)

第二類自動(dòng)化決策系統(tǒng)完全不同，它們不是基于明確的人工編寫(xiě)的規(guī)則，而是基于從歷史數(shù)據(jù)中學(xué)習(xí)到的規(guī)則。機(jī)器學(xué)習(xí)能自動(dòng)構(gòu)建驅(qū)動(dòng)系統(tǒng)的規(guī)則。機(jī)器學(xué)習(xí)描述了各種數(shù)據(jù)驅(qū)動(dòng)的技術(shù)，這些技術(shù)建立了一個(gè)過(guò)程，通過(guò)這個(gè)過(guò)程，系統(tǒng)將“學(xué)習(xí)”歷史數(shù)據(jù)的模式和相關(guān)性，從而生成預(yù)測(cè)或提出見(jiàn)解。在算法嘗試針對(duì)指定目標(biāo)提高性能時(shí)，“學(xué)習(xí)”迭代進(jìn)行。

監(jiān)督機(jī)器學(xué)習(xí)需要已經(jīng)分類或標(biāo)記的數(shù)據(jù)，例如，在某種情況下，申請(qǐng)人是否有資格獲得福利。由于數(shù)據(jù)是預(yù)先標(biāo)記的，它包含了人類的偏見(jiàn)和假設(shè)。例如，犯罪數(shù)據(jù)可能反映出治安和司法對(duì)少數(shù)群體的偏見(jiàn)，而有關(guān)福利資格的數(shù)據(jù)可能反映出官方機(jī)構(gòu)削減開(kāi)支的動(dòng)機(jī)。應(yīng)用監(jiān)督機(jī)器學(xué)習(xí)的人員，還必須確定他們希望如何評(píng)估系統(tǒng)的性能。該過(guò)程通常首先將數(shù)據(jù)劃分為一個(gè)訓(xùn)練集和一個(gè)測(cè)試集，后者用于根據(jù)相關(guān)標(biāo)準(zhǔn)評(píng)估算法的性能。學(xué)到的規(guī)則被應(yīng)用到測(cè)試數(shù)據(jù)中評(píng)估算法，此后再對(duì)算法進(jìn)行改進(jìn)。

有監(jiān)督的機(jī)器學(xué)習(xí)是諸多方法中的一個(gè)事例，它旨在從數(shù)據(jù)中得出推論，以達(dá)到推理或預(yù)測(cè)的目的。其他技術(shù)，包括那些與傳統(tǒng)統(tǒng)計(jì)相關(guān)的技術(shù)，也可以用來(lái)達(dá)到類似的目的。例如，可以使用回歸分析來(lái)估計(jì)變量之間的關(guān)系，并將其用于編寫(xiě)預(yù)測(cè)特定變量的規(guī)則（例如決策的結(jié)果）。然而，與標(biāo)準(zhǔn)的統(tǒng)計(jì)方法不同，機(jī)器學(xué)習(xí)通常是迭代的（能夠不斷地“學(xué)習(xí)”新信息），并且能夠識(shí)別數(shù)據(jù)中更復(fù)雜的模式。

這兩種類型的自動(dòng)化之間的界線并不總是很清晰。人類可以編寫(xiě)明確的規(guī)則，這些規(guī)則不是基于法定標(biāo)準(zhǔn)或法律教條，而是基于從歷史數(shù)據(jù)（通過(guò)統(tǒng)計(jì)或機(jī)器學(xué)習(xí)）中總結(jié)出的經(jīng)驗(yàn)性發(fā)現(xiàn)。在這種情況下，規(guī)則從特定時(shí)間點(diǎn)的數(shù)據(jù)推斷出來(lái)，然后被預(yù)先編程到系統(tǒng)中。自動(dòng)遵循同一規(guī)則的系統(tǒng)，最初通過(guò)機(jī)器學(xué)習(xí)過(guò)程學(xué)習(xí)，它同時(shí)具有專家系統(tǒng)和機(jī)器學(xué)習(xí)的一些特征。像專家系統(tǒng)一樣，它不能在程序參數(shù)之外運(yùn)行。如果規(guī)則變得過(guò)時(shí)（例如，由于法定標(biāo)準(zhǔn)或決策政策的改變），那么它將不能再有效地預(yù)測(cè)人類作出的決策。該系統(tǒng)還將與機(jī)器學(xué)習(xí)一樣面對(duì)潛在的復(fù)雜性。特別是，根據(jù)所應(yīng)用的機(jī)器學(xué)習(xí)過(guò)程，衍生的（和使用的）規(guī)則可能很難被人類理解、解釋或證明。這個(gè)事例表明，兩種類型的自動(dòng)化并不是絕對(duì)分開(kāi)的類別。然而，它們是有用的“經(jīng)典類型”，有助于區(qū)分它們給法治帶來(lái)的不同類型的挑戰(zhàn)。在需要的地方，我們會(huì)討論將這兩種類型的自動(dòng)化結(jié)合起來(lái)，以解決特定法治挑戰(zhàn)的可能性。

三、自動(dòng)化決策事例分析

在下面的幾個(gè)事例中，政府依靠自動(dòng)化做出影響個(gè)人的決定。這些事例的研究，體現(xiàn)出對(duì)國(guó)家、技術(shù)方法和不同實(shí)施階段的多樣化選擇。

（一）澳大利亞的自動(dòng)化追債

“Robo-debt”是媒體對(duì)一個(gè)有爭(zhēng)議項(xiàng)目取的綽號(hào)，該項(xiàng)目由澳大利亞政府于2015年宣布，旨在計(jì)算和收回因超額支付福利而形成的債務(wù)①該系統(tǒng)被作為澳大利亞2015—2016年度預(yù)算措施的一部分。。它取代了通過(guò)風(fēng)險(xiǎn)管理選擇個(gè)人進(jìn)行手工審查的系統(tǒng)，該系統(tǒng)從個(gè)人及其銀行記錄和雇主記錄中收集收入和其他信息。在Robo-debt系統(tǒng)下，澳大利亞稅務(wù)局（ATO）掌握的年收入數(shù)據(jù)與向福利署（Centrelink）報(bào)告的收入數(shù)據(jù)自動(dòng)進(jìn)行交叉匹配。由于最初根據(jù)Centrelink 的數(shù)據(jù)計(jì)算福利待遇，向ATO 申報(bào)更高收入的個(gè)人意味著被多支付福利，因而欠政府一筆債。該系統(tǒng)融合了數(shù)據(jù)匹配（可能使用機(jī)器學(xué)習(xí)）②這種數(shù)據(jù)比對(duì)有1990年的《數(shù)據(jù)比對(duì)項(xiàng)目（補(bǔ)助與稅收）法》的授權(quán)。，應(yīng)用人工編寫(xiě)公式的自動(dòng)評(píng)估以及對(duì)福利接受者自動(dòng)發(fā)送信件。

了解這個(gè)系統(tǒng)如何工作，重要的是要知道報(bào)給ATO 的是年度收入數(shù)據(jù)而報(bào)給Centrelink 的是雙周收入數(shù)據(jù)。第一步是比較這兩個(gè)年化后的收入數(shù)據(jù)。如果報(bào)給ATO 的年收入大于報(bào)給Cen?trelink 的年化收入，個(gè)人就會(huì)收到一封信，讓他有機(jī)會(huì)通過(guò)一個(gè)在線門(mén)戶確認(rèn)自己的年收入。登錄在線門(mén)戶的人有機(jī)會(huì)說(shuō)明他們的雙周收入情況（要有證據(jù)），而不登錄在線門(mén)戶的人則被推定，他們的雙周收入是按報(bào)給ATO的年度收入除以一年中的雙周數(shù)計(jì)算的。但是，發(fā)給個(gè)人的追債信沒(méi)有解釋，記錄一年中收入的變化對(duì)于準(zhǔn)確計(jì)算福利待遇非常重要[12](p1，4，9)。雙周的收入（網(wǎng)上申報(bào)或按上面方法推算）被用來(lái)計(jì)算應(yīng)享有的福利待遇，在相關(guān)情況下，個(gè)人會(huì)自動(dòng)收到債務(wù)通知。有些信件發(fā)送給了實(shí)際上不欠政府錢的個(gè)人，因?yàn)樗麄兊氖杖胱兓瘺](méi)有記錄在案，而這對(duì)他們的福利待遇有影響。雖然隨著時(shí)間的推移，計(jì)算債務(wù)的系統(tǒng)已經(jīng)改進(jìn)，但是我們此處的分析針對(duì)的是它最初的狀態(tài)。在使用這個(gè)系統(tǒng)的過(guò)程中產(chǎn)生了幾個(gè)問(wèn)題，這些問(wèn)題包括：信件措辭不當(dāng)，公式存在一定比例的不準(zhǔn)確，向不欠錢的人發(fā)出債務(wù)通知[13]，轉(zhuǎn)移舉證責(zé)任[14](p9-11)，讓個(gè)人任由收債人擺布③需要注意的是，系統(tǒng)在這個(gè)方面的問(wèn)題已經(jīng)改進(jìn)了。。

（二）美國(guó)量刑決策中的數(shù)據(jù)驅(qū)動(dòng)風(fēng)險(xiǎn)評(píng)估

如COMPAS 這樣的風(fēng)險(xiǎn)評(píng)估工具，依據(jù)不同的特征來(lái)區(qū)分不同的個(gè)體。考慮到軟件的商業(yè)性質(zhì)，這些特征的全部范圍尚不清楚。人們擔(dān)心種族會(huì)影響評(píng)估。例如，ProPublica 的一項(xiàng)調(diào)查發(fā)現(xiàn)，與白人相比，非裔美國(guó)人更有可能被COMPAS誤判[17]。這并不一定是因?yàn)榉N族被作為一個(gè)變量來(lái)模擬罪犯群體的危險(xiǎn)性；當(dāng)與種族相關(guān)的變量與風(fēng)險(xiǎn)類別相關(guān)時(shí)，就會(huì)對(duì)評(píng)估產(chǎn)生不同的影響。因此，當(dāng)訓(xùn)練系統(tǒng)所用的數(shù)據(jù)本身充滿了人類偏見(jiàn)時(shí)，就會(huì)產(chǎn)生不同的結(jié)果。

雖然種族歧視在盧米斯案中不是問(wèn)題，但有人提出了性別歧視問(wèn)題。有關(guān)性別的數(shù)據(jù)被納入算法訓(xùn)練的集合中，原因是男性和女性的再犯罪率，特別是暴力再犯罪率在統(tǒng)計(jì)上存在差異。威斯康辛州最高法院認(rèn)為，這種區(qū)別對(duì)待并沒(méi)有侵犯被告不因其性別而被判刑的正當(dāng)程序權(quán)利。其原因是男性和女性的再犯罪率不同，忽視性別會(huì)“提供不太準(zhǔn)確的結(jié)果”[16](p77，86)。這涉及一個(gè)基本問(wèn)題，即從歷史數(shù)據(jù)中得出規(guī)則進(jìn)行推理時(shí)所使用的邏輯——如果目標(biāo)是將預(yù)測(cè)的準(zhǔn)確性最大化，那么從法治的角度來(lái)看，根據(jù)個(gè)人的固有特征對(duì)其進(jìn)行分類是否重要?

（三）瑞典的自動(dòng)化學(xué)生福利（ASW）

瑞典國(guó)家學(xué)生金融委員會(huì)（CSN）被瑞典政府挑選為公共機(jī)構(gòu)自動(dòng)化決策的先行者[18]。 CSN 對(duì)瑞典學(xué)生生活費(fèi)用的財(cái)政援助進(jìn)行管理，生活費(fèi)用包括助學(xué)金和各種貸款[19]。CSN 的核心目標(biāo)群體通常對(duì)信息技術(shù)有較高的認(rèn)識(shí)和接觸。基于規(guī)則的CSN 自動(dòng)決策系統(tǒng)由國(guó)家立法授權(quán)，其工作人員的職責(zé)是根據(jù)道德準(zhǔn)則，為學(xué)生提供學(xué)生福利方面的電子服務(wù)[20]。這確保了決策基于明確的、公開(kāi)的規(guī)則，并由人確認(rèn)和承擔(dān)每個(gè)決定的責(zé)任。

自動(dòng)化決策系統(tǒng)可用于學(xué)生貸款和助學(xué)金的申請(qǐng)人（由所謂的“外”單元管理），及向CSN償還貸款的申請(qǐng)人（由“內(nèi)”單元管理）[20]。CSN提供的許多電子服務(wù)都部分或完全自動(dòng)化。例如，允許人們申請(qǐng)減少還款的電子服務(wù)使用輔助決策（部分自動(dòng)化），而所有基于過(guò)去兩年收入的還款決策則完全自動(dòng)化。該自動(dòng)決策系統(tǒng)將來(lái)自CSN的數(shù)據(jù)與公眾可獲得的信息（包括稅收信息，在瑞典是公開(kāi)的）結(jié)合在一起[21]。每當(dāng)有人申請(qǐng)減少還款時(shí)，工作人員便會(huì)將相關(guān)信息手動(dòng)輸入系統(tǒng)，然后讓自動(dòng)系統(tǒng)接管，即系統(tǒng)部分自動(dòng)化。雖然作出決定的是這個(gè)系統(tǒng)，但根據(jù)法律規(guī)定，管理人員對(duì)系統(tǒng)作出的決定負(fù)責(zé)，并在簽名后將決定告知學(xué)生。

（四）中國(guó)的社會(huì)信用體系

第四個(gè)自動(dòng)化事例研究的是由中國(guó)中央政府建設(shè)的社會(huì)信用體系（SCS），該體系選擇了43個(gè)城市（城區(qū)）進(jìn)行示范。根據(jù)《社會(huì)信用體系建設(shè)規(guī)劃綱要（2014—2020 年）》，SCS“以樹(shù)立誠(chéng)信文化理念、弘揚(yáng)誠(chéng)信傳統(tǒng)美德為內(nèi)在要求，以守信激勵(lì)和失信約束為獎(jiǎng)懲機(jī)制，目的是提高全社會(huì)的誠(chéng)信意識(shí)和信用水平”[22]。根據(jù)上述目的，SCS 依據(jù)法律和道德對(duì)個(gè)人和公司的經(jīng)濟(jì)、社會(huì)和政治行為進(jìn)行獎(jiǎng)懲[23]。

從技術(shù)角度來(lái)看，SCS 類似于一個(gè)簡(jiǎn)單的、基于規(guī)則的預(yù)先編程系統(tǒng)，但是43個(gè)示范城市對(duì)SCS的實(shí)施各不相同。例如，在榮成市模式下[23]，每個(gè)人從連接四個(gè)政府部門(mén)的信用管理系統(tǒng)獲得1000分的基礎(chǔ)分。隨后，政府官員會(huì)根據(jù)個(gè)人的具體行為，在系統(tǒng)中增加或扣除相應(yīng)的分?jǐn)?shù)?？偣灿?50種正面行為可加分，570 種負(fù)面行為會(huì)扣分。SCS將產(chǎn)生廣泛的經(jīng)濟(jì)和社會(huì)影響。例如，那些社會(huì)信用評(píng)分較低的人可能沒(méi)有資格獲得貸款和某些工作，或者可能被剝奪乘坐飛機(jī)或高鐵的機(jī)會(huì)。與之相反，那些得分高的人享受的福利包括更便宜的公共交通、免費(fèi)的健身設(shè)施以及優(yōu)先就醫(yī)等。

中國(guó)的SCS仍處于建設(shè)的初期階段，中國(guó)政府一直在與擁有先進(jìn)數(shù)據(jù)分析能力的私營(yíng)企業(yè)建立合作關(guān)系。例如，中央政府一直在與科技巨頭阿里巴巴（Alibaba）合作建立芝麻信用系統(tǒng)，其中包括自動(dòng)評(píng)估借款人社交網(wǎng)絡(luò)聯(lián)系人的信用評(píng)分系統(tǒng)[24]。這意味著那些有低分朋友或與其關(guān)聯(lián)的人的分?jǐn)?shù)，會(huì)因此在自動(dòng)評(píng)估中受到負(fù)面影響[25]。芝麻信用將來(lái)自阿里巴巴數(shù)據(jù)庫(kù)的信息與其他個(gè)人信息相結(jié)合，如個(gè)人在線瀏覽和交易歷史、稅務(wù)信息和交通違法信息等，從而自動(dòng)確定個(gè)人的信用度。

四、政府決策自動(dòng)化對(duì)法治的益處和挑戰(zhàn)

（一）透明和責(zé)任

自動(dòng)化有利于提高政府決策的透明性和可責(zé)性。人類可能會(huì)在決策后給出決策的理由，但這些理由并不能準(zhǔn)確地反映作出決策的原因[26](p231)，而基于規(guī)則的系統(tǒng)可以精確地解釋設(shè)置變量和得出結(jié)論的原因。它可以告知受決策影響的個(gè)人，他們沒(méi)有資格領(lǐng)取津貼的原因是他們不符合預(yù)先編入系統(tǒng)的立法或運(yùn)行規(guī)則所要求的標(biāo)準(zhǔn)。這里需要注意的是，這種反饋并非基于規(guī)則的專家系統(tǒng)必須提供。設(shè)計(jì)者決定系統(tǒng)輸出什么，以及它是否包括結(jié)論或決定的理由。在Robo-debt 事例中，就沒(méi)有向個(gè)人提供關(guān)于債務(wù)如何計(jì)算的一般信息，也沒(méi)有向個(gè)人提供關(guān)于其自身債務(wù)是如何具體計(jì)算的明確信息。瑞典的ASW 系統(tǒng)正好相反，它的決策是基于明確公開(kāi)的規(guī)則，并由人確認(rèn)和承擔(dān)每個(gè)決定的責(zé)任。

搞懂伯勒爾（Burrell）的三種“不透明形式”，有助于理解透明面臨的障礙[27](p1)。第一種形式是故意保密，當(dāng)技術(shù)被視為商業(yè)或國(guó)家機(jī)密，或當(dāng)自動(dòng)化決策過(guò)程中使用的數(shù)據(jù)包含由于隱私或數(shù)據(jù)保護(hù)法律而不能公開(kāi)的個(gè)人信息時(shí)，就會(huì)出現(xiàn)這種情況。這種形式的不透明可以應(yīng)用于基于規(guī)則邏輯的系統(tǒng)，以及使用機(jī)器學(xué)習(xí)等技術(shù)從數(shù)據(jù)衍生出規(guī)則的系統(tǒng)。在中國(guó)的SCS中，只有有限的信息是公開(kāi)的。例如，在芝麻信用體系中，中央政府和私營(yíng)部門(mén)合作的細(xì)節(jié)并不清楚。盡管人們知道該系統(tǒng)將使用機(jī)器學(xué)習(xí)和行為分析來(lái)計(jì)算信用分?jǐn)?shù)[25]，但個(gè)人不知道他的社交網(wǎng)絡(luò)聯(lián)系人的什么信息被使用，以及對(duì)他們的信用分?jǐn)?shù)有什么確切的影響[26]。

編者按：改革開(kāi)放40年來(lái)，全國(guó)各地各門(mén)類舞臺(tái)藝術(shù)作品有繼承有創(chuàng)新，有堅(jiān)守有突破，百花齊放，成果豐碩。為紀(jì)念改革開(kāi)放40周年，回顧總結(jié)改革開(kāi)放以來(lái)優(yōu)秀舞臺(tái)藝術(shù)成果和創(chuàng)作經(jīng)驗(yàn)，梳理探討其間的藝術(shù)現(xiàn)象和發(fā)展態(tài)勢(shì)，以利于我國(guó)舞臺(tái)藝術(shù)事業(yè)的繼往開(kāi)來(lái)，本刊近期重點(diǎn)關(guān)注改革開(kāi)放以來(lái)各門(mén)類舞臺(tái)藝術(shù)的創(chuàng)作與發(fā)展情況，在“論壇主頁(yè)”和“本期關(guān)注”欄目推出“改革開(kāi)放與舞臺(tái)藝術(shù)”專題。

伯勒爾所指的第二種不透明形式是技術(shù)文盲，它同樣與兩種類型的自動(dòng)化相關(guān)[28](p4)。在這里，提高透明度的障礙是，即使提供了有關(guān)系統(tǒng)的信息，大多數(shù)人也無(wú)法從中獲取有用知識(shí)。因此，一個(gè)系統(tǒng)對(duì)技術(shù)專家來(lái)說(shuō)可能是透明的，而對(duì)大多數(shù)被治理的人，包括那些受特定決策影響的人來(lái)說(shuō)則是不透明的。當(dāng)然，那些沒(méi)有專業(yè)知識(shí)的人可以咨詢那些有專業(yè)知識(shí)的人，就像那些受法律影響的人可能需要咨詢律師以了解他們的義務(wù)一樣。但是，在某些情況下，特別在決定的后果十分嚴(yán)重的情況下，在理解和質(zhì)疑一項(xiàng)決定方面缺乏專家的建議，實(shí)踐中將大大降低該決定的透明性和可責(zé)性。

伯勒爾所描述的第三種不透明形式與機(jī)器學(xué)習(xí)高度相關(guān)。其根源在于，即使具備相關(guān)的專業(yè)知識(shí)，也很難理解處理大量數(shù)據(jù)的復(fù)雜學(xué)習(xí)技術(shù)[28](p5，10)。例如，臉部被自動(dòng)系統(tǒng)識(shí)別的過(guò)程可能涉及五官的位置關(guān)系、角度、顏色、形狀等特征的復(fù)雜組合，通過(guò)多層神經(jīng)網(wǎng)絡(luò)進(jìn)行組合，每一層反映多個(gè)變量的不同組合。第二種形式的不透明涉及專業(yè)知識(shí)的局限性，而第三種形式的不透明認(rèn)識(shí)到人類在真正理解或解釋復(fù)雜系統(tǒng)運(yùn)行方面的局限性。由于人類的推理方式與機(jī)器不同，即使經(jīng)過(guò)良好的訓(xùn)練，人類也無(wú)法總能解釋數(shù)據(jù)和算法之間的相互作用。這表明，隨著機(jī)器學(xué)習(xí)系統(tǒng)變得更加復(fù)雜，法治所需的透明度可能會(huì)日益降低。

對(duì)于這一挑戰(zhàn)，有一些可能的和部分的解決方案。一些研究人員正在研究“可解釋的人工智能”，也被稱為XAI，它可以用人類能夠理解的術(shù)語(yǔ)來(lái)解釋機(jī)器學(xué)習(xí)推理①例如，美國(guó)國(guó)防高級(jí)研究計(jì)劃局（DARPA)就有一個(gè)XAI項(xiàng)目，該項(xiàng)目旨在開(kāi)發(fā)“能夠解釋它們的原理、描述它們的優(yōu)缺點(diǎn)，并傳達(dá)對(duì)它們未來(lái)行為方式的理解”的機(jī)器學(xué)習(xí)系統(tǒng)。。它也可以公開(kāi)機(jī)器學(xué)習(xí)系統(tǒng)的關(guān)鍵信息，如用于訓(xùn)練系統(tǒng)的數(shù)據(jù)集和所使用的技術(shù)。機(jī)器學(xué)習(xí)系統(tǒng)在運(yùn)行方面也可以變得透明。評(píng)估和測(cè)試可用于確保系統(tǒng)滿足特定的要求，如預(yù)測(cè)的準(zhǔn)確性和平等對(duì)待不同的群體。這種有限的透明至少可以確保自動(dòng)化系統(tǒng)的輸出在特定方面是可解釋的，例如遵守平等標(biāo)準(zhǔn)。

然而，一些機(jī)器學(xué)習(xí)技術(shù)無(wú)法變得透明，無(wú)論是在一般情況下，還是對(duì)特定的人。總的來(lái)說(shuō)，伯勒爾指出的透明三挑戰(zhàn)，意味著機(jī)器學(xué)習(xí)運(yùn)行全過(guò)程的公開(kāi)透明幾乎不可能，包括理解決策的理由，訓(xùn)練所用數(shù)據(jù)集的局限（包括原始數(shù)據(jù)的系統(tǒng)性偏見(jiàn)或“清洗后”的數(shù)據(jù)），獲取機(jī)器學(xué)習(xí)過(guò)程的源代碼。在某些情況下，通過(guò)評(píng)估和測(cè)試，使關(guān)于算法的特定信息（例如，它對(duì)不同群體的平等對(duì)待）變得透明就足夠了。但是，在某些情況下，從法治的角度來(lái)看，有限的透明度可能還不夠。在量刑中使用COMPAS 系統(tǒng)最終會(huì)影響個(gè)人自由，在這類情境中需要更高的透明度以符合法治價(jià)值觀。

另一種解決方案是，決策系統(tǒng)只需要作為一個(gè)整體是透明和可解釋的，并不一定要求該系統(tǒng)的自動(dòng)化組件的整個(gè)運(yùn)行過(guò)程公開(kāi)可見(jiàn)。例如，在瑞典ASW事例和Robo-debt事例中，人仍然對(duì)決策負(fù)責(zé)，即使決策邏輯首先通過(guò)自動(dòng)化系統(tǒng)運(yùn)行。最終，這一策略的成功取決于它的實(shí)施。如果可以要求人提供作出決策的獨(dú)立原因，那么決策系統(tǒng)作為一個(gè)整體就會(huì)像沒(méi)有輔助決策軟件一樣透明和可解釋，所以自動(dòng)化系統(tǒng)本質(zhì)上只是打草稿。然而，如果人依賴系統(tǒng)的輸出作為決策的全部或部分原因，即使其對(duì)決策負(fù)責(zé)，決策仍然存在瑕疵。這又回到?jīng)Q策過(guò)程的自動(dòng)化程度以及輸出對(duì)最終決策的影響問(wèn)題。通過(guò)邊緣化自動(dòng)化組件（以效率和其他益處為代價(jià)）和確保按傳統(tǒng)方式由人來(lái)?yè)?dān)責(zé)，或者通過(guò)使自動(dòng)化組件透明和可解釋，可以使作為整體的決策系統(tǒng)變得透明和可解釋。

由上可見(jiàn)，自動(dòng)化系統(tǒng)內(nèi)在的透明度是人類選擇系統(tǒng)設(shè)計(jì)的問(wèn)題。系統(tǒng)設(shè)計(jì)人員可以選擇決策過(guò)程要輸出哪些信息，官方機(jī)構(gòu)決定了自動(dòng)化系統(tǒng)的決策范圍。雖然有些方法更難實(shí)現(xiàn)透明，但是設(shè)計(jì)人員可以選擇究竟是否在特定的系統(tǒng)中使用這些方法。有一些限制——正如伯勒爾所指出的，機(jī)器學(xué)習(xí)工具通常不透明，這可能是由于（政府或私人承包商的）政策有意為之、社區(qū)缺乏專業(yè)知識(shí)，或者選擇了復(fù)雜的方法。這意味著可能需要在透明度與軟件或工具的選擇之間做出妥協(xié)。最好的預(yù)測(cè)者可能不是最透明的，或者可能很難存在于一個(gè)可解釋的系統(tǒng)中。

因此，在決策完全或部分自動(dòng)化的情況下，系統(tǒng)輸出的透明性和可責(zé)性取決于為決策系統(tǒng)本身的透明性和可責(zé)性負(fù)責(zé)的系統(tǒng)設(shè)計(jì)者。事實(shí)上，所有法治價(jià)值觀都有相似之處，它們不太可能偶然地出現(xiàn)在決策和決策輔助系統(tǒng)中。系統(tǒng)設(shè)計(jì)者應(yīng)當(dāng)以符合法治的方式（包括這里所分析的標(biāo)準(zhǔn)）來(lái)設(shè)計(jì)這些系統(tǒng)，并能夠說(shuō)明這是如何做到的。

許多參與設(shè)計(jì)系統(tǒng)和設(shè)置相關(guān)參數(shù)的人是數(shù)據(jù)科學(xué)家、計(jì)算機(jī)科學(xué)家和工程師。在專業(yè)方面，已經(jīng)采取了制定標(biāo)準(zhǔn)、框架和指南的行動(dòng)，以確保決策和決策輔助系統(tǒng)合乎道德①例如，人工智能、倫理與社會(huì)（AIES）會(huì)議，電氣和電子工程師協(xié)會(huì)（IEEE）的全球自主和智能系統(tǒng)倫理倡議，國(guó)際標(biāo)準(zhǔn)化組織的JTC1/SC42標(biāo)準(zhǔn)化項(xiàng)目，以及澳大利亞的人工智能路線圖與倫理框架。。 這為法治提供了另一種可能的進(jìn)路，即將法治寫(xiě)入政府所應(yīng)用的決策和決策輔助系統(tǒng)的技術(shù)規(guī)范中。這樣，設(shè)計(jì)者就有責(zé)任滿足這些標(biāo)準(zhǔn)，無(wú)論是合同上的、專業(yè)上的，還是規(guī)則上的。當(dāng)然，將一個(gè)本質(zhì)上有爭(zhēng)議的概念轉(zhuǎn)換成技術(shù)規(guī)范（在一個(gè)或多個(gè)版本中）并不是一件容易的事情，我們?cè)诖瞬蛔鎏接憽?/p>

（二）可預(yù)測(cè)性和一致性

自動(dòng)化還可以提高政府決策的可預(yù)測(cè)性和一致性。與人類不同的是，計(jì)算機(jī)系統(tǒng)不能肆無(wú)忌憚地?zé)o視其程序的規(guī)則。計(jì)算機(jī)系統(tǒng)可以被編程為概率行為，即通過(guò)類似投擲虛擬硬幣的方式來(lái)決定是否做出對(duì)申請(qǐng)人有利的決定，但在我們討論的事例中都沒(méi)有出現(xiàn)這種隨機(jī)的行為。相反，隨機(jī)行為通常用于這樣的情境，即社會(huì)共識(shí)認(rèn)可隨機(jī)選擇是唯一公平的分配方式（例如，為某個(gè)活動(dòng)發(fā)放有限的門(mén)票或確定彩票中獎(jiǎng)?wù)撸?/p>

因此，我們所討論的事例的自動(dòng)化系統(tǒng)普遍提高了決策的可預(yù)測(cè)性和一致性，即使它們?cè)谄渌矫娲嬖趩?wèn)題。中國(guó)的SCS是一種社會(huì)控制的工具，因?yàn)槿藗兛梢灶A(yù)測(cè)從事某些特定行為的后果，而這些行為政府不鼓勵(lì)。澳大利亞的Robo-debt和瑞典的ASW對(duì)每個(gè)人都進(jìn)行了同樣的計(jì)算。

然而，自動(dòng)化也對(duì)法治原則的可預(yù)測(cè)性和一致性提出了許多挑戰(zhàn)。當(dāng)自動(dòng)決策過(guò)程中應(yīng)用的規(guī)則不符合成文法或普通法要求時(shí)，就會(huì)出現(xiàn)第一個(gè)挑戰(zhàn)。這種情況下的不一致不在于規(guī)則在不同情況下的應(yīng)用，而在于程序化的規(guī)則與適用于每種情況的規(guī)則之間的不一致。Robo-debt就是一個(gè)這樣的例子。這種方法并沒(méi)有給很多人帶來(lái)法律上正確的結(jié)果①對(duì)于錯(cuò)誤率以及何為錯(cuò)誤，人們存在一些爭(zhēng)議。大約20%收到債務(wù)通知的人，通過(guò)提供額外的資料，證明了其沒(méi)有因超額享受福利而對(duì)政府欠債。。從政府對(duì)其立場(chǎng)的辯護(hù)中可以看出，當(dāng)人們有機(jī)會(huì)糾正出現(xiàn)的問(wèn)題時(shí)，這不一定是一個(gè)問(wèn)題：“初始通知要求福利接受者提供信息，以解釋ATO和Centrelink有關(guān)收入記錄的差異。結(jié)果是80%的人對(duì)政府負(fù)債。剩下的20%的人通過(guò)解釋差異，根據(jù)更新的信息再次評(píng)估后不對(duì)政府負(fù)債。這就是這個(gè)系統(tǒng)的運(yùn)作方式，它符合法律規(guī)定，即福利接受者必須報(bào)告情況的所有變化，也符合政府部門(mén)監(jiān)管政府開(kāi)支的義務(wù)?！盵28](2.89)問(wèn)題不在于人類決策也存在的錯(cuò)誤率，而在于管理錯(cuò)誤的流程還不夠完善。發(fā)出債務(wù)通知的決定沒(méi)有經(jīng)過(guò)人工審核。作為既成事實(shí)的債務(wù)通知發(fā)給個(gè)人時(shí)，有些人由于地址錯(cuò)誤而沒(méi)有收到要求解釋收入差異的信息[28](3.61)。用于質(zhì)疑債務(wù)通知的在線門(mén)戶也不好用[28](2.110)，不足以滿足人們選擇的需要[28](3.98)(3.106)(3.119)。出錯(cuò)率也可能超過(guò)了為處理上訴而設(shè)立的機(jī)構(gòu)的能力。這與瑞典的ASW相比是一種劣勢(shì)，人類編寫(xiě)該系統(tǒng)并對(duì)每一個(gè)決定負(fù)責(zé)，且通常會(huì)有適當(dāng)?shù)纳显V程序②可將瑞典國(guó)家學(xué)生金融委員會(huì)（CSN）的決定上訴至瑞典國(guó)家學(xué)生援助上訴委員會(huì)。。結(jié)果是，在Robo-debt中，法律很可能以不可預(yù)測(cè)和前后矛盾的方式被誤用。

當(dāng)從預(yù)先編程的規(guī)則轉(zhuǎn)向數(shù)據(jù)衍生出的規(guī)則時(shí)，決策的可預(yù)測(cè)性和一致性可能會(huì)降低。這并不是因?yàn)橛?jì)算機(jī)不按編程運(yùn)行，而是因?yàn)榫拖袢祟悆和瘜W(xué)習(xí)一樣，很難預(yù)先預(yù)測(cè)結(jié)果，而且隨著學(xué)習(xí)的繼續(xù)，行為也會(huì)發(fā)生改變。細(xì)想COMPAS工具的現(xiàn)狀（上文已經(jīng)探討了其由于透明性問(wèn)題而受到限制），那些開(kāi)發(fā)該工具的人不一定事先就知道哪些條件與特定的行為（如再次犯罪）相關(guān)，是單獨(dú)還是結(jié)合在一起才相關(guān)。給個(gè)人評(píng)分的規(guī)則，很可能是通過(guò)監(jiān)督機(jī)器學(xué)習(xí)過(guò)程，從大量數(shù)據(jù)（記錄歷史再犯罪行為數(shù)據(jù)）中衍生出來(lái)的。因此，系統(tǒng)的行為很難甚至有時(shí)不可能被人類提前預(yù)測(cè)。

機(jī)器學(xué)習(xí)給可預(yù)測(cè)性和一致性帶來(lái)了新問(wèn)題，因?yàn)樗粩嗟貜妮斎氲男聰?shù)據(jù)“學(xué)習(xí)”。如果它給一個(gè)人可能再犯罪打了低分，從而輔助法官做出假釋的決定，但這個(gè)人卻再次犯罪，這將反饋給算法，以便隨著時(shí)間的推移提高其預(yù)測(cè)精度。在這種情況下，與他類似的新個(gè)體時(shí)將會(huì)有不同的評(píng)估結(jié)果，即更高的再犯罪風(fēng)險(xiǎn)分?jǐn)?shù)和更低的假釋機(jī)會(huì)。這意味著該系統(tǒng)評(píng)估類似的個(gè)體時(shí)隨時(shí)間的不同而不同。正如下文所討論的，這不僅是一致性的問(wèn)題，而且是法律面前人人平等的問(wèn)題。

此外，法官和風(fēng)險(xiǎn)評(píng)估工具在評(píng)估再次犯罪風(fēng)險(xiǎn)方面也存在差異。雖然法官量刑考慮的信息一般不受傳統(tǒng)證據(jù)規(guī)則的限制，這些信息可以包括被告的個(gè)性和犯罪歷史等③在美國(guó)，《聯(lián)邦證據(jù)規(guī)則》一般不適用于量刑。，但量刑過(guò)程本身必須滿足自然公正或正當(dāng)程序的要求④這在美國(guó)最高法院審理的Gardner v Florida（430 U.S. 349，359（1977））一案中得到了確認(rèn)。。因此，法官不太可能根據(jù)被告的固有特征，例如他們的父母是否離婚，作出量刑決定[29]。COMPAS所依賴的變量可能會(huì)被人類法官認(rèn)為與再犯罪不相關(guān)，這一事實(shí)致使法官根據(jù)法律作出的決定與算法推斷建議的決定不一致。特定案件中機(jī)器學(xué)習(xí)所依賴的數(shù)據(jù)缺乏透明度，再加上算法本身的不透明，使法官很難改變他們對(duì)輔助決策工具的期望，從而確保決策工具的合理使用。

自動(dòng)化可以通過(guò)消除人們所熟知的任意性，來(lái)提高決策的可預(yù)測(cè)性和一致性。然而，這樣的益處只有在自動(dòng)化過(guò)程足夠透明，對(duì)其進(jìn)行屬性評(píng)估（為了準(zhǔn)確性和與法律要求的一致性），并采取適當(dāng)措施管理可預(yù)見(jiàn)的錯(cuò)誤的情形下才能實(shí)現(xiàn)。這些措施應(yīng)包括對(duì)輸出進(jìn)行人工核查，對(duì)出現(xiàn)錯(cuò)誤可能和可能出現(xiàn)錯(cuò)誤的情況進(jìn)行明確解釋，以及建立透明和有效的上訴程序。這些都是設(shè)計(jì)問(wèn)題。

依據(jù)人為制定規(guī)則（源自成文法或法官造法）的自動(dòng)化可以確保每次都做出正確的決策，并能夠克服人為錯(cuò)誤和腐敗問(wèn)題。應(yīng)用衍生于數(shù)據(jù)的規(guī)則的系統(tǒng)帶來(lái)了更復(fù)雜的挑戰(zhàn)，尤其是在確?！俺晌姆伞钡目深A(yù)測(cè)性和一致性方面。監(jiān)督式機(jī)器學(xué)習(xí)和其他迭代系統(tǒng)也會(huì)隨著時(shí)間的推移而難以保持一致性。然而，從可預(yù)測(cè)性和一致性的角度來(lái)看，這些問(wèn)題可以控制。第一種情形通過(guò)系統(tǒng)的設(shè)計(jì)以及獨(dú)立的測(cè)試和評(píng)估來(lái)控制，第二種情形通過(guò)改進(jìn)持續(xù)性學(xué)習(xí)來(lái)控制。通過(guò)使用顯式編程（explicit programming）來(lái)自動(dòng)應(yīng)用固定規(guī)則（最初衍生于數(shù)據(jù)，例如通過(guò)機(jī)器學(xué)習(xí)），從而將這兩種類型的自動(dòng)化結(jié)合起來(lái)的系統(tǒng)，可以確保長(zhǎng)期的一致性。因此，自動(dòng)化對(duì)可預(yù)測(cè)性和一致性是有益的，盡管有證據(jù)表明在實(shí)踐中可預(yù)測(cè)性和一致性可能無(wú)法實(shí)現(xiàn)。

（三）法律面前人人平等

自動(dòng)化可以減少法律適用的任意性，消除偏見(jiàn)，消除腐敗，從而增強(qiáng)法律面前人人平等原則。例如，通過(guò)使用攝像頭和臉部識(shí)別技術(shù)，中國(guó)的SCS可以用于確保所有違反特定規(guī)則（如亂穿馬路或非法停車）的人都得到相應(yīng)的懲罰。相比之下，如果沒(méi)有這樣的自動(dòng)化系統(tǒng)，針對(duì)這類輕微違法行為的制度需要“抓住”每一個(gè)人，處罰的嚴(yán)厲程度往往取決于相關(guān)官員的裁量和“慷慨”。此外，與瑞典ASW 或澳大利亞Robo-debt 類似的專家系統(tǒng)，提供相同的輸入給出相同的答案，這有助于確保處境相似的個(gè)人得到平等對(duì)待。這些事例展現(xiàn)了某些類型的自動(dòng)化，如何消除有偏見(jiàn)的人歧視不受歡迎群體的能力。一個(gè)適當(dāng)設(shè)計(jì)的系統(tǒng)可以通過(guò)只應(yīng)用與決策真正相關(guān)的條件，來(lái)消除有意識(shí)和無(wú)意識(shí)的偏見(jiàn)。

然而，自動(dòng)化能夠給法律面前人人平等帶來(lái)的益處，面臨兩個(gè)相互關(guān)聯(lián)的挑戰(zhàn)。首先，政府決策的自動(dòng)化可能會(huì)損害正當(dāng)程序權(quán)利和法律平等適用于所有人的程度；其次，它可能會(huì)破壞不同地位的人平等享有法律權(quán)利的程度。

首先，自動(dòng)化可能會(huì)損害個(gè)體正當(dāng)程序權(quán)利，因?yàn)樗赡芟魅鮽€(gè)人改變或質(zhì)疑影響他們的決定的能力。這可能是因?yàn)樗麄儫o(wú)法獲取用于決策的關(guān)鍵信息及確定其準(zhǔn)確性。例如，在Robo-debt事例中，審查和糾正信息的權(quán)利受到了損害，因?yàn)檎l(fā)送給個(gè)人的信沒(méi)有解釋年收入變化在準(zhǔn)確計(jì)算福利待遇方面的重要性。向未對(duì)政府負(fù)債的福利接受者發(fā)出債務(wù)通知，卻不為其提供糾正影響他們的錯(cuò)誤數(shù)據(jù)的真正機(jī)會(huì)，這實(shí)際上剝奪了他們的正當(dāng)程序權(quán)利，從而否定了法律面前人人平等。

相比之下，瑞典ASW 事例中官員的參與有助于解釋自動(dòng)化決策過(guò)程，并為那些受影響的人提供及時(shí)更正信息或行使復(fù)查權(quán)的機(jī)會(huì)。此外，通過(guò)相對(duì)直接的上訴程序來(lái)挑戰(zhàn)CSN的決定也改善了自動(dòng)化決策過(guò)程。例如，一名因殘疾而被阻止進(jìn)入就業(yè)市場(chǎng)的學(xué)生，使CSN 的初始決定在瑞典國(guó)家學(xué)生援助上訴委員會(huì)審查后被推翻[30]。該委員會(huì)的決定被認(rèn)為非常重要且符合公眾利益，該決定可在其網(wǎng)站上查閱[31]。

與此類似，在上海市社會(huì)信用系統(tǒng)（SCS）模式下，個(gè)人有權(quán)利知道其社會(huì)信用信息的收集和使用，并可以訪問(wèn)和質(zhì)疑其信用報(bào)告中包含的信息[32]。市公共信用信息服務(wù)中心將在收到異議材料后五個(gè)工作日內(nèi)決定是否對(duì)信息進(jìn)行修改。這些權(quán)利在實(shí)踐中受到了中國(guó)公民劉虎的檢驗(yàn)。由于不小心將罰款交到一個(gè)錯(cuò)誤的賬戶，劉虎被列入SCS 的黑名單而無(wú)法訂到機(jī)票[33]。在法院得知?jiǎng)⒒⒎噶艘粋€(gè)無(wú)心之過(guò)后，其社會(huì)信用報(bào)告上的信息被改正過(guò)來(lái)。

在機(jī)器學(xué)習(xí)應(yīng)用到政府決策的情況下，不夠透明是正當(dāng)程序權(quán)利受到損害的主要原因。在盧米斯案中，威斯康辛州最高法院裁定正當(dāng)程序得到了保障，因?yàn)镃OMPAS的評(píng)分只是法官考慮的眾多因素之一[34](p755)。然而，很難確定法官對(duì)COMPAS的使用將在自動(dòng)化的范圍內(nèi)走多遠(yuǎn)，特別是一些法官可能會(huì)僅把它當(dāng)作裁決的一個(gè)很小考量因素，而另一些法官可能擔(dān)心，基于其他考量而忽略有關(guān)危險(xiǎn)的“客觀”證據(jù)將受到公眾、政治或上訴法院的批評(píng)。因此，很難評(píng)估個(gè)人決策在多大程度上是基于COMPAS的評(píng)分[35](p767-774)。此外，有理由相信分?jǐn)?shù)將獲得其本應(yīng)具有的更大影響力——首席大法官會(huì)議（Conference of Chief）等機(jī)構(gòu)對(duì)這類系統(tǒng)的贊揚(yáng)表明，“客觀性”的吸引力蒙蔽了司法部門(mén)的許多人，使他們看不到這類軟件的實(shí)際缺陷。

其次，運(yùn)用自動(dòng)決策使政府對(duì)任何人不論其地位都平等享有法律權(quán)利以及在取得這些權(quán)利時(shí)“類似情形類似對(duì)待”的觀念，帶來(lái)進(jìn)一步的挑戰(zhàn)。這包括政府不應(yīng)因個(gè)人所屬族群或不可改變的特征而區(qū)別對(duì)待的觀念①人們特別強(qiáng)烈地反對(duì)法院系統(tǒng)地對(duì)貧窮、未受教育或來(lái)自特定群體的被告作出更為嚴(yán)厲的判決。。自動(dòng)決策系統(tǒng)，例如COMPAS 和芝麻信用，可能破壞這一原則，因?yàn)樗鼈兛赡埽海?）明確納入和依賴各種靜態(tài)因素和/或不可變的特征，例如社會(huì)經(jīng)濟(jì)地位、就業(yè)和教育、郵政編碼、年齡或性別；（2）間接地考量這些因素，例如“學(xué)習(xí)”與這些因素相關(guān)的變量的關(guān)聯(lián)性。例如，盧米斯案中，被告辯稱，法官對(duì)COMPAS 評(píng)分的考慮侵犯了他的憲法權(quán)利，因?yàn)镃OMPAS 軟件使用了“性別評(píng)估”[35](p757)，而這反過(guò)來(lái)又損害了他獲得個(gè)性化判決的權(quán)利。如前所述，使用COMPAS和類似量刑軟件，可能使法官在量刑方面長(zhǎng)期被認(rèn)為是不適當(dāng)?shù)囊蛩睾吞卣鳌?/p>

法律面前人人平等面臨的最大挑戰(zhàn)，并非來(lái)自明確編入自動(dòng)系統(tǒng)中的不恰當(dāng)?shù)淖兞?，而是?lái)源于自動(dòng)系統(tǒng)從歷史數(shù)據(jù)及相互關(guān)系中推斷出的規(guī)則。即使在學(xué)習(xí)過(guò)程中沒(méi)有使用種族等變量，機(jī)器仍然可以生成帶有種族或其他偏見(jiàn)的評(píng)估。如前所述，2016 年P(guān)roPublica 的一項(xiàng)調(diào)查發(fā)現(xiàn)，非裔美國(guó)人比白人更有可能在COMPAS 風(fēng)險(xiǎn)評(píng)估軟件中被誤判，盡管（聲稱）事實(shí)上并沒(méi)將種族作為變量使用[30]。因?yàn)榘‵acebook 的“喜好”等公開(kāi)信息在內(nèi)的許多其他因素都與種族相關(guān)，而其并未排除在機(jī)器學(xué)習(xí)過(guò)程之外，從而導(dǎo)致法律面前不平等對(duì)待的結(jié)果②有發(fā)現(xiàn)表明，能輕易獲取的如Facebook“喜好”的這類數(shù)據(jù)記錄，可以被用來(lái)自動(dòng)地和精確地判斷包括性取向和種族等方面的高度敏感個(gè)人信息。。此外，量刑問(wèn)卷中的數(shù)據(jù)（COMPAS 工具從中得出推論）記錄了被告被警察“ 制止”的次數(shù)和第一次被警察“ 制止”的時(shí)間[35](p25-26)?；诿绹?guó)執(zhí)法的歷史記錄，非裔美國(guó)人的身份很可能與較高的被警察“制止”次數(shù)和較早的被警察“制止”的年齡相關(guān)。這樣，種族差異就被建立在數(shù)據(jù)中，從這些數(shù)據(jù)就可以推導(dǎo)出相關(guān)性和作出推斷。

與風(fēng)險(xiǎn)評(píng)估工具COMPAS 不同，瑞典ASW 的決定完全基于法律相關(guān)因素。該系統(tǒng)的預(yù)編程性質(zhì)確保這些因素在與其相關(guān)的情況下對(duì)決定精確地起作用。作出的決定符合法律，學(xué)生根據(jù)法律受到平等對(duì)待。在中國(guó)SCS事例中，實(shí)施模式的多樣性意味著法律面前人人平等受到不同程度的影響。例如，在榮成市的SCS 系統(tǒng)模式中，所做的決定僅僅參考明確界定的行為類別，這些行為導(dǎo)致分?jǐn)?shù)的增減——在其預(yù)編程系統(tǒng)中沒(méi)有考慮任何其他因素的余地。然而，與之形成對(duì)比的是，芝麻信用體系所依賴的變量并非與法治相關(guān)，比如個(gè)人社交網(wǎng)絡(luò)聯(lián)系人的排名。這可能導(dǎo)致實(shí)際上基于社會(huì)地位、性別或種族的差別待遇[36](p5802)。

正如我們的事例所展示的，理解政府決策自動(dòng)化的益處和挑戰(zhàn)，考量決策的背景和所應(yīng)用的系統(tǒng)類型至關(guān)重要。一個(gè)預(yù)先設(shè)定規(guī)則的系統(tǒng)可以確保決策基于法律上相關(guān)的因素，從而避免或最小化官員們腐敗或徇私舞弊的風(fēng)險(xiǎn)。但是，審查和糾正決定所依據(jù)的數(shù)據(jù)的程序性權(quán)利和機(jī)會(huì)至關(guān)重要，就像確保系統(tǒng)的邏輯準(zhǔn)確反映法律一樣。正如我們的案例研究所展示，以數(shù)據(jù)推斷出的規(guī)則作為基礎(chǔ)的系統(tǒng)帶來(lái)的挑戰(zhàn)有所不同。在這里，人類的作用僅限于設(shè)置參數(shù)、選擇數(shù)據(jù)（可能由于人類收集實(shí)踐的瑕疵而產(chǎn)生偏見(jiàn)）和決定使用哪些變量作為分析的基礎(chǔ)。除非參與這些過(guò)程的人對(duì)決策所處的法律環(huán)境有深刻的理解，否則系統(tǒng)在實(shí)踐中可能無(wú)法達(dá)到法律面前人人平等的標(biāo)準(zhǔn)。COMPAS 就是一個(gè)軟件無(wú)法滿足刑事司法程序公正需要的例子——它是一個(gè)缺乏透明度的工具，依賴于大量通常與法律不相關(guān)的信息，使得被告沒(méi)有足夠的機(jī)會(huì)參與法庭關(guān)于其危險(xiǎn)性的調(diào)查，而這是最終裁決的關(guān)鍵組成部分。該工具對(duì)非裔美國(guó)人的“誤判”比白人更多，這一事實(shí)進(jìn)一步證明，人類對(duì)機(jī)器學(xué)習(xí)過(guò)程的控制不夠，無(wú)法確保其運(yùn)行準(zhǔn)確。

這并不意味著，依賴于從數(shù)據(jù)中衍生出規(guī)則的系統(tǒng)，包括那些應(yīng)用機(jī)器學(xué)習(xí)技術(shù)的系統(tǒng)，永遠(yuǎn)不能在政府決策中以法律面前人人平等的方式使用。機(jī)器學(xué)習(xí)可以用于制定高層政策，從交通流量管理到經(jīng)濟(jì)干預(yù)建模。即使在影響個(gè)人的決策層面，機(jī)器學(xué)習(xí)有時(shí)也符合甚至有利于法律面前人人平等。臉部識(shí)別如果被設(shè)計(jì)成能準(zhǔn)確地識(shí)別不同個(gè)體的面孔，那么它可以被用來(lái)識(shí)別作為系統(tǒng)一部分的個(gè)體，如果編程正確，甚至可以克服人類有意識(shí)和無(wú)意識(shí)的偏見(jiàn)。盡管對(duì)隱私和監(jiān)控的擔(dān)憂可能會(huì)抵消它的益處，但在這樣的系統(tǒng)中使用機(jī)器學(xué)習(xí)，可以通過(guò)減少人類的任意性從而更好實(shí)現(xiàn)法律面前人人平等。

結(jié)論

自動(dòng)化可以改善政府決策。這樣做的益處包括節(jié)省成本、提高速度，以及增強(qiáng)法治的能力。正確設(shè)計(jì)、實(shí)施和監(jiān)督自動(dòng)化系統(tǒng)，不論系統(tǒng)的形式是應(yīng)用預(yù)定程序的規(guī)則、從歷史數(shù)據(jù)中學(xué)習(xí)規(guī)則，還是二者的組合，都可以幫助政府決策更好地反映透明和責(zé)任、可預(yù)見(jiàn)性和一致性、法律面前人人平等的價(jià)值觀。

然而，顯而易見(jiàn)的是，本文所考查的四個(gè)自動(dòng)化事例中有三個(gè)未能實(shí)現(xiàn)這一理想。在某些事例中，例如Robo-debt，這種失敗是由于自動(dòng)化系統(tǒng)的設(shè)計(jì)和實(shí)施不當(dāng)造成的。實(shí)際上，在自動(dòng)化的設(shè)計(jì)和實(shí)施階段，人類的選擇和經(jīng)常出現(xiàn)的錯(cuò)誤可能導(dǎo)致系統(tǒng)無(wú)法滿足法治標(biāo)準(zhǔn)。與之形成對(duì)比的是瑞典ASW，該系統(tǒng)高度自動(dòng)化，卻沒(méi)有引起類似的擔(dān)憂。瑞典模式非常強(qiáng)調(diào)遵守國(guó)家的法律、官員的道德準(zhǔn)則和公開(kāi)的規(guī)制，它展示了一個(gè)精心設(shè)計(jì)的將自動(dòng)化與人類責(zé)任相結(jié)合的系統(tǒng)如何能夠帶來(lái)諸多便利，同時(shí)對(duì)法治所呈現(xiàn)的價(jià)值觀保持敏感。

然而，如果認(rèn)為有效的人工設(shè)計(jì)和實(shí)施可以確保某種特定的自動(dòng)化技術(shù)能夠提高或至少達(dá)到法治的最低標(biāo)準(zhǔn)，那就錯(cuò)了。從我們的研究中可以清楚地看到，即使是在人類積極參與的情況下，某些形式的技術(shù)也會(huì)帶來(lái)棘手的問(wèn)題。這可能是因?yàn)樽詣?dòng)化的形式與其應(yīng)用場(chǎng)景不相適應(yīng)。例如，機(jī)器學(xué)習(xí)帶來(lái)了許多益處，但是一些技術(shù)或軟件產(chǎn)品是以犧牲透明性和可責(zé)性為代價(jià)的。這在特定情況下可以容忍，例如發(fā)放低水平的福利待遇（有上訴機(jī)制），協(xié)助完成城市交通流量?jī)?yōu)化等工作，或?yàn)榇_認(rèn)身份進(jìn)行臉部識(shí)別。在這些情境中，從法治的角度來(lái)看，對(duì)準(zhǔn)確性和差異性的影響進(jìn)行測(cè)試和評(píng)估可能就足夠了。

另外，由于機(jī)器學(xué)習(xí)無(wú)法變得透明和易于理解，不宜將其用來(lái)做出對(duì)個(gè)人生活和自由有很大影響的決定。當(dāng)機(jī)器學(xué)習(xí)系統(tǒng)可能受到本不相關(guān)的因素影響時(shí)，比如一個(gè)人的種族，甚至是傳統(tǒng)上不被用作歧視的變量，比如一個(gè)人的朋友的信用評(píng)級(jí)，它可能也是不合適的。當(dāng)系統(tǒng)按照未公開(kāi)的專有算法運(yùn)行時(shí)，就像COMPAS 一樣，這些問(wèn)題會(huì)加劇。如果COMPAS 不僅用來(lái)輔助法官，而且用來(lái)取代法官，這些問(wèn)題就會(huì)更加復(fù)雜。

從法治的角度來(lái)看，隨著時(shí)間的推移，這些問(wèn)題可能會(huì)變得更加尖銳。隨著技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)變得越來(lái)越復(fù)雜，政府使用的自動(dòng)化模式可能越來(lái)越只有那些擁有最高技術(shù)水平的專家才能理解。其結(jié)果可能是政府決策依據(jù)的系統(tǒng)過(guò)于復(fù)雜，超出了受決策影響的人的理解能力。面對(duì)極端復(fù)雜的情況，無(wú)知可能會(huì)讓官員們把責(zé)任轉(zhuǎn)移到自動(dòng)化系統(tǒng)上，不管這是否應(yīng)該。其結(jié)果可能是自動(dòng)化與法治之間的緊張關(guān)系日益加劇，即使在人類以尋求尊重這些價(jià)值觀的方式設(shè)計(jì)系統(tǒng)的情況下也是如此。

最終，人類必須評(píng)估每一個(gè)決策過(guò)程，并考慮什么樣的自動(dòng)化形式是有用的、適當(dāng)?shù)暮头戏ㄖ蔚?。任何自?dòng)化組件的設(shè)計(jì)、實(shí)施和評(píng)估，以及包括人的因素在內(nèi)的整個(gè)決策過(guò)程，都應(yīng)該與這些法治價(jià)值觀保持一致。這些價(jià)值觀能否完全嵌入政府使用的自動(dòng)決策和決策輔助系統(tǒng)，還有待觀察。將法治價(jià)值觀轉(zhuǎn)化為系統(tǒng)設(shè)計(jì)者可以理解的設(shè)計(jì)規(guī)范，并通過(guò)法規(guī)、專業(yè)標(biāo)準(zhǔn)、合同、法院或其他機(jī)制加以實(shí)施，是一項(xiàng)艱巨的技術(shù)和法律挑戰(zhàn)。本文討論了這一領(lǐng)域普遍關(guān)注的問(wèn)題，包括認(rèn)識(shí)工具/設(shè)計(jì)和透明/責(zé)任之間的聯(lián)系，不僅考慮時(shí)間上的一致性和可預(yù)見(jiàn)性，還要考慮自動(dòng)化系統(tǒng)和人工系統(tǒng)之間的一致性和可預(yù)見(jiàn)性，嵌入程序性正當(dāng)程序權(quán)利的重要性，以及從歷史數(shù)據(jù)中衍生出規(guī)則與法律面前人人平等之間的張力。在政府決策自動(dòng)化過(guò)程中解決這些問(wèn)題，對(duì)于任何宣稱堅(jiān)持法治基本理念的國(guó)家都至關(guān)重要。

超出本文范圍的一個(gè)更深層次的問(wèn)題是，政府決策自動(dòng)化本身將在多大程度上塑造法治。法治不是一個(gè)靜態(tài)的概念，它隨著社會(huì)價(jià)值觀和政府運(yùn)作的變化而發(fā)展。隨著科技重塑社會(huì)，政府與社區(qū)互動(dòng)，我們對(duì)法治的理解也會(huì)隨之改變。諸如透明和責(zé)任、可預(yù)測(cè)性和一致性以及法律面前人人平等等價(jià)值觀可能仍然是法治概念的核心，但對(duì)它們的解釋和適用可能會(huì)發(fā)生改變。這些技術(shù)所帶來(lái)的益處（如削減政府支出的能力），如此重要，以至于要求法治框架內(nèi)的更大空間。