論自動(dòng)化行政中算法決策風(fēng)險(xiǎn)的“人在回路”治理模式

摘要：現(xiàn)階段，針對自動(dòng)化行政中的算法決策風(fēng)險(xiǎn)，采行的是一種“計(jì)算中立”的算法治理模式。該模式肯定算法決策技術(shù)的應(yīng)用價(jià)值，并通過提升算法透明度、確保公民可解釋權(quán)的方式應(yīng)對正當(dāng)程序挑戰(zhàn)。但以歐盟為代表的部分國家認(rèn)為不能完全信任和依賴算法決策，并提出全新的“人在回路”治理模式。該模式通過在算法回路中引入有意義的人類監(jiān)督，力圖在公共行政中尋回人的自主性，以人類價(jià)值判斷應(yīng)對更高層面的算法決策風(fēng)險(xiǎn)。不過，“人在回路”模式是自動(dòng)化行政中算法決策風(fēng)險(xiǎn)治理的補(bǔ)充式發(fā)展，并非是對“計(jì)算中立”模式的替代，亦有其適用限制。

關(guān)鍵詞：人在回路；自動(dòng)化行政；算法決策；人類判斷

一、問題的提出

算法決策技術(shù)應(yīng)用于公共行政帶來了兩種法律風(fēng)險(xiǎn)：算法黑箱與算法偏見。黑箱的隱喻表達(dá)了公眾對算法不透明的擔(dān)憂，當(dāng)決策結(jié)果的制定過程是不可見的，必然附隨公權(quán)力侵益的可能性，特別是算法黑箱所遮蔽的歧視、不平等問題。面對自動(dòng)化行政的技術(shù)風(fēng)險(xiǎn)與法治挑戰(zhàn)，目前主要采用了一種“計(jì)算中立”（Computation Neutrality）的治理模式。該模式源起于弱人工智能階段，算法應(yīng)用推進(jìn)了行政效率、公平性與合法性，但附隨對正當(dāng)程序原則的挑戰(zhàn)。從規(guī)范理念上，“計(jì)算中立”肯定和相信算法決策的技術(shù)價(jià)值，同時(shí)強(qiáng)調(diào)可預(yù)測性、透明性、公眾參與的法治理念。在基本方法上，圍繞“算法可解釋性”問題，強(qiáng)化說明理由義務(wù)，最低限度地保障公民的陳述申辯機(jī)會(huì)，以此化解算法決策風(fēng)險(xiǎn)。

隨著強(qiáng)人工智能時(shí)代的到來，人工智能的演化發(fā)展讓行政機(jī)關(guān)無法在公開場合或法庭上解釋這些系統(tǒng)，這些被軟件代碼化的專業(yè)知識(shí)，是行政官員沒有學(xué)過的語言。而且，即使知道算法是如何推演的，也并不意味著結(jié)論是合法的，以推進(jìn)算法可解釋性為核心的“計(jì)算中立”模式開始勢弱。

在此基礎(chǔ)上，部分學(xué)者另辟蹊徑，展開了一場關(guān)于“感知合法性”的實(shí)證調(diào)研——在行政決策中，公眾更愿意相信算法決策還是人類判斷？研究表明，雖然自動(dòng)化決策技術(shù)有很多優(yōu)點(diǎn)，但公民更傾向于信賴人類判斷，而非算法決策。伯克利（Berkeley）等人發(fā)現(xiàn)，當(dāng)人們沒有看到算法出錯(cuò)時(shí)，他們會(huì)更愿意使用算法；而一旦算法出錯(cuò)，對算法的信任度瞬間降低。即使算法的出錯(cuò)率遠(yuǎn)遠(yuǎn)低于人類，哪怕算法決策犯的是和人類法官一樣的錯(cuò)誤，民眾卻更愿意包容人類法官而非算法。更重要的是，算法決策結(jié)果或許是最道德的，卻未必是最容易被接受的。在無人駕駛汽車的道德算法實(shí)驗(yàn)中，算法最優(yōu)解是盡可能地減少傷亡，而模擬結(jié)果卻是汽車可能會(huì)選擇殺死乘客以確保更大的公共安全。這一點(diǎn)恰恰是民眾不愿選擇自動(dòng)駕駛汽車的重要原因。在機(jī)器道德實(shí)驗(yàn)中，雖然不斷模擬和引導(dǎo)科技倫理與人類價(jià)值趨同，并嘗試將人類的價(jià)值理念轉(zhuǎn)化成定量的準(zhǔn)則。但事實(shí)上，很多時(shí)候連人類自己都難以公正地評斷復(fù)雜的現(xiàn)實(shí)?！斑@些準(zhǔn)則很少認(rèn)識(shí)到人類在道德領(lǐng)域會(huì)經(jīng)歷內(nèi)心沖突、人際分歧和文化差異”，機(jī)器更加無法理解和表達(dá)這種復(fù)雜性。

前述研究成果指明了問題的方向：算法決策不是絕對正確的，解釋算法無法回應(yīng)決策結(jié)果的可接受性問題。因而，近年來，以歐盟為代表的國家轉(zhuǎn)變思路，強(qiáng)調(diào)不可過度信賴算法，禁止僅以自動(dòng)化方式作出對個(gè)人權(quán)益產(chǎn)生影響的決定，并對算法決策進(jìn)行人類監(jiān)督和控制，確保行政決定符合人類價(jià)值判斷，即一種全新的算法治理模式——“人在回路”（Human in the Loop）。

然而，一種新模式的探索與應(yīng)用，應(yīng)有其必要的價(jià)值與可行性。在研究思路上需依次回答以下三個(gè)問題：第一，什么是“人在回路”治理模式？它與已有算法治理模式有什么區(qū)別？第二，“人在回路”模式是如何治理自動(dòng)化行政中的算法決策風(fēng)險(xiǎn)的？第三，在公共行政中應(yīng)用算法決策技術(shù)并弱化人類決策，在一定程度上是為了預(yù)防人為不確定性因素的負(fù)面影響，以提升行政執(zhí)法的確定性。如今反而再次要求人工干預(yù)行政決策，是否存在技術(shù)上的悖論？如何善用“人在回路”治理模式？

一、“人在回路”治理模式的技術(shù)內(nèi)涵

（一）“人在回路”的概念界定

“人在回路”治理模式最早應(yīng)用于致命性自主武器系統(tǒng)。自主武器可以在長時(shí)間無任何形式的外部控制下運(yùn)行，并在限制范圍內(nèi)自行選擇和決定自身行為。因此，一旦武器的自動(dòng)化系統(tǒng)失控，將對人類安全造成巨大威脅。2015年，國際人工智能聯(lián)合會(huì)議（UCAI）開幕式上宣讀了一封關(guān)于《自主武器：AI和機(jī)器人研究人員的公開信》，信中指出：“在軍事領(lǐng)域進(jìn)行人工智能軍備競賽是一個(gè)壞主意，應(yīng)該禁止使用缺乏人類有意義控制的進(jìn)攻性自主武器”。此外，“人在回路”同樣被應(yīng)用于無人駕駛汽車的風(fēng)險(xiǎn)防控中。無人駕駛汽車的實(shí)踐模擬存在一個(gè)關(guān)鍵問題，駕駛時(shí)可能發(fā)生各種各樣的意外，要訓(xùn)練一個(gè)能夠應(yīng)對各種情況的機(jī)器學(xué)習(xí)系統(tǒng)，是非常困難的。因此，無人駕駛汽車領(lǐng)域開發(fā)了一種“遠(yuǎn)程輔助”（Remote Assist）方法，“當(dāng)一輛自動(dòng)駕駛汽車遇到未知情況時(shí)，它可以向人工呼叫中心尋求幫助”，即始終保持人在算法回路中，解決機(jī)器無法決策的現(xiàn)實(shí)問題。

從實(shí)踐應(yīng)用中可以概況總結(jié)，所謂“人在回路”是指人存在于算法回路中。但這里又可以作進(jìn)一步地細(xì)分解釋：第一，所謂“回路”，是一種動(dòng)態(tài)的算法決策過程，其范圍可大可小。廣義上，算法決策的起點(diǎn)可以追尋至人類對系統(tǒng)的設(shè)計(jì)、訓(xùn)練數(shù)據(jù)的選擇和輸入，其終點(diǎn)可以到人類執(zhí)行完畢。在這樣一個(gè)廣義范圍的回路中，根本不存在全自動(dòng)化決策，因?yàn)槿藷o處不在。狹義層面，“回路”可以被界定為某個(gè)個(gè)案決策過程，“回路中的人”是指“與算法共同參與單個(gè)特定決策的個(gè)人”。這里，“回路”應(yīng)該是一種狹義層面的定義。

第二，人存在于回路的形式眾多，其中可能是完成某項(xiàng)輔助工作，例如由行政人員在自動(dòng)化決策結(jié)果文書上蓋上公章，即“橡皮圖章”（Rubber-stamping），但這并不構(gòu)成“人在回路”的定義。所謂“人在回路”，不是簡單指人存在于算法決策回路中，人類的存在必須是有意義的，且會(huì)對決策結(jié)果產(chǎn)生實(shí)質(zhì)性的影響，表現(xiàn)為一種“有意義的人類控制”。

性質(zhì)上，“人在回路”治理模式建構(gòu)的是一種人機(jī)交互式的混合系統(tǒng)，亦屬于半自動(dòng)化系統(tǒng)?；旌舷到y(tǒng)與早期半自動(dòng)化系統(tǒng)不同，后者是自動(dòng)化決策的初始樣態(tài)，通過在人類主導(dǎo)的事務(wù)中添加輔助性算法工具，形成一種人與機(jī)器共存的半自動(dòng)化決策系統(tǒng)。混合系統(tǒng)產(chǎn)生的前提則是在機(jī)器逐漸替代人的部分甚至全部工作，并計(jì)劃在未來形成全自動(dòng)化系統(tǒng)的背景下。為預(yù)防算法決策風(fēng)險(xiǎn)，混合決策希冀“在決策環(huán)境中，引人人類對基于人工智能或算法的工作流程的監(jiān)督”。亦即在算法決策占據(jù)主導(dǎo)地位的大環(huán)境下，重拾人類作用，推動(dòng)人機(jī)交互、協(xié)同發(fā)展。而“人在回路”治理模式所要探尋的正是人在算法決策中可行的作用程度。

（二）“人在回路”的規(guī)范理念：以人為本

早期“計(jì)算中立”模式表現(xiàn)出人類對算法決定其權(quán)益的信任，但考慮到黑箱問題，通過提高算法透明性以增強(qiáng)算法決策的可信度。但可以想見，21世紀(jì)的技術(shù)發(fā)展將帶來“對世界上可觀察到的現(xiàn)象進(jìn)行更多量化（更多數(shù)據(jù)）”以及“利用新技術(shù)和新方法進(jìn)行更準(zhǔn)確的模式識(shí)別（更好的推理）”，并最終迎來“法律奇點(diǎn)”——法律的不確定性被消除，事實(shí)一旦被認(rèn)定，就會(huì)映射出明確的法律結(jié)果，法律在功能上是完整的。在“法律奇點(diǎn)”之下，機(jī)器在大量數(shù)據(jù)基礎(chǔ)和推理方法的學(xué)習(xí)改進(jìn)下，直至消除人類作為中介的必要性，并最終實(shí)現(xiàn)全自動(dòng)化。不可否認(rèn)，在未來，當(dāng)人工智能在深度學(xué)習(xí)的發(fā)展過程中變得比人類更有能力，將可能迎來“智能爆炸”，導(dǎo)致一種超越人類思想、感覺和行動(dòng)界限的“超級(jí)智能”出現(xiàn)。此時(shí)，人工智能可能會(huì)掙脫人類主體的控制，進(jìn)而造成對人的侵害。而“人在回路”正是在這一長遠(yuǎn)視角上提出的算法治理模式。

“人在回路”模式的治理理念源自于對人的保護(hù)，是一種“以人為本”的自動(dòng)化追求。該模式認(rèn)為，“全自動(dòng)化的風(fēng)險(xiǎn)在于，基于固定決策樹路徑的算法編碼缺乏適應(yīng)性倫理知識(shí)，無法考慮人類的動(dòng)態(tài)選擇和表達(dá)”。特別是不確定性法律概念的數(shù)字轉(zhuǎn)化，代碼難以真實(shí)傳達(dá)人類復(fù)雜的情感。一旦算法決策缺乏人類價(jià)值的引導(dǎo)，就可能造成對行政相對人的不當(dāng)侵益，因此，尋回人的自主性，將人類價(jià)值判斷保留在決策中才是維護(hù)人權(quán)的必要條件之一。

此外，“人在回路”模式致力于最大限度地降低“判斷力萎縮”（Judgemental Atrophy），避免將權(quán)力下放給算法的風(fēng)險(xiǎn)。全自動(dòng)化行政所輸出的價(jià)值理念往往是單一的，很難體現(xiàn)和承載必要的人類價(jià)值。只有在算法回路中吸納人類判斷元素，豐富決策考量因素，才能得出更為貼近人類發(fā)展需求的決策結(jié)果。換言之，“人在回路”并非強(qiáng)調(diào)任何人類判斷與機(jī)器判斷的高低之分，而是謀求一種人機(jī)交互的新配置模式，其試圖確保人類判斷流入決策過程，并始終提供一個(gè)為了人類價(jià)值而斗爭的場所。

（三）“人在回路”的技術(shù)工具：人工干預(yù)

在算法回路中，常見人的存在，卻不必然構(gòu)成“人在回路”系統(tǒng)，“人在回路”模式有其特定的技術(shù)工具要求。首先，“人在回路”中“人類存在”體現(xiàn)的是一種人類監(jiān)督。Brennan -Marquez和Henderson指出，民主決策的核心價(jià)值在于角色可逆，其認(rèn)為，只有負(fù)責(zé)決策的人同樣會(huì)受到其決策的影響，才能提高決策者對決策結(jié)果的謹(jǐn)慎。該理論類似分蛋糕的例子，公平的分配蛋糕需要吃蛋糕的人共同參與到蛋糕切分中，當(dāng)分蛋糕的人的利益會(huì)受到自己的切分行為影響時(shí)，他才會(huì)更加地謹(jǐn)慎與公平。以此而言，機(jī)器不是人類，它即使是絕對的裁判中立者，卻也少了對被決策對象的同理心，因此可能帶來對相對人的非正義裁判。反之，只要機(jī)器不能內(nèi)化決策結(jié)果，就需要接受人類監(jiān)督。

其次，在“人在回路”模式下，強(qiáng)調(diào)的是一種有意義的人類監(jiān)督（Meaningful HumanControl）。所謂“有意義的人類監(jiān)督”，要求在決策過程中不過度依賴算法，“在需要的時(shí)候，回路中的人類應(yīng)該擁有自主權(quán)來覆蓋或中斷人工智能系統(tǒng)；并且在與人工智能系統(tǒng)交互時(shí)，還應(yīng)該具有行使人類判斷的能力（技能）”。這種權(quán)利能力被稱為“人工干預(yù)”（Human Intervention）。

最后，人工干預(yù)有兩個(gè)主要功能：第一，人類可以識(shí)別自動(dòng)化系統(tǒng)的錯(cuò)誤行為，并采取糾正措施。例如武器化無人機(jī)上的計(jì)算機(jī)視覺系統(tǒng)可能錯(cuò)誤地將平民視為戰(zhàn)斗人員，而人類操作員可以確保這種情況被識(shí)別出來。當(dāng)然，這種“錯(cuò)誤”也可以被理解成“短路”，即機(jī)器對未模擬過的情形不知如何決策，此時(shí)，“保持‘人在回路’可以確保人的判斷始終能夠在需要時(shí)補(bǔ)充自動(dòng)化”。第二，人類的參與可以為系統(tǒng)不端行為提供一個(gè)負(fù)責(zé)任的實(shí)體。從相對人的角度，全自動(dòng)化系統(tǒng)對相對人的傷害，使其越來越抗拒自動(dòng)化決策的結(jié)果并產(chǎn)生不信任感。就目前而言，也并不存在有效地懲罰算法的方法，人類的參與可以令相對人信服，現(xiàn)階段存在某種機(jī)制去降低自動(dòng)化決策的錯(cuò)誤率。

三、自動(dòng)化行政中“人在回路”模式的治理邏輯

從公共行政到自動(dòng)化行政，形式上從人類決策轉(zhuǎn)變?yōu)樗惴Q策，本質(zhì)上依然是行政權(quán)的運(yùn)作?！肮ㄖ荚谧非蠛痛_保政府行為的合法性”，是故，若要在自動(dòng)化行政中采行“人在回路”治理模式，需闡明該模式是如何化解算法決策的合法性風(fēng)險(xiǎn)的。

（一）獨(dú)立算法決策的固有風(fēng)險(xiǎn)：決策結(jié)果不可能絕對合法

人類決策造成合法性缺失通常受到兩種因素限制：第一，人無法理性地執(zhí)行法律；第二，人無法理性地作出判斷。前者受各類環(huán)境因素影響，使決策者無法踐行法律面前人人平等的基本要求，造成許多非公平性的結(jié)果；后者則是基于人類的有限理性，無法全面、科學(xué)地作出判斷。因而，學(xué)者們開始嘗試將合法性期待寄望于算法決策技術(shù)，并將其視為有效制約行政權(quán)的重要工具之一。算法決策在自動(dòng)化行政中體現(xiàn)為專家系統(tǒng)與機(jī)器學(xué)習(xí)兩種技術(shù)樣態(tài)。前者依賴于“如果一那么”（IFTTT，if this then that）系統(tǒng)，利用那些由專家提供的知識(shí)和經(jīng)驗(yàn)轉(zhuǎn)化而成的代碼，對個(gè)案情況進(jìn)行判斷推導(dǎo)，得出既定的答案。后者則依賴于ALI（Artificial Legal Intelligence）人工法律智能系統(tǒng)，以數(shù)據(jù)統(tǒng)計(jì)分析和歸納推理為基礎(chǔ)，致力于推進(jìn)理性裁量。

1．專家系統(tǒng)的問題

專家系統(tǒng)是解決法律問題的智能助手，可以使行政人員有效縮減在復(fù)雜手續(xù)上浪費(fèi)的時(shí)間，預(yù)留更多的精力關(guān)注和服務(wù)民眾需求，而且，能夠確保行政完全依法律而為，阻斷裁量中的人為錯(cuò)誤，使法律得到一致地執(zhí)行。然而，專家系統(tǒng)依然無法實(shí)現(xiàn)真正的行政合法性。

首先，專家系統(tǒng)需要面對法律的固有問題——法的不完備性。理論上，只要代碼保持正確，算法決策的運(yùn)算結(jié)果就能合法。但這要求對應(yīng)法律條文的代碼不帶有任何偏見或歧視，是一種近乎完美的算法程序。而事實(shí)上不可能。在算法決策中，即使代碼可以完全對應(yīng)所有法律條文，也不可能絕對正確。現(xiàn)代法治國家從不存在完備的法律，代碼絕對正確的前提并不存在，因而算法決策結(jié)果的合法性亦無法保證。其次，專家系統(tǒng)希望通過代碼替代法律文字，運(yùn)用算法進(jìn)行邏輯推演的思路，存在一個(gè)無解的技術(shù)困境——“自動(dòng)化系統(tǒng)中使用的代碼和算法與行政法中對成文法解釋和理性決策的期望之間的脫節(jié)可能難以完全消除”。語言是多義的，代碼是單一的，代碼無法真正詮釋語言。例如，“公平”“正義”等包含價(jià)值判斷的詞語，不可能簡化成幾行代碼。而強(qiáng)行轉(zhuǎn)化成代碼的做法，反而會(huì)制約公共行政的靈活性，影響案件結(jié)果的公正。更深層次而言，專家系統(tǒng)可實(shí)現(xiàn)的法治狀態(tài)，只是一種合乎規(guī)律、規(guī)則的決策運(yùn)算，一種忽略了個(gè)案因素與個(gè)案正義的形式法治。這導(dǎo)致了該技術(shù)樣態(tài)下的自動(dòng)化行政只具備合法律性，而非合法性。這種法律科技的應(yīng)用雖然推動(dòng)了法治的進(jìn)步，邁向了相較以往更高程度的行政合法，卻并未真正實(shí)現(xiàn)行政合法。

2．機(jī)器學(xué)習(xí)的問題

“人類受限于人類大腦的認(rèn)知局限，在時(shí)間限制下，無法分析所有甚至大部分信息。因此，他們往往滿足于一個(gè)令人滿意的解決方案，而不是一個(gè)最優(yōu)的解決方案”，但人工智能是一種理性智能體（Rational Agent），它致力于“為取得最佳結(jié)果或在存在不確定性時(shí)取得最佳期望結(jié)果而采取行動(dòng)”。機(jī)器學(xué)習(xí)“不是用一些外來的和不熟悉的方法代替人類判斷，而是人類判斷的進(jìn)化，通過統(tǒng)計(jì)知識(shí)、數(shù)據(jù)存儲(chǔ)和數(shù)字計(jì)算的進(jìn)步，使基本相似的決策過程（盡管更準(zhǔn)確，而且通常更實(shí)用）成為可能”。特別是諸如稀缺資源分配的裁量問題，使行政主體的決策不再像投擲硬幣般隨機(jī)，而是基于大量數(shù)據(jù)和算法的結(jié)果，提高決策的科學(xué)性和合理性。

可以說，人工智能更為理性，但理性并不意味著合法。算法決策一直追尋一種“價(jià)值對齊問題”，而機(jī)器與人類的認(rèn)知差異導(dǎo)致了結(jié)果偏差。人類要求機(jī)器理性以滿足人類需求，但機(jī)器的理性旨在追求效用最大化，而效用最大化最終又未必符合人類需求。因而，在很多個(gè)案中，算法決策的結(jié)果往往是理性的，但恰恰是理性讓其缺失對人的同理心，并最終影響決策的實(shí)際效果。此外，機(jī)器學(xué)習(xí)的基礎(chǔ)是人類對以往案例數(shù)據(jù)的輸入，當(dāng)社會(huì)發(fā)展形成新的法律問題時(shí)，機(jī)器學(xué)習(xí)就可能產(chǎn)生缺口。機(jī)器可以創(chuàng)造答案，但未必是合乎人類價(jià)值凝結(jié)的“法律”。因此，無論是專家系統(tǒng)還是機(jī)器學(xué)習(xí)，完全依賴算法決策的自動(dòng)化行政永遠(yuǎn)無法等恒于合法。

（二）決策結(jié)果合法化的理論方法：行政競爭（Administrative Agon）

在自動(dòng)化行政的發(fā)展過程中，人們越來越意識(shí)到，即使是更加理性的算法決策技術(shù)，同樣不是實(shí)現(xiàn)行政合法性的絕對答案。因此，或許在明確實(shí)現(xiàn)行政合法性的方式方法前，應(yīng)當(dāng)先明確究竟什么是行政合法性？行政合法要的是什么？

1．行政合法性的核心內(nèi)涵：對民意同等的關(guān)心和尊重

“合法性”的核心意涵在“法”的理解，它是民意的表達(dá)，而行政合法性源于對民意的有效踐行。在傳統(tǒng)行政法中，基于早期傳送帶理論的理解，行政應(yīng)當(dāng)是代表民意的法律的傳遞者，行政合法性應(yīng)與合法律性具有鮮明的一致性，意味著行政是對法律的遵從。但“法”所代表的民意是多元而有分歧的，傳統(tǒng)立法對民意的表達(dá)是通過化解分歧，尋求共識(shí)的方式，最大范圍地實(shí)現(xiàn)民主。這種情況下，法律條文的內(nèi)容往往無法全然實(shí)現(xiàn)民意的表達(dá)，且總會(huì)有小部分或例外的民意沒有被落實(shí)和保障。因此，在合法律性下的公共行政，常常面臨行政決定的合法卻不可接受性問題。這一點(diǎn)，也正是算法決策技術(shù)應(yīng)用未曾關(guān)注的重要問題，亦是其無法絕對合法的關(guān)鍵所在。

行政法治不僅僅是執(zhí)行法律，還要服務(wù)于一個(gè)更宏大的社會(huì)目標(biāo)，在法律之內(nèi)尋求社會(huì)效果，去考慮法律價(jià)值，作出價(jià)值衡量。這里，“價(jià)值衡量”是通過法律手段協(xié)調(diào)民意間的分歧，同時(shí)給予每個(gè)公民同等的尊重，以實(shí)現(xiàn)一種可接受性的行政合法。以此而言，算法決策無法獨(dú)立實(shí)現(xiàn)行政合法性的原因在于，行政合法不是一種靜態(tài)的合法標(biāo)準(zhǔn)，而是一種動(dòng)態(tài)的價(jià)值衡量。民意中的分歧始終存在，如何確保每一個(gè)人都可以接受或者說相信行政決定的結(jié)果，才是行政合法性追求的最終目標(biāo)。民主和法治的核心，是“同等關(guān)心和尊重”每個(gè)人的價(jià)值觀，而非單一、僵化地執(zhí)行法律規(guī)則。

2．同等關(guān)心和尊重民意的理論方法：從可協(xié)商到可競爭

代表民意的“法”是動(dòng)態(tài)的，因此在行政執(zhí)法過程中，要合乎代表民意的“法”也變得動(dòng)態(tài)且不確定。是故，為了行政合法，以往曾嘗試通過化解分歧、謀求共識(shí)的思路，先行統(tǒng)一民意，再由行政機(jī)關(guān)執(zhí)行。從早期的“極簡主義”以多勝少的方式，到“參與民主”強(qiáng)調(diào)公眾的參與式意見表達(dá)，再到“協(xié)商民主”為公眾建立辯論平臺(tái)，以提高人們對他人觀點(diǎn)的理解，促進(jìn)對分歧問題的一些共識(shí)。但這依然不能全然實(shí)現(xiàn)公眾對算法決策結(jié)果的可接受性，因?yàn)榧词故怯煽茖W(xué)的統(tǒng)計(jì)數(shù)據(jù)計(jì)算得出的最趨近于目標(biāo)函數(shù)的結(jié)果，也可能是行政相對人心中不認(rèn)可的觀點(diǎn)。

基于此，有學(xué)者提出了一種全新的競爭民主理論（Agonistic Democratic Theory，Agonism forshort），試圖解決行政合法的可接受性困境。理論上，即使算法決策比人類決策在化解分歧層面更加科學(xué)、理性，人類依然不應(yīng)將其輸出結(jié)果視為理所當(dāng)然，而是應(yīng)將法治的競爭核心融入自動(dòng)化行政設(shè)計(jì)中，增加不同利益訴求間的競爭，以此實(shí)現(xiàn)更好的行政決策。競爭論的本質(zhì)是結(jié)果的可爭辯性而非對抗，并通過不同觀點(diǎn)間的競爭助推對行政相對人利益的最大保護(hù)。

在可競爭思路之下：首先，前提在于不存在絕對正確的行政決定，任何的決策者哪怕是理性的機(jī)器，都無法真正化解分歧。這一點(diǎn)在前面已經(jīng)論述。其次，承認(rèn)和肯定分歧的存在，而非試圖化解分歧。任何一種決策結(jié)果對公民而言都是有利有弊，承認(rèn)存在多種決策可能，而非過度依賴唯一肯定的結(jié)果。最后，允許決策結(jié)果的可競爭性，以此促進(jìn)行政合法性的程度最大化。即在公共行政中預(yù)留一個(gè)可競爭的開放空間，允許行政相對人對決策結(jié)果提出異議，而非前期謀求共識(shí)的協(xié)商，以此實(shí)現(xiàn)民意的真正表達(dá)。

（三）決策結(jié)果可競爭性的實(shí)現(xiàn)路徑：“人在回路”

進(jìn)一步而言，在決策結(jié)果的可競爭性要求下，如何實(shí)現(xiàn)多種不同觀點(diǎn)的競爭？是否多個(gè)主體提出不同的觀點(diǎn)就可以構(gòu)成決策結(jié)果的可競爭性？這些主體可否都是機(jī)器？

首先，多個(gè)機(jī)器主體的觀點(diǎn)并不能構(gòu)成可競爭性。算法決策的觀點(diǎn)是一種概率體現(xiàn)，是機(jī)器結(jié)合輸入的數(shù)據(jù)，在運(yùn)算法則基礎(chǔ)上，通過不同結(jié)果間的概率比較選出的結(jié)果。但是，即使替換機(jī)器，如果輸入數(shù)據(jù)和運(yùn)算法則是不變的，以此得出的結(jié)論也是不會(huì)改變的。不同的是，機(jī)器和人類兩類主體卻可以基于不同的視角、經(jīng)驗(yàn)、價(jià)值理解產(chǎn)生可競爭性的觀點(diǎn)。機(jī)器的決策經(jīng)驗(yàn)源自以往的人類經(jīng)驗(yàn)總結(jié)，依賴于人類早期的案例數(shù)據(jù)輸入。它長于經(jīng)驗(yàn)分析，從中找尋規(guī)律，以此回應(yīng)和解決現(xiàn)有的各類問題。但機(jī)器決策觀點(diǎn)也有不足，無論多么先進(jìn)的機(jī)器都無法再現(xiàn)法律本質(zhì)上的社會(huì)性。法律適用并非全是簡單明了的事實(shí)情況，有很多隱藏、潛在的社會(huì)關(guān)系與互動(dòng)，法律是一種偶然性和生產(chǎn)性的技術(shù)過程，需要不斷對外界影響作出反應(yīng)并向新的可能性開放的過程。而這卻是人類決策擅長的東西。人類決策的觀點(diǎn)多數(shù)出于對案件本身因素的代人理解，以及對特殊情形的靈活應(yīng)變。特別是以往未出現(xiàn)過的問題，人類決策者可以作出創(chuàng)新性的回應(yīng)，提出獨(dú)特的觀點(diǎn)。相反，也正因?yàn)槿祟悰Q策的視角更具主觀性，往往會(huì)受到現(xiàn)實(shí)因素的不當(dāng)影響。同時(shí)，基于有限理性，人類決策在對以往經(jīng)驗(yàn)的總結(jié)和踐行上反而是不足的。在價(jià)值判斷上，人類是一種蘊(yùn)涵復(fù)雜情感的社會(huì)主體，人類決策在促進(jìn)公共利益的同時(shí)會(huì)考慮到被決策者的感受，以同理心裁判。機(jī)器并不是人類，它更像一個(gè)中立的裁判者，任何案件中的人類利益都與它無關(guān)，因此也缺乏了對人的同理心。同樣的案件裁量，當(dāng)機(jī)器替代人類時(shí)，“預(yù)計(jì)他們將變得更加合法，而不那么便利和寬容”。

可以說，“機(jī)器擅長重復(fù)性任務(wù)，而人類更擅長復(fù)雜的上下文分析”，因此，算法決策可以減少行政主體充當(dāng)中介和翻譯的機(jī)會(huì)，真實(shí)展現(xiàn)民眾的聲音；人類決策可以創(chuàng)造更好地溝通和服務(wù)機(jī)會(huì)，以此捕捉社會(huì)中較弱的聲音。但是，無論是人類決策還是算法決策，其結(jié)果展現(xiàn)出的觀點(diǎn)都具有特定的法律價(jià)值，算法決策強(qiáng)化了部分人對合法性的要求，人類決策則為合理性打開了空間。兩種觀點(diǎn)沒有誰對誰錯(cuò)，是一種可競爭的不同觀點(diǎn)。恰恰是二者間的分歧和可競爭性，會(huì)帶來一種價(jià)值的爭辯并最終促成合法性的生成。而且，無論是人類決策還是算法決策，在決策結(jié)果上都有優(yōu)勢與不足，與其探討非此即彼的二者關(guān)系，不如轉(zhuǎn)換視角，將“對抗”轉(zhuǎn)化為“競爭”，通過增加競爭者的思路，同時(shí)提高機(jī)器和人類的工具優(yōu)勢，弱化二者的缺點(diǎn)。因此，人類“應(yīng)該參與到人工法律智能中來，確保它以一種可檢驗(yàn)、可競爭的方式與法律和法治保持一致”，即一種人機(jī)交互協(xié)助的“人在回路”治理模式，以此提高行政決策的合法性程度。

四、自動(dòng)化行政中“人在回路”模式的定位

對自動(dòng)化行政而言，傳統(tǒng)“計(jì)算中立”模式雖有效地化解了部分決策合法性風(fēng)險(xiǎn)，卻依然有其治理局限性。在此基礎(chǔ)上，“人在回路”模式應(yīng)運(yùn)而生，試圖化解“計(jì)算中立”模式在應(yīng)對公共行政領(lǐng)域人工智能技術(shù)應(yīng)用與演化的不足。但這是否意味著“人在回路”模式可以完全替代“計(jì)算中立”模式？

（一）“計(jì)算中立”與“人在回路”不是相互替代的治理模式

“計(jì)算中立”和“人在回路”都是自動(dòng)化行政中算法決策風(fēng)險(xiǎn)的治理模式，二者的創(chuàng)建均源于“以人為本”的理念思想，希冀在人工智能發(fā)展中盡可能確保人類尊嚴(yán)，避免不必要的人權(quán)損害。但“計(jì)算中立”和“人在回路”的權(quán)利保障出發(fā)點(diǎn)不同，對正義或者說行政合法性的實(shí)現(xiàn)層面也有所不同。

“計(jì)算中立”視角下，算法決策的結(jié)果較之傳統(tǒng)人類決策，更為理性、客觀、公平，有助于提升行政合法性。但自動(dòng)化行政過程中缺乏最低限度的程序保障，因此，需要通過確立可解釋權(quán)，使行政相對人時(shí)刻知曉算法決策的過程、代碼，即依法行政所要求的法律和事實(shí)依據(jù)；同時(shí)，確保行政相對人的陳述和申辯權(quán)，使算法決策結(jié)果符合程序正義。

“人在回路”視角下，算法決策的結(jié)果未必正確，法治挑戰(zhàn)是倫理層面的結(jié)果可接受性問題。不論算法黑箱是否存在，行政相對人是否愿意接受算法決策得出的結(jié)果，并相信這是正義的，才是“人在回路”模式關(guān)注的問題。一方面，隨著強(qiáng)人工智能時(shí)代的到來，算法黑箱不再是人類可以嘗試透明化的問題，機(jī)器的思想不是需要被解釋和認(rèn)可，而是需要被監(jiān)督和審核。另一方面，行政相對人對算法歧視結(jié)果的成因不再定論于依據(jù)的不可知或相對人為自身申辯的權(quán)利不足，而是基于機(jī)器永遠(yuǎn)無法理解人類的情感。特別是在個(gè)案中，“每個(gè)案例都需要根據(jù)其本身的優(yōu)點(diǎn)進(jìn)行評估，而不是與以前的案例進(jìn)行比較或一概而論。在需要個(gè)人公正的地方，算法決策系統(tǒng)不能（完全）取代人類的判斷”。亦即，“人在回路”模式是借助人類判斷確保個(gè)案正義。

比較而言，“計(jì)算中立”模式是在程序正義與實(shí)體正義間，致力于行政過程對正當(dāng)程序的要義貫徹，以程序正義去確保決策結(jié)果的合法性。而“人在回路”模式是在個(gè)案正義與形式正義間，致力于以人類價(jià)值判斷去彌補(bǔ)機(jī)器統(tǒng)計(jì)計(jì)算下忽視的個(gè)案要素，以此強(qiáng)化結(jié)果的合理性與可接受性。“依法裁判”與“個(gè)案正義”是案件裁決追求的兩個(gè)目標(biāo)，其中，個(gè)案正義是一個(gè)更高層面的要求。“計(jì)算中立”模式追尋的是前者，即通過對正當(dāng)程序義務(wù)的增設(shè)，強(qiáng)化機(jī)器對既定規(guī)則的遵從和嚴(yán)格執(zhí)行，以及對裁量基準(zhǔn)的科學(xué)判定。且透明的算法同樣會(huì)給行政相對人帶來一種期待，“會(huì)外化為相對人的一種合法預(yù)期，使其對行政機(jī)關(guān)的未來行為產(chǎn)生一種信賴”。而“人在回路”是為了避免忽視特殊情形或弱勢群體利益的可能，追求的是后者。

雖然兩種算法治理模式在對算法決策的態(tài)度與法律價(jià)值追求上各有不同，但并不沖突，甚至互為補(bǔ)充。一方面，“計(jì)算中立”肯定法律科技的應(yīng)用價(jià)值，希冀技術(shù)創(chuàng)新推進(jìn)法治發(fā)展；“人在回路”具有更強(qiáng)的風(fēng)險(xiǎn)預(yù)防意識(shí)，未雨綢繆式應(yīng)對人工智能演化的可能危機(jī)。但“技術(shù)創(chuàng)新”與“風(fēng)險(xiǎn)預(yù)防”不是非此即彼，兩種治理目標(biāo)可以平衡性的同時(shí)存在。另一方面，兩種治理模式追求的法律價(jià)值雖有不同但并非是同一層面、同一階段的矛盾關(guān)系，甚至二者可以共同致力于自動(dòng)化行政的公平正義。換言之，即使在“人在回路”模式中，行政相對人對決策結(jié)果的依據(jù)和理由依然有知悉的權(quán)利。只是在“人在回路”模式下，透明度與可解釋性不再是解決算法黑箱、算法歧視問題的終點(diǎn)，而是仍需考量相對人對決策結(jié)果的可接受性問題。

（二）“人在回路”模式并非適用于所有的自動(dòng)化行政

“人在回路”模式在自動(dòng)化行政裁量中的風(fēng)險(xiǎn)防控作用顯著?，F(xiàn)代法治國家對行政裁量權(quán)的詬病，本質(zhì)上在于裁量權(quán)容易被人類執(zhí)法者濫用，而算法決策技術(shù)的客觀理性恰恰起到了預(yù)防作用。只是，在自動(dòng)化行政中所預(yù)期的機(jī)器裁量與行政裁量的原意不符。行政裁量“是形式法治狀態(tài)下實(shí)現(xiàn)個(gè)案正義的最佳途徑”，但機(jī)器裁量的結(jié)果是對以往案例、數(shù)據(jù)的分析推演，始終在尋求一種“同案同判”的一致性價(jià)值，而非基于個(gè)案差異的靈活應(yīng)變，是一種形式正義的追求體現(xiàn)。事實(shí)上也并不存在絕對的“同案”，更多的只是“類似案件”。對算法決策的過度追求，反而會(huì)造成對例外情形、特殊情形中個(gè)體差異的忽視，進(jìn)而產(chǎn)生不正義的結(jié)果。因此，仍然需要人類判斷的介入，以人類裁量的最初意涵最大限度實(shí)現(xiàn)個(gè)案正義。但是，過度強(qiáng)調(diào)個(gè)案正義，亦有損正義理念的平衡。

此外，Wardman和Martin在一項(xiàng)研究中發(fā)現(xiàn)，“人在回路”雖然可以有效提升感知合法性，但是這種合法性收益在例如假釋、衛(wèi)生、警務(wù)等關(guān)鍵性決策中最大，相反在一些非關(guān)鍵性決策中收益甚微?？梢哉f，“人在回路”模式并非因應(yīng)所有算法行政行為的合法性需求。在對個(gè)人權(quán)益有重大影響的行政決策中，相對人更傾向于信賴人類判斷，對算法決策的信任度不足，而額外的監(jiān)督機(jī)制會(huì)強(qiáng)化公眾的可接受度，因此需要“人在回路”模式。相反，在非關(guān)鍵性案件中，過度增設(shè)人為干預(yù)，反而影響決策效率。因此，“人在回路”模式的適用范圍也是有限的。

（三）“人在回路”模式中人工干預(yù)的限度

在“人在回路”模式中，人工干預(yù)手段同樣存在限制。

1．人工干預(yù)的介入方式

在算法決策無重大風(fēng)險(xiǎn)或明顯錯(cuò)誤，無需人工主動(dòng)干預(yù)的情形下，人類判斷可以有兩種介入自動(dòng)化行政的方式：（1）行政相對人可以在行政決定前享有人類決策還是算法決策的選擇權(quán)；（2）行政相對人享有的是在算法決策后，要求人工干預(yù)的請求權(quán)。任何程序的設(shè)置都需要考慮“所采用的程序存在錯(cuò)誤的風(fēng)險(xiǎn)以及采取替代性或額外程序保障可能帶來的價(jià)值”。公共行政在效率追求目標(biāo)下，以簡化程序?yàn)楸憩F(xiàn)，自動(dòng)化的產(chǎn)生也是改變傳統(tǒng)人工效率低下的程序性變革，而人工干預(yù)算法決策反而是一種額外增加的行政程序。因此，出于對行政合法性與行政效率的平衡，人工干預(yù)程序在降低效率利益的不利情境下，必須以實(shí)現(xiàn)合法性利益最大化為目標(biāo)，實(shí)現(xiàn)法益均衡。

首先，在人類決策與算法決策技術(shù)比較中可以發(fā)現(xiàn)，未來的公共行政會(huì)有越來越多地使用到算法決策技術(shù)，以確保同案同判的一致性要求和行政裁量的科學(xué)性。且通過算法決策技術(shù)的應(yīng)用，可以助力行政效率的發(fā)展，以此緩解行政國家執(zhí)法資源不足的問題。從結(jié)果合法性上而言，算法決策的出錯(cuò)率往往更低，對合法性的保障概率更大。因此，出于效率提升與合法性利益最大化的考量，當(dāng)優(yōu)先發(fā)揮算法決策的技術(shù)優(yōu)勢。其次，人工干預(yù)的本質(zhì)是一種提出異議的手段，目的是通過允許人的介入與機(jī)器展開“激烈辯論”，使人類得以保留對這些塑造他們生活方式的算法進(jìn)行控制的權(quán)利，避免算法權(quán)力濫用。但既然是提出異議，就需要有可供爭議的已有觀點(diǎn)。如果在前期即允許相對人優(yōu)先選擇人類裁決，亦與可競爭性的思路背道而馳。最后，如果給予行政相對人決策方式選擇權(quán)，可能會(huì)產(chǎn)生一種技術(shù)倒退現(xiàn)象——即行政相對人為尋租人類決策中的非法因素，為自身謀取利益，而選擇人類裁決。

因此，即使是在“人在回路”模式中，算法決策依然是公共行政的首選項(xiàng)，人類決策是可競爭的候選項(xiàng)。人工干預(yù)的被動(dòng)介入時(shí)間與方式，當(dāng)在算法決策結(jié)果通知行政相對人后，由相對人自主決定是否提請人工干預(yù)。

2．人工干預(yù)的介入限度

“人在回路”的一個(gè)優(yōu)勢，是為行政相對人提供更多的結(jié)果可能性，甚至對行政相對人更有利的結(jié)果可能性。意味著在決策層面，增加了一種對行政相對人更為有利的競爭。誰的決定對行政相對人損害最小，則優(yōu)先選擇哪種決定。而這種方式，亦符合比例原則的基本要求。利益結(jié)果本身可以表現(xiàn)為兩個(gè)層面：在法律層面是為了確保自身合法權(quán)益不受算法決策的不當(dāng)侵益；個(gè)人層面上是希望在行政裁決中的個(gè)人利益不受過度減損?；诖?，如果算法決策的結(jié)果是過度減損了行政相對人的權(quán)益，可以通過人工干預(yù)程序撤銷違法行政行為，并以人類裁決作出新的行政決定。然而，如果算法決策的結(jié)果是過度增加了行政相對人的權(quán)益，例如在分發(fā)社會(huì)福利的情況下，行政相對人認(rèn)為給予的利益不足，經(jīng)過人工干預(yù)程序?qū)徍税l(fā)現(xiàn)，根據(jù)法律規(guī)定或公共利益需要，不應(yīng)當(dāng)給予行政相對人社會(huì)福利。這種情況下，人工干預(yù)是否可以撤銷算法決策的裁決結(jié)果？

一方面，“人在回路”模式是為了在算法權(quán)力侵犯公民合法權(quán)益時(shí)，保障相對人的權(quán)利救濟(jì)：另一方面，“人在回路”模式所要求的人類監(jiān)督職責(zé)，是對算法權(quán)力進(jìn)行的內(nèi)部監(jiān)督。因此，作為一種鼓勵(lì)公民積極尋求法律救濟(jì)以對抗算法權(quán)力侵害為導(dǎo)向?qū)嵤┑谋O(jiān)督職能，必須受到行政法上“禁止不利變更原則”的約束。從行政相對人的角度來說，如果相對人在提請人工干預(yù)的情況下，可能被推翻較輕法律效果并受到更嚴(yán)重的利益減損，勢必在一定程度上影響行政相對人的權(quán)利行使，有悖立法鼓勵(lì)公民積極尋求權(quán)利救濟(jì)的初衷。此外，“不利禁止變更原則”是人權(quán)價(jià)值趨向下，國家對公民權(quán)利的寬容與謙抑。無論是算法決策還是人類決策，不應(yīng)影響該原則在公法中對監(jiān)督職能履行的約束。是故，如果人工干預(yù)的決定更有利于當(dāng)事人，則可以撤銷或變更算法決策結(jié)果，以人類決策結(jié)果為準(zhǔn)。如果人工干預(yù)的決定將更不利于當(dāng)事人，則基于行政法上基本原則，除公共利益保護(hù)、受益人存在過錯(cuò)或其他利害關(guān)系人同時(shí)請求監(jiān)督干預(yù)的情形之外，當(dāng)維持算法決策結(jié)果。

（責(zé)任編輯：楊偉東）

基金項(xiàng)目：2022年度安徽省哲學(xué)社會(huì)科學(xué)規(guī)劃青年項(xiàng)目“人臉識(shí)別技術(shù)在地方政府治理中的應(yīng)用風(fēng)險(xiǎn)及其法律規(guī)制研究”（項(xiàng)目編號(hào)：AHSKQ2022D118）。