算法規(guī)制如何場(chǎng)景化

周翔

內(nèi)容摘要：將算法納入法治化的軌道，需要根據(jù)不同的場(chǎng)景設(shè)置差異化的規(guī)范路徑。以高風(fēng)險(xiǎn)場(chǎng)景的算法產(chǎn)品使用效果實(shí)驗(yàn)啟示，通過(guò)算法的解釋可以提升用戶的理解程度，并且可視化解釋的理解效果較公式法更好；算法信任的機(jī)制構(gòu)建，則更多取決于場(chǎng)景的信任基礎(chǔ)、人機(jī)判斷的一致性等因素。實(shí)證研究對(duì)算法規(guī)制如何場(chǎng)景化提供了諸多的啟示：一是需要考慮不同場(chǎng)景用戶特征的差異，根據(jù)用戶特點(diǎn)設(shè)置權(quán)利義務(wù)；二是應(yīng)強(qiáng)調(diào)場(chǎng)景中算法以及解釋的用途差異，結(jié)合考慮相關(guān)解釋技術(shù)的可行性；三是應(yīng)當(dāng)考慮不同場(chǎng)景的算法信任基礎(chǔ)，算法引入不同場(chǎng)景有不同難度，不同場(chǎng)景應(yīng)當(dāng)設(shè)置不同的人機(jī)分工關(guān)系和算法的任務(wù)范圍。

關(guān)鍵詞：算法規(guī)制 算法解釋 算法理解 算法信任 高風(fēng)險(xiǎn)算法場(chǎng)景 人形機(jī)器人

中圖分類號(hào)：DF0 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-4039-（2024）02-0136-150

一、問(wèn)題的提出

以算法技術(shù)驅(qū)動(dòng)的自動(dòng)化決策已然進(jìn)入人類社會(huì)的諸多決策領(lǐng)域，人形機(jī)器人“有望成為繼計(jì)算機(jī)、智能手機(jī)、新能源汽車后的顛覆性產(chǎn)品，將深刻變革人類生產(chǎn)生活方式，重塑全球產(chǎn)業(yè)發(fā)展格局”。〔1"〕由此引發(fā)的各類權(quán)益侵犯風(fēng)險(xiǎn)引起了法學(xué)界的高度重視，比如自動(dòng)駕駛汽車造成的生命健康侵權(quán)、智能投顧系統(tǒng)造成的投資人財(cái)產(chǎn)損失、新聞推送造成的信息繭房等?！?"〕這些不同場(chǎng)景中算法應(yīng)用的原理不盡相同，所造成的權(quán)利侵犯類型差異也很大。過(guò)去關(guān)于算法的研究，往往籠統(tǒng)地歸納算法領(lǐng)域的風(fēng)險(xiǎn)并基于此提出應(yīng)對(duì)的方案，因此有學(xué)者認(rèn)為“傳統(tǒng)算法規(guī)制路徑面臨困境的根本原因在于忽視算法的場(chǎng)景性”，應(yīng)結(jié)合具體場(chǎng)景的特點(diǎn)設(shè)計(jì)算法規(guī)制的方案?！?"〕近年來(lái)，有很多針對(duì)醫(yī)療、交通、金融等專門場(chǎng)景展開的規(guī)范型研究，表明算法規(guī)制有關(guān)的學(xué)術(shù)討論正在走向“場(chǎng)景化”的下半場(chǎng)。

那么，場(chǎng)景化的算法規(guī)制理論究竟應(yīng)當(dāng)如何重塑呢？ 傳統(tǒng)的算法規(guī)制理論重在設(shè)計(jì)一系列的制度工具，以應(yīng)對(duì)上述的不同算法場(chǎng)景和風(fēng)險(xiǎn)。其中，既有的規(guī)范體系十分依賴算法的解釋技術(shù)，它是賦予私主體“算法解釋權(quán)”、信息處理者的“說(shuō)明義務(wù)”、行政機(jī)關(guān)“算法監(jiān)管”職權(quán)行使等各類制度設(shè)計(jì)方案的基礎(chǔ)。在人工智能應(yīng)用的不同階段算法的解釋發(fā)揮著不同類型的功能，〔4"〕可以說(shuō)，當(dāng)前的算法規(guī)范理論主要是圍繞“算法解釋”展開的。通常認(rèn)為，不同的場(chǎng)景對(duì)算法解釋的需求往往是不同的，比如高風(fēng)險(xiǎn)決策的場(chǎng)景（High-stakes.decision）就十分需要算法的解釋，典型的醫(yī)療和司法等關(guān)乎重大權(quán)利的重監(jiān)管領(lǐng)域（many.heavily"regulated"industries）即如此。〔5"〕但是，目前我們對(duì)“算法解釋”在特定場(chǎng)景中功能的認(rèn)識(shí)依然停留于邏輯論證的層面，“算法解釋”究竟在特定場(chǎng)景中的效果如何，影響效果的重要因素是什么等，文獻(xiàn)層面都還論之甚少。

故而，本文的研究擬針對(duì)某一場(chǎng)景，首先實(shí)驗(yàn)分析智能產(chǎn)品的使用中算法黑箱、算法解釋與算法理解、信任等效果間的相關(guān)性；接著根據(jù)算法使用中的有關(guān)實(shí)驗(yàn)結(jié)論，展開分析并得出對(duì)算法規(guī)范場(chǎng)景化的研究啟示，包括場(chǎng)景化的用戶、用途和人機(jī)關(guān)系等幾個(gè)方面。〔6"〕

二、算法解釋的有關(guān)機(jī)制和理論趨勢(shì)

“算法黑箱”問(wèn)題堪稱算法風(fēng)險(xiǎn)治理的關(guān)鍵，而算法解釋技術(shù)被認(rèn)為是算法治理制度的核心。結(jié)合學(xué)界當(dāng)前著力提倡的算法規(guī)范場(chǎng)景化思路，本文針對(duì)特定的算法場(chǎng)景，提出了提升算法理解和增強(qiáng)算法信任這兩個(gè)算法解釋的可預(yù)期效果。

（一）解釋是從黑箱到信任的橋梁

在算法有關(guān)風(fēng)險(xiǎn)的學(xué)術(shù)研究里，最為突出的是“算法黑箱”問(wèn)題，主要指自動(dòng)化決策的運(yùn)轉(zhuǎn)過(guò)程和結(jié)果不透明?！?"〕由于算法黑箱的存在掩蓋了算法歧視、算法綁架等其他風(fēng)險(xiǎn)，既有研究紛紛提出要“打開算法的黑箱，提升算法的透明度”?！?"〕算法的解釋技術(shù)，在提升算法透明度上被寄予厚望，被譽(yù)為算法治理制度的核心?！?"〕首先，有研究認(rèn)為算法解釋最直接和重要的功能就是化解算法的“黑箱”；其次，對(duì)化解自動(dòng)化決策帶來(lái)的其他風(fēng)險(xiǎn)亦有明顯效果，比如在算法歧視風(fēng)險(xiǎn)研究中，有人提出算法解釋可以“展開包裹在算法中的決策過(guò)程，為數(shù)據(jù)主體、司法機(jī)關(guān)等判斷是否存在區(qū)別對(duì)待或造成區(qū)別影響提供具有法律意義的信息”?！?0.〕算法解釋技術(shù)，既可以“算法解釋權(quán)”等私權(quán)方式在不同場(chǎng)景中落實(shí)，〔11.〕也可以作為算法開發(fā)使用者的法定義務(wù)，〔12#〕或成為國(guó)家規(guī)制的工具?！?3#〕但無(wú)論是哪一種具體的制度路徑，通過(guò)解釋部分或全部地還原算法生成過(guò)程和結(jié)果，在技術(shù)層面都是一致的。

對(duì)算法應(yīng)用進(jìn)行法律規(guī)制，究竟能夠起到何種可期待的效果？ 當(dāng)前對(duì)算法規(guī)制的效果研究已經(jīng)初步形成體系，既有“公平、可責(zé)和透明（FAT）”的多角度歸納，〔14#〕亦有著重強(qiáng)調(diào)某一側(cè)面的，比如“算法的可信”；〔15#〕有研究認(rèn)為，只要增加人們對(duì)算法決策過(guò)程的掌控感，算法厭惡情緒就會(huì)得到明顯緩解?！?6#〕還有研究注意到規(guī)制目標(biāo)之間的邏輯關(guān)系，比如“相對(duì)于透明性，可理解性才是目的”?！?7#〕這明顯是一套以解決“算法黑箱”問(wèn)題為主要目的，圍繞“算法解釋”技術(shù)構(gòu)建的制度工具體系，期待提升算法的可理解性和信任感等效果的出現(xiàn)。這些所提及的算法規(guī)制的效果目標(biāo)間是否具有關(guān)聯(lián)性和層次性是本文所關(guān)注的，當(dāng)前的研究雖有部分內(nèi)容涉及，〔18#〕但更系統(tǒng)的內(nèi)在機(jī)制還需要進(jìn)行更深入的挖掘。通過(guò)對(duì)這些文獻(xiàn)的梳理，可以發(fā)現(xiàn)：算法解釋與其預(yù)期的效果之間呈現(xiàn)一定的遞進(jìn)關(guān)系，可將之表示為“算法黑箱→算法解釋→算法理解→算法信任”的邏輯關(guān)系。

關(guān)于算法規(guī)制效果的實(shí)證檢驗(yàn)，國(guó)內(nèi)外均有很多研究成果，比如算法信任的產(chǎn)生機(jī)制，將之解構(gòu)為有形性、透明度、可靠性和即時(shí)性等幾個(gè)信任來(lái)源的維度?！?9#〕國(guó)內(nèi)有關(guān)學(xué)術(shù)討論主要停留于主觀的邏輯構(gòu)想層面，還未就此設(shè)想的邏輯做過(guò)真實(shí)性的檢驗(yàn)，特別是這一主觀構(gòu)造邏輯的客觀效果如何，該問(wèn)題關(guān)系到和算法解釋技術(shù)相關(guān)的一系列制度工具是否行之有效。而這也正是本文希望有所貢獻(xiàn)的地方，即就某一特定算法應(yīng)用場(chǎng)景展開算法解釋效果的實(shí)驗(yàn)，通過(guò)機(jī)制層面有效性檢驗(yàn)，為制度設(shè)計(jì)方向提供具有參考價(jià)值的信息。

（二）算法研究場(chǎng)景化的趨勢(shì)

近期另一大趨勢(shì)也引起了筆者的關(guān)注，即算法規(guī)范化的研究開始著力提倡結(jié)合具體場(chǎng)景提出規(guī)范化方法的思路。之所以要求場(chǎng)景化，原因在于“一旦場(chǎng)景不同，算法的性質(zhì)就會(huì)非常不同”〔20#〕這一算法應(yīng)用規(guī)律。正是因?yàn)椴煌惴☉?yīng)用場(chǎng)景在用戶畫像、面臨的風(fēng)險(xiǎn)、所采用的算法、監(jiān)管的要求等各個(gè)方面的差異比較大，所以才不能一直停留于抽象層面的理論演繹，而是應(yīng)當(dāng)更加注重對(duì)不同場(chǎng)景的具體特征進(jìn)行分別歸納。當(dāng)前學(xué)術(shù)界正在有意識(shí)地就具體場(chǎng)景來(lái)發(fā)現(xiàn)風(fēng)險(xiǎn)問(wèn)題并提出解決方案，比如針對(duì)自動(dòng)駕駛的場(chǎng)景，認(rèn)為是訓(xùn)練數(shù)據(jù)集的缺陷問(wèn)題；〔21#〕再比如，在算法規(guī)范的對(duì)策方案中也開始考慮場(chǎng)景化，如算法審核的標(biāo)準(zhǔn)、強(qiáng)度等應(yīng)視具體應(yīng)用場(chǎng)景而定?！?2#〕然而，這些討論仍有不足，因其并非全篇針對(duì)某一類特定場(chǎng)景展開，仍是就算法的某一風(fēng)險(xiǎn)、規(guī)制的方法展開論題。

真正開展場(chǎng)景化的研究，應(yīng)當(dāng)以某一特定的算法應(yīng)用場(chǎng)景為分析對(duì)象。本文選取了一類侵權(quán)風(fēng)險(xiǎn)大、專業(yè)化程度強(qiáng)、透明性要求高的司法應(yīng)用場(chǎng)景（本文稱之為“高風(fēng)險(xiǎn)場(chǎng)景”）展開研究。就發(fā)展階段而言，算法涉足此類場(chǎng)景的程度還十分初級(jí)，這些領(lǐng)域當(dāng)前還屬于典型的弱人工智能場(chǎng)景。就處分的權(quán)益而言，這些領(lǐng)域關(guān)乎生命健康等人身權(quán)利，因此也屬于監(jiān)管問(wèn)責(zé)向來(lái)十分嚴(yán)厲的地帶，算法技術(shù)要進(jìn)入這些場(chǎng)景還有諸多挑戰(zhàn)需要回應(yīng)。本文所針對(duì)的場(chǎng)景有一定的泛化性，雖以司法場(chǎng)景為例展開，但具有這些共性特征的場(chǎng)景卻不限于此，醫(yī)療、交通等不少其他領(lǐng)域亦有很多相似的規(guī)律特征，比如都十分強(qiáng)調(diào)算法決策過(guò)程的可解釋性。因此，若將本文在司法場(chǎng)景的相關(guān)實(shí)驗(yàn)中的發(fā)現(xiàn)推及更大范圍，大概率會(huì)具有規(guī)范層面的啟示價(jià)值。

（三）實(shí)證研究的兩個(gè)假設(shè)

基于以上討論的算法領(lǐng)域的邏輯和算法規(guī)制的場(chǎng)景化趨勢(shì)， 本文針對(duì)該特定的算法應(yīng)用場(chǎng)景，提出兩個(gè)算法解釋的可預(yù)期效果：一個(gè)是提升算法的理解，另一個(gè)是增強(qiáng)算法的信任。兩者有不同的側(cè)重點(diǎn)，算法的理解是算法解釋產(chǎn)生的直接效果，算法信任則是間接的，兩者都有助于推動(dòng)算法產(chǎn)品的應(yīng)用落地?；谒O(shè)置的以上兩大因變量，本文提出兩個(gè)對(duì)應(yīng)的研究假設(shè)：

其一，不同的算法解釋技術(shù)，將產(chǎn)生不同的算法理解效果?；谟脩舻牧?chǎng)，算法解釋的直接效果是有助于提升用戶對(duì)算法的自動(dòng)化決策過(guò)程和結(jié)果的理解。在其他變量保持不變的前提下，以算法解釋所實(shí)現(xiàn)的理解程度為因變量，以算法的解釋技術(shù)類型為自變量，研究?jī)烧叩南嚓P(guān)性。如果算法解釋的類型和用戶的理解程度之間呈顯著的相關(guān)性，則說(shuō)明該假設(shè)成立，應(yīng)當(dāng)根據(jù)場(chǎng)景設(shè)置匹配的算法解釋技術(shù)類型。這里的用戶算法理解是廣義的，既是私主體“算法解釋權(quán)”的行使基礎(chǔ)，也是監(jiān)管機(jī)關(guān)行政執(zhí)法的事實(shí)依據(jù)。因此，這一命題的檢驗(yàn)具有探討算法規(guī)制方向是否科學(xué)的參考價(jià)值。

其二，算法的解釋技術(shù)，有助于提升算法的信任。就邏輯關(guān)系來(lái)看，“算法的理解在前，算法的信任在后”。就算法的法律規(guī)制而言，兩者具有不同的意義。之前關(guān)于解釋的效果論述十分強(qiáng)調(diào)構(gòu)建信任的意義，算法的解釋在高風(fēng)險(xiǎn)場(chǎng)景中究竟能否對(duì)算法的信任構(gòu)建產(chǎn)生顯著的影響？ 算法信任的效果機(jī)制是否有別于算法理解的效果機(jī)制，其中的關(guān)鍵變量有什么差別？ 高風(fēng)險(xiǎn)場(chǎng)景的用戶普遍缺乏對(duì)算法的信任，在該場(chǎng)景中開發(fā)算法解釋技術(shù)的一大動(dòng)因，即在促使場(chǎng)景用戶能夠放心且充分地使用本算法產(chǎn)品。上述機(jī)制層面的檢驗(yàn)，也有助于我們反思規(guī)范層面的制度路徑是否選取得當(dāng)。

三、高風(fēng)險(xiǎn)場(chǎng)景的算法解釋效果實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證以上兩個(gè)假設(shè)，本文將通過(guò)開發(fā)智能實(shí)驗(yàn)產(chǎn)品、通過(guò)問(wèn)卷調(diào)研用戶反饋的方式收集實(shí)驗(yàn)數(shù)據(jù)，并采用交叉列表和回歸分析相結(jié)合的方法分析實(shí)驗(yàn)數(shù)據(jù)，驗(yàn)證算法解釋技術(shù)、用戶專業(yè)背景等對(duì)算法理解程度的影響，歸納算法解釋和算法理解、算法信任兩大后置效果間的機(jī)制規(guī)律。

（一）實(shí)驗(yàn)用智能產(chǎn)品開發(fā)

為有效地檢驗(yàn)以上提出的有關(guān)算法解釋和算法理解、算法信任間的效果機(jī)制，本實(shí)驗(yàn)開發(fā)了一款高風(fēng)險(xiǎn)場(chǎng)景的智能產(chǎn)品。產(chǎn)品提供的服務(wù)場(chǎng)景為司法領(lǐng)域決定采取強(qiáng)制措施的類型，產(chǎn)品的內(nèi)核是由數(shù)據(jù)訓(xùn)練得到的模型，該模型能夠基于一系列的輸入來(lái)確定應(yīng)當(dāng)對(duì)犯罪嫌疑人采取何種強(qiáng)制措施?；谶@類技術(shù)原理所開發(fā)的智能化產(chǎn)品，將是某一場(chǎng)景產(chǎn)品步入強(qiáng)人工智能時(shí)代后的必然形態(tài)，也是國(guó)內(nèi)學(xué)者在算法規(guī)制領(lǐng)域所應(yīng)當(dāng)指向的規(guī)制對(duì)象含義。正因如此，本文的如下研究設(shè)計(jì)，能夠契合研究假設(shè)和目的。

第一步：設(shè)計(jì)預(yù)測(cè)模型。測(cè)試用的智能產(chǎn)品，是一款預(yù)測(cè)刑事案件犯罪嫌疑人被采取強(qiáng)制措施類型的智能輔助產(chǎn)品。產(chǎn)品的算法采用較強(qiáng)可解釋性的對(duì)數(shù)回歸（logistics）算法，模型的輸入為案件的當(dāng)事人、案件事實(shí)的基本情況，采用文本的輸入形式；模型的輸出為犯罪嫌疑人被采取的強(qiáng)制措施類型，采取二分類標(biāo)簽，標(biāo)簽0為取保候?qū)?，?biāo)簽1為逮捕。

第二步：采集相關(guān)數(shù)據(jù)。為訓(xùn)練上述的預(yù)測(cè)模型，實(shí)驗(yàn)采集了國(guó)內(nèi)三省一市（云南省、浙江省、廣東省和北京市）的起訴和不起訴文書數(shù)據(jù)，共計(jì)約14萬(wàn)份文書。較之于采用判決書的優(yōu)勢(shì)在于，檢察院的（不）起訴文書中包括了不起訴的案件，能更好地反映刑事案件庭前強(qiáng)制措施的類型分布。

第三步：訓(xùn)練預(yù)測(cè)模型。通過(guò)模型的訓(xùn)練和測(cè)試，我們得到了一個(gè)性能較為優(yōu)秀的輔助預(yù)測(cè)模型。接著，選取了1個(gè)未出現(xiàn)在訓(xùn)練集和數(shù)據(jù)集的案例，作為本實(shí)驗(yàn)的研究個(gè)案，輸入模型并得到預(yù)測(cè)的結(jié)果。

第四步：算法解釋技術(shù)。我們采用了兩種算法解釋的方法，第一種是直接給出算法公式的解釋方法，第二種是可視化的解釋方法?！?3$〕模型公式的方法分別列出了決定強(qiáng)制措施類型的主要參考依據(jù)，比如x1代表“罪名的類型”；熱力圖則用“紅色”代表和預(yù)測(cè)結(jié)論相關(guān)，顏色的“深淺”代表該詞語(yǔ)特征和預(yù)測(cè)結(jié)果間的權(quán)重大小，紅色深度越強(qiáng)的要素，比如“販賣毒品罪”“有期徒刑”等要素，對(duì)采取強(qiáng)制措施的類型影響越大。

（二）問(wèn)卷設(shè)計(jì)發(fā)放和回收

在獲得以上測(cè)試用的模型和解釋方法后，根據(jù)研究假設(shè)，實(shí)驗(yàn)需要獲取用戶對(duì)上述智能產(chǎn)品及其解釋的理解程度、信任程度等相關(guān)數(shù)據(jù)。為此，實(shí)驗(yàn)將本模型包裝為一款法律智能產(chǎn)品，采取電子問(wèn)卷的方式分發(fā)給各種類型的用戶，要求用戶在使用該模型后反饋評(píng)價(jià)。

第五步：?jiǎn)柧碓O(shè)計(jì)。電子問(wèn)卷采取翻頁(yè)逐頁(yè)回答模式，依次的內(nèi)容為：（1）對(duì)產(chǎn)品基礎(chǔ)功能的介紹；（2）采集用戶的基本信息，包括年齡、是否具備計(jì)算機(jī)技術(shù)背景和法律職業(yè)背景；（3）介紹案情的基本事實(shí)，并要求用戶先作判斷；（4）頁(yè)面嵌入模型計(jì)算過(guò)程，得出機(jī)器預(yù)測(cè)的結(jié)果；（5）計(jì)算用戶對(duì)該結(jié)果的初始信任度（1-10分計(jì)）；（6）隨機(jī)給出對(duì)該預(yù)測(cè)結(jié)果前述兩種解釋方法之一；（7）計(jì)算用戶對(duì)該結(jié)果的理解程度（1-10分計(jì)）；（8）二次計(jì)算用戶在閱讀完產(chǎn)品對(duì)結(jié)果的解釋后的信任程度（1-10分計(jì)）。通過(guò)以上設(shè)計(jì)，計(jì)劃獲得用戶對(duì)該智能產(chǎn)品在算法解釋前的信任程度、對(duì)算法解釋的理解程度和解釋后的算法信任程度。

第六步：?jiǎn)柧戆l(fā)放。實(shí)驗(yàn)將該問(wèn)卷在以下人群中進(jìn)行了發(fā)放：有法律學(xué)位和司法工作經(jīng)驗(yàn)者、有計(jì)算機(jī)學(xué)位和人工智能知識(shí)背景者、無(wú)法律和計(jì)算機(jī)知識(shí)背景者。選擇以上人群，主要考慮在真實(shí)的未來(lái)場(chǎng)景中，任何一款智能產(chǎn)品都可能面對(duì)具有技術(shù)知識(shí)背景、領(lǐng)域知識(shí)背景和無(wú)相關(guān)知識(shí)背景的三類用戶。產(chǎn)品受眾廣泛的特點(diǎn)，使得不同人群對(duì)智能產(chǎn)品的理解上存在差異，將這一因素納入問(wèn)卷發(fā)放時(shí)考慮將有助于控制該變量。

第七步：回收問(wèn)卷。經(jīng)過(guò)近半年的問(wèn)卷發(fā)放，研究小組共計(jì)回收有效問(wèn)卷511份，實(shí)驗(yàn)對(duì)象的最小年齡為18歲，最大為87歲，平均年齡為29歲，將凡是具備法律或技術(shù)知識(shí)、實(shí)踐背景的受試者分為有領(lǐng)域背景一組，占比55.56%。本實(shí)驗(yàn)的受試者在專業(yè)背景分布上具有較好的代表性，既有法律專業(yè)背景的受試者，亦有非法律背景人士；在法律專業(yè)背景中，還區(qū)分了專業(yè)性背景和是否有相關(guān)實(shí)踐工作經(jīng)驗(yàn)；同時(shí)區(qū)分了受試者是否具有人工智能等技術(shù)基礎(chǔ)知識(shí)背景。

（三）實(shí)驗(yàn)數(shù)據(jù)的回歸分析

本文采取交叉列表和回歸分析相結(jié)合的方法對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行處理。交叉列表分析是一種描述性的分析，回歸分析是對(duì)規(guī)律的深化。在交叉列表的分析中，本文突出強(qiáng)調(diào)特定場(chǎng)景的用戶屬性，采取兩個(gè)維度的分類標(biāo)準(zhǔn)，其一為是否從事刑事司法的工作，其二為是否具備人工智能有關(guān)的基礎(chǔ)知識(shí)?；貧w分析主要檢驗(yàn)了算法解釋和算法理解、算法信任兩大后置效果間的機(jī)制規(guī)律。

1.不同算法解釋技術(shù)對(duì)用戶理解效果的影響

如上所述，本文重視專家型用戶背景、不同算法解釋技術(shù)對(duì)算法理解程度的影響。通過(guò)分組分別計(jì)算多組用戶對(duì)算法解釋的理解度、對(duì)兩種不同算法解釋技術(shù)的理解度，〔24$〕我們能夠清晰地看到如下的特點(diǎn)：

其一，專家組對(duì)算法解釋的理解程度更高。專家組對(duì)算法解釋的理解程度總體得分最高（6.6分），這不僅是較之于對(duì)照組而言的，而且比具備人工智能知識(shí)的技術(shù)組得分（5.9分）也要高出12%。究竟是什么原因使得專家組的得分更高，該現(xiàn)象是否說(shuō)明“司法實(shí)踐的業(yè)務(wù)經(jīng)驗(yàn)”能夠提升用戶對(duì)算法解釋的理解，其中的機(jī)制如何還有待后續(xù)的回歸分析。

其二，可視化的解釋方法，在提升用戶理解方面具有本場(chǎng)景下的相對(duì)優(yōu)勢(shì)。當(dāng)以算法的解釋技術(shù)作類型分組時(shí)發(fā)現(xiàn)，采取可視化熱力圖的方式能夠起到更好的理解效果，這點(diǎn)不論是從專家組、技術(shù)組還是對(duì)照組的平均值都能得出一致的結(jié)論。這說(shuō)明，從提升用戶主觀認(rèn)知層面的理解程度而言，在高風(fēng)險(xiǎn)場(chǎng)景的普通用戶中，更適合的也許是更形象的算法解釋方法。進(jìn)一步回顧可視化的解釋方法，其通過(guò)顏色的深淺標(biāo)識(shí)了影響強(qiáng)制措施類型的因素，從專家角度也許得到了和經(jīng)驗(yàn)上的印證，因此可視化的解釋不僅整體得分最高，而且專家組的平均分也是最高的（7.7分）。當(dāng)這一結(jié)論基本成立時(shí)，研究假設(shè)一成立。

其三，專家組對(duì)公式解釋方法的理解程度最低。和其他各組相比，特別是和技術(shù)組相比，專家組的得分明顯偏低（4.2分）。這需要結(jié)合專家組的構(gòu)成情況分析，專家組主要是由刑事司法經(jīng)驗(yàn)的辦案人員組成，他們既具有法律專業(yè)的知識(shí)背景，又多年從事實(shí)踐工作，也許對(duì)需要有一定的數(shù)理基礎(chǔ)才能理解的公式型算法解釋技術(shù)具有一定的心理排斥。這一點(diǎn)和技術(shù)組比較時(shí)更顯突出，技術(shù)組在該方法上的得分（5.7分）較高，說(shuō)明具有一定人工智能技術(shù)背景的用戶，不犯難于公式型的算法解釋技術(shù)，反而從中獲得了對(duì)算法更好的理解。

交叉分組的主要發(fā)現(xiàn)可歸納為：專家組對(duì)算法解釋技術(shù)的理解程度最高，并且其中主要是由可視化解釋技術(shù)所貢獻(xiàn)的；不同的算法解釋技術(shù)類型具有明顯的得分差距，公式型解釋方法在司法場(chǎng)景下不具有良好效果，特別是就專家組用戶而言尤其明顯。

為進(jìn)一步挖掘關(guān)于算法解釋后的用戶理解機(jī)制，本文采取線性回歸進(jìn)行相關(guān)性分析，模型的自變量為算法解釋的類型，模型的因變量為算法解釋后的用戶對(duì)算法的理解程度，其余變量為控制變量?！?5，〕從回歸分析看，有以下數(shù)據(jù)發(fā)現(xiàn)：

其一，算法解釋的類型，對(duì)算法解釋后的用戶理解有顯著的相關(guān)性。當(dāng)加入更多的控制變量后，算法解釋技術(shù)的類型和算法的理解程度間依然顯著相關(guān)， 說(shuō)明在選取何種算法解釋技術(shù)的問(wèn)題上，應(yīng)當(dāng)結(jié)合場(chǎng)景和用途慎重決定。由此，本研究的假設(shè)基本是成立的。針對(duì)具體的算法解釋類型而言，可視化的算法解釋方法更具優(yōu)勢(shì)。

其二，算法解釋前用戶對(duì)算法既有的信任，對(duì)算法的理解產(chǎn)生了顯著影響。這一點(diǎn)需要結(jié)合后文關(guān)于算法解釋前的信任構(gòu)建機(jī)制進(jìn)行討論，但就算法解釋后的理解機(jī)制構(gòu)建而言，在解釋前對(duì)算法決策結(jié)論的信任基礎(chǔ)也是影響算法理解的重要因素。與算法解釋前就對(duì)決策系統(tǒng)信任度較低的情況相比，對(duì)算法系統(tǒng)信任程度比較高的用戶自然也能夠較好地理解系統(tǒng)給出的解釋說(shuō)辭。由于回歸模型中控制了專業(yè)領(lǐng)域知識(shí)和技術(shù)知識(shí)背景兩類變量，因此將對(duì)算法解釋的主觀理解認(rèn)知?dú)w因于解釋前既有的用戶信任感，具有較強(qiáng)的可信度。換言之，較之于信任基礎(chǔ)好的算法決策，高風(fēng)險(xiǎn)場(chǎng)景的用戶如果原本已經(jīng)不信任算法作出決策，算法的解釋技術(shù)能夠提升和改觀的空間就十分有限。

其三，有專業(yè)知識(shí)的一組，上述兩大機(jī)制更加被放大。當(dāng)把分析的單元限定于具有法律知識(shí)、技術(shù)知識(shí)、司法工作經(jīng)驗(yàn)等任何一種情況時(shí)，分組后發(fā)現(xiàn)算法解釋的技術(shù)方法、算法解釋前的信任感，兩者對(duì)被解釋變量的相關(guān)系數(shù)變得更強(qiáng)。這也許說(shuō)明，在具有一定專業(yè)背景的用戶群體中，更為強(qiáng)調(diào)解釋的技術(shù)方法和對(duì)算法的既存信任感。

2.解釋前后的算法信任機(jī)制比較分析

研究采取交叉聯(lián)表的方法歸納出了算法解釋前后的信任程度變化，〔26$〕由此引發(fā)了一些值得算法規(guī)制的制度設(shè)計(jì)層面反思的問(wèn)題：

其一，算法的解釋，不能提升反而降低了對(duì)自動(dòng)決策系統(tǒng)的信任。初步看這一數(shù)據(jù)結(jié)論令人驚訝，即通過(guò)算法的解釋后，各組用戶對(duì)算法的信任感普遍下降。由此，本實(shí)驗(yàn)的第二個(gè)假設(shè)就難以得到認(rèn)可了，而有必要探尋構(gòu)建算法信任的更為特殊的機(jī)制原理。

其二，在算法的解釋前，專家組的信任程度最高（7.2分），有必要進(jìn)一步探尋專家組對(duì)算法的信任基礎(chǔ)來(lái)源，是什么造成了在算法解釋前專家組具有較高的算法信任基礎(chǔ)。

其三，在算法的解釋后，專家組的信任程度下降最快（下降13%）。從事刑事司法工作者對(duì)算法的信任下降最多，其次是具有技術(shù)知識(shí)背景的一組。有必要通過(guò)回歸分析，探尋是什么樣的關(guān)鍵變量導(dǎo)致了算法解釋前后的信任程度有如此明顯的下降變化。

同樣，為進(jìn)一步挖掘算法解釋前后的用戶信任機(jī)制，本文采取線性回歸的方式對(duì)算法信任的構(gòu)建過(guò)程作了相關(guān)性分析。模型的自變量為“算法解釋的技術(shù)類型”和“算法解釋的理解程度”，模型的因變量分別為算法解釋前和解釋后的“用戶的算法信任程度”，其余變量為控制變量?！?7$〕從回歸模型結(jié)果看，有以下分析發(fā)現(xiàn)：

其一，算法解釋前的信任基礎(chǔ)，主要的影響因素是用戶的前見(jiàn)。所謂前見(jiàn)，集中體現(xiàn)為自我的判斷和算法的判斷是否一致。本實(shí)驗(yàn)采取的是串聯(lián)式的逐一回答模式，首先是案件基本情況，接著是用戶的回答，然后是算法給出的判斷，此時(shí)再要求用戶給出對(duì)算法的解釋前信任程度。這種提問(wèn)和回答架構(gòu)下，用戶對(duì)案件應(yīng)當(dāng)采取何種強(qiáng)制措施的“自我判斷”和“算法的判斷”是否一致，對(duì)算法解釋前的信任基礎(chǔ)起到了重要影響。

其二，算法解釋后的信任構(gòu)建，主要的影響因素是用戶對(duì)解釋的理解程度。與之相比較，算法解釋的技術(shù)類型代表的是中間變量，而用戶對(duì)解釋的理解程度才是實(shí)質(zhì)性的最終變量，后者與算法信任程度間的相關(guān)性更強(qiáng)。因此，從中可以得到的初步結(jié)論是，在算法信任構(gòu)建的諸多要素中，具有關(guān)鍵意義的是用戶對(duì)算法的既有理解程度。

3.算法理解的補(bǔ)充隨機(jī)對(duì)照實(shí)驗(yàn)

前述的實(shí)驗(yàn)設(shè)計(jì)中沒(méi)有考慮到“沒(méi)有算法解釋”的情形，因此難以直接得出算法解釋是否有助于提升算法理解的結(jié)論。為進(jìn)一步驗(yàn)證這點(diǎn)，本文又完成了二次補(bǔ)充實(shí)驗(yàn)，采用相同的實(shí)驗(yàn)設(shè)計(jì)，以控制對(duì)照的方式對(duì)110名法學(xué)在校研究生進(jìn)行了分組實(shí)驗(yàn)。結(jié)果表明，較之于不采取解釋的黑箱對(duì)照組得分（5.31），解釋實(shí)驗(yàn)組的平均得分（7.21）提升了36%，其中可視化實(shí)驗(yàn)組得分仍然高于公式組13%。考慮到受試者為隨機(jī)座位的同班同學(xué)，該實(shí)驗(yàn)結(jié)果具有很強(qiáng)的信服力，即可以認(rèn)為“算法解釋技術(shù)，的確能夠提升用戶對(duì)算法的理解”。

（四）實(shí)驗(yàn)結(jié)論的規(guī)范研究?jī)r(jià)值

以上的實(shí)驗(yàn)數(shù)據(jù)分析結(jié)論，對(duì)規(guī)范層面進(jìn)一步開展算法規(guī)制方法的研究提供了諸多啟示：

其一、注意不同場(chǎng)景下用戶的特征差異。實(shí)驗(yàn)結(jié)果已表明，以刑事司法為代表的高場(chǎng)景中，具有不同背景的算法用戶，因?yàn)榫哂胁煌膶W(xué)歷、從業(yè)、年齡等背景，導(dǎo)致他們對(duì)算法解釋方法的理解能力、固有的信任基礎(chǔ)等各方面存在顯著差異。算法規(guī)制的場(chǎng)景化規(guī)范方案設(shè)計(jì)，必須考慮基于特定場(chǎng)景中的用戶畫像才有希望實(shí)現(xiàn)“一場(chǎng)景一方案”。

其二、應(yīng)當(dāng)強(qiáng)調(diào)算法的解釋技術(shù)和場(chǎng)景化用途的匹配性。實(shí)驗(yàn)結(jié)果已表明，在本場(chǎng)景中不同的算法解釋方式會(huì)產(chǎn)生明顯的算法理解差異。算法的解釋技術(shù)本質(zhì)上是為算法產(chǎn)品的應(yīng)用落地、滿足特定場(chǎng)景的用戶需求所服務(wù)的。有必要對(duì)照高風(fēng)險(xiǎn)場(chǎng)景在決策過(guò)程的透明度、可理解性等方面的需求，進(jìn)一步分析算法規(guī)制路徑中解釋技術(shù)的可行性。

其三、需要考慮算法決策在特定場(chǎng)景中的應(yīng)用限度。從實(shí)驗(yàn)對(duì)信任度的計(jì)算結(jié)果看，算法并沒(méi)有很明顯地提高在以司法為代表的高風(fēng)險(xiǎn)場(chǎng)景中的信任程度。要考慮高風(fēng)險(xiǎn)場(chǎng)景下的算法解釋為什么沒(méi)有推動(dòng)算法信任的構(gòu)建，信任程度甚至不升下降了？ 這說(shuō)明算法決策在高風(fēng)險(xiǎn)場(chǎng)景中并不具有天然的正當(dāng)性及可接受性，同時(shí)單純地寄希望于通過(guò)算法的解釋技術(shù)，也許并不能改善這一點(diǎn)。

作為一種算法應(yīng)用的技術(shù)，算法解釋的提出和發(fā)展在于滿足特定場(chǎng)景下的用戶需求，它主要提供的是一種“盡可能還原決策過(guò)程事實(shí)材料”的功能?！?8#〕不同場(chǎng)景的用戶對(duì)算法解釋的需求程度應(yīng)該是有差異的，比如在短視頻、商品和新聞等推薦算法中，用戶對(duì)算法決策的過(guò)程可能并不十分關(guān)注；在交通領(lǐng)域的自動(dòng)駕駛決策中，用戶更為關(guān)注算法決策的及時(shí)性和準(zhǔn)確性，只在事后歸責(zé)時(shí)可能關(guān)心算法決策是否恰當(dāng)；只有在司法、醫(yī)療等場(chǎng)景中，算法解釋技術(shù)才受到諸多關(guān)注，并將之視為人工智能技術(shù)在該場(chǎng)景中能否順利落地的關(guān)鍵。

四、基于用戶畫像的算法規(guī)范場(chǎng)景化

不同實(shí)驗(yàn)場(chǎng)景具有不同的用戶畫像。以本文所重點(diǎn)關(guān)注的以司法為代表的高風(fēng)險(xiǎn)場(chǎng)景中為例，即涉及算法產(chǎn)品的直接用戶、高侵權(quán)風(fēng)險(xiǎn)的實(shí)際承擔(dān)者、算法產(chǎn)品的開發(fā)者、該領(lǐng)域的傳統(tǒng)監(jiān)管者四類利害關(guān)系者，每類主體的算法解釋需求不完全相同，應(yīng)該為不同的場(chǎng)景用戶提供針對(duì)性的算法解釋。

（一）用戶畫像影響解釋的效果

從“算法解釋”和“算法理解”“算法信任”的實(shí)驗(yàn)中，我們至少可以得出以下幾條值得算法規(guī)范場(chǎng)景化重視的有關(guān)“用戶”方面的實(shí)證發(fā)現(xiàn)：

其一，特定場(chǎng)景的用戶具有前置性的背景。這里的用戶背景既包括學(xué)歷專業(yè)方面的，也包括年齡上的，還可以指從業(yè)經(jīng)歷方面的。本實(shí)驗(yàn)發(fā)現(xiàn)，以上各方面的背景都將顯著地影響用戶對(duì)算法的解釋效果的理解程度。這些影響包括專業(yè)型背景用戶具有更好的算法理解能力，用戶的知識(shí)背景決定了其對(duì)算法解釋的方法類型具有很強(qiáng)的偏好性。在特定的場(chǎng)景中，用戶的年齡和對(duì)算法解釋的理解能力之間還具有一種反向關(guān)系。

其二，特定場(chǎng)景的用戶具有很強(qiáng)的固有前見(jiàn)。這里指的前見(jiàn)包括兩類，一類是用戶原本對(duì)該算法產(chǎn)品有一定基礎(chǔ)的信任前值，另一類是用戶對(duì)算法的預(yù)測(cè)結(jié)果有自己的預(yù)期，算法決策的結(jié)論要么與自己一致，要么不一致。本實(shí)驗(yàn)發(fā)現(xiàn)，以上兩類前見(jiàn)均會(huì)對(duì)算法解釋的效果產(chǎn)生顯著的影響，比如算法在解釋前的信任基礎(chǔ)將影響用戶對(duì)算法的理解，算法的預(yù)測(cè)結(jié)論是否和自己的預(yù)期保持一致與算法的信任之間有顯著的相關(guān)性。

以上用戶畫像方面的發(fā)現(xiàn)，完全可能隨著場(chǎng)景的變更而使得統(tǒng)計(jì)學(xué)意義上的顯著性消失，或者產(chǎn)生其他新的機(jī)制。這恰恰說(shuō)明，不同的場(chǎng)景具有不同的用戶畫像，以上方面在不同場(chǎng)景中的差別很大，這正是算法的規(guī)范化方案應(yīng)當(dāng)結(jié)合場(chǎng)景開展的重要理由之一。

（二）實(shí)驗(yàn)場(chǎng)景的用戶結(jié)構(gòu)分析

不同的場(chǎng)景具有不同的算法使用和算法解釋的需求者，內(nèi)在的主體結(jié)構(gòu)差異很大，本文以實(shí)驗(yàn)的場(chǎng)景為例予以分析。算法產(chǎn)品的直接使用者可能只有一類，但算法解釋的使用者卻一定是多元化的，因此有必要從算法解釋的需求方角度全面理解高風(fēng)險(xiǎn)場(chǎng)景中的主體結(jié)構(gòu)。以司法為代表的高風(fēng)險(xiǎn)場(chǎng)景，有以下幾類利害關(guān)系者：（1）算法產(chǎn)品的直接用戶。他們是該領(lǐng)域的專家。（2）高侵權(quán)風(fēng)險(xiǎn)的實(shí)際承擔(dān)者。我們發(fā)現(xiàn)算法決策系統(tǒng)的直接用戶和權(quán)利侵犯風(fēng)險(xiǎn)承擔(dān)者往往并不是同一主體。這就面臨著法律責(zé)任歸屬的制度抉擇，即當(dāng)風(fēng)險(xiǎn)成為實(shí)害之時(shí)，究竟由誰(shuí)來(lái)承擔(dān)相應(yīng)后果。（3）算法產(chǎn)品的開發(fā)者。他們面臨產(chǎn)品責(zé)任的問(wèn)題。（4）該領(lǐng)域的傳統(tǒng)監(jiān)管者。他們并未在該場(chǎng)景引入算法決策后自行消失。在以上四類主體的基礎(chǔ)上形成高風(fēng)險(xiǎn)場(chǎng)景的用戶畫像和利害關(guān)系。

第一類主體是算法產(chǎn)品的直接用戶，在實(shí)驗(yàn)場(chǎng)景中是該領(lǐng)域的專家。就算法在司法領(lǐng)域的應(yīng)用現(xiàn)狀看，當(dāng)前主要是在審判、檢察等公權(quán)力機(jī)關(guān)中應(yīng)用較為廣泛。算法產(chǎn)品雖然也包含法律服務(wù)市場(chǎng)中的部分算法應(yīng)用， 但主要還是在公權(quán)力機(jī)關(guān)的智能辦案中作為輔助辦案人員的工具存在較多，比如本實(shí)驗(yàn)中用模型輔助判斷犯罪嫌疑人被采取的強(qiáng)制措施的類型最具有代表性。與之相似的場(chǎng)景有醫(yī)療領(lǐng)域，算法應(yīng)用的主要用戶是醫(yī)生。這類以法官、醫(yī)生為代表的領(lǐng)域?qū)＜覙?gòu)成的主要用戶群體具有鮮明的人物畫像特征，比如本身具有該領(lǐng)域的判斷能力，具有算法決策過(guò)程的一定理解基礎(chǔ)。他們擅長(zhǎng)各自領(lǐng)域的知識(shí)，同時(shí)又帶有一定的局限性，比如司法場(chǎng)景中的用戶往往是文科背景，對(duì)數(shù)理知識(shí)較為陌生。通過(guò)該視角，得以解釋為什么實(shí)驗(yàn)中專家用戶對(duì)公式型解釋方法的得分最低。

第二類主體是風(fēng)險(xiǎn)的實(shí)際承擔(dān)者。高風(fēng)險(xiǎn)場(chǎng)景的風(fēng)險(xiǎn)承擔(dān)者并不是專家用戶自己，而是第三人。當(dāng)我們把高風(fēng)險(xiǎn)場(chǎng)景下被侵害的權(quán)益確定為生命、健康、自由等高位階的個(gè)體權(quán)利時(shí)，這些權(quán)利的確會(huì)因?yàn)樗痉ú门小⑨t(yī)療診斷等行為面臨失權(quán)的風(fēng)險(xiǎn)，這些風(fēng)險(xiǎn)雖然是通過(guò)算法的自動(dòng)決策并借領(lǐng)域?qū)＜抑肿鞒龅?，但是最終的不利結(jié)果卻是由犯罪嫌疑人、患者等他者所承擔(dān)的。就風(fēng)險(xiǎn)承擔(dān)方和使用者的關(guān)系而言，不利風(fēng)險(xiǎn)的承擔(dān)者并不愿意區(qū)分是由機(jī)器還是人作出的決策，他們更愿意相信這是由專家統(tǒng)一作出的理性決策。

第三類主體是算法產(chǎn)品的開發(fā)者。由此該場(chǎng)景的算法應(yīng)用需要處理算法的開發(fā)者、算法的使用者（專家）和最終的風(fēng)險(xiǎn)承擔(dān)者間的關(guān)系，開發(fā)者和使用者需要共同對(duì)最終的風(fēng)險(xiǎn)承擔(dān)者負(fù)責(zé)。在當(dāng)前的法律體系構(gòu)造中，前者負(fù)有產(chǎn)品質(zhì)量責(zé)任，后者負(fù)有業(yè)務(wù)行為責(zé)任。兩者間則是一種委托和受委托開發(fā)的關(guān)系，從司法和醫(yī)療的實(shí)際建設(shè)和運(yùn)行情況看，算法系統(tǒng)開發(fā)者只是某一智能產(chǎn)品的承建方，算法產(chǎn)品的運(yùn)行和使用權(quán)限基本掌握在法院、醫(yī)院等使用者手中。故而，高風(fēng)險(xiǎn)場(chǎng)景中，從主體格局的視角來(lái)看，該領(lǐng)域?qū)＜易鳛樗惴ǖ氖褂谜哒紦?jù)了主導(dǎo)者的地位，算法的機(jī)器決策其實(shí)很難和人工的決策割裂開來(lái)。

第四類主體是該領(lǐng)域的監(jiān)管者。他們始終在場(chǎng)，而且較之傳統(tǒng)時(shí)代的監(jiān)管強(qiáng)度并未減弱。在司法領(lǐng)域本身即有一套嚴(yán)格的職業(yè)倫理要求和嚴(yán)密的司法責(zé)任制度體系， 監(jiān)管者包括法官懲戒委員會(huì)、司法員額及其責(zé)任制，制度設(shè)計(jì)上包括行政處分等行政法，枉法裁判罪等刑事法作為監(jiān)管的依據(jù)?！?9&〕醫(yī)療領(lǐng)域的監(jiān)管力度并不亞于司法，在醫(yī)療器械投放使用事前和事中有食藥監(jiān)局的行政監(jiān)管，〔30&〕在出現(xiàn)醫(yī)療事故時(shí)有民事侵權(quán)、醫(yī)療事故罪等司法追究機(jī)制。

（三）基于場(chǎng)景用戶的算法規(guī)范

從算法黑箱到算法理解、再到算法信任，根據(jù)權(quán)利（力）主體，既有的算法規(guī)范可以劃分為兩類：一類是公權(quán)力的行政監(jiān)管者，另一類則是代表私權(quán)的主體。兩者的共性在于都是基于“算法的解釋”構(gòu)造具體的權(quán)能內(nèi)容，兩者的差異則在于行權(quán)的主體、基于部門的法理等方面。

場(chǎng)景化的算法規(guī)范，應(yīng)當(dāng)考慮不同場(chǎng)景對(duì)行業(yè)監(jiān)管者的職責(zé)要求不同。本實(shí)驗(yàn)的高風(fēng)險(xiǎn)場(chǎng)景中，從該場(chǎng)景固有的較高監(jiān)管要求、風(fēng)險(xiǎn)造成實(shí)害的重大權(quán)利侵害等方面考慮，規(guī)范應(yīng)當(dāng)賦予行政監(jiān)管者更大的權(quán)限和自由空間，目的是為高風(fēng)險(xiǎn)場(chǎng)景發(fā)現(xiàn)監(jiān)管的線索、確定監(jiān)管審查的內(nèi)容、制定處罰定性的依據(jù)等提供便利。用戶畫像對(duì)算法使用、算法解釋的效果實(shí)驗(yàn)表明，就高風(fēng)險(xiǎn)場(chǎng)景下的算法規(guī)制而言，應(yīng)當(dāng)事前建立一套分類分級(jí)的算法解釋內(nèi)容細(xì)則，以針對(duì)日常檢查、個(gè)案追責(zé)、算法備案等不同執(zhí)法任務(wù)和執(zhí)法層級(jí)，規(guī)范研究應(yīng)當(dāng)設(shè)計(jì)不同的解釋方案。

場(chǎng)景化的算法規(guī)范還應(yīng)當(dāng)考慮不同場(chǎng)景中賦予私權(quán)利主體多大范圍的權(quán)利。當(dāng)算法解釋技術(shù)為保障個(gè)人權(quán)益所用時(shí)，既有文獻(xiàn)往往在“算法解釋請(qǐng)求權(quán)”的概念之下討論，認(rèn)為這是一種當(dāng)對(duì)相對(duì)人有法律上或者經(jīng)濟(jì)上的顯著影響時(shí)， 相對(duì)人向算法使用人提出異議， 要求解釋和更正錯(cuò)誤的權(quán)利?！?1#〕對(duì)此，學(xué)界將之歸納為算法技術(shù)倫理、技術(shù)性正當(dāng)程序以及算法運(yùn)行危害成本內(nèi)化三個(gè)層面的理由?！?2#〕就本實(shí)驗(yàn)的高風(fēng)險(xiǎn)場(chǎng)景而言，規(guī)范層面可精細(xì)化地考慮在幾對(duì)不同的私主體間構(gòu)造救濟(jì)權(quán)。首先是風(fēng)險(xiǎn)的實(shí)際承擔(dān)者面向算法的專家用戶請(qǐng)求權(quán)，其次是風(fēng)險(xiǎn)的實(shí)際承擔(dān)者面向算法的開發(fā)者請(qǐng)求權(quán)，最后是算法的專家用戶面向算法開發(fā)者的請(qǐng)求權(quán)。在具體的算法規(guī)范內(nèi)容設(shè)計(jì)中，又應(yīng)當(dāng)體現(xiàn)出面向?qū)＜倚陀脩艉兔嫦蚱胀ǖ膶?shí)際風(fēng)險(xiǎn)承擔(dān)者，在解釋方式、解釋程度等方面的差異性。

五、技術(shù)供需匹配的算法規(guī)范場(chǎng)景化

實(shí)驗(yàn)的司法場(chǎng)景是一類高風(fēng)險(xiǎn)的場(chǎng)景，處置的權(quán)利類型比較重大（比如生命健康權(quán)），利害關(guān)系非常復(fù)雜（比如涉及多方主體），傳統(tǒng)對(duì)該領(lǐng)域的監(jiān)管也比較嚴(yán)厲（典型如本文經(jīng)常用于舉例的司法和醫(yī)療領(lǐng)域）。這些方面共同決定了高風(fēng)險(xiǎn)場(chǎng)景對(duì)算法解釋的類型需求較多元化。與此同時(shí)，在實(shí)驗(yàn)中我們也看到算法的解釋技術(shù)所能提供的解釋內(nèi)容十分有限， 它并不是完全為某一場(chǎng)景量身定制的。這就導(dǎo)致通用的算法解釋相關(guān)技術(shù)并不能夠直接恰如其分地滿足場(chǎng)景中的個(gè)性化用途。

（一）解釋有關(guān)技術(shù)的能力限度

在實(shí)驗(yàn)中觀察到算法解釋的有關(guān)技術(shù)不是無(wú)限的，通用的解釋技術(shù)并不一定能夠滿足特定場(chǎng)景的需要。正因如此，我們看到公式型的算法不能為用戶很好理解，算法的解釋不能提高實(shí)驗(yàn)場(chǎng)景中信任的效果等問(wèn)題。因此從實(shí)然的角度，還需要分析算法解釋的前沿技術(shù)，是否能夠在實(shí)驗(yàn)的高風(fēng)險(xiǎn)場(chǎng)景中滿足以上的用途。結(jié)論主要有兩點(diǎn)：

其一，并非全部的算法都有對(duì)應(yīng)的解釋技術(shù)。本實(shí)驗(yàn)選擇的是對(duì)數(shù)回歸這一較為傳統(tǒng)的機(jī)器學(xué)習(xí)算法，故而既可以表達(dá)出算法的公式以及參數(shù)，又可以針對(duì)個(gè)案呈現(xiàn)和輸出結(jié)果相關(guān)的輸入信息以及相關(guān)程度。但這是由于這類算法比較簡(jiǎn)單，而當(dāng)下有很多的深度學(xué)習(xí)算法模型就不能夠用“公式”表達(dá)，即使可以用數(shù)學(xué)公式說(shuō)明也無(wú)法確定其詳細(xì)的參數(shù)。對(duì)于深度學(xué)習(xí)等較為復(fù)雜的算法，在解釋方式的選擇上就必然是受限的，因?yàn)橹荒苓x擇個(gè)案化的可視化解釋等部分解釋技術(shù)。

其二，可視化等部分解釋技術(shù)，不能全面地反映算法決策過(guò)程的全貌?？梢暬惴m然在本實(shí)驗(yàn)中對(duì)提升算法理解的表現(xiàn)要優(yōu)于公式法，不過(guò)這種方式的弊端亦十分明顯，即它只是針對(duì)個(gè)案、事后型的。算法解釋不論是在公、私兩條路徑中的哪一條中都不限于事后，可能在算法決策的事前和事中亦需要提供說(shuō)明。與此同時(shí)，可視化等個(gè)案解釋方法所呈現(xiàn)的模型信息是很不全面的，在完成算法實(shí)害歸責(zé)、審查算法開發(fā)中是否存在違規(guī)等任務(wù)時(shí)，這種解釋技術(shù)所還原的信息是不夠全面的。

以上兩點(diǎn)說(shuō)明，當(dāng)前的算法解釋技術(shù)至少難以滿足實(shí)驗(yàn)場(chǎng)景的需求，同時(shí)也限定了算法規(guī)范的可設(shè)計(jì)空間。

（二）實(shí)驗(yàn)場(chǎng)景的解釋用途分析

進(jìn)一步分析高風(fēng)險(xiǎn)場(chǎng)景的參與主體，可以發(fā)現(xiàn)一些鮮明的場(chǎng)景特點(diǎn)，比如該領(lǐng)域決策的專業(yè)化、算法使用者對(duì)決策結(jié)果負(fù)主要責(zé)任、行業(yè)傳統(tǒng)監(jiān)管比較嚴(yán)格等。這些行業(yè)專業(yè)規(guī)律，決定了在該領(lǐng)域應(yīng)用算法決策時(shí)有特別的需求。不論是事前備案、事中監(jiān)管還是事后追責(zé)，都離不開對(duì)算法決策運(yùn)轉(zhuǎn)機(jī)制的理解。正因如此，算法高度透明性自然成為司法、醫(yī)療等場(chǎng)景中對(duì)算法應(yīng)用提出的一種近乎苛責(zé)的要求。也因此，在文獻(xiàn)中一旦提到算法解釋的技術(shù)問(wèn)題時(shí)，所預(yù)設(shè)的主要是司法、醫(yī)療等高風(fēng)險(xiǎn)的場(chǎng)景?！?3"〕這是一個(gè)值得追問(wèn)的現(xiàn)象，即高風(fēng)險(xiǎn)場(chǎng)景為什么對(duì)算法決策過(guò)程透明性有如此多的要求。

強(qiáng)調(diào)決策過(guò)程的說(shuō)理，可能原本即是此類場(chǎng)景的傳統(tǒng)。司法的場(chǎng)景中體現(xiàn)為對(duì)裁判說(shuō)理的重視，〔34"〕這種司法實(shí)踐和理論學(xué)說(shuō)的共識(shí)傳導(dǎo)至法律人工智能的討論中，就衍生出相似的觀點(diǎn)，即“裁判的精華是裁判理由而不是裁判結(jié)論”?！?5"〕無(wú)獨(dú)有偶，我們發(fā)現(xiàn)醫(yī)療領(lǐng)域的算法應(yīng)用發(fā)展也十分強(qiáng)調(diào)過(guò)程的說(shuō)理，因此在醫(yī)療場(chǎng)景的算法應(yīng)用產(chǎn)品中訓(xùn)練語(yǔ)料最多的是病歷記錄，除給出病情診斷的主輸出結(jié)果外還要求有結(jié)論的依據(jù)?！?6"〕由此，我們姑且可得到的結(jié)論為，當(dāng)前對(duì)高風(fēng)險(xiǎn)領(lǐng)域下算法應(yīng)用過(guò)程透明性的高要求，可能不是對(duì)機(jī)器決策所新創(chuàng)的，而是傳統(tǒng)中該場(chǎng)景就對(duì)人類的決策也提出過(guò)較高的過(guò)程透明性要求。那么這些場(chǎng)景所要求的算法透明性，具體有哪些用途呢？筆者認(rèn)為主要在于三個(gè)方面：

其一，強(qiáng)調(diào)算法決策的透明性，在于和使用者的判斷形成印證。本研究的實(shí)驗(yàn)中已經(jīng)發(fā)現(xiàn)可視化的算法解釋呈現(xiàn)方法受試者更易于接受，特別是面向?qū)＜矣脩魰r(shí)更為明顯。這一現(xiàn)象背后的機(jī)制在實(shí)驗(yàn)中并未得到闡釋，但根據(jù)可視化解釋的方法主要呈現(xiàn)的內(nèi)容，可以推斷其完成了人類決策者和機(jī)器決策的一種印證過(guò)程。當(dāng)機(jī)器決策的結(jié)果所依據(jù)的基本事實(shí)要素和人類決策比較相似的時(shí)候，會(huì)產(chǎn)生提高人工決策者對(duì)算法信任的效果，這在實(shí)驗(yàn)數(shù)據(jù)中能夠得到一定的反映。如前所述，高風(fēng)險(xiǎn)場(chǎng)景的算法使用者原本即是領(lǐng)域?qū)＜遥@一特點(diǎn)決定了用戶自身就有判斷結(jié)果的能力，當(dāng)要求他們使用算法機(jī)器決策的工具，用戶就會(huì)產(chǎn)生一種需求，即了解機(jī)器決策的依據(jù)能否得到自身經(jīng)驗(yàn)的印證。

其二，算法決策過(guò)程的還原，還可能是為了在事中說(shuō)服高風(fēng)險(xiǎn)的實(shí)際承擔(dān)者。如前所述，本文所關(guān)注的司法、醫(yī)療領(lǐng)域的直接用戶一般都不是風(fēng)險(xiǎn)的承擔(dān)者，這些場(chǎng)景真正需要承擔(dān)生命健康、人身自由等權(quán)利侵犯不利風(fēng)險(xiǎn)和后果的主體另有其人。因此，算法決策的直接使用者就負(fù)有向高風(fēng)險(xiǎn)實(shí)際承擔(dān)者說(shuō)明和解釋的法律上或道義上義務(wù)，能夠讓風(fēng)險(xiǎn)承擔(dān)者認(rèn)同算法決策是可信任的，該智能應(yīng)用才能夠在該場(chǎng)景中真正得以直接適用，比如在醫(yī)療的手術(shù)場(chǎng)景若采用算法決策，可能有必要向患者說(shuō)明手術(shù)的決策機(jī)制、過(guò)程與效果?！?7#〕這實(shí)際上是醫(yī)師職責(zé)的一部分，因?yàn)樵卺t(yī)療中患者知情同意是醫(yī)療行為正當(dāng)化的核心根據(jù)，醫(yī)師負(fù)有說(shuō)明義務(wù)。〔38#〕

其三，對(duì)算法決策依據(jù)的留痕，成為事中監(jiān)管和事后歸責(zé)的依據(jù)。在高風(fēng)險(xiǎn)場(chǎng)景中已經(jīng)出現(xiàn)過(guò)很多個(gè)風(fēng)險(xiǎn)變?yōu)閷?shí)害的案例，當(dāng)出現(xiàn)這些侵權(quán)和違法事件后自然存在如何歸責(zé)的問(wèn)題。司法場(chǎng)景中有法律職業(yè)倫理的一般要求，而且在當(dāng)法官依據(jù)人工智能輔助作出錯(cuò)誤決策時(shí)，還有法官是否需要對(duì)該案承擔(dān)責(zé)任的問(wèn)題?！?9#〕司法責(zé)任的追究機(jī)制包括基于法官法、公務(wù)員法的懲戒處分機(jī)制，嚴(yán)重者可至刑事法中的徇私枉法罪、民事行政枉法裁判罪等相關(guān)罪名。醫(yī)療領(lǐng)域與之很類似，出現(xiàn)實(shí)害后要在患者、生產(chǎn)商、醫(yī)療者三方之間分配醫(yī)療事故的責(zé)任?！?0#〕既然要求歸責(zé)，就要有明確的事實(shí)依據(jù)，正是這些高風(fēng)險(xiǎn)場(chǎng)景中的嚴(yán)格歸責(zé)需要，使這些場(chǎng)景下不論是人類決策還是算法決策，其過(guò)程都必須能留痕備查。實(shí)驗(yàn)設(shè)置了可理解和可信任兩類效果，而實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)了算法的解釋和算法的理解有統(tǒng)計(jì)學(xué)上的相關(guān)性，事后歸責(zé)即對(duì)應(yīng)算法解釋及其理解效果的具體實(shí)際用途。

（三）由規(guī)范回應(yīng)場(chǎng)景化的需求

算法的有關(guān)解釋技術(shù)還需依賴于具體的制度設(shè)計(jì)加以落實(shí)。既有的算法解釋研究文獻(xiàn)主要從解釋的內(nèi)容、程度、時(shí)間與方式等方面對(duì)算法解釋的具體細(xì)節(jié)展開描述?！?1#〕這幾點(diǎn)也許可以成為分析某一場(chǎng)景下算法解釋具體用途時(shí)的框架。首先，算法解釋的內(nèi)容和程度，內(nèi)容是指還原的算法決策信息量，這取決于解釋的方法，不同解釋方式含有不同程度的信息量，客觀上解釋的最大可能范圍可歸結(jié)為“算法的可解釋性”?！?2#〕其次，解釋的時(shí)間，主要分為算法是否正在運(yùn)轉(zhuǎn)，是決策中還是決策后等。再次，從解釋的技術(shù)角度，個(gè)案解釋的方法只能是在事后，就模型本身的解釋可以在事后也可以在事中。從高風(fēng)險(xiǎn)場(chǎng)景的實(shí)際需求看，既有在事前事中說(shuō)服風(fēng)險(xiǎn)實(shí)際承擔(dān)者的理解需求，亦有事后歸責(zé)的理解需求，因此解釋貫徹于事前中后。最后，算法解釋的方式，可分為由人作出解釋還是由機(jī)器作出解釋兩類，從技術(shù)角度，機(jī)器解釋應(yīng)當(dāng)是一手信息，人工解釋是對(duì)資料的二次組織。在高風(fēng)險(xiǎn)場(chǎng)景中，對(duì)算法決策過(guò)程進(jìn)行解釋，主要為呼應(yīng)以上提到的幾點(diǎn)用戶需求，因此既有面向?qū)＜矣脩舻臋C(jī)器解釋，亦有專家面向?qū)嶋H風(fēng)險(xiǎn)承擔(dān)者的人工解釋。

用途一的算法解釋主要是算法開發(fā)者面向?qū)＜矣脩?，這方面的解釋從內(nèi)容看應(yīng)當(dāng)盡可能全面和專業(yè)，契合特定場(chǎng)景的需要；從解釋的程度看應(yīng)當(dāng)偏向于全局的解釋，且時(shí)機(jī)上應(yīng)當(dāng)是在正式投入使用前；從解釋的方式看應(yīng)當(dāng)既有機(jī)器直接輸出解釋，也應(yīng)當(dāng)包括技術(shù)專家和領(lǐng)域?qū)I(yè)用戶間的直接對(duì)話。

用途二的算法解釋是風(fēng)險(xiǎn)的實(shí)際承擔(dān)者面向?qū)＜矣脩舻恼?qǐng)求權(quán)，從權(quán)利的性質(zhì)看應(yīng)當(dāng)屬于程序性的權(quán)利，權(quán)利的內(nèi)容包括對(duì)算法決策有知情、參與和提出異議的權(quán)利；從解釋的內(nèi)容看主要是算法判斷的依據(jù)、可能承擔(dān)的后果等方面的說(shuō)明；從算法解釋的時(shí)機(jī)看主要應(yīng)當(dāng)是事中的；解釋的方式應(yīng)當(dāng)以專家用戶的人工解釋為主。

用途三有兩個(gè)方面，分別對(duì)應(yīng)“私權(quán)保障”和“監(jiān)督管理”。第一種是私權(quán)主體尋求救濟(jì)時(shí)的需要，此時(shí)的權(quán)利主體應(yīng)當(dāng)是風(fēng)險(xiǎn)的承擔(dān)者，屬于一種救濟(jì)性的權(quán)利。在高風(fēng)險(xiǎn)場(chǎng)景法律歸責(zé)時(shí)，需要一些“查明事實(shí)真相、分配不利后果”的素材，作為司法訴訟或行政執(zhí)法的證據(jù)。以這個(gè)用途來(lái)說(shuō)，解釋的內(nèi)容和程度要求都比較高。第二種是滿足監(jiān)管的需要，個(gè)案追責(zé)和算法備案兩種最具代表性。從解釋的內(nèi)容看，高風(fēng)險(xiǎn)場(chǎng)景中個(gè)案追責(zé)所需要的算法信息最廣，其次是算法備案；從解釋的程度看，對(duì)應(yīng)的個(gè)案追責(zé)應(yīng)當(dāng)以個(gè)案能夠得到解釋為前提，算法備案則基本對(duì)應(yīng)于全局解釋的技術(shù)；從解釋的方式看，機(jī)器提供原日志原材料，人工可編輯摘要同時(shí)保留元數(shù)據(jù)。此種用途需求，對(duì)算法解釋在內(nèi)容的廣度和深度上要求都將比較高。

六、考慮信任基礎(chǔ)的算法規(guī)范場(chǎng)景化

從實(shí)驗(yàn)中算法解釋的實(shí)際效果來(lái)看，算法解釋并不能夠化解高風(fēng)險(xiǎn)場(chǎng)景中的全部風(fēng)險(xiǎn)，能化解的甚至只是其中很有限的一部分。因此，從該場(chǎng)景的風(fēng)險(xiǎn)規(guī)范角度，除了基于算法的解釋技術(shù)設(shè)置算法解釋權(quán)、算法規(guī)制的一系列制度外，還應(yīng)當(dāng)在算法進(jìn)入該領(lǐng)域的門檻、人機(jī)間的分工等更基礎(chǔ)的方面作出規(guī)定。這類規(guī)范實(shí)際上是著眼于技術(shù)的局限性。

（一）算法的信任影響人機(jī)的分工

基于場(chǎng)景化設(shè)計(jì)算法法治化的規(guī)范方法，第三個(gè)具有啟發(fā)性的方面是算法在該場(chǎng)景中的用戶信任基礎(chǔ)，這將根本性地決定算法進(jìn)入該領(lǐng)域的難度。某一場(chǎng)景中算法的應(yīng)用程度，根本上是由該場(chǎng)景中主要參與者的態(tài)度決定的。從實(shí)驗(yàn)中可以發(fā)現(xiàn)，當(dāng)前高風(fēng)險(xiǎn)場(chǎng)景下的算法應(yīng)用，在用戶信任方面有兩個(gè)不容樂(lè)觀的現(xiàn)象。其一，算法的信任基礎(chǔ)并不高，本實(shí)驗(yàn)場(chǎng)景下的測(cè)量數(shù)值為7分左右（10分制）。其二，在實(shí)驗(yàn)中插入算法的解釋后，算法的用戶信任甚至不升反降，降低了13%。除了考慮結(jié)合場(chǎng)景作解釋方法的改進(jìn)之外，更加值得反思的是，算法進(jìn)入各應(yīng)用場(chǎng)景的難度也許本身就是不一樣的。

這一實(shí)驗(yàn)中的發(fā)現(xiàn)和算法的規(guī)制方法之間的啟示，則是究竟應(yīng)該如何定位某一場(chǎng)景算法決策中人類用戶和算法機(jī)器間的關(guān)系，即在不同場(chǎng)景下人機(jī)間應(yīng)當(dāng)如何分工。不同的算法應(yīng)用場(chǎng)景表現(xiàn)出的分工特點(diǎn)和差異已然很大，比如短視頻的推送已經(jīng)基本實(shí)現(xiàn)全自動(dòng)化，自動(dòng)駕駛汽車也正在邁向更加脫離人的自動(dòng)駕駛狀態(tài)，而以本實(shí)驗(yàn)舉例的司法、醫(yī)療等領(lǐng)域，則仍難以放手交由機(jī)器自主作出決策。

（二）實(shí)驗(yàn)場(chǎng)景中的人機(jī)關(guān)系分析

在實(shí)驗(yàn)的高風(fēng)險(xiǎn)司法場(chǎng)景中，哪怕是最為堅(jiān)定的法律人工智能支持者，也偏向于認(rèn)為人機(jī)關(guān)系中機(jī)器處于輔助的地位?！?3'〕究竟為什么該領(lǐng)域的法律專家普遍對(duì)算法的接受程度偏低，甚至很多人質(zhì)疑呢？ 梳理之下，部分專家學(xué)者對(duì)算法過(guò)程方面缺乏足夠的、適合司法場(chǎng)景的解釋產(chǎn)生質(zhì)疑。他們認(rèn)為，法律預(yù)測(cè)算法的不可解釋性、機(jī)器判斷壓縮了法律議論。〔44'〕以上基于場(chǎng)景的批判，卻并不能夠得到技術(shù)上完全有力的回應(yīng)，由此便造成當(dāng)下該場(chǎng)景中人機(jī)分工的局面，而以上批判無(wú)法得到技術(shù)上回應(yīng)的原因卻是多層次且復(fù)雜的。

第一個(gè)方面的原因是算法解釋技術(shù)的應(yīng)用，不能過(guò)多地犧牲模型的性能。算法的解釋技術(shù)主要在高風(fēng)險(xiǎn)場(chǎng)景中興起，原因就在于這些領(lǐng)域的專家用戶要求只有當(dāng)算法決策具有可解釋性時(shí)，才會(huì)同意這些智能應(yīng)用的落地?！?5'〕由此，算法開發(fā)者才不得不考慮如何實(shí)現(xiàn)算法的解釋問(wèn)題，有一定的可解釋性勢(shì)必要求選擇算法類型時(shí)要有所受限，某些算法類型很難找到有效的解釋技術(shù)。換言之，其中必然有一方面要有犧牲，算法模型的性能和可解釋性間存在不可避免的交易（trade-off）關(guān)系，〔46+〕即在要求高透明性的場(chǎng)景中算法類型選擇受限，算法決策作出解釋和模型預(yù)測(cè)的準(zhǔn)確性之間存在此消彼長(zhǎng)的關(guān)系。因此，從算法開發(fā)者的角度這里存在“兩難”問(wèn)題，一個(gè)預(yù)測(cè)精確度堪憂的模型肯定不能投入應(yīng)用，而一個(gè)難以解釋的黑箱算法同樣無(wú)法被高風(fēng)險(xiǎn)場(chǎng)景的用戶所理解和信任。

第二個(gè)方面的原因是關(guān)于算法的解釋，在技術(shù)能呈現(xiàn)的內(nèi)容和用戶所期待的決策過(guò)程的說(shuō)明程度之間有理解上的差異。從算法解釋的初衷看，主要的方法是用一定的技術(shù)勾連起人類可理解的“表征”（representations）和算法輸入用的“特征”（features）間的關(guān)聯(lián)性?！?7+〕而從具體的呈現(xiàn)方式看，可以是一段說(shuō)明的文字、一個(gè)帶有參數(shù)的公式、一個(gè)輸入特征相關(guān)性數(shù)值的表格或者是一張圖片等。不論是以上哪種形式，都和高風(fēng)險(xiǎn)場(chǎng)景中人類決策的說(shuō)理有些差別。在司法決策中主要是一種解釋規(guī)范大前提、歸納事實(shí)小前提的三段論式說(shuō)理，但當(dāng)下的解釋技術(shù)是做不到的，正因如此才有學(xué)者提出最新建議，“這種高標(biāo)準(zhǔn)的法律論證在技術(shù)上也無(wú)法實(shí)現(xiàn)，實(shí)事求是地將論證的要求‘降維成解釋”。〔48+〕在醫(yī)療場(chǎng)景中的情況也很相似，當(dāng)前的算法解釋技術(shù)主要應(yīng)用于診斷環(huán)節(jié)，采取的典型方式是將和結(jié)果正相關(guān)的因素用紅色標(biāo)出、負(fù)相關(guān)的因素用藍(lán)色標(biāo)出，呈現(xiàn)在醫(yī)生面前，〔49+〕這種方式和傳統(tǒng)的人工醫(yī)療診斷方式也并不一致。

第三個(gè)方面的原因是當(dāng)前的法律歸責(zé)體系。在高風(fēng)險(xiǎn)的場(chǎng)景中，都較為統(tǒng)一地認(rèn)為算法決策較為初級(jí)。在醫(yī)療中，醫(yī)療AI+并非要替代人類醫(yī)生，只是輔助醫(yī)生工作，主導(dǎo)權(quán)仍掌握在人類醫(yī)生手中，主要目標(biāo)是通過(guò)人機(jī)協(xié)作提升醫(yī)療的準(zhǔn)確率和效率；〔50+〕在司法中當(dāng)前的機(jī)器輔助也主要是側(cè)重于效率提升的一面，涉及實(shí)體裁判的不多?！?1+〕而且一個(gè)突出的現(xiàn)象是，司法等高風(fēng)險(xiǎn)領(lǐng)域的法律責(zé)任是否會(huì)被數(shù)字技術(shù)所沖淡，領(lǐng)域?qū)＜覍?duì)此保持極高的警惕性?！?2+〕正因如此，從對(duì)機(jī)器智能的法律定性上來(lái)講，當(dāng)前也是以否定論占多數(shù)?！?3+〕這自然可以推導(dǎo)出一個(gè)結(jié)論，機(jī)器不會(huì)就所產(chǎn)生的實(shí)害負(fù)責(zé)，高風(fēng)險(xiǎn)場(chǎng)景的責(zé)任主要在各參與主體間分配，專家用戶面臨較重的注意義務(wù)。在醫(yī)療領(lǐng)域，既有的司法裁判和學(xué)說(shuō)觀點(diǎn)較一致地認(rèn)為，專家用戶應(yīng)對(duì)算法決策的結(jié)果負(fù)注意義務(wù)，僅在一般過(guò)失下才能免責(zé)?！?4+〕而在司法領(lǐng)域情況相似，即假使這是一項(xiàng)關(guān)系當(dāng)事人實(shí)體權(quán)利的司法判斷，不論是否借由算法決策作出，擔(dān)負(fù)司法問(wèn)責(zé)風(fēng)險(xiǎn)的仍然是辦案的司法官。既然如此，當(dāng)解釋的方式、內(nèi)容并不能令其確信時(shí)，他們自然有權(quán)拒絕算法決策。

（三）規(guī)范限制場(chǎng)景中的算法任務(wù)

在實(shí)驗(yàn)的高風(fēng)險(xiǎn)場(chǎng)景下，應(yīng)當(dāng)在行業(yè)性規(guī)范中確立人機(jī)之間堅(jiān)持以人工決策為主、機(jī)器為輔的原則，這是由用戶的信任基礎(chǔ)、解釋技術(shù)的局限性、法律責(zé)任的分配方式等以下幾個(gè)方面所共同決定的。在該場(chǎng)景中應(yīng)當(dāng)更進(jìn)一步推演的是，算法的場(chǎng)景化規(guī)范應(yīng)當(dāng)設(shè)置算法應(yīng)用的正面和負(fù)面任務(wù)清單。算法及其解釋技術(shù)的局限性、高風(fēng)險(xiǎn)場(chǎng)景的固有規(guī)律，決定了這些場(chǎng)景中不是每一個(gè)任務(wù)都適合引入算法決策，哪怕只是承擔(dān)輔助角色。誠(chéng)然，我們難以阻止人工智能的浪潮席卷這些高風(fēng)險(xiǎn)的場(chǎng)景，但是法律規(guī)范依然有必要?jiǎng)澏ㄒ恍┙盟惴Q策的任務(wù)清單，引導(dǎo)算法技術(shù)向正確的任務(wù)方向發(fā)展。根據(jù)既有的算法應(yīng)用所嘗試的場(chǎng)景任務(wù)類型，我們可以作如下取舍：

程序輔助型任務(wù)，更適合高風(fēng)險(xiǎn)場(chǎng)景的算法任務(wù)。司法領(lǐng)域希望用信息化和智能化區(qū)別數(shù)字技術(shù)應(yīng)用。程序性事項(xiàng)更偏向于形式任務(wù)，比如辦案無(wú)紙化、全流程線上辦公等，并將之和信息化等同。但其實(shí)在程序性事項(xiàng)中也有很多可算法輔助判斷的事項(xiàng)， 只是這些判斷不涉及重大的實(shí)體權(quán)利處分，屬于適合算法決策的內(nèi)容，比如案卷的歸類、是否滿足管轄的條件、文書是否已經(jīng)送達(dá)。與之相對(duì)應(yīng)的是一系列涉及終局性的實(shí)體權(quán)利處分，比如刑事領(lǐng)域的定罪和量刑等，這些任務(wù)才有更高的決策透明度要求。

知識(shí)輔助型任務(wù)，更適合高風(fēng)險(xiǎn)場(chǎng)景的算法任務(wù)。所謂知識(shí)輔助型主要是指算法決策所處的是實(shí)體判斷過(guò)程的中間環(huán)節(jié)，最終的實(shí)體判斷依然由專家完成，但就司法中尋找參考案例、文書寫作，醫(yī)療中尋找相似病例、處方寫作等，提供更精準(zhǔn)的模板匹配。這種輔助不能直接形成實(shí)體判斷的結(jié)論，但是能夠讓算法的使用者減少尋找依據(jù)、資料的工作量，故而稱之為知識(shí)輔助型任務(wù)。與之相對(duì)的則是實(shí)體判斷型，包括司法中確定賠償金額、醫(yī)療中確定治療的用藥方案等。

以上任務(wù)的分類可能還有很多其他標(biāo)準(zhǔn)，需要對(duì)之加以體系化構(gòu)建，并同樣需要用行業(yè)規(guī)范的方式予以確立。哪些任務(wù)是鼓勵(lì)算法應(yīng)用的白名單，哪些任務(wù)是算法禁入的黑名單，都應(yīng)當(dāng)清晰地在行業(yè)的算法應(yīng)用規(guī)范中列明，并結(jié)合算法技術(shù)的動(dòng)態(tài)發(fā)展予以調(diào)整。從當(dāng)下計(jì)算機(jī)科學(xué)發(fā)展、法律人工智能的學(xué)術(shù)前沿來(lái)看，卻并未受到此種指引，計(jì)算機(jī)科學(xué)的研究人員仍以研發(fā)定罪量刑、法條預(yù)測(cè)等任務(wù)為研究重點(diǎn)，〔55！〕而這些任務(wù)卻被本文稱作“慎入”的任務(wù)清單。

由此看來(lái)，本文雖以研究算法解釋的效果作為原點(diǎn)，但得出的結(jié)論卻略顯意外，即算法的解釋技術(shù)在高風(fēng)險(xiǎn)場(chǎng)景中往往陷入效果不佳的困境。因此在設(shè)計(jì)算法規(guī)制的方案時(shí)，要結(jié)合具體的場(chǎng)景，不限于算法解釋這一種方法，而是與人機(jī)間的分工關(guān)系、任務(wù)的負(fù)面清單等其他路徑形成合力。

本文系第三屆“數(shù)字法治與社會(huì)發(fā)展”研討會(huì)征文一等獎(jiǎng)作品。

本文系2021年國(guó)家社會(huì)科學(xué)基金“智慧司法背景下犯罪嫌疑人社會(huì)風(fēng)險(xiǎn)的大數(shù)據(jù)評(píng)估方法研究”（項(xiàng)目批準(zhǔn)號(hào)：21CFX068）、國(guó)家重點(diǎn)研發(fā)計(jì)劃“基層社會(huì)網(wǎng)格治理數(shù)字化關(guān)鍵技術(shù)研究與應(yīng)用示范”（項(xiàng)目批準(zhǔn)號(hào)：2021YFC3300300）、2024年浙江省哲學(xué)社會(huì)科學(xué)規(guī)劃之江青年專項(xiàng)課題“數(shù)字法治背景下生成式大模型技術(shù)對(duì)裁判說(shuō)理的輔助價(jià)值”（項(xiàng)目批準(zhǔn)號(hào)：24ZJQN064Y）的階段性研究成果。