人工智能輔助量刑系統(tǒng)的現(xiàn)實(shí)風(fēng)險(xiǎn)及其治理路徑研究

郭若宇

（山東大學(xué) 法學(xué)院，山東 青島 266200）

在信息技術(shù)飛速發(fā)展的今天，大數(shù)據(jù)、人工智能、云計(jì)算為司法實(shí)務(wù)助力賦能，人工智能輔助量刑逐步成為我國司法量刑的重要輔助手段。特別是隨著認(rèn)罪認(rèn)罰從寬制度從部分試點(diǎn)到正式入法，人民法院作出判決時(shí)既要同意檢察機(jī)關(guān)指控的罪名，又要同意檢察機(jī)關(guān)的量刑建議[1]1-12，由此科學(xué)而準(zhǔn)確的量刑建議既是當(dāng)前辦案質(zhì)量的核心考核指標(biāo)，也是創(chuàng)新辦案機(jī)制的新要求，在此背景下人工智能輔助量刑系統(tǒng)的風(fēng)險(xiǎn)與治理成為亟需探討的重要課題。

需要注意的是，“人工智能輔助量刑”與 “電腦量刑”有著根本差異?！半娔X量刑系統(tǒng)”以2004 年3 月山東省淄博市淄川區(qū)人民法院研制的“規(guī)范量刑軟件管理系統(tǒng)”為代表，該軟件以《量刑規(guī)范化實(shí)施細(xì)則》作為“規(guī)范量刑軟件管理系統(tǒng)”數(shù)據(jù)資料庫，將1300 余件已審結(jié)的刑事案件歸納為財(cái)產(chǎn)犯罪、職務(wù)犯罪和暴力犯罪等十一種犯罪類型，再將每一類案件審理過程、量刑情況和裁判結(jié)果等分類統(tǒng)計(jì)并輸入電腦，在法官的操作和監(jiān)督下，電腦根據(jù)儲存的法律條文和有關(guān)細(xì)則進(jìn)行信息檢索和公式計(jì)算輸出量刑結(jié)果[2]。所謂的“電腦量刑”本質(zhì)上為關(guān)聯(lián)要素檢索系統(tǒng)[3]271-279，即根據(jù)量刑細(xì)則進(jìn)行檢索，或根據(jù)關(guān)鍵詞相關(guān)聯(lián)的程度搜尋法規(guī)或判決。此系統(tǒng)的工作原理是通過統(tǒng)計(jì)數(shù)據(jù)來計(jì)算相似度，如果邏輯上相似就會以關(guān)聯(lián)比率計(jì)算歸類為有關(guān)聯(lián)的法規(guī)或判決。而人工智能是以人工方式創(chuàng)作出來、擁有智能的實(shí)體，或指為了創(chuàng)造出這類產(chǎn)物的智慧本身，系通過機(jī)器學(xué)習(xí)習(xí)得人類思考能力的技術(shù)[4]1015-1042，以計(jì)算機(jī)程序模仿人類思考模式的結(jié)果，進(jìn)行數(shù)據(jù)搜集、分析，以更為準(zhǔn)確高效的程式進(jìn)行運(yùn)算，其數(shù)據(jù)抓取與運(yùn)算能力遠(yuǎn)勝于電腦量刑系統(tǒng)。目前人工智能輔助量刑系統(tǒng)在司法審判中可用作法律檢索分析、風(fēng)險(xiǎn)評估工具、計(jì)算量刑基準(zhǔn)、鑒識輔助系統(tǒng)、預(yù)測犯罪熱點(diǎn)執(zhí)法，應(yīng)用范圍亦遠(yuǎn)大于電腦量刑系統(tǒng)。因此，人工智能輔助量刑并不等同于“電腦量刑”，本文的研究對象為人工智能輔助量刑系統(tǒng)。

人工智能輔助量刑存在系統(tǒng)上的風(fēng)險(xiǎn)，且量刑系統(tǒng)的透明性與可受監(jiān)督性也存有疑問。另外，人工智能輔助量刑系統(tǒng)研發(fā)的重要原因是為了量刑規(guī)范化和高效化，但是在弱人工智能時(shí)代，智能輔助量刑工具的應(yīng)用可能導(dǎo)致量刑結(jié)果不準(zhǔn)確、量刑過程侵害當(dāng)事人權(quán)益的現(xiàn)象，甚至存在引發(fā)新一輪訴訟的風(fēng)險(xiǎn)，反而有損于司法公信力與訴訟效率。本文對人工智能技術(shù)應(yīng)用于刑事司法領(lǐng)域進(jìn)行研究，分析人工智能量刑系統(tǒng)司法實(shí)踐層面的風(fēng)險(xiǎn)及成因，并探究現(xiàn)實(shí)風(fēng)險(xiǎn)治理的具體路徑。

一、人工智能輔助量刑系統(tǒng)的實(shí)踐樣態(tài)

人工智能輔助量刑系統(tǒng)已經(jīng)有了豐富的實(shí)踐。在我國，2017 年貴州省高級人民法院采用的“大數(shù)據(jù)分析平臺”、2018 年蘇州市中級人民法院上線的“智慧審判系統(tǒng)”、2019 年廣東博維創(chuàng)遠(yuǎn)科技有限公司研發(fā)并推廣的“小包公”智能定罪與量刑系統(tǒng)等都包含了人工智能輔助量刑這一核心功能。在域外，美國的風(fēng)險(xiǎn)評估系統(tǒng)（Riskneed Assessment Tool）、英國的HART 風(fēng)險(xiǎn)評估系統(tǒng)（Harm Assessment Risk Tool）都是運(yùn)用比較廣泛的人工智能量刑輔助系統(tǒng)。

2017 年貴州省高級人民法院采用的“大數(shù)據(jù)分析平臺”，對具體案件評查“案件偏離程度”，如果程度過高則會提醒法官及案管部門來保證量刑精準(zhǔn)、同案同判。2018 年蘇州法院上線的“同案同判數(shù)據(jù)監(jiān)測系統(tǒng)”結(jié)合江蘇省有關(guān)危險(xiǎn)駕駛罪的量刑指導(dǎo)意見，通過大數(shù)據(jù)分析近五年來全省各地法院審結(jié)的相似案件，自動生成刑事案件量刑預(yù)判結(jié)果。2019 年推廣的“小包公”智能定罪與量刑系統(tǒng)提供200 多個(gè)罪名的精準(zhǔn)量刑預(yù)測及說理過程，通過大數(shù)據(jù)類案查詢提供類案判決，生成全案的定罪量刑分析報(bào)告，通過理論量刑預(yù)測和實(shí)際量刑分析“雙系統(tǒng)”幫助法官準(zhǔn)確定罪量刑。2020 年上海市虹口區(qū)檢察院上線的“智能量刑小程序”，為弱化地域差異對量刑的影響，僅選取上海本地近10 年的刑事判決書填充數(shù)據(jù)資料庫，在小程序中輸入 “核心量刑情節(jié)”和“罪名”后生成“量刑可視化圖表”。

在美國，人工智能輔助量刑系統(tǒng)早已在司法實(shí)踐中得到應(yīng)用。在該系統(tǒng)中計(jì)算機(jī)通過機(jī)器學(xué)習(xí)習(xí)得人類思考技術(shù)，而后根據(jù)具體案件的犯罪事實(shí)和犯罪嫌疑人或被告人的犯罪動機(jī)、反社會同伴、認(rèn)知、教育、家庭、財(cái)務(wù)、醫(yī)療、心理健康、興趣愛好、藥物濫用、創(chuàng)傷和工作等不同因素所形成的加權(quán)值進(jìn)行機(jī)器運(yùn)算，通過習(xí)得的人類思考技術(shù)計(jì)算、整理與分析數(shù)值，從而預(yù)測被告人或犯罪嫌疑人的再犯率[5]39-47。

然而，該系統(tǒng)技術(shù)上仍然存在障礙與局限性，實(shí)踐中引發(fā)諸多爭議，甚至導(dǎo)致新一輪爭訟現(xiàn)象的出現(xiàn)。是繼續(xù)推進(jìn)該技術(shù)的前進(jìn)還是在落實(shí)有意義審查后再禁止不透明的人工智能應(yīng)用于刑事司法程序中，仍然是一個(gè)值得討論的問題。當(dāng)前，檢察官、法官和當(dāng)事人對這種工具的應(yīng)用帶來的負(fù)面影響聚訟紛紜。首先，人工智能量刑輔助系統(tǒng)的研發(fā)公司如果以保護(hù)商業(yè)秘密為由不公開評估過程記錄，則系統(tǒng)的“算法黑箱”特性使被告沒有辦法了解與檢驗(yàn)評估結(jié)果的正確性和精準(zhǔn)性。其次，該系統(tǒng)減損了在司法審判中法官基于事實(shí)懷疑主義和規(guī)則懷疑主義對被告人的個(gè)性關(guān)注。再者，人工智能量刑輔助系統(tǒng)評估出男性的再犯率普遍高于女性，司法實(shí)踐中采用一個(gè)存在性別歧視的系統(tǒng)輔助量刑違反憲法原則。

二、人工智能輔助量刑系統(tǒng)的現(xiàn)實(shí)風(fēng)險(xiǎn)

從算法自動化決策在刑事司法實(shí)踐中的爭議中可以窺測人工智能法律輔助量刑系統(tǒng)的一系列現(xiàn)實(shí)風(fēng)險(xiǎn)。

（一）量刑機(jī)械主義傾向

量刑的權(quán)衡沒有公認(rèn)的統(tǒng)一標(biāo)準(zhǔn)，而是多元化的。所以在現(xiàn)代法治社會的量刑具有豐富性和靈活性，遠(yuǎn)非機(jī)械式計(jì)算。檢察官在行使量刑建議權(quán)或法官在行使量刑權(quán)的過程是一個(gè)價(jià)值判斷的過程，包含著檢察官和法官在長期審判工作中形成的法律思維、對世態(tài)人情的認(rèn)知等理性關(guān)懷，在具體案件中也會考量被告人或犯罪嫌疑人認(rèn)罪認(rèn)罰的態(tài)度以及被害人是否諒解等具體情況，并結(jié)合實(shí)時(shí)政策和社會影響進(jìn)行量刑判斷。故而判斷過程并非是尋找最優(yōu)解的命題，而是對量刑結(jié)果符合“國法、天理、人情”的追求過程。

然而，人工智能輔助量刑系統(tǒng)僅針對確定的目標(biāo)計(jì)算成本和收益，找到最優(yōu)化的解決方案。人工智能輔助量刑系統(tǒng)不關(guān)心目的，只關(guān)心達(dá)成目的的手段是否為最優(yōu)。在推廣適用的過程中，可能導(dǎo)致工具理性的單方面擴(kuò)張，工具理性壓倒價(jià)值理性，社會理性化發(fā)展異化為不平衡的“片面的理性化”，具體表現(xiàn)為如下三個(gè)方面：

（1）法律程式化風(fēng)險(xiǎn)。構(gòu)建人工智能輔助量刑系統(tǒng)時(shí)設(shè)計(jì)重心在標(biāo)準(zhǔn)化程式，程式最終任務(wù)僅是找尋最優(yōu)解。法官在行使量刑權(quán)或檢察官在行使量刑建議權(quán)時(shí)，包含了對法律的敬畏和對正義的追求。而弱人工智能不具備人的法正義和法感情，可能無法對個(gè)案的具體情況和特別狀態(tài)進(jìn)行判斷和思考，在識別信息、分析案情、評判證據(jù)、作出裁判等方面傾向于標(biāo)準(zhǔn)程式化的判斷，故而無法考慮效率代價(jià)等復(fù)雜性問題。另一方面，在具體案件當(dāng)中，案件特殊情形具備不易描述的屬性，對于人權(quán)保障的追求也無法量化，人工智能輔助量刑系統(tǒng)趨向?qū)⒎沙淌交?，將個(gè)案的參數(shù)和信息置于系統(tǒng)考量范疇之外，無法進(jìn)行分析并作出具體判斷。

（2）司法數(shù)據(jù)化風(fēng)險(xiǎn)。人工智能輔助量刑系統(tǒng)本身只有習(xí)得的固定思考模式與可調(diào)整的參數(shù)，無法像人一樣通過聯(lián)結(jié)的神經(jīng)元同時(shí)進(jìn)行創(chuàng)造性思維活動，故司法實(shí)務(wù)中運(yùn)用該系統(tǒng)將無法針對特殊化的個(gè)案情形進(jìn)行靈活的創(chuàng)造性考量。然而檢察官量刑建議或法官量刑的過程恰恰是開放的、辯證的，排斥固化單一的邏輯模型。法律的生命不是邏輯而是經(jīng)驗(yàn)(He life of law doesn’t lie in logic, but in experience)[6]233-234，經(jīng)驗(yàn)是結(jié)合社會生活、習(xí)俗、公眾認(rèn)知，如對時(shí)代需要的感知、形勢政策的理解、對公共政策的直覺，再如社會族群的習(xí)慣、一個(gè)民族的發(fā)展歷史、法官和他的同胞所共有的偏見或基于某種有關(guān)共同體或某一階層的習(xí)慣和信仰，并經(jīng)過專業(yè)的學(xué)習(xí)、思考與長期的實(shí)踐形成的。司法實(shí)踐中若用簡單粗略的數(shù)據(jù)去推斷極端復(fù)雜的人性，將導(dǎo)致司法數(shù)據(jù)化風(fēng)險(xiǎn)沖擊破壞衡平正義。

（3）資料滯后性風(fēng)險(xiǎn)。人工智能輔助量刑系統(tǒng)本身的資料庫有限，無法實(shí)時(shí)性地反映社會發(fā)展進(jìn)步對法律提出的新要求，因此人工智能輔助量刑系統(tǒng)本身具有無法預(yù)測和判斷新興的法律事實(shí)樣態(tài)的滯后性。面對社會的發(fā)展或形勢的變更，法官在量刑判斷時(shí)并不會機(jī)械地局限于嚴(yán)格的法規(guī)正義，而現(xiàn)階段的人工智能輔助量刑系統(tǒng)卻無法本著公平原則進(jìn)行利益權(quán)衡，其所進(jìn)行的機(jī)器學(xué)習(xí)乃是過往的人類裁判所形成的經(jīng)驗(yàn)，如果某個(gè)時(shí)點(diǎn)發(fā)生突然性的政策變化、劇烈的價(jià)值觀變動或某個(gè)具體問題的法律見解變更，將對本身學(xué)習(xí)資料的完善和人工智能系統(tǒng)設(shè)計(jì)的更新提出較高的要求，這將是在弱人工智能時(shí)代技術(shù)上所不得不面臨的重大問題。

（二）算法歧視的產(chǎn)生

前文所述的COMPAS 系統(tǒng)男性被評估出的再犯率高于女性。雖然在美國的憲法修正案乃至各國憲法中都對禁止司法歧視做出了規(guī)定，但是人工智能輔助量刑的過程中算法以一種不輕易為人察覺的隱性方式歧視社會特定群體。以下為導(dǎo)致人工智能輔助量刑系統(tǒng)算法歧視的三個(gè)因素：

（1）數(shù)據(jù)資料的偏見。《自然》雜志在2016 年提出“BIBO”定律（bias in, bias out）[7]537-549，意即輸入的數(shù)據(jù)隱含偏見，那么輸出的數(shù)據(jù)也必定含有偏見，這是數(shù)據(jù)的原教旨主義（Data Fundamentalism）特性使然[8]55-66。在運(yùn)用復(fù)合控制結(jié)構(gòu)而設(shè)置的規(guī)則依賴深度學(xué)習(xí)進(jìn)行計(jì)算的過程中，大數(shù)據(jù)所做的決定系用過去的數(shù)據(jù)對未來的事項(xiàng)進(jìn)行評估，極易產(chǎn)生系統(tǒng)偏見而致歧視后果。即便在機(jī)器學(xué)習(xí)的數(shù)據(jù)中清除性別、種族等特征，并保證在訓(xùn)練數(shù)據(jù)集中每一個(gè)特定群體都有相當(dāng)?shù)臄?shù)據(jù)，然而司法判例中既有的偏見仍然無法消除。

（2）系統(tǒng)開發(fā)者的偏見。人工智能系統(tǒng)開發(fā)者趨向藉由操縱程式將個(gè)人的成見或偏見反映在算法之中，或是潛意識的歧視被反映于人工智能系統(tǒng)的程式之中[9]1027。在人工智能輔助量刑系統(tǒng)的程式設(shè)計(jì)中，一個(gè)問題將被分成擬解決問題的轉(zhuǎn)化、數(shù)據(jù)的收集、模型的完善與評估等多個(gè)子問題交由不同的神經(jīng)元進(jìn)行運(yùn)算。輸出的算法結(jié)果都要經(jīng)過開發(fā)者的主觀驗(yàn)證，由此開發(fā)者的評斷決定著輸入變量、結(jié)果變量、數(shù)據(jù)的收集范圍、數(shù)據(jù)特征的選擇，故而系統(tǒng)設(shè)計(jì)者趨向于將自認(rèn)為正確的解決問題的步驟與參數(shù)置入人工智能輔助量刑系統(tǒng)的程式中，因此系統(tǒng)中往往不可避免地富集系統(tǒng)開發(fā)者個(gè)人認(rèn)知或潛意識中的偏見。

（3）人工智能技術(shù)的偏見。算法作為人工智能系統(tǒng)的主要實(shí)現(xiàn)形式，在其運(yùn)算系統(tǒng)中，人類在某種程度上被視為“數(shù)據(jù)主體”，擁有了“數(shù)據(jù)身份”，而后基于算法分類進(jìn)行的優(yōu)先化排序、關(guān)聯(lián)性選擇和過濾性排除等運(yùn)算，其中不可避免地都帶有顯性或隱性的偏見。另外，如前所述，人工智能系通過機(jī)器學(xué)習(xí)（machine leaning）習(xí)得人類思考技術(shù)，而人腦必須在分類（category）的幫助下才能思考，分類形成的“類別”會成為平常預(yù)先判斷的基礎(chǔ)[10]22，由此人類認(rèn)知和解釋世界時(shí)離不開“類別”，人工智能機(jī)器學(xué)習(xí)人類心智也習(xí)得了這一認(rèn)知方式以及“類別”，于是預(yù)先判斷成為無法避免的過程。

三、人工智能輔助量刑系統(tǒng)現(xiàn)實(shí)風(fēng)險(xiǎn)的治理路徑

（一）系統(tǒng)定位：突出“輔助”量刑功能

首先，將人工智能輔助量刑系統(tǒng)定位為輔助工具，是憲法理念的實(shí)踐要求。量刑權(quán)本質(zhì)上屬于司法權(quán)能。法官和檢察官行使量刑裁判權(quán)或量刑建議權(quán)時(shí)，應(yīng)根據(jù)自己的獨(dú)立判斷，故人工智能不具備取代法官的合憲性。因此，人工智能輔助量刑系統(tǒng)理論定位應(yīng)當(dāng)是輔助性的。

其次，將人工智能輔助量刑系統(tǒng)定位為輔助手段，是尊重人類自主性的倫理要求。2019 年 4 月，歐盟公布了《可信 AI 倫理指南（Ethics Guidelines for Trustworthy AI）》[11]1，提出四項(xiàng)基本原則作為人工智能是否可信的判斷準(zhǔn)則，其中第一條是尊重人類自主性原則。該原則要求確保檢察官與法官擁有針對個(gè)案情況具體分析的自主性，使法官有相當(dāng)?shù)臋?quán)限空間（discretion）作出符合個(gè)案正義的量刑判斷，從而盡可能地保證衡平正義的實(shí)現(xiàn)，維護(hù)法律的權(quán)威和法律體系的先進(jìn)性。

然而在實(shí)踐當(dāng)中，司法人員主觀上對現(xiàn)代科技前沿的人工智能過分信任加之人類思維惰性，以及對錯(cuò)案追責(zé)的擔(dān)憂，導(dǎo)致司法人員不會對人工智能輔助量刑系統(tǒng)評估結(jié)果作出輕易修改。

對此，司法人員需扭轉(zhuǎn)對輔助量刑評估結(jié)果的看待方式，消除輔助量刑評估結(jié)果的“隱性強(qiáng)制力”。輔助量刑系統(tǒng)所給出的結(jié)論并不是“標(biāo)準(zhǔn)答案”，而是矯正量刑誤差的一種“驗(yàn)算”方式，僅對司法人員量刑判斷是否存在遺漏某個(gè)量刑情節(jié)等謬誤具有提示作用?？陀^上，人工智能的輸出結(jié)果采納與否并不能與追究錯(cuò)案責(zé)任直接掛鉤[12]163-174。

（二）具體方法：完善人工智能模型

人工智能量刑輔助系統(tǒng)運(yùn)用于司法實(shí)踐，選擇算法和設(shè)計(jì)程序的目標(biāo)是人工智能習(xí)得法律推理能力并將之應(yīng)用于量刑過程，而運(yùn)用法律推理包括案例推理、規(guī)則推理和原則推理等多種模式，并沒有明確或唯一的標(biāo)準(zhǔn)答案，僅存在某個(gè)合理的區(qū)間，量刑結(jié)果是一個(gè)程度的問題，并且會隨著社會發(fā)展而改變。因?yàn)樵诹啃陶撟C過程中所需的知識會隨著時(shí)間推移而改變，這些常識或知識是豐富多元的，生活常識到專業(yè)知識都可能涉及，其中專業(yè)知識在學(xué)界可能存在不同觀點(diǎn)的爭議。

由于法律推理的上述特性，構(gòu)建輔助量刑系統(tǒng)模型不能用純粹的演繹方法建模，而應(yīng)當(dāng)增加系統(tǒng)輸出結(jié)果的豐富性和靈活性，構(gòu)建模型時(shí)可以從如下幾個(gè)方面進(jìn)行完善。首先，把握法學(xué)邏輯的數(shù)字化表達(dá)，明確法律推理對資料和方法的要求。在構(gòu)建系統(tǒng)模型時(shí)不僅需要計(jì)算機(jī)科學(xué)的思想和方法，也需要法學(xué)者提供的關(guān)于法律推理的見解。其次，不斷補(bǔ)充、完善和更新人工智能的學(xué)習(xí)資料，對于過時(shí)認(rèn)知、錯(cuò)誤數(shù)據(jù)及知識上的例外沖突進(jìn)行去噪，對于新興的人類生活共識和學(xué)術(shù)觀點(diǎn)進(jìn)行補(bǔ)充和更新。再次，對于人工智能輔助量刑系統(tǒng)中的各種法律推理模式進(jìn)行分析與探索，完善案例推理，推廣規(guī)則推理，同時(shí)探索多范式推理。最后，探索人工智能對自然語言理解的實(shí)現(xiàn)路徑，這將是弱人工智能時(shí)代人工智能系統(tǒng)構(gòu)建最困難的挑戰(zhàn)之一。在人工智能輔助量刑系統(tǒng)的復(fù)雜邏輯架構(gòu)下，探索如何讓機(jī)器學(xué)習(xí)快速適應(yīng)法律的漸進(jìn)變化，讓機(jī)器理解法律常識、辯護(hù)意見等自然語言，深度學(xué)習(xí)數(shù)據(jù)豐富的內(nèi)在信息，從而提升量刑預(yù)測的準(zhǔn)確性。

（三）制度保障：建立監(jiān)督和評估機(jī)制

透明化和監(jiān)督是現(xiàn)代民主法治社會對公權(quán)力的基本要求，遑論量刑權(quán)與量刑建議權(quán)等重要司法權(quán)力，因此人工智能輔助量刑系統(tǒng)的透明化和可評估化是法治的必然要求。在弱人工智能時(shí)代，人工智能輔助量刑系統(tǒng)的機(jī)械主義傾向短期內(nèi)無法實(shí)現(xiàn)有效改善；決策標(biāo)準(zhǔn)被隱藏在我們無法輕易閱讀和理解的代碼之下，算法根據(jù)不同的數(shù)據(jù)模式而發(fā)展變化，這進(jìn)一步增加了實(shí)現(xiàn)公開透明的難度[13]5；此外，在線活動的算法大多是由追求利潤最大化的私人商業(yè)實(shí)體執(zhí)行的，他們僅需在最低限度的透明度義務(wù)下即可運(yùn)營。人工智能產(chǎn)生的歧視與偏見短期內(nèi)無法消除，亦要求我們必須尋求司法公平與技術(shù)局限的平衡，制定人工智能輔助量刑系統(tǒng)的評估機(jī)制為暫時(shí)解決算法歧視問題提供一種可能路徑。

首先，在人工智能輔助量刑系統(tǒng)設(shè)計(jì)周期內(nèi)，應(yīng)當(dāng)建立輔助量刑對基本權(quán)利影響評估機(jī)制。在系統(tǒng)研發(fā)過程中就其對基本權(quán)利造成的可能影響進(jìn)行詳細(xì)評估，如果出現(xiàn)輔助量刑系統(tǒng)對人格尊嚴(yán)、人身自由、平等無歧視等公民基本權(quán)利的侵害和對民主、正義等法治基礎(chǔ)的破壞，那么將喪失合法性基礎(chǔ)，輕則及時(shí)修正，重則直接停用，從而有效防止開發(fā)者夾帶個(gè)人偏見或?qū)撘庾R中的歧視因子輸入量刑系統(tǒng)。

其次，應(yīng)當(dāng)建立輔助量刑系統(tǒng)的全過程監(jiān)督機(jī)制，保障在輔助量刑系統(tǒng)的每個(gè)決策周期都可人為干預(yù)，并賦予司法人員根據(jù)人工智能輔助量刑系統(tǒng)的整體活動及影響而決定是否使用的權(quán)力。全過程的監(jiān)督機(jī)制是在使用人工智能輔助量刑的司法人員充分且有效的量刑決定能力的必要條件，也是人工智能輔助量刑系統(tǒng)遵循用于服務(wù)人類、增強(qiáng)人類認(rèn)知和提升人類技能基本理念的重要保障。

再次，應(yīng)當(dāng)建立算法與學(xué)習(xí)資料透明度評估機(jī)制。IEEE（Institute of Electrical and Electronics Engineers）在2017 年12 月14 日發(fā)布的《合乎倫理設(shè)計(jì)：利用人工智能和自主系統(tǒng)優(yōu)化人類福祉的愿景》[14]197-201中指出，算法的設(shè)計(jì)應(yīng)當(dāng)透明化，應(yīng)適當(dāng)?shù)靥峁┫到y(tǒng)執(zhí)行行為的原因解釋，并且設(shè)置算法設(shè)計(jì)的透明度評估機(jī)制。人工智能輔助量刑系統(tǒng)中，除構(gòu)建算法的透明度評估機(jī)制以外，還應(yīng)構(gòu)建學(xué)習(xí)資料的透明度評估機(jī)制。人工智能輔助量刑系統(tǒng)機(jī)器學(xué)習(xí)的樣本資料庫是歧視問題的始作俑者，只有公開監(jiān)督才能從根源上化解歧視問題。合規(guī)評估機(jī)制和透明度評估機(jī)制的建立也將進(jìn)一步促進(jìn)“技術(shù)黑箱”難題的破解。