人工智能犯罪風險評估“算法歧視”現(xiàn)象及其規(guī)制路徑

馬皚 宋業(yè)臻

摘要：隨著人工智能技術的不斷發(fā)展，犯罪風險評估工具逐漸開始了智能化的演進。域外司法實踐中使用的智能化犯罪風險評估工具并沒有解決“算法歧視”的問題。“算法歧視”的成因是復雜的、多層次的。結合傳統(tǒng)算法規(guī)制的分析框架，從問題建構維度和模型設計維度，能夠對人工智能犯罪風險評估“算法歧視”的成因進行深入分析，并據(jù)此對算法規(guī)制的算法公開、個人數(shù)據(jù)賦權、研發(fā)過程規(guī)制與審核，進行特定場景下的路徑探索，為走出人工智能犯罪風險評估所面臨的“算法歧視”困境提供理論支撐。

關鍵詞：犯罪風險評估;算法歧視;人工智能;算法規(guī)制

中圖分類號：DF792.6;B84 ? 文獻標志碼：A ? ?文章編號：1001-862X（2022）02-0119-009

中央網(wǎng)絡安全和信息化委員會印發(fā)《“十四五”國家信息化規(guī)劃》指出：“信息化進入加快數(shù)字化發(fā)展、建設數(shù)字中國的新階段?！敝泄仓醒搿鴦赵河“l(fā)《法治政府建設實施綱要（2021—2025年）》明確提出“健全法治政府建設科技保障體系，全面建設數(shù)字法治政府”的新要求。為了響應國家數(shù)字化發(fā)展的號召，刑事司法領域主動與大數(shù)據(jù)、人工智能領域協(xié)作，開展了一系列國家重點研發(fā)計劃，如“犯罪嫌疑人特征精確刻畫與精準識別”“職務犯罪智能評估、預防”等一系列以人工智能犯罪風險評估為主題的跨學科科研項目，并取得了一系列初步科研成果。在人工智能犯罪風險評估領域，域外人工智能犯罪風險評估科技成果在進入社會應用階段之后，引發(fā)了大量關于“算法歧視”的社會爭議，甚至激化了社會矛盾。如何借鑒域外經(jīng)驗教訓，在促進我國人工智能犯罪風險評估領域發(fā)展的同時，從“算法的場景性”角度切入，探索人工智能犯罪風險評估場景下的算法規(guī)制路徑，走出“科林格里奇困境（Collingridge’s Dilemma）”（1），成為了我國人工智能犯罪風險評估領域發(fā)展的一項緊迫任務。

一、人工智能犯罪風險評估領域的“算法歧視”陷阱

人工智能犯罪風險評估一方面指的是依靠計算機視覺、語音識別、情感計算、復雜系統(tǒng)等前沿人工智能技術對犯罪行為、犯罪心理現(xiàn)象進行更加復雜的經(jīng)驗分析，形成新的犯罪行為成因推斷與風險預測理論;另一方面指的是依靠人工智能復雜算法提升傳統(tǒng)犯罪風險評估工具的統(tǒng)計分析能力，形成升級迭代的犯罪風險評估工具。目前，國內外人工智能犯罪風險評估主要在犯罪風險評估工具迭代升級方向上發(fā)力，形成了一些技術成果，但是由于技術尚未完全成熟，導致人工智能犯罪風險評估存在規(guī)?；瘧玫牟淮_定性。

（一）域外人工智能犯罪風險評估的“算法歧視”現(xiàn)象

人工智能犯罪風險評估領域的“算法歧視”現(xiàn)象，最早出現(xiàn)在人工智能風險評估工具取得廣泛社會應用的美國佛羅里達州。美國普利策獎得主非盈利性新聞機構ProPublica調研了佛羅里達州布勞沃德縣的重新犯罪風險評估情況，將被逮捕的一萬余人的風險評估結論與實際發(fā)生的重新犯罪率進行比較，并于2016年5月23日公開聲稱應用于美國司法實踐中的犯罪風險評估系統(tǒng)COMPASS存在種族歧視，“系統(tǒng)在正確預測白人或者黑人的重新犯罪率方面是正確的，但是黑人比白人被評估為高風險結論的概率高兩倍”。[1]隨后，2016年6月8日，COMPASS的研發(fā)機構Northpointe書面回應稱：“佛羅里達州布勞沃德縣的審前樣本不存在種族歧視現(xiàn)象，ProPublica未考慮黑人和白人在重新犯罪上的分類統(tǒng)計數(shù)據(jù)，評估工具《一般重新犯罪風險評估量表（GRRS）》和《暴力犯罪的重新犯罪風險評估量表（VRRS）》對黑人和白人具有等同效用，誤認為存在種族歧視現(xiàn)象是因為混淆了‘未重新犯罪但是被評估為存在風險的概率’與‘被評估為有風險（風險較高）但是未重新犯罪的概率’而導致出現(xiàn)對‘算法偏見’的錯誤認知?！甭槭±砉た萍荚u論在2017年跟蹤報道了這一爭議，將“算法偏見”問題正式提上了社會公眾關注的議程。

（二）我國人工智能技術應用中的“算法歧視”現(xiàn)象

由于人工智能犯罪風險評估科技成果尚未在我國取得實踐場景的廣泛應用，我國法學界尚未充分關注人工智能犯罪風險評估的“算法歧視”問題。不過由于人工智能技術在商業(yè)、社會等領域取得了較廣泛的應用，法學界對商業(yè)與社會領域中“算法歧視”現(xiàn)象已有較為廣泛的討論。李成指出：我國法學界使用“算法歧視”來統(tǒng)攝人工智能的“公正性論題”，“綜觀相關研究，算法歧視概念框架實際納入了兩類構型相似但性質迥異的歧視”，一種是“反壟斷語境下的價格歧視”，另一種是“平等權語境下的身份歧視”。[2]毫無疑問，人工智能算法的歧視與偏見會對我國的社會秩序構成極大的挑戰(zhàn)，尤其是在司法實踐中的應用如果不能得到合理有效的控制，將會對我國法律的一些基本原則構成挑戰(zhàn)。[3]丁曉東將這些挑戰(zhàn)總結為“算法黑箱對知情權與自主決策的挑戰(zhàn)”“對個體隱私與自由的威脅”“算法歧視與偏見”三大類。[4]關于形成這些挑戰(zhàn)的成因，李曉輝將其中“算法黑箱”的成因歸為商業(yè)秘密的保護，即盈利性實體為了獲取商業(yè)競爭力而完全不公開報告關于自身智能算法的計算表征與決策方式。[5]

同時，“傳統(tǒng)算法規(guī)制路徑面臨的困境根本原因在于忽視算法的場景性，算法可能由于運用算法的主體不同、針對的對象不同、涉及的問題不同而具有不同的性質”。[4]具體到刑事司法領域的人工智能技術應用場景，李訓虎認為，“我國刑事司法領域中的人工智能應用的法理難題在于：智能輔助辦案系統(tǒng)會加劇已有偏見”，進一步具體到犯罪風險評估領域，人工智能應用的法理難題可以被歸納為“智能化風險評估工具的使用會造成對特定群體的歧視”。[6]

二、人工智能犯罪風險評估中“算法歧視”的成因

造成“算法歧視”現(xiàn)象的成因是復雜的，目前較為全面的分析框架是“四維度歧視嵌入路徑”分析法，具體包括：“問題構建維度、數(shù)據(jù)理解維度、特征選擇維度和個人信息維度”。[2]其中，“數(shù)據(jù)理解維度”主要指的是“樣本代表性”方面的問題，“個人信息維度”主要指的是個人信息泄露或開發(fā)者的非規(guī)范化使用導致的采樣偏差從而引發(fā)算法研發(fā)的歧視問題，“數(shù)據(jù)理解維度”和“個人信息維度”屬于模型設計研發(fā)的一個必要環(huán)節(jié)，同時，“特征選擇維度”是算法模型設計研發(fā)的另一個必要環(huán)節(jié)，可以被統(tǒng)稱為模型設計維度。以下將從問題建構維度和模型設計維度分析具體到人工智能犯罪風險評估場景，對“算法歧視”的產(chǎn)生原因進行分析。

（一）問題建構維度：犯罪風險評估理論的固有局限性

當前國際主流的犯罪風險評估理論與工具，已經(jīng)進行了五代革新升級，但是，多輪迭代升級并未解決理論層面的固有局限。

第一代犯罪風險評估理論與工具出現(xiàn)在1920年代，其目的是服務于“罪犯康復治療”，由專業(yè)人員進行臨床的半結構化評估，工具中不包括驗證與決策的統(tǒng)計機制。[7]第一代犯罪風險評估工具由于其評價方式過于主觀，并且?guī)缀鯖]有預測功能而逐漸衰落。[8]

第二代犯罪風險評估理論與工具將統(tǒng)計學中的回歸模型納入風險預測環(huán)節(jié)，對評估工具進行了優(yōu)化，工具的預測效度有所提升。第一代到第二代犯罪風險評估理論與工具的演進，其底層價值觀方面有著根本性的變化，從“半個性化的治療”（Semi-Personalized Treatment）轉向了純粹的預測，體現(xiàn)了“新刑罰”（New Penology）的變化——“由康復治療轉向更加行政化的人口管理，幾乎完全依靠（使犯罪人）喪失行為能力來降低重新犯罪風險”。[9]第二代犯罪風險評估工具的推廣及其底層價值觀的變遷，使得在20世紀70年代之后，被認為存在一定程度重新犯罪風險的罪犯均受到監(jiān)禁，美國的監(jiān)禁率大幅度提升，但是大幅度的監(jiān)禁也帶來了被監(jiān)禁人群的“棘輪效應”（Ratcheting Effect）[10]、監(jiān)禁邊際回報率逐年降低和個體層面的重新犯罪率不降反升等社會問題出現(xiàn)。[11]第二代犯罪風險評估理論更多地是從犯罪行為史、年齡等靜態(tài)因素進行犯罪風險預測，嚴重地依賴歷史數(shù)據(jù)對未來進行預測，很容易將社會結構性歧視引入評估模型，造成更嚴重的社會不公平。

第三代犯罪風險評估工具為了解決第二代犯罪風險評估工具過于依賴靜態(tài)因素、歷史數(shù)據(jù)的問題，進一步引入了“犯罪（犯因性）需求”（Criminogenic Needs）等更加側重于強調心理特征的動態(tài)因素。

第四代犯罪風險評估理論則是在第三代的基礎上，進一步將動態(tài)因素擴展到智力、自尊心等因素上，第三代與第四代犯罪風險評估形成了一個一體化的“混合風險/需求模型”（Hybrid Risk/Need Model）。

第五代犯罪風險評估理論將人工智能、機器學習等新技術引入了犯罪風險評估工具的研發(fā)中。第五代犯罪風險評估理論與工具中又包括兩種研究路徑，一種是在歐美第四代犯罪風險評估工具的基礎上，將機器學習甚至深度學習等智能模型替換掉傳統(tǒng)的線性回歸模型，是“計算模型的復雜化”;另一種是我國犯罪心理學與人工智能技術的深度融合，開發(fā)出理論、技術、應用多層次整合的犯罪風險評估工具。[12]第五代犯罪風險評估理論與工具中“計算模型的復雜化”分支，解決了第四代犯罪風險評估工具線性回歸模型計算過程過于簡單，應用于實踐中誤差率高、系統(tǒng)抗噪聲性不強的問題。而多層次整合的犯罪風險評估工具由中國心理學會法律心理學專業(yè)委員會、中國政法大學犯罪心理學研究中心進行理論研究與架構設計，由青島認知人工智能研究院進行系統(tǒng)整合與系統(tǒng)開發(fā)，自2018年開始在全國12家監(jiān)獄進行了為期兩年系統(tǒng)試運行與效果驗證，試驗參與者超過2000人，積累數(shù)據(jù)量大于400萬條，2019年該試驗項目與技術裝備進入中國科學技術協(xié)會《2019前沿科技成果推介手冊》。

回顧五代犯罪風險評估理論與工具的發(fā)展，其核心問題是如何通過已知的數(shù)據(jù)和信息推斷犯罪行為未來的發(fā)生概率，采用的主要方法是對比已經(jīng)發(fā)生犯罪行為的個體與未發(fā)生犯罪行為的個體在年齡、行為史、心理特征等靜態(tài)、動態(tài)因素上的差異性，故當代犯罪風險評估工具也被稱為“精算風險評估”（Actuarial Risk Assessment）。但是上述五代犯罪風險評估工具由于理論假設與根本方法論并未改變，故均存在過分依賴數(shù)據(jù)統(tǒng)計的局限性，主要體現(xiàn)在模型建立的過程中“統(tǒng)計系統(tǒng)會重現(xiàn)數(shù)據(jù)中的歧視模式與歷史偏見模式”。[13]

總而言之，在人工智能犯罪風險評估工具的問題構建階段，由于犯罪風險評估理論依賴歷史數(shù)據(jù)固有的局限性，導致“算法歧視”現(xiàn)象被自然地構建進理論設計中。

（二）模型設計維度：算法可解釋性的錯誤聚焦

在模型設計維度，人工智能犯罪風險評估工具大量使用了目前主流的人工智能深度學習模型，由此形成的人工智能犯罪風險評估工具在應用過程中主要表現(xiàn)為：輸入被評估者的個人信息，直接輸出犯罪風險預測等級或者指標的“端到端”（End to End）式的風險預測模型。而人工智能深度學習模型目前面臨嚴重的“算法黑箱性”質疑，由此“端到端”的犯罪風險評估與預測技術，也同樣面臨著對深度學習技術本身的“算法黑箱性”質疑。為了解決深度學習技術的“算法黑箱性”問題，人工智能領域提出了算法可解釋性的研究方向，但是算法可解釋性如果聚焦方向有偏差，則無法解決人工智能犯罪風險評估工具的“算法歧視”問題。下面主要從算法可解釋性能夠在何種程度上解決“算法黑箱性”的問題和人工智能犯罪風險評估能否利用算法可解釋性規(guī)避“算法歧視”兩個層面詳細闡述。

第一層面：算法可解釋性能夠在何種程度上解決“算法黑箱性”的問題？

首先，算法可解釋性從何而來？算法可解釋性主要為了回應對人工智能深度學習技術本身的質疑與對技術應用的質疑。

對技術本身質疑的主要問題是：其一，深度學習技術所采用的深度神經(jīng)網(wǎng)絡模型是高度復雜的模型，模型中存在大量的自由參數(shù)，如在圖像識別領域取得了巨大成功的AlexNet模型，其中包含了超過6200萬個自由參數(shù)，導致了在學習與預測任務中出現(xiàn)了很多不可預期的結果;其二，使用一些“對抗性實例”（Adversarial Example）就會破壞深度神經(jīng)網(wǎng)絡的識別與預測的準確率。通俗而言，只需要對輸入數(shù)據(jù)進行一些人類幾乎感知不到的細微調整，就會發(fā)現(xiàn)模型輸出發(fā)生巨大的變化，尤其是對一些類似于白噪聲的毫無實際意義的輸入數(shù)據(jù)，模型卻判定其符合預測標準的置信度接近百分之百，這意味著深度神經(jīng)網(wǎng)絡模型在任務判別與信息計算方面與人類感知加工信息的方式完全不同。

對技術應用質疑的主要問題是：其一，道德與倫理方面，應當確保智能化犯罪風險評估工具不會對人口中的亞群體產(chǎn)生損害性的影響。其二，與知識有關（Knowledge Related Consideration）的方面，工具的用戶并非計算機專家，因此用戶自身不可能自己開發(fā)基于算法的解決方案，也幾乎不能夠理解算法是如何開發(fā)的，尤其是復雜統(tǒng)計和深度學習技術，用戶距離理解技術還有較大距離。其三，方法可靠性（Methodological Soundness）方面，當前，世界各地已經(jīng)陸續(xù)頒布了相關規(guī)范性文件，如《歐洲一般數(shù)據(jù)保護條例》（European General Data Protection）授予最終用戶可以要求提升處理信息透明性的權利。這些方面均是將人工智能技術的透明性、可解釋性與“信任”概念關聯(lián)起來，既希望一個解決方案能夠服務社會，又不會對社會公眾產(chǎn)生傷害。

其次，算法可解釋性是什么？算法可解釋性指的是“使用人類可理解的術語提供解釋的能力”，“可解釋的術語”與“解釋”是兩個關鍵因素。在理想的情況下，“解釋”應當以“邏輯決策規(guī)則”的形式出現(xiàn)，即“如果……那么……”形式的規(guī)則，或者能夠很容易被轉化為邏輯決策規(guī)則的形式;“可解釋的術語”則與專業(yè)領域知識密切相關，比如人工智能計算機視覺中可以用于解釋的術語是人類視覺的相關概念（圖像中的顏色塊、圖像中客體的材料、圖像的紋理）。

簡言之，算法可解釋性包括兩個重點：一方面要分析存在黑箱性問題的算法是如何進行計算的，以人類可以理解的方式闡明其計算規(guī)則;另一方面要結合具體應用場景，從場景相關專業(yè)知識角度分析為什么要這樣計算、這樣計算是否具有科學性和合理性。

最后，目前的算法可解釋性研究已經(jīng)解決了哪些問題，還未解決哪些問題？算法可解釋性研究目前已經(jīng)解決以下三方面問題：其一，被動與主動維度（Passive-Active Approach），根據(jù)是否需要改變網(wǎng)絡結構或者優(yōu)化流程，不需要對網(wǎng)絡結構與流程改變，直接從已經(jīng)訓練好的深度神經(jīng)網(wǎng)絡出發(fā)，從中抽取計算與決策規(guī)則的研究，被稱為被動解釋;需要在訓練網(wǎng)絡之前進行一些改變，如增加一些額外網(wǎng)絡結構或者改變訓練過程的研究，被稱為主動解釋。其二，生成解釋的類型（the Type/Format of Produced Explanation），由于不同的解釋路徑生成的解釋是不同的，它們的清晰度也不同，具體類型如：顯著性映射解釋（Saliency Map），強調輸入信息的重點區(qū)域的解釋，需要人為加入更多主觀經(jīng)驗進行判斷才能獲得清晰的解釋;再如：邏輯規(guī)則解釋（Logic Rules），無需進行更多的人為參與;隱藏層語義解釋（Hidden Semantic），將神經(jīng)網(wǎng)絡各個層次拆分開進行解釋，樣例解釋與概念歸因（Concept Attribution）解釋等。其三，局部與整體（Local and Global）解釋，局部解釋側重于理解單個預測的方式，整體解釋側重于理解模型整體的決策方式，目前較為常見的是從局部解釋開始，自下而上歸納出整體解釋。

目前，算法可解釋性研究能夠解決存在黑箱性問題的算法是如何進行計算的問題，能夠以人類可以理解的方式闡明其計算規(guī)則，但是并未能結合具體應用場景，從場景相關知識角度分析為什么要這樣計算。

第二層面：人工智能犯罪風險評估能否利用算法可解釋性規(guī)避“算法歧視”？算法可解釋性能否解決人工智能犯罪風險評估的“算法歧視”問題，取決于犯罪風險評估與人工智能技術的結合方式。犯罪風險評估屬于犯罪心理學的經(jīng)典問題，故犯罪風險評估與人工智能技術的結合方式類似于心理學與人工智能技術結合的方式。

目前，心理學與人工智能技術主要存在三種結合方式：其一，保留傳統(tǒng)的心理學路徑，使用傳統(tǒng)心理測量工具的輸入輸出數(shù)據(jù)，但是將傳統(tǒng)心理學常用的線性模型替換為了人工智能統(tǒng)計機器學習、深度學習等復雜計算模型。其二，保留傳統(tǒng)的人工智能機器學習路徑，從音視頻、文本、網(wǎng)絡行為等粗糙原始數(shù)據(jù)中提取與心理相關的特征。其三，明確地采用數(shù)據(jù)驅動的方法，將傳統(tǒng)心理測評工具替代，建立新的關聯(lián)關系，同時根據(jù)是否需要手動提取數(shù)據(jù)特征而分為需要認為定義如何進行信號轉換和輸入數(shù)據(jù)特征提取規(guī)則的“特征工程”（Feature Engineering）路徑和直接使用復雜模型進行原始數(shù)據(jù)特征提取的“表示學習”（Representation Learning）路徑。

上述三種結合方式均涉及使用黑箱性算法，故算法可解釋性具備解決人工智能犯罪風險評估“算法黑箱性”問題的前提條件，但是解決“算法黑箱性”問題不等同與解決“算法歧視”問題。解決“算法黑箱性”可以采用可視化方法、邏輯方法等來說明算法對輸入數(shù)據(jù)的加工分析過程，即算法如何計算加工相關數(shù)據(jù)。而解決“算法歧視”問題需要進一步從科學理論角度闡明輸入數(shù)據(jù)為什么能夠與輸出數(shù)據(jù)形成關聯(lián)，以及輸入數(shù)據(jù)是否已經(jīng)潛在地含有歧視信息的樣本。故目前學術界聚焦的算法可解釋性研究雖然具備從“算法黑箱性”角度為解決“算法歧視”問題提供支持路徑的條件，但是仍然尚未解決人工智能犯罪風險評估的“算法歧視”問題。

三、人工智能犯罪風險評估中“算法歧視”的規(guī)制

人工智能犯罪風險評估“算法歧視”問題來自于“算法黑箱”，“算法黑箱是算法規(guī)制的出發(fā)點”[14]，故應當在算法規(guī)制領域探討“算法歧視”問題。人工智能犯罪風險評估“算法歧視”問題的解決又屬于算法規(guī)制領域中的“場景化規(guī)制”問題，應當“根據(jù)不同的場景類型采用不同的規(guī)制方式，以實現(xiàn)負責任的算法為目標”。[4]在算法規(guī)制的方式中，目前常見的規(guī)制建議包括算法公開、賦予數(shù)據(jù)主體解釋權[4]、代碼審核、開發(fā)行為規(guī)范[2]等，已經(jīng)在實踐中其他場景化算法規(guī)制領域實施的包括：中國人民銀行發(fā)布的《關于規(guī)范金融機構資產(chǎn)管理業(yè)務的指導意見》與國家網(wǎng)信辦發(fā)布的《區(qū)塊鏈信息服務管理規(guī)定》中涉及的算法備案制度等。[15]具體到人工智能犯罪風險評估的場景化算法規(guī)制問題上，算法公開、賦予數(shù)據(jù)主體解釋權的問題主要轉化為應當公開或者向相關用戶提供哪些解釋內容？代碼審核、開發(fā)行為規(guī)范的問題轉化為應當規(guī)范哪些、審核哪些研發(fā)或開發(fā)行為？

因犯罪風險評估的特殊性，對人工智能犯罪風險評估“算法歧視”的規(guī)制亦具有一定的特殊性，具體表現(xiàn)為：在評估對象方面，犯罪風險評估指涉的犯罪行為范疇比刑法學指涉的犯罪行為范疇更窄，在我國犯罪風險評估實踐中主要指的是故意殺人、故意傷害、搶劫等暴力犯罪行為以及強奸、猥褻等性犯罪行為;在評估后產(chǎn)生的效應方面，犯罪風險評估結論可能造成對被評估人的人身權利限制程度的差異，尤其是偵查階段變更強制措施時的犯罪風險評估與服刑階段施加監(jiān)管強度確認時的犯罪風險評估;在評估依據(jù)方面，我國犯罪風險評估的理論基礎來自于我國犯罪學、犯罪心理學的理論成果，在犯罪行為界定、風險等級界定、風險因子集合方面，與國外犯罪學、犯罪心理學的犯罪行為界定、風險等級界定、風險因子集合存在一定差異。所以，對我國人工智能犯罪風險評估算法進行算法規(guī)制，要從具有根本性的理論基礎、模型和方法角度進行分析并提出規(guī)制建議，從問題建構和模型設計兩個角度提供公開信息或解釋內容，同時，從研發(fā)過程角度進行規(guī)范和審核。

（一）人工智能犯罪風險評估的問題構建維度

在人工智能犯罪風險評估的問題構建維度，應當從犯罪學和犯罪心理學的角度分析并公開或解釋：在問題構建所使用的理論基礎方面，是否可能由于基礎理論存在歧視風險而導致人工智能犯罪風險評估出現(xiàn)“算法歧視”問題？如果存在基礎理論通過問題構建維度導致“算法歧視”問題，那么造成“算法歧視”的風險靶點在哪里？如何針對風險靶點解決“算法歧視”問題？

首先，在問題建構維度，人工智能犯罪風險評估的基礎理論帶有“算法歧視”的基因，導致基于此研發(fā)出的人工智能犯罪風險評估工具帶有“算法歧視”的風險。目前，國內外常用的犯罪風險評估工具，如《中國罪犯心理評估個性分測驗（COPA-PI）》等，均是以人格特質理論為基礎進行問題建構，其基本假設是個體內的行為傾向差異性小于個體間的行為傾向差異性，依靠對個體特質的測量能夠描述出個體的行為傾向。由于基礎層面的人格理論存在局限性，造成了應用層面的犯罪風險評估存在局限性。人格特質理論的局限性主要表現(xiàn)為米歇爾（Mischel）曾經(jīng)對人格理論效度的質疑，認為人格特質不具有較高效度，從而在預測人類行為上存在缺陷。奧爾波特（Allport）對此回應稱：“對于情境主義者來說，我承認，我們的特質理論不可能像以前那樣簡單了，我們現(xiàn)在所面臨的挑戰(zhàn)是（如何）解開構成一個人的復雜（行為）傾向的網(wǎng)絡，無論在不同的情境下被以不同的方式激活時，它（行為傾向）看起來有多么矛盾”。[16]

其次，造成人工智能犯罪風險評估“算法歧視”的風險靶點主要包括以下兩個方面。

一方面，人格特質理論的測量方式與統(tǒng)計建模方式。傳統(tǒng)的人格特質理論主要依靠自我報告法進行數(shù)據(jù)收集，并建立簡單的等級或者分數(shù)衡量個體在每種特質上的得分。這種測量方式與統(tǒng)計建模方式與日常生活中具有高度可變性的實踐現(xiàn)象存在沖突，過度簡化了現(xiàn)實的復雜性。弗里森（Fleeson）等通過在實驗室控制環(huán)境下，招募了183名觀察者對97個實驗參與者進行行為觀察與評價，根據(jù)觀測數(shù)據(jù)，發(fā)現(xiàn)就行為變化程度而言，個體內差異性有時甚至高于個體間差異性，采用傳統(tǒng)的自我報告法與統(tǒng)計建模法幾乎不能根據(jù)個體特質準確預測個體行為。但是將行為傾向構建為一個概率密度函數(shù)，則可以使用人格特質進行行為傾向預測，并由此提出了“全面特質理論”（WTT：Whole Trait Theory）。[17]

另一方面，人格特質理論主要對人格特質與穩(wěn)定的行為傾向進行描述，構建出了層次化、系統(tǒng)化的描述體系，但是缺乏對“這些特質從何而來”“為什么在相似的情境下，有相似特質的人會出現(xiàn)相似的行為傾向”等問題的回答，即缺乏對人格特質的成因以及其與行為傾向之間的因果關系的解釋。行為預測的經(jīng)典理論“列文公式”指出：“個體行為是由個體的心理狀態(tài)與個體所處的外部環(huán)境共同決定的?！盵18]但是人格特質理論主要是從個體心理狀態(tài)出發(fā)，將個體穩(wěn)定的心理特征作為主要研究對象來預測行為傾向，忽視了個體所處的外部環(huán)境，由于理論關注點的缺位，人格特質理論始終無法達到較強的行為預測效度。

最后，針對人工智能犯罪風險評估“算法歧視”的理論基礎中的兩個風險靶點，應當公開關于人工智能犯罪風險評估問題建構維度相關信息，并賦予利益相關用戶對上述信息的解釋申請權。

（二）人工智能犯罪風險評估的模型設計維度

在人工智能犯罪風險評估的模型設計維度，應當結合我國人工智能犯罪風險評估常用的計算模型公開或解釋：人工智能犯罪風險評估是基于風險預測還是因果推斷的計算方式來進行模型設計。

在美國犯罪風險評估的COMPASS系統(tǒng)出現(xiàn)疑似“算法歧視”現(xiàn)象之后，人工智能機器學習領域針對其公開的風險預測模型設計方式，曾提出了如何從技術上對智能化犯罪風險評估工具進行變革的提議：“精算風險評估工具中的統(tǒng)計系統(tǒng)會重現(xiàn)數(shù)據(jù)中的歧視模式與歷史偏見模式，如果機器學習的目的僅僅是為了預測個人未來是否會犯罪，那么很難打破司法系統(tǒng)本身的‘醫(yī)源性效應’（Iatrogenic Effects of the Criminal Justice System）”，“機器學習的目的不應當僅僅是預測，而是形成一種因果模型，用于幫助人來理解社會”。[13]簡言之，犯罪風險評估工具在與機器學習、深度學習等人工智能技術融合之后，應當更加側重于強調輔助人類進行因果關系的計算與推斷。

當代深度學習技術創(chuàng)始人之一、圖靈獎得主朱迪亞·珀爾（Judea Pearl）提出機器學習進入應用領域有“適應性”“可解釋性”與“因果關系”（推理）三大障礙，目前已經(jīng)基本上跨過了第一個障礙，在第二個障礙上也取得了一些進展，但是仍然需要努力跨過“因果關系”（推理）的障礙。[19]因果關系在本質上包括三個層次，基本層次是“關聯(lián)”（Association），中間層次是“干預”（Intervention），最高層次是“反事實”（Counter-Factual），“關聯(lián)”層次是純粹的統(tǒng)計問題，一般采用相關性或者回歸模型即可確定，“干預”則不能從直接的輸入輸出關聯(lián)分析中得到，需要進行更深入的因果計算，“反事實”則是人類獨有的思考方式，對不存在的現(xiàn)象進行純粹的智能加工與分析。在因果計算與推理技術方面，問題的難點在于“在什么環(huán)境下，采用什么方式，能夠基于觀察數(shù)據(jù)來得出因果關系結構”，這一難點也被稱為“從非實驗數(shù)據(jù)中發(fā)現(xiàn)因果關系的方法”。[20]針對這一問題，目前的前沿進展包括使用“獨立因素分析”（Independent Component Analysis）[21]、使用“貝葉斯網(wǎng)絡模型”[20]等技術進行因果關系的計算與推斷。

針對人工智能犯罪風險評估“算法歧視”在模型設計層面的問題，應當公開人工智能犯罪風險評估在模型設計層面采用了怎樣的計算模型，屬于風險預測性質的模型還是因果推斷性質的模型，并賦予利益相關用戶對上述信息的解釋申請權。

（三）人工智能犯罪風險評估的研發(fā)過程

從規(guī)范與審核的角度來看，規(guī)范或者審核的重點并非已經(jīng)完成開發(fā)的算法或者技術成果，而是應當結合我國人工智能犯罪風險評估研發(fā)機制與研發(fā)實踐，從更前置的研發(fā)過程規(guī)范并審核：犯罪學、犯罪心理學的科學理論與應用技術的融合方式，科學理論向應用技術的轉化機制以及驗證性評價方式。

首先，如何規(guī)范或審核科學理論與應用技術的融合方式？在人工智能犯罪風險評估的研發(fā)實踐中，經(jīng)常出現(xiàn)跨學科協(xié)作混亂，科學理論與應用技術難以有機融合的局限性。以當前人工智能技術與科學研究前沿實踐的融合方式來看，人工智能技術應當與具體的專業(yè)研究密切融合，并為專業(yè)領域的復雜問題提供輔助支撐是最佳實踐方式。以結構生物學研究為例，諾貝爾獎得主克里斯蒂安·安費森（Christian Anfinsen）早在1972年就指出“蛋白質的氨基酸序列能夠完全決定其3D結構”，在藥物研發(fā)等研究中，蛋白質的功能研究是重點研究的科學問題，蛋白質的功能主要由結構決定。但是傳統(tǒng)上依靠實驗方法確定蛋白質的結構，時間成本與經(jīng)濟成本均較高。為了解決這一問題，DeepMind研發(fā)了AlphaFold人工智能系統(tǒng)，并在2021年進行了迭代升級，升級后的AlphaFold2在國際蛋白質結構預測競賽（CASP）上實現(xiàn)了精確的蛋白質3D結構預測，堪比高成本的冷凍電子顯微鏡與磁共振成像等實驗技術所得到的結果。簡言之，AlphaFold的使用將人工智能技術與具體專業(yè)深度融合，針對傳統(tǒng)科研中成本較高、難以大規(guī)模普及的技術難點著重發(fā)力，提升了傳統(tǒng)研究的工作效率，是人工智能技術與科學理論、具體專業(yè)結合的最佳實踐范例之一。具體到人工智能犯罪風險評估領域，科學問題應當以犯罪心理學為視角提出，由多個學科提供支撐。

例如，犯罪心理學常常對同一種犯罪行為存在多種“競爭性解釋”（2），由此造成的問題是如何在競爭性理論中選擇犯罪風險評估工具的心理學理論依據(jù)？全球領先的“大范圍首先”理論的創(chuàng)始人、中國科學院院士陳霖指出借助當前的腦認知成像技術，“定位各個腦區(qū)的認知功能及其相互聯(lián)系，揭示認知功能在大腦的神經(jīng)表達”，能夠為從競爭性理論中尋求依據(jù)提供“生物學約束”。[22]簡言之，以腦認知成像等生物信息證據(jù)為標準，為理論選取提供客觀支撐，能夠在跨學科協(xié)作中解決犯罪心理學存在的“競爭性解釋”問題。[23]

再如，犯罪風險評估研究的目的是預測犯罪行為傾向與解釋犯罪行為傾向的成因，但是由于實踐中的犯罪成因非常復雜、地區(qū)與群體等差異性極大，故常常出現(xiàn)“可重復危機”（Replication Crisis），由此造成的問題是如何克服這種因復雜性形成的“可重復性危機”？為了應對心理學研究中的“可重復性危機”，馬庫斯·穆那弗（Marcus R.Munafo）等在《自然》雜志上提出了“三角測量”的應對方案，面對同一個問題，從多種不同的假設出發(fā)，綜合分析不同假設路徑延伸出的解釋理論，采用不同的角度獲得的證據(jù)支撐研究假設，而“強有力的理論是從多條證據(jù)線索中綜合產(chǎn)生的”。[24]杰克·霍夫曼（Jake M.Hofmman）等在《科學》雜志上提出了復雜社會系統(tǒng)的預測與解釋的方法論，強調“必須在復雜的社會系統(tǒng)中，明確（社會）理論在精確預測中的局限性，為預測和解釋的對象設定期望”。[25]

其次，如何規(guī)范或審核科學理論向應用技術的轉化機制？犯罪風險評估理論很難轉化為具體的人工智能技術成果。為了解決這一問題，在犯罪風險評估理論與方法轉化為計算機系統(tǒng)前，需要完成理論的形式化轉化與計算模型、算法的專門設計。犯罪風險評估理論屬于社會科學領域的理論體系，更多側重于搭建“因果規(guī)范性網(wǎng)絡”，但是在數(shù)理的形式化描述和計算模型方面的建構不足。設計智能化犯罪風險評估工具的難點也在于如何將偏重社會科學色彩的理論，轉化為計算機可讀取、可分析、可計算的數(shù)據(jù)與模型。借鑒人工智能領域的培養(yǎng)體系，搭建起理論到計算的關鍵橋梁主要是離散數(shù)學理論，在離散數(shù)學理論的指導下將理論轉化為算法與模型，才能為后續(xù)的智能系統(tǒng)開發(fā)建立基礎。

最后，如何規(guī)范或審核驗證性評價方式？當人工智能科技成果未經(jīng)過早期階段較為充分的社會應用效應研究與驗證時，很容易產(chǎn)生不可挽回的社會損失，避免“科林格里奇陷阱”的一個重要措施是進行充分的早期應用效應研究與驗證。在我國實踐中，功能實現(xiàn)與效果驗證一般由負責系統(tǒng)開發(fā)的產(chǎn)業(yè)機構實施，但是目前產(chǎn)業(yè)機構與研究機構均缺乏“人工智能的社會系統(tǒng)分析”，即使用人工智能技術會對應用領域相關的人群產(chǎn)生哪些持續(xù)性影響方面的研究。域外為了避免技術廣泛應用后出現(xiàn)的不良后果，已經(jīng)啟動相關研究，例如美國伊利諾伊州曾采用人工智能技術生成槍擊事件的犯罪風險評估“熱力圖”預測最可能實施槍擊行為的人，但是社會分析表明這一技術“增加了一些人成為警察襲擊目標的風險，但是未能降低槍擊案件的犯罪風險”。[26]凱特·克勞福德（Kate Crawford）等在《自然》上提出應當進行“人工智能的社會分析”研究，“不同的學科與政府部門應當合作調研社區(qū)、公共服務等信息，并分析這些差異如何塑造了人工智能訓練數(shù)據(jù)的差異性”;在此基礎上應當進一步著重分析“人們在什么時間、什么情況下會更容易受到某種人工智能技術的影響”[27]，并從哲學、法律、人類學等多個學科、多種角度剖析這些技術的應用會帶來什么樣的社會后果。對應到我國的人工智能犯罪風險評估研究實踐中，目前國家已經(jīng)發(fā)布多個國家重點研發(fā)計劃專項進行系統(tǒng)研發(fā)，在國家重點研發(fā)計劃的應用示范環(huán)節(jié)，應當增加對所研發(fā)的智能化犯罪風險評估系統(tǒng)的應用效應分析，在試點單位對其可能產(chǎn)生的政治、法律、經(jīng)濟、社會、文化等多方面后果進行系統(tǒng)分析與推演，確保新型技術的應用不會走入“算法歧視”陷阱和“科林格里奇困境”。

結 語

我國人工智能犯罪風險評估工具的研發(fā)已經(jīng)取得初步進展，為了避免人工智能犯罪風險評估掉入“算法歧視”的陷阱，需要在技術已經(jīng)出現(xiàn)初步的實踐成果與示范，尚未達到規(guī)?；瘧弥埃皶r探索人工智能犯罪風險評估的算法規(guī)制路徑。對我國人工智能犯罪風險評估進行算法規(guī)制，應當結合我國犯罪學、犯罪心理學理論，以及犯罪行為、犯罪風險、犯罪風險因子集合等方面的獨特性，針對我國人工智能犯罪風險評估理論基礎構建的科學性，以及模型設計在風險預測或成因解釋方面的側重性，采用公開或者解釋的方法進行算法規(guī)制。同時，由于人工智能犯罪風險評估結論很可能影響被評估人的人身權利受限程度，未來應當從更早期的研發(fā)階段、以更加嚴格的標準審核人工智能犯罪風險評估研發(fā)過程與研發(fā)機制，從而提升我國人工智能犯罪風險評估的科學性與公正性。

注釋：

（1）參見David Collingridge.The Social Control of Technology，London.Frances Printer，1980：19.“科林格里奇困境”指的是技術控制的兩難困境，在技術發(fā)展應用的早期，對技術進行社會控制較容易，但是由于缺乏專業(yè)知識等，所以并不知道如何進行合理有效的社會控制;在技術發(fā)展應用的晚期，對技術進行社會控制較難，雖然已經(jīng)獲得了大量知識，但是已經(jīng)很難扭轉技術深入社會系統(tǒng)的局面。

（2）參見陳霖：《認知科學的三大基石》，《中國科學基金》2017年第3期。“競爭性解釋”指的是在認知科學的研究過程中，任何一種認知心理現(xiàn)象，即便是最簡單的實驗，其結果的解釋都是不唯一的，任何一種認知心理現(xiàn)象都有多種解釋。

參考文獻：

[1]Julia Angwin， Jeff Larson， Surya Mattu， Lauren Kirchner. Machine Bias In： Ethics of Data and Analytics[M]. NewYork：Auerbach Publications，2022：11.

[2]李成.人工智能歧視的法律治理[J].中國法學，2021，（2）：122-147.

[3]何積豐.安全可信人工智能[J].通信安全與通信保密，2019，（10）：8

[4]丁曉東.論算法的法律規(guī)制[J].中國社會科學，2020，（12）：138-159，203.

[5]李曉輝.算法商業(yè)秘密與算法正義[J].比較法研究，2021，（3）：105-121.

[6]李訓虎.刑事司法人工智能的包容性規(guī)制[J].中國社會科學，2021，（2）：42-62.

[7]D. A. Andrews， James Bonta， J. Stephen Wormith. The Recent Past and Near Future of Risk and/or Need Assessment[J]. Crime and Delinquency， 2006，（1）：7-27.

[8]Kelly Hannah-Moffffat. Actuarial Sentencing， An "Unsettled" Proposition[J]. Justice Quarterly， 2013， （2）：270-296.

[9]Malcolm M. Feeley，Jonathan Simon. The New Penology， Notes on the Emerging Strategy of Corrections and Its Implications[J]. Criminology，1992，（4）：449-475.

[10]Bernard E. Harcourt. Risk as A Proxy for Race： The Dangers of Risk Assessment[J]. Federal Sentencing Reporter，2015，（4）：237-243.

[11]Hamilton ?Melissa. Back to the Future： The Influence of Criminal History on Risk Assessment [J]. 20 Berkeley Journal of Criminal Law，2015，（1）：75-119.

[12]馬皚，孫曉，宋業(yè)臻.智能化犯罪危險性評估的理論與實踐[M].北京：法制出版社，2020：12.

[13]Chelsea Barabas，Karthik Dinakar，Jochi Ito，Marlas Virza，Jonathan Zittrain. Interventions over Predictions：Reframing the Eyhical Debate for Actuarial Risk Assessment[C]. Proceedings of Machine Learning Research，2018，81：1-15.

[14]許可，朱悅.算法解釋權：科技與法律的雙重視角[J].蘇州大學學報（哲學社會科學版），2020，（2）：64.

[15]許可.算法規(guī)制體系的中國建構與理論反思[J].法律科學（西北政法大學學報），2022，（1）：124-132.

[16]Allport Gordon Willard.The Person in Psychology：Selected Essays[M]. Boston：Beacon Press，1968：47.

[17]Fleeson W.，Law M.K..Trait Enactments as Density Distributions. The Role of Action， Situations and Observes in Explaining Stability and Variability[J]. Journal of Personality and Social Psychology，2015，（6）：1090-1104.

[18]Lewin Kurt.Behavior and Development as A Function of the Total Situation， In Carmichael，L.（Ed.）Manual of Child Psychology[M]. NewYork：John Wiley，1946：797-844.

[19]Pearl Judea. Radical Empiricism and Machine Learning Research[J]. Journal of Causal Inference，2021，（1）：78-82.

[20]Pearl Judea. Causality.Models，Reasoning and Inference[M]. London：Cambridge University Press，2000：3.

[21]Shimizu Shohei，Hoyer Patrik O.，Hyvarinen Aapo，et al. A linear non-Gaussian Acyclic Model for Causal Discovery[J]. Journal of Machine Learning Research，2006，（10）：2003-2030.

[22]陳霖.認知科學的三大基石[J].中國科學基金，2017，（3）：209-210.

[23]陳霖.認知科學若干基本問題的研究進展[J].中國科學院院刊，1993，（2）：112-118.

[24]Munafo Marcus R.，Simith ?George Davey. Repeating Experiments is not Enough[J].Nature，2018，553（7689）：399-401.

[25]Hofman Jake M.，Sharma Amit，Watts Duncan J.. ?Prediction and Explanation in Social System[J].Science，2017，355（6324）：486-488.

[26]Saunders J.，Hunt P.，Hollywood John S.. Predictions Put into Practice：A Quasi-experimental Evaluation of Chicago's Predictive Policing Pilot[J]. Journal of Experimental Criminology，2016，12（3）：347-371.

[27]Crawford Kate，Calo Ryan. There is A Blind Spot in AI Research[J].Nature，2016，538（7625）：311-313.

（責任編輯 吳 楠）

本刊網(wǎng)址·在線雜志：www.jhlt.net.cn

*基金項目：教育部人文社會科學研究一般項目“人工智能視域下社區(qū)矯正對象再犯風險的動態(tài)評估體系研究”（21YJAZH058）

作者簡介：馬皚（1962—），北京人，中國政法大學社會學院教授，博士生導師，主要研究方向：犯罪心理學;宋業(yè)臻（1990—），山西太原人，心理學博士，青島認知人工智能研究院研究員，主要研究方向：人工智能。