• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    現(xiàn)象、原理和規(guī)制:人工智能司法與刑事程序正義的融合之路

    2023-03-23 11:52:37余鵬文
    天府新論 2023年1期
    關(guān)鍵詞:司法決策程序

    余鵬文

    一、問題的提出

    在數(shù)字技術(shù)發(fā)展日新月異的背景下,大數(shù)據(jù)、人工智能、區(qū)塊鏈等新興網(wǎng)絡(luò)信息技術(shù)在司法領(lǐng)域不斷得到深化運(yùn)用,使得我國刑事司法制度和訴訟程序迎來前所未有的發(fā)展機(jī)遇和現(xiàn)實(shí)挑戰(zhàn)。正如英國學(xué)者理查德·薩斯坎德在《法律人的明天會(huì)怎樣?——法律職業(yè)的未來》一書中提到,隨著信息技術(shù)和互聯(lián)網(wǎng)適用場域不斷擴(kuò)大,將產(chǎn)生龐大和難以計(jì)算的海量數(shù)據(jù),相應(yīng)地需要人機(jī)交互來幫助人們應(yīng)對大數(shù)據(jù)帶來的挑戰(zhàn),同時(shí)利用好其中蘊(yùn)含的豐富價(jià)值。大數(shù)據(jù)的顛覆性在于,重要的法律見解、關(guān)聯(lián)性,甚至算法可能會(huì)在法律實(shí)務(wù)中和法律風(fēng)險(xiǎn)管理中獲得核心地位。(1)理查德·薩斯坎德:《法律人的明天會(huì)怎樣?——法律職業(yè)的未來》,北京大學(xué)出版社,2015年,第62-63頁。從國家發(fā)展戰(zhàn)略和司法實(shí)踐情況來看,大數(shù)據(jù)加上算法,已經(jīng)成為智能刑事司法的中心議題,并且在預(yù)測警務(wù)、犯罪風(fēng)險(xiǎn)評估、量刑建議輔助、量刑決策輔助等事項(xiàng)上得到深度運(yùn)用,從而有效發(fā)揮人工智能技術(shù)在重復(fù)性、規(guī)律性工作中的效率優(yōu)勢。但同時(shí)也要注意,在刑事司法中使用人工智能來代替法官裁決,從理論上看有可能使得憲法和刑事訴訟法規(guī)定的程序正義基本原則變得面目全非,而算法歧視、算法黑箱等背離程序公開性和公正性的技術(shù)特質(zhì)亦與刑事正當(dāng)程序相互沖突和抵牾,可能對社會(huì)結(jié)構(gòu)和司法體系造成不可逆轉(zhuǎn)的持續(xù)性損害。(2)Adrian Zuckerman, “Artificial Intelligence-Implications for the Legal Profession, Adversarial Process and Rule of Law,” Law Quarterly Review, Vol.136,No.9, 2020.

    (一)人工智能的刑事司法應(yīng)用實(shí)踐

    作為大數(shù)據(jù)和算法技術(shù)的結(jié)合體,人工智能在法律實(shí)踐中的應(yīng)用已經(jīng)成為全面推進(jìn)依法治國,建設(shè)法治國家、法治政府、法治社會(huì)以及實(shí)現(xiàn)國家治理體系和治理能力現(xiàn)代化的必要路徑。2016年11月,在世界互聯(lián)網(wǎng)大會(huì)智慧法院暨網(wǎng)絡(luò)法治論壇上,我國最高人民法院院長周強(qiáng)提出:“推動(dòng)人工智能技術(shù)在司法活動(dòng)中的應(yīng)用……通過推進(jìn)深度學(xué)習(xí)、大數(shù)據(jù)算法等在審判執(zhí)行工作中的深度應(yīng)用,大力開發(fā)人工司法智能,為法官辦案提供智能化服務(wù)?!?3)周強(qiáng):《建設(shè)智慧法院 努力讓人民群眾在每一個(gè)司法案件中感受到公平正義》,2016-11-17,https://mp.weixin.qq.com/s/unJznriWfLJp6d0YaD7CTA,訪問日期:2022-07-16。受到實(shí)踐需求以及政策導(dǎo)向等因素的影響,預(yù)測警務(wù)、智慧檢務(wù)和智慧法院建設(shè)是我國人工智能司法應(yīng)用的重點(diǎn)發(fā)展領(lǐng)域,也逐漸成為現(xiàn)代化司法應(yīng)用發(fā)展的新趨勢。

    一是,在偵查階段,以預(yù)測警務(wù)為核心的犯罪風(fēng)險(xiǎn)防控機(jī)制成為各地警務(wù)工作的重要組成部分,從而實(shí)現(xiàn)對犯罪活動(dòng)的高效、精準(zhǔn)打擊。例如,2013年江蘇省蘇州市公安機(jī)關(guān)已經(jīng)積極探索運(yùn)用大數(shù)據(jù)思維和方法研發(fā)犯罪預(yù)測系統(tǒng)。該系統(tǒng)學(xué)習(xí)了蘇州市10年來發(fā)生的1300萬條歷史警情數(shù)據(jù),記憶了包括居民收入水平、娛樂場所地點(diǎn)等7.8億條數(shù)據(jù),并且輸入關(guān)于實(shí)有人口和特殊人群地理信息等382種相關(guān)變量數(shù)據(jù),能夠通過自主關(guān)聯(lián)計(jì)算向基層民警推送重點(diǎn)巡防區(qū)域信息。(4)湯瑜:《大數(shù)據(jù)時(shí)代,“互聯(lián)網(wǎng)+警務(wù)”升級社會(huì)治理模式》,2017-01-04,http://www.mzyfz.com/cms/benwangzhuanfang/xinwenzhongxin/zuixinbaodao/html/1040/2017-01-04/content-1243792.html,訪問日期:2022-07-16。二是,在檢察系統(tǒng)中,最高人民檢察院提出的智慧檢務(wù)建設(shè)重大戰(zhàn)略主要在于推進(jìn)智能輔助支持系統(tǒng)、案件管理應(yīng)用系統(tǒng)、遠(yuǎn)程提訊系統(tǒng)以及監(jiān)獄檢察信息指揮系統(tǒng)等體系建設(shè),為檢察機(jī)關(guān)提出精準(zhǔn)量刑建議、評估社會(huì)危險(xiǎn)性等檢察工作提供智能輔助,也能統(tǒng)籌優(yōu)化檢察機(jī)關(guān)“人、事、財(cái)、物、策”等各項(xiàng)管理事項(xiàng),全面提升檢察機(jī)關(guān)現(xiàn)代化管理水平。(5)李訓(xùn)虎:《刑事司法人工智能的包容性規(guī)制》,《中國社會(huì)科學(xué)》2021年第2期。三是,人工智能概念的引入對智慧法院建設(shè)起到積極的推動(dòng)作用,其涉及司法管理和實(shí)際辦案流程的智能化。針對大量審判數(shù)據(jù)的智能分類、提取、整合、分析,以及對相似數(shù)據(jù)的有效檢索,人工智能為刑事審判中的法官認(rèn)定事實(shí)和適用法律等決策提供資源推薦、案例研判以及實(shí)證分析等智能服務(wù)。2017年5月,由上海市高級人民法院牽頭研發(fā)的代號“206”的上海刑事案件智能輔助辦案系統(tǒng)是典型的智能應(yīng)用軟件。該系統(tǒng)集成了法律文書自動(dòng)生成、電子卷宗移送、輔助庭審、類案推送、量刑參考等多項(xiàng)功能,大大地提高了法院辦案質(zhì)量和效率,節(jié)約了司法資源和成本。(6)崔亞東主編:《世界人工智能法治藍(lán)皮書(2019年)》,上海人民出版社,2019年,第122-124頁。此外,美國的COMPAS風(fēng)險(xiǎn)評估工具在大量刑事案件中通過預(yù)測再犯可能性來輔助法官量刑判決。該系統(tǒng)通過將犯罪參與作用、違反法規(guī)程度、暴力性質(zhì)、犯罪牽連、毒品濫用、經(jīng)濟(jì)困難、職業(yè)或教育問題、社會(huì)環(huán)境、失業(yè)情況、固定住所、社會(huì)交往、認(rèn)罪態(tài)度和犯罪人格等相關(guān)信息轉(zhuǎn)化為數(shù)字進(jìn)行評估,并給出一個(gè)再犯風(fēng)險(xiǎn)系數(shù),法官可以據(jù)此決定犯罪人所應(yīng)遭受的刑罰或是否允許保釋。(7)Brennan, Tim, William Dietrich & Beate Ehret, “Evaluating the Predictive Validity of the Compas Risk and Needs Assessment System,” Criminal Justice and Behavior, Vol.36, No.1, 2009.

    (二)人工智能應(yīng)用于刑事司法的雙重效應(yīng)

    從上述信息技術(shù)的實(shí)踐應(yīng)用情況來看,以大數(shù)據(jù)分析為基礎(chǔ)的犯罪風(fēng)險(xiǎn)預(yù)防機(jī)制不斷擴(kuò)張,并且影響后續(xù)刑事訴訟程序,而人工智能也開始深度介入社會(huì)危險(xiǎn)性和再犯風(fēng)險(xiǎn)的評估和預(yù)測。對此,當(dāng)從更為宏觀的視野審視當(dāng)下刑事訴訟制度正在經(jīng)歷的種種變化,審視數(shù)字技術(shù)引發(fā)的刑事司法權(quán)力格局變動(dòng)以及傳統(tǒng)和新型公民基本權(quán)利面臨的技術(shù)沖擊。(8)裴煒:《數(shù)字正當(dāng)程序——網(wǎng)絡(luò)時(shí)代的刑事訴訟》,中國法制出版社,2021年,第1頁。

    1.犯罪控制:自動(dòng)化司法作為司法機(jī)關(guān)的“力量倍增器”

    當(dāng)下大數(shù)據(jù)、算法等信息技術(shù)在司法當(dāng)中能夠得到深度運(yùn)用和迅速落地,盡管具有為當(dāng)事人、訴訟參與人及社會(huì)公眾提供便捷化、可及化訴訟服務(wù)的目標(biāo)導(dǎo)向,但主要推動(dòng)力還是在于新型技術(shù)手段在犯罪控制方面能夠發(fā)揮令人驚嘆的作用,尤其是針對利用新技術(shù)的網(wǎng)絡(luò)犯罪。(9)張建偉:《司法的科技應(yīng)用:兩個(gè)維度的觀察與分析》,《浙江工商大學(xué)學(xué)報(bào)》2021年第5期。具體表現(xiàn)在以下三個(gè)方面:一是自動(dòng)化司法需要與具體的任務(wù)、應(yīng)用場景結(jié)合,因而其中算法決策在設(shè)計(jì)時(shí)所嵌入的公共價(jià)值是單一的,即通??紤]的只是司法效率。例如,人工智能引導(dǎo)下的預(yù)測警務(wù)和人臉識別,能夠通過挖掘、學(xué)習(xí)和分析疑難復(fù)雜犯罪信息,準(zhǔn)確地鎖定和追蹤犯罪嫌疑人的身份,有利于提升案件的偵破率。二是刑事案件智能輔助決策系統(tǒng)作為人工智能司法應(yīng)用的創(chuàng)新發(fā)展,通過制定公檢法共同適用的證據(jù)標(biāo)準(zhǔn)和證據(jù)規(guī)則指引,實(shí)現(xiàn)公檢法辦理刑事案件網(wǎng)上運(yùn)行、互聯(lián)互通、數(shù)據(jù)共享,進(jìn)一步強(qiáng)化公檢法機(jī)關(guān)之間的相互配合,使得刑事案件辦理更加流水線化,相應(yīng)地提高刑事案件的辦案效率。(10)李訓(xùn)虎:《刑事司法人工智能的包容性規(guī)制》,《中國社會(huì)科學(xué)》2021年第2期。三是借助大數(shù)據(jù)與算法的技術(shù)優(yōu)勢建立的案件管理系統(tǒng)和智能輔助支持系統(tǒng),其中內(nèi)設(shè)的法律文書自動(dòng)生成、電子卷宗一鍵傳送、類案推送、量刑參考等附加功能能夠分擔(dān)司法人員大量日常的事務(wù)性工作,極大地提升案件辦理的質(zhì)效。(11)卞建林:《人工智能時(shí)代我國刑事訴訟制度的機(jī)遇與挑戰(zhàn)》,《江淮論壇》2020年第4期。

    2.正當(dāng)程序:自動(dòng)化司法可能侵犯法律正當(dāng)程序基本原則

    人工智能能提升打擊犯罪的司法效率,也能在一定程度上保障正當(dāng)程序,如通過類案推送和量刑參考等功能實(shí)現(xiàn)同案同判、類案類判,有助于實(shí)現(xiàn)法律平等適用。但從刑事訴訟法的限權(quán)視角出發(fā),刑事司法中過度關(guān)注技術(shù)賦能,在加強(qiáng)國家對社會(huì)的控制力的同時(shí),也可能損害司法制度中嵌入的程序正義基本原則,侵犯憲法和刑事訴訟法允諾保障的公民基本權(quán)利。對此,大數(shù)據(jù)在助力犯罪風(fēng)險(xiǎn)評估從而優(yōu)化刑事司法資源配置的同時(shí),也產(chǎn)生與刑事正當(dāng)程序的激烈沖突。比如犯罪治理提前啟動(dòng)、數(shù)據(jù)獲取分析能力差距以及第三方介入?yún)⑴c,上述特征與無罪推定原則、控辯平等原則和權(quán)力專屬原則之間產(chǎn)生矛盾。(12)裴煒:《個(gè)人信息大數(shù)據(jù)與刑事正當(dāng)程序的沖突及其調(diào)和》,《法學(xué)研究》2018年第2期。而在司法實(shí)踐中,美國COMPAS軟件不僅在輿論上受到批評,在法庭上也受到挑戰(zhàn)。在State v. Loomis一案中,被告人對威斯康星州使用來源封閉的風(fēng)險(xiǎn)評估軟件作為判決其6年監(jiān)禁刑的依據(jù)提出質(zhì)疑,聲稱這一做法違反了美利堅(jiān)合眾國憲法第十四條修正案規(guī)定的正當(dāng)法律程序條款。被告人Loomis針對量刑時(shí)法官使用COMPAS工具提出三點(diǎn)反對意見:第一,該軟件侵犯了被告依據(jù)案件準(zhǔn)確信息判刑的權(quán)利,因?yàn)镃OMPAS涉及商業(yè)秘密保護(hù)使得當(dāng)事人無法評估其準(zhǔn)確性;第二,侵犯了被告享有個(gè)性化判決的權(quán)利;第三,在量刑時(shí)審理法院將性別作為一項(xiàng)風(fēng)險(xiǎn)評估因素。(13)State v. Loomis, 881 N.W.2d 749 (Wis. 2016).該案例也反映出以大數(shù)據(jù)和算法為代表的新型信息技術(shù)在介入刑事司法運(yùn)行過程中,將對傳統(tǒng)程序正義理論產(chǎn)生沖擊。

    新型信息技術(shù)在對刑事訴訟基本理念和價(jià)值帶來沖擊時(shí),是否在一定程度上重新塑造我國刑事司法樣態(tài)?在“技法沖突”情況下,傳統(tǒng)程序正義理論又將遭遇哪些適用困境?而在當(dāng)前弱人工智能時(shí)代,對于刑事訴訟程序的規(guī)制究竟是以技術(shù)為核心還是以人為本?作為部門法學(xué)的研究人員,我們應(yīng)當(dāng)秉持一種什么樣的學(xué)術(shù)態(tài)度來重新調(diào)試數(shù)字化時(shí)代刑事程序正義理論?

    二、現(xiàn)象分析:傳統(tǒng)程序正義理論受到技術(shù)性沖擊

    大數(shù)據(jù)和算法共同構(gòu)成人工智能發(fā)展的兩大核心驅(qū)動(dòng)力,其中大數(shù)據(jù)主要是指規(guī)模龐大的數(shù)據(jù)存量和數(shù)據(jù)來源,而算法則是指數(shù)據(jù)分析的指令、程序和步驟。從技術(shù)層面來看,將大數(shù)據(jù)和算法應(yīng)用到司法場域,輔助司法決策,甚至在特定情況下可以直接依據(jù)人工智能做出司法決策,能夠使得司法裁判機(jī)制獲得處理海量信息的能力,有助于增強(qiáng)司法機(jī)關(guān)辦案能力、提高司法效率。但是,大數(shù)據(jù)和算法本身存在的風(fēng)險(xiǎn)也將對傳統(tǒng)程序正義理論產(chǎn)生技術(shù)性沖擊。(14)鄭飛主編:《中國人工智能法治發(fā)展報(bào)告(1978—2019)》,知識產(chǎn)權(quán)出版社,2020年,第126頁。

    在目前的法學(xué)研究當(dāng)中,程序正義理論的基本要素尚未形成統(tǒng)一的認(rèn)識。有論者認(rèn)為,程序正義主要包括訴訟程序的公開性、裁判人員的中立性和獨(dú)立性、當(dāng)事人地位的平等性、訴訟過程的參與性、訴訟活動(dòng)的合法性以及案件處理的正確性。(15)譚世貴主編:《刑事訴訟原理與改革》,法律出版社,2002年,第29-36頁。也有論者認(rèn)為,法律程序的設(shè)置應(yīng)符合以下基本的程序公正要求:一是程序的參與性,二是裁判者的中立性,三是程序的對等性,四是程序的合理性,五是程序的及時(shí)性,六是程序的終結(jié)性。(16)陳瑞華:《刑事訴訟法》,北京大學(xué)出版社,2021年,第45-49頁?;诖耍疚膹膫鹘y(tǒng)程序正義理論的諸多要素中提取出受自動(dòng)化司法影響較為深刻的四大基本原則來予以深入探討,即裁判中立原則、程序公開原則、程序?qū)Φ仍瓌t和程序參與原則。

    (一)算法偏見、數(shù)據(jù)偏差與裁判中立原則之間的沖突

    無論是人工決策程序還是算法決策程序,邏輯本身隱含著歧視的風(fēng)險(xiǎn),在一定程度上,算法偏見是一個(gè)不可避免的問題。從人類文化偏見、算法本身的特性來分析大數(shù)據(jù)算法歧視的內(nèi)涵,可以發(fā)現(xiàn)即便在技術(shù)層面上算法設(shè)計(jì)者沒有將偏見植入大數(shù)據(jù)算法的主觀意愿,但由于“GIGO 定律” (Garbage In,Garbage Out)、數(shù)據(jù)樣本天然的權(quán)重差異以及大數(shù)據(jù)的擴(kuò)展屬性,大數(shù)據(jù)算法也存在偏見或歧視的必然性。(17)張玉宏、秦志光、肖樂:《大數(shù)據(jù)算法的歧視本質(zhì)》,《自然辯證法研究》2017年第5期。而當(dāng)人工智能技術(shù)引入司法裁判,受限于錯(cuò)案責(zé)任追究制的壓力和趨利避害的本性,法官在利用刑事案件智能輔助決策系統(tǒng)來強(qiáng)化裁判結(jié)果的論證力時(shí),毫無疑問會(huì)受到算法偏見的污染,對案件當(dāng)事人形成偏見或預(yù)斷,自然有違裁判者中立原則。(18)陳俊宇:《司法程序中的人工智能技術(shù):現(xiàn)實(shí)風(fēng)險(xiǎn)、功能定位與規(guī)制措施》,《江漢論壇》2021年第11期。例如,在威斯康星州的Loomis案中,黑人被告主張使用算法作出的量刑判決違憲。盡管威斯康星州最高法院最后認(rèn)定算法并未違憲,但卻對該事件的法官進(jìn)行了書面“警告”,要求其不能全盤接受人工智能的評估結(jié)果,而最多只能將其作為判斷依據(jù)之一,并要求其意識到測評結(jié)果中可能包含錯(cuò)誤和偏見。(19)State v. Loomis, 881 N.W.2d 749 (Wis. 2016).

    而對于算法偏見的具體成因,通過借鑒萊普利·普魯諾(Lepri Bruno)的三分法,將算法歧視產(chǎn)生的根源概括為數(shù)據(jù)中預(yù)先就存有偏見、算法本身構(gòu)成歧視和數(shù)據(jù)抽樣偏差及其權(quán)重設(shè)置差異三個(gè)方面。(20)劉培、池忠軍:《算法歧視的倫理反思》,《自然辯證法研究》2019年第10期。一是算法歧視是對人類社會(huì)中既有偏見的反映,即當(dāng)下社會(huì)是充滿偏見的,人工智能在學(xué)習(xí)和理解了社會(huì)現(xiàn)狀之后,以此為基礎(chǔ)進(jìn)行人物側(cè)寫,將會(huì)把這些既存的偏見保存在算法之內(nèi)。(21)福田雅樹、林秀彌、成原慧:《AI聯(lián)結(jié)的社會(huì)——人工智能網(wǎng)絡(luò)化時(shí)代的倫理與法律》,社會(huì)科學(xué)文獻(xiàn)出版社,2020年,第314頁。例如,犯罪風(fēng)險(xiǎn)評估工具中存在種族差異的原因在于,不同種族之間的逮捕率是不相等的,而算法只是簡單地重現(xiàn)了一種嚴(yán)重不平衡的社會(huì)現(xiàn)狀。除非所有群體都具有相同的逮捕率,否則這種算法偏見就難以避免。(22)Fry, Hannah, Hello World: Being Human in the Age of Algorithms, New York: W.W. Norton &Company, 2018, p.69.二是算法本身構(gòu)成一種歧視。因?yàn)樗惴ǚ诸愂腔跉v史數(shù)據(jù)進(jìn)行優(yōu)先化排序、關(guān)聯(lián)性選擇和過濾性排除的,以此來對特定人員貼上數(shù)字標(biāo)簽,將其劃入某一片區(qū)并與某一類概率性的群體關(guān)聯(lián)起來,但這種分類所依據(jù)的要素可能并沒有考慮到是否合法或者合乎道德,從而產(chǎn)生算法歧視。(23)Vries, K.D., “Identity, Profiling Algorithms and a World of Ambient Intelligence,” Ethics & Information Technology, Vol.12, No.1,2010.例如,一個(gè)評估再犯概率的算法可能會(huì)將種族或膚色作為再犯的評價(jià)指標(biāo),僅僅是因?yàn)橛?xùn)練樣本中有較大比例是有色人種,因此在統(tǒng)計(jì)學(xué)上種族和膚色具有顯著意義,但在司法決策時(shí)將種族作為保釋、假釋或者量刑的判斷依據(jù),顯然會(huì)招致諸多批評。(24)Jon Kleinberg, et al., “Human Decisions and Machine Predictions,” The Quarterly Journal of Economics, Vol.133, No.1,2018.三是編程人員在設(shè)計(jì)算法過程中植入自己的偏見,或者算法實(shí)際控制者可能在輸入數(shù)據(jù)時(shí)產(chǎn)生偏差或?qū)Σ煌蛩氐臋?quán)重分配不當(dāng),導(dǎo)致產(chǎn)生相應(yīng)的算法偏見或歧視。由于當(dāng)前在法律知識圖譜領(lǐng)域,機(jī)器學(xué)習(xí)主要還是采取監(jiān)督學(xué)習(xí)的方法,即人工標(biāo)記數(shù)據(jù)提供給機(jī)器,訓(xùn)練機(jī)器學(xué)習(xí),告訴機(jī)器這些標(biāo)簽數(shù)據(jù)的含義(25)葉衍艷:《法律知識圖譜的概念與建構(gòu)》,載華宇元典法律人工智能研究院編著:《讓法律人讀懂人工智能》,法律出版社,2019年,第27頁。,因而算法不可避免地融入程序編寫人員的價(jià)值偏好。

    (二)算法黑箱、商業(yè)保障與程序公開原則之間的齟齬

    “在人工智能系統(tǒng)輸入的數(shù)據(jù)和其輸出的結(jié)果之間,存在著人們無法洞悉的‘隱層’,這就是算法黑箱?!?26)徐鳳:《人工智能算法黑箱的法律規(guī)制——以智能投顧為例展開》,《東方法學(xué)》2019年第6期。算法黑箱與程序正義理論對司法決策的透明性要求明顯不符,導(dǎo)致人們可能無法理解人工智能機(jī)器是如何得出結(jié)果的,無法確定當(dāng)事人的論點(diǎn)是否得到公平考量,影響人們對刑事司法人工智能的認(rèn)同感。即便拋開公平性不談,算法決策程序缺乏透明度可能導(dǎo)致過度信任自動(dòng)化司法結(jié)論的可靠性和科學(xué)性,從而產(chǎn)生“自動(dòng)化偏見(Automation Bias)”,即人類具有一種認(rèn)知傾向,就是會(huì)過于相信電腦自動(dòng)作出的判斷,并且囫圇吞棗地全盤接受這些判斷。(27)Danielle Citron,“Fairness of Risk Scores in Criminal Sentencing,” 2016-07-13, http://www.forbes.com/sites/daniellecitron/2016/07/13/unfairness-of-risk-scores-in-criminal-sentencing/#6d8f934a4479, 訪問日期:2022-07-17。

    對于算法缺乏透明度的問題,可以歸納為主觀不愿和客觀不能公開兩種情形。主觀不愿公開算法決策程序主要是兩方面原因:一是設(shè)計(jì)算法的公司從維護(hù)自己商業(yè)秘密的權(quán)利角度出發(fā)竭力掩蓋其算法的內(nèi)部邏輯。(28)Rebecca Wexler, “Life, Liberty, and Trade Secrets: Intellectual Property in the Criminal Justice System,” STAN. L. REV. , Vol.70, No.5,2018.例如,在威斯康星州的 Loomis案中,法官將COMPAS犯罪風(fēng)險(xiǎn)評估工具的算法看作商業(yè)秘密,從保護(hù)知識產(chǎn)權(quán)的角度出發(fā)來豁免算法擁有者公開算法代碼和說明算法工作原理的義務(wù)。(29)State v. Loomis, 881 N.W.2d 749 (Wis. 2016).二是從國家安全的角度考慮,為保證司法機(jī)關(guān)在算法決策程序當(dāng)中的支配性地位,防止犯罪分子反向?qū)W習(xí)自動(dòng)化決策系統(tǒng),因而大多數(shù)刑事司法人工智能的算法是不對社會(huì)公開披露的。例如,在斯洛文尼亞,警方在所謂的“占領(lǐng)運(yùn)動(dòng)”期間創(chuàng)建了一個(gè)Twitter分析工具,用來追蹤“嫌疑人”并進(jìn)行情緒分析,而警方認(rèn)為該分析活動(dòng)屬于“偵查戰(zhàn)術(shù)和方法”,不允許公眾訪問。(30)Ale? Zavr?nik, “Algorithmic Justice: Algorithms and Big Data in Criminal Justice Settings,” European Journal of Criminology, Vol.18, No.5,2021.但這種“黑箱”效應(yīng)也在客觀上增加了司法決策不公的風(fēng)險(xiǎn),甚至加劇司法機(jī)關(guān)在算法上濫用權(quán)力的可能。而在我國,根據(jù)《中華人民共和國反不正當(dāng)競爭法》《中華人民共和國政府信息公開條例》等規(guī)定,算法也通常被認(rèn)為是受到法律保護(hù)的商業(yè)秘密或者國家秘密,因而刑事司法人工智能應(yīng)用的算法黑箱問題依舊沒有得到解決。(31)雷剛、喻少如:《算法正當(dāng)程序:算法決策程序?qū)φ?dāng)程序的沖擊與回應(yīng)》,《電子政務(wù)》2021年第12期。

    另一方面,從技術(shù)角度來看,即便法院將對所有人開放源代碼和算法公式作為使用犯罪風(fēng)險(xiǎn)評估工具的先決條件,但連軟件開放者或許都無法解釋某些算法決策是如何做出的。例如,人工神經(jīng)網(wǎng)絡(luò)(ANN)的機(jī)器學(xué)習(xí)算法通過一個(gè)復(fù)雜的分層結(jié)構(gòu)進(jìn)行學(xué)習(xí),其決策規(guī)則沒有經(jīng)過先驗(yàn)編程,通常對人類來說是無法理解的。(32)Liu, Han-Wei, Ching-Fu Lin & Yu-Jie Chen, “Beyond State v. Loomis: Artificial Intelligence, Government Algorithmization, and Accountability,” International Journal of Law and Information Technology, Vol.27, No.2,2019.相較于人工司法決策是根據(jù)法律、事實(shí)和經(jīng)驗(yàn)來進(jìn)行演繹推理,算法決策是依據(jù)大數(shù)據(jù)的相關(guān)性而非因果關(guān)系,因此無法提供理由說明。(33)張凌寒:《算法自動(dòng)化決策與行政正當(dāng)程序制度的沖突與調(diào)和》,《社會(huì)科學(xué)文摘》2021年第2期。隨著時(shí)間的推移,算法的機(jī)器學(xué)習(xí)難度將不斷提高,使得法院更難評估每個(gè)因素與機(jī)器結(jié)論的相關(guān)程度,這可能違反法律面前人人平等和程序公開原則。

    (三)算法壟斷、數(shù)據(jù)鴻溝與程序?qū)Φ仍瓌t之間的抵牾

    在自動(dòng)化司法中,算法和大數(shù)據(jù)都在司法機(jī)關(guān)的完全控制之下,而司法機(jī)關(guān)通過運(yùn)用刑事案件智能輔助系統(tǒng)來強(qiáng)化自身的數(shù)據(jù)獲取和數(shù)據(jù)分析能力,加之披露義務(wù)和信息溝通規(guī)則缺位,加劇了司法機(jī)關(guān)與辯方之間的信息不對等。具體而言,一是在數(shù)據(jù)信息資源分配上,控辯之間存在“數(shù)字鴻溝”,即一方是有能力收集、儲(chǔ)存、挖掘海量司法數(shù)據(jù)的政府機(jī)關(guān)和網(wǎng)絡(luò)信息從業(yè)者等,另一方則是被收集數(shù)據(jù)的對象,僅享有受到嚴(yán)格限制的數(shù)據(jù)訪問權(quán)利。(34)Mark. Andrejevic, “Big Data, Big Questions: The Big Data Divide,” International Journal of Communication, Vol.8, No.1,2014.緣于國家安全和個(gè)人信息保護(hù)的考量,立法將追訴犯罪活動(dòng)中的相關(guān)信息和數(shù)據(jù)列入國家秘密,導(dǎo)致辯方向有關(guān)部門申請獲取相關(guān)數(shù)據(jù)時(shí)遭遇數(shù)據(jù)準(zhǔn)入障礙。相反,偵控機(jī)關(guān)能夠通過政府部門共建的大數(shù)據(jù)綜合一體化平臺(tái)交換獲取海量司法數(shù)據(jù),也可以依法要求網(wǎng)絡(luò)信息業(yè)者等私人機(jī)構(gòu)協(xié)助執(zhí)法,大幅度提升信息獲取能力。(35)裴煒:《數(shù)字正當(dāng)程序——網(wǎng)絡(luò)時(shí)代的刑事訴訟》,中國法制出版社,2021年,第89頁。二是即便控辯雙方獲取到同樣的原始數(shù)據(jù),但在數(shù)據(jù)應(yīng)用方面雙方依舊存在“數(shù)據(jù)分析鴻溝”。即面對海量司法數(shù)據(jù),只有擁有相關(guān)基礎(chǔ)設(shè)施和大數(shù)據(jù)分析技能的控方,才能從數(shù)據(jù)碎片中獲取有價(jià)值的信息資源。(36)林曦、郭蘇建:《算法不正義與大數(shù)據(jù)倫理》,《社會(huì)科學(xué)》2020年第8期。在2009年的Skilling案中,美國聯(lián)邦法院認(rèn)為政府可以通過向辯方開放對原始數(shù)據(jù)庫的文件訪問權(quán)限來履行證據(jù)開示義務(wù)而無須考慮文件數(shù)量龐大,因?yàn)楸桓婺軌蛳裾粯铀阉魑募?。這種不考慮控辯雙方數(shù)據(jù)分析能力差異的“文件傾倒”(document dump)行為,進(jìn)一步加劇了控辯雙方的實(shí)質(zhì)不平等。(37)United States v. Skilling, 554 F.3d 529, 577 (5th Cir. 2009).

    (四)技術(shù)壁壘、決策缺位與程序參與原則之間的矛盾

    當(dāng)公共法院系統(tǒng)越來越依賴刑事司法人工智能應(yīng)用時(shí),實(shí)體法院似乎在不斷消亡中,未來實(shí)踐中可能難以看到控辯雙方在法庭上公開推進(jìn)辯論、發(fā)表量刑意見和論點(diǎn)的過程,也無法使得當(dāng)事人確信其所認(rèn)真發(fā)表的觀點(diǎn)得到法官充分的考量,則司法權(quán)威性和司法公信力也會(huì)相應(yīng)地減弱。(38)Adrian Zuckerman, “Artificial Intelligence - Implications for the Legal Profession, Adversarial Process and Rule of Law,” Law Quarterly Review,Vol.136, No.9,2020.對此,可以從兩方面來分析大數(shù)據(jù)算法可能惡化當(dāng)事人參與訴訟程序的問題。從被追訴人的角度來看,當(dāng)前的刑事案件智能輔助系統(tǒng)是由政府和私營網(wǎng)絡(luò)信息企業(yè)共同合作設(shè)計(jì)完成的,即算法權(quán)力是由政府部門所壟斷的,因而辯方無法了解人工智能應(yīng)用的底層代碼和算法邏輯,難以評價(jià)和質(zhì)疑算法的準(zhǔn)確性和偏差度,始終處于算法信息劣勢的境地。事實(shí)上,算法自動(dòng)化決策程序消解了訴訟程序中當(dāng)事人陳述和申辯的環(huán)節(jié),造成了程序參與原則的缺失。(39)張凌寒:《算法自動(dòng)化決策與行政正當(dāng)程序制度的沖突與調(diào)和》,《社會(huì)科學(xué)文摘》2021年第2期。而從司法機(jī)關(guān)的角度來看,犯罪預(yù)測工具、刑事案件智能輔助系統(tǒng)的引入和推廣將加劇偵查人員形成有罪推定的判斷,并且通過連鎖反應(yīng)傳遞到法官,使其形成未審先定的預(yù)斷和偏見,則當(dāng)事人通過參與訴訟來影響裁判的相關(guān)權(quán)利實(shí)質(zhì)上受到損害。(40)李訓(xùn)虎:《刑事司法人工智能的包容性規(guī)制》,《中國社會(huì)科學(xué)》2021年第2期。

    程序參與原則缺失的直接后果是導(dǎo)致司法裁判的可接受性明顯下降。司法領(lǐng)域中決定當(dāng)事人是否相信訴訟程序公正的因素主要有四項(xiàng):一是審判人員在與當(dāng)事人進(jìn)行互動(dòng)時(shí)是否尊重個(gè)人尊嚴(yán),二是審判人員是否中立,三是審判人員是否值得信賴,四是當(dāng)事人是否有機(jī)會(huì)參與訴訟程序。(41)Tom R. Tyler & Hulda Thorisdottir, “A Psychological Perspective on Compensation for Harm: Examining the September 11th Victim Compensation Fund,” DEPAUL L. REV. , Vol.53, No.2, 2003.但在人工智能司法當(dāng)中,首先,理想狀態(tài)下當(dāng)事人可能并不是直接與司法機(jī)關(guān)人員進(jìn)行交互,而是由計(jì)算機(jī)程序來確定量刑方案,導(dǎo)致當(dāng)事人作為人的尊嚴(yán)價(jià)值事實(shí)上被消解了。其次,對大數(shù)據(jù)算法的主要批評之一是其可能強(qiáng)化司法系統(tǒng)中已經(jīng)存在的偏見和歧視,并且算法的不透明和復(fù)雜性也導(dǎo)致當(dāng)事人對計(jì)算機(jī)程序難以產(chǎn)生信任和認(rèn)同。最后,如果當(dāng)事人能夠參與到訴訟過程中,并向裁判者表達(dá)自己的觀點(diǎn),那么其更有可能相信程序是合法、合理的,尤其是能夠直接向法官講述自己版本的故事,就更有可能認(rèn)為訴訟程序是公平的,這通常被稱為“過程控制”。在刑事司法系統(tǒng)中,由于被告人往往是由律師代理,很少在庭審程序中與審判人員進(jìn)行直接交談,因而在過程控制上本來表現(xiàn)不佳,而大數(shù)據(jù)算法進(jìn)一步惡化了該問題。即在傳統(tǒng)司法模式中,被告人在量刑時(shí)可以向法官做最后陳述,請求法官從輕判決,但在自動(dòng)化司法中,被告人已經(jīng)知道最終量刑判決實(shí)際上在庭審前已由計(jì)算機(jī)程序預(yù)測作出,其最后陳述并不是與真正的審判人員進(jìn)行對話。(42)Alexandra Natapoff, “Speechless: The Silencing of Criminal Defendants,” N.Y.U.L. REV., Vol.80, No.5, 2005.人工智能司法決策可能導(dǎo)致機(jī)器法律與人類的正義觀之間的鴻溝不斷擴(kuò)大,甚至司法機(jī)關(guān)也會(huì)開始失去公眾的認(rèn)同和支持。

    三、技術(shù)反思:弱人工智能時(shí)代正當(dāng)程序規(guī)制原理

    在刑事司法中,人工智能、大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)通過技術(shù)賦能有效提升司法機(jī)關(guān)的辦案效率,但同時(shí)人工智能司法的迅速發(fā)展也引發(fā)關(guān)于技術(shù)與法治的激烈討論,即現(xiàn)行的程序正義理論是否能夠適應(yīng)人工智能刑事司法。通過深入分析刑事司法人工智能應(yīng)用實(shí)踐和現(xiàn)實(shí)技術(shù)發(fā)展水平,可以發(fā)現(xiàn)人工智能對法律行業(yè)的影響才剛剛嶄露頭角,應(yīng)當(dāng)以弱人工智能為現(xiàn)實(shí)語境來探討數(shù)字時(shí)代正當(dāng)程序規(guī)制原理,才符合數(shù)字化刑事訴訟程序發(fā)展方向。

    (一)技術(shù)局限:對刑事司法人工智能應(yīng)用情況的反思

    1956年,在美國達(dá)特茅斯會(huì)議首次提出人工智能的概念后,超強(qiáng)運(yùn)算能力、大數(shù)據(jù)的出現(xiàn)和發(fā)展以及算法的持續(xù)改進(jìn),使得學(xué)術(shù)界在討論人工智能司法時(shí)思維發(fā)散,以至于把合理的想象和預(yù)期變成當(dāng)下的真實(shí)。(43)李則立:《人工智能全面進(jìn)軍法律界?先做好這三件事!》,載華宇元典法律人工智能研究院編著:《讓法律人讀懂人工智能》,法律出版社,2019年,第344頁。

    1.兩種模式:強(qiáng)人工智能司法 VS 弱人工智能司法

    根據(jù)人工智能所呈現(xiàn)的自主意識和能力的不同,可以將人工智能的發(fā)展階段分為弱人工智能和強(qiáng)人工智能,即“機(jī)器能夠智能地行動(dòng)(其行動(dòng)看起來如同它們是有智能的)”被稱為弱人工智能假設(shè),而“能夠如此行事的機(jī)器確實(shí)是在思考(不只是模擬思考)”則被稱為強(qiáng)人工智能假設(shè)。(44)羅素、諾維格:《人工智能——一種現(xiàn)代的方法》,殷建平、祝恩、劉越等譯,清華大學(xué)出版社,2013年,第851頁。強(qiáng)人工智能相比于前一階段,能夠通過程序算法獲得自主意識,獨(dú)立思考問題并制定解決問題的最優(yōu)方案,也被稱為人類級別的人工智能。(45)蔣佳妮、堵文瑜:《促進(jìn)人工智能發(fā)展的法律與倫理規(guī)范》,科學(xué)技術(shù)文獻(xiàn)出版社,2020年,第6頁。事實(shí)上,令社會(huì)廣泛擔(dān)憂的機(jī)器人和人工智能屬于強(qiáng)人工智能,但到目前為止人工智能技術(shù)尚未出現(xiàn)“奇點(diǎn)” (Singularity)突破和爆發(fā),因而人工智能的語義理解能力和識別人類情感能力尚落后于人類。(46)王瑩:《人工智能法律基礎(chǔ)》,西安交通大學(xué)出版社,2021年,第24頁。

    在此前提下,判斷刑事司法人工智能應(yīng)用實(shí)踐情況究竟是強(qiáng)人工智能司法還是弱人工智能司法,其核心依據(jù)是“法官是否已經(jīng)能被人工智能所取代”。對于人工智能司法應(yīng)用的定位,學(xué)界主要存在“智能替代說”和“有限智能說”兩種觀點(diǎn)。前者認(rèn)為人工智能的本質(zhì)是對人的意識與思維的信息過程的模擬,隨著技術(shù)的發(fā)展,人工智能會(huì)實(shí)現(xiàn)“替代法官實(shí)現(xiàn)非規(guī)范判斷”直至最終“代替法官直接作出裁判”。(47)黃京平:《刑事司法人工智能的負(fù)面清單》,《探索與爭鳴》2017年第10期。而后者認(rèn)為在人工智能適用于司法的過程中,容易出現(xiàn)海量數(shù)據(jù)的殘缺性悖論;同時(shí),算法的“程序剛性”和“不透明性”與司法實(shí)踐的“復(fù)雜性”和審判程序的“公開性”相沖突。以毫無節(jié)制的“人工智能+”方式改造審判空間后,法官定位勢必發(fā)生極大的動(dòng)搖,甚至造成審判系統(tǒng)乃至司法權(quán)的全面解構(gòu),(48)季衛(wèi)東:《人工智能時(shí)代的司法權(quán)之變》,《東方法學(xué)》2018年第1期。因此人工智能目前被定位為“法官辦案輔助工具”(49)潘庸魯:《人工智能介入司法領(lǐng)域的價(jià)值與定位》,《探索與爭鳴》2017年第10期。。而從司法實(shí)踐情況來看,目前廣泛應(yīng)用的人工智能司法產(chǎn)品大多是將通用化的技術(shù)移植到部分司法活動(dòng)中,但對于疑難案件的事實(shí)認(rèn)定、證據(jù)的證明力評價(jià)和法律解釋等司法問題依舊難以通過人工智能來解決,還需要將法律知識、經(jīng)驗(yàn)邏輯、裁量理性等非形式因素與人工智能進(jìn)行深度融合。

    2.實(shí)踐分析:以人為本的刑事司法人工智能應(yīng)用場景

    認(rèn)知科學(xué)家瑪格麗特·博登(Margaret Boden)區(qū)分了三種不同類型的創(chuàng)造力:一是基本創(chuàng)造力,主要處于探索可能性的邊緣,其占創(chuàng)造力的97%且適合用于日常計(jì)算;二是混合不同概念構(gòu)造而組成的創(chuàng)造力(如曲線美的建筑),可能由人工智能來執(zhí)行;三是變革性創(chuàng)造力,包括自行改變游戲規(guī)則,比如畢加索的立體主義畫作。(50)Margaret A. Boden, AI: Its Nature and Future , Oxford: Oxford University Press, 2016, pp.68-72.在強(qiáng)人工智能時(shí)代,智能體系是由感知、記憶、決定和行動(dòng)等子系統(tǒng)構(gòu)建而成的,而且可以自主開發(fā)概念和獲得技能,與人類最初的數(shù)據(jù)輸入和算法設(shè)計(jì)只存在微弱的關(guān)聯(lián)。此時(shí)以人類思維為基礎(chǔ)的程序正義理論對于強(qiáng)人工智能司法而言將毫無參考意義,因?yàn)槿斯ぶ悄芫哂腥祟愲y以企及的信息收集、分析和判斷能力,而人類的認(rèn)知能力難以揭示、解釋機(jī)器學(xué)習(xí)和算法決策的內(nèi)部邏輯。那么,法律訴訟的參與者將被視為糾紛根源,AI技術(shù)則被視為超越人類的問題解決方案。這種基于人工智能的超人類主義可以將所有的現(xiàn)實(shí)都簡化為數(shù)據(jù),得出“人類不過是信息處理對象”的結(jié)論。(51)Sarah Spiekermann, Peter Hampson, Charles Ess, et al., “The Ghost of Transhumanism & the Sentience of Existence,” 2017-07-19, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3617635, 訪問日期:2022-11-09。

    但在弱人工智能時(shí)代,大數(shù)據(jù)和算法技術(shù)應(yīng)用于刑事司法當(dāng)中并沒有降低人的主體性地位。具體表現(xiàn)為以下四個(gè)方面:一是在編程目標(biāo)上,當(dāng)下的自動(dòng)化司法決策的算法設(shè)計(jì)和編程都是為了追求特定的任務(wù),不具有一般人類智能水平。換而言之,人工智能仍然以任務(wù)為導(dǎo)向,它作為技術(shù)工具,是為人類設(shè)定的特定目標(biāo)和具體的對象而設(shè)計(jì)的,而不是正常地思考、判斷和行動(dòng)。(52)Turner, Jacob , Robot Rules: Regulating Artificial Intelligence, London: Palgrave Macmillan, 2019, pp.6-7.二是在算法邏輯方面,采用深度學(xué)習(xí)的人工智能是通過提取海量數(shù)據(jù)中的特征點(diǎn)來形成預(yù)測函數(shù)模型,并且隨著數(shù)據(jù)量的增大不斷試錯(cuò)來調(diào)整模型參數(shù)。(53)劉東亮:《技術(shù)性正當(dāng)程序:人工智能時(shí)代程序法和算法的雙重變奏》,《比較法研究》2020年第5期。但在司法實(shí)踐中,即使有極其微小概率的司法錯(cuò)誤也會(huì)造成社會(huì)秩序混亂,所以需要由人類對自動(dòng)化司法全過程進(jìn)行持續(xù)監(jiān)督和檢查。三是在訓(xùn)練策略上,刑事司法人工智能應(yīng)用是以監(jiān)督學(xué)習(xí)為主,即人工標(biāo)記訓(xùn)練數(shù)據(jù)提供給機(jī)器,機(jī)器再根據(jù)人工標(biāo)簽數(shù)據(jù)進(jìn)行學(xué)習(xí)和預(yù)測。編譯數(shù)據(jù)庫和創(chuàng)建用于預(yù)測的算法都需要由人類做出判斷,涉及開發(fā)人員和管理人員的決策行為,因而可能出現(xiàn)輸入數(shù)據(jù)時(shí)存在偏差或者編譯代碼時(shí)植入偏見的錯(cuò)誤。四是在自然語言處理上,從原則上講,機(jī)器可以執(zhí)行自然語言處理,但其目前尚未完全理解和掌握自然語言。語言按照復(fù)雜性可以分為語法、語義和語用三個(gè)組成部分,其中語法決定語句的結(jié)構(gòu),語義關(guān)注語句的意義、詞語之間的關(guān)系以及所代表的含義,而語用學(xué)關(guān)注上下文之間的關(guān)系和意義。目前計(jì)算機(jī)科學(xué)已經(jīng)整理了語法,在語義學(xué)方面也取得了長足的進(jìn)步,但要完全掌握語用學(xué)還需要較長時(shí)間。(54)Brian Sheppard, “Incomplete Innovation and the Premature Disruption of Legal Services,” Mich. St. L. Rev., Vol.2015, No.5,2016.尤其是現(xiàn)有法律語言存在模糊性,不同學(xué)者對法律概念的內(nèi)涵和外延認(rèn)知有差別,對某一法律問題的理解可能在法律職業(yè)共同體內(nèi)部有多種解釋。法律術(shù)語和法律解釋的標(biāo)準(zhǔn)化難題無疑使得司法領(lǐng)域中大部分難題仍然需要由人類來處理。

    (二)規(guī)制原理:弱人工智能時(shí)代程序正義的理論根基

    結(jié)合人工智能司法應(yīng)用實(shí)踐情況,為構(gòu)建專門針對刑事司法人工智能的規(guī)制機(jī)制,需要注意以下三點(diǎn):一是規(guī)制對象主要是國家專門機(jī)關(guān)與被追訴人之間的權(quán)力(利)義務(wù)關(guān)系,大數(shù)據(jù)和算法只是國家機(jī)關(guān)延伸其能力的一種工具,而刑事司法中公民所享有的不受國家專門機(jī)關(guān)任意侵犯的消極權(quán)利和獲得司法機(jī)關(guān)司法救濟(jì)的訴訟權(quán)利都應(yīng)當(dāng)?shù)玫奖U?;二是?guī)制依據(jù)依舊是程序正義理論當(dāng)中關(guān)于中立性、公開性、對等性和參與性的法治原理,但需要考慮大數(shù)據(jù)和算法的使用不僅僅是提高國家機(jī)關(guān)的司法效率,還需要獲得公民對于訴訟程序的認(rèn)同;三是規(guī)制重點(diǎn)并非大數(shù)據(jù)和算法技術(shù)本身,而是背后人的意志及其行為。正如杰克·巴爾金所言,“在算法社會(huì),規(guī)制的核心問題不是算法,而是使用算法的人及允許自己被算法支配的人。算法治理是由人使用特定的分析和決策技術(shù)對人進(jìn)行治理。”(55)杰克·巴爾金:《算法社會(huì)中的三大法則》,劉穎、陳瑤瑤譯,《法治現(xiàn)代化研究》2021年第2期。

    那么,為什么要在刑事司法人工智能應(yīng)用中堅(jiān)持程序正義理論?在數(shù)字化時(shí)代刑事訴訟中,實(shí)現(xiàn)程序正義的基本要求,究竟可以產(chǎn)生哪些積極效果?從政策角度來看,黨的十八大以來,習(xí)近平總書記多次強(qiáng)調(diào)要推動(dòng)大數(shù)據(jù)、人工智能等科技創(chuàng)新成果同司法工作深度融合,同時(shí)也要求讓人民群眾在每一個(gè)司法案件中感受到公平正義。在人工智能司法中貫徹程序正義是改革方向。而從理論角度來看,可以從尊嚴(yán)理論、司法公信力理論以及分布式道德責(zé)任理論的角度做出解釋。

    1.尊嚴(yán)理論

    在現(xiàn)代社會(huì),我們每個(gè)人的個(gè)性和特征受到尊重,這一點(diǎn)與《中華人民共和國憲法》中被定位為“基本原則”的尊重和保障人權(quán)原則相符合。但在人工智能刑事司法當(dāng)中,過度關(guān)注技術(shù)賦能、大數(shù)據(jù)算法黑箱和算法歧視以及嚴(yán)格司法的特點(diǎn)都可能會(huì)侵蝕這一原則。

    第一,立法者、執(zhí)法者和利益集團(tuán)推動(dòng)人工智能刑事司法的動(dòng)機(jī)往往是對司法效率和司法精確性的追求,但狹隘地為了偵查犯罪、判定有罪和懲罰罪犯而追求智能司法可能威脅到尊嚴(yán)價(jià)值。(56)安德烈亞·羅思:《論機(jī)器在刑事審判中的應(yīng)用》,載趙萬一、侯東德主編:《AI法律的人工智能時(shí)代》,法律出版社,2020年,第204-205頁。正如前述內(nèi)容,執(zhí)法部門已經(jīng)開始運(yùn)用預(yù)測性警務(wù)工具來破除立案程序的限制,并監(jiān)督和約束不確定群體和個(gè)人,具有侵犯隱私和損害人的主體性的特殊風(fēng)險(xiǎn)。比如,“9·11”事件后德國立法機(jī)關(guān)根據(jù)已知恐怖分子的個(gè)人心理狀態(tài)等相關(guān)信息,創(chuàng)造出“恐怖分子潛伏者”的概念。這種國家大范圍監(jiān)控的預(yù)測性算法根據(jù)與犯罪關(guān)聯(lián)并不緊密的精神狀態(tài)等因素,對信仰伊斯蘭教的人員進(jìn)行提前篩選,并將未被公開的穆斯林原教旨主義人員定位為“恐怖分子潛伏者”,推斷出其未來可能發(fā)生的犯罪行為。(57)Ale? Zavr?nik, “Algorithmic Justice: Algorithms and Big Data in Criminal Justice Settings,” European Journal of Criminology, Vol.18, No.5, 2019.這種拉網(wǎng)式調(diào)查的預(yù)防性篩查行為事關(guān)公民的隱私和尊嚴(yán),若只是從經(jīng)濟(jì)合理性和效率性出發(fā)考慮,則會(huì)導(dǎo)致在實(shí)踐中脫離刑事訴訟程序的嚴(yán)格規(guī)制,使得偵查機(jī)關(guān)實(shí)際上處于一種恣意濫權(quán)的狀態(tài)。對此,需要通過貫徹程序正義理論來重新考慮數(shù)據(jù)和算法資源的分配正義問題,通過抑制公權(quán)力機(jī)關(guān)的恣意行為,加強(qiáng)訴訟中的人權(quán)保障,來為刑事司法中的個(gè)體提供平等參與訴訟的機(jī)會(huì)。

    第二,人工智能司法中的算法偏見、算法黑箱等問題加劇侵蝕個(gè)人的尊嚴(yán)自主空間。具體而言,犯罪風(fēng)險(xiǎn)評估工具可能列入虛假相關(guān)性作為犯罪風(fēng)險(xiǎn)預(yù)測評估的基礎(chǔ),并且將現(xiàn)實(shí)中已經(jīng)存在的偏見和錯(cuò)誤認(rèn)識混入算法,導(dǎo)致預(yù)測的準(zhǔn)確度下降,得出對被告人不利的風(fēng)險(xiǎn)評估結(jié)果。如果社會(huì)中的某些群體更有可能因?yàn)榉N族或居住的社區(qū)而被定罪,那么將前科或家庭住址作為決定刑期長短的關(guān)鍵因素的量刑算法將加劇現(xiàn)有的不平等。(58)Ric Simmons, “Big Data and Procedural Justice: Legitimizing Algorithms in the Criminal Justice System,” Ohio State Journal of Criminal Law, Vol.15, No.2, 2018.此外,算法黑箱會(huì)導(dǎo)致被評價(jià)對象無法預(yù)測對自己的評價(jià)結(jié)果,無法有意識地自主選擇和改變自身的不當(dāng)行為,這相當(dāng)于變相地剝奪被告人的自我改造機(jī)會(huì)。以Loomis案為例,被告主張做出再犯風(fēng)險(xiǎn)評估的智能系統(tǒng)無法保證準(zhǔn)確性也不具備驗(yàn)證可能性,侵害了其受憲法保障的正當(dāng)法律程序權(quán)利。由此也會(huì)產(chǎn)生諸多問題,比如算法黑箱導(dǎo)致無法說明做出此種預(yù)測結(jié)果的理由;相關(guān)評價(jià)只是預(yù)測具有類似屬性人員實(shí)施再犯的一般可能性,而非預(yù)測被告人實(shí)施再犯的具體可能性;該系統(tǒng)還存在著種族歧視傾向,即將黑人再犯的風(fēng)險(xiǎn)可能性估算為白人的兩倍。(59)State v. Loomis, 881 N.W.2d 749 (Wis. 2016).對此,在人工智能司法中貫徹程序正義理論,要求法官不能將犯罪風(fēng)險(xiǎn)評估結(jié)果作為最終評價(jià)結(jié)論,而需要在程序上批評性地斟酌AI所做的預(yù)測評價(jià),秉持客觀態(tài)度、冷靜地側(cè)耳傾聽被告人自身所言的故事,對被告人說明裁判的理由,以及賦予當(dāng)事人對相關(guān)預(yù)測評估提出異議的權(quán)利,如此才能防止系統(tǒng)對個(gè)人做出概括性評價(jià)所導(dǎo)致的算法不公。

    第三,即便能夠排除算法偏見和算法黑箱,追求內(nèi)部一致性和預(yù)測有效性的自動(dòng)化司法也可能侵犯人的尊嚴(yán)和主體性。一方面,刑事司法中法律文本并不能完全體現(xiàn)正義,需要一定程度的自由裁量權(quán)作為法律體系的必要補(bǔ)充部分,尤其是法官在緩和刑事處罰和個(gè)別化處遇方面能夠發(fā)揮重要作用。

    但自動(dòng)化司法是較為固定地應(yīng)用法律規(guī)則,因?yàn)檐浖A(yù)先確定了一組事實(shí)對應(yīng)的法律后果。(60)James Grimmelmann, “Note, Regulation by Softiware,” The Yale Law Journal, Vol.114, No.7,2005.而隨著時(shí)間的推移,為克服裁判的不確定性,法官越發(fā)依賴通過咨詢?nèi)斯ぶ悄軄韼椭麄冏龀鰶Q策,則算法將可能成為法律,甚至有效地取代法官。(61)⑥⑧Adrian Zuckerman, “Artificial Intelligence-Implications for the Legal Profession, Adversarial Process and Rule of Law,” Law Quarterly Review, Vol.136, No.9,2020.這將削弱法官的自主性和尊嚴(yán),使得法官淪為真正意義上的“橡皮圖章”和“自動(dòng)售貨機(jī)”。另一方面,對于被告人而言,過度自動(dòng)化的司法模式對于司法自由裁量權(quán)的限制可能導(dǎo)致其在庭審之前就已經(jīng)被判處刑罰。被告人所提出的證據(jù)、事實(shí)和主張無法在法庭上由法官進(jìn)行慎重地分析、考量和論證,也對裁判結(jié)果無法產(chǎn)生有效的影響力。被告人最終淪為人工智能任意擺弄和處置的訴訟客體,而非獨(dú)立的權(quán)利主體。畢竟法官不是“黑箱”,他必須在公開法庭上將事實(shí)調(diào)查結(jié)果記錄在案和聽取控辯雙方意見,并受上訴法院審查。

    當(dāng)然,也有反對意見認(rèn)為,若是能夠盡可能詳盡輸入關(guān)于被追訴人的相關(guān)數(shù)據(jù),則特征點(diǎn)就會(huì)相當(dāng)細(xì)微,所得出的預(yù)測結(jié)果更加接近于被追訴人的現(xiàn)實(shí)狀態(tài),也更加準(zhǔn)確和公正,這似乎是將被追訴人作為個(gè)人來尊重。(62)山本龍彥:《機(jī)器人、AI剝奪了人的尊嚴(yán)嗎?》,彌永真生、宍戶常壽主編:《人工智能與法律的對話3》,郭美蓉、李鮮花、鄭超等譯,上海人民出版社,2021年,第78頁。但以提高預(yù)測精度為目的來增加輸入數(shù)據(jù),則可能與隱私權(quán)保護(hù)之間產(chǎn)生緊張關(guān)系,甚至過于精細(xì)的AI人物側(cè)寫會(huì)追溯和記憶關(guān)于被告人犯罪前科的相關(guān)信息,陷入“數(shù)字污名”困境,與尊重個(gè)人原則相互沖突,危害其重新獲得的社會(huì)生活的平穩(wěn)性。(63)山本龍彥:《AI與“尊重個(gè)人”》,福田雅樹、林秀彌、成原慧主編:《AI聯(lián)結(jié)的社會(huì)——人工智能網(wǎng)絡(luò)化時(shí)代的倫理與法律》,宋愛譯,社會(huì)科學(xué)文獻(xiàn)出版社,2020年,第320-321頁。因此,程序正義理論要求合理限制AI獲取數(shù)據(jù)的整全性,將其從特權(quán)地位驅(qū)趕下來,由中立的裁判者通過綜合考量和自由裁量來最終量刑,以確保人們獲得主體性。

    2.司法公信力理論

    程序正義理論可以通過兩種方式建構(gòu)司法公信力:一是參與者感覺到與決策者有個(gè)人聯(lián)系,比如參與者與決策者來自于同一群體;二是決策者詳細(xì)解釋了其做出的決定。(64)Tom R. Tyler & E. Allan Lind, “A Relational Model of Authority in Groups,” Advances in Experimental Social Psychology, Vol.25, No.1, 1992.在第一種情況下,之所以人們相信法院裁判的道德權(quán)威,是因?yàn)榉ü俸彤?dāng)事人都共同分享著一般理性和常識推理,當(dāng)事人也熟悉行使司法自由裁量權(quán)的法官主觀上的信仰、感情、抱負(fù)、忠誠、社會(huì)觀等道德觀念。⑥但就人工智能司法決策而言,其可能很好地反映了法律的邏輯推理,但目前為止無法理解和執(zhí)行任何道德判斷,所作出的判決不一定能反映當(dāng)事人的期望,難以促使公民對司法裁判形成制度上的信任。正如威爾莫特·史密斯所言,人們關(guān)心的不是法律的權(quán)威,而是法律機(jī)構(gòu)的權(quán)威。(65)F. Wilmot-Smith, Equal Justice, Cambridge, Massachusetts: Harvard University Press, 2019, p.1.在第二種情形中,在法庭上對相關(guān)利害問題進(jìn)行辯論時(shí),律師不僅僅發(fā)表抽象的專業(yè)意見和提供獨(dú)立代理,也會(huì)傾聽當(dāng)事人的意見和理解其主觀感受、情緒反應(yīng),因而能夠提供相應(yīng)的情感支持,最關(guān)鍵是能向法官傳達(dá)當(dāng)事人復(fù)雜的主觀立場。而法官也能夠與訴訟當(dāng)事人進(jìn)行溝通,在作出判決時(shí)說明理由,從而鞏固法庭的合法性以及裁判的公信力。但是人工智能缺乏第一人稱的主觀視角,其算法不透明和難以理解,無法形成由正義司法官、公開的法律程序所構(gòu)成的庭審權(quán)威圖景。⑧因此,根據(jù)自然公正(Natural Justice)的核心原則,任何一個(gè)案件都需要用充分的理由解答其決策邏輯。相應(yīng)地,通過確保自動(dòng)化司法決策具有一定的透明度,或者由特定領(lǐng)域的專家來解釋數(shù)據(jù)的輸入和輸出,能夠使得所有訴訟參與者充分了解算法決策的前因后果,消除算法黑箱下隱藏的程序不正義,提升最終量刑裁判的司法公信力。

    3.分布式道德責(zé)任理論

    正如??滤?,現(xiàn)代社會(huì)的秩序主要不是由國王或國家權(quán)力維持的,而是由遍布社會(huì)的類似毛細(xì)血管的權(quán)力維持的,其權(quán)力結(jié)構(gòu)并非中心式的集權(quán)統(tǒng)治,而是由分布在社會(huì)基層人際關(guān)系中的各種微觀權(quán)力組成。(66)米歇爾·??拢骸兑?guī)訓(xùn)與懲罰(修訂譯本)》,劉北成、楊遠(yuǎn)嬰譯,生活·讀書·新知三聯(lián)書店,2019年,第230-231頁。同理,在數(shù)字化時(shí)代下,在一個(gè)代理系統(tǒng)中,道德行動(dòng)是由道德中立或者至少道德上可以忽略的人、機(jī)器或者雜合體等多個(gè)代理間的交互行為產(chǎn)生的。比如數(shù)據(jù)畫像是數(shù)據(jù)生成者、數(shù)據(jù)采集者、數(shù)據(jù)分析者、數(shù)據(jù)使用者、數(shù)據(jù)擁有者以及數(shù)據(jù)平臺(tái)等多個(gè)主體的交互行動(dòng)聚合而成,才能對單獨(dú)個(gè)體的行動(dòng)軌跡、行為模式、偏好等進(jìn)行數(shù)據(jù)畫像。此時(shí)出現(xiàn)錯(cuò)誤或不法時(shí),需要對分布式行動(dòng)的道德責(zé)任進(jìn)行厘清。(67)閆宏秀:《數(shù)據(jù)時(shí)代的道德責(zé)任解析:從信任到結(jié)構(gòu)》,《探索與爭鳴》2022年第4期。而在數(shù)字技術(shù)嵌入刑事司法活動(dòng)后,由人類和機(jī)器混合做出司法決策將成為司法常態(tài)。當(dāng)發(fā)生錯(cuò)誤決策時(shí),則涉及司法機(jī)關(guān)、數(shù)據(jù)提供人員、開發(fā)設(shè)計(jì)人員、系統(tǒng)維護(hù)人員、系統(tǒng)部署者以及軟件使用者等多個(gè)主體的責(zé)任鏈條分配問題。(68)張凌寒:《智慧司法中技術(shù)依賴的隱憂及應(yīng)對》,《法制與社會(huì)發(fā)展》2022年第4期。此外,由于自動(dòng)化司法決策系統(tǒng)的隨機(jī)性以及算法運(yùn)行過程的復(fù)雜性和不透明,司法人員無法有效審核評估大數(shù)據(jù)算法的合理性,但又受制于司法追責(zé)壓力,則可能在越發(fā)借助和依賴人工智能司法決策的同時(shí),將錯(cuò)案責(zé)任推卸給機(jī)器。(69)高童非:《數(shù)字時(shí)代司法責(zé)任倫理之守正》,《法制與社會(huì)發(fā)展》2022年第1期。對此,為避免產(chǎn)生阻礙技術(shù)發(fā)展的數(shù)字化道德責(zé)任分配困境,在技術(shù)上需要實(shí)現(xiàn)決策程序全過程留痕,同時(shí)有必要依據(jù)程序正義理論來為決策錯(cuò)誤追責(zé)設(shè)定一個(gè)合理的閾值,在必要時(shí)才能將刑事司法人工智能應(yīng)用系統(tǒng)的研發(fā)者、設(shè)計(jì)者、維護(hù)者和部署者納入追責(zé)體系當(dāng)中,避免將人類自身的決策錯(cuò)誤推卸到智能技術(shù)身上。

    四、規(guī)制路徑:數(shù)字化時(shí)代技術(shù)性正當(dāng)程序的興起

    傳統(tǒng)程序正義理論在提出時(shí)并未考慮到人工智能技術(shù)在司法領(lǐng)域當(dāng)中的廣泛運(yùn)用,因而針對算法歧視、算法黑箱、數(shù)據(jù)偏差等自動(dòng)化司法決策程序出現(xiàn)的問題往往無能為力,導(dǎo)致程序正義理論中強(qiáng)調(diào)的中立、公開、對等、參與等核心要素都受到一定程度的侵蝕。但值得慶幸的是,弱人工智能時(shí)代的智能司法的價(jià)值選擇是在堅(jiān)持以人為本的基礎(chǔ)上盡可能發(fā)揮人工智能的功能,因而程序正義理論依舊是規(guī)制刑事司法中大數(shù)據(jù)和算法技術(shù)的核心理念。“人工智能法律規(guī)則應(yīng)堅(jiān)持以人為本,發(fā)揮技術(shù)的正價(jià)值,規(guī)避技術(shù)的負(fù)價(jià)值,秉持人工智能局部替代人類、整體增強(qiáng)人類的價(jià)值理念?!?70)于海防:《人工智能法律規(guī)制的價(jià)值取向與邏輯前提——在替代人類與增強(qiáng)人類之間》,《法學(xué)》2019年第6期。

    對此,2007年,希特倫教授提出了“技術(shù)性正當(dāng)程序”(Technological Due Process)的概念,在堅(jiān)守正當(dāng)程序關(guān)于中立性、公開性、對等性和參與性的司法理念的同時(shí),也要求兼容發(fā)展技術(shù)理性以助力技術(shù)創(chuàng)新,因而強(qiáng)調(diào)通過優(yōu)化設(shè)計(jì)提高自動(dòng)化決策程序的公平、透明和可問責(zé)性。(71)Danielle Keats CitronI, “Technological Due Process,” Washington University Law Review, Vol.85, No.6,2008.盡管“技術(shù)性正當(dāng)程序”一詞往往適用于自動(dòng)化行政程序當(dāng)中,但其在刑事訴訟當(dāng)中也具有一定的適配性,因?yàn)閮烧邔?shí)際上都是借助于對個(gè)人權(quán)利的嚴(yán)格保護(hù)來實(shí)現(xiàn)程序正義。而下文將進(jìn)一步圍繞“技法兼容”的思路來探討刑事司法中技術(shù)性正當(dāng)程序的基本內(nèi)涵。

    (一)裁判中立和程序公開:排除算法偏見和算法透明原則

    算法黑箱和算法偏見是威脅裁判中立原則和程序公開原則的兩大風(fēng)險(xiǎn)要素,其中算法黑箱有可能導(dǎo)致算法偏見,但算法偏見也可能來自算法開發(fā)者及其開發(fā)過程。整體而言,算法黑箱與算法偏見都是刑事司法人工智能應(yīng)用中需要認(rèn)真對待的重要風(fēng)險(xiǎn)。2019年6月,我國新一代人工智能治理專業(yè)委員會(huì)發(fā)布《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》,強(qiáng)調(diào)了和諧友好、公平公正、包容共享、尊重隱私、安全可控、共擔(dān)責(zé)任、開放協(xié)作、敏捷治理八條原則。其中,第二項(xiàng)“公平公正”原則要求在數(shù)據(jù)獲取、算法設(shè)計(jì)、技術(shù)開發(fā)、產(chǎn)品研發(fā)和應(yīng)用過程中消除偏見和歧視,第五項(xiàng)“安全可控”原則要求人工智能系統(tǒng)應(yīng)不斷提升透明性、可解釋性、可靠性、可控性。對此,排除算法偏見和確立算法透明原則是技術(shù)性正當(dāng)程序的應(yīng)有之義。

    1.排除算法偏見

    算法偏見的具體成因包括數(shù)據(jù)中預(yù)先就存有偏見、算法本身構(gòu)成一種歧視、數(shù)據(jù)抽樣偏差及其權(quán)重設(shè)置差異等,導(dǎo)致的直接后果是平等權(quán)保護(hù)危機(jī)。對此,依據(jù)算法偏見形成的不同階段,在數(shù)據(jù)收集、算法設(shè)計(jì)以及應(yīng)用階段應(yīng)當(dāng)采取不同的規(guī)制措施來抑制算法偏見問題。一是在數(shù)據(jù)收集階段,機(jī)器學(xué)習(xí)算法是根據(jù)其訓(xùn)練中使用的歷史數(shù)據(jù)進(jìn)行預(yù)測操作的,可能由于司法數(shù)據(jù)的體量和質(zhì)量缺陷,影響人工智能司法應(yīng)用的精準(zhǔn)性與普適性。對此,需要司法機(jī)關(guān)打破內(nèi)部信息壁壘,實(shí)現(xiàn)司法數(shù)據(jù)共享,由適合對各司法機(jī)關(guān)進(jìn)行統(tǒng)籌引導(dǎo)的部門牽頭完善跨區(qū)域、跨部門的統(tǒng)一司法數(shù)據(jù)庫建設(shè)。(72)程凡卿:《我國司法人工智能建設(shè)的問題與應(yīng)對》,《東方法學(xué)》2018年第3期。二是在算法設(shè)計(jì)階段,實(shí)踐中人工智能司法應(yīng)用是由司法機(jī)關(guān)聯(lián)合技術(shù)公司共同研發(fā)的。為防止在算法編碼過程中植入設(shè)計(jì)者的偏見或者轉(zhuǎn)化既存的社會(huì)偏見,司法機(jī)關(guān)應(yīng)當(dāng)向編程人員詳細(xì)闡釋模型設(shè)計(jì)整體意圖和價(jià)值取向,排除經(jīng)濟(jì)文化社會(huì)中不公正的偏見進(jìn)入到?jīng)Q策程序的可能性。三是在軟件應(yīng)用階段,應(yīng)當(dāng)對最終決策的公安司法機(jī)關(guān)人員進(jìn)行風(fēng)險(xiǎn)提示和警告,要求其認(rèn)識到算法可能混入錯(cuò)誤和偏見,因而需要批判性地考量智能司法應(yīng)用所做的預(yù)測評價(jià)。在Loomis案中,威斯康星州最高法院從憲法上正當(dāng)程序的角度出發(fā),書面警示法官COMPAS所作預(yù)測評估存在不完整性,比如其中算法考慮的諸多要素因?yàn)橹R產(chǎn)權(quán)保護(hù)無法得到公開,評估工具只以威斯康星州的人口構(gòu)成為前提的調(diào)查(未交叉驗(yàn)證)以及將少數(shù)族群歸類為再犯風(fēng)險(xiǎn)更高人員的歧視行為,因而需要法官秉持懷疑態(tài)度來審視預(yù)測結(jié)果,不能將其作為最終評價(jià)。(73)State v. Loomis, 881 N.W.2d 749 (Wis. 2016).但這些告知和提醒公安司法人員的程序性保障措施,通常是無效手段,因?yàn)楹雎粤讼嚓P(guān)人員的評估能力、盲從心態(tài)以及職業(yè)壓力。對此,需要結(jié)合算法透明原則,要求算法設(shè)計(jì)者或維護(hù)者告知機(jī)器預(yù)測結(jié)果的邏輯關(guān)系和正當(dāng)理由,確保公安司法人員有能力進(jìn)行審查和評估。

    2.算法透明原則

    算法黑箱問題既可能是基于保護(hù)商業(yè)秘密和國家安全的人為因素,也可能是因?yàn)榇髷?shù)據(jù)算法的復(fù)雜性。在刑事司法中確立算法透明原則需要做到兩點(diǎn):一是通過算法公開來揭示人工智能司法的運(yùn)作原理來確保決策具有可監(jiān)督性,二是要完整記錄算法運(yùn)行過程中所依據(jù)的事實(shí)和規(guī)則來確保決策具有可追溯性。對于前者,學(xué)界當(dāng)前存在關(guān)于算法公開方式的爭議,即“完全公開說”和“限制公開說”。“完全公開說”認(rèn)為任何用于司法或執(zhí)法的基本算法都應(yīng)該是公開的,算法運(yùn)算的“商業(yè)秘密”不能對抗公共利益,政府應(yīng)當(dāng)重視公共領(lǐng)域中算法的透明度,通過立法要求相關(guān)主體公開源代碼,使其接受公眾監(jiān)督。(74)李婕:《壟斷抑或公開:算法規(guī)制的法經(jīng)濟(jì)學(xué)分析》,《理論視野》2019年第1期?!安糠止_說”則認(rèn)為公開底層數(shù)據(jù)和代碼既不可行,也無必要。一方面,從技術(shù)角度的層面來看,算法和數(shù)據(jù)在大多數(shù)人看來都是宛如“天書”的錯(cuò)亂代碼,要求強(qiáng)制公開所能發(fā)揮的公眾監(jiān)督作用非常有限;(75)劉東亮:《技術(shù)性正當(dāng)程序:人工智能時(shí)代程序法和算法的雙重變奏》,《比較法研究》2020年第5期。另一方面,依據(jù)比例原則,算法設(shè)計(jì)人員和維護(hù)人員向公安司法人員和當(dāng)事人公開披露系統(tǒng)算法和數(shù)據(jù)代碼,可能威脅到我國的數(shù)據(jù)安全和信息保護(hù)。而在刑事司法系統(tǒng)中,公檢法機(jī)關(guān)人員和當(dāng)事人并不需要對算法的底層代碼有深刻的理解,只需要知道算法使用的因素、權(quán)重分配以及算法結(jié)果的歷史準(zhǔn)確性,而這些信息對于技術(shù)部門而言較為容易提供。(76)Ric Simmons, “Quantifying Criminal Procedure: How to Unlock the Potential of Big Data in Our Criminal Justice System,” Michigan State Law Review, No.4, 2017.因此,在其他法律領(lǐng)域確立保障商業(yè)秘密和國家安全的適當(dāng)舉措后,制作預(yù)測警務(wù)和風(fēng)險(xiǎn)評估軟件的公司應(yīng)當(dāng)生成并保留一段時(shí)間內(nèi)的輸入數(shù)據(jù)和輸出結(jié)果以及犯罪預(yù)測因素,同時(shí)賦予外部各方受控的、有限的訪問權(quán)限,保障被告人在訴訟中不因種族、性別、收入等因素而受到歧視。此外,自動(dòng)化司法應(yīng)當(dāng)生成審計(jì)追蹤記錄,用于后續(xù)說明支持其決策的事實(shí)和規(guī)則,但由于涉及算法決策程序的過程控制,將在下文詳細(xì)論述。

    (二)程序參與和程序?qū)Φ龋哼^程控制和權(quán)利保障

    程序正義理論的基本要求是受裁判直接影響的人員能夠獲得平等參與審判過程的機(jī)會(huì),從而對裁判結(jié)果的形成發(fā)揮有效的影響。但在自動(dòng)化司法決策程序當(dāng)中,由于算法和數(shù)據(jù)被國家機(jī)關(guān)壟斷,被追訴人受制于技術(shù)壁壘和數(shù)據(jù)獲取分析能力有限,司法實(shí)踐中辯方可能沒有機(jī)會(huì)和能力在訴訟活動(dòng)中對決策結(jié)果進(jìn)行質(zhì)證、反駁和發(fā)表辯論意見。對此,為保障辯方充分參與自動(dòng)化司法決策過程,需要構(gòu)建和完善以算法審計(jì)為核心的過程控制機(jī)制,為被追訴人對算法邏輯和預(yù)測結(jié)果表達(dá)自我見解提供前提要件,同時(shí)也需要公檢法機(jī)關(guān)在訴訟過程中履行向辯方說明依據(jù)智能輔助系統(tǒng)做出決策的正當(dāng)理由,聽取辯方的反饋意見并及時(shí)進(jìn)行合理解釋。

    1.以算法審計(jì)為核心的過程控制機(jī)制

    “算法審計(jì)”和“算法透明”都是對算法黑箱所引發(fā)的潛在問題的回應(yīng)。但與全面公開人工智能源代碼不同,算法審計(jì)是由可控的、非特定專業(yè)專家小組來執(zhí)行監(jiān)督,對不當(dāng)?shù)臎Q策規(guī)則進(jìn)行干預(yù)和糾正,而不會(huì)向公眾全面披露代碼和其他專有信息。(77)Susskind, Jamie, Future Politics: Living Together in a World Transformed by Tech, Oxford: Oxford University Press, 2018, p.355.算法審計(jì)機(jī)制主要分為審計(jì)追蹤和專家審計(jì)兩個(gè)關(guān)鍵步驟,前者要求軟件開發(fā)人員創(chuàng)建一種溯源技術(shù),用于記錄支持算法決策的事實(shí)和規(guī)則,即在每次運(yùn)行算法時(shí)對非特定被告人數(shù)據(jù)、特定被告人數(shù)據(jù)以及合并前兩類數(shù)據(jù)以產(chǎn)生評估的具體運(yùn)算邏輯過程進(jìn)行存檔,詳細(xì)說明系統(tǒng)所做的每一個(gè)關(guān)鍵決策中所應(yīng)用的實(shí)際規(guī)則。這為之后對算法決策進(jìn)行正當(dāng)性分析和技術(shù)推理提供可能性,也有助于公檢法機(jī)構(gòu)向當(dāng)事人說明裁判理由,明確利用自動(dòng)化司法系統(tǒng)對其重要權(quán)利做出決策的緣由。(78)Danielle Keats CitronI, “Technological Due Process,” Washington University Law Review, Vol.85, No.6,2008.此外,審計(jì)追蹤制度的建立能夠覆蓋軟件編程設(shè)計(jì)、實(shí)施和應(yīng)用整個(gè)流程中所有人員的行為活動(dòng),為所有涉及的角色構(gòu)建一個(gè)完整連續(xù)的責(zé)任鏈條,以便于對算法決策全流程進(jìn)行持續(xù)監(jiān)督和檢查。(79)雷剛、喻少如:《算法正當(dāng)程序:算法決策程序?qū)φ?dāng)程序的沖擊與回應(yīng)》,《電子政務(wù)》2021年第12期。而在專家審計(jì)階段,考慮到被追訴人和律師的技術(shù)分析能力有限,則可以結(jié)合我國《刑事訴訟法》第一百九十七條規(guī)定的專家輔助人制度,將辯方聘請的具有專門知識的人列入算法審計(jì)專家小組當(dāng)中。公檢法機(jī)關(guān)應(yīng)當(dāng)在庭審之前組織專家小組對人工智能司法系統(tǒng)進(jìn)行評估和審核,而專家小組對決策系統(tǒng)的準(zhǔn)確性和偏差值所發(fā)表的意見應(yīng)當(dāng)隨案移送并允許辯方進(jìn)行查閱、摘抄和復(fù)制。同時(shí),參與算法審計(jì)的辯方專家可以在庭審時(shí)就相關(guān)技術(shù)問題作出說明,以便控辯審三方更為有效地理解自動(dòng)化司法決策結(jié)果的價(jià)值和限度。

    2.權(quán)利保障的兩個(gè)關(guān)鍵:說明理由和聽取意見

    人工智能介入刑事司法的最大危機(jī)是在不斷消解當(dāng)事人參與訴訟的行動(dòng)空間、影響范圍以及救濟(jì)渠道,導(dǎo)致被追訴人所享有的知情權(quán)、參與權(quán)、異議權(quán)以及救濟(jì)權(quán)處于名存實(shí)亡的境地,從而動(dòng)搖司法裁判的公信力和實(shí)效性。對此,應(yīng)當(dāng)明確技術(shù)融入司法活動(dòng)當(dāng)中不能只是強(qiáng)化國家機(jī)關(guān)偵查、控訴和定罪的能力,而是應(yīng)當(dāng)通過技術(shù)來進(jìn)一步保障被告人依法享有的訴訟權(quán)利,調(diào)試控辯不平衡問題。簡而言之,一方面,公檢法機(jī)關(guān)在使用預(yù)測警務(wù)軟件和犯罪風(fēng)險(xiǎn)評估工具時(shí),應(yīng)當(dāng)根據(jù)具體的案件情況,在明確清楚自動(dòng)化司法決策是可能出錯(cuò)的前提下,向被追訴人及其辯護(hù)律師詳細(xì)說明作出決策時(shí)所依賴的計(jì)算機(jī)生成的事實(shí)或法律調(diào)查結(jié)果。我國《個(gè)人信息保護(hù)法》第二十四條第三款也規(guī)定,“通過自動(dòng)化決策方式作出對個(gè)人權(quán)益有重大影響的決定,個(gè)人有權(quán)要求個(gè)人信息處理者予以說明,并有權(quán)拒絕個(gè)人信息處理者僅通過自動(dòng)化決策的方式作出決定?!敝挥兴惴Q策對受影響的當(dāng)事人來說是透明和可理解的,算法才顯得可信。(80)Ric Simmons, “Big Data and Procedural Justice: Legitimizing Algorithms in the Criminal Justice System,” Ohio State Journal of Criminal Law, Vol.15, No.2,2018.

    但公檢法機(jī)關(guān)在說明決策理由時(shí),應(yīng)當(dāng)明確以下兩點(diǎn):一是注重說明理由的重點(diǎn)內(nèi)容在于生成特定決策結(jié)果的算法邏輯,而非對于算法決策系統(tǒng)的設(shè)計(jì)、數(shù)據(jù)、邏輯等進(jìn)行寬泛解釋。(81)周尚君、羅有成:《數(shù)字正義論:理論內(nèi)涵與實(shí)踐機(jī)制》,《社會(huì)科學(xué)》2022年第6期。因?yàn)閷τ诠菜痉ㄈ藛T而言,其并不擅長對智能司法系統(tǒng)的底層代碼和算法模型進(jìn)行技術(shù)性解釋,而是應(yīng)當(dāng)結(jié)合具體適用場景以一種可理解的方式來闡釋決策結(jié)果的依據(jù)。《關(guān)于加強(qiáng)互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導(dǎo)意見》第十三條也規(guī)定做好算法結(jié)果解釋,消除社會(huì)疑慮,推動(dòng)算法健康發(fā)展。二是針對法院系統(tǒng)由于司法鑒定制度改革導(dǎo)致內(nèi)部缺乏專業(yè)技術(shù)人員的難題,可以借鑒知識產(chǎn)權(quán)訴訟的技術(shù)調(diào)查官制度,在特定刑事案件當(dāng)中引入輔助法官的技術(shù)專家人員。在法官審理特定刑事案件遇到難以理解的技術(shù)問題時(shí),技術(shù)調(diào)查官可以運(yùn)用專業(yè)技術(shù)知識為法官答疑解惑,協(xié)助法官斟酌評估和詳細(xì)說明自動(dòng)化決策的合法性和合理性,并依法做出裁判。(82)楊秀清:《我國知識產(chǎn)權(quán)訴訟中技術(shù)調(diào)查官制度的完善》,《法商研究》2020年第6期。

    此外,依據(jù)我國《刑事訴訟法》第八十八條、第一百六十一條、第一百八十七條以及第一百九十五條等相關(guān)規(guī)定,公檢法機(jī)關(guān)在審查逮捕、偵查終結(jié)前、審查起訴、庭前會(huì)議以及審判過程中都應(yīng)當(dāng)聽取當(dāng)事人及其辯護(hù)人的意見。而2016年歐洲議會(huì)及歐盟理事會(huì)發(fā)布的《歐盟一般數(shù)據(jù)保護(hù)條例》第二十二條第三款規(guī)定,“數(shù)據(jù)控制者應(yīng)當(dāng)實(shí)施適當(dāng)?shù)拇胧┍Wo(hù)數(shù)據(jù)主體的權(quán)利、自由和合法利益,至少獲得對控制者部分的人為干預(yù)權(quán),表達(dá)數(shù)據(jù)主體的觀點(diǎn)和同意決策的權(quán)利?!?83)中國信息通信研究院互聯(lián)網(wǎng)法律研究中心、京東法律研究院主編:《歐盟數(shù)據(jù)保護(hù)法規(guī)匯編》,中國法制出版社,2019年,第71頁。對此,刑事案件中只要公檢法根據(jù)AI的預(yù)測結(jié)果來進(jìn)行決策,對當(dāng)事人的權(quán)利產(chǎn)生法律影響的,都應(yīng)當(dāng)積極聽取當(dāng)事人及其辯護(hù)人對自動(dòng)化司法決策結(jié)果的意見;若被追訴人對決策結(jié)果持有反對意見,認(rèn)為公安機(jī)關(guān)、人民檢察院、人民法院及其工作人員不當(dāng)使用或過度依賴智能司法系統(tǒng),阻礙其依法行使訴訟權(quán)利的,可以向該機(jī)關(guān)或者其上一級機(jī)關(guān)投訴,也可以向同級或者上一級人民檢察院申訴或者控告。

    (三)程序正義的保障措施:算法問責(zé)機(jī)制

    沒有制裁則沒有義務(wù)。當(dāng)人工智能司法工作發(fā)生錯(cuò)誤時(shí),原有的歸責(zé)制度沒有考慮到算法決策或人機(jī)協(xié)同決策的情況,無法妥善解決現(xiàn)有的分布式道德責(zé)任分配問題,因而有必要建立相應(yīng)的算法問責(zé)機(jī)制,來防止智能司法系統(tǒng)出現(xiàn)監(jiān)管缺位和權(quán)力濫用的風(fēng)險(xiǎn)。對此,可以從以下兩個(gè)角度出發(fā)來完善算法問責(zé)機(jī)制:一是以保護(hù)當(dāng)事人權(quán)利為優(yōu)先確立公安司法人員優(yōu)位追責(zé)原則。因?yàn)樵谛淌滤痉ó?dāng)中,公安司法人員與當(dāng)事人的利益聯(lián)系最為緊密,對于被告人訴訟權(quán)利的侵害也最為直接,同時(shí)公安司法人員在使用人工智能時(shí)還負(fù)有監(jiān)督審核并在第一時(shí)間進(jìn)行問題矯正的義務(wù)。(84)程凡卿:《我國司法人工智能建設(shè)的問題與應(yīng)對》,《東方法學(xué)》2018年第3期。此外,為鼓勵(lì)信息技術(shù)的創(chuàng)新發(fā)展和新技術(shù)在司法領(lǐng)域中的深化運(yùn)用,應(yīng)當(dāng)明確只有算法決策程序出現(xiàn)系統(tǒng)性、結(jié)構(gòu)性錯(cuò)誤時(shí),才可以對技術(shù)人員進(jìn)行追責(zé),原則上不能將司法工作錯(cuò)誤無正當(dāng)理由推卸給算法設(shè)計(jì)者、開發(fā)者或者維護(hù)者。(85)高童非:《數(shù)字時(shí)代司法責(zé)任倫理之守正》,《法制與社會(huì)發(fā)展》2022年第1期。二是在追責(zé)前應(yīng)當(dāng)明確技術(shù)人員的配合司法義務(wù)。對于設(shè)計(jì)和搭建智能司法系統(tǒng)的技術(shù)人員而言,無論是軟件開發(fā)者、系統(tǒng)架構(gòu)師還是應(yīng)用維護(hù)人員,也不管是出于善意還是出于惡意,其都應(yīng)當(dāng)嚴(yán)格執(zhí)行公安司法機(jī)關(guān)告知的設(shè)計(jì)需求和目標(biāo),不得嵌入影響用戶權(quán)利義務(wù)的非正式規(guī)則,即不得讓編程變成立法。(86)理查德·薩斯坎德:《線上法院與未來司法》,何廣越譯,北京大學(xué)出版社,2021年,第162-163頁。尤其是當(dāng)事人的訴訟權(quán)利是通過民主的立法過程在我國《憲法》和《刑事訴訟法》中予以明確規(guī)定的,這種立法過程提煉了特定時(shí)期社會(huì)的公共利益和主流價(jià)值觀,不得降級為計(jì)算機(jī)科學(xué)專家們在實(shí)驗(yàn)室中的編程工作。(87)Ale? Zavr?nik, “Algorithmic Justice: Algorithms and Big Data in Criminal Justice Settings,” European Journal of Criminology, Vol.18, No.5,2019.此外,上文提及的技術(shù)人員構(gòu)建審計(jì)追蹤機(jī)制以及協(xié)助使用者解釋算法和說明理由的配合義務(wù),可以由最高人民法院、最高人民檢察院、公安部聯(lián)合相關(guān)技術(shù)監(jiān)管部門共同出臺(tái)規(guī)范性文件來統(tǒng)一規(guī)定研發(fā)標(biāo)準(zhǔn)和法律責(zé)任。

    猜你喜歡
    司法決策程序
    為可持續(xù)決策提供依據(jù)
    制定法解釋中的司法自由裁量權(quán)
    法律方法(2021年4期)2021-03-16 05:34:28
    決策為什么失誤了
    試論我國未決羈押程序的立法完善
    司法所悉心調(diào)解 墊付款有了著落
    非正式司法的悖謬
    “程序猿”的生活什么樣
    英國與歐盟正式啟動(dòng)“離婚”程序程序
    論司法公開的困惑與消解
    創(chuàng)衛(wèi)暗訪程序有待改進(jìn)
    av有码第一页| 18禁黄网站禁片午夜丰满| 日韩有码中文字幕| 黑人欧美特级aaaaaa片| 老熟妇乱子伦视频在线观看| 国产不卡一卡二| 精品国产乱码久久久久久男人| 99香蕉大伊视频| 国产日韩一区二区三区精品不卡| 一区二区三区激情视频| 蜜桃在线观看..| 亚洲av欧美aⅴ国产| 首页视频小说图片口味搜索| 在线观看舔阴道视频| 每晚都被弄得嗷嗷叫到高潮| 精品人妻熟女毛片av久久网站| 夜夜爽天天搞| 欧美成人免费av一区二区三区 | 老司机午夜十八禁免费视频| 少妇猛男粗大的猛烈进出视频| 婷婷成人精品国产| 国产不卡av网站在线观看| 人成视频在线观看免费观看| 夫妻午夜视频| 国产亚洲av高清不卡| 精品国产一区二区三区四区第35| 亚洲黑人精品在线| 可以免费在线观看a视频的电影网站| 亚洲av片天天在线观看| 亚洲av成人不卡在线观看播放网| 女人久久www免费人成看片| 欧美精品一区二区免费开放| 啦啦啦在线免费观看视频4| 激情视频va一区二区三区| 国产精品久久久人人做人人爽| 俄罗斯特黄特色一大片| 亚洲五月婷婷丁香| 国产精品美女特级片免费视频播放器 | 女人精品久久久久毛片| 无人区码免费观看不卡 | 新久久久久国产一级毛片| 午夜免费成人在线视频| 国产精品av久久久久免费| 免费在线观看黄色视频的| 人人澡人人妻人| 国产亚洲av高清不卡| 免费少妇av软件| 欧美老熟妇乱子伦牲交| 欧美亚洲 丝袜 人妻 在线| www.熟女人妻精品国产| 岛国在线观看网站| 色在线成人网| 黄色视频,在线免费观看| 久久这里只有精品19| 啦啦啦视频在线资源免费观看| 国产成人欧美| 午夜福利免费观看在线| 精品久久久久久电影网| 一区二区三区乱码不卡18| 国产男靠女视频免费网站| 成人亚洲精品一区在线观看| 女人精品久久久久毛片| 女性被躁到高潮视频| 亚洲第一av免费看| 最近最新免费中文字幕在线| 久久人妻av系列| 成人特级黄色片久久久久久久 | 少妇的丰满在线观看| 超碰成人久久| 国产av一区二区精品久久| 久久天躁狠狠躁夜夜2o2o| av一本久久久久| 亚洲精品成人av观看孕妇| 久久久欧美国产精品| 国产黄色免费在线视频| 怎么达到女性高潮| 嫩草影视91久久| 露出奶头的视频| 亚洲国产av新网站| 女性被躁到高潮视频| 精品视频人人做人人爽| 丝袜人妻中文字幕| 脱女人内裤的视频| 精品人妻1区二区| 欧美日韩亚洲综合一区二区三区_| 性少妇av在线| 久久精品亚洲熟妇少妇任你| 在线永久观看黄色视频| 欧美精品一区二区免费开放| 色综合婷婷激情| 免费看a级黄色片| 国内毛片毛片毛片毛片毛片| www.精华液| 侵犯人妻中文字幕一二三四区| 国产不卡一卡二| 亚洲精华国产精华精| 正在播放国产对白刺激| 在线亚洲精品国产二区图片欧美| 肉色欧美久久久久久久蜜桃| 亚洲欧洲精品一区二区精品久久久| 又紧又爽又黄一区二区| 国产欧美日韩精品亚洲av| 交换朋友夫妻互换小说| 国产成人影院久久av| 一夜夜www| 欧美精品一区二区大全| 久9热在线精品视频| 成人国语在线视频| 91大片在线观看| 一区二区三区乱码不卡18| 精品福利观看| 女人被躁到高潮嗷嗷叫费观| 欧美日韩亚洲综合一区二区三区_| 精品欧美一区二区三区在线| 妹子高潮喷水视频| 久久国产精品大桥未久av| 欧美日韩福利视频一区二区| 亚洲中文日韩欧美视频| 免费少妇av软件| 中亚洲国语对白在线视频| 久久人妻av系列| 三上悠亚av全集在线观看| 免费高清在线观看日韩| 欧美一级毛片孕妇| 黑人巨大精品欧美一区二区mp4| 高清视频免费观看一区二区| 日韩有码中文字幕| 久久精品亚洲熟妇少妇任你| 久热这里只有精品99| 中文欧美无线码| 在线观看免费高清a一片| 久久久国产欧美日韩av| 一边摸一边抽搐一进一小说 | 精品福利观看| 老汉色av国产亚洲站长工具| 精品欧美一区二区三区在线| 精品一区二区三区视频在线观看免费 | 丁香六月欧美| 欧美在线黄色| 亚洲五月婷婷丁香| 91九色精品人成在线观看| 欧美av亚洲av综合av国产av| 久久午夜亚洲精品久久| 亚洲专区字幕在线| 午夜两性在线视频| 免费在线观看影片大全网站| 国产精品久久久av美女十八| 亚洲成人国产一区在线观看| 99re在线观看精品视频| 一区二区日韩欧美中文字幕| 五月开心婷婷网| 国产黄色免费在线视频| 国产成人欧美在线观看 | 亚洲精品av麻豆狂野| 在线观看免费视频日本深夜| 成年动漫av网址| 肉色欧美久久久久久久蜜桃| 国产一区二区在线观看av| 亚洲精品av麻豆狂野| 国产日韩欧美视频二区| 午夜福利欧美成人| 中文字幕另类日韩欧美亚洲嫩草| 国产激情久久老熟女| 激情视频va一区二区三区| 91成年电影在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 日韩中文字幕欧美一区二区| 免费观看av网站的网址| 最近最新中文字幕大全电影3 | av欧美777| 后天国语完整版免费观看| 亚洲午夜理论影院| 久久久精品免费免费高清| 男人操女人黄网站| 久久精品亚洲熟妇少妇任你| 19禁男女啪啪无遮挡网站| 可以免费在线观看a视频的电影网站| 久久国产精品影院| 亚洲中文av在线| 日韩中文字幕视频在线看片| 飞空精品影院首页| 亚洲一码二码三码区别大吗| 精品少妇内射三级| a级片在线免费高清观看视频| bbb黄色大片| 热99国产精品久久久久久7| 亚洲第一青青草原| 久久精品国产99精品国产亚洲性色 | 国产又色又爽无遮挡免费看| 欧美日韩一级在线毛片| 亚洲精品一卡2卡三卡4卡5卡| 国产精品九九99| 欧美成人免费av一区二区三区 | 男女午夜视频在线观看| 成人手机av| 咕卡用的链子| 亚洲第一青青草原| 老司机福利观看| 精品一区二区三区视频在线观看免费 | 激情在线观看视频在线高清 | 精品熟女少妇八av免费久了| 成年人午夜在线观看视频| 欧美老熟妇乱子伦牲交| 电影成人av| 欧美日韩视频精品一区| 国产欧美日韩综合在线一区二区| 成年女人毛片免费观看观看9 | 国产麻豆69| 国产成人免费无遮挡视频| 国产欧美日韩一区二区三区在线| 黄色视频不卡| 国产熟女午夜一区二区三区| 看免费av毛片| 免费在线观看影片大全网站| 成年人免费黄色播放视频| 欧美乱妇无乱码| 黄片播放在线免费| 亚洲精品在线美女| 捣出白浆h1v1| 日韩有码中文字幕| 色综合婷婷激情| 搡老岳熟女国产| 后天国语完整版免费观看| 精品卡一卡二卡四卡免费| 精品国产超薄肉色丝袜足j| 女同久久另类99精品国产91| 欧美日韩福利视频一区二区| 欧美另类亚洲清纯唯美| 啦啦啦在线免费观看视频4| 侵犯人妻中文字幕一二三四区| 一进一出好大好爽视频| 久久性视频一级片| 国产成人av激情在线播放| 丝袜在线中文字幕| 国产在线免费精品| 久久久久视频综合| 国产日韩欧美视频二区| 19禁男女啪啪无遮挡网站| 中文字幕人妻熟女乱码| 国产成人免费无遮挡视频| 国产亚洲欧美精品永久| 午夜久久久在线观看| 天堂动漫精品| 又大又爽又粗| 夫妻午夜视频| 日韩一区二区三区影片| 亚洲第一青青草原| 久久九九热精品免费| 91大片在线观看| 黄色 视频免费看| 精品久久久久久久毛片微露脸| 亚洲第一欧美日韩一区二区三区 | 国产伦理片在线播放av一区| 法律面前人人平等表现在哪些方面| av线在线观看网站| 精品国产乱码久久久久久小说| 一二三四在线观看免费中文在| 国产一区二区三区在线臀色熟女 | 国产激情久久老熟女| 日韩欧美国产一区二区入口| 午夜精品久久久久久毛片777| 老熟妇乱子伦视频在线观看| 18禁美女被吸乳视频| 国产免费视频播放在线视频| 国产一区二区三区综合在线观看| 两个人看的免费小视频| 两个人免费观看高清视频| av片东京热男人的天堂| 老熟女久久久| 视频区图区小说| 建设人人有责人人尽责人人享有的| 18禁美女被吸乳视频| 一区二区三区国产精品乱码| 欧美日本中文国产一区发布| 黑人欧美特级aaaaaa片| 国产一卡二卡三卡精品| 人妻久久中文字幕网| 亚洲精品在线观看二区| 黄色片一级片一级黄色片| 国产亚洲av高清不卡| 国产免费福利视频在线观看| 又黄又粗又硬又大视频| 国产有黄有色有爽视频| 午夜91福利影院| 在线天堂中文资源库| 亚洲欧洲精品一区二区精品久久久| 国产精品麻豆人妻色哟哟久久| 国产欧美日韩综合在线一区二区| 12—13女人毛片做爰片一| 麻豆av在线久日| 在线十欧美十亚洲十日本专区| 亚洲av日韩精品久久久久久密| 国产日韩一区二区三区精品不卡| kizo精华| 人人妻人人澡人人看| 成人18禁高潮啪啪吃奶动态图| 99热网站在线观看| 香蕉久久夜色| 新久久久久国产一级毛片| 久久精品国产亚洲av高清一级| 成人国语在线视频| 国产成+人综合+亚洲专区| 久久狼人影院| 香蕉国产在线看| 99九九在线精品视频| 美女午夜性视频免费| 如日韩欧美国产精品一区二区三区| av不卡在线播放| 成在线人永久免费视频| 欧美日韩国产mv在线观看视频| 亚洲精品国产精品久久久不卡| 国产一区二区 视频在线| 久热这里只有精品99| 中文字幕色久视频| 一个人免费看片子| 中文字幕色久视频| 在线观看一区二区三区激情| 可以免费在线观看a视频的电影网站| 乱人伦中国视频| 99热国产这里只有精品6| 精品一区二区三区视频在线观看免费 | 中文字幕高清在线视频| 丁香欧美五月| cao死你这个sao货| 免费不卡黄色视频| 亚洲成人手机| 蜜桃国产av成人99| 国产精品自产拍在线观看55亚洲 | 亚洲综合色网址| 国产一区二区三区视频了| 亚洲性夜色夜夜综合| 黑人猛操日本美女一级片| 成人av一区二区三区在线看| 如日韩欧美国产精品一区二区三区| 国产视频一区二区在线看| 国产精品 国内视频| 美女国产高潮福利片在线看| 99国产精品一区二区蜜桃av | 国产又色又爽无遮挡免费看| 亚洲精品国产一区二区精华液| 免费少妇av软件| 国产单亲对白刺激| 日本五十路高清| 人人妻人人澡人人看| 亚洲国产成人一精品久久久| 国产成人av教育| 纯流量卡能插随身wifi吗| 成人手机av| 激情视频va一区二区三区| a在线观看视频网站| 侵犯人妻中文字幕一二三四区| av超薄肉色丝袜交足视频| 两性午夜刺激爽爽歪歪视频在线观看 | 国产在线一区二区三区精| 欧美日韩福利视频一区二区| 国产深夜福利视频在线观看| 国产成人免费观看mmmm| 亚洲欧美色中文字幕在线| 国产成人欧美在线观看 | 男女免费视频国产| 手机成人av网站| cao死你这个sao货| 在线观看66精品国产| 亚洲精华国产精华精| 国产精品98久久久久久宅男小说| 18在线观看网站| 国产精品亚洲一级av第二区| 欧美成狂野欧美在线观看| 丰满饥渴人妻一区二区三| 高清毛片免费观看视频网站 | 国产一区二区 视频在线| a级片在线免费高清观看视频| 久久午夜综合久久蜜桃| 99精品欧美一区二区三区四区| 9色porny在线观看| 国产欧美亚洲国产| 免费一级毛片在线播放高清视频 | 色老头精品视频在线观看| 满18在线观看网站| 久热爱精品视频在线9| 男女边摸边吃奶| 侵犯人妻中文字幕一二三四区| 久久精品成人免费网站| 国产无遮挡羞羞视频在线观看| 后天国语完整版免费观看| 亚洲国产欧美日韩在线播放| 一进一出抽搐动态| 精品亚洲成a人片在线观看| 女人精品久久久久毛片| 日韩视频在线欧美| 法律面前人人平等表现在哪些方面| 久热这里只有精品99| 一级毛片电影观看| 99精国产麻豆久久婷婷| 国产精品久久久久成人av| 亚洲欧美一区二区三区黑人| 欧美精品啪啪一区二区三区| 夜夜爽天天搞| 国产视频一区二区在线看| 国产黄频视频在线观看| 午夜视频精品福利| 99久久精品国产亚洲精品| 无遮挡黄片免费观看| 成年女人毛片免费观看观看9 | 高清视频免费观看一区二区| 亚洲精品久久午夜乱码| 一二三四社区在线视频社区8| 亚洲色图综合在线观看| 免费高清在线观看日韩| 757午夜福利合集在线观看| 天天操日日干夜夜撸| 亚洲专区国产一区二区| 后天国语完整版免费观看| 久久久久久久国产电影| 国产精品亚洲av一区麻豆| 啦啦啦免费观看视频1| 亚洲欧洲日产国产| 欧美老熟妇乱子伦牲交| 免费一级毛片在线播放高清视频 | 99国产精品一区二区三区| 人成视频在线观看免费观看| 亚洲中文字幕日韩| 操出白浆在线播放| 午夜福利视频在线观看免费| 免费av中文字幕在线| 免费在线观看完整版高清| 亚洲精品久久午夜乱码| 黄色视频,在线免费观看| 国产精品熟女久久久久浪| 国产精品 国内视频| 一区二区三区激情视频| 18禁黄网站禁片午夜丰满| 精品亚洲成国产av| 黑人猛操日本美女一级片| 人妻一区二区av| 国产av国产精品国产| 久久久国产精品麻豆| 又黄又粗又硬又大视频| 视频在线观看一区二区三区| 飞空精品影院首页| 成人国产av品久久久| 亚洲免费av在线视频| 在线观看一区二区三区激情| 搡老乐熟女国产| 在线天堂中文资源库| 欧美 亚洲 国产 日韩一| 亚洲人成77777在线视频| 欧美人与性动交α欧美软件| 欧美在线一区亚洲| 超碰97精品在线观看| 无人区码免费观看不卡 | 9色porny在线观看| 成人亚洲精品一区在线观看| 五月天丁香电影| 99riav亚洲国产免费| 国产高清视频在线播放一区| 国产成人欧美在线观看 | 日韩大码丰满熟妇| 天天躁夜夜躁狠狠躁躁| 久久久久国产一级毛片高清牌| 午夜福利一区二区在线看| 精品一区二区三区av网在线观看 | 50天的宝宝边吃奶边哭怎么回事| 一个人免费在线观看的高清视频| 欧美国产精品va在线观看不卡| 日韩人妻精品一区2区三区| 激情视频va一区二区三区| 国产极品粉嫩免费观看在线| 国产日韩欧美在线精品| 国产日韩一区二区三区精品不卡| 午夜福利免费观看在线| 手机成人av网站| 如日韩欧美国产精品一区二区三区| 日韩欧美国产一区二区入口| 国产成人啪精品午夜网站| 欧美黑人欧美精品刺激| 女人爽到高潮嗷嗷叫在线视频| 久久久久久久久久久久大奶| 女人被躁到高潮嗷嗷叫费观| 日韩中文字幕视频在线看片| 亚洲,欧美精品.| 男男h啪啪无遮挡| 性色av乱码一区二区三区2| av免费在线观看网站| 亚洲天堂av无毛| 色在线成人网| 最近最新中文字幕大全电影3 | 精品福利永久在线观看| 悠悠久久av| 久久精品国产99精品国产亚洲性色 | 老鸭窝网址在线观看| 国产成人欧美| 精品欧美一区二区三区在线| 男女床上黄色一级片免费看| 国产成+人综合+亚洲专区| 亚洲av国产av综合av卡| 亚洲成av片中文字幕在线观看| 一级毛片精品| 亚洲av日韩在线播放| 一区二区三区激情视频| 桃花免费在线播放| kizo精华| 在线观看舔阴道视频| 亚洲精华国产精华精| 三上悠亚av全集在线观看| 老司机福利观看| www.999成人在线观看| 成人永久免费在线观看视频 | 99久久人妻综合| 欧美中文综合在线视频| 五月开心婷婷网| 亚洲午夜精品一区,二区,三区| 欧美乱妇无乱码| 午夜福利视频在线观看免费| 9色porny在线观看| 少妇裸体淫交视频免费看高清 | 国产日韩一区二区三区精品不卡| 亚洲性夜色夜夜综合| 侵犯人妻中文字幕一二三四区| bbb黄色大片| 国产高清激情床上av| 黄色毛片三级朝国网站| 交换朋友夫妻互换小说| 狠狠精品人妻久久久久久综合| 久久久久国产一级毛片高清牌| 99精品欧美一区二区三区四区| 日韩免费高清中文字幕av| 亚洲一区二区三区欧美精品| 自线自在国产av| 夫妻午夜视频| 一个人免费在线观看的高清视频| 侵犯人妻中文字幕一二三四区| 国产麻豆69| 国产精品国产av在线观看| 99国产精品99久久久久| 久久精品91无色码中文字幕| 日韩欧美国产一区二区入口| 亚洲欧洲精品一区二区精品久久久| 亚洲av电影在线进入| 又紧又爽又黄一区二区| 免费不卡黄色视频| 免费在线观看完整版高清| 日韩免费高清中文字幕av| 久久性视频一级片| 搡老岳熟女国产| 免费在线观看日本一区| cao死你这个sao货| 久久人人97超碰香蕉20202| 免费av中文字幕在线| 露出奶头的视频| 女同久久另类99精品国产91| 国产97色在线日韩免费| 国产伦理片在线播放av一区| 老司机深夜福利视频在线观看| 亚洲熟女精品中文字幕| av在线播放免费不卡| 国产1区2区3区精品| 久久精品91无色码中文字幕| 亚洲少妇的诱惑av| 国产日韩一区二区三区精品不卡| 免费女性裸体啪啪无遮挡网站| 成人特级黄色片久久久久久久 | 欧美+亚洲+日韩+国产| 久久久久精品国产欧美久久久| 一个人免费在线观看的高清视频| 亚洲欧美激情在线| 中文字幕色久视频| 亚洲精品粉嫩美女一区| 色老头精品视频在线观看| 18禁黄网站禁片午夜丰满| 国产欧美日韩一区二区三| 女人爽到高潮嗷嗷叫在线视频| 两性夫妻黄色片| 日韩 欧美 亚洲 中文字幕| 在线观看免费高清a一片| 一边摸一边抽搐一进一小说 | 国产免费福利视频在线观看| 欧美日韩亚洲高清精品| 成人18禁在线播放| 亚洲九九香蕉| 国产成人欧美| 国产精品 欧美亚洲| 99精国产麻豆久久婷婷| 婷婷成人精品国产| 夫妻午夜视频| 亚洲九九香蕉| 亚洲国产欧美日韩在线播放| 国产精品欧美亚洲77777| 精品国产一区二区三区久久久樱花| 日韩中文字幕欧美一区二区| 精品午夜福利视频在线观看一区 | 国产成人av激情在线播放| 男女下面插进去视频免费观看| 韩国精品一区二区三区| 亚洲欧洲精品一区二区精品久久久| 日韩欧美免费精品| 女人被躁到高潮嗷嗷叫费观| 高清在线国产一区| 91av网站免费观看| 在线永久观看黄色视频| 国产片内射在线| 五月开心婷婷网| 两性午夜刺激爽爽歪歪视频在线观看 | 国产片内射在线| 91av网站免费观看| 国产欧美日韩一区二区三区在线| 国产高清videossex| 天堂中文最新版在线下载| 伊人久久大香线蕉亚洲五| 久久国产精品人妻蜜桃| 69av精品久久久久久 | 丰满人妻熟妇乱又伦精品不卡| 极品教师在线免费播放| 少妇粗大呻吟视频| 国产精品一区二区在线不卡|