• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    論算法可解釋性機(jī)制的構(gòu)建
    ——司法場景下的算法法律規(guī)制邏輯

    2021-03-07 18:00:26陶懷川徐寅晨
    關(guān)鍵詞:解釋性當(dāng)事人司法

    陶懷川 徐寅晨

    (西南政法大學(xué),重慶 401120)

    一、問題的提出

    智慧法院是指依托現(xiàn)代人工智能,圍繞司法為民、公正司法,堅持司法規(guī)律、體制改革與技術(shù)變革相融合,以高度信息化方式支持司法審判、訴訟服務(wù)和司法管理,實(shí)現(xiàn)全業(yè)務(wù)網(wǎng)上辦理、全流程依法公開、全方位智能服務(wù)的人民法院組織、建設(shè)、運(yùn)行和管理形態(tài)[1]。我國智慧法院建設(shè)起步于20世紀(jì)90年代。1996年,最高人民法院下發(fā)《全國法院計算機(jī)信息網(wǎng)絡(luò)建設(shè)規(guī)劃》,拉開了人民法院信息化建設(shè)的序幕。2015年7月,全國高級法院院長座談會首次提出“智慧法院”概念。伴隨著大數(shù)據(jù)、云計算和人工智能等新興科技手段的發(fā)展、司法改革的需要以及案多人少的客觀現(xiàn)實(shí),人民法院對智慧法院有了更深刻的認(rèn)識,同時也對智慧法院建設(shè)提出了更高要求。在智慧法院的政策支持方面,2016年,智慧法院建設(shè)納入《國家信息化發(fā)展戰(zhàn)略綱要》《“十三五”國家信息化規(guī)劃》;2019年2月,《人民法院第五個五年改革綱要(2019—2023)》發(fā)布,為智慧法院向更深領(lǐng)域智能化邁進(jìn)給出清晰路徑。

    智慧法院建設(shè)邁向縱深,應(yīng)對不同司法場景需要的司法產(chǎn)品亦層出不窮。算法技術(shù)作為現(xiàn)代科技手段,被視為“破解改革難題,提升司法效能”的關(guān)鍵。其在司法領(lǐng)域的發(fā)展和運(yùn)用被寄予厚望,成為學(xué)界和實(shí)務(wù)界關(guān)注的焦點(diǎn),在域外,已有直接參與風(fēng)險評估與定罪量刑的實(shí)例出現(xiàn)。然而,算法技術(shù)在司法領(lǐng)域中應(yīng)用熱潮方興未艾之時,也需要關(guān)注到算法自身特性對司法領(lǐng)域帶來的沖擊。由于算法自身的構(gòu)成具有復(fù)雜性,算法成型之后大多具有商業(yè)秘密的外衣會導(dǎo)致其具有“黑箱”特性,這與司法程序強(qiáng)調(diào)的公開透明相背離,也與社會民眾對司法的傳統(tǒng)認(rèn)知不符。因此,在司法場景中,如何增強(qiáng)算法的透明性及社會民眾的接受度,使其適應(yīng)于現(xiàn)實(shí)的司法結(jié)構(gòu),是算法技術(shù)在司法場景下進(jìn)一步拓展應(yīng)用的前提。在司法場景下,算法公開不能妥當(dāng)?shù)亟鉀Q當(dāng)事人對算法決策的理解和接受度的問題以及個人數(shù)據(jù)賦權(quán)進(jìn)路存在行使信息保護(hù)權(quán)利障礙,反算法歧視存在數(shù)據(jù)缺失,制度調(diào)整成本高昂等問題。在此背景下,算法可解釋性機(jī)制作為一種可能的方法被提出。作為一種有效手段,人工智能研發(fā)者對算法作出必要解釋被特別強(qiáng)調(diào)[2],在司法裁決中,凡涉及自主研制系統(tǒng),都應(yīng)提供一個有說服力的解釋[3],由此觀之,這一原則已經(jīng)為越來越多的人認(rèn)可和接受。在司法領(lǐng)域糾紛解決語境中,“可解釋”意在向受自動化算法決策影響的相關(guān)人釋明應(yīng)用該算法決策的合理性和正當(dāng)性,使決策結(jié)果被相對人信服和接受。使用“機(jī)制”一詞,意在取其引申含義,說明“可解釋”的構(gòu)造、功能和相互關(guān)系。在技術(shù)語境下,保障算法可解釋性的核心目的在于算法的深度開發(fā)和應(yīng)用,指的是人工智能應(yīng)用中的方法和技術(shù)應(yīng)該為人所理解和接受[4]。算法在智慧法院體系建設(shè)中的作用愈加凸顯,構(gòu)建“可解釋機(jī)制”意在保證算法決策在司法場景中作出時,對當(dāng)事人的質(zhì)疑能夠給出合理、正當(dāng)、有說服力的理由,以維護(hù)司法權(quán)威,保證司法公開,增強(qiáng)當(dāng)事人的可接受性。本文聚焦于算法可解釋性機(jī)制的構(gòu)建,以為司法場景下算法的法律規(guī)制提供一種可能的方式。

    二、傳統(tǒng)算法法律規(guī)制路徑評述

    “針對算法崛起所帶來的法律挑戰(zhàn),學(xué)界公認(rèn)的三種法律規(guī)制方式是:算法公開、個人數(shù)據(jù)賦權(quán)與反算法歧視。”[5]本文分享此種共識,但聚焦于一個更加具體的問題:算法于司法領(lǐng)域的運(yùn)用及規(guī)制應(yīng)當(dāng)采取何種進(jìn)路更為合洽。故而有必要對傳統(tǒng)的算法法律規(guī)制方式進(jìn)行述評,并尋求在司法場景下合適的算法法律規(guī)制路徑。

    (一)算法公開

    算法公開進(jìn)路認(rèn)為,算法技術(shù)應(yīng)用的最大阻礙在于算法的不透明性,因此算法透明化被認(rèn)為是算法規(guī)制的重要途徑[6]。算法形式多樣、結(jié)構(gòu)各異,對當(dāng)事人來說就是一個難以捉摸、無法理解的“黑箱”。甚至算法的設(shè)計者、運(yùn)行者,對算法將產(chǎn)生何種結(jié)果亦無法準(zhǔn)確地預(yù)估。但許多算法設(shè)計者認(rèn)為,算法一旦投入生產(chǎn),便是其具備核心競爭力的商業(yè)秘密所在,一味公開算法只會有悖知識產(chǎn)權(quán)制度。就提高算法透明度而言,可資借鑒的標(biāo)準(zhǔn)規(guī)范見于歐盟《通用數(shù)據(jù)保護(hù)條例》、美國計算機(jī)協(xié)會《關(guān)于算法透明度及可審查性的七項基本原則》等。德國在《自動駕駛法》中要求智能汽車必須安裝類似“黑匣子”的裝置來對汽車的駕駛情況進(jìn)行如實(shí)的記錄,以便交通事故發(fā)生后,及時明確責(zé)任的承擔(dān)。在規(guī)制算法過程中,為了增加透明度要求,亦可以對整個運(yùn)作過程予以記錄,確保運(yùn)作程序的公正透明[7]。學(xué)界討論代表性的觀點(diǎn)有:內(nèi)部監(jiān)督與外部監(jiān)管相結(jié)合,事前管控與事后追責(zé)并重;建立專門的規(guī)制機(jī)構(gòu)進(jìn)行規(guī)制,如建立“算法審計員”與“大數(shù)據(jù)局”等里應(yīng)外合的監(jiān)管機(jī)制[8]。

    算法公開進(jìn)路突出的問題在于,雖然關(guān)注到了算法透明的必要性和重要性,但無法針對裁判領(lǐng)域個案當(dāng)事人的心理特質(zhì)進(jìn)行制度設(shè)計。另外,即使進(jìn)行了算法公開,相關(guān)人也難以理解運(yùn)算數(shù)據(jù)與源代碼,但司法場景中的算法決策必須為相關(guān)人所理解,否則難以為當(dāng)事人所接受。

    (二)個人數(shù)據(jù)賦權(quán)

    以個人數(shù)據(jù)自決權(quán)為核心,構(gòu)建個人數(shù)據(jù)權(quán)利體系[9],賦予公民或當(dāng)事人選擇退出的權(quán)利,并賦予公民對個人信息的控制權(quán),可以要求企業(yè)對所收集到的個人信息進(jìn)行限制、刪除等,并建立專門的算法問責(zé)制度[10]。包括中國在內(nèi)的不少國家對于個人數(shù)據(jù)保護(hù)都有相應(yīng)的規(guī)定。我國《民法典》第1034條到1039條規(guī)定了個人信息保護(hù)的相關(guān)權(quán)利?!秱€人信息保護(hù)法(草案)》規(guī)定了個人信息處理規(guī)則、個人在個人信息處理活動中的權(quán)利,其第44條前半句規(guī)定,“個人對其個人信息的處理享有知情權(quán)、決定權(quán),有權(quán)限制或者拒絕他人對其個人信息進(jìn)行處理”。歐盟《一般數(shù)據(jù)保護(hù)條例》規(guī)定了包括知情權(quán)、選擇權(quán)、訪問權(quán)、糾正權(quán)、刪除權(quán)等在內(nèi)的涉及個人信息保護(hù)的權(quán)利。個人數(shù)據(jù)賦權(quán)進(jìn)路的邏輯構(gòu)造在于通過賦予個體一系列的數(shù)據(jù)權(quán)利,強(qiáng)化個人對個人數(shù)據(jù)的知情與控制。

    算法司法決策場景中通過個人信息賦權(quán)進(jìn)路進(jìn)行法律規(guī)制突出的問題表現(xiàn)為,個人在數(shù)據(jù)收集層面的遲疑和數(shù)據(jù)處理層面難以行使反對權(quán)。首先,數(shù)據(jù)收集通常采用知情同意原則,例如,當(dāng)首次打開APP時,會彈窗跳出一份使用告知書,詳細(xì)載明信息收集事項和隱私政策,然而真正詳細(xì)閱讀隱私政策之后才使用APP的人微乎其微,這種客觀情況造成了知情權(quán)的弱化。其次,個人在面對數(shù)據(jù)處理時,雖然被賦予了反對權(quán),但算法黑箱效應(yīng)帶來的影響阻礙了反對權(quán)行使的路徑,權(quán)利主體難以知曉其數(shù)據(jù)是否被處理了,難以說明在哪些環(huán)節(jié)被處理,以及最終的使用去向等。最后,個人信息處理的例外規(guī)定,也對個人信息處理活動中的權(quán)利進(jìn)行了一定的限制。例如,我國《個人信息保護(hù)法(草案)》第44條雖然賦予了個人處理其個人信息的權(quán)利,但在其后半句也作出了限制,規(guī)定“法律、行政法規(guī)另有規(guī)定的除外”。

    (三)抑制算法歧視

    算法歧視也稱為算法偏見,是指“算法開發(fā)者或所有者可以調(diào)控程序參數(shù),從而得到想要看到的結(jié)果”[11]。從技術(shù)層面來看,算法歧視主要因數(shù)據(jù)偏差與算法設(shè)計偏見產(chǎn)生[12]94。司法場景中通過抑制算法歧視途徑對算法進(jìn)行法律規(guī)制存在著數(shù)據(jù)層面和算法設(shè)計層面兩方面的問題。數(shù)據(jù)層面上,一是智慧司法所倚重的裁判文書數(shù)據(jù)庫存在相當(dāng)?shù)臄?shù)據(jù)空白,且各地依經(jīng)濟(jì)水平、司法環(huán)境的不同,亦存在“司法數(shù)據(jù)”采集和上傳的斷層;二是裁判文書表現(xiàn)為大量的非結(jié)構(gòu)化數(shù)據(jù),而算法的迭代更新和深度學(xué)習(xí)需要大量結(jié)構(gòu)化數(shù)據(jù)驅(qū)動;三是特殊類型案件或者疑難案件并未上網(wǎng)公開,造成司法實(shí)踐中面臨著“簡易案件不需要,復(fù)雜案件不敢用”的尷尬境遇[13],而上述案件恰是最需要法官智慧和時間投入的案件,同時也是最考驗算法司法決策技術(shù)水準(zhǔn)的訓(xùn)練樣本[14]。算法設(shè)計層面上,算法開發(fā)者、設(shè)計者的主觀好惡與價值追求都會或多或少的與算法融為一體,造成隱秘的偏差。當(dāng)前司法領(lǐng)域算法設(shè)計的常見配置為“計算機(jī)專家+法律專家”模式,其弊端在于設(shè)計與使用相分離,導(dǎo)致真正從事審判實(shí)務(wù)的專家難有大量時間親自參與科技研發(fā),而計算機(jī)工程師難以理解新制度的具體功能和發(fā)展歷程[15]115。

    三、“可解釋”算法技術(shù)的應(yīng)用需求

    (一)維護(hù)法官主體性

    以法官主持、審理、質(zhì)證和裁判的糾紛解決程序是司法裁判系統(tǒng)的核心[16]。具有可解釋性的算法技術(shù)以維護(hù)法官主體性為價值目標(biāo)。這是考慮到司法活動運(yùn)行規(guī)律,法官審判工作的系統(tǒng)性、職業(yè)性以及經(jīng)驗性[17]和人工智能技術(shù)在當(dāng)前階段的發(fā)展特征之后得出的結(jié)論。首先,當(dāng)前算法技術(shù)的發(fā)展還處于弱人工智能階段,并不能脫離法官,獨(dú)立進(jìn)行價值判斷工作。法律是善良與公正的藝術(shù),司法活動中法官的價值判斷則是實(shí)現(xiàn)公正的必要手段,體現(xiàn)在司法程序進(jìn)行的各個環(huán)節(jié),比如查明事實(shí)中的事實(shí)認(rèn)定與證據(jù)采信、定罪量刑中的罪名區(qū)分等,均端賴于法官的理性和良知,再由其內(nèi)心形成內(nèi)心確信。在此意義上,可解釋性算法技術(shù)既然還不具備法官的能力,也就不能越俎代庖取代法官的位置。將其準(zhǔn)確定位輔助性之地位,運(yùn)用可解釋性算法技術(shù)在證據(jù)標(biāo)準(zhǔn)、證據(jù)規(guī)則統(tǒng)一、證據(jù)合法性校驗、邏輯鏈比對、類案推送等不涉及價值判斷的司法場景中,以提高司法效率是較為實(shí)際的做法。其次,從社會公眾對司法人工智能的接受度來考慮,人工智能裁判與民眾對傳統(tǒng)司法的認(rèn)知差異較大,可接受性不高??山忉屝运惴夹g(shù)的應(yīng)用仍需以維護(hù)法官主體性為核心價值目標(biāo),通過技術(shù)建設(shè)保障法官親歷審判、直接言詞等傳統(tǒng)的司法活動基本要求,讓社會民眾感受到公平正義。最后,算法設(shè)計者與算法使用者分離的客觀狀態(tài)要求維護(hù)法官的主體性地位。算法技術(shù)于司法領(lǐng)域深度運(yùn)用是順應(yīng)現(xiàn)代科技發(fā)展和司法現(xiàn)實(shí)要求的務(wù)實(shí)選擇,但并不是要將司法權(quán)交給算法。與此相反,算法可解釋性機(jī)制構(gòu)建的目的在于防止算法被個人主觀因素侵蝕,在算法開發(fā)中努力實(shí)現(xiàn)立法者、專家學(xué)者、律師和社會人士的開放性參與,突破設(shè)計與使用相分離的狀態(tài);在算法運(yùn)行中,著力打造可公開、可解釋、可救濟(jì)的智能系統(tǒng),防范算法黑箱和算法霸權(quán)[18]。算法技術(shù)在司法領(lǐng)域中的運(yùn)用是一個長期發(fā)展和不斷完善的系統(tǒng)工程[19],應(yīng)根據(jù)技術(shù)發(fā)展階段的不同特征進(jìn)行取舍,揚(yáng)長避短,逐步推進(jìn)現(xiàn)代科技的應(yīng)用,或許在更高的技術(shù)階段,算法裁判可以為社會所認(rèn)同。但當(dāng)前階段,其只能定位于輔助性地位,維護(hù)法官主體性,助力我國社會治理法治化建設(shè)。

    (二)保障當(dāng)事人公正需求

    囿于算法的黑箱特性,算法在司法場景中的運(yùn)用常常被詬病有不透明之嫌疑。狹義的司法活動指稱的是裁判活動,當(dāng)事人選擇司法途徑解決紛爭,原因在于通過司法程序能夠使受侵害的權(quán)利得到救濟(jì),糾紛能夠平息。算法技術(shù)于司法場景的運(yùn)用,需有助于司法機(jī)關(guān)實(shí)現(xiàn)救濟(jì)與止?fàn)幍墓δ?,否則將其引入司法領(lǐng)域的意義便無法彰顯。然而,完全的算法透明很難實(shí)現(xiàn),一是因為算法可能受到商業(yè)秘密法則的保護(hù),對其進(jìn)行公開具有一定的難度;二是因為追求完全的算法透明耗費(fèi)較高。故而,算法于司法場景中應(yīng)用要適應(yīng)司法領(lǐng)域的特點(diǎn)和當(dāng)事人公正需求,保證一定程度的透明度即可??山忉屝运惴☉?yīng)用于司法場景之中,目的在于更好地保障當(dāng)事人的程序權(quán)利和實(shí)體權(quán)利的實(shí)現(xiàn)。具體來說,在涉及到算法技術(shù)應(yīng)用的司法場景,要做到不影響當(dāng)事人程序權(quán)利和實(shí)質(zhì)正義的實(shí)現(xiàn)。保障司法活動的透明和公開,在有算法介入的場景中,為當(dāng)事人提供詳細(xì)的操作指引和操作目的說明。并且,訴訟程序具有精密性和復(fù)雜性,算法在輔助訴訟程序推進(jìn)和實(shí)現(xiàn)的過程中,需對其運(yùn)行步驟進(jìn)行說明和解釋,以得到當(dāng)事人的認(rèn)同,確保當(dāng)事人的程序權(quán)利充分行使,以保障實(shí)體公正的實(shí)現(xiàn)[20]。上海高院研發(fā)的智能輔助辦案系統(tǒng)在功能上實(shí)現(xiàn)了程序瑕疵的預(yù)防、發(fā)現(xiàn)和提示的功能,即是保障程序正義的典型體現(xiàn)。

    (三)提升司法權(quán)威

    任何技術(shù)的運(yùn)用要能夠提升司法權(quán)威,而非減損司法權(quán)威,算法技術(shù)于司法領(lǐng)域的應(yīng)用亦同此理。在此邏輯前提下才能進(jìn)一步探討可解釋算法的功能發(fā)揮。司法權(quán)威首先來源于司法確認(rèn),但更重要的來源是社會民眾的認(rèn)可,要得到社會民眾的認(rèn)可,司法活動必須具有使人信服的力量和威望[21]。可解釋性算法應(yīng)用于具體案件的審判之中,需能夠?qū)λ贸龅慕Y(jié)論的正當(dāng)性作出令人信服的解釋,才能夠保證獲得當(dāng)事人的認(rèn)同。否則,如盧米斯案一般,法官在COMPAS系統(tǒng)所得出的結(jié)論在解釋上含糊其辭,則會引起爭議,削弱司法權(quán)威。具體來說,除保障正當(dāng)程序、維護(hù)司法公正、當(dāng)事人認(rèn)可,這幾點(diǎn)前已述及的理由之外,在隨著經(jīng)濟(jì)社會的發(fā)展,糾紛數(shù)量日益增多,糾紛解決復(fù)雜程度不斷提高,在大量案件涌入法院的客觀情況下,司法效率的保持和提高或許是可解釋性算法引入司法領(lǐng)域的重要考量?!度嗣穹ㄔ旱谖鍌€五年改革綱要(2019—2023)》接近三分之一的篇幅,共計十二項改革措施涉及法院的智能化建設(shè),其中八項涉及大數(shù)據(jù)分析技術(shù),三項涉及算法優(yōu)化,一項需要算力(云計算)提升,一項涉及人工智能技術(shù)(語音識別)。可以看到現(xiàn)代科技已經(jīng)廣泛應(yīng)用于多元化糾紛解決機(jī)制建設(shè)和智能輔助辦案系統(tǒng)建設(shè)。例如,統(tǒng)一的在線矛盾糾紛多元化解平臺,為當(dāng)事人提供了包括糾紛的在線咨詢、評估、分流、調(diào)解、確認(rèn)在內(nèi)的一站式服務(wù);利用信息技術(shù)推動線上線下相結(jié)合的司法確認(rèn)模式,打破傳統(tǒng)線下司法確認(rèn)的時空限制等等。由此觀之,可解釋性算法需要順應(yīng)提升司法權(quán)威的司法應(yīng)用需求。

    四、可解釋性機(jī)制的正當(dāng)性

    (一)算法在司法領(lǐng)域外顯的權(quán)力屬性決定了可解釋性機(jī)制構(gòu)建的正當(dāng)性

    在算法技術(shù)日益成熟的今天,以其為核心的“智慧法院”“數(shù)字政府”等概念也悄然興起,算法已逐漸深入大眾生活與國家治理的方方面面,人類社會進(jìn)入算法治理時代已趨必然,而算法解釋權(quán)是保障和尊重個體自治性的首道屏障[22]。有觀點(diǎn)指出:當(dāng)一個系統(tǒng)可以憑借人類無法企及的速度并且基于個體所不具備的海量即時數(shù)據(jù)產(chǎn)生某個決策時,顯然就構(gòu)成了一種洞察力與決策能力,這樣的能力很容易發(fā)展成為權(quán)力[23]7。在此種場合下,算法成為一種新型權(quán)力形態(tài),即算法權(quán)力[24]——以算法運(yùn)算過程替代決策前的思維和討論過程,將算法與公權(quán)力相結(jié)合,易形成一種更為隱秘的權(quán)力形態(tài)。體現(xiàn)在智慧司法場景下,便使得審判活動的公正性和公開性大受影響,操控算法選擇和應(yīng)用的元素因無法辨識而將導(dǎo)致司法責(zé)任制度逐漸淪為陳設(shè),公民合法權(quán)利將受到來自于更為隱秘的權(quán)力之侵蝕[15]105。故此,算法具有的新型形態(tài)揭示了算法運(yùn)用于社會治理和司法裁判領(lǐng)域所具備的權(quán)力本質(zhì),其需要通過算法解釋保證算法運(yùn)行的正當(dāng)性與合理性。權(quán)力作為一種強(qiáng)有力的社會治理工具,對把控社會發(fā)展方向具有不可或缺的作用,但對個人權(quán)益的消極影響而言,需要通過監(jiān)督和解釋的路徑予以規(guī)制,以期良性發(fā)展。如是,以算法透明度和算法解釋權(quán)為核心的歐盟《通用數(shù)據(jù)保護(hù)條例》(GDPR),成為世界上首次在成文法意義上明確的算法規(guī)制方案,其通過個人賦權(quán)(算法可解釋和反對權(quán)等),以賦予個人對抗性的權(quán)利來實(shí)現(xiàn)算法權(quán)力的規(guī)制[12]96。

    (二)算法決策在司法領(lǐng)域發(fā)揮的功能決定了可解釋機(jī)制構(gòu)建的正當(dāng)性

    如今,智慧法院的建設(shè)場域已從審判輔助領(lǐng)域的訴訟服務(wù)和執(zhí)行階段向證據(jù)規(guī)則和法律依據(jù)適用領(lǐng)域不斷拓展[25]。同時,算法自身所具備的弊端——如算法黑箱、算法偏見等,都將在一定程度上動搖著智慧法院建設(shè)的根基,在促進(jìn)司法公開、司法高效與司法便民的同時,亦制約了智慧司法的發(fā)展。算法司法決策可以在裁判領(lǐng)域的各環(huán)節(jié)形成便利,但由于法律價值判斷的非確定性,人工智能只能不斷重復(fù)法官對案件的審理思維和行為,而不能理解其中的價值性。故而人工智能算法之邏輯與法官自由裁量權(quán)所體現(xiàn)的沖突,在某種意義上可以歸結(jié)到認(rèn)識論的差異之中[26]。如此,在算法參與的案件審判中,既存在認(rèn)識論的差異,自然需要從認(rèn)識論的角度給予相關(guān)人以解釋,以期破解算法運(yùn)用于司法領(lǐng)域所易形成的信息繭房。同時,數(shù)據(jù)作為算法的來源,正如修建地基之材料,其被抓取的源頭、體量,都在一定程度上影響著算法的運(yùn)行。故而智慧法院場景下算法的解釋應(yīng)當(dāng)專注于算法運(yùn)行與數(shù)據(jù)收集兩方面。

    (三)算法技術(shù)深度融合司法的發(fā)展慣性決定了可解釋機(jī)制構(gòu)建的正當(dāng)性

    有學(xué)者指出,我們很多時候所指稱的人工智能其實(shí)只是IA( Intelligence Augmentation) ,即智能增強(qiáng)[27]。在處于弱人工智能時代的今天,算法技術(shù)與司法領(lǐng)域的融合正處于創(chuàng)新的“淺水灣”。究其原因,乃是依賴于人工智能技術(shù)的智慧法院建設(shè)存有一定的審慎態(tài)度——技術(shù)作為第一生產(chǎn)力,其在推動司法進(jìn)步的同時,也在深刻地改變著該領(lǐng)域既有的規(guī)則體系。在如此的發(fā)展進(jìn)程中,步伐邁的太大并非一件幸事,其必將伴隨著諸多問題的集中爆發(fā)。我們認(rèn)為,我國智慧法院的建設(shè)出于自上而下的政策推動,科技與司法的融合雖已成為必然趨勢,作為智慧法院大廈之基石的算法也必然逐漸深度參與司法,這一點(diǎn)毋庸置疑。但步伐如何邁得更穩(wěn)健,路途如何走的寬廣,正取決于我們對算法的把控,即有的放矢地使用算法,一方面要使算法促進(jìn)司法發(fā)展,另一方面從機(jī)制建構(gòu)的角度鉗制算法的副作用,如此發(fā)展的核心,便是算法可解釋。可以預(yù)見到,在未來的數(shù)十年中,科技與司法將進(jìn)行更深程度的融合,算法也必將從工具型的定位向分析型定位邁進(jìn)。這之中,算法的解釋將有助于消解智慧法院建設(shè)路途上關(guān)于智能系統(tǒng)介入裁判領(lǐng)域的疑慮;而算法可解釋機(jī)制的建構(gòu),無疑將從較長一段時間的視野里助力于智慧法院的發(fā)展,使算法真正成為司法闊步于新時代社會治理領(lǐng)域的車之輪、鳥之翼。

    五、算法可解釋性機(jī)制的建構(gòu)路徑

    (一)實(shí)現(xiàn)算法可解釋性機(jī)制的程序保障

    1.賦予當(dāng)事人算法解釋請求權(quán)

    賦予當(dāng)事人算法解釋請求權(quán),是為當(dāng)事人行使技術(shù)性正當(dāng)程序權(quán)利奠定基礎(chǔ)[28]。典型的算法解釋權(quán)路徑,如歐盟《通用數(shù)據(jù)保護(hù)條例》(GDPR)以1995年歐盟數(shù)據(jù)指令為藍(lán)本,在“鑒于”部分第71條和正文第22條針對基于算法的“自動化決策”賦予個人干預(yù)的權(quán)利,允許其表達(dá)的觀點(diǎn),在評估后獲得該決策的解釋,以及對決策提出質(zhì)疑[29]。本文的基本設(shè)想是,遵循以權(quán)利制約權(quán)力的控權(quán)邏輯,在算法司法決策啟動之前或者算法司法決策出現(xiàn)個案非正義結(jié)果之時,當(dāng)事人有權(quán)依據(jù)算法解釋請求權(quán),要求開發(fā)者、司法機(jī)關(guān)共同對決策程序的功能運(yùn)行和決策結(jié)果提供解釋與證明。

    2.正當(dāng)程序保障

    司法領(lǐng)域?qū)儆诤诵牡?、高敏感的公共事?wù)領(lǐng)域,故算法運(yùn)用于智慧司法場景時,必須提高其公開性、透明性以及可解釋性的等級與程度,以避免引起嚴(yán)重的正當(dāng)程序問題[30]。算法可解釋性機(jī)制要著力解決的是算法司法決策相對人參與司法的正當(dāng)程序保護(hù)問題,適用算法決策之前,需告知決策相對人決策系統(tǒng)的邏輯、意義、設(shè)想后果和一般功能,起到保障公民權(quán)利,維護(hù)司法運(yùn)行基礎(chǔ)的作用,避免出現(xiàn)算法司法輔助或者決策影響司法公正的消極影響。故而應(yīng)當(dāng)賦予當(dāng)事人程序選擇權(quán),保障當(dāng)事人程序參與權(quán),著力保障相對人的知情權(quán)和抗辯權(quán)。

    第一,賦予當(dāng)事人程序選擇權(quán),首當(dāng)其沖的是賦予當(dāng)事人啟動算法可解釋性機(jī)制的權(quán)利。在當(dāng)事人對算法司法決策結(jié)果存疑時,有權(quán)申請啟動算法解釋程序。最終是否啟動算法解釋程序由司法機(jī)關(guān)根據(jù)案件具體情況決定。如果司法機(jī)關(guān)決定不啟動算法解釋程序,應(yīng)當(dāng)將不啟動算法解釋的決定書及理由一并告知當(dāng)事人[31]106。其二是賦予當(dāng)事人拒絕算法司法決策的權(quán)利。具體設(shè)想是,當(dāng)事人在糾紛解決程序啟動之前,即可根據(jù)個人意志無條件地選擇是否適用算法司法決策,比如若當(dāng)事人認(rèn)為采用算法司法決策會嚴(yán)重影響個人關(guān)切的環(huán)境、行為和選擇,或?qū)е聜€人遭受排斥或歧視,則其可以拒絕采用算法決策。

    第二,保障當(dāng)事人程序參與權(quán)。由于算法司法決策過程的“黑箱”屬性,使得當(dāng)事人參與程序的獲得感大大降低。當(dāng)事人將爭端解決最終交由法院,并試圖盡可能多地參與這之中的每一關(guān)鍵環(huán)節(jié),以促法官能夠真正、充分地理解他們的觀點(diǎn)和要求。對當(dāng)事人的這種愿望應(yīng)給予充分的尊重,這將使當(dāng)事人內(nèi)心潛移默化地產(chǎn)生一種信念,即法官已經(jīng)充分關(guān)注到我的“聲音”,這將極大地影響當(dāng)事人看待司法公正的眼光。基本設(shè)想是,在程序推進(jìn)的關(guān)鍵環(huán)節(jié)構(gòu)建可視化操作流程,通過程序節(jié)點(diǎn)狀態(tài)和概要信息展示,令當(dāng)事人通過視圖直觀地把握程序進(jìn)行的整體狀態(tài)。在當(dāng)事人提供個人信息與智能系統(tǒng)進(jìn)行交互時,系統(tǒng)應(yīng)予以充分提示。

    3.有效性審查

    為確保算法可解釋性機(jī)制的有效運(yùn)行,有必要對其進(jìn)行有效性審查。有效性審查有助于評估個案中的算法司法決策,并確定所涉及的算法系統(tǒng)作為一個整體是否按預(yù)期設(shè)計在運(yùn)行。要將算法可解釋性機(jī)制作為一個廣泛的社會治理技術(shù)過程進(jìn)行理解,構(gòu)建全面審查的系統(tǒng)框架??山忉屝詸C(jī)制的有效性審查的具體內(nèi)容包括可解釋機(jī)制的啟動運(yùn)行、結(jié)果和后續(xù)影響[32]。首先,可解釋性機(jī)制能否在算法司法決策出現(xiàn)偏差時有效啟動和運(yùn)行,是檢驗其有效性的重要標(biāo)準(zhǔn)。重要的審查要點(diǎn)包括:可解釋性機(jī)制啟動的申請人、申請理由、程序運(yùn)作過程的技術(shù)節(jié)點(diǎn)記錄。其次,可解釋性機(jī)制運(yùn)行的結(jié)果,重要的審查要點(diǎn)包括:對解釋申請的最后結(jié)論以及作出結(jié)論的理由,結(jié)論在實(shí)踐中的公平性、有效性和合法性。然后,可解釋性機(jī)制運(yùn)行結(jié)束的后續(xù)影響,重要審查要點(diǎn)包括:當(dāng)事人是否接受審查結(jié)論,審查結(jié)論是否達(dá)到了社會效果和法律效果相統(tǒng)一。我們認(rèn)為,只有從整體上達(dá)到了切實(shí)解決算法司法決策解釋之困境,使當(dāng)事人信服,使社會效果和法律效果相統(tǒng)一,才可以說是可解釋性機(jī)制具備有效性,否則,則其有效性尚有欠缺。最后,可解釋性機(jī)制運(yùn)行的每一關(guān)鍵環(huán)節(jié)應(yīng)有詳盡備案記錄,以便復(fù)查。

    4.救濟(jì)程序

    救濟(jì)權(quán)是當(dāng)事人的重要權(quán)利,算法司法決策結(jié)果有可能影響到當(dāng)事人實(shí)體權(quán)利的實(shí)現(xiàn)或者加重其義務(wù),因此,賦予當(dāng)事人完善、可行的救濟(jì)權(quán)利是理性的選擇[31]106。具體來說,如果當(dāng)事人對不啟動可解釋性機(jī)制決定不服,可以通過向上一級法院申請復(fù)議來實(shí)現(xiàn)救濟(jì)。之所以選取復(fù)議作為救濟(jì)方式的原因在于,一是本文主張可解釋性機(jī)制是獨(dú)立于審判程序之外,單獨(dú)的程序,對算法司法決策進(jìn)行解釋,并非法院審判權(quán)的延伸,故而不能將其納入審判監(jiān)督程序框架予以救濟(jì)。二是算法司法決策啟動可解釋性程序進(jìn)行解釋的行為與具體行政行為具有相似性,且與審判監(jiān)督程序相較,復(fù)議程序更靈活、簡便、高效。具體設(shè)想是,當(dāng)事人向上一級法院申請復(fù)議,上一級法院在收到復(fù)議申請后,在法律規(guī)定時限內(nèi)做出答復(fù)。

    (二)構(gòu)建算法可解釋性機(jī)制的實(shí)體規(guī)范

    算法可解釋性機(jī)制要良好有序運(yùn)行,離不開對其具體功能有效界定,算法可解釋性機(jī)制的實(shí)體展開遞進(jìn)的包括由誰解釋(解釋主體)、解釋什么(解釋內(nèi)容)、如何解釋(解釋標(biāo)準(zhǔn))三方面的內(nèi)容。

    1.解釋主體

    在算法司法決策場景下,我們認(rèn)為,解釋主體至少可以分為算法開發(fā)者與算法使用者,開發(fā)者主要指算法設(shè)計人員,算法使用者主要指法官。算法技術(shù)的復(fù)雜性,開發(fā)者和使用者分離的客觀現(xiàn)實(shí)決定了算法決策的解釋主體多元化之特性。當(dāng)事人、審判組織、社會公眾、監(jiān)管部門、獨(dú)立研究者都會對算法技術(shù)的應(yīng)用產(chǎn)生懷疑和不信任,因而需要算法決策進(jìn)行解釋,以打開算法“黑箱”。算法司法決策的應(yīng)用必須考慮到,算法司法決策相對人及其代理人在司法程序進(jìn)行的每一環(huán)節(jié)均有可能對算法的應(yīng)用提出質(zhì)疑。如果當(dāng)事人質(zhì)疑技術(shù)的程序事項,比如算法程序的開發(fā)、審核以及部署,此時應(yīng)由算法設(shè)計者擔(dān)當(dāng)解釋主體進(jìn)行解釋,因為只有算法設(shè)計者才能清楚地說明技術(shù)原理和運(yùn)行邏輯。如果當(dāng)事人質(zhì)疑算法司法決策結(jié)果的合理性,此時應(yīng)由法官擔(dān)當(dāng)解釋主體,向當(dāng)事人作出解釋。需要指出的是,算法開發(fā)者與算法使用者作為解釋主體,在算法司法決策應(yīng)用場景中進(jìn)行解釋時,二者應(yīng)該是互相輔助、互為補(bǔ)充、聯(lián)合行動的,原因在于當(dāng)事人不服算法司法決策結(jié)果,通常是對整個算法技術(shù)應(yīng)用的合理性進(jìn)行挑戰(zhàn),此時需要解釋主體根據(jù)當(dāng)事人提出的解釋要求,與其進(jìn)行充分的溝通交流,作出針對性的解釋。

    2.解釋內(nèi)容

    司法場景中的解釋內(nèi)容,旨在解決算法設(shè)計者、算法使用者向算法司法決策相對人解釋什么的問題。具體而言,算法設(shè)計者的解釋內(nèi)容應(yīng)當(dāng)包括數(shù)據(jù)的收集和使用、算法設(shè)計的基本原理、算法程序運(yùn)行目的、原理以及算法標(biāo)準(zhǔn)。另外,在將已經(jīng)經(jīng)過驗證評估的算法交付司法機(jī)關(guān)使用時,還應(yīng)將可能出現(xiàn)的技術(shù)漏洞及風(fēng)險予以考慮并告知司法機(jī)關(guān)[33]。司法機(jī)關(guān)應(yīng)堅持從法律條文的規(guī)范目的出發(fā),聯(lián)系刑事政策與公共政策的社會取向和價值判斷對算法司法決策內(nèi)容進(jìn)行解釋[34],從司法邏輯與法律論證的吻合度、裁判過程與個案具體情境的精密度以及裁判結(jié)果與司法政策的契合度三方面,向算法司法決策相對人解釋裁判結(jié)果的合理性[35],力求全面真實(shí)的向算法司法決策相對人闡明算法司法決策所依據(jù)的規(guī)則,消除算法規(guī)則的歧義與沖突,增強(qiáng)算法司法決策相對人對決策結(jié)果的可接受性。

    3.解釋標(biāo)準(zhǔn)

    從解釋標(biāo)準(zhǔn)觀之,不同的算法司法決策應(yīng)用場景需要制定不同的解釋標(biāo)準(zhǔn),而非對所有應(yīng)用場景都要求同一解釋標(biāo)準(zhǔn)。比如,對于民事案件場景中的交通肇事、民間借貸一類的標(biāo)準(zhǔn)化程度高的案件,解釋標(biāo)準(zhǔn)應(yīng)與刑事案件場景有所區(qū)別。首先可以區(qū)分為刑事、民事、行政三大類案件應(yīng)用場景,在刑事案件應(yīng)用場景中又可繼續(xù)區(qū)分為事務(wù)性場景和實(shí)質(zhì)影響審判決策的應(yīng)用場景,前者如案卷錄入工作,后者如智能審判輔助辦案系統(tǒng)中的全案證據(jù)審查場景。刑事案件中的定罪量刑場景,比如刑法種類的確定、有罪或者無罪判決的作出,需要由法官獨(dú)立進(jìn)行判斷。原因在于,從技術(shù)層面考量,算法技術(shù)并不能準(zhǔn)確實(shí)現(xiàn)此種需求,從當(dāng)事人以及社會層面考量,定罪量刑由機(jī)器作出難以被接受,此外,此種決策將對傳統(tǒng)司法體系帶來巨大的沖擊。算法司法決策在民事案件解決中具有更廣泛的場景,但也應(yīng)有所區(qū)分,對于案情簡單、爭議不大的案件,當(dāng)事人對解釋的要求自然不高。反之,若算法司法決策應(yīng)用于家事糾紛解決場景,特別是離婚糾紛解決場景中,如何判斷“夫妻感情破裂”則需要作出更多的解釋努力,蓋因算法這一技術(shù)產(chǎn)物,在價值評斷上的薄弱,需要法官解釋加以彌補(bǔ)。在這個大前提下,歐盟《一般數(shù)據(jù)保護(hù)條例》可以為算法可解釋性機(jī)制的解釋標(biāo)準(zhǔn)提供借鑒,《一般數(shù)據(jù)保護(hù)條例》第13條第2款第(f)項、第14條第2款第(g)項、第15條第1款第(h)項提出了向數(shù)據(jù)主體提供與算法邏輯相關(guān)的有意義信息[36]。司法場景中,當(dāng)事人對算法司法決策提出質(zhì)疑,意在救濟(jì)自己受到算法決策侵害的權(quán)利,從這個角度出發(fā),所謂有意義的信息,應(yīng)與當(dāng)事人具有相關(guān)性,即必須與當(dāng)事人所受的算法司法決策有關(guān)聯(lián),對缺乏解釋必要性的事項無須解釋說明;其次,有意義的信息還必須是當(dāng)事人可理解的信息,即提供的信息具備可理解性[37],對缺乏解釋可能性的事情向當(dāng)事人說明;其三,有意義的信息需要具有可接受性,澄清算法規(guī)則背后的理由。

    六、結(jié)語

    歐盟會議智庫《算法決策:機(jī)遇與挑戰(zhàn)》報告將“可解釋性”視為決策系統(tǒng)中的關(guān)鍵議題?!恫死麑θ斯ぶ悄苊媾R挑戰(zhàn)的系統(tǒng)性觀點(diǎn)》亦將“可解釋性”視為人工智能算法“適時、穩(wěn)健、安全”的核心要素。以上論述表達(dá)的核心理念在于:如果算法不具有可解釋性,則其也不具備應(yīng)用的正當(dāng)性。算法已然逐步發(fā)展成為一種新型權(quán)力形態(tài),并在弱人工智能時代的今天顯示出侵蝕個人權(quán)利的苗頭,其介入司法領(lǐng)域,需要明確其輔助性定位。面對算法技術(shù)深度介入司法領(lǐng)域凸顯的新形勢和新特點(diǎn),傳統(tǒng)的算法法律規(guī)制路徑難以適應(yīng)司法場景的需要,故應(yīng)明確司法場景中對算法技術(shù)的應(yīng)用需求,考量其正當(dāng)性,并在此基礎(chǔ)上形成解釋主體、解釋內(nèi)容、解釋標(biāo)準(zhǔn)相對明晰的算法可解釋性機(jī)制,以修正算法技術(shù)深度應(yīng)用對司法體系的挑戰(zhàn)。人類設(shè)計算法、運(yùn)用算法的最終目的是為了增強(qiáng)自身解決問題的能力,進(jìn)一步提升生活水平并優(yōu)化社會結(jié)構(gòu)[38]。盡管對算法廣泛而深入的應(yīng)用還存在質(zhì)疑,但算法在當(dāng)下和未來的治理體系中正在發(fā)揮越來越重要的作用是毋庸置疑的。算法可解釋性機(jī)制的構(gòu)建是本文研究的出發(fā)點(diǎn),我們將繼續(xù)跟蹤司法場景中算法可解釋性機(jī)制構(gòu)建的理論和實(shí)踐發(fā)展,為破解改革難題,提升改革效能,促進(jìn)審判體系和審判能力現(xiàn)代化提供更大助力。

    猜你喜歡
    解釋性當(dāng)事人司法
    著力構(gòu)建可解釋性模型
    我不喜歡你
    派出所工作(2022年3期)2022-04-20 18:50:05
    論行政自由裁量的“解釋性控權(quán)”
    法律方法(2021年4期)2021-03-16 05:35:16
    制定法解釋中的司法自由裁量權(quán)
    法律方法(2021年4期)2021-03-16 05:34:28
    美國就業(yè)歧視當(dāng)事人的訴訟權(quán)保障
    反歧視評論(2019年0期)2019-12-09 08:52:34
    司法所悉心調(diào)解 墊付款有了著落
    非正式司法的悖謬
    什么是贊揚(yáng)激勵法?
    融媒體時代解釋性報道的發(fā)展之路
    傳播力研究(2017年5期)2017-03-28 09:08:30
    非解釋性憲法適用論
    亚洲国产精品成人综合色| 日本爱情动作片www.在线观看 | 桃色一区二区三区在线观看| 中文字幕免费在线视频6| 91精品国产九色| 人妻丰满熟妇av一区二区三区| 在线观看66精品国产| 最好的美女福利视频网| 91久久精品国产一区二区三区| 久久天躁狠狠躁夜夜2o2o| 啦啦啦啦在线视频资源| 淫妇啪啪啪对白视频| 国产成人一区二区在线| 女同久久另类99精品国产91| 久久亚洲精品不卡| 久久6这里有精品| 又爽又黄无遮挡网站| 真人做人爱边吃奶动态| 日日啪夜夜撸| 国产黄色小视频在线观看| 在线免费观看不下载黄p国产| 成人综合一区亚洲| 国产乱人视频| 亚洲国产欧美人成| 韩国av在线不卡| av专区在线播放| 悠悠久久av| 亚洲精品色激情综合| 性色avwww在线观看| 国产av一区在线观看免费| 99久久九九国产精品国产免费| 少妇人妻一区二区三区视频| 性插视频无遮挡在线免费观看| 极品教师在线视频| 人人妻人人澡人人爽人人夜夜 | 简卡轻食公司| 久久国内精品自在自线图片| 身体一侧抽搐| 高清午夜精品一区二区三区 | 亚洲精品国产av成人精品 | 淫妇啪啪啪对白视频| 欧美极品一区二区三区四区| 麻豆国产av国片精品| 麻豆成人午夜福利视频| 最近手机中文字幕大全| 99国产精品一区二区蜜桃av| 六月丁香七月| 日韩欧美精品免费久久| 日韩av在线大香蕉| 69人妻影院| 综合色丁香网| 欧美在线一区亚洲| 人妻少妇偷人精品九色| 最近的中文字幕免费完整| 一卡2卡三卡四卡精品乱码亚洲| 十八禁国产超污无遮挡网站| 日韩欧美 国产精品| 国产国拍精品亚洲av在线观看| 在现免费观看毛片| 天堂av国产一区二区熟女人妻| 寂寞人妻少妇视频99o| 国产高清视频在线观看网站| 亚洲成人久久爱视频| 99久久精品一区二区三区| ponron亚洲| 亚洲精品粉嫩美女一区| 色视频www国产| 91狼人影院| 国产真实伦视频高清在线观看| 我要搜黄色片| 亚洲图色成人| 亚洲成人av在线免费| 免费av毛片视频| 性色avwww在线观看| 丝袜喷水一区| 色哟哟哟哟哟哟| 亚洲内射少妇av| 精品人妻熟女av久视频| 国产精品亚洲美女久久久| 日韩欧美精品v在线| 舔av片在线| 免费在线观看成人毛片| 大香蕉久久网| 国产一区亚洲一区在线观看| 国产日本99.免费观看| av在线亚洲专区| 久久国产乱子免费精品| 精品久久久久久久末码| 天堂av国产一区二区熟女人妻| 亚洲人成网站高清观看| 国产女主播在线喷水免费视频网站 | 久久亚洲精品不卡| 97热精品久久久久久| 国产大屁股一区二区在线视频| 国产精品久久久久久久电影| 97在线视频观看| 久久久久性生活片| 不卡视频在线观看欧美| 我的女老师完整版在线观看| 两个人视频免费观看高清| 午夜福利在线观看吧| 你懂的网址亚洲精品在线观看 | 我要看日韩黄色一级片| 免费搜索国产男女视频| 成人无遮挡网站| 日韩亚洲欧美综合| 麻豆成人午夜福利视频| 性欧美人与动物交配| 午夜久久久久精精品| 午夜视频国产福利| 熟妇人妻久久中文字幕3abv| 永久网站在线| 五月伊人婷婷丁香| 中文字幕熟女人妻在线| 免费黄网站久久成人精品| 高清午夜精品一区二区三区 | 久99久视频精品免费| 欧美高清成人免费视频www| 美女大奶头视频| 日韩av在线大香蕉| 亚洲丝袜综合中文字幕| www日本黄色视频网| 亚洲高清免费不卡视频| 美女被艹到高潮喷水动态| 免费看a级黄色片| 成人午夜高清在线视频| 国产又黄又爽又无遮挡在线| 日日啪夜夜撸| 最后的刺客免费高清国语| 免费观看精品视频网站| 又粗又爽又猛毛片免费看| 亚洲18禁久久av| 69人妻影院| 精品无人区乱码1区二区| 青春草视频在线免费观看| 欧美又色又爽又黄视频| 在线观看午夜福利视频| 免费av观看视频| 精华霜和精华液先用哪个| 毛片一级片免费看久久久久| av专区在线播放| 深夜a级毛片| 在线观看午夜福利视频| 国产av一区在线观看免费| 大又大粗又爽又黄少妇毛片口| 最近的中文字幕免费完整| 国内久久婷婷六月综合欲色啪| 三级经典国产精品| 日韩欧美三级三区| 成人av在线播放网站| 久久久欧美国产精品| 国产av在哪里看| 免费大片18禁| 欧美色视频一区免费| 久久精品国产亚洲av天美| 欧美激情久久久久久爽电影| 少妇丰满av| 日韩av在线大香蕉| 99久久成人亚洲精品观看| 国产老妇女一区| 美女黄网站色视频| 国产亚洲av嫩草精品影院| 又爽又黄a免费视频| 伦理电影大哥的女人| 亚洲国产精品sss在线观看| 亚洲精品国产成人久久av| 国产美女午夜福利| 亚洲不卡免费看| 国产精品电影一区二区三区| 寂寞人妻少妇视频99o| 成人三级黄色视频| 综合色av麻豆| 老司机影院成人| 国产乱人偷精品视频| 熟女电影av网| 亚洲性久久影院| 给我免费播放毛片高清在线观看| 日本撒尿小便嘘嘘汇集6| 校园春色视频在线观看| 欧美区成人在线视频| 午夜精品一区二区三区免费看| 观看免费一级毛片| 变态另类成人亚洲欧美熟女| 美女黄网站色视频| 最后的刺客免费高清国语| 色av中文字幕| 成年女人看的毛片在线观看| av在线天堂中文字幕| 特大巨黑吊av在线直播| 成人高潮视频无遮挡免费网站| 自拍偷自拍亚洲精品老妇| 美女xxoo啪啪120秒动态图| 国产精品伦人一区二区| 人人妻人人澡人人爽人人夜夜 | 一本久久中文字幕| 日日摸夜夜添夜夜添av毛片| 色吧在线观看| 日本黄色片子视频| 免费观看在线日韩| 搡老妇女老女人老熟妇| 亚洲三级黄色毛片| 国产精品av视频在线免费观看| 最近手机中文字幕大全| 午夜视频国产福利| 男女下面进入的视频免费午夜| 97热精品久久久久久| 国产探花在线观看一区二区| 国产一区二区在线观看日韩| 能在线免费观看的黄片| h日本视频在线播放| 亚洲av中文av极速乱| 国产探花在线观看一区二区| 国产精品亚洲一级av第二区| 一级av片app| 国产成人a∨麻豆精品| 亚洲av.av天堂| 一级毛片电影观看 | 国产精品国产三级国产av玫瑰| 99热6这里只有精品| 免费无遮挡裸体视频| 天堂动漫精品| 亚洲av电影不卡..在线观看| ponron亚洲| 校园人妻丝袜中文字幕| 精品久久久噜噜| 亚洲av中文av极速乱| 亚洲精品影视一区二区三区av| 天堂网av新在线| 国产精品福利在线免费观看| 在现免费观看毛片| 一个人看视频在线观看www免费| 国产精品一及| 老司机午夜福利在线观看视频| 日本成人三级电影网站| 日本免费a在线| 一本精品99久久精品77| 国产精品无大码| 亚洲va在线va天堂va国产| 波多野结衣巨乳人妻| 日韩中字成人| 在线免费观看不下载黄p国产| 网址你懂的国产日韩在线| 亚洲内射少妇av| 99久国产av精品| 亚洲一区二区三区色噜噜| 在线观看美女被高潮喷水网站| 精品人妻一区二区三区麻豆 | 日本精品一区二区三区蜜桃| 在线观看美女被高潮喷水网站| 亚洲成人精品中文字幕电影| 九九久久精品国产亚洲av麻豆| 国产亚洲av嫩草精品影院| 欧美成人a在线观看| 日本一本二区三区精品| 村上凉子中文字幕在线| 久久久国产成人免费| 免费看光身美女| 中文亚洲av片在线观看爽| 日日摸夜夜添夜夜添小说| 欧美日韩一区二区视频在线观看视频在线 | 国产精品久久久久久精品电影| 一区二区三区四区激情视频 | 久久久久久久久久久丰满| 天天一区二区日本电影三级| 亚洲国产精品sss在线观看| 两个人视频免费观看高清| 国产色爽女视频免费观看| 亚洲欧美日韩无卡精品| av女优亚洲男人天堂| 国产精品99久久久久久久久| 色综合站精品国产| 尤物成人国产欧美一区二区三区| 国产不卡一卡二| 热99re8久久精品国产| 日本成人三级电影网站| 69人妻影院| 亚洲国产精品成人久久小说 | 日本黄大片高清| 日日干狠狠操夜夜爽| 日日摸夜夜添夜夜添小说| 免费电影在线观看免费观看| 免费黄网站久久成人精品| 亚洲精品日韩在线中文字幕 | 国产精品一区二区免费欧美| 高清日韩中文字幕在线| 亚洲不卡免费看| 亚洲真实伦在线观看| 欧美色视频一区免费| 精品福利观看| 日日干狠狠操夜夜爽| 亚洲精华国产精华液的使用体验 | 老司机影院成人| 国产白丝娇喘喷水9色精品| 99九九线精品视频在线观看视频| 国产在线男女| 床上黄色一级片| av黄色大香蕉| 久久久成人免费电影| 干丝袜人妻中文字幕| 精品人妻偷拍中文字幕| 最近在线观看免费完整版| 一个人看的www免费观看视频| 99九九线精品视频在线观看视频| av专区在线播放| 久久中文看片网| 精品99又大又爽又粗少妇毛片| 久久久午夜欧美精品| 国产亚洲精品久久久com| 免费无遮挡裸体视频| 欧美性感艳星| 97超碰精品成人国产| 精品久久久久久久久av| 淫妇啪啪啪对白视频| 成人国产麻豆网| 午夜激情福利司机影院| 日韩av不卡免费在线播放| 美女cb高潮喷水在线观看| 成年版毛片免费区| 岛国在线免费视频观看| 两性午夜刺激爽爽歪歪视频在线观看| 美女xxoo啪啪120秒动态图| 国产av麻豆久久久久久久| 亚洲av美国av| 日韩欧美国产在线观看| 一进一出好大好爽视频| 色尼玛亚洲综合影院| www日本黄色视频网| 日本撒尿小便嘘嘘汇集6| 12—13女人毛片做爰片一| 亚洲精品影视一区二区三区av| 久久精品国产亚洲av涩爱 | 桃色一区二区三区在线观看| 亚洲精品在线观看二区| 久久久久性生活片| 久久久午夜欧美精品| 国产美女午夜福利| 此物有八面人人有两片| 热99re8久久精品国产| 一进一出抽搐gif免费好疼| 男插女下体视频免费在线播放| 在线观看66精品国产| 丝袜美腿在线中文| 色综合色国产| 久久韩国三级中文字幕| 国语自产精品视频在线第100页| 一个人免费在线观看电影| 国产精品人妻久久久久久| 国产黄a三级三级三级人| 人妻丰满熟妇av一区二区三区| 91av网一区二区| 亚洲aⅴ乱码一区二区在线播放| 老司机福利观看| 欧美日本亚洲视频在线播放| 成年免费大片在线观看| 亚洲美女黄片视频| 如何舔出高潮| 少妇被粗大猛烈的视频| 成人亚洲精品av一区二区| 国产一区二区三区av在线 | 欧美激情国产日韩精品一区| 日本a在线网址| 成人永久免费在线观看视频| 免费观看人在逋| 欧美人与善性xxx| 超碰av人人做人人爽久久| 亚洲欧美成人精品一区二区| 亚洲熟妇熟女久久| 日韩一区二区视频免费看| 亚洲熟妇中文字幕五十中出| 欧美最黄视频在线播放免费| 麻豆国产97在线/欧美| 成人综合一区亚洲| 国产成人福利小说| 国产在线男女| 一级毛片久久久久久久久女| 日韩国内少妇激情av| 日韩欧美免费精品| 亚洲欧美日韩东京热| 精品免费久久久久久久清纯| 国产伦一二天堂av在线观看| 观看美女的网站| 欧美+日韩+精品| 我要搜黄色片| 日日摸夜夜添夜夜添av毛片| 欧美日韩精品成人综合77777| 亚洲五月天丁香| 欧美不卡视频在线免费观看| 亚洲精品影视一区二区三区av| 欧美激情国产日韩精品一区| 国产黄a三级三级三级人| av专区在线播放| 久久久精品94久久精品| 亚洲国产日韩欧美精品在线观看| а√天堂www在线а√下载| 搡老熟女国产l中国老女人| 最近视频中文字幕2019在线8| 久久久欧美国产精品| 乱人视频在线观看| 搞女人的毛片| 91久久精品国产一区二区成人| 国产精品国产高清国产av| 夜夜爽天天搞| 亚洲人成网站在线播放欧美日韩| 亚洲最大成人手机在线| 日韩av不卡免费在线播放| 国产中年淑女户外野战色| 国产三级中文精品| 国产69精品久久久久777片| 亚洲自拍偷在线| 久久草成人影院| www日本黄色视频网| 欧洲精品卡2卡3卡4卡5卡区| 高清日韩中文字幕在线| 亚洲丝袜综合中文字幕| 噜噜噜噜噜久久久久久91| 日韩在线高清观看一区二区三区| 欧美性猛交黑人性爽| 久久久欧美国产精品| 美女xxoo啪啪120秒动态图| 两性午夜刺激爽爽歪歪视频在线观看| av卡一久久| 一级黄色大片毛片| 国内精品宾馆在线| 亚洲精品日韩在线中文字幕 | 天天一区二区日本电影三级| 午夜福利在线观看吧| 精品一区二区三区视频在线观看免费| 别揉我奶头~嗯~啊~动态视频| 国产三级中文精品| 精品午夜福利视频在线观看一区| 久久这里只有精品中国| 午夜精品一区二区三区免费看| 久久久久久国产a免费观看| 日韩成人伦理影院| 日日摸夜夜添夜夜爱| 国产视频一区二区在线看| 国产亚洲精品久久久com| 久久久久久九九精品二区国产| aaaaa片日本免费| 午夜福利18| 老司机福利观看| 亚洲综合色惰| 青春草视频在线免费观看| a级毛片免费高清观看在线播放| 亚洲精华国产精华液的使用体验 | 精品99又大又爽又粗少妇毛片| 一进一出好大好爽视频| 日韩一区二区视频免费看| 成人漫画全彩无遮挡| 日本熟妇午夜| 97热精品久久久久久| 我的老师免费观看完整版| 99热6这里只有精品| 亚洲自拍偷在线| 亚洲精品乱码久久久v下载方式| 久久精品国产清高在天天线| 精品国内亚洲2022精品成人| 中文字幕熟女人妻在线| 国产毛片a区久久久久| 国模一区二区三区四区视频| 寂寞人妻少妇视频99o| 热99re8久久精品国产| 久久国产乱子免费精品| 国产综合懂色| 久久久久久久午夜电影| 内射极品少妇av片p| 毛片一级片免费看久久久久| 成人特级黄色片久久久久久久| 别揉我奶头~嗯~啊~动态视频| 2021天堂中文幕一二区在线观| 日韩,欧美,国产一区二区三区 | 久久久精品欧美日韩精品| 久久久久国产网址| 国内精品宾馆在线| 最好的美女福利视频网| 别揉我奶头 嗯啊视频| 亚洲av美国av| 日日摸夜夜添夜夜添av毛片| 国产精品久久视频播放| 大型黄色视频在线免费观看| 中出人妻视频一区二区| 国产精品一及| 国产亚洲精品综合一区在线观看| 欧美成人a在线观看| 亚洲成人久久性| 性欧美人与动物交配| 国产精品久久久久久精品电影| 可以在线观看毛片的网站| 免费大片18禁| 成人亚洲欧美一区二区av| 99在线视频只有这里精品首页| 日本免费一区二区三区高清不卡| 蜜桃亚洲精品一区二区三区| 黑人高潮一二区| 久久亚洲国产成人精品v| 欧美激情在线99| 日本黄大片高清| 国产69精品久久久久777片| 免费av毛片视频| 成人欧美大片| 一个人免费在线观看电影| 中文亚洲av片在线观看爽| 一级黄片播放器| 少妇丰满av| 成年女人毛片免费观看观看9| 蜜臀久久99精品久久宅男| 一本一本综合久久| 不卡一级毛片| 激情 狠狠 欧美| 日本欧美国产在线视频| 波野结衣二区三区在线| 69人妻影院| 免费av不卡在线播放| 欧美日韩在线观看h| 非洲黑人性xxxx精品又粗又长| 久久久久久九九精品二区国产| 麻豆国产av国片精品| 日本成人三级电影网站| 最后的刺客免费高清国语| 国产毛片a区久久久久| 噜噜噜噜噜久久久久久91| 日韩大尺度精品在线看网址| 两性午夜刺激爽爽歪歪视频在线观看| 91在线精品国自产拍蜜月| 欧美最黄视频在线播放免费| 高清日韩中文字幕在线| 一级黄片播放器| 国内少妇人妻偷人精品xxx网站| 国产精品久久久久久av不卡| 国产精品99久久久久久久久| 国产私拍福利视频在线观看| 中文字幕人妻熟人妻熟丝袜美| 精品人妻视频免费看| 成人二区视频| 欧美日本亚洲视频在线播放| 麻豆乱淫一区二区| 蜜臀久久99精品久久宅男| 99久国产av精品国产电影| 伦理电影大哥的女人| 超碰av人人做人人爽久久| 中文资源天堂在线| 变态另类丝袜制服| 亚洲人成网站高清观看| 少妇高潮的动态图| 国产成人福利小说| 亚洲久久久久久中文字幕| 一级a爱片免费观看的视频| 桃色一区二区三区在线观看| 亚洲最大成人中文| 日韩人妻高清精品专区| 国产片特级美女逼逼视频| 永久网站在线| 亚洲最大成人手机在线| 国内精品美女久久久久久| 一本久久中文字幕| 插逼视频在线观看| 久久韩国三级中文字幕| 三级经典国产精品| 国产精品精品国产色婷婷| 99精品在免费线老司机午夜| 国产精品人妻久久久影院| 久久久久久久亚洲中文字幕| 亚州av有码| 尤物成人国产欧美一区二区三区| 99热网站在线观看| 天堂影院成人在线观看| 久久精品久久久久久噜噜老黄 | 国产麻豆成人av免费视频| 日韩欧美 国产精品| 国产美女午夜福利| 99国产极品粉嫩在线观看| 日本黄色片子视频| 欧美bdsm另类| 国产av一区在线观看免费| 日韩欧美三级三区| 中文字幕久久专区| av在线天堂中文字幕| 黄色配什么色好看| 亚洲婷婷狠狠爱综合网| 婷婷精品国产亚洲av| 99riav亚洲国产免费| 熟女电影av网| 成人av在线播放网站| 亚洲国产高清在线一区二区三| 亚洲精品久久国产高清桃花| 精品一区二区三区视频在线观看免费| 精品日产1卡2卡| 麻豆国产97在线/欧美| 在线观看66精品国产| 免费看av在线观看网站| 国产男人的电影天堂91| 国产黄片美女视频| 日本黄色片子视频| 国产国拍精品亚洲av在线观看| 大香蕉久久网| 最近的中文字幕免费完整| 国产精品一及| 人妻制服诱惑在线中文字幕| 亚洲成人久久爱视频| 国产精品一及| 成人高潮视频无遮挡免费网站| 热99re8久久精品国产| 亚洲av免费在线观看| 99久久九九国产精品国产免费| 最近2019中文字幕mv第一页| av免费在线看不卡| 久久久久国产精品人妻aⅴ院| 可以在线观看的亚洲视频| 免费电影在线观看免费观看| 亚洲国产精品合色在线| 韩国av在线不卡| 欧美精品国产亚洲| 亚洲国产精品合色在线| 精品无人区乱码1区二区| 国产精品,欧美在线|