• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    智能裁判風(fēng)險的技術(shù)正當程序控制

    2022-11-08 20:49:15王玉薇
    求是學(xué)刊 2022年4期
    關(guān)鍵詞:裁判法官要素

    王玉薇

    當下,智能裁判凸顯三個方面的重要轉(zhuǎn)型:一是在技術(shù)維度上,司法裁判運作全過程都是在智能系統(tǒng)的技術(shù)邏輯操作下自動封閉完成的,這促使了人腦智能向機器智能的全面升級。二是在主體性維度上,人工智能算法的進步帶來的更深層原因是人的主體性危機。由于智能裁判運作全過程都是在算法的暗箱操控下自動進行,因而形成了“算法裁判的量化規(guī)范邏輯和經(jīng)驗規(guī)范邏輯”,這就促進了自然人裁判向算法裁判的演進。三是在機制維度上,要素化裁判成為智能裁判運作的主要機制,實現(xiàn)了有紙化辦案向智能化輔助變革。這些轉(zhuǎn)型在有效推進數(shù)字法治建設(shè)的同時,也產(chǎn)生了一定的智能裁判風(fēng)險后果,如何對這些風(fēng)險后果進行有效控制,就成為智能裁判技術(shù)深度應(yīng)用所必須解決的時代課題。

    一、智能裁判的風(fēng)險升級

    從字面看,智能裁判主要指人工智能模仿人類智能所進行的裁判。但是,究竟能模仿或表示到什么程度,如輔助抑或替代法官裁判,最終需取決于人工智能的“智能”程度。這樣的“智能”程度顯然取決于算法技術(shù)的發(fā)展,如封閉算法和機器學(xué)習(xí)算法,兩者的迭代演進與交織并行,促使智能裁判的風(fēng)險問題不斷凸顯。需要明確的是,無論算法技術(shù)如何升級,智能裁判終將只能由人類作出,機器只不過在特定事項上獨立替代法官作出裁判決策而已。

    (一)從技術(shù)依賴到技術(shù)主導(dǎo)

    眾所周知,智能裁判運作的核心在于人工智能技術(shù)的應(yīng)用。人工智能技術(shù)介入裁判的根本目的應(yīng)該是輔助法官進行裁判,只不過技術(shù)在其中發(fā)揮的作用不一。早期的智能裁判技術(shù)主要運用封閉規(guī)則的算法,即“基于自然語言處理、深度學(xué)習(xí)的計算機語義檢索和法律問答,幫助司法人員進行法律檢索或者關(guān)鍵信息檢索”。譬如借助電腦量刑技術(shù),刑事法官僅僅在軟件系統(tǒng)中鍵入案件參數(shù)情況,就能夠自動生成精確的量刑結(jié)果。再如裁判文書自動生成技術(shù),河北法院應(yīng)用智能系統(tǒng)輔助法官制作255.49萬份裁判文書,能夠減輕法官30%以上的案頭事務(wù)性工作。可見,人工智能一旦介入司法裁判領(lǐng)域,人類勢必對技術(shù)產(chǎn)生極大依賴,并可能開始學(xué)習(xí)如何向機器一樣思維。

    隨著算法的迭代、算力的飛速提升,特別是機器深度學(xué)習(xí)算法技術(shù)的飛速發(fā)展又給人類帶來了新的美好期待。那就是,讓機器在大數(shù)據(jù)中自主學(xué)習(xí)怎樣才能“像法官那樣”思維并作出裁判。譬如,過去只能由法官做出的事情,如撰寫裁判文書、整理卷宗材料、預(yù)測量刑等,通過機器深度學(xué)習(xí)算法,現(xiàn)在已經(jīng)部分可以由機器獨立完成了。由此,計算機成功實現(xiàn)了從對案件的“處理”向“審理”的華麗轉(zhuǎn)身,并獨立作出司法決策。實踐中,廣州互聯(lián)網(wǎng)法院部署“數(shù)字法官助理”——第二代RPA 流程機器人,基于知識圖譜技術(shù)定向研發(fā)ZHI 系統(tǒng),實現(xiàn)知識產(chǎn)權(quán)糾紛全要素智能審判。一旦這樣,“人類實質(zhì)上就以服從歷史模型的方式臣服于機器,機器便以尊重歷史經(jīng)驗的表象實際統(tǒng)治了人類,而裁判機器便成為這種統(tǒng)治模式最核心的一個‘部件’”。

    (二)從輔助辦案向輔助裁判

    眾所周知,智能裁判應(yīng)用的主要目的在于輔助法官制作裁判文書,減輕法官案頭事務(wù)性工作并大大提升審判的智能化水平,進而成為法官辦案的重要輔助。這里的辦案輔助主要指法官辦案流程的智能輔助。在我國,很多法院推出了不同功能的智能輔助辦案系統(tǒng)。如,上?!?06”刑事案件智能輔助辦案系統(tǒng)、北京“睿法官”智能研判系統(tǒng),以及最高人民法院的“類案智能推送系統(tǒng)”等。這些產(chǎn)品以其強大的技術(shù)內(nèi)核成為法官辦案的得力幫手。

    隨著深度學(xué)習(xí)算法技術(shù)的進一步發(fā)展,我們可以實現(xiàn)網(wǎng)上立案、電子送達、電子簽章、在線遠程庭審,智慧執(zhí)行和智慧監(jiān)督等為內(nèi)容的全流程網(wǎng)上辦案。根據(jù)有關(guān)數(shù)據(jù)統(tǒng)計,截至2020 年底,全國已有3256 家法院建成了電子卷宗隨案同步生成系統(tǒng),73%以上的案件已經(jīng)實現(xiàn)隨案同步生成電子卷宗,審判智能化水平實現(xiàn)跨越式發(fā)展。于是,人們開始幸福地憧憬著深度學(xué)習(xí)算法所勾勒出來的未來圖譜。如前面提到的廣州互聯(lián)網(wǎng)法院部署“數(shù)字法官助理”——第二代RPA 流程機器人可以實現(xiàn)知識產(chǎn)權(quán)糾紛全要素智能審判。如此一來,“機器能代替法官獨立完成某些司法決策”,甚至“可以代替法官直接做出裁判”。

    從表層看,不管是制作電子文書和一鍵生成卷宗材料,還是強化類案檢索和同案同判;無論是量刑評估和偏離預(yù)警,還是通過深度學(xué)習(xí)不斷實現(xiàn)裁判全程數(shù)字化,盡管人工智能表現(xiàn)出明顯超越人類裁判的計算能力和精準預(yù)測性,但此時的智能裁判仍然只是傳統(tǒng)裁判的網(wǎng)絡(luò)化、技術(shù)化和工具化,并未對司法的本質(zhì)、架構(gòu)及規(guī)律造成實質(zhì)性威脅,沖擊的只是司法職業(yè),并未撼動法官裁判的最終決策權(quán)。與輔助辦案不同的是,輔助裁判可能對法官決策造成重大影響。但從深處看,無論是輔助辦案還是輔助裁判,此時智能裁判風(fēng)險還相對可控,其智能量刑的參考意見、風(fēng)險評估報告、類案推送結(jié)果等是否最后被采用,最終仍由人類法官自主決定。但從長遠看,工具主義無限擴張對司法裁判的最大威脅在于,法院的裁決將貶值為廉價易用的應(yīng)用軟件,法官職業(yè)就不可避免地趨向消亡。

    (三)從改變機制到觸及屬性

    誠然,要素式審判是智能裁判運作的重要機制。其基本原理主要借助智能機器和機器深度學(xué)習(xí)技術(shù),圍繞爭議要素從已有司法大數(shù)據(jù)里的案例和判決中進行自動抓取,然后自動生成裁判文書,為法官判決提供參考。這樣做的好處是,客觀上簡化了審判流程,實質(zhì)上讓案件裁判提質(zhì)、增速、看得見。據(jù)統(tǒng)計,2020 年,人民法院建成以全國法院“一張網(wǎng)”為代表的全要素一體化的人民法院信息基礎(chǔ)設(shè)施。然而,要素式裁判機制對爭議要素的自動抓取不僅會引發(fā)司法行政權(quán)的擴張和個人程序參與權(quán)的縮小,而且會阻礙數(shù)字人權(quán)的實現(xiàn),如裁判文書公開及自動生成,數(shù)據(jù)挖掘及數(shù)據(jù)鴻溝等會對個人的信息權(quán)、隱私權(quán)等基本人權(quán)構(gòu)成較大威脅,這將大大動搖司法裁判保障人權(quán)的基本屬性。理由是,“無論個人信息處理行為是否基于個人的同意,處理者原則上都負有告知的義務(wù),除非法律規(guī)定了可以免于告知”。

    須知,智能裁判本質(zhì)上呼喚的是數(shù)據(jù)多跑路、人少跑路,實現(xiàn)數(shù)字正義。但在算法黑箱、算法進一步本體化的指引下,算法實則替代法官成為裁判者。這樣一來,依法裁判將變?yōu)橐罃?shù)據(jù)裁判,依規(guī)則裁判也將變?yōu)橐酪?guī)律裁判,法官裁判將變成算法裁判,司法自治的理想將成為泡影。這必然會顛覆司法正義,以及法治的諸多假設(shè),甚至機器替代法官成為決策主體作出的判決是否具有可接受性,均存在疑問。

    申言之,“由于大數(shù)據(jù)與深度學(xué)習(xí)技術(shù),算法進一步演化為本體化的算法”,這直接產(chǎn)生兩方面的后果:一方面,如果智能裁判算法使用了大數(shù)據(jù)和深度學(xué)習(xí)技術(shù),則會陷入“技術(shù)黑箱”困境,一定程度上還會削減公民個體的程序權(quán)利,也必然影響著公民個體實體權(quán)利的行使。另一方面,算法一旦實現(xiàn)本體化,機器替代法官成為決策主體,消解人的自主權(quán),則違背了人類發(fā)明人工智能的初衷,進而觸及司法的本質(zhì)和精神。

    二、智能裁判風(fēng)險升級的法律后果

    在當今智慧司法的實踐中,智能裁判的發(fā)展已經(jīng)勢不可當,但我們不應(yīng)盲目樂觀而應(yīng)理性和審慎對待。更要深刻地認識到,智能裁判在提高司法質(zhì)效和促進可視正義實現(xiàn)的同時,也因其對技術(shù)的過度依賴、算法決策的應(yīng)用和要素式審判的實踐而促使其風(fēng)險不斷升級。因此,我們需要對智能裁律風(fēng)險升級的法律后果進行類型化研究,以利于智能裁判改革的有序推進。

    (一)技術(shù)依賴減損正當程序價值

    智能裁判是指“利用好現(xiàn)有大數(shù)據(jù)資源、已有的法學(xué)理論研究成果和日趨完善的AI 模型算法,通過橫向?qū)Π讣藴驶崛∨c標注、縱向?qū)Σ门兴季S的梳理與整合等進行多重維度的深挖以構(gòu)建民商事案件智能辦案系統(tǒng)”。如此操作可以大大提高司法裁判質(zhì)效,促進類案裁判標準統(tǒng)一。但其對人工智能技術(shù)的過分依賴,不可避免地會對正當程序價值有所影響和沖擊。

    其一,技術(shù)程序標準有局限。在智能裁判問題上,智能互聯(lián)網(wǎng)的優(yōu)勢在于場景定制和程序建模,從而形成一套算法來提供智能化的產(chǎn)品和服務(wù)。其運作機理主要是通過計算機編程程序模擬、歸納和回答計算機系統(tǒng)能夠識別的法律規(guī)范和法律事實,從而使法庭所使用的推理標準化和趨同化。如此,“‘簡化裁判過程’和‘消解價值判斷’的雙重策略均與司法的一般性質(zhì)相?!?。更為嚴重的是,計算機編程的智能性、高效性和便宜性將大大改變原有程序規(guī)則生成的本源環(huán)境,迫使司法正義被解構(gòu)重組,進而對法官獨立行使審判權(quán)原則和公民訴訟權(quán)利平等原則等造成重大影響和干擾,這與正當程序所追求的獨立性、中立性和人權(quán)性等價值正好背道而馳。一方面,計算機編程程序限制了法官、當事人和其他訴訟主體間的互動與溝通;另一方面,計算機編程程序還限制了案件結(jié)果的互動、辯論和說明理由等正當程序價值的實現(xiàn)。

    其二,技術(shù)封閉影響訴權(quán)平等。如前所述,智能裁判是通過計算機編程提前將現(xiàn)實世界的法律規(guī)范和法律事實遵循“0”和“1”編譯方式提前植入機器程序中,從而促進類案裁判標準統(tǒng)一。而這些算法及程序的設(shè)計和運行過程往往都由計算機程序員或機器來操作的,無論是法官,或是案件當事人,還是其他訴訟主體都無從知曉。相反,現(xiàn)實世界的司法裁判則是在法律規(guī)范和案件事實之間不斷溝通、來回穿梭、綜合選擇的結(jié)果。如果一味地過度依賴人工智能技術(shù)在智能裁判中的功效,雖然短期內(nèi)裁判質(zhì)效可能會大幅度提升,例如類案智能檢索系統(tǒng)檢索的結(jié)果更加客觀公正,但是隨著智能技術(shù)的深入推廣,這會使司法裁判活動的程序內(nèi)核可能存在被智能技術(shù)的低成本部分所替代的風(fēng)險。例如送達的電子化、庭審的網(wǎng)絡(luò)化使得原有的送達本人有效原則、庭審的對席原則和直接審理原則等均受到重大挑戰(zhàn)。

    此外,被送達人的知情權(quán)、法院與當事人面對面直接溝通,以及直觀獲取訴訟信息的權(quán)利也將面臨重大挑戰(zhàn)。在國外著名的盧米斯案件中,盧米斯認為“按照美國憲法第六修正案,被告人有權(quán)知道被控告的理由,法院依據(jù)COMPAS 的評估對其加以判決侵犯了其正當程序權(quán)利”,但這樣的判決及操作仍無法預(yù)防和提醒法官算法評估的危險性、危害性和偏見性。從表面看,上述判決前調(diào)查報告制度和算法評估似乎已經(jīng)為當事人正當權(quán)利的行使提供了可靠的程序保障,但深入分析和觀察后我們不難發(fā)現(xiàn),上述做法過分自信地夸大了法官對算法評估的控制能力,加劇智能技術(shù)的工具性對程序中立性和獨立性價值的沖擊。

    其三,技術(shù)失誤產(chǎn)生不公。一般來看,傳統(tǒng)司法訴訟過程的實現(xiàn)是由作為裁判者的法官、當事人,以及訴訟參與人共同辯論、協(xié)商、互動的結(jié)果。然而,隨著司法大數(shù)據(jù)在裁判領(lǐng)域的推廣應(yīng)用,人工智能技術(shù)的工具價值日漸凸顯并慢慢地滲透甚至操控了司法裁判的全過程。與此同時,法官等司法人員由于對人工智能技術(shù)產(chǎn)生了強烈依賴和迷戀,如若過度依賴則不僅容易形成不公正判決或誤判,還可能增加新的訴訟發(fā)生的風(fēng)險,這將整體上大大增加了訴訟時間和司法成本。從根源上看,智能裁判結(jié)論形成的主要依據(jù)是司法大數(shù)據(jù)中隱藏的規(guī)律性、預(yù)測性和數(shù)據(jù)間的相關(guān)性,這就很容易忽視司法裁判的論辯性、價值性和因果性,進而產(chǎn)生裁判的錯誤或不公正。如學(xué)者指出的,“運用此種模式化程序大大加快案件審理進程的同時導(dǎo)致對實體公正的損害、甚至導(dǎo)致錯誤裁判”。

    (二)算法決策妨害數(shù)字人權(quán)實現(xiàn)

    如前所述,智能裁判主要指機器替代法官進行的裁判。換言之,在某些事項上,機器或算法可以代替法官直接作出裁判或獨立完成某些司法決策。這樣一來,“糾紛中的人文關(guān)懷、法官與當事人等主體的主體性則會逐漸被吞噬”,數(shù)字人權(quán)受到極大侵犯。

    首先,威脅法官審判主體地位。誠然,智能裁判是通過計算機算法依據(jù)司法大數(shù)據(jù)模擬法官裁判思維進行經(jīng)驗式和規(guī)律性推理的。那么,智能裁判首先面臨的問題便是機器是否擁有審判權(quán)以及這種審判權(quán)的正當性及合法性問題。無論智慧司法建設(shè)如何推進,當下審判權(quán)的形成以及審判機構(gòu)的組成和功能都是基于人類社會自身發(fā)展和進步的客觀需要,其目的在于實現(xiàn)人類自身的秩序、安全、法治、權(quán)利、平等、正義等法律價值的需要。換言之,無論社會發(fā)展如何進步,司法制度如何演進,司法文明如何體現(xiàn),所有這些都應(yīng)以人類自身的客觀需要與美好生活愿景為根本前提,任何除了人本身的物種來審判人類必將遭受裁判正當性和合法性的質(zhì)疑。

    進一步說,智能裁判結(jié)論是由機器基于深度學(xué)習(xí)而自主作出的,顯然機器在某種程度上實現(xiàn)并完成了對人類的審判,其替代人類作出裁判的結(jié)果必將遭受裁判正當性和合法性的懷疑。比如在刑事司法領(lǐng)域,故意殺人罪的定罪與量刑是刑法規(guī)范與非刑法規(guī)范綜合作用而形成的復(fù)雜結(jié)果。首先刑法規(guī)范必須明確。其次刑事政策、文化傳統(tǒng)、道德習(xí)慣、公眾輿論、司法經(jīng)驗等非刑法規(guī)范因素也是該類案件定罪與量刑必須要考量的因素。在民事司法領(lǐng)域,經(jīng)常存在適用法律原則(公序良俗、情勢變更等)、價值評價性規(guī)定(顯失公平、惡意串通等)、程序性規(guī)定(重大誤解、顯失公平等)等情形。由于人工智能畢竟是機器,很難具有自由意志和人類情感,尤其是“當事人提出的情感訴求和非理性訴求,并不能靠數(shù)學(xué)模型和高速計算得出的‘正確結(jié)果’去化解”。因此,智能裁判無法對法律案件中紛繁復(fù)雜的規(guī)范性與非法規(guī)范性因素進行綜合權(quán)衡和理性回應(yīng),于是很容易使案件中當事人的基本訴權(quán)受到重大侵犯和嚴重影響。

    其次,阻礙數(shù)字正義實現(xiàn)。誠然,智能裁判的運行實踐與設(shè)計初衷就是要讓數(shù)據(jù)多跑路,讓群眾少跑路,最終實現(xiàn)司法親民化和數(shù)字正義。實踐中,浙江通過“全域數(shù)字法院”建設(shè),實現(xiàn)全流程智能輔助,推動整體智治與數(shù)字正義的全面實現(xiàn)。而上述“全域數(shù)字法院”實踐有效推進的重要前提恰恰是必須保證智能司法資源人人享有并平等參與,特別是話語權(quán)較弱的數(shù)字弱勢群體(如不熟悉數(shù)字產(chǎn)品、不會使用數(shù)字產(chǎn)品等)也能通過智能裁判尋求更快捷、便利的權(quán)利救濟。如若不然則會形成三道“智能裁判鴻溝”,即無法接觸到智能裁判而產(chǎn)生的“接入溝”、無法使用智能司法技術(shù)而產(chǎn)生的“使用溝”、無法平等獲得參與和熟知智能裁判操作與運行的“知識溝”。這三道“智能裁判鴻溝”在很大程度上使得數(shù)字弱勢群體的數(shù)字人權(quán)面臨極大威脅。

    從智能裁判的“接入溝”看,公眾對智能裁判算法的設(shè)定過程及基本原則等細節(jié)一般都無從知曉。由此,智能裁判根據(jù)智能算法所得出的有關(guān)案件預(yù)測結(jié)果、量刑適用參考結(jié)論、權(quán)利義務(wù)配置等具體內(nèi)容,可能在形式上或外觀上并不違法,但在合理性和正當性方面卻存在諸多爭議,更不符合實質(zhì)正義的價值追求。如有學(xué)者認為的,“出自技術(shù)人員之手的算法用在審判的過程中,扮演了決策者的角色,其正當性首先在理論層面引起了懷疑”。從智能裁判的“使用溝”看,很多公眾對智能裁判技術(shù)、業(yè)務(wù)平臺,以及流程并不太熟悉,這容易引發(fā)公眾對智能裁判結(jié)論正當性和合法性的雙重拷問,嚴重的將阻礙智能裁判本身的正義性和公平性。從智能裁判的“知識溝”看,很多公眾對智能裁判的運行原理和知識并不通曉。如前所述,智能裁判運作的本心是想用機器替代人類進行司法裁判或作出司法決策,“而一旦人腦決策過度依賴算法決策,甚至算法決策替代了人腦決策的話,人權(quán)遭遇侵犯以及人權(quán)保護的樣態(tài)也將會發(fā)生重大改變”。

    再次,阻礙公民知情權(quán)實現(xiàn)。誠然,智能裁判憑借其背后強大的算法技術(shù)和大數(shù)據(jù)支持,順利依據(jù)群體數(shù)據(jù)對待決案件作出司法決策,從而使司法裁判提速增效。然而,群體數(shù)據(jù)獲取過程中很容易侵犯個人信息的平等權(quán)。它常常以侵犯、抓取、泄露個人信息隱私等為代價建立司法大數(shù)據(jù),勢必對公民數(shù)字知情權(quán)和數(shù)字參與權(quán)構(gòu)成較大阻礙。譬如,智能算法黑箱的存在使得庭審控辯的三角結(jié)構(gòu)發(fā)生嚴重失衡,被告人的一系列訴訟權(quán)利,特別是辯方的質(zhì)證權(quán)、辯護權(quán)和提出回避權(quán)等都將受到重大影響。由此,智能裁判使得機器法官成了一個霸道的裁判者,就連法官自己都無從知曉智能算法是什么以及如何運行的情形下,何談對公民數(shù)字知情權(quán)和數(shù)字參與權(quán)的保障呢?在刑法領(lǐng)域,人工智能常常被用來輔助量刑,然而輔助量刑技術(shù)背后的算法黑箱、數(shù)據(jù)不全面、唯公權(quán)力化等因素,都可能會影響個案的實質(zhì)公正性。這樣一來,技術(shù)可能不當干預(yù)或操控法院的審判信息和當事人的證據(jù)信息,甚至替代國家權(quán)力進行干預(yù)審判過程,這是極為嚴重的。實踐中,杭州互聯(lián)網(wǎng)法院依托阿里巴巴技術(shù)公司建立訴訟平臺,深圳法院依托騰訊公司的人工智能技術(shù)進行類似審判??梢哉f,在一定程度上技術(shù)可能成功俘虜了法院判決的公正性,這也是大型網(wǎng)絡(luò)公司商業(yè)利益驅(qū)動的必然結(jié)果。

    (三)要素式裁判解構(gòu)實質(zhì)正義

    要素式裁判是智能裁判運作的重要機制。其基本原理主要借助人工智能、法律知識圖譜、法律大數(shù)據(jù)自動識別并抓取案件裁判中必備的法律要素和事實要素,重點圍繞爭議要素進行自動整理、歸納,并抓取數(shù)據(jù)庫已有案例和判決的共性規(guī)律后批量自動生成裁判文書并予以判決,客觀上簡化了審理流程,實質(zhì)上讓案件裁判提質(zhì)增速看得見,摸得著,但卻因智能裁判要素不完備和提前設(shè)定而引發(fā)如下三個問題:

    一是“要素”不完備阻礙個案可視正義。實踐發(fā)展表明,“要素”索引系統(tǒng)越完備,依據(jù)其作出的預(yù)測結(jié)果才會越準確。令人遺憾的是,“要素”索引系統(tǒng)可能永遠是“不夠完備的”,因此依其作出的審查意見和量刑參考就會出錯。理由恰是,“要素”索引系統(tǒng)既無法應(yīng)對千變?nèi)f化的法律事實和頻繁出臺的法律規(guī)范,也無法應(yīng)對法律實踐中的新型案件和復(fù)雜案件,因而會阻礙待決案件的實際匹配質(zhì)量和實質(zhì)正義。其根源可追溯到“要素”索引系統(tǒng)的預(yù)先設(shè)定性?!耙亍彼饕到y(tǒng)的提前設(shè)定并不能滿足一些新型案件和復(fù)雜案件的個案需求,根據(jù)過往案件而建立的預(yù)測模型所得出的審查意見和量刑參考只能是概率性的預(yù)測判斷。相較于基于質(zhì)量較差、參差不齊的類案歸納出來的“普遍正義”,當事人毋寧寄希望于法官通過充分說理所得出的“個別正義”。這樣一來,“要素”索引系統(tǒng)的預(yù)先設(shè)定很可能就會出錯或遺漏,從而導(dǎo)致不相似案件“成功”匹配、相似案件失之交臂的雙重嚴重后果。山東省高級人民法院印發(fā)《要素式審判方式指引(試行)》的通知,規(guī)定要素式智能優(yōu)先選擇案由為金融借款合同糾紛、物業(yè)服務(wù)合同糾紛、離婚糾紛等類型案件。這就意味著沒有被要素式智能裁判優(yōu)先選擇的案件可能不能或較少適用智能裁判,影響智能裁判效果的全覆蓋和全面可視正義價值的最終實現(xiàn)。

    二是“要素”僵硬影響個案結(jié)果互動。眾所周知,司法裁判需要憑借法官高度理性和豐富經(jīng)驗反復(fù)比較、衡量,以及博弈后作出最佳選擇,而這顯然是智能機器依靠的僵硬算法邏輯所不能企及的。此外,更為重要的是,“大數(shù)據(jù)預(yù)測在簡單案件中或許能夠?qū)崿F(xiàn)同案同判的目標,但是在大多數(shù)情形下同案同判仍然要依賴人類自己的理性判斷”。這就意味著智能裁判無法做到對案件的全樣本進行采集,也無法實現(xiàn)待決案件和已決案件的即時性和同步性。實踐中,智能技術(shù)并不能對復(fù)雜案件、疑難案件的全部信息和全部過程進行抓取,其只能提供一種相對標準化、選擇化的要素供智能裁判系統(tǒng)深度學(xué)習(xí)。而這樣的相對標準化要素恰恰無法滿足法官個案裁判時的個性化、特殊化、場景化和語境化需求。即便是上述需求能夠?qū)崿F(xiàn),“要素”事實語言的轉(zhuǎn)換也面臨重大難題。譬如當下的智能裁判系統(tǒng)無法根據(jù)“事實-規(guī)范”的契合性程度以及法律術(shù)語的動態(tài)語義,合理、恰當?shù)貛椭ü僭诩姺睆?fù)雜的“法律-事實-價值”沖突間作出最佳取舍。

    三是評價個案法律意義能力弱。按照常理,評價待決案件法律意義是一個非常復(fù)雜的過程,需要法官在法律規(guī)范與案件事實間不斷推理和反復(fù)論證方能做出最終結(jié)論。這不僅取決于單獨個案的法律意義和社會意義,更重要的是要看這個個案在法律體系中的整體性評價,而非“要素”索引系統(tǒng)儲備的共同要素數(shù)量。理由恰是即使兩個案件的共同要素很多,也不能斷定二者一定是類案。換言之,案件相似性的辨析任務(wù)主要還是由人類來完成,而理解和評價案件的關(guān)聯(lián)性、整體性和動態(tài)性正是智能機器思維和認知的短板,嚴重的將導(dǎo)致智能裁判淪為機械裁判,最終可能會走向數(shù)字正義的對立面。

    三、基于技術(shù)正當程序的風(fēng)險控制

    隨著法院信息化發(fā)展的不斷推進,智能裁判風(fēng)險升級后的法律后果也愈加嚴重。因此,需要構(gòu)建以技術(shù)規(guī)制技術(shù)的正當性程序,實現(xiàn)對技術(shù)應(yīng)用的緊急處理、監(jiān)督、歸責和有限公開,并“借助于技術(shù)程序的正當性來強化智能決策系統(tǒng)的透明性、可審查性和可解釋性”,持續(xù)通過對算法的監(jiān)督、修正程序保障數(shù)字人權(quán),不斷完善要素式裁判的人機協(xié)同策略,從整體上促進智能裁判的健康發(fā)展。

    (一)以技術(shù)規(guī)制技術(shù)的正當性程序

    如前所述,我國目前的智能裁判主要是在國家公權(quán)力主導(dǎo)下進行推動的,并呈現(xiàn)一定的擴張性,因其對智能技術(shù)的過分依賴從而導(dǎo)致正當程序價值的減損,進而使得公民訴權(quán)實現(xiàn)受到技術(shù)的限制,智能裁判的結(jié)果也相應(yīng)出現(xiàn)了錯誤或不公正,因此,需要構(gòu)建以技術(shù)規(guī)制技術(shù)的正當性程序,即通過程序的代碼化實現(xiàn)對智能裁判技術(shù)的合理規(guī)制。這就需要做到:

    1.合理構(gòu)建技術(shù)緊急處理和監(jiān)督程序

    智能裁判的核心就是將現(xiàn)實社會的法律規(guī)則轉(zhuǎn)化為計算機的代碼規(guī)則,因此,從法律角度理解,首先要解決的問題便是如何保證計算機技術(shù)編程人員能夠?qū)⒋_定的法律規(guī)范、法律原則以及案件事實完整地輸入計算機程序中。在宏觀規(guī)劃方面,建議可從以下兩方面著手:其一,建構(gòu)智能裁判標準化的數(shù)字緊急處理程序,建議在原有的程序架構(gòu)中,嵌入人工智能產(chǎn)品或技術(shù)的設(shè)計者和開發(fā)者編寫代碼的程序規(guī)則并附帶詳細的操作流程;其二,對上述程序規(guī)則的實施情況進行監(jiān)督,并設(shè)計應(yīng)急處理措施,使計算機編程過程盡可能多地設(shè)置案件結(jié)果、辯論、說明理由等互動程序,防止智能裁判技術(shù)對自然人審判主體地位以及智能裁判正當性及合法性的侵蝕,進而修正計算機編程所促成的裁判程序標準化局限。

    在微觀操作方面,首先,需要對智能裁判設(shè)計本身的潛在缺陷進行事前審查,如是否對數(shù)字人權(quán)、個人信息保護和正當程序等價值構(gòu)成重大影響。這就要求智能裁判設(shè)計,特別是算法設(shè)計者應(yīng)當審查智能裁判的設(shè)計及相應(yīng)的算法規(guī)則是否符合一定的倫理準則,如果因此缺陷導(dǎo)致個人權(quán)利遭受侵犯,相應(yīng)的程序員、軟件工程師、數(shù)據(jù)處理商、信息技術(shù)公司應(yīng)當承擔一定的設(shè)計責任。其次,智能裁判的設(shè)計應(yīng)由多人分工協(xié)作來完成,每個人只知道到自己設(shè)計的任務(wù),并不知道算法設(shè)計的全部。因此他們既無法操控算法運行的最后結(jié)果,也無法通過算法實現(xiàn)操控司法的目的,更無法植入算法偏見影響司法裁判。再次,建議算法部署者承擔強制性信息披露義務(wù)。算法部署者應(yīng)主動向相關(guān)司法部門解釋算法及使用算法所作出的自動化裁判決策是如何產(chǎn)生的,并提供決策的本質(zhì)性信息和論證邏輯,否則應(yīng)該承當相應(yīng)的不利后果。最后,明確法官與技術(shù)間的“主體-工具”關(guān)系。如前所述,智能裁判的自動化決策可能是程序員、軟件工程師、數(shù)據(jù)處理商、信息技術(shù)公司與法官共同作出的決定,這就直接沖擊了法官獨立審判的主體地位。為了遏制這種局面的持續(xù),防止發(fā)生錯案時可以被追責,建議明確案件裁判法官和人工智能技術(shù)之間的關(guān)系,即主體與工具的關(guān)系,從而捍衛(wèi)人類法官裁判的主體地位。

    2.秉持有限的技術(shù)公開原則

    如前所述,智能裁判受爭議和懷疑較多的地方就是智能裁判的技術(shù)封閉性導(dǎo)致算法的不公開。此種不公開既包括不向法官公開,也包括不向辯護方公開,理由恰是商業(yè)秘密等商業(yè)利益保護的特殊需要。但此般操作卻忽略了技術(shù)不公開在很多情況下還涉及更基本、更重要的法益,如公民生命權(quán)、自由、平等、正義、財產(chǎn)等。從法理上看,這些法益往往比商業(yè)利益更具有法律價值位階上的優(yōu)先保護性,這就使得智能裁判系統(tǒng)開發(fā)商和運營商的抗辯理由顯得很不充分,且缺乏法理基礎(chǔ)。對此,建議推行有限的技術(shù)公開原則。其內(nèi)涵主要指算法在一定范圍內(nèi)可以有限度地向辯方、法官和社會公開。此外,還應(yīng)當恰當保護當事人的個人信息權(quán)和隱私權(quán),尤其是被遺忘權(quán)。因此,應(yīng)該“強化訴訟中的信息開示制度,將刑事訴訟中的閱卷權(quán)改造為‘數(shù)據(jù)訪問權(quán)’”,確保被收集的個人信息僅用于智能裁判之目的。

    詳細來說,需要做到以下幾點:其一,列舉智能裁判技術(shù)程序公開原則的例外情況,主要指涉及商業(yè)秘密(需要具有更強理由并進行充分的說明和論證)、公共安全、國家安全等重要法益的情形。其二,明確智能裁判技術(shù)程序公開原則的內(nèi)容。除了上述例外情況,一般需要讓智能裁判所影響的相關(guān)主體參與到智能裁判決策中,以保證“數(shù)字公民”數(shù)字訴權(quán)的實現(xiàn)。筆者建議賦予“數(shù)字公民”對于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、機器自主學(xué)習(xí)、知識圖譜學(xué)習(xí)作出決策前的司法決策行為享有知情權(quán)、被通知權(quán),以及在可能的條件下進行適當?shù)恼f明理由或解釋權(quán)。其三,在極為必要的情況下,法院有強制披露智能裁判算法代碼的義務(wù)。如果認為有必要,如侵犯當事人的數(shù)字知情權(quán)、數(shù)字隱私權(quán)、數(shù)字平等權(quán)等“數(shù)字公民”基本權(quán)利的情況下,法院應(yīng)該有強制披露相關(guān)智能裁判算法代碼的權(quán)力。理由恰是,算法公司的商業(yè)秘密固然重要,但與“數(shù)字公民”的基本人權(quán)相比,其位階還是要低一階,因為商業(yè)秘密只是法律關(guān)系所保護的客體,法律的終極目的在于保障基本人權(quán),因此算法公司的商業(yè)秘密不能凌駕于數(shù)字人權(quán)之上。其四,為上述操作建構(gòu)必要的程序保障。如智能裁判技術(shù)的司法監(jiān)督程序、司法聽證程序、司法責任追究程序等,其目的是保障智能裁判系統(tǒng)能夠按照事前設(shè)計好的程序規(guī)范良好運作。

    3.構(gòu)建技術(shù)工作失誤后的歸責路徑

    由于智能裁判的運作對技術(shù)有較高依賴,因此智能技術(shù)的研發(fā)者及司法工作人員應(yīng)成為歸責的主要主體。那么,如何追究上述主體的法律責任呢,合理的建議是可以考慮把“過錯推定原則”作為責任追究的主要原則之一。學(xué)者程凡卿也認為,人工智能工作失誤的歸責制度“適用過錯推定原則,由司法工作者優(yōu)先承擔失誤責任可以有效督促司法工作者認真審核、監(jiān)督人工智能的工作狀況,及時發(fā)現(xiàn)問題、及時改正失誤,有效防止因司法工作失誤危害社會公眾利益。同時又能防止人工智能的關(guān)聯(lián)主體之間相互推卸責任”。這樣做的好處是:其一,確保原始數(shù)據(jù)的客觀、全面、公正采集和輸入,防止原始數(shù)據(jù)偏見對程序正義和公眾利益的危害。其二,司法工作人員和技術(shù)工作人員分工明確,各司其職,保證司法活動的正常運轉(zhuǎn)。司法工作人員依法將法律規(guī)范依據(jù)合理比例編輯到人工智能系統(tǒng)程序中,而技術(shù)人員的工作應(yīng)限定于智能系統(tǒng)的研發(fā)、維護和修繕,不得介入特定案件的審理和量刑。只有在例外的情況下,法官需要按特定的程序申請求助技術(shù)人員處理純粹技術(shù)問題,防止技術(shù)對司法的直接干預(yù)和操作。

    (二)確立數(shù)字人權(quán)的算法矯正程序

    智能裁判應(yīng)具有廣泛內(nèi)涵,既指輔助法官進行辦案,也指替代法官直接作出司法決策。但這兩種內(nèi)涵都潛藏著威脅法官裁判主體地位、阻礙數(shù)字正義和數(shù)字公民知情權(quán)實現(xiàn)等風(fēng)險后果。為了應(yīng)對其風(fēng)險后果,一個有效的路徑應(yīng)是將數(shù)字人權(quán)價值設(shè)定成算法程式,通過不斷對算法的矯正和參與程序增強數(shù)字人權(quán)保障。建議做到:

    一是建立算法正當性的矯正程序。如前所述,智能裁判面臨的首要問題便是智能機器通過算法的運作在某種程度上實現(xiàn)并完成了對人類的審判,其替代人類做出裁判的結(jié)果必將面臨裁判正當性和合法性的質(zhì)疑。因此,需要通過計算機程序矯正智能裁判算法的偏見,盡可能使智能裁判系統(tǒng)“通過深度學(xué)習(xí)吸收經(jīng)驗知識,形成更細微的屬性特征描述公平正義”;“通過訓(xùn)練樣本數(shù)據(jù)使機器自動歸納偏見,并產(chǎn)出自我矯正的決策模型”,從而克服智能裁判算法在訴訟擴張使用以及外包過程中對“數(shù)字公民”數(shù)字程序參與權(quán)與數(shù)字抗辯權(quán)的阻礙。此外,還可以借鑒《歐盟數(shù)據(jù)保護條例》(GDPR)序言部分及第13 條的相關(guān)規(guī)定,賦予“數(shù)字公民”擁有對智能裁判算法自動化決策的解釋權(quán)并對其決策質(zhì)疑。因此,建議訴訟平臺應(yīng)該由政府主導(dǎo)的相對中立的企事業(yè)單位接管。在第三方算法審計機構(gòu)的協(xié)助下對智能裁判算法進行定期檢測和臨時檢測,及時糾錯并改正。

    二是個案實質(zhì)公正實現(xiàn)的算法程序選擇權(quán)和參與權(quán)。這就要求做到:其一,賦予“數(shù)字公民”算法程序選擇權(quán)。誠然,智能裁判在提高裁判質(zhì)效,助力類案裁判適法統(tǒng)一的過程中也對傳統(tǒng)自然人的審判主體地位、數(shù)字正義理念,以及“數(shù)字公民”的數(shù)字知情權(quán)和參與權(quán)的實現(xiàn)構(gòu)成較大阻礙。因此,建議采取將數(shù)字人權(quán)價值設(shè)定為算法程式,通過對算法的矯正機制保障數(shù)字公民的程序選擇權(quán)、程序拒絕權(quán)和程序參與權(quán)。當智能裁判結(jié)果明顯有損個案公正時,可以賦予“數(shù)字公民”程序選擇權(quán),即案件當事人在對智能裁判算法決策不信任的情況下,有申請啟動對算法進行解釋的權(quán)利和程序。如若相關(guān)司法機關(guān)不啟動上述程序,則應(yīng)該將不啟動算法解釋程序的決定書和詳細理由一起告知當事人。其二,賦予“數(shù)字公民”享有拒絕智能裁判算法決策的權(quán)利和數(shù)字程序參與權(quán)。前一種權(quán)利主要指當事人可以自由選擇是否交由智慧法院解決糾紛,如若擔心遭遇數(shù)字鴻溝、算法偏見、算法歧視等不公正待遇,則可以拒絕算法裁判。詳細操作為:案件裁判結(jié)果出來后,法官告知案件雙方當事人有是否接受智能裁判算法結(jié)果的權(quán)利,若是不接受,雙方當事人可以在規(guī)定的時間內(nèi)向法院提出,法官不得主動干預(yù)、影響智能算法裁判結(jié)果以及案件雙方事人的最后決定。后一種權(quán)利主要是指在數(shù)字程序的建設(shè)和適用過程中,當事人可通過可視化和便捷化的操作流程,以及各個節(jié)點和時段的程序推進信息,時時跟蹤案件的最近進展情況,以便更好地保障自身利益和合法權(quán)利。這兩種權(quán)利相互配合、相互補充,共同促進了數(shù)字公民司法權(quán)利保障體系的發(fā)展和完善。

    三是同步搭配彌補數(shù)字鴻溝的司法輔助性資源。如前所述,智能裁判的設(shè)計初衷和美好愿景是讓普通民眾足不出戶或更便利地感受到公平正義。然而,很多普通民眾,特別是話語權(quán)較弱的數(shù)字弱勢群體卻很難參與其中。因此,需要法院為數(shù)字弱勢群體提供彌補數(shù)字鴻溝的輔助性數(shù)字資源。實踐中,奉化法院采用“共享法庭”僅用3天時間“一攬子”解決了24家商戶的群體性糾紛。浙江麗水景寧通過在郵政網(wǎng)點建立的“共享法庭”,為當事人提供穩(wěn)定的信息化環(huán)境、貼心的信息化指導(dǎo)、便捷的信息化服務(wù),順利解決債務(wù)糾紛。此外,為了更好地保障數(shù)字人權(quán)和實現(xiàn)個案實質(zhì)公正,司法機關(guān)應(yīng)“兼顧少數(shù)群體價值觀、風(fēng)俗習(xí)慣以及經(jīng)濟水平等方面的殊異性,并在尊重被告人算法選擇權(quán)的基礎(chǔ)上,開展主審法官的伴隨性審查程序”。

    (三)修正要素式裁判的人機協(xié)同

    要素式裁判是智能裁判運作的重要機制,其主要通過要素的設(shè)定、篩選、模型建構(gòu)等程序最終實現(xiàn)對案件結(jié)果的預(yù)測和評估的。然而其設(shè)定的不完備性、僵硬性和評價個案法律意義能力弱等不足,阻礙了個案可視正義的實現(xiàn)和個案結(jié)果的互動。因此,需要通過人機協(xié)同策略來規(guī)制要素式裁判機制的風(fēng)險,促進其有序運作。

    首先,強化“人機合作”要素清單管理和歸責。如前所述,智能裁判主要是運用機器深度學(xué)習(xí)算法技術(shù)讓機器在大數(shù)據(jù)中自主學(xué)習(xí)如何像“法官”“一樣判案,其運作形式也是多種多樣的,如自動歸納案件情節(jié)和爭議焦點、自動生成裁判提綱等,進而為法官裁判提供智能輔助。如“智慧審判蘇州模式”和“睿法官”智能研判系統(tǒng)等。從上可知,要素式裁判正常運作的首要前提是需要有法律規(guī)定和已裁判案件的公訴意見書、起訴書、答辯狀等材料,在此經(jīng)驗基礎(chǔ)上才能自動生成庭審提綱或庭審要點,進而為法官裁判提供智能輔助。隨之而來的問題是,如何用已有法律規(guī)定和案件事實來裁判法律實踐中的新型案件和復(fù)雜案件,其正當性和合理性何在?這就需要通過“負面清單+責任”制度的雙層構(gòu)建來增強要素式裁判的有效性。其一,強化“人機合作”要素清單管理。具體操作方法是,“凡是與裁量性判斷有關(guān)的數(shù)據(jù),特別是既有智能系統(tǒng)的數(shù)據(jù)更新,提供主體必須保持唯一性——司法官和司法機關(guān)”,而對法律及如何適用問題則由機器進行。同時,要求智能裁判要素所遇到的問題必須細化、量化并生成要素清單,確保件件有落實、事事有回應(yīng),實現(xiàn)“發(fā)現(xiàn)—反饋—整改—共享”。其二,嚴格落實“誰決定誰負責”的責任制度,合理劃定人工智能輔助裁判的范圍與限度。一般而言,新型、復(fù)雜等重要案件事實和價值判斷等問題一般由法官承擔主要責任,而數(shù)據(jù)統(tǒng)計、程序推進一般由智能裁判輔助系統(tǒng)來承擔。

    其次,通過知識圖譜助推事實語言轉(zhuǎn)換。眾所周知,智能裁判的一個難題在于事實語言的轉(zhuǎn)換,這直接影響到個案裁判結(jié)果是否公正。建議通過基于多種語義自動抽取與人工標注模型的“人機合作”路徑完善人工智能事實語言的轉(zhuǎn)化。通過智能機器對已有案件要素進行自動抽取、識別、檢驗和審查,然后再把以上評價結(jié)果交由人工按照多種語義把相關(guān)要素內(nèi)涵標注出來,隨后分別建立案情要素標簽數(shù)據(jù)庫和相關(guān)模型系統(tǒng)以供機器自我學(xué)習(xí)并更準確地識別案件事實,確保普通民眾在智能裁判個案中感受到公平正義和獲得感。此外,還建議“有關(guān)方面對通用智能系統(tǒng)的研發(fā)依據(jù)、應(yīng)用影響等,做審慎判斷”。

    再次,構(gòu)建科學(xué)合理標準,增強案件評價的說理性。如前所述,要素式裁判機制是智慧法院建設(shè)實現(xiàn)全流程網(wǎng)上辦案、完善信息化辦案“最后一公里”、助力類案適法統(tǒng)一,以及破解“案多人少”結(jié)構(gòu)性矛盾的現(xiàn)實需求。但在實踐中,卻存在不能理解待決案件法律意義的問題。因此,需要依照“機器智能與人腦智能的模仿度、算法裁判與自然人裁判的吻合度、要素抓取與個人隱私的保護度”三個標準校驗智能裁判結(jié)果的合法性、合理性、正當性,并需要將修改的理由和論證材料以備注形式呈現(xiàn)在智能裁判的評估結(jié)論中。此外,需要增強待決案件法律意義評價的說理性。其目的在于促進可視正義向說得出的正義邁進,進而提高智能裁判結(jié)論的可接受性。待決案件法律意義評價說理要做到四個層面,即法理、情理、事理、文理的統(tǒng)一,進而增強案件評價的可論證性和可辯駁性。

    結(jié)語

    智能裁判的經(jīng)驗表明:智能裁判已是新興科技賦能智慧司法的大勢所趨?;谌斯ぶ悄苷铀賾?yīng)用于司法裁判中,智能裁判的風(fēng)險正處于從技術(shù)依賴到技術(shù)主導(dǎo)、從辦案輔助向輔助裁判、從改變機制到觸及屬性的不斷升級中。其所引發(fā)的正當程序價值減損、數(shù)字人權(quán)保障危機和解構(gòu)司法正義等法律后果也愈加嚴重,并使得傳統(tǒng)司法正當程序面臨自動化決策的挑戰(zhàn)。這些都是新時代智能裁判深入推進所必須解決的時代課題。

    誠然,智能裁判涉及以下三個重要問題:一是,為何要推進智能裁判;二是,如何推進智能裁判;三是,推進智能裁判后的實際效果如何。先來看第一個問題,建設(shè)智能裁判的初衷一般可以歸納為提升司法審判質(zhì)效、解決司法機關(guān)案多人少難題、提高裁判結(jié)果精準化,以及促進可視正義實現(xiàn)等。再來看第二個問題,如何推進智能裁判,主要運用要素化裁判機制,通過人工智能技術(shù)自動歸納案件情節(jié)和爭議焦點,自動生成庭審提綱,為法官提供庭審智能輔助。最后看智能裁判運作的效果,其在促進司法現(xiàn)代化、智能化、信息化的同時,也侵犯了“數(shù)字公民”的信息平等權(quán)和信息知情權(quán)等基本權(quán)利。這樣看來,智能裁判的運作就遠遠偏離了智能裁判建設(shè)的初衷。筆者認為,問題的根源在于智能裁判的功能發(fā)生了異化,從智能裁判的外部觀察看,智能裁判的功能不僅包括大大提升司法質(zhì)效,更重要的是要保障“數(shù)字公民”的基本權(quán)利,只有二者同時實現(xiàn),智能裁判的操作才有意義,亦才有未來。

    猜你喜歡
    裁判法官要素
    法官如此裁判
    法官如此裁判
    掌握這6點要素,讓肥水更高效
    法律裁判中的比較推理
    法律方法(2019年4期)2019-11-16 01:07:10
    清代刑事裁判中的“從重”
    法律史評論(2018年0期)2018-12-06 09:22:28
    做“德法兼修”的好法官
    紅土地(2018年8期)2018-09-26 03:19:06
    觀賞植物的色彩要素在家居設(shè)計中的應(yīng)用
    論美術(shù)中“七大要素”的辯證關(guān)系
    也談做人的要素
    山東青年(2016年2期)2016-02-28 14:25:36
    當法官當不忘初心
    紅土地(2016年10期)2016-02-02 02:45:32
    精品人妻1区二区| 久久精品影院6| 久久久久国产一级毛片高清牌| 日韩三级视频一区二区三区| 人妻夜夜爽99麻豆av| 成人永久免费在线观看视频| 好男人在线观看高清免费视频| 国产精品久久久久久精品电影| 亚洲成人免费电影在线观看| 日日摸夜夜添夜夜添小说| 久久久久国内视频| 老汉色av国产亚洲站长工具| 99国产极品粉嫩在线观看| 黑人巨大精品欧美一区二区mp4| 观看免费一级毛片| 91国产中文字幕| 美女高潮喷水抽搐中文字幕| 国产熟女xx| www.精华液| 亚洲性夜色夜夜综合| 国产爱豆传媒在线观看 | 无遮挡黄片免费观看| 手机成人av网站| 久久久国产成人精品二区| 久久性视频一级片| av有码第一页| 村上凉子中文字幕在线| 757午夜福利合集在线观看| 女生性感内裤真人,穿戴方法视频| 国产精品1区2区在线观看.| 91大片在线观看| 99久久精品国产亚洲精品| 久99久视频精品免费| 亚洲中文av在线| 午夜福利18| 国内精品一区二区在线观看| 女人被狂操c到高潮| 久久午夜亚洲精品久久| 日本a在线网址| 国内揄拍国产精品人妻在线| 女人高潮潮喷娇喘18禁视频| 日本一本二区三区精品| 欧美成人一区二区免费高清观看 | 又紧又爽又黄一区二区| 亚洲成人精品中文字幕电影| 久久这里只有精品19| 日韩精品中文字幕看吧| 99久久久亚洲精品蜜臀av| 国产伦在线观看视频一区| 天堂影院成人在线观看| 18禁裸乳无遮挡免费网站照片| 亚洲电影在线观看av| 一本一本综合久久| 日本免费a在线| 一级a爱片免费观看的视频| 欧美日韩黄片免| 脱女人内裤的视频| 亚洲欧美精品综合久久99| 欧美丝袜亚洲另类 | 日本成人三级电影网站| 精品一区二区三区视频在线观看免费| 亚洲电影在线观看av| 一级黄色大片毛片| 欧美不卡视频在线免费观看 | 久久精品国产清高在天天线| 久久久国产欧美日韩av| www.自偷自拍.com| 老汉色∧v一级毛片| 麻豆久久精品国产亚洲av| 妹子高潮喷水视频| 每晚都被弄得嗷嗷叫到高潮| 最近最新中文字幕大全电影3| 免费在线观看成人毛片| 精品人妻1区二区| 亚洲av五月六月丁香网| 日本在线视频免费播放| 高潮久久久久久久久久久不卡| tocl精华| 一边摸一边抽搐一进一小说| 99国产综合亚洲精品| 美女高潮喷水抽搐中文字幕| 欧美黄色片欧美黄色片| 国产爱豆传媒在线观看 | 日韩欧美一区二区三区在线观看| 美女免费视频网站| 精品少妇一区二区三区视频日本电影| 午夜日韩欧美国产| 香蕉久久夜色| 亚洲中文字幕日韩| 熟女电影av网| 大型黄色视频在线免费观看| 国内揄拍国产精品人妻在线| 午夜福利18| 一级毛片女人18水好多| 男人的好看免费观看在线视频 | 高潮久久久久久久久久久不卡| 国产av一区在线观看免费| 夜夜夜夜夜久久久久| 在线观看免费日韩欧美大片| 51午夜福利影视在线观看| 精品久久久久久久毛片微露脸| 久久中文看片网| 男女床上黄色一级片免费看| or卡值多少钱| 免费在线观看完整版高清| 亚洲成人精品中文字幕电影| 伊人久久大香线蕉亚洲五| 色在线成人网| 日韩欧美 国产精品| 一二三四在线观看免费中文在| 亚洲午夜精品一区,二区,三区| 不卡av一区二区三区| 欧美最黄视频在线播放免费| 最新美女视频免费是黄的| 欧美另类亚洲清纯唯美| www.精华液| 国产成人欧美在线观看| 夜夜夜夜夜久久久久| 三级毛片av免费| 欧美另类亚洲清纯唯美| 久久久国产成人精品二区| 久久久精品国产亚洲av高清涩受| bbb黄色大片| 国产真实乱freesex| 久久精品成人免费网站| 两个人视频免费观看高清| 天天添夜夜摸| 免费搜索国产男女视频| 在线观看美女被高潮喷水网站 | 熟女电影av网| 欧美成人午夜精品| 在线观看66精品国产| 日日摸夜夜添夜夜添小说| 一级毛片女人18水好多| 国产又黄又爽又无遮挡在线| 欧美国产日韩亚洲一区| 亚洲天堂国产精品一区在线| 一卡2卡三卡四卡精品乱码亚洲| 亚洲一区高清亚洲精品| 免费在线观看成人毛片| 久久久精品国产亚洲av高清涩受| 免费在线观看黄色视频的| 亚洲一码二码三码区别大吗| 亚洲狠狠婷婷综合久久图片| 99国产综合亚洲精品| 欧美性猛交╳xxx乱大交人| 亚洲人成77777在线视频| 国产欧美日韩精品亚洲av| 一进一出好大好爽视频| 国产真人三级小视频在线观看| 日韩欧美国产一区二区入口| 欧美+亚洲+日韩+国产| 黄色 视频免费看| 日韩中文字幕欧美一区二区| 久热爱精品视频在线9| 亚洲自偷自拍图片 自拍| 国产亚洲精品一区二区www| 久久久久久久久中文| 久久久精品大字幕| 50天的宝宝边吃奶边哭怎么回事| 婷婷亚洲欧美| 在线观看免费视频日本深夜| 美女免费视频网站| 最近视频中文字幕2019在线8| 亚洲aⅴ乱码一区二区在线播放 | 亚洲男人的天堂狠狠| 久久草成人影院| 国产又黄又爽又无遮挡在线| 99国产精品99久久久久| 可以在线观看毛片的网站| 精品国产乱子伦一区二区三区| 一本大道久久a久久精品| 国产精品98久久久久久宅男小说| 一本精品99久久精品77| 日日夜夜操网爽| 亚洲一区二区三区不卡视频| www日本在线高清视频| 老熟妇乱子伦视频在线观看| 国产精品98久久久久久宅男小说| 99re在线观看精品视频| 麻豆国产97在线/欧美 | 日本a在线网址| 男女之事视频高清在线观看| 日本 欧美在线| 欧美成人性av电影在线观看| 亚洲熟妇熟女久久| 一进一出抽搐动态| 久久精品国产清高在天天线| 88av欧美| av在线天堂中文字幕| 啪啪无遮挡十八禁网站| 在线观看免费午夜福利视频| 少妇的丰满在线观看| 99热这里只有精品一区 | 欧美日韩中文字幕国产精品一区二区三区| 久久久水蜜桃国产精品网| 久久精品综合一区二区三区| 长腿黑丝高跟| 久久精品影院6| 女生性感内裤真人,穿戴方法视频| 中文字幕人妻丝袜一区二区| 精品乱码久久久久久99久播| 88av欧美| 国产一区二区三区在线臀色熟女| 舔av片在线| 亚洲狠狠婷婷综合久久图片| 亚洲精品中文字幕一二三四区| 最近最新中文字幕大全免费视频| 欧美在线一区亚洲| 我要搜黄色片| 欧美zozozo另类| 久99久视频精品免费| 两人在一起打扑克的视频| 欧美黄色淫秽网站| 久久伊人香网站| 免费观看精品视频网站| 国产免费男女视频| 国产精品一区二区三区四区免费观看 | 亚洲av成人不卡在线观看播放网| 国产男靠女视频免费网站| ponron亚洲| 五月伊人婷婷丁香| 麻豆国产97在线/欧美 | 国产真实乱freesex| 蜜桃久久精品国产亚洲av| 久久 成人 亚洲| 超碰成人久久| 18禁观看日本| 国产免费av片在线观看野外av| 久久天堂一区二区三区四区| 久久精品综合一区二区三区| 男女视频在线观看网站免费 | 亚洲精品中文字幕在线视频| 无遮挡黄片免费观看| 日韩精品免费视频一区二区三区| 亚洲国产欧洲综合997久久,| 久久天躁狠狠躁夜夜2o2o| 免费在线观看成人毛片| 精品第一国产精品| 免费一级毛片在线播放高清视频| 精品福利观看| 亚洲全国av大片| 国内揄拍国产精品人妻在线| 搡老妇女老女人老熟妇| 欧美黄色淫秽网站| 国产99久久九九免费精品| 欧美成人午夜精品| 18禁观看日本| 午夜免费观看网址| 欧美日韩亚洲综合一区二区三区_| 日韩高清综合在线| 一进一出抽搐动态| 欧美久久黑人一区二区| 亚洲欧美日韩东京热| 日本免费一区二区三区高清不卡| 国产免费av片在线观看野外av| 一个人免费在线观看电影 | 亚洲av成人av| 亚洲男人天堂网一区| 久久久精品欧美日韩精品| 给我免费播放毛片高清在线观看| 成人亚洲精品av一区二区| 欧美乱色亚洲激情| 妹子高潮喷水视频| 婷婷六月久久综合丁香| 欧美日韩中文字幕国产精品一区二区三区| 亚洲五月天丁香| 夜夜夜夜夜久久久久| 黄色a级毛片大全视频| 成人一区二区视频在线观看| av免费在线观看网站| 免费无遮挡裸体视频| 国产精品影院久久| 88av欧美| 99riav亚洲国产免费| 精品第一国产精品| 国产精品亚洲一级av第二区| 婷婷精品国产亚洲av在线| 国产精品一区二区三区四区久久| 欧美日韩亚洲综合一区二区三区_| 女警被强在线播放| 99久久综合精品五月天人人| 99热这里只有精品一区 | 国产亚洲精品久久久久5区| 这个男人来自地球电影免费观看| 色老头精品视频在线观看| 变态另类成人亚洲欧美熟女| 国产精品久久久久久亚洲av鲁大| 亚洲,欧美精品.| 人成视频在线观看免费观看| 少妇的丰满在线观看| 波多野结衣巨乳人妻| 一本大道久久a久久精品| 两个人的视频大全免费| 天天躁狠狠躁夜夜躁狠狠躁| 在线免费观看的www视频| 色播亚洲综合网| 精品一区二区三区四区五区乱码| 天堂av国产一区二区熟女人妻 | 又黄又爽又免费观看的视频| 不卡一级毛片| 国产精品,欧美在线| www.www免费av| 亚洲欧洲精品一区二区精品久久久| 麻豆成人av在线观看| 两个人免费观看高清视频| 午夜亚洲福利在线播放| 日韩高清综合在线| 制服人妻中文乱码| 两性午夜刺激爽爽歪歪视频在线观看 | 熟女电影av网| 搡老岳熟女国产| 亚洲精品国产精品久久久不卡| 男女视频在线观看网站免费 | 成人国产一区最新在线观看| 99精品欧美一区二区三区四区| 国产熟女午夜一区二区三区| 熟女少妇亚洲综合色aaa.| 99国产精品一区二区三区| 伊人久久大香线蕉亚洲五| 国产精品自产拍在线观看55亚洲| 18禁黄网站禁片午夜丰满| 啦啦啦韩国在线观看视频| 国产精品一区二区三区四区免费观看 | 在线观看日韩欧美| 亚洲人成网站高清观看| 欧美绝顶高潮抽搐喷水| 777久久人妻少妇嫩草av网站| 成人三级黄色视频| 哪里可以看免费的av片| 1024视频免费在线观看| 又爽又黄无遮挡网站| 亚洲在线自拍视频| 亚洲专区国产一区二区| 巨乳人妻的诱惑在线观看| 国产三级黄色录像| 男人的好看免费观看在线视频 | 久久久久久九九精品二区国产 | 久久国产精品人妻蜜桃| 国内少妇人妻偷人精品xxx网站 | 国产不卡一卡二| 国产精品 国内视频| 日本三级黄在线观看| 亚洲va日本ⅴa欧美va伊人久久| 亚洲真实伦在线观看| 成在线人永久免费视频| 免费在线观看亚洲国产| 不卡av一区二区三区| 两个人免费观看高清视频| 一边摸一边抽搐一进一小说| 熟女少妇亚洲综合色aaa.| 欧美中文综合在线视频| 曰老女人黄片| 亚洲激情在线av| 真人一进一出gif抽搐免费| 亚洲欧洲精品一区二区精品久久久| 国产精品98久久久久久宅男小说| 一进一出好大好爽视频| a级毛片在线看网站| 可以免费在线观看a视频的电影网站| 国产熟女xx| 少妇人妻一区二区三区视频| 亚洲国产欧美一区二区综合| 国产av一区在线观看免费| 无遮挡黄片免费观看| 一本一本综合久久| 亚洲av中文字字幕乱码综合| 午夜福利在线在线| 亚洲性夜色夜夜综合| 国产单亲对白刺激| 亚洲专区字幕在线| 国产不卡一卡二| 亚洲av电影在线进入| 又爽又黄无遮挡网站| 亚洲最大成人中文| 一区福利在线观看| 色精品久久人妻99蜜桃| 男女那种视频在线观看| 久久婷婷成人综合色麻豆| 亚洲七黄色美女视频| 啦啦啦韩国在线观看视频| 国产精品久久久久久亚洲av鲁大| 91av网站免费观看| 国产精品电影一区二区三区| 在线观看一区二区三区| 国产成人一区二区三区免费视频网站| 黑人巨大精品欧美一区二区mp4| 最近最新中文字幕大全免费视频| 亚洲中文日韩欧美视频| 国产91精品成人一区二区三区| 中国美女看黄片| 亚洲国产欧美网| 亚洲精品美女久久av网站| 国产aⅴ精品一区二区三区波| 天天躁狠狠躁夜夜躁狠狠躁| 99riav亚洲国产免费| 黄色a级毛片大全视频| 99re在线观看精品视频| 国产真实乱freesex| 又黄又粗又硬又大视频| 一进一出好大好爽视频| 国产av又大| 不卡av一区二区三区| 黄片小视频在线播放| 亚洲成av人片在线播放无| 日韩免费av在线播放| 亚洲国产欧美人成| 亚洲第一欧美日韩一区二区三区| 精品国产超薄肉色丝袜足j| 亚洲aⅴ乱码一区二区在线播放 | 黑人操中国人逼视频| 国产亚洲精品第一综合不卡| 免费搜索国产男女视频| 精品久久久久久久久久免费视频| 午夜福利高清视频| 香蕉丝袜av| 欧美中文综合在线视频| 欧美成人午夜精品| 亚洲熟妇熟女久久| 99久久精品国产亚洲精品| 国产精品乱码一区二三区的特点| 少妇被粗大的猛进出69影院| 毛片女人毛片| 久久99热这里只有精品18| 精品久久久久久久末码| 精品久久久久久久人妻蜜臀av| 国产不卡一卡二| 久久久精品国产亚洲av高清涩受| 国产精品98久久久久久宅男小说| 哪里可以看免费的av片| 欧美一级毛片孕妇| 国产一区二区三区视频了| 精品免费久久久久久久清纯| 一本精品99久久精品77| 亚洲精品一区av在线观看| 国模一区二区三区四区视频 | 久久久精品大字幕| 国产精品久久久av美女十八| 十八禁人妻一区二区| 国产伦在线观看视频一区| 91字幕亚洲| 宅男免费午夜| 国产麻豆成人av免费视频| 国产精品99久久99久久久不卡| 欧美日韩中文字幕国产精品一区二区三区| 蜜桃久久精品国产亚洲av| 少妇粗大呻吟视频| 亚洲av第一区精品v没综合| 高潮久久久久久久久久久不卡| 日韩成人在线观看一区二区三区| 国产高清有码在线观看视频 | 免费无遮挡裸体视频| 99在线人妻在线中文字幕| 性欧美人与动物交配| 一区二区三区高清视频在线| 午夜福利在线观看吧| 好看av亚洲va欧美ⅴa在| 哪里可以看免费的av片| 99热这里只有精品一区 | 欧美国产日韩亚洲一区| 亚洲 国产 在线| 日韩大码丰满熟妇| 99久久99久久久精品蜜桃| 久久婷婷人人爽人人干人人爱| 狂野欧美白嫩少妇大欣赏| 亚洲午夜精品一区,二区,三区| 亚洲,欧美精品.| 国产成人影院久久av| 男男h啪啪无遮挡| 亚洲美女黄片视频| 一夜夜www| 黄色a级毛片大全视频| 国产精品av视频在线免费观看| 无人区码免费观看不卡| 亚洲专区国产一区二区| 精品免费久久久久久久清纯| 在线观看舔阴道视频| 国产精品,欧美在线| xxxwww97欧美| 国产亚洲精品久久久久久毛片| 我要搜黄色片| 久久久精品大字幕| 久久精品国产亚洲av香蕉五月| 老司机福利观看| 亚洲欧美日韩无卡精品| 国产视频内射| 久久久久久九九精品二区国产 | 麻豆一二三区av精品| 十八禁网站免费在线| 午夜成年电影在线免费观看| 亚洲自拍偷在线| 最近在线观看免费完整版| 国语自产精品视频在线第100页| or卡值多少钱| 国产片内射在线| 精品人妻1区二区| 后天国语完整版免费观看| 久久国产精品影院| 久久亚洲真实| 搞女人的毛片| a级毛片a级免费在线| 99热这里只有是精品50| 国内揄拍国产精品人妻在线| 久久久久性生活片| 身体一侧抽搐| 久久久久国内视频| 亚洲成av人片在线播放无| 丰满人妻一区二区三区视频av | 国产黄片美女视频| 久久久久久国产a免费观看| 久久人妻av系列| 亚洲18禁久久av| 午夜精品一区二区三区免费看| 18禁国产床啪视频网站| 少妇的丰满在线观看| 欧美+亚洲+日韩+国产| 欧美乱妇无乱码| 三级男女做爰猛烈吃奶摸视频| 淫秽高清视频在线观看| 黑人欧美特级aaaaaa片| 国产精品香港三级国产av潘金莲| 看免费av毛片| 免费看a级黄色片| 国产亚洲精品久久久久久毛片| 琪琪午夜伦伦电影理论片6080| 国产人伦9x9x在线观看| 久久精品aⅴ一区二区三区四区| 熟女少妇亚洲综合色aaa.| 97碰自拍视频| 久久精品国产99精品国产亚洲性色| 国产成人系列免费观看| 精品欧美一区二区三区在线| 日韩欧美精品v在线| 国产v大片淫在线免费观看| www.自偷自拍.com| 真人一进一出gif抽搐免费| 久热爱精品视频在线9| 日本a在线网址| 国产亚洲精品综合一区在线观看 | 久99久视频精品免费| 国产午夜福利久久久久久| 久久精品91无色码中文字幕| 免费在线观看视频国产中文字幕亚洲| 久久久久久久午夜电影| 啦啦啦观看免费观看视频高清| 国产精品一及| 成人18禁在线播放| 国产又色又爽无遮挡免费看| 国产亚洲欧美98| 国产爱豆传媒在线观看 | 国产又黄又爽又无遮挡在线| 日本免费一区二区三区高清不卡| 给我免费播放毛片高清在线观看| 亚洲一区二区三区色噜噜| 一本久久中文字幕| 少妇熟女aⅴ在线视频| 亚洲九九香蕉| 成人一区二区视频在线观看| 亚洲18禁久久av| 亚洲人成网站高清观看| 天堂动漫精品| 黄色a级毛片大全视频| 国产精品久久久人人做人人爽| 91麻豆av在线| 成人三级黄色视频| 夜夜夜夜夜久久久久| 国产爱豆传媒在线观看 | 又黄又爽又免费观看的视频| 听说在线观看完整版免费高清| 可以在线观看毛片的网站| 女生性感内裤真人,穿戴方法视频| 国内精品久久久久精免费| 亚洲18禁久久av| 欧美一级a爱片免费观看看 | 高清在线国产一区| 国产精品久久久人人做人人爽| 丰满人妻熟妇乱又伦精品不卡| 日韩欧美一区二区三区在线观看| 美女扒开内裤让男人捅视频| 巨乳人妻的诱惑在线观看| 国产精品亚洲av一区麻豆| 欧美在线黄色| 成年女人毛片免费观看观看9| 五月伊人婷婷丁香| 99久久综合精品五月天人人| 国产一区二区在线观看日韩 | 国产精品免费视频内射| 成年人黄色毛片网站| 999久久久精品免费观看国产| x7x7x7水蜜桃| 美女午夜性视频免费| 久久热在线av| 19禁男女啪啪无遮挡网站| 欧美日韩国产亚洲二区| 性色av乱码一区二区三区2| 国产精品一区二区三区四区免费观看 | 亚洲av成人一区二区三| 久久香蕉国产精品| 黄色毛片三级朝国网站| 久久中文字幕人妻熟女| 777久久人妻少妇嫩草av网站| tocl精华| 2021天堂中文幕一二区在线观| 亚洲第一欧美日韩一区二区三区| 99热只有精品国产| 国产av麻豆久久久久久久| 一个人免费在线观看电影 | 欧美精品亚洲一区二区| 一本一本综合久久| 日韩欧美国产一区二区入口| 婷婷丁香在线五月| 国产主播在线观看一区二区| 午夜精品一区二区三区免费看| 久久久久久大精品| 日本熟妇午夜|