• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    智慧司法中的憂慮:想象、剖析與展望

    2020-06-01 03:04:08劉雁鵬
    理論與改革 2020年3期
    關(guān)鍵詞:法官法院司法

    劉雁鵬

    一、問題的提出

    中國智慧司法發(fā)展已經(jīng)走上了快車道,全國各級法院的智慧應(yīng)用不斷涌現(xiàn),與此同時針對智慧法院的研究已經(jīng)成為新的學(xué)術(shù)熱點和富礦。但是學(xué)術(shù)界出現(xiàn)了一些悲觀論者,相當(dāng)一部分學(xué)者對于智慧法院建設(shè)產(chǎn)生了深深憂慮。

    憂慮之一:大數(shù)據(jù)標(biāo)簽導(dǎo)致主觀偏見。智慧法院有能力集聚訴訟參與人的各類信息,既包括征信記錄、訴訟記錄、經(jīng)濟狀況,還包括社會地位等信息,經(jīng)過數(shù)據(jù)采集分析很容易對訴訟參與人進行數(shù)字畫像,并且為其貼上一個個標(biāo)簽。例如有的屢次登上失信被執(zhí)行人,有的則屬于道德模范。這種行為極容易形成先入為主的偏見,尤其是刑事案件中,大數(shù)據(jù)將為法官提供是否有罪的傾向性意見,如果被告人曾經(jīng)留下了不良記錄,被定罪的可能性將大大增加。[1]

    憂慮之二:裁決算法黑箱產(chǎn)生歧視。有的被告人的量刑會參照智能輔助系統(tǒng)構(gòu)建出風(fēng)險評估報告,該報告僅僅提供與特定群體相關(guān)的數(shù)據(jù),而系統(tǒng)如何做出該報告卻不得而知。①例如,美國威斯康星州訴盧米斯案中,爭議焦點之一便是法院使用COMPAS評估進行判決,侵犯了其獲得“個殊化判決(individualized sentence)”的權(quán)利和基于準(zhǔn)確信息獲得判決的權(quán)利。參見:朱體正.人工智能輔助刑事裁判的不確定性風(fēng)險及其防范——美國威斯康星州訴盧米斯案的啟示[J].浙江社會科學(xué),2018,(6):77-79.裁決算法黑箱直接限制了當(dāng)事人的知情權(quán)和抗辯權(quán),極容易造成司法不公。[2]此外,前案不公的裁判結(jié)果會作為將來算法進行情景模型訓(xùn)練的基礎(chǔ)數(shù)據(jù),使得原有的算法偏見得到進一步強化,發(fā)展出一種自我實現(xiàn)的歧視性反饋循環(huán),最終可能導(dǎo)致個案不公異化為類案不公。[3]

    憂慮之三:人工智能替代法官思考甚至取代法官。人工智能自動生成判決、根據(jù)大數(shù)據(jù)矯正法律決定等做法事實上導(dǎo)致程序員、軟件工程師、技術(shù)公司與法官共同作出決定的局面,[4]人工智能將逐步替代法官思考,甚至將來有一天取代法官。

    二、對于憂慮的剖析

    偏見、歧視、不公既是學(xué)界對智慧法院建設(shè)關(guān)注的焦點,同時也是對智慧法院建設(shè)的憂慮。從這些憂慮出發(fā)提出了各項建議舉措和應(yīng)對措施。例如,設(shè)置算法論證程序、嵌入案件糾補機制、確立算法解釋規(guī)則、構(gòu)建司法商談機制;[5]再如,制定專門的算法問責(zé)監(jiān)管法,增強智能算法的透明性;[6]又如,建立算法審查委員會,對算法進行倫理和法律審查,保證算法的合法性與公正性。[7]那么上述問題真的存在嗎?智慧法院建設(shè)真的會帶來偏見、歧視以及不公嗎?

    (一)貼標(biāo)簽可能產(chǎn)生偏見嗎?

    對訴訟參與人貼標(biāo)簽如何能夠成功?這首先需要海量且真實數(shù)據(jù)。在消費能力方面,需要獲得本人的銀行卡存款、住房信息、車輛保有信息、支付寶微信支付等第三方支付的記錄;在征信方面,需要來自政府的交稅記錄、罰款記錄、違法記錄;在社會層級方面,還需要掌握本人工作情況、親屬關(guān)系、資產(chǎn)配置、教育經(jīng)歷等;在應(yīng)訴能力方面,需要掌握與當(dāng)事人相關(guān)的報案、報警記錄、訴訟應(yīng)訴記錄、執(zhí)行情況等。唯有掌握如此龐大且復(fù)雜的信息,方才可能對當(dāng)事人進行完整的數(shù)據(jù)畫像。這是在理論上的分析和探討,實踐中的情況要殘酷得多。一方面法院內(nèi)部數(shù)據(jù)不真實、不完整、不準(zhǔn)確的現(xiàn)象比比皆是,法院系統(tǒng)內(nèi)部信息孤島現(xiàn)象短期內(nèi)尚且無法解決,例如,法院比較成熟的電子檔案管理目前仍然無法完全實現(xiàn)四級法院無障礙互通。[8]另一方面,在法院、公安、檢察院、銀行、移動支付等信息互通也難上加難,尤其是公安、檢察院以及監(jiān)獄管理局的信息,很難順利獲得。[9]此外,還有大量信息被淘寶、京東、支付寶、微信支付等企業(yè)掌握,法院要匯聚企業(yè)信息可能比政府更加復(fù)雜。即便隨著技術(shù)的進步,信息共享制度的完善,法院可能在有限范圍內(nèi)掌握部分上述信息,但擁有這些信息一定會產(chǎn)生主觀偏見嗎?

    法官在裁決案件過程中了解當(dāng)事人更多的個人信息,不僅不會產(chǎn)生偏見,反而有利于案件的審判執(zhí)行。在民商事領(lǐng)域,在執(zhí)行過程中法官常常為查人找物頭疼不已,浙江法院與阿里巴巴合作,通過大數(shù)據(jù)分析發(fā)現(xiàn)被執(zhí)行人網(wǎng)購收件地址較為固定,則此地極有可能是被執(zhí)行人的經(jīng)常住所地。對于刑事案件而言,犯罪傾向性意見只能迷惑普通人,法官受過專業(yè)訓(xùn)練,認(rèn)定某人是否有罪僅僅能夠依靠足夠的證據(jù),即便在過去幾年內(nèi),某人若干年前招搖撞騙、尋釁滋事、吃喝嫖賭、惡語相加,只要與被指控犯罪無關(guān),仍不能作為本次罪行的證據(jù)。以往過去的經(jīng)歷可能會成為當(dāng)下被告人定罪的證據(jù)只不過是部分人的想象,將道德評價納入定罪量刑也是沒有經(jīng)過系統(tǒng)訓(xùn)練的普通人的臆斷。對被告人進行大數(shù)據(jù)分析并不會影響其定罪,但是可能會對量刑結(jié)果產(chǎn)生影響?!缎谭ā返?1條規(guī)定:“對于犯罪分子決定刑罰的時候,應(yīng)當(dāng)根據(jù)犯罪的事實、犯罪的性質(zhì)、情節(jié)和對社會的危害程度,依照本法的有關(guān)規(guī)定判處?!逼渲蟹缸锏奈:Τ潭扔袝r需要其他相關(guān)材料方能得到印證。例如,經(jīng)常聚眾鬧事、尋釁滋事、甚至屬于累犯,那么社會危害性可能更高,而沒有上述事實,且曾經(jīng)有見義勇為、優(yōu)秀標(biāo)兵、積極悔罪、挽回損失的記錄則可能社會危害性較低,在量刑上也應(yīng)當(dāng)有所區(qū)分??梢?,對于刑事案件而言,大數(shù)據(jù)畫像、大數(shù)據(jù)貼標(biāo)簽可以幫助法官裁判更加精準(zhǔn)和科學(xué)。對于行政案件而言,大數(shù)據(jù)標(biāo)簽可能會分析出某人長期以來專門從事政務(wù)公開申請工作,其目的不是為了獲取信息,而是通過訴訟向政府施壓,以達到其預(yù)想目的,那么這個數(shù)據(jù)分析結(jié)果就可以成為不予受理的法定理由。①《政府信息公開條例》第35條規(guī)定:“申請人申請公開政府信息的數(shù)量、頻次明顯超過合理范圍,行政機關(guān)可以要求申請人說明理由。行政機關(guān)認(rèn)為申請理由不合理的,告知申請人不予處理?!倍掖髷?shù)據(jù)標(biāo)簽還能夠發(fā)現(xiàn)政府在依法行政過程中普遍存在的漏洞,為政府完善依法行政、提高執(zhí)法水平提供參考和借鑒。

    但是大數(shù)據(jù)進入司法確實讓學(xué)界產(chǎn)生了深深的憂慮,他們憂慮的真正內(nèi)容不是數(shù)據(jù)會給當(dāng)事人貼標(biāo)簽,而是大數(shù)據(jù)進入司法后破壞了原有的審判模式。大數(shù)據(jù)時代到來之前,法官僅能通過案卷材料了解當(dāng)事人的相關(guān)情況,其他相關(guān)信息不清楚、不了解、不知道,這相當(dāng)于構(gòu)建了低配版的“無知之幕”,遮擋了法官多余的視線,讓法官將注意力焦點集中在案件事實,服從內(nèi)心的自由心證,而不是原被告的身份、地位、宗教信仰、受教育程度、工作經(jīng)歷等無關(guān)因素。為了保證法官不受外來消息的影響,各國司法制度都做出了相應(yīng)的安排,英國有媒體報道的約束制度和程序規(guī)范,[10]美國則有對律師及檢察官的緘口令制度,[11]中國通過干預(yù)案件記錄制度杜絕案件受到來自領(lǐng)導(dǎo)干部的干預(yù)和影響。②參見:《領(lǐng)導(dǎo)干部干預(yù)司法活動、插手具體案件處理的記錄、通報和責(zé)任追究規(guī)定》。上述一切努力都是為了營造一個相對封閉的環(huán)境,讓法官的自由心證不受來自媒體的、領(lǐng)導(dǎo)干部的、律師的、檢察官的影響,僅僅依據(jù)事實和法律得出結(jié)論。大數(shù)據(jù)的到來對現(xiàn)有的司法制度造成了一些波瀾,法官有可能在案件事實之外了解到原被告的其他信息,基于這些信息可以判斷當(dāng)事人的品格、訴訟目的、征信情況等等。這不僅破壞了原先由程序設(shè)計好的封閉環(huán)境,而且迫使蒙眼的正義女神睜開了雙眼,其破壞了法官僅僅依據(jù)案件事實和證據(jù)進行裁判的原則,夾雜了來自大數(shù)據(jù)的信息和內(nèi)容。于是乎部分學(xué)者認(rèn)為信息系統(tǒng)給當(dāng)事人貼上了一個個標(biāo)簽,讓法官在裁判過程中產(chǎn)生了偏見。事實上,這種憂慮雜念不能停歇是因為忘卻了更為基本的原則。首先,法律僅僅能夠?qū)π袨樽鞒鲈u價,任何沒有行為依據(jù)的思想都不能成為評價依據(jù)。一個人內(nèi)心狂躁,想要毀滅世界,只要他沒有表達出來,沒有任何行為,沒有造成后果,就不能以任何罪名認(rèn)定其有罪。故僅憑大數(shù)據(jù)分析出來的想法或者可能性不能作為法律的評價依據(jù)。其次,除非法律規(guī)定,法律僅僅能夠?qū)Ξ?dāng)前行為作出評價,排除過往。這也是為什么不能對同一件事情評價兩次,一事不能二罰。即便某人過去屢屢犯錯,常常在街邊盜竊他人錢包,也不能據(jù)此認(rèn)定此人此次不是撿到錢包而是盜竊錢包。故即便大數(shù)據(jù)記載了過去大量不良記錄,依舊不能對當(dāng)下行為定性。最后,除非法律規(guī)定,法律僅僅能夠?qū)σ呀?jīng)發(fā)生的行為作出評價,排除未來。即便某人過去是一個地痞、流氓、無賴、騙吃、騙喝、騙婚,依然不能否定未來能成為反抗暴秦的領(lǐng)袖,并建立一個被后世銘記的大漢王朝。故即便大數(shù)據(jù)記錄個人征信情況不佳、道德品質(zhì)不高,未來依舊可能成為一個萬世表率。大數(shù)據(jù)進入司法可能會對當(dāng)事人貼標(biāo)簽,但是標(biāo)簽并不會產(chǎn)生偏見,只會有利于法官審判執(zhí)行,所謂的偏見不在法官心中,而在社會民眾之中,在學(xué)界學(xué)者心里。

    (二)智慧法院系統(tǒng)存在算法黑箱嗎?

    算法黑箱意味著算法在輸入數(shù)據(jù)和輸出答案之間存在著無法洞悉的內(nèi)容,一般人無法理解。[12]算法黑箱廣泛地存在于搜索、網(wǎng)購、閱讀等算法程序之中。當(dāng)人們在搜索欄目中輸入關(guān)鍵詞,搜索引擎就能將與關(guān)鍵詞相關(guān)的內(nèi)容呈現(xiàn)出來;當(dāng)打開購物APP或者網(wǎng)站時,總能出現(xiàn)想要購買或近期急需的商品;當(dāng)打開今日頭條、網(wǎng)易新聞等軟件,總能推送喜歡的內(nèi)容。大部分人可能不了解構(gòu)成算法黑箱的爬蟲算法、索引算法、排序算法、鏈接分析算法、RSA算法、基于投票的個性化算法等內(nèi)容。但是不會質(zhì)疑這些算法給生活帶來的便捷,足不出戶就能夠購買各種商品,搜索一下就能找到想要的知識,動動手指就能獲取自己想看的內(nèi)容。人們無需了解算法是如何運作的,只需要獲取算法帶來的福利。算法黑箱廣泛存在于智能應(yīng)用之中,那么裁決過程中的算法黑箱存在嗎?這就要從算法介入到司法活動的廣度和深度來分析了。從各地法院的創(chuàng)新實踐來看,算法參與到司法活動主要有以下幾種類型(參見表1):其一,整理案卷材料,生成庭審提綱。其二,提取電子卷宗,文書快速生成。其三,實現(xiàn)類案推送,提供量刑建議。

    對于功能一和功能二而言,基本屬于抽取案卷材料,按照既定邏輯,生成法官需要的結(jié)果。至于系統(tǒng)是基于什么樣的指令將紙質(zhì)案卷掃描成電子卷宗,基于什么樣的算法將PDF或者圖片中的文字生成庭審提綱,法官并不知道,這個過程中存在黑箱,但是這并不影響案卷材料的完整性、電子卷宗的真實性以及庭審提綱的準(zhǔn)確性。就如人們通過搜索引擎得到的網(wǎng)上新聞和自己翻閱報紙得到的新聞在內(nèi)容上不存在差別,人們不會因為新聞獲取方式存在算法介入,就認(rèn)為新聞內(nèi)容有假、數(shù)據(jù)遭到篡改。新聞依然是那個新聞,數(shù)據(jù)依舊是那個數(shù)據(jù),只不過經(jīng)過算法的加工,會調(diào)動起讀者的積極性,喜歡什么樣的內(nèi)容就會推送什么內(nèi)容。而案件輔助系統(tǒng)不同,不會因為法官喜歡看案件事實部分,就不推送證據(jù)部分,而是全方位的推送;更不會因為法官不喜歡看那部分的案卷材料,就不掃描那部分內(nèi)容??梢娫谶@個階段的智能應(yīng)用,算法的作用僅僅是對繁瑣的人力工作進行了替代,法官或者書記員不用再做簡單重復(fù)的勞動,而可以將主要精力集中在案件審判中。

    對于功能三,是學(xué)界對于智慧司法應(yīng)用爭議的焦點,美國威斯康星州訴艾瑞克·盧米斯(Eric Loomis)就是因為該案采用量刑智能輔助工具對被告人判刑。[13]這里需要指出的是,量刑輔助系統(tǒng)所做的僅僅是類案推送,或者將大量的案件數(shù)據(jù)進行類比分析后得出一個區(qū)域范圍值,即便如此,得出的結(jié)論都是描述性的而非規(guī)范性的,系統(tǒng)不會得出案件“應(yīng)當(dāng)”如何裁判,而是以技術(shù)優(yōu)勢給法官提供某個特定案件的平均裁判水平,以便法官能夠根據(jù)數(shù)據(jù)庫中的數(shù)值對自己手頭案件作出初步的評估。[14]范圍值的做出是哪一條代碼決定的,當(dāng)事人、律師、檢察官、法官都不得而知,但是基本原理是清楚的,通過關(guān)鍵詞歸納類案,對類案進行分析后得出一個上限和下限。可以說,這個過程中存在黑箱,但是這個黑箱并不造成邏輯困擾,即便沒有這些算法加成,以正常人的經(jīng)驗和判斷亦可以通過大量閱讀判例得出特定案件裁判的平均值,只不過這個工作可能要消耗人類太多的時間,而對于系統(tǒng)而言僅僅是幾分鐘而已。

    (三)算法歧視存在于司法活動中嗎?

    大數(shù)據(jù)時代,是否存在算法歧視?答案是肯定的。一般在數(shù)據(jù)應(yīng)用過程中主要會產(chǎn)生以下幾種歧視:1.內(nèi)置性編碼造成的歧視。在程序員編纂程序過程中就將不同的對象區(qū)分為三六九等,將自身的主觀意識和偏見加入到算法之中。[15]例如,滴滴打車的蘋果手機用戶收費比安卓用戶要高,這是程序員寫入算法中的,是程序所追求的結(jié)果。2.數(shù)據(jù)不完整造成的歧視。由于數(shù)據(jù)樣本代表性不足導(dǎo)致一些要素沒有被納入范圍,造成一些群體持續(xù)被忽視甚至歧視。例如,針對大學(xué)畢業(yè)生的就業(yè)情況進行統(tǒng)計,若大量統(tǒng)計985、211等知名高校,忽視其他本科院校以及大專院校,則可能得出較高的就業(yè)率、較高的工資水平,那么對于那些出身普通高校,找不到合適工作或者工資水平較低的畢業(yè)生而言可能會產(chǎn)生歧視。3.數(shù)據(jù)關(guān)聯(lián)造成的歧視。這類歧視中,算法決策者雖然使用了客觀中立的基礎(chǔ)數(shù)據(jù),但這些合法的客觀中立的數(shù)據(jù)組合在一起產(chǎn)生了歧視性的后果。[16]例如,將某種犯罪行為和地域相結(jié)合,容易造成××地的人都是電信詐騙犯,××地的人都是造假的等具有地域歧視的結(jié)論。4.特征選擇造成的歧視。這種歧視是將性別、體重、膚色、畢業(yè)院校、學(xué)歷、戶籍等敏感信息輸入,從而構(gòu)成歧視性看法。例如,劉某是一個來自某二本院校的180斤的胖子。這種歧視還可能會造成反饋循環(huán),進一步強化這種偏見。例如,搜索引擎會將矮矬窮胖和劉某自動關(guān)聯(lián),甚至輸入劉某進行搜索時,自動會跳出胖子、屌絲、矮子等字樣。上述幾種典型的算法歧視是否真的會在智慧法院中出現(xiàn)?

    首先,智慧法院不會刻意將歧視設(shè)置在編碼中。對于內(nèi)置性編碼造成的歧視,其本身是由人對人的歧視,而不是算法造成的歧視,算法在這個過程中僅僅是一個運算工具而已。這種算法歧視的本質(zhì)是將歧視從線下照搬到了線上,無論是滴滴蘋果客戶端收費高于安卓客戶端,還是網(wǎng)購平臺中的大數(shù)據(jù)殺熟,都是運營者主觀追求的結(jié)果。那么法院作為確定算法基本方向的甲方,會將不公平對待作為算法的要求之一嗎?這顯然是不可能的。因為在制度上,法院應(yīng)當(dāng)遵循法律面前人人平等原則,不因民族、種族、性別、職業(yè)、家庭出身、宗教信仰、教育程度、財產(chǎn)狀況的不同而有所區(qū)別。故在討論智慧司法中的歧視問題時,應(yīng)當(dāng)將內(nèi)置性編碼造成的歧視排除在外。

    其次,數(shù)據(jù)關(guān)聯(lián)的主要應(yīng)用不是產(chǎn)生歧視。智慧法院建設(shè)中的數(shù)據(jù)關(guān)聯(lián)可以便利審判管理,可以提高審判效率解決案多人少矛盾,可以為社會治理提供司法數(shù)據(jù)。例如,通過大數(shù)據(jù)分析,將地域、罪名等相關(guān)中立性的信息輸入,通過大數(shù)據(jù)運算得出結(jié)論,××省××地區(qū)什么類別的犯罪居全國首位。這樣不會造成地域歧視,相反,相關(guān)結(jié)論可能會加強相關(guān)的預(yù)防和教育工作,減少相關(guān)的犯罪率,這對于改進社會治安、對于地方法治建設(shè)具有重要意義。但是這種情況下是否會帶來算法歧視呢?法官在沒有審判之前就清楚地看到了相關(guān)的報告,某某省某某市某某縣電信詐騙較為猖獗,看到被告人正好是該地區(qū)的人,那么就不加審慎地認(rèn)定此人罪名成立?恐怕沒有經(jīng)過嚴(yán)格訓(xùn)練的法學(xué)本科生都不會做出這樣的結(jié)論,更不用說久經(jīng)歷練的法官了。

    最后,歧視反饋循環(huán)需要大量歧視案例。當(dāng)把大量案件的關(guān)鍵要素和審判結(jié)果錄入之后,想要出現(xiàn)歧視性反饋循環(huán),這要求大量的生效判決案件都存在類似的歧視,例如,在Google算法歧視案中,當(dāng)搜索非洲裔美國人相關(guān)名稱時,往往會關(guān)聯(lián)到犯罪的相關(guān)信息,這是過去長期搜索將非洲裔美國人與犯罪同時搜索造成的結(jié)果,其搜索過程本身就帶有歧視。[17]而智能審判系統(tǒng)出現(xiàn)歧視反饋循環(huán)則要求多個案件,甚至是每一個案件都存在歧視,這樣形成的算法數(shù)據(jù)庫才可能出現(xiàn)歧視反饋循環(huán)。若出現(xiàn)了大量歧視案件,此時應(yīng)該規(guī)制的不是算法,而是案件審判的法官。事實上,真正的歧視存在于人的心中,而非算法之中。即便算法無比強大能夠得出一些歧視性結(jié)論,只要法官恪守自由心證,嚴(yán)格依照法定事實和法律規(guī)定,則不會造成歧視性結(jié)果。反之,即便算法無法得出歧視性結(jié)論,只要審判者心中存有歧視,就會任由心中的偏見左右案件審判。

    即便沒有大數(shù)據(jù),沒有智慧法院,沒有算法的介入,審判工作也很難做到絕對的公平,絕對沒有任何歧視。有學(xué)者對中國1060份刑事判決進行實證分析,發(fā)現(xiàn)當(dāng)事人的性別、學(xué)歷、職業(yè)、機關(guān)等確實會對量刑產(chǎn)生影響,并體現(xiàn)出被告人自致因素的影響力大于先賦因素,社會地位越高法度越寬等規(guī)律。[18]在美國量刑歧視不僅體現(xiàn)在司法輔助系統(tǒng)中,實際審判中種族、膚色、社會地位等因素對于量刑的影響遠遠超乎想象。當(dāng)一個黑人被認(rèn)定殺死一個白人,被判處死刑的概率要遠大于白人殺死黑人。①黑人殺死白人相比白人殺死黑人被判處死刑的概率要高很多,在俄亥俄州是15倍,在佐治亞州是30倍,得克薩斯州是 90 倍。 參見:張訓(xùn).論量刑歧視[J].浙江社會科學(xué),2011,(2):49-55.智慧司法系統(tǒng)應(yīng)用之前,可以說歧視已經(jīng)存在,而大數(shù)據(jù)的出現(xiàn)能夠幫助法官將判決鎖定在合法的區(qū)間范圍內(nèi),一旦案件超出了警戒值,系統(tǒng)會予以提醒防止結(jié)果畸輕畸重。[19]從這個角度而言,歧視并不是算法造成的,而是天然的存在于司法裁判之中,而智能審判系統(tǒng)中的算法能夠在一定程度上削弱歧視的程度。

    (四)算法能夠替代法官思考嗎?

    有的學(xué)者擔(dān)憂:“越來越多的司法機關(guān)建成強大的信息系統(tǒng),開發(fā)出更加智能的軟件來代替?zhèn)鹘y(tǒng)的司法審理活動,甚至做出裁判?!保?0]這里需要反思的問題是,算法未來有能力替代法官思考嗎?算法替代法官有主客觀兩方面的要件:在客觀上,案件本身可以預(yù)測;在主觀上,法官思維方式可以模擬。

    在客觀上,案件審判結(jié)果是否可以通過算法預(yù)測?裁判預(yù)測是基于過往案件信息與法律后果之間的因果關(guān)系的一種分析,對于案件結(jié)果的一種蓋然率的推測。[21]有學(xué)者通過32萬份刑事判決為樣本,對其中有罪判決和無罪判決進行量化研究比較。結(jié)果發(fā)現(xiàn),無罪與有罪的司法決定不完全取決于案件基本事實是否符合實體定罪條件,還與刑事訴訟過程中的某種司法潛見有關(guān)。司法潛見來源于證據(jù)信息不對稱、實體性暗示、控辯力量對比懸殊、控方對案件的初選等背景信息。[22]例如,同樣的案件由不同的律師團隊代理,不同的檢察官提起公訴,不同的法官審理,其結(jié)果不可能做到完全一致。無論是代理、辯護、公訴還是審判都是一門需要長期積累的技藝,僅僅依靠系統(tǒng)預(yù)測或者計算,很難與最終結(jié)果相貼合,更何況這些內(nèi)容還很難放進大數(shù)據(jù)分析的材料之中,更難成為分析的要素。此外,法律法規(guī)的變更,冤假錯案的糾偏導(dǎo)致預(yù)測所依賴的數(shù)據(jù)庫背景需要及時的修正與更新,這些雜質(zhì)數(shù)據(jù)的存在也為案件預(yù)測增加了難度。有些相似案件出現(xiàn)了截然相反的判決,例如針對職業(yè)打假,前后數(shù)個法院作出不同的判決。①支持職業(yè)打假的判例參見:最高人民法院2014年1月26日發(fā)布的指導(dǎo)性案例之一《孫銀山訴南京歐尚超市有限公司江寧買賣合同糾紛案》,反對職業(yè)打假的判例有攜帶公證員購買10箱茅臺索賠受阻,參見:楊琳.打假人買假茅臺索賠10倍被駁[N].北京青年報,2018-01-07.預(yù)測系統(tǒng)的正確有效是基于對過去完整信息的掌握和分析,關(guān)鍵分析要素的缺失,雜質(zhì)數(shù)據(jù)的客觀存在直接導(dǎo)致裁判預(yù)測無法實現(xiàn)。

    在主觀上,法官的思維方式算法是否可以模擬?法官通過大前提與小前提經(jīng)由涵攝導(dǎo)出結(jié)論,這個邏輯過程很容易抽象概括,但在實踐中卻困難重重,尤其是面對疑難案件和重大價值判斷,僅僅依靠邏輯推理很難做出正確裁決。因為法律的生命不在于邏輯本身,而在于經(jīng)驗,法官不是法條主義者,更不是自動售貨機,許多司法決定都受到法官的政治偏好或者法律之外的其他因素的強烈影響,[23]而政治偏好或者法律之外的其他因素很難被算法所學(xué)習(xí)和掌握。對于政治偏好而言,即便是政治立場和意識形態(tài)明顯的美國法官,算法將上述因素納入考量范圍,其模擬實踐情況亦不是非常理想,無法完全模擬法官思維。②2017年,美國伊利諾伊立功大學(xué)教授丹尼爾·卡茨的團隊利用美國最高法院數(shù)據(jù)庫中的歷史數(shù)據(jù),為每個投票標(biāo)注若干個屬性標(biāo)簽,包括法官任期長短、管轄法院、口頭辯論權(quán)利保障等,創(chuàng)建了一種“隨機森林”的機器監(jiān)督學(xué)習(xí)算法?!半S機森林”模型學(xué)習(xí)了1816年到2015年最高法院的案例。經(jīng)過測試,該模型對于28000項判決結(jié)果預(yù)測正確率為70.2%,對24萬張法官投票預(yù)測的正確率為71.9%。參見:繆成.人工智能與大數(shù)據(jù)技術(shù)在司法領(lǐng)域的發(fā)展現(xiàn)狀[J].法制博覽,2019,(7):14-17.對于法律之外的其他因素,更是達到了目前算法所能處理的極限:其一,在語義分析方面,缺少背景知識可能使得人工智能無法正常分析問題,例如,“我借了你5萬元錢現(xiàn)在還沒有還”,單純從這一句話人工智能是區(qū)分不了誰是債權(quán)人誰是債務(wù)人的。再如,當(dāng)證人說“那天我大姨媽來,特別需要人幫忙,但是姨媽有事沒有來,當(dāng)天我沒有和她在一起,不能作她不在場證明的證人”,從人工智能語義分析可能會產(chǎn)生疑惑,她姨媽來了沒有?其二,在邏輯處理中,缺少文化背景使得人工智能分析問題淪為簡單的邏輯推演,并可能導(dǎo)向錯誤的判決。例如,對于山東辱母案、廣東許霆案按照邏輯推演可能會認(rèn)定無期徒刑符合法律規(guī)定,但最終因整體衡量社會公平正義,考量國法天理人情等諸多因素進行了改判。社會公平正義以及天理人情等因素如何體現(xiàn)在算法之中成為目前人工智能所能處理的邊界和極限。其三,在法律適用上,缺少對整個中國法律體系的把控使得法律適用中步履維艱。例如,民法中的公序良俗何時適用?誠信原則如何理解?規(guī)則與規(guī)則之間發(fā)生沖突如何協(xié)調(diào)?原則與規(guī)則之間發(fā)生沖突如何處理?上述這些問題在理論上尚且有爭議,更不可能將解決思路形成代碼編寫入智能程序中。

    人類理解事物的方式首先是通過外部感官(眼耳鼻舌身)獲取相關(guān)信息(光聲嗅味觸),而后對信息進行整合、加工、改造、處理,將不同的信息內(nèi)容建立關(guān)聯(lián)并形成概念、經(jīng)驗、判斷。人工智能理解外在事物的方式需要人類編寫代碼,規(guī)定各種要素、條件、要求,再經(jīng)由人類輸入外部信息,最后將信息按照代碼規(guī)定的邏輯得出結(jié)論。兩者區(qū)別在于人類擁有自由意志,人工智能是照章辦事;人類可以選擇接受或者屏蔽各類信息,人工智能只能被動接受指令;人類可以多角度看待信息內(nèi)容,人工智能只能依照既定的模式處理信息;人類看待案件是全方位審視,人工智能是按照邏輯針對要素進行匹配和比對;人類更能夠理解要素背后的社會意義和隱藏信息,而人工智能無法對細節(jié)背后的意義作出正確的判斷。當(dāng)前人工智能所欠缺的不是算力,在計算能力上人工智能早已超越了人類,即便是人類最后一處優(yōu)勢的圍棋,也被阿爾法狗打敗。但是人工智能缺少的是對文化的掌握以及常識的把控。一方面,人是社會關(guān)系的總和,討論案件預(yù)測和法官思維離不開其所處的社會,離不開社會中的文化和主流價值觀。文化和價值并不是人工智能擅長的領(lǐng)域,強勁的算力不能解決文化之間的對話問題,也不可能提出文明沖突的解決之道,一旦案件審理涉及文化背景和價值觀問題,人工智能則無法介入。另一方面,人類在處理某些事務(wù)過程中依賴的不是邏輯而是常識,人工智能缺少人類擁有的常識,因此在判斷案件基本事實時可能出現(xiàn)偏差。例如,身中五刀斷頭斷腳系自殺,缺少生活常識的人工智能可能會認(rèn)定為真,但正常人都會認(rèn)為可能有假。常識的養(yǎng)成依賴于生活中的各種細節(jié),且一旦形成就會嵌入潛意識當(dāng)中,而恰恰是因為這種潛意識,通常會被忽略掉,因此一般不會刻意錄入智能系統(tǒng)中。即便需要錄入也是無比龐大的數(shù)據(jù)任務(wù),幾乎不可能完成。綜上,以目前的發(fā)展水平,人工智能不可能替代法官思考,更不可能完全預(yù)判案件的走向。

    (五)算法可以替代法官判決嗎?

    既然以目前的技術(shù)水平,算法沒有足夠的能力替代法官,那么是否隨著數(shù)據(jù)的健全、技術(shù)的提升、模型的優(yōu)化,有一天算法替代法官的場景可能出現(xiàn)?這一點是否定的。因為算法替代法官本身既不符合司法改革的方向,又與憲法法律相違背,抱有這樣想法的嘗試和努力注定失敗。

    首先,算法替代法官與當(dāng)前司法改革方向不同。2017年《最高人民法院關(guān)于加快建設(shè)智慧法院的意見》頒布實施,該意見提出,加快建設(shè)智慧法院是最高人民法院落實“四個全面”戰(zhàn)略布局和新發(fā)展理念的必然要求,是國家信息化發(fā)展戰(zhàn)略的重要內(nèi)容,是人民法院適應(yīng)信息化時代新趨勢、滿足人民群眾新期待的重要舉措。根據(jù)該意見的內(nèi)容,智慧法院主要的工作集中在以下幾個方面:1.審務(wù)信息實現(xiàn)從上墻公示到上網(wǎng)公開;2.裁判文書實現(xiàn)從送達當(dāng)事人到社會共享;3.流程信息實現(xiàn)從無處查詢到主動推送;4.法庭審理實現(xiàn)從劇場公開到遠程可視;5.執(zhí)行信息實現(xiàn)從局部曝光到全程透明。從上述內(nèi)容不難看出,陽光法院、網(wǎng)絡(luò)法院、智能法院是構(gòu)成智慧法院的三個維度。[24]智慧法院所做的一切努力都是為了化繁為簡,方便法官的同時讓更多人接近司法,而不是為了制造麻煩和困擾。司法改革的方向是將智慧法院建設(shè)成為司法的車之兩輪、鳥之兩翼,并非車本身、鳥本身。更不是車上的方向盤,也不是鳥的大腦,充其量只不過是輔助法官的工具。法官才是司法改革的中心,不可能通過本輪司法改革將法官剔除出審判主體,成為可有可無的存在。司法改革的方向是賦予法官更多的裁判自主權(quán),而不是賦予機器或者人工智能裁判權(quán)。司法改革的方向決定了技術(shù)是否會朝向相關(guān)領(lǐng)域發(fā)展,學(xué)界所擔(dān)憂的人工智能裁判出現(xiàn)無疑會影響法官的裁判權(quán),同時也會影響到整個司法權(quán)威,與司法改革方向背道而馳。

    其二,算法替代法官違反憲法及法律的規(guī)定。《憲法》第128條規(guī)定:“中華人民共和國人民法院是國家的審判機關(guān)?!薄吨腥A人民共和國人民法院組織法》第4條規(guī)定:“人民法院依照法律規(guī)定獨立行使審判權(quán),不受行政機關(guān)、社會團體和個人的干涉?!睂徟袡?quán)是人民通過憲法賦予法院的權(quán)能,不可能讓渡給政府、檢察院、監(jiān)察委行使審判職能,更不可能讓渡給軟件公司、計算機公司、算法工程師。即便未來技術(shù)的發(fā)展已經(jīng)能夠?qū)⑷f物數(shù)據(jù)化,將人與人之間的關(guān)系用數(shù)據(jù)衡量,算法可以精確地判定價值觀,只要憲法沒有變動,法律沒有修改,那么就不會出現(xiàn)所謂的算法替代法官進行審判的實踐。從本質(zhì)上而言,算法替代法官裁決,軟件公司替代法院成為審判機構(gòu),本質(zhì)上是一種違反憲法法律的行為。

    其三,算法替代法官違背商業(yè)規(guī)律。算法替代法官的嘗試并非易事,需要算法工程師不停地試錯和創(chuàng)新,甚至需要集合法官的智慧共同研發(fā)方能成功,這勢必需要資本與法院深入合作。在法院方面,自然不會令資本占據(jù)主動地位,既掌握數(shù)據(jù)又左右司法審判。在資本投入方面,商業(yè)機構(gòu)在投資之前都會對相關(guān)政策風(fēng)險、法律風(fēng)險、社會風(fēng)險以及道德風(fēng)險進行全方位的評估,如此違背政策要求以及法律規(guī)定的投資勢必會被商業(yè)機構(gòu)所否決,缺少資金來源的項目工程注定無法實現(xiàn)。

    智慧司法能夠輔助到什么程度、可以輔助到什么程度、應(yīng)該輔助到什么程度是不同的問題。智慧法院能夠輔助到什么程度取決于算法的能力和特點,截至目前,算法所能達到的都是基于數(shù)字和邏輯推理,而非人情世故,所以一旦案件涉及社會背景則無法得出結(jié)論。智慧法院可以輔助到什么程度取決于司法機關(guān)的選擇,司法機關(guān)的任何選擇不會有悖于司法改革的大方向。智慧法院應(yīng)當(dāng)輔助到什么程度取決于憲法法律的規(guī)定,任何超出憲法法律范圍的嘗試將會因缺少法律依據(jù)而流產(chǎn),審判權(quán)是憲法賦予法院獨有的權(quán)力,不可讓渡給所謂的算法或者機器,更不可能由軟件公司操控,這是對中國法律制度的挑戰(zhàn),是對現(xiàn)有政治制度的顛覆,不可能出現(xiàn)更不可能成功。

    三、智慧司法的展望

    以上否定了算法貼標(biāo)簽、算法替代法官思考、算法取代法官審判,分析了算法黑箱和算法歧視,認(rèn)為智慧法院中的算法即便存在黑箱,也不影響人們理解其中的邏輯;即便存在算法歧視,也明顯弱于法官本身帶有的歧視,算法甚至可以緩解審判歧視。智慧司法的所有焦慮和擔(dān)憂均來自于對陌生事物的恐懼,對于智慧司法建設(shè)關(guān)注焦點不應(yīng)當(dāng)是算法,而是算法給司法帶來的各項沖擊。

    (一)對算法的憂慮來源于恐懼

    人工智能對于大部分人而言是一個既熟悉又陌生的新鮮事物,而對新鮮事物的排斥和恐懼是人類的本能。當(dāng)出現(xiàn)月食人們認(rèn)為是天狗吃月,要敲打樂器驅(qū)趕天狗;當(dāng)出現(xiàn)社會動亂或者瘟疫橫行時,中世紀(jì)歐洲不明就里地開始獵殺女巫;當(dāng)照相機出現(xiàn)時被認(rèn)為可能會攝人魂魄,進而奪人性命;當(dāng)汽車出現(xiàn)時,美國媒體將其形容為惡魔的車,英國甚至出臺了“紅旗法”限制汽車車速;當(dāng)5G技術(shù)出現(xiàn)時,有人公開擔(dān)憂5G信號輻射嚴(yán)重。諸如此類的擔(dān)憂無一不是情景再現(xiàn),面對無法理解的事物、現(xiàn)象以及技術(shù),任何錯誤的信息通過簡單的邏輯推演,就能夠在群眾中廣泛傳播,最終形成一種牢不可破的執(zhí)念。對人工智能的憂慮和恐懼亦是如此,一方面這種恐懼體現(xiàn)在科幻小說和科幻電影中,人類成為人工智能的奴隸,進行著各種反抗活動。例如,生化危機中的紅皇后,黑客帝國中的電子矩陣,漫威電影中的奧創(chuàng)。這些科幻小說和電影受眾面較廣,潛移默化中輸入了人工智能將來會取代甚至奴役人類的錯覺。另一方面新聞媒體在宣傳人工智能取得的重大成就時,采取夸大標(biāo)題吸引別人眼球。例如,阿爾法狗大殺四方的時候,新聞標(biāo)題大多是“新阿爾法狗橫空出世:人工智能反人類是什么結(jié)局?”[25]“人工智能阿爾法狗戰(zhàn)勝棋手,人類會被人工智能代替?”[26]盡管仔細品讀這些文章,發(fā)現(xiàn)內(nèi)容比較客觀中立,但是僅僅從標(biāo)題來看無疑加重了普通人群的恐慌和焦慮。此外,現(xiàn)實生活中技術(shù)的進步,尤其是人工智能的發(fā)展,逐步造成了部分人員失業(yè)。例如,電話接線員、碼頭信號調(diào)度員、鐵路扳道工等已經(jīng)淡出人們視線。有些尚未失業(yè)的人員,隨著人工智能的進一步應(yīng)用,也在逐漸減少甚至未來某一天徹底失業(yè)。例如,收費站工作人員、速錄員、收銀員等可能逐漸減少甚至在未來消失。這樣的沖擊讓人們對新技術(shù)的發(fā)展產(chǎn)生反感、厭惡、排斥甚至是恐懼。針對智慧法院中的人工智能、算法應(yīng)用等內(nèi)容,潛意識中對人工智能的恐懼支配了正常的思考,一些夸張炒作成為研究的前提假設(shè),諸如超強人工智能超越人類取代人類成為必然甚囂塵上。因此需要盡早研究算法取代人類法律的對策,研究人工智能引發(fā)的各類風(fēng)險,防患于未然,[27]有的甚至主張刑法積極應(yīng)對和規(guī)制人工智能犯罪問題。[28]這種未雨綢繆的精神讓人欽佩,但是所有焦慮以及恐懼均是來自于虛妄執(zhí)念,只不過是撫慰恐懼的內(nèi)心而已。[29]

    (二)不應(yīng)當(dāng)過度關(guān)注智慧法院中的算法

    關(guān)注算法本身的結(jié)果就是要求加強對智慧法院的算法進行審查,要求法院公開算法。[30]但事實上,法院公開算法對于消除算法歧視收效甚微。首先,公開算法并不能保證沒有歧視。只要算法存在,就可能產(chǎn)生算法黑箱和算法歧視,即便程序員刻意避免歧視出現(xiàn)的前提下,在算法運用過程中依然可能出現(xiàn)歧視性結(jié)果。[31]例如,在輸入法詞庫中沒有將肥宅和快樂水關(guān)聯(lián)在一起,但網(wǎng)友長期將二者一起輸入,其結(jié)果是算法判定“肥宅快樂水”是一種新的詞語。其次,算法公開容易造成信息淹沒。公開算法后關(guān)注的焦點就成了算法本身是否存在歧視,是否會導(dǎo)致不公正的判決。而事實上相比于算法,法官對于訴訟參與人的歧視以及類案不同判更應(yīng)當(dāng)被關(guān)注,當(dāng)關(guān)注的焦點從案件本身轉(zhuǎn)移到了算法,那么案件裁判適用法律是否恰當(dāng),案件結(jié)果是否合理等均可能被忽略。再次,算法公開可能存在技術(shù)鴻溝。即便是公開算法,無論是PHP,還是Python,抑或是java,對于普通人而言都是如同天書一般,根本無法根據(jù)算法所記載的內(nèi)容判斷算法是否存在歧視或者偏見。最后,算法公開存在安全隱患。由于算法內(nèi)容的專業(yè)性,無論是公開算法,還是審查算法,都不得不依賴由法官委員會、算法工程師、法學(xué)專家或者倫理專家共同組成的委員會,公開或者審查過程中增加了原始代碼泄露的危險,一旦被黑客掌握其中的漏洞,則可能以此為踏板侵入法院內(nèi)部系統(tǒng),造成關(guān)鍵數(shù)據(jù)被篡改、核心數(shù)據(jù)遭到泄露。

    (三)應(yīng)當(dāng)關(guān)注算法給司法帶來的沖擊

    盡管智慧法院建設(shè)過程中的算法問題無須過度擔(dān)憂,但大數(shù)據(jù)應(yīng)用、算法革命對司法及審判工作的影響卻不止于此。有的通過深度挖掘裁判文書,對其進行大數(shù)據(jù)分析形成報告,推動相關(guān)領(lǐng)域的學(xué)術(shù)研究;有的基于以往判決對案件勝負概率進行預(yù)測,提供訴訟建議;[32]有的則利用人工智能審查合同或者保密協(xié)議,其效率和準(zhǔn)確率甚至超過了經(jīng)驗豐富的律師。①美國法律人工智能平臺LawGeex就四個小時審查五項保密協(xié)議與20位有經(jīng)驗的律師展開競爭,結(jié)果顯示,lawGeex以95%的準(zhǔn)確率完勝人類律師的85%的準(zhǔn)確率。在速度方面,法律人工智能完成任務(wù)僅需26秒,人類律師需要92分鐘。參見:左衛(wèi)民.熱與冷:中國法律人工智能的再思考[J].環(huán)球法律評論,2019,(2):53-62.這些看似無關(guān)的商業(yè)應(yīng)用,實質(zhì)可能會對審判工作產(chǎn)生巨大的影響。首先,大數(shù)據(jù)分析報告成為影響司法的工具。除了司法機關(guān)之外,大數(shù)據(jù)分析也可以由個人、公司、企業(yè)進行,他們熱衷于利用爬蟲技術(shù)獲取裁判文書及其關(guān)鍵信息,有的是為了從事科研,有的則是為了分析審判規(guī)律并從中獲利。技術(shù)公司可能會在算法中設(shè)置偏見或歧視編碼,以期得到預(yù)想的分析結(jié)果,并以此為依據(jù)影響甚至左右法院的判決。其次,算法預(yù)測案件結(jié)果可能會對司法權(quán)威造成沖擊。前文已述,人工智能預(yù)測案件結(jié)果并不能做到100%,那么一旦法官最終判決結(jié)果與預(yù)測結(jié)果不同,那么個人、公司、企業(yè)的預(yù)測結(jié)果是否會成為公眾質(zhì)疑司法的依據(jù)?一旦非司法機構(gòu)能夠掌握司法審判規(guī)律,甚至可以對司法判決評頭論足,獲取公眾的普遍支持和信任,那么本就脆弱的司法權(quán)威是否會遭受毀滅性的打擊?最后,殘缺的樣本得出錯誤的結(jié)論影響司法公信。事實上,法院對外公開的裁判文書并不全面,有大量文書因法定或者非法定原因未能公開。根據(jù)學(xué)者對河南法院裁判文書公開的研究,發(fā)現(xiàn)裁判文書公開的比例各不相同,有的公開比例高達83%,有的僅為15%,[33]個人、公司、企業(yè)根據(jù)不完整的樣本分析得出的結(jié)論可能存在偏差,甚至利用上述殘缺樣本得出一些明顯帶有歧視性的結(jié)論。而這些結(jié)論的得出來自于法院的各類信息,這無疑將司法機構(gòu)推向輿論的風(fēng)口浪尖,極大地影響了司法公信。

    結(jié) 語

    不知從何時開始,如何更好地批評和監(jiān)督公權(quán)力成為學(xué)術(shù)界的共識,而來自商業(yè)機構(gòu)的“隱形權(quán)力”卻往往被忽略,當(dāng)學(xué)術(shù)界在關(guān)注智慧法院建設(shè)過程中大數(shù)據(jù)、算法運用、信息化建設(shè)可能對公民、企業(yè)、組織造成各類不平等和傷害時,卻忽略了同樣的內(nèi)容可以對司法機構(gòu)、公民、企業(yè)、組織造成影響。法院作為國家審判機構(gòu)不可能在編輯代碼之初就將歧視和偏見寫入,而滴滴、京東、淘寶等出現(xiàn)的大數(shù)據(jù)殺熟,算法歧視則比比皆是。與公權(quán)力相比,資本力量利用算法造成的傷害遠超公權(quán)力機關(guān),一旦讓其突破司法審判中的各類算法,極有可能既傷害與其對立的商業(yè)對手、法人、組織以及普通公民,還有可能影響、左右甚至架空司法機構(gòu)。故學(xué)術(shù)界應(yīng)當(dāng)從對智慧司法建設(shè)中的憂慮中走出,將注意力焦點集中在資本力量掌握的隱形權(quán)力上。

    猜你喜歡
    法官法院司法
    制定法解釋中的司法自由裁量權(quán)
    法律方法(2021年4期)2021-03-16 05:34:28
    百姓拆遷心結(jié)一朝化解法院主持調(diào)解握手言和
    法官如此裁判
    法官如此裁判
    司法所悉心調(diào)解 墊付款有了著落
    非正式司法的悖謬
    班里設(shè)個小“法院”
    做“德法兼修”的好法官
    紅土地(2018年8期)2018-09-26 03:19:06
    我國法院在線調(diào)解的興起、挑戰(zhàn)與未來
    當(dāng)法官當(dāng)不忘初心
    紅土地(2016年10期)2016-02-02 02:45:32
    日本猛色少妇xxxxx猛交久久| 国产在线男女| 国产单亲对白刺激| 欧美3d第一页| 99在线视频只有这里精品首页| 国产精品精品国产色婷婷| 最近最新中文字幕免费大全7| 欧美日韩精品成人综合77777| 国产三级中文精品| 日本黄色视频三级网站网址| 久久久久久久久久久免费av| 精品少妇黑人巨大在线播放 | 尤物成人国产欧美一区二区三区| 精品人妻熟女av久视频| 丰满少妇做爰视频| 日日摸夜夜添夜夜爱| 岛国在线免费视频观看| 校园人妻丝袜中文字幕| 又粗又硬又长又爽又黄的视频| 色哟哟·www| 男女国产视频网站| or卡值多少钱| 综合色丁香网| 日本免费a在线| 国产视频首页在线观看| АⅤ资源中文在线天堂| 变态另类丝袜制服| 久久久亚洲精品成人影院| 日韩,欧美,国产一区二区三区 | 亚洲最大成人av| 丰满乱子伦码专区| 国产高清国产精品国产三级 | 成人特级av手机在线观看| 国产一区二区亚洲精品在线观看| 欧美性猛交黑人性爽| 嫩草影院精品99| 久久99热这里只频精品6学生 | 国产久久久一区二区三区| 内地一区二区视频在线| 午夜精品国产一区二区电影 | 波野结衣二区三区在线| 精品不卡国产一区二区三区| 欧美日韩一区二区视频在线观看视频在线 | 久久精品国产99精品国产亚洲性色| videossex国产| 亚洲婷婷狠狠爱综合网| 久久久久九九精品影院| 99久久无色码亚洲精品果冻| 97热精品久久久久久| 亚洲va在线va天堂va国产| 久99久视频精品免费| 三级国产精品片| 人妻系列 视频| 国产精品伦人一区二区| 久久精品国产亚洲av天美| 国产综合懂色| 欧美一级a爱片免费观看看| 久久人妻av系列| 波多野结衣巨乳人妻| 看免费成人av毛片| 三级经典国产精品| 永久网站在线| 一区二区三区高清视频在线| 日韩欧美精品v在线| 婷婷六月久久综合丁香| 日韩欧美三级三区| 色哟哟·www| 日本av手机在线免费观看| 久久久久九九精品影院| 亚洲人与动物交配视频| 如何舔出高潮| 国产高清三级在线| 亚洲国产日韩欧美精品在线观看| 国产精品国产高清国产av| 国产精品99久久久久久久久| 亚洲欧美日韩东京热| av天堂中文字幕网| 国内少妇人妻偷人精品xxx网站| 久久国产乱子免费精品| eeuss影院久久| 日韩欧美三级三区| 国产亚洲最大av| 一级毛片久久久久久久久女| 少妇猛男粗大的猛烈进出视频 | 天堂中文最新版在线下载 | 久久精品久久精品一区二区三区| 一二三四中文在线观看免费高清| 天美传媒精品一区二区| 最近手机中文字幕大全| 亚洲国产精品成人久久小说| 麻豆乱淫一区二区| 中文字幕制服av| 啦啦啦观看免费观看视频高清| 97超碰精品成人国产| 少妇熟女aⅴ在线视频| 久久久久久久久久成人| 国产精品1区2区在线观看.| 国产一级毛片七仙女欲春2| 国产精品综合久久久久久久免费| 日韩一本色道免费dvd| 亚洲精品自拍成人| av播播在线观看一区| 色噜噜av男人的天堂激情| 长腿黑丝高跟| 久久精品久久精品一区二区三区| 久久99热这里只频精品6学生 | 午夜福利成人在线免费观看| 国产综合懂色| 国产成人午夜福利电影在线观看| 国产精品乱码一区二三区的特点| 欧美最新免费一区二区三区| 精品国产一区二区三区久久久樱花 | 亚洲aⅴ乱码一区二区在线播放| 久久国内精品自在自线图片| 麻豆成人午夜福利视频| 欧美成人免费av一区二区三区| 老女人水多毛片| 亚洲成av人片在线播放无| 天天一区二区日本电影三级| 亚洲人成网站高清观看| 特大巨黑吊av在线直播| 欧美潮喷喷水| 岛国毛片在线播放| 亚洲欧美精品自产自拍| 亚洲国产精品sss在线观看| 97超视频在线观看视频| 最近视频中文字幕2019在线8| 天天躁日日操中文字幕| 国产中年淑女户外野战色| 亚洲欧美精品综合久久99| 国产免费又黄又爽又色| 国产免费男女视频| 高清午夜精品一区二区三区| 只有这里有精品99| 亚州av有码| 国产高清国产精品国产三级 | 午夜亚洲福利在线播放| 久久国内精品自在自线图片| 99热这里只有是精品在线观看| 九九爱精品视频在线观看| 看片在线看免费视频| www.av在线官网国产| 国产极品精品免费视频能看的| 日本与韩国留学比较| 爱豆传媒免费全集在线观看| 99国产精品一区二区蜜桃av| 日韩 亚洲 欧美在线| 中文字幕亚洲精品专区| 97超碰精品成人国产| av福利片在线观看| 欧美一区二区精品小视频在线| 亚洲精品日韩在线中文字幕| 九九久久精品国产亚洲av麻豆| 99九九线精品视频在线观看视频| 成人午夜高清在线视频| 亚洲欧美中文字幕日韩二区| 国产精品久久电影中文字幕| 国产午夜精品一二区理论片| 国产毛片a区久久久久| 你懂的网址亚洲精品在线观看 | 亚洲欧美中文字幕日韩二区| 亚洲人成网站在线播| 国产色爽女视频免费观看| 99久久九九国产精品国产免费| 亚洲激情五月婷婷啪啪| 免费不卡的大黄色大毛片视频在线观看 | 高清午夜精品一区二区三区| 欧美一区二区精品小视频在线| 亚洲欧美成人综合另类久久久 | 最近最新中文字幕大全电影3| 国产又色又爽无遮挡免| 网址你懂的国产日韩在线| 日日啪夜夜撸| 一边亲一边摸免费视频| 一级毛片我不卡| 啦啦啦啦在线视频资源| 一级爰片在线观看| 亚洲成av人片在线播放无| 中文亚洲av片在线观看爽| 婷婷色综合大香蕉| 99九九线精品视频在线观看视频| 亚洲最大成人手机在线| 国产精品久久电影中文字幕| 中文资源天堂在线| av在线蜜桃| 高清日韩中文字幕在线| 日日摸夜夜添夜夜爱| 国产亚洲一区二区精品| 国产精品电影一区二区三区| 黄色日韩在线| 欧美bdsm另类| 成人漫画全彩无遮挡| 国产精品久久久久久精品电影小说 | 日日摸夜夜添夜夜爱| 国产精品熟女久久久久浪| 高清毛片免费看| 搞女人的毛片| 又粗又爽又猛毛片免费看| 国产一区亚洲一区在线观看| 一区二区三区免费毛片| 精品无人区乱码1区二区| 国产成人精品一,二区| 看十八女毛片水多多多| 亚洲真实伦在线观看| 一级毛片电影观看 | 一级毛片aaaaaa免费看小| 黄色配什么色好看| 日韩一本色道免费dvd| 亚洲18禁久久av| 色播亚洲综合网| 久久久久性生活片| 久久精品熟女亚洲av麻豆精品 | 精品久久久噜噜| 精品熟女少妇av免费看| 久久久久精品久久久久真实原创| 天美传媒精品一区二区| 91精品国产九色| 国产成人一区二区在线| 久久久久久九九精品二区国产| 国产精品人妻久久久影院| 18禁裸乳无遮挡免费网站照片| 国产在线一区二区三区精 | 久久久久久伊人网av| 岛国在线免费视频观看| 精品无人区乱码1区二区| 色综合色国产| 我的老师免费观看完整版| 黑人高潮一二区| 午夜免费激情av| 亚洲精品一区蜜桃| 国产白丝娇喘喷水9色精品| 久久婷婷人人爽人人干人人爱| 99国产精品一区二区蜜桃av| 99热6这里只有精品| 秋霞伦理黄片| 永久免费av网站大全| 国产成人福利小说| 中文乱码字字幕精品一区二区三区 | 欧美成人a在线观看| 成人二区视频| 精品少妇黑人巨大在线播放 | 99热这里只有是精品在线观看| 中国美白少妇内射xxxbb| 男人舔奶头视频| 亚洲熟妇中文字幕五十中出| 亚洲最大成人手机在线| 亚洲三级黄色毛片| 亚洲第一区二区三区不卡| 亚洲熟妇中文字幕五十中出| 美女cb高潮喷水在线观看| 国产在视频线在精品| 波野结衣二区三区在线| 久久这里只有精品中国| 免费看美女性在线毛片视频| 免费在线观看成人毛片| 亚洲国产日韩欧美精品在线观看| 只有这里有精品99| 中文字幕熟女人妻在线| 国产成人aa在线观看| 免费一级毛片在线播放高清视频| 久久精品人妻少妇| 丰满乱子伦码专区| 桃色一区二区三区在线观看| 日本熟妇午夜| 少妇丰满av| 性色avwww在线观看| 黄色欧美视频在线观看| 国内少妇人妻偷人精品xxx网站| 亚洲av福利一区| 毛片女人毛片| 国产大屁股一区二区在线视频| 小说图片视频综合网站| 草草在线视频免费看| 能在线免费看毛片的网站| 十八禁国产超污无遮挡网站| 国产午夜福利久久久久久| 国产亚洲91精品色在线| 乱系列少妇在线播放| 国产欧美日韩精品一区二区| 久久久久久九九精品二区国产| 青春草亚洲视频在线观看| 欧美丝袜亚洲另类| 秋霞伦理黄片| 中文字幕av成人在线电影| 久久久久久国产a免费观看| 亚洲成人久久爱视频| 精品久久久久久久人妻蜜臀av| 亚洲乱码一区二区免费版| 日韩强制内射视频| 亚洲一区高清亚洲精品| 久久久久国产网址| 精品久久久久久久久亚洲| av卡一久久| 国产 一区 欧美 日韩| 日本黄色视频三级网站网址| 国产av不卡久久| 国产成人aa在线观看| 久久久久久久久久成人| 亚洲自拍偷在线| 成人无遮挡网站| 最近最新中文字幕大全电影3| av在线蜜桃| 激情 狠狠 欧美| 亚洲一区高清亚洲精品| 黄色配什么色好看| 亚洲av成人精品一二三区| 亚洲五月天丁香| 久久精品国产亚洲av天美| 免费av不卡在线播放| 亚洲精品乱久久久久久| 国产淫片久久久久久久久| 免费观看精品视频网站| 91午夜精品亚洲一区二区三区| 欧美性感艳星| 亚洲国产成人一精品久久久| 国产毛片a区久久久久| 搡女人真爽免费视频火全软件| 久久6这里有精品| 级片在线观看| 成人毛片a级毛片在线播放| 观看美女的网站| 久久久国产成人精品二区| 国产高清不卡午夜福利| 国产精品人妻久久久影院| 亚洲欧美一区二区三区国产| 国产伦在线观看视频一区| 草草在线视频免费看| 国产老妇伦熟女老妇高清| 小蜜桃在线观看免费完整版高清| 蜜臀久久99精品久久宅男| 午夜亚洲福利在线播放| 国产91av在线免费观看| 国产精品一区二区在线观看99 | 欧美日韩一区二区视频在线观看视频在线 | 亚洲自偷自拍三级| 久久久久性生活片| 日本熟妇午夜| 国产精品一区二区三区四区久久| 热99re8久久精品国产| 99久久九九国产精品国产免费| 爱豆传媒免费全集在线观看| 能在线免费观看的黄片| 天天一区二区日本电影三级| 美女国产视频在线观看| 性色avwww在线观看| 亚洲人成网站高清观看| av播播在线观看一区| 青春草亚洲视频在线观看| 成人无遮挡网站| 久久国内精品自在自线图片| 好男人视频免费观看在线| 91久久精品国产一区二区三区| 亚洲中文字幕一区二区三区有码在线看| 麻豆成人av视频| 亚洲精品成人久久久久久| 日韩成人av中文字幕在线观看| 中文字幕免费在线视频6| 九草在线视频观看| 美女大奶头视频| 亚洲va在线va天堂va国产| 国产大屁股一区二区在线视频| 在线天堂最新版资源| or卡值多少钱| 亚洲av不卡在线观看| av在线蜜桃| 淫秽高清视频在线观看| 免费黄网站久久成人精品| 国内精品一区二区在线观看| 免费电影在线观看免费观看| 免费观看的影片在线观看| 尾随美女入室| 九九久久精品国产亚洲av麻豆| 国产中年淑女户外野战色| 特级一级黄色大片| 精品午夜福利在线看| 成人鲁丝片一二三区免费| 成年版毛片免费区| 长腿黑丝高跟| 特大巨黑吊av在线直播| 麻豆久久精品国产亚洲av| av在线天堂中文字幕| 国产亚洲av片在线观看秒播厂 | 十八禁国产超污无遮挡网站| 亚洲真实伦在线观看| 亚洲欧美日韩卡通动漫| 丝袜喷水一区| av播播在线观看一区| 春色校园在线视频观看| 在线播放无遮挡| 国产精品av视频在线免费观看| 成人性生交大片免费视频hd| 精品少妇黑人巨大在线播放 | 欧美一级a爱片免费观看看| 亚洲精品日韩av片在线观看| 毛片女人毛片| 欧美激情国产日韩精品一区| 亚洲精品色激情综合| 久久精品国产99精品国产亚洲性色| 在线天堂最新版资源| 亚洲av一区综合| 国产成人精品一,二区| 91aial.com中文字幕在线观看| 免费观看的影片在线观看| 免费看光身美女| 国产亚洲午夜精品一区二区久久 | 久久久久久久久大av| 免费在线观看成人毛片| 成人亚洲欧美一区二区av| 嫩草影院精品99| 国产又黄又爽又无遮挡在线| 亚洲欧美精品专区久久| 在现免费观看毛片| 人妻制服诱惑在线中文字幕| 国产黄a三级三级三级人| 午夜精品国产一区二区电影 | 女人十人毛片免费观看3o分钟| 天堂影院成人在线观看| 91aial.com中文字幕在线观看| 久久久色成人| 三级经典国产精品| or卡值多少钱| 久久久精品大字幕| 精品久久久久久久久亚洲| 国产精品一区www在线观看| 在线a可以看的网站| 嫩草影院新地址| 免费观看精品视频网站| 午夜a级毛片| 久久久久性生活片| 免费观看在线日韩| 69人妻影院| 看黄色毛片网站| 在线免费观看的www视频| 特大巨黑吊av在线直播| 亚洲精品亚洲一区二区| 能在线免费看毛片的网站| 国产免费又黄又爽又色| 国产精品1区2区在线观看.| 免费观看人在逋| 亚洲av中文字字幕乱码综合| 色综合亚洲欧美另类图片| 亚洲一区高清亚洲精品| 天天躁夜夜躁狠狠久久av| 禁无遮挡网站| 三级经典国产精品| 免费看美女性在线毛片视频| 成人综合一区亚洲| 欧美日韩精品成人综合77777| 久久精品国产亚洲网站| 国产一级毛片七仙女欲春2| 日韩av在线大香蕉| 国产伦一二天堂av在线观看| 国产亚洲午夜精品一区二区久久 | 噜噜噜噜噜久久久久久91| 老师上课跳d突然被开到最大视频| 久久精品国产自在天天线| 三级国产精品片| 日本免费一区二区三区高清不卡| 春色校园在线视频观看| 白带黄色成豆腐渣| 日本免费a在线| 亚洲成av人片在线播放无| 国产成人福利小说| 日韩视频在线欧美| 九九久久精品国产亚洲av麻豆| 午夜福利成人在线免费观看| 黄片无遮挡物在线观看| 国产成人aa在线观看| 三级国产精品欧美在线观看| 18禁裸乳无遮挡免费网站照片| 网址你懂的国产日韩在线| 少妇裸体淫交视频免费看高清| a级一级毛片免费在线观看| 国产精品人妻久久久影院| 亚洲精品乱码久久久v下载方式| 美女大奶头视频| 日本黄色片子视频| 国产高潮美女av| 欧美色视频一区免费| 亚洲电影在线观看av| 男插女下体视频免费在线播放| 久久久久久久久久久免费av| 狠狠狠狠99中文字幕| 搞女人的毛片| 中国国产av一级| 日韩欧美在线乱码| 色综合站精品国产| 亚洲三级黄色毛片| 国产成人免费观看mmmm| 99热这里只有精品一区| 欧美日韩精品成人综合77777| 麻豆av噜噜一区二区三区| 久久精品人妻少妇| 国产精品一区www在线观看| 永久免费av网站大全| 老司机影院成人| 天堂中文最新版在线下载 | 男女视频在线观看网站免费| 国产成人freesex在线| 在线观看美女被高潮喷水网站| 赤兔流量卡办理| 九九热线精品视视频播放| 乱码一卡2卡4卡精品| www日本黄色视频网| 韩国高清视频一区二区三区| 亚洲中文字幕日韩| 毛片一级片免费看久久久久| 不卡视频在线观看欧美| 超碰av人人做人人爽久久| 亚洲欧美成人精品一区二区| 日韩大片免费观看网站 | 久久久久国产网址| 青春草亚洲视频在线观看| 国产又色又爽无遮挡免| 亚洲精品国产成人久久av| 赤兔流量卡办理| 最近视频中文字幕2019在线8| 日韩在线高清观看一区二区三区| 久久久精品欧美日韩精品| 国产成人午夜福利电影在线观看| 精品久久国产蜜桃| 看片在线看免费视频| 国产精品三级大全| 美女被艹到高潮喷水动态| 中文精品一卡2卡3卡4更新| 久久久久久久亚洲中文字幕| 国产成人91sexporn| 亚洲精品一区蜜桃| 亚洲美女视频黄频| 国产乱人偷精品视频| 精品久久久久久电影网 | 日本wwww免费看| 高清在线视频一区二区三区 | 日韩亚洲欧美综合| 午夜福利在线观看免费完整高清在| 久久久久九九精品影院| 你懂的网址亚洲精品在线观看 | 熟女电影av网| 一区二区三区免费毛片| 人体艺术视频欧美日本| 日本一二三区视频观看| 大话2 男鬼变身卡| 在线免费十八禁| 国产三级中文精品| 人妻系列 视频| 欧美日韩在线观看h| 欧美另类亚洲清纯唯美| 久久久久精品久久久久真实原创| 免费黄网站久久成人精品| 国产精品av视频在线免费观看| 天堂影院成人在线观看| 最近最新中文字幕免费大全7| 日韩视频在线欧美| 丰满乱子伦码专区| 中文资源天堂在线| 日本爱情动作片www.在线观看| 国产毛片a区久久久久| 91精品伊人久久大香线蕉| 国产av码专区亚洲av| 亚洲精品国产av成人精品| 人妻夜夜爽99麻豆av| 久99久视频精品免费| 亚洲av中文av极速乱| 欧美3d第一页| 久久精品久久久久久噜噜老黄 | 亚洲怡红院男人天堂| 国产亚洲av片在线观看秒播厂 | 日韩av在线免费看完整版不卡| 中文字幕精品亚洲无线码一区| 久久99蜜桃精品久久| 午夜福利成人在线免费观看| 99久久精品热视频| 亚洲在线观看片| a级毛片免费高清观看在线播放| 97超碰精品成人国产| 69人妻影院| av福利片在线观看| 日本欧美国产在线视频| 国产乱人视频| 桃色一区二区三区在线观看| 3wmmmm亚洲av在线观看| 99久久成人亚洲精品观看| 五月玫瑰六月丁香| 中文字幕av在线有码专区| 我要搜黄色片| 国语自产精品视频在线第100页| 日韩欧美精品免费久久| 成人毛片60女人毛片免费| 三级毛片av免费| 少妇人妻一区二区三区视频| 亚洲不卡免费看| 亚州av有码| 联通29元200g的流量卡| 中国国产av一级| 岛国毛片在线播放| videossex国产| 午夜福利网站1000一区二区三区| 免费在线观看成人毛片| 少妇被粗大猛烈的视频| 高清在线视频一区二区三区 | 能在线免费观看的黄片| av播播在线观看一区| av线在线观看网站| av又黄又爽大尺度在线免费看 | 午夜日本视频在线| 欧美3d第一页| 精品国产三级普通话版| 丝袜喷水一区| 丰满乱子伦码专区| www.av在线官网国产| 亚洲欧美清纯卡通| 男人舔奶头视频| 国产精品久久久久久久久免| 99热网站在线观看| 亚洲丝袜综合中文字幕|