• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    從通用化走向?qū)iT化:反思中國司法人工智能的運用

    2020-02-25 09:44:02左衛(wèi)民
    法學論壇 2020年2期
    關(guān)鍵詞:人工智能法律

    左衛(wèi)民

    (四川大學 法學院,四川成都 610065)

    引言

    近年來,隨著大數(shù)據(jù)、人工智能技術(shù)的興起與發(fā)展,人類社會仿佛一夜之間進入了一個嶄新的“智能紀元”,中國法律界似乎也緊緊跟上了這股人工智能風潮。2019年世界互聯(lián)網(wǎng)法治論壇,筆者與來自多國的司法官員、專家學者就司法(法律)人工智能的應(yīng)用問題進行交流時,(1)本文所指司法為廣義的司法概念,所以公安機關(guān)運用的人臉識別等人工智能也在本文探討的司法人工智能之列。另外,需要指出的是法律人工智能是一個更廣泛的概念,但在司法領(lǐng)域中的法律人工智能使用司法人工智能來指稱更適宜。親身感受了這場人工智能技術(shù)風暴如何席卷全球法律界。與此相關(guān),司法(法律)人工智能成為近兩年中國法學理論界和實務(wù)界俏熱一時的話題。一方面,理論界圍繞人工智能這一新興事物展開一場新興技術(shù)與傳統(tǒng)理論的大討論。(2)理論界對于人工智能的探討熱度從“中國知網(wǎng)”相關(guān)文獻的數(shù)量及增長情況便可見一斑。以“人工智能+法律”為主題詞進行文獻檢索,2016年之前幾乎無人關(guān)注,僅有10篇,2016年開始引起較為關(guān)注,增加到62篇,2017年繼續(xù)增加到288篇,2018年爆炸式增長到749篇,而2019年更是增長到了2009篇,可見人工智能與法律的結(jié)合成為了近兩年廣泛關(guān)注的話題。例如人工智能對既有法學理論帶來的問題與挑戰(zhàn)、(3)王利明提出,人工智能對我們的民事法律制度提出了挑戰(zhàn),人格權(quán)制度、數(shù)據(jù)財產(chǎn)保護、知識產(chǎn)權(quán)保護、侵權(quán)責任認定和承擔等,都需要隨著人工智能技術(shù)的發(fā)展而作出必要的調(diào)整,參見王利明:《人工智能時代對民法學的新挑戰(zhàn)》,載《東方法學》2018年第3期。周佑勇提出,人工智能的技術(shù)特征產(chǎn)生了特有技術(shù)風險,它潛在地可能對現(xiàn)有秩序產(chǎn)生高烈度沖擊。因此,智能時代法學理論需要回應(yīng)個人信息使用規(guī)則重構(gòu)、算法規(guī)范路徑創(chuàng)制、法律主體觀念更新和法律歸責體系迭代的時代需求,參見周佑勇:《論智能時代的技術(shù)邏輯與法律變革》,載《東南大學學報(哲學社會科學版)》2019年第5期。鄭戈提出“現(xiàn)代”法律體系能否成功應(yīng)對人工智能所帶來的新的風險和不確定性能否在人工智能時代繼續(xù)維持秩序與變革、守護與創(chuàng)新、價值與事實之間的動態(tài)平衡,這是今天的法律人所必須面對的緊迫問題。參見鄭戈: 《人工智能與法律的未來》,載《探索與爭鳴》2017 年第10期,等等 。人工智能運用中產(chǎn)生的信息公開和透明化等法律問題、(4)胡凌指出所有軟件/算法都可能朝向自動收集數(shù)據(jù),做出決定或判斷的趨勢,由于算法的復(fù)雜性,算法帶來的結(jié)果可能無法預(yù)測,并在更大范圍內(nèi)帶來系統(tǒng)性的不利后果。參見胡凌:《人工智能的法律想象》,載《文化縱橫》2017年第2期。人工智能在法律領(lǐng)域的運用等現(xiàn)實問題。(5)吳習彧對人工智能進行司法裁判的相關(guān)問題提出了思考,參見吳習彧:《司法裁判人工智能化的可能性及問題》,載《浙江社會科學》2017年第4期。左衛(wèi)民就法律人工智能在中國的話語層面熱度高漲卻在司法實踐運用層面遇冷的悖論現(xiàn)象進行了分析,參見左衛(wèi)民:《熱與冷:中國法律人工智能的再思考》,載《環(huán)球法律評論》2019年第2期。另一方面,實務(wù)界也迎上了這股風潮,甚至在某種程度上走在了理論界的前頭。在中共十九大報告(6)中共十九大報告中提出要“推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實體經(jīng)濟深度融合”,參見習近平:《決勝全面建成小康社會 奪取新時代中國特色社會主義偉大勝利——在中國共產(chǎn)黨第十九次全國代表大會上的報告》,http://cpc.people.com.cn/n1/2017/1028/c64094-29613660.html。最后訪問時間:2019年10月9日。、國務(wù)院政府工作報告以及《新一代人工智能發(fā)展規(guī)劃》(7)《國務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知》,http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm,最后訪問時間:2019年10月9日。等中央有關(guān)文件的支持下,智慧警務(wù)、智慧檢務(wù)、智慧法院等規(guī)劃方案紛紛出臺,在司法人工智能的探索之路上躍馬揚鞭。但是,話語的轟轟烈烈并不等同于實踐的有效展開,況且,這種熱鬧背后也許隱含的是司法人工智能研究的空泛化、泡沫化。我們似乎應(yīng)當警惕逐利者迅速涌入又迅速抽身離去后的一地雞毛。筆者認為,傳統(tǒng)上保持審慎、理性的法律行業(yè)更需要克制,應(yīng)當對司法人工智能的現(xiàn)狀有足夠清醒、客觀的評估。

    一、個別開花:司法人工智能的運用現(xiàn)狀

    縱觀運用實踐,筆者的整體看法是:到目前為止,司法人工智能在實踐中取得了一定成效,但其運用現(xiàn)狀仍難稱理想,至少大部分的實際運用并未達到開發(fā)者或使用者先前所期待的功效,故而只能被稱作“個別開花”。應(yīng)當肯定的是,司法人工智能目前已取得一定效果。這種成效主要集中在兩個領(lǐng)域:

    第一是警務(wù)活動中較好運用。典型運用如人臉識別技術(shù),被廣泛布置于機場、車站、廣場等人員密集區(qū)域,能自動捕獲、抓取動態(tài)人臉圖像,并與公安機關(guān)數(shù)據(jù)庫中的圖像進行比對、核實。其已在公安機關(guān)的偵查活動中發(fā)揮重要作用,使演唱會上抓獲逃犯等新聞頻登頭條,成為公安機關(guān)追捕逃犯的得力助手。(8)例如2018年接連出現(xiàn)人臉識別技術(shù)在演唱會上抓獲逃犯的新聞。參見鄭博超:《張學友能“神助攻”,世界杯也行》,載《檢察日報》2018年6月13日。盡管人臉識別技術(shù)引發(fā)了一些隱私權(quán)方面的爭議,(9)參見張曄:《當人臉識別遇上隱私,立法應(yīng)緊跟》,載《科技日報》2018年7月6日;張凱倫、王倩:《“刷臉”的風險,你知道多少?》,載《檢察日報》2019年4月17日。但應(yīng)用實效毋庸置疑,其在實踐中的運用也是相當廣泛。

    第二是司法輔助活動中的相對有限運用。典型運用如“智慧法院”建設(shè)中推出的庭審智能語音識別、電子卷宗生成、類案推送、量刑輔助、法律問答機器人等等,這些運用似乎在某種程度上滿足了當事人的需求,減輕了法官的工作量。同時在司法活動中也開始發(fā)揮提高效率、節(jié)約司法資源的作用,但其效果似乎相當有限,在司法實踐中并未如預(yù)期般普遍運用。更重要的是,其中一部分技術(shù)雖被冠以“智能”的稱謂,但其是否屬于真正意義上的人工智能可能還存有爭議,尤其是其是否體現(xiàn)出類人類一般的自主思考能力這一人工智能最為核心的“擬人性”特征更值得商榷。具體而言,在以下運用實例中有所反映:

    其一,電子卷宗生成技術(shù)、網(wǎng)上辦案平臺、在線庭審等技術(shù),(10)關(guān)于電子卷宗生成技術(shù)的運用,例如上海市高級人民法院于2017年10月發(fā)布《上海市高級人民法院關(guān)于建立完善電子卷宗隨案同步生成系統(tǒng)的實施方案》,在全市法院全面推廣電子卷宗隨案同步生成和深度應(yīng)用工作,在立案、審理、執(zhí)行等各個流程階段和各個訴訟環(huán)節(jié)所產(chǎn)生的訴訟文件、所實施的訴訟活動,都要同步轉(zhuǎn)化為電子數(shù)據(jù),納入案件辦理系統(tǒng)中去。參見黃安琪:《上海法院全面推進電子卷宗隨案同步生成》,http://www.xinhuanet.com//mrdx/2017-11/01/c136719710.htm,最后訪問時間:2020年1月29日。關(guān)于網(wǎng)上辦案平臺與在線庭審技術(shù)的運用,例如浙江移動微法院小程序,浙江全省法院當事人和律師打開手機微信浙江移動微法院小程序,可進行網(wǎng)上立案、在線調(diào)解、在線庭審、申請執(zhí)行。參見王春:《浙江全省上線移動微法院4.0版》,載《法制日報》2018年9月11日。其核心仍是一種電子化的信息處理方式,旨在實現(xiàn)法院辦案方式由紙質(zhì)向電子、由線下向線上的轉(zhuǎn)變,其間并未體現(xiàn)計算機自主思考后進行加工的“額外知識”,而仍是需要由人進行操作的信息化方式(盡管這種操作手段可能進行了更新)。簡言之,其運用模式是“人+電子化”,(11)法院的信息化建設(shè)是AI運用的基礎(chǔ),但并不等于AI運用本身。在外國,AI的運用也被看作深化法院信息化建設(shè),特別是在線糾紛解決的一種發(fā)展方向。參見: Amy J. Schmitz,EXPANDING ACCESS TO REMEDIES THROUGH E-COURT INITIATIVES,67 Buff. L. Rev. 89,2019,p.146.或者說是數(shù)字化、在線化。

    其二,庭審語音識別、卷宗OCR識別,(12)浙江省高級人民法院自2016年3月開始啟動智能語音識別項目的研發(fā)工作,并在全省法院推廣。智能語音識別系統(tǒng)專門針對法院工作場景開發(fā),主要為庭審、調(diào)解、合議、聽證、審判委員會討論、制作文書、文書校對、12368訴訟服務(wù)熱線等辦案環(huán)節(jié)提供語音轉(zhuǎn)寫服務(wù)。參見孟煥良:《浙江法院智能語音識別系統(tǒng)全面上線》,載《人民法院報》2016年9月19日。北京海淀法院以O(shè)CR技術(shù)為基礎(chǔ),將高掃儀生成電子材料自動回填至審判系統(tǒng),實現(xiàn)圖片內(nèi)容到文本信息的轉(zhuǎn)換,參見林摯:《北京海淀法院上線“一鍵歸檔”》,載《人民法院報》2019年9月22日。其屬于典型的感知智能技術(shù),在智能化程度上相較于傳統(tǒng)錄音、掃描等信息技術(shù)等有了相當程度的提升,但是其并非專門針對司法活動開發(fā)的人工智能,未能將通用的感知智能技術(shù)轉(zhuǎn)換、發(fā)展為專用的司法感知智能技術(shù),從而也未能解決復(fù)雜的法律場景難題(如法庭審判中多方互動及爭論場景),所以在當下的審判實踐中也未獲得普遍運用。(13)例如上海第二中級人民法院的法官指出庭審語音識別技術(shù)也存在使用率不高、易用性不足的問題,除個別法庭使用較好外,民事庭、刑事庭等法庭的適用率僅為21.69%、27.69%、12.54%。參見朱川、孫詠玄、玉寶、沈俊、盧騰達:《庭審語音識別轉(zhuǎn)寫系統(tǒng)優(yōu)益與配套機制研究》,載《人民司法》2018年第19期。也有研究者從技術(shù)開發(fā)的角度,指出當前類案識別準確率偏低,原因在于技術(shù)上的瓶頸和一線開發(fā)的技術(shù)人員往往未能準確定位一線法官對類案推薦的實際需求。參見王祿生:《司法大數(shù)據(jù)與人工智能開發(fā)的技術(shù)障礙》,載《中國法律評論》2018年第2期。

    其三,類案推送系統(tǒng),其在主動推送類案層面看似具備了些許智能化的因素,但在實踐中的運用卻并不如預(yù)期般有效。一方面,開發(fā)群體過多導(dǎo)致類案標準混亂,除了最高法院開發(fā)的類案推送系統(tǒng),多個地區(qū)的高級法院也開發(fā)了類似的系統(tǒng),而各自的系統(tǒng)又分別由不同的法律科技公司設(shè)計、研發(fā),從而使得檢索結(jié)果不一致。(14)例如除了最高人民法院的類案智能推送系統(tǒng),還出現(xiàn)了貴州省高級人民法院的類案裁判標準數(shù)據(jù)庫,北京市高級人民法院的睿法官系統(tǒng),重慶市高級人民法院的類案智能專審平臺,等等。參見鄭通斌:《類案檢索運行現(xiàn)狀及完善路徑》,載《人民司法》2018年第31期。另一方面,智能化程度有限使得檢索推送案例不精確、案由覆蓋率不足,無法解決法官實際需要。(15)例如有法官指出類案推送的案例常常不區(qū)分地域、不區(qū)分效力層級、不區(qū)分是否是裁判文書原文,而統(tǒng)一采用要素匹配的方式進行推送,混亂顯而易見。參見朱彬彬、祝興棟:《類案推送的精細化:問題、成因與改進——以刑事類案推送為例》,載《法律適用》2018年第20期。有研究者經(jīng)過實證調(diào)研發(fā)現(xiàn)目前的類案推送系統(tǒng)存在檢索推送案例不精確:范圍過窄、來源不明、層級不清,以及地方各司法機關(guān)檢索系統(tǒng)不統(tǒng)一、檢索結(jié)果不一致等問題。參見左衛(wèi)民:《如何通過人工智能實現(xiàn)類案類判》,載《中國法律評論》2018年第2期。

    其四,法律問答機器人。其在外觀上似乎更近似一般認知中的人工智能想象,但就實際運用而言,所謂的問答,大多要以點擊相應(yīng)問題的固定模式或采用相對專業(yè)的提問模式進行。這是由于法律問答機器人的信息庫相對封閉,無法自主產(chǎn)生額外信息,所以如當事人與法官面對面溝通般不固定、自如的問答模式無法完全實現(xiàn),其實質(zhì)上更類似于一臺訴訟信息匯總的計算機。(16)參見周佑勇:《智能技術(shù)驅(qū)動下的訴訟服務(wù)問題及其應(yīng)對之策》,載《東方法學》2019年第5期。這種信息在信息爆炸、網(wǎng)絡(luò)技術(shù)高度發(fā)達的當下,通過查詢書籍、網(wǎng)絡(luò)等方式同樣不難獲取,(17)例如延安中院的法律服務(wù)機器人“圣地小法”,其功能包括法律咨詢、智能問答、法律法規(guī)查詢、案例推送等,主要目的在于幫助當事人了解案件流程,掌握相關(guān)法律規(guī)定,以及根據(jù)案情作出初步判斷。參見惠興文:《延安中院“圣地小法”正式上崗》,載《人民法院報》2017年10月11日。再如北京第一中院的法律服務(wù)機器人“小法”,其功能也是幫助當事人查詢法條、訴訟程序,以及同類案件的審判情況等。參見《法律機器人進駐北京法院提供智慧訴訟服務(wù)》,http://www.xinhuanet.com/legal/2017-10/12/c_1121794505.htm,最后訪問時間:2020年1月29日。所以問答機器人只是便捷程度的有限提升,而非理念、方式的全面升級。

    雖然這些運用集中于較淺層面,但探索的正面意義仍值得肯定。不過在肯定之余更需警醒的是,無論是在警務(wù)活動還是司法輔助性活動中,這種運用只能算作基礎(chǔ)性的淺層探索,當下的司法人工智能整體上仍然是一種淺度人工智能運用,與理想中的人工智能尚存很大差距,所以,當前司法人工智能還有待大幅提升。同時,由于發(fā)展的不成熟,市場上還充斥著大量的“偽人工智能”,有學者便指出當下人工智能的自主性與機械自動化的混淆現(xiàn)象,將一些典型的自動化技術(shù)與人工智能技術(shù)混為一談。(18)參見劉艷紅:《人工智能法學研究的反智化批判》,載《東方法學》2019年第5期。這種混淆,可能源于法律界對人工智能技術(shù)的陌生與誤解,也可能是由于追逐學術(shù)熱點而主動強加的概念附會,對于后者,尤需警醒。

    綜上所述,就現(xiàn)狀而言,當前司法人工智能的實際運用在深度和廣度上都相當有限。在深度上,目前司法人工智能在實踐中仍限于充當輔助法律人決策的角色,僅適宜作為法官裁判的助手而不能完全替代法官。從提高工作效率的角度而言,其可能更適宜于處理技術(shù)性、輔助性的工作。在廣度上,司法人工智能被集中運用在警務(wù)活動及司法活動的少部分環(huán)節(jié),在通用技術(shù)相當成熟的如人臉識別、語音轉(zhuǎn)換領(lǐng)域比較成功。同時,在技術(shù)要求不特別高、已有適當投入并成功克服難題的領(lǐng)域(如數(shù)據(jù)的電子化),其運用也相對成功。但在關(guān)涉效率與公正等司法決策的真正疑難問題上,司法人工智能的應(yīng)用仍是淺嘗輒止,存在應(yīng)用不多、不具體、實效不夠等問題。

    二、何以如此:通用化的成熟與專門化的缺失

    何以出現(xiàn)上述小范圍開花、大范圍失意的鮮明對比?筆者以為,主要有以下幾點因素。

    其一,司法人工智能小范圍的成功是源于成熟人工智能技術(shù)的普適性適用。目前發(fā)揮較大作用的司法人工智能運用如人臉識別技術(shù)、語音識別等感知智能技術(shù),一方面均是先在商用、民用領(lǐng)域研發(fā)并使用的通用技術(shù),這些技術(shù)經(jīng)過長期的廣泛實踐與反復(fù)改進已趨于完善。另一方面,這些技術(shù)在司法活動中的運用場景與普通的商用、民用的運用場景在本質(zhì)上是一致的,其實質(zhì)是通用技術(shù)在司法領(lǐng)域的直接復(fù)制,例如警務(wù)活動中使用人臉識別追逃與商業(yè)公司使用人臉識別抓取數(shù)據(jù)依賴同一種技術(shù)邏輯。再如語音識別(轉(zhuǎn)換)技術(shù),無論是在庭審中使用,抑或是在商務(wù)會談、學術(shù)會議中使用,雖然運用場景有所不同,其核心需求均是將語音轉(zhuǎn)換為文字,即使由于司法活動(尤其是庭審活動)的特殊性,導(dǎo)致語音的識別具有一些額外的要求,但僅僅是技術(shù)難度上的區(qū)別而非技術(shù)邏輯上的相異。因此歸根結(jié)底,司法人工智能的部分成功運用是由于成熟技術(shù)本身的無障礙,而對于其它司法活動而言,其技術(shù)需求便不僅限于這些通用技術(shù),而是需要為司法運用“定制”一套專門技術(shù),其間必然涉及供需雙方的有效溝通、人工智能知識與司法知識的深度融合以及研發(fā)技術(shù)的高度成熟,其開發(fā)無疑是“另起爐灶”且難度往往高于通用技術(shù)。所以,當沒有成熟的“專用化”的人工智能技術(shù)應(yīng)對司法活動的大部分問題時,目前小范圍開花的尷尬局面也就順理成章。

    二是司法人工智能產(chǎn)品的現(xiàn)有技術(shù)未能克服司法實踐難題,也未適應(yīng)司法規(guī)律與特征。技術(shù)開發(fā)沒有真正掌握司法活動的“痛點”,而是將人工智能技術(shù)往司法活動上“硬套”,其結(jié)果是在一些外圍式、邊緣式活動中有所成效,但在主要、核心的活動中卻難以配套。當然,也應(yīng)當承認人工智能技術(shù)與司法活動的有效結(jié)合存在一定客觀困難。司法活動有其獨特性,是凝結(jié)了法律人智慧的判斷性活動,因此人工智能要想在司法活動中真正發(fā)揮作用,需要理解其特殊性,并不斷模擬和練習法律人的思維。而這種法律人思維的模擬并非易事:一是需要足夠的模擬基礎(chǔ)來源即數(shù)據(jù)。目前,我國的司法數(shù)據(jù)公開取得了長足的進步,裁判文書網(wǎng)成為了全球最大的官方司法判決書公開網(wǎng)站,盡管裁判文書網(wǎng)上傳文書數(shù)目巨大,但是卻并不能刻畫出審判活動的“冰山全貌”,因為仍有數(shù)量眾多的文書未上傳,在已上傳的文書中,排除文書信息不真實、不客觀的干擾,想要對其進行有效的數(shù)據(jù)模擬,仍需經(jīng)過數(shù)據(jù)清洗、數(shù)據(jù)標注等多重加工步驟。二是人工智能需要有適配司法領(lǐng)域的算法。相較于通用領(lǐng)域,司法領(lǐng)域尤其強調(diào)邏輯性和論證說理。在此影響下,司法領(lǐng)域人工智能算法的把握力與可解釋性就顯得更為重要。以量刑輔助的人工智能研發(fā)為例,在模型訓(xùn)練過程中,研發(fā)主體可以依托神經(jīng)網(wǎng)絡(luò)、決策樹等不同算法,每種算法的準確性和可解釋性也有所不同。在司法人工智能的開發(fā)中,除了考慮算法結(jié)果的準確性外,選擇具有可解釋性的算法并進行領(lǐng)域優(yōu)化就至關(guān)重要。(19)參見王祿生:《司法大數(shù)據(jù)與人工智能技術(shù)應(yīng)用的風險及倫理規(guī)制》,載《法商研究》2019年第2期。

    三是所投入的資金人才資源不足與投入模式不佳。應(yīng)當承認的是對于司法人工智能的投入,其絕對數(shù)量相較于其它人文社科已屬不少并且仍在逐步增加之中,只是相對于人工智能領(lǐng)域所需要的投入量而言,目前的投入仍顯得相當有限。一方面是國家層面的投入有限,由于法律歸屬于傳統(tǒng)的人文社科,其研究經(jīng)費投入本身難以與需要搭建實驗室的理工科相提并論。但是,司法人工智能顯然已經(jīng)難以再歸屬到傳統(tǒng)意義上的人文社科當中,對其研究也需要更多的資金投入,甚至也需要建設(shè)法律人工智能研發(fā)的“實驗室?!?20)實際上,已經(jīng)有科研機構(gòu)構(gòu)建起了類似的實驗室,例如北京大學法律人工智能實驗室。參見《引領(lǐng)法學知識生產(chǎn)、推動法治人才培養(yǎng)、助力法治發(fā)展進步——北京大學法律人工智能實驗室、北京大學法律人工智能研究中心成立儀式暨第一屆北京大學法律與人工智能論壇成功召開》,http://www.law.pku.edu.cn/xwzx/xwdt/58007.htm,最后訪問時間:2020年1月27日。因此,從國家層面而言,需要革新將法學一概視為傳統(tǒng)人文社科的視域,從國家研究經(jīng)費方面給予司法人工智能領(lǐng)域更多的資金和人才支持。另一方面,或許更為重要的是社會層面的投入亦遠遠不夠,當然,這或許與司法領(lǐng)域并非具有高回報率有關(guān),就連號稱人工智能第一股并且與法律行業(yè)合作密切的公司,其部分利潤可能也源于政府補貼。(21)在科大訊飛2018年年報中,科大訊飛獲得政府補助總額2.85億元,占比凈利52.58%,意味著半數(shù)凈利所得,離不開政府補助。參見《科大訊飛年報出爐,2018日賺148萬元,53%是政府補助》,http://finance.sina.com.cn/stock/s/2019-04-19/doc-ihvhiqax3905503.shtml,最后訪問時間:2020年1月27日??萍脊静辉竿度脒^多資源開發(fā)僅在法律領(lǐng)域適用而無法普遍使用的產(chǎn)品,而法律領(lǐng)域的消費者又“購買力”有限,往往無法獨自承擔定制法律專用人工智能產(chǎn)品高昂的研發(fā)成本。因此,也就形成了目前司法人工智能開發(fā)多是某些地區(qū)甚至某個司法機關(guān)與科技公司單獨合作的“小打小鬧”局面,這樣缺乏統(tǒng)一規(guī)劃、個別化的投入模式使得投入產(chǎn)出率不高,其結(jié)果往往是投入的資金和人力未能得到充分使用,產(chǎn)出的人工智能產(chǎn)品也無法有效運用。

    三、未來展望:從通用化走向?qū)iT化

    針對上述問題,未來的司法人工智能到底路在何方?筆者以為可從以下方面努力:

    第一,降低對司法人工智能的盲目期待。盡管人工智能技術(shù)的發(fā)展一次次打破人類的傳統(tǒng)技術(shù)認知界限,但也要警惕人工智能的萬能論,即無論在何種領(lǐng)域,人工智能都能完美替代人類。司法活動尤其是審判活動應(yīng)當如此嗎?近年來,智慧司法建設(shè)如火如荼展開,人工智能似乎大有替代法律人之勢。但是細想之下,司法活動本身便凝聚著人類的智慧,即使用AI法官來替代人類法官的愿景美好,但這種期待一方面高估了當下人工智能的發(fā)展程度——即使在人工智能技術(shù)最為領(lǐng)先的美國也未研制出能在審判活動中完全替代人類法官的人工智能產(chǎn)品。另一方面,也低估了人類法官在司法活動中獨特的審判智慧,審判活動從古代神明裁判發(fā)展到當下的證據(jù)裁判,是一種非理性到理性的演變過程,這個過程中無疑彰顯著諸多審判智慧,即哈耶克所謂“從長期審判實踐的經(jīng)驗和豐富的觀察中獲得的可靠而周密的判斷力和裁決力”。(22)[英]馮·哈耶克:《經(jīng)濟、科學與政治——哈耶克論文演講集》,馮克利譯,江蘇人民出版2003年版,第584頁。在古代中國,便出現(xiàn)了五聽斷獄的審判技巧,即通過表情、氣色、聲音等方面來綜合定案。再如將審判和調(diào)解相結(jié)合的馬錫五審判方式,其對人情事理的精到把握是冰冷屏幕中的AI法官所不具備的。有研究者甚至認為“人工智能對審判經(jīng)驗的吸收和設(shè)計者對經(jīng)驗的標準化和規(guī)范化總結(jié)僅是審判所需經(jīng)驗的很小一部分,人工智能僅是對智性部分模仿的初級階段?!?23)潘庸魯:《人工智能介入司法領(lǐng)域路徑分析》,載《東方法學》2018年第3期。因此,“我們應(yīng)當充分認識到法律人工智能的運用是一個長期性、艱巨性的過程,并將面臨艱巨挑戰(zhàn)。熱鬧的現(xiàn)象并不表明中國已經(jīng)進入了法律人工智能時代,更不意味著市場已經(jīng)有了成熟的法律人工智能產(chǎn)品?!?24)左衛(wèi)民:《關(guān)于法律人工智能在中國運用前景的若干思考》,載《清華法學》2018年第2期。

    第二,研發(fā)重心從通用領(lǐng)域轉(zhuǎn)向司法專用領(lǐng)域。當下通用領(lǐng)域的人工智能應(yīng)用已經(jīng)取得了一定的進展,但需要有清醒認知的是,在司法領(lǐng)域中通用技術(shù)的使用似乎已經(jīng)快要觸及“瓶頸”,其技術(shù)已經(jīng)難以滿足司法的獨特性需求。(25)參見劉艷紅:《大數(shù)據(jù)時代審判體系和審判能力現(xiàn)代化的理論基礎(chǔ)與實踐展開》,載《安徽大學學報(哲學社會科學版)》2019年第3期。因此,對于今后司法人工智能技術(shù)的發(fā)展方向,應(yīng)當明確的是,要立足于司法活動的專業(yè)特性,尤其是要著眼于審判等核心活動的技術(shù)需求進行深耕,挖掘司法實踐對于人工智能的真正需求點。(26)例如,對域外法院開始利用AI來對案件結(jié)果進行預(yù)測、對專家證詞的采信等利用方式,我國在研發(fā)時就可以結(jié)合中國實際來開發(fā)相應(yīng)的產(chǎn)品。有關(guān)民事審判案件中,AI對案件結(jié)果預(yù)測之運用,可參見: Richard C. Kraus, Artificial Intelligence Invades Appellate Practice: The Here, The Near, and The OhMyDear,A.B.A.(Feb.5,2019),https://www.americanbar.org/groups/judicial/publications/appellate_issues/2019/winter/artificial-intelligence-invades-appellate-practice-the-here-the-near-and-the-oh-my-dear/. 有關(guān)AI輔助專家證詞之采信問題,可參見:Pamela S. Katz, Expert Robot, “Using Artificial Intelligence to Assist Judges in Admitting Scientific Expert Testimony”, 24 ALB. L.J. SCI. & TECH Vol.41,No.1,2014.否則,即便繼續(xù)運用通用技術(shù)展開外圍性研發(fā),但始終無法觸及司法活動的核心需求,其收益將會邊際遞減,也慢慢消耗著司法實踐者對其的期待和耐心。

    第三,司法人工智能的投入從地方、部門主要參與轉(zhuǎn)為統(tǒng)一規(guī)劃,投入重點從通用技術(shù)轉(zhuǎn)向司法專門領(lǐng)域。毋庸諱言的是,司法人工智能的開發(fā)需要成規(guī)模的資金投入,業(yè)內(nèi)俗語“有多少人工便有多少智能”便道出了其中的奧秘,這種投入的量級并非過往司法機關(guān)進行技術(shù)設(shè)備升級的投入可以相提并論,而地方司法機關(guān)如法院、檢察院的資金源于財政給付,任何一項支出均需要制作詳細的預(yù)算,進行司法人工智能研發(fā)所需要的大規(guī)模投入顯然是有限財政投入所難以獨支的。因此,不從投入來源考慮而盲目要求加大投入無疑是隔靴搔癢。筆者認為,繼續(xù)加大對于司法人工智能的投入需要從根本上進行投入模式的轉(zhuǎn)變:從目前的地方、部門參與轉(zhuǎn)變?yōu)楦邔咏y(tǒng)一規(guī)劃,(27)值得關(guān)注的是,目前,中央政府包括中央司法機關(guān)已經(jīng)在規(guī)劃并落地相關(guān)的研發(fā)項目,例如科技部2018年發(fā)布的國家重點研發(fā)計劃“公共安全風險防控與技術(shù)裝備重點專項”(司法專題任務(wù)),第一批投入4.5億元(總投入達9億元),來專門研究司法領(lǐng)域的科技問題。參見王祿生:《司法大數(shù)據(jù)與人工智能開發(fā)的技術(shù)障礙》,載《中國法律評論》2018年第2期。并且資源投入的重點要向?qū)iT化的司法人工智能傾斜。雖然地方、部門投入具有充分利用本地、部門資源、針對本地、部門需求開發(fā)等優(yōu)勢,但其弊端也顯而易見。一是缺乏統(tǒng)一的技術(shù)標準。這導(dǎo)致開發(fā)的司法人工智能適用范圍極為有限,甚至只能在本院適用,大大限縮了技術(shù)的廣泛性。全國各地的司法人工智能到處開花,卻又花開各異。二是投入的規(guī)模有限。以當下司法人工智能領(lǐng)域的研發(fā)經(jīng)費為例,盡管數(shù)千萬的項目經(jīng)費在法律領(lǐng)域已屬罕見,(28)例如東南大學法學院2018年獲得的國家重點研發(fā)計劃“面向訴訟全流程的一體化便民服務(wù)技術(shù)及裝備研究”,項目總經(jīng)費為7124萬元,其中中央財政經(jīng)費為2324萬元。參見《國家重點研發(fā)計劃項目“面向訴訟全流程的一體化便民服務(wù)技術(shù)及裝備研究”啟動暨實施方案論證會順利召開》,https://law.seu.edu.cn/2018/1223/c9375a255804/page.htm,最后訪問時間:2020年1月27日。但與人工智能研發(fā)所需的巨額投入相比仍是杯水車薪。全球知名科技公司對AI的研發(fā)投入更是以十億甚至百億計。(29)2018年的全球研發(fā)投入排名中,谷歌母公司Alphabet以133.88億歐元排名第二,微軟以122.79億歐元的研發(fā)投入位居世界第四。而在具體針對AI的研發(fā)投入中,IBM已經(jīng)在Watson平臺上投資150多億美元,美國科技大亨伊隆·馬斯克(Elon Musk)斥資10億美元支持成立AI研究公司OpenAI,谷歌花費4億英鎊收購了研發(fā)出AlphaGo的DeepMind公司。參見《2018全球企業(yè)研發(fā)投資排名》,https://tech.sina.com.cn/it/2019-01-01/doc-ihqfskcn3196887.shtml,最后訪問時間2019年8月25日。這種投入的規(guī)模顯然是地方財政所無法承擔的,而投入資金的有限性則阻礙了技術(shù)的成熟程度,最后研發(fā)出的司法人工智能產(chǎn)品往往由于技術(shù)的缺陷而難以在實踐中運用。三是投入的持續(xù)性不足。單個司法機關(guān)的獨立投入可能難以長期持續(xù),并且希冀于中短期內(nèi)能有相應(yīng)“成果”,而這可能與高科技研發(fā)的規(guī)律背道而馳??萍脊緦τ贏I的研發(fā)投入往往是“燒錢”進行試錯,然而地方、部門一旦長時間無法研發(fā)出產(chǎn)品,可能難以承擔如此高昂的成本。顯然來自于頂層設(shè)計的統(tǒng)一規(guī)劃具有相當程度的優(yōu)勢:首先,司法權(quán)本質(zhì)是一種中央事權(quán),將司法領(lǐng)域運用人工智能技術(shù)的主導(dǎo)權(quán)牢牢抓在頂層手中是一種最為穩(wěn)妥的方式。其次,對于司法人工智能技術(shù)運用的規(guī)劃更具整體性、統(tǒng)一性和權(quán)威性。相較各地司法機關(guān)的單兵作戰(zhàn),來源于頂層設(shè)計的統(tǒng)一規(guī)劃無疑會使法律人工智能運用的開發(fā)更具目的性與前瞻性,某種程度上降低了地方部門各自為政的試錯率。再次,來自于頂層設(shè)計的主導(dǎo)能提供更大規(guī)模、持續(xù)性的開發(fā)投入,這不僅包括資金投入,也包括政策支持、人員投入。

    第四,實現(xiàn)研究范式轉(zhuǎn)向?qū)嵶C研究。當下司法人工智能是理論界的研究熱題,但是對于這道熱題的回應(yīng)卻是“新瓶裝舊酒”,中國法學理論界對于司法人工智能的研究路徑仍局限在話語層面反復(fù)討論司法人工智能的可能性、風險性等通用、概括的問題,(30)參見左衛(wèi)民:《熱與冷:中國法律人工智能的再思考》,載《環(huán)球法律評論》2019年第2期。而對“司法人工智能具體運用”提之甚少。實際上,理論界對于實際運用問題的關(guān)注,也會在一定程度上推動司法人工智能的實踐運用。以統(tǒng)計學為重要根基的人工智能,似乎天然便與傳統(tǒng)法學難以“相融”。傳統(tǒng)的法學以理論分析見長,對于數(shù)理統(tǒng)計分析涉及甚少。近年來,在一批學者的倡導(dǎo)之下,“以數(shù)據(jù)說話”的實證研究方法在法學領(lǐng)域開始逐步有了一席之地,但仍屬小眾。(31)中國法律實證研究最早在刑訴領(lǐng)域展開,一批刑訴學者興起了實證研究的學術(shù)風潮。例如白建軍早在1999年便開始使用實證研究方法,參見白建軍:《刑事學體系的一個側(cè)面:定量分析》,載《中外法學》1999年第5期;白建軍:《犯罪輕重的量化分析》,載《中國社會科學》2003年第6期。筆者多年來也圍繞刑事訴訟運行與司法改革進行了多項實證研究,參見左衛(wèi)民:《地方法院庭審實質(zhì)化改革實證研究》,載《中國社會科學》2018年第6期;左衛(wèi)民、張瀲瀚:《刑事辯護率:差異化及其經(jīng)濟因素分析——基于四川省2015—2016年一審判決書的分析》,載《法學研究》2019年第3期,等文。而在域外,例如在美國法學界,實證研究已經(jīng)成為主流研究范式。基于長期實證研究訓(xùn)練得以成就的統(tǒng)計分析能力,又成為與人工智能界跨界合作的關(guān)鍵性助手。于是我們得見域外的司法人工智能產(chǎn)品研發(fā)中總是伴隨著理論界的身影。例如美國法律人工智能平臺Law Geex與斯坦福大學、杜克大學法學院和南加州大學的法學院教授開展合作,設(shè)計人工智能程序就四小時審查五項保密協(xié)議與20名有經(jīng)驗的人類律師展開競爭,主要考察如何就仲裁、關(guān)系保密和賠償?shù)臏蚀_界定問題。康奈爾大學、哈佛大學、斯坦福大學等高校的一批學者利用決策樹、迭代算法等機器學習算法,分析了美國法院15萬余份重罪案件的承辦法官所做的保釋或假釋決定,研究美國法官在給予嫌疑人保釋或假釋決定時究竟考慮了何種因素。(32)參見左衛(wèi)民:《關(guān)于法律人工智能在中國運用前景的若干思考》,載《清華法學》2018年第2期。以上研究均具備一個共通性:對數(shù)據(jù)的收集、整理與分析、運用,并且都著眼于司法人工智能的某一專門領(lǐng)域,而這恰恰是實證研究的擅長之地。平心而論,中國裁判文書網(wǎng)給廣大的中國法律研究者提供了一個研究富礦,然而大多數(shù)人卻對這片研究的“藍?!币暼魺o睹,卻又希望在司法人工智能的研究中占得一席之地,不得不說有本末倒置之嫌。此外,法學研究緊緊圍繞事實認定與法律適用中的智能化發(fā)展方向也是拉動司法實踐發(fā)展和回應(yīng)司法需求的重要一環(huán)。例如,當前如何進一步強化人工智能背景下的證據(jù)與證明理論研究就是十分重要的命題。

    第五,大力培養(yǎng)既懂法律又懂技術(shù)的專門化、復(fù)合型人才。針對司法活動核心需求的研發(fā),必須由司法人員以及其他法律從業(yè)人員與技術(shù)人員的共同、深度合作,而非技術(shù)人員不懂需求、司法人員不懂技術(shù)的自說自話式合作。但由于既往教育體制的因素,造成多數(shù)法律人對于數(shù)學、統(tǒng)計學等學科處于一種高度疏離狀態(tài),無法與技術(shù)人員在技術(shù)層面進行充分的對話、溝通,這就造成了在司法人工智能設(shè)計中法律人的有限參與,這種參與的有限性也影響了司法人工智能產(chǎn)品效果的發(fā)揮。為了彌合這種司法人工智能產(chǎn)品設(shè)計生產(chǎn)中的“溝通”難題,一方面當下的團隊參與模式當然應(yīng)該繼續(xù)推行,因為既擅長人工智能技術(shù) (計算機科學、統(tǒng)計學)又精通法律知識的雙棲人才的培養(yǎng)是需要長時間、多投入的堅持,絕非一朝一夕可完成。另一方面,需要逐步提高法律人在司法人工智能產(chǎn)品中的參與度、重要性,根本上的解決之道在于培養(yǎng)法律和技術(shù)的復(fù)合型人才,這就涉及培養(yǎng)體制層面的變革,需要徹底扭轉(zhuǎn)當前將法學視為純粹人文社科的舊觀念,將交叉學科培養(yǎng)理念引入到法學培養(yǎng)體系當中。已有院校對此展開嘗試,例如西南政法大學成立人工智能法學院,清華大學法學院設(shè)立計算法學研究生項目。筆者也強調(diào)并一直努力踐行引進及加強對于數(shù)學、統(tǒng)計學、計算機科學等與人工智能密切相關(guān)的專業(yè)到法學教學培養(yǎng)體系中,通過引入統(tǒng)計學、計算機科學的人才并開設(shè)法律大數(shù)據(jù)、法律人工智能、計算機等相關(guān)課程,使得法律人在接觸法律之初便能同時培養(yǎng)多學科尤其是數(shù)據(jù)思維。

    猜你喜歡
    人工智能法律
    法律推理與法律一體化
    法律方法(2022年1期)2022-07-21 09:17:10
    我校新增“人工智能”本科專業(yè)
    法律解釋與自然法
    法律方法(2021年3期)2021-03-16 05:57:02
    法律適用中的邏輯思維
    法律方法(2019年3期)2019-09-11 06:27:06
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    下一幕,人工智能!
    南風窗(2016年19期)2016-09-21 16:51:29
    下一幕,人工智能!
    南風窗(2016年19期)2016-09-21 04:56:22
    讓人死亡的法律
    山東青年(2016年1期)2016-02-28 14:25:30
    日韩大片免费观看网站| 国产精品一区二区在线不卡| 欧美日韩视频精品一区| 永久免费av网站大全| 中文字幕人妻丝袜制服| 九草在线视频观看| 国产毛片在线视频| 日韩精品免费视频一区二区三区 | 97精品久久久久久久久久精品| 色婷婷久久久亚洲欧美| 中文字幕精品免费在线观看视频 | 免费高清在线观看日韩| 免费高清在线观看日韩| 日韩,欧美,国产一区二区三区| 极品少妇高潮喷水抽搐| 亚洲国产精品成人久久小说| 亚洲国产最新在线播放| 国产成人免费无遮挡视频| 狂野欧美激情性xxxx在线观看| 日韩中文字幕视频在线看片| 观看av在线不卡| 国产精品偷伦视频观看了| 亚洲精品日韩在线中文字幕| 边亲边吃奶的免费视频| 精品熟女少妇av免费看| 99精国产麻豆久久婷婷| 国产精品一区二区在线观看99| 国产色爽女视频免费观看| 18禁观看日本| 亚洲五月色婷婷综合| 久久久久精品性色| 美国免费a级毛片| 啦啦啦中文免费视频观看日本| 国产亚洲午夜精品一区二区久久| av又黄又爽大尺度在线免费看| 日韩中文字幕视频在线看片| 18禁裸乳无遮挡动漫免费视频| 国产国语露脸激情在线看| 91精品伊人久久大香线蕉| 久久热在线av| 日本爱情动作片www.在线观看| 午夜免费鲁丝| 亚洲精品久久午夜乱码| 校园人妻丝袜中文字幕| 精品少妇久久久久久888优播| 国产综合精华液| 色视频在线一区二区三区| 校园人妻丝袜中文字幕| 久久久久久久精品精品| 校园人妻丝袜中文字幕| 黄片播放在线免费| 校园人妻丝袜中文字幕| 亚洲,一卡二卡三卡| 黄色毛片三级朝国网站| 高清不卡的av网站| 国产1区2区3区精品| 少妇猛男粗大的猛烈进出视频| 精品少妇久久久久久888优播| 啦啦啦中文免费视频观看日本| 免费观看无遮挡的男女| 男男h啪啪无遮挡| 午夜福利视频精品| 亚洲欧美日韩卡通动漫| 久久午夜综合久久蜜桃| 精品久久国产蜜桃| 国产亚洲午夜精品一区二区久久| 色哟哟·www| 欧美精品av麻豆av| 久久久精品94久久精品| 一级毛片电影观看| www.熟女人妻精品国产 | 另类精品久久| 欧美亚洲日本最大视频资源| av线在线观看网站| 精品国产一区二区三区四区第35| 亚洲三级黄色毛片| 成人午夜精彩视频在线观看| 国产不卡av网站在线观看| 少妇的逼水好多| 欧美+日韩+精品| av有码第一页| 亚洲人成77777在线视频| 全区人妻精品视频| 纵有疾风起免费观看全集完整版| 美女大奶头黄色视频| 亚洲精品aⅴ在线观看| 精品人妻偷拍中文字幕| 如日韩欧美国产精品一区二区三区| 日本与韩国留学比较| 国产欧美日韩综合在线一区二区| 国产国语露脸激情在线看| 少妇的丰满在线观看| 男女边吃奶边做爰视频| 久久影院123| 欧美日韩视频高清一区二区三区二| 日日爽夜夜爽网站| 久久国内精品自在自线图片| 免费日韩欧美在线观看| 国产黄色视频一区二区在线观看| 亚洲av综合色区一区| 亚洲美女搞黄在线观看| 国产色爽女视频免费观看| 热99久久久久精品小说推荐| 日韩,欧美,国产一区二区三区| 在线天堂最新版资源| 欧美精品一区二区大全| 亚洲av欧美aⅴ国产| 欧美人与性动交α欧美精品济南到 | 久久久久视频综合| 成人国语在线视频| 精品一区在线观看国产| 亚洲精品久久午夜乱码| 精品久久久精品久久久| a 毛片基地| 麻豆乱淫一区二区| 免费久久久久久久精品成人欧美视频 | 亚洲精品,欧美精品| 亚洲一级一片aⅴ在线观看| 国产免费一区二区三区四区乱码| av免费在线看不卡| 在线观看三级黄色| 男女高潮啪啪啪动态图| 欧美精品av麻豆av| 王馨瑶露胸无遮挡在线观看| 欧美xxxx性猛交bbbb| 免费黄网站久久成人精品| 少妇精品久久久久久久| 亚洲人成网站在线观看播放| 五月开心婷婷网| 午夜福利网站1000一区二区三区| 如日韩欧美国产精品一区二区三区| 99热网站在线观看| 亚洲av福利一区| 视频中文字幕在线观看| 成人影院久久| 日本av手机在线免费观看| 亚洲欧美清纯卡通| 在线 av 中文字幕| 蜜桃国产av成人99| 国产一区有黄有色的免费视频| 欧美变态另类bdsm刘玥| 国产一区二区激情短视频 | 国产精品嫩草影院av在线观看| 青春草国产在线视频| 极品少妇高潮喷水抽搐| 午夜免费观看性视频| 午夜免费男女啪啪视频观看| 国产精品国产av在线观看| 高清视频免费观看一区二区| 美女脱内裤让男人舔精品视频| 亚洲av国产av综合av卡| 草草在线视频免费看| xxx大片免费视频| 免费观看无遮挡的男女| 亚洲欧美中文字幕日韩二区| 中文字幕制服av| 久久精品熟女亚洲av麻豆精品| 国产在线视频一区二区| 国产av精品麻豆| 一区二区三区精品91| 少妇人妻久久综合中文| 欧美国产精品一级二级三级| 国产精品人妻久久久影院| 国产av国产精品国产| 最近的中文字幕免费完整| 中文字幕亚洲精品专区| 久久久a久久爽久久v久久| 国产成人一区二区在线| 最近最新中文字幕大全免费视频 | 制服诱惑二区| 99久久中文字幕三级久久日本| 天堂8中文在线网| 国产精品久久久久久精品电影小说| 九九爱精品视频在线观看| 日韩欧美一区视频在线观看| 国产在线免费精品| 美女大奶头黄色视频| 日韩不卡一区二区三区视频在线| 欧美国产精品一级二级三级| 一本大道久久a久久精品| 丰满饥渴人妻一区二区三| 一级爰片在线观看| 亚洲中文av在线| 汤姆久久久久久久影院中文字幕| 色婷婷av一区二区三区视频| 亚洲欧洲精品一区二区精品久久久 | 搡老乐熟女国产| 性色avwww在线观看| 欧美成人午夜精品| 九九爱精品视频在线观看| 宅男免费午夜| 满18在线观看网站| 精品国产一区二区久久| 国产精品免费大片| 美国免费a级毛片| 最近的中文字幕免费完整| 91成人精品电影| 久久久久精品人妻al黑| 母亲3免费完整高清在线观看 | 亚洲成人av在线免费| av在线观看视频网站免费| 五月玫瑰六月丁香| 午夜福利视频精品| 蜜桃国产av成人99| 午夜福利乱码中文字幕| 免费观看在线日韩| 看非洲黑人一级黄片| 国产激情久久老熟女| av卡一久久| 欧美成人午夜精品| 在线观看免费视频网站a站| 日韩熟女老妇一区二区性免费视频| 免费高清在线观看视频在线观看| 亚洲综合色惰| 久久 成人 亚洲| 久久久精品区二区三区| 成年动漫av网址| 国产精品久久久久久久电影| 哪个播放器可以免费观看大片| 一级毛片电影观看| 国产片特级美女逼逼视频| 亚洲美女搞黄在线观看| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 建设人人有责人人尽责人人享有的| 免费少妇av软件| 精品国产露脸久久av麻豆| 美女国产视频在线观看| 亚洲美女视频黄频| 久久午夜综合久久蜜桃| 国产亚洲精品久久久com| 黑人巨大精品欧美一区二区蜜桃 | 制服人妻中文乱码| a 毛片基地| 久久国产精品男人的天堂亚洲 | 视频区图区小说| 亚洲国产欧美在线一区| 久久精品国产综合久久久 | 边亲边吃奶的免费视频| 成人国语在线视频| 午夜福利视频精品| 亚洲精品中文字幕在线视频| 成年女人在线观看亚洲视频| 在线天堂最新版资源| 久久这里只有精品19| 看免费av毛片| 中文乱码字字幕精品一区二区三区| 国产在线一区二区三区精| 岛国毛片在线播放| 日韩av不卡免费在线播放| 我的女老师完整版在线观看| 久久97久久精品| 51国产日韩欧美| 国产色婷婷99| 国产精品久久久久久久电影| 亚洲欧洲国产日韩| 久久久久久久精品精品| 欧美精品亚洲一区二区| 成年动漫av网址| 久久精品人人爽人人爽视色| 久久99精品国语久久久| 91久久精品国产一区二区三区| 亚洲国产精品成人久久小说| 久久国产精品男人的天堂亚洲 | 一区二区三区四区激情视频| 妹子高潮喷水视频| 免费看不卡的av| 成人手机av| 美女xxoo啪啪120秒动态图| 亚洲欧美一区二区三区国产| 免费人成在线观看视频色| 日韩一本色道免费dvd| 一级毛片电影观看| 老司机影院成人| 日韩精品免费视频一区二区三区 | 黑人高潮一二区| 亚洲欧美清纯卡通| 男人添女人高潮全过程视频| 国产免费一级a男人的天堂| 久久久久视频综合| 国产亚洲精品久久久com| 国产成人精品一,二区| 国产成人精品久久久久久| 精品久久蜜臀av无| av不卡在线播放| 精品亚洲成a人片在线观看| 久久国产精品大桥未久av| 美女国产视频在线观看| 我要看黄色一级片免费的| tube8黄色片| 中文字幕另类日韩欧美亚洲嫩草| 少妇的丰满在线观看| 精品久久久精品久久久| 国产精品久久久av美女十八| 日本黄大片高清| 亚洲内射少妇av| 黄色视频在线播放观看不卡| 精品一区二区三卡| 欧美精品人与动牲交sv欧美| 欧美少妇被猛烈插入视频| 欧美日韩av久久| 秋霞伦理黄片| 亚洲精品日韩在线中文字幕| 国产日韩一区二区三区精品不卡| 国内精品宾馆在线| 精品国产一区二区三区四区第35| 欧美精品一区二区大全| 伦理电影免费视频| a级毛色黄片| 不卡视频在线观看欧美| 哪个播放器可以免费观看大片| 亚洲欧美日韩卡通动漫| 中文字幕制服av| 蜜桃在线观看..| 99精国产麻豆久久婷婷| 亚洲精品乱久久久久久| 在线 av 中文字幕| 国产亚洲av片在线观看秒播厂| 80岁老熟妇乱子伦牲交| 亚洲av中文av极速乱| 久久精品国产自在天天线| 欧美精品av麻豆av| 建设人人有责人人尽责人人享有的| 人人妻人人爽人人添夜夜欢视频| 69精品国产乱码久久久| 精品少妇内射三级| av在线app专区| 全区人妻精品视频| 久久久久视频综合| 色婷婷久久久亚洲欧美| 日韩一区二区视频免费看| 最新的欧美精品一区二区| xxxhd国产人妻xxx| 亚洲av在线观看美女高潮| 黄色一级大片看看| 免费播放大片免费观看视频在线观看| 午夜91福利影院| 国产色爽女视频免费观看| 寂寞人妻少妇视频99o| 国国产精品蜜臀av免费| 99热全是精品| 91精品三级在线观看| 国产麻豆69| 免费日韩欧美在线观看| 免费人成在线观看视频色| 汤姆久久久久久久影院中文字幕| 欧美日韩视频高清一区二区三区二| 久久久久久久大尺度免费视频| 人人妻人人澡人人爽人人夜夜| 精品午夜福利在线看| 国产精品久久久久成人av| 美女中出高潮动态图| 最新的欧美精品一区二区| 少妇猛男粗大的猛烈进出视频| 精品人妻一区二区三区麻豆| 纵有疾风起免费观看全集完整版| 伦理电影免费视频| 精品99又大又爽又粗少妇毛片| 全区人妻精品视频| 2018国产大陆天天弄谢| 国产精品国产三级国产专区5o| 十八禁网站网址无遮挡| 成人国产麻豆网| 老司机亚洲免费影院| 国产精品不卡视频一区二区| 欧美精品一区二区免费开放| 91精品国产国语对白视频| 国产xxxxx性猛交| 日韩人妻精品一区2区三区| 欧美性感艳星| 中文字幕亚洲精品专区| 国产av码专区亚洲av| 夫妻午夜视频| 国产成人欧美| 国产熟女欧美一区二区| 欧美精品国产亚洲| 国产一区二区三区综合在线观看 | 人妻少妇偷人精品九色| 亚洲精品一二三| 国产极品粉嫩免费观看在线| 性色avwww在线观看| 少妇的逼水好多| 男人操女人黄网站| 国产成人免费无遮挡视频| 亚洲国产毛片av蜜桃av| 成人毛片a级毛片在线播放| 伦理电影免费视频| 欧美人与性动交α欧美软件 | 99国产综合亚洲精品| 91国产中文字幕| 国产精品免费大片| 一级毛片我不卡| 午夜精品国产一区二区电影| 一区二区日韩欧美中文字幕 | 日韩熟女老妇一区二区性免费视频| 91午夜精品亚洲一区二区三区| 精品久久久久久电影网| 亚洲国产精品一区三区| www日本在线高清视频| 18禁观看日本| 色5月婷婷丁香| av网站免费在线观看视频| 七月丁香在线播放| 日日摸夜夜添夜夜爱| 99热6这里只有精品| 午夜影院在线不卡| 女人久久www免费人成看片| 2022亚洲国产成人精品| 欧美精品国产亚洲| av国产久精品久网站免费入址| 在线观看www视频免费| 18禁国产床啪视频网站| 如日韩欧美国产精品一区二区三区| 精品国产国语对白av| 午夜视频国产福利| 国产国语露脸激情在线看| 久久久久网色| 国产伦理片在线播放av一区| 菩萨蛮人人尽说江南好唐韦庄| 美女国产高潮福利片在线看| 久久久久精品人妻al黑| 欧美精品国产亚洲| 女人被躁到高潮嗷嗷叫费观| 成年美女黄网站色视频大全免费| 成人漫画全彩无遮挡| 国产乱人偷精品视频| 男女下面插进去视频免费观看 | 国产精品不卡视频一区二区| 一级毛片 在线播放| 侵犯人妻中文字幕一二三四区| 国产欧美亚洲国产| 日韩中文字幕视频在线看片| 丝袜在线中文字幕| 最近最新中文字幕大全免费视频 | 国产成人av激情在线播放| 黑人巨大精品欧美一区二区蜜桃 | 成人无遮挡网站| 免费人成在线观看视频色| 免费播放大片免费观看视频在线观看| 久久婷婷青草| 久久国产精品男人的天堂亚洲 | 欧美xxxx性猛交bbbb| 欧美最新免费一区二区三区| 成人18禁高潮啪啪吃奶动态图| videos熟女内射| 国产黄频视频在线观看| 2021少妇久久久久久久久久久| 欧美+日韩+精品| 国产国拍精品亚洲av在线观看| 老熟女久久久| 亚洲精品乱码久久久久久按摩| 午夜91福利影院| 久久精品国产亚洲av涩爱| 国产男女内射视频| 亚洲美女搞黄在线观看| av在线观看视频网站免费| 欧美国产精品va在线观看不卡| 国产男女超爽视频在线观看| 亚洲情色 制服丝袜| 久久久国产欧美日韩av| 两性夫妻黄色片 | 精品人妻一区二区三区麻豆| 成人手机av| 9热在线视频观看99| 国产高清不卡午夜福利| 国产精品一区二区在线不卡| 性色av一级| 国产在线免费精品| 亚洲伊人久久精品综合| 99久久精品国产国产毛片| 国产xxxxx性猛交| 伊人亚洲综合成人网| av一本久久久久| 黄网站色视频无遮挡免费观看| 丰满饥渴人妻一区二区三| 宅男免费午夜| 中文欧美无线码| 高清不卡的av网站| 日日啪夜夜爽| 天堂中文最新版在线下载| 免费久久久久久久精品成人欧美视频 | 亚洲熟女精品中文字幕| 啦啦啦视频在线资源免费观看| 亚洲少妇的诱惑av| 国产成人精品久久久久久| 国产精品欧美亚洲77777| 婷婷色av中文字幕| 99国产综合亚洲精品| 卡戴珊不雅视频在线播放| 亚洲成av片中文字幕在线观看 | 亚洲美女黄色视频免费看| 日韩 亚洲 欧美在线| 永久免费av网站大全| 国语对白做爰xxxⅹ性视频网站| www.av在线官网国产| 国产精品女同一区二区软件| 亚洲国产看品久久| 亚洲精品色激情综合| 国产日韩欧美亚洲二区| 国产极品粉嫩免费观看在线| 欧美3d第一页| 只有这里有精品99| 在线免费观看不下载黄p国产| 成人毛片a级毛片在线播放| 国产精品久久久久成人av| 免费av不卡在线播放| 中文字幕av电影在线播放| 欧美激情国产日韩精品一区| 国产片内射在线| 亚洲人成网站在线观看播放| 午夜久久久在线观看| 久久久a久久爽久久v久久| 少妇人妻久久综合中文| 丝瓜视频免费看黄片| 国产欧美日韩综合在线一区二区| 国产精品久久久久久久久免| 国产精品一国产av| 国产69精品久久久久777片| 日韩一本色道免费dvd| 在现免费观看毛片| 欧美日韩综合久久久久久| 亚洲精品av麻豆狂野| 国产在线视频一区二区| 欧美性感艳星| 亚洲国产精品999| 久久久久人妻精品一区果冻| 午夜免费观看性视频| √禁漫天堂资源中文www| 精品一区二区三卡| 大码成人一级视频| 精品亚洲成国产av| 日韩精品有码人妻一区| 三上悠亚av全集在线观看| 哪个播放器可以免费观看大片| 久久精品久久久久久久性| 汤姆久久久久久久影院中文字幕| 一二三四在线观看免费中文在 | 日韩中文字幕视频在线看片| 精品人妻一区二区三区麻豆| 一区二区av电影网| 狠狠精品人妻久久久久久综合| 日韩伦理黄色片| 如何舔出高潮| 波多野结衣一区麻豆| 蜜桃国产av成人99| 日本av免费视频播放| 另类精品久久| 波多野结衣一区麻豆| 婷婷色av中文字幕| 成人黄色视频免费在线看| 秋霞在线观看毛片| 久久久亚洲精品成人影院| 久久久久国产精品人妻一区二区| 日韩av不卡免费在线播放| 少妇人妻精品综合一区二区| 视频在线观看一区二区三区| 久久人人爽人人片av| 汤姆久久久久久久影院中文字幕| 国产日韩欧美视频二区| 18在线观看网站| 国产精品国产三级国产专区5o| 男的添女的下面高潮视频| 97人妻天天添夜夜摸| 美女大奶头黄色视频| 欧美xxxx性猛交bbbb| 国产精品国产三级专区第一集| 亚洲欧美中文字幕日韩二区| 久久久久久久久久久久大奶| 黄色视频在线播放观看不卡| 91午夜精品亚洲一区二区三区| 亚洲人与动物交配视频| 天天躁夜夜躁狠狠久久av| 日韩 亚洲 欧美在线| 男女边摸边吃奶| 久久人人爽人人片av| 国产精品成人在线| 婷婷色av中文字幕| 中文字幕人妻熟女乱码| 午夜精品国产一区二区电影| 最新中文字幕久久久久| av线在线观看网站| 中国三级夫妇交换| 日韩视频在线欧美| 有码 亚洲区| 国产不卡av网站在线观看| 欧美另类一区| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 午夜福利网站1000一区二区三区| 国产 精品1| 国产精品国产三级专区第一集| 国产亚洲一区二区精品| 哪个播放器可以免费观看大片| 精品99又大又爽又粗少妇毛片| 国产成人91sexporn| 亚洲国产毛片av蜜桃av| 免费久久久久久久精品成人欧美视频 | 乱码一卡2卡4卡精品| 自拍欧美九色日韩亚洲蝌蚪91| 午夜福利乱码中文字幕| 欧美性感艳星| 日本黄色日本黄色录像| 国产精品久久久久久av不卡| 日本免费在线观看一区| 曰老女人黄片| 2022亚洲国产成人精品| 成人二区视频| 亚洲国产av影院在线观看| 又黄又爽又刺激的免费视频.| 国产激情久久老熟女| 欧美老熟妇乱子伦牲交| xxxhd国产人妻xxx| 国产成人精品在线电影| 美女内射精品一级片tv| 国产av精品麻豆| 亚洲综合精品二区| 日本免费在线观看一区|