• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    AI法律、法律AI及“第三道路”*

    2019-01-26 15:39:03馬長山
    浙江社會(huì)科學(xué) 2019年12期
    關(guān)鍵詞:法學(xué)人工智能法律

    □馬長山

    內(nèi)容提要 近年來,我國關(guān)于法律與人工智能的研究成果頗豐,并呈現(xiàn)出兩種研究進(jìn)路。AI法律進(jìn)路旨在把AI納入法律規(guī)制框架之內(nèi),而法律AI進(jìn)路則力圖把法律轉(zhuǎn)化為智能系統(tǒng),這就決定了二者不同的方向與立場、領(lǐng)域與路徑,也帶來了不同的問題與前景。深入分析表明,我們需要從浪漫理想回歸現(xiàn)實(shí)主義,開辟匯合二者、揚(yáng)長避短的“第三道路”,增強(qiáng)法學(xué)與技術(shù)的對(duì)話合作,促進(jìn)法律與人工智能的雙向融合,從而有效推進(jìn)法律與人工智能領(lǐng)域的深入研究。

    眾所周知,人工智能與法律的研究已有近50年歷史了,①但卻一直未能引起太大的社會(huì)震動(dòng)。然而,在AlphaGo 與人對(duì)弈并取得勝利之后,它便很快成為全球最熱門的顯學(xué)之一。我國關(guān)于人工智能與法律的研究起步較晚,在受到《國家信息化發(fā)展戰(zhàn)略綱要》、《“十三五”國家信息化規(guī)劃》(2016)和《新一代人工智能發(fā)展規(guī)劃》(2017)發(fā)布的激發(fā)后,才瞬間掀起了研究熱潮。從研究進(jìn)路來看,可將其大致區(qū)分為“人工智能法律”(AI法律)和“法律人工智能”(法律AI)兩大類型。厘清它們的不同立場、方向和路徑,進(jìn)而探討“第三道路”的可行性,對(duì)推進(jìn)當(dāng)下人工智能與法律的深入研究無疑具有重要意義。

    一、兩種立場與方向

    在我國關(guān)于法律與人工智能領(lǐng)域的研究中,既有樂觀、浪漫、甚至科幻般的憧憬,也有謹(jǐn)慎、排斥、甚至讓人糾結(jié)的困惑,但它們主要從兩種進(jìn)路來展開。

    其一,AI法律。它基于知識(shí)系統(tǒng)、理性思辨和法律邏輯,將人工智能視為法律的規(guī)制對(duì)象或者法律規(guī)制的方式,因而,是一種外在視角的、以法律為本的思考和研究的理論進(jìn)路。也就是說,AI法律是一種立足法律立場的研究,重在分析和解決人工智能這一新領(lǐng)域所帶來的法律問題和挑戰(zhàn)。②它又可分為“謹(jǐn)慎派”和“變革派”。

    “謹(jǐn)慎派”秉持現(xiàn)代性的法律理念,認(rèn)為人工智能無非是信息革命或者數(shù)字時(shí)代引發(fā)的新問題、新領(lǐng)域,在根本上它們并沒有對(duì)現(xiàn)代性法律形成挑戰(zhàn),基本的法律概念、范疇、規(guī)則、原則和方法都能夠有效適用,只需通過法律解釋或者立法能夠包容、解決這些新領(lǐng)域、新問題,進(jìn)而努力把人工智能納入法律的統(tǒng)攝、規(guī)制范圍。③“變革派”卻秉持?jǐn)?shù)字時(shí)代的價(jià)值理念,認(rèn)為現(xiàn)代性法律是工商業(yè)時(shí)代的產(chǎn)物,它反映和代表著以人財(cái)物為要素的、工商業(yè)經(jīng)濟(jì)的生產(chǎn)生活關(guān)系;而網(wǎng)絡(luò)化、數(shù)字化和智能化則是當(dāng)今信息社會(huì)的必然趨勢(shì),它反映和代表著以數(shù)據(jù)信息為要素的、數(shù)字經(jīng)濟(jì)的生產(chǎn)生活關(guān)系。因此,二者具有明顯不同的內(nèi)在邏輯,信息社會(huì)的各種新業(yè)態(tài)、新模式,必然會(huì)對(duì)現(xiàn)代性法律形成嚴(yán)峻的挑戰(zhàn);換句話說,基于工商業(yè)經(jīng)濟(jì)的法律,難以有效應(yīng)對(duì)基于數(shù)字經(jīng)濟(jì)的秩序訴求。④比如,智能網(wǎng)絡(luò)犯罪就顛覆了以往物理空間的地域管轄和級(jí)別管轄邏輯、網(wǎng)絡(luò)集團(tuán)犯罪難以繼續(xù)沿用以往的犯罪集團(tuán)理論得到闡釋;再如,把“數(shù)據(jù)大戰(zhàn)”一律納入不正當(dāng)競爭來規(guī)制會(huì)日漸尷尬;還如,智能機(jī)器人作品和虛擬財(cái)產(chǎn)的屬性與保護(hù)、自動(dòng)駕駛的法律責(zé)任、智能合約的權(quán)利義務(wù)關(guān)系、生活場景中的人機(jī)關(guān)系等問題,都難以通過傳統(tǒng)的法學(xué)理論得到有效的說明。說到底,現(xiàn)代性的法學(xué)理論和規(guī)則體系是基于單一物理空間、人的單一生物屬性基礎(chǔ)上發(fā)展成型的;它很難包容和解決當(dāng)今物理(現(xiàn)實(shí))/電子(虛擬)的雙重空間、生物/數(shù)字的兩種面向所帶來的人、財(cái)、物,以及身份、關(guān)系、行為的諸多深刻變革甚至顛覆性后果。這就意味著,僅僅通過法律解釋或者立法,是很難包容、解決這些新領(lǐng)域、新問題的,而需要按照信息社會(huì)和數(shù)字經(jīng)濟(jì)的生產(chǎn)生活邏輯,來改造和升級(jí)現(xiàn)代性法律,推進(jìn)法律的當(dāng)代變革與發(fā)展??傊?,無論是“謹(jǐn)慎派”還是“變革派”,都是立足法學(xué)的本體立場,其方向是將人工智能視為法學(xué)的領(lǐng)域延伸和規(guī)則外化,主旨在于實(shí)現(xiàn)對(duì)人工智能的法律規(guī)制,塑造智慧社會(huì)秩序。二者的區(qū)別無非在于,是通過現(xiàn)代性法律的擴(kuò)展完善,還是通過現(xiàn)代性法律的轉(zhuǎn)型升級(jí),來完成這一重大時(shí)代任務(wù),“謹(jǐn)慎派”屬于前者,“變革派”則屬于后者。

    其二,法律AI。與AI法律不同,法律AI則基于數(shù)字系統(tǒng)、建模計(jì)算和數(shù)理邏輯,將人工智能視為法律演進(jìn)的途徑和歸宿,因而,是一種內(nèi)在視角的、以法律計(jì)算為本的思考和研究的理論進(jìn)路。也就是說,法律AI是一種立足算法立場的研究,力圖用邏輯計(jì)算和符號(hào)程序來表達(dá)法律,通過建模設(shè)計(jì)、知識(shí)圖譜等技術(shù)來把法律規(guī)則轉(zhuǎn)化為可以自動(dòng)推理的系統(tǒng),甚至還能通過數(shù)據(jù)挖掘,深度學(xué)習(xí)等技術(shù)使之成為可以自動(dòng)更新與迭代升級(jí)的自適應(yīng)的智能系統(tǒng)。

    法律AI可以溯源于三百多年前萊布尼茲的“法律公理化體系之夢(mèng)”。他從一切皆可計(jì)算、甚至哲學(xué)爭議也可通過計(jì)算來解決的理念出發(fā),設(shè)想通過使用少數(shù)幾個(gè)基本法律概念來定義所有法律概念;從一系列為數(shù)不多的、不容置疑的自然公正原則出發(fā),演繹出所有具體法規(guī)。晚近以來,西方一些學(xué)者又先后提出,要用統(tǒng)計(jì)方法來測量證人、法官和立法者的行為,用符號(hào)邏輯數(shù)學(xué)記號(hào)來起草和解釋法律,甚至指明了建構(gòu)法律推理計(jì)算模型的規(guī)則推理、案例推理和大數(shù)據(jù)推理這三種路徑。⑤由上可見,法律AI更多地主張計(jì)算思維,也就是“將法學(xué)問題形式化為可計(jì)算問題”,然后選擇合適的計(jì)算方法進(jìn)行編程。⑥這一建模算法立場的研究進(jìn)路,其方向便是推動(dòng)法律AI來主導(dǎo)法律實(shí)踐,包括法律推理模型、論證與決策模型、證據(jù)推理模型、可執(zhí)行立法模型、法律文本及數(shù)據(jù)庫的自動(dòng)提取和分類檢索、電子取證機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘等等。他們預(yù)言,在未來更普遍的計(jì)算法律將可能出現(xiàn),“屆時(shí)系統(tǒng)將會(huì)自動(dòng)執(zhí)行法律,不需要律師,甚至也不需要法官?!雹哌@就形成了與AI法律明顯不同的研究方向。

    二、不同的領(lǐng)域與路徑

    隨著網(wǎng)絡(luò)化、數(shù)字化和智能化的快速交融發(fā)展,AI將會(huì)越來越多地應(yīng)用于社會(huì)的各行各業(yè),智慧社會(huì)、智慧城市、智慧司法、智慧醫(yī)療、智慧商業(yè)、智慧農(nóng)業(yè)等等也將全面展開,日常生活中大量的人腦決策將讓位于AI的算法決策。甚至“從經(jīng)濟(jì)系統(tǒng)底層信息、數(shù)據(jù)的產(chǎn)生、增長,到上層的具體應(yīng)用實(shí)踐,算法都在其中起著決定性作用。信息的有序增長促進(jìn)經(jīng)濟(jì)增長,算法決定著信息增長的秩序?!雹噙@樣,人類就會(huì)大步伐地邁進(jìn)數(shù)字社會(huì),算法“開始塑造這個(gè)世界”。⑨

    由于AI法律是一種外在規(guī)制的理論進(jìn)路,因此,它關(guān)注的就是這種全場景的規(guī)則秩序,必然要針對(duì)基于算法所形成的全新社會(huì)關(guān)系、行為模式和社會(huì)后果進(jìn)行跟蹤、分析、研判,包括人機(jī)關(guān)系、算法倫理、算法責(zé)任、智能化犯罪、殺人機(jī)器人等等,然后按照法律價(jià)值和發(fā)展規(guī)律來對(duì)其做出理論回應(yīng),提出相應(yīng)的法律規(guī)制方案。因此,AI法律的關(guān)注領(lǐng)域是所有AI應(yīng)用所產(chǎn)生的法律關(guān)系,特別是AI與人、以及AI應(yīng)用場景中人與人的生產(chǎn)生活關(guān)系,如人臉識(shí)別、深度造假、腦機(jī)對(duì)接、算法黑箱、算法歧視、數(shù)據(jù)鴻溝、數(shù)字人權(quán)等等復(fù)雜問題。它所采取的是一種規(guī)則主義的研究路徑,更多地強(qiáng)調(diào)解釋規(guī)則、修改規(guī)則或者制定新規(guī)則,從而主要以邏輯加持來形成AI法律體系,促進(jìn)算法時(shí)代的規(guī)則秩序。這樣,法律與AI就形成了既互動(dòng)交融、又并存發(fā)展的二元結(jié)構(gòu)。盡管它也會(huì)涉足智慧司法過程中的各種算法模型,但在更大的領(lǐng)域范圍內(nèi)卻保持著對(duì)AI應(yīng)用及其關(guān)系后果的規(guī)制努力。

    與此相反,法律AI側(cè)重內(nèi)部視角的分析和研究,因此,它并不在意AI應(yīng)用所產(chǎn)生的社會(huì)關(guān)系、行為與后果,而是更加注重AI應(yīng)用、特別是AI司法應(yīng)用本身,其核心問題是計(jì)算法學(xué)。進(jìn)言之,它力圖將法律規(guī)則轉(zhuǎn)換為可能的算法,從而解決法律問題、推進(jìn)司法過程的智能化,因此,其研究領(lǐng)域集中在法律文本提取、各種推理模型和裁判模型。與AI法律那種邏輯加持的主導(dǎo)傾向不同,它更多地體現(xiàn)著數(shù)學(xué)加持的傾向,甚至有學(xué)者主張,要“多一點(diǎn)技術(shù),少一點(diǎn)法律”,從而呈現(xiàn)出一種技術(shù)主義的研究路徑,使得法律規(guī)則通過技術(shù)轉(zhuǎn)化融入在AI之中。這樣,法律與AI就變成了一體化的規(guī)制體系,而在未來的發(fā)展中,它還可能會(huì)帶來法律的消亡,取而代之的則是AI規(guī)則和AI控制秩序。

    綜上所述,由于在建模過程中需要運(yùn)用大量的法律知識(shí),而建模的計(jì)算機(jī)實(shí)現(xiàn)則需要運(yùn)用大量的技術(shù)知識(shí),因此,領(lǐng)域?qū)<液腿斯ぶ悄軐<叶际遣豢苫蛉钡?。但總體觀之,AI法律重在全場景、全領(lǐng)域的法律規(guī)制,更多關(guān)注人工智能在全社會(huì)應(yīng)用所產(chǎn)生的關(guān)系、功能與后果,其研究范圍幾乎涵蓋生產(chǎn)生活的方方面面,涉及到法理、憲法、民法、刑法、行政法、訴訟法所有專業(yè)理論,同時(shí)又需要攝入計(jì)算機(jī)、數(shù)學(xué)、邏輯學(xué)等AI相關(guān)知識(shí),從而完成其規(guī)則主義路徑的規(guī)制使命;而法律AI則重在執(zhí)法司法過程中的法律轉(zhuǎn)化,更多關(guān)注法律人工智能系統(tǒng)的建模設(shè)計(jì)和算法應(yīng)用,因此,其研究范圍主要是計(jì)算法學(xué)及其相關(guān)實(shí)踐領(lǐng)域,雖然它也會(huì)運(yùn)用法理、憲法、民法、刑法、行政法、訴訟法等專業(yè)理論來思考和解決AI法律問題,但更多地強(qiáng)調(diào)要熟練掌握和運(yùn)用計(jì)算機(jī)、數(shù)學(xué)、邏輯學(xué)等AI相關(guān)知識(shí),并憑借法律思維、法律邏輯、法律論證等等來完成法律計(jì)算,有學(xué)者甚至期待可以擔(dān)當(dāng)起法律AI程序員的角色,從而達(dá)致其技術(shù)主義路徑的融入歸宿。

    三、各自的問題與前景

    縱觀AI法律和法律AI的不同立場、方向、領(lǐng)域和路徑,我們可以清晰地看到它們的各自問題與前景。

    (一)AI法律的問題

    “謹(jǐn)慎派”無疑是一種守成的姿態(tài),它力圖通過對(duì)現(xiàn)有法律的擴(kuò)張解釋和放大適用,把以數(shù)據(jù)信息和算法為基礎(chǔ)的新型生產(chǎn)關(guān)系、生活關(guān)系、行為模式涵蓋在現(xiàn)代性法律體系和法學(xué)理論框架之內(nèi),這固然能夠保持法律的穩(wěn)定性和權(quán)威性,但面對(duì)信息技術(shù)越來越多的“破窗”,以及網(wǎng)絡(luò)化、數(shù)字化、智能化新業(yè)態(tài)、新模式帶來的越來越多的“創(chuàng)造性破壞”,僅僅立足對(duì)現(xiàn)代性法律體系的守成立場會(huì)日益捉襟見肘,亡羊補(bǔ)牢式的法律修補(bǔ)和擴(kuò)充進(jìn)路也必將窮途末路。而“變革派”無疑是一種開放的姿態(tài),它主張要認(rèn)識(shí)和把握網(wǎng)絡(luò)化、數(shù)字化、智能化發(fā)展的新規(guī)律,按照信息社會(huì)和數(shù)字經(jīng)濟(jì)的屬性和要求來對(duì)現(xiàn)代性法律進(jìn)行改造和重建。這意味著,它并不是對(duì)現(xiàn)代性法律的全盤拋棄或者另起爐灶,而是在現(xiàn)有法律體系和理論構(gòu)架基礎(chǔ)上進(jìn)行轉(zhuǎn)型升級(jí),使其能夠適應(yīng)、包容和反映信息社會(huì)與數(shù)字經(jīng)濟(jì)的生產(chǎn)生活邏輯和權(quán)益訴求。這無疑是一個(gè)復(fù)雜、長期、艱巨的系統(tǒng)工程,不僅涉及到規(guī)則體系的轉(zhuǎn)型重構(gòu),更涉及到從法律概念、基本范疇、法律價(jià)值,一直到法律原則、法律關(guān)系、司法程序等的總體性變革。它目前只有一個(gè)大致的方向,還看不到任何清晰的脈絡(luò)和圖景。另一方面,它這種外在視角的、對(duì)AI應(yīng)用的法律規(guī)制進(jìn)路,雖然并不排斥AI與法律的互動(dòng)加持,但它畢竟是秉持法律本位的立場,因而會(huì)對(duì)AI與法律的深度融合、以及法律AI化產(chǎn)生一定的遲滯影響。

    (二)法律AI的問題

    由于法律AI秉持著內(nèi)在視角的、法律向AI轉(zhuǎn)化的進(jìn)路,因而,它能夠避免AI法律進(jìn)路的不足,加速AI與法律的深度融合和法律AI化進(jìn)程。然而,它也有它的難題和局限。

    1.新的法律規(guī)則很難及時(shí)轉(zhuǎn)化為法律AI

    場景、數(shù)據(jù)和算力是AI的三大核心要素,而法律向AI的轉(zhuǎn)化,則需要大量的、反復(fù)的、長期的場景應(yīng)用、規(guī)則提煉、知識(shí)圖譜訓(xùn)練和數(shù)據(jù)“喂養(yǎng)”。就目前而言,研發(fā)中探索出的方式是通過專業(yè)法律人積累帶標(biāo)簽數(shù)據(jù),并且將監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合,使機(jī)器先通過較小規(guī)模的訓(xùn)練樣本得到初步模型,再在法律人的不斷反饋下擴(kuò)張樣本規(guī)模,通過數(shù)據(jù)循環(huán)最終得到較優(yōu)的模型。⑩這樣,對(duì)于相對(duì)穩(wěn)定的法律規(guī)則而言,也許還能夠有時(shí)間、有訓(xùn)練、有“喂養(yǎng)”地來進(jìn)行AI轉(zhuǎn)化;但對(duì)那些修改、制定出臺(tái)的新法律、新規(guī)則,恐怕就沒有足夠時(shí)間、條件和能力來隨時(shí)進(jìn)行AI轉(zhuǎn)化。事實(shí)也表明,“知識(shí)圖譜是基于現(xiàn)有規(guī)則和案例的法律推理模型或?qū)<蚁到y(tǒng),判斷案由是根據(jù)過往知識(shí)體系,因此當(dāng)出現(xiàn)新型犯罪、新罪名的時(shí)候,法律AI的準(zhǔn)確度會(huì)明顯降低”,而“當(dāng)數(shù)據(jù)量不充足的時(shí)候,法律AI的準(zhǔn)確度也會(huì)降低。”?當(dāng)今恰恰正處在一個(gè)科技飛速發(fā)展的時(shí)代,生產(chǎn)生活的各種新業(yè)態(tài)、新模式不斷批量涌現(xiàn),迫使法律變革不得不大幅提速,國內(nèi)外關(guān)于互聯(lián)網(wǎng)、大數(shù)據(jù)、區(qū)塊鏈、人工智能等各種修法、立法也便日新月異。此時(shí),若把這些新法律、新規(guī)則及時(shí)進(jìn)行建模設(shè)計(jì),轉(zhuǎn)換為準(zhǔn)確的、成熟的算法,進(jìn)而成為計(jì)算機(jī)可以理解和執(zhí)行的命令,那可就是難上加難了。

    2.法律與AI之間的鴻溝需要跨越

    法律與AI之間的鴻溝不僅涉及兩個(gè)系統(tǒng),還涉及法律難題、倫理道德、社會(huì)哲學(xué)等諸多問題,主要表現(xiàn)在:

    一是法律邏輯與數(shù)理邏輯的轉(zhuǎn)化。法律是由人設(shè)計(jì)出來的行為規(guī)則,反映著人類的理性能力和思辨邏輯;而AI則是由人設(shè)計(jì)出來的算法模型,反映著人工智能的算力和數(shù)理邏輯。從本質(zhì)上看,“算法(algorithm)就是任何良定義的計(jì)算過程,該過程取某個(gè)值或值的集合作為輸入并產(chǎn)生某個(gè)值或值的集合作為輸出。這樣算法就是把輸入轉(zhuǎn)換成輸出的計(jì)算步驟的一個(gè)序列?!?它只能通過建模運(yùn)算來確立某種輸入輸出的數(shù)值關(guān)系或相關(guān)關(guān)系,卻不能說明因果關(guān)系和機(jī)制原理;它具備分類、歸納、綜合等方面的優(yōu)長,但卻少有假設(shè)、分析和演繹等方面的能力。這恰恰是數(shù)理邏輯與思辨邏輯之間的分野,而法律爭議的處理則很難脫離因果關(guān)系、機(jī)制原理和演繹說理,因此,如若讓法律轉(zhuǎn)化為AI的自動(dòng)決策,這個(gè)鴻溝必須要想辦法來跨越。在目前,成熟的法律AI產(chǎn)品也僅能做到提高效率、減少重復(fù)工作和簡單推理,復(fù)雜的推理技術(shù)仍未能獲得突破。

    二是法律難題的分歧。簡單的法律案件比較容易形式化為計(jì)算問題,但對(duì)于復(fù)雜疑難案件,專業(yè)人士的認(rèn)識(shí)和理解都會(huì)是有局限的、不充分的,乃至彼此間產(chǎn)生很大的爭議,如山東辱母殺人案、陜西張扣扣“復(fù)仇”案、湖南護(hù)士殺死閨蜜案等等,其中摻雜著經(jīng)濟(jì)、社會(huì)、心理、文化、甚至政治等諸多因素,且司法數(shù)據(jù)也難以完整、精準(zhǔn),此時(shí)如若讓法律AI來判斷,無疑難以奏效。事實(shí)上,“‘阿法狗’成功的原因在于圍棋邊界封閉、規(guī)則明晰,這使得機(jī)器可以自造數(shù)據(jù)。但法律世界包羅萬象、復(fù)雜混沌,常常沒有明確的對(duì)錯(cuò)之分,且法律實(shí)踐必須納入人類知識(shí),法律AI不可能擺脫人類經(jīng)驗(yàn)積累數(shù)據(jù)。并且,在法律中存在著諸如‘?dāng)?shù)額較大’與‘?dāng)?shù)額巨大’、‘搶劫’與‘搶奪’等文本非常相似但法律含義有明確區(qū)別的概念,以及諸如‘時(shí)效’等基于特定目的而由人類擬制的概念和制度,這給機(jī)器的無監(jiān)督學(xué)習(xí)帶來了巨大困難?!?正如學(xué)者所言,可計(jì)算問題應(yīng)該是其表述明確無歧義,其解決過程自洽無矛盾,這樣才是有效的,而“將法學(xué)問題轉(zhuǎn)變?yōu)榭捎?jì)算問題的難點(diǎn)在于法學(xué)問題往往是不明確、存在變化、可能出現(xiàn)矛盾的?!?這必然會(huì)增加法律可計(jì)算問題的難度,也加劇了法律與AI之間的鴻溝。

    三是人性與倫理的考量。法律無疑是確定的規(guī)則,但法律的模糊性、不確定性、歧義性也是眾所周知的,因此,霍姆斯大法官才堅(jiān)持“法律的生命不是邏輯而是經(jīng)驗(yàn)”的信條。古今中外的司法裁判,如英國杜德利案、二戰(zhàn)德國告密者案、許霆案、吳英案、唐慧案等等,其中的正義判斷、利益衡量、推理論證無不蘊(yùn)含著一定的經(jīng)驗(yàn)理性、人性倫理,甚至公共政策因素。這些因素是法律AI難以計(jì)算出來的,它也就很難像人類一樣兼顧人文關(guān)懷和道德倫理,形成彼此之間一個(gè)明顯的鴻溝。可見,“算法有可能勝任法庭上的多項(xiàng)工作,甚至可以有效地提高現(xiàn)行法律制度的公平性,但是它們無法勝任判決工作?!?因此,法律AI目前僅是扮演“智能輔助辦案系統(tǒng)”的角色,難以取代律師和法官。

    四是人機(jī)關(guān)系的定位。有學(xué)者展望未來,認(rèn)為人類生活的基本領(lǐng)域?qū)⒈粰C(jī)器所侵蝕,統(tǒng)治交通領(lǐng)域的將不再是規(guī)則,而是算法。而“當(dāng)人把腦力活動(dòng)都交給機(jī)器,當(dāng)人類生活的各個(gè)領(lǐng)域都被機(jī)器所取代,人類的智力必然會(huì)因?yàn)橛眠M(jìn)廢退而發(fā)生退化。到了那時(shí),法律或許也就可有可無?!?但反對(duì)者聲言,“即使在人工智能的時(shí)代,算法也不可能是法律,它反而是法體系所要調(diào)整的對(duì)象;所以,在那個(gè)時(shí)代,法律不但沒有死亡,它也不可能匍匐在算法之下,反而是算法的主宰者和拘束者?!?二者的爭論說到底,就是法律與人工智能研究的核心問題——人機(jī)關(guān)系。從人類的歷史發(fā)展進(jìn)程來看,無論哪個(gè)時(shí)期、無論多大的技術(shù)進(jìn)步,都是以人為中心,旨在服從人類需要、提升人類生活品質(zhì)的,而不是意欲取代人類。因此,面對(duì)當(dāng)前飛速發(fā)展的人工智能,世界各國紛紛組建了各式各樣的倫理委員會(huì),Google、Lucid AI、微軟等多家大型科技公司都已設(shè)立了倫理審查委員會(huì),我國也正式宣布組建國家科技倫理委員會(huì),其目的就是要將科技發(fā)展控制在人文倫理許可的范圍內(nèi)。出于提高效率、便捷生活、提升品質(zhì)的考慮,人類會(huì)在諸如無人工廠、自動(dòng)駕駛、智能投顧、機(jī)器人醫(yī)療等日常生產(chǎn)生活領(lǐng)域中把決策權(quán)交給算法,但人類不會(huì)把立法權(quán)和司法裁決權(quán)交給算法、交給機(jī)器,其角色定位都只是人類的參謀和助手,它們的算法決策只是階段性、局部性和臨時(shí)性的,是為人類的最終決策提供參考的;如果說有一天強(qiáng)人工智能或者超人工智能來臨,AI有了人類一樣的自主意識(shí)和判斷能力,那么,人類更不可能交權(quán)給它,因?yàn)槿祟惒粫?huì)心甘情愿被自己的創(chuàng)造物所主宰和毀滅。這樣看來,人機(jī)之間是可以合作的,一些角色也是可以替代的,但在核心問題上卻是不可通約的,法律AI難以越過這條紅線,無論它多么先進(jìn)。

    (三)AI法律與法律AI的互補(bǔ)支撐

    從上述分析中可以看到,AI法律與法律AI具有內(nèi)外不同的視角,有學(xué)者也稱其為外部功能主義研究和內(nèi)部結(jié)構(gòu)主義研究。?AI法律重在應(yīng)用于廣泛社會(huì)領(lǐng)域中的各種算法關(guān)系、行為、功能和后果,甚至認(rèn)為“制定相關(guān)規(guī)則來約束算法設(shè)計(jì)者的行為,在發(fā)生可疑后果的時(shí)候要求程序員用自然語言來解釋算法的設(shè)計(jì)原理,并且追究其相關(guān)責(zé)任,這顯然是一種治本之法。”?這就為法律的AI轉(zhuǎn)化提供了豐富的知識(shí)圖譜和訓(xùn)練樣本,促進(jìn)法律AI的成熟與完善。法律AI重在設(shè)計(jì)推理模型和法律自動(dòng)化系統(tǒng),在轉(zhuǎn)換時(shí)往往采取假設(shè)—檢驗(yàn)或者觀察—?dú)w納的方法,或者在面對(duì)茫然無知、變化多端的情形時(shí),采取盲目檢索或機(jī)器學(xué)習(xí)的方法讓計(jì)算機(jī)自行發(fā)現(xiàn)一些特點(diǎn),啟發(fā)法學(xué)問題的形式化。?這就為AI法律的研究提供了智能轉(zhuǎn)化的動(dòng)力、場域和途徑??梢?,AI法律與法律AI分別關(guān)注社會(huì)領(lǐng)域和司法領(lǐng)域、外部功能和內(nèi)在結(jié)構(gòu)、法律規(guī)制和智能轉(zhuǎn)化,承擔(dān)者不同角色,它們彼此是互補(bǔ)支撐的。然而,AI法律的前景關(guān)鍵在于,它對(duì)信息社會(huì)和數(shù)字經(jīng)濟(jì)生活邏輯與權(quán)益訴求的法學(xué)提煉程度;法律AI的前景關(guān)鍵在于,它對(duì)法律的智能轉(zhuǎn)化程度。

    四、法律與AI研究的“第三道路”

    網(wǎng)絡(luò)化、數(shù)字化和智能化的深度交融發(fā)展,是當(dāng)今社會(huì)變革不可逆轉(zhuǎn)的根本趨勢(shì),法律與人工智能的研究也必將成為主流領(lǐng)域,且對(duì)多學(xué)科交叉互動(dòng)的要求越來越強(qiáng)。由于AI法律過于強(qiáng)調(diào)外在規(guī)制,法律AI過于強(qiáng)調(diào)智能轉(zhuǎn)化,因此,它們都一時(shí)難以破解各自所面對(duì)問題和挑戰(zhàn),而更適宜的研究進(jìn)路,應(yīng)該是發(fā)揮二者優(yōu)勢(shì)的“第三道路”。

    其一,從浪漫理想回歸現(xiàn)實(shí)主義。從某種意義上說,AI法律旨在把AI納入法律規(guī)制框架之內(nèi),是一種基于法律本位的理想主義。隨著人工智能在各種生活場景中的大量廣泛應(yīng)用,使得“人類世界被植入了計(jì)算機(jī)邏輯”,生產(chǎn)方式、生活方式、行為方式、價(jià)值觀念都面臨著深度變革,“很多舊有的習(xí)慣將被顛覆,很多舊有的制度將面臨挑戰(zhàn)?!泵鎸?duì)這些挑戰(zhàn),“謹(jǐn)慎派”的守成自不待言,就是“變革派”的升級(jí)轉(zhuǎn)型努力,也依然是較強(qiáng)法律本位傾向,這就難以及時(shí)主動(dòng)地吸納、融入網(wǎng)絡(luò)化、數(shù)字化和智能化的技術(shù)規(guī)制方式(如以代碼規(guī)制代碼),也會(huì)影響法律的智能轉(zhuǎn)化。而法律AI旨在把法律轉(zhuǎn)化為智能系統(tǒng),則是一種以AI為歸宿的浪漫主義。前述法律邏輯與數(shù)理邏輯的轉(zhuǎn)化、法律難題的分歧、人性與倫理的考量、人機(jī)關(guān)系的定位等困境,無疑是法律AI化道路上的重重障礙。因此,對(duì)法律AI抱有過多的期待、設(shè)置過高的目標(biāo),未免脫離實(shí)際,至少在可見的范圍內(nèi)是如此。這樣看來,就需要AI法律的研究“往前邁一步”,法律AI向“后退一步”,匯合到“第三道路”上,以現(xiàn)實(shí)主義的精神來發(fā)揮各自的優(yōu)長,根據(jù)客觀規(guī)律和現(xiàn)實(shí)需要、通過法律專家和技術(shù)專家的合作來推進(jìn)法律與AI的相關(guān)研究。

    其二,增強(qiáng)法學(xué)與技術(shù)的對(duì)話合作。無論是AI法律還是法律AI的研究,都會(huì)面臨著一個(gè)讓人深度焦慮的問題是,法律人不懂計(jì)算機(jī)技術(shù),如何來研究人工智能?大家知道,法律是一種知識(shí)系統(tǒng),AI則是一種數(shù)字系統(tǒng),數(shù)字系統(tǒng)能做的知識(shí)系統(tǒng)做不了,知識(shí)系統(tǒng)能做的數(shù)字系統(tǒng)做不了,“懂技術(shù)的不懂法律,懂法律的不懂技術(shù),這也是法律人工智能理論和實(shí)踐很難推進(jìn)的現(xiàn)實(shí)困難?!睂?shí)踐表明,“即使在有限的運(yùn)用中,不懂計(jì)算思維的法律人無法檢測功能設(shè)計(jì)、程序編寫的正確性和合理性,無法判斷數(shù)據(jù)的可靠性,只能被動(dòng)地接受返回的數(shù)據(jù),再進(jìn)行人工檢測。但對(duì)于海量的數(shù)據(jù),即使抽取百分之一的樣本量進(jìn)行檢測,也是人力難以完成的。而沒有法學(xué)思維的人在設(shè)計(jì)功能時(shí)難以正確理解法學(xué)問題的豐富內(nèi)涵,在具體化的過程中很容易出現(xiàn)偏差、存在偏見而不自知?!睂?duì)此,學(xué)者們一直努力尋找破解的應(yīng)對(duì)方案。然而,有幾點(diǎn)則需要進(jìn)一步討論:

    首先,全能型、通才式的研究思路,未必行得通。目前,真正能夠設(shè)計(jì)法律AI模型和算法的基本都是理工科出身、至少是有計(jì)算機(jī)背景的科技學(xué)者,而法律專業(yè)出身的學(xué)者基本都無法涉足;然而,科技學(xué)者設(shè)計(jì)出來的法律AI模型和算法,又因欠缺法學(xué)思維、找不準(zhǔn)法律問題而難以應(yīng)用。對(duì)此,一些法律人希望通過深入研習(xí)計(jì)算機(jī)理論與應(yīng)用技術(shù),甚至力圖學(xué)會(huì)設(shè)計(jì)算法和編程來推進(jìn)法律AI的研究,但這可能只對(duì)極少數(shù)有基礎(chǔ)、有天賦的人才適用,而對(duì)絕大多數(shù)法律人來說難免是一種夢(mèng)想。即便極少數(shù)天才可以做得到二者“通吃”,究竟能“通吃”到何種深度、適時(shí)跟進(jìn)到何種地步,這也是一個(gè)疑問。其理由在于,不用說法律和計(jì)算機(jī)之間在專業(yè)領(lǐng)域、知識(shí)體系、思維方式等方面的巨大鴻溝,就是法學(xué)學(xué)科內(nèi)部的民法、刑法、行政法、國際法等,以及計(jì)算機(jī)科學(xué)技術(shù)內(nèi)部的軟件工程、計(jì)算機(jī)軟件與理論、計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)、計(jì)算機(jī)應(yīng)用技術(shù)等,均都有些“隔行如隔山”,那么,學(xué)者們有多大的精力和能力來打通兩大系統(tǒng)?加之當(dāng)下計(jì)算機(jī)科學(xué)技術(shù)和法學(xué)的各自學(xué)科理論發(fā)展又都十分迅速,專注本領(lǐng)域研究的學(xué)者都應(yīng)接不暇,何況跟進(jìn)“通吃”呢?因此說,寄希望于法律人去深入研習(xí)計(jì)算機(jī)理論和應(yīng)用技術(shù)、或者讓技術(shù)專家去深入研習(xí)法律,試圖讓法律人兼具程序員角色、或者技術(shù)專家兼具法律人角色,這種全能型、通才式的解決問題的思路幾乎是不可能的。

    其次,不懂計(jì)算機(jī)技術(shù),未必就不能研究人工智能。研究人工智能確實(shí)需要了解和掌握相關(guān)的技術(shù)理論和知識(shí),努力掌握和養(yǎng)成一定的計(jì)算思維,這沒有疑問。然而,法律人常常糾結(jié)的“不懂計(jì)算機(jī)技術(shù)”,并非指不了解一般的計(jì)算機(jī)知識(shí)或通識(shí),而是指不能比較熟悉并應(yīng)用相關(guān)的計(jì)算機(jī)理論和技術(shù)。其實(shí)法律人“不懂”,對(duì)其研究人工智能并沒有太實(shí)質(zhì)性的影響。因?yàn)椤胺蓪<也豢赡苁敲婷婢愕降拿總€(gè)領(lǐng)域的專家,這根本就是不可能的,也是做不到的;但他必須得是真正的法律專家才行,才能在法律的基礎(chǔ)上甄別其他專家的同行意見,然后做出法律上的妥當(dāng)決定?!笨陀^而言,在法律上研究人工智能及其在社會(huì)領(lǐng)域的廣泛應(yīng)用,不僅包括它的內(nèi)部結(jié)構(gòu)和模型算法,也包括經(jīng)由它所產(chǎn)生的社會(huì)關(guān)系和社會(huì)后果,后者才是基礎(chǔ)性的、也是主體部分;對(duì)這些領(lǐng)域,并不需要研究者成為計(jì)算機(jī)技術(shù)專家,但必須是法律專家才行。這有如知識(shí)產(chǎn)權(quán)領(lǐng)域的專家并沒都拿到專利,環(huán)境法領(lǐng)域?qū)<也⒉欢际强茖W(xué)家一樣,然而并不影響這些專家的研究,他們關(guān)注的同樣是相應(yīng)的法律關(guān)系、行為樣態(tài)和社會(huì)后果。

    再次,法學(xué)與技術(shù)的對(duì)話合作,是最基本的方式和途徑。我們說全能型、通才式的研究思路行不通,不懂計(jì)算機(jī)技術(shù)并不影響研究人工智能,這里的關(guān)鍵是如何研究?人們常常發(fā)現(xiàn),“不具有計(jì)算思維的人難以意識(shí)到怎樣的法學(xué)問題是可計(jì)算的問題,而沒有法學(xué)思維的人根本就提不出有法學(xué)研究意義的問題。如此,計(jì)算機(jī)在法學(xué)研究中的運(yùn)用就只能靠偶然的機(jī)會(huì)來產(chǎn)生,只能局限在狹窄、表面的領(lǐng)域。因此,我們需要將AI法律和法律AI匯合在“第三道路”上,這無疑需要法學(xué)與技術(shù)的長期對(duì)話合作,并逐漸取得各領(lǐng)域、各層級(jí)的基本共識(shí);“需要法律人和程序員、人工智能專家的合作,以便使算法進(jìn)入法律,法律進(jìn)入算法,從而使人工智能的基礎(chǔ)操作系統(tǒng)符合人類的倫理和法律?!倍诰唧w操作層面,“或許只有當(dāng)法律人與技術(shù)人緊密結(jié)合,相互理解,充分獲知對(duì)方的需求與期待并實(shí)際解決法律與技術(shù)運(yùn)用中的實(shí)踐難題時(shí),才是法律人工智能在法律界大展拳腳的時(shí)刻?!?/p>

    其三,促進(jìn)法律與人工智能的雙向融合?!暗谌缆贰奔炔皇侵荚诎袮I納入法律規(guī)制框架之內(nèi),也不是旨在把法律轉(zhuǎn)化為AI系統(tǒng),而是力圖讓AI法律和法律AI匯合所長、避其所短,實(shí)現(xiàn)法律與人工智能的雙向融合,這無疑是一條更優(yōu)的整合研究進(jìn)路。就是說,一方面是讓人工智能支持法律,打造一個(gè)高效的、可視正義的司法體系;另一方面是讓法律改變?nèi)斯ぶ悄?,開發(fā)出具有內(nèi)在法律和倫理規(guī)則的人工智能,“使一種新型的、合乎倫理的、可解釋的人工智能得以在法律中成長和發(fā)展起來”,因此,“法律人工智能的研究應(yīng)該更多關(guān)注二者如何能夠強(qiáng)強(qiáng)聯(lián)合,而不是誰贏誰輸。”這就要求法律人要積極參與到人工智能技術(shù)研發(fā)之中,“為人工智能的深度應(yīng)用提供場景、提煉規(guī)則,制作各種證據(jù)指引和知識(shí)圖譜,推進(jìn)機(jī)器深度學(xué)習(xí)”,積極促進(jìn)彼此的融合貫通。目前,有西方學(xué)者設(shè)計(jì)出了具體的方案,認(rèn)為論證是彌合知識(shí)系統(tǒng)和數(shù)字系統(tǒng)之間鴻溝的有效路徑。具言之,盡管機(jī)器學(xué)習(xí)只能對(duì)一般情況作出較為準(zhǔn)確的預(yù)測,卻無力應(yīng)對(duì)法律領(lǐng)域里的復(fù)雜案情、特定情形和場景細(xì)節(jié),而這些都需要解釋、推理和論證。他“希望通過論證系統(tǒng)的完善,這些問題可以迎刃而解。當(dāng)然,這將是一項(xiàng)長期性和持續(xù)性的工作?!敝劣谡撟C這一路徑最后能否走得通,或者是否還有其它更有效的路徑,可能還需要時(shí)間的檢驗(yàn)和更多人的努力。

    注釋:

    ①一般認(rèn)為,1970年11月布魯斯·布坎南和托馬斯·希德里克發(fā)表《關(guān)于人工智能和法律推理若干問題的考察》一文,是人工智能與法律研究的開端。1987年,在美國波士頓的東北大學(xué),召開了首屆國際人工智能與法律會(huì)議(ICAIL),其研究逐漸國際化。

    ②楊安卓博士認(rèn)為,本文這種劃分與鄭戈教授的“法律的人工智能”與“人工智能的法律”似可對(duì)照,但鄭教授的“人工智能的法律”屬于純法學(xué),而本文中的AI法律大致接近“對(duì)人工智能技術(shù)的法律規(guī)制”。在英語中,AI&law已經(jīng)成為一個(gè)固定的術(shù)語和雜志名,它幾乎相當(dāng)于ICAIL的會(huì)刊,其風(fēng)格是非常邏輯符號(hào)主義的,它更像是法律AI而不是AI法律。不過在筆者看來,本文中AI法律的指向是規(guī)制AI及其應(yīng)用而產(chǎn)生的社會(huì)關(guān)系,這與英文AI&law注重二者交融與轉(zhuǎn)化的指向就明顯不同了,因此,本文的“AI法律”就翻譯為“Artificial Intelligence Law”,而不是“AI&law”。

    ③如郝鐵川:《不可幻想和高估人工智能對(duì)法治的影響》,《法制日?qǐng)?bào)》2018年1月3日第10版;劉艷紅:《人工智能法學(xué)研究的反智化批判》,《東方法學(xué)》2019年第5期等。

    ④余成峰:《法律的“死亡”:人工智能時(shí)代的法律功能危機(jī)》,《華東政法大學(xué)學(xué)報(bào)》2018年第2期;魯楠:《科技革命、法哲學(xué)與后人類境況》,《中國法律評(píng)論》2018年第2期;馬長山:《智能互聯(lián)網(wǎng)時(shí)代的法律變革》,《法學(xué)研究》2018年第4期等。

    ⑤熊明輝:《法律人工智能的前世今生》,《中國社會(huì)科學(xué)報(bào)》2018年10月10日。

    ⑦曹建峰:《法律人工智能十大趨勢(shì)》,https://www.tisi.org/4942_58,2019年7月16日訪問。

    ⑧徐恪等:《算法統(tǒng)治世界——智能經(jīng)濟(jì)的隱形秩序》,清華大學(xué)出版社2017年版,前言,第9頁。

    ?網(wǎng)易:《“人工智能+法律”機(jī)遇與挑戰(zhàn)并存》,http://dy.163.com/v2/article/detail/E2739E0C0519AOG8.html,2019年8月1日訪問。

    ?[美]托馬斯·科爾曼、查爾斯·雷瑟爾森等:《算法導(dǎo)論》,殷建平等譯,機(jī)械工業(yè)出版社2016年版,第3頁。

    ?栗崢教授在“法律人工智能研究前沿問題國際學(xué)術(shù)研討會(huì)”(2019.4.13,長沙)上的發(fā)言。

    猜你喜歡
    法學(xué)人工智能法律
    《南大法學(xué)》征稿啟事
    《南大法學(xué)》征稿啟事
    法律解釋與自然法
    法律方法(2021年3期)2021-03-16 05:57:02
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    下一幕,人工智能!
    讓人死亡的法律
    山東青年(2016年1期)2016-02-28 14:25:30
    法學(xué)
    新校長(2016年5期)2016-02-26 09:28:49
    “互助獻(xiàn)血”質(zhì)疑聲背后的法律困惑
    麻豆久久精品国产亚洲av| 妹子高潮喷水视频| 黄色丝袜av网址大全| 日本 欧美在线| 男女做爰动态图高潮gif福利片| 中文字幕av在线有码专区| 人成视频在线观看免费观看| 少妇被粗大的猛进出69影院| 亚洲午夜理论影院| 亚洲国产精品成人综合色| 国内少妇人妻偷人精品xxx网站 | 久久国产精品影院| 少妇的丰满在线观看| 99在线人妻在线中文字幕| 变态另类成人亚洲欧美熟女| 两人在一起打扑克的视频| 狠狠狠狠99中文字幕| 久久精品国产亚洲av香蕉五月| 日本黄色视频三级网站网址| 成人欧美大片| x7x7x7水蜜桃| 国产伦人伦偷精品视频| 亚洲精品久久成人aⅴ小说| 欧美日韩国产亚洲二区| 18禁黄网站禁片午夜丰满| 亚洲,欧美精品.| 免费无遮挡裸体视频| 女人被狂操c到高潮| 欧美性猛交黑人性爽| 国产亚洲av高清不卡| 亚洲av电影不卡..在线观看| 俄罗斯特黄特色一大片| 神马国产精品三级电影在线观看 | 亚洲色图av天堂| 亚洲欧美日韩高清专用| 久久99热这里只有精品18| 亚洲中文字幕日韩| 制服诱惑二区| 亚洲性夜色夜夜综合| 亚洲专区中文字幕在线| 中文字幕久久专区| 国产精品av久久久久免费| 国产av在哪里看| 欧美日韩瑟瑟在线播放| 免费看日本二区| 国产精品九九99| 黄色 视频免费看| 老司机福利观看| 嫩草影院精品99| 日韩免费av在线播放| 精品一区二区三区av网在线观看| 久久精品成人免费网站| 国产一区二区在线观看日韩 | 国内毛片毛片毛片毛片毛片| 国产一区二区三区视频了| 50天的宝宝边吃奶边哭怎么回事| 久久午夜亚洲精品久久| 五月玫瑰六月丁香| 欧美成人午夜精品| 精品日产1卡2卡| 中国美女看黄片| 欧美黄色片欧美黄色片| 日日爽夜夜爽网站| 黄色视频,在线免费观看| 悠悠久久av| 久久热在线av| 国产成人影院久久av| 欧美黑人欧美精品刺激| 亚洲午夜精品一区,二区,三区| 久久热在线av| 午夜精品久久久久久毛片777| 1024香蕉在线观看| 9191精品国产免费久久| a在线观看视频网站| 岛国视频午夜一区免费看| 久久精品91蜜桃| 国产久久久一区二区三区| 性色av乱码一区二区三区2| 十八禁网站免费在线| av国产免费在线观看| 国产爱豆传媒在线观看 | 日韩精品免费视频一区二区三区| 亚洲精品中文字幕在线视频| 亚洲最大成人中文| 国内久久婷婷六月综合欲色啪| 午夜精品久久久久久毛片777| 色综合站精品国产| 99久久精品热视频| 一级毛片精品| 日本精品一区二区三区蜜桃| av天堂在线播放| 天天一区二区日本电影三级| 成人欧美大片| 精品久久久久久久久久久久久| 亚洲免费av在线视频| 听说在线观看完整版免费高清| 草草在线视频免费看| 女同久久另类99精品国产91| 精品高清国产在线一区| 久久久国产成人免费| 国产一区二区激情短视频| 久久久久久人人人人人| 亚洲va日本ⅴa欧美va伊人久久| 亚洲av成人精品一区久久| 后天国语完整版免费观看| 19禁男女啪啪无遮挡网站| 日本免费一区二区三区高清不卡| 又紧又爽又黄一区二区| 99国产精品一区二区三区| 最近最新中文字幕大全电影3| 性欧美人与动物交配| 日日干狠狠操夜夜爽| 97人妻精品一区二区三区麻豆| 嫩草影视91久久| 不卡av一区二区三区| 好男人在线观看高清免费视频| 久久人人精品亚洲av| 国产av麻豆久久久久久久| 亚洲精品国产精品久久久不卡| 成人特级黄色片久久久久久久| 国产久久久一区二区三区| 国产精品,欧美在线| 日韩免费av在线播放| 亚洲美女视频黄频| 免费观看人在逋| 国产精品久久久久久久电影 | 日韩欧美国产在线观看| 久久久精品国产亚洲av高清涩受| 国产一区二区激情短视频| 亚洲成人中文字幕在线播放| 成人18禁在线播放| 国产男靠女视频免费网站| 久久久久久亚洲精品国产蜜桃av| 亚洲无线在线观看| 啦啦啦韩国在线观看视频| 国产亚洲av嫩草精品影院| 男人舔女人下体高潮全视频| 亚洲精品在线美女| 国产成人精品久久二区二区免费| 成人三级做爰电影| 亚洲人成电影免费在线| 久久久久九九精品影院| 精品国产乱码久久久久久男人| 在线观看一区二区三区| 国产亚洲av高清不卡| 1024视频免费在线观看| 午夜视频精品福利| 欧美日韩国产亚洲二区| 午夜精品在线福利| 黄频高清免费视频| 亚洲,欧美精品.| 国产午夜福利久久久久久| 真人做人爱边吃奶动态| 亚洲精品国产一区二区精华液| av福利片在线| 熟女电影av网| 中文字幕熟女人妻在线| 欧美性长视频在线观看| 一级毛片女人18水好多| 国产99白浆流出| 熟女电影av网| 日本成人三级电影网站| 精品午夜福利视频在线观看一区| 九九热线精品视视频播放| 国内揄拍国产精品人妻在线| 精品福利观看| 欧美黄色淫秽网站| 五月玫瑰六月丁香| 午夜免费成人在线视频| 国产精品98久久久久久宅男小说| 九色国产91popny在线| 九色国产91popny在线| 天堂影院成人在线观看| 成年免费大片在线观看| 精品久久久久久久末码| 黄片小视频在线播放| 久久精品夜夜夜夜夜久久蜜豆 | 曰老女人黄片| 欧美在线一区亚洲| 变态另类丝袜制服| 全区人妻精品视频| 在线十欧美十亚洲十日本专区| 制服人妻中文乱码| 国产久久久一区二区三区| aaaaa片日本免费| 国产单亲对白刺激| 狂野欧美激情性xxxx| 亚洲五月天丁香| 一边摸一边抽搐一进一小说| 亚洲狠狠婷婷综合久久图片| 午夜免费观看网址| 黄色女人牲交| 国产欧美日韩一区二区三| 老熟妇仑乱视频hdxx| 国产成+人综合+亚洲专区| 久久精品亚洲精品国产色婷小说| 免费在线观看视频国产中文字幕亚洲| 亚洲一区二区三区不卡视频| 搡老熟女国产l中国老女人| 一本大道久久a久久精品| 搞女人的毛片| 亚洲av五月六月丁香网| 亚洲欧美精品综合一区二区三区| 麻豆成人av在线观看| 国产99白浆流出| 又粗又爽又猛毛片免费看| 亚洲美女黄片视频| 色噜噜av男人的天堂激情| 亚洲欧美日韩无卡精品| 亚洲乱码一区二区免费版| 日韩 欧美 亚洲 中文字幕| 色综合亚洲欧美另类图片| 天堂动漫精品| or卡值多少钱| 极品教师在线免费播放| 国产黄色小视频在线观看| 99国产精品一区二区蜜桃av| 亚洲七黄色美女视频| 亚洲国产欧洲综合997久久,| 欧美一区二区国产精品久久精品 | 夜夜看夜夜爽夜夜摸| 中出人妻视频一区二区| 欧美国产日韩亚洲一区| 夜夜躁狠狠躁天天躁| 一级作爱视频免费观看| 亚洲九九香蕉| a级毛片在线看网站| 99riav亚洲国产免费| 色播亚洲综合网| 日韩三级视频一区二区三区| 国产精品一区二区三区四区久久| 天堂√8在线中文| 久久婷婷人人爽人人干人人爱| 精品人妻1区二区| 午夜a级毛片| 免费在线观看完整版高清| 男女下面进入的视频免费午夜| 精品乱码久久久久久99久播| 亚洲精品美女久久久久99蜜臀| 嫩草影院精品99| 国产高清有码在线观看视频 | 岛国视频午夜一区免费看| 久久久久久久午夜电影| 亚洲欧美一区二区三区黑人| 亚洲精品中文字幕一二三四区| 亚洲中文av在线| 久久久水蜜桃国产精品网| 日韩欧美精品v在线| 国产一区在线观看成人免费| 久久99热这里只有精品18| 亚洲色图av天堂| 在线a可以看的网站| 亚洲av片天天在线观看| 免费在线观看日本一区| 久久久久免费精品人妻一区二区| 老司机在亚洲福利影院| 亚洲av片天天在线观看| 成人一区二区视频在线观看| 国产成+人综合+亚洲专区| 女同久久另类99精品国产91| 国产乱人伦免费视频| 欧美乱码精品一区二区三区| 亚洲色图av天堂| 亚洲精品中文字幕在线视频| 黄色成人免费大全| 国产精品国产高清国产av| 亚洲精品中文字幕在线视频| 色在线成人网| 国产精品久久久人人做人人爽| 啦啦啦免费观看视频1| 日本精品一区二区三区蜜桃| 国产精品av久久久久免费| 久久精品aⅴ一区二区三区四区| 亚洲国产欧洲综合997久久,| 免费在线观看完整版高清| 国产亚洲精品第一综合不卡| 99久久99久久久精品蜜桃| 欧美日韩乱码在线| 999久久久国产精品视频| 少妇熟女aⅴ在线视频| 十八禁人妻一区二区| 免费人成视频x8x8入口观看| 国产伦人伦偷精品视频| 香蕉丝袜av| 制服丝袜大香蕉在线| 久久久久久大精品| 婷婷六月久久综合丁香| 18禁观看日本| 亚洲熟女毛片儿| 日韩精品中文字幕看吧| 国产伦一二天堂av在线观看| www国产在线视频色| 国模一区二区三区四区视频 | www日本黄色视频网| 精品少妇一区二区三区视频日本电影| 色老头精品视频在线观看| 亚洲中文字幕日韩| 特级一级黄色大片| 黑人欧美特级aaaaaa片| 99久久综合精品五月天人人| 一级作爱视频免费观看| 一本久久中文字幕| av有码第一页| 国产91精品成人一区二区三区| 亚洲成人免费电影在线观看| 亚洲欧美日韩东京热| 亚洲人成网站高清观看| 免费看日本二区| 1024视频免费在线观看| а√天堂www在线а√下载| 19禁男女啪啪无遮挡网站| 久久天堂一区二区三区四区| 在线观看一区二区三区| 国产成人系列免费观看| 亚洲av成人不卡在线观看播放网| 在线观看免费视频日本深夜| 啦啦啦观看免费观看视频高清| 在线看三级毛片| 久久九九热精品免费| 国模一区二区三区四区视频 | 丁香六月欧美| 午夜久久久久精精品| 成人一区二区视频在线观看| 男男h啪啪无遮挡| 麻豆一二三区av精品| 免费在线观看日本一区| 久久久精品大字幕| 欧美丝袜亚洲另类 | 女人高潮潮喷娇喘18禁视频| 亚洲精品在线观看二区| 欧美在线黄色| 欧美午夜高清在线| 十八禁网站免费在线| 免费电影在线观看免费观看| 亚洲美女视频黄频| 丰满的人妻完整版| 国产私拍福利视频在线观看| 哪里可以看免费的av片| 叶爱在线成人免费视频播放| 亚洲国产精品成人综合色| 国产高清有码在线观看视频 | 国产一区二区在线观看日韩 | 婷婷亚洲欧美| 午夜两性在线视频| 日本黄大片高清| 麻豆成人av在线观看| 欧美不卡视频在线免费观看 | 特大巨黑吊av在线直播| 在线a可以看的网站| 中文字幕高清在线视频| 国产精品99久久99久久久不卡| 午夜福利在线在线| 91麻豆精品激情在线观看国产| 一个人免费在线观看的高清视频| 久久精品国产亚洲av高清一级| 国产精品精品国产色婷婷| 一进一出抽搐动态| 国产探花在线观看一区二区| 黑人巨大精品欧美一区二区mp4| 国内少妇人妻偷人精品xxx网站 | 好看av亚洲va欧美ⅴa在| 女同久久另类99精品国产91| 少妇粗大呻吟视频| 中文字幕久久专区| 看黄色毛片网站| 中文在线观看免费www的网站 | 制服丝袜大香蕉在线| 久久中文字幕人妻熟女| 十八禁人妻一区二区| 色综合亚洲欧美另类图片| 色播亚洲综合网| 麻豆国产av国片精品| 国产69精品久久久久777片 | 国产精品一区二区三区四区久久| 性色av乱码一区二区三区2| 欧美黑人巨大hd| 欧美中文日本在线观看视频| 日韩大尺度精品在线看网址| 欧美一区二区精品小视频在线| 亚洲熟妇中文字幕五十中出| 亚洲国产精品成人综合色| 亚洲一卡2卡3卡4卡5卡精品中文| 91大片在线观看| 亚洲成人免费电影在线观看| 女人高潮潮喷娇喘18禁视频| 免费在线观看完整版高清| 亚洲五月婷婷丁香| 国产片内射在线| 中文字幕久久专区| 欧美 亚洲 国产 日韩一| 精品电影一区二区在线| 成在线人永久免费视频| 久久精品国产99精品国产亚洲性色| 国产免费男女视频| 在线观看免费午夜福利视频| 中文在线观看免费www的网站 | 国产一区二区激情短视频| 欧美日韩一级在线毛片| 老司机在亚洲福利影院| 国产亚洲精品综合一区在线观看 | 国产麻豆成人av免费视频| 国产av不卡久久| 1024手机看黄色片| 久久久久久久久中文| 精品人妻1区二区| 国产成人精品久久二区二区91| 久久午夜综合久久蜜桃| 国产精品影院久久| 一夜夜www| 亚洲国产中文字幕在线视频| 亚洲av日韩精品久久久久久密| 久久草成人影院| 日日摸夜夜添夜夜添小说| 国产亚洲精品久久久久久毛片| 99国产极品粉嫩在线观看| 少妇被粗大的猛进出69影院| 亚洲av电影在线进入| 毛片女人毛片| 亚洲人成网站高清观看| 国产精品野战在线观看| av免费在线观看网站| 老司机靠b影院| 亚洲男人天堂网一区| a级毛片a级免费在线| 在线观看免费午夜福利视频| 国内精品久久久久精免费| 午夜两性在线视频| 两个人免费观看高清视频| 黄片小视频在线播放| 亚洲欧美日韩无卡精品| 久久天躁狠狠躁夜夜2o2o| 美女 人体艺术 gogo| 怎么达到女性高潮| 一边摸一边做爽爽视频免费| 国产成人av教育| 国产97色在线日韩免费| 国产精品 欧美亚洲| 特级一级黄色大片| av中文乱码字幕在线| 亚洲av成人av| 午夜亚洲福利在线播放| 亚洲国产欧美一区二区综合| 99精品在免费线老司机午夜| av福利片在线| 日本在线视频免费播放| xxx96com| av福利片在线观看| 无遮挡黄片免费观看| 国产一区二区激情短视频| 午夜福利视频1000在线观看| 岛国在线免费视频观看| 亚洲欧美日韩东京热| 亚洲av五月六月丁香网| av中文乱码字幕在线| 日本 欧美在线| 国产av不卡久久| 国产高清有码在线观看视频 | 国产一区二区在线观看日韩 | 18禁黄网站禁片免费观看直播| 嫩草影院精品99| 操出白浆在线播放| 国产av一区在线观看免费| 色老头精品视频在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲无线在线观看| 热99re8久久精品国产| 日日爽夜夜爽网站| 国内少妇人妻偷人精品xxx网站 | 一边摸一边做爽爽视频免费| 久久久精品国产亚洲av高清涩受| 久99久视频精品免费| 50天的宝宝边吃奶边哭怎么回事| 亚洲色图av天堂| 男女下面进入的视频免费午夜| 日本a在线网址| 性欧美人与动物交配| 午夜激情av网站| 成人永久免费在线观看视频| 久久性视频一级片| 伦理电影免费视频| 曰老女人黄片| svipshipincom国产片| 国产精品久久久av美女十八| 国产成人精品无人区| 国产精品爽爽va在线观看网站| 在线永久观看黄色视频| 午夜福利欧美成人| 日韩欧美三级三区| a在线观看视频网站| av片东京热男人的天堂| 99久久99久久久精品蜜桃| 久久久久亚洲av毛片大全| 黄片小视频在线播放| 午夜福利在线观看吧| 亚洲欧洲精品一区二区精品久久久| 国产一区二区三区视频了| 国产精品一区二区三区四区久久| 午夜精品久久久久久毛片777| 脱女人内裤的视频| 村上凉子中文字幕在线| 国产成人精品无人区| 欧美久久黑人一区二区| 午夜视频精品福利| 国产精品精品国产色婷婷| 成年女人毛片免费观看观看9| 不卡av一区二区三区| 国产精品av视频在线免费观看| 后天国语完整版免费观看| 精品久久久久久久人妻蜜臀av| 国产av在哪里看| 黄色女人牲交| 欧美乱妇无乱码| 韩国av一区二区三区四区| 丁香欧美五月| 日韩大码丰满熟妇| 国产成人精品久久二区二区免费| 99re在线观看精品视频| 国产成人aa在线观看| 国产免费男女视频| 天堂√8在线中文| 国产区一区二久久| 在线观看66精品国产| a级毛片a级免费在线| 成人亚洲精品av一区二区| 亚洲成人久久性| 一个人免费在线观看电影 | 淫秽高清视频在线观看| 最新美女视频免费是黄的| ponron亚洲| 亚洲黑人精品在线| 国产成人精品久久二区二区免费| 久久99热这里只有精品18| 在线看三级毛片| 麻豆久久精品国产亚洲av| 夜夜爽天天搞| 9191精品国产免费久久| 亚洲熟妇熟女久久| www.精华液| 日韩成人在线观看一区二区三区| 午夜福利在线观看吧| 亚洲国产日韩欧美精品在线观看 | 亚洲欧美一区二区三区黑人| 久久人妻av系列| 男女做爰动态图高潮gif福利片| 99久久国产精品久久久| 国产精品免费视频内射| 久久中文字幕人妻熟女| 看黄色毛片网站| 亚洲精品美女久久久久99蜜臀| 婷婷丁香在线五月| 嫩草影视91久久| 午夜福利视频1000在线观看| www日本在线高清视频| 国产一区二区三区在线臀色熟女| 成人18禁高潮啪啪吃奶动态图| 国产精品久久久人人做人人爽| 99热6这里只有精品| 精品国产亚洲在线| 国产成人精品无人区| 国产亚洲精品一区二区www| 免费高清视频大片| 午夜久久久久精精品| avwww免费| 性欧美人与动物交配| 男人舔奶头视频| 一进一出抽搐动态| 亚洲中文字幕一区二区三区有码在线看 | 热99re8久久精品国产| 亚洲人成网站在线播放欧美日韩| 亚洲精品美女久久久久99蜜臀| 老司机福利观看| 一区二区三区高清视频在线| 久久性视频一级片| 夜夜看夜夜爽夜夜摸| 日本 欧美在线| 日本熟妇午夜| 久久久精品欧美日韩精品| 精品久久久久久久人妻蜜臀av| 波多野结衣高清作品| 久久午夜综合久久蜜桃| 国产三级在线视频| 99精品久久久久人妻精品| 在线观看免费视频日本深夜| 两个人视频免费观看高清| 在线观看舔阴道视频| 久久精品国产亚洲av香蕉五月| 国产av又大| 国产精品98久久久久久宅男小说| 国产成人精品无人区| 国产精品亚洲美女久久久| 琪琪午夜伦伦电影理论片6080| 亚洲中文日韩欧美视频| 国产精品香港三级国产av潘金莲| 午夜福利成人在线免费观看| 午夜免费成人在线视频| 非洲黑人性xxxx精品又粗又长| 成人国产一区最新在线观看| 日韩高清综合在线| 亚洲一区中文字幕在线| 日韩欧美免费精品| 国产99久久九九免费精品| 日韩欧美三级三区| 国产片内射在线| 欧美在线黄色| 少妇的丰满在线观看| www.自偷自拍.com| 久久香蕉激情| 亚洲一区二区三区色噜噜| 国产精品久久视频播放| 成人国产综合亚洲| 亚洲性夜色夜夜综合| 观看免费一级毛片| 欧美午夜高清在线| 精品久久久久久成人av| 国产男靠女视频免费网站|