• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能的法律想象

    2017-04-24 00:05胡凌
    文化縱橫 2017年2期
    關(guān)鍵詞:規(guī)則人工智能法律

    引子

    當(dāng)我們談?wù)撊斯ぶ悄埽ˋrtificial Intelligence,AI)時(shí),很大程度上受到源自20世紀(jì)想象的影響,例如,直接把人工智能和機(jī)器人聯(lián)系起來,甚至是人形機(jī)器人。這可能也會(huì)影響法律人對(duì)人工智能的想象,包括是否承認(rèn)人工智能作為具有自我意識(shí)的法律主體地位(或至少是人類行為的代理人),從而保護(hù)其特定權(quán)利(言論自由、著作權(quán))、劃定責(zé)任(締約、侵權(quán)),甚至強(qiáng)調(diào)可能的毀滅性風(fēng)險(xiǎn)。這種想象遠(yuǎn)非受到科幻作品影響那樣簡單,深層次中還反映出人工智能在技術(shù)和應(yīng)用上不同的發(fā)展路徑:早期人工智能研究更集中于對(duì)人腦的仿真模擬,探究意識(shí)、理性等更為宏大的哲學(xué)問題,但應(yīng)用性較少;當(dāng)下的人工智能走出了實(shí)驗(yàn)室,借助互聯(lián)網(wǎng)服務(wù)直接影響到普通人的生活,在技術(shù)上并不執(zhí)著于創(chuàng)造一個(gè)完美的智能體,而是依靠算法(如機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò))不斷優(yōu)化,對(duì)海量數(shù)據(jù)自動(dòng)挖掘與預(yù)測(cè),通過無所不在的傳感器實(shí)時(shí)更新數(shù)據(jù),動(dòng)態(tài)掌控著人類社會(huì)各個(gè)方面的運(yùn)轉(zhuǎn),并把從某個(gè)特定領(lǐng)域升級(jí)為通用人工智能作為目標(biāo)。從這個(gè)意義上說,人工智能并不神秘,它出現(xiàn)在日常生活中,不僅是工業(yè)社會(huì)生產(chǎn)自動(dòng)化的延續(xù),也是互聯(lián)網(wǎng)商業(yè)化的必然結(jié)果和新階段。時(shí)至今日,歐美國家紛紛出臺(tái)政策,推動(dòng)人工智能發(fā)展,力求提升經(jīng)濟(jì)效率和競爭力。

    ? 互聯(lián)網(wǎng)公司正逐漸主導(dǎo)實(shí)體經(jīng)濟(jì)和金融生產(chǎn)

    如果我們擺脫簡單的擬人思維,把人工智能看作互聯(lián)網(wǎng)智能演進(jìn)的新階段,為理解其法律規(guī)則,就有必要理解互聯(lián)網(wǎng)法律在過去20年中形成的路徑和推動(dòng)力,從而探討人工智能是否有任何特殊性以至于需要新的規(guī)則。本文將從網(wǎng)絡(luò)法的兩個(gè)視角——實(shí)證性和生產(chǎn)性——切入,將它們延伸至人工智能語境下分別討論?!皩?shí)證性”視角是我們觀察和應(yīng)用任何規(guī)則的慣常思維方式,例如人工智能行為的具體規(guī)則如何確立、如何規(guī)制等,本文將討論支撐人工智能的兩個(gè)構(gòu)成性要素——算法與數(shù)據(jù)——可能帶來的法律問題,以及法律人處理人工智能的兩種路徑;“生產(chǎn)性”視角則深入規(guī)則背后,探索規(guī)則形成的政治經(jīng)濟(jì)因素,特別是經(jīng)濟(jì)生產(chǎn)方式的內(nèi)在要求。人工智能本質(zhì)上是一套復(fù)雜的代碼設(shè)計(jì),既是影響社會(huì)行為的強(qiáng)力規(guī)范,也是產(chǎn)生新價(jià)值的生產(chǎn)機(jī)制;它驅(qū)動(dòng)整個(gè)社會(huì)朝向更智能的方向變化,從而要求法律做出相應(yīng)調(diào)整,尤其是確認(rèn)新型經(jīng)濟(jì)利益的合法性。

    限于篇幅,本文姑且將人工智能看成法律上的客體,暫不討論賽博格(cyborg)之類的人體轉(zhuǎn)向機(jī)械體或通過基因技術(shù)改變身體的問題(仍是法律上的人),也不討論人工智能作為一種人造物的自我意識(shí)問題(一個(gè)難以達(dá)成共識(shí)的哲學(xué)問題)。

    理解網(wǎng)絡(luò)法的變遷

    網(wǎng)絡(luò)法在中國的變遷大致遵循兩類邏輯:外生性的政治/監(jiān)管邏輯和內(nèi)生性的商業(yè)邏輯。政治/監(jiān)管邏輯體現(xiàn)為對(duì)“實(shí)證性規(guī)則”的追求,這些規(guī)則集中在國家(包括法院和監(jiān)管機(jī)構(gòu))如何對(duì)互聯(lián)網(wǎng)的內(nèi)容和行為進(jìn)行規(guī)制,包括對(duì)網(wǎng)絡(luò)主權(quán)和信息安全的追尋。這集中反映了國家權(quán)力如何試圖介入新技術(shù)帶來的問題與挑戰(zhàn)。這一視角最早由美國法學(xué)界引出,特別是Lawrence Lessig的代碼理論將代碼(架構(gòu))和法律并列。由此,所謂的網(wǎng)絡(luò)法不僅要約束社會(huì)主體在網(wǎng)絡(luò)空間中的行為,也要對(duì)架構(gòu)的變化本身做出回應(yīng)。

    首先,就規(guī)制主體行為而言,出現(xiàn)了是否按照傳統(tǒng)線下行為規(guī)則的思路約束線上行為的討論。這一討論的核心是,互聯(lián)網(wǎng)問題是否具有任何特殊性,需要某些新規(guī)來解決。我們已經(jīng)看到,中國的互聯(lián)網(wǎng)行為監(jiān)管在很大程度上延續(xù)了傳統(tǒng)規(guī)則和管理方式,采取漸進(jìn)的方式,這不僅成本較小,也給予監(jiān)管者一定的學(xué)習(xí)和探索空間。其次,就架構(gòu)變化本身而言,國家在宏觀上主張網(wǎng)絡(luò)空間中仍然需要主權(quán),不能成為法外之地,在微觀上相應(yīng)出現(xiàn)了國家與平臺(tái)權(quán)力/責(zé)任二分的討論。例如,政府權(quán)力何時(shí)需要介入平臺(tái)治理,加強(qiáng)平臺(tái)的行政管理責(zé)任或安全保障責(zé)任,還是由后者根據(jù)自身情況自我規(guī)制,實(shí)現(xiàn)治理目標(biāo)。政治/監(jiān)管邏輯要么遵循管理者的路徑依賴效應(yīng),要么堅(jiān)持既有社會(huì)穩(wěn)定、意識(shí)形態(tài)安全價(jià)值。問題在于,監(jiān)管者在多大程度上能夠認(rèn)識(shí)到代碼及其商業(yè)模式的特殊性,從而使監(jiān)管行為和行業(yè)特性相互協(xié)調(diào)融合。

    另一種看待規(guī)則產(chǎn)生的方式遵循商業(yè)邏輯。這種生產(chǎn)性視角關(guān)注微觀權(quán)力運(yùn)作,綜合將代碼、法律與社會(huì)規(guī)范放在一起,不單純從社會(huì)學(xué)意義上觀察社會(huì)主體行為如何受到影響,而是在政治經(jīng)濟(jì)學(xué)意義上將網(wǎng)絡(luò)空間的生成和擴(kuò)散看成是一個(gè)由商業(yè)力量推動(dòng)主導(dǎo)的生產(chǎn)性過程,關(guān)注價(jià)值由誰產(chǎn)生、如何分配,由此推動(dòng)對(duì)新規(guī)則的內(nèi)生需求。按照這一視角,無論是法律還是架構(gòu),在具有實(shí)證性規(guī)制功能的同時(shí),也是一種“生產(chǎn)性規(guī)則”?;ヂ?lián)網(wǎng)的生產(chǎn)模式?jīng)Q定了其對(duì)社會(huì)范圍內(nèi)生產(chǎn)資料的創(chuàng)造性生產(chǎn)和再利用,需要法律確認(rèn)其生產(chǎn)方式的合法性,重塑關(guān)鍵法律制度,并解決和傳統(tǒng)生產(chǎn)模式的利益沖突。這一視角無疑幫助厘清新經(jīng)濟(jì)主張的例外特性,不僅展示出架構(gòu)和相應(yīng)的法律改變,更指明了背后的政治經(jīng)濟(jì)原因,是更好地理解實(shí)證性規(guī)則的基礎(chǔ)。

    兩類不同的邏輯在過去20年中交替出現(xiàn),相互制約,共同塑造了中國網(wǎng)絡(luò)法體系,也推動(dòng)了中國互聯(lián)網(wǎng)的整體發(fā)展??傮w而言,鑒于國家有意促進(jìn)新經(jīng)濟(jì),需要推動(dòng)傳統(tǒng)的屬地化、分口治理,事后運(yùn)動(dòng)治理模式發(fā)生轉(zhuǎn)變,認(rèn)清互聯(lián)網(wǎng)商業(yè)模式和價(jià)值產(chǎn)生的根源,有利探索適應(yīng)新經(jīng)濟(jì)性質(zhì)的管理體制。從這個(gè)意義上說,信息資本主義不斷要求對(duì)法律內(nèi)核進(jìn)行改造,取代其中的傳統(tǒng)經(jīng)濟(jì)要素,打破限制生產(chǎn)要素自由流通的各類規(guī)則。

    人工智能法律的實(shí)證性視角

    如前所述,人工智能的本質(zhì)在于算法和數(shù)據(jù)處理,物理形體不必然是人工智能的構(gòu)成要素,因?yàn)榧词故侨诵螜C(jī)器人,也不過是一個(gè)算法主導(dǎo)的硬件系統(tǒng),它實(shí)時(shí)收集信息,并按照算法的要求做出決定,繼而行動(dòng)。更重要的是,具有物理形體的人工智能可以推動(dòng)群體智能發(fā)展,通過分布式終端收集更多數(shù)據(jù)加以處理,并不斷傳輸至云端“大腦”,提升整體網(wǎng)絡(luò)的智能水平。

    人工智能巳深度介入醫(yī)療領(lǐng)域

    根據(jù)算法的復(fù)雜性和學(xué)習(xí)/運(yùn)算能力對(duì)強(qiáng)人工智能和弱人工智能進(jìn)行區(qū)分,這在技術(shù)認(rèn)知上沒有問題,但在法律上很難按照智能程度給出精確的標(biāo)準(zhǔn)。法律應(yīng)對(duì)復(fù)雜世界的方式是確立一般性的簡單規(guī)則,在概念上對(duì)社會(huì)個(gè)體進(jìn)行抽象假定(如行為能力),而非針對(duì)特殊主體,否則規(guī)則體系本身將變得異常復(fù)雜,難于理解和操作。而人工智能從單一的自動(dòng)化服務(wù)向多元通用服務(wù)轉(zhuǎn)變的過程可能是一個(gè)相當(dāng)長的光譜,法律需要針對(duì)其本質(zhì)特征進(jìn)行約束,并探索一套應(yīng)對(duì)未來的方案。當(dāng)我們說社會(huì)變得越來越智能的時(shí)候,事實(shí)上指由于數(shù)據(jù)搜集、儲(chǔ)存和處理的能力不斷增強(qiáng),所有軟件/算法都可能朝向自動(dòng)收集數(shù)據(jù),做出決定或判斷的趨勢(shì),由于算法的復(fù)雜性,算法帶來的結(jié)果可能無法預(yù)測(cè),并在更大范圍內(nèi)帶來系統(tǒng)性的不利后果。這種后果未必是毀滅性的風(fēng)險(xiǎn),甚至只是在某個(gè)領(lǐng)域的制度設(shè)計(jì)問題,但人工智能恰好將這類社會(huì)問題具象化,掩藏在外表華麗、高效、更多是私人控制的“黑箱”中,就會(huì)引發(fā)一系列問題。

    如果放在一個(gè)更大范圍內(nèi)觀察,在歷史上,人類社會(huì)隨著復(fù)雜性的增加,不可避免地產(chǎn)生以組織和技術(shù)形態(tài)出現(xiàn)的各類“黑箱”,它們的決定影響著社會(huì)發(fā)展和大眾福利,但仍然保持著某種秘密性。這一隱喻未必是陰謀論,其核心問題在于信息不對(duì)稱。為平衡相關(guān)當(dāng)事人和社會(huì)大眾的知情權(quán)、避免恐慌、保持某種預(yù)測(cè)能力,人們不斷設(shè)計(jì)出某種程度的信息公開和透明化機(jī)制,例如政治辯論的公開化,法院訴訟程序透明化甚至公開庭審,上市公司強(qiáng)制信息披露等等。而人工智能不過是信息技術(shù)時(shí)代的新型黑箱,帶來更加嚴(yán)重的系統(tǒng)化影響。互聯(lián)網(wǎng)在興起過程中,通過降低信息成本,推動(dòng)了開放政府、庭審直播,使信息公開透明更加便利,將生產(chǎn)性資源不斷解放出來,在更大社會(huì)范圍內(nèi)重新配置,產(chǎn)生新價(jià)值。然而,這一過程在消除一個(gè)又一個(gè)傳統(tǒng)黑箱的同時(shí),產(chǎn)生了更為復(fù)雜的新黑箱,進(jìn)而主導(dǎo)整個(gè)社會(huì)的生產(chǎn)過程。生產(chǎn)資料之間的信息變得越來越對(duì)稱,甚至可以實(shí)時(shí)互通信息,但作為信息匹配中介的人工智能卻變得更不透明,其規(guī)則設(shè)計(jì)和運(yùn)作從屬于用戶甚至開發(fā)者無法理解的秘密狀態(tài),這回到了法律如何處理與代碼的關(guān)系問題。

    一個(gè)類似的比較是人類自身:人腦經(jīng)過上百萬年的進(jìn)化,演變成十分復(fù)雜精致的系統(tǒng)。盡管當(dāng)代神經(jīng)科學(xué)不斷改變我們對(duì)人腦的認(rèn)知,甚至每個(gè)人的大腦都不完全一樣,但就法律而言意義不大,這只能在邊際上改變個(gè)案判決。即使無從了解人腦的運(yùn)轉(zhuǎn)機(jī)制,或者依據(jù)某種更加先進(jìn)的科學(xué)知識(shí)解釋社會(huì)主體行動(dòng)的具體理由,人類還是有能力形成社會(huì)規(guī)范,并演進(jìn)成更加理性化的規(guī)則。這套規(guī)則只需要假定一般社會(huì)主體是(受限)理性的,由少數(shù)概念界定不同情形的心理狀態(tài)(故意、過失),并集中對(duì)人的外在行為進(jìn)行約束,確定權(quán)利與義務(wù),就足以以簡單規(guī)則應(yīng)對(duì)(而非認(rèn)識(shí))這一紛繁復(fù)雜的世界。類似地,在處理算法的負(fù)外部性時(shí),也可以有兩種不同的路徑:(1)關(guān)注算法的外部行為與后果,(2)關(guān)注算法內(nèi)部的設(shè)計(jì)規(guī)則。

    大部分現(xiàn)有規(guī)則關(guān)注算法導(dǎo)致的(未意料)結(jié)果,例如內(nèi)容分發(fā)算法未經(jīng)審查造成非法或侵權(quán)內(nèi)容傳播,這一般由信息傳播者(即內(nèi)容服務(wù)商)承擔(dān)責(zé)任,算法本身并無法律地位,在造成不利后果的過程中只是一個(gè)工具。這類責(zé)任假定內(nèi)容服務(wù)商應(yīng)當(dāng)知道非法內(nèi)容的存在,并有能力通過算法設(shè)計(jì)或人力(比如人工審查)加以阻止。在諸多侵權(quán)場(chǎng)合,內(nèi)容服務(wù)商可以通過“避風(fēng)港”規(guī)則免責(zé),只要無法證明它實(shí)際知曉狀態(tài)。更復(fù)雜的是,如果軟件開發(fā)者聲稱自己無法控制信息的生產(chǎn)和傳播,卻造成一定社會(huì)危害的情形。無論是在快播案還是BT案中,軟件開發(fā)者都無法因這一原因而逃脫責(zé)任,法院的理由仍然是,開發(fā)者有能力知曉非法內(nèi)容的輸出(如果不是故意的話,例如快播向色情網(wǎng)站推廣該播放器)。類似地,如果一個(gè)具有物理形體的人工智能由于處理信息不當(dāng)造成了外在損害,按照這一邏輯仍應(yīng)由算法開發(fā)者負(fù)責(zé)。

    而且,還有必要將算法產(chǎn)生的錯(cuò)誤和算法缺陷本身區(qū)分開。長期以來,軟件行業(yè)一直通過拆封合同(shrink-wrap)解決缺陷軟件造成的短時(shí)崩潰或重啟問題,這種格式條款旨在確認(rèn)這樣一種事實(shí):沒有任何軟件是百分之百完美的,只要在用戶拆封使用該軟件時(shí)運(yùn)行正常即可,服務(wù)商并不為軟件崩潰或死機(jī)造成的消費(fèi)者損失負(fù)責(zé),因?yàn)榍罢邿o法預(yù)料到缺陷帶來的風(fēng)險(xiǎn)。這就是為什么消費(fèi)者需要接受軟件生產(chǎn)商不停的更新和補(bǔ)丁,軟件/應(yīng)用不受產(chǎn)品責(zé)任的約束,被視為一種可以不斷升級(jí)改進(jìn)的服務(wù),這在免費(fèi)軟件時(shí)代更是如此。按照這一思路,似乎有理由認(rèn)為,無人駕駛汽車因算法計(jì)算錯(cuò)誤導(dǎo)致車禍(何況造成事故的概率遠(yuǎn)遠(yuǎn)小于人類司機(jī)的錯(cuò)誤)是這類軟件的正常的缺陷,消費(fèi)者應(yīng)當(dāng)容忍這類錯(cuò)誤。但無論是監(jiān)管者還是潛在的受害人都無法接受這種比擬。聲稱有潛在缺陷的交通工具(也包括醫(yī)療設(shè)備和其他與生命財(cái)產(chǎn)直接相關(guān)的算法)一旦投入使用就需要為此造成的后果負(fù)責(zé)。無論如何,這類思路仍然是通過后果施加事后責(zé)任,監(jiān)管者或法院并不想深入算法內(nèi)部了解造成事故的技術(shù)原因是什么。只要法律認(rèn)定這一黑箱應(yīng)當(dāng)在合理范圍內(nèi)得到控制,事故可以避免,黑箱提供者就應(yīng)當(dāng)承擔(dān)責(zé)任。在這種情況下,保險(xiǎn)(甚至是強(qiáng)制險(xiǎn))就成為確保這類發(fā)生概率小但潛在損失巨大的不二選擇,航空、醫(yī)療保險(xiǎn)市場(chǎng)十分發(fā)達(dá),可以預(yù)見將會(huì)延伸至更多由人工智能驅(qū)動(dòng)的服務(wù)行業(yè)。

    現(xiàn)實(shí)與虛擬的界限不斷模糊化

    如果說事后救濟(jì)還無法確保安全,事前干預(yù)算法設(shè)計(jì)則是另一種選擇,同時(shí)帶來的問題也更復(fù)雜。早在20世紀(jì),阿西莫夫就試圖為機(jī)器人立法,盡管他從未討論技術(shù)上的可行性。安全可能是人工智能服務(wù)的首要問題之一:一個(gè)中心化的入侵可能會(huì)導(dǎo)致所有終端都變得極度不安全。行業(yè)監(jiān)管者在不同行業(yè)為特定服務(wù)中的人工智能設(shè)定安全標(biāo)準(zhǔn)(如醫(yī)療器械、交通工具、自動(dòng)化武器),實(shí)行安全保護(hù)等級(jí)制度,甚至要求被認(rèn)定為重要設(shè)施的源代碼(如windows系統(tǒng))供監(jiān)管者備案,或在設(shè)計(jì)自動(dòng)化交易程序時(shí)控制報(bào)單頻率的閾值等。又例如,在魏則西事件后,聯(lián)合調(diào)查組在整改意見中要求落實(shí)以信譽(yù)度為主要權(quán)重的排名算法,對(duì)商業(yè)推廣信息逐條加注醒目標(biāo)識(shí),予以風(fēng)險(xiǎn)提示。如果說這些監(jiān)管手段針對(duì)的是作為商業(yè)秘密的私人算法,諸如Open人工智能這樣的倡議則意在延續(xù)開源軟件運(yùn)動(dòng)路徑,確保軟件漏洞能夠得到更大范圍內(nèi)的監(jiān)督和修補(bǔ)。至少在中國,信息披露機(jī)制尚未成為算法監(jiān)管的重要手段,無論是強(qiáng)制性披露還是第三方披露。

    當(dāng)算法將某種交易或服務(wù)規(guī)則代碼化的時(shí)候,信息披露就更值得關(guān)注。代碼化的規(guī)則更容易執(zhí)行,但因?yàn)槭撬饺朔?wù)創(chuàng)設(shè)的規(guī)則而無法像公共規(guī)則一樣接受審查和質(zhì)詢,只能通過社會(huì)后果評(píng)判。作為平衡,這并不意味著這類代碼就完全不公開,而只是以用戶協(xié)議的方式將代碼的功能和目的通過語言簡要向用戶展示。

    總體而言,法院作為事后糾紛解決者沒有能力審查代碼本身,只能通過后果進(jìn)行個(gè)案判斷。但也有一些例外,在某些案件中法院需要理解新型技術(shù)的運(yùn)作以確定侵權(quán)責(zé)任:首先,在朱燁訴百度案中,法院盡管根據(jù)傳統(tǒng)侵犯隱私標(biāo)準(zhǔn)不認(rèn)為百度廣告聯(lián)盟的廣告侵犯了原告隱私,但卻接受了針對(duì)百度的商業(yè)模式和數(shù)據(jù)收集技術(shù)的審查路徑;其次,在某些新型不正當(dāng)競爭案件中,法院也加大了對(duì)其中侵權(quán)行為的技術(shù)審查,深入了解黑箱內(nèi)部(如robots協(xié)議、深度鏈接)。這一趨勢(shì)的風(fēng)險(xiǎn)是,法院因?yàn)閷I(yè)知識(shí)的薄弱,越來越難以就復(fù)雜的事實(shí)問題進(jìn)行認(rèn)定,只能在審判過程中依賴專家證人或擁有專業(yè)知識(shí)的一方當(dāng)事人,這無形中可能會(huì)導(dǎo)致法官偏離了傳統(tǒng)的法律問題,陷入他原先并不熟悉的領(lǐng)域。

    有可能有第三種路徑:對(duì)算法處理的數(shù)據(jù)或生產(chǎn)性資源進(jìn)行管理,防止造成消極后果。例如,依靠人力對(duì)搜索引擎處理的侵權(quán)信息進(jìn)行審查;征信系統(tǒng)中禁止收集種族、性別、宗教派別、政治傾向等歧視性信息;在聲譽(yù)系統(tǒng)中打擊網(wǎng)絡(luò)推手刷單,避免虛假數(shù)據(jù);通過地域性監(jiān)管限制網(wǎng)絡(luò)專車及其司機(jī)的資質(zhì),等等。這在本質(zhì)上都限制了人工智能本身的能力,即使算法強(qiáng)大也不會(huì)造成不利后果。

    這一路徑隱含說明,數(shù)據(jù)質(zhì)量本身(由收集和處理過程中的缺失導(dǎo)致)可能會(huì)產(chǎn)生無法預(yù)測(cè)的不利結(jié)果。與此相關(guān)的是,商業(yè)歧視性是人工智能可能帶來的系統(tǒng)性風(fēng)險(xiǎn)之一,集中體現(xiàn)了算法與數(shù)據(jù)之間的復(fù)雜動(dòng)態(tài)關(guān)系。和傳統(tǒng)征信制度類似,那些未能積累充分個(gè)人信息的社會(huì)主體(data-poor),將被排除在更多的商業(yè)服務(wù)以外,尤其是當(dāng)某一互聯(lián)網(wǎng)服務(wù)的信用評(píng)分和更多服務(wù)結(jié)合起來的時(shí)候。然而,即使人們跨越了“數(shù)字鴻溝”,也仍然會(huì)被“數(shù)據(jù)鴻溝”(data divide)歧視:算法會(huì)精確地根據(jù)各類信息識(shí)別社會(huì)主體的各類身份,將他們困在各自數(shù)據(jù)產(chǎn)生的無形繭房中,這不僅可能會(huì)剝奪人們接受教育、就業(yè)、貸款的公平機(jī)會(huì),還可能給公共生活造成難以彌合的分裂。人工智能的歧視效應(yīng)將是未來監(jiān)管者在各領(lǐng)域不得不面對(duì)的重要問題。

    上文簡要探討了,人工智能的“實(shí)證性法律”將會(huì)越來越多地圍繞法律(主權(quán)權(quán)力)是否以及如何介入人工智能算法的運(yùn)作,特別是在廣泛影響大眾利益的情形中,如何設(shè)計(jì)信息披露等監(jiān)管機(jī)制、干預(yù)某類代碼化規(guī)則的系統(tǒng)性歧視等。而和專門的監(jiān)管者相比,法院處理這類中立性問題可能更麻煩。從社會(huì)后果看,法院較好的回應(yīng)方式仍然是根據(jù)外在行為后果,而非進(jìn)入黑箱內(nèi)部,這不僅因?yàn)榉ü偃狈I(yè)知識(shí),更因?yàn)榈胤叫苑ㄔ簾o法對(duì)在全國范圍內(nèi)有影響力的算法進(jìn)行總體干預(yù)。

    人工智能的生產(chǎn)性視角

    按照生產(chǎn)性視角,人工智能的范疇可以擴(kuò)展至由算法帶動(dòng)的整個(gè)商業(yè)模式和生產(chǎn)過程。一個(gè)更加強(qiáng)大的人工智能無疑有能力進(jìn)行更多的數(shù)據(jù)分析,靈活匹配各類資源并為消費(fèi)者提供更加個(gè)人化的服務(wù)。很大程度上這類人工智能設(shè)計(jì)的價(jià)值導(dǎo)向是商業(yè)性的,意在減少交易雙方的信息不對(duì)稱,并潛在地壓縮買賣雙方的價(jià)值剩余。人工智能作為一種生產(chǎn)方式,重新塑造了生產(chǎn)關(guān)系和生產(chǎn)模式的設(shè)計(jì)。整個(gè)社會(huì)生產(chǎn)將變得更加自動(dòng)化和網(wǎng)絡(luò)化,迅速取代傳統(tǒng)生產(chǎn)組織。和網(wǎng)絡(luò)法演進(jìn)的路徑類似,人工智能法律也會(huì)產(chǎn)生于經(jīng)濟(jì)利益沖突,并要求法律確認(rèn)其生產(chǎn)的自主性與合法性。

    互聯(lián)網(wǎng)公司的信息生產(chǎn)機(jī)制正逐漸主導(dǎo)實(shí)體經(jīng)濟(jì)和金融生產(chǎn),揭示了價(jià)值如何在新架構(gòu)中不斷生產(chǎn)和再生產(chǎn)出來。這一過程的第一個(gè)階段是超越傳統(tǒng)組織調(diào)配資源,從而瓦解了未來更多的組織形態(tài)的生產(chǎn)機(jī)構(gòu),并可能與大型傳統(tǒng)組織深度合作。第二個(gè)階段隨之而來:人工智能的低成本的創(chuàng)作對(duì)人類勞力的取代,并以主張獨(dú)特的言論自由、著作權(quán)等方式表現(xiàn)出來。例如,人工智能可以通過對(duì)海量網(wǎng)絡(luò)文本、圖片、音樂、視頻的深度學(xué)習(xí)、整合,創(chuàng)作出更多新作品,至少是在初級(jí)階段取代某些行業(yè)的勞動(dòng)力,如新聞業(yè)和法律服務(wù)業(yè)。本文無法預(yù)見法律是否在未來會(huì)賦予某些通用人工智能以人格權(quán),但這一主張的實(shí)質(zhì)是以人工智能的人格掩蓋了其更具競爭力的財(cái)產(chǎn)利益,并使得其背后的互聯(lián)網(wǎng)公司的利益不受侵犯(著作權(quán))和任意干預(yù)(言論自由)。同時(shí),人工智能也會(huì)變得愈加集中和封閉,大量中小開發(fā)者無力獲取更多數(shù)據(jù)資源,只能依托大型平臺(tái)開發(fā),成為平臺(tái)服務(wù)的螺絲釘;而平臺(tái)通過靈活的法律機(jī)制(生產(chǎn)內(nèi)容的永久免費(fèi)授權(quán)、不固定期限勞動(dòng)合同)最大限度地降低自身成本,同時(shí)防止生產(chǎn)者/用戶流失,被競爭對(duì)手搶奪。

    如果我們?cè)俅位氐胶谙涞碾[喻,算法及其算法控制的生產(chǎn)性資源就成為一個(gè)閉環(huán)的黑箱。安排調(diào)配生產(chǎn)性資源、授予用戶某種權(quán)利/義務(wù)會(huì)更多地從屬于互聯(lián)網(wǎng)公司內(nèi)部規(guī)則而非國家法律。上文已經(jīng)討論了法律如何干預(yù)的不同視角,這里提供了法律為何干預(yù)的更基礎(chǔ)的生產(chǎn)性理由。針對(duì)人工智能可能的法律問題包括:首先,會(huì)出現(xiàn)更多不正當(dāng)競爭案件,包括與傳統(tǒng)行業(yè)和人工智能同業(yè)競爭者的各類糾紛,法院在這方面已經(jīng)積累了豐富的經(jīng)驗(yàn),但仍然需要面對(duì)新技術(shù)問題。其次,隨著分享經(jīng)濟(jì)的擴(kuò)展,更多自由勞動(dòng)力加入平臺(tái),勞動(dòng)關(guān)系糾紛會(huì)因此增加,要求平臺(tái)承擔(dān)雇主責(zé)任和社會(huì)保障義務(wù),這就進(jìn)一步涉及平臺(tái)上的價(jià)值分配問題。第三,對(duì)監(jiān)管者而言,平臺(tái)壟斷和價(jià)格管制問題可能變得更加突出,特別是人工智能驅(qū)動(dòng)的競爭給市場(chǎng)帶來的負(fù)面效果。

    結(jié)語

    人工智能是資本主義和消費(fèi)主義發(fā)展到更高階段的產(chǎn)物。本文十分簡要地討論了法律如何應(yīng)對(duì)人工智能帶來挑戰(zhàn)的一些側(cè)面,核心要點(diǎn)是,立法者、法院和監(jiān)管者都需要思考人工智能是否有任何特殊性以至于需要新的規(guī)則,以及如何以合適的方式介入人工智能新問題,這一例外性往往可以從經(jīng)濟(jì)利益的角度找到根源。實(shí)證性視角和生產(chǎn)性視角為我們理解這些問題的出現(xiàn)提供了有益的幫助。未來的人工智能法律研究可能需要聚焦于不同服務(wù)形態(tài),摘掉人工智能和大數(shù)據(jù)的帽子和標(biāo)簽,更細(xì)致地討論具體問題。

    (作者單位:上海財(cái)經(jīng)大學(xué)法學(xué)院)

    注釋:

    [1]當(dāng)下的大眾媒體、文化產(chǎn)品和社會(huì)公共認(rèn)知正努力將未來的人工智能塑造成具有獨(dú)立意識(shí)的逐漸演化的主體,這集中體現(xiàn)在諸如《終結(jié)者》《我,機(jī)器人》《西部世界》《2001銀河漫游》這類科幻影視作品中。盡管人們也有理由進(jìn)一步想象,一旦人工智能具有了自我意識(shí),就不再可能忠實(shí)地為人類服務(wù),而更可能對(duì)人類生存構(gòu)成威脅。其路徑和思維方式仍是20世紀(jì)的,和21世紀(jì)依托大數(shù)據(jù)機(jī)器學(xué)習(xí)迥然不同。事實(shí)上,按照日本學(xué)者森政弘提出的“恐怖谷理論”,人工智能不太可能在短時(shí)間內(nèi)人形普及化,因?yàn)檫@會(huì)在消費(fèi)者心理上引發(fā)不安甚至恐懼。像Siri和Cornata這樣的語音助手、像Tay和小冰這樣的聊天機(jī)器人則不會(huì)有這種負(fù)面效果,因?yàn)橛脩糁雷约涸诤鸵粋€(gè)尚未通過圖靈測(cè)試的算法對(duì)話,他們甚至樂于教Tay在推特上辱罵用戶、發(fā)表種族主義和煽動(dòng)性的政治言論。另一個(gè)可能影響中文世界讀者想象的因素是,把robot翻譯成“機(jī)器人”先驗(yàn)地賦予了這類客體某種擬人化主體地位,而人形機(jī)器人(android)卻沒有引起更多的關(guān)注。

    [2]John Weaver, Robots are People Too: How Siri, Google Car, and Artificial Intelligence Will Force Us to Change Our Laws ,Praeger Publishers Inc, 2013; Ugo Pagallo, The Laws of Robots: Crimes, Contracts, and Torts ,Springer, 2015.一個(gè)更加有用的綜合文集是Ryan Calo, A. Michael Froomkin and Ian Kerr (ed.), Robot Law ,Edward Elgar Publishing, 2016。Ryan Calo的研究將具有物理形體的機(jī)器人作為法律的對(duì)象,特別區(qū)分了信息性和物理性效果,見Ryan Calo, “Robotics and the Lessons of Cyberlaw”, Calif. L. Rev., Vol.103(2015).一個(gè)不同觀點(diǎn),見Jack Balkin, “The Path of Robotics Law”, Calif. L. Rev., No.6(2015),Circuit 45.把機(jī)器人視為代理人在法律上也有相當(dāng)?shù)臍v史,見Samir Chopra and Laurence F. White, A Legal Theory for Autonomous Artificial Agents ,The University of Michigan Press, 2011; Ryan Calo, “Robots in American Law”, University of Washington School of Law Research Paper, No. 2016-04.

    [3]吳軍:《智能時(shí)代》,中信出版社2016年版。

    [4]例如阿西莫夫的機(jī)器人系列小說中,無一例外地設(shè)定機(jī)器人擁有一個(gè)“正子腦”(positronic br人工智能 n),但卻沒有給出任何解釋。見阿西莫夫:《機(jī)器人短篇全集》,江蘇文藝出版社2014年版。

    [5]這被稱為終極算法(master algorithm),見佩德羅·多明戈斯:《終極算法:機(jī)器學(xué)習(xí)和人工智能如何重塑世界》,中信出版社2016年版。

    [6]尼古拉斯·卡爾:《玻璃籠子:自動(dòng)化時(shí)代和我們的未來》,中信出版社2015年版。在互聯(lián)網(wǎng)發(fā)展的每一個(gè)階段都有某種意識(shí)形態(tài)化的術(shù)語或熱詞吸引投資,例如寬帶、大數(shù)據(jù)、分享經(jīng)濟(jì)、VR(虛擬現(xiàn)實(shí))等,它們不過是互聯(lián)網(wǎng)形態(tài)的各類變種。例如,一個(gè)關(guān)于分享經(jīng)濟(jì)和之前互聯(lián)網(wǎng)經(jīng)濟(jì)的關(guān)聯(lián),參見胡凌:《分享經(jīng)濟(jì)的法律規(guī)制》,載《文化縱橫》2015年第4期。

    [7]這種思維方式可追溯到霍布斯以來的法律實(shí)證主義。

    [8]胡凌:《代碼、著作權(quán)保護(hù)與公共資源池》,載《騰云》2016年12月刊。

    [9]關(guān)于兩類邏輯的具體表現(xiàn),集中參見胡凌:《探尋網(wǎng)絡(luò)法的政治經(jīng)濟(jì)起源》,上海財(cái)經(jīng)大學(xué)出版社2016年版。

    [10]這在眾多(特別是國外的)中國互聯(lián)網(wǎng)觀察者身上十分常見,人們的注意力全都轉(zhuǎn)向中國政府如何嚴(yán)格管理和控制互聯(lián)網(wǎng)。在政治學(xué)研究中自然而然地并入“國家與市民社會(huì)”傳統(tǒng)框架,并吸納了關(guān)于在線抗?fàn)?、集體行動(dòng)的傳播學(xué)與社會(huì)學(xué)研究。

    [11]勞倫斯·萊斯格:《代碼2.0》,清華大學(xué)出版社2008年版。

    [12]一個(gè)概述,見胡凌:《馬的法律與網(wǎng)絡(luò)法》,載張平主編:《網(wǎng)絡(luò)法律評(píng)論》2010年第11卷。

    [13]胡凌:《非法興起:理解中國互聯(lián)網(wǎng)演進(jìn)的一個(gè)框架》,載《文化縱橫》2016年第5期。這體現(xiàn)在版權(quán)、隱私、財(cái)產(chǎn)、不正當(dāng)競爭、壟斷、勞動(dòng)法等一系列制度中。這種對(duì)法律制度的改變不單純是在既有工業(yè)生產(chǎn)背景下微型創(chuàng)新帶來的變化,而是社會(huì)生產(chǎn)的重塑。

    [14]比如說,平臺(tái)責(zé)任議題的出現(xiàn),和互聯(lián)網(wǎng)平臺(tái)更多轉(zhuǎn)向由第三方提供服務(wù)的信息中介模式直接相關(guān)。

    [15]這一區(qū)分和觀察中國式資本主義興起的框架十分類似,政治經(jīng)濟(jì)學(xué)家們爭論的焦點(diǎn)就在于如何解釋中國改革開放三十年的成功經(jīng)驗(yàn),究竟是政府主導(dǎo)還是市場(chǎng)主導(dǎo),但實(shí)質(zhì)上是一個(gè)混合制經(jīng)濟(jì)。

    [16]由于科斯所說的企業(yè)信息成本和管理成本降低,調(diào)動(dòng)生產(chǎn)要素的邊際成本趨近于零,企業(yè)組織形態(tài)本身將成為競爭的高成本。

    [17]尼克·波斯特洛姆:《超級(jí)智能:路線圖、危險(xiǎn)性與應(yīng)對(duì)策略》,中信出版社2015年版。

    [18]古代的政治過程、現(xiàn)代的企業(yè)決策都是黑箱,對(duì)外人而言如果不是神秘,也是除魅之后的國家/商業(yè)秘密。卡夫卡的小說《審判》就精確描述了作為黑箱的訴訟過程,同一時(shí)代的韋伯也描述了理性化的國家機(jī)器應(yīng)當(dāng)像自動(dòng)售貨機(jī)一樣。

    [19]Frank Pasquale:《黑箱社會(huì):掌控信息和金錢的數(shù)據(jù)法則》,中信出版社2015年版。

    [20]帕伯斯:《差錯(cuò):軟件錯(cuò)誤的致命影響》,人民郵電出版社2012年版。

    [21]長久以來民用航空器已經(jīng)由軟件深度介入駕駛過程,以至于人類駕駛員無法在短時(shí)間內(nèi)預(yù)熱,形成另一種風(fēng)險(xiǎn)。

    [22]阿西莫夫提出的“機(jī)器人三定律”(后來擴(kuò)展至四點(diǎn))雖然十分基礎(chǔ),但仍然很難在具體情況下起作用,特別是當(dāng)代倫理學(xué)上著名的“線車難題”之類的倫理困境??紤]到這些定律是為模擬人腦狀態(tài)下設(shè)計(jì)的,就更可疑;因?yàn)槿四X并不總是按某些理性倫理原則行事的,在某些關(guān)鍵場(chǎng)合強(qiáng)烈依靠某些默認(rèn)設(shè)置——直覺。

    [23]由監(jiān)管機(jī)構(gòu)強(qiáng)制披露并審查事實(shí)做不到,只能依靠像蘋果這樣的平臺(tái)公司和軟件分發(fā)平臺(tái)幫助對(duì)成千上萬個(gè)軟件進(jìn)行至少是安全審查。在臺(tái)式機(jī)時(shí)代,這一平臺(tái)責(zé)任幾乎不可能,自然狀態(tài)下的windows只能導(dǎo)致爭奪私人控制權(quán)的3Q大戰(zhàn)。但像烏云網(wǎng)這樣的第三方白帽黑客也被禁止探測(cè)和公開發(fā)布互聯(lián)網(wǎng)公司的漏洞。

    [24]同注11。

    [25]在筆者看來,法院應(yīng)當(dāng)將注意力放在知情同意的合同條款本身的適當(dāng)性上,而不是一味接受黑箱的邏輯,因?yàn)楹笳叽_實(shí)無懈可擊。如果格式合同能準(zhǔn)確反映代碼的設(shè)計(jì),對(duì)其條款的審查是更好的選擇。百度引發(fā)的被遺忘權(quán)第一案反映的也是這個(gè)問題。

    [26]一個(gè)補(bǔ)救方法還是盡可能地披露算法信息,允許用戶理性地生產(chǎn)/隱瞞個(gè)人信息,見戴昕:《自愿披露隱私的規(guī)制》,載蘇力主編:《法律和社會(huì)科學(xué)》第15卷第1輯,法律出版社2016年版。

    [27]法律的人工智能化是本文另一個(gè)沒有討論的問題,與此相關(guān)的是大規(guī)模監(jiān)控、智能警務(wù)、犯罪預(yù)測(cè)等問題。

    [28]美國諸多大型新聞機(jī)構(gòu)都廣泛應(yīng)用人工智能進(jìn)行新聞撰寫和分發(fā),而像ROSS系統(tǒng)這樣的法律人工智能已經(jīng)遭到美國律師協(xié)會(huì)的多起訴訟,理由是提供法律服務(wù)缺乏資質(zhì)和不正當(dāng)競爭。

    [29]Maurice Stucke and Allen Grunes, Big Data and Competition Policy ,Oxford University Press, 2016; Ariel Ezrachi and Maurice E. Stucke, Virtual Competition: The Promise and Perils of the Algorithm-Driven Economy ,Harvard University Press, 2016.

    猜你喜歡
    規(guī)則人工智能法律
    數(shù)獨(dú)的規(guī)則和演變
    法律解釋與自然法
    2019:人工智能
    人工智能與就業(yè)
    讓規(guī)則不規(guī)則
    數(shù)讀人工智能
    TPP反腐敗規(guī)則對(duì)我國的啟示
    讓人死亡的法律
    “互助獻(xiàn)血”質(zhì)疑聲背后的法律困惑
    讓法律做主
    18在线观看网站| 女性被躁到高潮视频| 在线观看www视频免费| 搡老岳熟女国产| 亚洲精品国产精品久久久不卡| 18在线观看网站| 午夜成年电影在线免费观看| 亚洲欧美日韩另类电影网站| 午夜福利视频在线观看免费| 女人久久www免费人成看片| 亚洲av电影在线进入| 丝袜美腿诱惑在线| 丰满人妻熟妇乱又伦精品不卡| 少妇的丰满在线观看| 欧美黄色淫秽网站| av在线播放精品| 我要看黄色一级片免费的| 精品久久久精品久久久| 曰老女人黄片| 国产成人欧美| 巨乳人妻的诱惑在线观看| 大陆偷拍与自拍| 国产国语露脸激情在线看| 50天的宝宝边吃奶边哭怎么回事| 亚洲精品成人av观看孕妇| 精品国产一区二区三区四区第35| 国产精品 国内视频| 欧美一级毛片孕妇| 日韩 亚洲 欧美在线| 日韩 欧美 亚洲 中文字幕| 性色av乱码一区二区三区2| av片东京热男人的天堂| 亚洲自偷自拍图片 自拍| 新久久久久国产一级毛片| 女性生殖器流出的白浆| 日本撒尿小便嘘嘘汇集6| 真人做人爱边吃奶动态| 人人妻,人人澡人人爽秒播| av有码第一页| 日韩大片免费观看网站| 曰老女人黄片| 人妻一区二区av| 嫁个100分男人电影在线观看| 免费av中文字幕在线| 老熟妇乱子伦视频在线观看 | 1024香蕉在线观看| 香蕉国产在线看| 国产一区二区 视频在线| 精品少妇一区二区三区视频日本电影| 国产av一区二区精品久久| 欧美在线一区亚洲| 国产日韩一区二区三区精品不卡| 国产高清视频在线播放一区 | 老司机深夜福利视频在线观看 | av一本久久久久| 亚洲欧美精品综合一区二区三区| 午夜福利,免费看| 一区二区三区精品91| 国产高清国产精品国产三级| 国产成人欧美| 成人亚洲精品一区在线观看| 99精品久久久久人妻精品| 青青草视频在线视频观看| 国产精品国产三级国产专区5o| 久久毛片免费看一区二区三区| 中亚洲国语对白在线视频| √禁漫天堂资源中文www| 欧美日韩精品网址| 人人妻人人爽人人添夜夜欢视频| 免费观看a级毛片全部| av国产精品久久久久影院| 国产高清视频在线播放一区 | 久久久久网色| 欧美激情 高清一区二区三区| 久久久久久久久久久久大奶| 免费观看a级毛片全部| 2018国产大陆天天弄谢| 亚洲精品国产av成人精品| 女人高潮潮喷娇喘18禁视频| 大型av网站在线播放| 午夜激情久久久久久久| 亚洲成人免费电影在线观看| 亚洲av日韩精品久久久久久密| 一进一出抽搐动态| 无限看片的www在线观看| av在线老鸭窝| 天天操日日干夜夜撸| 高清av免费在线| 一边摸一边抽搐一进一出视频| 一区二区日韩欧美中文字幕| 国产一区二区三区av在线| 精品国产乱子伦一区二区三区 | 一本色道久久久久久精品综合| 一本综合久久免费| 热99久久久久精品小说推荐| av福利片在线| 亚洲va日本ⅴa欧美va伊人久久 | av网站在线播放免费| 在线 av 中文字幕| 午夜福利,免费看| 别揉我奶头~嗯~啊~动态视频 | 99国产精品一区二区蜜桃av | 日韩中文字幕视频在线看片| 一边摸一边做爽爽视频免费| 大香蕉久久网| 午夜激情久久久久久久| 老汉色∧v一级毛片| 大香蕉久久网| 亚洲avbb在线观看| 久久久久久免费高清国产稀缺| 国产欧美日韩精品亚洲av| 99精品久久久久人妻精品| 日本av手机在线免费观看| 一二三四在线观看免费中文在| 日韩中文字幕欧美一区二区| 成人三级做爰电影| av不卡在线播放| 黑人巨大精品欧美一区二区蜜桃| 国产亚洲av片在线观看秒播厂| 成人免费观看视频高清| a级毛片在线看网站| 国产亚洲午夜精品一区二区久久| 一本综合久久免费| 日本五十路高清| 日韩,欧美,国产一区二区三区| 亚洲黑人精品在线| 热99re8久久精品国产| 亚洲av电影在线观看一区二区三区| 美国免费a级毛片| 妹子高潮喷水视频| 国产欧美日韩一区二区三 | 亚洲精华国产精华精| 成人黄色视频免费在线看| 亚洲国产av影院在线观看| 欧美大码av| 久久毛片免费看一区二区三区| 国产三级黄色录像| 人成视频在线观看免费观看| 精品国产一区二区久久| 欧美精品av麻豆av| 精品少妇久久久久久888优播| 男人爽女人下面视频在线观看| 亚洲精品中文字幕在线视频| av在线老鸭窝| 久久精品国产亚洲av香蕉五月 | 99久久99久久久精品蜜桃| 亚洲熟女毛片儿| 国产又爽黄色视频| 国产免费现黄频在线看| 日韩人妻精品一区2区三区| 男人操女人黄网站| 男女高潮啪啪啪动态图| 丁香六月欧美| 欧美日韩av久久| 一个人免费看片子| videosex国产| 午夜福利免费观看在线| 最新的欧美精品一区二区| 中文字幕人妻熟女乱码| 久久久久国产一级毛片高清牌| 9色porny在线观看| 女人爽到高潮嗷嗷叫在线视频| 国产精品国产三级国产专区5o| 国产亚洲av片在线观看秒播厂| 国产精品.久久久| 久久精品亚洲av国产电影网| 大片电影免费在线观看免费| 亚洲av电影在线观看一区二区三区| 高清欧美精品videossex| 欧美+亚洲+日韩+国产| 人妻 亚洲 视频| 狠狠狠狠99中文字幕| 桃花免费在线播放| 亚洲av片天天在线观看| 18禁观看日本| 国产精品av久久久久免费| 国产亚洲午夜精品一区二区久久| 伊人久久大香线蕉亚洲五| 亚洲精品中文字幕一二三四区 | av电影中文网址| 国产又色又爽无遮挡免| 极品人妻少妇av视频| 午夜激情av网站| 老汉色av国产亚洲站长工具| 久久久国产一区二区| 美女视频免费永久观看网站| 久久人妻福利社区极品人妻图片| 色视频在线一区二区三区| 波多野结衣av一区二区av| 中国美女看黄片| 真人做人爱边吃奶动态| a级片在线免费高清观看视频| 人人妻人人澡人人看| 国产老妇伦熟女老妇高清| 十八禁网站网址无遮挡| √禁漫天堂资源中文www| 国产欧美日韩一区二区三区在线| 最近最新免费中文字幕在线| 欧美乱码精品一区二区三区| 亚洲精品美女久久久久99蜜臀| 十分钟在线观看高清视频www| 亚洲精品成人av观看孕妇| 国产一区二区三区在线臀色熟女 | 国产在线免费精品| 国产高清videossex| 成年av动漫网址| 电影成人av| 久久 成人 亚洲| 在线观看免费视频网站a站| 别揉我奶头~嗯~啊~动态视频 | 成人黄色视频免费在线看| 免费在线观看视频国产中文字幕亚洲 | 欧美精品一区二区大全| 咕卡用的链子| 99re6热这里在线精品视频| 久久久久国产一级毛片高清牌| 婷婷成人精品国产| 亚洲七黄色美女视频| 亚洲欧美日韩高清在线视频 | 亚洲国产精品一区二区三区在线| 国产成人a∨麻豆精品| 少妇被粗大的猛进出69影院| 少妇的丰满在线观看| 老汉色∧v一级毛片| 满18在线观看网站| 久久精品国产综合久久久| 亚洲成人国产一区在线观看| 国产激情久久老熟女| 男人舔女人的私密视频| 大香蕉久久成人网| 黄色视频在线播放观看不卡| 性色av乱码一区二区三区2| 看免费av毛片| 考比视频在线观看| 久久久久视频综合| 日韩欧美国产一区二区入口| 免费观看a级毛片全部| 9热在线视频观看99| 色94色欧美一区二区| 亚洲欧洲精品一区二区精品久久久| av线在线观看网站| 久9热在线精品视频| 老司机在亚洲福利影院| 91av网站免费观看| 王馨瑶露胸无遮挡在线观看| 亚洲,欧美精品.| 成人国语在线视频| 亚洲伊人色综图| 91国产中文字幕| 免费日韩欧美在线观看| 欧美激情极品国产一区二区三区| 久久国产精品人妻蜜桃| h视频一区二区三区| 人人妻人人澡人人看| 午夜两性在线视频| 视频区欧美日本亚洲| 久久这里只有精品19| 又紧又爽又黄一区二区| videos熟女内射| 亚洲国产日韩一区二区| 性少妇av在线| 下体分泌物呈黄色| 亚洲av美国av| 波多野结衣一区麻豆| 久久ye,这里只有精品| 性色av一级| 美女高潮到喷水免费观看| 免费不卡黄色视频| 色老头精品视频在线观看| 亚洲精品一二三| 日本av免费视频播放| av电影中文网址| 成年动漫av网址| 一区二区三区精品91| 窝窝影院91人妻| 新久久久久国产一级毛片| 99国产精品一区二区蜜桃av | 高清黄色对白视频在线免费看| 熟女少妇亚洲综合色aaa.| av免费在线观看网站| 亚洲成av片中文字幕在线观看| 亚洲美女黄色视频免费看| 亚洲欧美日韩高清在线视频 | 国产成人欧美| 日本精品一区二区三区蜜桃| tocl精华| 亚洲av片天天在线观看| 日本欧美视频一区| 亚洲五月婷婷丁香| 国产在视频线精品| 80岁老熟妇乱子伦牲交| 可以免费在线观看a视频的电影网站| 男人舔女人的私密视频| 免费在线观看黄色视频的| 亚洲五月色婷婷综合| 高清黄色对白视频在线免费看| av在线app专区| 国产色视频综合| 老司机在亚洲福利影院| 天堂中文最新版在线下载| 精品少妇内射三级| 国产精品.久久久| 高潮久久久久久久久久久不卡| 他把我摸到了高潮在线观看 | 久久精品亚洲熟妇少妇任你| 免费女性裸体啪啪无遮挡网站| 男男h啪啪无遮挡| 十八禁网站网址无遮挡| 国产高清国产精品国产三级| 久久天堂一区二区三区四区| 久久ye,这里只有精品| 成年动漫av网址| 日韩中文字幕视频在线看片| 精品亚洲成a人片在线观看| 欧美日韩福利视频一区二区| 亚洲国产欧美日韩在线播放| 国产欧美日韩一区二区精品| 蜜桃国产av成人99| 午夜精品久久久久久毛片777| 亚洲成人免费电影在线观看| 一区二区三区精品91| 97精品久久久久久久久久精品| 高清黄色对白视频在线免费看| 亚洲欧美清纯卡通| 日韩欧美免费精品| 一本久久精品| 中文字幕人妻丝袜制服| 高清欧美精品videossex| 亚洲性夜色夜夜综合| 久久热在线av| 男女午夜视频在线观看| 国产精品 国内视频| 亚洲欧美日韩高清在线视频 | 18禁观看日本| 国产成人精品在线电影| 一本—道久久a久久精品蜜桃钙片| 欧美人与性动交α欧美软件| 在线观看一区二区三区激情| 国产免费福利视频在线观看| 久久久久久亚洲精品国产蜜桃av| 无限看片的www在线观看| 国产精品麻豆人妻色哟哟久久| 丝袜美腿诱惑在线| 美女扒开内裤让男人捅视频| 亚洲熟女毛片儿| 精品国产乱码久久久久久男人| 久久ye,这里只有精品| 国产日韩欧美视频二区| 亚洲精品久久成人aⅴ小说| 久久久久国内视频| 男男h啪啪无遮挡| 国产主播在线观看一区二区| 后天国语完整版免费观看| 黄色毛片三级朝国网站| 久久狼人影院| 操出白浆在线播放| 丝袜脚勾引网站| 女人久久www免费人成看片| 国产亚洲午夜精品一区二区久久| 成人国产一区最新在线观看| 啪啪无遮挡十八禁网站| 热99国产精品久久久久久7| 免费高清在线观看日韩| 国产激情久久老熟女| 女人高潮潮喷娇喘18禁视频| 18在线观看网站| 日韩免费高清中文字幕av| 美女高潮喷水抽搐中文字幕| 欧美另类亚洲清纯唯美| 99国产极品粉嫩在线观看| 老鸭窝网址在线观看| 真人做人爱边吃奶动态| 日韩欧美一区二区三区在线观看 | 久久免费观看电影| 男男h啪啪无遮挡| 另类亚洲欧美激情| 极品人妻少妇av视频| 丰满饥渴人妻一区二区三| 亚洲av欧美aⅴ国产| 日韩免费高清中文字幕av| 精品人妻熟女毛片av久久网站| 国产亚洲欧美精品永久| 日韩欧美一区二区三区在线观看 | 亚洲人成电影观看| 黄网站色视频无遮挡免费观看| 日韩大码丰满熟妇| 国产一级毛片在线| 18禁黄网站禁片午夜丰满| 18禁观看日本| 最新在线观看一区二区三区| 男女无遮挡免费网站观看| 午夜久久久在线观看| 日韩欧美一区视频在线观看| 一级毛片电影观看| 国产一区有黄有色的免费视频| 美女主播在线视频| 九色亚洲精品在线播放| 欧美激情极品国产一区二区三区| svipshipincom国产片| 飞空精品影院首页| 亚洲精品自拍成人| 中文字幕精品免费在线观看视频| 欧美老熟妇乱子伦牲交| 久久久久视频综合| 午夜精品国产一区二区电影| 午夜福利免费观看在线| 亚洲国产精品一区三区| 青春草视频在线免费观看| 中文字幕人妻熟女乱码| 精品福利观看| 黑丝袜美女国产一区| 欧美另类一区| 精品人妻一区二区三区麻豆| 国产精品成人在线| 老司机影院成人| 成人亚洲精品一区在线观看| 久久久精品94久久精品| 成人国产一区最新在线观看| 久久久久久久久久久久大奶| 中文字幕制服av| 一级片免费观看大全| 精品久久久精品久久久| 国产伦理片在线播放av一区| 大片电影免费在线观看免费| 国产日韩欧美亚洲二区| 国产一区二区三区av在线| 欧美性长视频在线观看| 热99久久久久精品小说推荐| 精品国产一区二区久久| 国产精品久久久久久精品电影小说| 欧美激情 高清一区二区三区| 日本撒尿小便嘘嘘汇集6| 每晚都被弄得嗷嗷叫到高潮| 欧美日韩亚洲综合一区二区三区_| 久久久国产一区二区| 成人av一区二区三区在线看 | 777米奇影视久久| 欧美成人午夜精品| 91av网站免费观看| av在线播放精品| 黄片小视频在线播放| av网站在线播放免费| 丝瓜视频免费看黄片| 国产欧美日韩综合在线一区二区| 久久精品国产综合久久久| 国产一区二区激情短视频 | 大型av网站在线播放| 午夜激情av网站| 91国产中文字幕| 伊人久久大香线蕉亚洲五| 亚洲免费av在线视频| 男女无遮挡免费网站观看| 国产精品一区二区在线不卡| 大香蕉久久网| av不卡在线播放| 亚洲av国产av综合av卡| 久久久久久久国产电影| 大码成人一级视频| 欧美激情 高清一区二区三区| 一级毛片精品| 国产亚洲精品久久久久5区| 精品福利观看| 久久香蕉激情| 国产在线观看jvid| 中文字幕最新亚洲高清| 久久久国产精品麻豆| 无限看片的www在线观看| 日韩人妻精品一区2区三区| 婷婷色av中文字幕| 操美女的视频在线观看| 午夜福利一区二区在线看| 日本av手机在线免费观看| 亚洲人成77777在线视频| 久久久久网色| 欧美日韩视频精品一区| 十八禁高潮呻吟视频| 欧美另类亚洲清纯唯美| 亚洲精品美女久久久久99蜜臀| 在线观看舔阴道视频| 电影成人av| 老司机靠b影院| 国产97色在线日韩免费| 国产欧美日韩一区二区三 | 久久亚洲国产成人精品v| 少妇猛男粗大的猛烈进出视频| 中文字幕人妻丝袜制服| 亚洲成人免费电影在线观看| 亚洲伊人久久精品综合| 国产主播在线观看一区二区| 窝窝影院91人妻| 日本a在线网址| 建设人人有责人人尽责人人享有的| 一进一出抽搐动态| avwww免费| 日本av手机在线免费观看| 精品国产乱码久久久久久男人| 久久久久国产精品人妻一区二区| 人人妻人人澡人人看| 久久精品熟女亚洲av麻豆精品| 久久久久久久久免费视频了| 国产有黄有色有爽视频| 午夜两性在线视频| 操美女的视频在线观看| 蜜桃在线观看..| 亚洲成人手机| 欧美在线一区亚洲| 纯流量卡能插随身wifi吗| 久久久久视频综合| 在线精品无人区一区二区三| 欧美人与性动交α欧美软件| 在线观看免费日韩欧美大片| 国产日韩欧美亚洲二区| 91大片在线观看| 午夜福利免费观看在线| 国产精品熟女久久久久浪| 99国产精品一区二区蜜桃av | 在线av久久热| 久久精品国产亚洲av香蕉五月 | 久久人人爽av亚洲精品天堂| 欧美激情高清一区二区三区| 亚洲成人免费电影在线观看| 久久久久久亚洲精品国产蜜桃av| 欧美激情 高清一区二区三区| 久久精品国产综合久久久| 亚洲激情五月婷婷啪啪| 国产在线一区二区三区精| 一级毛片电影观看| 国产男女超爽视频在线观看| 欧美成人午夜精品| 久久久久久亚洲精品国产蜜桃av| 人妻一区二区av| 欧美人与性动交α欧美软件| 国产av又大| 免费少妇av软件| 久久青草综合色| 国产成人精品无人区| 午夜视频精品福利| 午夜激情久久久久久久| 精品少妇黑人巨大在线播放| 亚洲自偷自拍图片 自拍| 日本av免费视频播放| 天天影视国产精品| 一区二区三区四区激情视频| 国产精品久久久久久人妻精品电影 | 麻豆乱淫一区二区| 久久久久久亚洲精品国产蜜桃av| 高清视频免费观看一区二区| 免费日韩欧美在线观看| 亚洲人成电影观看| av在线老鸭窝| 免费在线观看日本一区| 精品福利永久在线观看| 嫩草影视91久久| 欧美另类一区| 最近中文字幕2019免费版| 韩国高清视频一区二区三区| 国产精品亚洲av一区麻豆| 欧美黄色片欧美黄色片| 我要看黄色一级片免费的| 后天国语完整版免费观看| 精品国产一区二区三区四区第35| 一区二区三区四区激情视频| av超薄肉色丝袜交足视频| www.自偷自拍.com| 亚洲国产中文字幕在线视频| videosex国产| 国产精品国产三级国产专区5o| 首页视频小说图片口味搜索| 老汉色av国产亚洲站长工具| 老司机在亚洲福利影院| 极品人妻少妇av视频| 久久亚洲国产成人精品v| av不卡在线播放| 日韩有码中文字幕| 国产又色又爽无遮挡免| 无限看片的www在线观看| 免费观看a级毛片全部| 日韩精品免费视频一区二区三区| 男男h啪啪无遮挡| 超色免费av| 亚洲欧美色中文字幕在线| 国产av国产精品国产| 高清黄色对白视频在线免费看| 日韩一区二区三区影片| 后天国语完整版免费观看| 国产日韩欧美亚洲二区| 亚洲国产中文字幕在线视频| 男女床上黄色一级片免费看| 老熟妇乱子伦视频在线观看 | 90打野战视频偷拍视频| 免费日韩欧美在线观看| 免费高清在线观看视频在线观看| 韩国精品一区二区三区| 多毛熟女@视频| 性高湖久久久久久久久免费观看| 久久久久网色| 欧美人与性动交α欧美精品济南到| 午夜福利视频在线观看免费| 伦理电影免费视频| 精品久久久久久久毛片微露脸 | 亚洲男人天堂网一区| 99久久99久久久精品蜜桃| 久久久久久久久久久久大奶| 12—13女人毛片做爰片一| 少妇的丰满在线观看| 高清视频免费观看一区二区| 午夜福利影视在线免费观看| 色精品久久人妻99蜜桃| 性色av一级| 免费不卡黄色视频| 人妻 亚洲 视频| 久久国产精品人妻蜜桃| 国产男女超爽视频在线观看| 九色亚洲精品在线播放| 最黄视频免费看|