• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能有限法律人格審視

    2017-09-07 12:39袁曾
    東方法學(xué) 2017年5期
    關(guān)鍵詞:數(shù)據(jù)安全人權(quán)人工智能

    袁曾

    內(nèi)容摘要:現(xiàn)行法律體系下對(duì)于人工智能的法律人格規(guī)制缺位,造成實(shí)踐應(yīng)用缺乏法律價(jià)值指引,人工智能的法律地位與具體規(guī)制亟待明晰。人工智能具有獨(dú)立自主的行為能力,有資格享有法律權(quán)利并承擔(dān)責(zé)任義務(wù),人工智能應(yīng)當(dāng)具有法律人格。但由于人工智能承擔(dān)行為能力的后果有限,人工智能適用特殊的法律規(guī)范與侵權(quán)責(zé)任體系安排,其具有的法律人格是有限的法律人格,域外法律對(duì)此已有立法借鑒。為調(diào)整適應(yīng)人工智能有限法律人格的規(guī)制安排,必須明確人工智能歸責(zé)原則,通過強(qiáng)制投保責(zé)任險(xiǎn)、確立以人為本的監(jiān)管體系、加速《人工智能發(fā)展法》立法等體系性安排促進(jìn)人工智能在可控的范圍內(nèi)發(fā)展。

    關(guān)鍵詞:人工智能 法律人格 人權(quán) 數(shù)據(jù)安全

    人工智能前景廣泛、應(yīng)用豐富,〔1 〕現(xiàn)階段23%的律師業(yè)務(wù)已可由人工智能完成?!? 〕人工智能目前已實(shí)現(xiàn)自動(dòng)駕駛航空器、完成高考試卷,甚至有學(xué)者提出將人工智能應(yīng)用于法律裁判?!? 〕人工智能已進(jìn)入社會(huì)生活,而與之相關(guān)的法律規(guī)制卻未能跟上人工智能技術(shù)前進(jìn)的節(jié)奏。2017年7月,百度總裁李彥宏乘坐無人駕駛汽車行駛在北京五環(huán)路上引起了巨大爭(zhēng)議,交管部門認(rèn)為此行為違反現(xiàn)行《道路交通安全法》。

    2017年7月20日,國務(wù)院印發(fā)《關(guān)于新一代人工智能發(fā)展規(guī)劃的通知》,〔4 〕明確提出把人工智能發(fā)展放在國家戰(zhàn)略層面系統(tǒng)布局,牢牢把握戰(zhàn)略主動(dòng)。一般認(rèn)為,人工智能是人機(jī)環(huán)境系統(tǒng)交互的產(chǎn)物,〔5 〕但迄今人工智能尚無一個(gè)能被廣泛接受的定義。筆者認(rèn)為,具有類似人類獨(dú)立思考與深度學(xué)習(xí)的能力是人工智能與其他科技最大的差異。艾倫·圖靈等計(jì)算機(jī)大師曾提出人工智能遲早會(huì)威脅到人類生存,必須在問題積重難返前,對(duì)人工智能的發(fā)展作出妥善的法律規(guī)制安排,以引導(dǎo)實(shí)踐的發(fā)展。在技術(shù)的發(fā)展過程中,人工智能的法律地位、法律責(zé)任、權(quán)利義務(wù)范圍等法律規(guī)制該如何界定?對(duì)于這些問題,現(xiàn)行法律規(guī)制并無明確的解答。在法律制度無法有效應(yīng)對(duì)實(shí)際情況時(shí),法律理論理應(yīng)出場(chǎng),〔6 〕首先需要明確的問題就是人工智能是否具有法律人格,即人工智能是否等同于法律意義上的人,具有什么程度的權(quán)利與義務(wù)。人工智能的法律人格問題直接關(guān)系著侵權(quán)責(zé)任承擔(dān)、知識(shí)產(chǎn)權(quán)應(yīng)用、數(shù)據(jù)應(yīng)用安全、價(jià)值一致性判斷、機(jī)器倫理學(xué)等一系列基礎(chǔ)理論的發(fā)展決策。

    一、人工智能的法律人格規(guī)制缺位

    法律人格,是指法律認(rèn)可的一種享受權(quán)利、承擔(dān)義務(wù)的資格。包括自然人主體、法律擬制主體兩種形式。對(duì)于任何自然人,法律均承認(rèn)其法律人格,民法上分為無民事行為能力人、限制行為能力人與完全行為能力人,但法律人格伴隨自然人終生。對(duì)于法律擬制主體的人格,則需要經(jīng)過法律規(guī)定的程序方可取得,例如有限責(zé)任公司的設(shè)立等。〔7 〕簡(jiǎn)單地說,法律人格是某一主體能否成為法律意義上“人”的資格,是其享有權(quán)利、履行義務(wù)的基礎(chǔ)。人格是可以擴(kuò)展于自然之外的實(shí)體的,〔8 〕但現(xiàn)行體系下,人工智能是否具有法律人格并不明晰,造成現(xiàn)實(shí)的適用困境。

    (一)缺乏法律價(jià)值指引

    每一項(xiàng)重大科技應(yīng)用前后,均有對(duì)其的爭(zhēng)論。20世紀(jì)90年代克隆技術(shù)的成功就曾產(chǎn)生過巨大爭(zhēng)議,其中最大的焦點(diǎn)在于是否允許生理性繁殖克隆人。1997年11月,聯(lián)合國教科文組織制定《人類基因組與人權(quán)世界宜言》第11條明確規(guī)定,應(yīng)當(dāng)禁止生殖性克隆人類。2000年4月,日本內(nèi)閣會(huì)議通過關(guān)于《限制對(duì)人的克隆技術(shù)的法律草案》,禁止克隆人類。國際社會(huì)明確克隆人不具有法律人格,立法禁止克隆人類,但對(duì)人工智能的態(tài)度含混不清。對(duì)于克隆人的主要擔(dān)心在于其誕生將擾亂人類社會(huì)基礎(chǔ)的血親倫理關(guān)系,由于人工智能在繁殖方式、發(fā)展方式上均存在根本不同,因此學(xué)界主要擔(dān)憂人工智能發(fā)展程度過高后會(huì)反制人類。按照趨勢(shì),人工智能的發(fā)展必將會(huì)在未來出現(xiàn)突破,但現(xiàn)行法律規(guī)制對(duì)于人工智能法律人格的態(tài)度模糊,〔9 〕特別是在人工智能權(quán)利、侵權(quán)責(zé)任主體等關(guān)鍵問題上的缺位,使得人工智能的發(fā)展缺乏法律價(jià)值的引領(lǐng)。

    (二)法律地位不明

    由于人工智能的法律人格概念不明,導(dǎo)致其法律地位并不清晰。作為具有獨(dú)立思考能力的客體,人工智能可以“深度自主學(xué)習(xí)”、使用“神經(jīng)網(wǎng)絡(luò)”,人工智能具有此種類人特性,是否應(yīng)當(dāng)賦予人工智能以人權(quán)?從法哲學(xué)的角度分析,是否應(yīng)當(dāng)認(rèn)同“人工智能等同于人”的根本問題?如果不能,人工智能技術(shù)應(yīng)當(dāng)作為何種法律主體、具有何種法律地位?人權(quán),是作為個(gè)體的人對(duì)于自己基本利益的要求與主張,這種要求或主張是通過某種方式得以保障的,它獨(dú)立于當(dāng)事人的國家歸屬、社會(huì)地位、行為能力與努力程度,為所有的人平等享有人權(quán)是人之為人的最基本的權(quán)利,是一切利益和權(quán)利的前提和基礎(chǔ)?!?0 〕如果人工智能適用人權(quán)及人權(quán)倫理體系規(guī)制,則其法律地位是否等同于人類?若其具有人類完全相同的法律地位,則是否會(huì)出現(xiàn)人工智能機(jī)器人享有婚姻權(quán)同人類通婚,從而導(dǎo)致現(xiàn)行法律體系邏輯乃至人類賴以生存的倫理社會(huì)的崩塌?

    (三)缺少具體規(guī)則標(biāo)準(zhǔn)

    人工智能的短期影響取決于誰控制人工智能,而長(zhǎng)期影響則取決于人工智能到底能否受到任何控制,人工智能的運(yùn)用與發(fā)展需要法律人格的明確。從現(xiàn)實(shí)情況分析,現(xiàn)有規(guī)制并無法有效規(guī)制快速發(fā)展的人工智能技術(shù)。根據(jù)筆者2017年7月的實(shí)地調(diào)研,目前深圳人工智能產(chǎn)品由深圳市場(chǎng)監(jiān)管委進(jìn)行審批,但申報(bào)的類目為玩具類,所有的申報(bào)標(biāo)準(zhǔn)與文件均按照相應(yīng)玩具標(biāo)準(zhǔn)進(jìn)行審批,在海關(guān)進(jìn)出口過程中也并無人工智能這一單項(xiàng)列出,目前暫時(shí)仍作為玩具進(jìn)出口,顯然無法滿足人工智能產(chǎn)品的生產(chǎn)與發(fā)展。筆者認(rèn)為,有關(guān)人工智能發(fā)展的具體法律規(guī)制,至少應(yīng)當(dāng)包括以下幾個(gè)方面的內(nèi)容:第一是明確人工智能具有法律人格,確定人工智能享有的權(quán)利與義務(wù)邊界;第二是確定人工智能侵權(quán)的相關(guān)原則,若發(fā)生侵權(quán)事故時(shí)該怎樣認(rèn)定相應(yīng)的法律責(zé)任,適用怎樣的歸責(zé)原則;第三是重視開發(fā)應(yīng)用人工智能技術(shù)時(shí)對(duì)于數(shù)據(jù)與隱私的保護(hù);第四是確定人工智能的有效監(jiān)管規(guī)則。通過合適的具體規(guī)則標(biāo)準(zhǔn),優(yōu)化發(fā)揮法律對(duì)于人工智能的引導(dǎo)與監(jiān)管作用。

    二、人工智能具有法律人格?

    法律規(guī)制的最終目標(biāo)是構(gòu)建和諧可靠的人工智能應(yīng)用體系,在促進(jìn)人工智能發(fā)展上,有必要通過法律的系統(tǒng)性調(diào)整以確保人工智能在可控的范圍內(nèi)有序發(fā)展?!蛾P(guān)于新一代人工智能發(fā)展規(guī)劃的通知》提出,建立保障人工智能健康發(fā)展的法律法規(guī)框架。必須開展人工智能法律人格問題研究,明確人工智能具有法律人格。

    (一)人工智能是特殊性質(zhì)的法律主體

    對(duì)于人工智能的性質(zhì),學(xué)界一直有不同爭(zhēng)論。普遍流行的有工具說、電子奴隸說、代理說等?!?1 〕工具說認(rèn)為人工智能是人類為生產(chǎn)生活應(yīng)用而創(chuàng)設(shè)的技術(shù),其本質(zhì)是為人類服務(wù)的工具。工具說認(rèn)為人工智能無獨(dú)立的意思表示能力,并不承認(rèn)人工智能具有獨(dú)立的法律人格。電子奴隸說認(rèn)為人工智能不具有人類特殊的情感與肉體特征,在工作時(shí)無休息等現(xiàn)實(shí)需要,可以認(rèn)作不知疲倦的機(jī)器,有行為能力但沒有權(quán)利能力。代理說認(rèn)為人工智能的所有行為均是為人類所控制,其作出的行為與引起的后果最終必須由被代理的主體承擔(dān)。上述三種觀點(diǎn)均存在不同程度的缺陷,工具說將人工智能作為工具,但忽視了人工智能技術(shù)已經(jīng)發(fā)展到可以作出獨(dú)立意思表示的階段,瑞士已有雇主為機(jī)器人繳納雇員稅的先例。再如特斯拉公司生產(chǎn)的電動(dòng)汽車,已經(jīng)實(shí)現(xiàn)了不需要駕駛員操作的無人駕駛,能夠獨(dú)立自主進(jìn)行選擇判斷,其工具屬性早已不屬于無意思表示能力的傳統(tǒng)“工具”。電子奴隸說認(rèn)為人工智能并不具有權(quán)利能力,其引起的后果歸屬于其擁有者,雖解決了人工智能承擔(dān)法律責(zé)任的主體問題,但實(shí)際上是延伸的工具說,否認(rèn)人工智能的獨(dú)立主體地位。代理說中對(duì)于人工智能的代理地位的確認(rèn)其實(shí)已承認(rèn)人工智能具有獨(dú)立的法律人格,〔12 〕即在人工智能擁有權(quán)利能力與行為能力時(shí),其才可能作出履行被代理人指令的行為,但代理人說并無法解決主體承擔(dān)責(zé)任的公平性問題,在人工智能完全自行作出意思表示時(shí),由制造者還是使用者作為承擔(dān)責(zé)任的被代理人?筆者認(rèn)為,人工智能是人類社會(huì)發(fā)展到一定階段的必然產(chǎn)物,具有高度的智慧性與獨(dú)立的行為決策能力,其性質(zhì)不同于傳統(tǒng)的工具或代理人。在現(xiàn)實(shí)條件下,將人工智能定義為具有智慧工具性質(zhì)又可作出獨(dú)立意思表示的特殊主體較妥。

    (二)人工智能享有法律權(quán)利

    “機(jī)器人不得傷害人類;機(jī)器人必須服從人類的命令,除非這條命令與第一條原則相矛盾;機(jī)器人必須保護(hù)自己,除非這種保護(hù)與以上兩條原則相矛盾。”以上是著名科幻作家,“機(jī)器人學(xué)之父”阿西莫夫提出的“機(jī)器人三原則”。第2條中“機(jī)器人必須保護(hù)自己”實(shí)際就是給予人工智能自我保護(hù)的權(quán)利。西方哲學(xué)家認(rèn)為技術(shù)發(fā)展到一定程度后必然會(huì)有精神,如果技術(shù)發(fā)展更加智慧,它就會(huì)像大腦成為精神的更好載體?!?3 〕按照上述觀點(diǎn),人工智能應(yīng)該有權(quán)利,不是因?yàn)樗鼈兿袢祟?,而是因?yàn)樗鼈兙哂芯瘛!?4 〕權(quán)利向新實(shí)體擴(kuò)展是需要經(jīng)過漫長(zhǎng)過程的。大陸法系下,獨(dú)立的法律人格需要具備社會(huì)存在與法律確認(rèn)這兩個(gè)必須條件,即需要獨(dú)立自主地作出意思表示并得到法律明確的確認(rèn)。在現(xiàn)有技術(shù)條件下,人工智能已可簽訂合同、管理公司,其獨(dú)立自主作出意思表示的能力已得到實(shí)現(xiàn),但暫時(shí)還未得到法律確認(rèn)。在此境遇下,人工智能能否要求權(quán)利?其能否具有維持健康、獲得姓名的權(quán)利?其能否按照自我邏輯與算法作出價(jià)值判斷?其在過載時(shí)能否具有休息的權(quán)利?

    若人工智能沒有權(quán)利,就不會(huì)有法律地位,在法律上就不是真實(shí)的?!?5 〕根據(jù)斯通納的觀點(diǎn),某一主體能否擁有法律權(quán)利應(yīng)滿足下列條件:第一,該主體應(yīng)其要求可以提起法律訴訟;第二,法院在決定授予法律救濟(jì)時(shí)必須考慮到損害;第三,法律救濟(jì)必須滿足它的利益要求?!?6 〕人工智能已可以應(yīng)用于司法裁判,其自行提出訴訟要求并無實(shí)踐難度。法院在決定救濟(jì)時(shí)應(yīng)當(dāng)考慮到人工智能受到的損害。例如,摧毀或“謀殺”人工智能應(yīng)當(dāng)受到懲罰。人工智能雖然本質(zhì)上仍是工具,但這種智能可能造價(jià)高昂并且承載人類或社會(huì)的感情,因?yàn)槠胀C(jī)器并不具有思考與交流的能力。若有人刪除了孤寡老人的陪伴型人工智能機(jī)器人的記憶模塊,則有可能導(dǎo)致這種獨(dú)特記憶的永久消失并無法復(fù)原,從而造成更為嚴(yán)重的精神損害。法律救濟(jì)滿足人工智能的利益要求并非不可能。例如停止侵害、排除妨害均可適用于人工智能的救濟(jì)。綜上所述,人工智能可以滿足上述法律權(quán)利的三項(xiàng)條件,具有公認(rèn)價(jià)值與尊嚴(yán),理應(yīng)享有法律權(quán)利。

    (三)人工智能必須承擔(dān)法律責(zé)任

    1978年日本廣島的摩托車廠機(jī)器人突然轉(zhuǎn)身將其背后的工人抓住并切割,1989年全蘇國際象棋冠軍擊敗人工智能機(jī)器人,但機(jī)器人自主釋放強(qiáng)電流致使冠軍身亡,人工智能侵權(quán)的事件事實(shí)上早已存在。隨著人工智能的不斷發(fā)展,其依靠獨(dú)立自主意識(shí)而作出的不可預(yù)測(cè)行為將變得更加危險(xiǎn)。人類必須為自己的行為付出代價(jià),人工智能同樣如此,并不因?yàn)槿斯ぶ悄懿⒎侨祟惥涂梢蕴用摲芍撇茫傆兄黧w需要為作出的行為負(fù)責(zé)。

    若人工智能犯罪,應(yīng)當(dāng)適用怎樣的懲罰機(jī)制?而又應(yīng)當(dāng)如何避免此種犯罪行為的發(fā)生?人工智能在未來會(huì)面臨更加復(fù)雜的倫理安全問題,Google DeepMind等機(jī)構(gòu)已設(shè)立了倫理審查委員會(huì),由不同知識(shí)背景和經(jīng)驗(yàn)的專家組成,最大限度地考慮此問題。人工智能作為有獨(dú)立意識(shí)特性的特殊法律實(shí)體,法律需要向更前沿發(fā)展,而人工智能必須設(shè)計(jì)成為具有可責(zé)性與可驗(yàn)證性的實(shí)體,其中包括開發(fā)數(shù)據(jù)記錄全留存以便侵權(quán)后查驗(yàn)、主動(dòng)告知人工智能風(fēng)險(xiǎn)、擴(kuò)大人工智能相關(guān)數(shù)據(jù)披露范圍、大規(guī)模商用前現(xiàn)行測(cè)試等,盡最大努力減少人工智能可能造成的危害從而減輕相應(yīng)法律責(zé)任。

    三、人工智能的法律人格有限

    以法律手段調(diào)節(jié)生命社會(huì)關(guān)系,應(yīng)是最有力、最有效、最穩(wěn)定、最普遍的?!?7 〕從人工智能的特性分析,其具有獨(dú)立自主意識(shí)的智慧工具屬性,享有權(quán)利并承擔(dān)責(zé)任的獨(dú)特特點(diǎn)決定了其具有法律人格。但這種法律人格同自然人或現(xiàn)有的擬制法人并不完全相等,雖然人工智能可以作出獨(dú)立自主的行為,但其承擔(dān)行為后果的能力是有限的。在人工智能法律人格有限的前提下,方可對(duì)法律規(guī)制作出合理的安排。

    (一)域外人工智能立法借鑒

    人工智能的法律人格有限,是指其法律人格與自然人或公司不同,并不具有承擔(dān)完全責(zé)任的能力與地位。雖然人工智能可以取得權(quán)利并承擔(dān)一定的義務(wù),但其價(jià)值觀的形成與人類畢竟存在根本不同,人工智能的深度學(xué)習(xí)與應(yīng)用主要依靠的是各種復(fù)雜的算法與數(shù)據(jù)記錄應(yīng)用,在運(yùn)用算法的過程中,很難保證人工智能的每次獨(dú)立自主行為均能作出合理合法的價(jià)值判斷。對(duì)于人工智能的規(guī)制,還必須依賴于立法的體系性安排,確保人工智能的發(fā)展與應(yīng)用在合理的區(qū)間范圍內(nèi)運(yùn)行。

    在人工智能具有有限法律人格的層面上,國外立法已作出一定的嘗試:一是立法者和執(zhí)法者應(yīng)確保人工系統(tǒng)不被濫用,法律必須在公民隱私保護(hù)與新興技術(shù)發(fā)展間尋找到恰當(dāng)?shù)钠胶??!?8 〕在使用數(shù)據(jù)的層面,已存在不少習(xí)慣法,如目的明確、最少夠用、公開告知、個(gè)人同意等原則。1998年英國《數(shù)據(jù)保護(hù)法》與2016年歐盟《個(gè)人數(shù)據(jù)保護(hù)通用條例》規(guī)定,禁止一切未經(jīng)同意的非法使用公民個(gè)人數(shù)據(jù)的行為。這些法律規(guī)則非常實(shí)用,并提議建立沙箱區(qū)域以在控制所有可能的變量前提下,安全地控制和引導(dǎo)錯(cuò)誤使用數(shù)據(jù)的行為。在“大數(shù)據(jù)”時(shí)代,數(shù)據(jù)是寶貴的財(cái)富,也直接關(guān)系人身安全,已有利用人工智能非法竊取網(wǎng)絡(luò)信息的先例?!?9 〕人工智能系統(tǒng)對(duì)于個(gè)人數(shù)據(jù)的使用必須遵循規(guī)范的準(zhǔn)則,濫用數(shù)據(jù)或竊取隱私將受到刑罰的規(guī)制,在人工智能的發(fā)展上,必須考慮能否保護(hù)公民的數(shù)據(jù)及隱私、能否一視同仁地對(duì)待每個(gè)公民的數(shù)據(jù),以及能否保證公民個(gè)人信息的完整。使用非公共數(shù)據(jù)必須征得數(shù)據(jù)所有人同意。二是延伸身份保證范式,以保持法律責(zé)任鏈條的明確性。個(gè)人識(shí)別信息是個(gè)人擁有絕對(duì)控制權(quán)的資產(chǎn),法律應(yīng)給予優(yōu)先保護(hù)。2009年5月12日,歐盟委員會(huì)制定并通過《射頻識(shí)別技術(shù)應(yīng)用中隱私和數(shù)據(jù)保護(hù)原則的建議》,該建議中就明確包含信息和透明度要求、零售商使用數(shù)據(jù)的特殊要求等內(nèi)容。設(shè)計(jì)人員應(yīng)采用身份標(biāo)簽,沒有身份標(biāo)簽將不被準(zhǔn)入。三是個(gè)人信息保護(hù)規(guī)制需要完善,以尊重個(gè)人數(shù)據(jù)完整性的方式設(shè)計(jì)并應(yīng)用人工智能系統(tǒng)。歐盟在1995年頒布《關(guān)于涉及個(gè)人數(shù)據(jù)處理的個(gè)人保護(hù)以及此類數(shù)據(jù)自由流動(dòng)的指令》等多項(xiàng)個(gè)人數(shù)據(jù)保護(hù)指令,構(gòu)建了一套嚴(yán)謹(jǐn)完善的個(gè)人數(shù)據(jù)保護(hù)體系。根據(jù)德國現(xiàn)行法律,車輛中所積累的數(shù)據(jù)所有權(quán)原則上屬于車主。2016年4月,歐盟《一般個(gè)人數(shù)據(jù)保護(hù)條例》發(fā)布,明確擴(kuò)展了數(shù)據(jù)主體的權(quán)利,包括數(shù)據(jù)獲取權(quán)、修改權(quán)、刪除權(quán)、限制處理權(quán)及可攜權(quán)等。比較而言,中國在個(gè)人信息和隱私保護(hù)方面的制度建設(shè)是較為滯后的。2012年《全國人民代表大會(huì)常務(wù)委員會(huì)關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保護(hù)的決定》的出臺(tái),〔20 〕但在實(shí)踐上仍極為有限,涉及更為嚴(yán)厲制裁措施的《個(gè)人信息保護(hù)法》與相關(guān)刑法修正案亟待出臺(tái)。

    (二)適用特殊的法律規(guī)制標(biāo)準(zhǔn)

    筆者認(rèn)為,人工智能具有獨(dú)立思考的能力是與其他科技最大的區(qū)別,但人工智能仍作為工具存在,僅應(yīng)具有有限的法律人格。即便人工智能發(fā)展到具有自我意志的程度,其構(gòu)造結(jié)構(gòu)、生產(chǎn)方式與人類存在根本性的不同。人工智能具有有限的權(quán)利義務(wù),更應(yīng)適用特殊的法律規(guī)制標(biāo)準(zhǔn)。

    從哲學(xué)角度分析,人工智能畢竟只是人類為追求更美好生活創(chuàng)造出的智慧型工具。以人工智能創(chuàng)造的作品為例,人工智能創(chuàng)作文學(xué)作品早已經(jīng)投入實(shí)踐(例如由人工智能創(chuàng)作的小說甚至通過了日本文學(xué)獎(jiǎng)的初審)。特別是在視覺等藝術(shù)應(yīng)用領(lǐng)域,人工智能已可以完全脫離人類獨(dú)立生成獨(dú)創(chuàng)性內(nèi)容。美國《憲法》第一修正案規(guī)定:作者與創(chuàng)作者在限定的時(shí)間內(nèi)具有科學(xué)發(fā)明與藝術(shù)創(chuàng)作的排他權(quán)利。如果人工智能具有完整的法律人格,則人工智能創(chuàng)造作品的著作權(quán)等知識(shí)產(chǎn)權(quán)的權(quán)利主體是誰?〔21 〕因此出現(xiàn)的法律真空地帶,只能依據(jù)現(xiàn)有規(guī)制進(jìn)行推論。筆者認(rèn)為,人工智能創(chuàng)造的作品可分為兩種,一種是人類利用人工智能技術(shù)創(chuàng)作的作品,其作品歸屬毫無疑問歸屬創(chuàng)作的人類所有。例如使用計(jì)算機(jī)譜寫的樂曲,人工智能僅作為工具使用,在Burrow-Giles Lithographic Co. v. Sarony案例中,〔22 〕法院裁定使用相機(jī)拍照的人擁有照片的著作權(quán),而不是相機(jī)制造廠商;另外一種是人工智能不受人類意志干擾而自行創(chuàng)作的作品,有學(xué)者認(rèn)為可適用“雇主理論”,〔23 〕即人工智能的所有者擁有人工智能獨(dú)立創(chuàng)造的作品權(quán)利,人工智能作為被雇用者,其權(quán)利歸歸主所有。

    還有判例認(rèn)為非人類創(chuàng)造的作品應(yīng)該歸公眾所有,在2011年的Naruto v. Slater案例 〔24 〕中,一名叫Slater的野生動(dòng)物攝影師將相機(jī)放在印尼的雨林中,結(jié)果一只母恒猴拿起相機(jī)并按動(dòng)快門,留下許多珍貴照片。Slater主張照片由其所有,動(dòng)物愛好者協(xié)會(huì)則主張由母恒猴所有。法院最后認(rèn)為由于恒猴并非人類,無法出庭或具有法律上的人格,而照片也并非Slater拍攝,因此將照片的所有權(quán)歸于公眾。無論上述何種觀點(diǎn),均不認(rèn)為機(jī)器或動(dòng)物等非人類具有著作權(quán)。

    筆者認(rèn)為,在人工智能獨(dú)立創(chuàng)作的情形下可適用“刺破人工智能面紗原則”來進(jìn)行論證,即權(quán)利主體是人工智能背后的實(shí)際控制人。人工智能雖然具有法律人格,但這種人格是有限的,并非完全的法律人格。歸根結(jié)底人工智能是由人類創(chuàng)造以服務(wù)發(fā)展的智慧型工具,即人類自身的權(quán)利優(yōu)位于人工智能。人工智能的工具屬性決定了其法律地位。蘋果公司現(xiàn)在出產(chǎn)的個(gè)人電腦軟件已經(jīng)可以根據(jù)現(xiàn)場(chǎng)環(huán)境獨(dú)立編曲,在此環(huán)境下產(chǎn)生的作品并非由蘋果公司或軟件制作者享有著作權(quán),而是由使用該個(gè)人電腦的主體所有。采用“刺破人工智能面紗”理論將會(huì)大大鼓勵(lì)人類利用人工智能進(jìn)行創(chuàng)作的熱情,同時(shí)促進(jìn)人工智能產(chǎn)業(yè)自身的發(fā)展。

    (三)以責(zé)任分配為基礎(chǔ)的侵權(quán)規(guī)制

    除對(duì)人工智能的法律地位進(jìn)行必要規(guī)制外,更應(yīng)明晰若發(fā)生侵權(quán)事故時(shí)認(rèn)定相應(yīng)法律責(zé)任的原則?!?5 〕由于人工智能具有的法律人格有限,其無法獨(dú)立完全承擔(dān)侵權(quán)責(zé)任。聯(lián)合國教科文組織《關(guān)于機(jī)器人倫理的初步草案報(bào)告》提出對(duì)機(jī)器人的責(zé)任采取分擔(dān)解決途徑。讓所有參與機(jī)器人發(fā)明、授權(quán)和使用過程中的主體分擔(dān)責(zé)任。這種以侵權(quán)為基礎(chǔ)的制度設(shè)計(jì)初衷,是迫使機(jī)器人系統(tǒng)的設(shè)計(jì)者與生產(chǎn)者將人工智能侵權(quán)成本內(nèi)部化,督促系統(tǒng)的設(shè)計(jì)者、參與者、生產(chǎn)者自覺履行安全性義務(wù),保證受害者能夠?qū)ふ业街黧w獲得補(bǔ)償。依托侵權(quán)法分配的監(jiān)管路徑可以應(yīng)用于人工智能,為建立人工智能的安全屬性提供正面導(dǎo)向作用,強(qiáng)化人工智能產(chǎn)品責(zé)任?;谌斯ぶ悄芊扇烁竦挠邢扌裕ㄟ^侵權(quán)責(zé)任的杠桿,將人工智能系統(tǒng)的外部性安全成本內(nèi)部化,鼓勵(lì)人工智能的銷售商、零售商、設(shè)計(jì)者、使用者、監(jiān)管者,認(rèn)真履行人工智能的安全責(zé)任,確保上下游鏈條不會(huì)隨意更改人工智能系統(tǒng)?!?6 〕

    為了確保人工智能是可以被問責(zé)的,人工系統(tǒng)必須具有程序?qū)用娴目韶?zé)依據(jù),證明其運(yùn)作方式。由于人工智能研發(fā)具有高度的秘密性與分散性、不連續(xù)性及不透明性,任何一個(gè)擁有電腦或智能手機(jī)的個(gè)體都可能參與到人工智能的開發(fā)或研制中去。因此,必須對(duì)數(shù)據(jù)進(jìn)行留存,要求所有參與開發(fā)、制作、生產(chǎn)人工智能系統(tǒng)所產(chǎn)生的數(shù)據(jù)必須妥善記錄并永久保存,在事中授權(quán)或事后問責(zé)時(shí)向主管機(jī)關(guān)提供。由于人工智能系統(tǒng)復(fù)雜,普通民眾甚至主管機(jī)關(guān)的業(yè)務(wù)人員可能無法了解人工智能的所有缺陷,因此在發(fā)生事故后追尋原始數(shù)據(jù)將成為最有力的定責(zé)與索賠依據(jù)?,F(xiàn)代存儲(chǔ)材料的便攜性與高容量性使得數(shù)據(jù)記錄成為低成本的事情。由于有強(qiáng)制責(zé)任保險(xiǎn)配套,如果人工智能的開發(fā)者無法提供完整的數(shù)據(jù)記錄,則由其承擔(dān)無過錯(cuò)責(zé)任并進(jìn)行賠償。未妥善儲(chǔ)存數(shù)據(jù)者需要承擔(dān)嚴(yán)格的人工智能產(chǎn)品責(zé)任。〔27 〕在舉證責(zé)任問題上,一般使用者針對(duì)人工智能很難承擔(dān)過高的舉證標(biāo)準(zhǔn)與訴訟成本,應(yīng)當(dāng)考慮采用較低的舉證責(zé)任標(biāo)準(zhǔn),即使用者證明有損害發(fā)生、并且這種損害是由人工智能造成的即可。

    四、人工智能有限法律人格的規(guī)制設(shè)置

    (一)明確“刺破人工智能面紗”的歸責(zé)原則

    人工智能的本質(zhì)依然為工具,即使人工智能具有自我意志也無法改變其服務(wù)人類社會(huì)發(fā)展的屬性。因此人工智能僅享有有限的法律人格,其自身承擔(dān)有限的法律責(zé)任,其造成的侵權(quán)損害賠償或刑事責(zé)任依據(jù)實(shí)際情況由其設(shè)計(jì)者、開發(fā)者、制造者或使用者承擔(dān)。人工智能涉及的侵權(quán)規(guī)制主要集中在責(zé)任負(fù)擔(dān)的主體、數(shù)據(jù)使用安全、破壞人工智能的責(zé)任分配等方面。在規(guī)制人工智能與促進(jìn)人工智能發(fā)展的兩個(gè)維度間必須尋找恰當(dāng)?shù)钠胶?,促進(jìn)人工智能發(fā)展的首要問題是需要有主體為人工智能的行為承擔(dān)責(zé)任。人工智能獨(dú)立意志的情況下也無法僅完全苛責(zé)新興技術(shù)的創(chuàng)造者?!?8 〕即使是最細(xì)心的設(shè)計(jì)者、編程者以及制造者都沒有辦法控制或者預(yù)測(cè)人工智能系統(tǒng)在脫離之后將會(huì)經(jīng)歷些什么。假如嫌疑人醉酒駕駛無人駕駛汽車致人死亡,此種情況下將法律責(zé)任歸于開發(fā)者顯然是違背公理的。不解決此問題,人工智能的發(fā)展就缺少基礎(chǔ)性的理論支撐。

    人工智能沒有靈魂,其法律人格畢竟有限,即使將來擁有自我意志也無法存在繁殖性的肉體或者真實(shí)感情,在刑法對(duì)待人工智能的法律地位上,與公司的法律地位無異?!?9 〕有關(guān)公司的刑罰理論中最重要的是“實(shí)際控制人說”,按照“刺破人工智能面紗”的歸責(zé)原則確定責(zé)任主體。在無人駕駛領(lǐng)域,美國道路交通安全管理局于2013年發(fā)布《自動(dòng)駕駛汽車的基本政策》,對(duì)自動(dòng)駕駛汽車測(cè)試事故的責(zé)任承擔(dān)進(jìn)行了規(guī)定,車輛在被第三方改造為自動(dòng)駕駛車輛后,測(cè)試過程中導(dǎo)致財(cái)產(chǎn)損失、人員傷亡的,車輛的原始制造商不對(duì)自動(dòng)駕駛車輛的缺陷負(fù)責(zé),除非有證據(jù)證明車輛在被改造為自動(dòng)駕駛車輛前已存在缺陷。德國《道路交通法》規(guī)定機(jī)動(dòng)車持有人的道路交通事故嚴(yán)格責(zé)任獨(dú)立于車輛的自動(dòng)系統(tǒng),駕駛員在車輛行駛過程中必須履行全程保持警惕、手不離開方向盤等強(qiáng)制義務(wù),否則需要承擔(dān)人工智能造成的損害。谷歌公司曾經(jīng)使用奔馳汽車進(jìn)行測(cè)試,則安全責(zé)任由谷歌公司承擔(dān),而非奔馳公司。因此,在人工智能具有的法律人格有限的前提下,其造成的損害由人工智能的實(shí)際控制人或責(zé)任人承擔(dān)責(zé)任是合理的。

    (二)強(qiáng)制投保責(zé)任保險(xiǎn)

    凱西·歐尼爾在其著作《數(shù)學(xué)武器:大數(shù)據(jù)如何加劇不平等、威脅民主》中,將造成歧視、個(gè)體損害等不利后果的人工智能稱為“殺傷性數(shù)學(xué)武器”,人工智能如果利用不當(dāng),其給個(gè)體和社會(huì)帶來的危害將極大?!?0 〕在數(shù)據(jù)網(wǎng)絡(luò)平民化時(shí)代,單一的國家或部門均無法獨(dú)自應(yīng)對(duì)人工智能帶來的責(zé)任風(fēng)險(xiǎn)。傳統(tǒng)的監(jiān)管方式如產(chǎn)品許可制度、產(chǎn)品侵權(quán)責(zé)任,無法全面地適用于人工智能規(guī)制。事前監(jiān)管措施亦存在弊端,人工智能的開發(fā)與研究一般是分散的,在網(wǎng)絡(luò)時(shí)代,任何人均可獲得制造人工智能的機(jī)會(huì),外部監(jiān)管人員極難在人工智能形成危險(xiǎn)結(jié)果之前發(fā)現(xiàn)存在的風(fēng)險(xiǎn)。必須采取新的經(jīng)濟(jì)措施以規(guī)制人工智能帶來的責(zé)任風(fēng)險(xiǎn)——強(qiáng)制投保責(zé)任保險(xiǎn)。2016年,英國議會(huì)提出一份有關(guān)無人駕駛汽車法律責(zé)任問題的提案,提出將汽車強(qiáng)制險(xiǎn)適用擴(kuò)大到產(chǎn)品責(zé)任,在駕駛者將汽車控制權(quán)完全交給自動(dòng)駕駛系統(tǒng)時(shí)為其提供保障?!?1 〕而投保人可根據(jù)英國現(xiàn)行《消費(fèi)者保護(hù)法》的產(chǎn)品責(zé)任和普通法中過失原則的適用,確定應(yīng)對(duì)事故發(fā)生負(fù)有責(zé)任的主體。在人工智能投入商用之前,必須為其強(qiáng)制投保責(zé)任險(xiǎn),以較小的經(jīng)濟(jì)付出,獲得保險(xiǎn)共擔(dān)風(fēng)險(xiǎn)的機(jī)會(huì)。此舉將大大減少人工智能侵權(quán)事件發(fā)生時(shí)的經(jīng)濟(jì)賠償糾紛,直接促進(jìn)人工智能行業(yè)的良性發(fā)展。

    (三)確立“以人為本”的監(jiān)管體系

    人工智能行業(yè)的領(lǐng)軍者埃隆·馬斯克認(rèn)為,政府監(jiān)管介入人工智能領(lǐng)域是明智的選擇。人工智能應(yīng)在國際或者國家層面上有相應(yīng)的監(jiān)管措施,防止陷入“人工智能悲劇”。法規(guī)必須同科技進(jìn)步相協(xié)調(diào),若政府監(jiān)管缺位,將明顯加深公眾對(duì)于人工智能的危機(jī)感并使得人工智能的發(fā)展陷入無序狀態(tài)。在確定人工智能適用的一般原則時(shí),主要考慮三大因素:人權(quán)、人類利益優(yōu)先、削弱人工智能的風(fēng)險(xiǎn)。由于人工智能僅具有有限的法律人格,因此人工智能的本質(zhì)是為人類生產(chǎn)生活服務(wù)的工具(即“以人為本”),這是人工智能發(fā)展的首要原則,也是建立人工智能監(jiān)管整體框架的首要指導(dǎo)原則。由于人工智能的項(xiàng)目集成程度與開發(fā)難度較高,往往是眾多科研團(tuán)隊(duì)協(xié)作的結(jié)果,很難在事前由政府相關(guān)部門預(yù)見或了解,由此在事前設(shè)立審批制度難度頗大,即使人工智能開發(fā)團(tuán)隊(duì)將開發(fā)立項(xiàng)報(bào)告交予相關(guān)部門審批,相關(guān)部門的審批人員也未必能夠了解人工智能的梗概并作出及時(shí)答復(fù)。從監(jiān)管者角度分析,人工智能本身并不是難以處理的主體,難處理的是人工智能研究與開發(fā)。〔32 〕由此,依據(jù)“以人為本”原則創(chuàng)設(shè)事前備案、事中授權(quán)、事后懲處的整體機(jī)制較為適宜。事前監(jiān)管采取原則性申報(bào),即設(shè)計(jì)建造人工智能系統(tǒng)前,所有開發(fā)設(shè)計(jì)者必須共同向行業(yè)主管部門備案,承諾在維護(hù)人類利益的前提下進(jìn)行合法開發(fā),并不得用于違法犯罪活動(dòng),如果不進(jìn)行申報(bào),則人工智能系統(tǒng)將來不得應(yīng)用于包括商用在內(nèi)的公開領(lǐng)域。由于身份是人格權(quán)的基礎(chǔ),人工智能的登記備案就相當(dāng)于給予人工智能法律上的身份,從而擁有法律人格。事中授權(quán)主要由政府授權(quán)的專業(yè)機(jī)構(gòu)作出人工智能系統(tǒng)的風(fēng)險(xiǎn)評(píng)估和防控強(qiáng)調(diào)前瞻預(yù)防和約束引導(dǎo),此授權(quán)無需徹底評(píng)估人工智能的算法、編程等技術(shù)性數(shù)據(jù),只要企業(yè)或團(tuán)隊(duì)將人工智能用于公用領(lǐng)域前所需的事前備案書、強(qiáng)制保險(xiǎn)投保確認(rèn)書、產(chǎn)品質(zhì)量認(rèn)證書、數(shù)據(jù)清單及其他要求的明示性材料備齊,主管機(jī)關(guān)即可作出準(zhǔn)予公用的授權(quán)。如果人工智能在實(shí)踐應(yīng)用中出現(xiàn)了危害人類的行為或其他侵權(quán)行為,則由政府機(jī)關(guān)問責(zé)懲處,特別是對(duì)于違反“以人為本”根本原則的企業(yè)或個(gè)人,加大懲處力度以促進(jìn)人工智能行業(yè)和企業(yè)自律。而主管機(jī)關(guān)亦可通過已發(fā)生的事件強(qiáng)化人工智能安全監(jiān)管和評(píng)估體系,反向構(gòu)建人工智能安全監(jiān)測(cè)預(yù)警機(jī)制。

    (四)加快制定《人工智能發(fā)展法》

    為更好地促進(jìn)人工智能發(fā)展,保障中國在新科技革命的進(jìn)程中占領(lǐng)戰(zhàn)略制高點(diǎn),極有必要加快人工智能相關(guān)法律規(guī)定的修改完善,特別是加快制定專門的《人工智能發(fā)展法》。將設(shè)定人工智能監(jiān)管的目標(biāo)與目的的任務(wù)分配給立法者,利用立法機(jī)關(guān)的正當(dāng)性授權(quán)監(jiān)管人工智能系統(tǒng)安全的專門機(jī)構(gòu),創(chuàng)設(shè)相對(duì)完整的人工智能責(zé)任體系?!度斯ぶ悄馨l(fā)展法》的立法目標(biāo)包括:(1)堅(jiān)持以人為本的首要原則,授權(quán)建立研究數(shù)據(jù)科學(xué)的“數(shù)據(jù)倫理委員會(huì)”,通過明確相關(guān)倫理準(zhǔn)則,確保人類社會(huì)倫理道德關(guān)系不受破壞。(2)建立全流程監(jiān)管體系,確保人工智能技術(shù)從研究到運(yùn)用負(fù)面效應(yīng)可控與確定行業(yè)準(zhǔn)入制度、操作記錄、技術(shù)安全規(guī)制標(biāo)準(zhǔn)。確定寬容審慎的監(jiān)管原則,規(guī)范人工智能技術(shù)的健康發(fā)展。(3)明晰法律責(zé)任制度等,恰當(dāng)?shù)貫槿斯ぶ悄芗夹g(shù)發(fā)展調(diào)整法律規(guī)制。確定嚴(yán)格的大規(guī)模商用許可制度與強(qiáng)制責(zé)任保險(xiǎn)制度,確保相關(guān)權(quán)益得到保障。(4)明確數(shù)據(jù)信息保護(hù)與隱私權(quán)保護(hù),確保數(shù)據(jù)妥善運(yùn)用與信息安全。(5)強(qiáng)化涉及人工智能發(fā)展的知識(shí)產(chǎn)權(quán)保護(hù)。注重人工智能創(chuàng)新成果的知識(shí)產(chǎn)權(quán)保護(hù)最大化,創(chuàng)設(shè)人工智能相關(guān)技術(shù)創(chuàng)新標(biāo)準(zhǔn)、專利保護(hù)體系與標(biāo)準(zhǔn)化支撐機(jī)制。建立國家層級(jí)的人工智能公共專利池,加速人工智能創(chuàng)新技術(shù)的成果商業(yè)轉(zhuǎn)換速度與競(jìng)爭(zhēng)優(yōu)勢(shì)。(6)加強(qiáng)國際合作。人工智能的開發(fā)與應(yīng)用往往是跨國界的活動(dòng),國際合作在解決人工智能的推廣與應(yīng)用管理中起重要作用?,F(xiàn)階段,需要加強(qiáng)重點(diǎn)領(lǐng)域的國際合作研究,尤其是人工智能異化和安全監(jiān)管等共性問題研究,明確人工智能法律法規(guī)、倫理道德方面的國際合作原則,〔33 〕共同應(yīng)對(duì)人工智能帶來的挑戰(zhàn)。此外,《人工智能發(fā)展法》還應(yīng)該包含保留條款,確保法律生效前的人工智能項(xiàng)目的商業(yè)化不受追溯,以免引發(fā)混亂。

    猜你喜歡
    數(shù)據(jù)安全人權(quán)人工智能
    數(shù)字時(shí)代的人權(quán)何以重要:論作為價(jià)值系統(tǒng)的數(shù)字人權(quán)
    部署推進(jìn)2020年電信和互聯(lián)網(wǎng) 行業(yè)網(wǎng)絡(luò)數(shù)據(jù)安全管理工作
    工信部:2021年初步建立網(wǎng)絡(luò)數(shù)據(jù)安全標(biāo)準(zhǔn)體系
    我國發(fā)表《2018年美國的人權(quán)紀(jì)錄》《2018年美國侵犯人權(quán)事記》
    2019:人工智能
    人工智能與就業(yè)
    數(shù)據(jù)安全政策與相關(guān)標(biāo)準(zhǔn)分享
    微軟向人權(quán)高專辦提供500萬美元 利用新科技幫助實(shí)施推動(dòng)人權(quán)項(xiàng)目
    數(shù)讀人工智能
    下一幕,人工智能!
    又黄又粗又硬又大视频| 精品高清国产在线一区| 国产精品 欧美亚洲| 亚洲精品国产色婷婷电影| 波野结衣二区三区在线| 欧美老熟妇乱子伦牲交| 国产日韩欧美亚洲二区| 久久久久久免费高清国产稀缺| 性色av一级| 999久久久国产精品视频| 国产日韩欧美亚洲二区| 一区二区日韩欧美中文字幕| 免费在线观看完整版高清| 婷婷丁香在线五月| 亚洲色图 男人天堂 中文字幕| 欧美精品一区二区免费开放| 国产黄频视频在线观看| 99热国产这里只有精品6| 搡老乐熟女国产| 十八禁人妻一区二区| 日韩 亚洲 欧美在线| 免费看av在线观看网站| 在现免费观看毛片| 国产亚洲一区二区精品| 欧美日韩黄片免| 一本综合久久免费| av国产精品久久久久影院| 午夜福利视频精品| 高清欧美精品videossex| 激情五月婷婷亚洲| 啦啦啦在线免费观看视频4| 久久精品亚洲熟妇少妇任你| 国产无遮挡羞羞视频在线观看| 精品人妻1区二区| 午夜福利一区二区在线看| 五月开心婷婷网| 国产主播在线观看一区二区 | 欧美大码av| 青春草亚洲视频在线观看| netflix在线观看网站| 国产在视频线精品| 超碰成人久久| 欧美成人午夜精品| 国产av国产精品国产| av片东京热男人的天堂| 国产成人av教育| 日本vs欧美在线观看视频| 狂野欧美激情性xxxx| 一本一本久久a久久精品综合妖精| 午夜激情久久久久久久| 菩萨蛮人人尽说江南好唐韦庄| 国产成人精品在线电影| 五月开心婷婷网| 久久99一区二区三区| 别揉我奶头~嗯~啊~动态视频 | 人人妻人人澡人人看| 咕卡用的链子| 啦啦啦在线观看免费高清www| 免费在线观看黄色视频的| 男人添女人高潮全过程视频| 一级毛片 在线播放| 天天躁夜夜躁狠狠久久av| 中文字幕人妻熟女乱码| 最新在线观看一区二区三区 | 美女大奶头黄色视频| 国产一区二区激情短视频 | 三上悠亚av全集在线观看| www日本在线高清视频| 亚洲国产欧美在线一区| 在线天堂中文资源库| 国产精品久久久久成人av| 91老司机精品| 欧美黄色淫秽网站| 两人在一起打扑克的视频| 天堂8中文在线网| av天堂久久9| 欧美亚洲日本最大视频资源| 视频区图区小说| 午夜老司机福利片| 亚洲伊人久久精品综合| 欧美精品亚洲一区二区| 一本久久精品| 男人爽女人下面视频在线观看| 我要看黄色一级片免费的| 女人爽到高潮嗷嗷叫在线视频| 亚洲av综合色区一区| 国产精品国产三级国产专区5o| 一区福利在线观看| 亚洲精品久久成人aⅴ小说| 巨乳人妻的诱惑在线观看| 国产精品久久久av美女十八| 又粗又硬又长又爽又黄的视频| 久久久久久久久久久久大奶| 国产精品99久久99久久久不卡| av线在线观看网站| 免费不卡黄色视频| 午夜视频精品福利| 女性被躁到高潮视频| 欧美日韩亚洲国产一区二区在线观看 | 国产免费福利视频在线观看| 久久久精品国产亚洲av高清涩受| 亚洲,欧美精品.| 两个人免费观看高清视频| 免费在线观看日本一区| 亚洲国产欧美一区二区综合| 久久精品国产a三级三级三级| 18禁黄网站禁片午夜丰满| 日韩一卡2卡3卡4卡2021年| 久久热在线av| www日本在线高清视频| 亚洲国产精品国产精品| 欧美在线黄色| 日本91视频免费播放| 中文字幕亚洲精品专区| 国产成人系列免费观看| 国产成人一区二区在线| 国产高清不卡午夜福利| 久久久久久久久久久久大奶| 在线观看免费高清a一片| 成年人免费黄色播放视频| 精品亚洲成国产av| 日韩av免费高清视频| av天堂在线播放| www日本在线高清视频| 亚洲国产欧美网| 美女国产高潮福利片在线看| 美女视频免费永久观看网站| 巨乳人妻的诱惑在线观看| 亚洲人成网站在线观看播放| 十八禁高潮呻吟视频| 亚洲人成77777在线视频| 天堂俺去俺来也www色官网| 老司机靠b影院| 日韩电影二区| 国产欧美亚洲国产| 人成视频在线观看免费观看| 18在线观看网站| 美女脱内裤让男人舔精品视频| 嫁个100分男人电影在线观看 | 每晚都被弄得嗷嗷叫到高潮| 啦啦啦 在线观看视频| 国产国语露脸激情在线看| 亚洲av片天天在线观看| 国产又爽黄色视频| 亚洲精品日韩在线中文字幕| 青青草视频在线视频观看| 亚洲精品国产av蜜桃| 国产高清不卡午夜福利| 亚洲综合色网址| 97精品久久久久久久久久精品| 熟女av电影| 成人黄色视频免费在线看| 国产成人a∨麻豆精品| 欧美精品高潮呻吟av久久| 亚洲av片天天在线观看| 亚洲情色 制服丝袜| 飞空精品影院首页| 国产欧美日韩精品亚洲av| 深夜精品福利| 黄色怎么调成土黄色| 一本久久精品| 国产精品一区二区免费欧美 | 777久久人妻少妇嫩草av网站| 午夜日韩欧美国产| 亚洲伊人久久精品综合| 高潮久久久久久久久久久不卡| 十八禁人妻一区二区| 激情五月婷婷亚洲| 成人18禁高潮啪啪吃奶动态图| 久久久久国产一级毛片高清牌| 欧美日韩视频高清一区二区三区二| 手机成人av网站| 免费在线观看黄色视频的| 精品一品国产午夜福利视频| 久久天躁狠狠躁夜夜2o2o | 丁香六月天网| 男女之事视频高清在线观看 | 国产日韩欧美亚洲二区| 只有这里有精品99| 免费在线观看视频国产中文字幕亚洲 | 男女午夜视频在线观看| 这个男人来自地球电影免费观看| 国产欧美日韩综合在线一区二区| 午夜老司机福利片| 妹子高潮喷水视频| 欧美日韩精品网址| 久久精品久久久久久久性| 考比视频在线观看| 大型av网站在线播放| 在线观看免费午夜福利视频| 久久毛片免费看一区二区三区| 国产精品二区激情视频| 亚洲精品乱久久久久久| 欧美成人精品欧美一级黄| 成人亚洲精品一区在线观看| 成年美女黄网站色视频大全免费| 老司机在亚洲福利影院| 老熟女久久久| 亚洲国产精品999| 午夜免费观看性视频| 欧美黑人精品巨大| 最近最新中文字幕大全免费视频 | 亚洲精品第二区| 国产精品久久久av美女十八| 男女无遮挡免费网站观看| 多毛熟女@视频| 欧美在线黄色| 成年动漫av网址| 成人亚洲精品一区在线观看| 成人亚洲欧美一区二区av| 男人舔女人的私密视频| 大香蕉久久网| 亚洲av成人精品一二三区| 欧美人与性动交α欧美软件| 日韩电影二区| 麻豆av在线久日| 2018国产大陆天天弄谢| 国产精品一区二区精品视频观看| 精品国产一区二区三区四区第35| 肉色欧美久久久久久久蜜桃| 操美女的视频在线观看| 免费日韩欧美在线观看| 18禁观看日本| 亚洲欧美一区二区三区国产| 99久久综合免费| 国产成人精品在线电影| 无遮挡黄片免费观看| a级毛片黄视频| 国产在线观看jvid| 久久久久精品人妻al黑| 在线观看免费日韩欧美大片| 青青草视频在线视频观看| 高潮久久久久久久久久久不卡| 亚洲av日韩精品久久久久久密 | 一边摸一边抽搐一进一出视频| 一级毛片黄色毛片免费观看视频| 婷婷色麻豆天堂久久| 成人国产一区最新在线观看 | 制服人妻中文乱码| 午夜免费鲁丝| 亚洲国产精品一区二区三区在线| 一区二区av电影网| 亚洲,一卡二卡三卡| 纯流量卡能插随身wifi吗| 亚洲成人国产一区在线观看 | 美国免费a级毛片| 午夜av观看不卡| 国产极品粉嫩免费观看在线| 国产又色又爽无遮挡免| 97在线人人人人妻| 欧美黑人欧美精品刺激| 精品熟女少妇八av免费久了| 如日韩欧美国产精品一区二区三区| 黄片播放在线免费| 蜜桃国产av成人99| 国产主播在线观看一区二区 | 高清不卡的av网站| 亚洲国产精品成人久久小说| 午夜福利视频在线观看免费| 99精国产麻豆久久婷婷| 又粗又硬又长又爽又黄的视频| 侵犯人妻中文字幕一二三四区| 熟女av电影| 日本一区二区免费在线视频| netflix在线观看网站| 狠狠精品人妻久久久久久综合| 男女无遮挡免费网站观看| 国产福利在线免费观看视频| 国产亚洲午夜精品一区二区久久| 手机成人av网站| 日韩欧美一区视频在线观看| 成人亚洲精品一区在线观看| 久久毛片免费看一区二区三区| bbb黄色大片| 精品少妇久久久久久888优播| 狠狠精品人妻久久久久久综合| 一级毛片黄色毛片免费观看视频| www.精华液| 亚洲精品在线美女| 国产男女超爽视频在线观看| 大码成人一级视频| 秋霞在线观看毛片| 九草在线视频观看| 国产97色在线日韩免费| 亚洲国产精品成人久久小说| 男女床上黄色一级片免费看| 日本wwww免费看| 无限看片的www在线观看| 国产午夜精品一二区理论片| 麻豆国产av国片精品| 王馨瑶露胸无遮挡在线观看| 国产一区有黄有色的免费视频| 免费看十八禁软件| 国产高清国产精品国产三级| 中文字幕亚洲精品专区| 狠狠婷婷综合久久久久久88av| 男女边吃奶边做爰视频| 欧美 日韩 精品 国产| 成人亚洲欧美一区二区av| 国产精品欧美亚洲77777| 999精品在线视频| 丝袜美腿诱惑在线| 国产精品三级大全| 国产一级毛片在线| 狠狠婷婷综合久久久久久88av| 亚洲欧洲精品一区二区精品久久久| 丝袜在线中文字幕| 成人免费观看视频高清| av片东京热男人的天堂| 国产黄色视频一区二区在线观看| 亚洲精品美女久久av网站| 欧美精品一区二区免费开放| 青青草视频在线视频观看| 男人舔女人的私密视频| 国产有黄有色有爽视频| 国产精品一区二区免费欧美 | 一个人免费看片子| 国产欧美日韩一区二区三 | 国产精品成人在线| 成人国语在线视频| 欧美日韩av久久| 亚洲精品一区蜜桃| 亚洲成色77777| 亚洲专区国产一区二区| 国产成人一区二区在线| 好男人电影高清在线观看| 一本色道久久久久久精品综合| 午夜日韩欧美国产| 国产精品一国产av| 日本猛色少妇xxxxx猛交久久| 男人爽女人下面视频在线观看| 国产xxxxx性猛交| 18在线观看网站| 我的亚洲天堂| 免费在线观看影片大全网站 | 麻豆av在线久日| 丰满少妇做爰视频| 欧美日韩综合久久久久久| 国产av国产精品国产| 亚洲国产看品久久| 午夜影院在线不卡| 一二三四社区在线视频社区8| 悠悠久久av| 好男人电影高清在线观看| 丝袜美腿诱惑在线| 十分钟在线观看高清视频www| 最近手机中文字幕大全| 亚洲成人免费av在线播放| 天堂中文最新版在线下载| 丰满迷人的少妇在线观看| 成年av动漫网址| 亚洲欧美一区二区三区黑人| 精品久久久久久久毛片微露脸 | 欧美 日韩 精品 国产| 捣出白浆h1v1| 亚洲免费av在线视频| 国精品久久久久久国模美| 午夜免费成人在线视频| 久久久国产精品麻豆| 最新在线观看一区二区三区 | 中文字幕色久视频| 久久国产精品人妻蜜桃| 久热爱精品视频在线9| 免费看不卡的av| 中文字幕另类日韩欧美亚洲嫩草| 久久久久久亚洲精品国产蜜桃av| 国产片特级美女逼逼视频| 高清视频免费观看一区二区| 各种免费的搞黄视频| 另类精品久久| 人体艺术视频欧美日本| 免费av中文字幕在线| 乱人伦中国视频| 久久 成人 亚洲| 国产在线观看jvid| 视频区欧美日本亚洲| 最黄视频免费看| 国产精品.久久久| 亚洲av男天堂| 欧美日韩黄片免| 欧美精品人与动牲交sv欧美| 男女高潮啪啪啪动态图| 飞空精品影院首页| 99国产精品一区二区蜜桃av | 一区二区日韩欧美中文字幕| 亚洲精品日韩在线中文字幕| 看免费av毛片| 黄色 视频免费看| 人成视频在线观看免费观看| 高潮久久久久久久久久久不卡| av欧美777| 亚洲一码二码三码区别大吗| 久久99热这里只频精品6学生| avwww免费| 最黄视频免费看| 91九色精品人成在线观看| 男女床上黄色一级片免费看| 狂野欧美激情性xxxx| 亚洲国产欧美网| 国产av一区二区精品久久| 只有这里有精品99| 男人爽女人下面视频在线观看| 在线亚洲精品国产二区图片欧美| 国产亚洲欧美在线一区二区| 亚洲欧洲国产日韩| 亚洲精品中文字幕在线视频| 久久毛片免费看一区二区三区| 国产熟女午夜一区二区三区| 中文字幕高清在线视频| 国产精品国产av在线观看| 国产欧美日韩综合在线一区二区| 亚洲欧美精品综合一区二区三区| 国产在线免费精品| videos熟女内射| 亚洲精品第二区| 天天添夜夜摸| 中国国产av一级| 国产淫语在线视频| 国产精品秋霞免费鲁丝片| 日日摸夜夜添夜夜爱| 巨乳人妻的诱惑在线观看| 性少妇av在线| 久久国产精品影院| 国产在线免费精品| 天堂8中文在线网| 两个人免费观看高清视频| 男人操女人黄网站| 老司机影院成人| 大陆偷拍与自拍| 我的亚洲天堂| 性色av乱码一区二区三区2| 国产一区二区三区综合在线观看| 在线av久久热| 每晚都被弄得嗷嗷叫到高潮| 亚洲av日韩在线播放| 少妇的丰满在线观看| 午夜日韩欧美国产| 国产在视频线精品| tube8黄色片| 肉色欧美久久久久久久蜜桃| 色94色欧美一区二区| 中文精品一卡2卡3卡4更新| 每晚都被弄得嗷嗷叫到高潮| 男女免费视频国产| 热re99久久国产66热| 一区二区日韩欧美中文字幕| 亚洲欧美成人综合另类久久久| 国产片特级美女逼逼视频| 一级黄片播放器| 美女脱内裤让男人舔精品视频| 50天的宝宝边吃奶边哭怎么回事| 天天躁夜夜躁狠狠躁躁| 亚洲精品第二区| 精品少妇黑人巨大在线播放| √禁漫天堂资源中文www| www.自偷自拍.com| 亚洲av国产av综合av卡| 欧美日韩国产mv在线观看视频| 91成人精品电影| 青春草视频在线免费观看| 婷婷色麻豆天堂久久| 亚洲自偷自拍图片 自拍| 国产欧美日韩精品亚洲av| 美女扒开内裤让男人捅视频| 波多野结衣av一区二区av| av福利片在线| 久久久久国产精品人妻一区二区| 成在线人永久免费视频| 高潮久久久久久久久久久不卡| 国产不卡av网站在线观看| 亚洲国产av影院在线观看| 99热全是精品| 亚洲精品自拍成人| www.999成人在线观看| av在线老鸭窝| 免费高清在线观看视频在线观看| 少妇猛男粗大的猛烈进出视频| 免费在线观看完整版高清| 多毛熟女@视频| 国产真人三级小视频在线观看| 亚洲国产av新网站| 三上悠亚av全集在线观看| 一区二区三区精品91| 久热爱精品视频在线9| 国产精品久久久久久人妻精品电影 | 男人添女人高潮全过程视频| 欧美久久黑人一区二区| 国产男女超爽视频在线观看| 777久久人妻少妇嫩草av网站| 91国产中文字幕| 久久久久久免费高清国产稀缺| 视频在线观看一区二区三区| 亚洲精品乱久久久久久| 久久人人爽av亚洲精品天堂| 亚洲av在线观看美女高潮| 免费人妻精品一区二区三区视频| 手机成人av网站| 美女大奶头黄色视频| 久久国产精品影院| 国产黄色免费在线视频| 不卡av一区二区三区| 成在线人永久免费视频| 亚洲精品av麻豆狂野| 久久天堂一区二区三区四区| 婷婷丁香在线五月| 无遮挡黄片免费观看| 性少妇av在线| 亚洲国产av新网站| 国产黄色视频一区二区在线观看| 中文字幕人妻丝袜制服| 国产免费一区二区三区四区乱码| 女人久久www免费人成看片| 黄色毛片三级朝国网站| 国产一区二区激情短视频 | 制服人妻中文乱码| 国产高清不卡午夜福利| 精品少妇一区二区三区视频日本电影| 午夜老司机福利片| 午夜福利一区二区在线看| 一区二区三区四区激情视频| 国产成人精品无人区| 婷婷成人精品国产| 777米奇影视久久| 99国产精品免费福利视频| 国语对白做爰xxxⅹ性视频网站| 一级黄片播放器| 蜜桃在线观看..| av国产精品久久久久影院| svipshipincom国产片| 久久毛片免费看一区二区三区| 99国产精品99久久久久| 久久久亚洲精品成人影院| 18禁观看日本| 黑人猛操日本美女一级片| 九草在线视频观看| 老司机在亚洲福利影院| 黄色片一级片一级黄色片| 精品国产一区二区三区四区第35| av国产精品久久久久影院| 高清黄色对白视频在线免费看| 丝袜在线中文字幕| 高清av免费在线| 九草在线视频观看| 大片免费播放器 马上看| 色网站视频免费| 亚洲精品日韩在线中文字幕| 人人澡人人妻人| 欧美日本中文国产一区发布| 天堂8中文在线网| 欧美黄色片欧美黄色片| 中国国产av一级| 久久毛片免费看一区二区三区| 欧美中文综合在线视频| 精品视频人人做人人爽| 亚洲国产中文字幕在线视频| 在线观看人妻少妇| 美女中出高潮动态图| av片东京热男人的天堂| 好男人电影高清在线观看| 后天国语完整版免费观看| 蜜桃国产av成人99| 90打野战视频偷拍视频| 中文欧美无线码| 欧美成人精品欧美一级黄| 操出白浆在线播放| 午夜福利视频在线观看免费| 欧美中文综合在线视频| 久久亚洲国产成人精品v| 两个人看的免费小视频| www.999成人在线观看| 国产av国产精品国产| 久久女婷五月综合色啪小说| 亚洲七黄色美女视频| 高清不卡的av网站| 黄色一级大片看看| 在线观看免费高清a一片| 国产av精品麻豆| 婷婷色综合www| www.999成人在线观看| 亚洲国产精品一区三区| 天天躁日日躁夜夜躁夜夜| www.999成人在线观看| 男女高潮啪啪啪动态图| 久久精品aⅴ一区二区三区四区| 欧美中文综合在线视频| 国产精品香港三级国产av潘金莲 | 男人操女人黄网站| 热99国产精品久久久久久7| 最近最新中文字幕大全免费视频 | 丝袜美腿诱惑在线| 青青草视频在线视频观看| 亚洲精品一二三| 丁香六月欧美| 亚洲欧美一区二区三区黑人| 亚洲自偷自拍图片 自拍| 亚洲av日韩在线播放| 欧美日韩精品网址| 欧美成狂野欧美在线观看| 乱人伦中国视频| 婷婷丁香在线五月| 久久av网站| 两个人看的免费小视频| 欧美激情 高清一区二区三区| 日本午夜av视频| 色视频在线一区二区三区| 高清视频免费观看一区二区| 国产成人a∨麻豆精品| 大香蕉久久网| 国产精品亚洲av一区麻豆| 欧美精品高潮呻吟av久久| 免费av中文字幕在线| 中文字幕人妻丝袜一区二区| 国精品久久久久久国模美| 狠狠婷婷综合久久久久久88av| 欧美精品高潮呻吟av久久|