• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    論人工智能侵權(quán)中責(zé)任主體的認(rèn)定與責(zé)任規(guī)制路徑

    2023-01-02 01:50:16蔡雨恬
    中阿科技論壇(中英文) 2022年9期
    關(guān)鍵詞:銷售者生產(chǎn)者設(shè)計(jì)者

    蔡雨恬

    (華東政法大學(xué)法律學(xué)院,上海 201100)

    1 問(wèn)題的提出

    隨著新一輪產(chǎn)業(yè)革命的到來(lái),人工智能逐漸深入人們生活中的方方面面。自動(dòng)駕駛、城市大腦、智慧醫(yī)療、智慧教育等各領(lǐng)域的產(chǎn)業(yè)化落地案例逐漸增多,更凸顯了人工智能在推動(dòng)經(jīng)濟(jì)社會(huì)發(fā)展方面所發(fā)揮的重要驅(qū)動(dòng)力。例如,近年來(lái),自動(dòng)駕駛汽車成為人工智能領(lǐng)域的熱點(diǎn)話題:2020年12月16日,天津市首條采用GOA4級(jí)全自動(dòng)運(yùn)行的無(wú)人駕駛地鐵線路開(kāi)始施工[1]。2021年11月25日,北京正式開(kāi)放國(guó)內(nèi)首個(gè)自動(dòng)駕駛出行服務(wù)商業(yè)化試點(diǎn),百度Apollo和小馬智行成為首批獲許開(kāi)展商業(yè)化試點(diǎn)服務(wù)的企業(yè)。這標(biāo)志著國(guó)內(nèi)自動(dòng)駕駛領(lǐng)域從測(cè)試示范邁入商業(yè)化試點(diǎn)探索新階段[2]。2022年4月28日,北京又正式發(fā)布了《北京市智能網(wǎng)聯(lián)汽車政策先行區(qū)乘用車無(wú)人化道路測(cè)試與示范應(yīng)用管理實(shí)施細(xì)則(試行)》,在國(guó)內(nèi)首開(kāi)乘用車無(wú)人化運(yùn)營(yíng)試點(diǎn)。2022年8月1日,《深圳經(jīng)濟(jì)特區(qū)智能網(wǎng)聯(lián)汽車管理?xiàng)l例》開(kāi)始施行,該條例明確規(guī)定“完全自動(dòng)駕駛的智能網(wǎng)聯(lián)汽車可以不具有人工駕駛模式和相應(yīng)裝置,可以不配備駕駛?cè)?。但是,無(wú)駕駛?cè)说耐耆詣?dòng)駕駛智能網(wǎng)聯(lián)汽車只能在市公安機(jī)關(guān)交通管理部門劃定的區(qū)域、路段行駛”……

    目前,人工智能技術(shù)逐漸廣泛運(yùn)用于人類的日常生活中,我們不可避免地遇到各類涉及人工智能的侵權(quán)案件,例如,2016年的深圳高交會(huì)機(jī)器人傷人事件[3],雖然事后查明機(jī)器人失控的真相為人類操作不當(dāng),但關(guān)于“機(jī)器人具備一定的殺傷力”的猜測(cè)也引發(fā)了網(wǎng)民的熱議。而在自動(dòng)駕駛汽車領(lǐng)域,相關(guān)的侵權(quán)案件更是層出不窮,例如2018年3月18日在美國(guó)亞利桑那州發(fā)生Uber自動(dòng)駕駛汽車撞人致死案[4]。不難看出,作為開(kāi)發(fā)人工智能技術(shù)的人類,一方面享受著人工智能創(chuàng)造的便利條件,另一方面也承受著它可能帶來(lái)的風(fēng)險(xiǎn)。而伴隨這些侵權(quán)案件一同出現(xiàn)的,是關(guān)乎人類利益,關(guān)乎法律理論與邏輯的一個(gè)難題,即:面對(duì)類似案件時(shí),應(yīng)當(dāng)如何對(duì)侵權(quán)主體及其應(yīng)承擔(dān)的責(zé)任進(jìn)行規(guī)制。

    本文將從人工智能的定義出發(fā),概述人工智能產(chǎn)品的特殊性以及認(rèn)定該特殊性的意義;基于此種特殊性,再對(duì)人工智能侵權(quán)的案件進(jìn)行分類,分別分析不同類型的侵權(quán)案件中可能存在的主體認(rèn)定的困境,尤其針對(duì)具有人工智能特殊性的侵權(quán)案件進(jìn)行人工智能非主體地位的論證;最后針對(duì)這些難題,分別提出相應(yīng)的規(guī)制路徑。

    2 人工智能概述

    2.1 人工智能的概念

    “人工智能”這個(gè)概念最早出現(xiàn)在1956年在美國(guó)達(dá)特茅斯大學(xué)召開(kāi)的研討會(huì),約翰·麥卡錫、馬文·閔斯基、克勞德·香農(nóng)、艾倫·紐厄爾、赫伯特·西蒙等科學(xué)家聚在一起,討論用機(jī)器來(lái)模仿人類學(xué)習(xí)以及其他方面的智能。該研討會(huì)足足開(kāi)了兩個(gè)月的時(shí)間,雖然大家沒(méi)有達(dá)成普遍的共識(shí),但是卻為會(huì)議討論的內(nèi)容起了一個(gè)名字:人工智能。最初,約翰·麥卡錫給“人工智能”下的定義是“制造智能機(jī)器的科學(xué)與工程”。而經(jīng)過(guò)幾十年的發(fā)展,有人認(rèn)為,人工智能的范圍不再局限于制造“智能機(jī)” (intelligence machine),它更像是讓機(jī)器模擬人腦自主學(xué)習(xí),更確切的說(shuō),是一個(gè)制造“機(jī)器人”①(robot)的過(guò)程[5]。

    隨著科學(xué)技術(shù)的發(fā)展,人工智能也日益成熟。筆者認(rèn)為,人工智能就是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的技術(shù)科學(xué),旨在了解智能的實(shí)質(zhì),并生產(chǎn)出新的能與人類智能相似的方式作出反應(yīng)的智能機(jī)器。人工智能的研究領(lǐng)域包括智能機(jī)器人、語(yǔ)言識(shí)別、圖像識(shí)別、自然語(yǔ)言處理、問(wèn)題解決和演繹推理、學(xué)習(xí)和歸納過(guò)程、知識(shí)表征和專家系統(tǒng)等。

    2.2 人工智能的分類

    從發(fā)展程度的角度,人工智能可以分為三種類型:弱人工智能、強(qiáng)人工智能、超級(jí)人工智能[6]。事實(shí)上,真正能體現(xiàn)人工智能產(chǎn)品特點(diǎn)的應(yīng)當(dāng)是所謂的強(qiáng)人工智能、超級(jí)人工智能,即能夠像人類一樣完成智力型任務(wù),甚至在有些方面超過(guò)人類,并擁有自己的認(rèn)知狀態(tài)和“心靈”[7]。

    2.3 人工智能產(chǎn)品的分類

    在借鑒人工智能分類的基礎(chǔ)上,可以把人工智能產(chǎn)品分為兩類:

    第一類是工具型人工智能產(chǎn)品,即所謂的弱人工智能產(chǎn)品,現(xiàn)實(shí)中所出現(xiàn)的人工智能產(chǎn)品,絕大部分都是弱人工智能產(chǎn)品,如智能手環(huán)、蘋(píng)果公司開(kāi)發(fā)的Siri、掃地機(jī)器人等。

    第二類是認(rèn)知型人工智能產(chǎn)品,此種產(chǎn)品不再是一個(gè)簡(jiǎn)單的工具,而是具有“自主認(rèn)知性”②。

    2.4 人工智能產(chǎn)品和普通產(chǎn)品的區(qū)別

    在將人工智能產(chǎn)品分為工具型和認(rèn)知型的基礎(chǔ)上,人工智能產(chǎn)品和普通產(chǎn)品有以下區(qū)別。

    第一,工具型人工智能產(chǎn)品本質(zhì)上和普通產(chǎn)品并無(wú)區(qū)別,在功能上和性質(zhì)上,兩者都高度相似,都屬于“他人設(shè)計(jì)、生產(chǎn)出來(lái)的產(chǎn)品”[8]。因此,在涉及侵權(quán)責(zé)任認(rèn)定時(shí),大多數(shù)做法是直接適用侵權(quán)責(zé)任法中產(chǎn)品責(zé)任的相關(guān)規(guī)定,即對(duì)產(chǎn)品的制造者以及銷售者適用無(wú)過(guò)錯(cuò)責(zé)任,在舉證責(zé)任上,由產(chǎn)品制造者和銷售者對(duì)免責(zé)事由承擔(dān)舉證證明責(zé)任。

    第二,認(rèn)知型人工智能產(chǎn)品并非簡(jiǎn)單的工具和人體的延伸,它具備某種程度的“認(rèn)知力”,此時(shí)就會(huì)涉及與“認(rèn)知力”相關(guān)的問(wèn)題,例如是否應(yīng)當(dāng)承認(rèn)認(rèn)知型人工智能產(chǎn)品的民事主體地位,以及其他侵權(quán)責(zé)任主體的認(rèn)定問(wèn)題。

    3 人工智能侵權(quán)案件主體認(rèn)定的困境

    在界定人工智能侵權(quán)案件的主體之前,還必須先完成一項(xiàng)工作,即對(duì)人工智能侵權(quán)案件進(jìn)行分類。不同類型的侵權(quán)案件對(duì)應(yīng)著各自主體認(rèn)定的難題。

    3.1 人工智能侵權(quán)案件的分類

    有學(xué)者認(rèn)為,人工智能侵權(quán)案件可以分為兩種:由質(zhì)量問(wèn)題引發(fā)的人工智能侵權(quán);使用不當(dāng)引發(fā)的人工智能侵權(quán)[9]。這兩種類型的侵權(quán)案件的共同點(diǎn)在于,它們都是在對(duì)人工智能“非主體化”的前提下,依據(jù)引起侵權(quán)的原因進(jìn)行劃分,由此,可以分別通過(guò)適用產(chǎn)品責(zé)任、過(guò)錯(cuò)責(zé)任進(jìn)行規(guī)制。

    然而,這種分類模式不能很好地反映出人工智能的特殊性,即擁有一定自主學(xué)習(xí)和認(rèn)知能力的特征。因此,可以考慮根據(jù)人工智能產(chǎn)品的分類,將人工智能類侵權(quán)案件分為“一般侵權(quán)案件”和“特殊侵權(quán)案件”。

    “一般侵權(quán)案件”,既包括質(zhì)量問(wèn)題引發(fā)的侵權(quán),也包括使用不當(dāng)引發(fā)的侵權(quán)。“特殊侵權(quán)案件”,即人工智能在自主學(xué)習(xí)的過(guò)程中,自行引發(fā)的,屬于設(shè)計(jì)者非可預(yù)見(jiàn)的風(fēng)險(xiǎn)范圍內(nèi)的侵權(quán)案件。

    3.2 一般侵權(quán)案件中侵權(quán)主體認(rèn)定的難題

    對(duì)于質(zhì)量問(wèn)題引發(fā)的侵權(quán),此類情形下的人工智能產(chǎn)品為“工具型人工智能”,屬于現(xiàn)代信息技術(shù)支持下人類智慧的結(jié)晶,本質(zhì)上屬于一種高科技產(chǎn)品[10],因此能夠直接被納入侵權(quán)責(zé)任法中產(chǎn)品責(zé)任的范疇。也就是說(shuō),如果適用產(chǎn)品責(zé)任的一般規(guī)定,那么僅涉及“生產(chǎn)者”和“銷售者”的責(zé)任。但是,人工智能產(chǎn)品畢竟屬于高科技產(chǎn)品,其生產(chǎn)者往往包括相對(duì)獨(dú)立的設(shè)計(jì)者和制造者,所以在確認(rèn)人工智能產(chǎn)品的質(zhì)量引發(fā)侵權(quán)行為之后,還需進(jìn)一步明確究竟是單純因?yàn)橹圃斓馁|(zhì)量不合格,還是因?yàn)樵O(shè)計(jì)上的不合理。然而,如何在設(shè)計(jì)者和制造者之間進(jìn)行責(zé)任分配,在現(xiàn)行法律中尚無(wú)明確規(guī)定。

    對(duì)于使用不當(dāng)引發(fā)的侵權(quán),實(shí)際上并不屬于單純的人工智能侵權(quán),因?yàn)樵趯?dǎo)致侵權(quán)的過(guò)程中,明顯有相關(guān)操作人員(自然人)的介入,而侵權(quán)者實(shí)際上就是人工智能產(chǎn)品的使用者,也能夠直接適用侵權(quán)責(zé)任法中的相關(guān)規(guī)定。因此,這種情形的人工智能侵權(quán),不在本文的討論范圍之內(nèi)。

    3.3 特殊侵權(quán)案件中涉及侵權(quán)責(zé)任承擔(dān)的難題

    3.3.1 特殊性侵權(quán)案件中的人工智能是否具備主體地位

    如果說(shuō)人工智能的一般侵權(quán)案件基本能通過(guò)適用侵權(quán)責(zé)任法中的相關(guān)規(guī)定進(jìn)行規(guī)制,在判斷真正責(zé)任人時(shí),已經(jīng)能夠確定大致的主體范圍,只不過(guò)有可能會(huì)在“制造者”和“設(shè)計(jì)者”之間徘徊不定,存在瑕疵;那么在人工智能的特殊侵權(quán)案件中,這種瑕疵被明顯放大了,責(zé)任主體的范圍難以確定。具體來(lái)說(shuō),就是是否承認(rèn)認(rèn)知型人工智能的民事主體地位的問(wèn)題。

    3.3.2 特殊侵權(quán)案件中人工智能的非主體地位

    學(xué)術(shù)界關(guān)于特殊侵權(quán)案件中人工智能是否具有主體地位的討論可以形成三派:否定說(shuō)、肯定說(shuō)、折中說(shuō)。否定說(shuō)認(rèn)為,即便是有自主認(rèn)知能力的人工智能,只能在少數(shù)層面協(xié)助人類的社會(huì)活動(dòng),而難以從根本上改變?nèi)祟愒谏鐣?huì)活動(dòng)中的主導(dǎo)地位,因?yàn)樗皇侨祟?,而是人造機(jī)器。肯定說(shuō)提出一種“法律人格擬制”的方法,借此讓智能機(jī)器人享有法律關(guān)系上的主體資格,使之參與人類的社會(huì)生活[11]。折中說(shuō)提出所謂的“電子人格說(shuō)”③,認(rèn)為基于折中特殊性,應(yīng)當(dāng)在一定范圍內(nèi)承認(rèn)認(rèn)知型人工智能的法律人格。筆者認(rèn)為,宜采取否定說(shuō),不承認(rèn)認(rèn)知型人工智能的民事主體地位。

    根據(jù)判斷事物性質(zhì)的一般邏輯,如果我們要承認(rèn)另一類物種成為民事法律關(guān)系的主體,首先就應(yīng)當(dāng)將其和常規(guī)的民事主體(通常為自然人)進(jìn)行對(duì)比,根據(jù)比較的結(jié)果判斷其是否應(yīng)當(dāng)具備民事主體地位。對(duì)此,楊立新教授從自然人人格的三個(gè)構(gòu)成要素出發(fā)[12],分別對(duì)比三個(gè)方面:生物學(xué)要素中的人類基因、人體、人腦,心理學(xué)要素中為人所擁有的獨(dú)立意志,以及社會(huì)學(xué)要素中的互動(dòng)且獨(dú)立的社會(huì)角色。最后比較得出,人工智能首先不具有人體和人腦的要素,其次認(rèn)知型人工智能可以在一定程度上擁有獨(dú)立意志的要素,最后承認(rèn)隨著科技的發(fā)展,人工智能也會(huì)具備互動(dòng)且獨(dú)立的社會(huì)角色。雖然最后楊立新教授認(rèn)為應(yīng)當(dāng)把人工智能認(rèn)定為“人工類人格”,但歸根結(jié)底,“人工類人格”依然不是人格,不具備民事主體地位,因此不可能享有民事主體的權(quán)利與義務(wù),更毋庸論及獨(dú)立承擔(dān)民事法律責(zé)任。

    退一萬(wàn)步來(lái)講,就算認(rèn)可其主體地位,這對(duì)于研究侵權(quán)責(zé)任的具體承擔(dān)也沒(méi)有實(shí)質(zhì)意義,因?yàn)樵诎l(fā)生一個(gè)侵權(quán)行為時(shí),我們沒(méi)有理由僅對(duì)引起這個(gè)侵權(quán)結(jié)果發(fā)生的機(jī)器人施加諸如“銷毀”之類的懲罰,而直接免去機(jī)器人身后的實(shí)際控制者或設(shè)計(jì)者等自然人的責(zé)任,那么既然無(wú)論是機(jī)器人,還是與之相關(guān)的自然人,都要承擔(dān)侵權(quán)責(zé)任,那么為什么還要以違背法理和邏輯為代價(jià)去認(rèn)可人工智能的主體地位呢?

    當(dāng)然,除了通過(guò)比較三大人格要素,持肯定說(shuō)的學(xué)者還認(rèn)為可以從“法律面前人人平等”的基本原則、社會(huì)關(guān)系穩(wěn)定的現(xiàn)實(shí)需要、侵權(quán)糾紛的訴訟目標(biāo)、技術(shù)可能性等方面進(jìn)行邏輯分析[13]。但這些思路與前述三大要素的思路相比,更易被反對(duì)方找到漏洞,鑒于篇幅限制,在此不做過(guò)多說(shuō)明。

    3.3.3 認(rèn)知型人工智能非主體地位造就的難題

    如前文所述,認(rèn)知型人工智能不具備民事主體地位,也不能作為一個(gè)獨(dú)立的侵權(quán)主體去承擔(dān)責(zé)任。因此,特殊性侵權(quán)案件的責(zé)任人應(yīng)該是人工智能背后的自然人或組織。

    需要特別注意的是,此時(shí)不能和一般性侵權(quán)案件中的質(zhì)量問(wèn)題一樣簡(jiǎn)單適用產(chǎn)品責(zé)任、無(wú)過(guò)錯(cuò)責(zé)任。不同于一般性侵權(quán)案件,在此種特殊性侵權(quán)案件中,認(rèn)知型人工智能在一定程度上具有能和人類相提并論的認(rèn)知和學(xué)習(xí)能力,對(duì)于設(shè)計(jì)者和制造者而言,可能存在一個(gè)非人力所能預(yù)料和控制的風(fēng)險(xiǎn),而這種風(fēng)險(xiǎn)的來(lái)源就是認(rèn)知型人工智能強(qiáng)大的自我意志。因此,自然人是否需要像產(chǎn)品責(zé)任中的責(zé)任人一樣承擔(dān)無(wú)過(guò)錯(cuò)責(zé)任,是一個(gè)道德和法律雙重視域下的難題,這就是特殊性侵權(quán)案件中存在的問(wèn)題。

    4 人工智能侵權(quán)責(zé)任主體的規(guī)制路徑探析

    通過(guò)上述對(duì)人工智能侵權(quán)主體認(rèn)定及責(zé)任承擔(dān)中的問(wèn)題分析,以及人工智能不具備民事主體地位的論證,我們不難發(fā)現(xiàn),首先,無(wú)論是工具型人工智能還是認(rèn)知型人工智能,都不具備民事主體地位,更不能獨(dú)立承擔(dān)侵權(quán)責(zé)任。其次,兩者最大的區(qū)別在于,在一般侵權(quán)案件中,基本能適用現(xiàn)有產(chǎn)品責(zé)任與侵權(quán)責(zé)任框架,要求生產(chǎn)者承擔(dān)產(chǎn)品責(zé)任或由用戶承擔(dān)侵權(quán)責(zé)任[14];在特殊侵權(quán)案件中,雖然也屬于產(chǎn)品責(zé)任,但在主體的可歸責(zé)性上,考慮到人工智能的認(rèn)知和學(xué)習(xí)能力,不應(yīng)對(duì)人工智能無(wú)過(guò)錯(cuò)責(zé)任全盤(pán)接受。

    4.1 一般侵權(quán)案件中主體認(rèn)定的規(guī)制路徑分析

    在一般侵權(quán)案件中,涉及侵權(quán)的是工具型人工智能,此點(diǎn)在前文中已有提及。需要特別說(shuō)明的是,一般性往往寓于特殊性之中,因此,一般侵權(quán)案件中的規(guī)制路徑同樣適用于特殊侵權(quán)案件。

    一般侵權(quán)案件主要由人工智能產(chǎn)品的質(zhì)量問(wèn)題引起,并且基于產(chǎn)品屬性,在此類案件的解決過(guò)程中,首先應(yīng)當(dāng)考慮的是我國(guó)法律體系中規(guī)定的產(chǎn)品責(zé)任?!吨腥A人民共和國(guó)民法典》第一千二百零二條至第一千二百零七條規(guī)定了所謂的“產(chǎn)品責(zé)任”,其中,第一千二百零二條所稱產(chǎn)品責(zé)任,指產(chǎn)品存在缺陷發(fā)生侵權(quán),造成他人損害,生產(chǎn)者應(yīng)當(dāng)承擔(dān)責(zé)任,其中的“缺陷”即指產(chǎn)品質(zhì)量達(dá)到危害人民生命和財(cái)產(chǎn)安全的程度,此時(shí)生產(chǎn)者責(zé)任為無(wú)過(guò)錯(cuò)責(zé)任④;第一千二百零三條緊接著規(guī)定產(chǎn)品的生產(chǎn)者和銷售者的不真正連帶責(zé)任⑤;第一千二百零四條涉及的是由運(yùn)輸者、倉(cāng)儲(chǔ)者等第三人的過(guò)錯(cuò)導(dǎo)致侵權(quán)的不真正連帶責(zé)任⑥。

    而隨著人工智能侵權(quán)案件的出現(xiàn),設(shè)計(jì)者的地位得到了凸顯,人工智能作出的行為選擇所依據(jù)的程序及方案都是由設(shè)計(jì)者完成的,對(duì)制造者而言,僅僅依據(jù)設(shè)計(jì)者的要求制造出人工智能這一特殊產(chǎn)品。在比較法上,也有立法及實(shí)務(wù)觀點(diǎn)認(rèn)為設(shè)計(jì)者應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任。例如,在立法上,《美國(guó)侵權(quán)法第三次重述:產(chǎn)品責(zé)任》中對(duì)設(shè)計(jì)者所存在的設(shè)計(jì)缺陷的判斷標(biāo)準(zhǔn)進(jìn)行了修改,這說(shuō)明設(shè)計(jì)者責(zé)任在產(chǎn)品責(zé)任中具備較為重要的地位[15];韓國(guó)的《機(jī)器人基本法案》也在其“機(jī)器人倫理規(guī)范”這一章節(jié)中對(duì)機(jī)器人設(shè)計(jì)者需要遵守的倫理原則作出了規(guī)定。在實(shí)務(wù)中,1984年,美國(guó)空軍起訴“韋伯飛機(jī)公司”,2001年Air Evex航空公司與塞斯納飛機(jī)公司相撞等案件中,法院均判定設(shè)計(jì)者須承擔(dān)相應(yīng)的責(zé)任。我國(guó)《建設(shè)工程質(zhì)量管理?xiàng)l例》 第三條明確將設(shè)計(jì)單位納入工程質(zhì)量的責(zé)任主體范疇,并在第二十四條規(guī)定了“設(shè)計(jì)單位應(yīng)當(dāng)參與建設(shè)工程質(zhì)量事故分析,并對(duì)因設(shè)計(jì)造成的質(zhì)量事故,提出相應(yīng)的技術(shù)處理方案。”《最高人民法院關(guān)于審理人身?yè)p害賠償案件適用法律若干問(wèn)題的解釋》第十六條第二款明確規(guī)定“因設(shè)計(jì)、施工缺陷造成損害的,由所有人、管理人與設(shè)計(jì)、施工者承擔(dān)連帶責(zé)任”。這說(shuō)明,設(shè)計(jì)者責(zé)任有一定的解釋空間,但《中華人民共和國(guó)民法典》并沒(méi)有將產(chǎn)品的設(shè)計(jì)者列為無(wú)過(guò)錯(cuò)責(zé)任的承擔(dān)主體,這當(dāng)然受最初立法時(shí)社會(huì)背景的影響,可是,如果工具型人工智能產(chǎn)品因?yàn)樵O(shè)計(jì)上有缺陷危害消費(fèi)者的人身安全,按照現(xiàn)行法律法規(guī),我們也只能認(rèn)為產(chǎn)品的設(shè)計(jì)者屬于第一千二百零四條中的“第三人”,讓設(shè)計(jì)者按照其過(guò)錯(cuò)承擔(dān)責(zé)任。因此,在涉及責(zé)任承擔(dān)的主體上,產(chǎn)品的制造者和設(shè)計(jì)者應(yīng)當(dāng)有所區(qū)分,筆者認(rèn)為,可以選擇以下兩條路徑。

    第一條路徑,在將來(lái)訂立司法解釋時(shí),對(duì)《中華人民共和國(guó)民法典》第一千二百零二條的“生產(chǎn)者”進(jìn)行擴(kuò)大解釋,即包括人工智能產(chǎn)品的設(shè)計(jì)者,但是不能被擴(kuò)大解釋為包括所有類型產(chǎn)品的設(shè)計(jì)者,因?yàn)槲覀儾荒苤竿粋€(gè)毫無(wú)過(guò)錯(cuò)的自行車的設(shè)計(jì)者為生產(chǎn)過(guò)程中的生產(chǎn)問(wèn)題擔(dān)責(zé)。第二條路徑,可以考慮直接對(duì)《中華人民共和國(guó)民法典》第一千二百零二條的條文進(jìn)行增補(bǔ),構(gòu)建具體人工智能侵權(quán)責(zé)任主體識(shí)別程序,具體而言,在區(qū)分設(shè)計(jì)者責(zé)任和制造者責(zé)任時(shí),在設(shè)計(jì)者不能提供證據(jù)證明相關(guān)人工智能的侵權(quán)行為是由制造質(zhì)量問(wèn)題導(dǎo)致的情況下,應(yīng)將人工智能的設(shè)計(jì)者歸于侵權(quán)責(zé)任主體。

    4.2 特殊侵權(quán)案件中的責(zé)任主體及規(guī)制路徑分析

    第一,須要予以說(shuō)明的是,本文認(rèn)為不應(yīng)承認(rèn)特殊侵權(quán)案件中的認(rèn)知型人工智能的侵權(quán)主體地位。第二,特殊侵權(quán)案件是否也應(yīng)當(dāng)適用產(chǎn)品責(zé)任中的無(wú)過(guò)錯(cuò)責(zé)任來(lái)進(jìn)行規(guī)制。第三,在特殊類型的侵權(quán)案件中,產(chǎn)品設(shè)計(jì)者的責(zé)任也應(yīng)和一般性侵權(quán)一樣予以補(bǔ)充。除此之外,科技的發(fā)展讓人工智能完全獨(dú)立自主成為可能,而這也使得社會(huì)上潛在的消費(fèi)者和使用者可能處于更大的人身傷害和財(cái)產(chǎn)損失的風(fēng)險(xiǎn)之中。因此,除了產(chǎn)品設(shè)計(jì)者責(zé)任,是否還需要補(bǔ)充其他的責(zé)任主體,提供更多可能的救濟(jì)途徑。本小節(jié)主要對(duì)上述提及的第二、三點(diǎn)進(jìn)行簡(jiǎn)要說(shuō)明。

    4.2.1 重新構(gòu)建人工智能侵權(quán)的歸責(zé)原則

    普通的產(chǎn)品責(zé)任由侵權(quán)行為、危害結(jié)果、因果關(guān)系構(gòu)成,產(chǎn)品的生產(chǎn)者和銷售者承擔(dān)無(wú)過(guò)錯(cuò)責(zé)任,按照“誰(shuí)主張、誰(shuí)舉證”的原則,由被侵權(quán)人對(duì)產(chǎn)品缺陷、損害結(jié)果、因果關(guān)系承擔(dān)證明責(zé)任,而根據(jù)《中華人民共和國(guó)產(chǎn)品質(zhì)量法》第四十一條,生產(chǎn)者和銷售者對(duì)免責(zé)事由承擔(dān)舉證證明責(zé)任⑦。

    由于具備認(rèn)知能力的人工智能產(chǎn)品的特殊性,傳統(tǒng)產(chǎn)品責(zé)任中的無(wú)過(guò)錯(cuò)受到了挑戰(zhàn),這種挑戰(zhàn)具體表現(xiàn)為兩方面:其一,對(duì)人工智能系統(tǒng)層面缺陷的證明變得更為復(fù)雜;其二,事故的發(fā)生可能無(wú)法合理歸因于人工智能的制造者或設(shè)計(jì)者[16],此時(shí)就需要對(duì)既有產(chǎn)品歸責(zé)原則能否在制造者、設(shè)計(jì)者和消費(fèi)者之間實(shí)現(xiàn)利益權(quán)衡進(jìn)行審視。對(duì)此,有反對(duì)者認(rèn)為人們根本無(wú)須為尚未出現(xiàn)的情形做無(wú)謂的擔(dān)憂,認(rèn)為人工智能打破設(shè)定的程序而進(jìn)行自主“思考”,依然屬于設(shè)計(jì)者理應(yīng)承擔(dān)的責(zé)任。但本文則認(rèn)為應(yīng)當(dāng)考慮人工智能自主思考的可能性,法律是具備可預(yù)見(jiàn)性的,因此我們不能因?yàn)槟撤N情形尚不具備可能性,而認(rèn)為對(duì)人工智能侵權(quán)歸責(zé)原則的反思沒(méi)有客觀事實(shí)依據(jù)。如果簡(jiǎn)單適用普通產(chǎn)品責(zé)任中的無(wú)過(guò)錯(cuò)原則,即便生產(chǎn)者、設(shè)計(jì)者等責(zé)任主體有免責(zé)事由的舉證責(zé)任,但責(zé)任主體以尚且不能發(fā)現(xiàn)缺陷為由主張抗辯是非常不容易的[17],也就是說(shuō),在連設(shè)計(jì)者都無(wú)法預(yù)料到的損害后果的情形中,把責(zé)任全部推給設(shè)計(jì)者、生產(chǎn)者,并不利于貫徹風(fēng)險(xiǎn)分配的原則。反向思考,倘若完全不考慮設(shè)計(jì)者對(duì)于損害后果是否具有可預(yù)見(jiàn)性,而完全以結(jié)果為導(dǎo)向,只要出現(xiàn)損害后果,生產(chǎn)者與設(shè)計(jì)者均需承擔(dān)侵權(quán)責(zé)任,那么生產(chǎn)、設(shè)計(jì)者的創(chuàng)造積極性是否還能維持下去?這些反向思考的情形都是需要被納入考量的。

    因此,在承認(rèn)設(shè)計(jì)者責(zé)任的前提下,通過(guò)利益權(quán)衡,本文認(rèn)為,需要對(duì)責(zé)任主體承擔(dān)責(zé)任的歸責(zé)原則及舉證責(zé)任進(jìn)行改善。具體而言,可以將過(guò)錯(cuò)推定適用于特殊型人工智能侵權(quán)案件,由責(zé)任主體對(duì)其不存在過(guò)錯(cuò)承擔(dān)舉證證明責(zé)任。一方面,受侵害者依然無(wú)須為設(shè)計(jì)者、生產(chǎn)者等人是否存在過(guò)錯(cuò)承擔(dān)證明責(zé)任;另一方面,不同于無(wú)過(guò)錯(cuò)責(zé)任中在對(duì)不幸損害進(jìn)行合理分配,過(guò)錯(cuò)推定作為過(guò)錯(cuò)責(zé)任中的一種特殊情形,具有一般民事責(zé)任的教育、懲罰性質(zhì),也加大了加害人的注意義務(wù)。當(dāng)然,此時(shí)會(huì)存在一種質(zhì)疑,即在設(shè)計(jì)者、生產(chǎn)者、銷售者等人都不具有可預(yù)見(jiàn)性與可譴責(zé)性時(shí),受侵害人事實(shí)上的確因?yàn)椴豢蓺w責(zé)于其自身的原因受到了損害,此時(shí)要如何對(duì)受侵害人進(jìn)行救濟(jì)?本文將對(duì)此進(jìn)行說(shuō)明。

    4.2.2 構(gòu)建人工智能開(kāi)發(fā)企業(yè)的社會(huì)責(zé)任

    所謂企業(yè)社會(huì)責(zé)任,指企業(yè)在創(chuàng)造經(jīng)濟(jì)價(jià)值的時(shí)候,不僅需要承擔(dān)對(duì)股東、員工和消費(fèi)者的責(zé)任,還要承擔(dān)對(duì)社會(huì)安全和生態(tài)環(huán)境的責(zé)任[18]。而對(duì)于人工智能開(kāi)發(fā)企業(yè)來(lái)說(shuō),此種社會(huì)責(zé)任還應(yīng)當(dāng)具體到服務(wù)人類、保障基本人權(quán)、維護(hù)數(shù)據(jù)安全和用戶隱私、保障算法的可操性及可控性等方面。因此,應(yīng)當(dāng)明確人工智能開(kāi)發(fā)企業(yè)社會(huì)責(zé)任規(guī)制的具體方案,此種責(zé)任的性質(zhì)非侵權(quán)責(zé)任,但一定程度上能填補(bǔ)侵權(quán)責(zé)任的缺口,同時(shí)也滿足公平原則的要求。一方面,于受損害者而言,能夠得到相應(yīng)的救濟(jì);另一方面,于無(wú)過(guò)失的開(kāi)發(fā)企業(yè)而言,又能不損害其企業(yè)形象。首先,應(yīng)當(dāng)將倫理道德的考量納入人工智能開(kāi)發(fā)企業(yè)的社會(huì)責(zé)任框架之中,促使人工智能開(kāi)發(fā)企業(yè)積極采取措施,對(duì)受到侵害的消費(fèi)者主動(dòng)承擔(dān)倫理道德責(zé)任[19]。其次,應(yīng)當(dāng)強(qiáng)化人工智能開(kāi)發(fā)企業(yè)對(duì)于研究開(kāi)發(fā)產(chǎn)品的約束責(zé)任,例如強(qiáng)化其自身開(kāi)發(fā)的可持續(xù)性,并對(duì)其不符合可持續(xù)發(fā)展的行為進(jìn)行處罰,引導(dǎo)其進(jìn)行規(guī)范、合理的研發(fā)活動(dòng)。最后,應(yīng)當(dāng)明確人工智能開(kāi)發(fā)企業(yè)的信息披露義務(wù),例如企業(yè)應(yīng)當(dāng)對(duì)其生產(chǎn)、開(kāi)發(fā)新產(chǎn)品過(guò)程中可預(yù)見(jiàn)的風(fēng)險(xiǎn)以及現(xiàn)有的非專利性的研究成果進(jìn)行公開(kāi)披露,并且對(duì)于已經(jīng)投入社會(huì)使用的產(chǎn)品,可以通過(guò)收集用戶投訴等信息,對(duì)缺陷產(chǎn)品存在的問(wèn)題進(jìn)行反饋,并建立公示渠道予以公開(kāi),或是通過(guò)產(chǎn)品的召回,向社會(huì)釋放相關(guān)產(chǎn)品存在缺陷的信號(hào),從而履行其信息披露義務(wù)。

    4.2.3 增加其他侵權(quán)責(zé)任主體的可行性

    如前文所述,如果受侵害人和生產(chǎn)者、設(shè)計(jì)者、銷售者都不存在可譴責(zé)性,還能如何對(duì)受侵害人提供救濟(jì)呢?本文認(rèn)為,可以在除上文提到的設(shè)計(jì)者之外,再考慮增加以下其他主體作為責(zé)任承擔(dān)者。

    首先,法律應(yīng)當(dāng)設(shè)置責(zé)任強(qiáng)制保險(xiǎn)制度,出于鼓勵(lì)消費(fèi)的目的,應(yīng)當(dāng)把保險(xiǎn)責(zé)任分配給生產(chǎn)者、設(shè)計(jì)者、銷售者。其次,對(duì)人工智能產(chǎn)品的生產(chǎn)進(jìn)行監(jiān)管審批,一方面可以保障最終面向生產(chǎn)者的產(chǎn)品的質(zhì)量,另一方面將監(jiān)管者納入責(zé)任主體范圍,通過(guò)審批的人工智能產(chǎn)品一旦發(fā)生侵權(quán),那么監(jiān)管者也應(yīng)當(dāng)承擔(dān)連帶責(zé)任。

    5 結(jié)論

    處理人工智能侵權(quán)案件,首先要識(shí)別侵權(quán)責(zé)任主體,明確無(wú)論是何種類型的人工智能都不能作為獨(dú)立的民事主體承擔(dān)侵權(quán)責(zé)任。在人工智能發(fā)生侵權(quán)責(zé)任的領(lǐng)域,現(xiàn)有的法律規(guī)定難以確保各方利益平衡。因此,需要對(duì)現(xiàn)行法律體系中的產(chǎn)品責(zé)任進(jìn)行改進(jìn),增加設(shè)計(jì)者作為責(zé)任主體,并且針對(duì)特殊類型的侵權(quán)案件,還需要考慮重新構(gòu)建歸責(zé)原則,重視企業(yè)的社會(huì)責(zé)任,并考慮設(shè)立強(qiáng)制保險(xiǎn)制度以及增加監(jiān)管責(zé)任。筆者所提出的方案重在引起人們對(duì)人工智能侵權(quán)案件處理的關(guān)注,最終目的是在為受侵害人提供救濟(jì)的同時(shí),確保各方利益的平衡。

    注釋:

    ①《從人機(jī)關(guān)系到跨人際主體間關(guān)系——人工智能的定義和策略》一文中提到,“智能機(jī)”相當(dāng)于人腦的延長(zhǎng)和人的智力的放大,實(shí)際上與普通機(jī)器是人手足的延長(zhǎng)并無(wú)兩異,而“機(jī)器人”,若按照作者的劃分,應(yīng)當(dāng)作狹義的理解,僅包括具有主動(dòng)思考性質(zhì)的機(jī)器人。

    ②這里的“自主認(rèn)知性”,應(yīng)當(dāng)區(qū)別于僅人類所具有的思考認(rèn)知能力,在很大程度上是指機(jī)器能夠以主動(dòng)搜集信息的方式儲(chǔ)存信息,在機(jī)器內(nèi)部進(jìn)行模擬演算,最后使這些信息固定在系統(tǒng)中。

    ③“電子人格”是折中說(shuō)的一個(gè)觀點(diǎn),具體體現(xiàn)在《就機(jī)器人民事法律規(guī)則向歐盟委員會(huì)提出立法建議的報(bào)告草案》《歐盟機(jī)器人民事法律規(guī)則》,以及歐盟委員會(huì)法律事務(wù)委員會(huì)提出的立法建議中。

    ④《中華人民共和國(guó)民法典》第一千二百零二條:“因產(chǎn)品存在缺陷造成他人損害的,生產(chǎn)者應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任?!?/p>

    ⑤《中華人民共和國(guó)民法典》第一千二百零三條:“因產(chǎn)品存在缺陷造成他人損害的,被侵權(quán)人可以向產(chǎn)品的生產(chǎn)者請(qǐng)求賠償,也可以向產(chǎn)品的銷售者請(qǐng)求賠償。產(chǎn)品缺陷由生產(chǎn)者造成的,銷售者賠償后,有權(quán)向生產(chǎn)者追償。因銷售者的過(guò)錯(cuò)使產(chǎn)品存在缺陷的,生產(chǎn)者賠償后,有權(quán)向銷售者追償?!?/p>

    ⑥《中華人民共和國(guó)民法典》第一千二百零四條:“因運(yùn)輸者、倉(cāng)儲(chǔ)者等第三人的過(guò)錯(cuò)使產(chǎn)品存在缺陷,造成他人損害的,產(chǎn)品的生產(chǎn)者、銷售者賠償后,有權(quán)向第三人追償。”

    ⑦《中華人民共和國(guó)產(chǎn)品質(zhì)量法》第四十一條:“因產(chǎn)品存在缺陷造成人身、缺陷產(chǎn)品以外的其他財(cái)產(chǎn)(以下簡(jiǎn)稱他人財(cái)產(chǎn))損害的,生產(chǎn)者應(yīng)當(dāng)承擔(dān)賠償責(zé)任。生產(chǎn)者能夠證明有下列情形之一的,不承擔(dān)賠償責(zé)任:(一)未將產(chǎn)品投入流通的;(二)產(chǎn)品投入流通時(shí),引起損害的缺陷尚不存在的;(三)將產(chǎn)品投入流通時(shí)的科學(xué)技術(shù)水平尚不能發(fā)現(xiàn)缺陷的存在的?!?/p>

    猜你喜歡
    銷售者生產(chǎn)者設(shè)計(jì)者
    1月巴西生產(chǎn)者價(jià)格指數(shù)上漲3.92%
    2020德國(guó)iF設(shè)計(jì)獎(jiǎng)
    銷售者產(chǎn)品責(zé)任歸責(zé)原則的再思考
    ——《民法典》刪除《侵權(quán)責(zé)任法》第42條之解讀
    2019德國(guó)IF設(shè)計(jì)大獎(jiǎng)
    跟團(tuán)在景點(diǎn)買到假貨 能要求旅行社賠償嗎
    百姓生活(2018年10期)2018-11-05 06:12:22
    家禽福利的未來(lái):生產(chǎn)者能期待什么?
    跟團(tuán)游中買到假貨找誰(shuí)賠
    方圓(2016年23期)2017-02-05 20:25:05
    一場(chǎng)大風(fēng)帶給生產(chǎn)者的思考
    楊敬:深水區(qū)醫(yī)改設(shè)計(jì)者
    深水區(qū)醫(yī)改設(shè)計(jì)者
    日日干狠狠操夜夜爽| 日韩欧美精品免费久久 | 亚洲五月婷婷丁香| 一级毛片久久久久久久久女| 99在线人妻在线中文字幕| 中文字幕人成人乱码亚洲影| 日本五十路高清| 精品国产亚洲在线| 亚洲人成网站在线播放欧美日韩| 看十八女毛片水多多多| 欧美激情久久久久久爽电影| 人妻制服诱惑在线中文字幕| 成年版毛片免费区| 好男人电影高清在线观看| 亚洲熟妇中文字幕五十中出| 一区二区三区四区激情视频 | av欧美777| 欧美性猛交黑人性爽| 亚洲av免费高清在线观看| 国产久久久一区二区三区| 在线十欧美十亚洲十日本专区| 亚洲美女黄片视频| а√天堂www在线а√下载| 国产视频内射| 两性午夜刺激爽爽歪歪视频在线观看| 中文字幕人成人乱码亚洲影| 久久久久国内视频| 亚洲美女搞黄在线观看 | 丁香六月欧美| 中文亚洲av片在线观看爽| 国产伦精品一区二区三区视频9| 亚洲欧美日韩卡通动漫| 精品99又大又爽又粗少妇毛片 | 亚洲精品日韩av片在线观看| 岛国在线免费视频观看| 蜜桃亚洲精品一区二区三区| 成年版毛片免费区| 欧美黄色片欧美黄色片| 成人性生交大片免费视频hd| 在线观看舔阴道视频| 欧美又色又爽又黄视频| 精品免费久久久久久久清纯| 欧美国产日韩亚洲一区| 熟女电影av网| 少妇的逼好多水| 1024手机看黄色片| 看黄色毛片网站| 精品人妻偷拍中文字幕| 亚洲无线在线观看| 欧美中文日本在线观看视频| 欧美不卡视频在线免费观看| 色噜噜av男人的天堂激情| 亚洲欧美日韩卡通动漫| 国产又黄又爽又无遮挡在线| 一区二区三区高清视频在线| 欧美性猛交╳xxx乱大交人| 亚洲成a人片在线一区二区| 99久久99久久久精品蜜桃| 成人国产一区最新在线观看| 制服丝袜大香蕉在线| 又爽又黄无遮挡网站| 精品人妻一区二区三区麻豆 | 精品午夜福利视频在线观看一区| 变态另类成人亚洲欧美熟女| 亚洲18禁久久av| 禁无遮挡网站| 天堂av国产一区二区熟女人妻| 悠悠久久av| 精品国产三级普通话版| 搡女人真爽免费视频火全软件 | 国产精品电影一区二区三区| 亚洲欧美日韩高清在线视频| 两性午夜刺激爽爽歪歪视频在线观看| 三级国产精品欧美在线观看| 国产免费av片在线观看野外av| 最近视频中文字幕2019在线8| 成年人黄色毛片网站| 欧美3d第一页| 亚洲久久久久久中文字幕| 成年女人毛片免费观看观看9| 国产 一区 欧美 日韩| 动漫黄色视频在线观看| 日本免费一区二区三区高清不卡| 午夜福利欧美成人| 哪里可以看免费的av片| 国产三级黄色录像| 久99久视频精品免费| 国产av麻豆久久久久久久| 一区二区三区高清视频在线| 国产伦人伦偷精品视频| 观看免费一级毛片| 精品人妻偷拍中文字幕| 久久久久久国产a免费观看| 在线免费观看不下载黄p国产 | av中文乱码字幕在线| 免费大片18禁| 校园春色视频在线观看| 麻豆久久精品国产亚洲av| 亚洲内射少妇av| 国产成人av教育| 免费av观看视频| 亚洲真实伦在线观看| 九色成人免费人妻av| а√天堂www在线а√下载| 美女xxoo啪啪120秒动态图 | 两性午夜刺激爽爽歪歪视频在线观看| 精品人妻偷拍中文字幕| 岛国在线免费视频观看| 天堂网av新在线| 成人毛片a级毛片在线播放| a级毛片a级免费在线| 性欧美人与动物交配| 婷婷亚洲欧美| 亚洲精品粉嫩美女一区| www.www免费av| 午夜精品久久久久久毛片777| 婷婷色综合大香蕉| 久久99热这里只有精品18| 舔av片在线| 亚洲精品影视一区二区三区av| 日本撒尿小便嘘嘘汇集6| 又黄又爽又刺激的免费视频.| 少妇的逼水好多| 亚洲色图av天堂| 中文字幕av成人在线电影| 草草在线视频免费看| 一个人免费在线观看的高清视频| 91久久精品国产一区二区成人| 亚洲av免费高清在线观看| 中文字幕人妻熟人妻熟丝袜美| 人妻制服诱惑在线中文字幕| 亚洲av成人不卡在线观看播放网| 亚洲国产精品999在线| 欧美激情国产日韩精品一区| 亚洲成人免费电影在线观看| 亚洲成人中文字幕在线播放| 国产精品一区二区三区四区久久| 国产精品精品国产色婷婷| 18美女黄网站色大片免费观看| 欧美国产日韩亚洲一区| 免费看光身美女| 最新中文字幕久久久久| 日韩有码中文字幕| 老熟妇乱子伦视频在线观看| 午夜视频国产福利| 97人妻精品一区二区三区麻豆| 性插视频无遮挡在线免费观看| 欧美一级a爱片免费观看看| 亚洲av五月六月丁香网| 国产一区二区亚洲精品在线观看| 欧美日韩亚洲国产一区二区在线观看| 成人av一区二区三区在线看| 我要看日韩黄色一级片| 最近最新中文字幕大全电影3| 日韩免费av在线播放| 欧美性感艳星| 亚洲在线观看片| 国产极品精品免费视频能看的| 少妇丰满av| 国产高清激情床上av| 亚洲综合色惰| 狠狠狠狠99中文字幕| 又爽又黄a免费视频| 欧美一区二区精品小视频在线| 一级毛片久久久久久久久女| 看免费av毛片| 午夜a级毛片| 好男人在线观看高清免费视频| 欧美日本视频| 精品乱码久久久久久99久播| 国产成人欧美在线观看| 两个人的视频大全免费| 观看美女的网站| 国产大屁股一区二区在线视频| 欧美+亚洲+日韩+国产| 99国产精品一区二区蜜桃av| 看黄色毛片网站| 久久精品夜夜夜夜夜久久蜜豆| 丁香六月欧美| 久久国产乱子免费精品| 男人的好看免费观看在线视频| 麻豆一二三区av精品| 3wmmmm亚洲av在线观看| 亚洲av免费高清在线观看| 色5月婷婷丁香| 欧美午夜高清在线| 在线看三级毛片| 成年版毛片免费区| 欧美一区二区国产精品久久精品| 日韩欧美国产在线观看| 国产极品精品免费视频能看的| 美女xxoo啪啪120秒动态图 | 亚洲激情在线av| 一进一出抽搐动态| av福利片在线观看| av在线天堂中文字幕| 精品久久久久久久久久久久久| 精品人妻偷拍中文字幕| 一本久久中文字幕| 99久久九九国产精品国产免费| 99在线人妻在线中文字幕| 婷婷丁香在线五月| 悠悠久久av| av视频在线观看入口| 高潮久久久久久久久久久不卡| 国产男靠女视频免费网站| 久久午夜福利片| 日韩欧美在线乱码| 一二三四社区在线视频社区8| 亚洲精品456在线播放app | 国产精品一区二区三区四区久久| 一区二区三区高清视频在线| 男女之事视频高清在线观看| a级一级毛片免费在线观看| 久久亚洲精品不卡| 成人鲁丝片一二三区免费| 成年女人看的毛片在线观看| 69av精品久久久久久| 国产色婷婷99| 精品一区二区免费观看| 婷婷丁香在线五月| 精品人妻偷拍中文字幕| 久久九九热精品免费| 搞女人的毛片| 丰满乱子伦码专区| 亚洲av成人精品一区久久| 国产真实伦视频高清在线观看 | 成人一区二区视频在线观看| 色吧在线观看| 精品久久久久久成人av| 亚洲成人精品中文字幕电影| 别揉我奶头~嗯~啊~动态视频| 757午夜福利合集在线观看| 亚洲内射少妇av| 久久精品国产亚洲av天美| 久久久久亚洲av毛片大全| 国产成人影院久久av| 好看av亚洲va欧美ⅴa在| 亚洲av免费在线观看| 亚洲欧美精品综合久久99| 亚洲成人久久性| 两个人视频免费观看高清| 免费一级毛片在线播放高清视频| 国产精品一及| 精品久久久久久成人av| 亚洲精品日韩av片在线观看| 老司机午夜十八禁免费视频| 日本黄大片高清| 69av精品久久久久久| 国产探花在线观看一区二区| 最好的美女福利视频网| 国产蜜桃级精品一区二区三区| 亚洲一区二区三区色噜噜| 国产91精品成人一区二区三区| 俺也久久电影网| 日本一本二区三区精品| 欧美日韩综合久久久久久 | 亚洲人成网站高清观看| 国产精品一区二区三区四区免费观看 | 嫩草影院精品99| 丰满人妻熟妇乱又伦精品不卡| 精品人妻1区二区| 日韩亚洲欧美综合| 久久精品91蜜桃| 岛国在线免费视频观看| 搞女人的毛片| 免费看美女性在线毛片视频| 亚洲成av人片在线播放无| 日韩欧美三级三区| 黄色丝袜av网址大全| 精品久久久久久,| 熟女人妻精品中文字幕| 每晚都被弄得嗷嗷叫到高潮| 欧美黑人巨大hd| 久久久久免费精品人妻一区二区| 哪里可以看免费的av片| 久久久精品大字幕| 久久中文看片网| 欧美成人免费av一区二区三区| 国产三级中文精品| 成人性生交大片免费视频hd| 国产免费一级a男人的天堂| 天天躁日日操中文字幕| 白带黄色成豆腐渣| 丝袜美腿在线中文| 日本熟妇午夜| 一夜夜www| 在线国产一区二区在线| 日本精品一区二区三区蜜桃| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 亚洲人成电影免费在线| 每晚都被弄得嗷嗷叫到高潮| 1024手机看黄色片| 色哟哟哟哟哟哟| 国产精品久久视频播放| 成人高潮视频无遮挡免费网站| 久久精品综合一区二区三区| 国产伦精品一区二区三区四那| 高清日韩中文字幕在线| 精品久久久久久久久久久久久| 久久精品国产自在天天线| 美女高潮的动态| 欧美+亚洲+日韩+国产| 精品欧美国产一区二区三| 波野结衣二区三区在线| 99久久无色码亚洲精品果冻| 看十八女毛片水多多多| 毛片一级片免费看久久久久 | 国产亚洲精品久久久久久毛片| 岛国在线免费视频观看| 黄色配什么色好看| 51午夜福利影视在线观看| 91在线观看av| 舔av片在线| 免费在线观看日本一区| 欧美精品国产亚洲| 日本一本二区三区精品| 日韩欧美精品v在线| 十八禁人妻一区二区| 激情在线观看视频在线高清| 九色成人免费人妻av| 国产精品伦人一区二区| 91av网一区二区| 99热这里只有是精品在线观看 | 午夜福利成人在线免费观看| 在线观看一区二区三区| 欧美另类亚洲清纯唯美| 国内揄拍国产精品人妻在线| 国产精品伦人一区二区| 精品久久久久久久久亚洲 | 国产免费男女视频| 嫩草影院新地址| 国产熟女xx| 亚洲精品久久国产高清桃花| 中文亚洲av片在线观看爽| 午夜福利在线观看吧| 少妇高潮的动态图| 女人十人毛片免费观看3o分钟| 欧美绝顶高潮抽搐喷水| 搡老妇女老女人老熟妇| 成人高潮视频无遮挡免费网站| 超碰av人人做人人爽久久| 免费av观看视频| 综合色av麻豆| 韩国av一区二区三区四区| 国产一区二区三区在线臀色熟女| 99久久99久久久精品蜜桃| 久久久久久久午夜电影| 在线播放无遮挡| 精品久久久久久久久av| 精品久久久久久久人妻蜜臀av| 少妇的逼好多水| 怎么达到女性高潮| 精品乱码久久久久久99久播| 夜夜躁狠狠躁天天躁| 日本精品一区二区三区蜜桃| 啦啦啦韩国在线观看视频| 一二三四社区在线视频社区8| 淫妇啪啪啪对白视频| 97超视频在线观看视频| 欧美一级a爱片免费观看看| 日本精品一区二区三区蜜桃| 男女那种视频在线观看| 亚洲av美国av| 亚洲三级黄色毛片| 九九热线精品视视频播放| 看片在线看免费视频| 麻豆国产97在线/欧美| 免费在线观看日本一区| a级毛片免费高清观看在线播放| 99久久精品一区二区三区| 99在线人妻在线中文字幕| 脱女人内裤的视频| 综合色av麻豆| 老司机深夜福利视频在线观看| 男女之事视频高清在线观看| 亚洲一区二区三区色噜噜| 国产一区二区激情短视频| 99久久精品一区二区三区| 国产精品日韩av在线免费观看| 麻豆一二三区av精品| 久久久久久大精品| 好看av亚洲va欧美ⅴa在| 欧美性感艳星| 久久久久国产精品人妻aⅴ院| 亚洲欧美日韩卡通动漫| 国产黄片美女视频| 日韩高清综合在线| 动漫黄色视频在线观看| 久99久视频精品免费| 91午夜精品亚洲一区二区三区 | 亚洲中文日韩欧美视频| 一级毛片久久久久久久久女| 黄色一级大片看看| 中亚洲国语对白在线视频| 在线a可以看的网站| a在线观看视频网站| 久久香蕉精品热| 老鸭窝网址在线观看| 在线a可以看的网站| 亚洲欧美清纯卡通| 国产免费一级a男人的天堂| 精品人妻熟女av久视频| 亚洲乱码一区二区免费版| 亚洲第一欧美日韩一区二区三区| 久久婷婷人人爽人人干人人爱| 国产av一区在线观看免费| 国产精品,欧美在线| 夜夜躁狠狠躁天天躁| 午夜a级毛片| 国产视频内射| 欧美一区二区精品小视频在线| 毛片一级片免费看久久久久 | 欧美日韩福利视频一区二区| 两性午夜刺激爽爽歪歪视频在线观看| 国产精品,欧美在线| 亚洲第一欧美日韩一区二区三区| 午夜福利在线观看免费完整高清在 | 国产精品精品国产色婷婷| 真实男女啪啪啪动态图| 一级a爱片免费观看的视频| 久久九九热精品免费| 国产精品一区二区三区四区免费观看 | 精品人妻一区二区三区麻豆 | 久久久久免费精品人妻一区二区| 女人十人毛片免费观看3o分钟| 免费av不卡在线播放| www.www免费av| 三级国产精品欧美在线观看| 久久久久性生活片| 精华霜和精华液先用哪个| 欧美高清性xxxxhd video| 久久精品国产亚洲av香蕉五月| 成熟少妇高潮喷水视频| 宅男免费午夜| 国产激情偷乱视频一区二区| 我要看日韩黄色一级片| 99久久九九国产精品国产免费| 一边摸一边抽搐一进一小说| 日韩欧美 国产精品| 老司机午夜十八禁免费视频| 国产不卡一卡二| 中文在线观看免费www的网站| 精品午夜福利在线看| 99久久精品一区二区三区| 美女xxoo啪啪120秒动态图 | 一级作爱视频免费观看| av中文乱码字幕在线| 精品午夜福利视频在线观看一区| 国产免费av片在线观看野外av| av在线老鸭窝| 淫秽高清视频在线观看| 黄色一级大片看看| 欧美成狂野欧美在线观看| 成人国产一区最新在线观看| 国产v大片淫在线免费观看| 日韩欧美一区二区三区在线观看| 久久人妻av系列| 国产三级黄色录像| 亚洲va日本ⅴa欧美va伊人久久| 午夜福利在线观看吧| 精品一区二区三区视频在线观看免费| x7x7x7水蜜桃| av欧美777| 国产成人a区在线观看| 国产一区二区亚洲精品在线观看| 亚洲va日本ⅴa欧美va伊人久久| 欧美xxxx黑人xx丫x性爽| 1000部很黄的大片| 国产成人欧美在线观看| 色吧在线观看| 波多野结衣巨乳人妻| а√天堂www在线а√下载| 国产精品亚洲一级av第二区| 一进一出抽搐动态| 少妇被粗大猛烈的视频| 高潮久久久久久久久久久不卡| 亚洲狠狠婷婷综合久久图片| 99国产精品一区二区三区| 欧美成人一区二区免费高清观看| 精品人妻偷拍中文字幕| 午夜福利成人在线免费观看| 亚洲国产欧洲综合997久久,| 国产成+人综合+亚洲专区| 欧美黑人巨大hd| 人妻夜夜爽99麻豆av| 99久久精品国产亚洲精品| 搡女人真爽免费视频火全软件 | 国产人妻一区二区三区在| 国产午夜精品久久久久久一区二区三区 | 人妻制服诱惑在线中文字幕| 男插女下体视频免费在线播放| 精品人妻偷拍中文字幕| 欧美日韩亚洲国产一区二区在线观看| www.999成人在线观看| 国产午夜精品论理片| 欧美成人一区二区免费高清观看| 欧美+亚洲+日韩+国产| 欧美日韩亚洲国产一区二区在线观看| 一二三四社区在线视频社区8| 国产伦在线观看视频一区| 亚洲五月天丁香| 一区二区三区高清视频在线| 色综合欧美亚洲国产小说| 亚洲av免费在线观看| 亚洲国产日韩欧美精品在线观看| 亚洲精品久久国产高清桃花| 欧美又色又爽又黄视频| 欧美国产日韩亚洲一区| 欧美性猛交黑人性爽| 成人国产综合亚洲| 久9热在线精品视频| 深夜a级毛片| 十八禁国产超污无遮挡网站| 欧美性猛交╳xxx乱大交人| 欧美最新免费一区二区三区 | 日韩中文字幕欧美一区二区| aaaaa片日本免费| 国产高清激情床上av| 99久久精品一区二区三区| 丝袜美腿在线中文| 国产爱豆传媒在线观看| 欧美另类亚洲清纯唯美| 女生性感内裤真人,穿戴方法视频| 又黄又爽又免费观看的视频| 成人av在线播放网站| 欧美bdsm另类| 99精品在免费线老司机午夜| 岛国在线免费视频观看| 91久久精品电影网| 欧美日韩亚洲国产一区二区在线观看| 黄片小视频在线播放| 午夜精品一区二区三区免费看| 精品久久久久久,| 久久久久久久久大av| 国内久久婷婷六月综合欲色啪| 少妇丰满av| 别揉我奶头 嗯啊视频| 免费电影在线观看免费观看| 久久久精品大字幕| 色哟哟·www| 国产亚洲精品综合一区在线观看| 欧美性感艳星| 白带黄色成豆腐渣| 亚洲精品久久国产高清桃花| 757午夜福利合集在线观看| 久久久久久久精品吃奶| 精品福利观看| 亚洲国产精品成人综合色| 少妇高潮的动态图| 最近最新免费中文字幕在线| 看十八女毛片水多多多| 久久天躁狠狠躁夜夜2o2o| 一个人看的www免费观看视频| 久久天躁狠狠躁夜夜2o2o| 三级男女做爰猛烈吃奶摸视频| 免费搜索国产男女视频| 亚洲专区国产一区二区| a在线观看视频网站| 在线a可以看的网站| 桃红色精品国产亚洲av| 亚洲一区二区三区色噜噜| 熟女人妻精品中文字幕| 97碰自拍视频| 成人鲁丝片一二三区免费| 午夜福利欧美成人| 别揉我奶头 嗯啊视频| 丰满人妻一区二区三区视频av| 久久久精品大字幕| 欧美性猛交黑人性爽| 久久精品国产亚洲av涩爱 | 成年人黄色毛片网站| 日韩精品青青久久久久久| 99热这里只有是精品在线观看 | 亚洲人成网站在线播| 亚洲激情在线av| 成人欧美大片| 免费观看人在逋| 国产视频一区二区在线看| 麻豆成人午夜福利视频| 国产精品一区二区性色av| 99热6这里只有精品| 97人妻精品一区二区三区麻豆| 精品99又大又爽又粗少妇毛片 | 狂野欧美白嫩少妇大欣赏| 搡女人真爽免费视频火全软件 | 国产伦人伦偷精品视频| 窝窝影院91人妻| 国产精品国产高清国产av| 亚洲aⅴ乱码一区二区在线播放| av天堂中文字幕网| 午夜免费激情av| 91久久精品电影网| 久久久久性生活片| 丁香欧美五月| 天堂影院成人在线观看| 变态另类丝袜制服| 在线播放无遮挡| 免费搜索国产男女视频| 午夜福利在线观看免费完整高清在 | 有码 亚洲区| 搡老熟女国产l中国老女人| 成人午夜高清在线视频| 一区二区三区激情视频| 国产精品美女特级片免费视频播放器| 精品久久久久久,| 直男gayav资源| 少妇的逼好多水| 久久精品国产亚洲av涩爱 | 欧美xxxx性猛交bbbb| 丰满人妻一区二区三区视频av| 日韩精品中文字幕看吧| 国产日本99.免费观看| 哪里可以看免费的av片| 女同久久另类99精品国产91|