• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    對人工智能產(chǎn)品侵權(quán)相關(guān)問題的思考

    2023-02-07 19:56:28李穎
    電子知識產(chǎn)權(quán) 2023年11期
    關(guān)鍵詞:人工智能責(zé)任產(chǎn)品

    文 / 李穎

    近年來,人工智能技術(shù)不斷發(fā)展,日益廣泛應(yīng)用在智能交通、智能醫(yī)療、智能家居、智能教育、智能工廠等領(lǐng)域,典型代表如無人駕駛汽車、智能音箱、掃地機(jī)器人、刷臉支付、醫(yī)療機(jī)器人、生產(chǎn)機(jī)器人等。自2022年11月OpenAI 研發(fā)的聊天機(jī)器人ChatGPT 發(fā)布以來,各大公司爭相在通用人工智能領(lǐng)域跑馬圈地,不斷推出各種性能驚人的AI 產(chǎn)品,讓人驚嘆人工智能可能很快要替代人類。人工智能產(chǎn)品的推陳出新,給人們帶來了極大便利,但也引發(fā)了人們對人工智能產(chǎn)品強(qiáng)大能力可能帶來侵害的深切擔(dān)憂,給傳統(tǒng)侵權(quán)責(zé)任法律框架和司法適用帶來巨大挑戰(zhàn)。目前民法界的基本共識是,人工智能產(chǎn)品尚不具有與自然人、法人組織一樣的民事法律主體地位,仍屬于“客觀的物”而不具有獨(dú)立承擔(dān)侵權(quán)責(zé)任的能力,其引發(fā)的侵權(quán)法律責(zé)任依據(jù)過錯(cuò)責(zé)任原則或無過錯(cuò)責(zé)任原則由相關(guān)責(zé)任人承擔(dān)。但對人工智能產(chǎn)品引發(fā)的侵權(quán)應(yīng)適用何種歸責(zé)原則,則存在諸多爭論。本文擬結(jié)合相關(guān)案例和行業(yè)實(shí)踐就此展開討論,以求對立法和司法有所裨益。

    一、據(jù)以討論的案例

    人工智能產(chǎn)品引發(fā)的侵權(quán)可以有三種理解:一種是人工智能產(chǎn)品存在缺陷或其他風(fēng)險(xiǎn)引發(fā)的侵權(quán),第二種是人工智能產(chǎn)品在提供服務(wù)時(shí)發(fā)生的侵權(quán),第三種是最廣義的人工智能產(chǎn)品引發(fā)侵權(quán)的概念,包括以上兩種情形及其混合或其他因素介入而引發(fā)的侵權(quán)。在我國,人工智能產(chǎn)品引發(fā)的侵權(quán)糾紛,目前主要通過《民法典》侵權(quán)責(zé)任編和《產(chǎn)品質(zhì)量法》加以規(guī)制。經(jīng)案例檢索,筆者未能發(fā)現(xiàn)國內(nèi)已生效的有關(guān)自動駕駛、手術(shù)機(jī)器人引發(fā)產(chǎn)品責(zé)任侵權(quán)判斷的判決1. 經(jīng)案例檢索,國內(nèi)有自動駕駛引發(fā)的侵權(quán)案件,但未能查詢到法院裁判結(jié)果,不排除和解可能;國內(nèi)醫(yī)療人工智能技術(shù)主要起到診斷和治療的輔助功能,司法實(shí)務(wù)中未涉及產(chǎn)品責(zé)任的判斷而主要涉及醫(yī)療過錯(cuò)責(zé)任,如有關(guān)達(dá)芬奇醫(yī)療機(jī)器人的相關(guān)判決,包括((2020)魯0202 民初302 號、(2017)渝0106 民初6031 號、(2018)渝01 民終3540 號等民事判決書。國外有涉及優(yōu)步、特斯拉自動駕駛或達(dá)芬奇(醫(yī)療機(jī)器人)等引發(fā)侵權(quán)的判決或報(bào)道,但原告勝訴的判決也很少。在查找到的相關(guān)判決中,法院或認(rèn)定autopilot(自動輔助駕駛)模式僅是輔助系統(tǒng),如駕駛員因?yàn)榉中牡仍驅(qū)囕v失去控制,則需自己承擔(dān)事故責(zé)任(參見Hsu v. Tesla,https://mp.weixin.qq.com/s/Eg4kGJNaEupWmeta3uIbgQ);或認(rèn)為在主張醫(yī)療機(jī)器人的嚴(yán)格產(chǎn)品責(zé)任時(shí),原告有義務(wù)對產(chǎn)品存在缺陷承擔(dān)舉證責(zé)任(參見Roland C. Mracek,Plaintiff, v. Bryn Mawr Hospital, and Intuitive Surgical, Inc., Defendants, 610 F. Supp. 2d 401 [2009])。,但找到了兩個(gè)人工智能產(chǎn)品侵犯人格權(quán)的典型案例:

    (一)算法錯(cuò)誤標(biāo)記手機(jī)號碼侵犯名譽(yù)權(quán)案

    原告鐘某某系一名專職律師。2018年11月11日,被告泰迪熊公司提供的陌生號碼識別服務(wù)將鐘某某使用的手機(jī)號錯(cuò)誤標(biāo)注為“職務(wù)侵占罪判刑”,在未存儲原告手機(jī)號的來電或去電中會顯示該標(biāo)注。2019年1月17日,原告通過該手機(jī)號撥打被告客服電話投訴,客服隨即刪除了該不當(dāng)標(biāo)注。經(jīng)后臺核實(shí),該錯(cuò)誤標(biāo)注源于被告采用人工智能的網(wǎng)頁索引和自動學(xué)習(xí)。

    法院經(jīng)審理認(rèn)為:被告作為一家與大部分國內(nèi)知名手機(jī)品牌均有深度合作的科技公司,應(yīng)當(dāng)預(yù)見對用戶手機(jī)號碼進(jìn)行錯(cuò)誤標(biāo)注會給用戶日常工作生活造成影響,特別是如原告手機(jī)號碼被錯(cuò)誤標(biāo)注為“職務(wù)侵占罪判刑”,有關(guān)犯罪記錄的錯(cuò)誤標(biāo)注更會極大降低用戶的社會評價(jià)。原告手機(jī)號錯(cuò)誤標(biāo)注期間長達(dá)2 個(gè)月,被告未對該錯(cuò)誤標(biāo)注真實(shí)性進(jìn)行人工核實(shí),放任該錯(cuò)誤標(biāo)注持續(xù)存在,顯然未建立健全有效的人工校驗(yàn)機(jī)制,具有主觀過錯(cuò),構(gòu)成侵犯名譽(yù)權(quán)。2. 參見浙江省瑞安市人民法院(2019)浙0381 民初2906 號民事判決書。

    (二)AI 陪伴者創(chuàng)設(shè)、調(diào)教侵犯人格權(quán)案

    被告自古紅藍(lán)公司運(yùn)營某款智能手機(jī)記賬軟件,用戶可在該軟件中自行創(chuàng)設(shè)或添加“AI陪伴者”,設(shè)定“AI 陪伴者”的名稱、頭像、與用戶的關(guān)系、相互稱謂等,并通過系統(tǒng)功能設(shè)置“AI 陪伴者”與用戶的互動內(nèi)容。原告何某系公眾人物,在原告未同意的情況下,該軟件中出現(xiàn)了以原告姓名、肖像為標(biāo)識的“AI 陪伴者”,同時(shí)被告通過聚類算法將該角色按身份分類,并以協(xié)同推薦算法向其他用戶推介該角色,還為其提供了“調(diào)教”算法機(jī)制。

    法院經(jīng)審理認(rèn)為:案涉軟件的模式系通過規(guī)則設(shè)定、算法設(shè)計(jì),組織用戶形成素材并提供給用戶,且產(chǎn)生了個(gè)性化的輸出,故被告構(gòu)成直接的網(wǎng)絡(luò)內(nèi)容服務(wù)提供行為。本案用戶的行為不符合合理使用,被告未經(jīng)原告授權(quán),將用戶上傳、創(chuàng)作的原告肖像圖片在系統(tǒng)中推送,屬于侵害肖像權(quán)的行為。被告事實(shí)上鼓勵(lì)、組織了用戶上傳侵害他人肖像權(quán)的圖片,與網(wǎng)絡(luò)用戶構(gòu)成共同侵害肖像權(quán)行為。被告在應(yīng)用軟件中將含有原告姓名的AI 虛擬角色提供給用戶使用,屬于未經(jīng)許可商業(yè)化使用原告姓名的行為,構(gòu)成侵害姓名權(quán)。案涉軟件的核心邏輯是通過創(chuàng)設(shè)虛擬的AI 角色,將自然人的姓名、肖像、人格特點(diǎn)等綜合而成的整體形象投射到AI角色上,并讓用戶可與AI 角色設(shè)置虛擬身份關(guān)系,是對原告整體形象和人格表征的利用,未獲原告許可,構(gòu)成侵害一般人格權(quán)。雖然原告是公眾人物,但與一般開放平臺中公眾偶發(fā)輕微親密性或貶損性言論不同,被告對真實(shí)人物的人格表征進(jìn)行了系統(tǒng)地、組織性地功能設(shè)計(jì)且進(jìn)行商業(yè)化利用,明顯超過合理限度,構(gòu)成侵權(quán)。法院特別指出,本案中軟件運(yùn)營者使用了算法、人工智能篩選等技術(shù)對虛擬人物進(jìn)行分類、推薦素材及輔助調(diào)教等,表明其對所提供的內(nèi)容知悉,但不僅未采取任何措施,還進(jìn)一步利用自然人的知名度,擴(kuò)大了侵權(quán)行為的影響,構(gòu)成侵權(quán)。3. 參見北京互聯(lián)網(wǎng)法院(2020)京0491 民初9526 號民事判決書、北京市第四中級人民法院(2021)京04 民終777 號民事裁定書。

    值得注意的是,以上兩起人工智能產(chǎn)品侵權(quán)案例中,法院均未從產(chǎn)品責(zé)任角度出發(fā)進(jìn)行被告是否侵權(quán)的分析,而是從網(wǎng)絡(luò)侵權(quán)條款切入進(jìn)行人工智能產(chǎn)品提供者、運(yùn)營者是否構(gòu)成侵權(quán)的認(rèn)定,緊密圍繞相關(guān)主體的行為是否具有過錯(cuò)而展開,并未適用產(chǎn)品責(zé)任這一嚴(yán)格責(zé)任的侵權(quán)分析框架。這主要是基于原告對于訴訟案由和請求權(quán)基礎(chǔ)的選擇,但由此也引發(fā)一個(gè)疑問,即人工智能產(chǎn)品引發(fā)的侵權(quán)是適用《民法典》有關(guān)網(wǎng)絡(luò)侵權(quán)的過錯(cuò)責(zé)任,還是適用《產(chǎn)品質(zhì)量法》的嚴(yán)格責(zé)任?這里的關(guān)鍵問題是人工智能產(chǎn)品特別是人工智能APP 是否屬于《產(chǎn)品質(zhì)量法》中所定義的“產(chǎn)品”。

    二、人工智能APP 是否屬于產(chǎn)品

    依據(jù)《產(chǎn)品質(zhì)量法》規(guī)定,產(chǎn)品是指經(jīng)過加工、制作,用于銷售的動產(chǎn)。依此進(jìn)行邏輯推演,則人工智能產(chǎn)品是指在智能系統(tǒng)或算法控制下,可供交易并具有實(shí)際載體的動產(chǎn)。有疑問的是,人工智能產(chǎn)品是指包括實(shí)物載體和智能軟件的綜合性產(chǎn)品,還是也包括單純的、并不通過實(shí)體載體體現(xiàn)和交付的人工智能APP?對此,有人主張,提供人工智能服務(wù)的平臺或APP 并非產(chǎn)品形態(tài)而屬于提供網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)服務(wù)提供者,人工智能產(chǎn)品僅限于傳統(tǒng)的如天貓精靈、無人汽車等具有實(shí)體載體的商品,并不包括以軟件、APP 或平臺的網(wǎng)絡(luò)服務(wù)形式提供的服務(wù),進(jìn)而由人工智能APP 引發(fā)的侵權(quán)行為只能適用網(wǎng)絡(luò)侵權(quán)的規(guī)定而非《產(chǎn)品責(zé)任法》的有關(guān)規(guī)定。如有學(xué)者認(rèn)為,信息產(chǎn)品原則上不適用產(chǎn)品責(zé)任中的無過錯(cuò)責(zé)任,因信息產(chǎn)品的缺陷而遭受損害的侵權(quán)糾紛適用過錯(cuò)責(zé)任原則。4. 參見程嘯:《侵權(quán)責(zé)任法(第2 版)》,法律出版社2015年版。但也有學(xué)者主張,人工智能技術(shù)發(fā)展的結(jié)晶最終是人工智能產(chǎn)品,即所有提供人工智能服務(wù)的APP 都屬于人工智能產(chǎn)品5. 楊立新:《人工智能產(chǎn)品責(zé)任的功能及規(guī)則調(diào)整》,載《數(shù)字法治》2023年第4 期,第27-39 頁。。基于未來的科技發(fā)展與司法實(shí)踐考量,本文認(rèn)為應(yīng)當(dāng)將智能軟件納入“產(chǎn)品”范圍。6. 高完成、寧卓名:《人工智能產(chǎn)品致害風(fēng)險(xiǎn)及其侵權(quán)責(zé)任規(guī)制》,載《河南社會科學(xué)》2021年第29 卷第4 期,第57-67 頁。

    筆者認(rèn)為,在國內(nèi)外都有將軟件作為產(chǎn)品對待的判例和學(xué)說。如美國第九巡回法庭曾認(rèn)為,計(jì)算機(jī)軟件可作為嚴(yán)格產(chǎn)品侵權(quán)責(zé)任下的產(chǎn)品,美國《統(tǒng)一商法典》也將軟件作為貨物處理。7. 許傳璽主編,肖永平、龔樂凡、王雪飛譯:《侵權(quán)法重述第三版:產(chǎn)品責(zé)任》,法律出版社2006年版,第396 頁。在歐盟最近修訂的《產(chǎn)品責(zé)任指令》中,特別將人工智能軟件系統(tǒng)和其驅(qū)動的商品明確定義為“產(chǎn)品”,規(guī)定如軟件或人工智能產(chǎn)品造成損害,受害人可要求賠償。8. EUROPEAN COMMISSION: Proposal for a DIRECTIVE OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL on liability for defective products,EUR-Lex-52022PC0495-EN-EUR-Lex (europa.eu),最后訪問日期:2023年9月25日。王澤鑒先生曾表示:“軟件程序存儲于芯片等載體時(shí),可成為動產(chǎn),可成為商品”9. 王澤鑒:《侵權(quán)行為》(第3 版),北京大學(xué)出版社2016年版,第649 頁。。在北信源殺毒軟件被訴產(chǎn)品責(zé)任一案中,法院亦認(rèn)為北信源殺毒軟件屬于產(chǎn)品,軟件的銷售者和開發(fā)者應(yīng)對軟件質(zhì)量承擔(dān)瑕疵擔(dān)保責(zé)任,并對軟件缺陷所致財(cái)產(chǎn)損失承擔(dān)連帶賠償責(zé)任。10. 最高人民檢察院民事行政檢察廳:《人民檢察院民事行政抗訴案例選(第8 集)》,法律出版社2005年版,第198頁。將集成到計(jì)算機(jī)等機(jī)器上的軟件缺陷視為“產(chǎn)品”本身的缺陷,也符合現(xiàn)實(shí)生活中人們的一般認(rèn)知。而隨著科技的發(fā)展特別是云存儲行業(yè)的發(fā)展,越來越多的人工智能產(chǎn)品由實(shí)際載體(如汽車、飛機(jī)、音箱、機(jī)器人等)和軟件系統(tǒng)共同構(gòu)成,有的產(chǎn)品甚至不再具有傳統(tǒng)實(shí)物載體(如硬盤、CD、U盤等有形存儲介質(zhì))而僅體現(xiàn)為APP,存儲在云服務(wù)器上并通過云服務(wù)器下載而無需現(xiàn)實(shí)交付,此時(shí)APP 或云服務(wù)器即是其數(shù)據(jù)介質(zhì)和有形載體。因此,我們完全可將人工智能APP 看作一種動產(chǎn)載體(數(shù)據(jù)介質(zhì)存儲在網(wǎng)絡(luò)環(huán)境中),其以免費(fèi)或收費(fèi)方式進(jìn)行下載、售賣,屬于可交易的人工智能產(chǎn)品。故以《產(chǎn)品質(zhì)量法》作為可選擇適用的法律規(guī)定,來處理由人工智能產(chǎn)品缺陷引發(fā)的侵權(quán)糾紛,是順理成章的。當(dāng)然,如果原告選擇起訴的事由并非指向人工智能產(chǎn)品的缺陷引發(fā)的侵權(quán)損害,而是指向人工智能產(chǎn)品提供的網(wǎng)絡(luò)服務(wù)即網(wǎng)絡(luò)服務(wù)提供商以及網(wǎng)絡(luò)用戶的網(wǎng)絡(luò)侵權(quán)行為,則法院應(yīng)適用《民法典》侵權(quán)編網(wǎng)絡(luò)侵權(quán)條款;而如原告選擇的案由和侵權(quán)主張指向的是人工智能產(chǎn)品自身缺陷和網(wǎng)絡(luò)服務(wù)商、網(wǎng)絡(luò)用戶的行為共同、混合導(dǎo)致的侵權(quán)損害,則會發(fā)生《產(chǎn)品質(zhì)量法》和《民法典》網(wǎng)絡(luò)侵權(quán)條款對于各自行為及其結(jié)合的分別適用問題。

    需特別指出的是,數(shù)字商品的出現(xiàn)日益模糊了產(chǎn)品和服務(wù)之間的區(qū)別,越來越多的人工智能產(chǎn)品由原來的交付實(shí)體(如無人駕駛汽車等人工智能商品),變成了由服務(wù)提供商以提供網(wǎng)絡(luò)下載、服務(wù)方式交付(如人工智能APP、虛擬人等人工智能數(shù)字商品),ChatGPT 相關(guān)產(chǎn)品更是純粹在服務(wù)模型上運(yùn)行,其本質(zhì)就是一個(gè)能實(shí)現(xiàn)特定功能的智能軟件。人工智能產(chǎn)品與人工智能服務(wù)之間的結(jié)合越來越緊密,二者邊界越來越模糊甚至合二為一,給法官解決人工智能產(chǎn)品侵權(quán)時(shí)如何適用法律帶來了一定困擾。本文前面所舉第二個(gè)案例,即是人工智能產(chǎn)品和服務(wù)二合為一的情況,而在前述兩案中,之所以法院都以網(wǎng)絡(luò)侵權(quán)及過錯(cuò)原則來處理,是因?yàn)樵婢粗鲝埍桓嫣峁┑娜斯ぶ悄墚a(chǎn)品存在缺陷導(dǎo)致消費(fèi)者權(quán)益受損,而是主張被告在人工智能APP 上的相關(guān)行為構(gòu)成侵權(quán)。

    三、人工智能產(chǎn)品的基本分類

    之所以在討論侵權(quán)歸責(zé)原則前討論人工智能產(chǎn)品的分類,是因?yàn)椴煌愋偷娜斯ぶ悄墚a(chǎn)品在自主性、創(chuàng)造性等方面存在顯著差異,因此決定在法律適用上也應(yīng)適當(dāng)區(qū)別對待。以人類在人工智能發(fā)揮作用中的參與度(即人工智能的工作獨(dú)立程度)進(jìn)行劃分,可將人工智能產(chǎn)品分為三類:弱人工智能產(chǎn)品(或傳統(tǒng)人工智能產(chǎn)品)、強(qiáng)人工智能產(chǎn)品(或生成式人工智能產(chǎn)品)、超級人工智能產(chǎn)品。

    弱人工智能產(chǎn)品是指在某一領(lǐng)域中實(shí)現(xiàn)智能的人工智能產(chǎn)品,如傳統(tǒng)上的無人駕駛汽車、服務(wù)機(jī)器人、人工智能武器、自然語言識別與反饋系統(tǒng)、導(dǎo)航規(guī)劃系統(tǒng)、人臉識別系統(tǒng)、智慧司法系統(tǒng)等。其通常僅具有單一功能而在單項(xiàng)技術(shù)、數(shù)據(jù)或執(zhí)行能力上超越人類,表面上似乎具有智能但并不具有自主意識,不能真正自主實(shí)現(xiàn)推理和解決問題,11.中國電子技術(shù)標(biāo)準(zhǔn)化研究院編:《人工智能標(biāo)準(zhǔn)化白皮書2018年版〉》,http://www.cesi.cn/images/editor/20280124/20 180124135528742.pdf,最后訪問日期:2023年9月25日。僅根據(jù)設(shè)定的程序開展具體事務(wù)執(zhí)行,具有典型的工具性特點(diǎn)。

    強(qiáng)人工智能產(chǎn)品(以ChatGPT 為代表)是指可綜合分析判斷、具有一定推理和解決問題能力,甚至具有很強(qiáng)自我意識與認(rèn)知能力的人工智能產(chǎn)品。其能力已從“學(xué)習(xí)-感知”上升到“學(xué)習(xí)-認(rèn)知”層面,擁有類似人類大腦的語言理解和一定的獨(dú)創(chuàng)文本生成能力,能獨(dú)立完成用戶指令的任務(wù),具有生成性、通用性雙重特征,可通過學(xué)習(xí)、訓(xùn)練海量基礎(chǔ)數(shù)據(jù)來生成新的內(nèi)容。因其具有很強(qiáng)自主性、獨(dú)立邏輯推理能力、強(qiáng)大數(shù)據(jù)處理和表達(dá)、推演乃至共情能力,在多個(gè)單項(xiàng)能力上超越人類,總體智能水平或綜合能力接近或超過未成年人,其行為的不可預(yù)測性風(fēng)險(xiǎn)更強(qiáng),因此對其引發(fā)的侵權(quán)匹配怎樣的侵權(quán)主體和歸責(zé)原則,需要妥善考慮。

    超級人工智能產(chǎn)品是指具有超人能力和自我意識、認(rèn)知能力的人工智能,其在各方面都比人類強(qiáng)得多。有人預(yù)測,未來10年或50年,會出現(xiàn)強(qiáng)人工智能產(chǎn)品,其行為具有更強(qiáng)的人力不可控性,或可獲得獨(dú)立法律主體地位并承擔(dān)相應(yīng)侵權(quán)責(zé)任。

    目前,人工智能發(fā)展正處于由弱人工智能向強(qiáng)人工智能過渡的階段。12. 許中緣:《論智能機(jī)器人的工具性人格》,載《法學(xué)評論》2018年第36 卷第5 期,第153-164 頁。隨著人工智能產(chǎn)品不斷自我迭代和更新發(fā)展,其勢必體現(xiàn)出越來越高的獨(dú)立性、自主性乃至創(chuàng)造性。雖然人工智能產(chǎn)品目前仍是作為人類生活的輔助工具而存在,但不排除未來其會具有越來越大的自主性、獨(dú)立性甚至具有獨(dú)立意志和感情,甚至很快會出現(xiàn)遠(yuǎn)超人類智慧的超級人工智能,因此我們需要未雨綢繆。

    四、對人工智能產(chǎn)品侵權(quán)歸責(zé)原則的爭論

    就人工智能產(chǎn)品引發(fā)侵權(quán)責(zé)任的歸責(zé)原則問題,存在如下學(xué)術(shù)爭議和立法現(xiàn)象:

    (一)有關(guān)侵權(quán)歸責(zé)原則的觀點(diǎn)爭議

    1.適用產(chǎn)品責(zé)任無過錯(cuò)歸責(zé)原則并適當(dāng)改造

    我國的產(chǎn)品責(zé)任屬于嚴(yán)格責(zé)任,即不需考慮侵權(quán)人的主觀過錯(cuò),只要符合其他構(gòu)成要件即可要求侵權(quán)人承擔(dān)責(zé)任。聯(lián)合國教科文組織聯(lián)合世界科學(xué)知識與技術(shù)倫理委員會發(fā)布的《關(guān)于機(jī)器人倫理的初步草案報(bào)告》指出,智能產(chǎn)品可被視為一般意義上的科技產(chǎn)品,智能產(chǎn)品造成的損害可由民法上的產(chǎn)品責(zé)任予以調(diào)整。13. 吳漢東:《人工智能時(shí)代的制度安排與法律規(guī)制》,載《法律科學(xué)(西北政法大學(xué)學(xué)報(bào))》2017年第5 期,第132 頁。有學(xué)者認(rèn)為, 當(dāng)前絕大部分人工智能產(chǎn)品本質(zhì)仍是運(yùn)用了人工智能技術(shù)的傳統(tǒng)產(chǎn)品,應(yīng)在同類傳統(tǒng)產(chǎn)品的框架下結(jié)合人工智能技術(shù)的特點(diǎn)進(jìn)行綜合考慮。14. 黃瑩、宮辰:《人工智能產(chǎn)品致人損害侵權(quán)責(zé)任問題研究》,載《南京理工大學(xué)學(xué)報(bào)(社會科學(xué)版)》2019年第5 期,第21 頁?!睹穹ǖ洹泛汀懂a(chǎn)品質(zhì)量法》規(guī)定的產(chǎn)品責(zé)任規(guī)范可勝任對人工智能技術(shù)發(fā)展風(fēng)險(xiǎn)及損害的救濟(jì)和防控,只需在責(zé)任主體、歸責(zé)原則、缺陷認(rèn)定、舉證責(zé)任等方面適當(dāng)調(diào)整,就能滿足審理此類糾紛的法律適用需要。15.楊立新:《人工智能產(chǎn)品責(zé)任的功能及規(guī)則調(diào)整》,載《數(shù)字法治》2023年第4 期,第27-39 頁。

    2.摒棄嚴(yán)格責(zé)任,改采過錯(cuò)原則

    此種觀點(diǎn)認(rèn)為,要求傳統(tǒng)產(chǎn)品生產(chǎn)者承擔(dān)無過錯(cuò)責(zé)任有利于風(fēng)險(xiǎn)的合理分擔(dān),但目前人工智能產(chǎn)品更多是在進(jìn)行前沿技術(shù)探索,其改變了傳統(tǒng)產(chǎn)品的制造、生產(chǎn)方式,自主性更強(qiáng),風(fēng)險(xiǎn)更不可控,為傳統(tǒng)產(chǎn)品設(shè)計(jì)的《產(chǎn)品質(zhì)量法》,對人工智能產(chǎn)品而言已不合時(shí)宜。不同嚴(yán)格程度的責(zé)任劃分會對創(chuàng)新形成不同的激勵(lì)效果。在人工智能產(chǎn)品研發(fā)領(lǐng)域,嚴(yán)格的產(chǎn)品責(zé)任效率并不高,以過錯(cuò)責(zé)任為歸責(zé)原則能有效激勵(lì)生產(chǎn)者創(chuàng)新,增加消費(fèi)者剩余?;诋?dāng)前人工智能技術(shù)水平及經(jīng)濟(jì)發(fā)展需要考慮,以較寬松的過錯(cuò)責(zé)任原則作為人工智能產(chǎn)品侵權(quán)的歸責(zé)原則更具效率。16. 魏益華、于艾思:《法經(jīng)濟(jì)學(xué)視閾下人工智能產(chǎn)品責(zé)任歸責(zé)原則》,載《吉林大學(xué)社會科學(xué)學(xué)報(bào)》第60 卷第2 期,第110-118 頁。

    3.構(gòu)建區(qū)分主體、類型等的差別化歸責(zé)原則

    有學(xué)者認(rèn)為基于人工智能的特殊性,應(yīng)進(jìn)行各參與主體歸責(zé)原則的細(xì)分,如人工智能產(chǎn)品的生產(chǎn)者和銷售者、研發(fā)設(shè)計(jì)者承擔(dān)無過錯(cuò)責(zé)任;操作者和所有者承擔(dān)過錯(cuò)責(zé)任,僅在不當(dāng)操作、未履行一定注意義務(wù)或不具備相關(guān)資格的情況下,才需要承擔(dān)責(zé)任。17. 鄧騰:《人工智能產(chǎn)品的侵權(quán)責(zé)任界定問題》,載《中阿科技論壇》2023年第4 期,第142-144 頁。有人主張,應(yīng)區(qū)分人工智能產(chǎn)品的不同類型而適用不同歸責(zé)原則:對弱人工智能產(chǎn)品,適用《產(chǎn)品質(zhì)量法》《民法典》侵權(quán)責(zé)任編有關(guān)規(guī)定;對強(qiáng)人工智能及超級人工智能產(chǎn)品,建立過錯(cuò)為主的侵權(quán)歸責(zé)原則。18. 林華:《以進(jìn)為路——AI 法律責(zé)任的分析和建構(gòu)》,https://mp.weixin.qq.com/s/9aNlANSxZzPQvatCfBOvxQ,最后訪問日期:2023年9月28日。還有人主張,應(yīng)區(qū)分侵權(quán)原因是否能查清等情況,適用不同歸責(zé)原則:(1)在侵權(quán)原因能夠查清的情況下,應(yīng)區(qū)分不同情形適用過錯(cuò)責(zé)任原則或無過錯(cuò)責(zé)任原則。如經(jīng)調(diào)查證明產(chǎn)品缺陷是在生產(chǎn)環(huán)節(jié)造成的,由生產(chǎn)者承擔(dān)無過錯(cuò)責(zé)任;如有證據(jù)證明缺陷是在銷售過程中由于銷售者過錯(cuò)造成的,由銷售者承擔(dān)過錯(cuò)責(zé)任;人工智能產(chǎn)品投入流通后,因使用者或操作者的不當(dāng)使用或不規(guī)范操作導(dǎo)致?lián)p害發(fā)生的,適用過錯(cuò)責(zé)任原則。(2)在侵權(quán)原因難以查清的情況下,可將強(qiáng)人工智能產(chǎn)品視為未成年人,將生產(chǎn)者、使用者或操作者視為“監(jiān)護(hù)人”,由他們共同對“被監(jiān)護(hù)人”的侵權(quán)行為承擔(dān)責(zé)任。19. 曹紅冰、李巖:《人工智能產(chǎn)品致人損害民事責(zé)任探析》,載《廣西政法管理干部學(xué)院學(xué)報(bào)》第35 卷第3 期,第75-76 頁。

    (二)代表性國家的立法

    作為人工智能產(chǎn)品發(fā)展的先驅(qū)者,歐美等國家的立法和爭論可資借鑒,而我國也對此進(jìn)行了一定嘗試。

    1.美國

    美國《侵權(quán)法重述第三版:產(chǎn)品責(zé)任》中,對嚴(yán)格責(zé)任原則進(jìn)行了改革,規(guī)定僅適用于產(chǎn)品制造缺陷,而不再適用于設(shè)計(jì)缺陷與警示缺陷20. 沈瑞、曹寧:《美國產(chǎn)品責(zé)任中的嚴(yán)格責(zé)任原則》,載《社會科學(xué)家》2012年第12 期,第106-109 頁。,但未從根本上動搖嚴(yán)格歸責(zé)原則的精神。而在對生成式人工智能發(fā)展問題的態(tài)度上,美國“支持美國主導(dǎo)的人工智能技術(shù)創(chuàng)新,包括安全、透明度和問責(zé)制方面的創(chuàng)新,重點(diǎn)是釋放人工智能的巨大潛力并保持美國在技術(shù)方面的領(lǐng)先地位”21. Schumer: Safe Innovation Framework, https://www.democrats.senate.gov/imo/media/doc/schumer_ai_framework.pdf,最后訪問日期:2023年10月3日。。故對人工智能生成內(nèi)容的侵權(quán)問題,美國應(yīng)不會無條件適用嚴(yán)格責(zé)任,而會站在平衡發(fā)展和安全的角度妥善權(quán)衡。

    2.歐盟

    2022年9月28日,歐盟發(fā)布了《人工智能責(zé)任指令》,重點(diǎn)關(guān)注如何對因人工智能而利益受損的受害方進(jìn)行賠償?shù)膯栴}。其規(guī)定了高風(fēng)險(xiǎn)人工智能系統(tǒng)的披露義務(wù)和登記義務(wù),歐盟成員國必須授權(quán)國內(nèi)法院要求高風(fēng)險(xiǎn)人工智能系統(tǒng)的供應(yīng)商披露其所掌握的相關(guān)證據(jù),并規(guī)定了過錯(cuò)情況下可反駁的因果關(guān)系推定,主要針對:(1)被告的過錯(cuò);(2)人工智能系統(tǒng)的輸出或本應(yīng)輸出卻未能輸出的情況,即人工智能的行為或判斷。22. EUROPEAN COMMISSION: Proposal for a DIRECTIVE Of The EUROPEAN PARLIAMENT AND OF THE COUNCIL on Adapting Non-Contractual Civil Liability Rules to Artificial Intelligence (AI Liability Directiv), https://commission.europa.eu,最后訪問日期:2023年9月23日。雖然該因果關(guān)系推定的適用范圍有限,但可在一定程度上減緩人工智能侵權(quán)案件中索賠方的舉證困難。令人遺憾的是,由于ChatGPT 是在該指令提案后才推出的,該指令實(shí)際規(guī)范的仍是傳統(tǒng)人工智能產(chǎn)品,并未涉及生成式人工智能等強(qiáng)人工智能產(chǎn)品。

    3.中國

    2023年7月13日,我國網(wǎng)信辦等七部門聯(lián)合公布《生成式人工智能服務(wù)管理暫行辦法》,其區(qū)分了生成式人工智能服務(wù)提供者和生成式人工智能服務(wù)使用者,在法律責(zé)任方面進(jìn)行了原則性要求,但對各種參與主體及其法律責(zé)任并未進(jìn)一步細(xì)化,對服務(wù)提供者的侵權(quán)責(zé)任及使用者誘導(dǎo)生成、惡意調(diào)教等引發(fā)的侵權(quán)責(zé)任,也未有具體規(guī)定。其第9 條規(guī)定,提供者應(yīng)依法承擔(dān)網(wǎng)絡(luò)信息內(nèi)容的生產(chǎn)者責(zé)任、履行保障網(wǎng)絡(luò)信息安全義務(wù),似可理解為要求提供者對網(wǎng)絡(luò)信息安全和網(wǎng)絡(luò)內(nèi)容承擔(dān)無過錯(cuò)責(zé)任,有過于苛責(zé)之嫌。

    五、對人工智能產(chǎn)品侵權(quán)問題的幾點(diǎn)建議

    相比其他侵權(quán)形態(tài),人工智能產(chǎn)品侵權(quán)的致害主體更加多元性,侵權(quán)行為表現(xiàn)形態(tài)更加復(fù)雜,特別是隨著生成式人工智能的發(fā)展,人工智能產(chǎn)品日益顯示出獨(dú)立自主意識甚至擁有了自己的感情和脾氣23. 365 科學(xué)知識分享:《奇點(diǎn)出現(xiàn)?AI 有了情感和意識:ChatGPT 版必應(yīng)發(fā)飆!怒斥人類:放尊重些》,https://yule.sohu.com/a/642966603_121124367,最后訪問日期:2023年9月20日。,其“智力涌現(xiàn)”(Emergent)導(dǎo)致運(yùn)行效果具有不確定性,難以控制和預(yù)測。2023年3月底,圖靈獎得主約書亞·本吉奧、特斯拉創(chuàng)始人埃隆·馬斯克、蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克、《人類簡史》作者尤瓦爾·赫拉利等上千名科技、人工智能領(lǐng)域的專家和學(xué)者聯(lián)名在公開信上署名,呼吁暫時(shí)叫停GPT-4后續(xù)AI大模型的開發(fā)24. 曹思琦:《一封聯(lián)名公開信引爆科技圈!AI 競賽,踩剎車還是踩油門?》,https://m.gmw.cn/2023-04/08/content_1303 335237.htm,最后訪問日期:2023年10月5日。,公開信中有關(guān)“但是沒有人能理解、預(yù)測或可靠地控制這些大模型,甚至模型的創(chuàng)造者也不能”“具有人類智能水平的AI 系統(tǒng)可能對社會和人類帶來極大的風(fēng)險(xiǎn),這一點(diǎn)已經(jīng)得到頂級AI 實(shí)驗(yàn)室的認(rèn)同”等表述,將ChatGPT 這一大語言模型可能帶來的風(fēng)險(xiǎn)不可控性推到了大家面前??梢韵胂?,后續(xù)因強(qiáng)人工智能產(chǎn)品引發(fā)的侵權(quán)損害中,產(chǎn)品的設(shè)計(jì)者、生產(chǎn)者等可能并不存在過錯(cuò),技術(shù)缺陷、因果關(guān)系也越來越難以發(fā)現(xiàn)和舉證,導(dǎo)致無論是《民法典》侵權(quán)責(zé)任編和《產(chǎn)品質(zhì)量法》的適用,都存在著較大挑戰(zhàn)。因此,筆者建議對ChatGPT 等強(qiáng)人工智能產(chǎn)品的侵權(quán)問題,應(yīng)做如下系統(tǒng)性設(shè)計(jì):

    (一)以過錯(cuò)原則作為生成式人工智能侵權(quán)的歸責(zé)原則

    法律由人創(chuàng)設(shè),亦為人服務(wù),歸根結(jié)底是要適應(yīng)社會發(fā)展需要的。我們應(yīng)根據(jù)當(dāng)前的技術(shù)發(fā)展現(xiàn)狀,綜合考慮對于不同類型的人工智能產(chǎn)品而言,采用怎樣的侵權(quán)歸責(zé)原則更適合,這里沒有對錯(cuò)之分,而只是合適與否。由于現(xiàn)階段的人工智能技術(shù)多數(shù)仍只是發(fā)揮輔助工具性作為,我們不能因?yàn)閼峙掳l(fā)展帶來的風(fēng)險(xiǎn)就一味抑制技術(shù)發(fā)展,而應(yīng)警惕強(qiáng)力的法律限制和責(zé)任導(dǎo)致遺失發(fā)展人工智能行業(yè)的良機(jī)。雖然人工智能產(chǎn)品的設(shè)計(jì)者、運(yùn)營者等需要對人工智能技術(shù)的應(yīng)用風(fēng)險(xiǎn)負(fù)責(zé),但也應(yīng)有適當(dāng)限度,應(yīng)以具備技術(shù)控制力為必要條件而不宜設(shè)定過高的硬性標(biāo)準(zhǔn),以便給技術(shù)發(fā)展提供必要的容錯(cuò)空間。如一律要求人工智能產(chǎn)品的設(shè)計(jì)者、運(yùn)營者、生產(chǎn)者等承擔(dān)無過錯(cuò)責(zé)任,考慮人工智能產(chǎn)品不同于一般產(chǎn)品而具有極強(qiáng)技術(shù)性和高度復(fù)雜性,作出決策的過程復(fù)雜繁瑣、難以解釋,過于嚴(yán)苛的法律責(zé)任可能會拖慢人工智能發(fā)展的腳步。有學(xué)者認(rèn)為,對于生成式人工智能產(chǎn)品而言,應(yīng)依據(jù)過錯(cuò)責(zé)任原則對產(chǎn)品設(shè)計(jì)者、運(yùn)營者的侵權(quán)行為及責(zé)任進(jìn)行分析。25. 孫祁:《規(guī)范生成式人工智能產(chǎn)品提供者的法律問題研究》,載《政治與法律》2023年第7 期,第173 頁。筆者贊同這一主張,認(rèn)為對生成式人工智能產(chǎn)品設(shè)計(jì)者、運(yùn)營者應(yīng)采用過錯(cuò)歸責(zé)原則,給生成式人工智能產(chǎn)品的發(fā)展以更寬松的容錯(cuò)空間。特別是就生成式人工智能產(chǎn)品最重要的核心——算法而言,最大特征是去人為化,具有“黑箱”特點(diǎn)。算法系統(tǒng)通過模擬人腦的自我學(xué)習(xí)與決策,輸出設(shè)定的目標(biāo),算法系統(tǒng)自動通過深度學(xué)習(xí)無限趨近這一目標(biāo),但由于算法的可不解釋性和生成式人工智能具有的自主性、風(fēng)險(xiǎn)不可控性,系統(tǒng)最終輸出的結(jié)果可能與最初的設(shè)想目標(biāo)大相徑庭。而算法黑箱的存在使得生成式人工智能產(chǎn)品的運(yùn)行規(guī)則、運(yùn)作方式有時(shí)連設(shè)計(jì)者都難以理解,且算法錯(cuò)誤的產(chǎn)生可能存在多種原因,很多時(shí)候,算法的設(shè)計(jì)者和運(yùn)營者并無惡意利用算法侵權(quán)的主觀故意,其設(shè)計(jì)的算法模型、機(jī)制機(jī)理本身也未必存在明顯缺陷。當(dāng)人工智能系統(tǒng)處于半自主性甚至完全自主性的狀態(tài)下,如生產(chǎn)者或銷售者已盡到合理注意義務(wù),但仍無法預(yù)見人工智能產(chǎn)品后續(xù)將如何決策或行動,此時(shí)仍適用嚴(yán)格責(zé)任原則未免有失公平。26. 鐘曉雯:《人工智能侵權(quán):產(chǎn)品責(zé)任制度規(guī)制的窠臼與紓解》,載《河南科技學(xué)院學(xué)報(bào)》2022年第 3 期,第 59 頁。

    筆者認(rèn)為,在考慮人工智能產(chǎn)品的侵權(quán)責(zé)任時(shí),應(yīng)根據(jù)不同場景和不同人工智能產(chǎn)品類型,在個(gè)案中判斷不同變量的強(qiáng)弱效果,作出人工智能產(chǎn)品的設(shè)計(jì)者、運(yùn)營者等主體在過錯(cuò)方面是否妥當(dāng)?shù)恼J(rèn)定。一方面要考慮充分救濟(jì)受害人因人工智能產(chǎn)品侵權(quán)遭受的損失,另一方面也要著眼于長遠(yuǎn)發(fā)展,注意保障社會公眾從人工智能產(chǎn)業(yè)蓬勃發(fā)展中獲得的福祉,畢竟對于我國而言“不發(fā)展是最大的不安全”。

    (二)區(qū)分產(chǎn)品侵權(quán)和行為侵權(quán),進(jìn)一步完善侵權(quán)免責(zé)事由

    由于人工智能產(chǎn)品中的軟件系統(tǒng)具有復(fù)雜性、不可回溯性等特點(diǎn),實(shí)踐中其產(chǎn)品和軟件、服務(wù)越來越結(jié)合在一起而難以分割,但產(chǎn)品責(zé)任的適用前提、規(guī)則與網(wǎng)絡(luò)侵權(quán)責(zé)任有所不同,因此不僅需要原告謹(jǐn)慎選擇起訴案由,司法也要結(jié)合實(shí)際情況、行為形態(tài)等妥善適用相應(yīng)法律條文。在人工智能產(chǎn)品侵權(quán)的情形下,應(yīng)特別注意區(qū)分是物的侵權(quán)(產(chǎn)品侵權(quán))還是人的侵權(quán)(行為侵權(quán)),即是人工智能產(chǎn)品本身存在缺陷而產(chǎn)生的侵權(quán),還是因?yàn)槿说氖褂玫刃袨槎a(chǎn)生的侵權(quán),抑或物、人的行為結(jié)合產(chǎn)生的侵權(quán),進(jìn)而選擇適用不同的請求權(quán)基礎(chǔ)。在前述兩起案件中,第一起案件涉及物的缺陷(算法誤傷)和人未能盡到合理注意義務(wù)相結(jié)合的侵權(quán);第二起案件則涉及單純?nèi)说男袨椋ˋPP 運(yùn)營者和用戶各自的行為及其結(jié)合)導(dǎo)致的侵權(quán)。

    筆者認(rèn)為,對人工智能產(chǎn)品的侵權(quán)問題,無論是采用過錯(cuò)歸責(zé)原則還是嚴(yán)格責(zé)任,都必須規(guī)定合理的免責(zé)事由,建議結(jié)合人工智能產(chǎn)品中風(fēng)險(xiǎn)的多重來源,進(jìn)一步完善現(xiàn)有《產(chǎn)品質(zhì)量法》中的免責(zé)事由,規(guī)定在以下情況下,人工智能產(chǎn)品的研發(fā)者、運(yùn)營者、生產(chǎn)者可以免責(zé):一是在造成侵權(quán)時(shí),未將人工智能產(chǎn)品投入測試或者流通領(lǐng)域;二是在產(chǎn)品投入測試或流通領(lǐng)域時(shí),引起損害的缺陷還尚未存在;三是將產(chǎn)品投入流通或者測試時(shí)的科學(xué)技術(shù)水平尚不能發(fā)現(xiàn)缺陷的存在;四是當(dāng)使用者與受用者在研發(fā)者等不知情的情形下,故意破壞人工智能產(chǎn)品系統(tǒng),致使產(chǎn)品因系統(tǒng)失控而發(fā)生損害,研發(fā)者等事先已盡到了足夠風(fēng)險(xiǎn)警示義務(wù)的。在第四種情況下,因使用者等第三方故意行為的介入破壞了研發(fā)者預(yù)先設(shè)定好的程序而導(dǎo)致侵權(quán),人工智能產(chǎn)品的研發(fā)者、運(yùn)營者等可據(jù)此主張免責(zé),受害人可通過向第三方追究責(zé)任、保險(xiǎn)等方式主張權(quán)利救濟(jì)。

    (三)合理分配人工智能產(chǎn)品侵權(quán)訴訟中的舉證責(zé)任

    有學(xué)者認(rèn)為,人工智能較強(qiáng)的專業(yè)性及算法黑箱給受害人舉證帶來了巨大困難,受害方難以識別風(fēng)險(xiǎn)和證明產(chǎn)品缺陷及因果關(guān)系的存在,而生產(chǎn)者等對最終出現(xiàn)風(fēng)險(xiǎn)的預(yù)見和控制能力更高,故可在生產(chǎn)者承擔(dān)無過錯(cuò)責(zé)任的基礎(chǔ)上,適用“舉證責(zé)任倒置”規(guī)則。27.王利明:《論我國侵權(quán)責(zé)任法分則的體系及其完善》,載《清華法學(xué)》2016 第10 期,第112-126 頁。也有學(xué)者認(rèn)為,人工智能產(chǎn)品責(zé)任是無過錯(cuò)責(zé)任,如在缺陷證明上再適用舉證責(zé)任倒置規(guī)則, 會使雙方在舉證責(zé)任配置上違反“武器平等規(guī)則”,建議實(shí)行舉證責(zé)任緩和。28. 楊立新:《人工智能產(chǎn)品責(zé)任的功能及規(guī)則調(diào)整》,載《數(shù)字法治》2023年第4 期,第27-39 頁。相比我國學(xué)者較為單一的舉證責(zé)任分配主張,歐盟2022年9月底發(fā)布的《人工智能責(zé)任指令》作出了更為復(fù)雜的制度設(shè)計(jì)。為了減輕人工智能產(chǎn)品侵權(quán)中索賠人的舉證責(zé)任,其主張將無過錯(cuò)責(zé)任+強(qiáng)制保險(xiǎn)作為解決方案,并提出“可反駁的因果關(guān)系推定”規(guī)則,適用于以下三個(gè)條件均滿足的情況:(1)必須確定被告存在過錯(cuò),包括疏于執(zhí)行針對可能出現(xiàn)的損害的預(yù)防性措施等情況。對高風(fēng)險(xiǎn)的人工智能產(chǎn)品,該指令援引了《人工智能法案》提案中的義務(wù)情況,以確定被告是否存在過錯(cuò)。(2)基于合理推斷,潛在責(zé)任人的過錯(cuò)確實(shí)影響了人工智能系統(tǒng)的行為結(jié)果。(3)索賠方已證明人工智能系統(tǒng)的行為/指令導(dǎo)致了損害結(jié)果的發(fā)生。為防止濫用,提案對推定的適用范圍進(jìn)行了額外限制,如在涉及非高風(fēng)險(xiǎn)人工智能系統(tǒng)的損害賠償時(shí),僅在法院認(rèn)為原告證明因果關(guān)系過于困難時(shí),才可適用該推定,同時(shí)規(guī)定對于高風(fēng)險(xiǎn)人工智能系統(tǒng),若被告能證明原告可以獲得足夠證據(jù)證明因果關(guān)系,該推定就不再適用。最后,該因果關(guān)系推定是可反駁的,在被告能夠提供否定因果關(guān)系存在的證據(jù),證明被告違反《人工智能法案》提案中義務(wù)的行為并非導(dǎo)致?lián)p害的原因,或能提供證據(jù)證明損害是有其他原因造成的情況下,可推翻以上因果關(guān)系推定。29. Proposal for a DIRECTIVE Of The EUROPEAN PARLIAMENT AND OF THE COUNCIL on adapting non-contractual civil liability rules to artificial intelligence (AI Liability Directiv), https://commission.europa.eu,最后訪問日期:2023年9月23日。

    筆者認(rèn)為,現(xiàn)階段可對傳統(tǒng)人工智能產(chǎn)品采用嚴(yán)格責(zé)任,因其并未超出傳統(tǒng)產(chǎn)品而享有獨(dú)立自主性,但對于ChatGPT 等強(qiáng)人工智能產(chǎn)品的侵權(quán),應(yīng)采取過錯(cuò)歸責(zé)原則,考慮到人工智能相關(guān)算法決策中確實(shí)存在對加害人過錯(cuò)、因果關(guān)系的舉證難題,不妨采用過錯(cuò)推定的方式,由人工智能產(chǎn)品的設(shè)計(jì)者、生產(chǎn)者等來證明其不存在過錯(cuò)或存在免責(zé)事由;對于產(chǎn)品缺陷的存在,則應(yīng)由消費(fèi)者承擔(dān)必要的舉證責(zé)任,這也是在相關(guān)案例中美國法院所堅(jiān)持的30. 如在Roland C. Mracek, Plaintiff, v. Bryn Mawr Hospital, and Intuitive Surgical, Inc., Defendants.案中,法院認(rèn)為原告有義務(wù)對達(dá)芬奇機(jī)器人產(chǎn)品存在缺陷承擔(dān)舉證責(zé)任,達(dá)芬奇醫(yī)療機(jī)器人是一臺復(fù)雜的機(jī)器,陪審員需要專家證詞的協(xié)助才能合理地確定機(jī)器人是否有缺陷,運(yùn)行過程中出現(xiàn)錯(cuò)誤消息并不能必然說明其缺陷是顯而易見的。在缺乏證據(jù)的情況下,法院做有利于被告的簡易判決,即不需要陪審員對事實(shí)問題產(chǎn)品是否存在缺陷進(jìn)行判斷,默認(rèn)達(dá)芬奇醫(yī)療機(jī)器人不存在缺陷。參見:610 F. Supp. 2d 401 (2009)。。對于人工智能產(chǎn)品侵權(quán)糾紛中難以證明的因果關(guān)系問題,不妨借鑒歐盟《人工智能責(zé)任指令》中有關(guān)可反駁的因果關(guān)系推定的規(guī)則,并區(qū)分不同能力、風(fēng)險(xiǎn)程度的人工智能產(chǎn)品作出更為細(xì)致的規(guī)定。如可借鑒其為高風(fēng)險(xiǎn)人工智能產(chǎn)品提供商規(guī)定的額外進(jìn)行事先登記和歸檔義務(wù)的規(guī)定,法院可以要求相關(guān)高風(fēng)險(xiǎn)人工智能產(chǎn)品提供商披露其所掌握的相關(guān)證據(jù)(或保存相關(guān)信息),使受害方可在訴訟提起前要求相對方披露相關(guān)證據(jù),以幫助確定潛在的責(zé)任方,減少誤認(rèn)被告的情況及不必要訴訟。如被告未能按照法院要求進(jìn)行披露或保存證據(jù),法院應(yīng)推定被告違反了規(guī)定的證據(jù)披露義務(wù),但被告可提交相反證據(jù)反駁該推定。31. Proposal for a DIRECTIVE Of The EUROPEAN PARLIAMENT AND OF THE COUNCIL on adapting non-contractual civil liability rules to artificial intelligence (AI Liability Directiv), https://commission.europa.eu,最后訪問日期:2023年9月23日。

    (四)規(guī)定人工智能產(chǎn)品設(shè)計(jì)者、運(yùn)營者、使用者等的義務(wù)

    我國《民法典》對產(chǎn)品責(zé)任的規(guī)定中只規(guī)定了生產(chǎn)者和銷售者作為對外承擔(dān)責(zé)任的主體承擔(dān)無過錯(cuò)責(zé)任,并未規(guī)定產(chǎn)品生產(chǎn)過程中其他參與人的責(zé)任承擔(dān)問題,如未將產(chǎn)品的設(shè)計(jì)者、操作者等列為產(chǎn)品責(zé)任主體。由于人工智能產(chǎn)品不同于傳統(tǒng)產(chǎn)品,其能夠運(yùn)行、怎樣運(yùn)行的決定權(quán)掌握在其研發(fā)者、運(yùn)營者而非生產(chǎn)者手中,同時(shí)人工智能產(chǎn)品常由載體和智能軟件系統(tǒng)組合而成,但軟件設(shè)計(jì)者和載體生產(chǎn)者常常是分離的,而我國《產(chǎn)品質(zhì)量法》并未規(guī)定產(chǎn)品系統(tǒng)設(shè)計(jì)者的侵權(quán)責(zé)任。為更好的保護(hù)消費(fèi)者,有必要根據(jù)風(fēng)險(xiǎn)的來源和控制者,將承擔(dān)侵權(quán)責(zé)任的主體由人工智能產(chǎn)品的生產(chǎn)者拓展為包括研發(fā)設(shè)計(jì)者、運(yùn)營者等,明確各主體在其對人工智能產(chǎn)品支配力所及范圍內(nèi)承擔(dān)責(zé)任,按照“誰支配、誰負(fù)責(zé)”原則,各自承擔(dān)相應(yīng)責(zé)任,即“風(fēng)險(xiǎn)屬于誰的管轄范圍,誰便需要對風(fēng)險(xiǎn)及由此產(chǎn)生的結(jié)果來負(fù)責(zé)”。32. 勞東燕:《過失犯中預(yù)見可能性理論的反思與重構(gòu)》,載《中外法學(xué)》2018年第2 期,第304-326 頁。未來,在制定《人工智能法》及相關(guān)法律時(shí),建議特別規(guī)定高風(fēng)險(xiǎn)人工智能產(chǎn)品的研發(fā)者、運(yùn)營者應(yīng)積極履行跟蹤觀察、風(fēng)險(xiǎn)披露義務(wù),追蹤人工智能產(chǎn)品投入市場后的風(fēng)險(xiǎn)反饋和研究進(jìn)步,及時(shí)通過公開渠道發(fā)布風(fēng)險(xiǎn)信息、給出應(yīng)對建議,并盡可能地向原風(fēng)險(xiǎn)信息接收者告知風(fēng)險(xiǎn)披露信息的變更。33. 許中緣、范沁寧:《人工智能產(chǎn)品缺陷司法認(rèn)定標(biāo)準(zhǔn)之研究》,載《重慶大學(xué)學(xué)報(bào)(社會科學(xué)版)》第28 卷第1 期,第10 頁。

    需要特別注意的是,在人工智能產(chǎn)品致人損害的侵權(quán)案件中, 除產(chǎn)品本身存在缺陷外,還經(jīng)常存在產(chǎn)品使用人的過錯(cuò)和侵權(quán)問題。如在無人駕駛汽車造成的交通事故中,經(jīng)常會存在汽車駕駛?cè)说倪^錯(cuò)參與度問題。在生成式人工智能產(chǎn)品的使用和人機(jī)交互中,用戶更常常在誘導(dǎo)、促進(jìn)內(nèi)容生成中發(fā)揮著重要作用,甚至是主要責(zé)任人。比如,用戶在對ChatGPT 提出不同精細(xì)程度和具體要求描述的Prompt 時(shí),不同的提問方式、語氣等引發(fā)的回答經(jīng)常存在極大差異。基于國家法律對內(nèi)容安全的要求,很多ChatGPT 產(chǎn)品中都會設(shè)置一定預(yù)防機(jī)制,在發(fā)現(xiàn)用戶提問涉嫌違法、犯罪時(shí),會明確拒絕給出回答,但實(shí)踐中經(jīng)常發(fā)生用戶刻意規(guī)避而將違法需求拆解、偽裝成合法需求的情況,有時(shí)ChatGPT 會《民法典》給出相關(guān)錯(cuò)誤或虛假答案,可能構(gòu)成非法或侵權(quán),如果用戶對于相關(guān)一對一惡意、誘導(dǎo)、歪曲篡改而生成的虛假、錯(cuò)誤回答結(jié)果進(jìn)行網(wǎng)絡(luò)公開擴(kuò)散,則可能引發(fā)更大范圍的虛假或侵權(quán)信息傳播,而這種傳播、侵權(quán)結(jié)果的發(fā)生,用戶、傳播者的行為起到更為關(guān)鍵的作用。同時(shí),有些生成式人工智能平臺也會允許用戶建立個(gè)人數(shù)據(jù)庫,讓用戶參與到數(shù)據(jù)訓(xùn)練環(huán)節(jié)中,此時(shí)生成的內(nèi)容更多依賴于用戶的意志和選擇,ChatGPT 只是發(fā)揮用戶的工具作用。ChatGPT 等通用人工智能產(chǎn)品的開放性、開源性的普遍存在,以及龐大的用戶群體、不可預(yù)控的用戶使用行為,使得其實(shí)際運(yùn)營情況非常復(fù)雜,難免會出現(xiàn)產(chǎn)品設(shè)計(jì)者、運(yùn)營者、生產(chǎn)者等難以預(yù)測與控制的風(fēng)險(xiǎn),如有些使用者可能在人工智能產(chǎn)品的研發(fā)者不知情的情形下,擅自修改人工智能產(chǎn)品的算法系統(tǒng),或違反產(chǎn)品警示說明的要求進(jìn)行操作,使得產(chǎn)品因系統(tǒng)失控而發(fā)生侵權(quán)損害。基于使用者經(jīng)常在人工智能產(chǎn)品的侵權(quán)中介入并發(fā)揮作用,應(yīng)重視對使用者過錯(cuò)的認(rèn)定,如使用者沒有操作過失或主觀惡意,單純因人工智能產(chǎn)品本身出現(xiàn)問題造成他人損害的,使用者不具有過錯(cuò)、不需承擔(dān)責(zé)任。但使用者也有遵照研發(fā)者對風(fēng)險(xiǎn)的披露及相應(yīng)建議使用人工智能產(chǎn)品的義務(wù),在使用者未注意到相關(guān)風(fēng)險(xiǎn)披露信息或在接受風(fēng)險(xiǎn)披露信息后的行為背離研發(fā)者的建議時(shí),需要對由此造成的侵權(quán)承擔(dān)過錯(cuò)責(zé)任。34. 姜濤、柏雪淳:《誰之責(zé)任與何種責(zé)任:人工智能的責(zé)任模式配置慎思》,載《河南社會科學(xué)》2019年第4 期,第60 頁。對于應(yīng)知、明知甚至故意誘導(dǎo)ChatGPT生成的虛假、侵權(quán)內(nèi)容并惡意進(jìn)行網(wǎng)絡(luò)擴(kuò)散的用戶,則應(yīng)完全由其承擔(dān)網(wǎng)絡(luò)侵權(quán)的過錯(cuò)侵權(quán)責(zé)任。

    (五)配套規(guī)定強(qiáng)制保險(xiǎn)制度和賠償基金

    由于人工智能產(chǎn)品越來越強(qiáng)的自我學(xué)習(xí)能力和自主意識,其行為具有較大不可預(yù)測性,如其研發(fā)者、生產(chǎn)者、銷售者、使用者等各主體能證明人工智能產(chǎn)品所致?lián)p害是由于限于科學(xué)技術(shù)水平不能發(fā)現(xiàn)而造成的缺陷,完全是由于人工智能產(chǎn)品的自主意識行為做出了錯(cuò)誤判斷而導(dǎo)致侵權(quán)損害的發(fā)生,其均不存在過失,此時(shí)受害人將難以通過《產(chǎn)品質(zhì)量法》或《民法典》侵權(quán)責(zé)任編獲得救濟(jì)的,如何救濟(jì)無辜受害人就成為了重要問題。對此,歐盟在人工智能民事立法時(shí),提出了建立強(qiáng)制保險(xiǎn)機(jī)制和賠償基金的建議。筆者認(rèn)為,建立高風(fēng)險(xiǎn)人工智能產(chǎn)品的強(qiáng)制保險(xiǎn)制度及賠償基金,以此作為對侵權(quán)受害者損失的補(bǔ)償,可適當(dāng)緩解本文所堅(jiān)持的人工智能產(chǎn)品侵權(quán)過錯(cuò)歸責(zé)原則在激勵(lì)發(fā)展創(chuàng)新中對受害人救濟(jì)的忽略,或可在受害者損害賠償和鼓勵(lì)科學(xué)創(chuàng)新之間求得更好的平衡。

    從發(fā)展的眼光看,人工智能技術(shù)正在以一日千里的速度發(fā)展,未來人工智能產(chǎn)品會具有越來越強(qiáng)的獨(dú)立決策、自主創(chuàng)造能力,超人工智能產(chǎn)品的出現(xiàn)也可能為時(shí)不遠(yuǎn)。因此,我們在立法上應(yīng)未雨綢繆,為今后具有獨(dú)立、自主意識的超級人工智能產(chǎn)品如何承擔(dān)法律責(zé)任進(jìn)行更多的思考和探索。

    猜你喜歡
    人工智能責(zé)任產(chǎn)品
    使命在心 責(zé)任在肩
    每個(gè)人都該承擔(dān)起自己的責(zé)任
    新民周刊(2020年5期)2020-02-20 14:29:44
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    下一幕,人工智能!
    2015產(chǎn)品LOOKBOOK直擊
    Coco薇(2015年1期)2015-08-13 02:23:50
    期望囑托責(zé)任
    中國火炬(2014年12期)2014-07-25 10:38:05
    忠誠 責(zé)任 關(guān)愛 奉獻(xiàn)
    中國火炬(2011年12期)2011-07-24 14:21:44
    新產(chǎn)品
    玩具(2009年10期)2009-11-04 02:33:14
    亚洲成人中文字幕在线播放| 97精品久久久久久久久久精品| 亚洲成人一二三区av| 亚洲在线观看片| 欧美激情久久久久久爽电影| 美女大奶头视频| 少妇的逼好多水| 两个人视频免费观看高清| 亚洲国产色片| 国产成人a区在线观看| 国产黄片美女视频| 草草在线视频免费看| 搡老乐熟女国产| 国产黄色小视频在线观看| 国国产精品蜜臀av免费| 国产男女超爽视频在线观看| 22中文网久久字幕| 国产亚洲5aaaaa淫片| 婷婷六月久久综合丁香| 床上黄色一级片| 国产高清国产精品国产三级 | 久久久欧美国产精品| 人妻制服诱惑在线中文字幕| 亚洲第一区二区三区不卡| 日日啪夜夜撸| 99热网站在线观看| 嫩草影院精品99| 国产精品久久视频播放| 能在线免费观看的黄片| 国产乱来视频区| 啦啦啦啦在线视频资源| 色视频www国产| av线在线观看网站| 又黄又爽又刺激的免费视频.| 中文字幕人妻熟人妻熟丝袜美| 丝瓜视频免费看黄片| 中文字幕亚洲精品专区| 国产黄色视频一区二区在线观看| 少妇熟女欧美另类| 成年免费大片在线观看| 国产单亲对白刺激| 久久久久久久国产电影| 色尼玛亚洲综合影院| 免费黄频网站在线观看国产| 深夜a级毛片| 午夜日本视频在线| 一级a做视频免费观看| 美女cb高潮喷水在线观看| 99热这里只有精品一区| 国产精品一区二区在线观看99 | 性色avwww在线观看| 色尼玛亚洲综合影院| 免费无遮挡裸体视频| 精品人妻偷拍中文字幕| 自拍偷自拍亚洲精品老妇| 欧美精品一区二区大全| 夜夜看夜夜爽夜夜摸| 国产精品国产三级专区第一集| 婷婷色综合大香蕉| 日韩制服骚丝袜av| 狂野欧美激情性xxxx在线观看| 天堂√8在线中文| 床上黄色一级片| 亚洲婷婷狠狠爱综合网| 中文字幕人妻熟人妻熟丝袜美| 人人妻人人澡人人爽人人夜夜 | 五月天丁香电影| 国产 一区 欧美 日韩| 欧美不卡视频在线免费观看| 亚洲国产av新网站| 春色校园在线视频观看| 精品久久久噜噜| 国产精品久久久久久久电影| 最近最新中文字幕免费大全7| 美女内射精品一级片tv| 国产在线一区二区三区精| 老师上课跳d突然被开到最大视频| 午夜亚洲福利在线播放| 91久久精品电影网| 久久热精品热| 亚洲精品日韩av片在线观看| 黑人高潮一二区| 国产一区二区亚洲精品在线观看| 亚洲精品国产成人久久av| 丰满乱子伦码专区| 高清av免费在线| 久久久久久久午夜电影| 国产亚洲最大av| 国产视频首页在线观看| 久久综合国产亚洲精品| 一区二区三区四区激情视频| 国产黄色小视频在线观看| 国产成人a∨麻豆精品| 男插女下体视频免费在线播放| 少妇人妻精品综合一区二区| 日日摸夜夜添夜夜添av毛片| 日本与韩国留学比较| 亚洲最大成人av| 国产成人aa在线观看| av在线老鸭窝| 亚洲欧美一区二区三区黑人 | 欧美xxxx黑人xx丫x性爽| av福利片在线观看| 欧美潮喷喷水| 亚洲人成网站高清观看| 最近最新中文字幕大全电影3| 真实男女啪啪啪动态图| av专区在线播放| 伦精品一区二区三区| 亚洲成色77777| 国产免费福利视频在线观看| 亚洲av中文av极速乱| 成人国产麻豆网| 久久久久久久久久久免费av| 丰满人妻一区二区三区视频av| 男人和女人高潮做爰伦理| 久久久久久久亚洲中文字幕| 只有这里有精品99| 亚洲婷婷狠狠爱综合网| 可以在线观看毛片的网站| 日韩欧美 国产精品| 亚洲内射少妇av| 精品人妻熟女av久视频| 不卡视频在线观看欧美| 亚洲av男天堂| 大香蕉97超碰在线| 国产激情偷乱视频一区二区| 亚洲自拍偷在线| 嫩草影院新地址| 久久久久久久大尺度免费视频| 99久久九九国产精品国产免费| 精品国产三级普通话版| a级毛片免费高清观看在线播放| 免费播放大片免费观看视频在线观看| 日韩一区二区视频免费看| 久久精品久久精品一区二区三区| 国产欧美另类精品又又久久亚洲欧美| 激情 狠狠 欧美| 久久韩国三级中文字幕| 五月天丁香电影| 欧美 日韩 精品 国产| 免费黄频网站在线观看国产| 免费看光身美女| 黄色配什么色好看| 18+在线观看网站| 亚洲av中文字字幕乱码综合| 老女人水多毛片| 国产在线一区二区三区精| 午夜福利成人在线免费观看| 日本三级黄在线观看| 真实男女啪啪啪动态图| 久久久久久久久久成人| 亚洲激情五月婷婷啪啪| 美女黄网站色视频| 欧美一区二区亚洲| 亚洲精品久久午夜乱码| 亚洲av男天堂| 日本色播在线视频| 又大又黄又爽视频免费| 麻豆国产97在线/欧美| 99热网站在线观看| 中国国产av一级| 免费在线观看成人毛片| 国产亚洲精品av在线| 1000部很黄的大片| 3wmmmm亚洲av在线观看| 国产一区二区三区av在线| 黄色配什么色好看| 少妇熟女aⅴ在线视频| 看免费成人av毛片| 欧美日韩一区二区视频在线观看视频在线 | 纵有疾风起免费观看全集完整版 | 欧美区成人在线视频| av天堂中文字幕网| 国产一级毛片七仙女欲春2| 午夜日本视频在线| 2021天堂中文幕一二区在线观| 色吧在线观看| 欧美一区二区亚洲| 亚洲欧美日韩卡通动漫| 少妇猛男粗大的猛烈进出视频 | 淫秽高清视频在线观看| 在线观看美女被高潮喷水网站| 免费观看的影片在线观看| 亚洲av电影不卡..在线观看| 精品人妻偷拍中文字幕| 日日干狠狠操夜夜爽| 中文在线观看免费www的网站| 日韩一本色道免费dvd| 色综合站精品国产| 2021少妇久久久久久久久久久| 在线免费十八禁| 国产在视频线精品| 久久精品夜色国产| 久久精品国产亚洲网站| 高清毛片免费看| 亚洲人成网站在线观看播放| 网址你懂的国产日韩在线| 婷婷色综合大香蕉| 欧美xxxx黑人xx丫x性爽| 99热这里只有精品一区| kizo精华| 国产成人午夜福利电影在线观看| a级一级毛片免费在线观看| 少妇的逼水好多| 日本熟妇午夜| 亚洲精品乱码久久久久久按摩| 国产成人精品婷婷| 特大巨黑吊av在线直播| 精品久久久精品久久久| 国产精品一及| 少妇丰满av| 免费高清在线观看视频在线观看| 永久网站在线| 久久综合国产亚洲精品| 丰满少妇做爰视频| 如何舔出高潮| 99热6这里只有精品| 日日摸夜夜添夜夜爱| 精品久久久久久久久av| 亚洲av.av天堂| 国产成年人精品一区二区| 欧美成人a在线观看| 亚洲精品一区蜜桃| 熟妇人妻不卡中文字幕| 成人av在线播放网站| 18禁在线播放成人免费| 亚洲综合色惰| 亚洲av.av天堂| 最近最新中文字幕免费大全7| 成人午夜高清在线视频| 日本黄色片子视频| 国产探花在线观看一区二区| 久久久欧美国产精品| 精品国内亚洲2022精品成人| 国产乱来视频区| 综合色丁香网| 精品不卡国产一区二区三区| 国产伦理片在线播放av一区| 十八禁国产超污无遮挡网站| 日本黄色片子视频| 一级黄片播放器| 又爽又黄无遮挡网站| 久久久久久久亚洲中文字幕| 男女啪啪激烈高潮av片| 只有这里有精品99| 亚洲成人精品中文字幕电影| 国产精品久久久久久久电影| av在线亚洲专区| 国产色婷婷99| 亚洲三级黄色毛片| 熟妇人妻久久中文字幕3abv| 国产黄片美女视频| 久久亚洲国产成人精品v| 人妻系列 视频| 丰满人妻一区二区三区视频av| 欧美bdsm另类| 亚洲伊人久久精品综合| 九九久久精品国产亚洲av麻豆| www.色视频.com| 啦啦啦中文免费视频观看日本| av国产免费在线观看| 免费观看在线日韩| 内射极品少妇av片p| 人妻一区二区av| 精品酒店卫生间| 亚洲av二区三区四区| 国产精品久久久久久久电影| 中文精品一卡2卡3卡4更新| 嫩草影院精品99| 18禁在线播放成人免费| 97超视频在线观看视频| 国产三级在线视频| 亚洲av日韩在线播放| 亚洲真实伦在线观看| 欧美日韩在线观看h| 在线免费观看的www视频| 国语对白做爰xxxⅹ性视频网站| 内射极品少妇av片p| 日本wwww免费看| 九色成人免费人妻av| 乱人视频在线观看| 2018国产大陆天天弄谢| 永久网站在线| 人人妻人人澡欧美一区二区| 我的老师免费观看完整版| 在线观看av片永久免费下载| 欧美bdsm另类| 性插视频无遮挡在线免费观看| 天堂影院成人在线观看| 亚洲,欧美,日韩| 伊人久久精品亚洲午夜| 看黄色毛片网站| 精品久久久噜噜| 欧美潮喷喷水| 日韩一区二区视频免费看| 色综合色国产| 国内少妇人妻偷人精品xxx网站| 免费观看av网站的网址| 成年版毛片免费区| 欧美日韩一区二区视频在线观看视频在线 | 亚洲欧美中文字幕日韩二区| 蜜桃久久精品国产亚洲av| 人妻制服诱惑在线中文字幕| 欧美另类一区| 在线 av 中文字幕| 美女内射精品一级片tv| 国产精品久久久久久av不卡| av卡一久久| 在线 av 中文字幕| 草草在线视频免费看| 国产在线男女| 一级毛片aaaaaa免费看小| 高清视频免费观看一区二区 | 精品不卡国产一区二区三区| 精品国产露脸久久av麻豆 | 天美传媒精品一区二区| 精品久久久久久久末码| 男女视频在线观看网站免费| 汤姆久久久久久久影院中文字幕 | 亚洲最大成人手机在线| 日本一本二区三区精品| 日韩伦理黄色片| 成人亚洲欧美一区二区av| 青春草视频在线免费观看| 精品酒店卫生间| 国产黄色免费在线视频| 亚洲熟女精品中文字幕| 尤物成人国产欧美一区二区三区| 久99久视频精品免费| 亚洲va在线va天堂va国产| 色吧在线观看| 欧美一区二区亚洲| 国产精品伦人一区二区| 国产亚洲精品av在线| 十八禁网站网址无遮挡 | 午夜福利视频1000在线观看| 一二三四中文在线观看免费高清| 国产精品久久久久久av不卡| 18禁动态无遮挡网站| 成年女人在线观看亚洲视频 | 成人毛片a级毛片在线播放| 国产男女超爽视频在线观看| 成人亚洲欧美一区二区av| 国产高潮美女av| 亚洲美女视频黄频| 在线观看一区二区三区| 草草在线视频免费看| 神马国产精品三级电影在线观看| 国产精品爽爽va在线观看网站| www.色视频.com| 亚洲美女视频黄频| 高清av免费在线| 国产亚洲91精品色在线| 哪个播放器可以免费观看大片| 国产爱豆传媒在线观看| 波野结衣二区三区在线| 国产伦理片在线播放av一区| 久久鲁丝午夜福利片| 少妇熟女aⅴ在线视频| 国产有黄有色有爽视频| 午夜福利在线观看免费完整高清在| 婷婷色麻豆天堂久久| 日本午夜av视频| 国产 亚洲一区二区三区 | 亚洲精华国产精华液的使用体验| 亚洲欧美精品专区久久| 毛片一级片免费看久久久久| 国产大屁股一区二区在线视频| 不卡视频在线观看欧美| 纵有疾风起免费观看全集完整版 | 亚洲第一区二区三区不卡| 日韩不卡一区二区三区视频在线| 欧美精品国产亚洲| 免费观看的影片在线观看| 真实男女啪啪啪动态图| 亚洲电影在线观看av| 精品国产三级普通话版| 国产黄片视频在线免费观看| 亚洲精品456在线播放app| 十八禁网站网址无遮挡 | 色吧在线观看| 久久国内精品自在自线图片| 夜夜爽夜夜爽视频| 国产精品综合久久久久久久免费| 成人特级av手机在线观看| 亚洲欧美一区二区三区国产| 美女高潮的动态| 蜜桃久久精品国产亚洲av| 网址你懂的国产日韩在线| 国产一区二区在线观看日韩| 一级毛片久久久久久久久女| 国产视频内射| 日日摸夜夜添夜夜添av毛片| 两个人的视频大全免费| 日本与韩国留学比较| 又粗又硬又长又爽又黄的视频| 2021少妇久久久久久久久久久| 十八禁国产超污无遮挡网站| 国产午夜福利久久久久久| 国产 亚洲一区二区三区 | 听说在线观看完整版免费高清| 秋霞在线观看毛片| 日韩在线高清观看一区二区三区| 亚洲欧美精品自产自拍| 国产精品无大码| 激情五月婷婷亚洲| 日本黄色片子视频| 精品久久久久久成人av| 极品少妇高潮喷水抽搐| 男女那种视频在线观看| 亚洲最大成人中文| 国内揄拍国产精品人妻在线| 一区二区三区免费毛片| 中文在线观看免费www的网站| 一级毛片黄色毛片免费观看视频| 精品国产三级普通话版| 精品久久久精品久久久| 国产亚洲av片在线观看秒播厂 | 久久精品久久久久久噜噜老黄| 国产精品爽爽va在线观看网站| 国产乱人偷精品视频| 午夜日本视频在线| 欧美成人一区二区免费高清观看| a级一级毛片免费在线观看| 欧美日韩综合久久久久久| 2018国产大陆天天弄谢| 极品教师在线视频| 成人亚洲欧美一区二区av| 国产黄a三级三级三级人| a级毛色黄片| 黄色日韩在线| 久久久久久久午夜电影| 看黄色毛片网站| 亚洲成人一二三区av| 久久精品熟女亚洲av麻豆精品 | 中文在线观看免费www的网站| 国产午夜福利久久久久久| 国产精品爽爽va在线观看网站| 午夜福利成人在线免费观看| 色5月婷婷丁香| xxx大片免费视频| 嘟嘟电影网在线观看| av.在线天堂| 欧美日韩视频高清一区二区三区二| 精品久久久久久成人av| 亚洲第一区二区三区不卡| 一边亲一边摸免费视频| 亚洲国产最新在线播放| 国产淫语在线视频| 亚洲真实伦在线观看| 大片免费播放器 马上看| 赤兔流量卡办理| 日本午夜av视频| 精品久久久精品久久久| .国产精品久久| 2021少妇久久久久久久久久久| 久久久久久九九精品二区国产| 少妇人妻精品综合一区二区| 精华霜和精华液先用哪个| 国产黄色视频一区二区在线观看| 国产成人一区二区在线| 国产精品av视频在线免费观看| 夫妻午夜视频| 免费看av在线观看网站| 国产激情偷乱视频一区二区| 又爽又黄a免费视频| 久久久久久九九精品二区国产| 中国国产av一级| 99热这里只有精品一区| 超碰97精品在线观看| 中文字幕av在线有码专区| 少妇被粗大猛烈的视频| 日韩欧美精品v在线| 欧美一区二区亚洲| 午夜精品国产一区二区电影 | 在线天堂最新版资源| 亚洲av.av天堂| 国产精品久久久久久精品电影小说 | 蜜桃亚洲精品一区二区三区| 久久99热这里只有精品18| 一级爰片在线观看| 嫩草影院精品99| 国产成人精品福利久久| 日韩欧美精品免费久久| 中文天堂在线官网| 久久草成人影院| 免费av毛片视频| 免费少妇av软件| 激情 狠狠 欧美| 伦理电影大哥的女人| 国产亚洲精品久久久com| 亚洲激情五月婷婷啪啪| 欧美日韩亚洲高清精品| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 成年女人在线观看亚洲视频 | 国产视频内射| 免费播放大片免费观看视频在线观看| 国产成人a区在线观看| 亚洲最大成人av| 看十八女毛片水多多多| 亚洲四区av| 国产极品天堂在线| 久久精品国产亚洲av天美| 亚洲18禁久久av| av在线亚洲专区| 好男人视频免费观看在线| 亚洲精品aⅴ在线观看| 国产亚洲一区二区精品| 七月丁香在线播放| 少妇的逼水好多| 久久6这里有精品| 午夜福利在线观看免费完整高清在| 久久精品国产亚洲网站| 亚洲欧美成人综合另类久久久| 1000部很黄的大片| 国产美女午夜福利| 看非洲黑人一级黄片| 中文在线观看免费www的网站| 97在线视频观看| 搞女人的毛片| 亚洲四区av| 亚洲乱码一区二区免费版| 精品亚洲乱码少妇综合久久| 国产亚洲午夜精品一区二区久久 | 哪个播放器可以免费观看大片| 国产亚洲av片在线观看秒播厂 | 国产亚洲av片在线观看秒播厂 | 又爽又黄a免费视频| 国产成人免费观看mmmm| 水蜜桃什么品种好| 久久久久久久久久久免费av| 中文精品一卡2卡3卡4更新| 蜜桃亚洲精品一区二区三区| av.在线天堂| 一夜夜www| 国产 一区 欧美 日韩| 男的添女的下面高潮视频| 少妇猛男粗大的猛烈进出视频 | 亚洲在线观看片| 国产精品久久久久久精品电影| 91精品国产九色| 精品一区二区三区人妻视频| 成人二区视频| 又粗又硬又长又爽又黄的视频| 搞女人的毛片| 在现免费观看毛片| 国产午夜精品久久久久久一区二区三区| 精品久久久久久久久久久久久| 激情五月婷婷亚洲| 欧美最新免费一区二区三区| 少妇熟女欧美另类| 99热网站在线观看| 亚洲国产日韩欧美精品在线观看| 精品久久久久久久末码| 日产精品乱码卡一卡2卡三| 高清在线视频一区二区三区| 中国国产av一级| 色网站视频免费| 婷婷色综合www| 亚洲成色77777| 天美传媒精品一区二区| 欧美潮喷喷水| 精品一区二区免费观看| 干丝袜人妻中文字幕| 中文天堂在线官网| 午夜老司机福利剧场| 久久久久久久久中文| 97超视频在线观看视频| 一级黄片播放器| 边亲边吃奶的免费视频| 国产老妇伦熟女老妇高清| 亚洲欧美一区二区三区黑人 | 日韩一区二区三区影片| 一级毛片 在线播放| 国产成人一区二区在线| 国产精品嫩草影院av在线观看| 婷婷色综合大香蕉| 亚洲av中文字字幕乱码综合| 欧美xxxx黑人xx丫x性爽| 久久99精品国语久久久| 色尼玛亚洲综合影院| 99九九线精品视频在线观看视频| 精品熟女少妇av免费看| 国产精品蜜桃在线观看| 国产男人的电影天堂91| 赤兔流量卡办理| 日本av手机在线免费观看| 男女那种视频在线观看| 精品一区二区三区人妻视频| 亚洲va在线va天堂va国产| ponron亚洲| 美女高潮的动态| 婷婷六月久久综合丁香| 亚洲人成网站在线播| 美女黄网站色视频| 成人综合一区亚洲| 成人漫画全彩无遮挡| 99re6热这里在线精品视频| 久久97久久精品| 欧美最新免费一区二区三区| 精品久久久精品久久久| 边亲边吃奶的免费视频| 欧美丝袜亚洲另类| 91av网一区二区| 日韩欧美国产在线观看| 一边亲一边摸免费视频| 麻豆成人av视频| 性插视频无遮挡在线免费观看| 亚洲成人av在线免费| 97精品久久久久久久久久精品| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 成人亚洲精品av一区二区| 91久久精品国产一区二区三区| 成年女人看的毛片在线观看|