• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    強(qiáng)人工智能的侵權(quán)責(zé)任承擔(dān)分析

    2019-03-18 01:58:15米新麗王亞蘭
    關(guān)鍵詞:定位主體機(jī)器人

    米新麗,王亞蘭

    (首都經(jīng)濟(jì)貿(mào)易大學(xué) 法學(xué)院,北京 豐臺 100070)

    一、人工智能技術(shù)產(chǎn)生新的法律問題

    隨著科技水平的不斷發(fā)展,人工智能掀起了全球新一輪的技術(shù)革命,其已廣泛應(yīng)用到物流、交通、運(yùn)輸、醫(yī)療、制造、服務(wù)等各個(gè)行業(yè)。在未來,人工智能將會出現(xiàn)在更多領(lǐng)域,而這一趨勢的出現(xiàn)不可避免地在各行各業(yè)發(fā)生一系列侵權(quán)現(xiàn)象,損害人類的生命健康、財(cái)產(chǎn)安全。例如,20世紀(jì)80年代日本因?yàn)楣I(yè)機(jī)器人程序錯(cuò)誤,將工人壓死的慘痛事故[1];姆拉賽克訴布林茅爾醫(yī)院案中,達(dá)芬奇醫(yī)療機(jī)器人因?yàn)槌绦蛞恢辈荒芊从痴_的信息,且拒絕手術(shù)中的其他團(tuán)隊(duì)進(jìn)行糾正,最終延誤病人治療的悲劇事件[2];而最新的一些更為典型的事故發(fā)生在無人駕駛領(lǐng)域。2018年3月23日,無人駕駛汽車特斯拉致車內(nèi)駕駛?cè)藛T當(dāng)場死亡的事故等。這似乎是人工智能技術(shù)在時(shí)刻提醒著我們:強(qiáng)人工智能時(shí)代已經(jīng)到來,它給我們帶來便利的同時(shí)也面臨著由何者來承擔(dān)因錯(cuò)誤行為和損害行為產(chǎn)生的責(zé)任問題。因?yàn)榘凑諅鹘y(tǒng)的產(chǎn)品制度,當(dāng)事故發(fā)生需要認(rèn)定法律責(zé)任時(shí),既可以使用者、所有者在使用過程中存在過錯(cuò)為由追究其過錯(cuò)責(zé)任,也可以產(chǎn)品存在缺陷為由追究生產(chǎn)者的產(chǎn)品責(zé)任。在強(qiáng)人工智能中使用者、所有者根本無法了解、控制強(qiáng)人工智能的行為,何來責(zé)任一說?而傳統(tǒng)的產(chǎn)品缺陷責(zé)任也難以適用:一方面強(qiáng)人工智能沒有統(tǒng)一的安全標(biāo)準(zhǔn),即使可以借鑒現(xiàn)有的其他產(chǎn)品標(biāo)準(zhǔn),又如何認(rèn)定制造缺陷、設(shè)計(jì)缺陷;另一方面如果不存在缺陷問題,僅有強(qiáng)人工智能自主行為,此時(shí)責(zé)任如何承擔(dān)?強(qiáng)人工智能、生產(chǎn)者、設(shè)計(jì)者?而根據(jù)現(xiàn)有的法律制度根本無法填平強(qiáng)人工智能侵權(quán)后的損失、也無法平衡強(qiáng)人工智能致害責(zé)任等現(xiàn)實(shí)問題。

    因此,本文僅對目前學(xué)界普遍有爭議的強(qiáng)人工智能這一階段的智能機(jī)器人(即具有人類所有認(rèn)知能力,有知覺和意,可以由自身的系統(tǒng)自主的執(zhí)行不同的認(rèn)知任務(wù)的這一類機(jī)器人)侵權(quán)時(shí)的歸責(zé)問題進(jìn)行具體分析,因?yàn)槿跞斯ぶ悄苁遣荒苷嬲龑?shí)現(xiàn)脫離人類控制自主解決問題的智能機(jī)器,它們并沒有真正的智能,只能實(shí)現(xiàn)單一任務(wù),比如語音、圖像識別等,依照現(xiàn)有的《產(chǎn)品質(zhì)量法》或《侵權(quán)責(zé)任法》的相關(guān)規(guī)定就可以進(jìn)行歸責(zé)分析。

    二、強(qiáng)人工智能概念的界定

    強(qiáng)人工智能(“強(qiáng) AI”)概念最早由哲學(xué)家塞爾(John Searle)于20世紀(jì)80年代所提出[3],目前理論界針對強(qiáng)人工智能的范圍界定爭議不大,通說認(rèn)為其是與目前現(xiàn)有的僅僅依靠程序設(shè)計(jì)、指令等操作的“弱人工智能”相對的概念(1)在理論界和業(yè)界,早有“強(qiáng)人工智能”相對“弱人工智能”的概念。例如:約翰塞爾區(qū)分了弱人工智能和強(qiáng)人工智能,前者指稱僅能作為研究輔助工具的人工智能,后者指經(jīng)適當(dāng)編程的電腦與人類心靈等同(See John R. Searle. Minds, Brain and Programs. The Behavioral and Brain Sciences,1980,3(3):417-423.)。本文通過北大法寶輸入“強(qiáng)人工智能”進(jìn)行檢索分析,共得出93條結(jié)果,在這些結(jié)果中明確的對象都是將強(qiáng)弱人工智能進(jìn)行分開比對研究,或者直接引用強(qiáng)人工智能這一概念。(同時(shí)在搜索“人工智能”時(shí),也有大量篇幅的論文將人工智能區(qū)分為強(qiáng)、弱兩類)其中涉及強(qiáng)弱人工智能分類時(shí),突出的將自我意識、自主學(xué)習(xí)、自主決策等一系列脫離人的控制,自主作出的一系列類似于人類的活動作為其主要特點(diǎn)。 而對“弱人工智能”的認(rèn)識并無多大爭議,一般是指在設(shè)計(jì)和編制的程序范圍內(nèi)執(zhí)行人類的指令,通過其有限的智慧解決一些智力問題。參見[日]松尾豐:《人工智能狂潮:機(jī)器人會超越人類嗎?》,趙函宏、高華彬譯,機(jī)械工業(yè)出版社,2016:35-36。。具有以下特點(diǎn):

    (一)具有人的意志的效果性

    強(qiáng)人工智能區(qū)別于之前的弱人工智能,不僅僅依據(jù)設(shè)計(jì)人的數(shù)據(jù)代碼設(shè)定運(yùn)行,還能在設(shè)定之后的運(yùn)行中,自我深度學(xué)習(xí),猶如海綿一樣,不斷進(jìn)行自我吸收、程序轉(zhuǎn)換成新的知識背景[4]??梢哉f這種后續(xù)的學(xué)習(xí)已經(jīng)脫離設(shè)計(jì)者最初想要設(shè)定的軌道,完全由進(jìn)一步的學(xué)習(xí)、認(rèn)知而自我衍生出新的裁判準(zhǔn)則,之前的人為設(shè)定,根據(jù)數(shù)據(jù)算法運(yùn)行的做法作為獨(dú)創(chuàng)性已經(jīng)無法適用于新一代強(qiáng)人工智能[5]。

    (二)行動完全的自主性

    強(qiáng)人工智能下,它們已經(jīng)不再受人類的指令引導(dǎo)與下達(dá),他們自己可以根據(jù)周邊環(huán)境結(jié)合現(xiàn)實(shí)情況自主的做出判斷[6]??梢哉f,他們是和人類近似的強(qiáng)人工智能體,擁有自我的情感、認(rèn)知與行動能力,不再是完全受支配的客體。更為先進(jìn)的是,未來的他們正如科幻電影所描述的,可以根據(jù)自己的意志進(jìn)行創(chuàng)造新的超出人類預(yù)控的物種,例如可以自己制造自己的下一代,而不再需要人類進(jìn)行前期的編碼設(shè)置。因此,強(qiáng)人工智能的突出特點(diǎn)就是完全的自我判斷、自我決定。

    (三)不透明性

    智能機(jī)器人因?yàn)榭梢宰灾鲗W(xué)習(xí)和深度學(xué)習(xí),在設(shè)計(jì)者予以最先的系統(tǒng)軟件設(shè)計(jì)后,智能機(jī)器人便可以根據(jù)自身的進(jìn)程不斷學(xué)習(xí),最后連設(shè)計(jì)者本身都無法預(yù)測其行進(jìn)的過程,因此其侵權(quán)過程中到底是基于何種原因產(chǎn)生,無法由外界乃至受害者得知。

    強(qiáng)人工智能擁有和人一樣的意思表達(dá)能力與完全的自主性,能夠在設(shè)計(jì)運(yùn)行中進(jìn)行自我深入學(xué)習(xí)、調(diào)整以及學(xué)習(xí)進(jìn)程中的高度不透明性,完全可以脫離人類控制,這在無形中導(dǎo)致其實(shí)施侵害后呈現(xiàn)出多樣化、復(fù)雜化、不透明化的特征,使得現(xiàn)行的《中華人民共和國侵權(quán)責(zé)任法》面臨是否可以完全適用、怎樣適用這一新興事物的困境。因此針對強(qiáng)人工智能這一對象,探索分析現(xiàn)行侵權(quán)責(zé)任歸屬是當(dāng)前民法學(xué)界的重中之重。

    三、國內(nèi)強(qiáng)人工智能侵權(quán)責(zé)任的理論探討

    國內(nèi)目前針對強(qiáng)人工智能侵權(quán)后的責(zé)任承擔(dān)問題,正如火如荼的進(jìn)行著。雖然沒有一致的結(jié)論,但是統(tǒng)一的前提方向是:先判斷強(qiáng)人工智能是否具有民事責(zé)任能力、是否屬于民法上的民事主體[7],之后結(jié)合此定位進(jìn)行責(zé)任承擔(dān)。因?yàn)檫@一問題具有基礎(chǔ)性和全局性,左右后續(xù)問題的解決。而目前,我國現(xiàn)有的侵權(quán)法律規(guī)范在強(qiáng)人工智能主體的認(rèn)定問題上存在爭議,無法通過民法解釋學(xué)將強(qiáng)人工智能明確歸于任何一類法定民法主體。為此,下文主要梳理國內(nèi)目前理論研究中對強(qiáng)人工智能機(jī)器人的定位——主體說與客體說,并依據(jù)不同定位,分析侵權(quán)時(shí)責(zé)任歸屬方面的具體操作以及存在的問題:

    (一)“客體”定位下的責(zé)任承擔(dān)

    該理論觀點(diǎn)認(rèn)為強(qiáng)人工智能機(jī)器人僅是權(quán)利的客體。例如鄭戈教授從責(zé)任方面明確提出強(qiáng)人工智能體本身沒有獨(dú)立的財(cái)產(chǎn)且不具備獨(dú)立擔(dān)責(zé)的能力,對于設(shè)立法律人格顯得多余和毫無必要[8];上海文史館館長郝鐵川教授從唯物史觀的觀點(diǎn)給出強(qiáng)人工智能的本質(zhì)是人的工具、人器官的延伸。我們創(chuàng)造勞動工具,反過來還讓工具取代人類?抑或與人類處于同一主體地位?這種將強(qiáng)人工智能作為獨(dú)立主體的理念完全是不愿堅(jiān)守唯物史觀的基本觀點(diǎn),是不成熟的行為,同時(shí)也是對法律穩(wěn)定性的褻瀆;吳漢東教授也明確提出“控制說”,他認(rèn)為智能機(jī)器人不同于有生命的自然人,應(yīng)屬于其控制的工具,目前不具備取得獨(dú)立主體地位的資格[1]??梢哉f,這些都是目前理論界主要接受的觀點(diǎn)?;谶@種物的定位,在責(zé)任歸屬上,也就存在了如下兩種觀點(diǎn):產(chǎn)品論——由生產(chǎn)者承擔(dān)責(zé)任,動物論——由動物管理者承擔(dān)責(zé)任。

    前者認(rèn)為根據(jù)《中華人民共和國產(chǎn)品質(zhì)量法》,產(chǎn)品質(zhì)量應(yīng)當(dāng)檢驗(yàn)合格,符合保障人體健康和人身、財(cái)產(chǎn)安全的標(biāo)準(zhǔn)或要求,生產(chǎn)者、銷售者依法承擔(dān)產(chǎn)品質(zhì)量責(zé)任。因此強(qiáng)人工智能定位為產(chǎn)品,除了個(gè)別由于使用者或者第三人故意引起的侵權(quán)以外,大多數(shù)強(qiáng)人工智能侵權(quán)是由于產(chǎn)品存在缺陷造成的,所以應(yīng)當(dāng)由生產(chǎn)者承擔(dān)產(chǎn)品責(zé)任,適用無過錯(cuò)歸責(zé)原則。銷售者承擔(dān)不真正連帶責(zé)任。

    該種主體定位后的責(zé)任承擔(dān)有一定局限:首先,缺陷如何確定[9]。我們知道在產(chǎn)品質(zhì)量侵權(quán)責(zé)任中,首先,需要受害者證明強(qiáng)人工智能存在缺陷;其次,自己受到損害,之后缺陷與損害之間具有因果聯(lián)系。但是強(qiáng)人工智能作為新興科技,目前我國并沒有統(tǒng)一的行業(yè)標(biāo)準(zhǔn),國際上也沒有統(tǒng)一適用的標(biāo)準(zhǔn),因此在這一不完善的技術(shù)標(biāo)準(zhǔn)下,讓一個(gè)不懂或者說完全沒有接觸過生產(chǎn)、設(shè)計(jì)領(lǐng)域的受害者來證明所謂的缺陷問題是件幾乎無法完成的事;再次,根據(jù)上文分析,我們知道強(qiáng)人工智能具有完全的自主性特征,是可以自己深入學(xué)習(xí)并擺脫人類控制的產(chǎn)物,產(chǎn)品缺陷僅僅是強(qiáng)人工智能的侵權(quán)原因之一;最后,在《產(chǎn)品質(zhì)量法》上還規(guī)定了一些免責(zé)條款,其中41條明確規(guī)定:“產(chǎn)品流通時(shí)的科學(xué)技術(shù)尚不能發(fā)現(xiàn)缺陷的存在,生產(chǎn)者和銷售者可免責(zé)?!边@無疑對于生產(chǎn)者銷售者來說就是全面的責(zé)任豁免條款。因?yàn)閺?qiáng)人工智能的高科技性賦予了其現(xiàn)有技術(shù)達(dá)不到監(jiān)測未來的必然性,這無形中加大受害者責(zé)任,減少生產(chǎn)銷售者責(zé)任,那么依據(jù)嚴(yán)格責(zé)任下的產(chǎn)品質(zhì)量責(zé)任制度,其意義是什么,還能實(shí)現(xiàn)立法宗旨里保護(hù)消費(fèi)者利益的初衷嗎?

    后者認(rèn)為強(qiáng)人工智能可以定位為動物,利用《侵權(quán)責(zé)任法》中飼養(yǎng)動物致人損害的侵權(quán)責(zé)任規(guī)定。因?yàn)閺?qiáng)人工智能不具備自主意識,其行為又與弱人工智能不同,不完全受人類控制,這與飼養(yǎng)的動物頗為相似,動物可能在有人類授意下實(shí)施侵權(quán),也可能在無人類授意下發(fā)生侵權(quán),盡管古代立法中有讓動物承擔(dān)法律責(zé)任的規(guī)定,但現(xiàn)代立法不再將動物視作法律主體,動物致害責(zé)任主體應(yīng)該是飼養(yǎng)人或者管理人。因此通過借鑒動物致害的侵權(quán)法78條規(guī)定,強(qiáng)人工智能侵權(quán)也應(yīng)由負(fù)有管理義務(wù)的人承擔(dān)無過錯(cuò)責(zé)任,同時(shí)可以適用免責(zé)條款,即強(qiáng)人工智能侵權(quán),應(yīng)該由管理人承擔(dān)責(zé)任;如果受害者或第三人故意,則管理人可主張減責(zé)或免責(zé)。

    這種觀點(diǎn)的缺點(diǎn)很明顯。首先,忽略了強(qiáng)人工智能與動物的本質(zhì)特點(diǎn),強(qiáng)人工智能具有完全的自主性,不具有動物天生的一些攻擊性。目前我們根本無法準(zhǔn)確預(yù)知強(qiáng)人工智能系統(tǒng)針對一些行為是如何在自身系統(tǒng)中進(jìn)行判定的,與動物的純粹生理性攻擊不同,強(qiáng)人工智能的侵權(quán)超出人類的預(yù)知,如果一味的將這種不可歸責(zé)于人類的原因歸諸于制造商或所有人,明顯不符合責(zé)任自負(fù)原則;其次,免責(zé)條款的適用具有不合理性。因?yàn)閺?qiáng)人工智能的損害性與動物的損害,其嚴(yán)重性無法比擬。例如,強(qiáng)人工智能被甲挑逗激怒,他是無法識別自己應(yīng)該回?fù)舻某潭却笮?,因此一旦回?fù)羝渫耆赡軐⑷酥滤?,其傷害程度較于動物來說更高,且具有不可預(yù)測性,此時(shí)如果仍用免責(zé)條款予以適用,受害者承擔(dān)大部分或者全部責(zé)任,顯然不公平。

    (二)“主體”定位下的責(zé)任承擔(dān)

    該理論觀點(diǎn)認(rèn)為:強(qiáng)人工智能不但可以做出行為,而且能夠自主分析判斷,擁有比人類更加強(qiáng)大的數(shù)據(jù)收集、記憶和計(jì)算能力,完全不同于傳統(tǒng)的產(chǎn)品、動物。因此強(qiáng)人工智能應(yīng)該定位為獨(dú)立主體,同時(shí)在此前提下,又細(xì)分為“代理”和“電子人格”兩種定位。根據(jù)不同的定位,二者的責(zé)任承擔(dān)也分屬不同的路徑:

    1.“代理”

    以Kalin Hristov[10]、吳習(xí)彧[11]為代表的代理說認(rèn)為,強(qiáng)人工智能的管理者與其之間類似代理關(guān)系中本人與代理人的關(guān)系。強(qiáng)人工智能從事某種行為時(shí)和普通代理人一樣是脫離被代理人的意志自主進(jìn)行決策的,因此最后的責(zé)任歸屬于本人也就是管理者,在代理這一主體定位下,強(qiáng)人工智能具有民事權(quán)利能力和行為能力,但不具有責(zé)任能力。

    這種將強(qiáng)人工智能機(jī)器人定位為代理人的論點(diǎn),在具體責(zé)任歸屬方面會存在如下問題:首先,在民法上,有法定代理與委托代理,強(qiáng)人工智能依此觀點(diǎn)應(yīng)歸入何種類別?因?yàn)槠湟环矫媲啡狈傻拿鞔_規(guī)定,另一方面也無法根據(jù)任何的意思表示;其次,強(qiáng)人工智能如果同普通代理人一樣進(jìn)行所謂的代理行為致人人身財(cái)產(chǎn)損害,那么這一行為是否在代理權(quán)限范圍內(nèi)也很難確定,因?yàn)橥胀ù碇贫炔煌瑥?qiáng)人工智能無法進(jìn)行法定或者約定的權(quán)限范圍;最后,正如上文分析強(qiáng)人工智能本身不承擔(dān)責(zé)任,而傳統(tǒng)的代理責(zé)任中雖然代理人范圍內(nèi)從事的行為結(jié)果歸因于本人,但是如果超越權(quán)限范圍,責(zé)任是由代理人自負(fù)的,而強(qiáng)人工智能即使能確定權(quán)限范圍,最終如果超出代理權(quán)限,其自身也是無法負(fù)責(zé)的,因?yàn)樗麅H僅是一個(gè)擬人化的民事主體,沒有實(shí)際上的責(zé)任能力,這對受害者追責(zé)是極其不利的。

    2.“電子人格”

    我國目前也有少部分學(xué)者主張將強(qiáng)人工智能定位為電子人格。以郭少飛[12],陳吉棟、楊清望、張磊[13]等為代表:其僅將自然人以外的強(qiáng)人工智能擬制為法律主體,像賦予法人或其他組織擬制主體地位一樣,賦予其法律主體資格,和自然人享有平等的權(quán)利,并指出在實(shí)踐中已有的先例,如沙特的索菲亞機(jī)器人已獲公民資格;歐盟通過的《歐盟機(jī)器人民事責(zé)任法律規(guī)則》明確規(guī)定:將機(jī)器人設(shè)立為特殊的法律人格,從而保障這些智能機(jī)器人具有電子人一樣的法律地位,也就是電子人格[14]。

    通過電子人格的主體定位后,強(qiáng)人工智能侵權(quán)后的責(zé)任歸屬仍然不明確。因?yàn)槿绻菑?qiáng)人工智能自己承擔(dān)責(zé)任,那么歸責(zé)原則是過錯(cuò)責(zé)任原則或者無過錯(cuò)責(zé)任原則:如果是過錯(cuò)責(zé)任原則,如何評定強(qiáng)人工智能是否具有過錯(cuò)?難道按照人的行為評定?這是否與我們現(xiàn)存的唯物史觀、以人為本的觀念相違背;如果是無過錯(cuò)責(zé)任原則,那么其根本就沒有獨(dú)立財(cái)產(chǎn),受害人損失怎么保障。另外排除最后責(zé)任歸屬方面的問題,其在一開始定位獨(dú)立主體時(shí)就面臨很多問題:這種強(qiáng)人工智能,具體由誰申請獨(dú)立人格?申請的標(biāo)準(zhǔn)是什么?在這些現(xiàn)實(shí)的問題均沒有統(tǒng)一的解釋下,獨(dú)立的主體地位對責(zé)任承擔(dān)既無法提供有效解決措施,還有冗長累贅之嫌。

    四、國外強(qiáng)人工智能侵權(quán)責(zé)任探討

    (一)歐盟——獨(dú)立主體定位+配套保險(xiǎn)制度

    首先,在歐盟學(xué)者的推動下,2016年5月31 日歐洲議會法律事務(wù)委員會發(fā)布《關(guān)于機(jī)器人民事法律規(guī)則立法建議致歐盟委員會的報(bào)告草案》,2017年1月12日草案由該委員會表決通過成為決議[15],2017年2月16日,歐洲議會通過該決議(2)決議第59段建議:從長期著眼為機(jī)器人創(chuàng)立特定的法律地位,以至于至少明確最精密的自主機(jī)器人擁有“電子人”地位,能夠承擔(dān)彌補(bǔ)其引發(fā)的損害的責(zé)任,并可能把“電子人格”適用于那些機(jī)器人自主決定或其他獨(dú)立于第三方交互的案件。。該決議中明確提出并實(shí)施重構(gòu)適用于人工智能主體的民事責(zé)任規(guī)范。因?yàn)橹蛔肪勘旧砜赡懿]有過錯(cuò)的生產(chǎn)者、銷售者或使用者的責(zé)任可能是合法的,但一定是不合理的。因此不說全部賦予獨(dú)立人格,至少應(yīng)該賦予一些最精密的自主機(jī)器人,也就是我們的研究對象“強(qiáng)智能機(jī)器人”獨(dú)立人格,這樣可以使其對自己的行為承擔(dān)責(zé)任,當(dāng)然在確定這些獨(dú)立主體地位同時(shí),也需要借鑒最初設(shè)立法人制度時(shí)登記的一些制度規(guī)則,對智能機(jī)器人也進(jìn)行登記公示,從而保證其權(quán)利義務(wù)的行使[16]。

    其次,歐盟為了保障強(qiáng)人工智能下受害者的利益,建議只要存在智能機(jī)器人侵權(quán)行為,就一定要追究,不考慮其他不可抗力等諸多情況,以充分彌補(bǔ)受害者的損失,但是智能機(jī)器人的責(zé)任承擔(dān)也應(yīng)該有底限,即必須根據(jù)其自主性程度衡量,自主性程度越高責(zé)任越小,自主性承擔(dān)越低責(zé)任越大。

    最后,歐盟還旗幟鮮明的提出了建立強(qiáng)制責(zé)任保險(xiǎn)制度,設(shè)立賠償責(zé)任專項(xiàng)基金,因?yàn)閺?qiáng)人工智能的損害往往賠償金額較多,爭議的時(shí)限也會因技術(shù)程度的復(fù)雜度而延長。此時(shí)及時(shí)的保障受害者的利益成為當(dāng)務(wù)之急,因此可以要求生產(chǎn)者或者設(shè)計(jì)者、所有者強(qiáng)制投保,從而高效解決訴爭。

    歐盟目前對強(qiáng)人工智能的研究跨步很大,明確提出智能機(jī)器人應(yīng)當(dāng)取得獨(dú)立人格,但缺乏對責(zé)任承擔(dān)的具體分配問題的研究,這與我國學(xué)界的一批主張“電子人格說”的研究殊途同歸。因此借鑒國外較為前衛(wèi)的理論要結(jié)合實(shí)際并且深入考察其他配套措施,將理論體系化、實(shí)踐化。

    (二)美國與德國——配套制度+具體行業(yè)試運(yùn)行下的責(zé)任承擔(dān)+道德保障

    德國與美國相較歐盟步伐稍小,沒有明確提出賦予強(qiáng)人工智能獨(dú)立主體地位,而是主張?jiān)诓桓淖儸F(xiàn)有的侵權(quán)責(zé)任制度框架下,大量對特定行業(yè)領(lǐng)域的強(qiáng)人工智能進(jìn)行試運(yùn)行,頒布一系列有針對性的試運(yùn)行的規(guī)范制度,例如無人駕駛汽車、醫(yī)療機(jī)器人等。因此他們的主要做法有如下重要的幾點(diǎn):

    首先,針對歸責(zé)原則而言,仍保留現(xiàn)有的產(chǎn)品責(zé)任中歸責(zé)原則的規(guī)定,對于生產(chǎn)者進(jìn)行嚴(yán)格責(zé)任,對于銷售者、使用者適用過錯(cuò)責(zé)任(3)美國現(xiàn)有的歸責(zé)原則針對的對象包括了強(qiáng)人工智能。因?yàn)槠湓跀M定通過的《統(tǒng)一計(jì)算機(jī)信息交易法》以及《統(tǒng)一電子交易法》中都對其作了這樣的界定:它是一種能夠獨(dú)立自主的完成具體的工作并且不用經(jīng)過人為的指令或干預(yù)的智能技術(shù)。;其次,在優(yōu)先發(fā)展領(lǐng)域——無人駕駛行業(yè),進(jìn)行一系列法律規(guī)范約束,如創(chuàng)新性的制定了一些其運(yùn)行的技術(shù)安全標(biāo)準(zhǔn)與規(guī)則,從而保障統(tǒng)一規(guī)范化的管理,使其在生產(chǎn)、運(yùn)行中有據(jù)可依,侵權(quán)后也能依標(biāo)準(zhǔn)進(jìn)行統(tǒng)一維權(quán)。另外規(guī)范制度上明確要求安裝“黑匣子”。因?yàn)槿斯ぶ悄芮謾?quán)的原因復(fù)雜、事實(shí)難查明,通過安裝“黑匣子”記錄系統(tǒng)內(nèi)的每項(xiàng)數(shù)據(jù),使得在發(fā)生侵權(quán)事實(shí)后能夠具體準(zhǔn)確的分析侵權(quán)的原因,極大的減緩受害人在舉證責(zé)任中受到的不利影響,也使得責(zé)任主體各方能夠依據(jù)侵權(quán)的事實(shí)進(jìn)行歸責(zé);尤其是美國還將對普通產(chǎn)品缺陷召回制度運(yùn)用于強(qiáng)人工智能機(jī)器人召回中,對于缺陷機(jī)器人或者發(fā)生侵權(quán)的機(jī)器人采取剝奪繼續(xù)運(yùn)行的資格,防止對他人進(jìn)行二次傷害。最后,除了實(shí)踐、制度的保障外,德國更是開始從道德層面進(jìn)行探索,引導(dǎo)設(shè)計(jì)人員設(shè)計(jì)時(shí)的道德意識,同時(shí)保證系統(tǒng)軟件本身具備智能機(jī)器人自身的道德水平,實(shí)現(xiàn)通過源頭減少侵權(quán)損害的發(fā)生。

    可以看出美國和德國,深入并著重的在未來強(qiáng)人工智能領(lǐng)域可能發(fā)生的侵權(quán)事故進(jìn)行了一系列探索,尤其是責(zé)任主體、歸責(zé)原則、事實(shí)查明、賠償方式及配套措施方面等。并且結(jié)合實(shí)際開始立法先行,在無人駕駛汽車、智能機(jī)器人等方面制定了相當(dāng)數(shù)量的具有一定借鑒意義的法律法規(guī)。但是在定位強(qiáng)人工智能地位這一前提下,其步伐相對保守??赡芩麄兪菄L試先在不同行業(yè)進(jìn)行試運(yùn)行一些規(guī)定,最后根據(jù)實(shí)際情況考慮是否整體突破傳統(tǒng)客體定位的局面。而我國之前的一些試運(yùn)行規(guī)范明顯很少,現(xiàn)在既然搶占強(qiáng)人工智能戰(zhàn)略發(fā)展先機(jī),如果仍局限于傳統(tǒng)客體定位無法與強(qiáng)人工智能大環(huán)境相接軌,會使得我國強(qiáng)人工智能的發(fā)展處于被動狀態(tài)。故我國可以借鑒美國、德國一些單獨(dú)針對智能機(jī)器人的各行各業(yè)的配套措施的規(guī)定,但在主體定位方面應(yīng)結(jié)合國內(nèi)研究現(xiàn)狀,不局限傳統(tǒng)客體觀點(diǎn)去討論責(zé)任承擔(dān)。

    五、構(gòu)建我國強(qiáng)人工智能侵權(quán)責(zé)任承擔(dān)體系

    針對強(qiáng)人工智能廣泛應(yīng)用所引發(fā)的致人人身、財(cái)產(chǎn)受到損害的責(zé)任歸屬問題,本文系統(tǒng)的分析了目前國內(nèi)的研究現(xiàn)狀:先對強(qiáng)人工智能主、客體定位,再根據(jù)不同定位路徑在現(xiàn)有侵權(quán)責(zé)任制度中找尋責(zé)任承擔(dān)方式的具體操作;以及國外研究中已經(jīng)率先提出并付諸實(shí)踐的一系列試運(yùn)行經(jīng)驗(yàn)措施。綜合上述梳理可以發(fā)現(xiàn)國內(nèi)一直在依據(jù)現(xiàn)有的法律找尋具體侵權(quán)責(zé)任歸屬,而國外依據(jù)具體的實(shí)踐去總結(jié)規(guī)范更具有實(shí)效性。但是國外的一些做法或多或少對我國強(qiáng)人工智能的適用存在著一些障礙。因此,結(jié)合二者共同的優(yōu)點(diǎn)不足,本文主張應(yīng)抓住新一輪革命機(jī)遇,頒布強(qiáng)人工智能單行法,以構(gòu)建新的符合我國強(qiáng)人工智能侵權(quán)的責(zé)任制度,從而在法律層面給予一個(gè)明確的責(zé)任承擔(dān)體系。

    首先,參考國外已經(jīng)生效的一些典型領(lǐng)域(如無人駕駛行業(yè))的規(guī)章制度、配套設(shè)施,設(shè)立統(tǒng)一的試用各行業(yè)領(lǐng)域的強(qiáng)人工智能單行法,提供總體的標(biāo)準(zhǔn)和原則,以更好的迎接人工智能的到來,更好的在責(zé)任問題發(fā)生后定紛止?fàn)?。其次,單行法頒布后,放置不同的行業(yè)進(jìn)行實(shí)踐運(yùn)行。獲得成熟后,在統(tǒng)一的規(guī)則承擔(dān)體系下再具體的結(jié)合醫(yī)療、服務(wù)等各行業(yè)的智能機(jī)器人侵權(quán)的特殊情況,具體問題具體分析,補(bǔ)充一些特殊的具體的制度規(guī)范。例如免責(zé)事由等,從而完善強(qiáng)人工智能體侵權(quán)時(shí)責(zé)任承擔(dān)的體系化、差異化、科學(xué)化??梢哉f和國外研究方法反向思考,先制定單行法,抓住人工智能戰(zhàn)略主動權(quán),給予一些強(qiáng)人工智能一定的總體參考意見,再留有適度的空地允許不同行業(yè)予以補(bǔ)充完善。為此,先行頒布的強(qiáng)人工智能單行法可以主要包括兩方面內(nèi)容:第一,責(zé)任構(gòu)成和責(zé)任方式:明確強(qiáng)人工智能的主體地位;依據(jù)主體定位明確強(qiáng)人工智能侵權(quán)時(shí)具體的責(zé)任承擔(dān)。第二,要真正實(shí)現(xiàn)對受害者的救濟(jì),強(qiáng)人工智能還需配套措施輔助:強(qiáng)人工智能產(chǎn)品進(jìn)入標(biāo)準(zhǔn);交強(qiáng)險(xiǎn)的強(qiáng)人工智能責(zé)任險(xiǎn)和強(qiáng)人工智能賠償基金;強(qiáng)人工智能缺陷產(chǎn)品召回機(jī)制;數(shù)據(jù)存儲“黑匣子。

    (一)責(zé)任構(gòu)成和責(zé)任方式

    1.智能機(jī)器人的主體定位——“有限人格”

    根據(jù)對國內(nèi)、國外現(xiàn)有的研究現(xiàn)狀分析,可明晰這些觀點(diǎn)或多或少都有一定的缺陷不足。但是立法必須具有穩(wěn)定性,必須在現(xiàn)有的觀點(diǎn)中找出最適宜強(qiáng)人工智能現(xiàn)在以及未來發(fā)展的立足點(diǎn),從而保障法律的穩(wěn)定性、明確性、指引性。為此,通過比較分析,國外實(shí)踐中雖然有歐盟明確規(guī)定賦予機(jī)器人主體地位,但是大多數(shù)國家,結(jié)合人工智能的發(fā)展現(xiàn)狀仍保持觀望的態(tài)度。而且國內(nèi)研究現(xiàn)狀也主要傾向于不賦予強(qiáng)人工智能獨(dú)立主體地位,這也具有現(xiàn)實(shí)科學(xué)意義。因?yàn)橥耆x予人工智能獨(dú)立主體地位后,責(zé)任仍然無法由自身承擔(dān),賦予其獨(dú)立民事主體地位沒有必要也沒有任何價(jià)值意義,具有冗長累贅之嫌。但認(rèn)為按照客體定位的觀點(diǎn),仍用現(xiàn)有的侵權(quán)責(zé)任產(chǎn)品責(zé)任的一些歸責(zé)原則,無法鼓勵(lì)科技創(chuàng)新,無法與國際強(qiáng)人工智能主體研究接軌,體現(xiàn)時(shí)代性。為此,我們既需要明確智能機(jī)器人非獨(dú)立主體地位,又需要將其不同于傳統(tǒng)的客體身份。因此綜合之下,并結(jié)合強(qiáng)人工智能產(chǎn)品具有完全自主判斷、深入學(xué)習(xí)的特點(diǎn),我們可以走折中道路,定位為有限人格[17]即在特定情況下享有權(quán)利能力。類似于設(shè)立中的法人規(guī)定、對胎兒的利益保護(hù)等,不具有獨(dú)立的法律人格,只能獲得有限的權(quán)利能力。從而很好的解決強(qiáng)人工智能發(fā)生侵權(quán)行為時(shí),如何為自己的行為承擔(dān)相應(yīng)的法律責(zé)任。

    2.責(zé)任承擔(dān)

    根據(jù)有限人格定位后,強(qiáng)人工智能侵權(quán)的責(zé)任承擔(dān)可以遵循如下思路:

    首先,國內(nèi)研究現(xiàn)狀中對主體定位雖然不一樣,但是責(zé)任承擔(dān)的另一前提——?dú)w責(zé)原則,大家普遍贊同無過錯(cuò)責(zé)任的歸責(zé)原則。因?yàn)椴还苁强腕w說的產(chǎn)品論與動物論,其歸責(zé)都是無過錯(cuò)責(zé)任原則。即使是主觀說中的被代理人也是無過錯(cuò)的承擔(dān)替代責(zé)任。歐盟的電子人格說確立了主體地位,但實(shí)踐中責(zé)任承擔(dān)主體還是生產(chǎn)設(shè)計(jì)者,適用的其實(shí)也依舊是無過錯(cuò)責(zé)任,同時(shí)歐盟提出了建立強(qiáng)制責(zé)任保險(xiǎn)制度,目前歐盟現(xiàn)有的保險(xiǎn)制度也已經(jīng)十分完善,可以在一定程度上最大化的保護(hù)受害者利益。而我國目前并沒有保險(xiǎn)力度推廣的實(shí)踐、市場經(jīng)濟(jì)中研發(fā)者生產(chǎn)者社會責(zé)任意識也普遍較低。因此,更應(yīng)該強(qiáng)人工智能進(jìn)行無過錯(cuò)責(zé)任的歸責(zé)原則,這將更有利于社會的和諧發(fā)展。但是根據(jù)《侵權(quán)責(zé)任法》的規(guī)定,可以看出其第6條第2款過錯(cuò)推定責(zé)任和第7條無過錯(cuò)責(zé)任都標(biāo)明了“法律規(guī)定”,只有第6條第1款過錯(cuò)責(zé)任中無需使用“法律規(guī)定”字樣,因此可以說如果法律沒有規(guī)定,一般適用過錯(cuò)責(zé)任。為此,首先應(yīng)該由單行法明確規(guī)定強(qiáng)人工智能的歸責(zé)原則,因?yàn)闆]有法律規(guī)定,只是學(xué)術(shù)上的探究,司法實(shí)踐中雖具有可操作性但卻無法直接引用。所以對于有限人格下的強(qiáng)人工智能侵權(quán)首先應(yīng)賦予明確的法條規(guī)定:承擔(dān)無過錯(cuò)的歸責(zé)原則。

    其次,確定了無過錯(cuò)歸責(zé)原則后,設(shè)立人工智能的構(gòu)成要件便成為水到渠成的事。即按照無過錯(cuò)歸責(zé)原則下構(gòu)成要件的規(guī)定: 損害事實(shí)的客觀存在;強(qiáng)人工智能的侵權(quán)行為與損害事實(shí)之間存在因果關(guān)系,在該因果關(guān)系要求下,必須證明受到的損害后果是強(qiáng)人工智能的行為所致,而不是他人利用其作為工具侵權(quán),因?yàn)槔霉ぞ咧苯右罁?jù)具體背后的侵權(quán)人定責(zé)即可。因而,在此種規(guī)定下,受害人只要舉證符合二者就可以完成構(gòu)成要件的成立。

    最后,也是強(qiáng)人工智能有限人格定位的優(yōu)勢所在:在責(zé)任歸屬何種主體方面具有可操作性,科學(xué)性,平衡了不同利益主體間的利益,既促進(jìn)技術(shù)的研發(fā)又能彌補(bǔ)受害者的損失。因?yàn)橥ㄟ^上述明確規(guī)定將人工智能產(chǎn)品的法律地位定位為有限人格。在符合侵權(quán)責(zé)任構(gòu)成要件后,需要承擔(dān)侵權(quán)責(zé)任時(shí),可以由強(qiáng)人工智能自己獨(dú)立承擔(dān)責(zé)任,不用再強(qiáng)加責(zé)任于生產(chǎn)者、設(shè)計(jì)者。但是必須有選擇性的按照特殊的責(zé)任承擔(dān),即并不是一味的所有情況下都需要強(qiáng)人工智能本身承擔(dān)責(zé)任,而是在法律明確規(guī)定、實(shí)踐需要的情況下才會承擔(dān)責(zé)任。例如,采納有限法律人格否認(rèn)制度:在最終確定的責(zé)任主體中,將生產(chǎn)、設(shè)計(jì)者視為發(fā)起人,強(qiáng)人工智能視為最終成立的公司,如果生產(chǎn)者、設(shè)計(jì)者有過錯(cuò),則應(yīng)“揭開強(qiáng)人工智能機(jī)器人的面紗”承擔(dān)侵權(quán)責(zé)任;如果沒有過錯(cuò),且能提供完整的系統(tǒng)數(shù)據(jù),證明主要是強(qiáng)人工智能自己的行為引起,則此時(shí)利用強(qiáng)人工智能在特定情況下享有權(quán)利能力的特點(diǎn),生產(chǎn)者設(shè)計(jì)者可以不承擔(dān)責(zé)任,由強(qiáng)人工智能自己承擔(dān)責(zé)任,當(dāng)然前提是其自身有一定的資金儲備,這就需要借助下文所述的配套措施中的基金制度+保險(xiǎn)制度予以救助(即每一個(gè)強(qiáng)人工智能投放于市場時(shí)都需要相關(guān)研發(fā)設(shè)計(jì)人員、生產(chǎn)制造人員為其購買一定的基金和保險(xiǎn),使用人、所有人只需購買責(zé)任保險(xiǎn)。這些基金保險(xiǎn)屬于每個(gè)強(qiáng)人工智能賬戶下的小金庫,用于自我收益、彌補(bǔ)損失);如果不能證明行為完全由強(qiáng)人工智能自身行為所致侵權(quán),則需要根據(jù)強(qiáng)人工智能的自主性程度,培養(yǎng)時(shí)間,來減少生產(chǎn)設(shè)計(jì)者的責(zé)任承擔(dān)程度抑或不承擔(dān)責(zé)任。因此,在具體進(jìn)行責(zé)任承擔(dān)歸屬問題上,不能僅僅規(guī)定何種主體承擔(dān)責(zé)任,還要結(jié)合強(qiáng)人工智能本身的特殊情況區(qū)別對待[18]。當(dāng)然這種特殊情況,目前僅僅限于設(shè)計(jì)者、生產(chǎn)者過錯(cuò),強(qiáng)人工智能的自主程度,后續(xù)實(shí)踐中發(fā)現(xiàn)的具體特殊情況可以添入其中,保證法律的完善性。通過這種理論與實(shí)踐的結(jié)合真正做到權(quán)利與義務(wù),收益與風(fēng)險(xiǎn)的平衡,真正較為科學(xué)全面的對強(qiáng)人工智能侵權(quán)后的責(zé)任進(jìn)行系統(tǒng)的梳理歸責(zé)。

    (二)強(qiáng)人工智能的配套措施規(guī)定

    1.建設(shè)強(qiáng)人工智能市場進(jìn)入標(biāo)準(zhǔn)

    根據(jù)國外的研究現(xiàn)狀,不管是美國還是德國都紛紛對強(qiáng)人工智能進(jìn)行典型領(lǐng)域的試運(yùn)行。例如無人駕駛汽車領(lǐng)域里,大量的試行規(guī)范應(yīng)運(yùn)而生。北京目前對于無人駕駛領(lǐng)域頒布的《自動駕駛車輛道路測試管理實(shí)施細(xì)則(試行)》中的一些規(guī)定,也是借鑒了大量的成功經(jīng)驗(yàn)。為此,強(qiáng)人工智能整體行業(yè)的一些運(yùn)行標(biāo)準(zhǔn),完全也可以在此基礎(chǔ)上借鑒。例如,由現(xiàn)在主要負(fù)責(zé)人工智能發(fā)展的部門會同有關(guān)具體行業(yè)領(lǐng)域、公司、設(shè)計(jì)院等統(tǒng)一制定強(qiáng)人工智能市場進(jìn)入標(biāo)準(zhǔn),同時(shí)一些行政規(guī)章制度予以輔助。因?yàn)橐髲?qiáng)人工智能承擔(dān)責(zé)任的前提應(yīng)該是明晰什么情況下自我歸責(zé),什么情況下生產(chǎn)設(shè)計(jì)者承擔(dān)責(zé)任?而擁有明確具體的市場進(jìn)入標(biāo)準(zhǔn),在源頭上減少產(chǎn)生侵權(quán)的可能,在具體運(yùn)行中有明確的依據(jù)予以歸責(zé)。從而使得強(qiáng)人工智能只有在滿足保障人體健康和人身、財(cái)產(chǎn)安全的國家標(biāo)準(zhǔn)或行業(yè)標(biāo)準(zhǔn)下才能進(jìn)入市場,不僅極大的減少侵權(quán)事故的發(fā)生,更能有效的在侵權(quán)發(fā)生后確定侵權(quán)發(fā)生的原因。所以建立強(qiáng)人工智能進(jìn)入標(biāo)準(zhǔn)、強(qiáng)人工智能開發(fā)者安全注意義務(wù)準(zhǔn)則,對于行業(yè)在自律規(guī)范上做好充分準(zhǔn)備顯得極其重要。

    2.配套強(qiáng)人工智能的硬件、軟件設(shè)施

    通過上述內(nèi)容的梳理分析,以及目前我國的現(xiàn)有水平、未來的發(fā)展趨勢,強(qiáng)人工智能可以作為有限的人格主體,在特殊情況下承擔(dān)責(zé)任。但如何確定特殊情況、減少特殊情況的發(fā)生,還需要依賴一些配套措施。目前我國幾乎沒有措施保障抑或有也無法有針對性的適用此類新興行業(yè)。因此我們可以借鑒美國立法規(guī)定,利用法律強(qiáng)制要求對強(qiáng)人工智能進(jìn)行登記公示制度,強(qiáng)人工智能缺陷產(chǎn)品召回機(jī)制,對發(fā)現(xiàn)缺陷后的機(jī)器人應(yīng)及時(shí)召回或停止提供服務(wù)。以及建立黑匣子,在保護(hù)數(shù)據(jù)隱私權(quán)的前提下預(yù)先保存一些侵害的事實(shí)依據(jù),方便排查變化原因,使得在發(fā)生侵權(quán)事件時(shí)可以依不同情況來考慮。例如是在設(shè)計(jì)者設(shè)計(jì)的范圍之內(nèi)作出的侵權(quán)行為,或是在研發(fā)設(shè)計(jì)范圍之外作出的侵權(quán)行為,抑或是不可抗力、意外事件導(dǎo)致的侵權(quán)行為,從而具體準(zhǔn)確的將責(zé)任歸屬于責(zé)任主體。

    3.探索強(qiáng)人工智能保險(xiǎn)、基金制度

    我們可以參考?xì)W盟的做法來作出應(yīng)對,即建立交強(qiáng)險(xiǎn)的人工智能責(zé)任險(xiǎn)和建立侵權(quán)賠償基金制度。在每一個(gè)強(qiáng)人工智能進(jìn)入市場后,設(shè)立專屬的賬戶。這些賠償基金和保險(xiǎn)額劃歸相應(yīng)的強(qiáng)人工智能賬戶下。由統(tǒng)一部門負(fù)責(zé)經(jīng)營管理,收益損失都?xì)w強(qiáng)人工智能獨(dú)立使用,從而保障未來侵權(quán)行為發(fā)生后的責(zé)任承擔(dān)問題。因?yàn)閺?qiáng)人工智能要想獨(dú)立擔(dān)責(zé)的首要前提是必須有一定的資金支撐,而不是僅僅歸責(zé)于使用者、生產(chǎn)設(shè)計(jì)者。通過這種保險(xiǎn)、基金項(xiàng)目的支撐,既可以更好的對受害者進(jìn)行有效的救濟(jì),也能使人工智能真正實(shí)現(xiàn)責(zé)任自負(fù)的有限主體地位,呼應(yīng)學(xué)界的一些技術(shù)中立原則,發(fā)揮對高科技發(fā)展的救助扶持作用,更是為了真正的推動人工智能有序發(fā)展,不至于因?yàn)檫^多的責(zé)任承擔(dān)抑制研發(fā)者、生產(chǎn)者推動AI技術(shù)研發(fā)的進(jìn)程。

    六、結(jié)語

    現(xiàn)階段,新一代人工智能事業(yè)已成為全球新一輪科技革命,這對我國來說既是新的機(jī)遇也是巨大的挑戰(zhàn),我們要想在這一領(lǐng)域趕超發(fā)達(dá)國家,提高該領(lǐng)域的法律規(guī)范標(biāo)準(zhǔn)制定權(quán)、話語權(quán),提升綜合國力,配套的相關(guān)法律制度的設(shè)定便發(fā)揮舉足輕重的作用。因此,在綜合國內(nèi)外研究的經(jīng)驗(yàn)、不足前提下,我們必須結(jié)合國內(nèi)的一些發(fā)展實(shí)際,分析現(xiàn)有的侵權(quán)責(zé)任法律規(guī)范、調(diào)整不適用的部分、增加新的符合人工智能趨勢的部分,加快制定強(qiáng)人工智能的單行法,從法律層面上保障人工智能的發(fā)展,把握好新一輪人工智能的先機(jī)。

    猜你喜歡
    定位主體機(jī)器人
    論自然人破產(chǎn)法的適用主體
    《導(dǎo)航定位與授時(shí)》征稿簡則
    Smartrail4.0定位和控制
    找準(zhǔn)定位 砥礪前行
    關(guān)于遺產(chǎn)保護(hù)主體的思考
    青年擇業(yè)要有準(zhǔn)確定位
    機(jī)器人來幫你
    認(rèn)識機(jī)器人
    機(jī)器人來啦
    認(rèn)識機(jī)器人
    美女国产高潮福利片在线看| 麻豆av在线久日| 亚洲人成网站在线观看播放| 人妻人人澡人人爽人人| 国产激情久久老熟女| av片东京热男人的天堂| 看非洲黑人一级黄片| 熟女少妇亚洲综合色aaa.| 好男人视频免费观看在线| 韩国高清视频一区二区三区| 人妻一区二区av| 人体艺术视频欧美日本| 国产国语露脸激情在线看| 欧美另类一区| 色婷婷久久久亚洲欧美| 搡老岳熟女国产| 免费高清在线观看日韩| 日韩伦理黄色片| 久久热在线av| 久久精品久久久久久久性| avwww免费| 欧美日韩综合久久久久久| 一区二区三区精品91| 国产男女内射视频| 丝袜脚勾引网站| 亚洲欧美色中文字幕在线| 成人免费观看视频高清| 久久久精品国产亚洲av高清涩受| 久久国产亚洲av麻豆专区| 亚洲欧美激情在线| 亚洲国产精品999| 欧美精品一区二区大全| 国产成人啪精品午夜网站| 中文字幕精品免费在线观看视频| 国产精品麻豆人妻色哟哟久久| 久久久久久久久久久免费av| 少妇人妻久久综合中文| 人妻人人澡人人爽人人| 午夜影院在线不卡| 国产成人精品久久二区二区91 | 人人妻人人添人人爽欧美一区卜| 免费看av在线观看网站| 在线天堂中文资源库| 欧美日韩成人在线一区二区| 青青草视频在线视频观看| 9热在线视频观看99| 欧美精品高潮呻吟av久久| 人人妻人人澡人人爽人人夜夜| 成人黄色视频免费在线看| av天堂久久9| 一本久久精品| 一本久久精品| 国语对白做爰xxxⅹ性视频网站| 久久99热这里只频精品6学生| 欧美久久黑人一区二区| 精品少妇久久久久久888优播| 9色porny在线观看| 久久影院123| 色视频在线一区二区三区| 一级毛片电影观看| 操美女的视频在线观看| 日韩伦理黄色片| 国产麻豆69| 在线观看免费日韩欧美大片| 超色免费av| 国产深夜福利视频在线观看| 国产野战对白在线观看| 老熟女久久久| 一级爰片在线观看| 午夜免费观看性视频| 成年动漫av网址| 国产精品久久久久久久久免| 日韩免费高清中文字幕av| 中文字幕高清在线视频| 一二三四中文在线观看免费高清| 中文字幕高清在线视频| 最近手机中文字幕大全| 无遮挡黄片免费观看| 色94色欧美一区二区| 欧美精品一区二区免费开放| 亚洲色图综合在线观看| 亚洲精品一区蜜桃| 国产av码专区亚洲av| 亚洲精品,欧美精品| 制服人妻中文乱码| 丝袜在线中文字幕| 免费高清在线观看日韩| 爱豆传媒免费全集在线观看| 久久久久精品性色| 国产一卡二卡三卡精品 | 成人漫画全彩无遮挡| 国产乱来视频区| 国产不卡av网站在线观看| 1024视频免费在线观看| 色视频在线一区二区三区| 亚洲精品国产区一区二| 亚洲av电影在线进入| 精品一区二区三区四区五区乱码 | av不卡在线播放| 涩涩av久久男人的天堂| 母亲3免费完整高清在线观看| 一级片'在线观看视频| 国产精品熟女久久久久浪| 日日啪夜夜爽| 伊人亚洲综合成人网| 熟女少妇亚洲综合色aaa.| 黄色视频在线播放观看不卡| 久久av网站| 婷婷色麻豆天堂久久| 一本—道久久a久久精品蜜桃钙片| 又大又黄又爽视频免费| 婷婷色综合www| 一二三四在线观看免费中文在| 天天影视国产精品| 欧美老熟妇乱子伦牲交| 色94色欧美一区二区| 国产免费福利视频在线观看| 亚洲av成人精品一二三区| 亚洲欧洲日产国产| 一本—道久久a久久精品蜜桃钙片| 精品一区二区三区四区五区乱码 | 亚洲av成人不卡在线观看播放网 | av国产精品久久久久影院| 女性被躁到高潮视频| 国产爽快片一区二区三区| 国产毛片在线视频| 亚洲精品aⅴ在线观看| 色吧在线观看| netflix在线观看网站| 另类精品久久| 黄片小视频在线播放| 女的被弄到高潮叫床怎么办| 精品久久蜜臀av无| svipshipincom国产片| 日本爱情动作片www.在线观看| 在线观看免费高清a一片| av国产久精品久网站免费入址| 婷婷成人精品国产| 亚洲精华国产精华液的使用体验| 电影成人av| 爱豆传媒免费全集在线观看| 久久热在线av| 亚洲精品第二区| 国产亚洲av高清不卡| 亚洲少妇的诱惑av| 精品人妻在线不人妻| 欧美激情高清一区二区三区 | 最近最新中文字幕大全免费视频 | 激情视频va一区二区三区| 日日爽夜夜爽网站| 久久久久国产一级毛片高清牌| 爱豆传媒免费全集在线观看| 成人影院久久| 亚洲成人手机| 日本爱情动作片www.在线观看| 久久精品亚洲熟妇少妇任你| 国产成人免费观看mmmm| 国产成人精品无人区| 天天躁夜夜躁狠狠久久av| 久久国产精品男人的天堂亚洲| 丝袜喷水一区| 人妻 亚洲 视频| 国产精品久久久人人做人人爽| 精品酒店卫生间| 高清黄色对白视频在线免费看| 亚洲熟女精品中文字幕| 男女国产视频网站| av电影中文网址| 麻豆乱淫一区二区| 黑人巨大精品欧美一区二区蜜桃| 国产又色又爽无遮挡免| 中文字幕另类日韩欧美亚洲嫩草| 99精品久久久久人妻精品| 观看美女的网站| 久久精品久久久久久久性| av视频免费观看在线观看| 亚洲精品视频女| 在线观看三级黄色| 美国免费a级毛片| 色播在线永久视频| 亚洲精品成人av观看孕妇| 国产淫语在线视频| 99国产综合亚洲精品| 欧美激情高清一区二区三区 | 夜夜骑夜夜射夜夜干| 狂野欧美激情性bbbbbb| 午夜免费观看性视频| 国产伦人伦偷精品视频| 国产精品久久久久久人妻精品电影 | 亚洲国产精品一区二区三区在线| 亚洲一码二码三码区别大吗| 日韩精品有码人妻一区| 欧美中文综合在线视频| 男人爽女人下面视频在线观看| 国产xxxxx性猛交| 欧美激情高清一区二区三区 | 国产成人系列免费观看| 在线天堂最新版资源| 久久精品久久久久久噜噜老黄| 一级毛片电影观看| 亚洲三区欧美一区| 亚洲精品国产av蜜桃| 国产精品二区激情视频| 午夜福利网站1000一区二区三区| 成人国语在线视频| 亚洲成人手机| 精品亚洲成a人片在线观看| 国产在线免费精品| 日韩一本色道免费dvd| 亚洲美女黄色视频免费看| 免费观看av网站的网址| 色精品久久人妻99蜜桃| 男女边摸边吃奶| 最黄视频免费看| 日韩一卡2卡3卡4卡2021年| 午夜老司机福利片| 亚洲精品aⅴ在线观看| 两性夫妻黄色片| 国产精品亚洲av一区麻豆 | 一级黄片播放器| 国产一卡二卡三卡精品 | 中文字幕av电影在线播放| 日韩视频在线欧美| 国产一区二区三区av在线| 亚洲情色 制服丝袜| 国产精品蜜桃在线观看| 男女之事视频高清在线观看 | 一区二区av电影网| 操美女的视频在线观看| 久久久久视频综合| 在线 av 中文字幕| 欧美亚洲日本最大视频资源| 亚洲av综合色区一区| 欧美av亚洲av综合av国产av | 黄片无遮挡物在线观看| 精品久久蜜臀av无| 精品国产国语对白av| 999精品在线视频| 亚洲欧美成人精品一区二区| 成人免费观看视频高清| 又大又黄又爽视频免费| 国产成人av激情在线播放| 看免费av毛片| 黄网站色视频无遮挡免费观看| 久久人人97超碰香蕉20202| 国产又色又爽无遮挡免| 免费高清在线观看视频在线观看| 日韩一卡2卡3卡4卡2021年| 中文精品一卡2卡3卡4更新| 中文字幕精品免费在线观看视频| 久久毛片免费看一区二区三区| 亚洲一码二码三码区别大吗| 9色porny在线观看| 精品亚洲成a人片在线观看| 十八禁网站网址无遮挡| 日本猛色少妇xxxxx猛交久久| av女优亚洲男人天堂| 免费在线观看完整版高清| 亚洲熟女精品中文字幕| 欧美日韩精品网址| 不卡视频在线观看欧美| 精品久久蜜臀av无| 欧美日韩精品网址| 女性生殖器流出的白浆| av网站在线播放免费| 亚洲精品中文字幕在线视频| 欧美xxⅹ黑人| 欧美久久黑人一区二区| 女人高潮潮喷娇喘18禁视频| 国产爽快片一区二区三区| 亚洲成av片中文字幕在线观看| 国产麻豆69| 欧美国产精品va在线观看不卡| 一本一本久久a久久精品综合妖精| 视频区图区小说| 热re99久久国产66热| 久久婷婷青草| 香蕉国产在线看| 亚洲欧美清纯卡通| 少妇被粗大的猛进出69影院| 亚洲国产av新网站| 侵犯人妻中文字幕一二三四区| 五月开心婷婷网| 一级毛片 在线播放| 韩国高清视频一区二区三区| 色网站视频免费| 亚洲欧洲日产国产| 18禁动态无遮挡网站| 久久精品国产亚洲av涩爱| 777米奇影视久久| 五月天丁香电影| 新久久久久国产一级毛片| 国产福利在线免费观看视频| 久久影院123| 熟妇人妻不卡中文字幕| 老鸭窝网址在线观看| 久久韩国三级中文字幕| 中文字幕精品免费在线观看视频| 亚洲四区av| 十八禁高潮呻吟视频| 亚洲,欧美精品.| 色网站视频免费| 老鸭窝网址在线观看| 中国三级夫妇交换| 黄片播放在线免费| 麻豆乱淫一区二区| 欧美黑人欧美精品刺激| 亚洲人成电影观看| 搡老乐熟女国产| a 毛片基地| 亚洲欧美色中文字幕在线| 国产成人精品福利久久| 视频区图区小说| 好男人视频免费观看在线| 久久久国产欧美日韩av| 狠狠婷婷综合久久久久久88av| 欧美日韩亚洲国产一区二区在线观看 | 亚洲一区二区三区欧美精品| av国产久精品久网站免费入址| 久久精品国产亚洲av涩爱| 在线观看三级黄色| 美女午夜性视频免费| 99精品久久久久人妻精品| 亚洲三区欧美一区| 永久免费av网站大全| 亚洲国产欧美网| 国产不卡av网站在线观看| 国产精品免费大片| 新久久久久国产一级毛片| 精品国产一区二区久久| 亚洲精品在线美女| 免费高清在线观看视频在线观看| 久久久久网色| 国产精品av久久久久免费| 亚洲av电影在线观看一区二区三区| 午夜福利乱码中文字幕| 99久久精品国产亚洲精品| 中文字幕制服av| 日韩av不卡免费在线播放| 中文字幕精品免费在线观看视频| 久久国产精品大桥未久av| 日本爱情动作片www.在线观看| 美女午夜性视频免费| 久久久久视频综合| 亚洲av成人不卡在线观看播放网 | 亚洲欧美成人精品一区二区| 在线观看免费午夜福利视频| 亚洲精品在线美女| 国产精品一国产av| 一区二区三区激情视频| 国产无遮挡羞羞视频在线观看| 波野结衣二区三区在线| 国产99久久九九免费精品| 欧美人与善性xxx| 午夜久久久在线观看| 精品国产一区二区三区四区第35| 欧美人与性动交α欧美精品济南到| 麻豆精品久久久久久蜜桃| 久久精品国产亚洲av高清一级| 久久精品国产综合久久久| 久久av网站| 一边亲一边摸免费视频| 女人高潮潮喷娇喘18禁视频| 极品人妻少妇av视频| 热re99久久精品国产66热6| 午夜日本视频在线| 下体分泌物呈黄色| 国产av码专区亚洲av| 大码成人一级视频| 日韩 亚洲 欧美在线| 国产成人一区二区在线| 这个男人来自地球电影免费观看 | 五月天丁香电影| 91成人精品电影| 精品福利永久在线观看| 日本猛色少妇xxxxx猛交久久| 五月天丁香电影| 久久鲁丝午夜福利片| bbb黄色大片| av电影中文网址| 中文字幕最新亚洲高清| 人妻人人澡人人爽人人| 人妻一区二区av| 一级毛片黄色毛片免费观看视频| 免费久久久久久久精品成人欧美视频| 悠悠久久av| 国产精品.久久久| 亚洲国产中文字幕在线视频| 999精品在线视频| 国产伦人伦偷精品视频| 搡老乐熟女国产| 建设人人有责人人尽责人人享有的| 青春草视频在线免费观看| 1024视频免费在线观看| 91精品伊人久久大香线蕉| 精品亚洲乱码少妇综合久久| 精品国产一区二区三区久久久樱花| 国产激情久久老熟女| a 毛片基地| 国产伦理片在线播放av一区| 99热网站在线观看| av不卡在线播放| 日韩精品免费视频一区二区三区| 亚洲精品视频女| 综合色丁香网| 久久久精品区二区三区| 18禁国产床啪视频网站| 菩萨蛮人人尽说江南好唐韦庄| 五月天丁香电影| 国产精品av久久久久免费| 一区二区三区四区激情视频| 大片电影免费在线观看免费| 超碰97精品在线观看| 日本av免费视频播放| 欧美精品亚洲一区二区| 久久天躁狠狠躁夜夜2o2o | 少妇人妻久久综合中文| 国产精品国产三级国产专区5o| 亚洲av国产av综合av卡| 在现免费观看毛片| 国产成人精品久久二区二区91 | 国产成人系列免费观看| 久久久精品国产亚洲av高清涩受| 天天躁狠狠躁夜夜躁狠狠躁| 最新在线观看一区二区三区 | 妹子高潮喷水视频| 99国产综合亚洲精品| 成人漫画全彩无遮挡| 日日啪夜夜爽| 麻豆av在线久日| 王馨瑶露胸无遮挡在线观看| 日韩精品免费视频一区二区三区| 国产极品粉嫩免费观看在线| 麻豆精品久久久久久蜜桃| 纵有疾风起免费观看全集完整版| 亚洲精品第二区| 交换朋友夫妻互换小说| 一区二区三区激情视频| 男女边摸边吃奶| 日韩 亚洲 欧美在线| 国产极品天堂在线| 亚洲精品第二区| 国产精品无大码| 精品国产超薄肉色丝袜足j| 国产 一区精品| 久久久久精品性色| 亚洲精品久久久久久婷婷小说| 曰老女人黄片| 91国产中文字幕| 亚洲国产欧美日韩在线播放| 欧美日韩福利视频一区二区| 精品亚洲成a人片在线观看| 少妇人妻久久综合中文| 美女中出高潮动态图| av片东京热男人的天堂| 18禁观看日本| 亚洲av国产av综合av卡| 最近的中文字幕免费完整| 久久久亚洲精品成人影院| 成年人午夜在线观看视频| 亚洲av日韩在线播放| 欧美精品亚洲一区二区| 纵有疾风起免费观看全集完整版| 性色av一级| 日韩不卡一区二区三区视频在线| 亚洲美女搞黄在线观看| 中文字幕色久视频| 久久精品熟女亚洲av麻豆精品| 操出白浆在线播放| 2018国产大陆天天弄谢| 黑人欧美特级aaaaaa片| 亚洲伊人色综图| 成人国产av品久久久| 视频区图区小说| 日本欧美国产在线视频| 成人免费观看视频高清| 热99国产精品久久久久久7| 精品国产一区二区三区久久久樱花| 老司机影院成人| 狠狠婷婷综合久久久久久88av| 高清欧美精品videossex| 国产精品一区二区在线观看99| 欧美人与性动交α欧美软件| 永久免费av网站大全| 一区二区三区激情视频| 亚洲色图 男人天堂 中文字幕| 亚洲av在线观看美女高潮| 国产欧美日韩综合在线一区二区| 天天躁狠狠躁夜夜躁狠狠躁| 最新在线观看一区二区三区 | 国产日韩欧美视频二区| 这个男人来自地球电影免费观看 | 国产黄色免费在线视频| 成年av动漫网址| av免费观看日本| 新久久久久国产一级毛片| 十分钟在线观看高清视频www| 精品人妻在线不人妻| 伦理电影免费视频| 女性生殖器流出的白浆| 好男人视频免费观看在线| 国产福利在线免费观看视频| 最近2019中文字幕mv第一页| 国产精品成人在线| 老司机靠b影院| 18禁裸乳无遮挡动漫免费视频| tube8黄色片| 国产亚洲欧美精品永久| 两个人免费观看高清视频| 综合色丁香网| 国产免费现黄频在线看| 欧美日韩精品网址| 大香蕉久久成人网| 男女午夜视频在线观看| 99热国产这里只有精品6| 久久久国产欧美日韩av| 久久久精品94久久精品| 欧美人与善性xxx| 一本久久精品| 伊人亚洲综合成人网| 女的被弄到高潮叫床怎么办| 精品一区二区免费观看| 欧美黑人精品巨大| 亚洲国产精品一区三区| 成人亚洲欧美一区二区av| 亚洲欧美清纯卡通| 国产黄频视频在线观看| 国产精品一二三区在线看| 亚洲国产av新网站| 国产午夜精品一二区理论片| 黄片播放在线免费| 男女之事视频高清在线观看 | 夜夜骑夜夜射夜夜干| 超色免费av| 亚洲三区欧美一区| 中国三级夫妇交换| 日韩一区二区视频免费看| 国产免费视频播放在线视频| 午夜福利在线免费观看网站| www日本在线高清视频| 91国产中文字幕| 久久久久久久大尺度免费视频| 爱豆传媒免费全集在线观看| 赤兔流量卡办理| 丝袜美足系列| 国产在线视频一区二区| 国产片特级美女逼逼视频| 69精品国产乱码久久久| 极品少妇高潮喷水抽搐| 中国国产av一级| 国产一区二区激情短视频 | 免费在线观看黄色视频的| 日韩精品免费视频一区二区三区| 日日摸夜夜添夜夜爱| 狠狠婷婷综合久久久久久88av| 久久久精品区二区三区| 国产欧美日韩综合在线一区二区| 一区二区日韩欧美中文字幕| 人人澡人人妻人| 人体艺术视频欧美日本| 国产精品久久久久久精品电影小说| 99香蕉大伊视频| 亚洲精品国产区一区二| 中文精品一卡2卡3卡4更新| 九草在线视频观看| 中文字幕精品免费在线观看视频| 国产精品一国产av| 乱人伦中国视频| av一本久久久久| 国产精品一区二区在线观看99| 在现免费观看毛片| 国产欧美日韩综合在线一区二区| 一级爰片在线观看| 亚洲,一卡二卡三卡| 午夜福利在线免费观看网站| 亚洲欧美激情在线| 色吧在线观看| 国产精品国产av在线观看| 伦理电影免费视频| 午夜免费男女啪啪视频观看| av福利片在线| 婷婷成人精品国产| 亚洲精品自拍成人| 国产精品久久久久久久久免| 哪个播放器可以免费观看大片| 久久久久久人妻| 免费在线观看黄色视频的| 免费黄网站久久成人精品| 哪个播放器可以免费观看大片| 欧美 日韩 精品 国产| 免费久久久久久久精品成人欧美视频| 亚洲国产看品久久| 毛片一级片免费看久久久久| 久久天躁狠狠躁夜夜2o2o | av电影中文网址| 亚洲av欧美aⅴ国产| 午夜福利影视在线免费观看| 你懂的网址亚洲精品在线观看| 免费在线观看视频国产中文字幕亚洲 | av网站免费在线观看视频| 久久久久久免费高清国产稀缺| 国产黄频视频在线观看| 自线自在国产av| 又大又黄又爽视频免费| 涩涩av久久男人的天堂| 国产成人91sexporn| 九色亚洲精品在线播放| 亚洲人成77777在线视频| 精品少妇久久久久久888优播| 99国产精品免费福利视频| 精品第一国产精品| 亚洲精品一二三| 啦啦啦在线免费观看视频4| 男女床上黄色一级片免费看| 国产av国产精品国产|