• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能民事侵權責任研究

    2018-02-20 00:07:45游文亭
    學術探索 2018年12期
    關鍵詞:生產(chǎn)者人工智能責任

    游文亭

    (山西農(nóng)業(yè)大學 公共管理學院,山西 晉中 030801)

    《列子·湯問》中有一段這樣記載:周穆王西游,工匠偃師獻上一人偶,此人偶動作千變?nèi)f化,隨心所欲,亦可歌舞合拍,眨眼挑逗。偃師將其拆散,才見其全部是用皮革、樹脂、丹砂、漆和白堊、木頭、青雘、黑炭之類的顏料湊合而成。拿掉它的心臟,嘴巴就不能說話;拿掉肝臟,眼睛就不能觀看;拿掉腎臟,雙腳就不能行走。周穆王高興地嘆道:“人的技巧竟能與天地自然有同樣的功效!”隨即下令載上這個歌舞藝人一同回國。如今,這個美好愿景已經(jīng)成為現(xiàn)實。

    人工智能時代正在來臨。人工智能(AI),又稱機器智能(MI),是由電腦程序設計的仿人類和動物智力水平和行為能力的產(chǎn)品終端。如彭博公司[注]彭博公司是全球最大的財經(jīng)資訊服務提供商。(Bloomberg)研發(fā)人員Jack Clark所言,2015年是人工智能飛速發(fā)展的一年,此后人工智能將全方位進入人類生活。2017年一項關于人工智能的調(diào)查顯示,全球1/5的公司已經(jīng)開始將人工智能應用于公司運營的各個方面,并且這種交互應用仍在不斷加強。[1]2017年智能棋手Alpha Go以不敗戰(zhàn)績戰(zhàn)勝中日韓圍棋高手,人工智能戰(zhàn)勝人類的新聞令人驚奇,更令人咂舌的是其對人類的支配而帶來的恐懼感?;艚鹪赋?,短期內(nèi)對人工智能的控制取決于其制造者,長期看則取決于人類是否可以完全控制它。[注]騰訊科技網(wǎng),《霍金:人工智能不一定是好事 或導致人類滅亡》,http://tech.qq.com/a/20140503/002280.htm,2014年5月3日,2018年6月11日訪問。人類要更有效地控制人工智能,除了科技,就是法律。

    一、人工智能侵權責任認定對傳統(tǒng)法律的挑戰(zhàn)

    (一)傳統(tǒng)法律規(guī)制人工智能的困境

    任何一項新技術的到來都會引發(fā)新的問題,需要法律去調(diào)整,而法律的調(diào)整滯后于科技的進步。2017年7月8日,國務院發(fā)布《新一代人工智能發(fā)展規(guī)劃》(以下簡稱“規(guī)劃”),將人工智能發(fā)展定位為我國戰(zhàn)略產(chǎn)業(yè),分為三步發(fā)展,第一步要加快人工智能核心技術的研發(fā)應用,然后再逐步建立人工智能法律法規(guī)與相應監(jiān)管以最大限度降低風險。滯后性是法律與生俱來的缺陷,即使是最新的法律,也是在社會問題顯現(xiàn)后才會對其起到抑制作用,于是對于處于人工智能全力發(fā)展階段的我國而言,盡早探討人工智能的責任問題著實有必要。

    人工智能的發(fā)展已逐漸超越現(xiàn)有法律的規(guī)制。人工智能侵權案件與日俱增,日后必將通過司法程序悄悄地進入法律,或是直接立法強行進入法律。[2](P199~200)法律必須對不可決定的事務進行決斷,[3](P356)人工智能正是這樣不可完全預測、不可完全掌控,于是有學者稱之為法律的“死亡”。[4](P5~20)面臨這樣的困境,法律必須不斷調(diào)整以適應新技術的革新,我們可以做的就是去探究如何調(diào)整。

    然而,我國對于人工智能的法律研究相當匱乏。西方發(fā)達國家對于此技術的研究起步早,且成果豐富。2012年起,以歐盟、美國為代表的發(fā)達國家和地區(qū)就已經(jīng)開始關注人工智能將要帶來的挑戰(zhàn)與風險,并以專題年會討論、課題研究等方式廣泛吸收議題進行立法研究,2015年歐盟發(fā)布《歐盟機器人民事法律草案》;2016年以來美國、英國也連續(xù)提出多份AI報告,[5](P122~128)對本國人工智能研究進行規(guī)制。亞洲地區(qū),2017年韓國國會議員提出建立《機器人基本法案》,這是在2008年《智能機器人開發(fā)和普及促進法》基礎上的又一進步;[6](P149~160)與此同時,日本政府也就人工智能作品的著作權問題進行了討論。[7](P42~52)中國已經(jīng)連續(xù)多年成為全球最大的工業(yè)機器人消費市場,但是對于人工智能的法律研究尚少,原因可能在于人工智能對我國現(xiàn)實生活的影響較小,帶來的法律問題尚不足以引起廣泛關注,學者們?nèi)鄙傺芯縿恿Α8](P97~102)隨著“規(guī)劃”的頒布與人工智能的廣泛應用,大量的法律研究和單行法律及配套措施的頒布勢在必行。

    人工智能侵權分為兩種。[9](P128~136)一種是人類利用對人工智能的控制而實施侵害,比如黑客攻擊保姆機器人系統(tǒng),造成危及人類的后果,這種侵權自不待言,此時人工智能僅為侵權手段,侵權主體是人,應當由攻擊者承擔侵權責任,完全符合傳統(tǒng)侵權法上的一般侵權責任;另一種是人工智能因自身原因造成的損害,其侵害不在人類支配范圍內(nèi),此時的侵權責任應當根據(jù)過錯責任進行分擔,但這又帶來了新的矛盾,人工智能可脫離人的操作,自主決定行為,但是究竟是誰的“過錯”使人工智能“犯錯”,這需要進一步探究。對于后一種侵權問題,其責任承擔、損害賠償?shù)葐栴},正是本文研究重點之所在。

    (二)傳統(tǒng)法律對于人工智能侵權責任認定的弊端

    人工智能侵權打破了傳統(tǒng)侵權法律框架。傳統(tǒng)法上的侵權,是民事主體對他人的人身或財產(chǎn)造成了損害,[10](P46~51)而侵權責任的承擔多數(shù)情況下源于侵權人或其他人的“過錯”行為,這種過錯可以是故意也可以是過失造成的,而人工智能卻難以確定“主觀上有過錯”。對于人工智能侵權責任承擔方式,學者們觀點不一,但他們對于一點是共通的,那就是現(xiàn)有的侵權法已不足以使人工智能侵權問題得到合理解決,人工智能法律亟待更新。

    1.代理人責任

    人工智能與其管理人的關系類似于代理人與被代理人之間的關系。[11](P32~41)人工智能從事某種行為,往往反映的是其管理人的意志,通過人工智能簽署的合同其權利義務均歸屬于管理人。于是人工智能的侵權可以類比于代理人侵權,責任由“管理人”承擔。這種觀點將人工智能看作“人”而非“物”。

    這種主張的弊端有二。首先,人工智能的自主性決定了其代理權限無法確定,代理人超出被代理權限進行了加害行為,責任應由代理人自行承擔。鑒于人工智能的自主性,代理權限和范圍很難確定,如果超出權限的加害行為得不到管理人追認,侵權責任應當由代理人,也就是人工智能承擔,而這種責任對受害者而言顯然是沒有實際意義的。其次,代理關系的侵權中,如果代理得到被代理人的追認,代理人和被代理人向受害者承擔連帶責任,但此時受害人無法向人工智能追償,相當于無免責條款下免除了人工智能的責任,將責任全部推給被代理人承擔,這與其“人”的特性相違背,而是將其當作了“物”,這又與其作為“人”的理論前提相矛盾,不符合邏輯。

    2.法人責任

    還有觀點認為人工智能的地位可以類比于法人擬制,[12](P61~71)其侵權亦可借鑒“刺破法人面紗”規(guī)則由人工智能的管理人承擔侵權責任,其本質是將人工智能當作法律擬制的“人”。

    這一觀點有如下弊端。首先,很大程度上忽略了人工智能的自主性。公司的成立、運營、破產(chǎn)完全受人的控制,但人工智能有其自主性,很大程度上不受人的完全控制,其侵權行為完全由管理人直接承擔,并不合理。其次,人工智能與管理人的法律關系不甚明了。法人與股東是投資關系,法人完全受控于股東,而人工智能并不盡然,于是他與其管理人之間的關系無法確定,直接“刺破面紗”難以說得通。

    3.技術中立原則背后的雇傭關系替代責任

    吳漢東先生認為,人工智能侵權可適用知識產(chǎn)權法上的技術中立原則,[注]技術中立原則,即美國法上的“實質性非侵權用途”原則,是指技術本身不產(chǎn)生任何責任,即使制造商和銷售商知道其產(chǎn)品可能被用于侵權,也不能推定其故意幫助他人侵權并構成“幫助侵權”。參見百度百科“技術中立原則”,https://zhidao.baidu.com/question/134224263.html,2018年5月25日訪問。如果管理人有“過錯”,則對其人工智能侵權行為承擔“替代責任”,類似于雇傭關系中的雇主為雇員的職務行為承擔責任。[13](P1~24)根據(jù)技術中立原則,如果人工智能無產(chǎn)品缺陷,但其管理人放任侵權行為的實施,未盡到善良管理人義務,則不可免除管理人的侵權責任。也就是說,產(chǎn)品本身不產(chǎn)生任何責任;如果生產(chǎn)者基于侵權目的而生產(chǎn)該產(chǎn)品或管理人放任侵權行為,則產(chǎn)生雇傭關系中的“替代責任”,由管理人為人工智能的行為承擔侵權責任。比如,如果某項技術研發(fā)的目的在于侵權或從事違法行為,則不適用技術中立原則,而應當直接適用“替代責任”;如果系正在研發(fā)并盡到善良管理義務,則生產(chǎn)者可免除侵權責任。技術中立原則傾向于人工智能的“物”之屬性,而替代責任又傾向于“人”之屬性。

    這種觀點的弊端有兩點。首先,研發(fā)的“不良目的”難以證明。任何新技術都是“雙刃劍”,在人類享受人工智能帶來的便利時,往往隨著其帶來的“麻煩”,比如定期對其進行保養(yǎng),但是,人類往往習慣了享受方便的同時忍受新技術的“負面行為”,即使是為了侵權而制造的人工智能,也必有它有利于人類的一面,于是很難說明某一項技術是純粹為了“侵權目的”而制造,尤其是生產(chǎn)者的主觀心理難以把握,給受害者舉證造成了極大困難。其次,雇傭關系的職務權限和范圍難以確定。類比于雇傭關系,雇主對雇員的替代責任以雇員在履行職務期間職務范圍內(nèi)的行為為限,超出職務范圍的侵害則不承擔責任,而人工智能的最大特點在于其自主性,于是人工智能的職務范圍難以確定,而基于此讓管理人承擔替代責任的立法設想,很難實現(xiàn)。

    4.產(chǎn)品責任

    眾多學者認為,人工智能侵權應當適用產(chǎn)品責任。[14](P143~155)產(chǎn)品責任規(guī)定,在因產(chǎn)品本身的缺陷造成他人人身或財產(chǎn)損害的,受害人可以向產(chǎn)品的生產(chǎn)者或者銷售者請求賠償,并且不以生產(chǎn)者或銷售者具有過錯為前提,無論其是否有錯,都需向受害者承擔連帶責任。這種觀點承認人工智能的“物”之屬性。

    人工智能侵權適用產(chǎn)品責任,有以下弊端。首先,受害人舉證困難。有損害就有責任,責任或者來源于生產(chǎn)者,或者來源于銷售者,或者來源于管理者,再或者是其他相關人。對于受害者而言,無過錯責任的應用更為合理。根據(jù)侵權法規(guī)定,受害者除了需要證明人工智能的加害行為之外,關鍵的是需要證明人工智能存在缺陷,并且這種缺陷與損害結果之間具有因果聯(lián)系。對于人工智能這種高科技終端而言,在沒有明確的人工智能技術待業(yè)標準的情況下,讓不了解技術的受害者證明產(chǎn)品缺陷的存在并不是件容易的事。其次,人工智能具有自主性。對于生產(chǎn)者或銷售者而言,反而更加容易證明其只是超出了“控制”而作出了智能性的自主決定,并非產(chǎn)品缺陷。再次,免責條款的實現(xiàn)更為容易?!懂a(chǎn)品質量法》上的免責條款規(guī)定,在產(chǎn)品流通時的科學技術尚不能發(fā)現(xiàn)缺陷的存在,生產(chǎn)者和銷售者就可免責,這對于更為了解高科技性能的生產(chǎn)者和銷售者而言,證明技術不到位比受害者證明其存在缺陷要容易許多,這種舉證責任難度的不對稱性反而違背了生產(chǎn)銷售者的嚴格責任設立的初衷,維護了他們的強勢地位,而使受害者的弱勢更為明顯,使人們開始重新審視法律在消費者與生產(chǎn)者利益平衡中的作用。[15](P166~173)

    5.動物管理人的責任

    有一種觀點認為人工智能侵權類似于侵權責任法中規(guī)定的飼養(yǎng)動物致人損害侵權。[16](P78~89)飼養(yǎng)動物致人損害的,由動物飼養(yǎng)人承擔侵權責任,如果損害系受害者或第三人故意或重大過失引起的,則飼養(yǎng)人責任減輕或免除。人工智能與其管理人的關系類似于動物之于其主人,但兩者最大的區(qū)別在于人工智能比動物具有更強的自主性。如果人工智能造成了損害,應當由其管理人承擔責任;如果人工智能的損害行為是基于他人的“過錯”,比如受害者或第三人故意激怒,則管理人可適當減輕或免除責任。這一觀點將人工智能偏向于“物”。

    這種觀點的弊端有兩點。首先,忽略了人工智能的自主性。動物致人損害可能是基于受到害者本人或他人挑逗的“過錯”行為,但多數(shù)情況下動物致人損害可能基于動物本身的特性,比如狼狗天生極具攻擊性,可能在無“過錯”人情況下對他人造成損害,這是動物的天性決定的。而人工智能在這一方面更類似于人,如果沒有他人激怒,一般不具攻擊性,除非它被制造時就帶著“侵權目的”。于是,人工智能的損害由有過錯的激怒人承擔,而這個激怒人往往就是受害者本人,也就是說這個時候人工智能對其侵權免責,這顯然不合理。其次,低估了人工智能致人損害的嚴重性。與動物損害相比,最大的區(qū)別在于人工智能侵權損害的程度比動物致人損害要嚴重得多。比如,人工智能被甲激怒,它是否可以識別或控制被激怒的生氣程度而作出相應程度的回擊,如果過激將甲打傷甚至打死,造成不符合激怒程度的損害,按照動物致人損害侵權原則,受害者甲還要承擔主要責任,這對于受害者而言,顯然有失公平。

    人工智能是具有自主性的機器,是既有“人”性又有“物”性的“矛盾體”,“物”性使侵權的“過錯”無法認定,“人”性又使其不完全受控于人的意志,于是不可適用一般侵權責任,而特殊侵權規(guī)則的適用又有其弊端,可見傳統(tǒng)的侵權法已經(jīng)不足以解決人工智能的侵權問題。

    二、人工智能“物”之法律屬性辨析

    人工智能的侵權問題要得到解決,必須要面對的就是其法律屬性問題。它究竟是“人”還是“物”?人工智能與傳統(tǒng)機器的區(qū)別在于其具有“人”的自主性,而與人的區(qū)別又在于其不能完全脫離人的控制而呈現(xiàn)出來的“物”性。從當前各類侵權歸責的主張來看,代理人責任、法人責任、替代責任偏向于人工智能的“人”之屬性,或類比于自然人,或類比于法律擬制之人;產(chǎn)品責任和動物致人損害責任偏向于“物”之屬性。人工智能的法律屬性尚不明確。

    (一)關于人工智能法律屬性的學說爭論

    人工智能的法律屬性不確定,侵權歸責亦無法明確。對于人工智能的法律屬性學者們?nèi)栽谘芯?,目前主要有三種學說:工具說、電子奴隸說、代理說。[17](P442)

    1.工具說

    工具說認為,人工智能是人類創(chuàng)造出的機器,不需休息、無人類情感,與人存在本質區(qū)別,是一種服務于人類的工具,與傳統(tǒng)工具作用相同。這種學說的弊端在于忽略了人工智能的自主性,人工智能技術目前已經(jīng)發(fā)展到可以獨立表達自己意思并作出行為的階段,如特斯拉汽車可實現(xiàn)無人駕駛,在這一點上,人工智能早已超越傳統(tǒng)的工具。

    2.電子奴隸說

    電子奴隸說認為,人工智能不需要休息,是具有自主性的機器,可以執(zhí)行指令但不可主張權利;也就是說,人工智能只具備行為能力而不具備權利能力,并且它的行為后果完全歸屬于其管理人,并不具有獨立的法律地位,[18](P50~57)類似于羅馬法中的“奴隸”。

    3.代理說

    代理說認為,人工智能的行為均來自于其管理人的意思表示,行為后果歸責于被代理人,相當于管理人的代理人。這種學說無疑承認了人工智能的法律地位,但是它只能實施法律行為,在造成侵權時無法履行賠償義務,其機器屬性亦決定了它不能完全享有代理人相應的法律權利。

    4.法律擬制說

    法律擬制說認為,人工智能雖不具備人的屬性,但可“視為人”,類似于法人。但是,法人體現(xiàn)的完全是股東的意志,而人工智能卻有較強的自主性,可以違背人的意志,也可能脫離人的控制,不能簡單地被“視為”,其獨立性被忽略。另外,人工智能與其管理人的關系不明確,“刺破面紗”之說亦欠缺法理基礎。

    (二)人工智能不具有民事主體資格

    1.人工智能不具有從事民事法律活動的能力

    人工智能是否具有民事主體資格,要看其是否能夠有“法律能力”。民事權利義務是民事主體資格的直接表現(xiàn),沒有民事法律資格,就沒有民事法律地位。

    人工智能沒有完整的權利、義務法律能力。無論人工智能有多接近于自然人,其不具有人的“身份”,與法人的虛擬身份也不盡相同,沒有出生不會死亡,自然也沒有民事權利能力。從法律體系看,缺乏相應的權利義務類型以及相應的配套法規(guī),比如虛擬身份、虛擬財產(chǎn),不能創(chuàng)立公司,也不能結婚,這不是簡單的立法可以彌補的,而是整個民事權利體系的重塑,[19](P56~66)因而不具有民事行為能力。有權利才有義務,如果看重人工智能的執(zhí)行力而將民事義務強加給人工智能,卻不賦予其權利,人工智能也無法成為真正意義上的民事法律主體,不具有民事主體資格。

    人工智能沒有民事責任能力。人工智能對自身原因造成的損害仍不能獨立承擔民事責任。人工智能的懲罰方式較為單一,比如限制其智能性,或者將其毀滅,這在給他人造成精神損害時表現(xiàn)得尤為明顯。有限的懲罰方式不足以對不同程度的侵權行為進行彌補,與人類金錢賠償更無法對等,最終人工智能的侵權責任還是要由相關自然人完全承擔或補充承擔,而人工智能本身無法獨立承擔民事義務與責任,不具備民事責任能力。人工智能不具有獨立的權利義務能力,而民事法律資格歸根結底要看其是否可以獨立享有民事權利與承擔義務,進而獨立承擔民事責任,否則就不具有獨立的民事主體資格,人工智能應如是。

    2.不應片面強調(diào)人工智能的“人”之屬性

    現(xiàn)有技術下不應過分強調(diào)人工智能“人”之屬性。就目前科技發(fā)展程度看,人工智能不僅具有獨立的思維,還可以“創(chuàng)造出自然界中不存在的生物催化反應類型,并在世界上首次通過計算指導完成工業(yè)級菌株的構建”,[注]參見中國生物技術服務網(wǎng),“人工智能首次設計出工業(yè)菌株最新發(fā)現(xiàn)與創(chuàng)新”,2018年5月23日. http://www.biotech.org.cn/information/155263.2018年5月25日訪問。其科研智能能力超過人類,但綜合智力水平是否可與一般自然人相比,這有待考證。盡管人工智能的自主性不可忽略,但其越智慧,對人類的威脅就會越大,人類創(chuàng)造人工智能的目的也正在于它們可以受控于人類,讓我們的生活更便利,它們是“工具”,而非“主人”,不能與人類同日而語。當前技術條件下,人類對于人工智能的技術干預多表現(xiàn)在生產(chǎn)制造上,對于“安全”“教育”的智能作用干預性較弱,于是在造成人身或財產(chǎn)損害時,往往從產(chǎn)品責任角度去思考。就如同人工智能汽車造成的交通事故,責任往往歸咎于汽車的生產(chǎn)者和制造者,而不是像普通交通肇事案一樣歸咎于司機本身,可見,此舉還是將人工智能當作機器。實際上,人工智能的權利取得過程是與人類權利博弈的過程。

    法律規(guī)范應當與人工智能技術發(fā)展相適應。法律可以努力地保持前瞻性,以防患于未然,卻不可激進,這是法律的滯后性本性所決定的。作為社會進步的催化劑,法律應當與時代同步,但作為社會文明的底線,又應當對各項社會因素,如政治、經(jīng)濟、文化、傳統(tǒng)等發(fā)展相適應,對這些因素帶來的問題既包容又嚴格,方可起到限制與保護作用,否則無濟于事。目前我國的人工智能的智慧程度尚達不到自然人水平,且尚未完全進入人類生活,多數(shù)人對于這一領域并不甚了解,對于人工智能與人類“平起平坐”的法律地位亦無法接受。[20](P119~126)試想,如果人工智能因其本身的問題侵權,受害者是一位目不識丁的老人,但工智能因被輸入了更先進的法律知識,在爭鋒相對的法庭上有理有據(jù)地辯駁,于是贏了目不識丁的人類,受害者無法得到任何賠償,豈不冤枉?這無形中增加了人類與人工智能的社會矛盾,新的社會問題又會隨之而來。

    當然,人工智能的法律地位并非一成不變,未來可能具有民事主體資格,適用監(jiān)護制度。剛被創(chuàng)造時,人工智能可以同自然人一樣成為“無民事行為能力人”,隨著“被教育”程度的提升而成為“限制民事行為能力人”,如同自然人的成長,同時適用未成年人的監(jiān)護制度,但法律要同時明確人工智能在每個階段的能力權限,即權利范圍和義務范圍,比如第三人明知是無民事行為能力人工智能而從事超越其權利義務范圍的民事行為的,未經(jīng)“監(jiān)護人”(管理人)追認無效。人工智能是否有一天會成為完全民事行為能力人,要看技術的革新與其受教育的開化程度。人工智能倘若為“人”,是否受到倫理約束,是否可以與人類通婚,需要倫理準則與法律相輔相成,也是在其他社會因素相應發(fā)展后交叉研究的內(nèi)容。未來人工智能經(jīng)過教育可成為“人”,但現(xiàn)有技術條件下,不應過高地評價人工智能的法律地位,人工智能的法律定位應當是“物”。

    三、我國人工智能侵權責任認定的進路

    (一)人工智能監(jiān)管機制

    1.設立專門的監(jiān)管機構

    人工智能的生產(chǎn)與應用需要專門機構進行監(jiān)管。我國現(xiàn)有的監(jiān)管體制是分行業(yè)監(jiān)督管理,如市場監(jiān)督管理局進行食品監(jiān)管,證監(jiān)會進行證券監(jiān)管,這種監(jiān)管方式更具針對性,更加專業(yè)化。但是,現(xiàn)有的監(jiān)管體制不足以對人工智能進行有效監(jiān)管。調(diào)整有二。第一,需要科技部領導下的新機構對人工智能進行專門監(jiān)管,如“人工智能管理委員會”,[21](P42~52)可借鑒美國“機器人委員會”。人工智能對于技術知識的要求比較高,需要有專業(yè)技術人才及監(jiān)管部門配合才可有力監(jiān)管。從我國目前的監(jiān)管體制看來,現(xiàn)有的監(jiān)管部門無一完全適合于人工智能的監(jiān)管,于是需要建立新的監(jiān)管部門對人工智能及相關產(chǎn)品進行專業(yè)監(jiān)管。第二,人工智能種類與功能繁多,無法保證每一類人工智能都被準確劃歸到某一行業(yè)進行監(jiān)管,而統(tǒng)一管理對于偏向于某一技術特長的專業(yè)技術人員而言又不切實際,因為他們并非對所有類型的人工智能均控制得得心應手,于是需要將人工智能監(jiān)管部門劃分為多個片區(qū)進行精準化管理,比如分為家用型人工智能和公用類人工智能。

    設立專門的人工智能監(jiān)管部門是有好處的。首先,可以更好地實現(xiàn)對人工智能的全面監(jiān)控,從研發(fā)、生產(chǎn)、應用、安全全部環(huán)節(jié),都可進行監(jiān)管,這種監(jiān)管方式更能有效地保證監(jiān)管責任落到實處,進而加強人工智能的安全性。其次,避免監(jiān)管部門之間的相互推諉。如果將人工智能直接分類歸屬于現(xiàn)有的不同監(jiān)管部門,或是不細分而實施統(tǒng)一化管理,可能會出現(xiàn)“誰都能管誰也不管”的局面,如此一來無法達到真正的監(jiān)管效果。再次,統(tǒng)一監(jiān)督—分類管理的監(jiān)管模式,可以提高監(jiān)管效率。將人工智能進行統(tǒng)一登記,之后按不同類別進入市場流通并分類管理,同時應當制定人工智能等級標準,讓不斷受到教育的人工智能參照標準不斷提高自己的智能等級和行為能力,使之可以“因材施教”,在出現(xiàn)問題時及時找到源頭,及時解決問題。

    2.人工智能強制登記制度

    每一臺人工智能都需到監(jiān)管部門強制登記,[22](P103~112)獲得“身份證”,確定其專屬管理人。由于人工智能不同于普通的物,每一臺人工智能在不同的環(huán)境影響下都會是唯一的,因此應當具有獨一無二的產(chǎn)品編號。在人工智能投入市場前,由質檢機關檢驗和專業(yè)人員測試,經(jīng)過監(jiān)管部門認可后確定其功能與智能程度,發(fā)放“身份證”,類似于自然人報戶口,此后方可流通入市場。在市場交易階段完成后,人工智能的專屬管理人確定,應當去監(jiān)管部門進行登記取得“身份證”,確立其管理人是誰,以及它的行為能力和智慧等級,管理人正式成為其產(chǎn)品責任人。

    人工智能應當以“時”或“日”為單位更新數(shù)據(jù),與監(jiān)管部門數(shù)據(jù)保持同步。人工智能流通到消費者環(huán)節(jié)后,會受到不同程度的教育,逐漸與其他同批人工智能產(chǎn)生差異,于是應當強制更新,以“時”或“日”為單位自動更新其“智能等級”及每日活動數(shù)據(jù),傳入監(jiān)管部門數(shù)據(jù)庫,方便監(jiān)管部門隨時監(jiān)管。這一點日本做得比較好,要求在每一個機器人出廠時必須向中央數(shù)據(jù)庫報告其服務對象和可能產(chǎn)生的危害,并且建立嚴密的機器人分級管理制度和運行數(shù)據(jù)可追溯制度,在出現(xiàn)問題時可以查清楚是哪一環(huán)節(jié)出現(xiàn)問題,進而確定責任人。[5](P122~128)人工智能的智能等級會隨著其受教育程度的提升而提高,于是其行為能力與權限范圍也會隨之而擴大,此時可以根據(jù)監(jiān)管部門訂立的行業(yè)標準進行“升級”,使人工智能的自主性隨之增強,提升其智能等級與行為能力。有不少學者提出應當分級管理,[23](P12~21)將不同智能等級的人工智能分別管理,這是一種縱向管理模式;與之相比,按功能分種類的橫向監(jiān)管更具有可操作性,畢竟人工智能的等級劃分需要制定新的標準,隨著技術的發(fā)展與人機互動的頻繁,人工智能的等級會越來越不明顯,而功能與種類卻會更加多樣化,更便于區(qū)分。

    (二)人工智能的侵權損害賠償責任

    1.無過錯責任原則的適用

    人工智能是智能機器,對于造成的損害其管理人應當適用無過錯責任,這是符合無過錯責任制度的本意的。無過錯責任制度的設立,就是保障機器事故給受害者造成的損害能得以賠償。這一制度源于資本主義機器大生產(chǎn)時代,[24](P656~657)機器大生產(chǎn)造成的事故,依據(jù)過錯責任無法給予受害者賠償,無過錯責任因此應運而生。其最早被規(guī)定于普魯士王國1838年《鐵路企業(yè)法》,1839年《礦業(yè)法》將其擴大到礦害損害中,此后德國1884年《勞工傷害賠償法》規(guī)定了工業(yè)事故社會保險制度,自此確立了事故責任的無過錯責任制度,此后無過錯責任原則被廣泛應用于各個方面。這一點上,機器生產(chǎn)與人工智能服務對于無過錯責任的應用完全契合。

    當然,無過錯責任原則的適用須有法律的明確規(guī)定,這是現(xiàn)有法律應當調(diào)整的,不僅是民法總則關于侵權的原則性規(guī)定,還有相關法律如《侵權責任法》關于特殊侵權損害之規(guī)定。有學者提出可以對人工智能專門立法,[25](P1~7)在其中規(guī)定無過錯責任原則,這也是可以的。即使在未來人工智能成為民事主體,如前文所述,可對其適用監(jiān)護制度,無過錯責任仍適用于監(jiān)護人,這與現(xiàn)有法律并不沖突。

    無過錯責任原則下存在免責事由,人工智能侵權亦不例外。任何人工智能侵權損害中,管理人是可以有免責事由的。管理人唯一免責事由就是生產(chǎn)瑕疵,此時責任推向生產(chǎn)者與銷售者;而生產(chǎn)銷售者的免責事由適用產(chǎn)品責任,即證明現(xiàn)有技術尚不足以發(fā)現(xiàn)該產(chǎn)品瑕疵,這無疑加重了生產(chǎn)者的注意義務與道德責任,而這樣做的好處是,反向加強了生產(chǎn)者的技術研發(fā)精準度壓力以及管理人的管理注意義務。

    2.強制保險與基金

    為保障人工智能的賠償能力,不少學者提出應當強制繳納保險與賠償基金,[26](P140~148)在造成侵權時使用。這就要求生產(chǎn)者、銷售者、消費者需要從研發(fā)、生產(chǎn)到消費各個環(huán)節(jié),分別繳納相應保險,設立保險和專項基金。人工智能可能通過其勞動獲得金錢報酬,作為基金,在侵權時作出賠償。這一保險和基金是強制性的,只要人工智能構成損害需要賠償,均由保險和基金先行賠償,不足部分由責任人再進行賠償。當然,這需要保險公司新保險品種、相關基金會的配套設立。

    (三)尋求損害賠償、責任承擔與技術發(fā)展的平衡

    1.責任承擔與技術發(fā)展

    關于技術干預與責任承擔的分配比例問題。從研發(fā)到使用全過程的所有參與者,他們對于人工智能的侵權責任的承擔與其對該人工智能的影響呈正相關,也就是說,對人工智能的影響越大,侵權責任應當越重。從研發(fā)到生產(chǎn)銷售再到使用,人類對于人工智能的干預度逐漸減弱。研發(fā)過程直接決定了其性質功能、智能等級、服務對象、操作方式等,生產(chǎn)決定了其外觀形式與使用壽命,而消費終端的影響僅限于“教育”,而后一環(huán)節(jié)均建立在先前環(huán)節(jié)基礎之上。一旦人工智能出現(xiàn)侵權問題,作為使用者的管理人要提供“產(chǎn)品瑕疵”證明很困難,甚至有些管理人并非人工智能實際操作者,要舉證就更加困難。當侵權出現(xiàn),管理人免責需要證明產(chǎn)品制造有瑕疵,生產(chǎn)銷售者免責需要證明他們生產(chǎn)時現(xiàn)有技術尚無法預見這一瑕疵帶來的問題,兩者相比,管理人的責任要輕于生產(chǎn)者。于是,生產(chǎn)者、銷售者、消費者(管理人或使用人)三者相比,對人工智能的影響逐漸減弱,責任程度逐漸減輕,這一點看來是合理的。

    關于技術發(fā)展的決定性因素——工程師的道德要求。人工智能的技術發(fā)展并不單指科學技術的進步,更在于人工智能技術工程師道德操守的進步。[27](P41~46,P281)人工智能的自主性與人類的操控度呈負相關,又與人類生活的便捷程度呈正相關。人類的這一偉大創(chuàng)造可以對人類有益,亦可給人類造成損害,未來人工智能將會與人類在長期博弈中共存,于是人工智能被創(chuàng)造的目的與其在博弈過程中的表現(xiàn)有著密切關系。這對于人工智能的創(chuàng)造者而言,有著極高的道德要求,目前世界各國對于人工智能工程師的行為操守有著共同的要求:尊重人類尊嚴、遵守人類道德、保障人類安全、保護人類隱私。如果違反這一準則,后果不堪設想。制造者“兩遵兩保”的道德要求將會在未來人類與人工智能的博弈過程中占有重要作用,也是他們必須遵守的。

    2.損害賠償與責任承擔

    關于責任承擔主體的確定。人工智能是“物”不是“人”,其侵權責任由其管理人承擔。管理人可以是生產(chǎn)制造者,可以是使用者,還可以是登記授權的其他相關利益人。此時責任問題是產(chǎn)品責任,生產(chǎn)者、銷售者的嚴格責任。但需要分清責任事故從何而起 ,是設計人的“技術漏洞”,還是操作人的“不當使用”,甚至可能是智能機器人超越原控制方案的“擅自所為”,此類事故的原因和事故責任的追究都是需要確定的。

    人工智能的損害賠償與責任承擔主體不統(tǒng)一。有損害就會有賠償,而這種賠償?shù)氖滓熑螒斢伞斑^錯”方承擔,誰的原因導致了損害,誰來進行賠償,才是最為合理的。對于自然人而言,損害賠償與侵權責任是統(tǒng)一的;但對于人工智能,侵權責任與賠償責任可能不統(tǒng)一,因為人工智能是物,無法承擔侵權責任。但與一般機器侵權的無過錯責任不同的是,人工智能可以用自己的保險、基金、勞動報酬來支付其損害賠償。管理人的責任程度與人工智能賠償數(shù)額不一定呈正相關,因為可能會出現(xiàn)管理人為人工智能損害賠償?shù)牟蛔悴糠痔峁┭a償。于是需要調(diào)整現(xiàn)有法律,對管理人的補充賠償責任進行具體規(guī)定。

    3.三者的平衡點

    人工智能損害賠償、責任承擔與技術發(fā)展的平衡點在于管理人與生產(chǎn)者對于人工智能侵權責任的補充賠償責任。如果是人工智能本身的產(chǎn)品瑕疵,可將人工智能作為產(chǎn)品,依照產(chǎn)品責任來規(guī)制;如果是人工智能管理人的失誤,則應當追究管理人的侵權責任。人工智能發(fā)生侵權事故時,損害賠償由人工智能自身的保險、基金及報酬賠償,不足部分由侵權責任承擔者補充賠償。

    侵權責任的損害賠償順序依次為人工智能——管理人——生產(chǎn)者。侵權責任承擔者首先是人工智能的管理人,并且對管理人適用無過錯責任原則,但是如果管理人確實盡到了注意義務并且成功舉證侵害是由人工智能機器本身的“自主性”問題造成的,則賠償責任由生產(chǎn)者承擔。同理,生產(chǎn)者賠償前亦可根據(jù)產(chǎn)品責任主張免責事由,而技術發(fā)展的限制確實可能會免除生產(chǎn)者的賠償責任,使受害者無法得到管理人及生產(chǎn)者的任何一方的補充賠償。這里需要求說明的是,損害賠償?shù)墓芾砣伺c生產(chǎn)者之間并不承擔連帶責任。前文已述, 每個環(huán)節(jié)的相關利益人對于人工智能的影響程度不同,單就造成損害結果看,管理人的注意義務應當強于生產(chǎn)者的技術設定義務,所以損害賠償責任應當先由管理人承擔,當管理人免責事由出現(xiàn)時再將責任推向生產(chǎn)者。

    對于處于弱勢的受害者,賠償不足時只能通過提高人工智能的保險與基金數(shù)額進行彌補。于是,在人工智能處于制造、流通、服務各個環(huán)節(jié)時,應當充分發(fā)揮監(jiān)管部門的作用加強監(jiān)管力度,保證其保險和賠償基金的數(shù)額足以承擔其日后可能產(chǎn)生的侵權后果。這就需要配套的法律規(guī)定進行輔助,使監(jiān)管機構在設立保險基金規(guī)則時,嚴格對每一個人工智能的能力進行盡可能精準的預測,其能力越高,造成的傷害可能越嚴重,那么它對應的保險和基金數(shù)額就應當越高,以此保障它自身能夠獨立并足夠承擔損害賠償。

    結 語

    人工智能的法律調(diào)整落后于科學技術的更新。法律天然的滯后性和科技的迅速蓬勃決定了人工智能法律規(guī)范晚于人工智能問題的出現(xiàn),比如侵權。雖然我國人工智能的法學研究匱乏,但較于以往其他調(diào)整型法規(guī)而言,研究的起步并不算晚。

    現(xiàn)有法律不足以解決人工智能侵權問題。人工智能與普通機器相比,更加自主和聰慧,這一點模仿于人類,但人工智能損害相比傳統(tǒng)法上的一般侵權,主要不同點在于其具有高度自主性,卻無法認定是否具有“主觀過錯”。

    人工智能侵權出現(xiàn)后,現(xiàn)有法律調(diào)整的弊端隨之顯現(xiàn)。人工智能是具有自主性的機器,是既有“人”性又有“物”性的“矛盾體”,“物”性使侵權的“過錯”無法認定,“人”性又使其不完全受控于人的意志,于是不可適用一般侵權責任,而特殊侵權規(guī)則的適用又各有弊端。可見,傳統(tǒng)的侵權法已經(jīng)不足以解決人工智能的侵權問題。

    要討論人工智能的侵權責任,首先要弄清楚它是“人”還是“物”。學界對于人工智能的法律屬性討論分為兩派觀點。一種觀點認為人工智能應當成為民事法律主體,作為法律上的“人”,以代理說和法律擬制說為代表;另一種觀點認為人工智能是機器,是法律上的“物”,以工具說和電子奴隸說為代表。從當前各類侵權歸責的主張來看,代理人責任、法人責任、替代責任偏向于人工智能的“人”之屬性,或類比于自然人,或類比于法律擬制之人;產(chǎn)品責任和動物致人損害責任偏向于“物”之屬性。

    人工智能應當是法律上的“物”。從法理上看,人工智能不具有獨立的權利義務與責任能力,而是否具有民事法律資格歸根結底要看其是否可以獨立享有民事權利與承擔義務,進而獨立承擔民事責任,否則就不具有獨立的民事主體資格,人工智能應如是。當前技術下也不應當過分強調(diào)人工智能的“人”之屬性,否則人類在與之博弈的過程中將失去優(yōu)勢。當然,這并不妨礙將來科學技術和立法技術發(fā)展到更高程度時立法態(tài)度的改變。

    人工智能的侵權問題應當受到合理的法律規(guī)制。這一點可以學習國外的先進經(jīng)驗,設立專門的監(jiān)管部門,同時施行強制登記制度,對人工智能的數(shù)據(jù)和行為進行監(jiān)控。對于侵權責任,適用管理人無過錯責任原則,以減輕管理人的舉證責任。

    人工智能與其生產(chǎn)者、管理人之間的侵權責任分擔,就是要在責任承擔、損害賠償和技術發(fā)展之間尋求一個平衡點。侵權責任的損害賠償順序依次為人工智能——管理人——生產(chǎn)者,這個平衡點在于管理人與生產(chǎn)者對于人工智能侵權責任的補充賠償責任。人工智能發(fā)生侵權事故時,損害賠償由人工智能自身的保險、基金及報酬賠償,不足部分由侵權責任承擔者補充賠償,而管理人和生產(chǎn)者之間不承擔連帶責任。

    猜你喜歡
    生產(chǎn)者人工智能責任
    1月巴西生產(chǎn)者價格指數(shù)上漲3.92%
    使命在心 責任在肩
    人大建設(2020年4期)2020-09-21 03:39:24
    每個人都該承擔起自己的責任
    新民周刊(2020年5期)2020-02-20 14:29:44
    2019德國IF設計大獎
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    家禽福利的未來:生產(chǎn)者能期待什么?
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    下一幕,人工智能!
    南風窗(2016年19期)2016-09-21 16:51:29
    一場大風帶給生產(chǎn)者的思考
    色综合婷婷激情| 一区二区三区精品91| 国产精品电影一区二区三区| 欧美日韩福利视频一区二区| 国产精品爽爽va在线观看网站 | 久久热在线av| 88av欧美| 精品国产超薄肉色丝袜足j| 99久久综合精品五月天人人| 1024香蕉在线观看| 老司机亚洲免费影院| 99re在线观看精品视频| 亚洲情色 制服丝袜| 电影成人av| 搡老岳熟女国产| 欧美乱码精品一区二区三区| 男人操女人黄网站| 悠悠久久av| 国产精品98久久久久久宅男小说| 天天影视国产精品| 在线观看日韩欧美| 成人av一区二区三区在线看| 亚洲avbb在线观看| 日韩欧美免费精品| 最好的美女福利视频网| 久久人人爽av亚洲精品天堂| www.www免费av| 久久亚洲精品不卡| av免费在线观看网站| 色精品久久人妻99蜜桃| 久久国产乱子伦精品免费另类| 超碰成人久久| 女人被狂操c到高潮| 精品福利永久在线观看| 少妇被粗大的猛进出69影院| 精品少妇一区二区三区视频日本电影| 久久午夜综合久久蜜桃| a在线观看视频网站| 男女做爰动态图高潮gif福利片 | 色综合婷婷激情| 久久精品亚洲av国产电影网| 日韩 欧美 亚洲 中文字幕| 欧美 亚洲 国产 日韩一| 精品无人区乱码1区二区| 黄频高清免费视频| 欧美精品亚洲一区二区| 日本三级黄在线观看| 国产精品久久视频播放| 日韩欧美三级三区| 在线观看免费高清a一片| 操出白浆在线播放| 亚洲久久久国产精品| 手机成人av网站| 国产精品一区二区免费欧美| 男人操女人黄网站| 精品免费久久久久久久清纯| 亚洲欧美激情综合另类| 一a级毛片在线观看| 婷婷丁香在线五月| 亚洲国产精品一区二区三区在线| 一区二区日韩欧美中文字幕| 国产无遮挡羞羞视频在线观看| 久久精品国产综合久久久| 桃色一区二区三区在线观看| 久久久久久大精品| 国产xxxxx性猛交| 9191精品国产免费久久| www国产在线视频色| 一个人观看的视频www高清免费观看 | xxxhd国产人妻xxx| tocl精华| 国产一区二区三区综合在线观看| 成人永久免费在线观看视频| 亚洲一区高清亚洲精品| 亚洲黑人精品在线| 五月开心婷婷网| 美女午夜性视频免费| 老司机靠b影院| 韩国av一区二区三区四区| 人妻久久中文字幕网| 大码成人一级视频| 十分钟在线观看高清视频www| 老司机午夜福利在线观看视频| 亚洲人成电影免费在线| 久久精品国产亚洲av高清一级| 日本免费a在线| 一个人免费在线观看的高清视频| 老熟妇仑乱视频hdxx| 精品国产乱子伦一区二区三区| 日本撒尿小便嘘嘘汇集6| 亚洲av电影在线进入| 欧美av亚洲av综合av国产av| 亚洲精品在线美女| 18禁黄网站禁片午夜丰满| 黑丝袜美女国产一区| 亚洲专区中文字幕在线| 日韩国内少妇激情av| 亚洲国产中文字幕在线视频| 俄罗斯特黄特色一大片| 欧美日本亚洲视频在线播放| 久久久久国产精品人妻aⅴ院| 两个人免费观看高清视频| 国产精品乱码一区二三区的特点 | 色在线成人网| 亚洲自偷自拍图片 自拍| 欧美成狂野欧美在线观看| 日韩欧美一区二区三区在线观看| 麻豆成人av在线观看| 搡老熟女国产l中国老女人| 99久久综合精品五月天人人| 日韩成人在线观看一区二区三区| 午夜福利影视在线免费观看| 精品欧美一区二区三区在线| 亚洲av熟女| 两个人免费观看高清视频| 两性午夜刺激爽爽歪歪视频在线观看 | 男人舔女人下体高潮全视频| 黄色成人免费大全| 国产在线精品亚洲第一网站| 久久久精品国产亚洲av高清涩受| 人成视频在线观看免费观看| 在线永久观看黄色视频| 美女大奶头视频| 亚洲中文日韩欧美视频| 精品欧美一区二区三区在线| 亚洲色图 男人天堂 中文字幕| 日本a在线网址| 久久精品影院6| 精品人妻在线不人妻| 久久欧美精品欧美久久欧美| 欧美人与性动交α欧美软件| 亚洲伊人色综图| 美国免费a级毛片| 高清在线国产一区| 精品熟女少妇八av免费久了| 久久人妻熟女aⅴ| 80岁老熟妇乱子伦牲交| 两性午夜刺激爽爽歪歪视频在线观看 | 国产欧美日韩精品亚洲av| 日本免费一区二区三区高清不卡 | 99精国产麻豆久久婷婷| 欧美黑人欧美精品刺激| 国产主播在线观看一区二区| 精品国产超薄肉色丝袜足j| 丝袜美足系列| 亚洲国产中文字幕在线视频| 99热国产这里只有精品6| 精品少妇一区二区三区视频日本电影| 色在线成人网| 91字幕亚洲| 亚洲自拍偷在线| 一区福利在线观看| 18禁国产床啪视频网站| 国产一卡二卡三卡精品| 国产精品日韩av在线免费观看 | 两性午夜刺激爽爽歪歪视频在线观看 | aaaaa片日本免费| 精品国产一区二区久久| 成年人黄色毛片网站| 桃红色精品国产亚洲av| 国产精品久久视频播放| 电影成人av| 国产精品久久久久久人妻精品电影| 久久亚洲真实| 大香蕉久久成人网| 真人一进一出gif抽搐免费| 国产精品美女特级片免费视频播放器 | 丝袜美腿诱惑在线| 91av网站免费观看| 又大又爽又粗| 久久久国产成人免费| 在线观看免费午夜福利视频| 日本vs欧美在线观看视频| 成年女人毛片免费观看观看9| 亚洲精品国产一区二区精华液| 亚洲男人的天堂狠狠| 淫妇啪啪啪对白视频| 精品高清国产在线一区| 日韩免费高清中文字幕av| 亚洲精品一卡2卡三卡4卡5卡| 在线观看免费视频日本深夜| 每晚都被弄得嗷嗷叫到高潮| 午夜精品国产一区二区电影| 久久国产精品男人的天堂亚洲| 中文字幕人妻丝袜一区二区| 精品久久久久久久毛片微露脸| 亚洲aⅴ乱码一区二区在线播放 | 免费看十八禁软件| 大香蕉久久成人网| 国产精品美女特级片免费视频播放器 | 午夜日韩欧美国产| 久久影院123| 久久青草综合色| netflix在线观看网站| 国产精品一区二区精品视频观看| 亚洲中文字幕日韩| 久久人人精品亚洲av| 在线观看免费视频网站a站| 亚洲熟妇熟女久久| 精品久久久久久久毛片微露脸| 中文字幕人妻丝袜制服| 午夜福利在线观看吧| 无人区码免费观看不卡| 久久伊人香网站| 高潮久久久久久久久久久不卡| 女性被躁到高潮视频| 黄网站色视频无遮挡免费观看| 日韩欧美国产一区二区入口| 天天影视国产精品| 中文字幕人妻丝袜一区二区| 亚洲性夜色夜夜综合| 老鸭窝网址在线观看| 在线观看日韩欧美| 精品久久久久久电影网| 亚洲欧美精品综合久久99| 亚洲色图综合在线观看| 午夜福利影视在线免费观看| 少妇 在线观看| 亚洲 国产 在线| 亚洲国产毛片av蜜桃av| 国产av一区二区精品久久| 亚洲,欧美精品.| 成人免费观看视频高清| 久久精品影院6| 嫩草影院精品99| 亚洲黑人精品在线| 亚洲人成电影观看| 制服诱惑二区| 校园春色视频在线观看| 中文字幕av电影在线播放| 一本综合久久免费| 国产高清视频在线播放一区| 精品国产一区二区三区四区第35| 国产一区二区在线av高清观看| 欧美成人性av电影在线观看| 成人手机av| av片东京热男人的天堂| 久久午夜综合久久蜜桃| 9191精品国产免费久久| 日韩中文字幕欧美一区二区| 天天躁狠狠躁夜夜躁狠狠躁| 99在线人妻在线中文字幕| 久久久久久久精品吃奶| 日韩一卡2卡3卡4卡2021年| 天堂影院成人在线观看| 欧美日韩国产mv在线观看视频| 丰满饥渴人妻一区二区三| 国产真人三级小视频在线观看| 国产一区二区三区综合在线观看| 99国产综合亚洲精品| 18美女黄网站色大片免费观看| 久久久国产成人精品二区 | 久久精品国产亚洲av香蕉五月| 免费高清在线观看日韩| 黄片大片在线免费观看| 别揉我奶头~嗯~啊~动态视频| 正在播放国产对白刺激| 黄色丝袜av网址大全| 中文字幕高清在线视频| 777久久人妻少妇嫩草av网站| 久久欧美精品欧美久久欧美| 亚洲,欧美精品.| 亚洲av第一区精品v没综合| 久久久国产成人免费| 天堂影院成人在线观看| 午夜福利影视在线免费观看| 亚洲成人久久性| 18禁国产床啪视频网站| 欧美激情 高清一区二区三区| 中文字幕人妻丝袜一区二区| 欧美在线一区亚洲| 日本vs欧美在线观看视频| 脱女人内裤的视频| 欧美日韩精品网址| 无遮挡黄片免费观看| 久久久国产精品麻豆| 99riav亚洲国产免费| 老司机午夜福利在线观看视频| 我的亚洲天堂| 久热爱精品视频在线9| 巨乳人妻的诱惑在线观看| 91成年电影在线观看| 欧美色视频一区免费| 亚洲avbb在线观看| 亚洲一区高清亚洲精品| 国产精品国产av在线观看| 免费观看精品视频网站| 老汉色av国产亚洲站长工具| 高清av免费在线| 国产精品久久久久久人妻精品电影| 最近最新免费中文字幕在线| 极品人妻少妇av视频| 亚洲在线自拍视频| 757午夜福利合集在线观看| 日韩精品青青久久久久久| 国产精品久久久人人做人人爽| 亚洲性夜色夜夜综合| 国产欧美日韩综合在线一区二区| 国产成人啪精品午夜网站| 亚洲av片天天在线观看| 欧美亚洲日本最大视频资源| 精品久久久久久,| 国产免费现黄频在线看| 一级片免费观看大全| 99热国产这里只有精品6| 男女高潮啪啪啪动态图| 欧美性长视频在线观看| 久久久久亚洲av毛片大全| 亚洲激情在线av| 18禁裸乳无遮挡免费网站照片 | 欧美日韩国产mv在线观看视频| 亚洲成人免费电影在线观看| av在线播放免费不卡| 欧美日韩中文字幕国产精品一区二区三区 | 成人永久免费在线观看视频| 麻豆久久精品国产亚洲av | e午夜精品久久久久久久| 亚洲色图综合在线观看| 黄网站色视频无遮挡免费观看| 男女下面进入的视频免费午夜 | 久久草成人影院| 免费一级毛片在线播放高清视频 | 9热在线视频观看99| 亚洲成人精品中文字幕电影 | 亚洲五月天丁香| 欧美成人免费av一区二区三区| 亚洲欧美一区二区三区久久| 国产成人欧美| 国产精品二区激情视频| 中亚洲国语对白在线视频| av网站在线播放免费| 国产精品1区2区在线观看.| 午夜福利欧美成人| 久久中文字幕一级| 亚洲免费av在线视频| 高清欧美精品videossex| 涩涩av久久男人的天堂| 欧美激情高清一区二区三区| x7x7x7水蜜桃| 9191精品国产免费久久| 亚洲少妇的诱惑av| 成人亚洲精品一区在线观看| 日韩有码中文字幕| 怎么达到女性高潮| 一进一出抽搐gif免费好疼 | 中文字幕色久视频| 热re99久久国产66热| 18禁观看日本| 亚洲av日韩精品久久久久久密| 免费在线观看亚洲国产| 美国免费a级毛片| 国产三级在线视频| 丝袜美腿诱惑在线| 欧美黄色淫秽网站| 在线国产一区二区在线| 人人妻,人人澡人人爽秒播| 成年人免费黄色播放视频| 精品一区二区三区四区五区乱码| 脱女人内裤的视频| 亚洲成人免费电影在线观看| 国产精品香港三级国产av潘金莲| 一级,二级,三级黄色视频| 午夜久久久在线观看| 亚洲精品一卡2卡三卡4卡5卡| 国产高清激情床上av| cao死你这个sao货| 国产高清videossex| 亚洲精品中文字幕在线视频| 国产精品免费一区二区三区在线| 日日干狠狠操夜夜爽| 校园春色视频在线观看| 国产亚洲av高清不卡| 欧美黑人欧美精品刺激| 如日韩欧美国产精品一区二区三区| 亚洲精品av麻豆狂野| 精品电影一区二区在线| 午夜福利免费观看在线| 欧美黄色淫秽网站| 美女国产高潮福利片在线看| 在线观看一区二区三区| 日韩av在线大香蕉| 伦理电影免费视频| 成人18禁高潮啪啪吃奶动态图| 精品福利观看| 80岁老熟妇乱子伦牲交| 男女床上黄色一级片免费看| 色精品久久人妻99蜜桃| 日本wwww免费看| 看黄色毛片网站| 日本五十路高清| 一夜夜www| 高清在线国产一区| 妹子高潮喷水视频| 成年人免费黄色播放视频| 亚洲人成伊人成综合网2020| 亚洲精品av麻豆狂野| 日本免费一区二区三区高清不卡 | 黄片小视频在线播放| av网站免费在线观看视频| 久久伊人香网站| 成人特级黄色片久久久久久久| 国产一区二区三区综合在线观看| 无人区码免费观看不卡| 国产亚洲精品一区二区www| 两个人免费观看高清视频| 午夜免费激情av| 亚洲精品av麻豆狂野| 18禁观看日本| 日本免费a在线| 午夜久久久在线观看| 精品一区二区三区视频在线观看免费 | 久久欧美精品欧美久久欧美| 免费高清视频大片| 97超级碰碰碰精品色视频在线观看| 咕卡用的链子| 在线观看免费视频网站a站| 久久性视频一级片| 在线观看免费高清a一片| 午夜免费成人在线视频| 99精国产麻豆久久婷婷| 夜夜夜夜夜久久久久| 成人永久免费在线观看视频| 日本欧美视频一区| 夜夜爽天天搞| 高潮久久久久久久久久久不卡| 精品电影一区二区在线| 国产亚洲精品久久久久5区| 法律面前人人平等表现在哪些方面| 国产亚洲av高清不卡| 啦啦啦 在线观看视频| 别揉我奶头~嗯~啊~动态视频| 久久久久久久久中文| 亚洲欧美激情综合另类| 婷婷丁香在线五月| 一级黄色大片毛片| 一二三四社区在线视频社区8| 精品国产一区二区久久| 又黄又粗又硬又大视频| 国产蜜桃级精品一区二区三区| 久久香蕉激情| 欧美乱色亚洲激情| 国产高清激情床上av| 国产熟女午夜一区二区三区| 午夜福利影视在线免费观看| 久久亚洲精品不卡| 国产熟女午夜一区二区三区| 国产精品乱码一区二三区的特点 | 日韩欧美三级三区| 免费在线观看黄色视频的| 色婷婷久久久亚洲欧美| 日本精品一区二区三区蜜桃| 亚洲成国产人片在线观看| 亚洲三区欧美一区| 成人亚洲精品一区在线观看| 久久久国产一区二区| 12—13女人毛片做爰片一| 露出奶头的视频| www.精华液| 老司机靠b影院| 精品免费久久久久久久清纯| 黄片播放在线免费| 自线自在国产av| 久久亚洲真实| 亚洲欧美一区二区三区久久| 另类亚洲欧美激情| 日本撒尿小便嘘嘘汇集6| 亚洲专区国产一区二区| 国产一区二区激情短视频| 色综合欧美亚洲国产小说| 欧美日韩黄片免| а√天堂www在线а√下载| 一级毛片女人18水好多| 波多野结衣av一区二区av| 91国产中文字幕| 国产精品久久久久成人av| 宅男免费午夜| aaaaa片日本免费| 在线观看免费视频日本深夜| av在线天堂中文字幕 | 亚洲精品成人av观看孕妇| 欧美激情极品国产一区二区三区| 久久精品国产99精品国产亚洲性色 | 岛国视频午夜一区免费看| 麻豆国产av国片精品| 色老头精品视频在线观看| 少妇被粗大的猛进出69影院| 久9热在线精品视频| 在线十欧美十亚洲十日本专区| 男女做爰动态图高潮gif福利片 | 国产野战对白在线观看| 大型av网站在线播放| 国产高清国产精品国产三级| 免费在线观看影片大全网站| 成人亚洲精品一区在线观看| 高清av免费在线| ponron亚洲| 久久久精品欧美日韩精品| 亚洲avbb在线观看| 91字幕亚洲| 交换朋友夫妻互换小说| 丰满人妻熟妇乱又伦精品不卡| 91国产中文字幕| 久久久久久久久免费视频了| 日本五十路高清| 免费看十八禁软件| 亚洲色图综合在线观看| 国产高清激情床上av| 国产成人影院久久av| 成人精品一区二区免费| 日本 av在线| 日本撒尿小便嘘嘘汇集6| 亚洲成人免费电影在线观看| 欧美日韩乱码在线| xxxhd国产人妻xxx| 久久精品aⅴ一区二区三区四区| 18禁裸乳无遮挡免费网站照片 | 国产精品亚洲一级av第二区| 国产一区二区在线av高清观看| 欧美成人免费av一区二区三区| 午夜视频精品福利| 老鸭窝网址在线观看| 国产亚洲精品综合一区在线观看 | 国产精品国产av在线观看| 黄色片一级片一级黄色片| 精品福利观看| 亚洲人成77777在线视频| 欧美大码av| 日韩成人在线观看一区二区三区| 大香蕉久久成人网| 热99国产精品久久久久久7| 免费高清视频大片| 成人三级做爰电影| 亚洲少妇的诱惑av| 成人黄色视频免费在线看| 成年版毛片免费区| 视频区欧美日本亚洲| 久久伊人香网站| 亚洲伊人色综图| 日韩有码中文字幕| 国产99白浆流出| 色精品久久人妻99蜜桃| 又黄又粗又硬又大视频| 一二三四社区在线视频社区8| 中出人妻视频一区二区| 嫩草影视91久久| 欧美成狂野欧美在线观看| 水蜜桃什么品种好| 国产av精品麻豆| 亚洲欧美日韩高清在线视频| 欧美在线黄色| 很黄的视频免费| 老熟妇仑乱视频hdxx| 久久久久国内视频| 日韩国内少妇激情av| 免费高清在线观看日韩| 人人澡人人妻人| 日韩欧美一区二区三区在线观看| 国产成人欧美在线观看| 12—13女人毛片做爰片一| 国产精华一区二区三区| 九色亚洲精品在线播放| 亚洲欧美一区二区三区黑人| 久久国产亚洲av麻豆专区| 天堂动漫精品| 制服人妻中文乱码| 一a级毛片在线观看| 精品午夜福利视频在线观看一区| 亚洲精品一区av在线观看| 香蕉国产在线看| 欧美日韩av久久| 男女下面插进去视频免费观看| 中文字幕高清在线视频| 亚洲第一青青草原| 成人亚洲精品av一区二区 | 如日韩欧美国产精品一区二区三区| 一级a爱视频在线免费观看| 欧美日韩乱码在线| 好看av亚洲va欧美ⅴa在| 亚洲熟妇熟女久久| 国产高清国产精品国产三级| 亚洲精品一区av在线观看| 极品人妻少妇av视频| 欧美+亚洲+日韩+国产| 一级作爱视频免费观看| 黄色 视频免费看| 18美女黄网站色大片免费观看| 欧美激情久久久久久爽电影 | 99国产综合亚洲精品| 亚洲 欧美一区二区三区| 亚洲成av片中文字幕在线观看| www.精华液| 午夜福利欧美成人| 免费在线观看亚洲国产| 日韩精品青青久久久久久| 欧美成狂野欧美在线观看| 激情视频va一区二区三区| 高清毛片免费观看视频网站 | av欧美777| 精品久久蜜臀av无| 丝袜在线中文字幕| 亚洲一卡2卡3卡4卡5卡精品中文| 国产99白浆流出| 久久久久九九精品影院| 九色亚洲精品在线播放| cao死你这个sao货| 手机成人av网站| 男女下面插进去视频免费观看| 久久久久国产精品人妻aⅴ院| 欧美日韩乱码在线| 亚洲自偷自拍图片 自拍| 中文字幕人妻丝袜制服| 成人永久免费在线观看视频| 久久中文字幕人妻熟女| av电影中文网址| 少妇裸体淫交视频免费看高清 |