• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能產(chǎn)品缺陷司法認定標準之研究

    2022-11-23 13:02許中緣范沁寧
    關(guān)鍵詞:責任標準人工智能

    許中緣,范沁寧

    (中南大學(xué) 法學(xué)院,湖南 長沙 410012)

    2015年2月,英國首例機器人“達芬奇”心瓣修復(fù)手術(shù)進行中,不僅把病人的心臟“放錯位置”,還戳穿大動脈血濺攝像頭,致使該患者在術(shù)后一周去世。美國2000年至2013年間,在“達芬奇”機器人手術(shù)中致死的患者已達144人,其中不乏“機器人短路走火”“零件掉入體內(nèi)”等原因[1]。國內(nèi)近年來也多次出現(xiàn)“達芬奇”手術(shù)機器人相關(guān)醫(yī)療事故(1)筆者在北大法寶查詢到12份因“達芬奇”手術(shù)機器人致?lián)p的醫(yī)療侵權(quán)相關(guān)判決書,北大法寶網(wǎng),http://www.pkulaw.cn/Case/,2020年6月7日訪問。。2016年1月20日,河北邯鄲發(fā)生了一起裝有自動駕駛設(shè)備的特斯拉汽車未能有效識別突然進入車道的白色車輛,而致駕駛員死亡的交通事故[2]。該案也是全球第一例因自動駕駛汽車致人死亡而導(dǎo)致的產(chǎn)品責任訴訟案件[3]。而后,美國加利福尼亞州、亞利桑那州、賓夕法尼亞州,以及中國北京[4]陸續(xù)出現(xiàn)了不同損害程度的交通事故。以醫(yī)療機器人、自動駕駛汽車為代表的人工智能產(chǎn)品責任問題至今沒有“標準答案”[5-6]。產(chǎn)品缺陷的司法認定是人工智能相應(yīng)主體責任承擔的基礎(chǔ),也是規(guī)制人工智能發(fā)展以及維護社會和諧運作的關(guān)鍵一環(huán),具有決定性意義[7]。但由于人工智能產(chǎn)品的自主性,使其在司法環(huán)節(jié)認定缺陷時比普通產(chǎn)品更為復(fù)雜,也即,“舊的認定規(guī)則與表達方式不能夠適應(yīng)新問題的出現(xiàn)”。但我們依然可以試圖從產(chǎn)品責任框架內(nèi)去尋求解釋的空間,在原有的基礎(chǔ)上更新表達方式,清晰界定人工智能產(chǎn)品缺陷的司法認定標準。這對于人工智能產(chǎn)品責任制度的完善具有重要意義。

    一、現(xiàn)有規(guī)則表達在人工智能產(chǎn)品缺陷的司法認定上存在困境

    (一)人工智能產(chǎn)品與普通產(chǎn)品的區(qū)別

    人工智能是指能夠感知其所處環(huán)境,從環(huán)境中獲取數(shù)據(jù),并對這些數(shù)據(jù)推理從而進行自主決策和動作的程序或者設(shè)備系統(tǒng)[8],并具有以下特征:(1)通過搜索數(shù)據(jù)解決問題,人工智能在遇到問題時,通常是根據(jù)設(shè)計研發(fā)者事先向其輸入的數(shù)據(jù)進行分析和判斷來確定解決方案;(2)能夠獨立從數(shù)據(jù)中學(xué)習(xí)新的規(guī)則與知識,并將學(xué)習(xí)的內(nèi)容轉(zhuǎn)化為下一步行動的規(guī)則;(3)能夠理解自然語言,通過對人類語言的理解和學(xué)習(xí)進行人機交互,完成人工智能與人類的實時對話;(4)可以根據(jù)外界環(huán)境、信息的變化而作出相應(yīng)的反應(yīng),不需要人類對每一個判斷和每一個行為下達指令[9]。采用了人工智能技術(shù)為主要性能支持的產(chǎn)品即為人工智能產(chǎn)品。人工智能產(chǎn)品與普通產(chǎn)品的最大區(qū)別在于其自主性,具體體現(xiàn)在以下幾個方面。

    1.人工智能產(chǎn)品的運作方式更具復(fù)雜性

    基于連接主義的人工智能通過復(fù)雜的模型構(gòu)建,關(guān)注于擬合已有數(shù)據(jù)輸入與輸出的統(tǒng)計意義上的相關(guān)性,而對輸入和輸出的因果性缺乏理解與分析,故而其運行過程是一個“黑箱”操作。質(zhì)言之,人工智能產(chǎn)品具有一定的自主性,能夠自適應(yīng)學(xué)習(xí),其作出決策和行為的思維路徑很難為人類所探究,它們通過自我學(xué)習(xí)和判斷并根據(jù)環(huán)境變化調(diào)整行為,處于“感知—分析—行動”模式,因此,不能簡單地將它們看作是人類使用的工具。人類對人工智能行為的預(yù)判是有限的。例如英格蘭麥格納科學(xué)中心設(shè)計研發(fā)的機器人,其功能設(shè)定為“捕食”,但卻在無人看管的情況下,偷偷逃離研究所并去到高速公路上[10]。即使當初設(shè)計研發(fā)者并沒有給其設(shè)計這一技能,它也能通過自主學(xué)習(xí)獲得。在用戶使用人工智能的過程中,人工智能能夠自主地進行學(xué)習(xí)和思考,隨著其數(shù)據(jù)的累積,人工智能的行為會越來越難以判斷。在2016年3月,微軟設(shè)計的聊天機器人Tay與不同的人聊天并保存聊天數(shù)據(jù),不到24小時就被“教壞”并開始散布各種不良言論[11]; 2016年6月,視頻游戲“Elite Dangerous”配備了人工智能系統(tǒng),該系統(tǒng)居然創(chuàng)造出了游戲設(shè)定之外的超級武器,破壞了游戲的平衡與規(guī)則[9]。雖然人類設(shè)計、制造并部署了人工智能[12],但它們的行為卻不受人類的直接指令約束,而是基于其所獲取的信息作出的分析和判斷,也即“算法與行為的分離”[13]。故而,設(shè)計研發(fā)者在開發(fā)人工智能產(chǎn)品的過程中可能并不能準確預(yù)知某一產(chǎn)品可能存在的風險(2)參見《人工智能標準化白皮書(2018版)》3.3.1人工智能的安全問題。,他們只能保證產(chǎn)品的首次運算規(guī)則按照他們的設(shè)定進行,同時在之后的過程中不斷進行監(jiān)控和調(diào)試,以降低人工智能產(chǎn)品“出軌”的可能性。而普通產(chǎn)品相對來說較為簡單,從被設(shè)計出來至使用期內(nèi),除了正常損耗降低性能及不正常操作等人為因素外,理論上不會出現(xiàn)與其設(shè)計偏離的情況,也不需要對其進行跟蹤觀察。從這一角度看,人工智能產(chǎn)品的運作方式相較于普通產(chǎn)品更具復(fù)雜性。

    2.人工智能產(chǎn)品的致害主體更具多元性

    人工智能產(chǎn)品致害涉及的主體包括設(shè)計研發(fā)者、生產(chǎn)者、銷售者,甚至人工智能產(chǎn)品本身。這就突破了普通產(chǎn)品僅包括生產(chǎn)者和銷售者的責任維度。全球上千臺“達芬奇”手術(shù)系統(tǒng)投入使用,而其存在明顯缺陷——該手術(shù)機器人沒有“觸覺反饋”,使醫(yī)生無法感知[14]。2016年5月,美國一輛自動駕駛汽車在公路上行駛時發(fā)生車禍,車主當場死亡。從調(diào)查中可知,事故是由于該車的自動駕駛系統(tǒng)Autopilot對相近顏色的分辨能力低下。這對于駕駛避障系統(tǒng)來說是一個巨大的缺陷,設(shè)計研發(fā)者卻沒有對此進行改進再投入市場,甚至沒有做出警示,間接導(dǎo)致了悲劇的發(fā)生。設(shè)計研發(fā)環(huán)節(jié)是人工智能產(chǎn)品產(chǎn)生的首要環(huán)節(jié),產(chǎn)品安全的第一道保障即來源于設(shè)計研發(fā)者,若設(shè)計研發(fā)環(huán)節(jié)出現(xiàn)問題,則后面的各個環(huán)節(jié)也將偏離正確軌道。

    對于人工智能產(chǎn)品本身,學(xué)術(shù)界關(guān)于其是否具有法律主體地位的探討如火如荼。筆者認為,不論其是否應(yīng)當具有法律主體地位,基于其自主性特質(zhì)[15],往往會出現(xiàn)無法辨認產(chǎn)品缺陷的成因或產(chǎn)品不存在缺陷但產(chǎn)生了損害結(jié)果的情況,若僅按照當前法律規(guī)定追究生產(chǎn)者及銷售者責任有失公允,會出現(xiàn)“行為—評價”不一致的情況,也將大大阻礙人工智能產(chǎn)業(yè)的發(fā)展。對于普通產(chǎn)品來說,產(chǎn)品從設(shè)計到制造再到檢驗始終掌握在生產(chǎn)者手里[16],產(chǎn)品本身不會對產(chǎn)品是否致害有任何影響,理論上普通產(chǎn)品將按照設(shè)計路徑進行運作。因此,在產(chǎn)品本身是否有可能成為致害主體的問題上,二者也有很大的不同。從致害主體角度看,人工智能產(chǎn)品相較于普通產(chǎn)品的生產(chǎn)者與銷售者來說,更突出了設(shè)計研發(fā)者與產(chǎn)品本身對產(chǎn)品致害的影響。

    (二)人工智能產(chǎn)品缺陷司法認定的困境

    1.現(xiàn)有判斷標準在人工智能產(chǎn)品視域下缺乏適應(yīng)性

    其一,“不合理危險”具有抽象性、復(fù)雜性,“標準”具有應(yīng)急性、不確定性,使得對人工智能產(chǎn)品缺陷的司法認定陷入困境。

    司法實踐中,往往以《產(chǎn)品質(zhì)量法》第46條的“不合理危險”與國家標準及行業(yè)標準相結(jié)合的方式來判斷普通產(chǎn)品是否存在缺陷[17],即“不合理標準”與“技術(shù)標準”相結(jié)合。但我國現(xiàn)有法律對“不合理危險”沒有制定統(tǒng)一的認定標準,在普通產(chǎn)品缺陷認定時,主要依據(jù)大眾對產(chǎn)品的基本認知和了解來進行分析判斷,如產(chǎn)品的性能、使用方式、使用領(lǐng)域、使用年限事故發(fā)生的可能性(3)參見臨海市美尼特電動車輛制造有限公司與盧全奇產(chǎn)品責任糾紛上訴案,浙江省寧波市中級人民法院(2013)浙甬民一終字第628號。。人工智能的出現(xiàn)是一種嘗試和突破,是人類向另一個新時代邁進的探索,大眾對人工智能產(chǎn)品的理解和認知都極其有限,更遑論判斷其危險是否合理。事實上,對人工智能產(chǎn)品存在的“危險是否合理”的思考涉及計算機學(xué)、腦科學(xué)、仿生學(xué)、控制學(xué)、數(shù)學(xué)、哲學(xué),相關(guān)領(lǐng)域的專家都很難對此作出相對完善的結(jié)論。該標準在司法實踐中的難度可想而知。

    對于普通產(chǎn)品缺陷判斷具有重要作用的“技術(shù)標準”,在人工智能產(chǎn)品領(lǐng)域存在應(yīng)急性與不確定性。技術(shù)標準是一種必須遵循的技術(shù)依據(jù),包括基礎(chǔ)技術(shù)標準、安全標準、環(huán)保標準、工藝標準、檢測標準等,需要經(jīng)過各級政府部門的層層審批,耗時較長。而人工智能產(chǎn)品的發(fā)展與更新速度遠超于普通產(chǎn)品,傳統(tǒng)技術(shù)標準的制定方式顯然不合適,《人工智能標準化白皮書(2018版)》(以下簡稱“白皮書”)應(yīng)運而生。根據(jù)《白皮書》規(guī)定,圍繞人工智能標準化需求,按照“急用先行、成熟先上”的原則,展開重點急需標準的研制。這一規(guī)定能夠解決傳統(tǒng)技術(shù)標準的短板,但也增加了新標準的“不確定性”與“應(yīng)急性”?!栋灼分袛?shù)據(jù)表明,已發(fā)布的標準不足一半(4)根據(jù)《人工智能標準化白皮書(2018版)》,目前共有200項國家/行業(yè)標準計劃號,包括已發(fā)布、在研及擬研制三種狀態(tài)。其中,已發(fā)布82項,擬研制31項,在研87項。,其中有不少標準是遵循“急用先行”的原則而發(fā)布,應(yīng)急性特征明顯,這些標準的成熟度和完善度有待考證。而剩下過半的標準還未發(fā)布,這對于人工智能產(chǎn)品缺陷的司法認定又是一大掣肘。在遇到未制定標準的情況時,只能依據(jù)沒有統(tǒng)一標準且抽象復(fù)雜的“不合理危險”來進行判斷,無疑會使人工智能產(chǎn)品缺陷的司法認定陷入困境。

    其二,除標準自身存在的不足外,將兩個標準相結(jié)合的判斷方式在邏輯上存在矛盾。按照《產(chǎn)品質(zhì)量法》第46條規(guī)定,當產(chǎn)品不符合國家或行業(yè)標準時,即可認為該產(chǎn)品存在缺陷。反之,若該產(chǎn)品符合國家或行業(yè)標準時,是否說明該產(chǎn)品不存在缺陷?若產(chǎn)品符合國家或行業(yè)標準但存在不合理危險時,應(yīng)當如何認定?事實上,在司法實踐中,由于這兩個標準同時存在并適用,使得不同的法官對類似案件作出不同判決(5)參見馬水法訴陜西重型汽車有限公司等因產(chǎn)品缺陷致人身損害賠償糾紛案,江蘇省南京市中級人民法院(2014)寧民終字第613號;靳蕾訴北京德奧達汽車進出口有限公司等公司產(chǎn)品責任糾紛案,北京大興區(qū)人民法院(2017)京0115民初12674號。,致使法律的嚴肅性與規(guī)范性受到質(zhì)疑,不利于保護消費者權(quán)益,也不利于人工智能產(chǎn)業(yè)的良性發(fā)展。在人工智能產(chǎn)品中,由于標準的應(yīng)急性與技術(shù)認識的邊界性,更有可能出現(xiàn)符合國家、行業(yè)標準但依然會危及人身、他人財產(chǎn)安全的產(chǎn)品,此時是否應(yīng)當認定為缺陷產(chǎn)品?從以上分析可得出,現(xiàn)有的判斷標準無法解決人工智能產(chǎn)品缺陷的司法認定問題。

    2.未將缺陷類型化是我國人工智能產(chǎn)品缺陷認定困境的根源

    現(xiàn)有產(chǎn)品缺陷認定模式之所以難以適用于人工智能產(chǎn)品,根源在于我國《侵權(quán)責任法》和《產(chǎn)品質(zhì)量法》并未直接對產(chǎn)品缺陷進行分類,而是采用籠統(tǒng)的標準來判斷產(chǎn)品缺陷。在復(fù)雜的人工智能產(chǎn)品視域下,未將缺陷類型化的判斷模式顯然無法解決人工智能產(chǎn)品缺陷的認定問題。盡管侵權(quán)法理論通常將產(chǎn)品缺陷分為設(shè)計缺陷、制造缺陷及警示缺陷[18],有關(guān)產(chǎn)品缺陷的部分規(guī)章也提及了缺陷的類型化(6)如2007年《兒童玩具召回管理規(guī)定》第3條第2款規(guī)定、2012年《缺陷汽車產(chǎn)品召回管理條例》第2條第1款規(guī)定。,但在法律層面仍未對產(chǎn)品缺陷類型作出明確規(guī)定,主要原因是部分學(xué)者認為對某些概念作過細、過于具體的規(guī)定,有可能會限制產(chǎn)品的更新與發(fā)展[19]。但筆者認為,若不將產(chǎn)品缺陷進行類型化分析,則在人工智能產(chǎn)品缺陷認定問題上會陷入桎梏,導(dǎo)致產(chǎn)品侵權(quán)制度不完善,也無法發(fā)展。

    鑒于人工智能的復(fù)雜性與特異性,設(shè)計研發(fā)者在產(chǎn)品質(zhì)量中具有舉足輕重的作用,其不同于傳統(tǒng)產(chǎn)品,設(shè)計研發(fā)者與生產(chǎn)者的責任不可混為一談。在人工智能產(chǎn)品視域下,生產(chǎn)者僅是既有設(shè)計的執(zhí)行者,其難以理解或辨認設(shè)計的正確與否,對產(chǎn)品設(shè)計上的缺陷也不具有控制力。若按照我國目前法律規(guī)定,生產(chǎn)者則需要承擔產(chǎn)品設(shè)計環(huán)節(jié)產(chǎn)生的缺陷所帶來的產(chǎn)品責任,但“對自己無法控制的事情需要承擔責任”是否缺少法理基礎(chǔ)?事實上,除了設(shè)計研發(fā)者,生產(chǎn)者與銷售者等責任主體對于產(chǎn)品缺陷的控制力也是不同的,不同環(huán)節(jié)所造成的缺陷從歸責原則、判斷方法乃至認定標準都應(yīng)有不同。若不區(qū)分缺陷類型,單以某一缺陷為標準進行規(guī)制都顯得捉襟見肘,在責任承擔時也有失公允。因此,結(jié)合人工智能產(chǎn)品的特性,對人工智能產(chǎn)品缺陷進行類型化分析實為必要。

    二、人工智能產(chǎn)品缺陷類型及相關(guān)主體義務(wù)分析

    (一)人工智能產(chǎn)品缺陷類型的劃分

    產(chǎn)品缺陷的分類始于美國,《侵權(quán)法重述之產(chǎn)品責任(第三版)》明確將產(chǎn)品缺陷分為設(shè)計缺陷、制造缺陷和警示缺陷三種,德國在此基礎(chǔ)上增加了一種新的缺陷類型,即“觀察缺陷”。雖然我國沒有對產(chǎn)品缺陷進行明確的劃分,但從《產(chǎn)品質(zhì)量法》和司法實踐上看,我國傾向于德國的缺陷類型。對于我國是否應(yīng)當明確摒棄“不合理危險”與“技術(shù)標準”相結(jié)合的二元缺陷判斷模式有諸多爭議,但如何借鑒缺陷類型化判斷模式還需要在特定的語境中進行考量,人工智能產(chǎn)品的發(fā)展和應(yīng)用為這個問題提供了一個絕佳的思考視角和嘗試契機[3]。筆者認為可參照當前司法實踐對缺陷類型的劃分,在現(xiàn)有規(guī)則框架中結(jié)合人工智能產(chǎn)品的特性,在人工智能產(chǎn)品缺陷領(lǐng)域形成設(shè)計缺陷、制造缺陷、警示缺陷和跟蹤觀察缺陷四種缺陷類型。該分類與產(chǎn)品從設(shè)計至使用的主要環(huán)節(jié)相對應(yīng),也與各個主體的義務(wù)相關(guān)。通過對各個環(huán)節(jié)主體義務(wù)的分析,界定出相對合理且可操作的判斷標準,以期采用“切割分解”的方式降低人工智能產(chǎn)品缺陷司法認定的復(fù)雜性,提高人工智能產(chǎn)品責任認定的可能性與合理性。

    其一,該分類有利于人工智能產(chǎn)品歸責原則的重構(gòu)。從對法條和實踐經(jīng)驗的理解來看,我國產(chǎn)品責任采用嚴格責任的歸責原則(7)《產(chǎn)品質(zhì)量法》第41條規(guī)定:因產(chǎn)品存在缺陷造成人身、缺陷產(chǎn)品以外的其他財產(chǎn)損害的,生產(chǎn)者應(yīng)當承擔賠償責任。。但我國并沒有對產(chǎn)品缺陷類型進行分類,也即,無論什么缺陷導(dǎo)致的產(chǎn)品責任,都采用嚴格責任的歸責原則。制造缺陷里適用嚴格責任并無不妥,但在設(shè)計缺陷或警示缺陷的情況下,一味追究嚴格責任缺乏正當性[20],事實上,嚴格責任的衰弱與過錯責任的回歸,已經(jīng)是公開的秘密[21]。我國統(tǒng)一適用嚴格責任的歸責原則主要是將設(shè)計研發(fā)者與生產(chǎn)者混同,并以保護消費者權(quán)益為出發(fā)點而制定的,但忽略了導(dǎo)致產(chǎn)品存在缺陷的多個環(huán)節(jié),也忽略了人工智能產(chǎn)品生產(chǎn)者對于非制造缺陷的不可控力。首先,在人工智能語境下,生產(chǎn)者能力有限,但卻面臨過于苛刻的嚴格責任,是否會使權(quán)利的天秤過于傾斜導(dǎo)致不公?若按照我國僅把生產(chǎn)者與銷售者納入產(chǎn)品責任主體的法律現(xiàn)狀來假設(shè),人工智能產(chǎn)品的設(shè)計研發(fā)環(huán)節(jié)出現(xiàn)問題,生產(chǎn)者需要承擔嚴格責任,豈不荒謬[22]?再者,對于警示環(huán)節(jié)出現(xiàn)問題而導(dǎo)致的產(chǎn)品缺陷也承擔嚴格責任未免有適用標準錯位的嫌疑。警示行為主要關(guān)注的是生產(chǎn)者、銷售者警告的內(nèi)容是否充分合理,實際上是針對人的行為,不是針對產(chǎn)品本身,而嚴格責任作為一種剛性的產(chǎn)品責任,關(guān)注的是產(chǎn)品本身存在的缺陷,按此邏輯,采用嚴格責任也實為不妥。最后,統(tǒng)一適用嚴格責任原則容易導(dǎo)致消費者道德偏差。在嚴格責任的保護下,消費者的舉證負擔大大減輕,這很可能導(dǎo)致消費者在使用產(chǎn)品時存在僥幸或放任的心理,在未盡注意義務(wù)受到損害時依然可以獲得賠償,這一原則會間接促使更多消費者肆意對產(chǎn)品進行不合理的使用,這樣打擊了生產(chǎn)者的生產(chǎn)積極性,最終將不利于人工智能產(chǎn)業(yè)的發(fā)展。綜上,對人工智能產(chǎn)品責任的歸責原則進行重構(gòu)以適應(yīng)其特異性勢在必行。

    按照設(shè)計缺陷、制造缺陷、警示缺陷和跟蹤觀察缺陷這幾種缺陷類型來劃分,與產(chǎn)品從設(shè)計至使用的幾個主要環(huán)節(jié)相對應(yīng),不同環(huán)節(jié)對產(chǎn)品質(zhì)量的影響與控制力不同。如設(shè)計研發(fā)環(huán)節(jié)是決定人工智能產(chǎn)品質(zhì)量的關(guān)鍵與基礎(chǔ),對產(chǎn)品的安全與性能有著根源性的影響,但基于人工智能產(chǎn)品的特異性,設(shè)計環(huán)節(jié)對產(chǎn)品依然沒有完全的控制能力;制造環(huán)節(jié)是設(shè)計環(huán)節(jié)的執(zhí)行步驟,與普通產(chǎn)品無異,不存在過多困難[23];警示缺陷與跟蹤觀察缺陷主要是在產(chǎn)品生產(chǎn)完成后,對人的行為進行評價,而不過多關(guān)注產(chǎn)品本身的質(zhì)量問題。不同缺陷類型所對應(yīng)的各個環(huán)節(jié)對產(chǎn)品的控制力不同,根據(jù)控制能力與責任相匹配的基本原理,此時按照不同的缺陷類型采取不同的歸責原則更為恰當。

    其二,該分類使責任認定要素相互對應(yīng)形成邏輯閉環(huán),有利于人工智能產(chǎn)品責任的認定。在認定產(chǎn)品侵權(quán)時,除了產(chǎn)品缺陷,還需要著重關(guān)注歸責原則與責任主體。該缺陷分類不僅利于歸責原則的重構(gòu)以適應(yīng)人工智能產(chǎn)品特性,還與責任主體相對應(yīng),形成“產(chǎn)品缺陷—歸責原則—致害主體”產(chǎn)品責任的認定邏輯(8)因“損害結(jié)果”與“因果關(guān)系”在人工智能產(chǎn)品與普通產(chǎn)品中無太大區(qū)別,文章不作過多探討,故而在此閉環(huán)中也未體現(xiàn)。。每個環(huán)節(jié)與產(chǎn)品缺陷、歸責原則、致害主體相對應(yīng),環(huán)環(huán)相扣,即,以上文提及的“分解切割”方式來增強產(chǎn)品責任認定的可操作性與合理性。在實際操作中可以按照如下步驟進行切分:首先,利用設(shè)計方案、制造技術(shù)、工藝報告、各項數(shù)據(jù)監(jiān)控,以及流轉(zhuǎn)憑證等信息判斷產(chǎn)品在什么環(huán)節(jié)出現(xiàn)問題,若是設(shè)計環(huán)節(jié)則考慮是否存在設(shè)計缺陷,制造環(huán)節(jié)則考慮是否存在制造缺陷,以此類推;其次,在鎖定某一可能缺陷類型的情況下,根據(jù)該缺陷類型的認定標準判斷是否存在產(chǎn)品缺陷;再次,確定存在產(chǎn)品缺陷后對不同缺陷類型采用不同的歸責原則,如設(shè)計缺陷采用過錯責任原則,制造缺陷采用嚴格責任原則進行責任的確定(9)該原則為根據(jù)不同缺陷下主體對產(chǎn)品質(zhì)量的可控制力為基礎(chǔ)大致擬定,主要作用為舉例說明,不作為筆者的探討結(jié)論。;最后,結(jié)合各個缺陷類型下對應(yīng)的歸責原則和致害主體,如“設(shè)計缺陷—過錯責任—設(shè)計研發(fā)者”,以明確承擔人工智能產(chǎn)品責任的主體(10)由于文章主題與篇幅的限制,在此沒有考慮免責事由以及其他承擔責任的方式和機制。。在此種分類下,人工智能產(chǎn)品責任的判斷邏輯清晰、有據(jù)可循,而不是按照現(xiàn)有法律規(guī)定的“不合理危險”與嚴格責任這樣籠統(tǒng)劃一的方式來進行產(chǎn)品責任認定,這樣的判定路徑將復(fù)雜的人工智能產(chǎn)品責任進行拆分,提高了產(chǎn)品缺陷司法認定的可操作性與合理性,也是我國《產(chǎn)品質(zhì)量法》相關(guān)規(guī)則修改的一種更現(xiàn)實可行的路徑。

    (二)缺陷類型化下有關(guān)主體的義務(wù)分析

    在對人工智能產(chǎn)品缺陷類型進行分類后,為了更好地判斷產(chǎn)品缺陷,應(yīng)當分析各個缺陷類型對應(yīng)主體的義務(wù),以作為產(chǎn)品缺陷認定的參考因素。

    1.設(shè)計缺陷:設(shè)計研發(fā)者

    在產(chǎn)品責任法上,設(shè)計缺陷是指在設(shè)計環(huán)節(jié)出現(xiàn)問題,使得產(chǎn)品具有給使用者造成不合理危險的內(nèi)在缺陷[24]。設(shè)計缺陷的責任主體是設(shè)計研發(fā)者,其應(yīng)當履行如下義務(wù):(1)安全保障[25]。程序及算法應(yīng)當遵循歐盟“可信賴人工智能倫理準則”(Ethics Guidelines For Trustworthy AI)的設(shè)定規(guī)制,在產(chǎn)品正常使用情況下不會對使用者或者他人的生命健康權(quán)、財產(chǎn)權(quán)造成損害。在存有已知風險情況下,應(yīng)當對該產(chǎn)品設(shè)計保護、防范措施,使風險發(fā)生概率降到最低。(2)性能平衡。人工智能產(chǎn)品的安全性、穩(wěn)定性與智能性、功能性是相互牽制的。設(shè)計研發(fā)者在進行系統(tǒng)和程序設(shè)計時,應(yīng)當注重上述特性的平衡[26],在保障相對安全穩(wěn)定的基礎(chǔ)上再追求功能性,這也是侵權(quán)責任體系公平有效的客觀要求。(3)全面測試。人工智能應(yīng)用程序具有不確定性和概率性、對大數(shù)據(jù)的依賴性,以及難以預(yù)測所有應(yīng)用場景及需要從過去的行為不斷進行學(xué)習(xí)等特性。因此,在產(chǎn)品設(shè)計研發(fā)過程直至進入市場前,應(yīng)當多次進行算法、程序和產(chǎn)品的測試。通過對數(shù)據(jù)的采集、加工、處理、分析和挖掘,形成符合設(shè)計要求的信息流和認識模型(11)參見《人工智能標準化白皮書(2018)》2.2 人工智能的特征。。同樣,對于產(chǎn)品入市前也應(yīng)當進行全面的功能性測試。

    2.制造缺陷:制造者

    在人工智能產(chǎn)品視角下,制造缺陷理應(yīng)排除設(shè)計環(huán)節(jié)。生產(chǎn)者的主要義務(wù)是將設(shè)計研發(fā)者的構(gòu)思、程序、方案、圖樣等設(shè)計變成產(chǎn)品。(1)配合設(shè)計預(yù)期效果進行制造。如保障人工智能產(chǎn)品能夠提供清楚易懂的語言,在遇到自動系統(tǒng)難以應(yīng)對的情況時能清晰地提示使用者,以采取相應(yīng)手動控制措施;保證簡易按鈕的靈敏性與抗干擾性,在復(fù)雜環(huán)境下,能夠瞬間停止“自動化模式”而恢復(fù)人類對產(chǎn)品的控制權(quán)[27]。(2)嚴格按照設(shè)計方案進行制造。制造需達到設(shè)計對原材料、零部件加工,裝配和工藝的精密要求。例如,對于特種極限機器人,無人機、無人潛水艇等人工智能產(chǎn)品,主要在極端氣候或高空、深海等環(huán)境下工作,其制作原材料、零部件和制造工藝都是產(chǎn)品安全和性能的重要保障之一。若不按照原設(shè)計的材料及工藝進行制造,必然導(dǎo)致產(chǎn)品安全和性能的減損。

    3.警示缺陷:制造者、銷售者

    我國《產(chǎn)品質(zhì)量法》雖然涉及警示缺陷的內(nèi)容,但僅對產(chǎn)品標識和外包裝進行規(guī)定[28]。針對我國司法實踐中出現(xiàn)的警示缺陷糾紛,有學(xué)者將產(chǎn)品警示缺陷定義為:由于未對產(chǎn)品的正確使用方式和使用危險進行適當?shù)木婧驼f明造成的不合理危險[29]。結(jié)合現(xiàn)有法律規(guī)定、司法實踐情況及人工智能產(chǎn)品特性,筆者認為人工智能產(chǎn)品警示義務(wù)應(yīng)當包含以下幾個要素:(1)警示內(nèi)容的充分性。其一,警示應(yīng)當對合理可預(yù)見的危險進行說明,“威脅和危險均指造成這種現(xiàn)實損害的可能性,它必須是即將來臨的或真實的,而不是臆想的,也不是沒有任何實際根據(jù)的猜測和擔憂”[30];其二,警示應(yīng)當著重于對其決策的原理、路徑和安全使用方式,如前文的“河北邯鄲案”發(fā)生后,特斯拉車載系統(tǒng)將“Autopilot”的中文翻譯從“自動駕駛”改為“自動輔助駕駛”,并要求銷售人員嚴格將這一系統(tǒng)表述為駕駛輔助系統(tǒng),從而對該系統(tǒng)的功能與使用方式進行重新定位說明。(2)警示時間的更迭性。人工智能產(chǎn)品的更新迭代飛速,故而需標明警示時間。這樣不僅可以令使用者有計劃地自查產(chǎn)品的最新狀況,也可以在出現(xiàn)產(chǎn)品侵權(quán)糾紛時作為有效證據(jù),有助于裁判者定紛止爭。若因科技發(fā)展可預(yù)見新的風險,則生產(chǎn)者、銷售者需及時通知消費者并更新警示說明書等附隨產(chǎn)品。(3)警示語言的簡明醒目性。警示語言必須簡潔明了、通俗易懂,要使普通人能夠理解該產(chǎn)品的使用方式和風險。警示圖示和字體應(yīng)當采用鮮明的設(shè)計,使用戶在第一時間注意到警示所要傳達的信息。

    4.跟蹤觀察缺陷:設(shè)計研發(fā)者、制造者、銷售者

    產(chǎn)品跟蹤觀察缺陷是指在產(chǎn)品投入流通以后,生產(chǎn)者、銷售者沒有對產(chǎn)品進行持續(xù)性觀察并了解是否存在未知的危險,或已知存在危險未采取警示、召回等措施。在人工智能視域下的產(chǎn)品跟蹤觀察義務(wù)應(yīng)當在原有基礎(chǔ)上相應(yīng)變更及細化以適應(yīng)新情況。(1)應(yīng)當增加設(shè)計研發(fā)者為跟蹤觀察義務(wù)的主體。設(shè)計研發(fā)者對人工智能產(chǎn)品的理解力和控制力強于其他主體,是人工智能產(chǎn)品生產(chǎn)的源頭,理應(yīng)成為義務(wù)主體。(2)明確跟蹤觀察義務(wù)包括消極義務(wù)與積極義務(wù)[31]。消極義務(wù)是指生產(chǎn)者及銷售者應(yīng)當接受消費者對產(chǎn)品致?lián)p與風險的投訴,并將信息傳遞至設(shè)計研發(fā)者,由其對人工智能產(chǎn)品進行檢查與測驗,確認是否存在風險。積極義務(wù)是指設(shè)計研發(fā)者應(yīng)當定期對自己研發(fā)出的產(chǎn)品進行數(shù)據(jù)監(jiān)控和檢查,防止出現(xiàn)人工智能異變的情況,并對本領(lǐng)域的最新科技高度關(guān)注,以便及時更新技術(shù)降低產(chǎn)品使用風險。(3)完成跟蹤觀察后的反應(yīng)義務(wù)。從實踐中看,警示和召回是最重要的反應(yīng)行為,警示反應(yīng)要求義務(wù)主體對消費者、使用者發(fā)出警示消息,可以通過發(fā)送郵件、撥打電話及借助大眾媒體等方式發(fā)出警示;召回反應(yīng)要求責任主體通過免費維修、更換、回購等方式來排除產(chǎn)品的危險。(4)確定跟蹤觀察義務(wù)的存續(xù)期間。實踐中,普通產(chǎn)品的跟蹤觀察義務(wù)存在1~5年的保修期。對于人工智能產(chǎn)品而言,生產(chǎn)者因?qū)a(chǎn)品投入流通而開啟了潛在危險,且該危險較難預(yù)測。因此,跟蹤觀察期應(yīng)當擴張至產(chǎn)品的應(yīng)然使用壽命年限。

    三、人工智能產(chǎn)品缺陷司法認定標準的規(guī)則表達

    任何規(guī)則的表達都是在給定條件下進行的,在人工智能視域下,產(chǎn)品缺陷的司法認定在原有框架下也應(yīng)當有新的規(guī)則表達。

    (一)設(shè)計缺陷:“風險—效用”規(guī)則

    在美國法上,法院最早以“消費者預(yù)期”作為設(shè)計缺陷的判斷標準。根據(jù)該標準,產(chǎn)品設(shè)計缺陷是否存在不合理的危險,取決于該產(chǎn)品能否符合普通消費者對于此種產(chǎn)品特性的正當預(yù)期。也就是說,造成損害的產(chǎn)品缺陷必須具有普通消費者可以預(yù)見的不合理危險。但在現(xiàn)代社會,隨著科技的發(fā)展,產(chǎn)品類型逐漸豐富,結(jié)構(gòu)也日益復(fù)雜,有學(xué)者認為在涉及具體產(chǎn)品設(shè)計方案上,消費者所期待的安全性程度無法定義[32]1236-1237,難以形成合理正當?shù)钠诖?,也有學(xué)者與法官開始對該標準的模糊性與不確定性進行質(zhì)疑[32]1217,該標準適用困難。

    為了彌補消費者預(yù)期標準的不足,美國法院開始嘗試采用“風險—效用”標準對設(shè)計缺陷進行判斷[33]。所謂“風險—效用”標準,也被稱為“成本效益標準”,就是通過產(chǎn)品有用性與危險性的比較,檢查設(shè)計研發(fā)者是否采取了適當?shù)陌踩U洗胧?,以判定產(chǎn)品是否存在設(shè)計缺陷[34]。在產(chǎn)品設(shè)計缺陷中的判斷可以描述為:若改進該產(chǎn)品的成本低于維持現(xiàn)有狀態(tài)的效益及現(xiàn)有風險或危險,則存在設(shè)計缺陷;若改進該產(chǎn)品的成本高于維持現(xiàn)有狀態(tài)存在的效益及現(xiàn)有風險或危險,則不存在設(shè)計缺陷。到目前為止,“風險—效用”規(guī)則已經(jīng)成為美國、德國等許多國家采用判斷產(chǎn)品設(shè)計缺陷的重要標準。

    對于普通產(chǎn)品而言,“消費者預(yù)期”標準或許能夠立足于“以消費者為本”這一理念而得以運行,而在人工智能視域下,普通消費者對人工智能的理解極其有限,高于平均產(chǎn)品使用人對該產(chǎn)品的認識水平的,不在“消費者預(yù)期”標準考慮之列[35]。如前所述,人工智能是一項新興科技,人類對該技術(shù)的探索在不斷突破我們的認知邊界,試問采用這樣一種技術(shù)的產(chǎn)品,我們普通大眾如何對其形成合理的消費者預(yù)期?如Doctor AI可以通過利用遞歸神經(jīng)網(wǎng)絡(luò)建立預(yù)測模型以輔助診斷[36],“嬉戲式監(jiān)督智能空間”游戲行為療法能夠輔助特殊兒童的治療(12)包括自閉癥譜系障礙(ASD)、注意力缺陷多動障礙(ADHD)、唐氏綜合征或精神分裂癥等特殊兒童。,[37],普通消費者應(yīng)對醫(yī)療AI抱以何種期待?也即,采用消費者預(yù)期標準的前提不存在,不具有可操作性。再者,消費者預(yù)期標準為一種整體性分析,屬于定性分析,只有存在“符合預(yù)期”或者“不符合預(yù)期”這兩種結(jié)果。而受到人工智能產(chǎn)品特異性的限制,我們很難對其作出定性結(jié)論,只能是在各個功能價值之間尋求平衡。

    反觀“風險—效用”標準,雖然存在著操作較為繁瑣,價值單一等弊端,普通產(chǎn)品不具有自主決策與交互協(xié)同的特性,對普通產(chǎn)品使用該標準有“損益比失衡”之嫌,但在人工智能產(chǎn)品中,卻更加符合其集合風險(自主性)與效用(智能性)于一身的特質(zhì)。人工智能產(chǎn)品設(shè)計綜合了計算機學(xué)、數(shù)學(xué)、腦科學(xué)、經(jīng)濟學(xué)、哲學(xué)、倫理學(xué)、美學(xué)、心理學(xué)等學(xué)科,不僅要滿足消費者對產(chǎn)品安全、功能的剛性需求,更要滿足消費者心理上和情感上的精神需求,由于人工智能產(chǎn)品的自主性會導(dǎo)致用戶較高的情感反應(yīng),人與自主系統(tǒng)的交互中需要更多地考慮社交和心理因素[38]。上述幾種需求之間往往是相互牽制的,任何一種功能的改變都有可能影響到其他功能的實現(xiàn),從而引起整個產(chǎn)品的變化。以“風險—效用”規(guī)則作為判斷設(shè)計缺陷的綜合標準,不僅映襯了人工智能的發(fā)展是人類社會在進步過程中的一步“險棋”,還是提高人類工作生活效率的一種嘗試,更是與人工智能產(chǎn)品設(shè)計“多元化”、產(chǎn)品運行“自主化”特征緊密相連?!帮L險—效用”規(guī)則屬于一種定量分析,不是非此即彼,而是對人工智能產(chǎn)品設(shè)計方案的綜合考察,相較于定性分析更具有可操作性,更適合對人工智能產(chǎn)品缺陷的判斷。

    我國在處理人工智能產(chǎn)品設(shè)計缺陷案件時,可以采用“風險—效用”標準。從美國的司法實踐看,絕大多數(shù)州法律及判例在面對產(chǎn)品設(shè)計缺陷案件時都要求原告提供合理的替代設(shè)計,并通過“風險—效用”標準予以分析和判斷。對于該規(guī)則而言,重點在于如何平衡產(chǎn)品的風險與效用,合理的替代設(shè)計就是該標準的內(nèi)在要求[39]。人工智能產(chǎn)品的設(shè)計缺陷有別于傳統(tǒng)產(chǎn)品,主要有以下幾類缺陷:算法設(shè)計缺陷、樣本標記缺陷、樣本不平衡缺陷、軟件設(shè)計缺陷、硬件設(shè)計缺陷[40]。在判斷是否存在設(shè)計缺陷時可以上述類別為參考。但由于人工智能產(chǎn)品的復(fù)雜性,原告只需提出初步的設(shè)計不合理證據(jù),由設(shè)計研發(fā)者對設(shè)計合理進行證明,必要時可由法院邀請專家來說明是否存在“合理的可替代設(shè)計”,具體表述為“該產(chǎn)品的設(shè)計是否已經(jīng)采用了業(yè)內(nèi)最安全、最先進的技術(shù),或以現(xiàn)有技術(shù)標準,是否可以提出更高的設(shè)計要求”[41],并對替代設(shè)計的邊際收益與邊際成本予以分析,以證明產(chǎn)品是否存在設(shè)計缺陷。

    (二)制造缺陷:“對預(yù)期設(shè)計的偏離”標準

    1973年,James Henderson教授首次將產(chǎn)品的制造缺陷定義為“對預(yù)期設(shè)計的偏離”[42]。目前,該標準已經(jīng)成為美國等國家判斷產(chǎn)品制造缺陷的主流標準,即產(chǎn)品在生產(chǎn)者投入流通時,在某些重要方面存在不符合設(shè)計的性能標準或設(shè)計說明的問題,或者同一生產(chǎn)線上的同類產(chǎn)品存在差異則為制造缺陷。在人工智能產(chǎn)品中,主要由設(shè)計研發(fā)者把控產(chǎn)品的安全與功能,而制造者只是產(chǎn)品設(shè)計的執(zhí)行者,結(jié)合制造者在制造環(huán)節(jié)需要承擔“將設(shè)計轉(zhuǎn)化為產(chǎn)品”的這一核心義務(wù),采用“對預(yù)期設(shè)計偏離”標準,能夠體現(xiàn)出認定制造缺陷的邏輯性與嚴謹性,在實踐中也更具可操作性。

    由于人工智能產(chǎn)品與普通產(chǎn)品在制造環(huán)節(jié)差異不大,故而該標準在二者的制造缺陷中都可適用(13)本文闡述該標準意圖有二:一是邏輯嚴密性,文章通過“分解切割”方式將產(chǎn)品缺陷分為四大類,在論述體系中應(yīng)當全面體現(xiàn);二是表述的確定性,我國目前依然采取“不合理危險”與“標準”相結(jié)合的判斷方式,若因理論上可采用一致標準而不加以闡述,則容易導(dǎo)致筆者思想傳遞的混亂。。從產(chǎn)品侵權(quán)缺陷認定的體系看,盡管“對預(yù)期設(shè)計偏離”為認定制造缺陷提供了一個直觀的標準,但在產(chǎn)品出故障損毀時,仍存在認定缺陷的問題。此時需要借助另一個標準——故障理論來進行產(chǎn)品制造缺陷的認定。在產(chǎn)品因事故損毀、滅失的情況下,原告可以通過間接證據(jù)來證明產(chǎn)品缺陷[43]。結(jié)合《美國統(tǒng)一產(chǎn)品責任示范法》與人工智能產(chǎn)品特性,在產(chǎn)生糾紛時可按照以下思路對制造缺陷進行認定:原告申請法院調(diào)取該人工智能產(chǎn)品的設(shè)計方案或報告,將致害人工智能產(chǎn)品與設(shè)計方案進行比較,查明是否有不符合原有設(shè)計的情況。若存在不符合原有設(shè)計的情況,則屬于制造缺陷,若該產(chǎn)品符合原有設(shè)計,則不屬于制造缺陷,需要考慮是否存在設(shè)計缺陷等其他缺陷。在人工智能產(chǎn)品出現(xiàn)損毀、滅失的情況下,原告首先需要證明該產(chǎn)品確實發(fā)生了故障或事故,并且導(dǎo)致了人工智能產(chǎn)品的損毀、滅失;其次證明該故障或事故的發(fā)生不是由于非正常使用造成的,也沒有被其他人進行過改動。上述兩項若都符合,則可以推定該人工智能產(chǎn)品存在缺陷。但是這種缺陷有可能是設(shè)計缺陷、制造缺陷、警示缺陷或跟蹤觀察缺陷,要進一步對比產(chǎn)品設(shè)計方案、警示語標識及跟蹤觀察記錄來判斷是否屬于其他三種缺陷,若不屬于,則可判斷為是制造缺陷。

    (三)警示缺陷:“合理充分”標準

    美國和歐盟在判斷警示缺陷時,主要采用的是消費者預(yù)期標準[44];日本的警示缺陷訴訟主要在醫(yī)藥品方面,一般也是以消費者預(yù)期為標準[45],然而,消費者預(yù)期主觀性過強,不同的消費者預(yù)期不同,在司法實踐中具有偏差性,且人工智能產(chǎn)品屬于新興科技,消費者對其理解不足,更遑論產(chǎn)生合理預(yù)期。如前所述,警示義務(wù)要求警示在內(nèi)容、形式與時間上都應(yīng)當“充分合理”,對人工智能產(chǎn)品的警示缺陷判斷采用“充分合理”標準,一方面符合正常理性人的思維,另一方面也更具可操作性與統(tǒng)一性。

    在人工智能語境下,判斷是否“充分合理”應(yīng)當以前文所述警示義務(wù)的具體要求為基礎(chǔ),但更應(yīng)該考慮如何界定不可預(yù)見的危險。與普通產(chǎn)品不同,人工智能產(chǎn)品的自主性與主動交互性,使人類很難控制與預(yù)測其行為,不能排除人工智能產(chǎn)品自身成為致害主體的可能性,如何增強人工智能產(chǎn)品的可解釋性,是當下人工智能學(xué)科研究的重大挑戰(zhàn)之一[36]。在這種情況下,警示語不可能出現(xiàn)設(shè)計研發(fā)者、生產(chǎn)者等無法預(yù)知的情況,而這又與人工智能產(chǎn)品頻頻侵權(quán)的根源也是其本質(zhì)——人工智能的自主性相沖突,是無法克服的。因而,在判斷是否為可預(yù)見的危險時,以標明警示語的時間為節(jié)點來進行判斷似乎是當下較合理的可行之法。在警示時間點前的科學(xué)水平能夠預(yù)見還未投入市場的人工智能產(chǎn)品存在何種可預(yù)知危險,并將其充分寫為警示語,投入市場后的產(chǎn)品在技術(shù)發(fā)展或系統(tǒng)升級后,能夠預(yù)見其他風險或解決先前的潛在危險時,應(yīng)當及時更新警示標語,這也是與普通產(chǎn)品在警示方面的最大區(qū)別。如此,則盡到了充分合理的警示義務(wù)。反之,則沒有盡到充分合理的警示義務(wù)。另外,不需要對眾所周知的危險作出警示,也即對于任何荒誕或顯而易見的危險與不當使用方式,生產(chǎn)者和銷售者并不承擔預(yù)見或提出警示的義務(wù),否則會導(dǎo)致消費者受到過度無意義警示的轟炸后很可能會放棄閱讀產(chǎn)品的全部警示,以至于忽略了其中的重要警示,而出現(xiàn)產(chǎn)品致害事件。

    (四)跟蹤觀察缺陷:“個案認定,綜合判斷”原則

    雖然我國《侵權(quán)責任法》肯定了跟蹤觀察義務(wù),但沒有明確規(guī)定具體如何判斷責任主體是否履行了跟蹤觀察義務(wù)。在人工智能產(chǎn)品的跟蹤觀察義務(wù)中涉及的主體包括設(shè)計研發(fā)者、制造者與銷售者,中間也可能產(chǎn)生很多阻斷因素,歸納出一個具體的判斷標準較為困難。因此,筆者認為,在判斷是否履行了跟蹤觀察義務(wù),應(yīng)當依據(jù)個案的情況,綜合考慮前述義務(wù)是否妥善履行來予以認定,但需特別注意的是,由于人工智能產(chǎn)品的交互性與自主性特征,對其的跟蹤觀察期限與時間點應(yīng)有別于普通產(chǎn)品,應(yīng)當在人工智能產(chǎn)品的整個使用期限內(nèi)進行跟蹤觀察,并設(shè)置固定的檢測時間點,以防止其多次采集數(shù)據(jù)后自我學(xué)習(xí)而導(dǎo)致異化,這是“綜合判斷”標準的重要內(nèi)容。

    在具體操作中,可以參考以下判斷標準:首先,設(shè)計研發(fā)者對產(chǎn)生的風險是否預(yù)見或應(yīng)當預(yù)見,一方面可以從人工智能技術(shù)當前成果判斷能否預(yù)見該風險,應(yīng)當以上一次檢測產(chǎn)品的時間為準。若同類產(chǎn)品已經(jīng)發(fā)生類似的缺陷問題,該產(chǎn)品的設(shè)計研發(fā)者依然沒有任何反應(yīng),則可以判斷設(shè)計研發(fā)者應(yīng)當預(yù)見風險而沒有預(yù)見。另一方面從設(shè)計研發(fā)者是否履行了關(guān)注和定時檢測義務(wù)來進行判斷,每次檢測都應(yīng)當有檢測記錄并進行上傳至數(shù)據(jù)庫。其次,生產(chǎn)者和銷售者是否開通了產(chǎn)品反饋管道并完成信息搜集傳遞工作。生產(chǎn)者與銷售者需建立和完善產(chǎn)品使用意見反饋機制,及時接受用戶的反饋,繼而將問題反饋給設(shè)計研發(fā)者,在這兩個中轉(zhuǎn)環(huán)節(jié)都應(yīng)當做好書面記錄并簽字存檔,以起到完整程序、保留證據(jù)及責任轉(zhuǎn)移的作用。最后,是否有警示或召回等反應(yīng)行為。如前所述,當發(fā)現(xiàn)產(chǎn)品存在缺陷時,視情況嚴重程度采取警示或召回等行為是跟蹤觀察義務(wù)的最重要內(nèi)容,也是判斷是否存在跟蹤觀察缺陷的重要標準之一。應(yīng)當對人工智能產(chǎn)品按照類別制定不同的“合理反應(yīng)期限”,若在此期限內(nèi)未對缺陷作出反應(yīng),即為跟蹤觀察缺陷。具體來說有兩個方面:一是產(chǎn)品發(fā)展缺陷(14)產(chǎn)品發(fā)展缺陷指產(chǎn)品投入流通前的科技水平不認為是缺陷或不存在風險,而在產(chǎn)品投入流通以后,隨著科技的發(fā)展而認為是缺陷或者是認為存在風險。,主要是由設(shè)計研發(fā)者對科技的發(fā)展以及產(chǎn)品檢測監(jiān)控來判斷是否存在可修復(fù)缺陷,并對存在可修復(fù)缺陷的產(chǎn)品進行程序修繕和更新;若存在不可修復(fù)缺陷,則制造者需在產(chǎn)品說明中增加新的風險警示,銷售者在銷售產(chǎn)品時也應(yīng)及時說明新增風險,并警示已購買用戶。二是針對產(chǎn)品使用過程中產(chǎn)生的老化、折損問題,制造者與銷售者通過反饋管道可召回該類產(chǎn)品,并對其進行維修或更換,保障產(chǎn)品的安全。

    四、結(jié)語

    產(chǎn)品缺陷的司法認定是產(chǎn)品責任存在的基礎(chǔ),由于人工智能產(chǎn)品相較于普通產(chǎn)品具有一定的自主性、交互性、難預(yù)測性與不可控性,致使人工智能產(chǎn)品缺陷認定更加復(fù)雜困難,加之未將產(chǎn)品缺陷類型化,現(xiàn)有的規(guī)則表達難以適用?;诜ń忉寣W(xué)的張力,在人工智能視域下對產(chǎn)品缺陷認定進行基本原理的探究與具體規(guī)則的新表達,結(jié)合學(xué)術(shù)界前沿理論、我國司法實踐經(jīng)驗與人工智能產(chǎn)品特性,將產(chǎn)品缺陷劃分為設(shè)計缺陷、制造缺陷、警示缺陷與跟蹤觀察缺陷,通過“切割分解”的方式將復(fù)雜的人工智能產(chǎn)品缺陷分解成不同類型。分析不同缺陷類型下各主體的義務(wù),再結(jié)合不同缺陷的性質(zhì)與特征,表達出不同的判斷規(guī)則,為我國人工智能產(chǎn)品侵權(quán)責任構(gòu)建提供一個可參考的思路。智能革命引發(fā)的各種思考才剛剛開始,科學(xué)技術(shù)的發(fā)展會不斷拓寬人類認識的邊緣[46],我們需要在法律基本原理的基礎(chǔ)上進行審慎創(chuàng)新,在面對舊規(guī)則無法解決新問題這一局面時,應(yīng)當還原舊表達的核心思想,結(jié)合新語境得出新的規(guī)則表達。本文提出的判斷規(guī)則并非蓋棺之言,僅是現(xiàn)階段對人工智能產(chǎn)品視域下缺陷司法認定的初步探索,將來還會出現(xiàn)諸多問題需要我們共同關(guān)注和探討,尋找并論證更加恰當?shù)囊?guī)則表達,希望我們在促進新技術(shù)發(fā)展的同時,為其產(chǎn)生的風險做好充足的法律準備。

    猜你喜歡
    責任標準人工智能
    最新出版團體標準
    使命在心 責任在肩
    《責任與擔當》
    每個人都該承擔起自己的責任
    忠誠的標準
    2019:人工智能
    人工智能與就業(yè)
    責任(四)
    數(shù)讀人工智能
    黨員標準是什么?
    91精品三级在线观看| 国产黄色免费在线视频| 亚洲国产精品一区二区三区在线| 国产色视频综合| 国产成人av教育| 黄片播放在线免费| 王馨瑶露胸无遮挡在线观看| 色婷婷久久久亚洲欧美| 中文字幕制服av| 免费黄频网站在线观看国产| 狠狠婷婷综合久久久久久88av| 性色av乱码一区二区三区2| 国产精品秋霞免费鲁丝片| 黄色a级毛片大全视频| 亚洲欧美精品综合一区二区三区| 欧美成人精品欧美一级黄| 国产一卡二卡三卡精品| 免费人妻精品一区二区三区视频| 黑人猛操日本美女一级片| 老司机亚洲免费影院| 精品亚洲成a人片在线观看| 大香蕉久久网| 国产一区二区在线观看av| 国产av国产精品国产| 超碰97精品在线观看| 黑人巨大精品欧美一区二区蜜桃| 99精国产麻豆久久婷婷| 一本色道久久久久久精品综合| 好男人视频免费观看在线| 亚洲国产成人一精品久久久| 国产一区二区激情短视频 | av一本久久久久| 国产老妇伦熟女老妇高清| 国产亚洲av片在线观看秒播厂| 91精品三级在线观看| 久久九九热精品免费| 搡老乐熟女国产| 九色亚洲精品在线播放| 国产又爽黄色视频| 日韩人妻精品一区2区三区| 婷婷丁香在线五月| 亚洲精品一卡2卡三卡4卡5卡 | 日韩欧美一区视频在线观看| 深夜精品福利| 国产一区二区激情短视频 | 成年人午夜在线观看视频| 在线 av 中文字幕| 性色av一级| 国产日韩欧美在线精品| av在线app专区| 久久久久久人人人人人| 久久久精品区二区三区| 黑人巨大精品欧美一区二区蜜桃| 国产精品香港三级国产av潘金莲 | 欧美另类一区| 啦啦啦视频在线资源免费观看| 高清欧美精品videossex| 少妇 在线观看| 国产爽快片一区二区三区| 国产真人三级小视频在线观看| 捣出白浆h1v1| a级毛片在线看网站| 欧美少妇被猛烈插入视频| 水蜜桃什么品种好| 宅男免费午夜| 欧美日韩视频精品一区| 啦啦啦中文免费视频观看日本| 欧美亚洲日本最大视频资源| 久久久国产精品麻豆| 午夜老司机福利片| 精品久久久精品久久久| 一个人免费看片子| 久久久久久久久久久久大奶| 9色porny在线观看| 中文字幕制服av| 宅男免费午夜| 国产成人一区二区三区免费视频网站 | 久久99热这里只频精品6学生| 国产一级毛片在线| 女人久久www免费人成看片| 日本一区二区免费在线视频| 午夜日韩欧美国产| 欧美成人精品欧美一级黄| 国产精品九九99| 女警被强在线播放| 亚洲欧美清纯卡通| 国产又爽黄色视频| 久久九九热精品免费| 亚洲欧美日韩高清在线视频 | 一级黄色大片毛片| 国产精品二区激情视频| 人人妻人人澡人人看| 99九九在线精品视频| 午夜福利视频在线观看免费| 一级,二级,三级黄色视频| 伦理电影免费视频| 亚洲中文字幕日韩| 90打野战视频偷拍视频| 91麻豆av在线| 亚洲精品在线美女| 国产男女超爽视频在线观看| 欧美日韩亚洲国产一区二区在线观看 | 丁香六月天网| 国产成人精品无人区| 夫妻午夜视频| 亚洲精品在线美女| 国产淫语在线视频| 青草久久国产| 欧美久久黑人一区二区| 777久久人妻少妇嫩草av网站| 久久亚洲精品不卡| 免费观看a级毛片全部| 中文字幕高清在线视频| 国产成人系列免费观看| 中国美女看黄片| 国产精品一区二区免费欧美 | 五月开心婷婷网| 极品人妻少妇av视频| 亚洲欧美清纯卡通| av视频免费观看在线观看| 成人手机av| 看免费av毛片| 无遮挡黄片免费观看| 亚洲av欧美aⅴ国产| 亚洲av电影在线观看一区二区三区| 热re99久久精品国产66热6| 国产在线视频一区二区| 成年女人毛片免费观看观看9 | 黄频高清免费视频| 亚洲欧洲精品一区二区精品久久久| 一区二区三区激情视频| 精品国产一区二区三区久久久樱花| 一本—道久久a久久精品蜜桃钙片| 国产片特级美女逼逼视频| 另类亚洲欧美激情| 一区二区av电影网| 日韩一区二区三区影片| 色网站视频免费| 国产男人的电影天堂91| 老汉色∧v一级毛片| 国产在线视频一区二区| 久久久国产一区二区| 97精品久久久久久久久久精品| 一二三四社区在线视频社区8| 日本一区二区免费在线视频| 亚洲欧美精品综合一区二区三区| 午夜福利在线免费观看网站| 国产男女内射视频| 欧美成人精品欧美一级黄| 美女脱内裤让男人舔精品视频| 少妇的丰满在线观看| 又紧又爽又黄一区二区| 亚洲精品美女久久av网站| 久久久久久亚洲精品国产蜜桃av| 热re99久久精品国产66热6| 亚洲成色77777| 国产亚洲欧美精品永久| 午夜视频精品福利| 人成视频在线观看免费观看| 免费一级毛片在线播放高清视频 | 韩国精品一区二区三区| 久久99一区二区三区| 亚洲国产精品一区三区| 亚洲伊人色综图| 欧美在线一区亚洲| 男男h啪啪无遮挡| 啦啦啦免费观看视频1| 一本久久中文字幕| 久久久久免费精品人妻一区二区 | 久久草成人影院| 一a级毛片在线观看| 一区二区三区精品91| 91老司机精品| 亚洲成人免费电影在线观看| 草草在线视频免费看| 成人免费观看视频高清| 欧美乱妇无乱码| 国产成人欧美在线观看| netflix在线观看网站| 亚洲 欧美 日韩 在线 免费| 国产又爽黄色视频| 久久中文字幕人妻熟女| 男人的好看免费观看在线视频 | 桃色一区二区三区在线观看| 国产精品野战在线观看| 国产爱豆传媒在线观看 | 香蕉丝袜av| 久久这里只有精品19| 日日摸夜夜添夜夜添小说| 国产午夜福利久久久久久| 久久中文看片网| 久久久久国内视频| 亚洲国产中文字幕在线视频| 少妇熟女aⅴ在线视频| 18禁黄网站禁片免费观看直播| 听说在线观看完整版免费高清| 亚洲人成电影免费在线| 精品国内亚洲2022精品成人| 精品国产一区二区三区四区第35| 18禁黄网站禁片午夜丰满| 色老头精品视频在线观看| АⅤ资源中文在线天堂| 可以免费在线观看a视频的电影网站| 黄网站色视频无遮挡免费观看| 欧美日韩中文字幕国产精品一区二区三区| 亚洲国产精品久久男人天堂| 免费看a级黄色片| 十八禁人妻一区二区| 91九色精品人成在线观看| 国产免费av片在线观看野外av| 在线观看日韩欧美| 在线观看66精品国产| 国产一区二区三区在线臀色熟女| 久久国产精品人妻蜜桃| 亚洲成人精品中文字幕电影| 久久久国产成人免费| 久久久久国产精品人妻aⅴ院| 亚洲精品美女久久av网站| 国产亚洲欧美精品永久| 国产男靠女视频免费网站| 亚洲精品久久国产高清桃花| 又黄又爽又免费观看的视频| 亚洲人成77777在线视频| 国产成人啪精品午夜网站| 久久精品人妻少妇| 一本一本综合久久| 亚洲精品一卡2卡三卡4卡5卡| a级毛片a级免费在线| 国产精品 欧美亚洲| 97碰自拍视频| 十八禁人妻一区二区| 国产伦一二天堂av在线观看| 亚洲av日韩精品久久久久久密| 亚洲国产精品久久男人天堂| 美女免费视频网站| 国产成人一区二区三区免费视频网站| 亚洲一区二区三区色噜噜| 黄频高清免费视频| 亚洲国产欧美网| 国产欧美日韩一区二区三| 亚洲免费av在线视频| 一区二区三区激情视频| 亚洲国产欧美一区二区综合| 亚洲专区字幕在线| 女性生殖器流出的白浆| 国产精品一区二区免费欧美| 日本 av在线| x7x7x7水蜜桃| 天天躁夜夜躁狠狠躁躁| 最近在线观看免费完整版| 老熟妇乱子伦视频在线观看| 黄频高清免费视频| 国产亚洲精品av在线| 亚洲第一青青草原| 精品午夜福利视频在线观看一区| 久久久久久九九精品二区国产 | 日本三级黄在线观看| 亚洲真实伦在线观看| 18美女黄网站色大片免费观看| av电影中文网址| 亚洲熟妇熟女久久| 久久热在线av| www日本黄色视频网| 三级毛片av免费| 一区二区三区激情视频| 亚洲精品久久国产高清桃花| 国产乱人伦免费视频| 听说在线观看完整版免费高清| 亚洲在线自拍视频| 国产精品久久久av美女十八| 日本撒尿小便嘘嘘汇集6| 亚洲色图av天堂| av在线天堂中文字幕| 脱女人内裤的视频| 欧美黑人欧美精品刺激| 亚洲天堂国产精品一区在线| 黄色女人牲交| 熟女少妇亚洲综合色aaa.| 国产男靠女视频免费网站| 最近在线观看免费完整版| 在线观看66精品国产| 国产亚洲精品久久久久5区| 脱女人内裤的视频| 国产欧美日韩一区二区三| 91麻豆av在线| 亚洲第一av免费看| 欧美黄色淫秽网站| 男女午夜视频在线观看| 成年人黄色毛片网站| 亚洲欧美精品综合一区二区三区| 国产精品久久久久久人妻精品电影| 亚洲中文日韩欧美视频| 欧美激情极品国产一区二区三区| 国内精品久久久久精免费| 午夜福利一区二区在线看| 午夜激情福利司机影院| 老熟妇仑乱视频hdxx| 视频在线观看一区二区三区| 白带黄色成豆腐渣| 亚洲国产精品成人综合色| 欧美日本视频| 色综合站精品国产| 精品国产乱子伦一区二区三区| 在线永久观看黄色视频| 国产精品久久电影中文字幕| www.自偷自拍.com| 麻豆成人午夜福利视频| 12—13女人毛片做爰片一| 一本久久中文字幕| 一区二区三区激情视频| 国产精华一区二区三区| 亚洲 欧美 日韩 在线 免费| 国产精华一区二区三区| 精品国产超薄肉色丝袜足j| 久久精品91无色码中文字幕| 亚洲欧美精品综合一区二区三区| cao死你这个sao货| 国产成+人综合+亚洲专区| 国产精品爽爽va在线观看网站 | 91麻豆精品激情在线观看国产| 熟女少妇亚洲综合色aaa.| 日韩成人在线观看一区二区三区| 性欧美人与动物交配| 婷婷精品国产亚洲av在线| 久久久国产成人免费| 一区二区三区激情视频| 久久九九热精品免费| 欧美成人午夜精品| 亚洲国产欧美一区二区综合| 不卡av一区二区三区| 叶爱在线成人免费视频播放| 成人永久免费在线观看视频| 俄罗斯特黄特色一大片| 亚洲一区二区三区不卡视频| 90打野战视频偷拍视频| 人人妻人人看人人澡| 亚洲国产欧洲综合997久久, | 日韩三级视频一区二区三区| 亚洲欧美日韩高清在线视频| 亚洲熟妇熟女久久| 免费一级毛片在线播放高清视频| 久久久久久国产a免费观看| 亚洲 欧美一区二区三区| 1024香蕉在线观看| aaaaa片日本免费| www日本在线高清视频| 一二三四社区在线视频社区8| 99久久综合精品五月天人人| 激情在线观看视频在线高清| 一个人免费在线观看的高清视频| 久久人妻av系列| 亚洲成人精品中文字幕电影| 青草久久国产| 国产精品1区2区在线观看.| 亚洲,欧美精品.| 男人操女人黄网站| 欧美乱色亚洲激情| 欧美激情高清一区二区三区| 天天一区二区日本电影三级| 亚洲国产精品成人综合色| 欧美日韩瑟瑟在线播放| 制服丝袜大香蕉在线| 国产亚洲精品综合一区在线观看 | 国产真实乱freesex| 老汉色∧v一级毛片| 一本一本综合久久| ponron亚洲| 欧美人与性动交α欧美精品济南到| 欧美三级亚洲精品| 最近在线观看免费完整版| 亚洲国产欧美日韩在线播放| 在线观看免费午夜福利视频| 18禁观看日本| 在线观看免费午夜福利视频| 婷婷精品国产亚洲av在线| 国产日本99.免费观看| 亚洲精品一区av在线观看| 桃色一区二区三区在线观看| 搡老岳熟女国产| 亚洲成国产人片在线观看| 久久国产乱子伦精品免费另类| 欧美日韩福利视频一区二区| 此物有八面人人有两片| 欧美中文日本在线观看视频| 国产不卡一卡二| 美女扒开内裤让男人捅视频| 午夜免费观看网址| 啦啦啦观看免费观看视频高清| 国产一卡二卡三卡精品| 怎么达到女性高潮| 国产欧美日韩精品亚洲av| 九色国产91popny在线| 男女床上黄色一级片免费看| 看片在线看免费视频| 亚洲中文av在线| 人人妻人人看人人澡| 国产精品自产拍在线观看55亚洲| 欧美性长视频在线观看| 日本 欧美在线| 一边摸一边做爽爽视频免费| 成年人黄色毛片网站| 少妇粗大呻吟视频| 亚洲成a人片在线一区二区| av中文乱码字幕在线| 国产成人欧美在线观看| 一区二区日韩欧美中文字幕| 日本一本二区三区精品| 在线天堂中文资源库| 日日爽夜夜爽网站| 叶爱在线成人免费视频播放| 婷婷亚洲欧美| 嫁个100分男人电影在线观看| 午夜两性在线视频| 在线观看免费午夜福利视频| av中文乱码字幕在线| www国产在线视频色| 国产成人系列免费观看| 国产精品永久免费网站| 一二三四社区在线视频社区8| 国产精品野战在线观看| 欧美激情高清一区二区三区| 777久久人妻少妇嫩草av网站| 在线观看午夜福利视频| 少妇粗大呻吟视频| 成年免费大片在线观看| 日本 av在线| 欧美大码av| 国产成年人精品一区二区| 丁香六月欧美| 啦啦啦 在线观看视频| 国产成人精品久久二区二区免费| 日韩欧美免费精品| 啦啦啦韩国在线观看视频| 欧美午夜高清在线| 人妻久久中文字幕网| 国产爱豆传媒在线观看 | 欧美色视频一区免费| 99精品在免费线老司机午夜| 一区福利在线观看| 欧美中文日本在线观看视频| www.自偷自拍.com| 午夜精品久久久久久毛片777| 变态另类成人亚洲欧美熟女| 成人午夜高清在线视频 | 中文字幕另类日韩欧美亚洲嫩草| 高清在线国产一区| 国产三级在线视频| 最近在线观看免费完整版| 午夜两性在线视频| 精品久久久久久久末码| 亚洲国产日韩欧美精品在线观看 | 免费高清在线观看日韩| 日本在线视频免费播放| 男女下面进入的视频免费午夜 | 麻豆成人av在线观看| 亚洲av第一区精品v没综合| 又黄又粗又硬又大视频| 听说在线观看完整版免费高清| 欧美成人免费av一区二区三区| 搡老岳熟女国产| 在线av久久热| 人人妻人人澡欧美一区二区| 18禁黄网站禁片午夜丰满| 在线观看www视频免费| 国产成人精品无人区| 久久久久免费精品人妻一区二区 | 欧美日韩亚洲综合一区二区三区_| 中文字幕久久专区| 亚洲国产看品久久| 在线看三级毛片| 夜夜看夜夜爽夜夜摸| 亚洲国产精品成人综合色| 又黄又粗又硬又大视频| 视频区欧美日本亚洲| 怎么达到女性高潮| 国产精品免费一区二区三区在线| 欧洲精品卡2卡3卡4卡5卡区| 亚洲欧美日韩无卡精品| 亚洲欧美激情综合另类| 亚洲一区二区三区色噜噜| 十八禁人妻一区二区| 欧美精品亚洲一区二区| 国产成人精品无人区| 女人爽到高潮嗷嗷叫在线视频| 美女高潮到喷水免费观看| 精品国产乱子伦一区二区三区| 婷婷丁香在线五月| 嫩草影视91久久| 亚洲一卡2卡3卡4卡5卡精品中文| 999精品在线视频| 免费在线观看亚洲国产| 午夜福利一区二区在线看| 窝窝影院91人妻| 搡老妇女老女人老熟妇| 亚洲熟女毛片儿| 给我免费播放毛片高清在线观看| 国产三级在线视频| 91大片在线观看| 国产精品日韩av在线免费观看| 国产精品乱码一区二三区的特点| 久久九九热精品免费| 2021天堂中文幕一二区在线观 | 久久中文看片网| 久久久久久久久中文| 99久久无色码亚洲精品果冻| 国产精品综合久久久久久久免费| 色综合欧美亚洲国产小说| 黄片小视频在线播放| 热re99久久国产66热| 色播亚洲综合网| 老司机靠b影院| 亚洲第一欧美日韩一区二区三区| 久久精品国产清高在天天线| netflix在线观看网站| 久久天躁狠狠躁夜夜2o2o| 亚洲全国av大片| 美女扒开内裤让男人捅视频| 黄色视频不卡| 老熟妇乱子伦视频在线观看| 日韩有码中文字幕| 亚洲片人在线观看| 日日夜夜操网爽| 搡老妇女老女人老熟妇| 亚洲精品国产区一区二| 狂野欧美激情性xxxx| 国产一卡二卡三卡精品| 黑人操中国人逼视频| 免费看十八禁软件| av天堂在线播放| 午夜成年电影在线免费观看| 视频区欧美日本亚洲| 国语自产精品视频在线第100页| 在线观看日韩欧美| 国内揄拍国产精品人妻在线 | 久久精品国产清高在天天线| 91九色精品人成在线观看| 又大又爽又粗| 久久久久亚洲av毛片大全| 国内久久婷婷六月综合欲色啪| 成人亚洲精品一区在线观看| 在线观看66精品国产| 中文字幕精品亚洲无线码一区 | 中出人妻视频一区二区| 久久精品影院6| 成人国产综合亚洲| 国产麻豆成人av免费视频| 精品国产一区二区三区四区第35| 啦啦啦韩国在线观看视频| 欧美zozozo另类| 日韩免费av在线播放| 欧美日韩亚洲国产一区二区在线观看| 久久香蕉国产精品| 亚洲欧美精品综合一区二区三区| x7x7x7水蜜桃| 免费电影在线观看免费观看| 欧美乱色亚洲激情| 国产欧美日韩一区二区精品| 国产又色又爽无遮挡免费看| 国产1区2区3区精品| 色精品久久人妻99蜜桃| 亚洲真实伦在线观看| xxx96com| 两个人视频免费观看高清| 久久久久久人人人人人| 日本三级黄在线观看| 久久久精品欧美日韩精品| 日韩中文字幕欧美一区二区| 久久久国产成人免费| av欧美777| 亚洲av片天天在线观看| 69av精品久久久久久| 欧美+亚洲+日韩+国产| 色尼玛亚洲综合影院| 成在线人永久免费视频| 妹子高潮喷水视频| 人妻久久中文字幕网| 成人免费观看视频高清| 国产亚洲精品久久久久久毛片| 久久久国产成人精品二区| 99在线人妻在线中文字幕| 国产黄片美女视频| 亚洲欧美激情综合另类| 99精品欧美一区二区三区四区| 国产精品乱码一区二三区的特点| 日韩有码中文字幕| 一进一出好大好爽视频| 国产亚洲精品一区二区www| 1024手机看黄色片| 草草在线视频免费看| 香蕉久久夜色| 国产欧美日韩一区二区精品| 欧美黑人精品巨大| 久久久久免费精品人妻一区二区 | 亚洲精品一卡2卡三卡4卡5卡| xxxwww97欧美| 男女床上黄色一级片免费看| 亚洲av五月六月丁香网| 非洲黑人性xxxx精品又粗又长| 亚洲激情在线av| 欧美乱色亚洲激情| 久99久视频精品免费| 欧美午夜高清在线| 欧美性长视频在线观看| 可以在线观看的亚洲视频| 色综合亚洲欧美另类图片| 欧美绝顶高潮抽搐喷水| 丝袜人妻中文字幕| 欧美+亚洲+日韩+国产| 色av中文字幕| 露出奶头的视频| 亚洲欧美精品综合一区二区三区| 一级作爱视频免费观看| 搡老岳熟女国产| 国产精品一区二区免费欧美| 最近最新中文字幕大全免费视频|