• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    我國人工智能產(chǎn)品責任之發(fā)展風險抗辯制度構建研究

    2020-03-02 02:15:17胡元聰
    湖湘論壇 2020年1期

    胡元聰

    摘要:人工智能產(chǎn)品雖然具有其特殊性,但是人工智能產(chǎn)品責任之發(fā)展風險抗辯制度,仍然應該遵循普通產(chǎn)品責任之發(fā)展風險抗辯制度的基本原理。通過分析國內(nèi)外產(chǎn)品發(fā)展風險抗辯制度,就我國而言,應該確立人工智能產(chǎn)品責任之發(fā)展風險抗辯的基本制度,主要包括技術標準制度、時間節(jié)點制度、主體資格制度和請求時效制度。同時建立相應的配套制度,主要包括跟蹤觀察制度、勤勉警示制度、產(chǎn)品召回制度等。尤其是還需要做好基本制度與配套制度的銜接,從而為我國人工智能產(chǎn)品責任之發(fā)展風險抗辯提供完善的制度保障,并推動我國人工智能產(chǎn)業(yè)的高質(zhì)量發(fā)展。

    關鍵詞:人工智能產(chǎn)品;發(fā)展風險抗辨制度;基本制度;配套制度;制度銜接

    中圖分類號:D9

    文獻標志碼:A

    文章編號:1004-3160(2020)01-0070-20

    一、問題的提出

    全球的人工智能浪潮正在洶涌而來,全球已經(jīng)進入了人工智能時代,人工智能產(chǎn)品的日益普及,為我們帶來了巨大的福利,但是處于新生成長期的人工智能開發(fā)在造福人類的同時遞增社會風險系數(shù),尤其是其在生產(chǎn)者與消費者之間產(chǎn)生了一種新的張力,這種張力導致生產(chǎn)者與消費者之間產(chǎn)生了新的權利和義務的不平衡。人工智能產(chǎn)品設計者尤其是生產(chǎn)者作為“始作俑者”對于其產(chǎn)品的安全應當負責,否則消費者的權益得不到有效保障。因為,在人工智能時代,消費者的受教育權、知情權更容易被侵害,這些都源于其與產(chǎn)品生產(chǎn)者之間的信息不對稱現(xiàn)象帶來的問題將會加劇。但是由于人工智能技術是前沿高端技術,設計者或生產(chǎn)者也不能是上帝而知曉或掌握一切科技知識,他們也只是人工智能科技產(chǎn)品的探索者、試驗者,他們可能成功也可能很失敗。因此,“冰冷”的法律在此問題上應該增加一定的“溫度”,對于設計者和生產(chǎn)者的失敗給以合理和恰當?shù)膶捜?,從而實現(xiàn)人工智能產(chǎn)品生產(chǎn)者與消費者之間實質(zhì)意義上的公平與正義。因此,在人工智能發(fā)展戰(zhàn)略成為國家戰(zhàn)略的背景之下,必須重新權衡人工智能生產(chǎn)者與消費者之間的權利和義務關系。其中產(chǎn)品發(fā)展風險抗辯制度是用以平衡人工智能產(chǎn)品生產(chǎn)者與消費者之間權利義務關系的一種新形式。大部分國家的法律雖然確認了發(fā)展風險抗辯制度,但許多在實際應用中都嚴格限制它的適用。因此,發(fā)展風險抗辯制度充其量只是對嚴格責任歸責原則的一個修正,體現(xiàn)出各個國家的立法者既想阻止嚴格責任的絕對化,又想防止發(fā)展風險抗辯濫用的價值追求?;诖耍疚臄M解決三個方面的問題:一是基本制度方面,我國是否應根據(jù)世界各國產(chǎn)品責任之發(fā)展風險抗辯制度的歷史發(fā)展規(guī)律并根據(jù)我國實際確立我國人工智能產(chǎn)品責任之發(fā)展風險抗辯制度?具體需要如何明確適用之技術標準制度、時間節(jié)點制度、主體資格制度以及請求時效制度?二是配套制度方面,如何完善生產(chǎn)者的跟蹤觀察制度,勤勉警示制度和產(chǎn)品召回制度,以及專家證人制度?三是如何做好基本制度與配套制度的銜接?基本制度為什么是適用產(chǎn)品發(fā)展風險抗辯的基礎和前提條件?配套制度為什么是適用產(chǎn)品發(fā)展風險抗辯的補充和后續(xù)條件?

    二、確立我國人工智能產(chǎn)品責任之發(fā)展風險抗辯的基本制度

    (一)明確人工智能產(chǎn)品責任發(fā)展風險抗辯適用之技術標準制度

    前文已述,產(chǎn)品發(fā)展風險抗辯制度存在太多的爭論點,對于發(fā)展風險抗辯中的“技術標準”也一直都存在爭議。國際上也尚無統(tǒng)一標準,有人認可國內(nèi)標準,有人支持國家標準??傮w來看,支持國際標準的觀點相對來說要多一些。所以,我國在確立人工智能產(chǎn)品責任發(fā)展風險抗辯制度時,應該首先明確其適用“技術標準”問題,為具體司法實踐提供準確的尺度參考。在明確技術標準問題時,也要考慮到具體參考標準問題,如是否考慮生產(chǎn)者了解信息的阻礙困境以及何為信息被公布被知曉。另外還要考慮具體司法實踐中法院客觀認定“技術標準”的可能性與效率性。具體而言:

    1.建議采用“國際標準”

    本文建議在人工智能產(chǎn)品發(fā)展風險抗辯中采用“國際標準”,即“以國際科學范圍內(nèi)最新最先進的技術標準為準”。因為這樣可以要求人工智能產(chǎn)品生產(chǎn)者及時跟蹤和了解世界范圍內(nèi)的最先進技術,最大程度確保人工智能的產(chǎn)品的安全性能并提高產(chǎn)品的國際競爭力,以及助推國家的人工智能戰(zhàn)略產(chǎn)業(yè)的高質(zhì)量發(fā)展。具體理由如下:

    (1)人工智能產(chǎn)品生產(chǎn)者經(jīng)營的是國家重大戰(zhàn)略產(chǎn)業(yè)而技術更新迭代快。之所以建議我國對于人工智能產(chǎn)品發(fā)展風險抗辯制度必須采取世界范圍內(nèi)最新技術水平,是因為人工智能產(chǎn)業(yè)不同于其他任何普通產(chǎn)業(yè)和行業(yè),人工智能產(chǎn)品也不同于其他任何普通的產(chǎn)品。換句話說,人工智能產(chǎn)業(yè)是現(xiàn)在以及未來世界各國重點研究發(fā)展的國家戰(zhàn)略競爭性產(chǎn)業(yè)。人工智能產(chǎn)品本身就是科技的代名詞,其研發(fā)創(chuàng)新匯集了人類最新智慧與最前沿高端技術,科技水平要求極高,生產(chǎn)者在生產(chǎn)研發(fā)時理應關注到世界范圍內(nèi)的最新技術,也只有這樣才能確保我國走在全世界人工智能產(chǎn)業(yè)發(fā)展隊伍的前列,確保人工智能產(chǎn)業(yè)的高質(zhì)量發(fā)展。

    (2)人工智能產(chǎn)品生產(chǎn)者處于生產(chǎn)的核心環(huán)節(jié)而掌握的信息更多更詳細。由于人工智能產(chǎn)品的生產(chǎn)者處于人工智能產(chǎn)品研發(fā)應用貫穿始終的各個環(huán)節(jié),包括掌握著產(chǎn)品的生產(chǎn)制造等過程。其他主體,包括經(jīng)銷商、消費者等難以介入了解更多詳細信息。生產(chǎn)者在決上市某一人工智能產(chǎn)品時,理應充分的跟蹤和關注并收集該人工智能產(chǎn)品所涉及的全球范圍之內(nèi)的相關技術更迭情況,在產(chǎn)品投入流通之前應該進行全面的最終的安全性檢測,即通過充分匯集世界范圍內(nèi)的最新技術來檢測人工智能產(chǎn)品是否存在缺陷。也只有這樣才能確保人工智能產(chǎn)品在全球市場上的國際競爭力。

    (3)人工智能產(chǎn)品生產(chǎn)者擁有專業(yè)的團隊和專業(yè)的研發(fā)生產(chǎn)能力。生產(chǎn)者在生產(chǎn)該人工智能產(chǎn)品時必然要引進了大量的專業(yè)人士,因此,生產(chǎn)者就擁有相對專業(yè)的技術團隊,同時具有足夠的物力財力去收集最新技術情況,是故,沒有人比生產(chǎn)者更有可能認知到最新技術。因此,若允許生產(chǎn)者可以以自己沒有能力掌握國際最新技術進行抗辯,那么某種程度上會降低生產(chǎn)者的謹慎度,生產(chǎn)者就很容易通過適用發(fā)展風險抗辯進行免責。因為,關于是否已經(jīng)“盡最大能力掌握”本就帶有強烈的主觀性,難以辨別清楚,法官也難以判斷其客觀性,所以應該采用國際標準。在互聯(lián)網(wǎng)與信息發(fā)達的今天,專業(yè)人士去了解專業(yè)的信息并不困難,只要盡到足夠的謹慎,就可以及時得到最新的技術信息。而生產(chǎn)者的團隊里并不缺乏專業(yè)人士,理應及時關注與自己產(chǎn)品相關的技術信息,強化責任意識,最大程度內(nèi)確保產(chǎn)品安全。

    2.完善《產(chǎn)品質(zhì)量法》第41條中關于“風險抗辯條款”規(guī)定

    (1)將“世界最新技術標準”法制化從而實現(xiàn)有法可依。本文建議,將“世界最新技術標準”的表述寫入該條款,并將需要具體考量的細節(jié)等情形詳細列明,將其上升到法律高度。因為確立人工智能發(fā)展風險抗辯制度一定要堅持立法先行,即通過完善法律規(guī)定,將其上升為法定事項,通過完善《產(chǎn)品質(zhì)量法》第41條可以使其真正投入適用,使其不再處于“沉睡狀態(tài)”而更具有操作性,從而彰顯法的價值。

    (2)將“世界最新技術標準”法制化并進行實時調(diào)整。因為目前關于具體采取哪種標準問題并未達成一致規(guī)定,有人支持“國際標準”,有人支持“國內(nèi)標準”,而國際上做法也不一致,這會給我國今后人工智能產(chǎn)品發(fā)展風險抗辯的具體司法實踐帶來一定的困難,畢竟裁判必然要援引法律條款。所以,若要確立人工智能產(chǎn)品責任發(fā)展風險抗辯制度就必須首先解決標準問題,因此,建議盡快補充修改《產(chǎn)品質(zhì)量法》第41條,將“世界最新技術標準”寫入條款中,為司法實踐中法官進行裁判提供確定的法律依據(jù)。同時,根據(jù)實際情況適時調(diào)整法律,堅持立法的先行和導向,確保法律實施的成效。如美國眾議院2017年9月批準的《自動駕駛法案》要求國家高速公路交通安全管理局逐步完善包括自動駕駛汽車在內(nèi)的汽車安全標準或者安全范圍,并要求定期審查和更新。

    3.明確技術標準在實踐過程的具體參考判斷問題

    要明確技術標準在實踐過程的具體參考判斷問題,就需要詳細規(guī)定如何客觀判斷生產(chǎn)者是否已經(jīng)達到了“世界最新技術水平”的問題。只要世界最新技術成果已經(jīng)發(fā)表在公共平臺或者公共報刊等各類媒介時,生產(chǎn)者就應該知曉,即使該成果不是以通俗易懂的文字或者報告公布,也不考慮具體是以中文或者外文形式進行展示,易言之,此時不考慮生產(chǎn)者的認知困境。

    (1)人工智能產(chǎn)品領域適宜適用“世界最新技術標準”以避免生產(chǎn)者的使用發(fā)展風險抗辯而不當免責企圖。在人工智能領域采取如此嚴格之“技術標準”,主要是因為發(fā)展風險抗辯的具體條款本身就是對嚴格責任的例外規(guī)定,適用過程中理應給予嚴格標準而不可寬松,否則人工智能產(chǎn)品生產(chǎn)者如果可以輕易通過適用該條款免責,那么嚴格責任就容易被架空,從而違背了產(chǎn)品責任法保護消費者合法權益的初衷。易言之,如果沒有嚴格責任為基礎,一方面受害者的諸多損害后果無法完成救濟;另一方面社會風險行為無法轉化成侵權責任,也就無法完成風險分配和消解。

    (2)人工智能產(chǎn)品領域適宜適用“世界最新技術標準”以降低產(chǎn)品風險從而確保產(chǎn)品最大程度的安全?,F(xiàn)如今人工智能產(chǎn)品對人類社會的影響可謂廣泛而深刻,人類生活的方方面面都可以接觸到人工智能產(chǎn)品,而且人工智能產(chǎn)品還在各個重要領域占據(jù)一席之地。這就使得人工智能產(chǎn)品的安全問題成為生產(chǎn)者尤其是消費者關注的首要問題。相反,缺陷人工智能產(chǎn)品所造成的后果比較嚴重,因此,必須嚴格控制生產(chǎn)者適用發(fā)展風險抗辯的條件,從源頭上把控風險,從而降低人工智能缺陷產(chǎn)品出現(xiàn)的概率。

    4.運用大數(shù)據(jù)和專業(yè)團隊協(xié)助法院客觀認定“最新技術標準”問題

    在人工智能時代,法院要客觀認定人工智能產(chǎn)品生產(chǎn)者是否真實達到“最新技術標準”,就需要借助先進的數(shù)據(jù)信息、技術手段的支撐和專業(yè)化團隊的支持。因此,我們不得不考慮的問題是,在生產(chǎn)者提出人工智能發(fā)展風險抗辯的司法案例中,生產(chǎn)者主張已經(jīng)達到抗辯的技術標準,但法院實際上很難判斷生產(chǎn)者所言之真實性。因為人工智能涉及信息及其專業(yè)和復雜,讓不具備專業(yè)人工智能技術的法院去查明生產(chǎn)者關于“世界最新技術”證據(jù)的真實性確屬不易,因此法院在認定過程中就會比較被動,容易被生產(chǎn)者的一面之詞蒙蔽。是故,我們需要做好以下兩方面的工作:

    (1)借助專業(yè)人工智能大數(shù)據(jù)信息建立動態(tài)公告平臺以協(xié)助法院客觀認定生產(chǎn)者是否真實達到“最新技術標準”。換言之,非常有必要建立專業(yè)的人工智能相關技術信息庫,以匯集世界范圍內(nèi)的技術信息,利用大數(shù)據(jù)以及智能系統(tǒng)及時檢測更新最新技術信息,設立搜索引擎專門為法院提供協(xié)助。法院可以在人工智能系統(tǒng)搜索相關信息,判斷生產(chǎn)者提出的達標真實性問題,如此將更加便捷的確定人工智能產(chǎn)品是否達到最新科技標準的真?zhèn)螁栴}。

    (2)組建專家學者庫建立協(xié)助平臺以協(xié)助法院客觀認定生產(chǎn)者是否真實達到“最新技術標準”。換句話說,必須組建利用專業(yè)團隊,建立專家學者等多方協(xié)助平臺,同時將其納入科技專家團隊方陣。因為他們對人工智能技術發(fā)展情況更加了解,觀察更具敏銳度,可以為法院提供專業(yè)性的建議,從而協(xié)助法院查明生產(chǎn)者的人工智能產(chǎn)品關于“達到最新技術標準”言辭之真實性,從而有助于實現(xiàn)人工智能時代司法的公正性。

    (二)明確人工智能產(chǎn)品責任發(fā)展風險抗辯適用之時間節(jié)點制度

    確立人工智能發(fā)展風險抗辯制度還需要考慮適用之風險時間節(jié)點以及相關問題,主要解決何為“投入流通”的問題。即應以何時的投入流通為風險時間節(jié)點問題,以及人工智能產(chǎn)品投入流通后因科技發(fā)展發(fā)現(xiàn)缺陷時的處理問題。具體而言:

    1.在立法層面應該盡快明確“投入流通”的含義以及相關問題

    目前一些國家已經(jīng)對此做出規(guī)定,但我國法律尚未規(guī)定“投入流通”的含義。因此,建議參考其他國家相關概念規(guī)定,在《產(chǎn)品質(zhì)量法》第41條中關于人工智能產(chǎn)品發(fā)展風險抗辯條款中進一步詳細規(guī)定“投入流通”的定義,從而解決概念模糊問題。具體來講:

    (1)界定“投入流通”時需要重點考慮兩方面的因素。針對“未投入流通”的產(chǎn)品生產(chǎn)者是可以免責的,因此界定“投入流通”概念尤為重要。具體在界定“投入流通”概念時,應該考慮生產(chǎn)者和消費者的客觀方面和主觀方面等幾個方面的因素。具體來講,在客觀方面,要求產(chǎn)品生產(chǎn)者事實上已經(jīng)將產(chǎn)品投入市場且確實交付消費者。易言之,產(chǎn)品在生產(chǎn)者與消費者之間發(fā)生了所有權的轉移的事實。在主觀方面,要求生產(chǎn)者交付該產(chǎn)品時是基于自己的主觀上的真實意思表示,消費者接受產(chǎn)品也是基于自己做出同意的意思表示,否則就不算是真正的“投入流通”。如例外情形包括但不限于:產(chǎn)品被人偷竊后在市場上銷售。這就不屬于真正的“投入流通”。

    (2)界定“投入流通”時需要考慮其他附帶的問題。同時應該將相關問題寫入法律,例如明確的風險時間節(jié)點,并將其詳細列入發(fā)展風險抗辯條款。還需在法律中明確投入流通后發(fā)現(xiàn)缺陷人工智能產(chǎn)品如何處理的相關規(guī)定,彌補發(fā)展風險抗辯的制度漏洞,使人工智能發(fā)展風險抗辯條款更加合理。畢竟立法前行,法律明確規(guī)定的事項將會更具有操作性。只有借助法律強制性,實施起來也將更加順暢,更加高效,更具公信力。

    2.明確人工智能產(chǎn)品發(fā)展風險抗辯“時間點”為“最后一次投入流通”

    關于產(chǎn)品風險時間節(jié)點問題目前亦沒有明確定論,有人支持以“第一次投入流通”為準,有人則堅持認為應以“最后一次投入流通”為準,即生產(chǎn)者提出發(fā)展風險抗辯時,必須最接近的一批產(chǎn)品投入流通時的發(fā)展水平不足以發(fā)現(xiàn)缺陷才可以,并不是以初始產(chǎn)品投入流通時的技術水平為標準。對人工智能產(chǎn)品而言,本文建議發(fā)展風險抗辯“時間點”為“最后一次投入流通”。理由在于:

    (1)人工智能產(chǎn)品技術要求高更新?lián)Q代快。之所以建議以“最后一次投入流通”為準,是因為人工智能產(chǎn)品投入市場不止一次,而當今世界人工智能技術更迭速度太快,初始流通的智能產(chǎn)品無法發(fā)現(xiàn)的缺陷會隨著技術的迅速發(fā)展被發(fā)現(xiàn)。而生產(chǎn)者也往往必須根據(jù)人工智能技術發(fā)展變化及時更新升級產(chǎn)品,從而彌補設計生產(chǎn)之不合理地方,使商品性能更優(yōu)化而更具有競爭力。

    (2)人工智能產(chǎn)品安全性要求高檢測要求嚴。以“最后一次投入流通”為準,可以有效督促人工智能產(chǎn)品生產(chǎn)者針對每一批次產(chǎn)品做出全面的安全性能監(jiān)測。同時,可以督促生產(chǎn)者及時了解世界最新技術信息以完善人工智能產(chǎn)品安全性,從而更能充分保護消費者權益。從條款的公平正義視角來看,也將使得該條款更加合理,能夠充分實現(xiàn)生產(chǎn)者與消費者之間利益的平衡。

    總之,明確人工智能產(chǎn)品發(fā)展風險抗辯制度中的“風險時間節(jié)點”也要以嚴格控制為原則,在保護人工智能產(chǎn)品生產(chǎn)者積極性的同時,也應該充分考慮消費者利益,嚴禁生產(chǎn)者濫用產(chǎn)品發(fā)展風險抗辯條款逃避責任,從而損害消費者權利,必須充分保證生產(chǎn)者對產(chǎn)品盡到足夠勤勉謹慎義務,從而確保人工智能產(chǎn)品的高度安全性。

    (三)明確人工智能產(chǎn)品責任發(fā)展風險抗辯適用之主體資格制度

    確立人工智能產(chǎn)品責任發(fā)展風險抗辯制度還需要明確的一個問題,就是申請人主體資格。有人認為只有生產(chǎn)者才可以提起申請,有人認為設計研發(fā)者也可以提起申請,目前尚無統(tǒng)一定論。另外,關于申請主體資格問題還涉及是否考慮將設計者也納入責任主體體系,以及具體如何讓設計者承擔責任,生產(chǎn)者與設計者之間如何劃分責任等一系列問題。

    1.明確規(guī)定人工智能產(chǎn)品設計者與生產(chǎn)者都有提起抗辯的主體資格

    (1)人工智能產(chǎn)品設計者與生產(chǎn)者分別掌握人工智能產(chǎn)品研發(fā)應用的不同環(huán)節(jié)而彼此可能完全獨立。設計者對人工智能產(chǎn)品設計環(huán)節(jié)的相關專業(yè)技術更加了解,在產(chǎn)品研發(fā)時候有義務關注研發(fā)環(huán)節(jié)的世界最新技術;而生產(chǎn)者根據(jù)設計者的研發(fā)成果組織人工智能產(chǎn)品的生產(chǎn)制造。因此生產(chǎn)者主要掌握人工智能產(chǎn)品制造過程中所涉及的安全問題,所以會對生產(chǎn)制造的最新技術重點關注了解,而對于設計環(huán)節(jié)的安全問題無法接觸了解,更無從下手。

    (2)人工智能產(chǎn)品缺陷包括設計缺陷、生產(chǎn)缺陷和警示缺陷。其中屬于產(chǎn)品發(fā)展風險的缺陷一般都包括設計缺陷和警示缺陷。設計缺陷對應設計者,警示缺陷對應生產(chǎn)者。因此,既然人工智能產(chǎn)品缺陷包括設計缺陷與警示缺陷,那么在考慮人工智能發(fā)展風險抗辯制度時應該將設計者包含進去,在生產(chǎn)者之外也要允許設計者針對設計缺陷提起發(fā)展水平抗辯。

    因此,建議在《產(chǎn)品質(zhì)量法》中明確規(guī)定人工智能產(chǎn)品生產(chǎn)者和設計者都可以提起發(fā)展風險抗辯的相關內(nèi)容,還可以規(guī)定他們的抗辯權利互不影響。也就是說,生產(chǎn)者提起抗辯的,不影響設計者提起抗辯的權利,設計者提起抗辯的,不影響生產(chǎn)者提起抗辯的權利。正如有學者所言,將發(fā)展風險作為人工智能產(chǎn)品設計者、生產(chǎn)者的免責事由,更能公平保障各方的權益。

    2.明確將人工智能設計者納入產(chǎn)品責任主體體系

    (1)基于權利義務責任的統(tǒng)一性有必要充分考慮將設計者納入產(chǎn)品責任主體體系。權利、義務、責任是一一對應的關系,有權利就有義務有責任。既然賦予人工智能產(chǎn)品設計者提起發(fā)展風險抗辯的權利,那么就應該將其也納入人工智能產(chǎn)品責任主體體系。如果查明人工智能缺陷產(chǎn)品損害結果是由設計缺陷引起的,且不存在免責事由,則設計者應當承擔相應的賠償責任。

    (2)基于人工智能產(chǎn)品的特殊性有必要充分考慮將設計者納入產(chǎn)品責任主體體系。因為人工智能產(chǎn)品不同于一般產(chǎn)品,其必然涉及大量的數(shù)據(jù)與復雜的算法基礎,專業(yè)要求度極高。因此,設計者之外的非專業(yè)人士難以接觸,更無法了解設計中的相關技術。所以,發(fā)現(xiàn)設計缺陷的可能性極低,只有設計者才能完全掌握創(chuàng)新產(chǎn)品的過程。因此很有必要將其納入產(chǎn)品責任主體體系。

    是故,需要在加強人工智能產(chǎn)品設計者的倫理道德規(guī)范約束的前提下,同時在《產(chǎn)品質(zhì)量法》中明確規(guī)定人工智能產(chǎn)品設計者的權利、義務以及責任,通過強制性的法律規(guī)定正式將設計者納入產(chǎn)品責任體系,使其受法律約束,督促其謹慎設計,盡可能減少因設計缺陷引起的損害,從設計源頭降低人工智能產(chǎn)品的安全風險。

    3.明確讓人工智能產(chǎn)品設計者承擔責任的現(xiàn)實路徑

    (1)強制規(guī)定產(chǎn)品包裝上增加設計單位和個人等相關信息。鑒于設計單位和個人信息的隱蔽性,應該強制要求在人工智能產(chǎn)品包裝上增加設計者、設計團隊或者設計單位標識,尤其是人工智能機器人、人工智能大型醫(yī)療設備等特殊人工智能產(chǎn)品。只有如此,消費者可以直觀發(fā)現(xiàn)設計者,主張權利對象將更加明確,從而更有利于保護消費者。

    (2)規(guī)定消費者可以直接向設計者主張賠償權利。由于設計者往往不直接接觸消費者,消費者在主張損害賠償?shù)臅r候難以發(fā)現(xiàn)設計者,因此建議:擴寬消費者主張權利的對象范圍,即允許消費者在就產(chǎn)品損害主張賠償時,既可以向生產(chǎn)者、銷售者主張賠償,也可以直接向設計者主張權利,且設計者不可要求消費者先向生產(chǎn)者尋求賠償,從而明確規(guī)定生產(chǎn)者、銷售者以及設計者就缺陷人工智能產(chǎn)品損害承擔連帶責任。美國第三巡回法院曾經(jīng)做出過一個判決,載人航空器設計者對該案件承擔無過錯責任。美國的《侵權法重述(第三版)》中的產(chǎn)品責任主體加入了產(chǎn)品設計者,并要求他們承擔過錯責任。

    4.明確人工智能產(chǎn)品設計者與生產(chǎn)者之間的責任劃分并允許設計者進行追償

    (1)明確人工智能產(chǎn)品設計者與生產(chǎn)者各負其責。通過法律規(guī)定厘清生產(chǎn)者與設計者各自的責任劃分和責任承擔范圍,即生產(chǎn)者就人工智能產(chǎn)品的生產(chǎn)制造中的警示缺陷承擔賠償責任,設計者就人工智能產(chǎn)品的設計缺陷承擔責任。當然,雙方都可以就自己負責環(huán)節(jié)申請產(chǎn)品責任發(fā)展風險抗辯。

    (2)明確消費者可以選擇向人工智能產(chǎn)品設計者與生產(chǎn)者起訴。雖然消費者在主張賠償時候可以不做區(qū)分,自由選擇起訴,但應該明確生產(chǎn)者和設計者的責任劃分,若損害不是因自己負責的環(huán)節(jié)而產(chǎn)生,允許任何一方在承擔現(xiàn)行賠償責任后,向另外一方追償。

    綜上,確立人工智能發(fā)展風險抗辯制度時,抗辯主體資格問題以及相關系列問題也應該予以充分考慮,從而使人工智能產(chǎn)品發(fā)展風險抗辯的相關規(guī)定更加合理更加完善,在激勵人工智能產(chǎn)業(yè)蓬勃發(fā)展的同時,能夠給予消費者充分的消費安全保護。

    (四)明確人工智能產(chǎn)品責任發(fā)展風險抗辯適用之請求時效制度

    確立人工智能產(chǎn)品責任發(fā)展風險抗辯制度必須明確的一個重要問題就是產(chǎn)品發(fā)展風險抗辯的時間范圍。明確了人工智能產(chǎn)品責任發(fā)展風險抗辯適用之時間節(jié)點制度主要解決的是起算時間問題,實質(zhì)上,還需要確定發(fā)展風險抗辯適用之終點問題。

    從普通產(chǎn)品責任的訴訟時效來看,由于《民法通則》規(guī)定的1年的時效期間與《產(chǎn)品質(zhì)量法》規(guī)定的2年的時效期間明顯不同,因此也常常引起不必要的混淆。學界目前比較一致的觀點是,他們都認為產(chǎn)品交易違反擔保的違約之訴適用《民法通則》規(guī)定的1年的時效規(guī)定,而缺陷產(chǎn)品侵權致?lián)p引起的侵權之訴適用《產(chǎn)品質(zhì)量法》規(guī)定的2年的時效規(guī)定。這種考慮對于保護廣大消費者權益更為有利。從普通產(chǎn)品責任的請求權期間來看,其請求權也不是沒有終點。易言之,受害人的損害賠償請求權因超過存續(xù)時間也會歸于消滅。在此情形下,生產(chǎn)者的產(chǎn)品責任即可以被免除。關于請求權的存續(xù)時間,絕大多數(shù)國家均規(guī)定為十年(詳見下表,例外如巴西規(guī)定為5年,中國臺灣地區(qū)規(guī)定為2年,此為例外之一)。當然,十年也不是絕對的,如美國《統(tǒng)一產(chǎn)品責任示范法》第110條B款2項對責任期限作了限制性規(guī)定,在四種情況下,請求權的期限還可適當延長。

    我國在《產(chǎn)品質(zhì)量法》中的規(guī)定為10年,從造成損害之缺陷產(chǎn)品交付給最初之消費者滿10年喪失,但沒有超過明示的安全使用期的產(chǎn)品除外。該規(guī)定是符合國際通說的,也是有利有弊。利在對于生產(chǎn)者而言,可以避免漫無邊際的產(chǎn)品責任,尤其對那些使用過的產(chǎn)品而言。而弊在于,因為對于各種不同種類的生產(chǎn)者來說,一個統(tǒng)一的一致的適用期間是否合適仍然值得探討。尤其是一方面,人工智能產(chǎn)品更新?lián)Q代特別快,另一方面,不同類別的人工智能產(chǎn)品因個體差異及其工藝過程等不同,其性能、用途、使用年限也不同,對其適用統(tǒng)一的責任期間,難免會使得利益差別對待而顯得不公。因此,不同的人工智能產(chǎn)品如果設定一個統(tǒng)一時間也難免不合時宜。

    因此,針對人工智能產(chǎn)品的特殊性,本文建議,可以借鑒法國10年的限制規(guī)定,但是在起算時間范圍點,應該修改為自造成損害的缺陷產(chǎn)品投入流通之日起算。關于第三點產(chǎn)品的使用期限,美國《統(tǒng)一產(chǎn)品責任示范法》第109條進行了規(guī)定,即“產(chǎn)品出售者應對其產(chǎn)品在它的有效銷售期限內(nèi)所造成的損害負責?!币虼?,這就表明超過有效期限,生產(chǎn)者可以不承擔責任,也就是說生產(chǎn)者可以適用發(fā)展風險抗辯制度。同時,為兼顧消費者利益,還應補充規(guī)定以下三種例外情形:其一是人工智能產(chǎn)品生產(chǎn)者故意虛偽陳述或者運用欺詐等手段隱瞞人工智能產(chǎn)品的有關信息;其二是人工智能產(chǎn)品在交付給消費者時就已經(jīng)存在缺陷,但在10年后才被一般人所發(fā)現(xiàn);其三是損害是由于長期使用人工智能缺陷產(chǎn)品所造成,也就是如在體內(nèi)蓄積所引起的損害,也可以說是使用人工智能產(chǎn)品時已經(jīng)造成了損害,但由于程度較輕,在10年以后才得以充分顯現(xiàn)的情況。

    三、建立我國人工智能產(chǎn)品責任之發(fā)展風險抗辯的配套制度

    科技進步導致對風險分配的新認識,因為社會的發(fā)展導致有能力發(fā)現(xiàn)原產(chǎn)品的新風險。因此,確定人工智能產(chǎn)品責任發(fā)展風險抗辯之時間點界限后就不得不考慮,若“最后一次投入流通”時科技水平不足以發(fā)現(xiàn)風險,但是產(chǎn)品投入流通后一段時間內(nèi)生產(chǎn)者又發(fā)現(xiàn)了缺陷,這種情況應該如何處理的問題,是否應該通過法律條文或者相關制度進行明確?關于這一點,我國目前并沒有在法律中專門規(guī)定后續(xù)觀察義務,而許多國家已經(jīng)針對此問題專門做了規(guī)定,實際實施效果很好。因此我國應該確立該系列配套制度。

    (一)建立人工智能產(chǎn)品生產(chǎn)者的跟蹤觀察制度

    生產(chǎn)者因?qū)a(chǎn)品投入流通而開啟了危險,因此其應當采取所有可期待的措施,以控制由其產(chǎn)生的風險,這就是產(chǎn)品跟蹤觀察義務。國內(nèi)學者將“跟蹤觀察義務”界定為,產(chǎn)品投入流通以后,生產(chǎn)者和銷售者應當繼續(xù)跟蹤觀察,如果產(chǎn)品在使用中存在可能危害消費者、使用者等危險,生產(chǎn)者和銷售者就有義務對此種危險采取措施,以減少危險的發(fā)生。人工智能產(chǎn)品跟蹤觀察制度的內(nèi)容及實施方面:人工智能產(chǎn)品跟蹤觀察制度要求生產(chǎn)者將人工智能產(chǎn)品投入市場之后并非萬事大吉,而是依然需要將產(chǎn)品責任負責到底,即及時利用自己不斷更新的技術措施跟蹤觀察投入市場的產(chǎn)品情況。這就已經(jīng)表明,人工智能產(chǎn)品生產(chǎn)者是跟蹤觀察義務主體。但是,因為人工智能產(chǎn)品的全球化趨勢明顯,因此,人工智能產(chǎn)品的進口商也在履行跟蹤觀察義務者之列。跟蹤觀察義務主要是指對產(chǎn)品投入流通后的產(chǎn)品質(zhì)量狀態(tài)進行跟蹤以期及時發(fā)現(xiàn)產(chǎn)品于交付前不知之弱點與瑕疵,以及獲得關于該產(chǎn)品之可靠性、生命周期、操作風險等資料。因此,生產(chǎn)者的跟蹤觀察義務主要是獲取與產(chǎn)品安全相關的一切信息。具體途徑是,內(nèi)部渠道包括生產(chǎn)環(huán)節(jié)、產(chǎn)品測試環(huán)節(jié)等;外部渠道包括售后服務、營銷網(wǎng)絡、競爭對手的產(chǎn)品情況、行政機構告知的信息等。具體來講,人工智能產(chǎn)品生產(chǎn)企業(yè)的跟蹤觀察義務具體包括但不限于:

    1.建立人工智能產(chǎn)品生產(chǎn)企業(yè)的內(nèi)部產(chǎn)品質(zhì)量監(jiān)控機制

    建立人工智能生產(chǎn)企業(yè)內(nèi)部質(zhì)量監(jiān)控機制,主要從兩個方面著手:一方面,監(jiān)控人工智能產(chǎn)品在制售前各個環(huán)節(jié)的各項安全指標;另一方面,跟蹤監(jiān)控其制售后各個環(huán)節(jié)的安全保障情況。即生產(chǎn)者應當主動獲取和分析與自己產(chǎn)品安全有關的信息,從而形成自己產(chǎn)品是否存在危險的判斷的義務。這樣做的目的,旨在通過產(chǎn)品制售前后市場調(diào)查、售后服務、產(chǎn)品自查等方法,及時發(fā)現(xiàn)產(chǎn)品可能存在和逐步凸顯的潛在風險并進行整改。一旦觀察到該產(chǎn)品經(jīng)常發(fā)生危險,對于尚未進入生產(chǎn)或進入市場的產(chǎn)品須為改善之必要措施;對已進入市場之產(chǎn)品則事后須采取相關危險預防措施。從而不但為已有產(chǎn)品的質(zhì)量把好關,同時也為新產(chǎn)品的研發(fā)提供機制參考。同時,除了把精力放在現(xiàn)有的人工智能產(chǎn)品的安全上,還要緊盯本領域人工智能產(chǎn)品的知識和技術的最新發(fā)展尤其是確保安全的技術方面的發(fā)展。

    2.建立人工智能產(chǎn)品生產(chǎn)企業(yè)的外部產(chǎn)品信息反饋機制

    在產(chǎn)品投入流通以后,生產(chǎn)者要通過收集信息、分析信息,從而了解其產(chǎn)品經(jīng)過使用(包括錯誤的使用)是否被證明是安全可靠的。因此,建立人工智能生產(chǎn)企業(yè)外部信息反饋機制,旨在通過設立和完善消費者投訴機制、人工智能產(chǎn)品使用意見反饋機制以及定期上報監(jiān)管部門機制等方式,及時收集廣大消費者、市場監(jiān)管者和社會其他人員對人工智能產(chǎn)品的投訴意見和反饋信息,通過梳理這些反饋信息,針對相關產(chǎn)品進行產(chǎn)品質(zhì)量的創(chuàng)新和提升,從而整體上提高人工智能產(chǎn)品的質(zhì)量。對于不同的產(chǎn)品,在設計信息反饋機制時的標準也不一樣,如美國在2008年由總統(tǒng)簽署的《消費者產(chǎn)品安全強化法案》將兒童用具納入強制溯源的范疇之中。這一點也值得我們借鑒。

    3.建立人工智能產(chǎn)品生產(chǎn)企業(yè)的產(chǎn)品質(zhì)量回訪和和應對機制

    建立產(chǎn)品質(zhì)量回訪和應對機制旨在收集產(chǎn)品使用者對產(chǎn)品質(zhì)量的評價信息并及時做出反應從而確保產(chǎn)品質(zhì)量。生產(chǎn)者應當接受消費者就自己產(chǎn)品致?lián)p事件和產(chǎn)品不安全性的投訴,收集、分析這些信息并進行驗證的義務。如果已經(jīng)發(fā)現(xiàn)了線索,生產(chǎn)者應當通過產(chǎn)品測試或委托他人進行研究等方式,確認產(chǎn)品是否存在危險。倘若發(fā)現(xiàn)人工智能產(chǎn)品存在缺陷問題,就要及時采取所有一切措施避免使該缺陷產(chǎn)品給消費者帶來損害。易言之,若發(fā)現(xiàn)缺陷時損害尚未發(fā)生,人工智能產(chǎn)品生產(chǎn)者應以最快速度,在第一時間通知消費者及相關部門,告知缺陷詳情,然后采取具體的制度措施召回產(chǎn)品,利用更新的新技術重新檢測升級。

    4.建立人工智能產(chǎn)品生產(chǎn)企業(yè)的職能部門或行業(yè)主管部門監(jiān)管機制

    人工智能產(chǎn)品生產(chǎn)企業(yè)必須配合國家有關職能部門或行業(yè)主管部門的監(jiān)管,因此也必須建立和完善相關的制度機制。當監(jiān)管部門責令人工智能產(chǎn)品生產(chǎn)企業(yè)建立和完善產(chǎn)品回訪、投訴、反饋、應對等機制,從法律規(guī)范的高度嚴格督促其履行跟蹤觀察義務時必須予以配合和協(xié)助。所以,在建立跟蹤觀察制度前提下,如果人工智能產(chǎn)品生產(chǎn)者在產(chǎn)品投入流通時,因科學技術限制無法發(fā)現(xiàn)缺陷,而投入流通后因技術發(fā)展發(fā)現(xiàn)問題,此時生產(chǎn)者必須有所作為,如果消極不作為,就喪失主張發(fā)展風險抗辯的相關權利。

    總之,我國應當確立人工智能產(chǎn)品生產(chǎn)者的跟蹤觀察義務并形成制度。即通過相關法律對其進行詳細規(guī)定,包括明確規(guī)定生產(chǎn)者具體的義務,若不履行義務則不允許其進行發(fā)展風險抗辯等內(nèi)容,從而約束生產(chǎn)者,使其盡到充分的持續(xù)監(jiān)測產(chǎn)品風險的義務。

    (二)建立人工智能產(chǎn)品生產(chǎn)者的勤勉警示制度

    有學者將警示義務和召回義務稱為反應義務并認為是最重要的反應義務。國內(nèi)學者將“產(chǎn)品售后警示義務”界定為,生產(chǎn)者、銷售者對產(chǎn)品投入流通后發(fā)現(xiàn)的不合理的危險予以警告和指示的義務。警告是指提醒產(chǎn)品使用者以及第三人注意產(chǎn)品的危險。指示是指告知產(chǎn)品使用者以及第三人如何控制和避免產(chǎn)品的危險。由于人工智能產(chǎn)品發(fā)展風險抗辯制度可以使生產(chǎn)者對于產(chǎn)品投入流通時不能發(fā)現(xiàn)的缺陷導致的損害免于承擔責任,因此,為了不使得消費者的權利縮水和打折扣,為了進一步平衡人工智能時代消費者與生產(chǎn)者之間的利益平衡,我國應該借鑒國外經(jīng)驗,建立健全人工智能產(chǎn)品生產(chǎn)者的勤勉警示制度。需要注意的是,警示義務分為售前警示義務和售后警示義務。因為售前警示義務已經(jīng)在我國《產(chǎn)品質(zhì)量法》第15條和《消費者權益保護法》第18條有相關規(guī)定,而售后警示義務目前尚無相關規(guī)定,因此,這里主要談及人工智能產(chǎn)品生產(chǎn)者的售后警示義務。

    人工智能產(chǎn)品生產(chǎn)者勤勉警示義務的內(nèi)容及實施:勤勉警示制度要求人工智能產(chǎn)品生產(chǎn)者需要對已經(jīng)投入流通并已經(jīng)脫離其控制的產(chǎn)品的安全使用進行持續(xù)的監(jiān)控,一旦發(fā)現(xiàn)缺陷存在,立即采取必要的警示措施。換句話說,若生產(chǎn)者知道產(chǎn)品缺陷存在,或能夠知道產(chǎn)品缺陷存在,或由于疏忽未知產(chǎn)品缺陷存在的,生產(chǎn)者無任何時間限制的承擔產(chǎn)品責任。這也是基于“允許風險分配的大前提下,注意義務是關于某個行為人是否對他人之間存在法律關系,并且指向行為人應該或如何避免傷害他人”。因此,有關產(chǎn)品安全的信息會成為生產(chǎn)者持續(xù)勤勉關心的事情。人工智能產(chǎn)品生產(chǎn)者將勤勉努力地希望了解所有可合理獲知的產(chǎn)品缺陷信息。這樣生產(chǎn)者需要勤勉地測試其產(chǎn)品的安全性能,如果可行,生產(chǎn)者會實施最終用戶的售后安全監(jiān)測,建立一定的規(guī)程盡可能地收集有關產(chǎn)品缺陷的信息。經(jīng)過勤勉地測試和監(jiān)控,如果發(fā)現(xiàn)缺陷,生產(chǎn)者應該考慮采取適當措施避免損害的發(fā)生。適當措施根據(jù)具體情況可包括但不限于:向公眾發(fā)布有關缺陷的警示信息,提供免費修理或通過召回免費更換無缺陷產(chǎn)品。

    我國2009年12月26日通過的《侵權責任法》第46條也有類似的規(guī)定,即“產(chǎn)品投入流通后發(fā)現(xiàn)存在缺陷的,生產(chǎn)者、銷售者應當及時采取警示、召回等補救措施。未及時采取補救措施或者補救措施不力造成損害的,應當承擔侵權責任。”雖然德國學者Bollweg認為是“現(xiàn)代化的規(guī)定,它實現(xiàn)了對消費者的全面保護,可以成為西方國家法制的榜樣”。但是其實很不完善,難以適應人工智能時代人工智能產(chǎn)品的需要。國家新一代人工智能治理專業(yè)委員會2019年6月發(fā)布的《新一代人工智能治理原則——發(fā)展負責任的人工智能》提出“人工智能應用過程中應確保人類知情權,告知可能產(chǎn)生的風險和影響”。結合法律規(guī)定和治理原則,本文建議對人工智能產(chǎn)品生產(chǎn)者的發(fā)展風險抗辯做進一步的限制,即規(guī)定如果生產(chǎn)者未對其制造的產(chǎn)品履行持續(xù)謹慎觀察義務的不得主張發(fā)展風險抗辯。同時,警示的內(nèi)容方面,具體包括但不限于詳細規(guī)定需要警示時間、警示對象、警示程度、警示方式以及不進行警示的責任后果等等。具體來講,人工智能產(chǎn)品生產(chǎn)企業(yè)的勤勉警示義務具體包括但不限于:

    1.確定警示時間

    基于人工智能產(chǎn)品呈現(xiàn)出進入市場快速、種類數(shù)量繁多以及更新迭代頻繁等特點,因此應當對潛在的缺陷產(chǎn)品及時予以警示,至遲應控制在生產(chǎn)者知道或應當知道人工智能產(chǎn)品缺陷的一個合理時間內(nèi)。這一“合理時間”如何判斷,還要結合具體根據(jù)人工智能產(chǎn)品的性質(zhì)特點、科技含量、危害程度、上市數(shù)量、上市速度等因素進行考慮而定。

    2.確定警示對象

    生產(chǎn)者可以對銷售者發(fā)出警示,也可以直接對消費者發(fā)出警示。通常來說,單純向銷售者警示是不夠的。警示也不能僅僅向最初的購買人作出,如果可以合理預見到產(chǎn)品將被第三人使用,或者給第三人帶來威脅,還應當對第三人發(fā)出警示。人工智能產(chǎn)品缺陷警示對象范圍的大小決定了人工智能產(chǎn)品生產(chǎn)者義務的大小程度和消費者權益的保障程度,因此尤其重要?;谌斯ぶ悄軙r代訊息傳遞的時間快、范圍廣和數(shù)量大等特點,警示的對象范圍并不是要求實際通知到該缺陷產(chǎn)品的每一個實際使用人,只要人工智能生產(chǎn)企業(yè)以“廣而告之”的方式通過必要渠道有效傳遞給使用人,就可以推定其已履行了警示義務。這一點類似于美國北達科他州高級法院審理的一起車胎輪企業(yè)告知義務案件。

    3.確定警示程度

    警示應當使相對人能夠理解危險,并能夠采取措施避免自己和第三人遭受損害。因此,警示程度的確定應該依賴于產(chǎn)品的致?lián)p程度。易言之,受害人遭受損害之權利的位階也有一定的影響,位階越高的權利受損,行為人承擔損害的可能性或數(shù)量就越大,因此實施的警示程度就高?;诓煌愋偷娜斯ぶ悄墚a(chǎn)品的致害程度不一,因此需要進行差異化的考量和分析。具體警示到什么程度取決于是否能夠使消費者正確地、充分地認識到產(chǎn)品的危險。即不同的警示程度要求與人工智能產(chǎn)品不同的危險程度相匹配。警示程度旨在“使消費者有能力識別出產(chǎn)品的可能危險和采取避免危險措施的義務”從而有效避免或減少人工智能產(chǎn)品缺陷產(chǎn)品帶來的損害或損害發(fā)生的可能程度。因此,至少通過警示,能將損害或潛在損害控制在最低限度內(nèi)為好。

    4.確定警示方式

    生產(chǎn)者可以通過給銷售者發(fā)信、給消費者發(fā)信,或者借助大眾媒體等方式發(fā)出警示。當然,警示方式應該隨著人工智能時代的到來而進行創(chuàng)新和發(fā)展。人工智能產(chǎn)品缺陷警示的方式應當不必局限于以上警告方式。人工智能產(chǎn)品生產(chǎn)企業(yè)、銷售企業(yè)可以通過內(nèi)部、外部的各類警示機制,借助發(fā)達的人工智能通訊系統(tǒng)和網(wǎng)絡傳媒,通過充分履行售后警示義務,讓人工智能產(chǎn)品消費者能夠明了產(chǎn)品使用中的各種規(guī)則,充分保證受教育權的實現(xiàn)。

    (三)建立人工智能產(chǎn)品生產(chǎn)者的產(chǎn)品召回制度

    召回是指生產(chǎn)者通過免費的維修、更換、回購的方式來排除產(chǎn)品的危險。國內(nèi)學者將“產(chǎn)品召回制度”界定為產(chǎn)品的生產(chǎn)者或銷售者對于其生產(chǎn)、銷售或進口的產(chǎn)品,當存在缺陷,可能或者已經(jīng)危害消費者人身、財產(chǎn)安全時,依法向主管機構報告并及時通知消費者,對缺陷產(chǎn)品進行免費維修、更換或收回,主管機構對整個過程進行監(jiān)督的制度。為了防止人工智能產(chǎn)品生產(chǎn)者通過抗辯免責后的懈怠態(tài)度以及不作為從而讓消費者的權利得不到充分的保障。除了為生產(chǎn)者設定跟蹤觀察義務和勤勉警示義務之外,還設定了產(chǎn)品召回義務。產(chǎn)品召回制度是為了克服人工智能產(chǎn)品發(fā)展風險抗辯制度帶來的弊端而采取的又一項保護消費者的彌補措施。至于產(chǎn)品召回制度在法律性質(zhì)上究竟是屬于法定義務還是法律責任,關鍵在于如何認識現(xiàn)代社會中法律責任的新發(fā)展。本文在這里不做探討。

    因為生產(chǎn)者具備充足的優(yōu)勢條件,所以生產(chǎn)者實際上很容易通過發(fā)展風險抗辯免除責任。若不規(guī)定生產(chǎn)者的后期補救義務,就會使生產(chǎn)者放松謹慎心理,實現(xiàn)永久性免責,從而讓消費者處于不利地位而有違公平。美國建立了存在侵害風險的自動駕駛汽車召回制度,剝奪了肇事車輛上路行駛的資格,以避免它的人工智能系統(tǒng)再次做出侵害他人的《指令》。我國現(xiàn)在已經(jīng)在部分產(chǎn)品領域確立產(chǎn)品召回制度,本文建議應該進一步完善針對人工智能產(chǎn)品的召回制度條款,即將人工智能產(chǎn)品納入召回范圍,并加以區(qū)分和類型化,對于特殊智能產(chǎn)品應確立專門的召回程序以及更加嚴格的召回標準。具體來講,人工智能產(chǎn)品生產(chǎn)企業(yè)的產(chǎn)品召回義務具體包括但不限于:

    1.召回范圍方面

    由于人工智能產(chǎn)品的高科技性,產(chǎn)品缺陷是一種系統(tǒng)性缺陷以及致?lián)p的嚴重性等情況,因此就人工智能產(chǎn)品召回范圍而言,應當不限于特定類型的產(chǎn)品。易言之,當人工智能產(chǎn)品缺陷造成損害的個案一旦發(fā)生,生產(chǎn)者、銷售者就應該將同類產(chǎn)品全部予以召回,從而實現(xiàn)產(chǎn)品召回制度的價值,以確保人工智能產(chǎn)品消費者的合法權益得到充分的保障。另外,如果產(chǎn)品導致人身或財產(chǎn)損害的嚴重性超過了產(chǎn)品的價值,就應當停止產(chǎn)品的銷售。同時,更改產(chǎn)品的設計方案;改進生產(chǎn)流程以降低制造缺陷;或者完善產(chǎn)品的售前警示。

    2.召回方式方面

    召回方式包括自愿召回和強制召回。自愿召回又稱為主動召回,其是指當人工智能產(chǎn)品生產(chǎn)者、銷售者發(fā)現(xiàn)產(chǎn)品發(fā)生缺陷,可能或已經(jīng)造成人身、財產(chǎn)損害時,按照相關法律規(guī)定或行業(yè)規(guī)定,將召回的原因、時間、措施等信息報告相關的行政主管機構,以便備案與監(jiān)管。通過其內(nèi)部機制召回產(chǎn)品,并進行檢查、維修或退換貨。強制召回又稱為責令召回,其是指國家公權力強迫人工智能產(chǎn)品生產(chǎn)者、銷售者不愿召回或召回不當時。召回主體是相應的主管機關;召回方式是以責令的方式進行;召回內(nèi)容是要求生產(chǎn)者、銷售者履行召回義務;召回責任是如果不履行,則予以實施警告、罰款等。

    3.召回費用方面

    人工智能產(chǎn)品在召回時還涉及相應費用的負擔問題。對于生產(chǎn)者履行召回義務時的費用到底應該由誰負擔,國外理論上存在三種不同的看法。一是認為生產(chǎn)者要承擔所有的費用(包括運輸費、修理費,甚至以銷售價格回購產(chǎn)品等);二是認為消費者應當自己承擔移送費用(包括將產(chǎn)品送到生產(chǎn)者或其經(jīng)銷商處的費用),其他的費用由生產(chǎn)者承擔。三是認為在有條件的召回前提下,消費者要分擔部分召回的費用。本文主張,應當由生產(chǎn)者負擔人工智能產(chǎn)品召回的費用,其法律依據(jù)是《缺陷汽車產(chǎn)品召回管理條例》第19條第2款的規(guī)定。

    四、我國人工智能產(chǎn)品責任之發(fā)展風險抗辯基本制度與配套制度的銜接

    發(fā)展風險抗辯基本制度與配套制度(即產(chǎn)品后續(xù)觀察制度)可以進行銜接。隨著科技的發(fā)展,使得能夠發(fā)現(xiàn)產(chǎn)品風險之時點為界進行責任劃分:對于這之前的科技水平無法發(fā)現(xiàn)的產(chǎn)品風險所導致的損害,生產(chǎn)者是可以依發(fā)展風險抗辯免除嚴格產(chǎn)品責任。而對于這之后該風險所導致的損害,如果生產(chǎn)者沒有嚴格履行產(chǎn)品后續(xù)觀察義務則承擔相應責任,因此產(chǎn)品后續(xù)觀察義務可與發(fā)展風險抗辯在制度上形成銜接。

    (一)基本制度是人工智能產(chǎn)品適用發(fā)展風險抗辯的基礎和前提條件

    1.基本制度的各項指標是適用發(fā)展風險抗辯的核心考量內(nèi)容

    毋庸置疑,我國人工智能產(chǎn)品責任之發(fā)展風險抗辯基本制度是適用產(chǎn)品發(fā)展風險抗辯的基礎和前提條件,也是適用時需要考量的核心內(nèi)容,諸如人工智能產(chǎn)品的技術標準、時間節(jié)點、主體資格和請求時效等等。易言之,如果人工智能產(chǎn)品生產(chǎn)企業(yè)要適用發(fā)展風險抗辯制度,首先就要對基本制度中的技術標準制度、時間節(jié)點制度、主體資格制度和請求時效制度涉及到的相關標準、相關內(nèi)容、相關范圍、相關程序等進行詳細考量從而決定符不符合相關條件,能不能夠具體適用。具體來講,只有這些條件的每一項都符合且整體符合才能適用,只要一個條件不符合就不得適用。如針對我國到底該不該適用產(chǎn)品發(fā)展風險抗辯制度的問題上,有學者主張以《產(chǎn)品質(zhì)量法》第41條為依據(jù),承認產(chǎn)品發(fā)展風險抗辯,并以“國際性的科學最新發(fā)展水平”作為科學技術水平的標準。這些都體現(xiàn)了基本制度是適用產(chǎn)品發(fā)展風險抗辯的基礎和前提條件。

    2.基本制度的內(nèi)容又是存在爭論最多的部分但沒有影響到適用

    很顯然,通過梳理國內(nèi)外文獻,我們發(fā)現(xiàn)關于基本制度的核心內(nèi)容也是存在爭論最多的部分,可以說,幾乎每一個要點都存在巨大的爭論。不過,雖然從“developmentrisk”的解釋、采納主觀標準還是客觀標準、采納絕對標準還是合理標準、投入流通的時間起點和終點如何計算……等等一系列問題都充滿了各種分歧和爭論(似乎這個制度中的每一個問題都存在著爭論)。但是,目前很多國家已經(jīng)接受產(chǎn)品發(fā)展風險抗辯制度,并且在基本制度的內(nèi)容方面已經(jīng)逐步達成共識。不可否認的是,部分爭論還在持續(xù)之中,不過這些都沒有實質(zhì)影響到其廣泛地被適用。在人工智能時代,人工智能產(chǎn)品要適用發(fā)展風險抗辯制度也將帶來不少的爭論,當然,這種爭論中的部分可能是基于人工智能產(chǎn)品的特殊性而產(chǎn)生,而并不完全是基于傳統(tǒng)的意見分歧而產(chǎn)生。

    (二)配套制度是人工智能產(chǎn)品適用發(fā)展風險抗辯的補充和后續(xù)條件

    1.配套制度與基本制度之間的“沖突”

    有學者指出,產(chǎn)品發(fā)展風險抗辯制度的適用會縱容生產(chǎn)者對開發(fā)缺陷產(chǎn)品采取聽之任之的消極態(tài)度,使召回制度難以實施,從而危及公共安全和社會公眾的利益。還有學者認為,如果允許發(fā)展缺陷抗辯的存在,產(chǎn)品的后續(xù)觀察義務就失去了存在的基礎。學者們所要表達的意思是配套制度與基本制度之間存在“沖突”。學者們關于產(chǎn)品發(fā)展風險抗辯制度與產(chǎn)品召回制度、跟蹤觀察制度以及勤勉警示制度之矛盾的論證原理都是一致的。其中最核心的觀點就是,割裂了產(chǎn)品發(fā)展風險抗辯基本制度與配套制度的關系,認為只能適用其中之一。這些認識出現(xiàn)也有具體的原因或者理由:

    (1)法律位階相同導致的沖突。我國《侵權責任法》與《產(chǎn)品質(zhì)量法》同屬于基本法,皆由全國人大常委會審議通過,因此法律位階相同。這就由此導致兩法在發(fā)生沖突時存在如何適用的問題。一方面,如果遵循“特別法優(yōu)于普通法”原則,那么作為特別法的《產(chǎn)品質(zhì)量法》則應該優(yōu)先于作為普通法的《侵權責任法》,此時適用發(fā)展風險抗辯制度就變得理所當然。另一方面,如果遵循“新法優(yōu)于舊法”原則,那么規(guī)定發(fā)展風險抗辯制度的《產(chǎn)品質(zhì)量法》則應該讓位于規(guī)定后續(xù)觀察義務的《侵權責任法》,此時適用發(fā)展風險抗辯制度就有欠妥當。當然,當同一機關制定的新的一般規(guī)定與舊的特別規(guī)定不一致而無法確認如何具體適用時則應由制定機關來裁決,而在未予裁決的情況下,兩者之間該如何選擇適用的確事實上存有沖突。

    (2)立法背景各異導致的沖突。基于我國當時的生產(chǎn)力狀況以及與當時整個社會的經(jīng)濟發(fā)展水平相適應的《產(chǎn)品質(zhì)量法》規(guī)定了發(fā)展風險抗辯制度。因為通過發(fā)展風險抗辯制度的適用而免除生產(chǎn)者的責任,對生產(chǎn)者的激勵作用非常明顯:生產(chǎn)者可以大膽開發(fā)、大膽創(chuàng)新,從而促進科技水平提升。然而,隨著社會經(jīng)濟的不斷發(fā)展,適應缺陷產(chǎn)品導致安全事故和損害事件頻發(fā)的背景之下應時而生的《侵權責任法》又規(guī)定了后續(xù)觀察義務。因為若生產(chǎn)者、銷售者主張發(fā)展風險抗辯,那么作為受害人的廣大消費者的權益就不能得到充分保障。因此,為了糾正適用風險抗辯制度導致的生產(chǎn)者和消費者權益重新失衡的問題,又增加了這些義務進行平衡和協(xié)調(diào)??梢?,立法背景的不同事實上加劇了發(fā)展風險抗辯基本制度與配套制度之間的沖突。而且,產(chǎn)品的后續(xù)觀察義務與發(fā)展風險抗辯之間有深層次的矛盾。如果允許發(fā)展缺陷抗辯的存在,產(chǎn)品的后續(xù)觀察義務就失去了存在的基礎。

    2.配套制度與基本制度之間的彌合

    雖然說因為各種原因?qū)е屡涮字贫扰c基本制度之間存在事實上的“沖突”,但是本文認為,此種“沖突”并非絕對性實質(zhì)性意義上的沖突。因為他們的共同目標和價值取向是一致的,那就是盡力做到生產(chǎn)者與消費者之間的利益平衡?;诖?,本文認為配套制度與基本制度的沖突是可以彌合的。第46條是對《產(chǎn)品質(zhì)量法》發(fā)展缺陷免責條款的修正。尤其是在人工智能時代,人工智能產(chǎn)品生產(chǎn)者與消費者之間的利益關系已經(jīng)發(fā)生了巨大變化,這就迫切需要相關制度進行革新以進行適應。而基本制度與配套制度的協(xié)調(diào)就成為必然要求。

    (1)配套制度是產(chǎn)品發(fā)展風險抗辯制度適用基本配套的必要制度?!皬陌l(fā)展風險抗辯中可以推導出生產(chǎn)者的產(chǎn)品跟蹤觀察義務?!币籽灾a(chǎn)品發(fā)展風險抗辯之后,并不是說生產(chǎn)者就完全脫離干系,與己無關而拍屁股走人。如果生產(chǎn)者違反了謹慎觀察義務、勤勉警示義務和產(chǎn)品召回義務,該抗辯就直接無效而應當承擔純粹的嚴格責任。因此,該配套制度并不會縱容生產(chǎn)者對存在發(fā)展風險的產(chǎn)品采取聽之任之的消極態(tài)度。反而,配套制度與發(fā)展風險抗辯基本制度之間是互相補充,相輔相成的關系。因為,在生產(chǎn)者的產(chǎn)品銷售后再要求其承擔跟蹤觀察義務、勤勉警示義務和產(chǎn)品召回義務是適用發(fā)展風險抗辯制度之時,實現(xiàn)對于消費者保護的幾種重要的手段。在產(chǎn)品由于科學技術水平導致存在特定的無法發(fā)現(xiàn)風險的情況下,如果不對生產(chǎn)者施加必要的售后義務,將會使產(chǎn)品責任制度產(chǎn)生漏洞,從而對發(fā)展風險抗辯基本制度帶來影響。因此,抗辯事由的采納也會導致對消費者保護的不足,這就需要產(chǎn)品跟蹤觀察義務來予以彌補。即在給予生產(chǎn)者發(fā)展風險免責的同時,應當要求其持續(xù)跟蹤觀察其銷售的產(chǎn)品,勤勉謹慎加強研究以及時發(fā)現(xiàn)產(chǎn)品的未知缺陷。并且,在隨后由于科技的進步而確實發(fā)現(xiàn)產(chǎn)品存在缺陷之時應當及時采取補救措施。易言之,生產(chǎn)者在將產(chǎn)品投入到市場后,應當收集該產(chǎn)品的使用效果和不良事故發(fā)生的情況的相關數(shù)據(jù)和信息;當有足夠證據(jù)表明產(chǎn)品存在以前無法發(fā)現(xiàn)的缺陷時,產(chǎn)品制造商應當立即采取相應措施進行應急處置??赡懿捎玫拇胧┌ㄊ潞蟮娘L險警告和產(chǎn)品召回。在德國,為了消除因發(fā)展風險抗辯制度的適用對消費者權益的損害而確立了產(chǎn)品的跟蹤觀察義務,其要求制造商不間斷地對產(chǎn)品予以跟蹤觀察,并通過對生產(chǎn)者和銷售者施加勤勉警示義務或產(chǎn)品召回義務等來有效避免或減少因產(chǎn)品發(fā)展風險而導致的損害。如果生產(chǎn)者和銷售者不履行這一義務,受害消費者則可據(jù)此對抗生產(chǎn)者的發(fā)展風險抗辯?!稓W共體產(chǎn)品責任指令》第15條規(guī)定其成員國可以將該項免責事由作為保留條款予以回避,這也意味著其對發(fā)展風險抗辯制度適用的限制。

    (2)配套制度是產(chǎn)品發(fā)展風險抗辯制度適用基本配套的前提制度。如早先我國香港地區(qū)法律委員會建議采用產(chǎn)品發(fā)展風險抗辯,但是其建議與大多數(shù)情形略有不同,即生產(chǎn)者未盡到召回義務的,禁止援用產(chǎn)品發(fā)展風險抗辯。這就將配套制度具有的前提基礎性的地位凸顯出來了。通過仔細分析《侵權責任法》第46條的適用人工智能產(chǎn)品發(fā)展風險抗辯制度的情形,我們會發(fā)現(xiàn),允許生產(chǎn)者以發(fā)展風險作為抗辯事由必須具備一定的條件。而這個條件是必須建立在人工智能產(chǎn)品生產(chǎn)者能夠證明其已嚴格履行后續(xù)觀察義務的基礎之上。一方面,當人工智能產(chǎn)品因科技水平的原因而發(fā)生缺陷但尚未造成損害結果,人工智能產(chǎn)品生產(chǎn)者應當在第一時間采取嚴格的警示及召回等措施以防止損害結果的發(fā)生,否則其就喪失了發(fā)展風險抗辯的基礎。另一方面,當人工智能產(chǎn)品因發(fā)展缺陷已經(jīng)造成損害之時,人工智能產(chǎn)品生產(chǎn)者更應通過嚴格履行義務來防止損害結果的進一步擴大,否則同樣喪失發(fā)展風險抗辯的基礎。

    總之,我們不難推斷出《侵權責任法》第46條的立法本意。那就是其旨在鼓勵生產(chǎn)者積極履行產(chǎn)品后續(xù)觀察義務(具體包括生產(chǎn)者的跟蹤觀察義務、勤勉警示義務和產(chǎn)品召回義務等)。因此,該法條本身的規(guī)定與發(fā)展風險抗辯制度的規(guī)定之間并非存在絕然的矛盾。但是,在人工智能產(chǎn)品責任的具體訴訟中,如果人工智能產(chǎn)品生產(chǎn)者、銷售者要以適用發(fā)展風險抗辯制度來免責的話,那么其前提條件就是必須證明其已經(jīng)嚴格履行了《侵權責任法》第46條規(guī)定的后續(xù)觀察等系列義務。反之,因人工智能產(chǎn)品發(fā)展風險可能帶來的損害,生產(chǎn)者可以通過采取產(chǎn)品跟蹤觀察、勤勉警示與產(chǎn)品召回等有效制度機制予以避免。這樣我們就會發(fā)現(xiàn),這也許正是《侵權責任法》第46條的價值體現(xiàn)。因此,與其說配套制度與基本制度之間存在著沖突,不如說配套制度是對基本制度的有限承認與重要補充。他們共同協(xié)調(diào)了生產(chǎn)者與消費者之間沖突的利益,尤其是構筑了對消費者權益的保護網(wǎng)。那么在人工智能時代,要實現(xiàn)人工智能產(chǎn)品生產(chǎn)者與消費者之間利益的平衡,更需要我們對配套制度尤其是對基本制度進行完善和革新,并且實現(xiàn)基本制度與配套制度的有效銜接。但是,需要提及的是,《侵權責任法》第46條所確立的僅僅是私法上的產(chǎn)品跟蹤觀察義務,并非行政法上的義務,這一規(guī)定不能成為行政執(zhí)法的依據(jù)。

    五、結語

    我國確立產(chǎn)品責任之發(fā)展風險抗辯的包括技術標準制度、時間節(jié)點制度、主體資格制度以及請求時效制度等等的基本制度,旨在保護人工智能產(chǎn)品生產(chǎn)者的創(chuàng)造性并提高我國人工智能發(fā)展的國際競爭力,從而為以法律制度提升全球人工智能治理制度性話語權提供中國智慧和中國方案。確立配套制度旨在為適用產(chǎn)品發(fā)展風險抗辯制度提供補充和后續(xù)條件。其中,基本制度主要是從客觀主義的視角進行的制度構建,與生產(chǎn)者的主觀意識沒有關系。而配套制度主要是從主觀主義的視角進行的制度構建,與生產(chǎn)者的主觀意識具有很大的關聯(lián)。因此需要對基本制度與配套制度進行有效銜接。

    責任編輯:楊煉

    中文资源天堂在线| or卡值多少钱| 999久久久国产精品视频| 中文亚洲av片在线观看爽| 特级一级黄色大片| 亚洲 欧美一区二区三区| 校园春色视频在线观看| 欧美中文日本在线观看视频| 中文字幕精品亚洲无线码一区| 99久久国产精品久久久| 国产真实乱freesex| 一本久久中文字幕| 亚洲精品久久国产高清桃花| 国模一区二区三区四区视频 | 夜夜夜夜夜久久久久| 国产亚洲精品久久久com| 丝袜人妻中文字幕| 性色avwww在线观看| 18禁裸乳无遮挡免费网站照片| 99riav亚洲国产免费| 日本一二三区视频观看| 国产亚洲精品久久久com| 1024手机看黄色片| 99久久国产精品久久久| xxxwww97欧美| 夜夜夜夜夜久久久久| 免费在线观看成人毛片| x7x7x7水蜜桃| 久久久久性生活片| 亚洲色图 男人天堂 中文字幕| 黄片大片在线免费观看| a在线观看视频网站| 麻豆av在线久日| 久久亚洲真实| 九九久久精品国产亚洲av麻豆 | 午夜视频精品福利| 精品国产超薄肉色丝袜足j| 国产乱人伦免费视频| 黄色日韩在线| 国产精品一区二区三区四区免费观看 | 一个人看的www免费观看视频| 国产黄片美女视频| 色老头精品视频在线观看| 白带黄色成豆腐渣| 日本成人三级电影网站| 亚洲专区国产一区二区| 国内精品美女久久久久久| 99久久久亚洲精品蜜臀av| 麻豆久久精品国产亚洲av| 亚洲成人久久性| 日本五十路高清| 男女下面进入的视频免费午夜| 美女高潮喷水抽搐中文字幕| 精品久久久久久久毛片微露脸| 日本一本二区三区精品| av中文乱码字幕在线| 亚洲 国产 在线| 人人妻,人人澡人人爽秒播| 一a级毛片在线观看| 国产成年人精品一区二区| 噜噜噜噜噜久久久久久91| 国产黄色小视频在线观看| 老鸭窝网址在线观看| 青草久久国产| 99在线视频只有这里精品首页| bbb黄色大片| 桃色一区二区三区在线观看| 国产精品 欧美亚洲| 久久人妻av系列| 欧美大码av| 脱女人内裤的视频| 免费无遮挡裸体视频| 午夜福利在线观看免费完整高清在 | 日韩欧美一区二区三区在线观看| 日本撒尿小便嘘嘘汇集6| 亚洲精品美女久久av网站| 亚洲国产精品合色在线| 九九热线精品视视频播放| 好看av亚洲va欧美ⅴa在| 亚洲国产精品成人综合色| 国产午夜福利久久久久久| 午夜成年电影在线免费观看| 我要搜黄色片| 免费看a级黄色片| 看片在线看免费视频| a在线观看视频网站| 亚洲一区二区三区色噜噜| 午夜福利免费观看在线| 51午夜福利影视在线观看| 久久这里只有精品19| 热99在线观看视频| 免费在线观看视频国产中文字幕亚洲| 老司机午夜十八禁免费视频| 成在线人永久免费视频| 国产黄片美女视频| 国产精品亚洲一级av第二区| 在线永久观看黄色视频| 国产精华一区二区三区| 日韩大尺度精品在线看网址| 亚洲专区中文字幕在线| 噜噜噜噜噜久久久久久91| 99精品久久久久人妻精品| 国产成人av激情在线播放| 在线a可以看的网站| 国产又色又爽无遮挡免费看| 午夜福利在线观看吧| 国产激情久久老熟女| 国产精品乱码一区二三区的特点| 日韩 欧美 亚洲 中文字幕| 午夜亚洲福利在线播放| 一卡2卡三卡四卡精品乱码亚洲| 国产成+人综合+亚洲专区| 大型黄色视频在线免费观看| 亚洲av日韩精品久久久久久密| 别揉我奶头~嗯~啊~动态视频| 黑人欧美特级aaaaaa片| 成人av一区二区三区在线看| 国产精品日韩av在线免费观看| 午夜精品久久久久久毛片777| 亚洲人成网站高清观看| 999精品在线视频| 中文字幕人妻丝袜一区二区| 操出白浆在线播放| 国产精品亚洲美女久久久| 午夜福利在线在线| 噜噜噜噜噜久久久久久91| 免费在线观看亚洲国产| 天天一区二区日本电影三级| 黄色女人牲交| 好男人在线观看高清免费视频| 黑人欧美特级aaaaaa片| 日韩欧美国产一区二区入口| 久久中文字幕一级| 国产精品久久电影中文字幕| 夜夜看夜夜爽夜夜摸| 久久中文看片网| 国产精华一区二区三区| 人人妻人人看人人澡| 男人舔奶头视频| 亚洲av电影在线进入| 午夜激情欧美在线| 超碰成人久久| 香蕉av资源在线| 久久久久国内视频| 看免费av毛片| 国产三级在线视频| 欧美黑人巨大hd| 91麻豆av在线| 国产亚洲精品久久久久久毛片| 久久精品国产清高在天天线| 精品熟女少妇八av免费久了| 99国产精品一区二区三区| 久久国产乱子伦精品免费另类| 一个人免费在线观看电影 | 色综合婷婷激情| 成人av一区二区三区在线看| 观看美女的网站| 日本撒尿小便嘘嘘汇集6| 国产成+人综合+亚洲专区| 波多野结衣高清无吗| 亚洲真实伦在线观看| 岛国在线观看网站| 亚洲av第一区精品v没综合| 国产亚洲欧美在线一区二区| 亚洲精品中文字幕一二三四区| av女优亚洲男人天堂 | 日韩精品中文字幕看吧| 看免费av毛片| 国产视频内射| 久久精品夜夜夜夜夜久久蜜豆| 九九在线视频观看精品| 波多野结衣巨乳人妻| 欧美大码av| 久久热在线av| 亚洲 欧美一区二区三区| 黑人操中国人逼视频| 免费在线观看视频国产中文字幕亚洲| av天堂中文字幕网| 久久久久久人人人人人| 日韩欧美精品v在线| 国产免费av片在线观看野外av| 国产午夜精品久久久久久| 国产成人福利小说| 国产精品美女特级片免费视频播放器 | 999久久久国产精品视频| 黄色视频,在线免费观看| 老司机午夜福利在线观看视频| 国产精品一区二区精品视频观看| 亚洲中文av在线| 国产精品亚洲av一区麻豆| 国产精品一区二区精品视频观看| 噜噜噜噜噜久久久久久91| 熟女少妇亚洲综合色aaa.| 亚洲成人免费电影在线观看| 国产精品女同一区二区软件 | 狂野欧美激情性xxxx| 欧美中文日本在线观看视频| 色视频www国产| 最新在线观看一区二区三区| 三级毛片av免费| 久久九九热精品免费| 亚洲欧美日韩东京热| 又紧又爽又黄一区二区| 搡老熟女国产l中国老女人| netflix在线观看网站| 欧美日韩瑟瑟在线播放| 亚洲av成人一区二区三| 搡老熟女国产l中国老女人| 观看免费一级毛片| 国产在线精品亚洲第一网站| 亚洲美女黄片视频| 给我免费播放毛片高清在线观看| 亚洲欧美日韩东京热| 亚洲av美国av| 久久久久国产一级毛片高清牌| 变态另类成人亚洲欧美熟女| 免费观看人在逋| xxx96com| 一区福利在线观看| 在线观看日韩欧美| 午夜两性在线视频| 岛国在线免费视频观看| 麻豆一二三区av精品| 亚洲片人在线观看| e午夜精品久久久久久久| 黑人巨大精品欧美一区二区mp4| a级毛片a级免费在线| 一卡2卡三卡四卡精品乱码亚洲| 久久久久久人人人人人| 黄片大片在线免费观看| 欧美日韩精品网址| 性色av乱码一区二区三区2| 两个人看的免费小视频| 少妇丰满av| 成人av在线播放网站| 又黄又爽又免费观看的视频| 丰满的人妻完整版| 国产成人影院久久av| 欧美日韩亚洲国产一区二区在线观看| 老熟妇乱子伦视频在线观看| 国产精品av视频在线免费观看| 国产成人精品久久二区二区91| 日本撒尿小便嘘嘘汇集6| 黑人操中国人逼视频| 午夜福利在线在线| 欧美日韩乱码在线| 色综合欧美亚洲国产小说| 无限看片的www在线观看| 亚洲成人精品中文字幕电影| 51午夜福利影视在线观看| 精品日产1卡2卡| 国产精品一区二区精品视频观看| 香蕉av资源在线| 美女cb高潮喷水在线观看 | 热99在线观看视频| 俺也久久电影网| 99热这里只有是精品50| 国产一区二区三区视频了| 91在线精品国自产拍蜜月 | 精品电影一区二区在线| 黄片大片在线免费观看| 黄色日韩在线| 精品免费久久久久久久清纯| 日日摸夜夜添夜夜添小说| 他把我摸到了高潮在线观看| 午夜福利成人在线免费观看| 日韩成人在线观看一区二区三区| 免费在线观看亚洲国产| 大型黄色视频在线免费观看| 麻豆国产av国片精品| 亚洲色图av天堂| 精品久久久久久久毛片微露脸| 亚洲天堂国产精品一区在线| 99久久精品热视频| 精品午夜福利视频在线观看一区| av天堂在线播放| 精品欧美国产一区二区三| 日韩精品中文字幕看吧| 搡老妇女老女人老熟妇| 韩国av一区二区三区四区| 男女床上黄色一级片免费看| 制服人妻中文乱码| 啦啦啦免费观看视频1| 99热6这里只有精品| 日韩中文字幕欧美一区二区| 亚洲精品久久国产高清桃花| 成年版毛片免费区| 国产伦人伦偷精品视频| 亚洲在线自拍视频| 男女做爰动态图高潮gif福利片| 欧美黄色淫秽网站| 国产三级在线视频| 99精品久久久久人妻精品| 国产精品亚洲一级av第二区| 岛国在线免费视频观看| 天天一区二区日本电影三级| 男女之事视频高清在线观看| 亚洲一区二区三区不卡视频| 国产成人福利小说| 99热这里只有是精品50| 久久婷婷人人爽人人干人人爱| 成人鲁丝片一二三区免费| 久久久久久九九精品二区国产| 这个男人来自地球电影免费观看| 国产精品99久久99久久久不卡| 搡老妇女老女人老熟妇| 欧美绝顶高潮抽搐喷水| 久久中文字幕人妻熟女| 午夜日韩欧美国产| 欧美一区二区国产精品久久精品| 99久久精品一区二区三区| 国产精品,欧美在线| 色av中文字幕| 亚洲国产精品sss在线观看| 三级毛片av免费| 1000部很黄的大片| tocl精华| 不卡一级毛片| 两性夫妻黄色片| 黄色日韩在线| 中国美女看黄片| 老熟妇乱子伦视频在线观看| 国产精品久久久久久人妻精品电影| 成人永久免费在线观看视频| 黄色视频,在线免费观看| 国产av麻豆久久久久久久| 国产精品,欧美在线| 亚洲精品乱码久久久v下载方式 | 亚洲国产欧美一区二区综合| 国语自产精品视频在线第100页| 亚洲欧美一区二区三区黑人| 中文资源天堂在线| av在线天堂中文字幕| 人人妻人人看人人澡| 中文字幕人妻丝袜一区二区| 久久久精品大字幕| 国产高清视频在线观看网站| 免费观看精品视频网站| 免费电影在线观看免费观看| 一本精品99久久精品77| 国产欧美日韩一区二区三| 精品无人区乱码1区二区| 亚洲午夜精品一区,二区,三区| 国内毛片毛片毛片毛片毛片| 欧美最黄视频在线播放免费| avwww免费| 男人的好看免费观看在线视频| 色综合婷婷激情| 久久精品aⅴ一区二区三区四区| 欧美色视频一区免费| 国产伦在线观看视频一区| 草草在线视频免费看| 久9热在线精品视频| 成人永久免费在线观看视频| 日韩欧美一区二区三区在线观看| 狂野欧美白嫩少妇大欣赏| 国产成+人综合+亚洲专区| 亚洲av美国av| 亚洲无线在线观看| 欧洲精品卡2卡3卡4卡5卡区| 精品电影一区二区在线| a级毛片在线看网站| 久久久久久久久中文| 国产精品香港三级国产av潘金莲| 国产真实乱freesex| 国产精品一区二区三区四区免费观看 | 久久久精品大字幕| 热99在线观看视频| 夜夜夜夜夜久久久久| 在线观看免费视频日本深夜| 国内毛片毛片毛片毛片毛片| 高潮久久久久久久久久久不卡| 波多野结衣巨乳人妻| 99国产精品一区二区三区| 久久精品国产亚洲av香蕉五月| 国产美女午夜福利| 成人国产综合亚洲| 国产成人福利小说| 色尼玛亚洲综合影院| 日本五十路高清| 在线观看午夜福利视频| 亚洲中文日韩欧美视频| 国产私拍福利视频在线观看| 在线看三级毛片| 国产亚洲精品久久久久久毛片| 久久中文字幕一级| 99热精品在线国产| 九九久久精品国产亚洲av麻豆 | 一本精品99久久精品77| 亚洲国产精品999在线| 毛片女人毛片| 又黄又粗又硬又大视频| 19禁男女啪啪无遮挡网站| 色尼玛亚洲综合影院| 色在线成人网| 一级作爱视频免费观看| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲精品中文字幕一二三四区| 岛国在线观看网站| 日韩高清综合在线| 人妻夜夜爽99麻豆av| 欧美日韩福利视频一区二区| 嫩草影视91久久| aaaaa片日本免费| 日韩欧美精品v在线| 欧美成人免费av一区二区三区| www日本黄色视频网| 亚洲国产中文字幕在线视频| 欧美黄色片欧美黄色片| 亚洲av中文字字幕乱码综合| 我要搜黄色片| 亚洲午夜精品一区,二区,三区| 中亚洲国语对白在线视频| 又紧又爽又黄一区二区| 久久久国产成人免费| 午夜福利高清视频| av片东京热男人的天堂| 18禁黄网站禁片免费观看直播| 欧美中文综合在线视频| 久久久久久久久久黄片| 真人做人爱边吃奶动态| 搡老妇女老女人老熟妇| 日本成人三级电影网站| 在线观看日韩欧美| 日韩成人在线观看一区二区三区| 亚洲国产精品久久男人天堂| 在线免费观看的www视频| 人妻丰满熟妇av一区二区三区| 国产一区二区在线av高清观看| 国产亚洲精品综合一区在线观看| 亚洲精品中文字幕一二三四区| 国产精品一区二区精品视频观看| 久久久色成人| av中文乱码字幕在线| 久久久国产成人精品二区| 91av网一区二区| 国产69精品久久久久777片 | 欧美大码av| 老汉色av国产亚洲站长工具| 中文字幕高清在线视频| 成人午夜高清在线视频| 99视频精品全部免费 在线 | 国产一区在线观看成人免费| 最新美女视频免费是黄的| 国产黄a三级三级三级人| 人人妻人人看人人澡| 精品国产乱码久久久久久男人| 激情在线观看视频在线高清| 男人的好看免费观看在线视频| 身体一侧抽搐| 桃色一区二区三区在线观看| 一区福利在线观看| 亚洲欧美日韩高清在线视频| 99国产综合亚洲精品| 欧美激情久久久久久爽电影| 日本一二三区视频观看| 好男人电影高清在线观看| 久久精品国产99精品国产亚洲性色| 国产又色又爽无遮挡免费看| 亚洲在线自拍视频| 久久中文字幕人妻熟女| 在线观看66精品国产| 欧美成狂野欧美在线观看| 男人舔奶头视频| 色综合欧美亚洲国产小说| 国产精品,欧美在线| 天堂av国产一区二区熟女人妻| 免费观看人在逋| 在线观看66精品国产| av女优亚洲男人天堂 | 国产综合懂色| 久久久久久国产a免费观看| 香蕉久久夜色| 这个男人来自地球电影免费观看| 亚洲 国产 在线| 婷婷丁香在线五月| 日本精品一区二区三区蜜桃| 久久久久久久久中文| 国产成人精品无人区| 国产视频一区二区在线看| 操出白浆在线播放| 国产不卡一卡二| 久久人妻av系列| 成人特级av手机在线观看| 日韩国内少妇激情av| 高清毛片免费观看视频网站| 嫩草影视91久久| 精品久久久久久成人av| 变态另类丝袜制服| 搞女人的毛片| 十八禁人妻一区二区| 伊人久久大香线蕉亚洲五| 欧美成人免费av一区二区三区| 在线免费观看的www视频| 国产亚洲精品综合一区在线观看| 一个人观看的视频www高清免费观看 | 久久精品国产清高在天天线| 在线国产一区二区在线| 国产精品久久视频播放| 国产三级中文精品| svipshipincom国产片| 天堂√8在线中文| 亚洲专区字幕在线| 国产亚洲精品久久久com| 男女午夜视频在线观看| 久久午夜综合久久蜜桃| 九九热线精品视视频播放| 亚洲色图av天堂| 成人性生交大片免费视频hd| 国产不卡一卡二| 看免费av毛片| 嫩草影院入口| 黄色 视频免费看| 亚洲第一欧美日韩一区二区三区| 欧美黑人欧美精品刺激| 欧美绝顶高潮抽搐喷水| 久久午夜亚洲精品久久| 国产野战对白在线观看| 亚洲天堂国产精品一区在线| av在线天堂中文字幕| 国产亚洲av高清不卡| 这个男人来自地球电影免费观看| 又紧又爽又黄一区二区| 视频区欧美日本亚洲| 俺也久久电影网| 国产精品1区2区在线观看.| 欧美激情在线99| 在线十欧美十亚洲十日本专区| 搡老妇女老女人老熟妇| 两性午夜刺激爽爽歪歪视频在线观看| 日韩欧美免费精品| 欧美日韩国产亚洲二区| 国产精品av久久久久免费| 国产精品亚洲美女久久久| or卡值多少钱| 91在线观看av| 观看美女的网站| 日韩精品中文字幕看吧| 久久精品91无色码中文字幕| 国产视频一区二区在线看| 久久九九热精品免费| 每晚都被弄得嗷嗷叫到高潮| 国产淫片久久久久久久久 | 国产在线精品亚洲第一网站| 岛国视频午夜一区免费看| 亚洲人成网站高清观看| 亚洲国产欧洲综合997久久,| 一区二区三区国产精品乱码| 国产精品久久视频播放| 国产男靠女视频免费网站| 国产高清videossex| 亚洲性夜色夜夜综合| 一区二区三区激情视频| 精品久久蜜臀av无| 国产成人福利小说| 黄色成人免费大全| e午夜精品久久久久久久| 岛国视频午夜一区免费看| 亚洲va日本ⅴa欧美va伊人久久| 久久久国产成人免费| 午夜a级毛片| 一区二区三区国产精品乱码| 丝袜人妻中文字幕| 精品久久久久久,| 午夜精品一区二区三区免费看| 亚洲av熟女| 老熟妇仑乱视频hdxx| 欧洲精品卡2卡3卡4卡5卡区| 亚洲狠狠婷婷综合久久图片| 欧美三级亚洲精品| 精品久久蜜臀av无| 亚洲国产欧美人成| 女同久久另类99精品国产91| 成年免费大片在线观看| 国产精品一区二区三区四区久久| 欧美不卡视频在线免费观看| 精品无人区乱码1区二区| 黄片小视频在线播放| 不卡av一区二区三区| 最近在线观看免费完整版| 国内揄拍国产精品人妻在线| 波多野结衣巨乳人妻| 一边摸一边抽搐一进一小说| 天天躁狠狠躁夜夜躁狠狠躁| 日韩大尺度精品在线看网址| 欧美黑人巨大hd| 人人妻人人澡欧美一区二区| 日本一本二区三区精品| 亚洲aⅴ乱码一区二区在线播放| 波多野结衣高清无吗| 黑人欧美特级aaaaaa片| 欧美zozozo另类| 欧美+亚洲+日韩+国产| 九色国产91popny在线| 亚洲av熟女| 亚洲精品在线观看二区| 两个人看的免费小视频| 欧美激情在线99| 神马国产精品三级电影在线观看| 99热这里只有是精品50| 色播亚洲综合网| 免费看a级黄色片| 脱女人内裤的视频| 中亚洲国语对白在线视频| 久久国产乱子伦精品免费另类| 可以在线观看毛片的网站| 这个男人来自地球电影免费观看| 丁香欧美五月| 免费在线观看日本一区| 在线观看午夜福利视频| 国产一区在线观看成人免费| 亚洲国产欧美网| 最近在线观看免费完整版| 丰满的人妻完整版| www日本在线高清视频|