• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能技術(shù)權(quán)力影響下人工智能技術(shù)風險的法律分配路徑

    2022-06-10 22:28:22鄭少飛姚建宗
    社會科學研究 2022年3期
    關(guān)鍵詞:分配正義風險人工智能

    鄭少飛 姚建宗

    〔摘要〕 人工智能技術(shù)權(quán)力隨著人工智能技術(shù)的發(fā)展孕育而生,其以“微觀的”權(quán)力為內(nèi)核、傳統(tǒng)公權(quán)力為載體,是一種既難以掌控又難以解釋,且具備“微觀的”權(quán)力與傳統(tǒng)公權(quán)力雙重控制力的力量。在這些特性的影響下,人工智能技術(shù)帶來的風險也具有非完全的人為性、雙重不確定性、差異普遍性等特性,這最終使得法律在使用“行為-責任”機制分配人工智能技術(shù)風險時存在諸多“行為”無法通達“責任”的困境。為擺脫該困境,可借鑒羅爾斯的分配正義理論,建立一種類“原初狀態(tài)”的沙箱環(huán)境為公平分配風險提供基礎(chǔ),再以純粹程序正義為分配渠道,打通“行為”與“責任”之間的路徑,最后通過差別原則與反思平衡合理地直接連接“行為”與“責任”,以解決另一部分難以適用“行為-責任”機制的困境。

    〔關(guān)鍵詞〕 人工智能;技術(shù)權(quán)力;風險;分配正義

    〔中圖分類號〕D903;DF03 〔文獻標識碼〕A 〔文章編號〕1000-4769(2022)03-0110-09

    一、問題的提出

    人工智能技術(shù)是當下科學技術(shù)發(fā)展的潮流之一,它在給人類帶來便利的同時也帶來了許多風險,相關(guān)的規(guī)制措施與法律法規(guī)如《中華人民共和國個人信息保護法》《中華人民共和國數(shù)據(jù)安全法》也接踵而至。然而伴隨人工智能技術(shù)誕生的還有人工智能技術(shù)權(quán)力①,在人工智能技術(shù)權(quán)力影響下,即便是最新的法律法規(guī)對人工智能技術(shù)風險的控制仍然有限。因此,剖析人工智能技術(shù)權(quán)力將有利于對人工智能技術(shù)風險進行合理分配,并將其控制在合理的程度。

    二、人工智能技術(shù)權(quán)力概述

    (一)人工智能技術(shù)權(quán)力的核心——“微觀的”權(quán)力

    “技術(shù)”是通過人的知識和智慧與客觀的手段(軟件和硬件)相互作用而產(chǎn)生的控制和改造世界的方式、方法體系,也是一種關(guān)于“怎么做”的實踐性的知識體系。陳文化、沈健、胡桂香:《關(guān)于技術(shù)哲學研究的再思考——從美國哲學界圍繞技術(shù)問題的一場爭論談起》,《哲學研究》2001年第8期。因此技術(shù)實際上是知識的一種表現(xiàn)形式?!皺?quán)力”在《布萊克法律詞典》中意為作為或不作為的能力,尤指某人為控制他人反應而采取行動的能力。Bryan A. Garner, Blacks Law Dictionary, 9th ed., New York: Thomson & West,2009, p.1288.尼采將知識與權(quán)力這兩個看似不相關(guān)的概念聯(lián)系起來并得出“知識即是權(quán)力”的結(jié)論。??苿t將這一觀點進一步拓展,認為知識和權(quán)力在現(xiàn)代社會“共生”而成為“知識-權(quán)力”組合。此處的權(quán)力指的是包含國家權(quán)力、社會權(quán)力在內(nèi)的傳統(tǒng)公權(quán)力。

    以“知識-權(quán)力”為核心的技術(shù)權(quán)力所展現(xiàn)出的是一種“微觀的”權(quán)力。這種權(quán)力強調(diào)權(quán)力的生產(chǎn)性,而不是壓制和扭曲作用;它關(guān)注的不是信念,而是權(quán)力對行動和實踐的參與。約瑟夫·勞斯:《知識與權(quán)力:走向科學的政治哲學》,盛曉明、邱慧、孟強譯,北京:北京大學出版社,2004年,第224頁。因此,福科認為,權(quán)力從來沒有局限在這里或那里,從來沒掌握在任何人手中,從來沒有作為一種商品或財富,而是通過一個網(wǎng)狀組織來使用和行使的。Foucault M., Power/Knowledge, Selected Interviews and Other Writings, 1972-1977, New York: Pantheon Book, 1980, p.98.這種去中心化的“微觀的”權(quán)力滲透在社會以及個體的各個角落,人、社會及其他成為了權(quán)力機制的分析對象,且被當作一個待解決的問題。米歇爾·??拢骸稒?quán)力的眼睛:??略L談錄》,嚴鋒譯,上海:上海人民出版社,1997年,第31頁。在這一過程中,權(quán)力開始產(chǎn)生知識并且在產(chǎn)生的過程中使得知識權(quán)力化,一個典型的例子是科學作為知識的又一表現(xiàn)形式其通過實驗室等設(shè)施迫使人們說某些話,否則就可能被當作騙子。米歇爾·??拢骸稒?quán)力的眼睛:福柯訪談錄》,嚴鋒譯,第32頁。因此??抡J為權(quán)力和知識是直接相互連帶的;不相應地建構(gòu)一種知識領(lǐng)域就不可能有權(quán)力關(guān)系,不同時預設(shè)和建構(gòu)權(quán)力關(guān)系就不會有任何知識。米歇爾·福柯:《規(guī)訓與懲罰:監(jiān)獄的誕生》,劉北成、楊遠嬰譯,北京:生活·讀書·新知三聯(lián)書店,1999年,第29頁。人工智能技術(shù)作為知識的一種表現(xiàn)形式,其與權(quán)力當然也是相互連帶的,人工智能技術(shù)權(quán)力的核心自然也就體現(xiàn)為“微觀的”權(quán)力。

    “微觀的”權(quán)力雖然強調(diào)生產(chǎn)性,但其在分析與解決問題的同時也在對人們進行規(guī)訓,這種看似不掌握在任何人手中的權(quán)力正是通過強調(diào)生產(chǎn)的方式隱蔽地行使著權(quán)力的控制能力。人工智能技術(shù)自誕生以來經(jīng)過多年的發(fā)展,在不少領(lǐng)域已經(jīng)能做出媲美人類甚至強過人類的決策。這說明人工智能技術(shù)在某些項目已經(jīng)較為成熟,但讓人擔憂的是如果使用人工智能輔助人類,人類可能會因過于相信人工智能的判斷而喪失自己的判斷力,最終陷入遭到人工智能技術(shù)權(quán)力控制的窘境。雖然這似乎僅是一種可能,但已有多個學者均對此表達了擔憂。參見申靈靈、何麗萍:《人工智能時代技術(shù)與教育共生的困局與出路》,《高教探索》2021年第9期; Mireille H., “Law As Computation in the Era of Artificial Legal Intelligence:Speaking Law to the Power of Statistics,” University of Toronto Law Journal, vol.68, no. supplement 1, 2018, p.27.這種控制顯然既不是“國王的命令”,也不是法律的強制,而是通過人工智能技術(shù)的生產(chǎn)性來實現(xiàn)的。因此人工智能技術(shù)權(quán)力是一種以“微觀的”權(quán)力為核心,具有難以掌控的特性并能夠控制所有人的力量。

    (二)人工智能技術(shù)權(quán)力的載體——傳統(tǒng)公權(quán)力

    技術(shù)權(quán)力作為一種“微觀的”權(quán)力雖然難以精確捕捉,但無論是知識還是技術(shù),當其運用于實踐中時難免會被當作財富而被人所掌控,這時技術(shù)權(quán)力將以傳統(tǒng)權(quán)力作為載體,體現(xiàn)出傳統(tǒng)權(quán)力的控制力。傳統(tǒng)公權(quán)力可以分為國家權(quán)力與社會權(quán)力。國家權(quán)力是統(tǒng)治階級以國家的名義運用國家機器來實現(xiàn)其意志和鞏固其統(tǒng)治的支配力量,權(quán)力的掌控者是國家。社會權(quán)力是社會主體所擁有的社會資源對社會和國家的支配力量。郭道暉:《權(quán)力的多元化與社會化》,《法學研究》2001年第1期。因此,技術(shù)權(quán)力選擇不同的傳統(tǒng)公權(quán)力作為載體,其將呈現(xiàn)不同的內(nèi)涵。例如有定義認為技術(shù)權(quán)力決定著一個國家在國際事務中的地位與權(quán)力,是國際權(quán)力結(jié)構(gòu)中的一部分。B.K.Blount,“Science as a Factor in International Relations,”Inernational Affairs, vol.33, no.1,1957, p.71.也有定義認為技術(shù)權(quán)力是指生產(chǎn)網(wǎng)絡(luò)中擁有核心技術(shù)的企業(yè)對其他技術(shù)水平較低企業(yè)的支配控制的權(quán)力。徐曼:《淺析全球生產(chǎn)網(wǎng)絡(luò)中技術(shù)權(quán)力的影響機制》,《經(jīng)濟研究參考》2016年第13期。上述兩個例子代表了分別以國家權(quán)力與社會權(quán)力為載體的技術(shù)權(quán)力的兩種內(nèi)涵。雖然這兩種內(nèi)涵有較大的差距,但可以確定的是國家權(quán)力與社會權(quán)力作為傳統(tǒng)公權(quán)力,其對于權(quán)力持有者之外的所有人都將彰顯其控制力。人工智能作為一項科學技術(shù),其主要的持有者是國家與各個科技公司,人工智能技術(shù)或許為這些本身就具有強大公權(quán)力的主體提供更強的權(quán)力支撐,又或許為不具有強大公權(quán)力的主體提供了掌握公權(quán)力的能力。無論如何,可以明晰的是,人工智能技術(shù)權(quán)力主要以傳統(tǒng)公權(quán)力與社會權(quán)力為載體,是權(quán)力持有者通過人工智能技術(shù)對他人進行控制的力量。

    值得注意的是,技術(shù)權(quán)力在選擇不同的載體時雖然會呈現(xiàn)不同的樣貌,但無論選擇何種載體,由于其核心是強調(diào)生產(chǎn)性但對所有人都會彰顯控制力的“微觀的”權(quán)力,因此技術(shù)權(quán)力持有者無法真正地完全掌控技術(shù)權(quán)力,且有被“微觀的”權(quán)力控制的可能。所以人工智能技術(shù)權(quán)力的持有者在通過人工智能技術(shù)權(quán)力控制他人的同時,也被作為人工智能技術(shù)權(quán)力核心的“微觀的”權(quán)力所控制,這體現(xiàn)出人工智能技術(shù)權(quán)力具有雙重控制力的特性。

    (三)人工智能技術(shù)權(quán)力的實踐指導——操作主義

    在技術(shù)權(quán)力的實踐中,權(quán)力的控制力表現(xiàn)為操作主義。操作主義會將一個概念的意義與一組操作相等同,即把事物的名稱視為同時對它們的作用方式的表示。赫伯特·馬爾庫塞:《單向度的人》,劉繼譯,上海:譯文出版社,1989年,第79頁。這會使本來一個包含多種意義的概念被等同于該概念中的某一個意義,也即是在操作主義的指導下將含混的概念還原為特定的所指。目前人工智能之“智能”主要是通過使用深度學習算法的機器學習實現(xiàn)的,它通過把世界表現(xiàn)為一個概念的嵌套層次結(jié)構(gòu),每個概念都是根據(jù)更簡單的概念定義的,而更抽象的表達則是根據(jù)不那么抽象的概念計算的,從而獲得更大的力量和靈活性。Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning,Cambridge:MIT Press, 2016, p.8.這種由諸多簡單概念組成的多層嵌套層次結(jié)構(gòu)在本質(zhì)上仍然是操作主義將復雜概念還原為特定概念的過程,只不過從過去將復雜概念還原為特定、簡單、單一概念轉(zhuǎn)換為如今的特定、簡單、數(shù)個概念。這種有窮規(guī)則的集合其實仍是一個已完成的人類經(jīng)驗的累積,只不過采用了新型的處理模式而記錄得更加全面,這最終仍只是人類已經(jīng)創(chuàng)造出的物質(zhì)條件的束集。劉強:《人工智能與法治關(guān)系辨析》,《重慶大學學報》(社會科學版)2021年第3期。因此人工智能的智能機制并不能使其達到完整還原概念的程度。

    更糟糕的是,在人工智能技術(shù)的決策中,人們知道輸入人工智能系統(tǒng)的數(shù)據(jù)與最后人工智能技術(shù)的決策結(jié)果,但卻不知道為何會得出這樣的結(jié)果。換言之,人工智能技術(shù)在將復雜概念轉(zhuǎn)換成特定、簡單、數(shù)個概念后,人們無法知曉人工智能技術(shù)究竟使用了其中哪個或哪些概念來做決策,這即是人工智能“黑箱”。因此,人工智能“黑箱”憑借其極難解釋的特性使得人工智能技術(shù)權(quán)力能夠更加輕松地行使“微觀的”權(quán)力及傳統(tǒng)權(quán)力的控制能力。在“微觀的”權(quán)力方面,人們?nèi)菀讓θ斯ぶ悄墚a(chǎn)生依賴,這在很大程度上是因為人們只知道人工智能可以做出比人類更好的決策,但不知道人工智能為何能做出這樣的決策,這就使人類無法向人工智能學習,而只能更加依賴于它,最終受到人工智能技術(shù)權(quán)力的控制。在傳統(tǒng)權(quán)力方面,人工智能技術(shù)權(quán)力的持有者能夠以人工智能“黑箱”為盾而濫用權(quán)力,在人工智能技術(shù)決策的過程中加入個人的價值判斷,產(chǎn)生算法偏見,侵害他人權(quán)利,逃避法律的規(guī)制。

    綜上所述,人工智能技術(shù)權(quán)力是一種以傳統(tǒng)公權(quán)力中的國家權(quán)力與社會權(quán)力為載體,以“微觀的”權(quán)力為核心而生成的具有極難掌控、極難解釋與雙重控制力的特性,是一種能夠控制所有人的力量。

    三、人工智能技術(shù)權(quán)力影響下的人工智能技術(shù)風險的新特性

    在現(xiàn)代社會中,“風險”被定義為以系統(tǒng)的方式應對由現(xiàn)代化自身引發(fā)的危險和不安。風險有別于傳統(tǒng)的危險,它是現(xiàn)代化的威脅力量和令人懷疑的全球化所引發(fā)的后果。烏爾里?!へ惪耍骸讹L險社會:新的現(xiàn)代性之路》,張文杰、何博聞譯,南京:譯林出版社,2018年,第7頁。當現(xiàn)代意義的風險與全球化同時出現(xiàn)并作為一個時期社會的基本特征時,風險社會也就隨之產(chǎn)生了。楊雪冬:《風險社會與秩序重建》,北京:社會科學文獻出版社,2006年,第40頁。這種全球化的風險社會也包含了兩種基本風險類型:外部風險與人造風險。外部風險主要是指非人為的風險,如各種自然災害。而人造風險是由人類發(fā)展進步特別是科學和技術(shù)進步所創(chuàng)造的風險,是一種內(nèi)在的風險,其指各種新的風險環(huán)境。面對這類風險,歷史很難給我們提供足夠的應對經(jīng)驗。我們通常并不知道真正的風險是什么,更別說如何根據(jù)概率量表來對它們進行精確計算了。安東尼·吉登斯:《風險與責任》,肖瑛譯,《法理——法哲學、法學方法論與人工智能》2020年第2期。因此,通常認為現(xiàn)代風險社會中的人造風險具有人為性、不確定性以及普遍性的特征。人工智能技術(shù)的出現(xiàn)是人類科學技術(shù)進步的結(jié)果,人工智能技術(shù)風險也是人造風險的一種,是人工智能技術(shù)應用造成的包括影響國家、社會、個人在內(nèi)的各種風險的總稱,同樣具有人造風險的上述特性。特殊的是伴隨人工智能技術(shù)誕生的人工智能技術(shù)權(quán)力對人工智能技術(shù)風險產(chǎn)生了諸多影響,使得人工智能技術(shù)風險的特性產(chǎn)生了一些變化,使風險能夠產(chǎn)生更大、更強的破壞作用。

    (一)非完全的人為性的特性

    現(xiàn)代風險社會的人造風險是科學技術(shù)發(fā)展的結(jié)果,也是人類自身不斷進行選擇決策的結(jié)果,例如牛肉工業(yè)的發(fā)展使其強行對人們進行實驗,人們必須做出是否吃牛肉的決策,而這可能因為瘋牛病的影響而存在關(guān)系到生死的風險。烏爾里?!へ惪耍骸讹L險社會政治學》,劉寧寧、沈天霄譯,《馬克思主義與現(xiàn)實》2005年第3期。因此,人造風險的人為性是人類不斷選擇決策并發(fā)展的體現(xiàn)。然而,人工智能技術(shù)所造成的風險有所不同,這種人造風險的出現(xiàn)并非完全是人為的。人工智能技術(shù)確實由人類創(chuàng)造,但人工智能技術(shù)權(quán)力中“微觀的”權(quán)力具有難以掌控的特性,這使得人類在使用人工智能技術(shù)進行選擇與決策時并非像選擇是否吃牛肉那樣簡單。通常人類在某件事情的選擇上是由大腦處理相關(guān)信息并做出決策的,例如人們可以根據(jù)自己的身體情況以及喜好選擇吃或者不吃牛肉。但當人工智能技術(shù)權(quán)力介入時,是否吃牛肉就不再僅由人們自己決定,而是變?yōu)槿藗兏嬖V人工智能程序如個人身體健康程度、個人偏好等相應的信息,最終經(jīng)由自動數(shù)據(jù)模型訓練的人工智能程序做出決策。當然在得到人工智能的決策后,人們?nèi)匀豢梢赃x擇吃或者不吃牛肉,但人們的選擇就很難說明在多大程度上是自己大腦做出的,而又有多大程度是受人工智能影響做出的。這時,人工智能技術(shù)權(quán)力難以掌控的特性就使得人工智能技術(shù)所創(chuàng)造的風險很難說完全是人造的,因此人工智能技術(shù)風險在人工智能技術(shù)權(quán)力的影響下具有非完全的人為性的特性。

    (二)雙重不確定性的特性

    人工智能代替人類進行決策不僅使得人造風險呈現(xiàn)出非完全人為性的特征,而且還將使風險所造成的不確定性在時間上向前推移,并造成比以往更加深遠且不確定的影響。通常,人造風險的不確定性表現(xiàn)為風險發(fā)生的時間、地點、影響程度、波及范圍、損害大小等都具有不確定性。李香民:《風險社會與我國法律觀念的變革》,博士學位論文,吉林大學法學院,2012年,第17頁。但這些風險通常產(chǎn)生于人們的決策與選擇后,而決策與選擇的過程是可知的,人們能夠提前作預防風險的準備。因此,在奈特的定義中風險是可測定的不確定性,是可以測量的。張碧瓊:《經(jīng)濟全球化:風險與控制》,北京:中國社會出版社,1999年,第14頁。不過當人工智能技術(shù)參與決策時,在人工智能技術(shù)權(quán)力極難解釋性的特性影響下,人工智能進行決策的過程成為“黑箱”,人們無法知曉決策過程,特別是當人工智能做出通常邏輯(“吃或不吃牛肉”)之外的決策時,人類將難以應對而必須做出多手準備,這將大大增加風險的不確定性。例如在全球第一例自動駕駛事故中,自動駕駛汽車的安全員就沒有預見到人工智能會錯誤識別小女孩為別的物體而錯過避險時間最終造成慘劇?!度蚴桌裏o人車致死案更多細節(jié)公布 車禍發(fā)生前5.6秒檢測到行人》,https://baijiahao.baidu.com/s?id=1649595657719236783&wfr=spider&for=pc,2021年12月20日。而這實際上是人工智能技術(shù)權(quán)力將人工智能技術(shù)風險在時間維度上向前推移導致了風險既可能出現(xiàn)在選擇人工智能進行決策時,又可能出現(xiàn)在人工智能進行決策后,因此具有了雙重不確定性的特性。

    (三)差異普遍性的特性

    風險社會之所以具有普遍性,是因為現(xiàn)代化的風險具有“回旋鏢效應”,其可以打破階級圖式,沖擊風險的制造者與受益者,使得所有人都成為風險社會的受害者,例如生態(tài)災害與核危機。烏爾里?!へ惪耍骸讹L險社會:新的現(xiàn)代性之路》,劉寧寧、沈天雷譯,第9頁。但人工智能時代的來臨使人工智能技術(shù)權(quán)力讓這種普遍性變得具有差異性。一方面,由于“回旋鏢效應”,人工智能技術(shù)本身的使用會讓所有人承受其帶來的風險,再加上人工智能技術(shù)權(quán)力中“微觀的權(quán)力”所具有的控制力,使人人都有被人工智能技術(shù)權(quán)力所規(guī)訓與控制的風險。另一方面,由于人工智能技術(shù)權(quán)力主要以傳統(tǒng)公權(quán)力為載體,這使得各個主體在人工智能時代的博弈中也面臨著不同的風險:國家權(quán)力將面臨其權(quán)力被去中心化所帶來的風險,可能使國家權(quán)力遭到以谷歌、微軟等公司為首的社會權(quán)力持有者架空。社會權(quán)力持有主體將面臨因人工智能技術(shù)的“黑箱”問題難以通過傳統(tǒng)的因果關(guān)系進行歸責而遭到法律的強制責任分配,從而承擔不確定的開發(fā)與運行成本風險。就個人權(quán)利而言,即便是如歐盟《一般數(shù)據(jù)保護條例》也不能完全預防人工智能技術(shù)權(quán)力借助社會權(quán)力對個人施加控制能力和侵害個人權(quán)利所帶來的種種風險。這些風險小到網(wǎng)絡(luò)購物遭受大數(shù)據(jù)殺熟、就業(yè)遭遇人工智能篩選的歧視,大到自動駕駛危及生命健康。侵害個人權(quán)利的風險可謂無處不在。在人工智能技術(shù)權(quán)力的影響下,人工智能技術(shù)既給各個主體帶來了相同的風險,也給不同主體造成了具有特殊性的風險,這使得人工智能時代的風險具有差異普遍性的特性。

    四、人工智能技術(shù)權(quán)力影響下人工智能技術(shù)風險的法律分配困境

    風險本身無法完全避免,預防風險只能起到部分作用。而人工智能技術(shù)權(quán)力給人工智能技術(shù)風險帶來了新的變化,使人工智能技術(shù)風險的特性變得更加復雜,單從時間維度看,風險的提前到來更加壓縮了預防風險的空間。如何公平地分配風險是當下將人工智能技術(shù)風險造成的負面影響控制在合理范圍較為有效的方法。但法律作為分配風險的利器,卻在分配人工智能技術(shù)風險時存在諸多困境,這對人類如何應對風險提出了新挑戰(zhàn)。

    (一)人工智能技術(shù)風險的風險承擔主體選擇困境

    通常情況下,誰產(chǎn)生風險誰就承擔風險責任,這是典型的“行為-責任”機制,也是侵權(quán)責任的構(gòu)成核心。例如《個人信息保護法》第六十六條規(guī)定:“違反本法規(guī)定處理個人信息……由履行個人信息保護職責的部門責令改正,給予警告,沒收違法所得?!边@是典型的“行為-責任”機制。風險的歸責問題是應對風險的關(guān)鍵所在。在某種意義上,對一個事件負責的人也可以被說成是這個事件的制造者,其意思是將這個概念同因果性或者施動者(agency)連接起來。安東尼·吉登斯:《風險與責任》,肖瑛譯。人工智能技術(shù)風險具有非完全的人為性的特性,這種特性使得人工智能系統(tǒng)本身具有了產(chǎn)生風險的可能,因此其可以是承擔風險的主體。當然這只是理論上的問題,因為人工智能系統(tǒng)并不具有主觀能動性。康德認為只有在對主體的行為后果進行歸責時才能談到責任。只有當我們考慮到主體不僅屬于自然世界也屬于理智世界,他們是自主的、有能力的、能夠按照理性規(guī)則行事的主體時,談論責任才是可能的。D.克魯科金:《責任與正義的限度》,袁鑫譯,《世界哲學》2021年第5期。在侵權(quán)責任中,行為人是否有相應的民事責任能力也是判斷其是否構(gòu)成侵權(quán)并承擔責任的重要前提。因此不具有主觀能動性的人工智能系統(tǒng)無法成為承擔人工智能技術(shù)風險的責任主體。實踐中,當發(fā)生自動駕駛汽車侵權(quán)、人工智能大數(shù)據(jù)殺熟侵權(quán)、人工智能人臉識別侵權(quán)等侵權(quán)行為時,人們也確實無法讓人工智能系統(tǒng)本身承擔責任。那么由誰來承擔本應由人工智能系統(tǒng)承擔的這部分責任呢?由于這種責任并非人引起的,使“行為-責任”機制不再適用,無論是由人工智能技術(shù)開發(fā)者還是由使用者,或者其他人來承擔這部分責任,都缺乏正當依據(jù),顯然這是當下法律所難以解決的問題。

    (二)風險責任承擔主體的歸責困境

    當人工智能系統(tǒng)制造的風險造成損害時,暫且拋開人工智能系統(tǒng)的責任份額不談,追究人工智能使用者的不當使用或是設(shè)計與制造者設(shè)計缺陷的責任似乎是可行的。在“行為-責任”機制中,要想從“行為”通達“責任”就需要有“原因”,這在侵權(quán)責任中通常包含了“損害事實”“因果關(guān)系”“過錯”這三個構(gòu)成要件。但風險社會中,因現(xiàn)代分工合作的社會體制為“有組織地不負責任”提供了幫助。周戰(zhàn)超:《當代西方風險社會理論引述》,《馬克思主義與現(xiàn)實》2003年第3期。不僅如此,人工智能技術(shù)風險的不確定性導致了風險發(fā)生時與發(fā)生后一切都是未知的。這使得當下緊密的工業(yè)化網(wǎng)絡(luò)中,因果關(guān)系交錯復雜,現(xiàn)實化的危害結(jié)果在很多情況下已不可能用單一的因果關(guān)系來進行解釋。勞東燕:《風險社會與功能主義的刑法立法觀》,《法學評論》2017年第6期。也即是說在人工智能技術(shù)風險的影響下,通過“因果關(guān)系”進行歸責存在困境。而當下法律擺脫這一困境的方法是繞過因果關(guān)系選擇使用“過錯推定”或者“嚴格責任”為歸責原則。“過錯推定”是要求人工智能的使用者或設(shè)計與制造者自證在人工智能的使用、設(shè)計、制造中無過錯,否則將承擔相應責任?!皣栏褙熑巍眲t是要求人工智能的使用者或設(shè)計與制造者在沒有第三人的過錯和受害人的過失以及不可抗力因素時直接承擔無過錯責任?!斑^錯推定”與“嚴格責任”在過去多種人造風險中都是較為實用的歸責原則,但人工智能“黑箱”的存在讓這兩種原則皆難以適用。因為人工智能“黑箱”會使得人工智能系統(tǒng)的使用者或設(shè)計與制造者難以證明其在人工智能系統(tǒng)造成的損害中沒有過錯,因此“過錯推定”就易演變?yōu)椤皣栏褙熑巍?。而“嚴格責任”的歸責原則雖然經(jīng)常適用于產(chǎn)品責任領(lǐng)域,但人工智能系統(tǒng)本身存在諸多不確定性,而且這些不確定性通常和人工智能系統(tǒng)觸發(fā)風險之前的經(jīng)歷有關(guān),比如其行為可能會根據(jù)基于事件發(fā)生地的不同道德標準進行決策。Samir Chopra, Laurence F. White, A? Legal Theory for Autonomous Artificial Agents,Ann Arbor:University of Michigan Press, 2011, p.137.因此同一人工智能產(chǎn)品可能在不同時空會有不同的判斷,實際上是將風險的發(fā)生提前了,這樣就很難認定人工智能本身是否存在缺陷,所以“嚴格責任”的適用可能存在公平與否的問題。最終,僅憑“損害事實”這一“原因”就無法使“行為”通達“責任”。

    (三)風險責任的份額分配困境

    在人工智能技術(shù)風險的前述兩種情況中,法律都難以通過“行為-責任”機制找到相應的責任承擔者,這種情況下還有一個辦法那就是法律提前對行為作出評價強行適用“行為-責任”機制。例如在傳統(tǒng)駕駛中,法律通常在交通事故發(fā)生后,扮演行為和責任事后認定和評價的角色。但在自動駕駛的緊急情況中,法律所發(fā)揮的作用則恰好相反,法律的規(guī)定決定了自動車輛的程序在緊急情況發(fā)生時,將會如何進行實踐推理,并形成最終的決定。駱意中:《法理學如何應對自動駕駛的根本性挑戰(zhàn)?》,《華東政法大學學報》2020年第6期。不過這種解決方法在面臨“電車難題”這樣的多方主體出現(xiàn)利益沖突時,法律如何分配責任就存在困難。這是由于人工智能技術(shù)所造成的風險具有差異普遍性的特性,所以當人工智能陷入類“電車難題”困境時,其決策可能導致不同主體將承受不同的風險。在自動駕駛中,使用者一定不會接受人工智能系統(tǒng)做出可能威脅其生命健康權(quán)的決策,因此人工智能系統(tǒng)的設(shè)計與制造者為了經(jīng)濟利益也傾向于在遭遇“電車難題”時首先命令人工智能系統(tǒng)做出保護駕駛員的決定。但這讓作為人工智能設(shè)計與制造者的社會權(quán)力持有主體擁有了逾越國家權(quán)力擅自處分他人人身權(quán)利的能力,這是國家權(quán)力所不能接受的。而國家權(quán)力的過多介入又可能使人工智能的開發(fā)受阻,這當然又是社會權(quán)力持有者所難以接受的。因此,法律即使提前應對人工智能產(chǎn)生的風險,仍然需要考慮由誰來承擔“電車難題”決策風險以及在何種程度上承擔風險的問題。

    五、基于羅爾斯正義理論的人工智能技術(shù)風險的法律分配路徑

    在人工智能技術(shù)權(quán)力特性影響下,對人工智能技術(shù)風險的分配所面臨的諸多困境實際上都是“行為”如何通達“責任”的問題,需要法律締造一種行為機制模式,以風險行為為核心進行責任分配,使風險行為與責任承擔之間產(chǎn)生一種直接聯(lián)系,使風險的承擔達到一種平衡狀態(tài),這是法律介入風險分配領(lǐng)域的理論基礎(chǔ)與基本邏輯。何國強:《風險社會、風險分配與侵權(quán)責任法的變革》,《廣東社會科學》2018年第3期。也就是說在人工智能技術(shù)風險的法律分配困境中,要么使“行為”直接能夠合理地與“責任”相連,要么打通“行為”通達“責任”的路徑。羅爾斯的分配正義理論為此提供了理論基礎(chǔ)。

    (一)構(gòu)建類“原初狀態(tài)”的風險的法律分配環(huán)境

    人工智能技術(shù)權(quán)力具有的多種特性所導致的人工智能技術(shù)風險的法律分配困境歸根結(jié)底是因為人類無法有效掌控人工智能技術(shù)權(quán)力而導致的。在這種情況下,因缺乏令人信服的分配理由,法律很難直接要求某一主體承擔責任。而一個令人信服的分配理由則需要在一個公平的風險分配環(huán)境中才能誕生,因此首先需要建立一個公平的法律風險分配環(huán)境,為“行為”重新通達“責任”提供基礎(chǔ)。眾所周知,羅爾斯期望通過建立“無知之幕”從而通達“原初狀態(tài)”,其中“原初狀態(tài)”是一種其間所達到的任何契約都是公平的狀態(tài),是一種各方在其中都是作為道德人的平等代表、選擇的結(jié)果不受任意的偶然因素或社會力量的相對平衡所決定的狀態(tài)。約翰·羅爾斯:《正義論》(修正版),何懷宏、何包鋼、廖申白譯,北京:中國社會科學出版社,2009年,第92—93頁。而為了通達“原初狀態(tài)”的“無知之幕”則是指人們處在一種不知道各種選擇對象將如何影響他們自己的特殊情況,他們不得不僅在一般考慮的基礎(chǔ)上對原則進行評價。約翰·羅爾斯:《正義論》(修正版),何懷宏、何包鋼、廖申白譯,第105—106頁。恰好,處在不同處境的主體在面對人工智能技術(shù)所帶來的風險時,都不清楚人工智能系統(tǒng)的決策原因,人工智能技術(shù)權(quán)力這種難以為人類所掌控的特性天然與“無知之幕”具有相似性,因此通過這種“無知之幕”建立類“原初狀態(tài)”的法律分配環(huán)境也是尋求令人信服的分配理由應當去追求的。不過要建立類“原初狀態(tài)”也并非輕而易舉,在人工智能技術(shù)風險的法律分配環(huán)境中,各個主體之間對人工智能技術(shù)的了解是不對稱的,這使得在人工智能的“無知之幕”外還有其他因素直接影響類“原初狀態(tài)”的形成。因此,盡力消除社會權(quán)力持有主體、國家、個人之間的信息不對稱是建立類“原初狀態(tài)”的前提。

    社會權(quán)力是人工智能技術(shù)權(quán)力的載體之一,并且社會權(quán)力的持有主體通常還是人工智能技術(shù)的開發(fā)主體,因此其天然比其他主體掌握了更多的人工智能技術(shù)信息,憑借這一點,其可以蒙蔽其他主體并濫用社會權(quán)力影響“原初狀態(tài)”的形成。國家權(quán)力作為人工智能技術(shù)權(quán)力的另一載體,其雖也掌握大量的人工智能技術(shù)信息但掌握的時間卻滯后于社會權(quán)力持有主體,這一時間差足以造成社會權(quán)力持有主體與國家在人工智能技術(shù)上的信息不對稱。對個人而言,人工智能技術(shù)多數(shù)情況下是一個難以觸及的領(lǐng)域,個人不僅難以掌握人工智能技術(shù),甚至缺乏了解的渠道,是掌握人工智能技術(shù)信息最少的主體。當然,縮小各主體在掌握人工智能技術(shù)信息上的差距并不意味著要使其所掌握的信息完全一樣,而是達到基本平衡來構(gòu)建一種類“原初狀態(tài)”。因為不可能為了所有主體特別是個人都掌握同樣的信息而遲滯人工智能技術(shù)的開發(fā),所以主要目的是讓社會權(quán)力持有主體與國家能夠盡量平衡包括掌握時間在內(nèi)的人工智能技術(shù)信息。對于個人,實際上在羅爾斯的假設(shè)中,個人已經(jīng)在“原初狀態(tài)”中選擇了社會基本結(jié)構(gòu),在這一社會基本結(jié)構(gòu)中國家在假定的社會契約中建立并負有保護個人權(quán)利的職責。羅爾斯的正義理論實際上是從洛克、盧梭和康德所代表的社會契約觀念發(fā)展而來,只不過是一種假定的社會契約。具體參見約翰·羅爾斯:《萬民法》,張曉輝、李仁良、邵仁麗、李鑫譯,長春:吉林人民出版社,2001年,第192頁;張乃根:《當代西方法哲學主要流派》,上海:復旦大學出版社,1993年,第53頁。當然,由于國家也是人工智能技術(shù)權(quán)力的持有主體,因此個人仍然需要有了解必要的人工智能技術(shù)基本信息的公開渠道,以監(jiān)督國家對個人權(quán)利的保護。

    那么平衡社會權(quán)力持有主體與國家在掌握人工智能技術(shù)信息上的差距,使個人掌握必要的人工智能技術(shù)信息就是建立類“原初狀態(tài)”的關(guān)鍵。當然這也并不是要求所有的人工智能技術(shù)信息都要保持雙方的信息對稱,目前對此有迫切要求的是《個人信息保護法》與《數(shù)據(jù)安全法》等規(guī)定有保護個人權(quán)利的法律法規(guī)中所涉及的信息。例如《個人信息保護法》第三條規(guī)定:在中華人民共和國境內(nèi)處理自然人個人信息的活動,包括(一)以向境內(nèi)自然人提供產(chǎn)品或者服務為目的;(二)分析、評估境內(nèi)自然人的行為;(三)法律、行政法規(guī)規(guī)定的其他情形。要實現(xiàn)這一目的,建立一種“沙箱”機制是有必要的。“沙箱”機制背后的理念是讓國家監(jiān)管機構(gòu)批準一個特定的、不受監(jiān)管的“實驗環(huán)境”,以測試破壞性技術(shù)對現(xiàn)有法規(guī)的影響。Lee Z., Karim M., Ngui K., et al., “Deep Learning Artificial Intelligence and the Law of Causation: Application, ”Challenges and Solutions Information & Communications Technology Law, vol.30, no.3,2021,p.18.“沙箱”本身就是一種類“原初狀態(tài)”,其可以使各個主體在其中都如同處于“無知之幕”之中,這種機制一方面可以為人工智能技術(shù)的發(fā)展提供一個更好的空間,另一方面,也使得國家能夠在新型人工智能技術(shù)應用于實踐前提前掌握相應的信息,檢查人工智能系統(tǒng)中是否存在帶有歧視性的指令、非清潔的數(shù)據(jù)等等人為因素,使社會權(quán)力持有者與國家所掌握的人工智能技術(shù)信息處于同一水平線上。不僅如此,個人也因“沙箱”的存在而有足夠的機會參與其中,表達自己的訴求,加強對新人工智能技術(shù)進行了解。最終,“沙箱”機制就因平衡了各個主體對人工智能技術(shù)信息的掌握程度而為法律公平分配人工智能技術(shù)風險提供了環(huán)境。

    (二)以純粹程序正義為基礎(chǔ)重塑歸責機制

    人工智能技術(shù)權(quán)力具有極難解釋性的特性,這使得人工智能技術(shù)風險具有雙重不確定性,“行為”因缺少“過錯”導致“過錯責任”與“嚴格責任”難以實行,最終“行為”難以通達“責任”。由于這本質(zhì)上是人工智能技術(shù)“黑箱”所致,因此如何解決“黑箱”問題則成為關(guān)鍵。不過“黑箱”問題并非目前的技術(shù)能夠輕易解決的,所以仍然需要一種正義的手段為“過錯”的證明提供渠道。

    歷史上最早的正義要求現(xiàn)在看來就是一種程序上的正義,如《圣經(jīng)》告誡法官“既聽取隆著者也聽取卑微者”等等。馬丁·P·戈爾丁:《法律哲學》,齊海濱譯,北京:生活·讀書·新知三聯(lián)書店,1987年,第235頁。這即程序正義,在此要求下一個公平的法律程序組織可以最大限度地增加作出公正決定的可能性。麥考密克,魏因貝爾格:《制度法論》,周葉謙譯,北京:中國政法大學出版社,1994年,第262頁。因此,一個正義的法律程序是證明“過錯”的關(guān)鍵。羅爾斯在程序正義理論中將程序正義分為完善的程序正義、不完善的程序正義、純粹的程序正義。約翰·羅爾斯:《正義論》(修正版),何懷宏、何包鋼、廖申白譯,第66—68頁。其中,完善的程序正義在實踐中難以運用于法律,而不完善的程序正義即便被仔細遵守仍然可能得出令人不滿的結(jié)論,因此在羅爾斯看來,純粹的程序正義是最值得推崇的。在純粹的程序正義下,當每一個人都遵守公眾承認的合作規(guī)則,并履行這些規(guī)則所規(guī)定的各項條款的時候,由此產(chǎn)生的社會基本益品的分配就可被接受為正義的,而無論這些分配的結(jié)果是什么。約翰·羅爾斯:《作為公平的正義——正義新論》,姚大志譯,上海:上海三聯(lián)書店,2002年,第81頁。若在人工智能技術(shù)風險責任承擔的“過錯”證明中遵守純粹的程序正義,那么“過錯”的證明就可以有具體的標準,最終即便在實踐中存在一些不公平的情況,但因為這是所有主體在“沙箱”(“原初狀態(tài)”)中選擇的規(guī)則,因此仍然是正義的。

    純粹的程序正義為“過錯”的證明提供了可能,不過這在實踐中還需要細化,因此可以分階段設(shè)定法律規(guī)則。第一階段,國家應當對整個人工智能行業(yè)提供一套較為寬泛且能夠證明的“過錯”法律標準。例如要求人工智能的使用者或設(shè)計與制造者證明其已經(jīng)按照《個人信息保護法》《數(shù)據(jù)安全法》《網(wǎng)絡(luò)安全法》等法律的要求做到了例如獲取信息前取得信息所有人同意,處理信息時采用去標識化的處理手段,進行自動化決策時征求受影響人同意等等現(xiàn)行法律的基本要求。若其能夠證明在這一階段沒有過錯,則進入下一階段。第二階段,國家及各部門根據(jù)人工智能技術(shù)風險所屬的領(lǐng)域制定相應的具有“過錯”標準的行政法規(guī)或部門規(guī)章。這時,相關(guān)風險領(lǐng)域的政府部門應成立相應的機構(gòu),邀請社會權(quán)力持有主體、個人參與其中,共同探討“過錯”標準,只有當人工智能的使用者或設(shè)計與制造者能證明其在該階段沒有過錯時,才能進入下一階段。第三階段,在國家相關(guān)部門監(jiān)督下由最了解人工智能技術(shù)的社會權(quán)力持有主體自己制定具有詳細“過錯”標準的行業(yè)規(guī)則,因為這更有利于規(guī)則的細化。只有當人工智能的使用者或設(shè)計與制造者在第三階段仍然能夠證明其無過錯時,才能認為其可以不在人工智能技術(shù)風險中承擔責任。否則,只要沒有達成上述任何一個階段的要求,人工智能的使用者或設(shè)計與制造者都應承擔“嚴格責任”。

    (三)基于動態(tài)監(jiān)管的責任份額分配模式

    人工智能技術(shù)權(quán)力具有雙重控制力的特性,這使得人工智能技術(shù)風險也具有了差異普遍性的特性。即便是建立了“沙箱”(類“原初狀態(tài)”)作為公平的分配環(huán)境以及堅持了純粹程序正義作為“過錯”的證明渠道,但由于這種特性的存在,各個主體所受人工智能技術(shù)風險的影響各不相同,因此在不少場合仍然難以達成共識。這時就需要國家出面進行監(jiān)管,強制性地分配人工智能技術(shù)風險中各主體應承擔的責任份額。

    當然即便是國家的強制性分配,實際上也應當遵守在“沙箱”(類“原初狀態(tài)”)中選擇出的規(guī)則。在羅爾斯那里,人們經(jīng)過反復思量選擇出的是正義二原則,其中有利于解決目前人工智能技術(shù)風險中責任份額分配困境的是差別原則。差別原則認為社會和經(jīng)濟的不平等(例如財富和權(quán)力的不平等)只有在其結(jié)果能給每一個人尤其是那些最少受惠的社會成員帶來補償利益時,它們才是正義的。約翰·羅爾斯:《正義論》(修正版),何懷宏、何包鋼、廖申白譯,第12頁。人工智能技術(shù)風險具有差異普遍性的特征,處在風險中的各個主體承受著各不相同的風險,既有最大的受惠者,也有最不利益者,差別原則正好提供了一個用于解決這些問題的契合思路。也即是說人工智能技術(shù)風險的責任份額分配要保證每一個主體的利益,特別是保證最不利主體的利益時,才是正義的分配方式。需要注意的是這并不是以最不利主體的利益為核心,否則像人工智能這樣的先進技術(shù)無法持續(xù)發(fā)展。使用羅爾斯這樣的分配方式實際上是在追求帕累托最優(yōu),是希望每個主體的利益繼續(xù)增長的同時,在最不利者能夠獲利的最大極值之處進行利益分配。羅爾斯通過著名的OP曲線對此進行了詳細的描述,因為超過某個極值時,最不利者的獲利將隨最有利者的利益增加而減少,因此完美滿足差別原則的位置就是極值之處。參見約翰·羅爾斯:《正義論》(修正版),何懷宏、何包鋼、廖申白譯,第59—61頁。在人工智能技術(shù)風險影響下,每個主體雖有各自的難處,但掌握人工智能技術(shù)信息最少的個人一定是最不利者。那么使用法律對人工智能技術(shù)風險的責任份額進行分配,關(guān)鍵就是如何分配各個主體在人工智能技術(shù)風險中的權(quán)利與義務,既使每個主體的利益都能夠得到保證,又能使個人在其中獲得其能夠獲得的最大利益。

    對權(quán)利與義務的分配當然仍然需要程序正義的法律機制,但如果要最大程度地契合差別原則,那么就不可避免地需要加入實質(zhì)正義的因素。事實上,羅爾斯在其后期的觀點中也認為一種程序的正義總是依賴于實質(zhì)正義,程序正義與實質(zhì)正義是相互聯(lián)系而非相互分離的。約翰·羅爾斯:《政治自由主義》,萬俊人譯,南京:譯林出版社,2002年,第449頁。但加入哪些實質(zhì)因素才能達到差別原則的要求呢?這里羅爾斯的反思平衡理論為這一問題提供了解法。反思平衡是一種不斷調(diào)整道德判斷和道德原則并使之相互和諧一致的過程。姚大志:《反思平衡與道德哲學的方法》,《學術(shù)月刊》2011年第2期。這里需要借鑒的是反思平衡的邏輯,也即是法律在分配各個主體在人工智能技術(shù)風險中的權(quán)利與義務時,可以先假定一些基本原則,通過這些基本原則來確定一些為達到差別原則目的的規(guī)則,然后根據(jù)規(guī)則的實踐情況,如有不足之處再回頭調(diào)整規(guī)則或原則,最終盡量滿足差別原則的要求。為了反思平衡的實現(xiàn),就需要建立一種動態(tài)監(jiān)管的模式。國家應將對人工智能技術(shù)的監(jiān)管視為一種“有節(jié)制的決策”形式,也就是說,監(jiān)管選擇是開放式的、高度偶然性的選擇,只是較長過程中的一個階段或元素,而不是對特定問題的“最終決定”。Corrales M., Fenwick M., Forgó N.,Robotics, Ai and the Future of Law, Singapore:Springer Singapore, 2018, p.88.這時通過原則設(shè)定的規(guī)則也應采用更容易更改的行政法規(guī)或部門規(guī)章,因為相對法律,它們能夠更容易納入不同的觀點,即便是出現(xiàn)了差錯也更容易更改。Casey B., Lemley Mark A., “You Might Be a Robot,”Cornell Law Review, vol.105, no.2,2020, p.295.最終當能盡量達到差別原則所要求的滿足各方主體的利益,特別是保證個人利益時,這種情況下所進行的人工智能技術(shù)風險責任份額的法律分配就將是合理的。

    “沙箱”(類無知之幕)的建立為人工智能技術(shù)權(quán)力影響下的人工智能技術(shù)風險的法律分配提供了一個公平的環(huán)境,使各方主體能夠在其中共同選擇出合理的法律規(guī)則來實現(xiàn)“行為”通達“責任”。即便是難以適用“行為-責任”機制與難以達成共識時,也可以利用類反思平衡的方式進行風險的法律分配,盡量達到差別原則的要求,最終使人工智能技術(shù)風險造成的影響控制在可接受的范圍。

    (責任編輯:周中舉)

    猜你喜歡
    分配正義風險人工智能
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    馬克思分配正義思想及其當代建構(gòu)
    理論導刊(2017年2期)2017-02-25 18:36:58
    中國經(jīng)濟轉(zhuǎn)型的結(jié)構(gòu)性特征、風險與效率提升路徑
    商(2016年27期)2016-10-17 05:33:32
    互聯(lián)網(wǎng)金融的風險分析與管理
    企業(yè)納稅籌劃風險及防范措施
    收入分配差距拉大的根源在哪里
    人民論壇(2016年25期)2016-09-28 10:57:42
    下一幕,人工智能!
    南風窗(2016年19期)2016-09-21 16:51:29
    馬克思分配正義觀的闡釋方式
    商(2016年3期)2016-03-11 11:11:10
    国产精品99久久99久久久不卡 | 特级一级黄色大片| 建设人人有责人人尽责人人享有的 | 国精品久久久久久国模美| 国产黄频视频在线观看| 久久久亚洲精品成人影院| 内射极品少妇av片p| 小蜜桃在线观看免费完整版高清| 大又大粗又爽又黄少妇毛片口| 中文字幕制服av| 又爽又黄无遮挡网站| 日本欧美国产在线视频| 亚洲av电影在线观看一区二区三区 | 日韩av在线免费看完整版不卡| 老司机影院毛片| 大香蕉久久网| 欧美激情国产日韩精品一区| 人人妻人人看人人澡| 国产精品麻豆人妻色哟哟久久| 九九爱精品视频在线观看| 精品一区二区三区视频在线| 欧美成人a在线观看| 成人国产麻豆网| 在线看a的网站| 在线a可以看的网站| av在线亚洲专区| 老师上课跳d突然被开到最大视频| 丝瓜视频免费看黄片| 大香蕉97超碰在线| 亚洲色图综合在线观看| 欧美国产精品一级二级三级 | 各种免费的搞黄视频| 成人黄色视频免费在线看| 亚洲精品亚洲一区二区| 日韩欧美 国产精品| 国产精品一区二区在线观看99| 国产日韩欧美在线精品| 国产亚洲一区二区精品| 中文乱码字字幕精品一区二区三区| 嫩草影院入口| 成人漫画全彩无遮挡| 各种免费的搞黄视频| 少妇人妻久久综合中文| 国产精品无大码| 久久热精品热| 国产精品一区二区三区四区免费观看| 久久久久久久亚洲中文字幕| 成人免费观看视频高清| 日日摸夜夜添夜夜添av毛片| av专区在线播放| 联通29元200g的流量卡| 午夜视频国产福利| 男插女下体视频免费在线播放| 欧美zozozo另类| freevideosex欧美| 国产精品久久久久久久电影| 亚洲人成网站在线观看播放| 久久久久精品性色| 欧美日韩国产mv在线观看视频 | 午夜亚洲福利在线播放| 久久影院123| 久久99热这里只频精品6学生| 天美传媒精品一区二区| 国产黄片视频在线免费观看| 久久久久久久精品精品| 精品少妇久久久久久888优播| 一区二区三区四区激情视频| 日日摸夜夜添夜夜爱| 国精品久久久久久国模美| 国产成人a∨麻豆精品| 亚洲高清免费不卡视频| 性色avwww在线观看| 99久国产av精品国产电影| av女优亚洲男人天堂| 激情 狠狠 欧美| 欧美日韩精品成人综合77777| 日产精品乱码卡一卡2卡三| 国产亚洲5aaaaa淫片| 亚洲电影在线观看av| 欧美激情久久久久久爽电影| 国产毛片a区久久久久| 五月开心婷婷网| 国产精品一区二区在线观看99| 国产一区二区三区综合在线观看 | 色视频在线一区二区三区| 国产视频首页在线观看| 国产av国产精品国产| 日日摸夜夜添夜夜爱| 卡戴珊不雅视频在线播放| 国产av国产精品国产| 超碰av人人做人人爽久久| 一级二级三级毛片免费看| av在线天堂中文字幕| 亚洲色图综合在线观看| 免费大片18禁| 日韩成人av中文字幕在线观看| 日韩成人av中文字幕在线观看| 亚洲国产精品成人综合色| 国语对白做爰xxxⅹ性视频网站| 一本一本综合久久| 久久久久网色| 久久99热6这里只有精品| 天堂俺去俺来也www色官网| 美女高潮的动态| 在线亚洲精品国产二区图片欧美 | 午夜爱爱视频在线播放| 在现免费观看毛片| 免费观看的影片在线观看| 日韩亚洲欧美综合| 在线免费十八禁| 丝袜脚勾引网站| 日本欧美国产在线视频| 在线免费观看不下载黄p国产| 建设人人有责人人尽责人人享有的 | 久久精品夜色国产| 在线免费十八禁| 99热全是精品| 干丝袜人妻中文字幕| 欧美3d第一页| 一级av片app| 国产黄色免费在线视频| 免费av毛片视频| 不卡视频在线观看欧美| 男人添女人高潮全过程视频| 99热6这里只有精品| 久久久久久国产a免费观看| 免费大片18禁| 国产高清国产精品国产三级 | 成人无遮挡网站| 91久久精品国产一区二区三区| 国产精品av视频在线免费观看| 亚洲国产欧美在线一区| 日韩制服骚丝袜av| 亚洲欧美成人综合另类久久久| 亚洲第一区二区三区不卡| 成人高潮视频无遮挡免费网站| 亚洲国产日韩一区二区| 不卡视频在线观看欧美| 亚洲精华国产精华液的使用体验| 女的被弄到高潮叫床怎么办| 精品人妻一区二区三区麻豆| 晚上一个人看的免费电影| 国产精品嫩草影院av在线观看| 高清欧美精品videossex| 亚洲国产色片| 啦啦啦啦在线视频资源| 一级av片app| 午夜精品国产一区二区电影 | 国产在线男女| 日日摸夜夜添夜夜添av毛片| 最近最新中文字幕大全电影3| 欧美高清性xxxxhd video| 国产爽快片一区二区三区| 别揉我奶头 嗯啊视频| 亚洲国产成人一精品久久久| 99热这里只有是精品在线观看| 青春草亚洲视频在线观看| 丰满人妻一区二区三区视频av| 又大又黄又爽视频免费| 国产亚洲5aaaaa淫片| 国产精品成人在线| 午夜老司机福利剧场| 男人添女人高潮全过程视频| 哪个播放器可以免费观看大片| 日日摸夜夜添夜夜爱| 亚洲国产精品国产精品| 大话2 男鬼变身卡| 校园人妻丝袜中文字幕| 精品久久久噜噜| 亚洲精品视频女| 午夜亚洲福利在线播放| 国产精品麻豆人妻色哟哟久久| 日韩欧美 国产精品| 中国国产av一级| 国产精品蜜桃在线观看| 永久网站在线| 午夜免费鲁丝| 国产日韩欧美在线精品| 日韩欧美精品v在线| 大片免费播放器 马上看| 丝袜喷水一区| 国产午夜精品久久久久久一区二区三区| 亚洲色图综合在线观看| 日韩视频在线欧美| av免费观看日本| 欧美成人一区二区免费高清观看| 国产午夜精品一二区理论片| 精品久久久久久电影网| 久久精品夜色国产| 精品国产一区二区三区久久久樱花 | 精品久久久久久久人妻蜜臀av| 久久久午夜欧美精品| 日本爱情动作片www.在线观看| av在线app专区| 久久久久久九九精品二区国产| 久久综合国产亚洲精品| 国产精品麻豆人妻色哟哟久久| 亚洲av国产av综合av卡| 王馨瑶露胸无遮挡在线观看| 另类亚洲欧美激情| 亚洲av.av天堂| 国产淫片久久久久久久久| 中文资源天堂在线| 一本色道久久久久久精品综合| 国产精品99久久99久久久不卡 | 18禁裸乳无遮挡免费网站照片| 男女无遮挡免费网站观看| 国产亚洲5aaaaa淫片| 精品久久久久久久末码| 精品视频人人做人人爽| 搡女人真爽免费视频火全软件| 五月天丁香电影| 亚洲国产精品999| 亚洲综合色惰| 性色av一级| 大陆偷拍与自拍| 久久久精品94久久精品| 日日啪夜夜爽| 亚洲欧美日韩无卡精品| 久久久久网色| 成年版毛片免费区| 噜噜噜噜噜久久久久久91| 免费大片黄手机在线观看| 我的女老师完整版在线观看| 亚洲精品中文字幕在线视频 | tube8黄色片| 日日啪夜夜撸| 国产亚洲av嫩草精品影院| 久久亚洲国产成人精品v| 日本wwww免费看| 久久久久国产精品人妻一区二区| 99视频精品全部免费 在线| 久久久精品欧美日韩精品| 亚洲av在线观看美女高潮| 久久久久久九九精品二区国产| 久久6这里有精品| 亚洲三级黄色毛片| 久久久久久伊人网av| 97精品久久久久久久久久精品| 国产精品一区二区在线观看99| 夫妻午夜视频| 最近最新中文字幕大全电影3| 亚洲精品,欧美精品| 一本久久精品| 国产成人精品福利久久| 国产一区亚洲一区在线观看| 在线免费观看不下载黄p国产| 亚洲经典国产精华液单| 午夜亚洲福利在线播放| 18+在线观看网站| 久久99热这里只有精品18| 51国产日韩欧美| 欧美最新免费一区二区三区| 日韩成人av中文字幕在线观看| 亚洲av成人精品一区久久| 亚洲欧美精品专区久久| 乱系列少妇在线播放| 国产成人精品福利久久| 一级毛片久久久久久久久女| 可以在线观看毛片的网站| 日韩精品有码人妻一区| 欧美丝袜亚洲另类| 成年女人看的毛片在线观看| 一个人观看的视频www高清免费观看| 赤兔流量卡办理| 精品久久久久久电影网| 中文字幕制服av| 久久久久久九九精品二区国产| 亚洲婷婷狠狠爱综合网| 岛国毛片在线播放| 成人漫画全彩无遮挡| av在线老鸭窝| 国产精品秋霞免费鲁丝片| 建设人人有责人人尽责人人享有的 | 日韩在线高清观看一区二区三区| 亚洲国产欧美在线一区| 在线观看人妻少妇| 九九久久精品国产亚洲av麻豆| 久久人人爽人人片av| 天堂中文最新版在线下载 | 久久亚洲国产成人精品v| 国产一区亚洲一区在线观看| av在线app专区| 亚洲天堂av无毛| 亚洲精品日本国产第一区| 亚洲成色77777| av在线天堂中文字幕| 欧美97在线视频| 国内揄拍国产精品人妻在线| 亚洲精品中文字幕在线视频 | kizo精华| 国产亚洲最大av| 一级爰片在线观看| 亚洲精品乱久久久久久| 最近最新中文字幕大全电影3| 99热国产这里只有精品6| 麻豆乱淫一区二区| 亚洲欧美精品自产自拍| 亚洲国产最新在线播放| 白带黄色成豆腐渣| av在线播放精品| 久久亚洲国产成人精品v| 有码 亚洲区| 别揉我奶头 嗯啊视频| 久久久亚洲精品成人影院| 观看美女的网站| 男人添女人高潮全过程视频| 国产爱豆传媒在线观看| av免费在线看不卡| 日韩免费高清中文字幕av| 国产欧美日韩精品一区二区| 久久99蜜桃精品久久| 最近中文字幕高清免费大全6| 成人鲁丝片一二三区免费| 伦精品一区二区三区| 最新中文字幕久久久久| 男插女下体视频免费在线播放| 国产淫语在线视频| 国产精品成人在线| videossex国产| 80岁老熟妇乱子伦牲交| 免费观看a级毛片全部| 久久午夜福利片| 中文字幕久久专区| 2021天堂中文幕一二区在线观| 18禁在线无遮挡免费观看视频| 大又大粗又爽又黄少妇毛片口| 国产精品偷伦视频观看了| 亚洲高清免费不卡视频| 午夜免费观看性视频| 亚洲av成人精品一二三区| 精品人妻熟女av久视频| 国产毛片在线视频| 爱豆传媒免费全集在线观看| 成人二区视频| 天堂中文最新版在线下载 | 亚洲综合色惰| 高清视频免费观看一区二区| 肉色欧美久久久久久久蜜桃 | av女优亚洲男人天堂| 中文在线观看免费www的网站| 国产高清三级在线| 亚洲精品久久久久久婷婷小说| 91久久精品国产一区二区成人| 亚洲图色成人| 寂寞人妻少妇视频99o| 青青草视频在线视频观看| 99热这里只有精品一区| 欧美xxⅹ黑人| 久久99热这里只频精品6学生| 99热这里只有是精品50| 亚洲精品aⅴ在线观看| 国产高清国产精品国产三级 | 国产淫片久久久久久久久| 欧美+日韩+精品| 日韩大片免费观看网站| 韩国av在线不卡| 国产男女超爽视频在线观看| 国产视频首页在线观看| 精品亚洲乱码少妇综合久久| 久久久久久九九精品二区国产| 亚洲aⅴ乱码一区二区在线播放| 久热这里只有精品99| 日韩精品有码人妻一区| 51国产日韩欧美| 人体艺术视频欧美日本| 国产精品精品国产色婷婷| 国产日韩欧美亚洲二区| 亚洲精品亚洲一区二区| 激情 狠狠 欧美| 99热全是精品| 亚洲精华国产精华液的使用体验| 亚洲av中文av极速乱| 男男h啪啪无遮挡| 亚洲精品一区蜜桃| 国产老妇女一区| 一边亲一边摸免费视频| 中文字幕制服av| 中文字幕av成人在线电影| 王馨瑶露胸无遮挡在线观看| 亚洲精华国产精华液的使用体验| 亚洲伊人久久精品综合| 成年免费大片在线观看| 高清午夜精品一区二区三区| 我要看日韩黄色一级片| 最近最新中文字幕大全电影3| 哪个播放器可以免费观看大片| 亚洲国产精品成人久久小说| 白带黄色成豆腐渣| 亚洲精品国产色婷婷电影| 又黄又爽又刺激的免费视频.| 少妇丰满av| 婷婷色综合www| 欧美日韩一区二区视频在线观看视频在线 | 亚洲成人一二三区av| 成人黄色视频免费在线看| 女的被弄到高潮叫床怎么办| 亚洲国产精品专区欧美| 国产一区有黄有色的免费视频| 国产成年人精品一区二区| 精品久久久噜噜| 麻豆国产97在线/欧美| 一级毛片aaaaaa免费看小| 久久精品综合一区二区三区| 高清视频免费观看一区二区| 色播亚洲综合网| 波野结衣二区三区在线| 毛片女人毛片| 亚洲精品自拍成人| 蜜桃亚洲精品一区二区三区| 国产精品秋霞免费鲁丝片| 乱码一卡2卡4卡精品| 在线观看三级黄色| 国产午夜精品一二区理论片| 18禁在线播放成人免费| 国产成人精品福利久久| 一级毛片我不卡| 欧美日韩一区二区视频在线观看视频在线 | 国产 一区 欧美 日韩| 国产一区亚洲一区在线观看| 赤兔流量卡办理| 国产精品女同一区二区软件| 黄色一级大片看看| 亚洲欧美清纯卡通| 成人毛片a级毛片在线播放| 狂野欧美白嫩少妇大欣赏| 日本与韩国留学比较| 免费看日本二区| 99热国产这里只有精品6| 又爽又黄a免费视频| 亚洲国产欧美在线一区| 日韩在线高清观看一区二区三区| 欧美zozozo另类| 夫妻性生交免费视频一级片| 老司机影院成人| 国产爱豆传媒在线观看| 亚洲精品中文字幕在线视频 | 国产高清不卡午夜福利| 五月天丁香电影| 亚洲一区二区三区欧美精品 | 国产精品国产三级国产av玫瑰| 老女人水多毛片| 日韩伦理黄色片| 欧美成人精品欧美一级黄| 秋霞在线观看毛片| 国产成人a区在线观看| av免费在线看不卡| 成人二区视频| 汤姆久久久久久久影院中文字幕| 男人爽女人下面视频在线观看| 国产有黄有色有爽视频| 啦啦啦中文免费视频观看日本| 亚洲人成网站在线观看播放| 久久久久久伊人网av| 国产v大片淫在线免费观看| 午夜日本视频在线| 亚洲av免费高清在线观看| 亚洲欧洲国产日韩| 最近的中文字幕免费完整| 国产免费福利视频在线观看| 精品久久久久久久末码| 久久久久久久久久久免费av| 久久久久久久精品精品| 小蜜桃在线观看免费完整版高清| 麻豆国产97在线/欧美| 99久久精品一区二区三区| 中文精品一卡2卡3卡4更新| 国产 一区 欧美 日韩| 国国产精品蜜臀av免费| 久久久久国产网址| 大香蕉97超碰在线| 2022亚洲国产成人精品| 国产爽快片一区二区三区| 国产成年人精品一区二区| 国产精品人妻久久久久久| 免费观看无遮挡的男女| 麻豆久久精品国产亚洲av| 亚洲精品第二区| 精品国产乱码久久久久久小说| 男女那种视频在线观看| 久久ye,这里只有精品| 免费大片黄手机在线观看| 高清欧美精品videossex| 亚洲av国产av综合av卡| 亚洲美女搞黄在线观看| 亚洲av福利一区| 亚洲无线观看免费| 美女内射精品一级片tv| 国产高潮美女av| 一级av片app| www.色视频.com| 人妻 亚洲 视频| av在线播放精品| 天堂中文最新版在线下载 | 麻豆成人av视频| 国模一区二区三区四区视频| 久久热精品热| 成人亚洲精品av一区二区| 亚洲自偷自拍三级| 特级一级黄色大片| 国内精品宾馆在线| 中文欧美无线码| 中文在线观看免费www的网站| av一本久久久久| 国产白丝娇喘喷水9色精品| 亚洲av免费高清在线观看| 久久99蜜桃精品久久| av黄色大香蕉| 我要看日韩黄色一级片| 精品国产一区二区三区久久久樱花 | 在线观看免费高清a一片| 我的老师免费观看完整版| 成人二区视频| 精品午夜福利在线看| 欧美人与善性xxx| 婷婷色综合www| 只有这里有精品99| 久久久a久久爽久久v久久| 成人漫画全彩无遮挡| 大陆偷拍与自拍| 亚洲欧美日韩另类电影网站 | 亚洲欧洲日产国产| 久久久久国产网址| 国产人妻一区二区三区在| 亚洲欧美日韩无卡精品| 亚洲在线观看片| 久久综合国产亚洲精品| 日本-黄色视频高清免费观看| 久久久久性生活片| 色吧在线观看| 亚洲性久久影院| 高清欧美精品videossex| 国产精品福利在线免费观看| 丝袜喷水一区| 观看美女的网站| 亚洲欧美精品自产自拍| 国产v大片淫在线免费观看| 国产男人的电影天堂91| 久久久久国产网址| 国产 精品1| 久久精品国产自在天天线| 可以在线观看毛片的网站| 亚洲国产精品成人综合色| 国产爱豆传媒在线观看| 丝瓜视频免费看黄片| 综合色av麻豆| 大陆偷拍与自拍| 九九在线视频观看精品| 国产乱来视频区| 99热网站在线观看| 国产成人一区二区在线| 国内精品宾馆在线| eeuss影院久久| 久热这里只有精品99| 六月丁香七月| 午夜日本视频在线| 国产 一区 欧美 日韩| 在线观看美女被高潮喷水网站| 插逼视频在线观看| 国产精品久久久久久精品古装| 亚洲av福利一区| 国产成人精品福利久久| 久久久久国产精品人妻一区二区| 久久久久久久久大av| 亚洲性久久影院| 五月天丁香电影| 在线观看一区二区三区| 午夜视频国产福利| 欧美xxxx黑人xx丫x性爽| 日产精品乱码卡一卡2卡三| 乱码一卡2卡4卡精品| 校园人妻丝袜中文字幕| 成人毛片a级毛片在线播放| 亚洲精品乱码久久久v下载方式| 久久ye,这里只有精品| 亚洲国产高清在线一区二区三| 久久精品久久久久久久性| 日韩制服骚丝袜av| 91狼人影院| 中文乱码字字幕精品一区二区三区| 久久精品久久久久久噜噜老黄| 午夜免费男女啪啪视频观看| 97热精品久久久久久| 国产精品福利在线免费观看| 亚洲三级黄色毛片| 美女内射精品一级片tv| av播播在线观看一区| 精品久久久噜噜| 91精品伊人久久大香线蕉| 亚洲真实伦在线观看| 午夜精品一区二区三区免费看| 少妇猛男粗大的猛烈进出视频 | 日本三级黄在线观看| av在线天堂中文字幕| av在线蜜桃| 亚洲av在线观看美女高潮| 超碰av人人做人人爽久久| 91久久精品电影网| 久久久久久久久久久丰满| 成人漫画全彩无遮挡| 国产免费一级a男人的天堂| 亚洲美女搞黄在线观看| 国产精品女同一区二区软件| 边亲边吃奶的免费视频| av黄色大香蕉| 日本爱情动作片www.在线观看| 日韩av不卡免费在线播放| 又爽又黄a免费视频| 91在线精品国自产拍蜜月| 国产永久视频网站| 免费黄频网站在线观看国产| 国产高清有码在线观看视频| 国产黄色免费在线视频| 国产免费又黄又爽又色| 嫩草影院入口|