• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能法律風(fēng)險防范與研發(fā)者責(zé)任探討

    2021-09-14 02:07:34韓欣悅聶洪濤
    北京警察學(xué)院學(xué)報 2021年4期
    關(guān)鍵詞:人工智能責(zé)任法律

    韓欣悅,聶洪濤

    (西安財經(jīng)大學(xué),西安 710061)

    人工智能(Artificial Intelligence)的概念提出至今,其在制造、醫(yī)療、交通、服務(wù)等領(lǐng)域的應(yīng)用迅速發(fā)展,正深刻改變著人類社會的經(jīng)濟形態(tài)、生產(chǎn)生活方式和法律結(jié)構(gòu)。然而,人工智能時代是知識革命的時代,也是風(fēng)險劇增的時代,人工智能時代的風(fēng)險既表現(xiàn)為技術(shù)性風(fēng)險,也表現(xiàn)為制度性風(fēng)險,且這種風(fēng)險未來會超越國界,沒有社會文化、地理區(qū)域的限制。現(xiàn)有法律體系能否應(yīng)對人工智能帶來的新風(fēng)險和不確定性,調(diào)和智能算法所引起的沖突與矛盾,在智能時代繼續(xù)維持秩序與變革、安全與創(chuàng)新之間的平衡?科技創(chuàng)新是時代大勢和國際潮流,法律工作者需要思考,如何以法律規(guī)范消解技術(shù)風(fēng)險,促進科技創(chuàng)新和產(chǎn)業(yè)發(fā)展。對此,我們不僅需要科學(xué)的智慧,更需要制度的理性,在新一批人工智能技術(shù)開始大量應(yīng)用之前,法律領(lǐng)域反省性的修改和根本性的變革正在逐步浮現(xiàn)。在人工智能技術(shù)健康有序發(fā)展的基礎(chǔ)上探討構(gòu)建相關(guān)法律風(fēng)險防控和責(zé)任分擔(dān)機制將是新時代的一個重要法律課題。

    一、問題緣起:人工智能的全球發(fā)展趨勢與布局

    人工智能作為智能產(chǎn)業(yè)發(fā)展的核心,是其他智能科技產(chǎn)品發(fā)展的基礎(chǔ),近年來,國內(nèi)外科技創(chuàng)新企業(yè)紛紛開展人工智能產(chǎn)業(yè)鏈布局,許多應(yīng)用成果相繼落地。當前,人們對人工智能的關(guān)注度與日俱增,大量數(shù)據(jù)、資本和人才的匯集驅(qū)動AI技術(shù)研究不斷向前推進。

    圖1 人工智能技術(shù)熱點領(lǐng)域分布圖

    圖2 中國人工智能企業(yè)類型及占比統(tǒng)計圖

    隨著人工智能應(yīng)用領(lǐng)域的擴展,“AI+”作為新興業(yè)態(tài)開始萌芽,越來越多的行業(yè)投入人工智能技術(shù)研究,助力技術(shù)和產(chǎn)業(yè)的深度融合。根據(jù)中國信息通信研究院的統(tǒng)計,我國“AI+”企業(yè)總計占比超過40%,可見國內(nèi)企業(yè)對人工智能應(yīng)用環(huán)節(jié)的關(guān)注??梢灶A(yù)見未來幾年,科技、制造等行業(yè)巨頭的技術(shù)布局將更加深入,隨著眾多垂直領(lǐng)域的科技創(chuàng)新企業(yè)誕生和成長,人工智能將出現(xiàn)更多產(chǎn)業(yè)級和消費級應(yīng)用產(chǎn)品。

    圖3 2015 — 2020年中國人工智能市場規(guī)模及增長情況統(tǒng)計圖①數(shù)據(jù)來源:中國產(chǎn)業(yè)信息網(wǎng)https://www.chyxx.com。

    隨著我國人工智能產(chǎn)業(yè)政策不斷落地,技術(shù)應(yīng)用的商業(yè)化進程加快。在國家戰(zhàn)略規(guī)劃中,人工智能已超越技術(shù)概念,成為產(chǎn)業(yè)轉(zhuǎn)型、綜合國力提升的立足點和新機遇,巨大的行業(yè)應(yīng)用前景、開放的市場環(huán)境與數(shù)據(jù)資源、研發(fā)能力的有機結(jié)合,形成了我國人工智能發(fā)展的獨特優(yōu)勢。隨著人工智能向不同領(lǐng)域的迅速滲透,其相關(guān)技術(shù)已獲得全球范圍的關(guān)注和研究,越來越多的創(chuàng)新主體加入了人工智能研發(fā)的競爭與布局。AI應(yīng)用在世界各地呈現(xiàn)出了多元、廣泛的特點,推動了深刻持久的社會變革,也帶來了潛在的隱患和風(fēng)險。

    二、困境審視:人工智能開發(fā)利用的法律風(fēng)險

    人工智能廣闊的發(fā)展前景正源源不斷地吸引著世界各國的資金、技術(shù)和人才,在滿足人們對智能社會美好愿景的同時,其帶來的負面影響也不容忽視,人工智能應(yīng)用中出現(xiàn)的事故足以讓我們面對新技術(shù)時更加冷靜和謹慎。智能算法帶來的風(fēng)險主要有:一是智能系統(tǒng)自身存在漏洞和缺陷而致人損害的風(fēng)險,二是系統(tǒng)遭到外部侵入和操控而產(chǎn)生的風(fēng)險[1]。智能算法產(chǎn)生的法律風(fēng)險和責(zé)任歸屬問題如何解決,如依據(jù)何種規(guī)則認定責(zé)任、由誰承擔(dān)責(zé)任以及如何承擔(dān)責(zé)任等,事關(guān)受害人權(quán)利的及時救濟,更影響到人工智能新技術(shù)的穩(wěn)定和可持續(xù)發(fā)展。

    (一)致人損害的風(fēng)險

    自人工智能誕生以來,其理論和技術(shù)日益成熟,應(yīng)用領(lǐng)域也不斷擴大,但與此同時也出現(xiàn)了一系列人工智能技術(shù)應(yīng)用引發(fā)的事故。2015年德國大眾汽車廠的機器人突然失控襲擊安裝工人致其當場死亡②參見新華網(wǎng):http://www.xinhuanet.com/world/2015-07/02/c_127977462.htm。,美國研發(fā)的外科手術(shù)機器人發(fā)生故障,導(dǎo)致大量患者受傷、89位患者死亡。[2]深圳國際高新技術(shù)成果交易會上的機器人突然砸壞玻璃致使人員受傷……這些事件引發(fā)了公眾對人工智能的恐慌和學(xué)者對法律完善的思考。[3]

    在技術(shù)的發(fā)展過程中,人工智能的法律地位、責(zé)任、權(quán)利義務(wù)等如何界定一直備受重視。關(guān)于人工智能致人損害的責(zé)任問題,有學(xué)者認為人工智能自身可作為責(zé)任主體,也有學(xué)者認為其與一般的產(chǎn)品責(zé)任沒有區(qū)別。誠然,人工智能工作物具有直接致人損害的客觀事實,但它們對于自己行為的結(jié)果無法識別和控制,缺乏為自己的過失而承擔(dān)責(zé)任的能力,因“無責(zé)任能力者之行為不得使負義務(wù)”,致人損害的責(zé)任主體仍需為自然人、法人或非法人組織。然而,基于人工智能的特點,其致人損害的責(zé)任與一般的產(chǎn)品責(zé)任也并不等同。

    人工智能產(chǎn)品通常被視為科技產(chǎn)品,但與一般科技產(chǎn)品不同的是,智能算法具有一定的自主性,可能脫離人類控制或違背人類意志。[4]因此,人工智能致?lián)p的責(zé)任承擔(dān)具有特殊性。根據(jù)現(xiàn)行法律,產(chǎn)品致?lián)p適用侵權(quán)責(zé)任的規(guī)定,由生產(chǎn)、銷售方進行賠償。如果智能算法完全由人主導(dǎo),致人損害時侵權(quán)責(zé)任的歸責(zé)方式尚屬可行,但對于初步具有信息處理和自主決策能力的智能產(chǎn)品,如自動駕駛系統(tǒng)、智能機器人等,其責(zé)任主體及損害賠償機制則有進一步討論的必要[5]。

    人工智能產(chǎn)品從設(shè)計、生產(chǎn)到使用,關(guān)系到設(shè)計研發(fā)者、生產(chǎn)者、銷售者和使用者。將智能算法的缺陷歸責(zé)于生產(chǎn)和銷售者顯然無法囊括其可能涉及的責(zé)任人[6]。如無人駕駛技術(shù)的應(yīng)用使法律規(guī)制的對象由駕駛員轉(zhuǎn)變到研發(fā)者及所有者,帶來法律責(zé)任體系的重構(gòu)。在人工智能致人損害的情況下,應(yīng)就多方主體的責(zé)任予以考量。如使用者不存在不合理使用和操作失誤,智能算法的設(shè)計研發(fā)者對人工智能產(chǎn)品的安全負有根本的責(zé)任,設(shè)計研發(fā)的科學(xué)性決定了產(chǎn)品使用的安全性。在設(shè)計開發(fā)階段,研發(fā)者應(yīng)充分衡量預(yù)期利益和潛在風(fēng)險,使智能產(chǎn)品發(fā)揮出預(yù)期的功用。對于具有一定智能識別和自主決策能力的人工智能產(chǎn)品來說,應(yīng)更注重損害的可預(yù)見性問題。

    (二)外部侵入的風(fēng)險

    一些弱人工智能產(chǎn)品本身可能存在技術(shù)缺陷,強人工智能在深度學(xué)習(xí)之后,算法程序也可能偏離最初的預(yù)設(shè),這些缺陷如被不法分子利用,將會產(chǎn)生危害社會的不良后果[7]。相對來說,人工智能的設(shè)計與研發(fā)行為,并不一定是犯罪結(jié)果發(fā)生的直接原因,通常是前端因素,即引發(fā)犯罪風(fēng)險的最初原因。人工智能系統(tǒng)在設(shè)計之初通常就已經(jīng)帶有一定的目的性,倘若開發(fā)的目的就是用于竊聽,則本身可能帶有犯罪目的,最終產(chǎn)生犯罪的結(jié)果,研發(fā)者可能會構(gòu)成故意犯罪;如果設(shè)計的目的不是用來犯罪,最終卻被用于犯罪,則這種結(jié)果并不是研發(fā)者主觀追求的,而是因存在技術(shù)上的缺陷和漏洞被人利用,或深度學(xué)習(xí)超出了研發(fā)者的預(yù)設(shè)和控制,由此引發(fā)的風(fēng)險不應(yīng)認為是故意犯罪,是否存在過失則需要進一步討論[8]。

    根據(jù)“技術(shù)中立”原則,如果本身不存在技術(shù)漏洞,也無犯罪目的,只是遭到他人非法利用,研發(fā)設(shè)計者則不承擔(dān)責(zé)任。但由于人工智能的發(fā)展尚處在初級階段,受到現(xiàn)有技術(shù)的局限,漏洞往往很難在開發(fā)階段被研發(fā)者察覺和避免,使不法分子的侵入有機可乘。有學(xué)者認為對于可能危及人民生命健康和公共安全的應(yīng)用領(lǐng)域,應(yīng)按照無過錯原則追究責(zé)任,但是這種歸責(zé)方式加重了技術(shù)研發(fā)者的義務(wù),或?qū)⒋靷萍紕?chuàng)新者的積極性,抑制技術(shù)進步和行業(yè)的可持續(xù)發(fā)展。注意義務(wù)的合理設(shè)置,有利于明確過失的范圍界定,但關(guān)于注意義務(wù)的來源目前學(xué)界仍存在爭議。有學(xué)者研究了自動駕駛系統(tǒng)遭到外部侵入實施犯罪的案例,對注意義務(wù)的來源進行了歸納,還有學(xué)者把注意義務(wù)的范圍限定于行業(yè)標準或者國家標準,認為處于標準范圍內(nèi)的風(fēng)險是應(yīng)由技術(shù)研發(fā)者注意的,但是行業(yè)標準多為民間標準,與注意義務(wù)未必能保持一致。

    在現(xiàn)代社會諸多風(fēng)險中,人工智能的應(yīng)用是較為主要的風(fēng)險來源,在防范風(fēng)險的同時,應(yīng)更加注重安全保障。技術(shù)研發(fā)者常常被認為是人工智能風(fēng)險的最初源頭,開發(fā)者對算法程序的設(shè)置充分影響到人工智能后續(xù)的運行方式。若設(shè)計之初并未違反法律法規(guī)、行業(yè)標準、責(zé)任者的自我承諾等,只是因技術(shù)漏洞遭到不法分子利用而產(chǎn)生危害社會的后果,可以適當放寬其注意義務(wù)。責(zé)任歸屬應(yīng)基于實際危害結(jié)果的情況,而不能采取“一刀切”的做法,在防控風(fēng)險的同時,應(yīng)充分考慮規(guī)制的必要性和限度,避免技術(shù)創(chuàng)新受到抑制,阻礙科技發(fā)展和社會進步。

    三、思路梳理:人工智能法律風(fēng)險的特征分析

    (一)風(fēng)險源頭與技術(shù)發(fā)展的局限性有關(guān)

    人工智能致人損害或存在系統(tǒng)漏洞從而被不法利用等事件的發(fā)生大多與技術(shù)發(fā)展及人們對技術(shù)的認識和掌握程度有關(guān)。人工智能是新興技術(shù),尚處在試錯階段,人們對這類技術(shù)尚未完全了解和掌握,這些未完全成熟的技術(shù)在應(yīng)用中本身就容易發(fā)生事故,存在的風(fēng)險往往是開發(fā)設(shè)計者無法預(yù)料的。而產(chǎn)品責(zé)任致人損害事件的發(fā)生則不是由技術(shù)認識的局限性引起,多為生產(chǎn)或銷售中不符合產(chǎn)品質(zhì)量要求導(dǎo)致的瑕疵。人工智能算法程序的設(shè)計存在漏洞而致人損害或遭到外部侵入,與食品不符合衛(wèi)生要求、車輛設(shè)計或制造不符合質(zhì)量要求引起的事故在行為性質(zhì)上并不相同。

    (二)風(fēng)險在研發(fā)設(shè)計階段缺乏可預(yù)見性

    一般的產(chǎn)品責(zé)任承擔(dān)的前提是質(zhì)量存在缺陷,設(shè)計、生產(chǎn)或制造中不符合質(zhì)量標準或存在安全隱患。而在人工智能致人損害或遭到侵入的情況下,其危害結(jié)果往往并不是由質(zhì)量存在缺陷引起的,考慮到新技術(shù)的“黑匣子”性,在開發(fā)和測試階段看起來沒有問題的系統(tǒng)在投入使用后也可能會發(fā)生出乎意料的故障,這種風(fēng)險很難被開發(fā)者所預(yù)見。人工智能的應(yīng)用不是由單個技術(shù)支撐的,而是技術(shù)的相互作用或者集成。在程序自身出現(xiàn)漏洞的情況下,由于“黑匣子”性,個別、具體的信息處理和交會如何影響運行結(jié)果常常是無法查出的。也就是說,即使操作結(jié)果出現(xiàn)了問題,也不能馬上確定導(dǎo)致該結(jié)果的具體開發(fā)行為,因果關(guān)系通常難以認定。技術(shù)開發(fā)所出現(xiàn)的失誤是否是“被允許的危險”,或者研發(fā)者是否未盡到注意義務(wù)而存在過失,往往有待進一步討論。

    (三)風(fēng)險發(fā)生的可控性低且損害結(jié)果嚴重

    人工智能的技術(shù)風(fēng)險一旦爆發(fā)通常難以控制。2016年美國一輛特斯拉Model S因自動駕駛系統(tǒng)識別障礙而發(fā)生交通事故,致使車主當場死亡。2018年3月美國亞利桑那州一輛專門用于無人駕駛測試的車輛,由于系統(tǒng)未感知到前方有行人,沒有及時剎車,致使行人被撞死。[9]人們意識到由自動駕駛程序控制的車輛若存在設(shè)計漏洞或程序輸入有誤極易發(fā)生交通事故。如果是由人工操作的產(chǎn)品,發(fā)生事故時人類的控制程度則相對較高,如自然人駕駛的車輛在發(fā)生突發(fā)事件時憑借豐富的駕駛經(jīng)驗可能會采取應(yīng)變措施避免損害發(fā)生。而通過程序指令來控制設(shè)備的運行,意味著將面臨系統(tǒng)出錯和“黑客入侵”劫持的危險。人工智能的風(fēng)險程度沒有規(guī)范的測試方法,失去控制的操作系統(tǒng)可能波及到的當事人十分廣泛。如果遭到侵入或輸入了錯誤的數(shù)據(jù),智能算法就會失控,給不特定多數(shù)人的生命和財產(chǎn)帶來危險,且在短時間內(nèi)使人不能控制,損害程度極大。早在20世紀70年代,日本一家工廠的切割機器人就曾經(jīng)導(dǎo)致工人死亡①世界上第一宗機器人殺人事件發(fā)生在1978年的日本。據(jù)記載,1978年9月6日,日本廣島一家工廠的切割機器人在切鋼板時,突然發(fā)生異常,將一名值班工人當做鋼板操作,最終導(dǎo)致工人死亡。參見新浪財經(jīng):http://finance.sina.com.cn/chanjing/gsnews/20150702/175722574804.shtml。,隨后由人工智能引發(fā)的致死事件也不在少數(shù)。一般的科技成果應(yīng)用尚可在底層技術(shù)不穩(wěn)定的時候進行開發(fā),因為有些應(yīng)用對系統(tǒng)的可用性要求并不高,即使出現(xiàn)漏洞所帶來的損失并非不可接受。但是人工智能的技術(shù)漏洞和應(yīng)用不當可能直接損害人的生命法益,由此帶來的損失難以估量。

    四、分析反思:人工智能法律風(fēng)險的責(zé)任主體辨析

    人工智能作為一項技術(shù),必須通過一定載體進行運用、展示和體現(xiàn)其具體內(nèi)容,但在此應(yīng)用過程中也可能致人損害,也可能遭到不法利用進而產(chǎn)生犯罪結(jié)果。人工智能的運用載體多種多樣,可能是自動駕駛汽車、車間作業(yè)或進行某項服務(wù)的機器人[10]。關(guān)于人工智能的性質(zhì),有學(xué)者認為其實質(zhì)是為人類提供服務(wù)的工具,沒有獨立的意思表示能力,不具有獨立法律人格。也有學(xué)者認為,人工智能的行為由人類所控制,行為后果由代理人承擔(dān)。但隨著技術(shù)發(fā)展,有些人工智能可以做出獨立的意思表示,能夠自主的選擇和判斷,并不是傳統(tǒng)意義上的、無意思表示能力的“工具”。而行為后果由代理人承擔(dān)則沒有體現(xiàn)承擔(dān)責(zé)任的公平性。

    沙特阿拉伯曾是世界上第一個授予機器人公民身份的國家,美國聯(lián)邦法律將用于自動駕駛的人工智能系統(tǒng)看作司機。但是人工智能的搭載物、工作物是否具有責(zé)任能力,能夠獨立承擔(dān)法律責(zé)任嗎?人們?yōu)樵鲞M人類社會的福祉,運用相應(yīng)的科技手段制造人工智能以模擬人類的部分行為,促進生產(chǎn)效率的提高和生活的便利。[11]因此,人工智能并非一般意義上的自然人,但卻具備人的一些要素,人工智能以智能化為主要特征,但始終需要人類的設(shè)計和程序的編制才得以運行。

    就現(xiàn)有的技術(shù)發(fā)展程度而言,人工智能的“深度學(xué)習(xí)能力”均是通過人為的設(shè)計、制造并開啟程序后才具有的,盡管人工智能機器人可以實施駕駛、診斷、下棋、對話等行為,但人工智能基于數(shù)據(jù)分析和概率統(tǒng)計的決策方式與人類具有情感和意識的判斷之間具有本質(zhì)的區(qū)別[12]。單獨的算法程序并不具有真正的意思能力,不能進行積極的自我認知和情感、意念輸出,人工智能表現(xiàn)出的自我決策和自我提升實質(zhì)上來源于數(shù)據(jù)的更新和邏輯的運算,并非是在動機驅(qū)動下做出的意思表示,它們所表示的仍是設(shè)計者、生產(chǎn)者或使用者的意思,人工智能本身只是“忠實的程序執(zhí)行者”[13]。并且,人工智能工作物不能獨立擁有財產(chǎn),它們無法通過勞動、繼承或贈與等方式獲得財產(chǎn),名下沒有財產(chǎn)歸屬,即便有財產(chǎn)贈與到它們名下,也無法自主支配和使用,仍需要自然人或法人組織來幫助管理,無法承擔(dān)民事上的賠償責(zé)任。同時,人工智能的認知水平與人類的善惡、倫理觀存在重大差異,不能像自然人一樣識別自身行為的違法性,無法意識到自身行為的法律后果,只能根據(jù)預(yù)先的設(shè)定來感知是否發(fā)生系統(tǒng)錯誤,更不能對自己的行為進行改正,也不具有承擔(dān)刑事責(zé)任的條件。[14]

    綜上所述,就目前的情況來看,人工智能本身并不能對自己的行為承擔(dān)法律責(zé)任,在使用者沒有操作不當,生產(chǎn)者和銷售者遵守生產(chǎn)與銷售的安全標準時,人工智能由技術(shù)漏洞所引起的法律風(fēng)險依然須由設(shè)計研發(fā)該項算法程序的自然人、法人或非法人組織承擔(dān)。智能算法的特殊性要求我們在現(xiàn)有制度基礎(chǔ)上構(gòu)建符合人工智能產(chǎn)業(yè)特點的責(zé)任承擔(dān)機制,從而規(guī)范產(chǎn)業(yè)發(fā)展、保障安全。聯(lián)合國教科文組織與世界科學(xué)知識與技術(shù)倫理委員會提出,可以采取責(zé)任分擔(dān)的方式,讓參與發(fā)明、授權(quán)和分配過程的參與者分擔(dān)損害責(zé)任。歐盟議會法律事務(wù)委員會曾提出對人工智能產(chǎn)品進行強制保險,設(shè)立賠償基金來分擔(dān)風(fēng)險,使受損方及時獲得救濟,同時減輕開發(fā)者和生產(chǎn)者的賠償負擔(dān)??蓞⒖架囕v年檢制度對人工智能的應(yīng)用成果進行年檢,對發(fā)生的事故進行備案。值得注意的是,人工智能越來越展現(xiàn)出自主決策、深度學(xué)習(xí)等能力,若這些高智能化的應(yīng)用成果受現(xiàn)有技術(shù)水平的限制風(fēng)險不可預(yù)見或難以控制,筆者認為可以依據(jù)這種技術(shù)水平局限性、風(fēng)險不可預(yù)見性等免除部分主體的責(zé)任,或予以適當減輕。

    五、沖突協(xié)調(diào):保障技術(shù)安全與促進科技創(chuàng)新的平衡

    (一)刑事司法介入的謙抑性

    科學(xué)技術(shù)會帶來怎樣的社會影響,有時我們無法事先預(yù)測。在這其中,法律既須有追究事故責(zé)任的一面(對過去的責(zé)任),也須有為了不發(fā)生同類事故而請求相關(guān)人員協(xié)助的一面(對未來的責(zé)任)。問題是,如何對該沖突進行調(diào)整,以及由誰來調(diào)整更為適當。

    認定責(zé)任的基本規(guī)則,應(yīng)當由法律法規(guī)事先決定。比起行業(yè)內(nèi)更為靈活和松散的規(guī)則,用穩(wěn)定的法律條文進行規(guī)范才是明智之舉。不安定的責(zé)任所在,只會給技術(shù)研究開發(fā)帶來更多不安。以法律原則或法律規(guī)則表示其責(zé)任的內(nèi)容,只要不違背罪刑法定主義的要求,也是可取的。之所以這么說,是因為法律具有穩(wěn)定性,反過來說,也會存在滯后性,無法迅速應(yīng)對環(huán)境變化,立法者也未必了解特定領(lǐng)域的具體情況。如何制定這些行為規(guī)范,正是立法者未來的研究方向。如果人工智能的各項應(yīng)用進一步普及,我們完全可以預(yù)料到,算法的行為和結(jié)果將會對不特定多數(shù)人的人身安全和財產(chǎn)利益產(chǎn)生影響,因此通過行政程序乃至刑事程序?qū)Υ思右砸?guī)制的必要性很大[15]。

    但是,刑事司法的介入應(yīng)具有足夠長遠的眼光,面對由算法漏洞而引起的致?lián)p和犯罪行為,我們不應(yīng)因科技進步過程中的缺陷和疏漏而冒然發(fā)動刑罰權(quán),堅持刑法作為“補充性規(guī)制”不法行為的基本原則,力求將立法的滯后性對新興行業(yè)的不利影響降到最小,這是我們一貫堅持的刑法介入理念。[16]如果規(guī)制施加不當,就會妨礙研究人員和科技企業(yè)的技術(shù)創(chuàng)新與開發(fā),阻礙本應(yīng)由新技術(shù)帶來的社會福利的實現(xiàn),甚至?xí)魅鯂铱萍紝嵙蛧H競爭力。而且大多數(shù)的技術(shù)人員和研究型企業(yè),對刑罰的感應(yīng)力有時會超出我們的想象。對于優(yōu)秀的科技企業(yè)、飽含開發(fā)熱情的研究人員來說,研究和開發(fā)就是他們的謀生手段,越是有能力使新技術(shù)的福音流傳于世的人,對刑罰的感應(yīng)力越大。刑事司法如果對技術(shù)開發(fā)所產(chǎn)生的疏漏大加懲罰,則可能會影響技術(shù)研發(fā)人員的日常生活,甚至破壞社會對他們的認同感。不難想象,當意識到這種可能性時,以自由的思考和創(chuàng)造為基礎(chǔ)的研究和技術(shù)開發(fā)將出現(xiàn)萎縮。刑罰應(yīng)成為守護公益的最后手段,從以上的敘述來看,至少在技術(shù)發(fā)展的初期,刑法作為規(guī)制的主要手段并不合適。

    就目前來看,對人工智能的規(guī)制應(yīng)主要由非刑罰的手段來承擔(dān),刑法則堅持介入時機的“最后性”,即把刑罰作為所能采取的“最后的手段”,只有在企業(yè)內(nèi)部規(guī)定、行業(yè)自治規(guī)范、行政法規(guī)和民商事法律等都無法解決矛盾沖突時,刑法才有介入空間。[17]法的干預(yù)應(yīng)在“降低對科技創(chuàng)新的萎縮效果的同時,實現(xiàn)法益侵害總量的最小化”。這種“功利主義”的思考并不意味著防范人工智能法律風(fēng)險與刑法理論無關(guān),相反,將技術(shù)創(chuàng)新過程中的失誤和紕漏當做“被允許的危險”和“信任原則”等過失責(zé)任的闡釋,也是這種思考的產(chǎn)物[18]。一言以蔽之,以刑法的謙抑性基本原則來看,其介入的時機和限度應(yīng)審慎且克制。對于智能算法缺陷引起的事故,由于損失大、危險性高、事發(fā)突然,更需要及時停止運行程序、采取算法修復(fù)等措施,由機動性強的行業(yè)組織參與更有助于實現(xiàn)迅速應(yīng)對。同時,可能涉案的技術(shù)問題與各行業(yè)的內(nèi)部規(guī)章也有密切的關(guān)系,對個別案件應(yīng)有針對性地加以處理,廣泛聽取意見,也可以針對風(fēng)險的不同類型和程度進行劃分,配以企業(yè)自決、行業(yè)自治等應(yīng)對策略,只對于嚴重損害人民生命健康和公共利益的行為根據(jù)罪刑法定原則定罪處罰。

    (二)促進風(fēng)險自決與行業(yè)自律

    “法不是全知全能的神,而是有限的知識”[19],基于現(xiàn)有立法的矛盾帶來新的見解和思考,再以進一步的立法或司法解釋消除引起的矛盾,不斷地刷新著法的內(nèi)容的不只有法律人。在“矛盾帶來新創(chuàng)造”的過程中,與相關(guān)法的效力擁有最迫切利害關(guān)系的當事人的主張和對法律的回應(yīng)至關(guān)重要,他們甚至預(yù)見或觸發(fā)著學(xué)術(shù)討論,而以多種觀點的知識貢獻實現(xiàn)法向期待的方向發(fā)展。因此,對于人工智能等新興技術(shù)產(chǎn)生的法律風(fēng)險,有必要強調(diào)政府和司法以外的社會主體的作用。比起司法機關(guān),有時企業(yè)、專家等社會主體更善于應(yīng)對技術(shù)問題,多元主體的參與和協(xié)作對解決人工智能法律問題至關(guān)重要。

    縱觀發(fā)達國家,具有靈活性的大眾媒體、掌握專業(yè)知識和技術(shù)并能夠調(diào)動大學(xué)和智囊團的各類研究機構(gòu),也就是所謂的“第三方委員會”,他們或分擔(dān)社會期待,或承擔(dān)調(diào)查和訴求反饋功能,通過多元化配置,各自發(fā)揮專業(yè)特色。而在我國,現(xiàn)實情況是很難期待專家集團自主解決問題和行業(yè)發(fā)揮自凈作用,除了偵查機關(guān)以外,缺乏具有查明事實能力的組織。一旦偵查機關(guān)介入,就意味著進入刑事程序,使刑事司法無法維持退居后衛(wèi)的狀態(tài)。為了實現(xiàn)刑事法“退到后方”的理想,社會對專家團和擁有相關(guān)專業(yè)知識的行業(yè)團體的信賴是不可缺少的。假設(shè)發(fā)生了因技術(shù)漏洞引發(fā)的致人損害事故,或系統(tǒng)缺陷被外部侵入導(dǎo)致的犯罪行為,具有專門知識、參與了開發(fā)和運營的機構(gòu)或個人是否要被追究責(zé)任,他們是否還能獲得社會公眾的接受和信任?如果他們不被信任,他們作出的修復(fù)等措施不被接受,那么在目前的情況下,只有國家行政和司法機關(guān)進行介入。相反,如果研發(fā)者及其行業(yè)能夠被信任,他們的觀點和措施就會抑制刑事司法的介入。人工智能技術(shù)的應(yīng)用要想獲得社會公眾的信賴,就必須不斷積累技術(shù)和經(jīng)驗,贏得用戶和大眾的認可,而能實現(xiàn)這些的正是研發(fā)者本身。為此,發(fā)揮行業(yè)自律能力,履行信息披露和風(fēng)險預(yù)警的義務(wù),并且完成事故發(fā)生后的說明責(zé)任和算法缺陷的修復(fù)與補救是不可或缺的。

    六、路徑選擇:“被允許的危險”與延期起訴協(xié)議的適用

    現(xiàn)行法律中,非人類的行為不能從人類的意志中分離出來作為規(guī)范性文件評價的對象。也就是說,非人類的行為如果不與人類的自由意志相關(guān)聯(lián),就被當作自然現(xiàn)象一樣對待。因此,離開了開發(fā)人員和用戶的自由意志支配,程序算法和其出現(xiàn)漏洞所引起的結(jié)果不能作為規(guī)范性文件評價的對象。但關(guān)于“被允許的危險”和“注意義務(wù)”的設(shè)定可以理解為具有自由意志的主體——人的附帶現(xiàn)象。不論是否承認非人類程序行為的“自發(fā)性”,算法程序因為不能完全被控制的程序漏洞致人損害或涉及犯罪,都不應(yīng)該立刻對研發(fā)者追究責(zé)任。這是因為,即使發(fā)生這樣的事故,技術(shù)研發(fā)的目的是為了增進人類社會的福祉,另外,研發(fā)者根據(jù)技術(shù)漏洞作出重新設(shè)計和修整,有助于實現(xiàn)程序算法的“重生”,從而促進科學(xué)技術(shù)的完善。

    日本學(xué)者笹倉宏紀認為,并不是符合構(gòu)成要件的行為就一定要處罰,以康德式的必罰主義作為邏輯起點在此并無必要,也可以選擇不起訴,組織事故調(diào)查委員會,優(yōu)先獲得防止事故再發(fā)生所需的預(yù)防信息[20]。但是,這一方向是否符合司法制度背后的國民期待,是否會引起不公平感也令人擔(dān)憂。在民主討論和專業(yè)知識的有效合作基礎(chǔ)上,當法律的價值指向?qū)崿F(xiàn)“人類美好生活”愿景的時候,我們與智能時代的風(fēng)險是共生的。由具有民主基礎(chǔ)的治理系統(tǒng)來適用法律,能夠?qū)⒖傮w危險控制在合理的范圍。為了將以上考慮落實到法律制度中,延期起訴協(xié)議Deferred Prosecution Agreements(下文簡稱DPA)的適用,有可能成為過渡形式。

    如果對算法程序的運用和革新是以實現(xiàn)人類更好的生存為目標,規(guī)制算法行為也是為了實現(xiàn)“人類美好生活”的目標,而非對人類存在方式進行再設(shè)計的制度。在DPA中,關(guān)于技術(shù)開發(fā)企業(yè)的協(xié)助調(diào)查,提供具體涉案行為的信息是適用延期起訴的要件。因此,這個制度也可以解釋為,為了實現(xiàn)增進人類福祉和司法介入的平衡,而獲取智能算法底層技術(shù)及其開發(fā)、管理的方法和體制等信息的手段。如果人工智能的開發(fā)、運營、管理都由法人來實施,可使其整體作為造成事故的“涉案者”,或以開發(fā)、運營、管理中具有高度蓋然性風(fēng)險的“不當行為”為構(gòu)成要件。如果執(zhí)行DPA,為了提供信息協(xié)助調(diào)查和督促程序“再設(shè)計”整改方案的制定和履行,有必要將起訴、行政規(guī)制、注冊制度等聯(lián)動起來。基本的方針是,將風(fēng)險的管理制度化,在現(xiàn)行法律的范圍內(nèi)實現(xiàn)增進社會福祉的目標。具體來說,由行政機關(guān)和專家委員會合作,調(diào)整智能算法開發(fā)、管理、運行的標準,在出現(xiàn)事故的情況下,技術(shù)開發(fā)者及其團隊參與調(diào)查合作,提供數(shù)據(jù)信息,按照相關(guān)監(jiān)督部門的標準及時整改,避免損失的再次發(fā)生和擴大。

    因此,以立法為基礎(chǔ),由行政機關(guān)和專家集團合作建立風(fēng)險預(yù)警和評價監(jiān)督體系是適于當前形勢的選擇。只要提供了充分的信息,使算法的危險保持在合理的范圍內(nèi),即使由開發(fā)設(shè)計中的漏洞引起致?lián)p或犯罪結(jié)果,也不應(yīng)該起訴技術(shù)研發(fā)者。如果風(fēng)險控制沒有達到預(yù)期水平,只要研發(fā)者承諾提供真實的信息協(xié)助調(diào)查,并對出現(xiàn)問題的系統(tǒng)進行重新設(shè)計,可以推遲起訴??紤]到新技術(shù)的“黑匣子”性,在開發(fā)和測試階段平穩(wěn)運行的算法程序,投入使用后才發(fā)現(xiàn)缺陷或產(chǎn)生故障,研發(fā)者往往無法事前預(yù)料。在這種情況下,如果立即追究責(zé)任,有可能會阻礙科技創(chuàng)新,導(dǎo)致人工智能新的應(yīng)用領(lǐng)域不再更新和發(fā)展。為了避免出現(xiàn)這樣的情況,即使在風(fēng)險水平與預(yù)想不同的情況下,追究研發(fā)者責(zé)任也應(yīng)慎之又慎。

    新技術(shù)的“黑匣子”性,雖然離完全消除還很遠,但正在慢慢被克服,存在漏洞或不當使用的數(shù)理模型,數(shù)據(jù)處理方法等,也慢慢被識別。不過,要將這些行為全部用法律進行規(guī)定,在技術(shù)急速發(fā)展的當下,是很困難的。對于參與調(diào)查合作、提供信息,進行整改承諾的技術(shù)開發(fā)者和科創(chuàng)企業(yè),延期起訴可作為協(xié)調(diào)各方利益的有效方法。在這種情況下,關(guān)于整改的內(nèi)容,應(yīng)該由監(jiān)督機關(guān)的代表對開發(fā)者提出的方案斟酌之后再做決定?,F(xiàn)實的改善方法只有向參與者提出、向受法律和智能算法應(yīng)用影響的人提出,才能確保正當性和有效性。因此,研發(fā)者及其團隊對智能算法系統(tǒng)重新設(shè)計,改善相關(guān)程序應(yīng)聽取各方提議,行政、司法和監(jiān)督部門的代表,行業(yè)專家、受害者和其他關(guān)系人,都應(yīng)該參與其中。

    猜你喜歡
    人工智能責(zé)任法律
    法律解釋與自然法
    法律方法(2021年3期)2021-03-16 05:57:02
    使命在心 責(zé)任在肩
    每個人都該承擔(dān)起自己的責(zé)任
    新民周刊(2020年5期)2020-02-20 14:29:44
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    下一幕,人工智能!
    讓人死亡的法律
    山東青年(2016年1期)2016-02-28 14:25:30
    “互助獻血”質(zhì)疑聲背后的法律困惑
    期望囑托責(zé)任
    中國火炬(2014年12期)2014-07-25 10:38:05
    男女之事视频高清在线观看| tocl精华| 99re在线观看精品视频| 国产亚洲精品久久久久久毛片| 亚洲av成人精品一区久久| 欧美黑人欧美精品刺激| 999精品在线视频| 国产激情欧美一区二区| 夜夜夜夜夜久久久久| 国产黄色小视频在线观看| 日本 av在线| 久久久久久人人人人人| 99精品在免费线老司机午夜| 精品日产1卡2卡| 99热6这里只有精品| 亚洲精品久久国产高清桃花| АⅤ资源中文在线天堂| av天堂在线播放| 午夜激情av网站| 黑人欧美特级aaaaaa片| 人妻久久中文字幕网| 好男人在线观看高清免费视频| 免费看美女性在线毛片视频| 中文字幕人成人乱码亚洲影| 精品人妻1区二区| 中文亚洲av片在线观看爽| 国产精品亚洲美女久久久| av片东京热男人的天堂| 日韩欧美免费精品| 国产一区在线观看成人免费| 村上凉子中文字幕在线| 白带黄色成豆腐渣| 久久 成人 亚洲| а√天堂www在线а√下载| 国产主播在线观看一区二区| 日本免费一区二区三区高清不卡| 成年版毛片免费区| 国产在线精品亚洲第一网站| 高清在线国产一区| 欧美3d第一页| 成年人黄色毛片网站| 日韩欧美免费精品| 一进一出好大好爽视频| 免费看a级黄色片| 在线观看免费视频日本深夜| 日韩欧美在线乱码| 亚洲第一欧美日韩一区二区三区| 性色av乱码一区二区三区2| 久久天堂一区二区三区四区| 99国产极品粉嫩在线观看| 日韩精品中文字幕看吧| 国产成人av激情在线播放| 国产成人欧美在线观看| 久久久久九九精品影院| 精品国产乱码久久久久久男人| 亚洲国产欧洲综合997久久,| 美女免费视频网站| 国产乱人伦免费视频| 亚洲国产日韩欧美精品在线观看 | 欧美成人一区二区免费高清观看 | 国产精品亚洲一级av第二区| 日韩欧美在线乱码| 国产成人啪精品午夜网站| 18禁黄网站禁片午夜丰满| 国产精品一及| 99国产极品粉嫩在线观看| 国产精品影院久久| 国产精品一区二区精品视频观看| 亚洲午夜理论影院| 欧美中文综合在线视频| 两人在一起打扑克的视频| 欧美成人一区二区免费高清观看 | 在线十欧美十亚洲十日本专区| 免费一级毛片在线播放高清视频| 久久草成人影院| 亚洲一卡2卡3卡4卡5卡精品中文| 日韩欧美免费精品| 男女床上黄色一级片免费看| 国产主播在线观看一区二区| 搡老岳熟女国产| 成人三级黄色视频| 日韩欧美国产一区二区入口| 99热这里只有是精品50| 国产精品 欧美亚洲| 国产97色在线日韩免费| 久9热在线精品视频| 久久久久久国产a免费观看| 美女黄网站色视频| 日韩免费av在线播放| 曰老女人黄片| 欧美乱色亚洲激情| 色综合婷婷激情| 国产成人av激情在线播放| 久久人妻av系列| 免费看日本二区| 国内精品久久久久久久电影| 国产熟女午夜一区二区三区| 一边摸一边抽搐一进一小说| 麻豆av在线久日| 男女之事视频高清在线观看| 俄罗斯特黄特色一大片| 国产午夜精品久久久久久| 在线免费观看的www视频| 美女免费视频网站| 国产男靠女视频免费网站| 亚洲 国产 在线| 精品久久久久久,| 2021天堂中文幕一二区在线观| 午夜福利在线在线| 久久久久久免费高清国产稀缺| 久热爱精品视频在线9| 欧美日韩瑟瑟在线播放| 欧美精品啪啪一区二区三区| av福利片在线观看| 久久久久国产精品人妻aⅴ院| 国产午夜精品论理片| 波多野结衣巨乳人妻| www.熟女人妻精品国产| 国产欧美日韩一区二区精品| 精品久久久久久,| 国产亚洲av高清不卡| 一进一出抽搐gif免费好疼| 久久婷婷成人综合色麻豆| 久久婷婷成人综合色麻豆| 三级国产精品欧美在线观看 | 成人亚洲精品av一区二区| 国产v大片淫在线免费观看| 国产精品亚洲av一区麻豆| 国产日本99.免费观看| 真人一进一出gif抽搐免费| 一本一本综合久久| 高清毛片免费观看视频网站| 18美女黄网站色大片免费观看| 精品国产乱码久久久久久男人| 舔av片在线| 九九热线精品视视频播放| 亚洲黑人精品在线| 香蕉丝袜av| а√天堂www在线а√下载| 国产黄色小视频在线观看| 欧美黑人欧美精品刺激| 亚洲熟妇熟女久久| 长腿黑丝高跟| 五月玫瑰六月丁香| 亚洲熟妇中文字幕五十中出| 美女高潮喷水抽搐中文字幕| 国产精品,欧美在线| 国产蜜桃级精品一区二区三区| 久久精品影院6| 91麻豆精品激情在线观看国产| 久久人人精品亚洲av| 亚洲精品在线观看二区| www.自偷自拍.com| 两个人的视频大全免费| 久久久久久免费高清国产稀缺| 一边摸一边做爽爽视频免费| 亚洲专区国产一区二区| 久久久久久人人人人人| 久久久久久九九精品二区国产 | 女生性感内裤真人,穿戴方法视频| 国产精品久久久久久精品电影| 久久精品夜夜夜夜夜久久蜜豆 | 波多野结衣高清无吗| 亚洲乱码一区二区免费版| 最好的美女福利视频网| 日韩欧美 国产精品| 欧美精品啪啪一区二区三区| 在线十欧美十亚洲十日本专区| www日本在线高清视频| 婷婷亚洲欧美| 99国产精品一区二区三区| 搡老熟女国产l中国老女人| 国产精品永久免费网站| 特大巨黑吊av在线直播| 亚洲欧美精品综合久久99| 成人18禁高潮啪啪吃奶动态图| 最近最新中文字幕大全电影3| 校园春色视频在线观看| e午夜精品久久久久久久| 97超级碰碰碰精品色视频在线观看| 久久精品国产99精品国产亚洲性色| 欧美成人免费av一区二区三区| 亚洲男人的天堂狠狠| 法律面前人人平等表现在哪些方面| 精品久久蜜臀av无| 久久草成人影院| 一卡2卡三卡四卡精品乱码亚洲| 伦理电影免费视频| 成年免费大片在线观看| 午夜老司机福利片| 桃红色精品国产亚洲av| 一夜夜www| 成人手机av| 可以在线观看的亚洲视频| 欧美日韩福利视频一区二区| 很黄的视频免费| 色av中文字幕| 蜜桃久久精品国产亚洲av| 无人区码免费观看不卡| 国产日本99.免费观看| 首页视频小说图片口味搜索| 成年女人毛片免费观看观看9| 99热这里只有精品一区 | 久久精品aⅴ一区二区三区四区| 日本 av在线| 男女做爰动态图高潮gif福利片| 久久精品国产亚洲av香蕉五月| 一进一出好大好爽视频| 国产午夜精品久久久久久| 免费高清视频大片| 午夜a级毛片| 男女下面进入的视频免费午夜| 久久国产精品影院| 精品一区二区三区四区五区乱码| 欧美丝袜亚洲另类 | 日本免费a在线| 欧美性猛交╳xxx乱大交人| 亚洲精品中文字幕一二三四区| 欧美日韩亚洲综合一区二区三区_| 俄罗斯特黄特色一大片| 亚洲五月天丁香| 中国美女看黄片| 男女之事视频高清在线观看| 一边摸一边抽搐一进一小说| 国产熟女午夜一区二区三区| 中文字幕精品亚洲无线码一区| 欧美成人免费av一区二区三区| 高清在线国产一区| 精品久久久久久久久久久久久| 午夜久久久久精精品| 国产精品永久免费网站| 最新美女视频免费是黄的| 久久人妻av系列| 丁香六月欧美| 国产亚洲精品av在线| 特级一级黄色大片| 亚洲va日本ⅴa欧美va伊人久久| 在线十欧美十亚洲十日本专区| 曰老女人黄片| 国产一区二区三区视频了| 亚洲成人久久性| 午夜免费成人在线视频| 国产av在哪里看| 国产爱豆传媒在线观看 | 欧美黑人欧美精品刺激| 草草在线视频免费看| 午夜福利在线在线| 蜜桃久久精品国产亚洲av| 免费观看精品视频网站| 日本黄大片高清| 久久精品亚洲精品国产色婷小说| 免费在线观看黄色视频的| 一个人观看的视频www高清免费观看 | 亚洲第一电影网av| 国产人伦9x9x在线观看| 成人高潮视频无遮挡免费网站| 黑人巨大精品欧美一区二区mp4| 男女下面进入的视频免费午夜| 搡老妇女老女人老熟妇| 在线观看免费午夜福利视频| 亚洲一区高清亚洲精品| 免费看日本二区| 淫妇啪啪啪对白视频| 亚洲欧美精品综合久久99| 亚洲欧洲精品一区二区精品久久久| 国产av一区在线观看免费| 夜夜躁狠狠躁天天躁| 一级毛片女人18水好多| 无限看片的www在线观看| av免费在线观看网站| 999久久久精品免费观看国产| 天天躁夜夜躁狠狠躁躁| www日本黄色视频网| 国产蜜桃级精品一区二区三区| 天堂√8在线中文| av视频在线观看入口| 亚洲国产欧美一区二区综合| 国产成人aa在线观看| 色综合欧美亚洲国产小说| 最新美女视频免费是黄的| 成人永久免费在线观看视频| 中文亚洲av片在线观看爽| 久久人人精品亚洲av| 他把我摸到了高潮在线观看| 亚洲精品粉嫩美女一区| 亚洲国产欧美一区二区综合| 午夜激情福利司机影院| 色综合欧美亚洲国产小说| 国产成人av激情在线播放| 亚洲天堂国产精品一区在线| 免费一级毛片在线播放高清视频| 日韩国内少妇激情av| 婷婷亚洲欧美| 日韩中文字幕欧美一区二区| 99国产极品粉嫩在线观看| 97人妻精品一区二区三区麻豆| 免费电影在线观看免费观看| 欧美日韩亚洲综合一区二区三区_| 99精品久久久久人妻精品| 国产精品 欧美亚洲| 亚洲第一欧美日韩一区二区三区| 禁无遮挡网站| 90打野战视频偷拍视频| 视频区欧美日本亚洲| 大型黄色视频在线免费观看| 一边摸一边做爽爽视频免费| 日韩欧美 国产精品| 精品国产美女av久久久久小说| 亚洲精品中文字幕一二三四区| 在线看三级毛片| 丁香六月欧美| 在线观看www视频免费| 国产免费男女视频| 日韩欧美 国产精品| 中文字幕人妻丝袜一区二区| 中亚洲国语对白在线视频| 日韩欧美在线二视频| 久久久久国产精品人妻aⅴ院| 在线视频色国产色| 淫秽高清视频在线观看| 最近在线观看免费完整版| 国产av一区在线观看免费| 国产亚洲av高清不卡| 久久精品国产清高在天天线| 麻豆av在线久日| 精品第一国产精品| 国产精品久久久久久久电影 | 欧美精品啪啪一区二区三区| 久久国产乱子伦精品免费另类| 色综合站精品国产| 1024手机看黄色片| 国产成人av激情在线播放| 亚洲熟女毛片儿| 男女做爰动态图高潮gif福利片| 69av精品久久久久久| 99热这里只有精品一区 | 国内少妇人妻偷人精品xxx网站 | 99精品在免费线老司机午夜| 国产99白浆流出| 亚洲中文av在线| 三级毛片av免费| 波多野结衣巨乳人妻| 一进一出抽搐gif免费好疼| 亚洲无线在线观看| 精品熟女少妇八av免费久了| 真人做人爱边吃奶动态| 国产精品影院久久| 男女之事视频高清在线观看| av片东京热男人的天堂| 成人永久免费在线观看视频| 亚洲美女黄片视频| 亚洲aⅴ乱码一区二区在线播放 | 好男人电影高清在线观看| 国产精品日韩av在线免费观看| 国产真实乱freesex| 亚洲在线自拍视频| ponron亚洲| 午夜福利免费观看在线| x7x7x7水蜜桃| 国产亚洲精品一区二区www| 五月伊人婷婷丁香| cao死你这个sao货| 校园春色视频在线观看| 亚洲va日本ⅴa欧美va伊人久久| 伊人久久大香线蕉亚洲五| 国产av不卡久久| 亚洲欧美一区二区三区黑人| 又大又爽又粗| 法律面前人人平等表现在哪些方面| 国产97色在线日韩免费| 欧美日本视频| 午夜视频精品福利| 五月玫瑰六月丁香| 一本久久中文字幕| 欧美一级a爱片免费观看看 | 亚洲九九香蕉| 欧美一级毛片孕妇| 国产又黄又爽又无遮挡在线| 无限看片的www在线观看| 午夜福利在线在线| 免费在线观看完整版高清| 精品免费久久久久久久清纯| 久久香蕉激情| 九色国产91popny在线| 欧美日韩瑟瑟在线播放| 免费在线观看影片大全网站| 黄片小视频在线播放| 丝袜人妻中文字幕| 成人亚洲精品av一区二区| 日日爽夜夜爽网站| 亚洲 欧美 日韩 在线 免费| 久久精品aⅴ一区二区三区四区| 午夜福利免费观看在线| 午夜免费激情av| 俺也久久电影网| aaaaa片日本免费| 日本一本二区三区精品| 亚洲 欧美 日韩 在线 免费| 亚洲av美国av| 18美女黄网站色大片免费观看| 嫁个100分男人电影在线观看| 久久久久国产一级毛片高清牌| 国产亚洲精品av在线| 午夜影院日韩av| 国产精品九九99| 精品熟女少妇八av免费久了| 久久久国产成人精品二区| 国产成人av激情在线播放| 一区二区三区激情视频| 一进一出好大好爽视频| 国产亚洲精品久久久久5区| 亚洲成a人片在线一区二区| 99精品在免费线老司机午夜| 午夜视频精品福利| 色综合亚洲欧美另类图片| 别揉我奶头~嗯~啊~动态视频| 欧美黄色淫秽网站| 亚洲av片天天在线观看| 国产成人系列免费观看| 国产精品av视频在线免费观看| 欧美日韩乱码在线| 在线观看美女被高潮喷水网站 | 午夜免费成人在线视频| 午夜福利欧美成人| 国产一区二区三区在线臀色熟女| 久久午夜亚洲精品久久| 怎么达到女性高潮| 久久精品人妻少妇| 精品乱码久久久久久99久播| 国产高清有码在线观看视频 | 亚洲真实伦在线观看| 午夜两性在线视频| 欧美在线黄色| 欧美日韩乱码在线| 亚洲精品国产一区二区精华液| www日本在线高清视频| 男人舔女人下体高潮全视频| 亚洲aⅴ乱码一区二区在线播放 | 亚洲欧美日韩高清专用| 国产在线精品亚洲第一网站| 国语自产精品视频在线第100页| 在线永久观看黄色视频| 一边摸一边抽搐一进一小说| 精品久久蜜臀av无| www日本在线高清视频| 国产真人三级小视频在线观看| 性色av乱码一区二区三区2| 老司机午夜十八禁免费视频| 久久久久免费精品人妻一区二区| 亚洲美女视频黄频| 两人在一起打扑克的视频| 日日摸夜夜添夜夜添小说| 在线视频色国产色| 日韩有码中文字幕| 激情在线观看视频在线高清| 国产一区二区在线av高清观看| 一卡2卡三卡四卡精品乱码亚洲| 日本免费一区二区三区高清不卡| 麻豆av在线久日| 又黄又粗又硬又大视频| 老汉色av国产亚洲站长工具| 国产精品 欧美亚洲| 亚洲乱码一区二区免费版| 欧美黑人巨大hd| 又黄又粗又硬又大视频| 亚洲国产欧美人成| 国产精品永久免费网站| 久久久国产欧美日韩av| 天堂av国产一区二区熟女人妻 | 床上黄色一级片| 国产又黄又爽又无遮挡在线| 色噜噜av男人的天堂激情| 很黄的视频免费| 全区人妻精品视频| 亚洲精品中文字幕一二三四区| 亚洲av中文字字幕乱码综合| 一进一出好大好爽视频| 人妻久久中文字幕网| 久久久久亚洲av毛片大全| 91国产中文字幕| av福利片在线观看| 黄频高清免费视频| 香蕉久久夜色| 九色成人免费人妻av| 99热这里只有是精品50| 一进一出好大好爽视频| 老司机福利观看| 亚洲自拍偷在线| bbb黄色大片| 一边摸一边做爽爽视频免费| 亚洲国产精品成人综合色| 欧美绝顶高潮抽搐喷水| 90打野战视频偷拍视频| 欧美一级a爱片免费观看看 | 精品欧美一区二区三区在线| 男人舔女人的私密视频| 最近在线观看免费完整版| 日本成人三级电影网站| 国产精品久久久久久人妻精品电影| 女人爽到高潮嗷嗷叫在线视频| 淫秽高清视频在线观看| 一级毛片女人18水好多| 亚洲成人国产一区在线观看| 国产成人啪精品午夜网站| 搡老岳熟女国产| 99久久精品国产亚洲精品| 伊人久久大香线蕉亚洲五| 欧美色视频一区免费| 午夜激情av网站| 人成视频在线观看免费观看| 免费在线观看视频国产中文字幕亚洲| 叶爱在线成人免费视频播放| 亚洲 欧美一区二区三区| 午夜免费观看网址| 国产成人啪精品午夜网站| 午夜福利欧美成人| 成年女人毛片免费观看观看9| 午夜免费成人在线视频| x7x7x7水蜜桃| www.www免费av| 欧美精品亚洲一区二区| 少妇裸体淫交视频免费看高清 | 亚洲专区中文字幕在线| 亚洲精品久久国产高清桃花| 亚洲午夜精品一区,二区,三区| а√天堂www在线а√下载| 国产午夜精品论理片| 国产精品爽爽va在线观看网站| 精品国内亚洲2022精品成人| 久久久久久久久久黄片| 最近最新中文字幕大全电影3| 久久婷婷人人爽人人干人人爱| 欧美极品一区二区三区四区| 人人妻人人澡欧美一区二区| 夜夜爽天天搞| 少妇熟女aⅴ在线视频| 波多野结衣高清作品| 91大片在线观看| 国产精品一及| 又爽又黄无遮挡网站| 少妇人妻一区二区三区视频| 可以免费在线观看a视频的电影网站| 午夜免费成人在线视频| 精品无人区乱码1区二区| 精品不卡国产一区二区三区| 变态另类丝袜制服| 国产av一区在线观看免费| 久久天堂一区二区三区四区| 欧美大码av| 亚洲av成人av| 亚洲 欧美一区二区三区| АⅤ资源中文在线天堂| 一级毛片女人18水好多| 88av欧美| 欧美国产日韩亚洲一区| 两个人免费观看高清视频| 狂野欧美激情性xxxx| 欧美日韩黄片免| 亚洲欧美一区二区三区黑人| 欧美另类亚洲清纯唯美| 每晚都被弄得嗷嗷叫到高潮| 免费看美女性在线毛片视频| 精品欧美一区二区三区在线| 小说图片视频综合网站| 19禁男女啪啪无遮挡网站| 91麻豆av在线| 亚洲欧美精品综合一区二区三区| 在线观看一区二区三区| 人妻久久中文字幕网| 国产一区二区在线观看日韩 | 国产精品一区二区精品视频观看| 亚洲国产欧美一区二区综合| 白带黄色成豆腐渣| 亚洲精华国产精华精| 亚洲人成网站在线播放欧美日韩| 午夜福利视频1000在线观看| 一边摸一边做爽爽视频免费| 嫁个100分男人电影在线观看| 亚洲 欧美 日韩 在线 免费| 免费人成视频x8x8入口观看| 黄色成人免费大全| 这个男人来自地球电影免费观看| 国产精品亚洲一级av第二区| 制服诱惑二区| 亚洲av成人不卡在线观看播放网| 亚洲人与动物交配视频| 波多野结衣高清无吗| 国产视频内射| 97人妻精品一区二区三区麻豆| 中出人妻视频一区二区| 欧美日本亚洲视频在线播放| 久久草成人影院| 国产真人三级小视频在线观看| 老司机福利观看| av国产免费在线观看| 精品日产1卡2卡| 99久久精品热视频| 色尼玛亚洲综合影院| 久久中文看片网| 国产精品电影一区二区三区| 亚洲国产欧美人成| 国产熟女xx| 岛国在线免费视频观看| 老司机在亚洲福利影院| 色播亚洲综合网| 欧美激情久久久久久爽电影| a级毛片在线看网站| 动漫黄色视频在线观看| 丝袜人妻中文字幕| 成人特级黄色片久久久久久久| 亚洲色图 男人天堂 中文字幕| 久久精品人妻少妇| 亚洲第一欧美日韩一区二区三区| 日韩欧美一区二区三区在线观看| 中文字幕久久专区|