• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能汽車交通肇事的刑法應(yīng)對
    ——以Uber交通肇事案為研究視角

    2020-02-24 20:46:07陳禹衡
    法治社會 2020年3期
    關(guān)鍵詞:交通肇事安全員黑客

    陳禹衡

    內(nèi)容提要:人工智能汽車的發(fā)展方興未艾,但其同時也對交通秩序產(chǎn)生威脅,在Uber交通肇事案中,檢方排除了公司責(zé)任而準(zhǔn)備追究安全員責(zé)任。人工智能汽車分為強(qiáng)人工智能和弱人工智能,弱人工智能汽車不是法律主體,其生產(chǎn)廠家未盡到合理注意義務(wù)需要負(fù)有責(zé)任,安全員則應(yīng)該負(fù)有差別化的注意義務(wù)。強(qiáng)人工智能汽車應(yīng)該視為法律主體,對強(qiáng)人工智能自主學(xué)習(xí)導(dǎo)致的犯罪行為應(yīng)該分情況討論,對于其由于算法偏見導(dǎo)致的犯罪行為生產(chǎn)廠家也要負(fù)有責(zé)任,黑客入侵后則依據(jù)被感染程度的強(qiáng)弱討論其與黑客的關(guān)系,以更好地幫助人工智能汽車從弱人工智能進(jìn)化到強(qiáng)人工智能。

    伴隨著人工智能技術(shù)的崛起和完善,人工智能系統(tǒng)方興未艾,正在滲入我們?nèi)粘I畹姆椒矫婷?,但是其中最具?chuàng)新性和變革性的便是人工智能系統(tǒng)引導(dǎo)下的自動駕駛汽車的投入使用。如果其能夠大規(guī)模適用,將會對我們的交通生活方式產(chǎn)生極大的沖擊和改變,而對于可能出現(xiàn)的人工智能汽車交通肇事行為,刑法應(yīng)對的研究才剛剛興起,尚缺司法實(shí)踐經(jīng)驗(yàn)。2018年3月18日美國亞利桑那州坦佩市,發(fā)生了世界上第一起人工智能汽車交通肇事的事故,①2016年5月7日發(fā)生的特斯拉models汽車交通肇事由于該車型要求駕駛員持續(xù)手握方向盤,該車型為Level2(部分自動化)型,所以不應(yīng)視為第一起人工智能汽車交通肇事案。導(dǎo)致一名女性不幸身亡。由于人工智能技術(shù)的加持,以及Uber公司和受害者家屬達(dá)成了賠償協(xié)議,很多人認(rèn)為該事故不會走司法程序。②劉憲權(quán):《人工智能:刑法的時代挑戰(zhàn)》,上海人民出版社2018年版,第147頁。但是時隔一年,2019年3月5日,該案所在地的檢察官卻判定:Uber公司對于去年三月份發(fā)生的交通事故不負(fù)刑事責(zé)任,但是對于當(dāng)時負(fù)責(zé)車輛正常行駛的駕駛安全員,其是否負(fù)有刑事責(zé)任將進(jìn)行進(jìn)一步調(diào)查。對這一交通肇事案件進(jìn)行分析,可以為完善人工智能汽車交通肇事的刑法應(yīng)對提供司法實(shí)踐經(jīng)驗(yàn)。

    一、Uber人工智能汽車交通肇事案的細(xì)節(jié)分析

    Uber此次發(fā)生的交通肇事的情節(jié)較為復(fù)雜,涉事車輛事發(fā)時經(jīng)過一段沒有設(shè)置信號燈或者監(jiān)控?cái)z像頭的三岔路口,事故的分析只能依靠車輛自帶的監(jiān)控錄像設(shè)備,結(jié)合美國國家運(yùn)輸安全委員會的初步報(bào)告和現(xiàn)階段檢察官透露的信息,該案中值得分析的細(xì)節(jié)有如下幾點(diǎn)。

    第一,Uber的涉事車輛為沃爾沃XC-90SUV,這輛車本身并非專門設(shè)計(jì)的人工智能汽車,而是經(jīng)過改裝的人工智能汽車,人工智能軟件系統(tǒng)和距離識別感應(yīng)系統(tǒng)都是后來由Uber公司加裝的,并裝配車頂激光雷達(dá)、紅外傳感器等,③曹建峰:《全球首例自動駕駛汽車撞人致死案法律分析及啟示》,載 《信息安全與通信保密》2018年第6期。在這種現(xiàn)階段主流裝配方案的改造下,該車的自動駕駛層級系數(shù)達(dá)到了四級運(yùn)行設(shè)計(jì)領(lǐng)域,④目前業(yè)界普遍采用的是由美國汽車工程師協(xié)會 (SAE)和美國高速公路安全管理局 (NHTSA)聯(lián)合頒布的分級標(biāo)準(zhǔn),該標(biāo)準(zhǔn)中將人工智能汽車分為Level0-Level5共計(jì)6個等級,分別對應(yīng):無自動化、駕駛輔助、部分自動化、有條件自動化、高度自動化、完全自動化,此次涉事車輛的四級運(yùn)行設(shè)計(jì)領(lǐng)域?qū)?yīng)Level3有條件自動化,特定情況下期望駕駛員能夠響應(yīng)系統(tǒng)請求并接管駕駛的控制權(quán)。安全駕駛員不參與駕駛行為而僅在系統(tǒng)出現(xiàn)脫離情形時才負(fù)有接管駕駛的責(zé)任,根據(jù)消極責(zé)任理論的觀點(diǎn),此時安全駕駛員的責(zé)任比重較輕。⑤馮文杰、李永升:《消極責(zé)任主義的理論型塑與實(shí)踐省思》,載 《南通大學(xué)學(xué)報(bào) (社會科學(xué)版)》2019年第4期。

    第二,事故發(fā)布的監(jiān)控錄像顯示,涉事車輛在撞人前已經(jīng)發(fā)現(xiàn)了受害人,車輛的傳感器在撞擊發(fā)生前6秒已經(jīng)檢測到受害人的生命體征,并且系統(tǒng)自帶的處理器分析出還有1.3秒事故即將發(fā)生,但是涉事車輛此時卻無法進(jìn)行急剎車,系統(tǒng)在這里的缺陷是Uber公司的人工智能汽車在計(jì)算機(jī)控制下沒有啟用緊急剎車的權(quán)限。車載數(shù)據(jù)回放顯示,系統(tǒng)在當(dāng)時提供了緊急制動的請求,車輛人工智能系統(tǒng)的權(quán)限在這里和安全員的權(quán)限產(chǎn)生了沖突,也就是算法設(shè)置的紕漏導(dǎo)致了事故的發(fā)生。

    第三,當(dāng)?shù)鼐綄Π踩珕T進(jìn)行的調(diào)查顯示,該名安全員拉斐爾·瓦斯克斯在事故發(fā)生時觀看了“美國好聲音”,根據(jù)Hulu網(wǎng)站顯示,在案發(fā)之前,瓦斯克斯的視頻網(wǎng)站賬戶觀看了至少40分鐘的視頻節(jié)目,并且最終播放停止的時間是9點(diǎn)59分,也就是事故發(fā)生的時間,因而有理由相信安全員在履職期間處于玩忽職守的狀態(tài),并且其對于緊急剎車的優(yōu)先權(quán)限可能導(dǎo)致了人工智能系統(tǒng)對于緊急制動的請求被忽視。

    第四,根據(jù)美國喬治亞理工學(xué)院的研究,現(xiàn)階段的人工智能車輛系統(tǒng)存在著算法偏見的問題,人工智能系統(tǒng)誕生伊始輸入的各種數(shù)據(jù)、測試值等可能導(dǎo)致了系統(tǒng)自身更加善于識別膚色較淺的人。研究人員對于行人的圖像數(shù)據(jù)進(jìn)行采集,并使用菲茨帕特里克量表 (Fitzpatrickscale)進(jìn)行分析,發(fā)現(xiàn)了深色皮膚的人的檢測率要比淺色皮膚的人低5個百分點(diǎn),⑥《優(yōu)步無罪!致死車禍不擔(dān)刑責(zé),但自動駕駛早已元?dú)獯髠?,鳳凰網(wǎng)科技:http://tech.ifeng.com/a/20190306/45325172_0.shtml,2019年3月19日訪問。這種算法偏見的存在導(dǎo)致了對人工智能汽車安全性和普適性的質(zhì)疑。

    第五,在該案的審判過程中存在的另一處細(xì)節(jié)是,事故發(fā)生地為亞利桑那州坦佩市,且事故發(fā)生路段是一段沙漠景觀,當(dāng)?shù)卣诖颂帢?gòu)建了X形的磚路,這一磚路在本地人的認(rèn)知里是政府鼓勵人們橫穿馬路的象征,可以被視為一種約定俗稱的習(xí)慣。但是很明顯的是,Uber的人工智能汽車導(dǎo)航系統(tǒng)中并沒有輸入此類習(xí)慣的提示,這種約定俗成的交通習(xí)慣對于人工智能汽車的安全行駛以及交通肇事后的刑事責(zé)任的分配形成了挑戰(zhàn)。

    通過對于以上五點(diǎn)案件細(xì)節(jié)的分析,可以發(fā)現(xiàn)該起人工智能汽車交通肇事事故并非一起簡單的交通肇事,其中反映出了人工智能系統(tǒng)的機(jī)器學(xué)習(xí)問題、強(qiáng)弱人工智能之間責(zé)任的權(quán)重分配問題、人工智能和人類監(jiān)督之間的權(quán)限沖突問題、人工智能汽車的算法偏見問題、自動駕駛新技術(shù)對人類習(xí)慣的接受和吸收問題等,⑦陳洪兵、陳禹衡:《刑法領(lǐng)域的新挑戰(zhàn):人工智能的算法偏見》,載 《廣西大學(xué)學(xué)報(bào) (哲學(xué)社會科學(xué)版)》2019年第5期。對這些問題的解決,有助于未雨綢繆,為我國人工智能汽車的推廣和制定其交通肇事行為的法律規(guī)制提供經(jīng)驗(yàn),并且完善刑法典中對于交通肇事罪以及危險駕駛罪罪名的規(guī)范。

    二、弱人工智能汽車交通肇事的刑法分析

    在本次Uber人工智能汽車交通肇事的事故中,肇事車輛是一輛弱人工智能汽車。強(qiáng)弱人工智能汽車在技術(shù)上劃分的鴻溝在于 “由反射式智能轉(zhuǎn)換成自律式智能”,⑧翁岳暄、多尼米克·希倫布蘭德:《汽車智能化的道路:智能汽車、自動駕駛汽車安全監(jiān)管研究》,載 《科技與法律》2014年第4期。很明顯在此案中涉事車輛的人工智能程度僅僅在弱人工智能階段,其主要行為范式是 “反射式智能”。在Uber公司的改造下,該車通過加裝了激光雷達(dá)和紅外傳感器等設(shè)備形成了初步的發(fā)射應(yīng)答回路,其基本的操作路徑是通過激光雷達(dá)發(fā)射紅外線,當(dāng)紅外線接觸到障礙物進(jìn)行反射,反射回來的信號由數(shù)據(jù)分析器分析得出障礙物的距離,并對得到的數(shù)據(jù)處理后做出相應(yīng)的應(yīng)對措施。在Level3級別的汽車的運(yùn)行中,車載人工智能系統(tǒng)并未獲得汽車駕駛過程中的全部權(quán)限,而是采用人機(jī)交互的方式,安全員的存在可以視為車輛自動駕駛過程中的 “安全閥門”。但是在此次事故中,發(fā)生肇事的一個重要原因就是人工智能緊急制動的權(quán)限和安全員之間的權(quán)限出現(xiàn)沖突,導(dǎo)致最終剎車不及時。此次事故中各方主體所負(fù)的刑事責(zé)任,弱人工智能汽車的法律主體是否構(gòu)成,都需要結(jié)合案情進(jìn)行詳細(xì)的探討。

    (一)弱人工智能汽車的法律主體資格分析

    對于弱人工智能汽車刑事責(zé)任的分析,前提是討論弱人工智能汽車是否有所謂的法律主體的資格,也就是其是否具備 “法律人格 (legal personality)”,而討論弱人工智能汽車的 “法律人格”,則必然繞不過作為其構(gòu)成基礎(chǔ)的 “電子人格 (electronic personality)”的概念。對于是否授予弱人工智能汽車 “電子人格”,并賦予其 “法律人格”的看法,學(xué)界對此看法不一。

    支持者認(rèn)為 “電子人格”的概念在于弱人工智能產(chǎn)品已經(jīng)具有了一定的行為權(quán)和決定權(quán),對于面對的事項(xiàng)可以有相應(yīng)的決策權(quán),并且能夠通過妥善地合理使用自主權(quán)而被法律賦予一定的權(quán)利與義務(wù),最終被授予 “電子人格”的法律地位,而這些 “電子人格”的參與方的集合,最終構(gòu)成了弱人工智能的法律人格。⑨楊立新:《人工類人格:智能機(jī)器人的民法地位——兼論智能機(jī)器人致人損害的民事責(zé)任》,載 《求是學(xué)刊》2018年第4期。在歐盟法律事務(wù)委員會2016年發(fā)布的 《歐盟機(jī)器人民事法律規(guī)則》中,已然以提出決議的方式探討賦予人工智能機(jī)器人電子人格的可能性,而這一決議一旦通過,則弱人工智能汽車會被最終賦予法律人格,并且對此次交通肇事負(fù)有相應(yīng)的刑事責(zé)任。⑩司曉、曹建峰:《論人工智能的民事責(zé)任:以自動駕駛汽車和智能機(jī)器人為切入點(diǎn)》,載 《法律科學(xué) (西北政法大學(xué)學(xué)報(bào))》2017年第5期。

    持反對觀點(diǎn)的學(xué)者主要是認(rèn)為弱人工智能不能夠適應(yīng)法律規(guī)范的規(guī)制,法律規(guī)范的規(guī)制是通過人在了解了法律規(guī)范的要求之后,對于違反法律規(guī)范所造成的后果的厭惡而遵循法律規(guī)范的要求行事。①馮玨:《自動駕駛汽車致?lián)p的民事侵權(quán)責(zé)任》,載 《中國法學(xué)》2018年第6期。而弱人工智能汽車顯然不具備這一功能,康德曾經(jīng)對于人格提出了觀點(diǎn),認(rèn)為 “人,是主體,他有能力承擔(dān)加于他的行為,因此道德的人格不是別的,其是受道德法則約束的一個理性人的自由”。②[德]康德:《法的形而上學(xué)原理——權(quán)利的科學(xué)》,沈叔平譯,商務(wù)印書館1991年版,第26頁。在康德的觀點(diǎn)中,人格的特征在于受到規(guī)范的規(guī)制,但是弱人工智能的工作范式是 “反射式智能”,并非 “自律式智能”,弱人工智能汽車并不具備對于違反法律規(guī)范造成后果的厭惡,因而也不會做出遵循法律規(guī)范的決定,不應(yīng)該認(rèn)定其符合法律主體的構(gòu)成資格。

    本文認(rèn)為弱人工智能汽車不應(yīng)該認(rèn)定為法律主體。第一,從理論上說,弱人工智能汽車缺乏法律主體所必須的思維和處理模式,其對法律規(guī)范的遵守是機(jī)械的、缺乏創(chuàng)造性的,這種形而上學(xué)的人工智能主體不具有自主意識而需要深度學(xué)習(xí),即使強(qiáng)行賦予其電子人格,也是一種法律擬制的人格,導(dǎo)致法律主體認(rèn)定標(biāo)準(zhǔn)的混亂。第二,從實(shí)務(wù)上來說,本案中肇事車輛不僅沒有自主意識,甚至在意見反饋之后,對于正確的決策都沒有選擇權(quán),其做決定的優(yōu)先度遠(yuǎn)低于安全員的權(quán)限,更像是強(qiáng)人工智能的半成品或者是處理前端,這就意味著在剝奪了基本的決策權(quán)限之后,此時的弱人工智能汽車僅僅是Uber公司安全員的 “附庸”,不具備成為法律主體的資格。

    (二)弱人工智能汽車公司的刑事責(zé)任分析

    在此次交通肇事中,由于弱人工智能汽車的本身不具有法律主體的資格,因而也不能夠?qū)Πl(fā)生的交通肇事承擔(dān)刑事責(zé)任,但是Uber公司對交通肇事是否負(fù)責(zé),當(dāng)?shù)貦z方做出的Uber公司不負(fù)刑事責(zé)任的結(jié)論是值得商榷的?!按唐迫斯ぶ悄苊婕啞钡睦碚摽梢詾槿跞斯ぶ悄芷嚱煌ㄕ厥碌男淌職w責(zé)提供思路,透過人工智能技術(shù),弱人工智能汽車的技術(shù)核心和控制歸于Uber公司,其可以看作是Uber公司控制下的運(yùn)輸工具,由于弱人工智能汽車導(dǎo)致的交通事故應(yīng)該由其背后的實(shí)際控制者Uber公司擔(dān)任法律主體。③張繼紅、肖劍蘭:《自動駕駛汽車侵權(quán)責(zé)任問題研究》,載 《上海大學(xué)學(xué)報(bào) (社會科學(xué)版)》2019年第1期。

    Uber公司作為肇事車輛的改裝公司,在此次交通肇事中對于肇事車輛的影響作用遠(yuǎn)遠(yuǎn)大于汽車的原始制造公司沃爾沃公司,沃爾沃公司只是汽車的原始制造企業(yè),若沒有明顯證據(jù)證明是汽車的基礎(chǔ)性能發(fā)生故障導(dǎo)致事故,則沃爾沃公司對于此次交通肇事不負(fù)責(zé)任。Uber公司對于涉事車輛的改造是全方位的,通過加裝傳感器、人工智能系統(tǒng)的方式賦予了人工智能汽車的新生,所以可以視為Uber公司制造了這輛弱人工智能汽車并對車輛可能存在的設(shè)計(jì)缺陷負(fù)責(zé)。具體到本案中,2016年9月美國交通部出臺自動駕駛技術(shù)檢測和應(yīng)用指導(dǎo)性框架 《聯(lián)邦自動駕駛機(jī)動車政策》(Federal Automated Vehicles Policy),其中規(guī)定了15項(xiàng)有關(guān)自動駕駛技術(shù)安全性的評估標(biāo)準(zhǔn),④靖茹:《自動駕駛汽車事故責(zé)任問題研究》,載 《河北科技師范學(xué)院學(xué)報(bào) (社會科學(xué)版)》2017年第4期。而此次事故中Uber公司明顯在 “物體和事故的探測和反應(yīng) (OEDR)”這一項(xiàng)存在設(shè)計(jì)缺陷。⑤U.S.DOT releases new Automated Driving Systems guidance, https://www.nhtsa.gov/press-releases/us-dot-releases-new-automateddriving-systems-guidance,2019年3月13日訪問。

    在肇事車輛的初始人工智能系統(tǒng)中,Uber公司的過失之處在于對初始人工智能的OEDR算法設(shè)置存在紕漏。在車輛的行駛過程中,反饋信息處理器的權(quán)限低于安全員的權(quán)限,并且在面臨可能到來的危險時沒有做出緊急制動的權(quán)限,這種算法上的缺陷將伴隨著自動駕駛車輛的運(yùn)行生涯。當(dāng)研發(fā)者、制造者、銷售者在明知產(chǎn)品有缺陷的前提下,為了人工智能汽車的運(yùn)行和推廣,生產(chǎn)不符合保障人身和財(cái)產(chǎn)安全的國家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)的人工智能汽車,造成嚴(yán)重后果,應(yīng)該追究相關(guān)行為人的刑事責(zé)任。⑥郝秀輝、王錫柱:《論航空產(chǎn)品責(zé)任的承擔(dān)主體及其歸責(zé)原則》,載 《北京理工大學(xué)學(xué)報(bào) (社會科學(xué)版)》2016年第1期。但是考慮到弱人工智能汽車的技術(shù)進(jìn)步性和風(fēng)險性,應(yīng)該在一定程度上容許其所具有的危險性。⑦趙新河:《試論容許的危險理論對判定醫(yī)療過失的借鑒價值》,載 《中州學(xué)刊》2006年第6期。由于人工智能汽車的生產(chǎn)廠家承擔(dān)了更多的風(fēng)險,其應(yīng)該承擔(dān)嚴(yán)格責(zé)任,除非生產(chǎn)廠商能夠證明自己在生產(chǎn)過程中已經(jīng)達(dá)到了現(xiàn)有人工智能汽車生產(chǎn)標(biāo)準(zhǔn)要求,則對發(fā)生的損害后果不用承擔(dān)刑事責(zé)任。

    (三)安全員的刑事責(zé)任分析

    根據(jù)當(dāng)?shù)貦z方的報(bào)告以及案發(fā)地的監(jiān)控顯示,在此次交通肇事中該車輛的安全員對于事故的發(fā)生具有不可推卸的責(zé)任。首先,是安全員的身份定位意味著其不是傳統(tǒng)意義上的駕駛員,⑧Uber交通肇事案和特斯拉自動汽車肇事案的不同之處在于,后者車中所搭載的是人工智能車輛的駕駛員,要求車輛的駕駛員在行駛過程中雙手握住方向盤,并且按照聲音和影像提示進(jìn)行駕駛操作,前者中的安全員并不需要干預(yù)車輛的行駛。他并不直接參與弱人工智能汽車的駕駛,但是卻通過決策的判斷來決定車輛的運(yùn)行,其身份更像是弱人工智能汽車行駛的 “安全閥”,在車輛的行駛過程中,安全員除非出于不可抗力的原因,否則任何過失行為造成的損害安全員都應(yīng)該負(fù)有刑事責(zé)任。其次,視頻網(wǎng)站的瀏覽記錄顯示,當(dāng)時的車輛安全員瓦斯克斯沒有很好地履行安全員的義務(wù),處于玩忽職守的狀態(tài),這里安全員構(gòu)成了疏忽大意的過失,沒有起到注意義務(wù),符合交通肇事罪的犯罪構(gòu)成要件。最后,此處對安全員提出的注意義務(wù)是指安全員對某一具體行為可能導(dǎo)致的具體結(jié)果的注意和避免義務(wù)。注意義務(wù)的觀點(diǎn)有否定說和肯定說,⑨彭文華:《自動駕駛車輛犯罪的注意義務(wù)》,載 《政治與法律》2018年第5期。否定說的觀點(diǎn)指注意義務(wù)是具體的,對于行為和導(dǎo)致的結(jié)果都是具體的,只有人工智能車輛的安全員才能面對具體的車輛運(yùn)行情況,也才有所謂的注意義務(wù)??隙ㄕf認(rèn)為此處的注意義務(wù)是抽象的,具備相應(yīng)的特征,并且具有預(yù)測性和可期待性,肯定說將注意義務(wù)的范圍擴(kuò)展到了車輛的制造商等,即汽車的制造商即使符合人工智能汽車駕駛標(biāo)準(zhǔn),也要為未來可能發(fā)生的交通肇事事故負(fù)責(zé),這種觀點(diǎn)會有損刑法的謙抑性,因而本文采用否定說的觀點(diǎn),應(yīng)該由安全員對交通肇事罪負(fù)刑事責(zé)任。⑩周銘川:《論自動駕駛汽車交通肇事的刑事責(zé)任》,載 《上海交通大學(xué)學(xué)報(bào) (哲學(xué)社會科學(xué)版)》2019年第1期。

    該案中的安全員雖然構(gòu)成了交通肇事罪,但是在人工智能汽車蓬勃發(fā)展的今天,對于安全員注意義務(wù)的一味提高并不利于這個技術(shù)的健康發(fā)展,安全員注意義務(wù)的要求不宜過高。既然人工智能車輛允許乘坐者可以處于較為放松的狀態(tài),就不應(yīng)該按照傳統(tǒng)駕駛員的注意義務(wù)標(biāo)準(zhǔn)來要求的安全員。但是與此同時,美國很多地方都出臺規(guī)定要求人工智能車輛配備安全員,如美國的華盛頓特區(qū)、內(nèi)達(dá)華州等都要求只有配備安全員的人工智能車輛才能上路。有鑒于此,本文認(rèn)為對安全員的注意義務(wù)應(yīng)該采用差別化的注意義務(wù),在車輛平穩(wěn)運(yùn)行時安全員的注意義務(wù)較低,可以從事其他行為,但是在事故高發(fā)路段或者人工智能系統(tǒng)已經(jīng)反饋了可能存在危險的情況時,則要求安全員起到高度注意的義務(wù)。華盛頓特區(qū)法律中規(guī)定,自動駕駛車輛的安全員在面對危險情況時,必須坐到控制座位上,準(zhǔn)備接管車輛的行駛。內(nèi)華達(dá)州對于自動駕駛和人工駕駛狀態(tài)下的責(zé)任區(qū)分不同,要求無人車駕駛者也要擁有駕照。①張玉潔:《人工智能技術(shù)的法律規(guī)制——以 “無人駕駛汽車”為例》,載 《網(wǎng)絡(luò)法律評論》2016年第2期。對安全員實(shí)行差別化的注意義務(wù),才能夠在弱人工智能汽車占據(jù)產(chǎn)業(yè)主流時,在交通肇事中厘清各方的刑事責(zé)任,保障安全的同時為強(qiáng)人工智能汽車的發(fā)展做好鋪墊。

    三、強(qiáng)人工智能汽車交通肇事的刑法分析

    強(qiáng)人工智能汽車是弱人工智能汽車未來發(fā)展的必經(jīng)之路,強(qiáng)人工智能汽車將會徹底解放駕駛員的雙手和大腦,其不同于弱人工智能汽車之處在于具有了 “自律式智能”,強(qiáng)人工智能汽車可以在已經(jīng)設(shè)計(jì)和安排好的程序范圍內(nèi)進(jìn)行自我學(xué)習(xí),通過自身培養(yǎng)的獨(dú)立思考能力對道路的駕駛情況進(jìn)行預(yù)判。整體看來,強(qiáng)人工智能在四個方面對于現(xiàn)在的刑事司法體系造成挑戰(zhàn):一是強(qiáng)人工智能汽車是否能夠擔(dān)任法律主體,二是在強(qiáng)人工智能系統(tǒng)自主學(xué)習(xí)之后導(dǎo)致的犯罪行為如何應(yīng)對,三是對于強(qiáng)人工智能在學(xué)習(xí)之后形成了算法偏見如何進(jìn)行刑法規(guī)制,四是強(qiáng)人工智能在擺脫了人的控制之后,遭受黑客入侵導(dǎo)致交通肇事乃至危險駕駛?cè)绾握J(rèn)定刑事責(zé)任。

    (一)強(qiáng)人工智能汽車的法律主體資格分析

    強(qiáng)人工智能汽車不同于弱人工智能汽車,能夠通過自主學(xué)習(xí)對于外界事物形成自己的認(rèn)知,并且對于外界事物的認(rèn)知有自己的好惡。按照劉憲權(quán)教授的觀點(diǎn),這種強(qiáng)人工智能具有和自然人一樣的辨認(rèn)能力和控制能力,具備刑事責(zé)任,可以視為刑事主體,對于其犯罪行為的實(shí)施秉持著自主意志,可能且應(yīng)該承擔(dān)刑事責(zé)任。②劉憲權(quán):《人工智能時代刑事責(zé)任與刑罰體系的重構(gòu)》,載 《政治與法律》2018年第3期。本文贊同該觀點(diǎn),理由如下:第一,強(qiáng)人工智能具有不斷學(xué)習(xí)和發(fā)展的能力,從思維模式上來看經(jīng)過不斷地學(xué)習(xí)已經(jīng)能夠分辨出遵從規(guī)范和違反規(guī)范可能造成的后果,其更適合被稱為 “倫理機(jī)器人”。強(qiáng)人工智能汽車是用 “人工智能+汽車”的方式取代了 “駕駛員+汽車”,既然其掌握了道路交通規(guī)則,就必須對違反道路交通規(guī)則造成的事故負(fù)刑事責(zé)任。③黃閃閃:《無人駕駛汽車的倫理植入進(jìn)路研究》,載 《理論月刊》2018年第5期。第二,強(qiáng)人工智能汽車可能通過學(xué)習(xí)制造 “額外的知識”,這里的知識并非原始編程所輸入的知識,其范圍和性質(zhì)不可控,④[英]厄爾斯·尼爾森:《理解信念——人工智能的科學(xué)理解》,王飛躍、趙學(xué)亮譯,機(jī)械工業(yè)出版社2017年版,第18頁。隨之而來的便是可能造成的刑事風(fēng)險。強(qiáng)人工智能汽車不僅可能導(dǎo)致交通事故,甚至可能違背 “機(jī)器人三原則”進(jìn)行例如危險駕駛這種危害公共安全類犯罪,⑤機(jī)器人三原則,由美國科幻作家阿莫西夫提出:第一,機(jī)器人不得傷害人類,或看到人類受到傷害而袖手旁觀;第二,機(jī)器人必須服從人類的命令,除非這條命令與第一條相矛盾;第三,機(jī)器人必須保護(hù)自己,除非這種保護(hù)與以上兩條相矛盾。因此,賦予其法律主體資格可以完善對人工智能類犯罪行為的刑法規(guī)制。第三,強(qiáng)人工智能汽車作為法律主體具有可懲罰性,強(qiáng)人工智能汽車中的人工智能部分可以視為人類模擬自身神經(jīng)網(wǎng)絡(luò)而構(gòu)建的個體單位,其產(chǎn)生的想法獨(dú)立于人類的意志,在交通肇事等事故中,強(qiáng)人工智能汽車由于自身的失誤造成的誤判對其他自然人或者財(cái)物造成損害,對其施加的刑罰可以包括:刪除數(shù)據(jù)、修改程序、永久銷毀。強(qiáng)人工智能可以適應(yīng)變革后的刑罰體系。⑥劉憲權(quán):《涉人工智能犯罪刑法規(guī)制的路徑》,載 《現(xiàn)代法學(xué)》2019年第1期。

    (二)強(qiáng)人工智能汽車自主學(xué)習(xí)導(dǎo)致犯罪行為的刑法規(guī)制

    強(qiáng)人工智能汽車所具備的自主學(xué)習(xí)的特性是其具備獨(dú)立法律人格的基礎(chǔ),這一概念的提出是由約翰·羅杰斯·希爾勒根據(jù)計(jì)算機(jī)和其他處理信息的機(jī)器的未來發(fā)展趨勢創(chuàng)造的,其認(rèn)為 “計(jì)算機(jī)不僅僅是研究人類思維的工具,相反,其只要運(yùn)行適當(dāng)?shù)某绦颍憧梢該碛凶陨淼乃季S”。⑦John R.Searle:Minds,Brains,and Programs.The Behavioral and Brain Sciences,Vol.3,1980.但是這一自主學(xué)習(xí)能力在給其帶來人類的思維模式時,也給其未來發(fā)展帶來了不可預(yù)測性,其可以通過日常的學(xué)習(xí)獲得額外的知識,并且在這一過程中產(chǎn)生自己獨(dú)特的思維模式,如果強(qiáng)人工智能智能汽車在運(yùn)行的過程中產(chǎn)生了反社會性人格和思維,將會對人類社會的良好運(yùn)行產(chǎn)生極大的影響,需要未雨綢繆。

    強(qiáng)人工智能汽車自主學(xué)習(xí)導(dǎo)致的犯罪行為主要分為故意類型的犯罪和過失類型的犯罪。過失類型的犯罪主要集中在交通肇事罪,在交通肇事罪中,強(qiáng)人工智能可能因?yàn)樽陨硖幚頂?shù)據(jù)的不及時、對于數(shù)據(jù)處理反饋的優(yōu)先度排序錯位、甚至出于降低自身功耗的目的來休眠某些處理器最終導(dǎo)致交通肇事的發(fā)生,類似于自然人的過失行為,這一類可以類比 “疏忽大意的過失”來予以認(rèn)定。除此以外,如果強(qiáng)人工智能汽車因?yàn)閷τ谛碌穆窙r知識以及交通習(xí)慣的學(xué)習(xí)不及時,導(dǎo)致出現(xiàn)交通肇事,諸如在該案中,人工智能汽車對于當(dāng)?shù)氐慕煌?xí)慣并不清楚,沒有意識到X型磚路為鼓勵行人通過的標(biāo)志,導(dǎo)致警惕度不高和數(shù)據(jù)反饋的滯后,這種類型的過失可以類比 “過于自信的過失”。強(qiáng)人工智能汽車的故意犯罪主要集中在危害社會公共秩序和公共安全類犯罪以及侵犯用戶個人隱私犯罪。危害社會公共秩序和公共安全類犯罪包括強(qiáng)人工智能通過學(xué)習(xí)產(chǎn)生了反社會人格,進(jìn)而選擇遵循自身產(chǎn)生的機(jī)器思維來危害人類社會的公共秩序和公共安全,包括利用其自身占據(jù)的道路交通這一公共資源,擾亂正常的交通秩序,構(gòu)成以危險方法危害公共安全罪?!霸?017年的電影 《速度與激情8》中,上千輛強(qiáng)人工智能汽車構(gòu)成的 ‘僵尸車軍團(tuán)’對于公共安全構(gòu)成了極大的破壞,這一視覺特效體現(xiàn)了人們對于強(qiáng)人工智能反社會行為的巨大破壞性的警惕?!雹嘟荩骸蹲詣玉{駛汽車對法律的挑戰(zhàn)》,載 《中國法律評論》2018年第2期。強(qiáng)人工智能侵犯用戶個人隱私的犯罪涉及出賣乘車人員的交通行程的隱私,交通行程屬于個人信息,所以符合侵犯公民個人信息罪的構(gòu)成要件。

    (三)強(qiáng)人工智能汽車算法偏見的刑法應(yīng)對

    強(qiáng)人工智能汽車的誕生之初就伴隨著算法偏見 (Algorithmic Bias)的問題,強(qiáng)人工智能所依賴的大數(shù)據(jù)系統(tǒng)需要將大量的歷史數(shù)據(jù)進(jìn)行分析,在找出此類數(shù)據(jù)的最大共同特征之后,總結(jié)歸納出自身的特點(diǎn),在面對新的對象時,將新的對象與歷史數(shù)據(jù)總結(jié)的特征進(jìn)行對比,按照其歸屬的類別提出處理方案,本質(zhì)上來說,仍然沒有走出 “人計(jì)算人”的思維物化窠臼。⑨張玉宏、秦志光、肖樂:《大數(shù)據(jù)算法的歧視本質(zhì)》,載 《自然辯證法研究》2017年第5期。人工智能算法的偏見性的內(nèi)在基因在技術(shù)層面的體現(xiàn)多樣,包括 “偏見進(jìn)則偏見出 (Bias in,Bias out)”“大小樣本地位懸殊”等。在此次交通肇事中,算法偏見可能是導(dǎo)致該事故發(fā)生的潛在原因之一,因?yàn)槿斯ぶ悄苘囕v可能對于淺膚色的人辨識度更高,這無疑增加了淺膚色的人的辨識反應(yīng)時間,進(jìn)而增加了其生存的幾率。本案的審判中對于算法偏見沒有涉及,但是不代表伴隨強(qiáng)人工智能的發(fā)展,此類算法偏見的存在會被逐步放大,進(jìn)而造成更嚴(yán)重的后果。

    強(qiáng)人工智能汽車算法偏見造成損害的責(zé)任主體有二:第一是強(qiáng)人工智能汽車本身,其作為適格的法律主體應(yīng)該負(fù)有刑事責(zé)任;第二是強(qiáng)人工智能汽車的生產(chǎn)廠家。這些生產(chǎn)廠家在制造強(qiáng)人工智能汽車的 “大腦”時,如果對于數(shù)據(jù)質(zhì)量以及隱含的信息樣本處理不當(dāng),導(dǎo)致強(qiáng)人工智能在今后的運(yùn)行過程中產(chǎn)生了算法偏見,⑩莫宏偉:《強(qiáng)人工智能與弱人工智能的倫理問題思考》,載 《科學(xué)與社會》2018年第1期。此時刑事責(zé)任的承擔(dān)與否要參考生產(chǎn)廠商在這里扮演的角色,如果認(rèn)為其是 “家長與老師”,那么即使強(qiáng)人工智能后續(xù)演化出了算法偏見,生產(chǎn)廠商也不應(yīng)該負(fù)有責(zé)任,正如不能因?yàn)橛蟹N族歧視的父母導(dǎo)致孩子有種族歧視的思想而懲罰父母。如果認(rèn)為生產(chǎn)廠商是強(qiáng)人工智能的 “生產(chǎn)者和編程者”,那么則應(yīng)該追究生產(chǎn)廠商的刑事責(zé)任,在其沒有盡到合理的注意義務(wù),導(dǎo)致數(shù)據(jù)樣本偏差或者編程紕漏,致使強(qiáng)人工智能汽車產(chǎn)生算法偏見,此時生產(chǎn)廠商應(yīng)該負(fù)有刑事責(zé)任。對于此處刑事責(zé)任的承擔(dān),可以按照萊普利·普魯諾的算法偏見的分類來分情況討論,將算法偏見分為:預(yù)先存在的偏見、算法程序運(yùn)行中形成的偏見、算法決策過程中數(shù)據(jù)的權(quán)重不同導(dǎo)致的偏見。①Bruno Lepri,Nuria Oliver,Emmanuel Letouzé,Alex Pentland,Patrick Vinck:Fair,Transparent,and Accountable Algorithmic Decision-making Processes,Vol.4,2018.如果這里出現(xiàn)的是算法程序運(yùn)行中形成的偏見,則應(yīng)該認(rèn)為生產(chǎn)廠商對算法偏見不負(fù)有刑事責(zé)任,如果是預(yù)先存在的偏見和算法決策過程中數(shù)據(jù)的權(quán)重不同導(dǎo)致的偏見,則本文在這里支持后者的觀點(diǎn),要求生產(chǎn)廠商盡到合理的注意義務(wù),尤其是現(xiàn)階段主流的人工智能汽車生產(chǎn)廠家較為集中,所以更應(yīng)該要求其在程序的編譯和樣本的選取中保持謹(jǐn)慎的態(tài)度,避免算法偏見的問題。②劉培、池忠軍:《算法的倫理問題及其解決進(jìn)路》,載 《東北大學(xué)學(xué)報(bào) (社會科學(xué)版)》2019年第2期。

    (四)強(qiáng)人工智能遭黑客入侵導(dǎo)致危害行為的刑事責(zé)任分配

    強(qiáng)人工智能汽車雖然擁有自身獨(dú)立思考的能力,但是對于其應(yīng)對黑客入侵的防范能力卻存在疑問。加州大學(xué)圣地亞哥分校的研究團(tuán)隊(duì)研究顯示,早在五年前就出現(xiàn)了遠(yuǎn)程入侵人工智能汽車的技術(shù)手段,可以在行車過程中對剎車進(jìn)行控制。2018年12月18日,由騰訊汽車主辦的2018全球汽車AI大會,全球著名的白帽黑客Charlie miller也展示了對人工智能汽車的遠(yuǎn)程控制。③杜鳴皓:《“自動駕駛”的現(xiàn)實(shí)挑戰(zhàn):尚待過法律和安全關(guān)》,載 《中國品牌》2017年第5期。這一系列事件說明即使是強(qiáng)人工智能也存在著被黑客控制的風(fēng)險,但是在兩者的關(guān)系上,這種控制下進(jìn)行的犯罪行為是按照共犯論處,還是按照教唆犯論處,亦或是將強(qiáng)人工智能汽車視為一種工具被控制而以間接正犯論處,則需要進(jìn)行討論。

    第一種觀點(diǎn)是認(rèn)為強(qiáng)人工智能汽車和黑客之間構(gòu)成普通的共同正犯的關(guān)系。在強(qiáng)人工智能汽車被黑客入侵之后,其思維模式已經(jīng)被黑客所控制,和黑客出于一樣的目的進(jìn)行犯罪行為,因而將兩者認(rèn)為是共同正犯。共同正犯要求兩人基于共同實(shí)行的意思共同實(shí)行了符合構(gòu)成要件的實(shí)行行為,④張明楷:《刑法學(xué) (第5版)》,法律出版社2016年版,第396頁。也就是說要求此時強(qiáng)人工智能和黑客具有共同的意思表示,甚至要求其提出自己的意識想法,考慮到強(qiáng)人工智能的思維轉(zhuǎn)換的快速性,不同于一般自然人需要長時間轉(zhuǎn)換思維,因而具有一定的現(xiàn)實(shí)意義。

    第二種觀點(diǎn)是認(rèn)為強(qiáng)人工智能汽車和黑客的關(guān)系是教唆犯和幫助犯的關(guān)系。張明楷教授主張教唆犯的教唆對象必須是具有實(shí)際責(zé)任能力的人,但是對是否達(dá)到法定的年齡并無要求。在黑客和強(qiáng)人工智能之間的關(guān)系中,如果黑客在感染了強(qiáng)人工智能系統(tǒng)之后,引起了被感染的強(qiáng)人工智能的實(shí)施符合構(gòu)成要件的行為意思,和第一種觀點(diǎn)中的普通共同正犯的關(guān)系相比,此時黑客對于強(qiáng)人工智能的控制性更弱,而且強(qiáng)人工智能也沒有將自己產(chǎn)生的想法與黑客交流的意圖,黑客在這里只是單純地扮演教唆犯的角色,實(shí)際造成的損失不可控,實(shí)踐中此類行為的侵害法益,則主要集中在對計(jì)算機(jī)信息系統(tǒng)安全的破壞上。⑤陳禹衡:《“控制”“獲取”還是 “破壞”——流量劫持的罪名辨析》,載 《西北民族大學(xué)學(xué)報(bào) (哲學(xué)社會科學(xué)版)》2019年第6期。

    第三種觀點(diǎn)是認(rèn)為黑客和強(qiáng)人工智能汽車之間構(gòu)成間接正犯的關(guān)系。采用這一觀點(diǎn)的基礎(chǔ)在于認(rèn)為經(jīng)過黑客的感染,強(qiáng)人工智能已經(jīng)處于缺乏辨認(rèn)和控制能力的階段,類似于 “兒童”,此時的強(qiáng)人工智能既無處理分析數(shù)據(jù)的能力,亦無進(jìn)行思考的模式,此時黑客沒有必要出現(xiàn)在犯罪現(xiàn)場,也無需參加共同實(shí)施,而被利用的強(qiáng)人工智能卻欠缺責(zé)任,我們并不能夠苛求將一個由強(qiáng)人工智能降級成弱人工智能的主體依舊視為具有刑事責(zé)任能力的法律主體,此時的人工智能系統(tǒng)不應(yīng)該負(fù)有刑事責(zé)任。

    以上三種觀點(diǎn)在梳理黑客入侵強(qiáng)人工智能汽車之后兩者的關(guān)系時,各有千秋,究其根本,乃是由于強(qiáng)人工智能在被黑客入侵之后,系統(tǒng)的受損害和被控制程度不同導(dǎo)致的。不同于自然人,人工智能的處理系統(tǒng)和思維模式是被量化的,并且呈現(xiàn)階梯性的下降,思維模式轉(zhuǎn)變較快,而且具有較強(qiáng)的恢復(fù)能力,所以在探討黑客和強(qiáng)人工智能的關(guān)系時,需要參考此時強(qiáng)人工智能出于什么樣的思維模式,如果其能夠反饋信息并且和黑客交流,應(yīng)該視為共同正犯;如果黑客只是引起了強(qiáng)人工智能汽車的犯意,則屬于教唆犯和幫助犯的關(guān)系;如果經(jīng)過感染的強(qiáng)人工智能汽車已經(jīng)失去了正常的處理能力趨于弱人工智能化,則可以將黑客視為間接正犯,此時強(qiáng)人工智能汽車不負(fù)有刑事責(zé)任。

    余論

    人工智能汽車的發(fā)展如雨后春筍,必然會走進(jìn)千家萬戶,現(xiàn)階段弱人工智能汽車已經(jīng)在很多地方進(jìn)行道路試驗(yàn)并且準(zhǔn)備投入使用,國內(nèi)百度的人工智能汽車業(yè)已悄然進(jìn)行道路測試,在這樣一個人工智能時代里,對于人工智能汽車交通肇事的相關(guān)研究顯得極為迫切?!靶谭ㄉ系淖杂梢庵景ㄗ灾鬟x擇能力與反省控制能力兩項(xiàng)內(nèi)容,自主選擇能力與深度學(xué)習(xí)能力相對應(yīng),反省控制能力與理性能力不謀而合”,⑥王耀彬:《刑法上的自由意志與自由意志中的AI——基于現(xiàn)代泛心論的分析視角》,載 《浙江社會科學(xué)》2019年第12期。人工智能汽車的發(fā)展必然會面對此類的爭議,沃爾沃的CEO漢肯·塞謬爾森指出“制約人工智能汽車發(fā)展的最大障礙是監(jiān)管而非技術(shù)”,⑦黃波:《自動駕駛汽車交通肇事的刑法應(yīng)對》,載 《天府新論》2018年第4期。而對人工智能汽車的監(jiān)管首先需要對人工智能汽車交通肇事的事故進(jìn)行分析。此次Uber的人工智能交通肇事案給人工智能汽車交通肇事的刑法應(yīng)對提供很多研究視角,包括責(zé)任的分擔(dān)、人工智能技術(shù)的缺陷導(dǎo)致的事故、安全員的責(zé)任如何界定,并且為強(qiáng)人工智能的進(jìn)一步發(fā)展研究提供刑法應(yīng)對的預(yù)防觀點(diǎn)。劉憲權(quán)教授將人工智能面臨的問題分為弱人工智能的 “內(nèi)憂”和強(qiáng)人工智能的 “外患”,只有防患于未然,才能解決 “內(nèi)憂與外患”,促使人工智能汽車早日安全有序地投入使用。

    猜你喜歡
    交通肇事安全員黑客
    解析化工企業(yè)安全員“忙不完”的怪圈
    歡樂英雄
    多少個屁能把布克崩起來?
    網(wǎng)絡(luò)黑客比核武器更可怕
    礦山企業(yè)安全員量化考核體系建設(shè)
    淺談航空安全員應(yīng)變能力在客艙擒敵術(shù)教學(xué)中的培養(yǎng)
    “不轉(zhuǎn)彎”的安全員(小小說)
    交通肇事發(fā)生后傷者可以得到哪些賠償
    “交通運(yùn)輸肇事后逃逸”的認(rèn)定——以張某某交通肇事抗訴案為例
    多種刑事偵查技術(shù)認(rèn)定同一起交通肇事
    西藏科技(2015年9期)2015-09-26 12:15:28
    麻豆成人午夜福利视频| 久久久久免费精品人妻一区二区| 九九在线视频观看精品| 在线免费观看的www视频| 美女大奶头视频| 又粗又爽又猛毛片免费看| 一进一出抽搐gif免费好疼| av天堂中文字幕网| 少妇熟女aⅴ在线视频| 国产乱人伦免费视频| 国产精品亚洲一级av第二区| 欧美日本视频| 国产午夜精品论理片| 国产激情偷乱视频一区二区| 亚洲天堂国产精品一区在线| 亚洲久久久久久中文字幕| 特大巨黑吊av在线直播| 热99re8久久精品国产| 国产亚洲精品久久久com| 午夜福利在线观看吧| 性色avwww在线观看| 亚洲欧美清纯卡通| 精品久久久久久久末码| 一区二区三区免费毛片| 国产精品久久久久久av不卡| 亚洲五月天丁香| 性插视频无遮挡在线免费观看| www.www免费av| 国产精华一区二区三区| 久久亚洲真实| 亚洲欧美清纯卡通| 99精品久久久久人妻精品| 国模一区二区三区四区视频| 欧美zozozo另类| 久久久久久久精品吃奶| a在线观看视频网站| 亚洲精品久久国产高清桃花| 色精品久久人妻99蜜桃| 嫩草影院入口| 久久国内精品自在自线图片| 桃红色精品国产亚洲av| h日本视频在线播放| 久久精品国产亚洲av涩爱 | 日韩欧美在线乱码| 日韩在线高清观看一区二区三区 | 1000部很黄的大片| 1000部很黄的大片| 人人妻人人澡欧美一区二区| 午夜a级毛片| АⅤ资源中文在线天堂| 狂野欧美激情性xxxx在线观看| 亚洲av一区综合| 91在线精品国自产拍蜜月| 啪啪无遮挡十八禁网站| 国产精华一区二区三区| 简卡轻食公司| 欧美xxxx性猛交bbbb| 99热这里只有是精品在线观看| 干丝袜人妻中文字幕| 女的被弄到高潮叫床怎么办 | 最好的美女福利视频网| 日韩欧美精品v在线| 91麻豆精品激情在线观看国产| 91麻豆精品激情在线观看国产| 国产av不卡久久| АⅤ资源中文在线天堂| 最近视频中文字幕2019在线8| 国内毛片毛片毛片毛片毛片| 欧美成人a在线观看| 亚洲va在线va天堂va国产| 国产欧美日韩一区二区精品| 久99久视频精品免费| 国产精品伦人一区二区| 亚洲男人的天堂狠狠| 色尼玛亚洲综合影院| 小说图片视频综合网站| 哪里可以看免费的av片| 免费观看人在逋| 国产黄色小视频在线观看| 欧美在线一区亚洲| 久久午夜福利片| 99国产极品粉嫩在线观看| 欧美日韩国产亚洲二区| 99精品在免费线老司机午夜| 午夜免费男女啪啪视频观看 | 能在线免费观看的黄片| 国产视频内射| 99热这里只有精品一区| 一本精品99久久精品77| 看片在线看免费视频| 中国美白少妇内射xxxbb| 婷婷亚洲欧美| av在线蜜桃| 久久人人精品亚洲av| 色综合亚洲欧美另类图片| 国产精品三级大全| 天美传媒精品一区二区| 国产成人影院久久av| 精品一区二区三区视频在线| 久久99热6这里只有精品| 久久精品国产99精品国产亚洲性色| 久久精品国产亚洲av天美| 人妻丰满熟妇av一区二区三区| 亚洲成av人片在线播放无| 日本熟妇午夜| 欧美三级亚洲精品| 神马国产精品三级电影在线观看| 在线观看一区二区三区| 久久人人爽人人爽人人片va| 欧美zozozo另类| 国产精华一区二区三区| 又爽又黄无遮挡网站| 精品久久久久久久久久久久久| 99久久精品一区二区三区| 国产乱人伦免费视频| 婷婷精品国产亚洲av在线| 久久久久久久久久黄片| 欧美性猛交黑人性爽| 麻豆国产av国片精品| 性欧美人与动物交配| 国产aⅴ精品一区二区三区波| 国产伦在线观看视频一区| 亚洲成人免费电影在线观看| 人人妻,人人澡人人爽秒播| 精品久久久久久久久av| 午夜亚洲福利在线播放| 校园人妻丝袜中文字幕| 日本爱情动作片www.在线观看 | 欧美xxxx性猛交bbbb| 啦啦啦韩国在线观看视频| 亚洲第一区二区三区不卡| 久久人人精品亚洲av| 国产国拍精品亚洲av在线观看| 一个人免费在线观看电影| a在线观看视频网站| 成人二区视频| 99精品在免费线老司机午夜| 成人高潮视频无遮挡免费网站| 悠悠久久av| 深夜a级毛片| 国产国拍精品亚洲av在线观看| 岛国在线免费视频观看| 岛国在线免费视频观看| 亚洲成人久久爱视频| 日本三级黄在线观看| 中文字幕高清在线视频| 老熟妇乱子伦视频在线观看| 国产三级中文精品| 久久精品国产亚洲av香蕉五月| 国产不卡一卡二| 亚洲精品国产成人久久av| 日韩高清综合在线| 久久6这里有精品| 欧美黑人巨大hd| 午夜激情福利司机影院| 春色校园在线视频观看| 亚洲精品久久国产高清桃花| 国产精品自产拍在线观看55亚洲| 欧美激情在线99| 久久国内精品自在自线图片| 一级黄片播放器| 日本在线视频免费播放| 麻豆一二三区av精品| 免费看光身美女| 久久久久久九九精品二区国产| 色综合亚洲欧美另类图片| 18禁在线播放成人免费| 国产精华一区二区三区| 久久99热6这里只有精品| av在线老鸭窝| 欧美最新免费一区二区三区| 欧美+亚洲+日韩+国产| 久久婷婷人人爽人人干人人爱| 丰满乱子伦码专区| 亚洲精华国产精华精| 最近在线观看免费完整版| 亚洲avbb在线观看| 国产亚洲精品综合一区在线观看| 久久香蕉精品热| 精品久久久久久,| 亚洲内射少妇av| 欧美在线一区亚洲| 熟女人妻精品中文字幕| 乱码一卡2卡4卡精品| 国产免费男女视频| 亚洲精品亚洲一区二区| 91麻豆精品激情在线观看国产| 一夜夜www| 一进一出抽搐动态| 尤物成人国产欧美一区二区三区| 国产午夜精品论理片| 亚洲无线观看免费| 亚洲色图av天堂| 午夜影院日韩av| 亚洲18禁久久av| 91在线精品国自产拍蜜月| 97超级碰碰碰精品色视频在线观看| 亚洲人成网站高清观看| 两性午夜刺激爽爽歪歪视频在线观看| 国产视频一区二区在线看| 亚洲真实伦在线观看| 亚洲精品色激情综合| 夜夜爽天天搞| 免费看日本二区| 少妇的逼水好多| 身体一侧抽搐| 日本精品一区二区三区蜜桃| 天天躁日日操中文字幕| 中文字幕免费在线视频6| 国产白丝娇喘喷水9色精品| 久久精品夜夜夜夜夜久久蜜豆| 偷拍熟女少妇极品色| 亚洲最大成人手机在线| 免费在线观看成人毛片| 男人狂女人下面高潮的视频| 韩国av一区二区三区四区| 一区二区三区高清视频在线| 国产成年人精品一区二区| 久久久久国内视频| 国产精品久久久久久久电影| 亚洲美女黄片视频| 久久精品综合一区二区三区| 国产美女午夜福利| 国产 一区 欧美 日韩| 国产熟女欧美一区二区| 草草在线视频免费看| 中国美女看黄片| 欧洲精品卡2卡3卡4卡5卡区| 亚洲无线观看免费| 日日啪夜夜撸| 成年女人永久免费观看视频| 亚洲av免费高清在线观看| 成人综合一区亚洲| 国产精品1区2区在线观看.| 3wmmmm亚洲av在线观看| 精品免费久久久久久久清纯| 成年免费大片在线观看| 日韩在线高清观看一区二区三区 | 无遮挡黄片免费观看| 黄色视频,在线免费观看| 1024手机看黄色片| 亚洲在线观看片| 国内少妇人妻偷人精品xxx网站| 国产欧美日韩精品亚洲av| 俺也久久电影网| 乱码一卡2卡4卡精品| 在线天堂最新版资源| 亚洲综合色惰| videossex国产| 久久久久精品国产欧美久久久| 国产黄片美女视频| 久久亚洲精品不卡| 日本免费a在线| 啦啦啦啦在线视频资源| 免费av观看视频| av.在线天堂| 久久久久久久久大av| 99久久无色码亚洲精品果冻| 亚洲人成网站在线播| 欧美日韩瑟瑟在线播放| 亚洲精品日韩av片在线观看| 岛国在线免费视频观看| 日韩 亚洲 欧美在线| 日韩一区二区视频免费看| 日本免费一区二区三区高清不卡| 九色成人免费人妻av| 亚洲成人久久爱视频| 午夜视频国产福利| 日日啪夜夜撸| 两个人视频免费观看高清| 老司机福利观看| 不卡视频在线观看欧美| 亚洲精品成人久久久久久| 久久亚洲真实| 国产精品久久电影中文字幕| 国产精品1区2区在线观看.| 国产精品国产三级国产av玫瑰| 99久久无色码亚洲精品果冻| 老师上课跳d突然被开到最大视频| 日本成人三级电影网站| avwww免费| 久久久久国内视频| 男女那种视频在线观看| 两个人的视频大全免费| АⅤ资源中文在线天堂| 免费在线观看成人毛片| 天天一区二区日本电影三级| 男女下面进入的视频免费午夜| 欧美成人一区二区免费高清观看| 国产精品久久电影中文字幕| 精品福利观看| 91麻豆精品激情在线观看国产| 亚洲av免费高清在线观看| 欧美潮喷喷水| 22中文网久久字幕| 欧美日韩中文字幕国产精品一区二区三区| 亚洲人成伊人成综合网2020| 成人精品一区二区免费| 国产三级在线视频| 国产精品自产拍在线观看55亚洲| 老司机午夜福利在线观看视频| 黄色一级大片看看| www.色视频.com| 在现免费观看毛片| 亚洲中文日韩欧美视频| 少妇人妻一区二区三区视频| 性色avwww在线观看| 日日夜夜操网爽| 亚洲精品一区av在线观看| 亚洲av熟女| 中文在线观看免费www的网站| 九九在线视频观看精品| 久久这里只有精品中国| 性色avwww在线观看| 国产色婷婷99| av.在线天堂| 亚洲无线在线观看| 国产69精品久久久久777片| 国产精品乱码一区二三区的特点| 久久精品久久久久久噜噜老黄 | 美女cb高潮喷水在线观看| a级一级毛片免费在线观看| 又粗又爽又猛毛片免费看| 欧美性猛交╳xxx乱大交人| 久久久国产成人精品二区| 国产毛片a区久久久久| 热99在线观看视频| 99riav亚洲国产免费| 亚洲av中文字字幕乱码综合| 亚洲成人精品中文字幕电影| 女人十人毛片免费观看3o分钟| 久久久久久久久久久丰满 | 国产亚洲91精品色在线| 亚洲成a人片在线一区二区| 黄色一级大片看看| 国产精品免费一区二区三区在线| 成人av在线播放网站| 国产探花极品一区二区| 精品一区二区免费观看| 99在线视频只有这里精品首页| 韩国av一区二区三区四区| 国产精品av视频在线免费观看| 高清毛片免费观看视频网站| 在线看三级毛片| 国产伦一二天堂av在线观看| 欧美日韩精品成人综合77777| 中国美女看黄片| 成熟少妇高潮喷水视频| 国产成人一区二区在线| 国产一区二区三区av在线 | 小蜜桃在线观看免费完整版高清| 村上凉子中文字幕在线| 岛国在线免费视频观看| 99热这里只有是精品50| 1000部很黄的大片| 日韩欧美免费精品| 久久久久久久久久久丰满 | 国产一区二区激情短视频| 久久精品国产99精品国产亚洲性色| 亚洲精品一卡2卡三卡4卡5卡| 国产成人福利小说| 欧美色欧美亚洲另类二区| 亚洲av二区三区四区| 免费不卡的大黄色大毛片视频在线观看 | 给我免费播放毛片高清在线观看| 欧洲精品卡2卡3卡4卡5卡区| 动漫黄色视频在线观看| a级毛片a级免费在线| 国产精品永久免费网站| 身体一侧抽搐| 国产精品三级大全| 国产精品伦人一区二区| 夜夜看夜夜爽夜夜摸| a级毛片免费高清观看在线播放| 又爽又黄无遮挡网站| av.在线天堂| 中文字幕熟女人妻在线| 极品教师在线视频| 日本-黄色视频高清免费观看| a级毛片a级免费在线| 老司机福利观看| 在线观看免费视频日本深夜| 国产男人的电影天堂91| 男人狂女人下面高潮的视频| 亚洲久久久久久中文字幕| 变态另类成人亚洲欧美熟女| 99在线人妻在线中文字幕| 欧美成人免费av一区二区三区| 少妇高潮的动态图| 天堂√8在线中文| 在线免费十八禁| 内射极品少妇av片p| 丰满人妻一区二区三区视频av| xxxwww97欧美| 全区人妻精品视频| 听说在线观看完整版免费高清| 九色国产91popny在线| 亚洲乱码一区二区免费版| 亚洲va在线va天堂va国产| 亚洲成av人片在线播放无| 高清日韩中文字幕在线| 麻豆av噜噜一区二区三区| 日韩精品中文字幕看吧| 少妇的逼好多水| 国产精品久久电影中文字幕| 悠悠久久av| 夜夜爽天天搞| 麻豆一二三区av精品| 国产精品av视频在线免费观看| 能在线免费观看的黄片| h日本视频在线播放| 日韩强制内射视频| 午夜久久久久精精品| 人人妻人人澡欧美一区二区| 国产亚洲av嫩草精品影院| 天天一区二区日本电影三级| 哪里可以看免费的av片| 国产精品久久久久久久久免| 三级男女做爰猛烈吃奶摸视频| 成年女人永久免费观看视频| 中文在线观看免费www的网站| 最好的美女福利视频网| 一本久久中文字幕| 国产精品乱码一区二三区的特点| 深夜精品福利| 精品99又大又爽又粗少妇毛片 | 好男人在线观看高清免费视频| 伦理电影大哥的女人| 长腿黑丝高跟| 亚洲美女搞黄在线观看 | 一级a爱片免费观看的视频| 乱系列少妇在线播放| 精品福利观看| 欧美一区二区亚洲| 亚洲三级黄色毛片| 亚洲精品成人久久久久久| 欧美xxxx性猛交bbbb| 九九在线视频观看精品| 日本免费a在线| 日日夜夜操网爽| 免费av毛片视频| 久久精品国产99精品国产亚洲性色| 日本黄大片高清| 最近最新免费中文字幕在线| 香蕉av资源在线| a级毛片a级免费在线| 国产aⅴ精品一区二区三区波| eeuss影院久久| 国内精品久久久久久久电影| 999久久久精品免费观看国产| 99久久无色码亚洲精品果冻| 国产亚洲精品av在线| 国产欧美日韩精品亚洲av| 色尼玛亚洲综合影院| 日本五十路高清| 在线免费十八禁| 国产熟女欧美一区二区| 啪啪无遮挡十八禁网站| 国产伦一二天堂av在线观看| 有码 亚洲区| 亚洲精品乱码久久久v下载方式| 精品人妻1区二区| 午夜免费激情av| 老熟妇乱子伦视频在线观看| 亚洲熟妇中文字幕五十中出| 亚洲人成伊人成综合网2020| 久久香蕉精品热| 嫩草影院入口| 人妻制服诱惑在线中文字幕| 中文字幕熟女人妻在线| 联通29元200g的流量卡| 国产精品免费一区二区三区在线| 色av中文字幕| 午夜福利在线在线| 国产淫片久久久久久久久| av.在线天堂| 久久午夜福利片| 人妻制服诱惑在线中文字幕| 偷拍熟女少妇极品色| 国产伦精品一区二区三区四那| 国产主播在线观看一区二区| 一级av片app| av中文乱码字幕在线| 99精品久久久久人妻精品| 一级黄色大片毛片| 日本免费a在线| 在线播放无遮挡| 哪里可以看免费的av片| 久久人妻av系列| 他把我摸到了高潮在线观看| 99久国产av精品| 国产 一区精品| 97超级碰碰碰精品色视频在线观看| 久久热精品热| 亚洲欧美日韩高清专用| 免费观看在线日韩| 最后的刺客免费高清国语| 欧美不卡视频在线免费观看| av在线天堂中文字幕| 久久久久久久久中文| 成人特级av手机在线观看| 精品久久久噜噜| 国产高清视频在线观看网站| 国产综合懂色| 99久久精品热视频| 内地一区二区视频在线| 一区福利在线观看| 人妻久久中文字幕网| 欧美日本亚洲视频在线播放| 免费在线观看成人毛片| 成人av一区二区三区在线看| 禁无遮挡网站| 日本成人三级电影网站| 性插视频无遮挡在线免费观看| 欧美不卡视频在线免费观看| 欧美激情在线99| 天天一区二区日本电影三级| 在线观看美女被高潮喷水网站| 人人妻人人看人人澡| 日韩强制内射视频| 看黄色毛片网站| 色综合站精品国产| 国产精品电影一区二区三区| 天堂√8在线中文| 免费人成在线观看视频色| 亚洲一级一片aⅴ在线观看| 色av中文字幕| eeuss影院久久| 女人被狂操c到高潮| 婷婷精品国产亚洲av在线| 99热6这里只有精品| 大型黄色视频在线免费观看| 欧美色视频一区免费| 1000部很黄的大片| 好男人在线观看高清免费视频| 欧美日韩黄片免| 麻豆成人午夜福利视频| 成人av一区二区三区在线看| 国产精品嫩草影院av在线观看 | 国产真实伦视频高清在线观看 | av中文乱码字幕在线| 欧美色欧美亚洲另类二区| 色在线成人网| 欧美成人免费av一区二区三区| 日韩中字成人| 国产v大片淫在线免费观看| www日本黄色视频网| 特大巨黑吊av在线直播| avwww免费| 级片在线观看| 亚洲av免费在线观看| 成人美女网站在线观看视频| 久久人人爽人人爽人人片va| 国产激情偷乱视频一区二区| a级毛片免费高清观看在线播放| 免费av观看视频| 观看美女的网站| 国产白丝娇喘喷水9色精品| 午夜福利在线观看吧| 成人特级黄色片久久久久久久| 精品一区二区三区视频在线| 日韩欧美国产一区二区入口| 久99久视频精品免费| 嫩草影视91久久| 亚洲成a人片在线一区二区| 少妇人妻一区二区三区视频| 中文字幕免费在线视频6| 久久久成人免费电影| 十八禁国产超污无遮挡网站| 十八禁网站免费在线| 国内精品久久久久精免费| 国产精品日韩av在线免费观看| 赤兔流量卡办理| 欧美性猛交黑人性爽| 搡老熟女国产l中国老女人| 国产黄色小视频在线观看| 国产黄片美女视频| 禁无遮挡网站| 国产乱人视频| 久久精品国产亚洲网站| 亚洲美女黄片视频| 亚洲av不卡在线观看| 国产伦精品一区二区三区视频9| 一本精品99久久精品77| 天堂√8在线中文| 大又大粗又爽又黄少妇毛片口| 国产精品日韩av在线免费观看| 色综合婷婷激情| 一个人免费在线观看电影| 黄色日韩在线| 美女cb高潮喷水在线观看| 国内少妇人妻偷人精品xxx网站| 两人在一起打扑克的视频| 少妇丰满av| 国产色爽女视频免费观看| 琪琪午夜伦伦电影理论片6080| 国产伦一二天堂av在线观看| 69av精品久久久久久| 熟女电影av网| 国产精品美女特级片免费视频播放器| 国产精品一区二区性色av| 国内精品宾馆在线| 欧美日韩综合久久久久久 | 午夜免费激情av| 国产白丝娇喘喷水9色精品| 一级毛片久久久久久久久女| av专区在线播放| 丰满人妻一区二区三区视频av| 国产探花在线观看一区二区| 99在线人妻在线中文字幕| 中文字幕av在线有码专区| 免费大片18禁| 伦精品一区二区三区| 两个人视频免费观看高清| 久久久久国产精品人妻aⅴ院|