• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    刑法中的創(chuàng)新責任:在嚴格責任、過失與容許風險之間*

    2023-01-03 04:22:17瑞士比揚法塔赫穆加達姆唐志威
    蘇州大學學報(法學版) 2022年3期
    關鍵詞:刑法規(guī)范人工智能

    [瑞士]比揚·法塔赫-穆加達姆 著 唐志威* 譯

    一、重新審視刑法與風險

    “在這個‘風險社會’中,刑法和刑事政策陷入了危機……”(1)Prittwitz, Strafrecht und Risiko, 1993, S.29.普里特維茨(Cornelius Prittwitz)1993年所著的經典著作《刑法與風險(Strafrecht und Risiko)》在一開始就提出了這樣的論斷。(2)參見幾乎同時出版的博士論文Hilgendorf, Strafrechtliche Produzentenhaftung, 1993,以及1991年出版的教授資格論文Herzog, Gesellschaftliche Unsicherheit und strafrechtliche Daseinsvorsorge, 1991。同年,巴塞爾(德語區(qū))刑法學教師大會則以“通過刑法手段保障未來(Zukunftssicherung mit den Mitteln des Strafrechts)”為題展開討論。(3)參見 ZStW 105(1993), S.679中的論文,尤其是斯特拉騰威特(Günter Stratenwerth)影響深遠的導言報告[ZStW 105(1993), S.679],以及會議綜述[ZStW 105(1993), S.803]。26年前,(人們)關注通過刑法抵御風險的社會背景是核能與基因科技對環(huán)境與人類所造成的現代重大風險。(4)Ulrich Beck, Risikogesellschaft, 1986.今天,相應的社會背景則是信息技術與生物技術的發(fā)展,社會觀察家將其稱作“第四次媒體紀元”“第四次工業(yè)革命”或“第二次機械時代”。(5)Baecker, 4.0 oder Die Lücke die der Rechner l?sst, 2018, S.10;從經濟學的視角 Schwab, Die Vierte Industrielle Revolution, 2016;Brynjolfsson/McAfee, The Second Machine Age, 2016。Nassehi, Muster, 2019, S.12,文章采用了不同的方法,從社會理論的角度探討數字化為哪些(舊的)社會問題提供了解決方案。該作者認為,相較于發(fā)現數據中的模型,數字觀察(在此與實證的社會研究一道)并不太關心具體的個人(a.a.O., S.58 f.)。因此,社會學和數字化有著相同的參照問題,即通過發(fā)現社會規(guī)律的方式來降低復雜性(a.a.O., S.28)。由此給刑法學研究帶來的挑戰(zhàn),特別是對過失教義學的挑戰(zhàn)是根本性的,因而有必要重新審視技術創(chuàng)新的刑事責任問題。在此,本文主要從基礎理論的視角出發(fā),討論技術變革與刑法變遷兩者之間的關聯,并借此來討論(法律外的)社會創(chuàng)新與法律中的創(chuàng)新之間的相互作用這一經典法社會學命題,這一命題也成了當前跨學科法律研究的主題。(6)基礎性的論述參見Hoffmann-Riem, Innovation und Recht-Recht und Innovation, 2016; 關于法社會學對跨學科法律研究的開放,參見Baer, Rechtssoziologie, 3.Aufl., 2017, S.51 ff.;Rosenstock/Singelnstein/Boulanger, in: Boulanger/Rosenstock/Singelnstein(Hrsg.), Interdisziplin?re Rechtsforschung, 2019, S.3 ff.,以及Raiser, Grundlagen der Rechtssoziologie, 6.Aufl., 2013, S.4。

    刑法中的過失概念尤其也參考了技術創(chuàng)新中的風險。(7)對此還可參見蘇珊娜·貝克(Susanne Beck)在本期雜志中的論文,ZStW 131(2019), S.967。這一概念仿佛是刑法用來觀察技術創(chuàng)新中風險質量變化的透鏡。而普里特維茨所稱的“風險教義學(Risikodogamtik)”(8)Prittwitz, Strafrecht und Risiko, 1993, S.262 ff.則成了現代社會在刑法中的體現,根據社會學家羅薩(Hartmut Rosa)的解讀,現代社會只能形成動態(tài)的穩(wěn)定,并“系統(tǒng)性地”依賴于“增長、創(chuàng)新的密集化與加速”。(9)Rosa, Resonanz, 2016, S.673.在“加速的風險社會(beschleunigte Risikogesellschaft)”(此概念可從烏爾里?!へ惪伺c羅薩的時代診斷中總結得出(10)Ulrich Beck, Risikogesellschaft, 1986; Rosa, Beschleunigung, 2005.)背景下,法體系也只有在其自身有能力不斷重新調整并適應創(chuàng)新風險時才能夠穩(wěn)定下來。(11)Rosa, Resonanz, 2016, S.685; 還可參見Baecker, 4.0 oder Die Lücke die der Rechner l?sst, 2018, S.186 ff.。本文將通過“革新性技術(transformative Technologie)”的法社會學概念來把握新技術對法律造成的創(chuàng)新壓力(文章第二部分)。革新性技術的典型應用案例包含了下文中的數字化以及本文著重討論的所謂人工智能(KI)領域(文章第三部分)。在最后的第四部分,本文還將討論數字化對刑法中的風險教義學可能產生的具體影響。

    二、革新性技術

    風險教義學正在經歷一場復興,因為信息技術正開始發(fā)揮其變革的潛力。根據本文提倡使用的法社會學概念,革新性技術的特征在于,它不僅具有顛覆性的(disruptiv)效果,而且同時還能夠改變技術應用的倫理與法律框架。(12)參見Nuffield Council on Bioethics, Emerging Biotechnologies, London 2012, S.40 ff., abrufbar unter: http://nuffieldbioethics.org/wp-content/uploads/2014/07/Emerging_biotechnologies_full_report_web_0.pdf(2019年9月13日訪問),以及此前Fateh-Moghadam, BJM 2018, S.205, 209 ff.。與之相區(qū)別的、廣泛應用于經濟學中的“顛覆(Disruption)”概念則針對一項技術的市場替代潛力,因此,“顛覆”概念涉及的是互相存在競爭的不同技術之間的關系。數字技術具備顛覆性影響的一個簡單例證是,作為數字音樂光學存儲介質的光盤廣泛取代了黑膠唱片。自2000年以來,MP3技術以及在線音樂流媒體服務對音樂的傳播又取代了光盤。在文獻中,現代信息技術產生顛覆性影響的原因已有詳細論述,現總結如下:

    1.幾十年來,計算機的性能呈指數級增長,這體現在所謂的摩爾定律(Mooresche Gesetz)中;(13)簡單來說,此后計算機的性能每18個月就翻一番,而元件成本則保持不變或降低,對此可詳見Brynjolfsson/McAfee, The Second Machine Age, 2016.Anders setzt Nassehi, Muster, 2019, S.53 ff.。

    2.獲取以及處理大量數據的能力使得通過應用信息技術方法了解這些數據的模型并從中獲得新的認識成為可能(大數據);(14)有關使用上并不統(tǒng)一的“大數據”概念的啟發(fā)性論述,參見Deutscher Ethikrat(Hrsg.), Big Data und Gesundheit-Datensouver?nit?t als informationelle Freiheitsgestaltung, 2018, S.54, abrufbar unter: https://www.ethikrat.org/fileadmin/Publikationen/Stellungnahmen/deutsch/stellungnahme-big-data-und-gesundheit.pdf(2019年9月13日訪問)。德國倫理委員會完整的初步定義是:“大數據是指對大量數據的處理,其目標是識別模型并從中獲得新的認識,鑒于數據的豐富性和多樣性以及收集、分析與重新關聯的速度,它采用了創(chuàng)新、不斷進步的信息技術方法來實現這一目標”。

    3.在所謂的物聯網(Internet of Things)中,信息技術系統(tǒng)逐漸網絡化;(15)對此參見Zech, ZfPW 2019, S.198, 203。

    4.諸如機器人、自動駕駛汽車和軟件代理等由信息技術操控的系統(tǒng)在自動化與自主化方面的成功。(16)Gless/Janal, JR 2016, S.561; Wohlers, BJM 2016, S.113;此外還可參見Gless/Seelmann(Hrsg.), Intelligente Agenten und das Recht, 2016與Hilgendorf(Hrsg.), Robotik im Kontext von Recht und Moral,2014以及Susanne Beck(Hrsg.), Jenseits von Mensch und Maschine, 2012中的論文。例如在圖像識別領域以及掌握圍棋這樣的復雜戰(zhàn)略游戲等方面,人工智能所取得的驚人進步來源于由基于模型的人工智能向基于功能的、歸納式機器學習方法的轉變,后者可以體現在所謂的神經網絡這種形式中。(17)有關人工智能研究中基于模型的方法與基于功能的方法,富有啟發(fā)性的論述參見Darwiche, Communications of the ACM 61(2018), S.56。作者在此感謝瑞士巴塞爾大學馬爾特·黑爾默特(Malte Helmert)先生對這項計算機科學中重要區(qū)分的提示。

    綜觀上述(技術領域的)發(fā)展可以發(fā)現,由數據驅動的信息技術已經發(fā)展成了一種“(迪爾凱姆所稱的)社會事實(sozialen Tatbestand)”,滲透到社會生活領域的方方面面。(18)Durkheim, Regeln der soziologischen Methode, 1980, S.114.援引社會事實這一經典社會學概念是為了強調社會數字化轉型的集體性特征和結構性特征。如果我們今天還將數字技術的產物作為第二自然(zweite Natur)(19)“第二自然(Zweite Natur)”的概念來自于技術哲學的討論。根據該討論,人類最初面對的是野生自然。起初,人類并不理解這一點,并認為野生自然是一種威脅。此后,人類發(fā)明了工具與科學,用以理解自然(自然科學)和掌握自然(世界的祛魅)。在此種發(fā)展的最后階段,人類創(chuàng)造了具備人工智能的機器,但是人類自己卻不再能理解這些機器(黑匣子算法)。并且,人類有可能失去對這些機器的控制(技術對世界的復魅)。就此而言,由人類創(chuàng)造的機器便成為了與人類相對的第二自然。這也可以體現在計算機科學研究者的建議中,他們提出,我們應該像研究動物和人類的行為一樣,研究機器的行為(Machine Behaviour)?!g者注對待,那么這種新興的現實就不能再被簡化為個體驅動的人的行為的總和。作為一種行為、思考與感知的一般方式,它“具有獨立于個體表達的獨立生命”(20)Durkheim, Regeln der soziologischen Methode, 1980, S.114.,數字化從外部影響個人,且這樣的影響具有強制性的特征。在數億投資的支持下,自動化(機器人)、自主化(人工智能)與網絡化(物聯網/大數據)三者的結合正逐漸將我們與世界的接觸轉變?yōu)椤熬€上生活(Onlife)”(21)Hildebrandt, Smart Technologies and the End(s)of Law, Cheltenham/Northampton 2015, S.41.模式。在此模式中,數字線下生活和模擬現實不可分割地交織在一起。(22)Hildebrandt, Smart Technologies and the End(s)of Law, Cheltenham/Northampton 2015, S.41 f.這同時也意味著,個人不再能自我決定他想要過線上生活還是線下的生活。主動逃離數字化轉型也變得越來越困難。如果有人像德國綠黨聯邦主席哈貝克(Robert Habeck)那樣,認為社交媒體對其本人的政治傳播風格存在負面影響,而(部分地)刪除其社交賬號(23)哈貝克在他的博客(Blog)上宣布退出推特(Twitter)和臉書(Facebook),因此同樣也是以數字為媒介,abrufbar unter: https://www.robert-habeck.de/texte/blog/bye-byetwitter-und-facebook/(2019年10月4日訪問);有關社交媒體的“反社會”影響,參見Lanier, Zehn Gründe, warum Du deine Social Media Accounts sofort l?schen musst, 2018,然而作者仍然還是提出了數字化的替代戰(zhàn)略方案。,那么,這雖然展現了他非凡的自我反思能力,但他也因此更多地還是通過他與數字媒體之間的關系定義了自己。即使對一個以最低限度融入社會的人而言,完全的數字禁欲也已經不再可能。(24)因此,通過算法操控的、不透明的電子訪問屏障而將特定人排除在數字世界之外的狀況也說明了數字時代極端的危機和異化體驗,經文學處理的敘述可參見Sch?nthaler, Der Weg aller Wellen, 2019。

    由此,數字信息技術在性能提升上的量變以及全覆蓋的社會普及程度已經到達了一個關鍵點,在這個關鍵點上,數字信息技術質變成為一種革新性技術。根據本文提倡的法社會學解讀方法,革新概念(Transformationsbegriff)并非針對多個相互存在競爭的技術之間的關系,而是針對技術對社會規(guī)范載體(即倫理和法律)的影響這一更具前提性的假設。由此而推導出的事實、科學和技術發(fā)展與特定規(guī)范變遷之間的聯系與法哲學和道德哲學中盛行的觀點處在一種緊張關系之中,即人們不允許(直接)從實然(Sein)中推導出應然(Sollen)。(25)該批判可追溯到Hume, A Treatise of Human Nature, Oxford 1955和Moore, Principia Ethica, 1996;實然—應然謬誤與所謂的“自然主義謬誤”密切相關,根據“自然主義謬誤”的觀點,自然界的事實屬性會被自動評價為“好”。事實上,“數字化”本身也并不包含規(guī)范性,它并非直接迫使特定的倫理或法律后果發(fā)生。因此,伴隨數字化而來的法律變革不能從技術直接因果性地調控或決定法律內容的角度來把握。然而,無論是從法律史的角度,還是從當前的發(fā)展來看,都表明存在特定的機制能夠將技術與法律的共同演進(Co-Evolution)聯系起來。下文將提出四種能夠解釋刑法數字革新的方案,這些方案并不會使刑法中概念建構的自主性遭到質疑。

    三、刑法數字革新的四種方案

    (一)重塑人的自我畫像

    首先,我們從思想史中可以得知,科學與技術革命根本性地改變了人自己的形象以及人與自然、技術之間的關系。(26)對此可參見Fateh-Moghadam, BJM 2018, S.205, 210 f.。就此而言,哥白尼從地心說到日心說的世界觀轉變被認為是一種劃時代的(avant la lettre)革新性科學認識。在《技術思想史》一書中,布盧門伯格(Hans Blumenberg)描述了“人居于其世界中心的自我定位”如何成為現代自我決定的個體構造的事實前提。(27)Blumenberg, Schriften zur Technik, 2015, S.69.在這種解讀方式中,技術被當作人“決心成為無限制力量的主體之現象”(28)Blumenberg, Schriften zur Technik, 2015, S.78.的“自由精神活動的純粹構造”(29)Blumenberg, Schriften zur Technik, 2015, S.78.。值得注意的是,由人類創(chuàng)造的“算法的邪惡力量”現在正變得獨立,并成為“第二自然”與人類形成對立。(30)Harari, Homo Deus, 2017, S.97 ff.; Nordmann, Technikphilosophie zur Einführung, 2.Aufl.2015, S.84 ff.,文中以“患癌鼠(Krebsmaus)”為例;還可參見Blumenberg, Schriften zur Technik, S.78,文中已經表明,在不斷推進的歷史進程中,技術產品正變得獨立,并成為“第二自然”而與人類形成對立,而“第二自然”似乎并不是為人類而創(chuàng)造的;Bridle, New Dark Age, 2019, S.58:“我們越癡迷于試圖計算這個世界,這個世界就越是顯得復雜和難以理解”。

    這改變了人類解釋其與自然和技術關系的參考框架,即所謂架構(Framing)。根據戈夫曼(Erving Goffman)的解讀,框架或架構指的是解釋所發(fā)生事件的啟發(fā)式方法,我們通過這些架構來建立我們的日常經驗。(31)Goffman, Rahmen-Analyse, 2018, S.19 und 31 ff.當我們觀察某個事件時,我們(通常會無意識地)要么將其歸類為自然現象(Naturerscheinung),要么將其歸類為人類目的導向行為的結果。用戈夫曼的話來說,在自然的架構內解釋一個事件意味著(這里也體現了刑法上的相關性),“人們從頭到尾完全將這些事件歸結為‘自然’的原因”。人們沒有將意志(Willen)和目的(Absicht)視為作品(結果)的原因,也沒有看到實施行為的人在不斷地對結果產生影響”。(32)Goffman, Rahmen-Analyse, 2018, S.31.

    上述自然事件的負面后果會以“意外事件”的形式出現,相反,對“不法”的認定只在社會的解釋框架中才有意義。(33)有關意外事件與不法的二元區(qū)分可參見Prittwitz, Strafrecht und Risiko, 1993, S.378 ff.。在我們生活的世界中,越來越多的人正在接觸自我學習機器人和軟件代理,這恰恰正在破壞上述意外事件與不法的二元區(qū)分,而自我學習機器人和軟件代理的社會、道德和法律地位也仍然存在爭議。人、動物與機器之間的界限變得模糊的典型體現是,23位國際領先的計算機學者最近共同發(fā)表了成立名為“機器行為研究(Machine Behaviour)”這一新學科的倡議。(34)Rahwan et al., nature 568(2019), S.477.迄今為止僅以人類與動物為對象的行為研究必須擴展到機器領域,因為人們不再有能力僅僅通過機器的內部藍圖就理解復雜的(學習型)人工智能代理;相反,只有在機器與環(huán)境的互動中,才能理解這種人工智能代理。(35)Rahwan et al., nature 568(2019), S.477, 480.有關機器行為的討論令人印象深刻,并佐證了現代人工智能技術具備模糊與革新那些看似根深蒂固的社會觀念的潛力。(36)另外還可參見以下論文集中的文章:Brockman(Hrsg.), Possible Minds, New York 2019。

    (二)作為法(律)媒介的技術(法律科技)

    技術發(fā)展影響刑法的第二種可能性是改變法(律)的媒介。法的媒介理論(Medientheorie des Rechts)展示了,通過為法律提供新的存儲、歸檔與傳播途徑,口語、寫作與印刷的發(fā)明都對法(律)的形成產生了影響。(37)Vesting, Die Medien des Rechts: Schrift, 2011; ders., Die Medien des Rechts: Sprache, 2011; ders., Die Medien des Rechts: Buchdruck, 2013; ders., Die Medien des Rechts: Computernetzwerke, 2015; Vismann, Medien der Rechtsprechung, 2011; Baecker, 4.0 oder Die Lücke die der Rechner l?sst, 2018, S.10.毫無疑問,計算機網絡與信息技術帶來的第四次媒體革命已經對刑法與刑事訴訟法的實踐造成了影響。這便涉及了不斷壯大的法律科技(Legal Technology)領域,該領域不僅涉及相對日常的刑事辯護人辦公軟件與《歐洲電子證據條例》,它還涉及刑事司法語境下有爭議的、依托算法的累犯預測的應用,例如美國的COMPAS(用于替代制裁的罪犯矯正管理分析;全稱為Correctional offender Management Profiling for Alternative Sanctions)等軟件解決方案。(38)有關法律科技現狀的概覽,參見Fries, RW 9(2018), S.414;有關公共行政自動化,參見Braun Binder, SJZ 115(2019), S.567;對《歐洲電子證據條例》的批判,參見Burchard, ZRP 2019, S.164;有關用于替代制裁的罪犯矯正管理分析(COMPAS)軟件,參見ders., Künstliche Intelligenz als Ende des Strafrechts?, S.15, abrufbar unter: https://www.normativeorders.net/de/publikationen/working-paper(2019年9月13日訪問),以及Martini, Blackbox Algorithmus-Grundfragen einer Regulierung Künstlicher Intelligenz, 2019, S.55 ff.。由此產生的規(guī)范問題則需要依據實證進行個案分析,這在本文中無法進一步探討。應用法律科技完成傳統(tǒng)法學任務的一個首要風險并非來自讓技術適應法學方法,而是來自讓法學方法適應技術的運行方式。換言之,這引發(fā)了法學方法“計算機化”(39)Bridle, New Dark Age, 2019, S.27 ff.的危險。與傳統(tǒng)法律論證在質的意義上圍繞某一裁判的優(yōu)勢理由展開不同,計算機輔助的裁判程序則取決于裁判參數的可量化性。例如,公平(Billigkeit)的正義論角度可能恰好要求在個案中背離嚴格的規(guī)則適用,這一點則很難通過計算機程序來得以體現。(40)該概念可追溯到Aristoteles, Nikomachische Ethik, 1956, Buch V Kap.10 Rdn.1137b,以及亞里士多德有關公正(epieikeia)的闡述;對此參見Bien, Billigkeit, in: Ritter(Hrsg.), Historisches W?rterbuch der Philosophie, Bd.1, 1971, S.940。

    (三)作為法(律)的技術:“規(guī)范上的技術操控”?

    數據化革新的第三種模式體現在技術自己承擔了法(律)的行為控制功能:技術替代并取代了法律[代碼即法律(code is law)]。(41)基礎的論述參見Lessig, Code: Version 2.0, New York 2006, S.1 ff.:“代碼即法律(code is law)”;ders., a.a.O., S.81 ff.:“通過代碼規(guī)制(regulation by code)”;對此參見Hildebrandt, Smart Technologies and the End(s)of Law, Cheltenham/Northampton 2015, S.165,以及Lobe, Speichern und Strafen, 2019, S.41 ff.。如果法律上不能成功地涵蓋“以算法為手段的行為控制(Verhaltenssteuerung durch Algorithmen)”(42)Hoffmann-Riem, A?R 142(2017), S.1.,那么,這就可能引發(fā)社會控制結構的根本改變。法規(guī)范之所以具有效力,正是因為法規(guī)范可以被違反(43)Luhmann, Rechtssoziologie, 4.Aufl.2008, S.43.,就此而言,法規(guī)范總是為世界發(fā)展進程保留了其他可能性。(44)M?llers, Die M?glichkeit der Normen, 2018, S.159.相反,規(guī)范上的“技術操控(Technosteuerung)”(45)Hoffmann-Riem, A?R 142(2017), S.1, 11 ff.則在事實上排除了特定的行為方式:如果乘客沒有系上安全帶,智能汽車就不會啟動出發(fā),而且它的速度也不會超過相應允許的最高速度。這種以技術為中介的不可能性結構(impossibility structures),不僅使違反法律在純粹物理的意義上變得不可能(46)對此參見Rademacher, JZ 2019, S.702(文中還附有進一步的文獻索引)。,還使得違法行為最多只可能出現在與破壞計算機行為相關的場合。由于技術設計的強制性,通過技術設計對自由事實上的限制,比通過法規(guī)范制定行為預期還要更進一步。(47)Brownsword, in: Brownsword/Scotford/Yeung(Hrsg.), The Oxford Handbook of Law, Regulation and Technology, Oxford 2017, S.42.通過在事實上禁止偏差行為,技術的不可能性結構還同時避免了規(guī)范違反(行為)在特定條件下引發(fā)法律革命性調整的可能性。盧曼(Luhmann)曾經在此語境下提出了“有用的違法(brauchbarer Illegalit?t)”(48)Luhmann, Funktionen und Folgen formaler Organisation, 1964, S.304 ff.;對此已經可參見Hoffmann-Riem, A?R 142(2017), S.1, 34。概念。正在日益逼近的全面通過技術操控行為這一潛在的極權主義特征還產生了憲法上有關“違反法(律)的權利(Recht zum Rechtsversto?)”是否存在的問題。(49)Rademacher, JZ 2019, S.702, 707.這種權利不能被理解為違反刑法制度且不遭受制裁的自由,這一點在邏輯上并不存在矛盾。相反,它最多只能是一種繼續(xù)擁有遵守或違反法規(guī)范的事實可能性的權利。用自由哲學的語言表達,這種享有違反規(guī)范可能性的權利同時也說明,個人擁有“決定站在法(律)這一邊(sich für das Recht zu entscheiden)”的自由。(50)Rostalski, GA 2019, S.481, 485.然而,正統(tǒng)黑格爾學派的觀點,即法律命令與禁令的正確性必然來自人的理性天賦,這并不十分具有說服力。這也是為什么違反規(guī)范在概念上不能成為具備理性天賦的人真正自由表達的原因。與德國觀念論不相容的“不理性的自由(Freiheit zur Unvernunft)”以及在此基礎上違反法律的自由(Freiheit zum Rechtsversto?)是現代、基本法對人類自決權理解的成就,而必須予以捍衛(wèi),對此參見 Fateh-Moghadam, BJM 2018, S.205, 215 ff.。正確地說,這也不是一種要求(法的)執(zhí)行(存在)缺陷的權利(Recht auf Vollzugsdefizit)(51)認同該觀點的有Rademacher, JZ 2019, S.702, 708。,因為事實上的規(guī)范遵守(Normbefolgung)與規(guī)范執(zhí)行(Normvollzug)并非是一回事。刑事法律的執(zhí)行總是預計到了犯罪行為會發(fā)生,它出現在追訴與懲罰違反規(guī)范的場合,而不會出現在規(guī)范受眾遵守刑法規(guī)范的場合。即使違反刑法禁令的行為后來被制裁,且沒有留下漏洞,(違反規(guī)范的)偏差行為也仍然可能發(fā)生。(52)有關無死角犯罪預防與無死角犯罪懲治的區(qū)分,還可參見Rostalski, GA 2019, S.481, 483 ff.und 485 ff.。而技術的不可能性結構的激進之處體現在,它在事實上消滅了這種可能性,而不是在無漏洞的規(guī)范執(zhí)行過程中。從刑法的角度來看,規(guī)范上的技術控制并不是基于法(律)規(guī)范,而是基于(通常由私人控制的)計算機代碼,嚴格來說,這已經不再是刑法風險教義學的表現形式,相反,這其實埋葬了刑法風險教義學。如果人們愿意這樣的話:那么,這也是數字化預防型社會對自由派倡議廢除刑法的諷刺回答。(53)Lüderssen, Abschaffen des Strafrechts?, 1995.

    (四)“規(guī)范的現實領域”之變遷

    最后,法律數字化變革的第四種構造涉及“規(guī)范的現實領域(Realbereich der Norm)”的變遷。(54)Hoffmann-Riem, Innovation und Recht-Recht und Innovation, 2016, S.113.由霍夫曼-里姆(Hoffmann-Riem)提出的規(guī)范的現實領域概念認為,法規(guī)范不僅指向一個語言或文本領域,而且同時與一個特定的現實片段相關聯(55)Hoffmann-Riem, Innovation und Recht-Recht und Innovation, 2016, S.113 ff.:“這一片段涉及規(guī)范中所提及的技術、自然科學、社會、政治、經濟、文化、生活等‘現實’基本構造?!?56)Hoffmann-Riem, Innovation und Recht-Recht und Innovation, 2016, S.113.現實領域是規(guī)范的結構性組成部分,因為正是規(guī)范的現實領域才使得對規(guī)范的合理解釋成為可能。(57)Hoffmann-Riem, Innovation und Recht-Recht und Innovation, 2016, S.114.解釋法規(guī)范意味著,另外還要追問,應當通過解釋處理哪些現實生活中的問題。人們只有考慮到立法者計劃將哪些生活事實作為涵攝在規(guī)范中的“一般情形(Normalfall)”(58)對此參見Haft, Einführung in das juristische Lernen, 5.Aufl.1991, S.113 ff.。時,才能合理地理解規(guī)范。因此,正如人們從詮釋學的視角所提出的那樣,至少在規(guī)范表述上能體現立法者“前見(Vorverst?ndnisse)”的場合,對規(guī)范的解釋必須考慮到這一“前見”。(59)有關作為理解的普遍前提的“偏見”復原(Rehabilitierung des,,Vorurteils“),可參見Gadamer, Wahrheit und Methode, 1990, S.281 ff.。這里的立法者前見不僅源自規(guī)范性的評價,而且恰恰同時源自一種對社會現實的想象,而這種想象構成了規(guī)制的對象。由此,技術創(chuàng)新不僅能改變與法規(guī)范相關聯的現實技術條件,還同時能改變依靠解釋來獲得的規(guī)范內容本身。此外,在刑法中適用禁止類推(原則)的前提下,由于新的技術方法不再能涵攝在法定構成要件的文義中,技術創(chuàng)新還可能造成某些違背期待的結果或行為不再屬于禁止規(guī)范的適用領域內。在生物醫(yī)學刑法領域,人們已經很好地認識到這一(發(fā)展)歷程。(60)有關自然科學創(chuàng)新的語境下,刑法禁止類推對于《德國胚胎保護法》解釋的意義,可參見Günther, in: Embryonenschutzgesetz, 2014, Vor.§ 1 Rdn.10 ff.。在這些情形中,從規(guī)范的角度來看,技術創(chuàng)新創(chuàng)造了規(guī)制漏洞,或者說處罰漏洞,這些漏洞則可以為立法改革提供契機。

    在這個意義上,這也體現了(上文)第一種數字信息與計算機技術在刑法中的革新性影響。基于嚴格的法律約束,德國的刑法立法者很早就被迫制定新的特殊刑法構成要件來回應以計算機為媒介的犯罪現象。例如,早在1986年,隨著第二部《德國打擊經濟犯罪法》(2.WiKG)(61)BGBl.I(1986), S.721.的出臺,計算機詐騙罪(《德國刑法典》第263條a)和窺探數據罪(《德國刑法典》第202條a)就已經被納入到《德國刑法典》中。(62)因此,第二部《德國打擊經濟犯罪法》(2.WiKG)也被認為是信息和通訊技術刑法誕生的標志,Kochheim, Cybercrime und Strafrecht in der Informations-und Kommunikationstechnik, 2.Aufl.2018, S.133(書中也有關于該領域立法后續(xù)發(fā)展的內容)。而在1977年,齊白(Ulrich Sieber)有關《計算機犯罪與刑法》的開創(chuàng)之作就已出版。(63)Sieber, Computerkriminalit?t und Strafrecht, 1977.人們似乎希望以創(chuàng)建一個新的刑法特殊領域(即計算機和網絡刑法(64)有關刑法領域的整體概覽,參見Kochheim, Cybercrime und Strafrecht in der Informations-und Kommunikationstechnik, 2.Aufl.2018。)的方式來對新技術加以控制。從今天的角度來看,那種認為數字技術所帶來的刑法問題可以留給刑法學研究中對信息科學感興趣的“計算機呆子(Computernerds)”,而刑法的傳統(tǒng)領域不受影響的誘人觀點則顯得很幼稚。社會的數字化為整個刑法科學都帶來了新的挑戰(zhàn)。人們無論是對刑法總論、經濟或醫(yī)療刑法、國際刑法還是對刑事訴訟法感興趣,都將面臨數字化所帶來的后續(xù)問題。為了更明確這一點,犯罪學、法社會學、法哲學和法律史(這些領域)無論如何都屬于對數字化進行法學反思的先驅。(65)僅參見以下論文集中的文章:Hilgendorf(Hrsg.), Robotik im Kontext von Recht und Moral, 2014; Gruber/Bung/Ziemann(Hrsg.), Autonome Automaten, 2015; Gless/Seelmann(Hrsg.), Intelligente Agenten und das Recht, 2016。因此,處在時代前沿的刑法學必須從以下兩點意義去理解刑法的數字化(66)有關這種對社會數字化的雙重視角可參見Baecker, 4.0 oder Die Lücke die der Rechner l?sst, 2018, S.9。:一方面,針對社會生活有關方面數字化所帶來的后續(xù)問題積極地進行刑法上的觀察,這種觀察并不限于傳統(tǒng)的計算機和網絡犯罪領域(刑法作為整個生活領域數字化的積極規(guī)制);另一方面,在技術發(fā)展的意義上,刑法自身通過技術發(fā)展而得到革新(刑法作為數字化的消極對象)。由此帶來的任務不能只托付給(公認)不斷擴張且日益重要的計算機和網絡刑法這一刑法特殊領域。相反,這使得我們更有必要以一種基礎學科為導向、跨學科的方式來反思刑法的數字化進程,這樣的反思雖然從具體問題出發(fā),但同時又將具體問題抽象化,以此為技術與刑法共同演進(Co-Evolutionn von Technik und Recht)的法學敘事提供全面的理論工具。(67)相似的思考方向還有Burchard, Künstliche Intelligenz als Ende des Strafrechts?, insb.S.24 ff., abrufbar unter: https://www.normativeorders.net/de/publikationen/working-paper(2019年9月13日訪問)。

    數字化的影響半徑日益擴大,至少反映在諸如過失這樣的傳統(tǒng)刑法歸責類型中。前文提及的“規(guī)范的現實領域”變遷的法社會學概念正好可以用來恰當地解釋數字化對刑法過失教義學的影響。數字科技對現實生活的影響至少體現在數字技術給法益帶來了新型的風險,而這也引發(fā)了相應的刑法上注意義務的問題。套用刑法風險教義學的術語,這意味著,即使不設立刑法嚴格責任(Strict liability-Haftung)這樣的創(chuàng)新(責任)形式,人工智能系統(tǒng)前所未有的風險性質(即機器學習場合的自主性風險)也可能會引發(fā)刑法上的過失犯解釋與適用的變遷。這里所說的人工智能風險教義學的動向則構成了本文最后一部分的主題。

    四、刑法上創(chuàng)新責任的四種基本模式(人工智能的風險教義學)

    人工智能系統(tǒng)的特殊風險屬性來自自主性風險、(人機)復合風險以及聯網風險。(68)Teubner, AcP 218(2018), S.155, 164.復合風險(Verbundrisiko)涉及人與機器在所謂社會技術系統(tǒng)(sozio-technische Systemen)中的互動。(69)有關“社會技術系統(tǒng)(sozio-technisches System)”的概念,參見Ropohl, Allgemeine Technologie, 3.Aufl.2009, S.58 f.;有關因此而引發(fā)的刑法問題,參見Simmler, in: Bendel(Hrsg.), Handbuch Maschinenethik, 2019, S.8 ff.;在醫(yī)療法上的案例,參見Steil et al., Methods Inf Med 58(2019), S.14, 19 ff.。聯網風險源于多個電腦系統(tǒng)同時參與同一損害事件。(70)Zech, ZfPW 2019, 198, 205.筆者將在下文詳細展開討論的自主性風險則涉及自我學習系統(tǒng)“在無用戶干預的情況下,自發(fā)地改變自己的行為,以作為對外界印象的回應”(71)Zech, ZfPW 2019, 198, 200;有關機器學習的技術基礎,可參見Norvig, Artificial Intelligence, 3.Aufl., Boston 2016, S.693 ff.。,從而自主反應的能力。由于自我學習系統(tǒng)不依靠用戶輸入,而僅僅依靠“自我感知”(72)Zech, ZfPW 2019, 198, 200.,從而能夠自發(fā)地“在不確定的狀況下作出決策”(73)Teubner, AcP 218(2018), S.155, 174.。自我學習系統(tǒng)不斷增長的自主性導致了行為可預見性方面的局限,而且提出了以下問題,即從“可預見的不可預見性(vorhersehbare Unvorhersehbarkeit)”(74)對此可參見Gless/Weigend, ZStW 126(2014), S.561, 581 f.。中能夠得出制造者、編程者與運營者的哪些特殊注意義務。由于人工智能系統(tǒng)的決策根據在科學上的可解釋性存在局限,這也導致了義務違反性關聯方面的證明問題。在此背景下,許多學者認為,刑法上面臨著責任漏洞(responsibility gap)的危險,這也對刑法上的罪責原則(Schuldgrundatz)造成了壓力。(75)Matthias, Ethics and Information Technology 6(2004), S.175; Gless/Weigend, ZStW 126(2014), S.561, 582(“責任擴散”); Gless, in: Gless/Seelmann(Hrsg.), Intelligente Agenten und das Recht, 2016, S.231; Hilgendorf, in: Hornung(Hrsg.), Rechtsfragen der Industrie 4.0, 2018, S.120 ff.; ders., in: Festschrift für Fischer, 2018, S.110; Simmler, in: Bendel(Hrsg.), Handbuch Maschinenethik, 2019, S.453。因此,人們一方面討論在制造者與運營者的責任方面突破罪責責任,即引入嚴格責任(strict liability)。(76)Simmler, Normstabilisierung und Schuldvorwurf, 2018; Simmler/Markwalder, ZStW 129(2017), S.20, 43.另一方面的討論則涉及將人的責任能力擴張到機器人以及軟件代理(Software-Agenten),以此實現將責任從人轉移到技術上的效果。(77)與此相關的早期文獻可參見Susanne Beck, in: Japanisch-Deutsches Zentrum(Hrsg.), Mensch-Roboter-Interaktionen aus interkultureller Perspektive, 2012, S.133 ff.; Hilgendorf, in: Susanne Beck(Hrsg.), Jenseits von Mensch und Maschine, 2012, S.119; Gless/Weigend, ZStW 126(2014), S.561, 570 ff.; Simmler/Markwalder, ZStW 129(2017), S.20, 43; Seher, in: Gless/Seelmann(Hrsg.), Intelligente Agenten und das Recht, 2016, S.45; Erhardt/Mona, a.a.O., S.61; Gaede, Künstliche Intelligenz-Rechte und Strafen für Roboter?, 2019。

    (一)責任向技術轉移(機器人刑法)?

    在我看來,有關“智能”軟件代理可能存在的刑事責任的討論正朝著一個錯誤的方向發(fā)展。(78)同上注。對此,關鍵的原因并不在于將(刑)法上的答責能力與作為人的特殊資質、內在的心理狀態(tài)或自由意志、自主性在哲學上嚴苛的理解相聯系。(79)有關該反對意見詳細的論述可參見Gless/Weigend, ZStW 126(2014), S.561, 573 ff.。可答責的法人就是一種社會的、特殊法律上歸責程序的結果,這樣的歸責程序遵循的是一種功能上的邏輯。(80)基礎性的研究參見Luhmann, SozW 42(1991), S.166;對刑法學的影響參見Jakobs, Strafrecht Allgemeiner Teil, 2.Aufl.1991, Abschn.17 Rdn.22;Simmler/Markwalder, ZStW 129(2017), S.20, 41 f.;Simmler(Anm.76), S.258 ff.。如果只是將“人格屬性(Personalit?t)”視作罪責譴責的根本要素,那么就不必要將其限定在人類主體中。(81)Simmler, Normstabilisierung und Schuldvorwurf, 2018, S.258.相反,法律上的歸責才將人構造成為法律責任歸屬的可能對象。(82)在此意義上的早期還有受馬克思(Karl Marx)影響的 Menke, Kritik der Rechte, 2015, S.17,根據該文,“自主性主體存在是因為存在權利的現代形式”,而不是因為存在自主性主體,才存在權利的現代形式。另一方面,這也并不意味著作為可答責法人的地位歸屬可以肆意進行;相反,無論是支持還是反對承認非人類主體法律上可答責性的觀點都必須按照相關法律領域的功能邏輯標準來進行判斷。在此背景下,正如托伊布納(Gunther Teubner)所提議的那樣,或許有充分的理由能夠支持在民法中引入軟件代理的部分法律能力。(83)Teubner, AcP 218(2018), S.155.這對民法而言意義在于,正如有關事務輔助人(Verrichtungsgehilfe)的條文(《德國民法典》第831條)承認的那樣,應當將軟件代理的有責行為歸責于人工智能系統(tǒng)的人類運營者。(84)Teubner, AcP 218(2018), S.155.但是,在刑法中卻不能照搬這樣的構造。在刑法中,承認機器人的答責能力恰恰不適合從機器人背后的人類主體入手,因為刑法并不允許對單純的他人過錯承擔責任。相反,機器人作為“自我答責的第三人介入(eigenverantwortliche Dazwischentreten)”則適用于為機器背后的人類行為人開脫責任。(85)Gless/Weigend, ZStW 126(2014), S.561, 588.

    但是,從刑法的角度來看,即使機器直接承擔刑法上的責任,這似乎也是功能不全的,因為,將處罰人工智能系統(tǒng)理解為對違反旨在保護法益的舉止規(guī)范的回應(以鞏固規(guī)范)是沒有意義的。(86)對此,有說服力的論述參見Simmler/Markwalder, ZStW 129(2017), S.20, 41,當然,文中不希望在未來排除機器人的可罰性,以及詳細的論述參見Simmler, Normstabilisierung und Schuldvorwurf, 2018, S.267 ff.;結論上相同的還有Gless/Weigend, ZStW 126(2014), S.561, 588 f.,文章作者指出,機器人缺乏作為“道德主體”的特性,即有能力自己“形成意志”;針對機器人汽車(Roboterautos)還可參見Wohlers, BJM 2016, S.113, 123。如果按照沃勒斯(Wolfgang Wohlers)所言,(在應然法上,)對機器人汽車提出個人罪責譴責是否合理這個問題,主要取決于(汽車機器人)的“自主程度(Grad an Autonomie)”,那么便也有可能依此對未來形式的自我學習人工智能系統(tǒng)作出不同的判斷。因為這是以人工智能系統(tǒng)具備滿足或不滿足規(guī)范期待的能力為前提的。即使是最現代的自我學習人工智能系統(tǒng),也不能對其“舉止”進行規(guī)范上的激勵。它并不會在價值權衡得出“有利理由(gute Gründe)”之后作出決定;相反,它在外部世界的行動必然基于以計算機為媒介、以模式識別為目標的數據評估,而這些數據要么來自第三方提供,要么是人工智能系統(tǒng)通過自己的觀察而獲得。雖然自動駕駛汽車可以通過編程避免與人類道路交通使用者發(fā)生碰撞,但是,它卻不能“理解”禁止殺人或禁止身體傷害的規(guī)范意義。如果由于自動駕駛汽車的錯誤而導致了致人死亡的交通事故,(87)此處的案例可參見2018年自動駕駛的優(yōu)步(Uber)汽車所造成的致死事故,NZZ v.19.3.2018, abrufbar unter: https://www.nzz.ch/panorama/selbstfahrendes-uber-auto-faehrt-frau-an-tot-ld.1367523(2019年9月13日訪問)。那么這可能會使我們對技術能力的想象感到失望。此外,這只是一種認識上的期待(kognitive Erwartung),我們將在未來修正這種期待。只要我們同時還堅持這樣的期待,即參與道路交通的自動駕駛汽車應該能夠識別人類障礙物,并及時剎車,那么,這里(現在已經是規(guī)范上)的期待指向的便是那些負責對車輛進行設計、編程以及審批許可的人類。(88)有關認識性期待與規(guī)范性期待的區(qū)分,參見Luhmann, Rechtssoziologie, 4.Aufl.2008, S.40 ff.。

    除此之外,機器人刑法會在刑事政策上出現功能失調,因為它可能會草率地為機器背后的人開脫責任。誠然,機器背后的行為人仍然有可能構成過失的同時犯(fahrl?ssige Nebent?terschaft)。然而,根據基于分工合作的過失犯教義學理論(Fahrl?ssigkeitsdogmatik für arbeitsteiliges Zusammenwirken),人們必須承認答責領域的可分性(Teilbarkeit der Verantwortungsbereiche)以及信賴原則的適用。(89)有關信賴原則一般性的論述,參見Sternberg-Lieben/Schuster, in: Sch?nke/Schr?der, StGB Kommentar, 30.Aufl.2019, § 15 Rdn.151。這會造成將人的責任轉移到機器上的局面,從而掩蓋了人類決策對于現代人工智能系統(tǒng)運作的核心性地位。(90)可信賴人工智能的倫理指導方針也強調了人類行為與人類監(jiān)管的優(yōu)先性,參見High-Level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI, 2019, S.17, abrufbar unter: https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai(2019年9月13日訪問)。機器人刑法因此也就違背了刑法應有效保護、以防止不被容許的人工智能風險的利益。

    根據上述結論,引入“機器人”刑法并不是刑事立法的明智選項,在我看來,即便在未來開發(fā)出所謂的“強人工智能(starke künstliche Intelligenz)”,本結論也仍然適用。(91)作者感謝卡斯滕(Karsten Gaede)在討論中對“強人工智能”可能存在的特殊性的提示。對此詳細參見Gaede, Künstliche Intelligenz-Rechte und Strafen für Roboter?, 2019?!皬娙斯ぶ悄堋钡母拍钍褂貌⒉唤y(tǒng)一。(92)有關概念還可參見Gaede, Künstliche Intelligenz-Rechte und Strafen für Roboter?, 2019, S.19 ff.。它與“超級智能(Superintelligenz)”(93)Bostrom, Superintelligenz, 2018.以及“奇點(Singularit?t)”(94)Kurzweil, The Singularity is Near, London 2018.等概念存在競合關系。實際上,“強人工智能”概念針對的是可設想的未來人工智能形式,該形式的人工智能解決問題的能力并不限于特定的應用領域(通用智能),它能夠在沒有用戶輸入的情況下自主地改進與發(fā)展(自主學習能力),并以這樣的方式到達與人類同等的“智能水平”,并且將長期超越人類的“智能水平”。根據博斯特羅姆(Nick Bostrom)的觀點,強人工智能或“超級智能”的決定性特征在于,它與人類相比獲得了“戰(zhàn)略上的優(yōu)勢(strategische Vorteil)”,因此不再受到人類控制。(95)Bostrom, Superintelligenz, 2018, S.115 ff.

    如果按照這樣的分析,那么,從規(guī)范的角度來看,“強人工智能”將首先導致一種更高層級且不可控的安全風險。由于機器人刑法總是過于滯后,所以機器人刑法似乎不適合對抗這種據稱由(未來)可能的機械性超級智能所引發(fā)的關乎(人的)存在的風險。(96)還可參見Gaede, Künstliche Intelligenz-Rechte und Strafen für Roboter?, 2019, S.67 ff.。特別是那些相信“超級智能”優(yōu)于人類的場景是對未來的現實預測的人看來,通過針對機器的刑罰威懾來控制上述超級智能的想法似乎非常幼稚。為什么一個優(yōu)于人類并具有戰(zhàn)略優(yōu)勢的人工智能要受到人類制定的刑事法律、刑事追訴機構以及刑事司法的影響?相反,法律控制機制的目標應當是,從一開始就防止超級智能的出現與“釋放(Freisetzung)”。(97)對此進行強調的還有Bostrom, Superintelligenz, 2018, S.184 ff.;還可參見Gaede, Künstliche Intelligenz-Rechte und Strafen für Roboter?, 2019, S.70 und 78。這是以預防原則(98)有關預防原則參見Calliess, in: Grunwald/Simonidis-Puschmann(Hrsg.), Handbuch Technikethik, S.390。為基礎的技術行政法(Technikverwaltungsrecht)的傳統(tǒng)任務,在必要情形下,也可以通過設置刑法危險犯的方式來配合技術行政法。(99)參見下文(二)嚴格責任。因此,在技術與刑法上控制“強人工智能”的受眾對象,無論如何仍然還是在技術背后進行運作的人,而非技術本身。

    最后,我想再簡要談談以下論點,即只有當自我學習的人工智能系統(tǒng)發(fā)展到我們可以將其理解為與人類相類似的“道德主體”時,機器人刑法才變得必要且有意義。假設我們認為,以這種方式理解的“強人工智能”會發(fā)展出構建自身規(guī)范上和法律上價值觀的能力,并且它們會將其“行為”建立在這些價值觀之上。那么,事實上我們必須賦予這樣一種實體具有辜負規(guī)范期待的能力,這樣,刑法穩(wěn)固規(guī)范的功能(die normstabilisierende Funktion)原則上才能有用武之地。在此,反對機器人刑法的理由基于實踐層面:為什么被賦予理性自我決定能力的人工“超級智能”偏偏要臣服于“缺陷物種”人類所創(chuàng)造的現行刑法?對人類來說,決定性的問題可能是,文明開化的自主機器將賦予人類什么樣的道德地位和法律地位。(100)有關人類道德性與機器道德性之間沖突的主題,參見McEwan, Maschinen wie ich, 2019,文章以娛樂性的方式呈現。

    (二)嚴格責任:容許風險的刑法責任

    相比之下,針對人工智能系統(tǒng)所引發(fā)的法益侵害,引入嚴格責任(strict liability)意義上的、不以過錯為前提的刑法責任,則旨在針對機器背后的人類行為人。在民法的討論中,針對自主性軟件代理的制造商和(或)經營商而規(guī)定不以過錯為前提的危險責任被認為是一種大有可為的解決方案。(101)對此參見Hacker, RW 9(2018), S.243, 258 f.; Schirmer, RW 9(2018), 453, 473 ff.;Wagner, Robot Liability(June 19, 2018), S.13 f., abrufbar unter: https://ssrn.com/abstract=3198764(2019年9月16日訪問);Zech, in: Gless/Seelmann(Anm.16), S.197 ff.;ders., ZfPW 2019, 198, 214 f.。民法上的危險責任(Gef?hrdungshaftung)旨在考慮社會對技術創(chuàng)新的需求,但這并不是將損害風險強加給遭受人工智能系統(tǒng)不可預見后果的隨機的受害人,而是將損害風險強加給那些從創(chuàng)新中獲得經濟利益的人。因此,這同時也將風險評估(的任務)委托給了制造商方面,這不僅可以調控注意(程度)的水平,而且還可以調控積極性的水平。(102)Zech, ZfPW 2019, 198, 214; K?tz/Wagner, Deliktsrecht, 13.Aufl.2016, Rdn.503 ff.在刑法上,通常會援引罪責原則來否定不以過錯為前提的結果責任。(103)Gless, recht 2013, S.54, 57; Gless/Janal, JR 2016, S.561, 564.這在結論上是具有說服力的,但是并沒有充分、具體地指出,在刑法中,應用人工智能系統(tǒng)所造成侵害后果的因果責任問題究竟體現在哪里。對此,關鍵的著眼點在于,這里涉及的或許是一種針對允許的、沒有違反義務的風險創(chuàng)設之后果的刑法責任。(104)參見K?tz/Wagner, Deliktsrecht, 13.Aufl.2016, Rdn.491; Zech, in: Gless/Seelmann(Hrsg.), Intelligente Agenten und das Recht, 2016, S.197。這不禁讓人想起20世紀50年代末對有關問題的討論,即除了故意與過失之外,是否還應當在刑法中將“風險行為(riskante Verhalten)”承認為有責的行為方式與歸責根據。(105)Kaufmann, Das Schuldprinzip, 1976, S.145 ff.; Schweikert, ZStW 70(1958), S.394.刑法中的風險責任會在例如完全昏醉(Vollrauschtatbestand)這一構成要件(《刑法典》第323條a)與參與斗毆罪(《刑法典》第231條)等各罪中進行討論。除此之外,還會援引自陷禁區(qū)(versari in re illicita)的歸責原則,根據該原則,行為人由于“在不允許的事項中逗留”,即使他沒有過錯,也要對所有后果承擔責任。(106)Kaufmann, Das Schuldprinzip, 1976, S.146 f.;有關概念還可參見Roxin, Strafrecht Allgemeiner Teil, Bd.1, 4.Aufl.2006, § 10 Rdn.122。但是在上述例子中,可罰性也是以行為人創(chuàng)設了不容許的風險為前提,在完全麻醉狀態(tài)(等仍然存在爭議)的場合,可罰性則以非社會相當的、非期望的風險創(chuàng)設為前提。(107)對《德國刑法典》第323條a與第231條通說方案的批判,參見Roxin, Strafrecht Allgemeiner Teil, Bd.1, 4.Aufl.2006, § 23 Rdn.7 ff.。只有在這樣的背景下,并且在萬不得已時,才可在此認為將上述刑法構成要件中出現的結果構建為客觀處罰條件是合法的。(108)反對觀點參見Roxin, Strafrecht Allgemeiner Teil, Bd.1, 4.Aufl.2006, § 23 Rdn.9,為了避免違反責任原則,作者要求可罰性須以行為人在其醉酒狀態(tài)下所實施的行為存在過失為前提。由此,目前考慮將危險的人工智能系統(tǒng)投入流通所出現的結果認定為客觀處罰條件的方案(109)Hilgendorf, in: Festschrift für Fischer, 2018, S.111.將會面臨的問題是,這些方案必須首先證明投入流通行為的不被容許性(Unerlaubtheit)。這首先以制定一個抽象危險犯為前提,即“在并非充分安全的情況下將危險產品投放市場”。(110)參見Hilgendorf, in: Festschrift für Fischer, 2018, S.111;還可參見下文(四)過失犯。相比之下,不違反義務地制造、銷售或運營人工智能系統(tǒng)的行為則是一種容許的、社會期待的行為。一個容許的行為在概念上就已經不可能辜負法律上的行為期待,因此,也就不需要在刑法上確證規(guī)范的效力(Best?tigung der Normgeltung)。正由于此,應將刑法上針對容許行為的風險責任視作與刑法體系相異的突破,而同樣加以否定。(111)反對將“風險犯”作為第三種不法或責任范疇的觀點還有Radtke/Duttge, in: Münchener Kommentar zum StGB, Bd.1, 3.Aufl.2017, § 15 Rdn.30。

    (三)危險刑法:將科技創(chuàng)新作為不容許風險

    與針對容許風險的刑法結果責任不同的是第三種以抽象危險犯為基礎的危險刑法模式。在此模式中,行為人通過在市場上投放或運營智能機器,創(chuàng)設了對刑法所保護法益的不容許危險,而因此承擔責任。更確切地說,是通過抽象危險犯將創(chuàng)設風險的行為就已經定型為不被容許的,而不考慮結果是否發(fā)生??紤]到科技法在支持創(chuàng)新與最小化風險之間此消彼長的功能(112)Zech, BJM 2014, S.3, 6.; Müller/Zech, Sicherheit & Recht, 2019, 72, 78 f.; Führ, in: Grunwald/Simonidis-Puschmann(Hrsg.), Handbuch Technikethik, S.384, 386.,(制定)抽象危險犯是存在問題的,因為抽象危險犯是片面敵對創(chuàng)新的。因此,只有在必要時,才可以考慮按照科技法上的預防原則,在特殊的領域范圍內使用抽象危險犯對人工智能進行規(guī)制。(113)有關規(guī)制人工智能應用相關風險的必要性,還可參見Meyer, ZRP 2018, S.233, 234。盡管如此,這也開啟了刑事立法者明確人類對技術后果答責的可能性,即禁止特定的決策,例如禁止將生或死的決定授權給人工智能系統(tǒng),或是禁止將具有高度損害可能性的人工智能系統(tǒng)(114)Hilgendorf, in: Festschrift für Fischer, 2018, S.111.投入流通等。

    鑒于人工智能系統(tǒng)在此被視作創(chuàng)新的風險技術,文獻中有學者提出將傳統(tǒng)風險管理的規(guī)制策略作為人工智能規(guī)制“藍圖”的建議,便也就不足為奇。(115)Martini, Blackbox Algorithmus-Grundfragen einer Regulierung Künstlicher Intelligenz, 2019, S.113 ff.,文章提及了納米技術、人類遺傳及藥品法等例子;另外還可參見Gaede, Künstliche Intelligenz-Rechte und Strafen für Roboter?, 2019, S.76 f.。這方面的例子既包括對自主武器系統(tǒng)的禁止(116)參見Dederer, RW 9(2018), S.380;有關政治討論的現狀,參見Draft Report of the 2019 session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems, abrufbar unter: https://www.unog.ch/80256EDD006B8954/(httpAssets)/5497DF9B01E5D9CFC125845E00308E44/$file/CCW_GGE.1_2019_CRP.1_Rev2.pdf(2019年9月18日訪問);從科技哲學的視角,參見Weber, in: Gruber/Bung/Ziemann(Anm.65), S.267;以及Lenzen, Künstliche Intelligenz, 2018, S.211 ff.。,還包括借鑒現有對高程度或完全自動駕駛功能汽車的規(guī)定(《德國道路交通法》第1條a),在無特殊許可前提下將自主護理機器人投入市場的行為規(guī)定為可罰的危險犯。(117)有關在保守治療和臨終關懷領域應用機器人,參見Susanne Beck, MedR 2018, S.772。最后,這里還包括(以類推基因技術法的方式)對所謂“強人工智能”或“超級智能”出現和釋放的危險作出法律上的預防。(118)對此參見第四章(一)末尾。因為抽象危險犯充其量也只是一個在特定領域中可以接受的(未來)解決方案,因此,在未來,針對人工智能系統(tǒng)的刑法創(chuàng)新責任還必須主要按照一般過失教義學的標準(Ma?gabe der allgemeinen Fahrl?ssigkeitsdogmatik)來進行判斷。

    (四)過失:不容許風險的刑法責任

    與將人工智能系統(tǒng)投入市場或運營有關的刑法過失責任的前提是,行為人個人對投入市場或運營人工智能系統(tǒng)(行為)所啟動的可能造成損害的流程具備預見可能性和避免可能性。就此而言,法律或產業(yè)協(xié)會針對人工智能系統(tǒng)特殊自動化定義的行為標準與質量標準可以提供杜特格(Gunnar Duttge)所要求的“誘因要素(Veranlassungsmoments)”(119)Radtke/Duttge, in: Münchener Kommentar zum StGB, Bd.1, 3.Aufl.2017, § 15 Rdn.121 ff.;以及基礎的討論,參見Duttge, Zur Bestimmtheit des Handlungsunwerts von Fahrl?ssigkeitsdelikten, 2001, S.279 ff.。意義上的參照。這方面的一個例子是《德國道路交通法》對具備高程度或全自動化駕駛功能汽車的規(guī)制(《德國道路交通法》第1條a與第1條b)。(120)對此參見Kaler/Wieser, NVwZ 2018, S.369, 370 f.。但是,除此之外,基本沒有關于人工智能發(fā)展的有約束性的標準規(guī)范。正如袁天宇(Tianyu Yuan)在一篇充分結合了計算機科學內容的文章中所表明的那樣,在人工智能系統(tǒng)的研發(fā)中,這些(法律)沒有規(guī)定的領域也存在一系列典型的注意義務違反(現象)。(121)Yuan, RW 9(2018), S.477, 495 ff.只要存在這樣的違反注意義務的情況,那么后續(xù)致死受傷或死亡形式的人工智能系統(tǒng)自主性風險的實現,似乎就不能被視作“技術故障”;相反,只要損害發(fā)生對于編程人員或生產商而言是個人可預見且可避免的,那么上述自主性風險的實現便可作為不容許風險創(chuàng)設的后果而歸責于編程人員或生產商。一般來說,可以區(qū)分例如建模錯誤(Modellierungsfehler)、訓練數據選擇場合的錯誤以及對所獲結果安全性評價場合的錯誤。(122)Yuan, RW 9(2018), S.477, 496.這些錯誤屬于傳統(tǒng)的生產錯誤(Produktionsfehler),其損害潛力通常從一開始就可以識別,而不是像所謂的開發(fā)錯誤(Entwicklungsfehler)那樣,只有在事后人工智能系統(tǒng)的運營過程中才可以識別其損害潛力。就此而言,在法庭實踐中,對人工智能系統(tǒng)相應技術運作的確切認識將是決定性的,為此,法律適用者最終還是需要依賴外部的計算機科學專業(yè)知識。

    格勒斯(Sabine Gless)和其他學者已經詳細介紹了(123)Gless/Janal, JR 2016, S.561, 565; Gless/Weigend, ZStW 126(2014), S.561, 582; Gless, recht 2013, S.54.,對于人工智能系統(tǒng)投入市場之后的階段,應當適用刑法產品責任的原則,即制造商有對事后認識到的,或是具有認識可能性的人工智能產品的風險錯誤開發(fā)作出反應的保證人義務。

    首先,就過失結果不法而言,在應用機器學習系統(tǒng)(Machine-Learning-Systeme)的情況下,義務違反關聯(Pflichtwidrigkeitszusammenhang)的證明會存在問題。(124)對此參見Yuan, RW 9(2018), S.477, 498 ff.。在符合義務的編程場合,確認人工智能系統(tǒng)“行為”的假設性發(fā)展是必要的,但這種必要的確認在基于功能的機器學習場合卻尤其困難。因為,在這一方面,即使可解釋人工智能(explainable AI)領域已經有了一些新的研究成果,人工智能系統(tǒng)在很大程度上仍然還被視作黑匣子(Black Boxes)。(125)Martini, Blackbox Algorithmus-Grundfragen einer Regulierung Künstlicher Intelligenz, 2019, S.28; Lenzen, Künstliche Intelligenz, 2018, S.75 ff.; Rahwan et al., nature 568(2019), S.477, 478; Wischmeyer, A?R 143(2018), S.1, 43 und 61 ff.因此,認為通過例如應用計算機模擬等人工智能的數學設計能夠減輕義務違反關聯證明的難度,這樣的評估或許是過于樂觀了。(126)Yuan, RW 9(2018), S.477, 499.盡管如此,這樣的思考還是為我們提供了一個正確的方向:機器行為(Machine Behaviour)(127)Rahwan et al., nature 568(2019), S.477.這一可靠的跨學科研究(領域)或許能夠有益于解釋那些對刑法過失歸責而言必要的因果關聯。

    在應然法上(de lege ferenda),如果像希爾根多夫(Eric Hilgendorf)建議的那樣,將沒有充分安全保障的危險人工智能系統(tǒng)投放到市場所造成的結果設定為客觀處罰條件,那么這也可以消除義務違反性與結果之間的證明問題。(128)Hilgendorf, in: Festschrift für Fischer, 2018, S.111.由于希爾根多夫并不想讓將危險人工智能系統(tǒng)投入市場的行為普遍受到刑法處罰,而只想將刑事處罰限制在“沒有充分安全保障”的情形,因此,他的模式并沒有使過失的證明變得多余。本質上說,希爾根多夫的建議似乎更多是為了減輕過失歸責中的證明負擔,因為,如果結果的發(fā)生只是客觀處罰條件的話,那么義務違反關聯的證明也就沒有了必要。另一方面,還值得注意的是,在例如醫(yī)事刑法等其他(過失犯的)應用領域中,過失犯中義務違反關聯的確認往往也存在困難,但這并不被視為刑事處罰中不可容忍的漏洞。以放棄義務違反關聯證明的形式引入嚴格責任,有可能會消融過失構成要件的邊界,因此這也會在人工智能的語境下存在疑問。只要立法者不通過真正抽象危險犯的方式在特定技術或應用領域中普遍禁止人工智能系統(tǒng)投放市場[對此參見本章第(三)節(jié)],那么,只有當可以依據過失一般原則將(產品損害)歸責于制造商時,制造商才對產品造成的損害承擔責任。

    最后,如果我們從人工智能系統(tǒng)(例如自我學習的護理機器人)運營者的方面來看,那么,無論如何也可以在此定義具體的注意義務。這些具體注意義務遭到違反時,特定實害結果的發(fā)生通常在客觀和主觀上都是可預見的。此時,擺在面前的問題是,在諸如護理等領域,運營者是否被允許、以及在何種程度上被允許將任務委托給使用過程中不受監(jiān)控的人工智能系統(tǒng)。無論如何,運營者都有義務持續(xù)地監(jiān)控人工智能系統(tǒng)是否在認真地完成任務,并對錯誤開發(fā)(Fehlentwicklung)作出應對。學習型的人工智能系統(tǒng)恰恰不是人們可以根據信賴原則給予信任的、行為時可以答責的個人;相反,人們可以借鑒刑法判例對動物危險的表述,因為學習型人工智能系統(tǒng)“無法理性地操控其行為,而且一般是無法預測的”(129)BayObLG, 30.12.1987-RReg.3 St 226/87.,所以學習型人工智能系統(tǒng)更多的是一種危險源。對于這樣一種“危險源”,“為了共同體生活的安全,那些危險源出現在其社會支配領域中的人……要對此負責”。(130)BayObLG, 30.12.1987-RReg.3 St 226/87.有關上述對動物危險的類推,可參見Zech, in: Gless/Seelmann(Hrsg.), Intelligente Agenten und das Recht, 2016, S.196。因此,面向人類的人工智能系統(tǒng)的刑事責任也證明了,將過失作為刑法創(chuàng)新責任的基本模式是恰當的。

    五、小結

    本文對人工智能風險教義學思考的結論是,高度現代的人工智能系統(tǒng)的革新性影響還處于刑法對創(chuàng)新風險歸責的界限內,或者說也應當將高度現代的人工智能系統(tǒng)的革新性影響控制在刑法對創(chuàng)新風險歸責的界限內。對于人工智能所誘發(fā)的損害,刑法恰當的應對不是將責任轉移給機器,也不是引入不以過錯為前提的嚴格責任。相反,一方面,應該更多地在公共技術與安全法中定義授權自我學習的自動裝置在未知情形下進行決策的絕對法律界限。另一方面,對所有人工智能系統(tǒng)的單個應用領域都應當參考一般過失教義學,探究機器后人類主體的個人責任。這同時也說明,不得從技術創(chuàng)新與刑法創(chuàng)新兩者必要因果關聯的意義上理解革新技術的概念。相反,正是對技術革新潛力的洞察,才使對“風險刑法之風險”的批判性反思成為可能。(131)Prittwitz, in: Frehsee/L?schper/Smaus(Hrsg.), Konstruktion der Wirklichkeit durch Kriminalit?t und Strafe, 1997, S.47 ff.換言之,應當理解的問題是,在應對數字化而作出積極改變的過程中,刑法究竟被動地遭遇了什么。(132)效仿Baecker, 4.0 oder Die Lücke die der Rechner l?sst, 2018, S.9中的表述。

    猜你喜歡
    刑法規(guī)范人工智能
    來稿規(guī)范
    來稿規(guī)范
    PDCA法在除顫儀規(guī)范操作中的應用
    來稿規(guī)范
    過度刑法化的傾向及其糾正
    法律方法(2021年4期)2021-03-16 05:35:02
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    IT經理世界(2018年20期)2018-10-24 02:38:24
    數讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    下一幕,人工智能!
    南風窗(2016年19期)2016-09-21 16:51:29
    刑法適用與刑法教義學的向度
    刑法論叢(2016年3期)2016-06-01 12:15:17
    国产日本99.免费观看| 老熟妇仑乱视频hdxx| 亚洲三级黄色毛片| 他把我摸到了高潮在线观看| 91精品国产九色| a级毛片免费高清观看在线播放| 亚洲成人中文字幕在线播放| 一个人看的www免费观看视频| 99精品在免费线老司机午夜| 色5月婷婷丁香| 99久久九九国产精品国产免费| 亚洲色图av天堂| 在线观看免费视频日本深夜| 国内少妇人妻偷人精品xxx网站| 免费看a级黄色片| 美女大奶头视频| 成人国产麻豆网| 亚洲国产精品sss在线观看| 国产精品av视频在线免费观看| 国产精品av视频在线免费观看| 国产一区二区三区av在线 | 国产成年人精品一区二区| 在线天堂最新版资源| 精品日产1卡2卡| a级毛片a级免费在线| www.色视频.com| 亚洲美女黄片视频| 成人av一区二区三区在线看| 99国产极品粉嫩在线观看| 国产一区二区三区av在线 | 亚洲精品乱码久久久v下载方式| 久久人妻av系列| 91在线观看av| 又紧又爽又黄一区二区| 国产爱豆传媒在线观看| 99热网站在线观看| 久久精品综合一区二区三区| 最新中文字幕久久久久| 免费在线观看影片大全网站| 欧美高清性xxxxhd video| 别揉我奶头~嗯~啊~动态视频| 亚洲精品久久国产高清桃花| 欧美性猛交╳xxx乱大交人| 亚洲av美国av| 久久亚洲精品不卡| 免费看a级黄色片| 嫩草影视91久久| 国产一级毛片七仙女欲春2| 亚洲va日本ⅴa欧美va伊人久久| 午夜精品一区二区三区免费看| 黄色丝袜av网址大全| 99九九线精品视频在线观看视频| 99久久中文字幕三级久久日本| 欧美日韩精品成人综合77777| 12—13女人毛片做爰片一| 午夜影院日韩av| 亚洲综合色惰| 我的女老师完整版在线观看| 一进一出抽搐gif免费好疼| 成人综合一区亚洲| 久久久久精品国产欧美久久久| 最近中文字幕高清免费大全6 | 亚洲avbb在线观看| 免费看av在线观看网站| 国产aⅴ精品一区二区三区波| 国产精品不卡视频一区二区| 又紧又爽又黄一区二区| 午夜a级毛片| 精品久久久久久久久av| videossex国产| 51国产日韩欧美| 亚洲欧美精品综合久久99| 国产av一区在线观看免费| 国产激情偷乱视频一区二区| 动漫黄色视频在线观看| 精品一区二区三区视频在线观看免费| 又紧又爽又黄一区二区| 亚洲在线自拍视频| 一进一出好大好爽视频| 91午夜精品亚洲一区二区三区 | 啦啦啦韩国在线观看视频| 尤物成人国产欧美一区二区三区| 国模一区二区三区四区视频| 欧美日本亚洲视频在线播放| 国产精品一区二区性色av| 欧美+日韩+精品| 国产成人a区在线观看| 人妻少妇偷人精品九色| 久久久久九九精品影院| 桃红色精品国产亚洲av| 久久久久久久精品吃奶| 女人十人毛片免费观看3o分钟| 国产精品自产拍在线观看55亚洲| 99久久中文字幕三级久久日本| 国产精品久久久久久精品电影| 99热网站在线观看| 天堂动漫精品| 久久久久久大精品| 国产成年人精品一区二区| 亚洲乱码一区二区免费版| 久久热精品热| 伦精品一区二区三区| 内地一区二区视频在线| 欧美性猛交╳xxx乱大交人| 国产主播在线观看一区二区| 22中文网久久字幕| 永久网站在线| 国产伦一二天堂av在线观看| 色尼玛亚洲综合影院| xxxwww97欧美| 简卡轻食公司| 久久午夜福利片| 久久久久久久久大av| 日韩一本色道免费dvd| 日本黄色视频三级网站网址| 成年版毛片免费区| 中文资源天堂在线| 别揉我奶头~嗯~啊~动态视频| 午夜免费激情av| 亚洲欧美日韩卡通动漫| 久久久久久久精品吃奶| 嫩草影院新地址| www日本黄色视频网| 国内少妇人妻偷人精品xxx网站| 变态另类成人亚洲欧美熟女| 成年免费大片在线观看| 精品久久久久久久末码| 亚洲av一区综合| 99久久成人亚洲精品观看| 在线免费十八禁| 男人和女人高潮做爰伦理| 国产精品女同一区二区软件 | 村上凉子中文字幕在线| 天天一区二区日本电影三级| 黄色丝袜av网址大全| 一本一本综合久久| 久久久精品欧美日韩精品| 夜夜看夜夜爽夜夜摸| 日韩欧美国产在线观看| 桃红色精品国产亚洲av| 日韩精品有码人妻一区| 亚洲自拍偷在线| 一级黄色大片毛片| 亚洲av中文字字幕乱码综合| 国产精品爽爽va在线观看网站| 国产一级毛片七仙女欲春2| 久久久久久久亚洲中文字幕| 两个人视频免费观看高清| 国产精品福利在线免费观看| 熟女电影av网| 真人做人爱边吃奶动态| 国内久久婷婷六月综合欲色啪| 最后的刺客免费高清国语| 日本 av在线| 日本熟妇午夜| 99久国产av精品| 一级毛片久久久久久久久女| 乱人视频在线观看| 噜噜噜噜噜久久久久久91| 亚洲七黄色美女视频| 日韩欧美三级三区| 亚洲av免费在线观看| 91午夜精品亚洲一区二区三区 | 男女做爰动态图高潮gif福利片| 精品一区二区免费观看| 他把我摸到了高潮在线观看| 99热这里只有是精品在线观看| 国内精品久久久久精免费| 麻豆久久精品国产亚洲av| 亚洲综合色惰| 亚洲最大成人中文| 国产精品不卡视频一区二区| 亚洲人成网站高清观看| 黄色丝袜av网址大全| 一个人观看的视频www高清免费观看| АⅤ资源中文在线天堂| 亚洲18禁久久av| 在线天堂最新版资源| 免费看av在线观看网站| 三级毛片av免费| 麻豆国产av国片精品| 成人av在线播放网站| 性欧美人与动物交配| 男女那种视频在线观看| 日韩在线高清观看一区二区三区 | 中文字幕久久专区| 日韩欧美在线乱码| 不卡视频在线观看欧美| 欧美+日韩+精品| 在线观看66精品国产| 国产高清视频在线播放一区| 日本五十路高清| 久久国产乱子免费精品| 免费电影在线观看免费观看| 3wmmmm亚洲av在线观看| 亚洲内射少妇av| 国内精品宾馆在线| 欧美一级a爱片免费观看看| 欧美最新免费一区二区三区| 午夜a级毛片| 欧美成人性av电影在线观看| 亚洲最大成人手机在线| 别揉我奶头~嗯~啊~动态视频| 成人无遮挡网站| 毛片一级片免费看久久久久 | 亚洲,欧美,日韩| 日本a在线网址| 色哟哟·www| 超碰av人人做人人爽久久| 成人午夜高清在线视频| 欧美xxxx黑人xx丫x性爽| 亚洲四区av| 亚洲avbb在线观看| 国产一区二区亚洲精品在线观看| 啪啪无遮挡十八禁网站| 国内久久婷婷六月综合欲色啪| 婷婷亚洲欧美| 国产精品久久久久久精品电影| 久久久久久久精品吃奶| 级片在线观看| 身体一侧抽搐| 男人舔女人下体高潮全视频| 久久久久久久精品吃奶| 高清在线国产一区| 亚洲第一区二区三区不卡| 国产伦精品一区二区三区视频9| 成人午夜高清在线视频| 国产综合懂色| 12—13女人毛片做爰片一| 亚洲精品一区av在线观看| 最近视频中文字幕2019在线8| 国产精品一区www在线观看 | 色哟哟哟哟哟哟| 国产男人的电影天堂91| 午夜精品久久久久久毛片777| 久久亚洲真实| 国产视频内射| 国产av一区在线观看免费| 亚洲图色成人| 少妇裸体淫交视频免费看高清| 变态另类成人亚洲欧美熟女| 精品人妻1区二区| 色综合亚洲欧美另类图片| 国产乱人伦免费视频| 日韩国内少妇激情av| 国产亚洲精品av在线| av福利片在线观看| 国产精品亚洲一级av第二区| 国产精品久久久久久亚洲av鲁大| 欧美日本亚洲视频在线播放| 久久6这里有精品| 欧美成人免费av一区二区三区| 国产精品亚洲美女久久久| 深夜a级毛片| 夜夜爽天天搞| 国产精品伦人一区二区| 久久久久久久久中文| 日韩精品青青久久久久久| 乱人视频在线观看| 如何舔出高潮| 女同久久另类99精品国产91| 88av欧美| 一本一本综合久久| 又黄又爽又刺激的免费视频.| 国产极品精品免费视频能看的| 日本精品一区二区三区蜜桃| 日韩欧美精品免费久久| 欧美成人免费av一区二区三区| av专区在线播放| 日韩国内少妇激情av| 看十八女毛片水多多多| 国产老妇女一区| 国产av在哪里看| 美女黄网站色视频| 国内毛片毛片毛片毛片毛片| 国产成人影院久久av| 久久久国产成人精品二区| 日日夜夜操网爽| 久久久午夜欧美精品| 欧美性猛交黑人性爽| 久久国内精品自在自线图片| 成人性生交大片免费视频hd| 欧美日韩乱码在线| 能在线免费观看的黄片| 久久人妻av系列| 国产免费男女视频| 国内少妇人妻偷人精品xxx网站| 美女黄网站色视频| 欧美一区二区亚洲| 国产欧美日韩精品亚洲av| 亚洲欧美日韩卡通动漫| 国产视频内射| 日韩大尺度精品在线看网址| 成人永久免费在线观看视频| 国内少妇人妻偷人精品xxx网站| 我的女老师完整版在线观看| 欧美zozozo另类| 给我免费播放毛片高清在线观看| 直男gayav资源| 色综合婷婷激情| 亚洲第一区二区三区不卡| 在线观看一区二区三区| 亚洲av一区综合| 亚洲人成网站在线播| 精品一区二区三区人妻视频| 女人十人毛片免费观看3o分钟| 精品国内亚洲2022精品成人| 搡老岳熟女国产| 一本久久中文字幕| 欧美人与善性xxx| 99热网站在线观看| 亚洲成人久久爱视频| 欧美日韩瑟瑟在线播放| 国产精品一区二区三区四区久久| 一级av片app| 日本黄大片高清| 超碰av人人做人人爽久久| 又爽又黄a免费视频| 免费在线观看影片大全网站| 亚洲最大成人av| 欧美成人免费av一区二区三区| .国产精品久久| 床上黄色一级片| 性欧美人与动物交配| 小说图片视频综合网站| АⅤ资源中文在线天堂| 中出人妻视频一区二区| 精品人妻偷拍中文字幕| 简卡轻食公司| 1000部很黄的大片| 99精品久久久久人妻精品| 成人特级黄色片久久久久久久| 欧美黑人巨大hd| 欧美激情久久久久久爽电影| av视频在线观看入口| 搞女人的毛片| 欧美日韩乱码在线| 欧美精品啪啪一区二区三区| 日本免费a在线| 在线国产一区二区在线| 黄色视频,在线免费观看| 午夜视频国产福利| 欧美日韩中文字幕国产精品一区二区三区| 99久久精品热视频| 一本精品99久久精品77| 88av欧美| 成人一区二区视频在线观看| 亚洲av日韩精品久久久久久密| 国产av麻豆久久久久久久| 99在线人妻在线中文字幕| 亚洲欧美日韩高清在线视频| 国产男人的电影天堂91| 人妻丰满熟妇av一区二区三区| 美女黄网站色视频| 黄色欧美视频在线观看| 国产av不卡久久| 亚洲av成人精品一区久久| 99热只有精品国产| 精品一区二区三区av网在线观看| 九色成人免费人妻av| 淫妇啪啪啪对白视频| 高清日韩中文字幕在线| 久久人妻av系列| 日韩欧美三级三区| 亚洲三级黄色毛片| 麻豆国产97在线/欧美| 亚洲欧美日韩高清在线视频| 精品久久国产蜜桃| 欧美日本视频| 制服丝袜大香蕉在线| 日日摸夜夜添夜夜添av毛片 | 女人被狂操c到高潮| 色在线成人网| 亚洲精品456在线播放app | 天堂影院成人在线观看| 亚洲精品色激情综合| 国产 一区 欧美 日韩| 免费av毛片视频| 亚洲第一电影网av| 91麻豆精品激情在线观看国产| 亚洲天堂国产精品一区在线| 波多野结衣高清作品| 久久久精品大字幕| 久久精品综合一区二区三区| 在线国产一区二区在线| 免费不卡的大黄色大毛片视频在线观看 | 午夜免费男女啪啪视频观看 | 久久婷婷人人爽人人干人人爱| 亚洲av免费高清在线观看| 亚洲在线观看片| 久久精品久久久久久噜噜老黄 | 亚洲熟妇中文字幕五十中出| 99热精品在线国产| 欧美性猛交黑人性爽| 国产亚洲精品综合一区在线观看| 校园人妻丝袜中文字幕| 国产精品一区二区三区四区免费观看 | 午夜福利视频1000在线观看| 国产高清视频在线播放一区| 热99re8久久精品国产| 午夜福利在线在线| 国产单亲对白刺激| avwww免费| 欧美高清性xxxxhd video| 色综合亚洲欧美另类图片| 老女人水多毛片| 十八禁网站免费在线| 国产伦精品一区二区三区四那| 国产精品日韩av在线免费观看| 麻豆一二三区av精品| 九九热线精品视视频播放| 天堂av国产一区二区熟女人妻| 久久精品综合一区二区三区| 成人永久免费在线观看视频| 一个人观看的视频www高清免费观看| 国产高清不卡午夜福利| 国产亚洲av嫩草精品影院| 1000部很黄的大片| 99热这里只有是精品在线观看| 日本色播在线视频| 国产久久久一区二区三区| 我的女老师完整版在线观看| 日韩一区二区视频免费看| 亚洲无线在线观看| 搞女人的毛片| videossex国产| 国产熟女欧美一区二区| 国产精品美女特级片免费视频播放器| 亚洲成人精品中文字幕电影| 欧美国产日韩亚洲一区| 久久人人爽人人爽人人片va| 午夜免费男女啪啪视频观看 | 色av中文字幕| 久久久久久伊人网av| 国内精品久久久久精免费| 成人特级av手机在线观看| 中文资源天堂在线| 日本a在线网址| 99久久九九国产精品国产免费| 最后的刺客免费高清国语| 国产免费一级a男人的天堂| 精品无人区乱码1区二区| 91av网一区二区| 精品午夜福利视频在线观看一区| 色吧在线观看| 看黄色毛片网站| 亚洲av一区综合| 婷婷亚洲欧美| 一本一本综合久久| 2021天堂中文幕一二区在线观| 中出人妻视频一区二区| 久久中文看片网| 成人综合一区亚洲| 乱人视频在线观看| 亚洲精品一卡2卡三卡4卡5卡| 久久久久九九精品影院| 免费在线观看影片大全网站| 99久久无色码亚洲精品果冻| 简卡轻食公司| 人妻夜夜爽99麻豆av| 春色校园在线视频观看| 日本熟妇午夜| 99九九线精品视频在线观看视频| 可以在线观看毛片的网站| 国产私拍福利视频在线观看| 亚洲精品456在线播放app | 日本爱情动作片www.在线观看 | 国产免费男女视频| 国产一区二区亚洲精品在线观看| 国产又黄又爽又无遮挡在线| 男人舔女人下体高潮全视频| 亚洲图色成人| 亚州av有码| 国产激情偷乱视频一区二区| 成人午夜高清在线视频| 午夜福利在线观看免费完整高清在 | 国产男人的电影天堂91| 91在线观看av| 亚洲国产精品成人综合色| 国产老妇女一区| 成人性生交大片免费视频hd| 美女大奶头视频| 精品人妻一区二区三区麻豆 | 欧美激情在线99| 日韩中文字幕欧美一区二区| 热99re8久久精品国产| 亚洲成人中文字幕在线播放| 99久久成人亚洲精品观看| 国产精品人妻久久久影院| 免费av观看视频| 国产精品女同一区二区软件 | bbb黄色大片| 搡老岳熟女国产| 国产又黄又爽又无遮挡在线| 露出奶头的视频| 亚洲最大成人中文| 亚洲四区av| 国产男靠女视频免费网站| 国产精品久久电影中文字幕| 欧美黑人欧美精品刺激| 国产毛片a区久久久久| 久久国内精品自在自线图片| 久久人人精品亚洲av| av黄色大香蕉| 亚洲最大成人av| 国产精品98久久久久久宅男小说| av女优亚洲男人天堂| 国产午夜精品久久久久久一区二区三区 | 国产真实乱freesex| 搡老岳熟女国产| 亚洲在线自拍视频| 日本免费a在线| 亚洲专区国产一区二区| 熟女人妻精品中文字幕| 一级a爱片免费观看的视频| 乱码一卡2卡4卡精品| 噜噜噜噜噜久久久久久91| 亚洲精品一卡2卡三卡4卡5卡| 熟女人妻精品中文字幕| 国内揄拍国产精品人妻在线| 国产激情偷乱视频一区二区| 夜夜爽天天搞| 91午夜精品亚洲一区二区三区 | 亚洲精品粉嫩美女一区| 伦精品一区二区三区| 嫁个100分男人电影在线观看| av中文乱码字幕在线| 久久久久精品国产欧美久久久| 亚洲无线在线观看| 又紧又爽又黄一区二区| 麻豆精品久久久久久蜜桃| 久久久久久伊人网av| 亚洲午夜理论影院| 欧美xxxx黑人xx丫x性爽| 日韩欧美国产一区二区入口| 又爽又黄a免费视频| 嫩草影院精品99| 亚洲精华国产精华液的使用体验 | 久久香蕉精品热| 一边摸一边抽搐一进一小说| 国产精品亚洲一级av第二区| 亚洲精华国产精华精| 99视频精品全部免费 在线| 亚洲精华国产精华精| 波野结衣二区三区在线| 性色avwww在线观看| 国产午夜精品论理片| 国产精品女同一区二区软件 | 国产精品人妻久久久影院| 欧美另类亚洲清纯唯美| 3wmmmm亚洲av在线观看| 中文字幕免费在线视频6| 日本色播在线视频| 乱系列少妇在线播放| 国产精品综合久久久久久久免费| 国产欧美日韩一区二区精品| 精品人妻偷拍中文字幕| 国产视频内射| 亚洲成人精品中文字幕电影| 国产中年淑女户外野战色| 亚洲乱码一区二区免费版| 亚洲一区高清亚洲精品| 国产午夜精品久久久久久一区二区三区 | 婷婷色综合大香蕉| 蜜桃亚洲精品一区二区三区| 亚洲成人中文字幕在线播放| 校园春色视频在线观看| 99热网站在线观看| 啦啦啦观看免费观看视频高清| 精品久久国产蜜桃| av在线亚洲专区| 亚洲aⅴ乱码一区二区在线播放| 国产老妇女一区| 别揉我奶头~嗯~啊~动态视频| 午夜福利18| 精品久久久久久久久久免费视频| 成人午夜高清在线视频| 亚洲 国产 在线| 国产大屁股一区二区在线视频| 国产伦人伦偷精品视频| 午夜福利高清视频| 成年女人毛片免费观看观看9| 日本 av在线| 国产成人a区在线观看| 久久人人爽人人爽人人片va| 国产亚洲精品综合一区在线观看| 欧美成人性av电影在线观看| av天堂中文字幕网| 桃红色精品国产亚洲av| 麻豆成人av在线观看| 亚洲最大成人手机在线| 国产精品久久久久久亚洲av鲁大| 中出人妻视频一区二区| 亚洲综合色惰| 成人欧美大片| 观看美女的网站| 国语自产精品视频在线第100页| 久久九九热精品免费| 久久欧美精品欧美久久欧美| 久久精品国产99精品国产亚洲性色| 日韩欧美一区二区三区在线观看| 尾随美女入室| av女优亚洲男人天堂| 久久精品国产自在天天线| a级一级毛片免费在线观看| 国产成人影院久久av| 国产精品无大码| 免费观看精品视频网站| 欧美成人a在线观看| 一区二区三区高清视频在线| 又爽又黄a免费视频| 日本a在线网址| 日韩欧美国产一区二区入口| 久久久精品大字幕| 色精品久久人妻99蜜桃|