• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能時(shí)代的刑法問題與應(yīng)對思路

    2019-01-26 22:50:06王燕玲
    政治與法律 2019年1期
    關(guān)鍵詞:刑罰刑法犯罪

    王燕玲

    (華南師范大學(xué)法學(xué)院,廣東廣州510006)

    2017年被稱為我國人工智能時(shí)代的“元年”,人工智能技術(shù)、應(yīng)用以及政策扶持、理論研究等引起社會(huì)熱切關(guān)注,傳統(tǒng)法律體系轉(zhuǎn)型的時(shí)代命題也應(yīng)運(yùn)而生。目前,刑法理論界對“人工智能+刑法”的命題已展開初步的討論。例如,有觀點(diǎn)認(rèn)為,人工智能具有超人類的屬性,人工智能技術(shù)存在重大的制度性風(fēng)險(xiǎn),對人類社會(huì)與人的主體地位形成威脅。在人工智能時(shí)代,智能機(jī)器人的出現(xiàn),會(huì)逐漸侵蝕傳統(tǒng)刑法體系中“人”的主體性,有關(guān)刑法的存在基礎(chǔ)、功能意義、任務(wù)與功能等內(nèi)容,都可能受到深刻的影響,人工智能社會(huì)與智能時(shí)代的刑法可能隨之出現(xiàn)。①參見孫道萃:《人工智能對傳統(tǒng)刑法的挑戰(zhàn)》,《檢察日報(bào)》2017年10月22日。也有觀點(diǎn)認(rèn)為,在人工智能時(shí)代,隨著智能機(jī)器人的出現(xiàn),傳統(tǒng)的刑事責(zé)任理論陷入被動(dòng),追究智能機(jī)器人的刑事責(zé)任是一個(gè)新的技術(shù)與理論難題。②參見高奇琦、張鵬:《論人工智能對未來法律的多方位挑戰(zhàn)》,《華中科技大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)》2018年第1期。應(yīng)該說,這些初步的探索具有一定的前瞻性與現(xiàn)實(shí)意義,既突出強(qiáng)調(diào)了智能時(shí)代對“人的主體性地位”的影響以及由此對傳統(tǒng)刑法的多重作用,也暗含了傳統(tǒng)刑法理論體系等需要積極響應(yīng)并作出調(diào)整(譬如解決刑事責(zé)任問題)的意義。

    當(dāng)前,鑒于人工智能技術(shù)時(shí)代帶來的重大影響,關(guān)于人工智能時(shí)代的刑法命運(yùn)問題的研究,迫切需要聚焦以下幾個(gè)方面。一是人工智能技術(shù)背景下的智能主體(智能機(jī)器人、智能產(chǎn)品等)的刑法地位,主要涉及其是否具有刑事責(zé)任能力、是否屬于當(dāng)代刑法意義上的一種新的犯罪主體,以及由此對“人”作為犯罪主體的傳統(tǒng)格局的影響。這一問題具有基礎(chǔ)性和全局性,左右后續(xù)問題的解決。二是在人工智能技術(shù)的廣泛應(yīng)用背景下,智能產(chǎn)品等智能時(shí)代的“主體”是否需要承擔(dān)刑事責(zé)任以及如何對其追究刑事責(zé)任,進(jìn)而要求傳統(tǒng)刑事歸責(zé)理論作出合理的改變。三是人工智能時(shí)代下的新型犯罪有別于傳統(tǒng)犯罪,對其施加的刑事制裁也應(yīng)作出調(diào)整,傳統(tǒng)的刑罰措施與刑罰體系迎來裂變。四是積極推動(dòng)當(dāng)代刑法理論體系與人工智能時(shí)代的呼應(yīng)。這不僅是刑法理論研究的新增長點(diǎn),也是當(dāng)代刑法立法的重要內(nèi)容。

    一、人工智能時(shí)代的犯罪主體蛻變

    在人工智能時(shí)代,智能主體的智能化程度不斷升高,其最終結(jié)果是與“人”可以媲美甚至超越人的智能,這就直接從根本上沖擊“人”作為犯罪主體的刑法地位,也引發(fā)了智能主體是否可以成為犯罪主體及其客觀的影響等一系列問題。

    (一)智能犯罪主體的地位

    目前,鑒于人工智能技術(shù)的本質(zhì)就是基于“算法”而形成的高度智能化屬性,由此確立的智能主體,在不斷接近人類的智能之際,其主體性問題也必然出現(xiàn)。它是指智能主體是否與人無差異、是否可以作為一種犯罪主體而存在的問題。

    目前,關(guān)于新興智能主體可能的未來刑法地位,主要觀點(diǎn)如下。其一,電子人。該觀點(diǎn)認(rèn)為,人工智能的主要特征是智能化,在智能程度不斷升高后,智能主體逐步具有自主性、主動(dòng)性,不再是完全受人支配的行為客體、制造產(chǎn)品等,法律應(yīng)設(shè)定為“電子人”。③參見郭少飛:《“電子人”法律主體論》,《東方法學(xué)》2018年第3期。其二,有限的法律擬制主體。該觀點(diǎn)認(rèn)為,從刑法的角度看,智能機(jī)器人及更廣義的人工智能主體并不具備法律的主體資格與地位。相比之下,賦予智能機(jī)器人具有民事領(lǐng)域的主體地位,并不存在法律技術(shù)障礙。在現(xiàn)有條件下,關(guān)于智能機(jī)器人是否具有法律人格的討論,當(dāng)前需要結(jié)合現(xiàn)行有效的法律規(guī)定,根據(jù)解釋論的基礎(chǔ)和限度,在堅(jiān)持人工智能為客體的原則下,運(yùn)用擬制的法律技術(shù),將特定情形下的人工智能認(rèn)定為法律主體。④參見陳吉棟:《論機(jī)器人的法律人格基于法釋義學(xué)的討論》,《上海大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)》2018年第3期。其三,分階段的法律主體類型。該觀點(diǎn)認(rèn)為,從法理的角度看,自主意識和獨(dú)立的意思表示是法律主體應(yīng)當(dāng)具備的必要條件,財(cái)產(chǎn)是主體承擔(dān)法律責(zé)任的物質(zhì)基礎(chǔ),并為賦予法律主體資格提供了可行性。初期的人工智能仍屬于“行為”工具的范疇,自主智能機(jī)器人的“自主意識”和“表意能力”以及“人性化”是賦予智能機(jī)器人取得法律人格的必要條件。在智能時(shí)代的后期,人工智能作為工具論以及作為法律擬制的主體等,將漸次成為智能機(jī)器人的法律人格形式。⑤參見孫占利:《智能機(jī)器人法律人格問題論析》,《東方法學(xué)》2018年第3期。其四,有限的法律主體人格。該觀點(diǎn)認(rèn)為,人工智能具有獨(dú)立自主的行為能力,有資格享有法律權(quán)利并履行義務(wù)和承擔(dān)責(zé)任,人工智能應(yīng)當(dāng)具有法律人格。不過,由于人工智能承擔(dān)行為能力的后果有限,人工智能適用特殊的法律規(guī)范與侵權(quán)責(zé)任體系安排,其具有的法律人格是有限的法律人格,域外對此已有立法上的嘗試。⑥參見袁曾:《人工智能有限法律人格審視》,《東方法學(xué)》2017年第5期。

    總體上看,關(guān)于正在形成的人工智能主體是否應(yīng)當(dāng)具有法律主體資格,上述四種看法總體上均持肯定的立場,并以限制的法律主體為主要立場,同時(shí),也側(cè)重根據(jù)人工智能技術(shù)的發(fā)展階段對人工智能主體的法律地位進(jìn)行動(dòng)態(tài)判斷和劃分。

    應(yīng)該說,以上四種觀點(diǎn),各有其可取之處。它們的共同之處在于,基于技術(shù)發(fā)展與現(xiàn)實(shí)需要的情況,理性地、有限制地明確肯定人工智能主體應(yīng)當(dāng)具備法律主體的資格,進(jìn)而認(rèn)為其也可以作為刑法意義上的犯罪主體。同時(shí),上述觀點(diǎn)的主張者認(rèn)為,在目前的智能技術(shù)以及應(yīng)用背景下,賦予人工智能體完全與人一樣的法律主體資格,在技術(shù)上不夠現(xiàn)實(shí),在實(shí)踐中也難以把控。基于這些考慮,他們提出根據(jù)人工智能技術(shù)的發(fā)展階段,確立不同類型的人工智能體及其法律資格、行為能力等的做法,是貼合實(shí)際的。

    然而,上述觀點(diǎn)中存在的共同問題在于以下幾方面。其一,只肯定應(yīng)然層面的必要性是不夠的。在討論人工智能體的法律資格與地位的問題上,不能僅僅根據(jù)人工智能技術(shù)的發(fā)展趨勢,進(jìn)而基于智能技術(shù)及其應(yīng)用過程中所呈現(xiàn)出的“智能現(xiàn)象”,主張?jiān)趹?yīng)然層面上要確認(rèn)智能主體的法律地位。這是過于簡化的討論,因?yàn)橹悄芗夹g(shù)與刑法的對接并非直接相通的關(guān)系,而是復(fù)雜的邏輯轉(zhuǎn)換問題。只有實(shí)定法明確了科學(xué)合理的對接原則、規(guī)則以及標(biāo)準(zhǔn)后,才能在實(shí)然層面討論這些問題。否則,更多的是空談,無法在刑法層面解決可操作性等問題。其二,要區(qū)分智能主體在一般意義與刑法語境中的差異。從智能主體的行為環(huán)境看,一般意義上的智能主體,和刑法意義上的智能主體,是存在差異的。這主要是因?yàn)樾谭ㄔu價(jià)智能主體的行為及其責(zé)任等問題時(shí),是立足于規(guī)范層面,遵循法定原則,并且對象是人及其實(shí)施的行為。因此,不能將一般意義上的智能主體及其法律主體資格問題,直接用于刑法意義之上,而應(yīng)結(jié)合實(shí)際情況進(jìn)行分析和判斷。其三,要準(zhǔn)確把握刑法意義上的智能主體所應(yīng)具備的基本條件。作為刑法意義上的智能主體,它必須滿足刑法所規(guī)定的條件和要素。在傳統(tǒng)刑法理治中,犯罪主體的關(guān)鍵要素是刑事責(zé)任能力,并主要通過人的心理因素與生理因素來進(jìn)行雙重判斷。對于智能主體而言,盡管其與傳統(tǒng)的人作為犯罪主體是有差異的,但是在人工智能的初期階段,從法理上仍可以參照適用。

    基于此,可以看出的是,在討論智能主體是否具備刑法中的主體資格問題時(shí),仍需要回歸到規(guī)范刑法學(xué)層面,嘗試探討智能主體的刑事責(zé)任能力等規(guī)范要素。盡管其可能不是最好的辦法,但它目前是適當(dāng)?shù)臋?quán)宜之計(jì)。

    (二)智能主體的刑事責(zé)任能力

    按照傳統(tǒng)刑法理論,犯罪主體以具備刑事責(zé)任能力為前提,犯罪主體通常是自然人,但也包括法律擬制的法人。對于智能主體而言,對其特定層面上的刑事責(zé)任能力的考察,也不妨成為判斷智能主體地位的一個(gè)重要突破口。

    我國刑法理論研究者較早地意識到刑事責(zé)任能力對判斷智能主體的地位的重要作用,并形成了以下判斷的方法。其一,以人工智能產(chǎn)品的智能強(qiáng)弱度作為評價(jià)系數(shù)。人工智能技術(shù)是基于“算法”而推進(jìn)的,其目標(biāo)是與“人的智能”高度接近或者完全超越“人的智能”。因而,不同人工智能技術(shù)或階段,所確立的智能水平或程度是不同的。由此,可以根據(jù)智能程度,對智能主體進(jìn)行劃分。易言之,人工智能技術(shù)是不斷發(fā)展的,從其應(yīng)用的角度看,不同類型的人工智能體,主要差異在于智能程度的繁簡。例如,有觀點(diǎn)認(rèn)為,人工智能產(chǎn)品作為目前高度智能化的現(xiàn)實(shí)載體,可以根據(jù)其是否具有辨認(rèn)能力和控制能力,將其區(qū)分為弱人工智能產(chǎn)品與強(qiáng)人工智能產(chǎn)品。前者在設(shè)計(jì)和編制的程序范圍內(nèi),可以獨(dú)立判斷,可以自主作出決策,但歸根結(jié)底,仍然是設(shè)計(jì)者或使用者的意志,缺乏刑法意義上的辨認(rèn)能力和控制能力。后者在設(shè)計(jì)和編制的程序范圍內(nèi),可以獨(dú)立判斷,可以自主作出決策,實(shí)現(xiàn)設(shè)計(jì)者或使用者的意志,也可以超出設(shè)計(jì)和編制的程序設(shè)定的范圍,進(jìn)行自主決策,基于自身的獨(dú)立意志實(shí)施相應(yīng)行為,因而整體上都具有辨認(rèn)能力和控制能力。⑦參見劉憲權(quán):《人工智能時(shí)代刑事責(zé)任與刑罰體系的重構(gòu)》,《政治與法律》2018年第3期。其二,刑事責(zé)任年齡的“功能類比”路徑。不同的智能產(chǎn)品,其智能化的程度也不同,由此,智能化程度是最基本的技術(shù)差異特征,它的作用類似于判斷刑事責(zé)任能力及其程度的刑事責(zé)任年齡。從技術(shù)本身以及判斷系統(tǒng)的可行性而言,需要一套符合實(shí)際且便于操作的智能評判標(biāo)準(zhǔn),評價(jià)主體可以是研發(fā)者及行業(yè)技術(shù)人員,目的是為了對智能產(chǎn)品的智能化程度采取技術(shù)認(rèn)定,通過類比來判斷人工智能產(chǎn)品的智能化程度與刑事責(zé)任年齡的匹配性。人工智能產(chǎn)品的智能水平很低,則類似于完全無刑事責(zé)任狀態(tài),也就是普通機(jī)器。人工智能產(chǎn)品的智能水平較高,則類似于相對有刑事責(zé)任狀態(tài)。智能水平很高,則類似于完全有刑事責(zé)任階段。⑧參見馬治國、田小楚:《論人工智能體刑法適用之可能性》,《華中科技大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)》2018年第2期。其三,域外立法的正面參考。俄羅斯的“格里申法案”主張,雖然機(jī)器人與現(xiàn)實(shí)的動(dòng)物相似,是特定相似性的財(cái)產(chǎn),但根據(jù)機(jī)器人的發(fā)展趨勢,它也可能成為人類的自主代理人。關(guān)于機(jī)器人的地位及其規(guī)制問題,應(yīng)當(dāng)兼顧傳統(tǒng)法律對動(dòng)物和法人的調(diào)整思路。機(jī)器人具有特殊的法律構(gòu)造,可以類推適用統(tǒng)一國家法人登記簿,并創(chuàng)設(shè)機(jī)器人登記簿。⑨參見張建文:《格里申法案的貢獻(xiàn)與局限》,www.iolaw.org.cn,2018年8月7日訪問?!案窭锷攴ò浮睂C(jī)器人的定義具有一定的過渡性,同時(shí),“格里申法案”中的機(jī)器人作為法律調(diào)整的對象要素,具有高度的智能性和自主性,與歐洲議會(huì)制定的《機(jī)器人民法規(guī)范》(2017年)所使用的“智能自主機(jī)器人”的通用定義很接近,具備通過數(shù)據(jù)獲取的自主能力、物理支持形式和調(diào)整自身行為以適應(yīng)環(huán)境的能力等。⑩參見上注,張建文文。

    以上三種不同的看法,所立足的角度各有其合理性。應(yīng)當(dāng)肯定的是,從智能程度的角度進(jìn)行分析是最直接和有效的方式。從技術(shù)的評價(jià)角度看,可以將人工智能技術(shù)的應(yīng)用發(fā)展分為弱人工智能、強(qiáng)人工智能和超人工智能三個(gè)階段,目前應(yīng)當(dāng)還處于弱人工智能階段。通過這種方式還可以更客觀地判斷智能主體是否具有刑事責(zé)任能力及其程度。基于這種考慮,從傳統(tǒng)刑事責(zé)任能力的判斷路徑出發(fā),以“刑事責(zé)任年齡”進(jìn)行類比分析,也是一條可行的探索路徑。同時(shí),從域外法的立場出發(fā),既然有國家和地區(qū)啟動(dòng)立法,并對智能主體的法律資格和地位作出明確規(guī)定,則意味著從法理上可以擬制智能主體的法律資格,進(jìn)而也可以在刑法層面擬制智能主體的刑事責(zé)任能力及其程度、類型等。

    筆者認(rèn)為,在人工智能技術(shù)深入發(fā)展的背景下,對于發(fā)展?fàn)顟B(tài)中的不同智能主體,其是否具有刑事責(zé)任能力的問題,應(yīng)當(dāng)從更廣闊的多角度進(jìn)行綜合的分析和判斷。其一,在人工智能的初期階段,運(yùn)用傳統(tǒng)刑法原理進(jìn)行分析有其合理性與可行性。盡管從長遠(yuǎn)看,人工智能時(shí)代與傳統(tǒng)社會(huì)是漸行漸遠(yuǎn)的關(guān)系,以傳統(tǒng)社會(huì)為基礎(chǔ)的當(dāng)代刑法體系,并不直接適用于智能時(shí)代的犯罪問題,但是,考慮到當(dāng)前仍處于人工智能時(shí)代的初期階段,而且這場變革耗時(shí)漫長,可以肯定的是,當(dāng)代刑法在很長時(shí)期都是有效的,可以發(fā)揮非常重要的作用。易言之,當(dāng)代刑法原理仍然是認(rèn)識智能時(shí)代和解決智能犯罪問題的重要工具。有鑒于此,在解決智能主體是否具有相應(yīng)的法律資格等問題上,也不宜斷然拋棄當(dāng)代刑法體系,討論刑事責(zé)任能力問題是必要且可行的,有助于分析智能主體的刑法地位問題。其二,人工智能技術(shù)及其所達(dá)到的智能程度是最基礎(chǔ)的技術(shù)標(biāo)準(zhǔn)與依據(jù)。應(yīng)當(dāng)明確的是,目前的智能主體仍以人類社會(huì)為存在基礎(chǔ),但智能主體已經(jīng)橫跨于智能時(shí)代,未來可能專屬于智能時(shí)代。因此,智能主體的首要特征是“技術(shù)”問題,其次是與之高度關(guān)聯(lián)的智能程度問題。在考察智能主體的法律資格及其行為能力時(shí),也需要立足于智能技術(shù)這一首要因素,圍繞智能程度這一關(guān)鍵問題,展開相應(yīng)的討論,否則有可能偏離問題的實(shí)質(zhì)。其三,弱人工智能產(chǎn)品與強(qiáng)人工智能產(chǎn)品的區(qū)分有一定的視野狹隘性。目前,在刑法理論上,區(qū)分弱與強(qiáng)人工智能產(chǎn)品的觀點(diǎn)是被較早明確提出的,同時(shí),其也提供了一種類型化的思考方向,為當(dāng)前如何分析智能主體、智能犯罪的責(zé)任等問題,提供了有益的視角。然而,這種看法具有一定的“先入為主”的缺陷。從智能主體的發(fā)展趨勢看,智能主體并不是簡單的“產(chǎn)品”,如此分類嚴(yán)重降低了智能主體的“獨(dú)立性”,也從語言邏輯上默認(rèn)了智能主體從屬于人類社會(huì),并且,從智能技術(shù)層面看,強(qiáng)與弱的技術(shù)判斷并非易事,兩者的界限也不是涇渭分明的,故這種類型化思考未必貼近實(shí)際情況。更重要的是,根據(jù)智能程序來區(qū)分強(qiáng)與弱,其實(shí)質(zhì)仍然是對智能程度的一種判斷,強(qiáng)與弱的劃分是比較簡化的思考方式。其四,要在“技術(shù)+刑法”的原則下對智能主體的刑事責(zé)任能力問題進(jìn)行綜合性、比較性分析。在考察智能主體的刑事責(zé)任能力問題時(shí),應(yīng)當(dāng)堅(jiān)持“技術(shù)+刑法”的綜合性原則,對智能主體的智能程度及其類型進(jìn)行理性分析,從而建立起層次分明的智能主體格局,同時(shí),也可以適當(dāng)參考域外的立法及相關(guān)做法,但應(yīng)當(dāng)立足于我國智能技術(shù)的發(fā)展及其應(yīng)用情況。

    (三)智能主體的刑法地位及其影響

    在人類社會(huì)中,人是最重要的存在基礎(chǔ),也是占據(jù)主導(dǎo)地位的行動(dòng)主體。從近現(xiàn)代刑法的發(fā)展史看,保障人權(quán)作為其核心命題,正是圍繞加害人與被害人以及受之影響的國家、社會(huì)而展開的。然而,在智能時(shí)代,智能主體的出現(xiàn),不僅打破這種長期以來的制度平衡關(guān)系,而且對傳統(tǒng)刑法的發(fā)展與走向產(chǎn)生了深刻的影響。

    1.實(shí)施犯罪與承擔(dān)刑事責(zé)任的能力

    從邏輯上看,自然人具有刑事責(zé)任能力是其作為犯罪主體的基本前提,相應(yīng)地,智能機(jī)器人是否具有刑事責(zé)任能力,是其成為刑事責(zé)任主體的關(guān)鍵前提。①參見高銘暄、馬克昌主編:《刑法學(xué)》(第七版),北京大學(xué)出版社、高等教育出版社2016年版,第85頁。目前,智能機(jī)器人可以通過深度學(xué)習(xí),逐步確認(rèn)自主意識和自我意志,從而,智能機(jī)器人可以超出研發(fā)者與設(shè)計(jì)者所設(shè)計(jì)和編制的程序范圍,獨(dú)立實(shí)施危害行為。獨(dú)立的辨認(rèn)能力和控制能力是其基礎(chǔ)。智能機(jī)器人具備獨(dú)立的辨認(rèn)能力和控制能力,則意味著具有和“人”一樣的刑事責(zé)任能力。智能機(jī)器人可以是獨(dú)立的刑事責(zé)任主體,實(shí)施了嚴(yán)重危害社會(huì)的犯罪行為,應(yīng)當(dāng)承擔(dān)刑事責(zé)任。②參見劉憲權(quán)、朱彥:《人工智能時(shí)代對傳統(tǒng)刑法理論的挑戰(zhàn)》,《上海政法學(xué)院學(xué)報(bào)》2018年第2期。

    換言之,在智能技術(shù)的“算法”邏輯中,智能主體是完全具備獨(dú)立性與自主性,但其前提是不脫離智能技術(shù)所處的社會(huì)環(huán)境和基礎(chǔ)。同時(shí),不能直接套用人類社會(huì)的“固見”進(jìn)行“同質(zhì)化”思考,而需要切換社會(huì)背景與話語體系,肯定人工智能社會(huì)的獨(dú)立性,進(jìn)而肯定智能主體的獨(dú)立性。當(dāng)然,智能主體畢竟不是“人類”,也不可能真正做到完全等同的思考與判斷,但在實(shí)施犯罪和承擔(dān)刑事責(zé)任的能力問題上可以進(jìn)行“等價(jià)”判斷。同時(shí),這套判斷體系是獨(dú)立的,其基本的組成要素、判斷規(guī)則以及標(biāo)準(zhǔn)等,都需要立足于智能技術(shù)的特征、智能時(shí)代的背景以及智能社會(huì)形態(tài)的規(guī)律。對于傳統(tǒng)刑事責(zé)任能力判斷所依賴的生理標(biāo)準(zhǔn)與心理標(biāo)準(zhǔn)是否可行與如何調(diào)整等,都是今后需要考慮的重要技術(shù)問題。

    2.機(jī)器人權(quán)利及其刑法保護(hù)

    人工智能技術(shù)的發(fā)展以及智能主體的推陳出新,迅速強(qiáng)化了智能主體的地位,相應(yīng)地,機(jī)器人是否擁有權(quán)利及其權(quán)利地位等問題相繼涌現(xiàn)。當(dāng)然,機(jī)器人的權(quán)利,不同于人類的“自然權(quán)利”,相比之下,智能主體的權(quán)利具有法律的擬制性、利他性、功能性等特殊性。目前,從智能技術(shù)及其應(yīng)用等因素看,機(jī)器人的權(quán)利主要有數(shù)據(jù)共享權(quán)、個(gè)體數(shù)據(jù)專有權(quán)、基于功能約束的自由權(quán)、獲得法律救濟(jì)權(quán)等。從法理上看,確立機(jī)器人的權(quán)利,對傳統(tǒng)法律體系與權(quán)利體系都有影響。從立法技術(shù)看,應(yīng)明確機(jī)器人權(quán)利的邊界及法律保留事項(xiàng)、加強(qiáng)法律與機(jī)器人倫理規(guī)范的銜接、建立機(jī)器人監(jiān)管機(jī)制。從技術(shù)發(fā)展的趨勢看,伴隨智能主體的智能程度及其地位的提升,必然出現(xiàn)智能主體的權(quán)利問題。

    智能機(jī)器人不僅可以作為未來的潛在犯罪主體,而且,作為人工智能社會(huì)的行為主體,智能機(jī)器人也同樣具有相應(yīng)的法律權(quán)利。盡管權(quán)利的內(nèi)涵與形式存在很大的差異,但不妨礙智能主體的地位與基本權(quán)利應(yīng)受到保護(hù)。作為擁有法律賦予的基本權(quán)利的智能主體,對智能主體進(jìn)行保護(hù)既是必要的,也是對其法律主體地位的一種維護(hù)。

    二、人工智能時(shí)代的刑事責(zé)任與基本思路

    在人工智能時(shí)代,犯罪主體身份的變動(dòng),也直接牽涉到其他犯罪構(gòu)成要件要素的整體變化。這不可避免地影響刑事歸責(zé)問題。對此,需要站在一個(gè)更契合人工智能時(shí)代的語境下展開更理性的討論,通過刑事歸責(zé)來遏制刑事風(fēng)險(xiǎn)問題。

    (一)利用智能主體實(shí)施犯罪

    人工智能技術(shù)是現(xiàn)代互聯(lián)網(wǎng)信息技術(shù)的下一個(gè)端口,從其刑事風(fēng)險(xiǎn)的類型看,利用人工智能技術(shù)本身及其應(yīng)用實(shí)施犯罪以及最具智能性的智能主體實(shí)施犯罪,是最常見的類型,其本質(zhì)是技術(shù)濫用作為一種犯罪工具,濫用主體應(yīng)當(dāng)承擔(dān)刑事責(zé)任。

    1.行為定性的路徑

    在人工智能時(shí)代的發(fā)展初期階段,智能程度偏低的人工智能產(chǎn)品等作為犯罪工具,被利用于實(shí)施嚴(yán)重危害社會(huì)的犯罪行為,可能涉及危害國家安全、國防利益、公共安全、社會(huì)管理秩序、經(jīng)濟(jì)秩序以及侵犯公民人身和財(cái)產(chǎn)等方面。同時(shí),從刑法角度看,行為人故意利用人工智能實(shí)施犯罪行為的刑事責(zé)任分析,都是在人工智能及其應(yīng)用對于行為人而言只是一種“智能工具”的情況下進(jìn)行的。

    對此,目前形成了以下不同的看法。其一,非犯罪工具化。不斷智能化的人工智能主體,具有深度學(xué)習(xí)、持續(xù)學(xué)習(xí)以及決策和行動(dòng)等能力。智能機(jī)器人自主行動(dòng)的,則可能造成對人類權(quán)利的損害。不過,人工智能所有者、生產(chǎn)者或程序開發(fā)者,不應(yīng)當(dāng)作為“替罪羊”,否則,對司法公正與技術(shù)創(chuàng)新都百害而無一利。③參見詹可:《人工智能法律人格問題研究》,《信息安全研究》2018年第4期。其二,犯罪工具化。在人類設(shè)計(jì)和編制的程序范圍內(nèi),智能機(jī)器人實(shí)施的行為,主要體現(xiàn)了人類的意志。智能機(jī)器人實(shí)施嚴(yán)重危害社會(huì)的犯罪行為,本質(zhì)是為了實(shí)現(xiàn)研發(fā)者或者使用者的犯罪意志,應(yīng)當(dāng)將該智能機(jī)器人看作研發(fā)者的“工具”,智能機(jī)器人本身不應(yīng)當(dāng)承擔(dān)刑事責(zé)任,智能機(jī)器人的研發(fā)者或者使用者才是真正的責(zé)任主體。如果研發(fā)者和使用者是不同的自然人或單位,則可以成立共同犯罪,但研發(fā)者或者使用者與智能機(jī)器人目前不能成立共同犯罪。④參見劉憲權(quán)、胡荷佳:《論人工智能時(shí)代智能機(jī)器人的刑事責(zé)任能力》,《法學(xué)》2018年第1期。

    以上的兩種思考,可以說是相互對立的,其分歧源自于對智能主體的“主體地位”有不同的認(rèn)識,從而也導(dǎo)致對是否存在利用智能主體實(shí)施犯罪的客觀情況有不同看法。目前,智能機(jī)器人通常不具有真正的獨(dú)立性,因而,其所實(shí)施的犯罪行為,往往是根據(jù)人類設(shè)計(jì)和編制的程序范圍而作出的。從犯罪本質(zhì)看,這其實(shí)是人類的意志之體現(xiàn),即使發(fā)生了嚴(yán)重危害社會(huì)的犯罪行為,智能機(jī)器人也只是一種“智能工具”,自身不需要承擔(dān)刑事責(zé)任,但利用的主體則不能例外。

    2.新型網(wǎng)絡(luò)罪名的解釋張力

    從刑法原理的角度看,對利用人工智能主體等實(shí)施犯罪的情形,進(jìn)行前瞻性的定性討論,具有積極的意義。然而,受制于理論、立法等滯后的因素,對其進(jìn)行相對獨(dú)立的定性分析可能效果不佳,對此,不妨從刑法解釋學(xué)的角度出發(fā),嘗試對現(xiàn)有的關(guān)于網(wǎng)絡(luò)犯罪的規(guī)定與人工智能時(shí)代需要刑法作回應(yīng)和調(diào)整的相關(guān)行為及其社會(huì)關(guān)系進(jìn)行比對性分析和解釋,取得包容性和一致性以后,可以按照我國現(xiàn)行刑法的規(guī)定對后者予以定罪量刑。

    《刑法修正案(九)》增加了我國《刑法》第286條之一、第287條之一、第287條之二。這是三個(gè)純正的網(wǎng)絡(luò)犯罪罪名,對網(wǎng)絡(luò)社會(huì)進(jìn)行不同層次的保護(hù)。對于利用人工智能主體實(shí)施犯罪的,從犯罪本質(zhì)以及犯罪的類型化特征看,與網(wǎng)絡(luò)“工具型”犯罪具有高度的相似性,因此,上述三個(gè)罪名的刑法解釋意義在于以下幾點(diǎn)。其一,《刑法修正案(九)》增設(shè)了我國《刑法》第286條之一,規(guī)定了拒不履行信息網(wǎng)絡(luò)安全管理義務(wù)罪,這是典型的網(wǎng)絡(luò)不作為犯罪,將違背法定作為義務(wù)的網(wǎng)絡(luò)危害行為予以犯罪化。⑤參見謝望原:《論拒不履行信息網(wǎng)絡(luò)安全管理義務(wù)罪》,《中國法學(xué)》2017年第2期。對于智能主體的研發(fā)者與設(shè)計(jì)者而言,明知負(fù)有相應(yīng)的研發(fā)與設(shè)計(jì)義務(wù),即遵循“算法”邏輯而科學(xué)、理性以及安全進(jìn)行研發(fā)與設(shè)計(jì)的義務(wù),而且具備履行這些法定義務(wù)的“技術(shù)能力”,在有關(guān)部門通知其應(yīng)當(dāng)及時(shí)糾正和修改的情況下,拒不履行法定的義務(wù),而且造成嚴(yán)重后果的,是一種典型的不作為犯罪,也危及智能主體安全,可以按照我國《刑法》第286條之一的規(guī)定予以處罰。其二,非法利用信息網(wǎng)絡(luò)罪。在互聯(lián)網(wǎng)犯罪時(shí)代,利用網(wǎng)絡(luò)實(shí)施犯罪是最常見的形態(tài),也是危害最廣泛的類型。對此,《刑法修正案(九)》增加了我國《刑法》第287條之一,規(guī)定了非法利用信息網(wǎng)絡(luò)罪。該罪將非法利用信息網(wǎng)絡(luò)的預(yù)備行為予以實(shí)行行為化,⑥參見孫道萃:《非法利用信息網(wǎng)絡(luò)罪的適用疑難與教義學(xué)表述》,《浙江工商大學(xué)大學(xué)學(xué)報(bào)》2018年第1期。對積極打擊“網(wǎng)絡(luò)手段型”犯罪及其前端的黑色產(chǎn)業(yè)鏈都有積極的作用。對于利用人工智能主體實(shí)施犯罪的,目前,在立法供給顯然跟不上的情況下,可以在必要時(shí)援引我國《刑法》第287條之一,對一些明顯屬于高度危險(xiǎn)的利用智能主體的預(yù)備行為的,情節(jié)嚴(yán)重的,予以定罪處罰。其三,我國《刑法》第287條之二規(guī)定的幫助信息網(wǎng)絡(luò)犯罪活動(dòng)罪被認(rèn)為是“共犯的正犯化”立法,將一些危害程度已經(jīng)超過正犯的行為予以獨(dú)立處罰,從而避免“共犯從屬性”理論所帶來的定罪障礙。⑦參見趙秉志:《中國刑法的最新修正》,《法治研究》2015年第6期。對于實(shí)施危害智能主體的犯罪,在實(shí)踐中,往往也需要相應(yīng)的技術(shù)支持與幫助。對于在明知的情況下,仍然提供相應(yīng)的技術(shù)支持與幫助的,如侵入和破壞智能程序的工具等,情節(jié)嚴(yán)重的,屬于需要獨(dú)立處罰的技術(shù)幫助行為,應(yīng)啟用“共犯的正犯化”的立法思維,通過援引我國《刑法》第287條之一的規(guī)定,結(jié)合具體情況,對這類犯罪進(jìn)行有效的打擊。

    (二)針對智能主體實(shí)施犯罪

    從類比的角度看,當(dāng)前不斷趨于嚴(yán)峻的網(wǎng)絡(luò)犯罪,在本質(zhì)上與人工智能時(shí)代的犯罪具有“相當(dāng)性”。換言之,智能主體可以是被害的對象,繼而也可能是需要保護(hù)的對象,因?yàn)檫@關(guān)系到智能時(shí)代的安全與有序,不過,如何對其加以保護(hù)需進(jìn)一步討論。

    1.研發(fā)者與使用者作為責(zé)任主體與預(yù)見義務(wù)的判斷

    對于人工智能初期階段,智能主體的研發(fā)者與設(shè)計(jì)者處于非常重要的地位,負(fù)有監(jiān)管的義務(wù)。根據(jù)我國《刑法》的規(guī)定,監(jiān)督過失犯罪的責(zé)任主體并不包含人工智能產(chǎn)品的研發(fā)者和使用者,也不包含人工智能產(chǎn)品本身,因此,對這類研發(fā)者和使用者而言,不能追究監(jiān)督過失的刑事責(zé)任。這可能是現(xiàn)行刑法應(yīng)對人工智能刑事風(fēng)險(xiǎn)的制度缺陷。⑧參見劉憲權(quán):《人工智能時(shí)代的刑事風(fēng)險(xiǎn)與刑法應(yīng)對》,《法商研究》2018年第1期。然而,從學(xué)理上看,研發(fā)者與設(shè)計(jì)者對于智能主體而言,具有不可替代的地位和作用,甚至目前處于“獨(dú)占”狀態(tài),應(yīng)當(dāng)是首要的“倫理責(zé)任者”與安全的“守護(hù)者”,也是智能主體所面臨的刑事風(fēng)險(xiǎn)的首要來源。

    在人工智能技術(shù)處于不斷發(fā)展的情況下,判斷人工智能的研發(fā)者和使用者是否對危害結(jié)果負(fù)有預(yù)見義務(wù),需要考慮人工智能研發(fā)或使用的當(dāng)時(shí)的人工智能技術(shù)發(fā)展水平。進(jìn)一步講,在判斷研發(fā)者或使用者的預(yù)見能力問題時(shí),人工智能技術(shù)的發(fā)展情況與水平是首要考慮因素??傮w上看,基于人工智能技術(shù)的發(fā)展情況,要么是可以避免危害結(jié)果的發(fā)生,要么是無法避免危害結(jié)果的發(fā)生。對此,存在以下觀點(diǎn)。其一,負(fù)有預(yù)見危害結(jié)果發(fā)生的義務(wù),可以避免危害結(jié)果的發(fā)生,因未預(yù)見而導(dǎo)致危害結(jié)果的發(fā)生,研發(fā)者或使用者成立一般過失犯罪,需要承擔(dān)相關(guān)刑事責(zé)任。其二,不負(fù)有預(yù)見義務(wù),無法避免危害結(jié)果的發(fā)生,不構(gòu)成一般過失犯罪。至于是否可以成立監(jiān)督過失犯罪,則先需要判斷研發(fā)者或使用者是否具有監(jiān)督義務(wù),只是目前的法律并未作出相應(yīng)的規(guī)定。⑨參見前注⑦,劉憲權(quán)文。這種看法有其合理性。從人工智能技術(shù)的開發(fā)與應(yīng)用看,設(shè)計(jì)者和研發(fā)者處于最前端,也是技術(shù)風(fēng)險(xiǎn)的掌控者,同時(shí)負(fù)有一定的事前安全管理義務(wù),因此,從邏輯上看,有承擔(dān)刑事責(zé)任的必要性和可能性。不過,對其追究監(jiān)督過失的刑事責(zé)任,是非常嚴(yán)苛的責(zé)任模式。例如,智能機(jī)器人的研發(fā)者與設(shè)計(jì)者往往不是個(gè)人而是一個(gè)團(tuán)隊(duì),這就涉及共同犯罪與單位犯罪問題。對于無法直接查明具體責(zé)任人員的,一旦作為犯罪處理,實(shí)際上是將共同過失犯罪以共同犯罪論處,這就需要改變刑法理論與立法。⑩參見劉明祥:《區(qū)分制理論解釋共同過失犯罪之弊端及應(yīng)然選擇》,《中國法學(xué)》2017年第3期。同時(shí),追究研發(fā)者與設(shè)計(jì)者的監(jiān)督過失責(zé)任,是以負(fù)有相應(yīng)的監(jiān)督義務(wù),如風(fēng)險(xiǎn)防范與控制、監(jiān)督、制止等不同的義務(wù)為前提的,這需要通過立法的方式予以明確。因而,在人工智能技術(shù)的初始階段,考慮到技術(shù)的中立性,仍需慎重進(jìn)行,更應(yīng)當(dāng)明確入罪的標(biāo)準(zhǔn)。

    2.傳統(tǒng)計(jì)算機(jī)犯罪罪名的解釋能力

    在現(xiàn)行我國刑法尚未對人工智能作出具體規(guī)定的條件下,對于針對智能主體實(shí)施的犯罪問題,在定性上,也可以援引網(wǎng)絡(luò)“對象型”犯罪規(guī)定,從而緩解“無法可依”的窘境。

    根據(jù)我國《刑法》第285條第1款的規(guī)定,非法侵入計(jì)算機(jī)信息系統(tǒng)罪的犯罪對象是僅限制于“國家事務(wù)、國防建設(shè)、尖端科學(xué)技術(shù)領(lǐng)域的計(jì)算機(jī)信息系統(tǒng)”,顯然,這無法與智能主體所依賴的智能程序、算法等內(nèi)容相匹配,因而,缺乏解釋的前提和基礎(chǔ),然而,其他的計(jì)算機(jī)犯罪罪名仍具有一定的解釋意義。首先,是非法獲取計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪。對于非法獲取人工智能技術(shù)或智能產(chǎn)品的應(yīng)用程序等行為,如果嚴(yán)重危害了智能主體的安全以及智能技術(shù)、智能時(shí)代的安全的,刑法有必要予以介入。從定罪的角度看,可以考慮依照我國《刑法》第285條第2款,以非法獲取計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪論處。這是因?yàn)橹悄苤黧w所依賴的技術(shù)或程序等,因其高度依附于具有主體資格與地位的智能主體,不宜視為一種財(cái)產(chǎn),從擴(kuò)張解釋的角度看,它更接近是一種智能數(shù)據(jù)。①參見孫道萃:《網(wǎng)絡(luò)財(cái)產(chǎn)性利益的刑法保護(hù):司法動(dòng)向與理論協(xié)同》,《政治與法律》2016年第9期?;诖?,目前階段可以援引第285條第2款,用于對這類犯罪進(jìn)行定罪時(shí)的應(yīng)急之用。其次,是提供侵入、非法控制計(jì)算機(jī)信息系統(tǒng)程序、工具罪。智能主體具有高度的智能性,而且研發(fā)與設(shè)計(jì)的過程都是高技術(shù)含量,也配有非常有嚴(yán)密的安全保障措施等,因此,實(shí)施危害智能主體的行為,也往往需要相應(yīng)的“技術(shù)優(yōu)勢”作為支撐,客觀上也就形成了一條黑色的犯罪利益鏈條。對于實(shí)施危害智能主體的犯罪行為的,如果有提供侵入或非法控制等違法程序、技術(shù)或者工具等的,是一種獨(dú)立的幫助他人實(shí)施犯罪的危害行為。在對這類犯罪進(jìn)行定性時(shí),可以依照我國《刑法》第285條第3款的規(guī)定,②參見黃太云:《〈刑法修正案(七)〉解讀》,《人民檢察》2009年第6期。更好地打擊黑色產(chǎn)業(yè)鏈條,同時(shí),也間接提高實(shí)施危害智能主體安全的犯罪行為的成本,繼而發(fā)揮積極預(yù)防的效果。最后,是破壞計(jì)算機(jī)信息系統(tǒng)罪。從智能技術(shù)的初期應(yīng)用階段的實(shí)際情況看,智能主體仍具有較為明顯的“人造屬性”,在技術(shù)層面上仍未擺脫其“行為客體”的屬性。相應(yīng)地,智能主體運(yùn)行或行動(dòng)所依賴的程序等,可以視為與計(jì)算機(jī)信息系統(tǒng)相類似的概念。因而,實(shí)施針對智能主體及其程序等的危害行為的,嚴(yán)重危害智能主體的正常運(yùn)行,情節(jié)嚴(yán)重的,可以依照我國《刑法》第286條的規(guī)定進(jìn)行論處。

    (三)智能主體獨(dú)立實(shí)施犯罪

    從人工智能技術(shù)發(fā)展的角度看,針對人工智能所設(shè)計(jì)和編制的程序,對于日益智能化的智能機(jī)器人而言,其控制能力將明顯下降。這也就意味著人類作為研發(fā)者與設(shè)計(jì)者,對智能主體的控制力也會(huì)不斷降低。相應(yīng)地,真正意義上的智能機(jī)器人在不久的將來可能出現(xiàn),其將完全具有獨(dú)立的辨認(rèn)能力與控制能力,完全可能按照自主意識和意志實(shí)施嚴(yán)重危害社會(huì)的犯罪行為,應(yīng)當(dāng)成為刑事責(zé)任的主體。由此可見,對智能機(jī)器人追究刑事責(zé)任,其關(guān)鍵前提是智能機(jī)器人可以作為刑法意義上的獨(dú)立犯罪主體。對此,有觀點(diǎn)認(rèn)為,意志自由存在與否對于刑事責(zé)任能力的認(rèn)定有重要的意義,智能機(jī)器人在設(shè)計(jì)和編制的程序范圍外實(shí)施行為,實(shí)現(xiàn)的是其自己而非研發(fā)者與設(shè)計(jì)者等外部人員的意志,相應(yīng)地,智能機(jī)器人的行為完全可能認(rèn)為是法律意義上的行為,今后刑法可以考慮在必要的時(shí)候,賦予智能機(jī)器人刑事責(zé)任主體的地位。③參見前注⑧,劉憲權(quán)文。應(yīng)該說,這是智能主體地位的發(fā)展趨勢,但問題在于,即使明確了智能主體的獨(dú)立地位,對其所實(shí)施的獨(dú)立犯罪,在立法無法跟上的情形下,對其進(jìn)行“定性分析”與“有效處罰”幾乎都不可能。同時(shí),從法理上看,即使肯定了智能主體的犯罪主體地位,仍需要解決的問題是智能主體自主實(shí)施的獨(dú)立行為,是否屬于刑法意義上的“危害行為”。對此,有觀點(diǎn)認(rèn)為,智能機(jī)器人在設(shè)計(jì)和編制的程序范圍外的行為,與傳統(tǒng)的“行為”相比,僅在人的生理因素上有差異,在實(shí)質(zhì)內(nèi)容上并無差異,因此,在設(shè)計(jì)和編制的程序范圍外實(shí)施的行為,可以視為是智能機(jī)器人獨(dú)立實(shí)施的新的刑法意義上的“行為”。④參見前注④,劉憲權(quán)、胡荷佳文。應(yīng)該說,在設(shè)計(jì)和編制的程序范圍外實(shí)施行為時(shí),如果智能機(jī)器人的行為實(shí)現(xiàn)的是自主意志而非他人意志,可以視為刑事責(zé)任主體。這是在人工智能的初期階段,基于智能程度的強(qiáng)與弱之差異,并特別對高強(qiáng)度的智能主體所作的一種身份預(yù)判,所得出結(jié)論也是合情合理的。同時(shí),根據(jù)設(shè)計(jì)與編制的程序范圍作為主要的衡量標(biāo)準(zhǔn),來判斷智能主體是否具有獨(dú)立的意志自由以及是否屬于獨(dú)立的主體,雖有一定的可操作性,但也有較為明顯的認(rèn)識狹隘性,既無形中默認(rèn)了智能主體依附于人這一制造者的客體特質(zhì),也限制了智能主體不斷趨于獨(dú)立的潛能。盡管如此,通過上述方式對智能主體獨(dú)立實(shí)施犯罪和承擔(dān)刑事責(zé)任問題的“論證”,仍可以為這類問題的司法應(yīng)對提供有益的方向。當(dāng)然,更重要的問題在于,在人工智能時(shí)代,傳統(tǒng)犯罪主體理論等問題可能會(huì)迎來一個(gè)很大幅度的動(dòng)蕩。⑤參見陳興良:《犯罪主體的消解——一個(gè)學(xué)術(shù)史的考察》,《環(huán)球法律評論》2011年第1期。如何妥善地處置該問題,直接關(guān)系到智能主體的刑法命運(yùn)。

    三、人工智能時(shí)代的刑事立法課題及其展開

    無論是刑法原理的拓展,還是刑法解釋學(xué)的展開,在回應(yīng)人工智能時(shí)代的挑戰(zhàn)時(shí)都顯得“力不從心”,因?yàn)榱⒎ㄍ晟频姆e極功能尚未被釋放,也就無法從規(guī)范本體的層面化解“規(guī)范供給不足”的難題。關(guān)于網(wǎng)絡(luò)犯罪的刑罰應(yīng)對就是力證。對于人工智能時(shí)代的刑事風(fēng)險(xiǎn),刑法立法應(yīng)作出前瞻性的有組織反應(yīng),從而提高當(dāng)代刑法的時(shí)代性與治理犯罪的效果。

    (一)刑法立法應(yīng)對路徑的現(xiàn)實(shí)必要性

    在任何社會(huì)形態(tài)中,刑法通過立法實(shí)現(xiàn)自我完善與功能轉(zhuǎn)型,不僅是立法所具有的“變革”能力的客觀體現(xiàn),也是社會(huì)歷史經(jīng)濟(jì)發(fā)展所“倒逼”的結(jié)果。對于人工智能時(shí)代的犯罪問題,刑事立法完善仍然是應(yīng)有的選擇。

    1.人工智能時(shí)代倒逼立法變革

    在大變革時(shí)代,理論界應(yīng)當(dāng)確立的一般共識是,人工智能技術(shù)的發(fā)展,客觀上迫使傳統(tǒng)刑事立法作出改變,因應(yīng)智能時(shí)代的新型、專屬立法是必然趨勢。首先,人工智能技術(shù)的迅猛發(fā)展及其廣泛應(yīng)用,已經(jīng)在很大程度上對傳統(tǒng)法律制度、倫理道德觀念等產(chǎn)生了重大影響,社會(huì)變革要求法律轉(zhuǎn)型。人工智能技術(shù)的快速迭代與法律發(fā)展及其監(jiān)管的滯后現(xiàn)象之間的不適性會(huì)進(jìn)一步加劇。可以肯定的是,在人工智能時(shí)代,法律的“無人區(qū)”問題會(huì)逐漸顯現(xiàn),簡單地說,就是很多人工智能引發(fā)的法律問題,傳統(tǒng)法律制度無法有效解決。在這種劇烈變革的背景下,加快人工智能領(lǐng)域的專業(yè)立法與制定符合國情需要的法律法規(guī)是當(dāng)務(wù)之急。其次,人工智能技術(shù)的發(fā)展及其廣泛運(yùn)用,對法律本質(zhì)、法律功能、法律規(guī)則、法律的價(jià)值導(dǎo)向等問題,都有不同程度的受到影響,這要求刑事立法轉(zhuǎn)型。在此背景下,立法作為反映法律制度的基本載體與規(guī)范表現(xiàn)形式,也必然受到影響。易言之,任何立法都是社會(huì)變化發(fā)展的產(chǎn)物。對于刑事立法而言,也是如此。通過立法對人工智能的刑事風(fēng)險(xiǎn)進(jìn)行回應(yīng)是其使命所在,并且不能落后于現(xiàn)實(shí)社會(huì)對刑事立法的迫切需求。

    2.應(yīng)對人工智能的刑法立法方向

    不同的社會(huì)形態(tài),要求與之相適應(yīng)的立法活動(dòng)。例如,面對傳統(tǒng)的犯罪問題與正在迅猛發(fā)展的網(wǎng)絡(luò)犯罪問題,刑事立法的立場及其內(nèi)容是有差異的,⑥參見孫道萃:《網(wǎng)絡(luò)安全刑事保障的體系完善與機(jī)制構(gòu)建》,《華南師范大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)》2017年第5期。否則便違背了科學(xué)立法的基本精神。這對于人工智能時(shí)代的刑事立法而言也是如此。

    關(guān)于當(dāng)前如何把握人工智能時(shí)代的立法方向,筆者認(rèn)為,需要關(guān)注以下幾個(gè)方面。第一,立法的前瞻性。維護(hù)社會(huì)規(guī)范的穩(wěn)定期望是法律制度的核心功能,但是,人工智能技術(shù)的興起與發(fā)展,隱藏?zé)o限的不確定性,導(dǎo)致傳統(tǒng)法律功能的獨(dú)特性逐步喪失?;凇八惴ā钡臋C(jī)器學(xué)習(xí)成為新的知識與智能的形成方式,法律的學(xué)習(xí)與發(fā)展、法律規(guī)范的形式、法律規(guī)范的穩(wěn)定性等,都受到了人工智能技術(shù)的約束,這是傳統(tǒng)法律逐漸走向“死亡”的前兆。隨著全面的人工智能時(shí)代即將到來,刑法作為“回顧性法律”,也需要對未來可能產(chǎn)生的風(fēng)險(xiǎn)進(jìn)行預(yù)先性的展望。注重人工智能犯罪立法的前瞻性,人工智能犯罪立法應(yīng)做到前瞻性與刑法安定性的統(tǒng)一,區(qū)分刑事立法的前瞻性與過度刑法化。構(gòu)建人工智能犯罪相關(guān)規(guī)范體系,包括人工智能犯罪的主體制度、人工智能犯罪的行為模式、人工智能犯罪的刑事責(zé)任。⑦參見王肅之:《人工智能犯罪的理論與立法問題初探》,《大連理工大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)》2018年第4期。第二,試驗(yàn)性的專門立法。目前,人工智能技術(shù)及其應(yīng)用雖然發(fā)展很快,但仍處于初期階段,圍繞人工智能時(shí)代展開的立法相對有限。對于自動(dòng)駕駛等智能技術(shù)發(fā)展已經(jīng)相對成熟、產(chǎn)品亟待進(jìn)入市場的應(yīng)用領(lǐng)域,立法需求是旺盛的,可以嘗試進(jìn)行地方性或試驗(yàn)性的立法。這種立法模式可以較好地兼顧個(gè)別需要與整體立法的關(guān)系,可以就一些特定問題進(jìn)行立法,解決現(xiàn)實(shí)需要,同時(shí)也避免了整體立法條件不成熟下的“立法趕制”。第三,局部調(diào)整是當(dāng)前的主流方向。由于人工智能技術(shù)的復(fù)雜性等因素,人工智能時(shí)代可能出現(xiàn)諸多新的法律風(fēng)險(xiǎn),傳統(tǒng)刑法在面對這些問題時(shí),會(huì)在不同領(lǐng)域出現(xiàn)一些空白地帶。從立法應(yīng)對的幅度和范圍看,完整意義上的“機(jī)器人刑法”作為更具顛覆性的做法,與“傳統(tǒng)刑法修正”的漸進(jìn)性改革方案,是相互對立和依存的。前者的變革是劇烈的,同時(shí)也是徹底的,后者的變革是逐步的,同時(shí)也是有局限性的。不同的道路選擇會(huì)有不同的結(jié)果。例如,對智能犯罪時(shí)代的過失犯罪等問題的處理是不同的。⑧參見鄭戈:《如何為人工智能立法》,《檢察風(fēng)云》2018年第7期。從更穩(wěn)妥的立場看,局部調(diào)整在很長一段時(shí)間是主要的選擇,而且,局部性的調(diào)整可以通過積累的方式,為今后的整體調(diào)整奠定基礎(chǔ)資源和準(zhǔn)備條件。這更現(xiàn)實(shí)的理由在于,人工智能技術(shù)仍處在早期階段,人工智能應(yīng)用的智能化程度相對不足,人工智能背景下的新型智能犯罪不具有真正的獨(dú)立性。

    (二)人工智能犯罪時(shí)代的罪名增設(shè)

    關(guān)于人工智能時(shí)代的刑法立法活動(dòng),合理增設(shè)新的罪名是回應(yīng)司法需求的當(dāng)務(wù)之急。只是在罪名增設(shè)的問題上,要防止“見招拆招”的被動(dòng)性,提高立法的科學(xué)性與體系性,循序漸進(jìn)地根據(jù)實(shí)際需要并立足長遠(yuǎn)增設(shè)新型罪名。

    關(guān)于罪名增設(shè)的問題,有觀點(diǎn)認(rèn)為,宜考慮增設(shè)以下罪名。其一,濫用人工智能罪。在人工智能時(shí)代,濫用人工智能行為,是對人類社會(huì)的安全這一核心利益的破壞,應(yīng)當(dāng)特別加以規(guī)制。從社會(huì)危害性的程度看,濫用人工智能的危害,可能要高于傳統(tǒng)犯罪行為。對于在自主意識和意志的支配下實(shí)施行為的,智能機(jī)器人應(yīng)當(dāng)承擔(dān)刑事責(zé)任。其二,人工智能事故罪。對于人工智能產(chǎn)品或智能機(jī)器人所引發(fā)的重大社會(huì)危害,在大多數(shù)情況下,研發(fā)者和使用者作為“負(fù)責(zé)主體”,對潛在的風(fēng)險(xiǎn)具有一定的事前控制能力。由此,人工智能產(chǎn)品研發(fā)者和使用者承擔(dān)嚴(yán)格責(zé)任是符合法理的。嚴(yán)格責(zé)任是以負(fù)有特殊義務(wù)為前提的,目前主要以違反人類社會(huì)中的法律以及道德等規(guī)范和價(jià)值、數(shù)據(jù)保護(hù)義務(wù)、自主武器系統(tǒng)的有效控制等為主要情形。同時(shí),濫用人工智能罪與人工智能產(chǎn)品事故罪的增設(shè),其實(shí)都指向研發(fā)者和使用者,前者是從故意犯罪的角度出發(fā),而后者是從過失犯罪方面出發(fā),構(gòu)成一個(gè)完整的罪名結(jié)構(gòu)體系。⑨參見前注⑧,劉憲權(quán)文。

    對于濫用人工智能罪、人工智能事故罪的探討,應(yīng)該說,都比較客觀地回應(yīng)了理論上的一些前沿思考以及現(xiàn)實(shí)情況。在人工智能時(shí)代,濫用智能技術(shù)可能是較為常見的,但智能技術(shù)的使用主體不負(fù)責(zé)任的行為也多有發(fā)生。對于這兩類行為,情節(jié)嚴(yán)重的,予以刑事處罰有其必要性。同時(shí),考慮到現(xiàn)有規(guī)定的不相稱性,另行增設(shè)新的罪名有其積極意義。只是從行為特征等因素看,濫用智能技術(shù)與智能技術(shù)事故的區(qū)分仍具有較強(qiáng)的傳統(tǒng)立法思維的局限性,在人工智能犯罪時(shí)代是否繼續(xù)可行值得研究。并且,增設(shè)過失型的智能犯罪,是否有些激進(jìn)也值得商榷。

    罪名增設(shè)的實(shí)質(zhì)是犯罪化,犯罪化的立法進(jìn)程必須堅(jiān)持適度必要的原則,要充分釋放新增加罪名的規(guī)制范圍和能力,提高立法體系與功能之間的協(xié)調(diào)性。

    當(dāng)前,結(jié)合有關(guān)罪名增設(shè)的討論,考慮到人工智能時(shí)代的演變及其刑事風(fēng)險(xiǎn)的發(fā)展規(guī)律,在采取必要的犯罪化策略時(shí),應(yīng)注意以下幾個(gè)問題。其一,犯罪類型的分析。應(yīng)該說,人工智能的刑事風(fēng)險(xiǎn)類型,是確定罪名增設(shè)的基本邏輯所在。目前來看,人工智能的刑事風(fēng)險(xiǎn),大體可以分為三類。一是利用人工智能技術(shù)或智能機(jī)器人實(shí)施犯罪,是一種非法利用行為。二是針對人工智能技術(shù)或智能機(jī)器人實(shí)施犯罪,是一種針對智能時(shí)代的安全價(jià)值的破壞行為。三是智能機(jī)器人作為完全獨(dú)立的新型犯罪主體,實(shí)施真正意義上的智能犯罪。這是全新的犯罪現(xiàn)象問題,其內(nèi)部可以劃分不同的情形。這三類犯罪的基本性質(zhì),從危害行為的類型看,可以概括為“非法利用智能技術(shù)”“破壞智能技術(shù)安全”“智能機(jī)器人獨(dú)立實(shí)施犯罪”三種情形。相應(yīng)地,對于這三類不同的犯罪,立法者也要對癥下藥,增設(shè)與之相關(guān)的罪名,避免立法的重復(fù)性與交叉性,提高立法的專門性與有效性。同時(shí),對于智能主體獨(dú)立實(shí)施犯罪的情形,由于這一觀察過于超前,在立法上也應(yīng)審慎。其二,罪名性質(zhì)的選擇。傳統(tǒng)刑法是以結(jié)果犯為主的,但在人工智能時(shí)代,智能主體實(shí)施的犯罪具有很強(qiáng)的技術(shù)性特征,因而,在罪名的性質(zhì)選擇上,需要注意的是以下兩方面。一方面,應(yīng)遵循危險(xiǎn)犯的適度增設(shè)原則。人工智能技術(shù)的法律風(fēng)險(xiǎn),可以認(rèn)為是一種技術(shù)危險(xiǎn)。在任何情況下,技術(shù)具有中立性,同時(shí),技術(shù)風(fēng)險(xiǎn)具有潛伏性、蔓延性以及不可控性等特征。在風(fēng)險(xiǎn)社會(huì),人工智能技術(shù)的濫用風(fēng)險(xiǎn)等更可能出現(xiàn),一些利用人工智能技術(shù)的行為往往具有高度危險(xiǎn)性,在必要的情況下應(yīng)當(dāng)對其進(jìn)行處罰。然而,增設(shè)危險(xiǎn)犯應(yīng)當(dāng)堅(jiān)持適度原則,避免犯罪圈的不當(dāng)擴(kuò)大。另一方面,要慎重增設(shè)過失犯。目前,人工智能技術(shù)是人類社會(huì)探索科學(xué)技術(shù)的最前沿。作為一項(xiàng)新興技術(shù)的探索,人類的認(rèn)識能力是相對有效的,也是隨著人工智能技術(shù)的發(fā)展而發(fā)展的。因此,對于人工智能技術(shù)及其應(yīng)用的研發(fā)者、設(shè)計(jì)者、運(yùn)營者、推廣者等而言,在履行有關(guān)安全等義務(wù)時(shí),需要客觀上考慮到技術(shù)發(fā)展的水平,在認(rèn)定其是否履行了有關(guān)義務(wù)時(shí),也應(yīng)科學(xué)地評判其認(rèn)識能力與避免能力。對于一般的業(yè)務(wù)過失或監(jiān)督過失的行為,應(yīng)當(dāng)慎重處罰,否則,不利于鼓勵(lì)技術(shù)創(chuàng)新。對于嚴(yán)重過失且造成重大危害結(jié)果的,可以在條件成熟的情況下制定相應(yīng)的罪名。

    (三)人工智能犯罪時(shí)代的刑罰增設(shè)

    在刑法學(xué)體系的框架下,犯罪與刑罰屬于“首尾”兩端的基本范疇,犯罪是前提,刑罰是末端,兩者的協(xié)同呼應(yīng)關(guān)系,是依法有效打擊犯罪的制度保障。⑩參見孫道萃:《罪責(zé)刑關(guān)系論》,法律出版社2015年版,第21-23頁。對于人工智能時(shí)代下的新型犯罪問題,傳統(tǒng)刑罰體系也需要及時(shí)作出相應(yīng)的調(diào)整。

    1.刑罰體系更新的必然性

    在人工智能時(shí)代,犯罪的本質(zhì)及其特征等因素,都在不同程度上發(fā)生了變化,刑事責(zé)任的內(nèi)容也是如此。刑罰作為末端,也受此影響。基于有效懲治和預(yù)防犯罪的目的,有必要對傳統(tǒng)刑事制裁體系進(jìn)行一定的調(diào)整。

    在新的社會(huì)形態(tài)和犯罪問題等背景下,適時(shí)作出調(diào)整是必然的。首先,這是罪刑均衡的新需要。從犯罪與刑罰兩個(gè)基本范疇的邏輯關(guān)系看,犯罪的輕重與刑罰的輕重應(yīng)當(dāng)是對應(yīng)的,而且刑罰必須是有效的。在人工智能犯罪時(shí)代,犯罪形態(tài)的本質(zhì)特征及其構(gòu)成要件要素在不同程度上發(fā)生了變化,基于罪刑關(guān)系的對稱性與均衡性,顯然不宜繼續(xù)套用傳統(tǒng)的刑罰種類,而需要設(shè)置與之相適應(yīng)的刑罰種類以及刑罰體系。其次,這是實(shí)現(xiàn)刑罰目的的需要。重構(gòu)我國刑罰體系并將智能機(jī)器人納入刑罰處罰的范圍符合刑罰的目的,同時(shí)也符合人工智能時(shí)代發(fā)展的需要且并未違背基本法理。最后,這是確認(rèn)刑事責(zé)任主體資格的必然要求。智能機(jī)器人是具有刑事責(zé)任能力的一種新的犯罪主體,盡管不同于自然人或法人,但其既已納入刑罰處罰的范圍,那么,就必須接受刑罰處罰。只是由于智能機(jī)器人不是人,刑罰處罰措施也需要根據(jù)犯罪主體的變動(dòng)而調(diào)整。

    在此基礎(chǔ)上,從刑法學(xué)理的角度看,智能機(jī)器人所適用的刑罰體系在一定程度上要有別于現(xiàn)有的自然人和單位主體,所以,需要遵循不同的立場和原則。例如,設(shè)計(jì)智能機(jī)器人的刑罰體系時(shí),必須堅(jiān)持罪刑相適應(yīng)原則、以刑罰目的為導(dǎo)向原則、刑罰節(jié)儉性原則。①參見前注⑦,劉憲權(quán)文。刑罰措施及其體系必須能夠“有效地”懲罰不同類型的人工智能犯罪問題。

    2.立法完善的建言

    目前,關(guān)于立法完善的路徑已經(jīng)形成了以下不同看法。其一,刪除數(shù)據(jù)、修改程序、永久銷毀。一是刪除數(shù)據(jù)。強(qiáng)人工智能產(chǎn)品的行動(dòng)能力依賴其相應(yīng)的數(shù)據(jù)信息,也是其實(shí)施犯罪行為所依賴的前提。刪除這些數(shù)據(jù)信息,就等于“抹除”強(qiáng)人工智能產(chǎn)品的“犯罪記憶”,強(qiáng)人工智能產(chǎn)品也恢復(fù)到原有的正常狀態(tài)。二是修改程序。如果刪除數(shù)據(jù)的做法,無法刪除有可能實(shí)施違法犯罪行為的“負(fù)面數(shù)據(jù)”,也就是說無法阻止強(qiáng)人工智能產(chǎn)品主動(dòng)獲取這些實(shí)施犯罪的數(shù)據(jù)??紤]到正面引導(dǎo)的失效,應(yīng)當(dāng)強(qiáng)制修改該智能產(chǎn)品的基礎(chǔ)程序,限定智能產(chǎn)品獲取外界數(shù)據(jù)、深度學(xué)習(xí)的能力在特殊的范圍之內(nèi),進(jìn)而徹底剝奪實(shí)施犯罪行為的可能性。三是永久銷毀。如果刪除數(shù)據(jù)與修改程序都無法奏效,而且強(qiáng)人工智能產(chǎn)品在程序上具備了“反刪除能力”或“反修改能力”的,那么,永久銷毀成為最后的選擇。對于強(qiáng)人工智能產(chǎn)品而言,刪除數(shù)據(jù)、修改程序、永久銷毀形成了一定的刑罰階梯與處罰的層次性,可以與強(qiáng)人工智能產(chǎn)品所實(shí)施行為的社會(huì)危害性及其“人身危險(xiǎn)性”形成邏輯與程度上的對應(yīng)關(guān)系。②參見前注⑦,劉憲權(quán)文。其二,報(bào)廢、回收改造、罰金等。如果人工智能產(chǎn)品具有自主意志,則應(yīng)賦予其刑事責(zé)任的主體地位,相應(yīng)地,報(bào)廢、回收改造、罰金等特殊的刑罰措施,是可以考慮的應(yīng)對措施。一是徹底報(bào)廢實(shí)施嚴(yán)重犯罪行為的人工智能產(chǎn)品,這是最根本、最嚴(yán)厲的處罰措施。二是回收改造人工智能產(chǎn)品。對于實(shí)施了犯罪行為的人工智能產(chǎn)品,可以考慮回收,中斷智能程序,由專門的技術(shù)人員研究系統(tǒng)缺陷,通過改造與試驗(yàn)后,決定重新投入使用,避免研發(fā)及制造成本的浪費(fèi)。三是罰金刑。人工智能產(chǎn)品實(shí)施犯罪的,如果犯罪情節(jié)輕微的,可適用罰金刑。③參見蔡婷婷:《人工智能環(huán)境下刑法的完善及適用——以智能機(jī)器人和無人駕駛汽車為切入點(diǎn)》,《犯罪研究》2018年第2期。應(yīng)該說,這兩種看法具有一定的前瞻性和積極意義,對今后如何針對人工智能犯罪問題設(shè)計(jì)相適應(yīng)的刑罰措施有參考價(jià)值。

    顯然,根據(jù)我國《刑法》所確立的刑罰體系,從刑罰處罰的對象及刑罰處罰的方式等內(nèi)容看,均無法也不能涵括智能機(jī)器人。相比之下,刪除數(shù)據(jù)、修改程序、永久銷毀等與人工智能技術(shù)相適應(yīng)的一些“制裁措施”,是能夠適用于智能機(jī)器人及其相關(guān)犯罪的刑罰處罰方式。如果今后立法條件趨于成熟,針對智能主體,可以設(shè)置相應(yīng)的財(cái)產(chǎn)刑或者權(quán)利刑等措施,提高刑事制裁的有效性。應(yīng)該說,以強(qiáng)人工智能產(chǎn)品為對象,在設(shè)計(jì)具體的刑罰措施與體系時(shí),刪除數(shù)據(jù)、修改程序、永久銷毀是一種具有可行性的選擇,但應(yīng)更豐富地拓展視野。

    3.立法修正思路的探索

    設(shè)計(jì)針對人工智能犯罪的刑事制裁措施及其體系是一項(xiàng)全新的探索,并無現(xiàn)成的經(jīng)驗(yàn)可循,因而,需要根據(jù)人工智能技術(shù)及其刑事風(fēng)險(xiǎn)的動(dòng)態(tài)進(jìn)行考量,具體而言,應(yīng)考量以下方面。其一,傳統(tǒng)刑罰種類的歷史揚(yáng)棄命運(yùn)。誠然,死刑、有期徒刑或者罰金刑、驅(qū)逐出境等傳統(tǒng)意義上的生命刑、自由刑、財(cái)產(chǎn)刑以及資格刑等刑罰制度,對于智能犯罪以及智能機(jī)器人的犯罪主體而言,不僅在內(nèi)容與形式上不相適應(yīng),而且也暴露了傳統(tǒng)刑罰種類在智能犯罪時(shí)代的“無效”問題。進(jìn)一步講,人類社會(huì)在近現(xiàn)代刑法體系中所確立的自由刑為主導(dǎo)、財(cái)產(chǎn)刑為輔助的刑罰結(jié)構(gòu),由于具體的刑罰措施與刑罰種類無法對智能犯罪主體起有效作用,使其立法的滯后性暴露無遺。在此情況下,諸如死刑等具體的傳統(tǒng)刑罰措施被迫作出改變,“揚(yáng)棄”成為最理性的選擇。盡管如此,傳統(tǒng)刑罰體系與刑罰結(jié)構(gòu)的法學(xué)構(gòu)建思維與邏輯,仍有其可借鑒之處。例如,對于智能產(chǎn)品而言,研發(fā)者與設(shè)計(jì)者基于“算法”而制作的電子運(yùn)行程序,在很大程度上決定了智能產(chǎn)品作為犯罪主體的“行動(dòng)能力”,即具有決定刑事責(zé)任能力的作用。對其進(jìn)行不同程度的限制或刪除,可以起到類似于“終極剝奪”或“有期限的限制”等制裁效果,與針對人類的死刑或有期徒刑措施,有同樣的效果。其二,類型化的思維。在人工智能時(shí)代,智能機(jī)器人的智能程度不盡相同,智能產(chǎn)品的表現(xiàn)形式不一,研發(fā)者、設(shè)計(jì)者也有差異。在此背景下,為了避免立法的碎片化,應(yīng)當(dāng)重視類型化的立法思維,對同類型或相似類型的犯罪主體,設(shè)置相適應(yīng)的刑罰措施,從而建立健全人工智能時(shí)代的刑罰體系。其三,分階段、分步驟增設(shè)新的刑罰措施。人工智能技術(shù)是不斷發(fā)展的,其應(yīng)用過程中所產(chǎn)生的刑事法律風(fēng)險(xiǎn)也會(huì)變動(dòng)不定,但不變的是智能技術(shù)的風(fēng)險(xiǎn)問題。因此,在調(diào)整刑罰種類與刑罰體系時(shí),應(yīng)當(dāng)因地制宜,分階段、分步驟進(jìn)行調(diào)整。也就是說要根據(jù)人工智能犯罪的發(fā)展趨勢、基本規(guī)律、主要類型、危害屬性等多種因素,立足“刑罰有效性”的目的,不斷修正和完善刑罰種類,繼而完善刑罰體系,實(shí)現(xiàn)可持續(xù)的應(yīng)對效果。

    猜你喜歡
    刑罰刑法犯罪
    過度刑法化的傾向及其糾正
    法律方法(2021年4期)2021-03-16 05:35:02
    Televisions
    刑罰威懾力的刑法學(xué)分析
    活力(2019年22期)2019-03-16 12:49:24
    代運(yùn)為名行詐騙 構(gòu)成犯罪獲刑罰
    斷鹽也是一種刑罰
    刑法適用與刑法教義學(xué)的向度
    刑法論叢(2016年3期)2016-06-01 12:15:17
    什么是犯罪?
    刑罰的證明標(biāo)準(zhǔn)
    人間(2015年22期)2016-01-04 12:47:28
    重新檢視犯罪中止
    釋疑刑法
    浙江人大(2014年6期)2014-03-20 16:20:40
    在线天堂中文资源库| 精品熟女少妇av免费看| 中文字幕制服av| xxxhd国产人妻xxx| 国产国语露脸激情在线看| 国产有黄有色有爽视频| 亚洲丝袜综合中文字幕| 另类精品久久| 亚洲欧洲精品一区二区精品久久久 | 全区人妻精品视频| av黄色大香蕉| 国产精品久久久久成人av| 免费在线观看黄色视频的| 尾随美女入室| 三上悠亚av全集在线观看| 天堂8中文在线网| av免费观看日本| 国产探花极品一区二区| 欧美日韩亚洲高清精品| 亚洲国产最新在线播放| 一边亲一边摸免费视频| 老司机影院毛片| 下体分泌物呈黄色| 如日韩欧美国产精品一区二区三区| 久热这里只有精品99| 国精品久久久久久国模美| 国产av国产精品国产| 午夜视频国产福利| 色婷婷av一区二区三区视频| 欧美最新免费一区二区三区| 成年动漫av网址| 国产精品久久久久久久久免| 午夜91福利影院| 久久综合国产亚洲精品| 精品午夜福利在线看| 少妇人妻 视频| 交换朋友夫妻互换小说| 在线天堂最新版资源| 欧美老熟妇乱子伦牲交| 国产精品麻豆人妻色哟哟久久| 人妻少妇偷人精品九色| av一本久久久久| 日韩不卡一区二区三区视频在线| 国产福利在线免费观看视频| 99精国产麻豆久久婷婷| av线在线观看网站| 最近的中文字幕免费完整| 9191精品国产免费久久| av天堂久久9| 国产男人的电影天堂91| 日韩中字成人| 最新的欧美精品一区二区| 亚洲国产日韩一区二区| 亚洲丝袜综合中文字幕| 一边摸一边做爽爽视频免费| 王馨瑶露胸无遮挡在线观看| 久久人人爽av亚洲精品天堂| av又黄又爽大尺度在线免费看| 两性夫妻黄色片 | 只有这里有精品99| 日本-黄色视频高清免费观看| 宅男免费午夜| 精品国产一区二区三区四区第35| 精品99又大又爽又粗少妇毛片| 国产成人aa在线观看| 男男h啪啪无遮挡| 国产激情久久老熟女| 哪个播放器可以免费观看大片| 男女免费视频国产| 亚洲成人av在线免费| 久久久国产精品麻豆| 亚洲欧美成人精品一区二区| 丁香六月天网| 国产爽快片一区二区三区| 下体分泌物呈黄色| 少妇猛男粗大的猛烈进出视频| 精品一区在线观看国产| 菩萨蛮人人尽说江南好唐韦庄| 精品人妻偷拍中文字幕| 最近中文字幕2019免费版| 国产在线视频一区二区| 精品一品国产午夜福利视频| 丝瓜视频免费看黄片| 极品少妇高潮喷水抽搐| 国产乱来视频区| 亚洲国产色片| 天美传媒精品一区二区| 一级片'在线观看视频| av福利片在线| 丝袜人妻中文字幕| 男女下面插进去视频免费观看 | 亚洲精品乱久久久久久| 免费在线观看黄色视频的| 少妇被粗大猛烈的视频| 国产极品天堂在线| 成人亚洲欧美一区二区av| 欧美激情极品国产一区二区三区 | 一级毛片 在线播放| 精品一区二区免费观看| 国产精品偷伦视频观看了| 2022亚洲国产成人精品| 人成视频在线观看免费观看| 成年美女黄网站色视频大全免费| 国产伦理片在线播放av一区| 亚洲欧美中文字幕日韩二区| 大片电影免费在线观看免费| 久久久亚洲精品成人影院| 日韩视频在线欧美| 久热久热在线精品观看| 美女福利国产在线| 中文字幕人妻熟女乱码| 最近最新中文字幕大全免费视频 | 寂寞人妻少妇视频99o| 亚洲综合精品二区| 久久人人爽人人爽人人片va| 日韩av不卡免费在线播放| 午夜福利,免费看| av线在线观看网站| 91精品国产国语对白视频| 久久精品久久精品一区二区三区| 各种免费的搞黄视频| 亚洲天堂av无毛| 这个男人来自地球电影免费观看 | 国产一区二区在线观看av| 日韩一本色道免费dvd| 熟妇人妻不卡中文字幕| 99热这里只有是精品在线观看| 王馨瑶露胸无遮挡在线观看| √禁漫天堂资源中文www| 1024视频免费在线观看| 免费在线观看完整版高清| 亚洲国产精品国产精品| 亚洲国产色片| 天天操日日干夜夜撸| a级片在线免费高清观看视频| 久久久久久久亚洲中文字幕| 国产精品一二三区在线看| 最近2019中文字幕mv第一页| 好男人视频免费观看在线| 国产精品欧美亚洲77777| 母亲3免费完整高清在线观看 | 久久久久国产网址| 少妇熟女欧美另类| 春色校园在线视频观看| 国产极品粉嫩免费观看在线| 丝袜人妻中文字幕| 国产男女超爽视频在线观看| 国产午夜精品一二区理论片| 18禁动态无遮挡网站| 精品一区二区三区视频在线| 18禁在线无遮挡免费观看视频| 国产精品欧美亚洲77777| 女人精品久久久久毛片| 免费女性裸体啪啪无遮挡网站| 日韩成人伦理影院| 亚洲国产看品久久| 精品亚洲成a人片在线观看| 狠狠精品人妻久久久久久综合| 久久久久精品性色| 高清欧美精品videossex| 观看美女的网站| 自拍欧美九色日韩亚洲蝌蚪91| 男人操女人黄网站| 久久久久久久久久人人人人人人| 国产成人午夜福利电影在线观看| 狂野欧美激情性bbbbbb| 亚洲天堂av无毛| 久久女婷五月综合色啪小说| av视频免费观看在线观看| 韩国精品一区二区三区 | 日韩制服丝袜自拍偷拍| 最近手机中文字幕大全| 免费大片18禁| 国产精品国产三级专区第一集| 香蕉丝袜av| 大陆偷拍与自拍| 欧美+日韩+精品| 国产色婷婷99| 自线自在国产av| 啦啦啦啦在线视频资源| 九色亚洲精品在线播放| 亚洲av免费高清在线观看| 高清不卡的av网站| 国国产精品蜜臀av免费| 成人国产麻豆网| 汤姆久久久久久久影院中文字幕| 男女免费视频国产| 国产成人精品福利久久| 尾随美女入室| 精品一品国产午夜福利视频| 亚洲欧美日韩另类电影网站| 热99国产精品久久久久久7| 精品少妇内射三级| 777米奇影视久久| 久久精品国产自在天天线| av在线老鸭窝| 男人爽女人下面视频在线观看| 日本av手机在线免费观看| 国产男女内射视频| 成人国产麻豆网| 最新的欧美精品一区二区| 国产白丝娇喘喷水9色精品| 久久婷婷青草| 少妇精品久久久久久久| 亚洲欧美色中文字幕在线| 亚洲国产精品国产精品| 狠狠精品人妻久久久久久综合| 日韩 亚洲 欧美在线| 中文字幕精品免费在线观看视频 | 午夜福利视频精品| 国产高清国产精品国产三级| 免费久久久久久久精品成人欧美视频 | 99久久中文字幕三级久久日本| 国产精品无大码| 久久人妻熟女aⅴ| 国产免费现黄频在线看| 伦精品一区二区三区| 国产不卡av网站在线观看| 麻豆乱淫一区二区| 国产日韩欧美视频二区| 国产成人aa在线观看| 久久久久网色| 毛片一级片免费看久久久久| 美国免费a级毛片| 一二三四中文在线观看免费高清| 人妻人人澡人人爽人人| 男女高潮啪啪啪动态图| 精品一区二区三区四区五区乱码 | 女人精品久久久久毛片| 边亲边吃奶的免费视频| 插逼视频在线观看| 人人妻人人爽人人添夜夜欢视频| 亚洲,欧美精品.| 建设人人有责人人尽责人人享有的| 夜夜骑夜夜射夜夜干| 热re99久久国产66热| 91精品伊人久久大香线蕉| 国产国拍精品亚洲av在线观看| 成人漫画全彩无遮挡| 男女国产视频网站| 日韩中文字幕视频在线看片| 国产精品免费大片| 午夜免费鲁丝| 久久99热这里只频精品6学生| 狂野欧美激情性xxxx在线观看| 一级毛片电影观看| 久久青草综合色| 97在线视频观看| 久久久久人妻精品一区果冻| 少妇的逼好多水| 亚洲精品国产色婷婷电影| 一级a做视频免费观看| 草草在线视频免费看| 亚洲欧美成人综合另类久久久| 99香蕉大伊视频| 五月伊人婷婷丁香| freevideosex欧美| 中文字幕人妻熟女乱码| 亚洲一级一片aⅴ在线观看| 在线观看三级黄色| 欧美精品国产亚洲| 亚洲成国产人片在线观看| 一级毛片 在线播放| 国产亚洲午夜精品一区二区久久| 国国产精品蜜臀av免费| 久久影院123| 精品少妇内射三级| 国产片特级美女逼逼视频| 国产精品99久久99久久久不卡 | 综合色丁香网| 亚洲高清免费不卡视频| 亚洲国产色片| 国产乱来视频区| 伊人久久国产一区二区| 午夜福利乱码中文字幕| 日韩熟女老妇一区二区性免费视频| 免费观看在线日韩| 大话2 男鬼变身卡| 伊人亚洲综合成人网| 国产一区二区在线观看日韩| 亚洲成国产人片在线观看| 免费在线观看黄色视频的| 久久99蜜桃精品久久| 亚洲精品aⅴ在线观看| 天堂中文最新版在线下载| 中文字幕另类日韩欧美亚洲嫩草| 亚洲国产精品一区二区三区在线| 丝袜人妻中文字幕| 日韩制服骚丝袜av| 嫩草影院入口| 51国产日韩欧美| 中文字幕免费在线视频6| 亚洲丝袜综合中文字幕| 男女午夜视频在线观看 | 欧美97在线视频| 成人午夜精彩视频在线观看| 亚洲精品美女久久av网站| 久久久久久久久久久免费av| 亚洲精品乱码久久久久久按摩| 国产一区二区在线观看日韩| 中国三级夫妇交换| 自拍欧美九色日韩亚洲蝌蚪91| 久久久久久久精品精品| 99久久精品国产国产毛片| 曰老女人黄片| 三级国产精品片| 内地一区二区视频在线| 天天影视国产精品| 亚洲丝袜综合中文字幕| 国产成人精品福利久久| 美女脱内裤让男人舔精品视频| 男女免费视频国产| 两性夫妻黄色片 | 国产免费一级a男人的天堂| 只有这里有精品99| 亚洲美女视频黄频| 免费av中文字幕在线| 欧美性感艳星| videossex国产| 51国产日韩欧美| 亚洲av综合色区一区| 晚上一个人看的免费电影| 精品视频人人做人人爽| 国产免费又黄又爽又色| 热99久久久久精品小说推荐| 国产精品.久久久| 久久久亚洲精品成人影院| 日韩精品有码人妻一区| 丰满乱子伦码专区| 中文字幕av电影在线播放| av国产久精品久网站免费入址| 国产亚洲一区二区精品| 欧美日韩亚洲高清精品| av线在线观看网站| 久热这里只有精品99| 国产精品久久久av美女十八| 久久精品国产a三级三级三级| 美女中出高潮动态图| 成年女人在线观看亚洲视频| 亚洲精华国产精华液的使用体验| 国产色爽女视频免费观看| 国产成人午夜福利电影在线观看| 人体艺术视频欧美日本| 99精国产麻豆久久婷婷| 日韩av在线免费看完整版不卡| 国产一区二区在线观看日韩| 大片电影免费在线观看免费| 亚洲欧美日韩卡通动漫| 9热在线视频观看99| 久久久久国产精品人妻一区二区| 久久久久久久国产电影| 精品视频人人做人人爽| 精品人妻熟女毛片av久久网站| 久久久亚洲精品成人影院| 黑人高潮一二区| 国语对白做爰xxxⅹ性视频网站| 国产精品久久久久久久久免| 亚洲人成网站在线观看播放| 国产有黄有色有爽视频| 在线观看免费日韩欧美大片| 日韩三级伦理在线观看| 人人妻人人添人人爽欧美一区卜| 亚洲国产最新在线播放| 纯流量卡能插随身wifi吗| 18+在线观看网站| 久久久国产精品麻豆| freevideosex欧美| 草草在线视频免费看| 欧美少妇被猛烈插入视频| 黄色怎么调成土黄色| 国产精品久久久久成人av| 久久99热6这里只有精品| 国产日韩欧美亚洲二区| 久久亚洲国产成人精品v| 欧美日韩一区二区视频在线观看视频在线| 精品国产露脸久久av麻豆| 亚洲一区二区三区欧美精品| 五月玫瑰六月丁香| 黄色毛片三级朝国网站| 在线免费观看不下载黄p国产| 丝袜在线中文字幕| 精品人妻在线不人妻| av.在线天堂| 亚洲av成人精品一二三区| 亚洲综合色网址| 婷婷色综合www| 黄色 视频免费看| 精品少妇黑人巨大在线播放| 精品一区二区三区四区五区乱码 | 中文字幕免费在线视频6| 国产一区有黄有色的免费视频| 99热6这里只有精品| 亚洲精品一区蜜桃| 亚洲欧美成人精品一区二区| 久久久久久久久久久久大奶| 大码成人一级视频| 丝袜美足系列| 久热久热在线精品观看| 97超碰精品成人国产| 午夜福利网站1000一区二区三区| 哪个播放器可以免费观看大片| 久久99蜜桃精品久久| 久久午夜综合久久蜜桃| 黄色视频在线播放观看不卡| 国产亚洲av片在线观看秒播厂| 最近中文字幕2019免费版| 99热国产这里只有精品6| 黑人猛操日本美女一级片| 又黄又粗又硬又大视频| 日韩制服丝袜自拍偷拍| 久久久久精品人妻al黑| 在线看a的网站| 搡女人真爽免费视频火全软件| 五月玫瑰六月丁香| 好男人视频免费观看在线| 中文字幕免费在线视频6| 亚洲在久久综合| 日本色播在线视频| 日韩av免费高清视频| 9191精品国产免费久久| 亚洲精品456在线播放app| 国产av一区二区精品久久| 亚洲一码二码三码区别大吗| 日韩大片免费观看网站| 午夜91福利影院| 999精品在线视频| 日韩一区二区视频免费看| 寂寞人妻少妇视频99o| 免费不卡的大黄色大毛片视频在线观看| 精品少妇内射三级| 水蜜桃什么品种好| 超碰97精品在线观看| 亚洲中文av在线| 九草在线视频观看| 中文欧美无线码| 国产综合精华液| 亚洲精品第二区| 高清视频免费观看一区二区| freevideosex欧美| 制服人妻中文乱码| 美女视频免费永久观看网站| 欧美激情极品国产一区二区三区 | 捣出白浆h1v1| 亚洲精品日韩在线中文字幕| av免费在线看不卡| 9色porny在线观看| 国产亚洲一区二区精品| 亚洲精品美女久久久久99蜜臀 | 久久久久久人人人人人| 不卡视频在线观看欧美| 男的添女的下面高潮视频| 国产精品欧美亚洲77777| 97精品久久久久久久久久精品| 国产精品国产av在线观看| 亚洲精品,欧美精品| 青青草视频在线视频观看| 啦啦啦啦在线视频资源| 欧美激情极品国产一区二区三区 | 亚洲精品aⅴ在线观看| 啦啦啦在线观看免费高清www| 99久久精品国产国产毛片| 国产xxxxx性猛交| 美女大奶头黄色视频| 欧美国产精品一级二级三级| 春色校园在线视频观看| 夜夜爽夜夜爽视频| 亚洲欧美一区二区三区黑人 | 少妇被粗大的猛进出69影院 | 秋霞在线观看毛片| 日日啪夜夜爽| 大陆偷拍与自拍| 各种免费的搞黄视频| 国产精品一区www在线观看| 少妇被粗大的猛进出69影院 | 亚洲三级黄色毛片| 日本av免费视频播放| 国产成人a∨麻豆精品| 一个人免费看片子| 精品福利永久在线观看| √禁漫天堂资源中文www| 国产69精品久久久久777片| 在线天堂中文资源库| 久久精品久久久久久噜噜老黄| 搡老乐熟女国产| 亚洲欧美一区二区三区国产| 国产色婷婷99| 你懂的网址亚洲精品在线观看| 少妇被粗大猛烈的视频| 美女xxoo啪啪120秒动态图| 日韩 亚洲 欧美在线| 我要看黄色一级片免费的| 女的被弄到高潮叫床怎么办| 中国美白少妇内射xxxbb| 亚洲欧美精品自产自拍| 亚洲av福利一区| 久久久久久久国产电影| 黑丝袜美女国产一区| 日韩三级伦理在线观看| 欧美 亚洲 国产 日韩一| av视频免费观看在线观看| 视频在线观看一区二区三区| 观看美女的网站| 在线亚洲精品国产二区图片欧美| 免费高清在线观看日韩| 久久久国产一区二区| 国内精品宾馆在线| 国产淫语在线视频| 1024视频免费在线观看| 青春草亚洲视频在线观看| 一级黄片播放器| 国产午夜精品一二区理论片| 中文欧美无线码| 国产免费一区二区三区四区乱码| 国产在线一区二区三区精| 最近最新中文字幕大全免费视频 | 欧美人与善性xxx| 香蕉国产在线看| 嫩草影院入口| 久久久久久久国产电影| 国产黄频视频在线观看| 欧美日韩成人在线一区二区| 亚洲欧美成人综合另类久久久| 黄色毛片三级朝国网站| 精品亚洲成国产av| 99精国产麻豆久久婷婷| 中文欧美无线码| 搡老乐熟女国产| 国产欧美日韩一区二区三区在线| 久久人妻熟女aⅴ| 成人18禁高潮啪啪吃奶动态图| 最近手机中文字幕大全| h视频一区二区三区| 黄片无遮挡物在线观看| 国产精品国产三级国产av玫瑰| 国产精品一区www在线观看| 黄色配什么色好看| 各种免费的搞黄视频| 国产1区2区3区精品| 在线亚洲精品国产二区图片欧美| 中文字幕另类日韩欧美亚洲嫩草| 亚洲欧洲精品一区二区精品久久久 | 日本-黄色视频高清免费观看| 亚洲精品色激情综合| 国产精品一二三区在线看| 久久久久精品人妻al黑| 国产麻豆69| 亚洲欧美一区二区三区国产| 亚洲在久久综合| 爱豆传媒免费全集在线观看| 伊人久久国产一区二区| 观看av在线不卡| 国产精品久久久久成人av| 国产有黄有色有爽视频| 一二三四中文在线观看免费高清| 亚洲国产日韩一区二区| 国产av国产精品国产| 91精品三级在线观看| 青春草亚洲视频在线观看| 欧美变态另类bdsm刘玥| www.熟女人妻精品国产 | 女人久久www免费人成看片| 视频中文字幕在线观看| 亚洲久久久国产精品| 久久人人爽av亚洲精品天堂| 日韩成人伦理影院| 亚洲情色 制服丝袜| 哪个播放器可以免费观看大片| 91国产中文字幕| 国语对白做爰xxxⅹ性视频网站| 18禁国产床啪视频网站| 久久久久久伊人网av| a级毛色黄片| 99视频精品全部免费 在线| 日本午夜av视频| 亚洲国产色片| 亚洲性久久影院| 亚洲精品乱久久久久久| 啦啦啦啦在线视频资源| 国产免费现黄频在线看| 伦理电影免费视频| 高清在线视频一区二区三区| 欧美日韩成人在线一区二区| 国产精品一区二区在线不卡| 少妇被粗大的猛进出69影院 | 国产免费又黄又爽又色| 制服诱惑二区| 王馨瑶露胸无遮挡在线观看| 国产av一区二区精品久久| 一区在线观看完整版| 亚洲国产色片| 99国产综合亚洲精品| videossex国产| 亚洲精华国产精华液的使用体验| 亚洲av.av天堂| 亚洲av综合色区一区| 成年美女黄网站色视频大全免费| 人人妻人人添人人爽欧美一区卜| 精品人妻一区二区三区麻豆| 在线观看免费日韩欧美大片| 午夜福利视频精品| 男女午夜视频在线观看 | a级毛片在线看网站| 一级毛片我不卡| 欧美变态另类bdsm刘玥| 国产极品粉嫩免费观看在线| 五月天丁香电影| 国产av精品麻豆| 精品一区在线观看国产| 国产爽快片一区二区三区| 亚洲av中文av极速乱| 国产av国产精品国产| 18+在线观看网站| 日本免费在线观看一区| 黄色怎么调成土黄色| 涩涩av久久男人的天堂|