• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    我國(guó)人工智能綜合立法路徑探索
    ——以歐美相關(guān)立法為參照

    2023-02-23 20:12:47李雪童
    關(guān)鍵詞:主體人工智能法律

    李 曄,李雪童

    (對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)法學(xué)院,北京 100029)

    以Chat GPT 為代表的生成式人工智能的問(wèn)世掀起了人工智能的熱潮?,F(xiàn)如今與人工智能相關(guān)的各種討論引發(fā)了前所未有的關(guān)注,公眾熱議的焦點(diǎn)也逐漸延伸至法律領(lǐng)域,思考如何推進(jìn)相關(guān)立法以便應(yīng)對(duì)因人工智能不斷升級(jí)所帶來(lái)的各種法律問(wèn)題。事實(shí)上,近年來(lái)隨著人工智能的飛速發(fā)展,為社會(huì)進(jìn)步帶來(lái)更大機(jī)遇的同時(shí),也為人類未來(lái)發(fā)展添加了諸多不確定性因素?,F(xiàn)實(shí)中通過(guò)人工智能侵犯公民個(gè)人信息、偽造數(shù)據(jù)詐騙、全自動(dòng)機(jī)器故障引發(fā)事故等社會(huì)問(wèn)題喚起了公眾對(duì)人工智能不受節(jié)制發(fā)展的擔(dān)憂,針對(duì)人工智能進(jìn)行立法的呼聲愈發(fā)高漲。目前,各個(gè)國(guó)家對(duì)人工智能治理總體呈現(xiàn)了加速演進(jìn)的態(tài)勢(shì),美歐作為人工智能規(guī)制的探索者,率先構(gòu)建了以風(fēng)險(xiǎn)監(jiān)管為中心的人工智能法律框架[1]。中國(guó)在針對(duì)人工智能進(jìn)行立法的過(guò)程中可能會(huì)面臨何種挑戰(zhàn)以及如何妥善處理是目前亟需考慮的問(wèn)題。

    一、人工智能帶來(lái)的法律問(wèn)題及其立法必要性

    (一)對(duì)人工智能進(jìn)行綜合立法的必要性分析

    人工智能已經(jīng)越來(lái)越深入我們的日常生活和經(jīng)濟(jì)市場(chǎng),法律作為上層建筑,始終應(yīng)當(dāng)以經(jīng)濟(jì)為基礎(chǔ),以市場(chǎng)為導(dǎo)向。據(jù)工信部數(shù)據(jù)顯示,我國(guó)已擁有超4000 億元人工智能產(chǎn)業(yè),并且已經(jīng)形成完整且初步成熟的產(chǎn)業(yè)鏈,在此背景下,人工智能立法具有深遠(yuǎn)意義。國(guó)務(wù)院2017 年7 月20 日印發(fā)的《新一代人工智能發(fā)展規(guī)劃》,在戰(zhàn)略目標(biāo)中對(duì)法律體系建設(shè)提出了“三步走”要求:到2020 年,部分領(lǐng)域的人工智能倫理規(guī)范和政策法規(guī)初步建立;到2025 年,初步建立人工智能法律法規(guī)、倫理規(guī)范和政策體系,形成人工智能安全評(píng)估和管控能力;到2030 年,建成更加完善的人工智能法律法規(guī)、倫理規(guī)范和政策體系。對(duì)人工智能相關(guān)法律體系的建設(shè)要求也是對(duì)法律作為上層建筑價(jià)值的呼應(yīng)。

    除此之外,隨著類似于Chat GPT 等生成式人工智能的面世,其運(yùn)行模式可能對(duì)倫理、道德和法律的認(rèn)知邏輯帶來(lái)新挑戰(zhàn)。首先,人工智能的高技術(shù)性和發(fā)展的靈活性使得傳統(tǒng)監(jiān)管范圍暴露出一定的不足和滯后,也加劇了監(jiān)管者、公眾與技術(shù)人員之間的信息不對(duì)稱。另一方面,人工智能的應(yīng)用往往涉及到數(shù)個(gè)行業(yè)和機(jī)構(gòu),可能會(huì)對(duì)多個(gè)利益相關(guān)者集團(tuán)產(chǎn)生影響,極大地增加協(xié)調(diào)監(jiān)管的難度[2]。最后,因?yàn)槿斯ぶ悄芗夹g(shù)的飛速發(fā)展,其風(fēng)險(xiǎn)、收益和發(fā)展路徑具有不確定性,傳統(tǒng)監(jiān)管制度可能效果不足,但是想要通過(guò)積極有效的事前監(jiān)管進(jìn)行規(guī)制已經(jīng)越來(lái)越困難[3]。就我國(guó)立法現(xiàn)狀看來(lái),目前對(duì)于人工智能的治理已經(jīng)初步形成了從法律、部門規(guī)章到地方性法規(guī)的多層次規(guī)范治理結(jié)構(gòu),但關(guān)于人工智能風(fēng)險(xiǎn)的系統(tǒng)性制度規(guī)則法律位階較低,而且過(guò)于分散,很難促進(jìn)相關(guān)部門監(jiān)管活動(dòng)以及公司自我監(jiān)管活動(dòng)的展開(kāi)。事實(shí)上,哪怕運(yùn)用高位階立法可能也無(wú)法達(dá)到規(guī)制的效果。因此,應(yīng)當(dāng)針對(duì)人工智能制定一部全面的綜合性法律,提煉出人工智能在各種場(chǎng)景下使用的一般規(guī)則,使其成為指導(dǎo)人工智能多場(chǎng)景應(yīng)用的基本準(zhǔn)則[2]。另一方面,針對(duì)人工智能進(jìn)行綜合立法也能夠反過(guò)來(lái)促進(jìn)人工智能的正向發(fā)展,助力其不斷創(chuàng)新,為其發(fā)展保駕護(hù)航。

    從國(guó)際視角來(lái)看,以歐美為代表的國(guó)家對(duì)人工智能領(lǐng)域進(jìn)行了積極立法,其目的一方面是為了對(duì)人工智能進(jìn)行更好的規(guī)制,另一方面也是為了在人工智能領(lǐng)域產(chǎn)生領(lǐng)先的規(guī)范影響力。通過(guò)及早訂立人工智能領(lǐng)域的規(guī)范和行業(yè)標(biāo)準(zhǔn),幫助產(chǎn)品在市場(chǎng)具有更大的競(jìng)爭(zhēng)力,基于基礎(chǔ)隱喻理論,也能夠形成不易被質(zhì)疑的前提性規(guī)范,確保本國(guó)人工智能產(chǎn)業(yè)在全球生產(chǎn)布局中占有優(yōu)勢(shì)地位。

    (二)人工智能帶來(lái)的法律問(wèn)題

    自人工智能被廣泛應(yīng)用以來(lái),其引發(fā)的各種法律風(fēng)險(xiǎn)層出不窮,Chat GPT 等生成式人工智能的出現(xiàn)使得其中部分法律問(wèn)題更加突出,最主要可以分為人工智能法律主體論的不同意見(jiàn)以及知識(shí)產(chǎn)權(quán)相關(guān)問(wèn)題兩個(gè)方面。

    1.人工智能法律主體論帶來(lái)的法律問(wèn)題

    從法理學(xué)角度來(lái)看,人工智能的法律主體資格問(wèn)題在學(xué)界一直是廣受討論的焦點(diǎn)。對(duì)人工智能法律主體地位持肯定態(tài)度的學(xué)者認(rèn)為,大模型人工智能體在技術(shù)方面突破了傳統(tǒng)人工智能的語(yǔ)言能力,使得人工智能體的獨(dú)立性不斷增強(qiáng)[4],并逐漸具備某種人類特性。如果否定人工智能的法律主體地位,不僅會(huì)對(duì)其發(fā)展和創(chuàng)新造成阻礙,也會(huì)造成法律秩序的混亂。在2023 年1 月30 日,哥倫比亞法院在作出判決時(shí)承認(rèn)使用Chat GPT,由此誕生了“全球首份使用Chat GPT 做出的判決書(shū)”。這似乎也為人工智能能夠獲得自然人特征并由此獲得法律主體地位增添希望。并且國(guó)際上已有賦予人工智能法律主體資格的先例,比如2017 年沙特阿拉伯賦予“索菲亞”高級(jí)智能機(jī)器人本國(guó)國(guó)籍,確認(rèn)其公民地位。另一方面,否認(rèn)人工智能法律主體地位的觀點(diǎn)認(rèn)為,人工智能技術(shù)雖然具有蓬勃的發(fā)展趨勢(shì),但其絕不可能具有自由意志和人類的道德情感。“我思故我在”,人工智能無(wú)法具備和人類等同的自由意志,即使旁征博引強(qiáng)調(diào)人工智能在某些方面早已超越人類,仍無(wú)法確立其在法律上的主體性。以Chat GPT 為例,雖然其具有前所未有的強(qiáng)大語(yǔ)言理解和文本生成能力,也已經(jīng)可以駕輕就熟地撰寫(xiě)論文等高智復(fù)雜行為,但是其道德倫理的缺失依然是明顯且不可否認(rèn)的。法律上的“人”一方面應(yīng)當(dāng)擁有行使權(quán)利和履行義務(wù)的法律資格,另一方面應(yīng)該事實(shí)上具備行使權(quán)利和履行義務(wù)的能力,若無(wú)法滿足這兩個(gè)條件,則不能享有法律主體地位[5]。

    從民事法律角度來(lái)看,人工智能成為法律主體關(guān)乎民事主體制度的調(diào)整,在民事法律中,自然人,法人和非法人組織是法律規(guī)定下的三種法律主體,人工智能想要成為民法上的“人”,其應(yīng)當(dāng)滿足自然人或法人的基本法律要素。民法中的法律主體之一——自然人的成立,是因?yàn)槠鋼碛小皺?quán)利能力”,而人的倫理價(jià)值是權(quán)利能力的基礎(chǔ),也是取得法律人格的條件。對(duì)于民法中具有法律主體地位的法人,其法律主體身份的獲得主要是基于現(xiàn)實(shí)發(fā)展需要,財(cái)產(chǎn)流通、風(fēng)險(xiǎn)隔離、責(zé)任劃分、法律關(guān)系穩(wěn)定等現(xiàn)實(shí)問(wèn)題解決的必要性為法人作為權(quán)利主體提供正當(dāng)化說(shuō)明。

    相對(duì)于自然人,人工智能法律主體地位獲得的關(guān)鍵在于人工智能是否具有自然人所必須的“理性”以及“自由意志”[6];相比于法人,主要問(wèn)題則在于承認(rèn)人工智能為法律主體是否具有現(xiàn)實(shí)需要。從目前來(lái)看,人工智能并不能夠成為理性主體,未來(lái)的強(qiáng)人工智能甚至超級(jí)人工智能是否能夠成為理性主體也無(wú)從知曉[7]。隨著其自主性不斷改變,對(duì)于其權(quán)利能力的認(rèn)同度也會(huì)隨之改變,問(wèn)題也會(huì)接踵而至。

    2.人工智能帶來(lái)的知識(shí)產(chǎn)權(quán)相關(guān)法律問(wèn)題

    生成式人工智能擁有強(qiáng)大的大文本數(shù)據(jù)預(yù)訓(xùn)練模型,通過(guò)整合用戶輸入的信息以及其他來(lái)自信息網(wǎng)絡(luò)的數(shù)據(jù),生成最終用戶需要的文本內(nèi)容,在這一過(guò)程中確實(shí)存在侵犯知識(shí)產(chǎn)權(quán)可能性。以Chat GPT 為例,據(jù)Chat GPT 開(kāi)發(fā)公司的描述,Chat GPT 是通過(guò)大量訓(xùn)練構(gòu)建的語(yǔ)言機(jī)器模型,訓(xùn)練主要來(lái)自兩個(gè)方面:一是鏈接大量的語(yǔ)料庫(kù)來(lái)訓(xùn)練模型,二是基于用戶反饋的強(qiáng)化學(xué)習(xí)。那么,對(duì)于一些受著作權(quán)保護(hù)的文本等,如果沒(méi)有得到權(quán)利主體的授權(quán)而直接使用,就會(huì)具有侵犯知識(shí)產(chǎn)權(quán)的風(fēng)險(xiǎn)。

    而另一方面,人工智能所生成內(nèi)容著作權(quán)的歸屬也尚不明確。首先,人工智能生成內(nèi)容是否能夠稱之為作品具有爭(zhēng)議[8]。依據(jù)著作權(quán)法,作品指的是文學(xué)、藝術(shù)和科學(xué)領(lǐng)域內(nèi)具有獨(dú)創(chuàng)性并能以一定形式表現(xiàn)的智力成果。于獨(dú)創(chuàng)性而言,人工智能生成的內(nèi)容是否具有獨(dú)創(chuàng)性很難產(chǎn)生統(tǒng)一定論;從另一角度來(lái)看,人工智能哪怕可以作為創(chuàng)作主體,因其法律主體地位仍不明確,其生成內(nèi)容若被稱為作品也可能存在一定的不合理性。人工智能生成內(nèi)容權(quán)利歸屬不能簡(jiǎn)單按照誰(shuí)制造誰(shuí)所有的原則來(lái)處理,在定性過(guò)程中也需要將鼓勵(lì)人工智能繼續(xù)創(chuàng)新等因素納入考慮范圍,因此解決知識(shí)產(chǎn)權(quán)相關(guān)法律問(wèn)題勢(shì)必面臨著多重挑戰(zhàn)。

    二、歐美人工智能相關(guān)立法實(shí)踐分析

    (一)歐盟《人工智能法案》

    2021 年4 月21 日,歐盟發(fā)布了《人工智能法案》(以下簡(jiǎn)稱《法案》),這是全球范圍內(nèi)首份針對(duì)人工智能風(fēng)險(xiǎn)管理的法案?!斗ò浮返某雠_(tái)意味著歐盟正試圖通過(guò)領(lǐng)先建立規(guī)范以成為在全球人工智能發(fā)展中的領(lǐng)導(dǎo)者[9]。

    《法案》將人工智能應(yīng)用場(chǎng)景按照風(fēng)險(xiǎn)高低分為四個(gè)等級(jí),從低到高分別為最低風(fēng)險(xiǎn)、有限風(fēng)險(xiǎn)、高風(fēng)險(xiǎn)、不可接受的風(fēng)險(xiǎn),等級(jí)越高,所受到的限制就越嚴(yán)格。在最低等級(jí)的風(fēng)險(xiǎn)中,比如電子游戲、垃圾郵件識(shí)別等人工智能則無(wú)需干預(yù);高一級(jí)風(fēng)險(xiǎn)——有限風(fēng)險(xiǎn)如聊天機(jī)器人等,則建議確保用戶認(rèn)識(shí)到對(duì)象是人工智能,并且能夠根據(jù)自己的主觀意志決定是否繼續(xù)對(duì)話,并保證過(guò)程的透明公開(kāi);更高一級(jí)風(fēng)險(xiǎn)指的是可能會(huì)對(duì)人們安全和生活造成嚴(yán)重影響的人工智能,在部分重要領(lǐng)域比如交通基礎(chǔ)設(shè)施、教育或職業(yè)培訓(xùn)、醫(yī)療輔助等方面,則需要在啟用人工智能前履行充分評(píng)估風(fēng)險(xiǎn)、高質(zhì)量數(shù)據(jù)交換等嚴(yán)格義務(wù);至于最高風(fēng)險(xiǎn)等級(jí)——不可接受風(fēng)險(xiǎn)級(jí)別的人工智能,此種類別的人工智能可能會(huì)明顯威脅人類安全和生活,侵犯?jìng)€(gè)人權(quán)利甚至操縱人類思想行為,此時(shí)則應(yīng)當(dāng)禁止。整體來(lái)看,法案對(duì)于人工智能發(fā)展的態(tài)度是鼓勵(lì)而不是限制。對(duì)于風(fēng)險(xiǎn)的規(guī)制,法案并不限于某一階段,而是從人工智能產(chǎn)品入市前到入市后,實(shí)現(xiàn)事前、事中和事后的全過(guò)程完整規(guī)制。

    《法案》是全球范圍內(nèi)首部人工智能立法,嘗試對(duì)人工智能進(jìn)行了界定和分類,也采取了全鏈條的規(guī)制措施,在人工智能立法領(lǐng)域意義重大,同時(shí)也存在著不少爭(zhēng)議。首先就是對(duì)于人工智能的劃分仍然不夠清晰,四種類別的人工智能仍然定義寬泛,隨著技術(shù)的發(fā)展,實(shí)際上并不能涵蓋所有人工智能,現(xiàn)已面世的人工智能也存在涵括范圍不夠全面的情況。另一方面,法案的責(zé)任機(jī)制也存在缺陷。法案依據(jù)的是“提供者責(zé)任原則”,將人工智能的責(zé)任歸結(jié)重點(diǎn)置于人工智能產(chǎn)品的提供者。此時(shí)可能會(huì)與現(xiàn)實(shí)狀況不符,因?yàn)楝F(xiàn)實(shí)生活中產(chǎn)品用戶也是重要的責(zé)任主體。以人臉識(shí)別系統(tǒng)為例,用戶才是系統(tǒng)中主要的運(yùn)營(yíng)主體,系統(tǒng)運(yùn)行中的風(fēng)險(xiǎn)很可能來(lái)自于用戶的運(yùn)營(yíng)活動(dòng)而不是早已脫離技術(shù)使用場(chǎng)景的技術(shù)開(kāi)發(fā)和提供者,此時(shí)對(duì)開(kāi)發(fā)者追責(zé)可能會(huì)有失偏頗,違反公平原則。所以僅要求人工智能產(chǎn)品提供者來(lái)承擔(dān)責(zé)任是不夠的,應(yīng)當(dāng)根據(jù)實(shí)際情況考慮將用戶也納入責(zé)任承擔(dān)體系,加大用戶預(yù)防和規(guī)避風(fēng)險(xiǎn)的責(zé)任和義務(wù)[2]。

    (二)美國(guó)人工智能相關(guān)立法

    當(dāng)前美國(guó)有關(guān)人工智能的監(jiān)管主要分為州與聯(lián)邦兩個(gè)層面。在州層面,2022 年共有17 個(gè)州引入了有關(guān)人工智能的法案,而在聯(lián)邦層面,諸多議員已經(jīng)在有關(guān)人工智能監(jiān)管的各個(gè)方面展開(kāi)了行動(dòng),但立法進(jìn)程仍處于早期階段。2017 年12 月12 日的《人工智能未來(lái)法案》是美國(guó)在人工智能領(lǐng)域的第一個(gè)聯(lián)邦法案,該法案致力于大力促進(jìn)人工智能的發(fā)展,以保持美國(guó)在人工智能市場(chǎng)的全球競(jìng)爭(zhēng)力。該法案中并未提出明確的規(guī)制措施,核心內(nèi)容主要是提出建立一個(gè)能夠綜合解決人工智能相關(guān)問(wèn)題的咨詢委員會(huì),該咨詢委員會(huì)應(yīng)當(dāng)由不同部門、不同領(lǐng)域、不同地域的代表組成,主要目的是對(duì)人工智能相關(guān)事項(xiàng)和問(wèn)題進(jìn)行前瞻性研究,也為后續(xù)相關(guān)法律的出臺(tái)提供支持[10]。2022 年5 月4 日,美國(guó)國(guó)家人工智能咨詢委員會(huì)正式成立。

    在Chat GPT 問(wèn)世之后,美國(guó)也發(fā)布了相關(guān)的最新人工智能監(jiān)管政策。2022 年10 月,美國(guó)白宮科技政策辦公室發(fā)布了《人工智能權(quán)利法案藍(lán)圖:讓自動(dòng)化系統(tǒng)為美國(guó)人民服務(wù)》(以下簡(jiǎn)稱《藍(lán)圖》)?!端{(lán)圖》旨在支持自動(dòng)化系統(tǒng)建設(shè)、部署和治理過(guò)程中,保護(hù)美國(guó)公民的民主權(quán)利。并且包含了經(jīng)過(guò)美國(guó)各地的民眾、聯(lián)邦機(jī)構(gòu)的公務(wù)員以及國(guó)際社會(huì)的成員討論所得出的一系列原則:安全且有效的系統(tǒng);算法歧視保護(hù)原則;數(shù)據(jù)隱私原則;通知和解釋原則;人工選擇、考慮和退出原則?!端{(lán)圖》不具約束力,也不構(gòu)成美國(guó)政府的政策,但是其為如何建立一個(gè)保護(hù)所有人免受前述威脅的社會(huì)、如何使用技術(shù)強(qiáng)化最高的價(jià)值觀提供了指南。

    相比于歐盟的《人工智能法案》,《藍(lán)圖》是框架性和探索性的,在闡述如何將五項(xiàng)原則付諸實(shí)踐時(shí),其僅給出了有限數(shù)量和有限類型的案例,主要關(guān)注的是人工智能在招聘、教育、醫(yī)療保健供應(yīng)、金融服務(wù)訪問(wèn)、商業(yè)監(jiān)控等領(lǐng)域的應(yīng)用;同時(shí)也缺乏設(shè)立相關(guān)執(zhí)法機(jī)制的細(xì)節(jié),比如由聯(lián)邦層面協(xié)調(diào)的監(jiān)控、審計(jì)和審查行動(dòng)。因此,《藍(lán)圖》難以被看作是通用的人工智能原則,但是其對(duì)未來(lái)人工智能立法仍有一定的啟示作用。

    而在美國(guó)版權(quán)局新頒布的美國(guó)聯(lián)邦法規(guī)中,對(duì)人工智能知識(shí)產(chǎn)權(quán)相關(guān)法律問(wèn)題提出了指導(dǎo)性意見(jiàn),其明確規(guī)定只有人類創(chuàng)造的作品才可以受版權(quán)保護(hù)。在認(rèn)定人工智能作品是否受版權(quán)保護(hù)時(shí),人類作者對(duì)其作品所貢獻(xiàn)的創(chuàng)造力是版權(quán)局主要的衡量標(biāo)準(zhǔn)。版權(quán)局在評(píng)估同時(shí)包含人類創(chuàng)作與人工智能生成的材料(包括由技術(shù)或在技術(shù)幫助下生成的材料,這些材料不受版權(quán)保護(hù)),是否可以注冊(cè)為作品的相關(guān)標(biāo)準(zhǔn)是:該作品是否主要體現(xiàn)人類的創(chuàng)作成果,而計(jì)算機(jī)(或其他智能設(shè)備)只作為輔助性工具。在包含人工智能材料的作品中,版權(quán)局將更多考慮人工智能在作品中的貢獻(xiàn)度,即該作品是否是作者原創(chuàng)性的體現(xiàn),還是只是利用人工智能進(jìn)行機(jī)械復(fù)制。如果使用人工智能生成的材料進(jìn)行創(chuàng)作的作品足夠體現(xiàn)出作者的原創(chuàng)性,也可以達(dá)到版權(quán)局對(duì)于“作品”的要求。這意味著現(xiàn)代的人工智能技術(shù)可以作為作者創(chuàng)作作品的工具,對(duì)人工智能是否可以成為法律主體的問(wèn)題帶來(lái)啟示意義。

    (三)歐美相關(guān)立法于我國(guó)綜合立法之借鑒

    1.對(duì)基本法律問(wèn)題的啟發(fā)性解決

    對(duì)人工智能進(jìn)行立法,首先需要解決一系列基礎(chǔ)性法律問(wèn)題。而在立法過(guò)程所面對(duì)的基礎(chǔ)性法律問(wèn)題中,筆者認(rèn)為厘清人工智能的法律主體地位居于首要地位。因?yàn)榉芍黧w身份的承認(rèn)與否關(guān)乎其他各個(gè)部門法問(wèn)題的解決。而對(duì)于人工智能主體論的爭(zhēng)議,筆者認(rèn)為給予其法律主體地位與我國(guó)所提倡的以人為本價(jià)值觀相悖。

    提倡賦予人工智能主體地位觀點(diǎn)的最根本目的是對(duì)人工智能可能帶來(lái)的違法問(wèn)題給出針對(duì)性規(guī)范限制,以期使其承擔(dān)法律責(zé)任。但筆者認(rèn)為,一方面,人工智能無(wú)法擁有獨(dú)立的責(zé)任財(cái)產(chǎn)來(lái)承擔(dān)法律責(zé)任。無(wú)論多么高智能的人工智能,制造者仍是人類,沒(méi)有自己獨(dú)立的財(cái)產(chǎn)。就算能夠以其為主體開(kāi)設(shè)賬戶預(yù)存資金,人工智能也沒(méi)有自由支配財(cái)產(chǎn)的意愿和選擇。通過(guò)經(jīng)濟(jì)性法律責(zé)任的承擔(dān)也并不能對(duì)人工智能起到警示作用,人工智能也不會(huì)因此而產(chǎn)生對(duì)法律威嚴(yán)的敬畏。想要通過(guò)賦予人工智能法律主體地位而使其承擔(dān)法律責(zé)任,倒不如對(duì)人工智能的生產(chǎn)者、運(yùn)營(yíng)者、使用者進(jìn)行規(guī)制,鼓勵(lì)生產(chǎn)者創(chuàng)造合法運(yùn)行的人工智能產(chǎn)品,運(yùn)營(yíng)者合法運(yùn)營(yíng)、使用者合法使用。

    對(duì)于人工智能所帶來(lái)的知識(shí)產(chǎn)權(quán)問(wèn)題,筆者認(rèn)為可以從以下幾個(gè)角度進(jìn)行考慮。首先,如果人工智能并不能作為法律上的主體,那么其就無(wú)法成為知識(shí)產(chǎn)權(quán)法上的作者,所帶來(lái)的一系列法律責(zé)任的承擔(dān)就自然而然歸屬到了人工智能的生產(chǎn)者、運(yùn)營(yíng)者和使用者之間,法律風(fēng)險(xiǎn)的消除也就可以通過(guò)對(duì)自然人人類主體的規(guī)制達(dá)到效果。退一步講,哪怕人工可以獲得作者身份或者其產(chǎn)生的內(nèi)容可以被視為作品,由于人工智能本身還是人類的產(chǎn)物,其產(chǎn)生的內(nèi)容歸根結(jié)底也是通過(guò)人類預(yù)先設(shè)定的程序而形成的,所以人工智能生成物的主體其實(shí)還是人類。從另一方面來(lái)看,給予人工智能作者身份也并不能起到鼓勵(lì)創(chuàng)新的效果,將人工智能生成物的產(chǎn)品權(quán)利歸屬于人工智能開(kāi)發(fā)者或所有人更符合著作權(quán)權(quán)利激勵(lì)制度的初衷。這也是美國(guó)最新聯(lián)邦法規(guī)中對(duì)于Chat GPT等生成式人工智能所秉持的觀點(diǎn)。

    2.歐盟立法經(jīng)驗(yàn)于我國(guó)之啟示

    從歐盟《人工智能法案》的角度看來(lái),其存在的立法缺陷比如人工智能定義和劃分寬泛的問(wèn)題以及并不完善的責(zé)任機(jī)制可以為我國(guó)未來(lái)的人工智能綜合立法提供借鑒和教訓(xùn)。該法案以不同等級(jí)的風(fēng)險(xiǎn)差異作為區(qū)分方法進(jìn)行對(duì)應(yīng)的分級(jí)監(jiān)管,并采取不同層級(jí)義務(wù)規(guī)定的思路值得我國(guó)借鑒[11]。

    我國(guó)現(xiàn)有立法其實(shí)已經(jīng)出現(xiàn)過(guò)以風(fēng)險(xiǎn)等級(jí)制度為準(zhǔn)進(jìn)行人工智能監(jiān)管的模式:《深圳經(jīng)濟(jì)特區(qū)人工智能產(chǎn)業(yè)促進(jìn)條例》(以下簡(jiǎn)稱《深圳條例》)提到了“風(fēng)險(xiǎn)等級(jí)”;《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》(以下簡(jiǎn)稱《上海條例》)也依據(jù)不同的風(fēng)險(xiǎn)等級(jí)制定了不同的治理辦法。但深圳和上海條例的相關(guān)內(nèi)容均是原則性的概括規(guī)定,并未形成成熟和適用性強(qiáng)的細(xì)則。未來(lái)我國(guó)進(jìn)行人工智能法律監(jiān)管,可以將歐盟風(fēng)險(xiǎn)分級(jí)的方式作為基礎(chǔ)進(jìn)行發(fā)展,但是法規(guī)的具體細(xì)則仍然應(yīng)當(dāng)順應(yīng)中國(guó)實(shí)際。通過(guò)公眾參與、專家評(píng)判,合理界定和劃分不同風(fēng)險(xiǎn)類別,增強(qiáng)制度的科學(xué)性和民主性,助力制度的最終落實(shí)。

    除此之外,《人工智能法案》的全過(guò)程的監(jiān)管機(jī)制也可以為我國(guó)提供啟發(fā)。我國(guó)應(yīng)當(dāng)在人工智能研發(fā)、生產(chǎn)到使用全過(guò)程,從技術(shù)研發(fā)者、應(yīng)用管理者到使用者起到責(zé)任制度全程監(jiān)管,并且應(yīng)當(dāng)考慮建立定期監(jiān)測(cè)和評(píng)估機(jī)制,與時(shí)俱進(jìn)改進(jìn)規(guī)制措施,對(duì)于潛在風(fēng)險(xiǎn)應(yīng)當(dāng)及時(shí)采取行動(dòng)加以解決。另外,對(duì)于人工智能定義既要能夠涵蓋已有的需要規(guī)制的人工智能范圍,也一定要為未來(lái)期待的人工智能發(fā)展留下解釋和適用空間。

    3.美國(guó)立法經(jīng)驗(yàn)于我國(guó)之啟示

    美國(guó)《人工智能未來(lái)法案》中對(duì)于人工智能咨詢委員會(huì)建立的提倡能夠?yàn)槲覈?guó)提供相關(guān)經(jīng)驗(yàn)。我國(guó)可以考慮建立專門的人工智能管理、協(xié)調(diào)機(jī)構(gòu)?!渡钲跅l例》和《上海條例》都提出了建立人工智能相關(guān)治理機(jī)構(gòu),比如倫理監(jiān)管委員會(huì)、專業(yè)技術(shù)成果轉(zhuǎn)化服務(wù)機(jī)構(gòu)等。中國(guó)可參照美國(guó)人工智能咨詢委員會(huì)的模式,建立符合中國(guó)國(guó)情的人工智能專門監(jiān)管機(jī)構(gòu),創(chuàng)造更能促進(jìn)人工智能發(fā)展和創(chuàng)新的環(huán)境。該機(jī)構(gòu)負(fù)責(zé)對(duì)人工智能可能帶來(lái)的倫理、法律及社會(huì)問(wèn)題進(jìn)行針對(duì)的前瞻性研究。這將為人工智能綜合立法提供前置基礎(chǔ),這些研究成果也將為政府決策及后續(xù)的立法提供智力支持[10]。

    除此之外,美國(guó)《藍(lán)圖》中樹(shù)立的重要原則也為我國(guó)未來(lái)人工智能立法提供借鑒。

    三、中國(guó)已有人工智能立法分析和未來(lái)路徑探索

    人工智能涉及的問(wèn)題包括政治、經(jīng)濟(jì)、倫理甚至國(guó)家安全等,所帶來(lái)的風(fēng)險(xiǎn)更具有復(fù)雜性、系統(tǒng)性和不可預(yù)測(cè)性,對(duì)人工智能進(jìn)行綜合立法的挑戰(zhàn)巨大。隨著人工智能的不斷發(fā)展,生成式人工智能在帶來(lái)各種法律問(wèn)題同時(shí)也給立法帶來(lái)了一些方向。在筆者看來(lái),我國(guó)在對(duì)人工智能進(jìn)行綜合性立法時(shí),可以結(jié)合歐美相關(guān)立法以及我國(guó)已有的立法實(shí)踐獲得一些啟示。

    (一)中國(guó)目前已有人工智能立法分析

    2017 年我國(guó)頒布了《新一代人工智能發(fā)展規(guī)劃》,預(yù)設(shè)了我國(guó)人工智能發(fā)展的階段戰(zhàn)略目標(biāo)、總體部署和重點(diǎn)任務(wù),將人工智能產(chǎn)業(yè)視為未來(lái)經(jīng)濟(jì)發(fā)展的重要產(chǎn)業(yè)。2023 年6 月6 日,國(guó)務(wù)院辦公廳印發(fā)《國(guó)務(wù)院2023 年度立法工作計(jì)劃》,其中人工智能法草案等預(yù)備提請(qǐng)全國(guó)人大常委會(huì)審議,這意味著國(guó)家層面的人工智能立法將進(jìn)入新階段。如今雖然尚無(wú)國(guó)家層面的專項(xiàng)人工智能產(chǎn)業(yè)立法,但是上海和深圳等地已經(jīng)相繼發(fā)布了相關(guān)地方立法。

    2022 年9 月5 日,《深圳經(jīng)濟(jì)特區(qū)人工智能產(chǎn)業(yè)促進(jìn)條例》正式公布,于2022 年11 月1 日起實(shí)施,這是我國(guó)人工智能領(lǐng)域首次地方性立法。深圳的立法堅(jiān)持了促進(jìn)性立法的理念,體現(xiàn)了“全面促進(jìn)與合理必要的規(guī)范”,核心目的是“促進(jìn)人工智能產(chǎn)業(yè)發(fā)展”。值得注意的是,《深圳條例》首次在我國(guó)法律層面給出人工智能的定義,明確了人工智能產(chǎn)業(yè)的邊界,將人工智能相關(guān)的軟硬件產(chǎn)品相關(guān)系列、人工智能技術(shù)在民生服務(wù)、社會(huì)治理、經(jīng)濟(jì)發(fā)展等各領(lǐng)域融合應(yīng)用形成的相關(guān)產(chǎn)業(yè)都納入人工智能產(chǎn)業(yè)范疇。《深圳條例》也提出設(shè)立人工智能相關(guān)治理機(jī)構(gòu),意圖實(shí)現(xiàn)多元主體協(xié)同共治。

    上海出臺(tái)的《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》是全國(guó)首部人工智能領(lǐng)域省級(jí)地方性法規(guī),更加系統(tǒng)地闡述了人工智能的定義、技術(shù)分支、涉及到的生產(chǎn)要素和產(chǎn)業(yè)等,其為政府在人工智能領(lǐng)域的職責(zé)范圍劃分提供了指引,更好地保證各部門間的分工合作和執(zhí)法過(guò)程的合法合規(guī)?!渡虾l例》明確了與人工智能產(chǎn)業(yè)發(fā)展相關(guān)的行為底線,并規(guī)定對(duì)于人工智能產(chǎn)業(yè)發(fā)展過(guò)程中的輕微違法行為,可以指定依法不予行政處罰清單,而是通過(guò)批評(píng)教育、指導(dǎo)約談等措施促進(jìn)依法合規(guī)開(kāi)展生產(chǎn)經(jīng)營(yíng)活動(dòng)。除此之外,《上海條例》重視人工智能倫理規(guī)則的制定,比如設(shè)立人工智能倫理專家委員會(huì),要求市政府設(shè)立人工智能倫理委員會(huì),加快制定和實(shí)施人工智能倫理安全規(guī)范,深化人工智能技術(shù)倫理、安全風(fēng)險(xiǎn)等方面的研究。總的來(lái)說(shuō),《促進(jìn)條例》對(duì)于人工智能產(chǎn)業(yè)發(fā)展有著清晰的路徑謀劃和支持舉措,對(duì)于上海乃至全國(guó)的人工智能治理都意義非凡。

    除去地方性立法,我國(guó)也逐漸形成了人工智能法律規(guī)范的治理體系,近些年來(lái)逐步出臺(tái)了比如《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》《個(gè)人信息保護(hù)法》等法律規(guī)范,尤其是在2023 年8 月15 日,我國(guó)出臺(tái)了《生成式人工智能服務(wù)管理暫行辦法》(以下簡(jiǎn)稱《辦法》),這是全球第一部針對(duì)生成式人工智能的法律,體現(xiàn)了我國(guó)與時(shí)俱進(jìn)的人工智能立法進(jìn)程,是人工智能立法的重要一步。在《辦法》中,我國(guó)鼓勵(lì)生成式人工智能在各個(gè)行業(yè)的應(yīng)用創(chuàng)新以及各行業(yè)的溝通協(xié)作,也提出了推動(dòng)生成式人工智能基礎(chǔ)設(shè)施和公共訓(xùn)練數(shù)據(jù)資源平臺(tái)建設(shè)的觀點(diǎn)?!掇k法》對(duì)人工智能的潛在風(fēng)險(xiǎn)從事前預(yù)防、事中事后規(guī)制和救濟(jì)等方面提出了治理要求[12]。

    (二)綜合立法助力我國(guó)人工智能規(guī)制

    深圳和上海等地的地方性立法雖然具有一定重要意義,我國(guó)也已經(jīng)對(duì)人工智能有關(guān)方面進(jìn)行了專項(xiàng)立法,但是我國(guó)目前用于應(yīng)對(duì)人工智能風(fēng)險(xiǎn)的制度規(guī)則過(guò)于分散,法律規(guī)范數(shù)量少、層級(jí)低,缺乏頂層設(shè)計(jì)和統(tǒng)籌規(guī)劃的問(wèn)題仍然較為突出[13],不利于相關(guān)機(jī)構(gòu)開(kāi)展監(jiān)管活動(dòng),也不利于企業(yè)自我合規(guī)。

    總的來(lái)說(shuō),人工智能立法模式可以分為“橫向”和“縱向”立法兩種。歐盟《人工智能法案》就是典型的橫向立法:由監(jiān)管機(jī)構(gòu)制定一項(xiàng)法規(guī),涵蓋人工智能可能產(chǎn)生的多種影響,通過(guò)該法案實(shí)現(xiàn)全面治理[14],也即綜合立法。我國(guó)的規(guī)制體系總體上是“垂直”傾向的,特定領(lǐng)域特殊立法。雖然,“垂直”立法能夠確保人工智能立法的專業(yè)性,有效減輕不同人工智能技術(shù)和應(yīng)用造成的特定危害,但“垂直”立法不僅成本過(guò)高,而且可能會(huì)削弱監(jiān)管合力。一方面,過(guò)多主體參與治理,增加了立法、執(zhí)法機(jī)構(gòu)之間的協(xié)調(diào)難度。另一方面,不同主體基于不同的利益驅(qū)動(dòng),監(jiān)管中可能存在競(jìng)爭(zhēng)與互相推諉的情形。對(duì)人工智能出臺(tái)綜合性法案,加上配套的法律法規(guī)、法律解釋及倫理準(zhǔn)則,能更好地確保人工智能的安全運(yùn)行以及風(fēng)險(xiǎn)的合理控制,有效避免此時(shí)“垂直”立法產(chǎn)生的弊端。

    雖然能夠效仿《辦法》的立法模式針對(duì)性地對(duì)某一種人工智能進(jìn)行“量身定做”的法律規(guī)制,但是立法的高成本、滯后性會(huì)使得這種做法逐漸失去其合理性和可操作性。綜上,為人工智能制定一部專門的綜合性法律,立足頂層設(shè)計(jì),將人工智能用于不同場(chǎng)景中所遵循的共性規(guī)則進(jìn)行提煉以形成能夠規(guī)范人工智能多場(chǎng)景應(yīng)用的基本規(guī)則[2],對(duì)于我國(guó)人工智能法制建設(shè)及其本身的發(fā)展都具有重要意義,能夠更加強(qiáng)有力地指導(dǎo)各地、各領(lǐng)域的人工智能發(fā)展。

    (三)我國(guó)未來(lái)立法其他突破點(diǎn)探索

    1.確立契合人工智能屬性的倫理標(biāo)準(zhǔn)

    相比于法律規(guī)范,倫理規(guī)范具有獨(dú)特的優(yōu)勢(shì)且尤為重要。在現(xiàn)實(shí)生活中,法律規(guī)范基于現(xiàn)實(shí)生活需要而產(chǎn)生,完成法律規(guī)范的構(gòu)建需要較長(zhǎng)時(shí)間和較大成本,因此法律的產(chǎn)生總是具有滯后性。相比于此,倫理規(guī)范更加靈活,并且能夠起到預(yù)設(shè)作用,對(duì)已經(jīng)發(fā)生和可能將要發(fā)生的社會(huì)關(guān)系作出規(guī)制和指引,能夠在一定程度上彌補(bǔ)立法的模糊性和“補(bǔ)漏式”立法的不足[15],因此,對(duì)其研究更能保證立法的合理性和完整度[16]。

    近些年來(lái),許多國(guó)家已經(jīng)在人工智能相關(guān)倫理規(guī)范的建構(gòu)道路上邁出了步伐?!皺C(jī)器人倫理學(xué)”一詞出現(xiàn)在2004 年第一屆世界機(jī)器人倫理學(xué)大會(huì)上。2005 年,歐洲機(jī)器人學(xué)研究網(wǎng)絡(luò)(EURON)發(fā)布了《機(jī)器人倫理學(xué)路線圖》,并創(chuàng)建了多項(xiàng)與倫理道德建設(shè)的人工智能研究計(jì)劃。代表硅谷等科技行業(yè)發(fā)展利益和需求的美國(guó)信息技術(shù)產(chǎn)業(yè)委員會(huì)(ITI)頒布了人工智能政策準(zhǔn)則,將倫理等AI 公共政策提上議程。除此之外,美國(guó)還設(shè)立了多項(xiàng)專項(xiàng)基金對(duì)“機(jī)器人倫理學(xué)”進(jìn)行研究。

    對(duì)于建立人工智能道德倫理規(guī)范的具體舉措,可以從以下方面入手:一方面,為人工智能預(yù)先設(shè)定道德標(biāo)準(zhǔn),將不損害人類尊嚴(yán)、保護(hù)隱私、防止偏見(jiàn)等重要原則囊括其中,對(duì)其進(jìn)行倫理指引;另一方面,對(duì)科研人員進(jìn)行倫理約束,保證人工智能從研發(fā)過(guò)程開(kāi)始就具備所期望的道德倫理。隨著倫理規(guī)范的深化運(yùn)用,其也可能會(huì)發(fā)展成法律規(guī)范,為未來(lái)的人工智能法制建設(shè)提供重要依據(jù)[17]。人工智能作為一項(xiàng)“顛覆性”技術(shù),尤其是像Chat GPT 式“有過(guò)人之處”的新興人工智能的出現(xiàn),勢(shì)必也需要一套新的與其契合的倫理道德標(biāo)準(zhǔn)。

    2.完成數(shù)據(jù)、算法等基礎(chǔ)性立法

    數(shù)據(jù)、算法和算力是人工智能得以運(yùn)轉(zhuǎn)和不斷創(chuàng)新發(fā)展不可或缺的部分。數(shù)據(jù)和算法如果得到了有效的法律規(guī)范的規(guī)制,將會(huì)對(duì)人工智能立法起到極大的促進(jìn)作用。比如Chat GPT 等生成式人工智能的成功除了算法強(qiáng),同時(shí)還有充足和強(qiáng)大的數(shù)據(jù)來(lái)源。大數(shù)據(jù)是人工智能不可或缺的要素。當(dāng)前,我國(guó)針對(duì)數(shù)據(jù)要素出臺(tái)了一系列法律規(guī)范,但由于數(shù)據(jù)權(quán)屬、數(shù)據(jù)價(jià)值、數(shù)據(jù)交易規(guī)則等數(shù)據(jù)要素的基礎(chǔ)性法律制度還沒(méi)有建立起來(lái),也制約著數(shù)據(jù)要素市場(chǎng)發(fā)展和人工智能發(fā)展。因此,制定一系列數(shù)據(jù)基礎(chǔ)法律,也是后續(xù)人工智能綜合立法必要的準(zhǔn)備工作。

    以算法相關(guān)立法為例,我國(guó)在2022 年以部門規(guī)章的形式出臺(tái)了《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》以對(duì)算法行為作出規(guī)制。該規(guī)定以部門規(guī)章的形式雖然具有較強(qiáng)的應(yīng)用性,但是因?yàn)槠浞蓪蛹?jí)較低,可能無(wú)法對(duì)算法亂象進(jìn)行有效全面地規(guī)制。如果算法的立法能夠到達(dá)法律層級(jí),則能針對(duì)算法的法律關(guān)系作出更加系統(tǒng)全面的調(diào)整。因此,為了對(duì)算法亂象進(jìn)行真正有效地規(guī)制,立法需要在法律層級(jí)的基礎(chǔ)上提供穩(wěn)定地規(guī)則支持,同時(shí)對(duì)不斷變化的社會(huì)訴求及時(shí)作出回應(yīng)[18]。算法專項(xiàng)立法的完成也會(huì)對(duì)人工智能綜合立法的到來(lái)增添力量。

    結(jié)語(yǔ)

    人工智能技術(shù)發(fā)展的勢(shì)頭無(wú)法阻擋,以后勢(shì)必會(huì)出現(xiàn)更多高智人工智能,但就如今看來(lái)人工智能暫時(shí)還不能超越人類意志或情感,與其擔(dān)心人工智能是否會(huì)取代人類,不如針對(duì)現(xiàn)有法律、倫理和技術(shù)等方面帶來(lái)的風(fēng)險(xiǎn)做出回應(yīng)。如何制定針對(duì)于人工智能的相關(guān)法律規(guī)則,要以如何更好地為人類增添福祉為出發(fā)點(diǎn)和中心主旨。對(duì)人工智能進(jìn)行立法規(guī)制既要有力,也要為人工智能的創(chuàng)新發(fā)展留下空間,努力實(shí)現(xiàn)人工智能創(chuàng)新發(fā)展、堅(jiān)守倫理道德底線、法律有效規(guī)制之間的平衡。

    猜你喜歡
    主體人工智能法律
    論自然人破產(chǎn)法的適用主體
    法律解釋與自然法
    法律方法(2021年3期)2021-03-16 05:57:02
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    下一幕,人工智能!
    關(guān)于遺產(chǎn)保護(hù)主體的思考
    讓人死亡的法律
    山東青年(2016年1期)2016-02-28 14:25:30
    “互助獻(xiàn)血”質(zhì)疑聲背后的法律困惑
    論多元主體的生成
    午夜成年电影在线免费观看| 精品熟女少妇八av免费久了| 国产午夜精品久久久久久| 少妇人妻一区二区三区视频| 18禁观看日本| 两个人的视频大全免费| 曰老女人黄片| 国产精品亚洲美女久久久| 精品一区二区三区av网在线观看| 亚洲av电影不卡..在线观看| 一进一出抽搐动态| 久久精品国产亚洲av高清一级| 国产精品爽爽va在线观看网站| 免费高清视频大片| 丰满人妻一区二区三区视频av | 国产一区在线观看成人免费| 日韩免费av在线播放| 国产99白浆流出| 在线观看免费视频日本深夜| 757午夜福利合集在线观看| 久久久久免费精品人妻一区二区| 国产激情欧美一区二区| www.www免费av| 亚洲国产高清在线一区二区三| 真人做人爱边吃奶动态| 成人一区二区视频在线观看| 国内久久婷婷六月综合欲色啪| 欧美国产日韩亚洲一区| 亚洲第一欧美日韩一区二区三区| 午夜激情福利司机影院| 在线观看日韩欧美| 一本久久中文字幕| 国产成人精品久久二区二区91| 欧美日韩乱码在线| 国产一区二区三区在线臀色熟女| 19禁男女啪啪无遮挡网站| 日本精品一区二区三区蜜桃| 99久久精品热视频| 少妇人妻一区二区三区视频| 婷婷精品国产亚洲av在线| 一进一出抽搐gif免费好疼| 亚洲成人免费电影在线观看| 小说图片视频综合网站| 757午夜福利合集在线观看| 搞女人的毛片| 国产亚洲精品一区二区www| 欧美日本视频| 免费观看精品视频网站| 欧美久久黑人一区二区| 亚洲天堂国产精品一区在线| 成人亚洲精品av一区二区| 精品久久蜜臀av无| 首页视频小说图片口味搜索| 国产成人一区二区三区免费视频网站| 操出白浆在线播放| 国产成人aa在线观看| 欧美在线一区亚洲| 少妇裸体淫交视频免费看高清 | 亚洲性夜色夜夜综合| 天天添夜夜摸| 久久中文字幕一级| 99国产精品一区二区蜜桃av| 狠狠狠狠99中文字幕| 91av网站免费观看| 一个人免费在线观看电影 | 中文字幕人妻丝袜一区二区| 免费电影在线观看免费观看| 国产精品久久久久久精品电影| 亚洲精品久久成人aⅴ小说| 亚洲美女视频黄频| 日韩欧美一区二区三区在线观看| 日韩成人在线观看一区二区三区| 国产亚洲精品第一综合不卡| 2021天堂中文幕一二区在线观| 亚洲国产精品999在线| 美女免费视频网站| 亚洲美女黄片视频| 国产野战对白在线观看| 欧美日本亚洲视频在线播放| av中文乱码字幕在线| 亚洲自拍偷在线| 日韩欧美 国产精品| 我的老师免费观看完整版| 亚洲精品在线美女| 欧美日韩黄片免| 久久久久久人人人人人| 亚洲 国产 在线| 一区二区三区高清视频在线| 国产爱豆传媒在线观看 | 欧美色视频一区免费| 男插女下体视频免费在线播放| 99riav亚洲国产免费| 男人的好看免费观看在线视频 | 亚洲一区二区三区不卡视频| 日日夜夜操网爽| 黄色毛片三级朝国网站| 看黄色毛片网站| 亚洲国产日韩欧美精品在线观看 | 波多野结衣高清作品| 久久香蕉国产精品| 国产一区二区三区在线臀色熟女| 欧美性猛交╳xxx乱大交人| 91av网站免费观看| 啪啪无遮挡十八禁网站| 国产精品 国内视频| 毛片女人毛片| 国产熟女午夜一区二区三区| 麻豆成人午夜福利视频| 国产成人av教育| 老司机午夜福利在线观看视频| 婷婷丁香在线五月| 亚洲国产中文字幕在线视频| 日本在线视频免费播放| 特大巨黑吊av在线直播| 中文字幕最新亚洲高清| 淫妇啪啪啪对白视频| 国产免费男女视频| 国产免费男女视频| 老熟妇乱子伦视频在线观看| 日韩欧美在线乱码| 欧美乱码精品一区二区三区| 又黄又粗又硬又大视频| 欧美日韩瑟瑟在线播放| 麻豆成人av在线观看| 黄色 视频免费看| 精品久久久久久,| 精品电影一区二区在线| 亚洲专区中文字幕在线| 99国产极品粉嫩在线观看| 亚洲美女黄片视频| 巨乳人妻的诱惑在线观看| 美女午夜性视频免费| 国产精品久久久人人做人人爽| 国产成年人精品一区二区| 国产亚洲欧美在线一区二区| 91av网站免费观看| 大型av网站在线播放| 亚洲五月婷婷丁香| 99在线视频只有这里精品首页| bbb黄色大片| 国产亚洲欧美98| 成熟少妇高潮喷水视频| 午夜久久久久精精品| 亚洲 欧美一区二区三区| 亚洲中文日韩欧美视频| 欧美日韩瑟瑟在线播放| 中文亚洲av片在线观看爽| 亚洲全国av大片| 少妇人妻一区二区三区视频| 少妇被粗大的猛进出69影院| 天堂√8在线中文| 在线观看美女被高潮喷水网站 | 国产探花在线观看一区二区| 亚洲欧洲精品一区二区精品久久久| 在线播放国产精品三级| 91老司机精品| 亚洲av中文字字幕乱码综合| 啦啦啦观看免费观看视频高清| 欧美最黄视频在线播放免费| netflix在线观看网站| 色老头精品视频在线观看| 亚洲电影在线观看av| 午夜福利高清视频| 午夜福利18| 亚洲国产欧洲综合997久久,| 长腿黑丝高跟| 日本a在线网址| 日韩高清综合在线| bbb黄色大片| www.精华液| 欧美久久黑人一区二区| 日日摸夜夜添夜夜添小说| 国产精品乱码一区二三区的特点| 黑人巨大精品欧美一区二区mp4| 97碰自拍视频| 在线永久观看黄色视频| 露出奶头的视频| 久久久久国内视频| 一级作爱视频免费观看| 99久久综合精品五月天人人| 亚洲 欧美一区二区三区| 国内精品一区二区在线观看| 国产一区二区三区视频了| 男女午夜视频在线观看| 亚洲男人天堂网一区| videosex国产| 午夜福利在线观看吧| 中文字幕精品亚洲无线码一区| 欧美成人免费av一区二区三区| 黑人欧美特级aaaaaa片| 天天一区二区日本电影三级| 国产一级毛片七仙女欲春2| 18禁黄网站禁片免费观看直播| 精品国产美女av久久久久小说| 俄罗斯特黄特色一大片| 久久性视频一级片| 中出人妻视频一区二区| 亚洲 欧美一区二区三区| 在线十欧美十亚洲十日本专区| 身体一侧抽搐| 美女免费视频网站| 久久久久久久午夜电影| 久久久久国内视频| 狂野欧美激情性xxxx| 亚洲av成人精品一区久久| 熟妇人妻久久中文字幕3abv| 三级国产精品欧美在线观看 | 国产精品久久久久久亚洲av鲁大| 久久精品夜夜夜夜夜久久蜜豆 | 国产成人影院久久av| 成年免费大片在线观看| xxx96com| 欧美激情久久久久久爽电影| 18禁观看日本| 免费在线观看完整版高清| 性色av乱码一区二区三区2| 真人一进一出gif抽搐免费| 99热这里只有精品一区 | 日韩大码丰满熟妇| 精品国产超薄肉色丝袜足j| 18禁黄网站禁片免费观看直播| 俄罗斯特黄特色一大片| 男人的好看免费观看在线视频 | 国产三级在线视频| 国产精品av视频在线免费观看| 国产精品精品国产色婷婷| 午夜福利视频1000在线观看| 亚洲欧美精品综合久久99| 一级毛片高清免费大全| 国产黄片美女视频| 少妇人妻一区二区三区视频| 久久久久久久午夜电影| 给我免费播放毛片高清在线观看| 午夜福利成人在线免费观看| 久久久精品大字幕| 白带黄色成豆腐渣| 日本五十路高清| 十八禁网站免费在线| 久久精品91无色码中文字幕| 欧美黄色淫秽网站| 日韩大尺度精品在线看网址| 成人国产综合亚洲| 精品人妻1区二区| 日本精品一区二区三区蜜桃| 亚洲欧美一区二区三区黑人| 在线观看免费午夜福利视频| 亚洲第一电影网av| 亚洲一区二区三区不卡视频| 欧美日韩黄片免| 久久中文看片网| 色播亚洲综合网| av片东京热男人的天堂| 九色国产91popny在线| 免费无遮挡裸体视频| av中文乱码字幕在线| 国产三级黄色录像| 日韩大码丰满熟妇| 午夜成年电影在线免费观看| 搡老熟女国产l中国老女人| 妹子高潮喷水视频| 午夜福利欧美成人| 亚洲成人国产一区在线观看| 性色av乱码一区二区三区2| 国产视频内射| 脱女人内裤的视频| 欧美成人午夜精品| 在线永久观看黄色视频| 两个人视频免费观看高清| 狂野欧美激情性xxxx| 香蕉久久夜色| 午夜福利在线在线| 国产精品日韩av在线免费观看| 嫁个100分男人电影在线观看| 精品欧美一区二区三区在线| 国产成人精品久久二区二区免费| 动漫黄色视频在线观看| 亚洲片人在线观看| 一个人免费在线观看电影 | 一边摸一边抽搐一进一小说| 国产亚洲av嫩草精品影院| 日韩有码中文字幕| 国产成人啪精品午夜网站| 少妇熟女aⅴ在线视频| 亚洲精品在线观看二区| www.自偷自拍.com| 午夜福利欧美成人| 女同久久另类99精品国产91| 后天国语完整版免费观看| 精品国产超薄肉色丝袜足j| 久久久久国产精品人妻aⅴ院| 18禁观看日本| 91字幕亚洲| 亚洲精品国产精品久久久不卡| 久久久国产成人免费| 人人妻人人看人人澡| 妹子高潮喷水视频| 草草在线视频免费看| 欧美成人性av电影在线观看| 国产真实乱freesex| 日日夜夜操网爽| 国产亚洲精品久久久久久毛片| 丰满人妻一区二区三区视频av | 亚洲国产精品久久男人天堂| 免费在线观看视频国产中文字幕亚洲| 日韩免费av在线播放| 国产午夜精品久久久久久| 久久香蕉激情| 淫妇啪啪啪对白视频| 亚洲中文字幕日韩| 美女黄网站色视频| 日本一二三区视频观看| 国产在线精品亚洲第一网站| 欧美日韩黄片免| www.999成人在线观看| a在线观看视频网站| 欧美日韩亚洲国产一区二区在线观看| 超碰成人久久| 国产成人系列免费观看| 少妇裸体淫交视频免费看高清 | 国产激情欧美一区二区| 12—13女人毛片做爰片一| 国产精品免费一区二区三区在线| 欧美乱妇无乱码| 国产av又大| 亚洲av中文字字幕乱码综合| 老司机靠b影院| 久久精品影院6| 久久这里只有精品19| 国产亚洲精品综合一区在线观看 | 亚洲aⅴ乱码一区二区在线播放 | 很黄的视频免费| 国内毛片毛片毛片毛片毛片| 亚洲成人久久爱视频| 黑人欧美特级aaaaaa片| 亚洲中文字幕一区二区三区有码在线看 | 在线观看美女被高潮喷水网站 | 麻豆国产av国片精品| 久久 成人 亚洲| av中文乱码字幕在线| 亚洲精品中文字幕一二三四区| 午夜成年电影在线免费观看| 一边摸一边做爽爽视频免费| 亚洲精品美女久久久久99蜜臀| 操出白浆在线播放| 欧美高清成人免费视频www| 亚洲精品一区av在线观看| 丝袜美腿诱惑在线| 午夜福利成人在线免费观看| 久热爱精品视频在线9| 日本精品一区二区三区蜜桃| 欧美日韩福利视频一区二区| 黄色毛片三级朝国网站| 欧美一区二区精品小视频在线| 久久久精品欧美日韩精品| 可以免费在线观看a视频的电影网站| 欧美日韩瑟瑟在线播放| 特级一级黄色大片| 人人妻人人澡欧美一区二区| 男女之事视频高清在线观看| 法律面前人人平等表现在哪些方面| 又紧又爽又黄一区二区| 亚洲av成人av| x7x7x7水蜜桃| 亚洲国产精品合色在线| 国产蜜桃级精品一区二区三区| 99riav亚洲国产免费| 午夜精品一区二区三区免费看| 午夜福利高清视频| av在线天堂中文字幕| 国产精品自产拍在线观看55亚洲| 国产av不卡久久| 黄色片一级片一级黄色片| 亚洲欧美日韩东京热| 香蕉av资源在线| 亚洲人成电影免费在线| 91九色精品人成在线观看| 男女下面进入的视频免费午夜| 国产亚洲av嫩草精品影院| 亚洲 欧美一区二区三区| 亚洲美女黄片视频| a级毛片在线看网站| 观看免费一级毛片| 国产爱豆传媒在线观看 | 制服人妻中文乱码| 好男人电影高清在线观看| а√天堂www在线а√下载| 国产精品 欧美亚洲| 成人av一区二区三区在线看| 午夜亚洲福利在线播放| 色尼玛亚洲综合影院| 一区二区三区激情视频| 一二三四社区在线视频社区8| 99热6这里只有精品| 手机成人av网站| 欧美黑人欧美精品刺激| 操出白浆在线播放| 国产精品乱码一区二三区的特点| 午夜a级毛片| 好男人在线观看高清免费视频| 欧美日本视频| 国产精品香港三级国产av潘金莲| 桃红色精品国产亚洲av| 国产99久久九九免费精品| www.自偷自拍.com| 黄频高清免费视频| 日本在线视频免费播放| 12—13女人毛片做爰片一| 在线观看美女被高潮喷水网站 | 久久久久国内视频| 一级毛片女人18水好多| 国产精品影院久久| cao死你这个sao货| 亚洲 欧美一区二区三区| 美女免费视频网站| 一本久久中文字幕| 啦啦啦观看免费观看视频高清| 无遮挡黄片免费观看| 亚洲国产精品成人综合色| 91大片在线观看| 99久久久亚洲精品蜜臀av| 大型av网站在线播放| 久久久精品大字幕| 巨乳人妻的诱惑在线观看| 两性夫妻黄色片| 一本大道久久a久久精品| 宅男免费午夜| 黄色片一级片一级黄色片| 又黄又爽又免费观看的视频| 99热只有精品国产| 夜夜夜夜夜久久久久| 中文亚洲av片在线观看爽| 久久中文字幕人妻熟女| www.熟女人妻精品国产| 人人妻人人澡欧美一区二区| 十八禁人妻一区二区| 国产亚洲精品av在线| 宅男免费午夜| 亚洲一区高清亚洲精品| 久热爱精品视频在线9| 久久中文字幕人妻熟女| 国产aⅴ精品一区二区三区波| 又黄又爽又免费观看的视频| 欧美日本亚洲视频在线播放| 人成视频在线观看免费观看| 亚洲中文日韩欧美视频| 日本 av在线| 精品熟女少妇八av免费久了| 国内精品一区二区在线观看| 波多野结衣高清作品| 精品午夜福利视频在线观看一区| 我的老师免费观看完整版| 狠狠狠狠99中文字幕| 亚洲欧美日韩高清在线视频| 巨乳人妻的诱惑在线观看| 在线观看日韩欧美| 成年版毛片免费区| 免费看美女性在线毛片视频| 男女那种视频在线观看| 国产成人系列免费观看| 亚洲成人久久爱视频| 日本成人三级电影网站| 精品国产乱码久久久久久男人| 男女那种视频在线观看| 一级a爱片免费观看的视频| 可以在线观看的亚洲视频| 麻豆成人av在线观看| 国产精品精品国产色婷婷| 久久国产精品人妻蜜桃| 国产成人系列免费观看| 国产精品美女特级片免费视频播放器 | 男插女下体视频免费在线播放| 在线观看舔阴道视频| 日韩欧美一区二区三区在线观看| 久久久精品国产亚洲av高清涩受| 夜夜看夜夜爽夜夜摸| 精品免费久久久久久久清纯| 国产精品电影一区二区三区| 久久99热这里只有精品18| 日本撒尿小便嘘嘘汇集6| 久久精品91蜜桃| 亚洲黑人精品在线| 看片在线看免费视频| 18禁国产床啪视频网站| www国产在线视频色| 日本免费一区二区三区高清不卡| 这个男人来自地球电影免费观看| 搡老熟女国产l中国老女人| 亚洲熟妇熟女久久| 黄色丝袜av网址大全| 欧美又色又爽又黄视频| 在线观看免费日韩欧美大片| 老司机深夜福利视频在线观看| www.999成人在线观看| www.熟女人妻精品国产| 丁香欧美五月| xxxwww97欧美| 亚洲专区中文字幕在线| 国产成人影院久久av| 曰老女人黄片| 国产精品av久久久久免费| 观看免费一级毛片| 亚洲乱码一区二区免费版| 国产真实乱freesex| 麻豆成人av在线观看| 我要搜黄色片| 中文字幕av在线有码专区| 91麻豆精品激情在线观看国产| 可以免费在线观看a视频的电影网站| 成人国产一区最新在线观看| 国产精华一区二区三区| 亚洲专区国产一区二区| 精品免费久久久久久久清纯| 亚洲中文日韩欧美视频| 国产欧美日韩精品亚洲av| 欧美另类亚洲清纯唯美| 久久久国产欧美日韩av| 久9热在线精品视频| 国产精品亚洲一级av第二区| 亚洲av熟女| 在线国产一区二区在线| www.999成人在线观看| 亚洲国产精品久久男人天堂| 国产av在哪里看| 最近在线观看免费完整版| 夜夜看夜夜爽夜夜摸| 69av精品久久久久久| 女人爽到高潮嗷嗷叫在线视频| 变态另类丝袜制服| 天堂影院成人在线观看| 婷婷六月久久综合丁香| 又爽又黄无遮挡网站| ponron亚洲| 欧美色视频一区免费| 一边摸一边做爽爽视频免费| 亚洲国产精品成人综合色| 女人爽到高潮嗷嗷叫在线视频| 床上黄色一级片| 怎么达到女性高潮| 在线免费观看的www视频| 亚洲男人的天堂狠狠| 欧美av亚洲av综合av国产av| 免费在线观看成人毛片| 久久欧美精品欧美久久欧美| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲成人免费电影在线观看| 丝袜人妻中文字幕| 欧美精品亚洲一区二区| 99久久无色码亚洲精品果冻| 好看av亚洲va欧美ⅴa在| 亚洲中文av在线| 亚洲精品av麻豆狂野| 免费高清视频大片| 亚洲第一电影网av| 黄色女人牲交| 精品午夜福利视频在线观看一区| av天堂在线播放| 欧美成狂野欧美在线观看| 香蕉久久夜色| 国产亚洲欧美在线一区二区| 中文字幕最新亚洲高清| 日本免费一区二区三区高清不卡| 久久精品影院6| 国产人伦9x9x在线观看| 久久婷婷人人爽人人干人人爱| 午夜福利成人在线免费观看| 午夜a级毛片| 成人三级做爰电影| 18禁黄网站禁片免费观看直播| 国产日本99.免费观看| 国产精品久久久久久亚洲av鲁大| 在线观看免费午夜福利视频| 亚洲精品在线美女| 欧美乱妇无乱码| 久久精品91蜜桃| 两性夫妻黄色片| 精品国产超薄肉色丝袜足j| 午夜免费激情av| 欧美日韩黄片免| 国产精华一区二区三区| 麻豆成人av在线观看| 亚洲aⅴ乱码一区二区在线播放 | 五月玫瑰六月丁香| 亚洲欧洲精品一区二区精品久久久| 国产一区在线观看成人免费| 人妻久久中文字幕网| 亚洲欧美日韩无卡精品| 97超级碰碰碰精品色视频在线观看| 97碰自拍视频| bbb黄色大片| 亚洲 国产 在线| 美女 人体艺术 gogo| 999久久久国产精品视频| 99热6这里只有精品| 精品人妻1区二区| 夜夜夜夜夜久久久久| 国产野战对白在线观看| 欧美丝袜亚洲另类 | 国产麻豆成人av免费视频| 日韩欧美 国产精品| 一进一出抽搐动态| 好男人电影高清在线观看| 热99re8久久精品国产| 国产av在哪里看| 精品无人区乱码1区二区| 亚洲精品一区av在线观看| 夜夜夜夜夜久久久久| 亚洲欧美日韩无卡精品| 老司机福利观看| 18禁黄网站禁片免费观看直播| 校园春色视频在线观看| 久久精品夜夜夜夜夜久久蜜豆 | 一本大道久久a久久精品| 香蕉丝袜av| 欧美绝顶高潮抽搐喷水| 69av精品久久久久久|