• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    在法治軌道上推進(jìn)人工智能高質(zhì)量發(fā)展

    2024-08-13 00:00:00辛勇飛
    人民論壇·學(xué)術(shù)前沿 2024年13期

    【摘要】當(dāng)前,人工智能正在全球范圍內(nèi)蓬勃發(fā)展,成為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量。人工智能技術(shù)的突破式發(fā)展在帶來極大便利的同時(shí),也導(dǎo)致新舊風(fēng)險(xiǎn)疊加,引發(fā)一系列問題,給現(xiàn)有經(jīng)濟(jì)社會(huì)治理模式和治理規(guī)則帶來挑戰(zhàn)。人工智能治理法治化是確保人工智能安全有序發(fā)展的重要保障,也是目前人工智能發(fā)展領(lǐng)先國(guó)家和地區(qū)的普遍做法。我國(guó)在人工智能法治建設(shè)方面已具備良好基礎(chǔ),考慮到相關(guān)技術(shù)產(chǎn)業(yè)在一些方面仍處于追趕階段,應(yīng)充分發(fā)揮法治固根本、穩(wěn)預(yù)期、利長(zhǎng)遠(yuǎn)的保障作用,區(qū)分短期和中長(zhǎng)期計(jì)劃,采取“漸進(jìn)式”立法模式,有序推進(jìn)相關(guān)立法工作,促進(jìn)和保障我國(guó)人工智能高質(zhì)量發(fā)展。

    【關(guān)鍵詞】人工智能 法治化 漸進(jìn)式 立法模式

    【中圖分類號(hào)】D922/TP18 【文獻(xiàn)標(biāo)識(shí)碼】A

    【DOI】10.16619/j.cnki.rmltxsqy.2024.13.003

    人工智能技術(shù)產(chǎn)業(yè)發(fā)展態(tài)勢(shì)與治理需求

    習(xí)近平總書記強(qiáng)調(diào):“人工智能是引領(lǐng)這一輪科技革命和產(chǎn)業(yè)變革的戰(zhàn)略性技術(shù),具有溢出帶動(dòng)性很強(qiáng)的‘頭雁’效應(yīng)?!盵1]當(dāng)前,人工智能技術(shù)快速發(fā)展,大模型不斷迭代突破,相關(guān)產(chǎn)業(yè)正在向多智能融合新階段發(fā)展。人工智能推動(dòng)傳統(tǒng)實(shí)體經(jīng)濟(jì)實(shí)現(xiàn)革命性升級(jí)與發(fā)展,催生智能經(jīng)濟(jì)新形態(tài),成為發(fā)展新質(zhì)生產(chǎn)力的重要引擎。我國(guó)人工智能前沿領(lǐng)域技術(shù)創(chuàng)新活躍,人工智能產(chǎn)業(yè)規(guī)模不斷提升,行業(yè)賦能逐步“走深向?qū)崱薄?/p>

    人工智能為經(jīng)濟(jì)社會(huì)發(fā)展注入新動(dòng)能。以ChatGPT為代表的大模型問世,改變了人工智能技術(shù)與應(yīng)用的發(fā)展軌跡,是人工智能發(fā)展史上的新里程碑。大模型呈現(xiàn)學(xué)習(xí)能力強(qiáng)、通用泛化好、技術(shù)迭代快等特點(diǎn),其感知與理解能力顯著增強(qiáng),在上下文理解、多學(xué)科知識(shí)、數(shù)學(xué)推理等任務(wù)中接近人類水平,已具有一定的通用智能能力。近期,人工智能產(chǎn)業(yè)保持高速增長(zhǎng),大模型成為主要驅(qū)動(dòng)力。從產(chǎn)業(yè)規(guī)???,2023年,全球人工智能產(chǎn)業(yè)規(guī)模為5132億美元,同比增長(zhǎng)20.7%。從投融資熱點(diǎn)看,2023年下半年,全球金額領(lǐng)域最大的十項(xiàng)投資事件中有七項(xiàng)與大模型相關(guān),達(dá)到25.65億美元,其中三項(xiàng)流向基礎(chǔ)大模型企業(yè),四項(xiàng)流向?qū)S么竽P?、大模型平臺(tái)等相關(guān)企業(yè)。從發(fā)展路線看,極限發(fā)揮“大模型+大數(shù)據(jù)+大算力”技術(shù)潛力成為未來3~5年發(fā)展主旋律。

    我國(guó)高度重視人工智能發(fā)展,2024年《政府工作報(bào)告》明確提出,2024年將深化大數(shù)據(jù)、人工智能等研發(fā)應(yīng)用,開展“人工智能+”行動(dòng),打造具有國(guó)際競(jìng)爭(zhēng)力的數(shù)字產(chǎn)業(yè)集群。[2]目前,我國(guó)已成為人工智能領(lǐng)域超級(jí)大國(guó)之一,人工智能產(chǎn)業(yè)蓬勃發(fā)展,逐步邁入由技術(shù)突破、產(chǎn)業(yè)發(fā)展、應(yīng)用創(chuàng)新三個(gè)維度牽引發(fā)展的新階段。主要表現(xiàn)為通用大模型、智能芯片、開發(fā)框架等創(chuàng)新成果不斷涌現(xiàn),視覺、語言等應(yīng)用技術(shù)水平全球領(lǐng)先,基礎(chǔ)算法二次創(chuàng)新能力突出。2023年,我國(guó)人工智能核心產(chǎn)業(yè)規(guī)模達(dá)5784億元,同比增長(zhǎng)了13.9%,人工智能企業(yè)數(shù)量達(dá)4482家。我國(guó)人工智能產(chǎn)業(yè)鏈已覆蓋集成電路制造、框架、芯片、算法、數(shù)據(jù)、平臺(tái)、應(yīng)用等上下游關(guān)鍵環(huán)節(jié),人工智能芯片企業(yè)加速布局,基礎(chǔ)模型快速迭代,大模型數(shù)量穩(wěn)居世界第一梯隊(duì)。

    人工智能健康有序發(fā)展需要法治保障。構(gòu)建合理適宜的法律制度是促進(jìn)人工智能健康發(fā)展的重要基礎(chǔ),法律通過明確權(quán)利和義務(wù)為人工智能的創(chuàng)新和規(guī)范提供確定性、激勵(lì)性和指導(dǎo)性。在創(chuàng)新層面,與數(shù)據(jù)、算法、算力、應(yīng)用發(fā)展相關(guān)的合法利用問題和權(quán)利問題仍待解決。以數(shù)據(jù)為例,高質(zhì)量數(shù)據(jù)是人工智能發(fā)展的根基,數(shù)據(jù)的匯集利用需要進(jìn)一步明確合法處理個(gè)人信息數(shù)據(jù)、合法使用受著作權(quán)保護(hù)內(nèi)容的數(shù)據(jù)、合理進(jìn)行數(shù)據(jù)爬取等方面的法律要求。同時(shí),探索確定人工智能生成物的權(quán)利歸屬也能對(duì)內(nèi)容創(chuàng)新、技術(shù)創(chuàng)新形成激勵(lì)。在規(guī)范層面,發(fā)展創(chuàng)新與安全相統(tǒng)一的人工智能需要法律明確責(zé)任義務(wù)。法治在人工智能全生命周期治理中發(fā)揮著示明底線的作用,是保障個(gè)人權(quán)利和社會(huì)發(fā)展秩序最重要的治理手段之一。同時(shí),法律通過明確人工智能研發(fā)和應(yīng)用的要求,合理配置人工智能開發(fā)者、部署者、使用者等不同主體的責(zé)任與義務(wù),進(jìn)一步推動(dòng)形成人工智能健康有序發(fā)展的社會(huì)生態(tài)。

    國(guó)際社會(huì)人工智能立法趨勢(shì)與主要做法

    隨著人工智能技術(shù)發(fā)展和應(yīng)用普及,人工智能治理能力和治理體系滯后于技術(shù)發(fā)展的問題日漸顯現(xiàn)。多個(gè)國(guó)家和地區(qū)探索以法治思維與法治方式治理人工智能,在發(fā)展與監(jiān)管之間尋求平衡,促進(jìn)人工智能“在發(fā)展中監(jiān)管,在監(jiān)管中發(fā)展”。通過出臺(tái)人工智能相關(guān)立法健全人工智能治理體系,有效監(jiān)管人工智能的開發(fā)和應(yīng)用,防止技術(shù)濫用或不當(dāng)使用,以法治思維和方式推動(dòng)人工智能技術(shù)健康發(fā)展,成為多個(gè)國(guó)家和地區(qū)在人工智能治理中的首要選擇。從全球范圍看,人工智能發(fā)展領(lǐng)先的國(guó)家和地區(qū)高度重視法律制度構(gòu)建,積極開展人工智能相關(guān)立法和治理活動(dòng),主要形成了以歐盟和美國(guó)為代表的兩種典型治理模式。

    以歐盟為代表的風(fēng)險(xiǎn)規(guī)制模式。歐盟立法側(cè)重于對(duì)人工智能發(fā)展風(fēng)險(xiǎn)的控制,試圖延續(xù)其《通用數(shù)據(jù)保護(hù)條例》(GDPR)在數(shù)據(jù)保護(hù)領(lǐng)域所產(chǎn)生的“布魯塞爾效應(yīng)”,起草了全球迄今為止最為全面系統(tǒng)的綜合性《人工智能法》,[3]并由歐洲理事會(huì)正式批準(zhǔn)通過。歐盟在《人工智能法》中采取了一種基于風(fēng)險(xiǎn)控制的監(jiān)管方式,對(duì)人工智能技術(shù)在所有行業(yè)具體應(yīng)用場(chǎng)景的風(fēng)險(xiǎn)進(jìn)行分級(jí),參考功能、用途和影響將人工智能系統(tǒng)分為絕對(duì)不可接受的風(fēng)險(xiǎn)、高風(fēng)險(xiǎn)、有限風(fēng)險(xiǎn)和低風(fēng)險(xiǎn)(無風(fēng)險(xiǎn))四個(gè)風(fēng)險(xiǎn)級(jí)別,根據(jù)風(fēng)險(xiǎn)級(jí)別明確不同的管理要求和法律義務(wù)。

    第一級(jí)是“絕對(duì)不可接受風(fēng)險(xiǎn)”人工智能?!度斯ぶ悄芊ā方埂扒秩胄浴焙汀捌缫曅浴钡染哂形:π缘娜斯ぶ悄芟到y(tǒng)的使用。包括利用有害的、操縱性的潛意識(shí)技術(shù)的人工智能;利用特定弱勢(shì)群體(身體或精神殘疾)的人工智能;為一般目的提供自然人社會(huì)評(píng)分,可能導(dǎo)致歧視性結(jié)果或?qū)δ愁惾后w進(jìn)行排除、限制使用的人工智能;在公眾可進(jìn)入的空間使用實(shí)時(shí)、遠(yuǎn)程生物識(shí)別的人工智能。第二級(jí)是“高風(fēng)險(xiǎn)”人工智能。具體包括兩種類型,一類是用于產(chǎn)品的安全組件或?qū)儆跉W盟健康和安全統(tǒng)一立法管轄范圍的人工智能;另一類是應(yīng)用于生物識(shí)別、關(guān)鍵基礎(chǔ)設(shè)施的管理和運(yùn)營(yíng)、教育和職業(yè)培訓(xùn),執(zhí)法工作等8個(gè)領(lǐng)域的人工智能?!度斯ぶ悄芊ā穼?duì)“高風(fēng)險(xiǎn)”人工智能系統(tǒng)的不同主體提出了不同的法律義務(wù)。針對(duì)相關(guān)主體的一般義務(wù)包括:進(jìn)行風(fēng)險(xiǎn)管理、建立數(shù)據(jù)管理制度、制定技術(shù)文件、留存相關(guān)記錄以及保障系統(tǒng)安全性和準(zhǔn)確性。“高風(fēng)險(xiǎn)”人工智能提供者要承擔(dān)保障系統(tǒng)安全、標(biāo)明相關(guān)信息、留存資料等義務(wù);“高風(fēng)險(xiǎn)”人工智能進(jìn)口者要承擔(dān)合格評(píng)估、信息披露等義務(wù);“高風(fēng)險(xiǎn)”人工智能部署者要承擔(dān)適當(dāng)使用、人為監(jiān)督、基本權(quán)利影響評(píng)估等義務(wù)。此外,《人工智能法》還要求基礎(chǔ)模型提供者要承擔(dān)確保人工智能滿足使用要求、數(shù)據(jù)處理要求以及備案等義務(wù)。第三級(jí)是需要滿足透明度義務(wù)的“有限風(fēng)險(xiǎn)”人工智能。例如聊天機(jī)器人、生物識(shí)別分類系統(tǒng)等風(fēng)險(xiǎn)有限的人工智能系統(tǒng)?!度斯ぶ悄芊ā芬?guī)定此類人工智能系統(tǒng)只需要遵守透明度義務(wù)。第四級(jí)是不需要承擔(dān)任何義務(wù)的低風(fēng)險(xiǎn)人工智能。即如果人工智能系統(tǒng)的風(fēng)險(xiǎn)極低,則可以直接在歐盟進(jìn)行開發(fā)和使用,而不需要承擔(dān)任何法律義務(wù)。

    歐盟在人工智能的監(jiān)管上采取了一種橫向的、全面的管理方式。在適用范圍上,歐盟《人工智能法》采取了與GDPR一樣的橫向立法模式,即適用于所有投放于歐盟市場(chǎng)或者在歐盟可使用的人工智能系統(tǒng),覆蓋金融、醫(yī)療、教育、能源、運(yùn)輸、司法等各個(gè)行業(yè)領(lǐng)域。在管理機(jī)制上,歐盟《人工智能法》采取了自上而下的雙重監(jiān)管機(jī)制,即在歐盟層級(jí)設(shè)立人工智能辦公室,監(jiān)督最先進(jìn)人工智能模型標(biāo)準(zhǔn)與測(cè)試;在成員國(guó)層級(jí),由各成員國(guó)的主管機(jī)構(gòu)負(fù)責(zé)在本國(guó)內(nèi)適用和實(shí)施《人工智能法》。在管理對(duì)象上,《人工智能法》覆蓋了人工智能產(chǎn)業(yè)全生態(tài),對(duì)“高風(fēng)險(xiǎn)”人工智能系統(tǒng)的提供者、進(jìn)口者、部署者以及基礎(chǔ)模型提供者均提出了具體的規(guī)定。此外,在法律責(zé)任上,《人工智能法》設(shè)置了高額罰款,罰款最高可達(dá)3500萬歐元或全球年?duì)I業(yè)額的7%(以較高者為準(zhǔn)),對(duì)企業(yè)具有極強(qiáng)威懾力。

    以美國(guó)為代表的發(fā)展引領(lǐng)模式。與歐盟的“強(qiáng)監(jiān)管”不同,美國(guó)并未試圖制定統(tǒng)一的綜合性人工智能立法,而是以“軟治理”方式為主應(yīng)對(duì)人工智能發(fā)展需求和風(fēng)險(xiǎn)挑戰(zhàn),為技術(shù)和行業(yè)友好型的非監(jiān)管措施和“軟法”治理留出更大空間。美國(guó)聯(lián)邦政府強(qiáng)調(diào)審慎監(jiān)管促進(jìn)創(chuàng)新發(fā)展,更多通過行業(yè)自律、政策文件等“軟”性方法實(shí)現(xiàn)人工智能治理。美國(guó)政府多次聲明人工智能技術(shù)發(fā)展是“以透明、基于共識(shí)以及私營(yíng)部門為主導(dǎo)的方法制定新興技術(shù)標(biāo)準(zhǔn),幫助美國(guó)公司在公平的環(huán)境中競(jìng)爭(zhēng)”。美國(guó)州層面通過區(qū)分行業(yè)領(lǐng)域的垂直立法,基于不同的技術(shù)應(yīng)用場(chǎng)景出臺(tái)相關(guān)立法,立法集中在自動(dòng)駕駛、算法推薦等產(chǎn)業(yè)發(fā)展和治理實(shí)踐較成熟的領(lǐng)域,如美國(guó)已有32個(gè)州允許測(cè)試或部署自動(dòng)駕駛汽車,紐約市于2018年通過美國(guó)第一部算法問責(zé)法案《1696法案》等。

    美國(guó)聯(lián)邦層面通過戰(zhàn)略規(guī)劃、政策文件等為人工智能發(fā)展掃清技術(shù)應(yīng)用障礙、促進(jìn)技術(shù)創(chuàng)新。一方面,美國(guó)政府以《人工智能權(quán)利法案藍(lán)圖》統(tǒng)領(lǐng)人工智能治理。2022年10月,美國(guó)白宮科技政策辦公室發(fā)布《人工智能權(quán)利法案藍(lán)圖》,該文件提出人工智能技術(shù)應(yīng)用的五項(xiàng)原則及相關(guān)實(shí)踐,即建立安全有效的人工智能系統(tǒng)、建立算法歧視保護(hù)措施、保護(hù)數(shù)據(jù)隱私、強(qiáng)調(diào)通知和透明度的重要性以及鼓勵(lì)開發(fā)選擇退出機(jī)制。這一文件旨在幫助指導(dǎo)自動(dòng)化系統(tǒng)的設(shè)計(jì)、使用和部署,以保護(hù)人工智能時(shí)代美國(guó)公眾的權(quán)利。另一方面,美國(guó)政府發(fā)布人工智能發(fā)展路線圖和戰(zhàn)略規(guī)劃,引領(lǐng)國(guó)家人工智能發(fā)展方向。2023年1月,由美國(guó)白宮科技政策辦公室和美國(guó)國(guó)家科學(xué)基金會(huì)聯(lián)合成立的國(guó)家人工智能研究資源特別工作組發(fā)布《國(guó)家人工智能研究資源的實(shí)施計(jì)劃》報(bào)告,旨在擴(kuò)大獲得人工智能研究和發(fā)展必需資源的渠道,為人工智能研究人員提供更多的計(jì)算資源、高質(zhì)量數(shù)據(jù)、教育工具等,推動(dòng)人工智能創(chuàng)新。2023年5月,美國(guó)白宮科技政策辦公室發(fā)布《國(guó)家人工智能研發(fā)戰(zhàn)略計(jì)劃》,總體規(guī)劃了聯(lián)邦政府投資人工智能研發(fā)的關(guān)鍵優(yōu)先事項(xiàng)和目標(biāo)。

    美國(guó)通過發(fā)布權(quán)威標(biāo)準(zhǔn)、指引以及鼓勵(lì)企業(yè)加入自律承諾等方式“柔性”應(yīng)對(duì)人工智能風(fēng)險(xiǎn)。一方面,美國(guó)政府科研機(jī)構(gòu)發(fā)布人工智能風(fēng)險(xiǎn)管理框架。2023年1月,美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)發(fā)布《人工智能風(fēng)險(xiǎn)管理框架》,旨在更好管理與人工智能相關(guān)的個(gè)人與組織,降低開發(fā)和部署人工智能系統(tǒng)時(shí)的安全風(fēng)險(xiǎn),避免產(chǎn)生偏見等負(fù)面影響,提高人工智能可信度。另一方面,美國(guó)政府以自愿性承諾的方式引導(dǎo)人工智能頭部企業(yè)開發(fā)安全、可信的人工智能。2023年7月,美國(guó)白宮召集亞馬遜、Anthropic、谷歌、Inflection、Meta、微軟和OpenAI七家人工智能企業(yè)作出一系列保護(hù)用戶的自愿承諾,包括同意進(jìn)行安全測(cè)試、采用新的水印系統(tǒng)以告知用戶內(nèi)容是人工智能生成等。2023年9月,包括Adobe、IBM、英偉達(dá)等在內(nèi)的八家人工智能頭部企業(yè)也加入該自愿承諾,共同推動(dòng)人工智能技術(shù)的安全、可靠和透明發(fā)展。

    美國(guó)政府發(fā)布行政令以促進(jìn)人工智能安全發(fā)展為主線,旨在提升美國(guó)在人工智能領(lǐng)域全球領(lǐng)導(dǎo)力。2023年10月,拜登簽署《關(guān)于安全、可靠和可信地開發(fā)和使用人工智能的行政令》,對(duì)美國(guó)未來人工智能發(fā)展和監(jiān)管作出全面部署,強(qiáng)調(diào)要促進(jìn)創(chuàng)新和競(jìng)爭(zhēng),確保美國(guó)在人工智能領(lǐng)域的競(jìng)爭(zhēng)優(yōu)勢(shì)和領(lǐng)先地位。該行政命令指示相關(guān)部門執(zhí)行八項(xiàng)行動(dòng),包括為人工智能安全和保障制定新標(biāo)準(zhǔn),保護(hù)美國(guó)人的隱私,促進(jìn)公平和公民權(quán)利,維護(hù)消費(fèi)者和工人利益,促進(jìn)創(chuàng)新和競(jìng)爭(zhēng),提升美國(guó)在全球的領(lǐng)導(dǎo)地位等。

    我國(guó)人工智能法治建設(shè)的現(xiàn)狀與挑戰(zhàn)

    我國(guó)人工智能法治已具備良好基礎(chǔ)。近年來,我國(guó)堅(jiān)持統(tǒng)籌安全與發(fā)展,積極推進(jìn)人工智能相關(guān)立法和治理工作,先后制定出臺(tái)了一系列法律法規(guī),在人工智能法治建設(shè)方面處于全球領(lǐng)先地位。

    一是我國(guó)互聯(lián)網(wǎng)領(lǐng)域的綜合立法為人工智能等新技術(shù)新業(yè)態(tài)的共性問題提供了基礎(chǔ)法律框架。我國(guó)先后出臺(tái)了《中華人民共和國(guó)網(wǎng)絡(luò)安全法》、《中華人民共和國(guó)數(shù)據(jù)安全法》(以下簡(jiǎn)稱《數(shù)據(jù)安全法》)、《中華人民共和國(guó)個(gè)人信息保護(hù)法》(以下簡(jiǎn)稱《個(gè)人信息保護(hù)法》)等,相關(guān)立法確立了網(wǎng)絡(luò)安全、數(shù)據(jù)安全、個(gè)人信息處理等方面的具體規(guī)則,為應(yīng)對(duì)人工智能研發(fā)應(yīng)用中網(wǎng)絡(luò)安全、數(shù)據(jù)安全、個(gè)人信息保護(hù)等相關(guān)問題提供了明確指引。

    二是我國(guó)圍繞算法、深度合成、生成式人工智能等重點(diǎn)領(lǐng)域制定專門規(guī)則。相關(guān)部門先后出臺(tái)《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等相關(guān)規(guī)定。2023年7月,國(guó)家互聯(lián)網(wǎng)信息辦公室聯(lián)合工業(yè)和信息化部等多部門發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》,被認(rèn)為是全球首部針對(duì)生成式人工智能的專門立法,其中提出國(guó)家堅(jiān)持發(fā)展和安全并重、促進(jìn)創(chuàng)新和依法治理相結(jié)合的原則,采取有效措施鼓勵(lì)生成式人工智能創(chuàng)新發(fā)展,對(duì)生成式人工智能服務(wù)實(shí)行包容審慎和分類分級(jí)監(jiān)管,明確了提供和使用生成式人工智能服務(wù)總體要求。

    三是我國(guó)有關(guān)地方政府結(jié)合本地人工智能產(chǎn)業(yè)發(fā)展實(shí)踐,通過地方立法探索創(chuàng)新人工智能治理,為人工智能規(guī)范發(fā)展提供制度保障。例如,2022年9月,深圳發(fā)布《深圳經(jīng)濟(jì)特區(qū)人工智能產(chǎn)業(yè)促進(jìn)條例》,明確了人工智能的概念界定和產(chǎn)業(yè)邊界,提出了創(chuàng)新產(chǎn)品準(zhǔn)入等制度。同月,上海發(fā)布《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》,提出探索人工智能沙盒監(jiān)管模式,對(duì)高風(fēng)險(xiǎn)人工智能產(chǎn)品和服務(wù)實(shí)行清單式管理等激發(fā)各類主體創(chuàng)新活力的治理機(jī)制。

    人工智能發(fā)展仍面臨若干挑戰(zhàn)。從實(shí)踐發(fā)展情況來看,目前我國(guó)人工智能處于快速發(fā)展期,在大模型開發(fā)應(yīng)用中存在數(shù)據(jù)處理合法性不足、知識(shí)產(chǎn)權(quán)界定不清、數(shù)據(jù)質(zhì)量缺乏保障等問題,對(duì)技術(shù)進(jìn)步和產(chǎn)業(yè)發(fā)展產(chǎn)生了一定的制約影響。

    一是大模型訓(xùn)練中使用爬取數(shù)據(jù)存在違法風(fēng)險(xiǎn)。目前,大模型訓(xùn)練中包含了來源多樣的訓(xùn)練數(shù)據(jù),主要包括公開數(shù)據(jù)集、企業(yè)內(nèi)部數(shù)據(jù)、合作伙伴數(shù)據(jù)、購(gòu)買第三方數(shù)據(jù)以及用戶生成內(nèi)容。根據(jù)OpenAI官網(wǎng)的披露,ChatGPT的訓(xùn)練數(shù)據(jù)既包括自身訓(xùn)練數(shù)據(jù)庫(kù)中的數(shù)據(jù),也包括與用戶交互過程中用戶的輸入數(shù)據(jù),規(guī)模最大的訓(xùn)練數(shù)據(jù)是第三方爬取的數(shù)據(jù)集。依據(jù)我國(guó)《數(shù)據(jù)安全法》相關(guān)規(guī)定,應(yīng)當(dāng)采取合法、正當(dāng)?shù)姆绞绞占瘮?shù)據(jù),不得竊取或者以其他非法方式獲取數(shù)據(jù)。生成式人工智能系統(tǒng)如果爬取我國(guó)未公開數(shù)據(jù)、出于非法目的爬取我國(guó)數(shù)據(jù)或者采取其他惡意手段爬取數(shù)據(jù),該類行為將明顯超出正當(dāng)性邊界,構(gòu)成對(duì)語料庫(kù)數(shù)據(jù)的非法獲取。[4]此外,我國(guó)相關(guān)司法審判案例判決未經(jīng)允許抓取非公開數(shù)據(jù)可能構(gòu)成不正當(dāng)競(jìng)爭(zhēng),也在一定程度上限制了大模型開發(fā)者以爬取數(shù)據(jù)對(duì)大模型進(jìn)行訓(xùn)練。

    二是以個(gè)人信息作為訓(xùn)練數(shù)據(jù)存在侵犯?jìng)€(gè)人信息風(fēng)險(xiǎn)。人工智能大模型在訓(xùn)練過程中使用來源多樣的海量數(shù)據(jù),其中不可避免地存在個(gè)人數(shù)據(jù)?!秱€(gè)人信息保護(hù)法》《生成式人工智能服務(wù)管理暫行辦法》均規(guī)定,對(duì)個(gè)人信息的處理活動(dòng)需取得個(gè)人同意或符合法律、行政法規(guī)規(guī)定的其他情形。但模型語料庫(kù)數(shù)據(jù)規(guī)模龐大,逐一獲得個(gè)人信息主體的同意極為繁瑣,缺乏可操作性。在大模型訓(xùn)練中使用已公開的個(gè)人信息,是否屬于《個(gè)人信息保護(hù)法》第二十七條規(guī)定的“在合理的范圍內(nèi)處理個(gè)人自行公開或者其他已經(jīng)合法公開的個(gè)人信息”,仍存在不確定性。目前,由于對(duì)于個(gè)人信息的處理缺乏合法性依據(jù),OpenAI已經(jīng)受到多國(guó)數(shù)據(jù)保護(hù)監(jiān)管機(jī)構(gòu)的審查,如西班牙、加拿大的數(shù)據(jù)監(jiān)管機(jī)構(gòu)和歐洲數(shù)據(jù)保護(hù)委員會(huì)(EDPB)等均對(duì)OpenAI的數(shù)據(jù)保護(hù)展開調(diào)查。2023年3月,意大利的數(shù)據(jù)監(jiān)管部門以違法使用個(gè)人數(shù)據(jù)為由對(duì)ChatGPT發(fā)布禁令。在個(gè)人信息保護(hù)法律框架下合法擴(kuò)大訓(xùn)練數(shù)據(jù)庫(kù),成為人工智能企業(yè)面臨的共同課題。

    三是大模型訓(xùn)練可能造成對(duì)他人知識(shí)產(chǎn)權(quán)侵權(quán)。近期,由于大模型訓(xùn)練中使用了他人享有知識(shí)產(chǎn)權(quán)的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)“喂養(yǎng)”大模型,在國(guó)內(nèi)外引發(fā)多起訴訟案件。2023年9月,美國(guó)作家協(xié)會(huì)和十七名作家起訴OpenAI使用權(quán)利人享有版權(quán)的作品訓(xùn)練大模型構(gòu)成著作權(quán)侵權(quán)。2023年10月,環(huán)球音樂集團(tuán)及其他兩家音樂公司對(duì)人工智能公司Anthropic提起侵權(quán)訴訟,認(rèn)為Anthropic在歌曲的歌詞上侵犯了原告權(quán)利。2024年2月,我國(guó)廣州互聯(lián)網(wǎng)法院作出全球首例生成式人工智能侵犯著作權(quán)的生效判決。[5]目前,產(chǎn)業(yè)界、學(xué)術(shù)界就人工智能背景下解釋適用《著作權(quán)法》《專利法》等知識(shí)產(chǎn)權(quán)相關(guān)立法,以及對(duì)現(xiàn)有立法進(jìn)行修訂等主題展開激烈討論。

    四是數(shù)據(jù)質(zhì)量對(duì)大模型性能產(chǎn)生重要影響。目前,大模型訓(xùn)練中仍存在數(shù)據(jù)質(zhì)量不高的問題。大模型訓(xùn)練數(shù)據(jù)中大部分為開源數(shù)據(jù),而開源訓(xùn)練數(shù)據(jù)或多或少存在噪音問題,特別是爬蟲數(shù)據(jù)噪音問題更為嚴(yán)重,而數(shù)據(jù)質(zhì)量對(duì)于生成內(nèi)容的準(zhǔn)確性、全面性等都產(chǎn)生重要影響。此外,大模型采用“人類反饋強(qiáng)化學(xué)習(xí)”訓(xùn)練方法,開發(fā)主體從大模型中選取樣本,對(duì)其進(jìn)行人工標(biāo)注,并利用評(píng)分結(jié)果來訓(xùn)練反饋模型。而反饋提供者的個(gè)人觀點(diǎn)可能會(huì)被模型所學(xué)習(xí)和加強(qiáng),導(dǎo)致最終的文本生成結(jié)果缺乏客觀性和全面性。[6]數(shù)據(jù)的時(shí)效性、多樣性不足,也成為制約大模型訓(xùn)練的重要因素。目前中文優(yōu)質(zhì)數(shù)據(jù)集的存量現(xiàn)狀、發(fā)展水平和內(nèi)容質(zhì)量相對(duì)落后,在一定程度上制約了大模型的訓(xùn)練效果?!渡墒饺斯ぶ悄芊?wù)管理暫行辦法》中規(guī)定,在生成式人工智能技術(shù)研發(fā)過程中進(jìn)行數(shù)據(jù)標(biāo)注的,提供者應(yīng)當(dāng)制定清晰、具體、可操作的標(biāo)注規(guī)則;開展數(shù)據(jù)標(biāo)注質(zhì)量評(píng)估,抽樣核驗(yàn)標(biāo)注內(nèi)容的準(zhǔn)確性;對(duì)標(biāo)注人員進(jìn)行必要培訓(xùn),提升其遵法守法意識(shí),監(jiān)督指導(dǎo)標(biāo)注人員規(guī)范開展標(biāo)注工作。但提升數(shù)據(jù)質(zhì)量的具體要求和標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)注的具體規(guī)制和數(shù)據(jù)標(biāo)注人員管理規(guī)則都仍需進(jìn)一步細(xì)化完善。

    推進(jìn)我國(guó)人工智能立法的思路原則與建議

    關(guān)于我國(guó)人工智能立法的思路原則。目前,我國(guó)人工智能大模型發(fā)展仍處于技術(shù)追趕階段。結(jié)合我國(guó)產(chǎn)業(yè)技術(shù)發(fā)展實(shí)踐,推進(jìn)我國(guó)人工智能立法工作需要統(tǒng)籌處理好發(fā)展與安全、新法與舊法、國(guó)內(nèi)與國(guó)際三對(duì)重要關(guān)系。

    一是統(tǒng)籌發(fā)展與安全,明確立法定位。通用人工智能是新質(zhì)生產(chǎn)力的典型代表,在通用人工智能技術(shù)尚未展現(xiàn)全貌前,如何合理地平衡發(fā)展和安全,將極大影響我國(guó)未來在全球智能化競(jìng)爭(zhēng)格局中的地位。建議在劃好安全底線的前提下,更加突出立法對(duì)人工智能創(chuàng)新發(fā)展的“促進(jìn)”作用,實(shí)現(xiàn)以發(fā)展促安全,以安全保發(fā)展。我國(guó)人工智能立法可構(gòu)建“先行先試”的準(zhǔn)入機(jī)制和寬松的創(chuàng)新環(huán)境,讓新技術(shù)更快地走向市場(chǎng),給予萌芽階段的新技術(shù)新產(chǎn)品新應(yīng)用以包容期,以實(shí)現(xiàn)立法監(jiān)管與技術(shù)創(chuàng)新的良性互動(dòng)。

    二是處理好新法與已有立法的關(guān)系。人工智能發(fā)展的很多問題都是傳統(tǒng)互聯(lián)網(wǎng)問題的延伸,如數(shù)據(jù)治理、個(gè)人信息保護(hù)等,對(duì)此,已有相關(guān)法律法規(guī)可以直接適用,或者針對(duì)人工智能發(fā)展特點(diǎn)通過立、改、廢、釋等立法手段調(diào)整后適用。要處理好不同法律之間的協(xié)調(diào),做好新制度設(shè)計(jì)與已有規(guī)定的銜接。

    三是統(tǒng)籌好國(guó)內(nèi)與國(guó)際的關(guān)系。人工智能是人類發(fā)展的新領(lǐng)域,帶來了重大機(jī)遇,也伴隨著難以預(yù)知的風(fēng)險(xiǎn)挑戰(zhàn),需要國(guó)際社會(huì)共同應(yīng)對(duì)。[7]在推進(jìn)高水平對(duì)外開放的背景下,我國(guó)人工智能的法律制度應(yīng)當(dāng)成為一個(gè)立足國(guó)內(nèi)、面向國(guó)際的新型規(guī)范模式,不僅要符合我國(guó)基本國(guó)情,也可以參考借鑒美歐人工智能風(fēng)險(xiǎn)分級(jí)管理、促進(jìn)創(chuàng)新等有益經(jīng)驗(yàn)。

    關(guān)于我國(guó)人工智能立法模式選擇的建議。在具體推進(jìn)我國(guó)人工智能立法工作中,建議分階段“漸進(jìn)式”推進(jìn)。從整體看,目前人工智能發(fā)展仍處于通用人工智能發(fā)展的早期階段,很多問題尚未暴露,應(yīng)在開展具體立法工作中區(qū)分短期和中長(zhǎng)期的計(jì)劃,采取“漸進(jìn)式”的立法模式,有序推進(jìn)相關(guān)立法工作。

    在短期內(nèi),建議做好《個(gè)人信息保護(hù)法》等已有法律的適用工作,適時(shí)由全國(guó)人民代表大會(huì)常務(wù)委員會(huì)發(fā)布人工智能相關(guān)決定。目前人工智能發(fā)展中出現(xiàn)的數(shù)據(jù)安全、個(gè)人信息保護(hù)等問題,基本都可以在現(xiàn)有法律框架內(nèi)解決,對(duì)現(xiàn)有立法進(jìn)行延伸適用是較為經(jīng)濟(jì)高效的手段。此外,為更好發(fā)揮法律固根本、穩(wěn)預(yù)期、利長(zhǎng)遠(yuǎn)的保障作用,可以參照我國(guó)曾經(jīng)在個(gè)人信息保護(hù)領(lǐng)域的經(jīng)驗(yàn)做法,由全國(guó)人民代表大會(huì)常務(wù)委員會(huì)起草發(fā)布關(guān)于促進(jìn)和規(guī)范人工智能發(fā)展的決定。個(gè)人信息保護(hù)曾是全球互聯(lián)網(wǎng)發(fā)展中的關(guān)鍵問題,歐盟于1995年發(fā)布《數(shù)據(jù)保護(hù)指令》后引發(fā)了全球個(gè)人信息保護(hù)立法熱潮。我國(guó)當(dāng)時(shí)并沒有急于制定一部個(gè)人信息保護(hù)綜合性立法,而是由全國(guó)人民代表大會(huì)常務(wù)委員會(huì)在2012年發(fā)布了《關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保護(hù)的決定》,明確了個(gè)人信息保護(hù)的主要原則和基本規(guī)則,為產(chǎn)業(yè)發(fā)展留足了空間,推動(dòng)我國(guó)互聯(lián)網(wǎng)行業(yè)發(fā)展迎來黃金時(shí)代。

    中長(zhǎng)期來看,建議研究制定綜合性基礎(chǔ)性人工智能立法,推動(dòng)構(gòu)建人工智能法律制度體系。人工智能法治化是一項(xiàng)系統(tǒng)性、復(fù)雜性工作,既涵蓋設(shè)計(jì)、研發(fā)、應(yīng)用等多個(gè)發(fā)展階段,又包括研發(fā)者、提供者、使用者等多元主體,涉及數(shù)據(jù)、算法、模型等多方面問題,需要一部綜合性立法來統(tǒng)籌協(xié)調(diào)。以產(chǎn)業(yè)發(fā)展、權(quán)利保護(hù)、倫理考量為基本原則,用系統(tǒng)觀念和法治方法來推動(dòng)人工智能技術(shù)產(chǎn)業(yè)在我國(guó)規(guī)范健康持續(xù)發(fā)展,促進(jìn)其在“安全、可控、可解釋、可問責(zé)”的基本原則下創(chuàng)新發(fā)展。以算法、算力、數(shù)據(jù)為核心要素,在法治框架下盡快建立健全人工智能科技倫理監(jiān)督管理規(guī)范,完善相應(yīng)的侵權(quán)責(zé)任規(guī)范體系。探索構(gòu)建以不同領(lǐng)域開發(fā)使用人工智能的風(fēng)險(xiǎn)為劃分標(biāo)準(zhǔn)的規(guī)則體系,加強(qiáng)和改進(jìn)人工智能領(lǐng)域數(shù)據(jù)安全保障制度,重視和強(qiáng)化算法管理,強(qiáng)化對(duì)高風(fēng)險(xiǎn)領(lǐng)域的管理,釋放低風(fēng)險(xiǎn)領(lǐng)域發(fā)展活力。探索構(gòu)建多元主體創(chuàng)新治理路徑,研究探索“沙盒監(jiān)管”等創(chuàng)新監(jiān)管制度,秉持“在發(fā)展中規(guī)范”“在規(guī)范中發(fā)展”的基本制度取向,在新技術(shù)新應(yīng)用治理中構(gòu)建多領(lǐng)域、多主體、多制度、多工具協(xié)同聯(lián)動(dòng)治理機(jī)制。

    關(guān)于我國(guó)人工智能發(fā)展具體問題的建議。針對(duì)現(xiàn)階段人工智能技術(shù)產(chǎn)業(yè)發(fā)展中的突出問題,可通過出臺(tái)權(quán)威指引、實(shí)施細(xì)則或修訂相關(guān)立法的方式予以回應(yīng),為人工智能發(fā)展提供明確的規(guī)則指引和合法保障。

    在解決爬取數(shù)據(jù)合法性不足方面,可通過修訂現(xiàn)行立法,放寬對(duì)第三方數(shù)據(jù)服務(wù)商數(shù)據(jù)抓取的限制。對(duì)于商業(yè)數(shù)據(jù)的爬取,可考慮采納2022年《中華人民共和國(guó)反不正當(dāng)競(jìng)爭(zhēng)法(修訂草案征求意見稿)》第十八條第一款第二項(xiàng)關(guān)于數(shù)據(jù)爬取的規(guī)定,僅對(duì)足以實(shí)質(zhì)性替代其他經(jīng)營(yíng)者提供的相關(guān)產(chǎn)品或者服務(wù)的數(shù)據(jù)爬取行為進(jìn)行規(guī)制。對(duì)公眾可以無償獲取的數(shù)據(jù),可考慮采納2022年《中華人民共和國(guó)反不正當(dāng)競(jìng)爭(zhēng)法(修訂草案征求意見稿)》第十八條第三款關(guān)于獲取使用該類型數(shù)據(jù)不屬于不正當(dāng)獲取的定性,為大模型開發(fā)者合法的數(shù)據(jù)爬取和使用留出制度空間。

    在實(shí)現(xiàn)大模型訓(xùn)練中個(gè)人信息合法使用方面,可考慮在《個(gè)人信息保護(hù)法》框架下,針對(duì)人工智能大模型訓(xùn)練階段、生成階段、應(yīng)用階段個(gè)人信息保護(hù)的具體問題出臺(tái)細(xì)則和指引,幫助相關(guān)企業(yè)合法地研發(fā)、部署、應(yīng)用人工智能大模型。考慮出臺(tái)《個(gè)人信息保護(hù)法實(shí)施條例》,將人工智能大模型在研發(fā)階段對(duì)已公開個(gè)人信息的使用納入《個(gè)人信息保護(hù)法》規(guī)定的“在合理的范圍內(nèi)處理個(gè)人已經(jīng)合法公開的個(gè)人信息”。

    在協(xié)調(diào)促進(jìn)人工智能創(chuàng)新和著作權(quán)保護(hù)方面,通過具體規(guī)則、指引解決人工智能發(fā)展中的突出問題,為構(gòu)建完善的人工智能制度體系奠定規(guī)則基礎(chǔ)??煽紤]在《著作權(quán)法》第四節(jié)“權(quán)利的限制”部分增加“文本與數(shù)據(jù)挖掘”條款,即“為研發(fā)大模型而采集作品數(shù)據(jù)進(jìn)行訓(xùn)練的,在著作權(quán)人未明確拒絕將其作品用于訓(xùn)練時(shí),可以不經(jīng)著作權(quán)人許可,使用其作品進(jìn)行模型訓(xùn)練,但不得影響該作品的正常使用,也不得不合理地?fù)p害著作權(quán)人的合法權(quán)益”。允許企業(yè)出于發(fā)展人工智能的公共利益需要,在不侵害著作權(quán)人合法權(quán)益的基礎(chǔ)上,使用作品進(jìn)行模型訓(xùn)練。

    在提升訓(xùn)練數(shù)據(jù)質(zhì)量方面,可通過發(fā)布實(shí)踐指引、行業(yè)標(biāo)準(zhǔn)的形式,明確對(duì)具體行業(yè)、具體類型數(shù)據(jù)質(zhì)量的具體要求。圍繞數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)合規(guī)化、數(shù)據(jù)完整性、數(shù)據(jù)一致性等要求,構(gòu)建數(shù)據(jù)集質(zhì)量評(píng)測(cè)基準(zhǔn)體系,開發(fā)數(shù)據(jù)標(biāo)注管理工具,為提升數(shù)據(jù)質(zhì)量提供明確指引??商剿鳂?gòu)建數(shù)據(jù)標(biāo)注行業(yè)管理制度,完善數(shù)據(jù)標(biāo)注規(guī)則,包括標(biāo)注目標(biāo)、標(biāo)注格式、標(biāo)注方法以及數(shù)據(jù)質(zhì)量指標(biāo)等。構(gòu)建數(shù)據(jù)標(biāo)注從業(yè)者的資格準(zhǔn)入制度,針對(duì)數(shù)據(jù)標(biāo)注、數(shù)據(jù)審核等不同職能明確不同的任職要求等。

    注釋

    [1]《加強(qiáng)領(lǐng)導(dǎo)做好規(guī)劃明確任務(wù)夯實(shí)基礎(chǔ) 推動(dòng)我國(guó)新一代人工智能健康發(fā)展》,《人民日?qǐng)?bào)》,2018年11月1日,第1版。

    [2]《政府工作報(bào)告——2024年3月5日在第十四屆全國(guó)人民代表大會(huì)第二次會(huì)議上》,2024年3月12日,https://www.gov.cn/yaowen/liebiao/202403/content_6939153.htm。

    [3]王融:《AI時(shí)代,歐盟會(huì)復(fù)制下一個(gè)GDPR嗎?》,2023年12月21日,https://www.tisi.org/27214。

    [4]張欣:《生成式人工智能的數(shù)據(jù)風(fēng)險(xiǎn)與治理路徑》,《法律科學(xué)(西北政法大學(xué)學(xué)報(bào))》,2023年第5期。

    [5]《AI畫出奧特曼:中國(guó)法院作出全球首例生成式AI服務(wù)侵犯著作權(quán)的生效判決》,2024年2月26日,https://m.21jingji.com/article/20240226/herald/133a6c2f9c0b045899e4dea10c5778eb.html。

    [6]鈄曉東:《論生成式人工智能的數(shù)據(jù)安全風(fēng)險(xiǎn)及回應(yīng)型治理》,《東方法學(xué)》,2023年第5期。

    [7]方興東:《告別人工智能治理“碎片化”》,《人民政協(xié)報(bào)》,2023年12月7日,第7版。

    參考文獻(xiàn)

    騰訊研究院、中國(guó)信息通信研究院互聯(lián)網(wǎng)法律研究中心,2017,《人工智能:國(guó)家人工智能戰(zhàn)略行動(dòng)抓手》,北京:中國(guó)人民大學(xué)出版社。

    楊延超,2019,《機(jī)器人法——構(gòu)建人類未來新秩序》,北京:法律出版社。

    伊格納斯·卡爾波卡斯,2022,《算法治理:后人類時(shí)代的政治與法律》,上海人民出版社。

    劉艷紅,2023,《生成式人工智能的三大安全風(fēng)險(xiǎn)及法律規(guī)制——以ChatGPT為例》,《東方法學(xué)》,第4期。

    劉金瑞,2021,《數(shù)據(jù)安全范式革新及其立法展開》,《環(huán)球法律評(píng)論》,第1期。

    蘇宇,2023,《數(shù)字時(shí)代的技術(shù)性正當(dāng)程序:理論檢視與制度構(gòu)建》,《法學(xué)研究》,第1期。

    責(zé) 編∕桂 琰 美 編∕梁麗琛

    色播亚洲综合网| 精品人妻偷拍中文字幕| www.999成人在线观看| 亚洲精品影视一区二区三区av| av片东京热男人的天堂| 国产亚洲精品av在线| 国产一级毛片七仙女欲春2| 欧美bdsm另类| 母亲3免费完整高清在线观看| 美女高潮的动态| 丁香六月欧美| 91久久精品电影网| 亚洲精品国产精品久久久不卡| 俺也久久电影网| 免费看日本二区| 亚洲第一电影网av| 真人做人爱边吃奶动态| 黄色日韩在线| 97碰自拍视频| 国产精品自产拍在线观看55亚洲| 国产麻豆成人av免费视频| 亚洲人成网站高清观看| 久久精品91蜜桃| 日韩欧美一区二区三区在线观看| 免费搜索国产男女视频| 亚洲精品乱码久久久v下载方式 | 最近视频中文字幕2019在线8| 最近在线观看免费完整版| 中文字幕人妻熟人妻熟丝袜美 | 亚洲av免费高清在线观看| 一本精品99久久精品77| 99视频精品全部免费 在线| avwww免费| 欧美成人性av电影在线观看| 国产成人欧美在线观看| 白带黄色成豆腐渣| 热99在线观看视频| 性色avwww在线观看| 欧美国产日韩亚洲一区| 日韩中文字幕欧美一区二区| 亚洲国产欧洲综合997久久,| 毛片女人毛片| 啦啦啦韩国在线观看视频| 国产午夜福利久久久久久| 18禁国产床啪视频网站| 最近在线观看免费完整版| 淫妇啪啪啪对白视频| 亚洲成人免费电影在线观看| 波多野结衣高清作品| 免费观看的影片在线观看| 国产综合懂色| 日本免费一区二区三区高清不卡| 中文字幕熟女人妻在线| 首页视频小说图片口味搜索| 久久久久免费精品人妻一区二区| www日本黄色视频网| 一个人免费在线观看电影| 夜夜夜夜夜久久久久| 韩国av一区二区三区四区| 此物有八面人人有两片| 色综合站精品国产| 国产精品亚洲av一区麻豆| 欧美日韩国产亚洲二区| 最新中文字幕久久久久| 桃红色精品国产亚洲av| 欧美最黄视频在线播放免费| 亚洲真实伦在线观看| 乱人视频在线观看| 欧美中文综合在线视频| 国产精品久久久久久久电影 | 丁香六月欧美| 日韩成人在线观看一区二区三区| 亚洲欧美日韩卡通动漫| 日韩欧美在线二视频| 老司机在亚洲福利影院| 日本精品一区二区三区蜜桃| 桃红色精品国产亚洲av| 一区二区三区国产精品乱码| 国产午夜精品久久久久久一区二区三区 | 欧美在线一区亚洲| 久久人妻av系列| 精品国产超薄肉色丝袜足j| 亚洲av免费在线观看| 亚洲五月婷婷丁香| 成人欧美大片| 男女午夜视频在线观看| 啪啪无遮挡十八禁网站| 久久久精品大字幕| 中文字幕av成人在线电影| 久久精品综合一区二区三区| 免费在线观看亚洲国产| 国产免费男女视频| 久久精品国产亚洲av香蕉五月| 99riav亚洲国产免费| 日本一本二区三区精品| 久久欧美精品欧美久久欧美| 99国产精品一区二区蜜桃av| 夜夜躁狠狠躁天天躁| 1000部很黄的大片| 精品久久久久久久毛片微露脸| xxxwww97欧美| 久久久久国产精品人妻aⅴ院| 欧美日本亚洲视频在线播放| 日本a在线网址| 欧美一级毛片孕妇| 国产亚洲精品久久久久久毛片| 婷婷六月久久综合丁香| 香蕉久久夜色| 丁香欧美五月| 免费观看的影片在线观看| 欧美最黄视频在线播放免费| 丁香欧美五月| 免费看十八禁软件| 亚洲av中文字字幕乱码综合| 婷婷精品国产亚洲av在线| 欧美性猛交╳xxx乱大交人| 两人在一起打扑克的视频| 搞女人的毛片| 国产成年人精品一区二区| 亚洲国产色片| av专区在线播放| 国产男靠女视频免费网站| 亚洲七黄色美女视频| 欧洲精品卡2卡3卡4卡5卡区| 一进一出抽搐gif免费好疼| 免费高清视频大片| 国产97色在线日韩免费| 免费av不卡在线播放| 久久久久久久久久黄片| 欧美3d第一页| 国语自产精品视频在线第100页| 91麻豆精品激情在线观看国产| tocl精华| 老司机深夜福利视频在线观看| 午夜福利欧美成人| 在线观看日韩欧美| 激情在线观看视频在线高清| 久久精品影院6| 老司机午夜十八禁免费视频| 老司机在亚洲福利影院| 19禁男女啪啪无遮挡网站| 中文字幕精品亚洲无线码一区| 日韩国内少妇激情av| 久久久成人免费电影| a在线观看视频网站| 国产精品一区二区免费欧美| 欧美又色又爽又黄视频| 女人十人毛片免费观看3o分钟| 国产久久久一区二区三区| 日本黄色视频三级网站网址| 俄罗斯特黄特色一大片| 国产高清三级在线| 村上凉子中文字幕在线| 亚洲精品影视一区二区三区av| 天堂网av新在线| 国产精品影院久久| 日韩高清综合在线| 中文字幕高清在线视频| 国产成人系列免费观看| tocl精华| 精品福利观看| 久久香蕉国产精品| svipshipincom国产片| 精品一区二区三区人妻视频| 噜噜噜噜噜久久久久久91| 人妻久久中文字幕网| 国产午夜福利久久久久久| 舔av片在线| 精品午夜福利视频在线观看一区| 小说图片视频综合网站| 九色成人免费人妻av| 成年免费大片在线观看| 夜夜看夜夜爽夜夜摸| 久久久久久大精品| 国产综合懂色| 欧美在线黄色| 一进一出抽搐动态| 国产老妇女一区| 欧美性猛交黑人性爽| 精品日产1卡2卡| 动漫黄色视频在线观看| 极品教师在线免费播放| 色综合欧美亚洲国产小说| 黄色成人免费大全| 精品久久久久久久毛片微露脸| 内地一区二区视频在线| 精品人妻1区二区| 日本 欧美在线| 免费观看精品视频网站| 久久国产乱子伦精品免费另类| 成人无遮挡网站| 丁香六月欧美| 久久中文看片网| 在线看三级毛片| 三级男女做爰猛烈吃奶摸视频| 久久精品影院6| 亚洲欧美激情综合另类| 精品一区二区三区人妻视频| 一夜夜www| 久久久久久久亚洲中文字幕 | or卡值多少钱| 亚洲在线观看片| 亚洲自拍偷在线| 黄片大片在线免费观看| 一区二区三区国产精品乱码| 日韩欧美三级三区| 91麻豆av在线| 此物有八面人人有两片| 嫩草影院入口| 一区二区三区国产精品乱码| 久久久久久久久久黄片| 蜜桃久久精品国产亚洲av| 久久久久久人人人人人| 免费看十八禁软件| 欧美日韩瑟瑟在线播放| 90打野战视频偷拍视频| 亚洲人成网站高清观看| 久久这里只有精品中国| 色视频www国产| 亚洲国产高清在线一区二区三| 极品教师在线免费播放| 一级毛片女人18水好多| 国产伦精品一区二区三区视频9 | 熟女电影av网| 免费搜索国产男女视频| 久久精品亚洲精品国产色婷小说| 成年女人永久免费观看视频| 亚洲天堂国产精品一区在线| 国产精品香港三级国产av潘金莲| 亚洲成a人片在线一区二区| 亚洲中文字幕日韩| 久久久久久久精品吃奶| 国产午夜精品论理片| 99热只有精品国产| 99久国产av精品| 两个人的视频大全免费| 日韩欧美精品免费久久 | 亚洲成人久久性| 国产精品久久久久久人妻精品电影| 啦啦啦观看免费观看视频高清| 欧美在线黄色| 在线观看免费午夜福利视频| 午夜福利在线观看免费完整高清在 | 男女视频在线观看网站免费| 国产亚洲精品一区二区www| 美女高潮喷水抽搐中文字幕| 日本在线视频免费播放| 日本与韩国留学比较| tocl精华| 黄色成人免费大全| 男女之事视频高清在线观看| 一级毛片高清免费大全| 国产高清激情床上av| 免费在线观看成人毛片| 免费在线观看影片大全网站| 久久久久九九精品影院| 老司机在亚洲福利影院| 欧美一区二区亚洲| 日韩欧美在线乱码| 欧美黑人欧美精品刺激| 大型黄色视频在线免费观看| 一个人观看的视频www高清免费观看| 最近最新中文字幕大全电影3| av国产免费在线观看| 亚洲成人久久爱视频| 欧美区成人在线视频| 国产三级黄色录像| 国产精品永久免费网站| 少妇丰满av| 欧美色欧美亚洲另类二区| 国产精品久久久久久久电影 | 亚洲 欧美 日韩 在线 免费| 最近最新免费中文字幕在线| 激情在线观看视频在线高清| 欧美性猛交╳xxx乱大交人| 国产综合懂色| 免费av毛片视频| 免费看日本二区| 国产乱人视频| 麻豆国产av国片精品| 婷婷精品国产亚洲av| 超碰av人人做人人爽久久 | 久久婷婷人人爽人人干人人爱| e午夜精品久久久久久久| 亚洲一区二区三区色噜噜| 亚洲熟妇中文字幕五十中出| 男女那种视频在线观看| 免费av毛片视频| 亚洲欧美精品综合久久99| 嫩草影视91久久| 毛片女人毛片| 日本黄色视频三级网站网址| 免费搜索国产男女视频| 亚洲欧美日韩东京热| 国产一区二区三区在线臀色熟女| 高潮久久久久久久久久久不卡| 国产蜜桃级精品一区二区三区| 女人被狂操c到高潮| 日韩人妻高清精品专区| 在线观看免费午夜福利视频| 国产精品综合久久久久久久免费| 国产欧美日韩一区二区精品| 老汉色∧v一级毛片| 精品久久久久久久末码| 色老头精品视频在线观看| 叶爱在线成人免费视频播放| 91九色精品人成在线观看| 国产精品三级大全| 脱女人内裤的视频| 亚洲精品美女久久久久99蜜臀| av黄色大香蕉| 久久精品夜夜夜夜夜久久蜜豆| 最新在线观看一区二区三区| 婷婷精品国产亚洲av在线| 国产真实乱freesex| 久久香蕉精品热| 丝袜美腿在线中文| 国产毛片a区久久久久| 深爱激情五月婷婷| 久久精品国产综合久久久| 国产欧美日韩精品亚洲av| 最近最新中文字幕大全电影3| 久久这里只有精品中国| 亚洲精品乱码久久久v下载方式 | 免费在线观看日本一区| 亚洲av成人av| 人妻丰满熟妇av一区二区三区| 香蕉av资源在线| 亚洲人成网站在线播| 91av网一区二区| 很黄的视频免费| 国产爱豆传媒在线观看| 成人av在线播放网站| 国内精品美女久久久久久| 日韩高清综合在线| 全区人妻精品视频| 毛片女人毛片| 1000部很黄的大片| 在线观看免费午夜福利视频| 精品人妻偷拍中文字幕| 午夜激情福利司机影院| 亚洲成人久久性| 欧美乱妇无乱码| 中文亚洲av片在线观看爽| 亚洲精华国产精华精| 亚洲色图av天堂| 两个人视频免费观看高清| 国产探花极品一区二区| 一夜夜www| 欧美+日韩+精品| av在线天堂中文字幕| 一区二区三区国产精品乱码| 舔av片在线| netflix在线观看网站| 成年女人永久免费观看视频| 亚洲中文日韩欧美视频| or卡值多少钱| 亚洲一区二区三区不卡视频| 超碰av人人做人人爽久久 | 有码 亚洲区| 免费观看精品视频网站| 国产一区二区亚洲精品在线观看| 国产激情偷乱视频一区二区| 亚洲av日韩精品久久久久久密| av专区在线播放| 国产一区二区在线av高清观看| 国内精品久久久久精免费| 99精品欧美一区二区三区四区| 最近最新中文字幕大全电影3| 高清日韩中文字幕在线| 国产在线精品亚洲第一网站| 亚洲18禁久久av| 国产又黄又爽又无遮挡在线| www.999成人在线观看| 午夜精品一区二区三区免费看| 中文字幕人妻丝袜一区二区| 99热精品在线国产| 淫秽高清视频在线观看| 亚洲无线观看免费| 精品免费久久久久久久清纯| 欧美日韩精品网址| 一区二区三区免费毛片| 动漫黄色视频在线观看| 在线观看日韩欧美| 99国产极品粉嫩在线观看| 老司机午夜十八禁免费视频| 国产成人系列免费观看| 法律面前人人平等表现在哪些方面| 一区福利在线观看| 日韩欧美国产在线观看| 亚洲av成人av| 色综合婷婷激情| 天天添夜夜摸| 久久精品亚洲精品国产色婷小说| 亚洲av熟女| 白带黄色成豆腐渣| 一本久久中文字幕| 免费在线观看影片大全网站| 国产中年淑女户外野战色| av天堂在线播放| 首页视频小说图片口味搜索| 久久精品夜夜夜夜夜久久蜜豆| 日本在线视频免费播放| 黄片小视频在线播放| 精品久久久久久久久久免费视频| 一二三四社区在线视频社区8| 啦啦啦韩国在线观看视频| 成年女人永久免费观看视频| 好看av亚洲va欧美ⅴa在| 国产伦人伦偷精品视频| 欧美不卡视频在线免费观看| 日韩欧美精品免费久久 | 欧美黄色片欧美黄色片| 国产色婷婷99| 国产一区二区亚洲精品在线观看| 国产亚洲精品一区二区www| 少妇裸体淫交视频免费看高清| 亚洲午夜理论影院| 超碰av人人做人人爽久久 | 亚洲国产欧美人成| 国产伦一二天堂av在线观看| 亚洲欧美日韩卡通动漫| 国产亚洲精品久久久久久毛片| a在线观看视频网站| 亚洲一区二区三区色噜噜| 熟女人妻精品中文字幕| 无遮挡黄片免费观看| 99久国产av精品| 婷婷六月久久综合丁香| 天堂网av新在线| 免费电影在线观看免费观看| 丁香六月欧美| 国产精品女同一区二区软件 | 国产av麻豆久久久久久久| 亚洲av日韩精品久久久久久密| netflix在线观看网站| 少妇裸体淫交视频免费看高清| 激情在线观看视频在线高清| 久久性视频一级片| 亚洲av成人不卡在线观看播放网| 少妇的丰满在线观看| 少妇丰满av| 欧美大码av| 国产av不卡久久| 久久久久久久久中文| 极品教师在线免费播放| 精品福利观看| 1024手机看黄色片| 人人妻,人人澡人人爽秒播| 亚洲精品456在线播放app | 舔av片在线| 欧美精品啪啪一区二区三区| 一区二区三区免费毛片| 久久久久久人人人人人| 狂野欧美激情性xxxx| 国产伦精品一区二区三区视频9 | 欧美午夜高清在线| 亚洲五月婷婷丁香| 老熟妇仑乱视频hdxx| 女警被强在线播放| 欧美在线黄色| 日本一本二区三区精品| or卡值多少钱| 一个人看的www免费观看视频| 午夜福利在线观看吧| 人妻夜夜爽99麻豆av| 在线看三级毛片| 在线观看一区二区三区| 亚洲欧美日韩高清在线视频| 精品久久久久久久毛片微露脸| 亚洲va日本ⅴa欧美va伊人久久| 中国美女看黄片| 午夜两性在线视频| 熟女人妻精品中文字幕| 国产真人三级小视频在线观看| 一本精品99久久精品77| 综合色av麻豆| 一区二区三区国产精品乱码| 亚洲aⅴ乱码一区二区在线播放| 中文亚洲av片在线观看爽| 亚洲成人久久爱视频| 一级a爱片免费观看的视频| 久久久久精品国产欧美久久久| 变态另类丝袜制服| 中文资源天堂在线| 亚洲精品影视一区二区三区av| 国产午夜福利久久久久久| 亚洲人成伊人成综合网2020| av欧美777| 天堂网av新在线| 深爱激情五月婷婷| 欧美区成人在线视频| 国产麻豆成人av免费视频| 3wmmmm亚洲av在线观看| 高潮久久久久久久久久久不卡| 18禁在线播放成人免费| 小说图片视频综合网站| 一级黄片播放器| 日本 av在线| 国产色婷婷99| 国产黄色小视频在线观看| 九九在线视频观看精品| 久久久久性生活片| www.色视频.com| 波多野结衣巨乳人妻| 亚洲aⅴ乱码一区二区在线播放| 不卡一级毛片| 欧美中文日本在线观看视频| 久久久久久久久久黄片| 亚洲一区二区三区不卡视频| 久久久久九九精品影院| 欧美日本亚洲视频在线播放| 亚洲天堂国产精品一区在线| 嫩草影院精品99| 变态另类成人亚洲欧美熟女| 18禁黄网站禁片午夜丰满| 国产不卡一卡二| 国内精品久久久久精免费| 超碰av人人做人人爽久久 | 欧美zozozo另类| 我的老师免费观看完整版| 蜜桃亚洲精品一区二区三区| 国产精品一区二区三区四区久久| 久久精品国产亚洲av涩爱 | 俺也久久电影网| 精品一区二区三区视频在线观看免费| 亚洲成a人片在线一区二区| 国产精品香港三级国产av潘金莲| 欧美国产日韩亚洲一区| 久久久久久久久大av| 天堂av国产一区二区熟女人妻| 色播亚洲综合网| 久久久久久九九精品二区国产| 色综合欧美亚洲国产小说| 老汉色av国产亚洲站长工具| 天天一区二区日本电影三级| 日韩亚洲欧美综合| 成人三级黄色视频| 亚洲人成网站高清观看| 男女之事视频高清在线观看| 人妻夜夜爽99麻豆av| 婷婷丁香在线五月| 国产av不卡久久| 欧美激情久久久久久爽电影| 99精品久久久久人妻精品| 3wmmmm亚洲av在线观看| 美女被艹到高潮喷水动态| 免费人成视频x8x8入口观看| 久久久久久人人人人人| 国产久久久一区二区三区| 成人特级av手机在线观看| 国产精品98久久久久久宅男小说| 99热6这里只有精品| 久久精品国产清高在天天线| 亚洲国产日韩欧美精品在线观看 | 国产精品久久久久久亚洲av鲁大| 黄色丝袜av网址大全| 噜噜噜噜噜久久久久久91| 在线观看免费视频日本深夜| 日本黄色片子视频| 18禁国产床啪视频网站| 熟妇人妻久久中文字幕3abv| 精品欧美国产一区二区三| 欧美bdsm另类| 看黄色毛片网站| 国产成人影院久久av| 精品久久久久久,| 怎么达到女性高潮| 国产精品久久久久久人妻精品电影| 亚洲 国产 在线| 国产久久久一区二区三区| 舔av片在线| 精品国产亚洲在线| 亚洲成a人片在线一区二区| 岛国视频午夜一区免费看| 日本熟妇午夜| 日韩有码中文字幕| 久久久成人免费电影| 好看av亚洲va欧美ⅴa在| tocl精华| 国产高清激情床上av| 99久久99久久久精品蜜桃| 久久性视频一级片| 中文字幕人成人乱码亚洲影| 成人欧美大片| 亚洲精品久久国产高清桃花| 欧美av亚洲av综合av国产av| 国产色婷婷99| 国产精品 国内视频| 久久久久亚洲av毛片大全| 两个人看的免费小视频| 亚洲欧美日韩卡通动漫| 日韩欧美国产一区二区入口| 男女那种视频在线观看| 久久久久久久精品吃奶| 男人舔奶头视频| 国产在线精品亚洲第一网站| 欧美zozozo另类| 波多野结衣高清无吗| 久久人妻av系列| 亚洲欧美日韩卡通动漫| 国产精品影院久久| 国产成人av激情在线播放| 老鸭窝网址在线观看| 国产野战对白在线观看| 免费人成在线观看视频色| 欧美成人一区二区免费高清观看| 在线视频色国产色| 看片在线看免费视频| 俺也久久电影网| 国产一区二区在线观看日韩 | 亚洲熟妇中文字幕五十中出| 国语自产精品视频在线第100页| 国产亚洲欧美98| 有码 亚洲区|