• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    生成式大模型的數(shù)據(jù)安全風(fēng)險(xiǎn)與法律治理

    2024-01-10 04:00:48劉羿鳴林梓瀚
    關(guān)鍵詞:數(shù)據(jù)安全個(gè)人信息人工智能

    劉羿鳴,林梓瀚

    (1.武漢大學(xué) 網(wǎng)絡(luò)治理研究院,湖北 武漢 430072;2.上海數(shù)據(jù)交易所,上海 201203)

    0 引言

    生成式大模型(以下簡(jiǎn)稱(chēng)大模型)是指基于海量數(shù)據(jù)訓(xùn)練的、能夠通過(guò)微調(diào)等方式適配各類(lèi)下游任務(wù),并根據(jù)用戶(hù)指令生成各類(lèi)內(nèi)容的人工智能模型。大模型具有極為寬廣的應(yīng)用前景,且使用門(mén)檻較低,用戶(hù)可通過(guò)開(kāi)源或開(kāi)放API工具等形式進(jìn)行模型零樣本/小樣本數(shù)據(jù)學(xué)習(xí),便可識(shí)別、理解、決策、生成效果更優(yōu)和成本更低的開(kāi)發(fā)部署方案。

    然而,大模型的訓(xùn)練及其應(yīng)用的落地都需要大量的數(shù)據(jù)作為支撐,由此帶來(lái)的諸如個(gè)人隱私泄露和數(shù)據(jù)篡改等數(shù)據(jù)安全風(fēng)險(xiǎn)已成為法律所必須因應(yīng)的重要議題。本文將基于大模型數(shù)據(jù)安全風(fēng)險(xiǎn)的系統(tǒng)性分析,對(duì)國(guó)內(nèi)外既有規(guī)制路徑的不足進(jìn)行梳理,最后提出我國(guó)大模型治理的完善建議,以期推動(dòng)大模型應(yīng)用的可信有序發(fā)展。

    1 問(wèn)題的提出

    大模型的廣泛應(yīng)用與內(nèi)生性技術(shù)局限的疊加引發(fā)了對(duì)大模型所導(dǎo)致的數(shù)據(jù)安全風(fēng)險(xiǎn)的擔(dān)憂(yōu)。在理論界,已有不少學(xué)者分別從大模型的訓(xùn)練數(shù)據(jù)治理[1]、國(guó)家安全風(fēng)險(xiǎn)[2]、大模型數(shù)據(jù)合規(guī)的管理原則[3]等方面對(duì)大模型數(shù)據(jù)安全監(jiān)管進(jìn)行了探討;而在實(shí)踐中,多國(guó)發(fā)布了有關(guān)大模型監(jiān)管的政策文件,試圖將大模型數(shù)據(jù)安全風(fēng)險(xiǎn)納入相對(duì)可控的法治軌道。例如,意大利的個(gè)人數(shù)據(jù)保護(hù)局曾對(duì)大模型的應(yīng)用發(fā)布禁止令,歐盟也對(duì)大模型的數(shù)據(jù)安全風(fēng)險(xiǎn)展開(kāi)了調(diào)查。2023年7月,我國(guó)出臺(tái)了《生成式人工智能服務(wù)管理暫行辦法》,針對(duì)大模型的數(shù)據(jù)來(lái)源、數(shù)據(jù)質(zhì)量、個(gè)人信息保護(hù)等問(wèn)題進(jìn)行立法規(guī)制。

    但既有的大模型數(shù)據(jù)安全風(fēng)險(xiǎn)監(jiān)管在理論和實(shí)踐層面仍面臨不少困境。一方面,或是囿于對(duì)大模型的本質(zhì)與特征的認(rèn)識(shí)不足,既有研究要么將數(shù)據(jù)安全風(fēng)險(xiǎn)與個(gè)人隱私保護(hù)混同[4],要么僅僅關(guān)注大模型運(yùn)行中的某一環(huán)節(jié)中的數(shù)據(jù)安全風(fēng)險(xiǎn)而忽視了其他環(huán)節(jié)[5],總體來(lái)看尚未形成對(duì)大模型數(shù)據(jù)安全風(fēng)險(xiǎn)的統(tǒng)一性和系統(tǒng)性認(rèn)識(shí);另一方面,我國(guó)現(xiàn)有的立法和監(jiān)管政策存在表述模糊、責(zé)任分配不清等問(wèn)題,恐難以充分化解大模型應(yīng)用引發(fā)的數(shù)據(jù)安全風(fēng)險(xiǎn)。

    由此可見(jiàn),大模型的可信發(fā)展需要加強(qiáng)對(duì)大模型數(shù)據(jù)安全風(fēng)險(xiǎn)的系統(tǒng)性認(rèn)知,并在借鑒域外大模型治理經(jīng)驗(yàn)的基礎(chǔ)上有針對(duì)性地完善我國(guó)的大模型治理規(guī)則,以期形塑兼具鼓勵(lì)創(chuàng)新和控制風(fēng)險(xiǎn)的具有我國(guó)特色的大模型數(shù)據(jù)安全風(fēng)險(xiǎn)監(jiān)管路徑。

    2 “動(dòng)-靜”視角下的大模型數(shù)據(jù)安全風(fēng)險(xiǎn)

    認(rèn)知風(fēng)險(xiǎn)是風(fēng)險(xiǎn)治理的邏輯起點(diǎn)?;趯?duì)大模型數(shù)據(jù)風(fēng)險(xiǎn)的既有觀點(diǎn)及其不足的分析,結(jié)合數(shù)據(jù)安全的本質(zhì)特征,或可為化解大模型數(shù)據(jù)安全風(fēng)險(xiǎn)提供更為多元、全面的視角。

    2.1 “動(dòng)-靜”視角下大模型數(shù)據(jù)安全風(fēng)險(xiǎn)的提出

    安全與風(fēng)險(xiǎn)是一組二元對(duì)立的概念。根據(jù)《現(xiàn)代漢語(yǔ)詞典》,安全的詞義是“沒(méi)有危險(xiǎn);不受威脅;不出事故”[6]。與之相對(duì)應(yīng),風(fēng)險(xiǎn)則是一種“未來(lái)的不確定性”[7],而正是這種“不確定性”侵害了安全的“自然狀態(tài)”,此時(shí)則需要法律通過(guò)風(fēng)險(xiǎn)治理來(lái)實(shí)現(xiàn)和保障安全。

    規(guī)避風(fēng)險(xiǎn)的前提是對(duì)可能存在的風(fēng)險(xiǎn)形成充分的認(rèn)知。在生產(chǎn)力較為低下的古代,人與人之間的交往并不頻繁,風(fēng)險(xiǎn)的種類(lèi)也較為單一,因此當(dāng)時(shí)的法律主要關(guān)注對(duì)個(gè)體人身和財(cái)產(chǎn)安全的保障[8]。到了近代,工業(yè)革命帶來(lái)便捷的交通方式,人際間愈加頻繁的交往使得社會(huì)風(fēng)險(xiǎn)特征從點(diǎn)對(duì)點(diǎn)、偶發(fā)性和個(gè)體性,轉(zhuǎn)向群體性、區(qū)域性,引發(fā)對(duì)集體安全和國(guó)家安全的關(guān)注[9]。進(jìn)入當(dāng)代,以人工智能為代表的新技術(shù)的迅猛發(fā)展使得數(shù)據(jù)成為“二十一世紀(jì)的石油”,同時(shí)也帶來(lái)了數(shù)據(jù)泄露、個(gè)人隱私侵犯等問(wèn)題,安全的保障范圍由物理空間向賽博空間(Cyberspace)擴(kuò)張,數(shù)據(jù)安全的概念由此產(chǎn)生。

    區(qū)別于傳統(tǒng)安全風(fēng)險(xiǎn),大模型數(shù)據(jù)安全風(fēng)險(xiǎn)具有多重含義,需要建立基于“動(dòng)-靜”雙重視角的風(fēng)險(xiǎn)認(rèn)知體系。一方面,數(shù)據(jù)之上承載著多方主體的利益,大模型數(shù)據(jù)安全不僅僅關(guān)乎數(shù)據(jù)自身的安全,還體現(xiàn)對(duì)數(shù)據(jù)持有者、數(shù)據(jù)來(lái)源者的權(quán)益以及社會(huì)公共利益以及國(guó)家利益的保障[10];另一方面,數(shù)據(jù)的價(jià)值在于利用,因此對(duì)大模型數(shù)據(jù)安全的探討應(yīng)當(dāng)具體到大模型數(shù)據(jù)的使用、加工、傳輸、提供、公開(kāi)等數(shù)據(jù)處理活動(dòng)中,而不是局限于對(duì)數(shù)據(jù)靜態(tài)安全的泛泛而談[11]。因此,一個(gè)更加符合大模型技術(shù)特征以及實(shí)踐認(rèn)知的解決方案是,將大模型的數(shù)據(jù)安全風(fēng)險(xiǎn)劃分為靜態(tài)和動(dòng)態(tài)兩個(gè)層面,前者以數(shù)據(jù)安全保障的不同主體利益為觀察視角,梳理大模型對(duì)個(gè)人數(shù)據(jù)安全、企業(yè)數(shù)據(jù)安全以及國(guó)家數(shù)據(jù)安全帶來(lái)的挑戰(zhàn);后者則以大模型的運(yùn)行流程為視角,分析大模型的數(shù)據(jù)采集、模型搭建以及模型產(chǎn)出等各個(gè)階段的數(shù)據(jù)安全風(fēng)險(xiǎn)。圖1所示為“動(dòng)-靜”視角下大模型數(shù)據(jù)安全風(fēng)險(xiǎn)全景圖。

    圖1 大模型數(shù)據(jù)安全風(fēng)險(xiǎn)全景圖

    2.2 大模型的靜態(tài)數(shù)據(jù)安全風(fēng)險(xiǎn)

    安全難以脫離不同主體所構(gòu)筑起來(lái)的諸多社會(huì)關(guān)系和社會(huì)結(jié)構(gòu),“安全從一開(kāi)始就作為我們與自身的關(guān)系,與他人的關(guān)系以及與世界的關(guān)系,被理性地加以規(guī)定”[12]。從這個(gè)角度來(lái)看,不能僅僅討論大模型應(yīng)用中的數(shù)據(jù)自身的安全,而需要從不同主體的不同利益訴求出發(fā),分析個(gè)體、企業(yè)以及國(guó)家在數(shù)據(jù)安全中的權(quán)益保障。

    其一,大模型的個(gè)人數(shù)據(jù)安全風(fēng)險(xiǎn)。雖然學(xué)界對(duì)個(gè)體對(duì)數(shù)據(jù)是否享有財(cái)產(chǎn)性權(quán)益尚存在爭(zhēng)議[13],但毋庸置疑的是數(shù)據(jù)之上承載著由《民法典》《個(gè)人信息保護(hù)法》等法律所明確或暗示的個(gè)體享有的包括知情、決定、查閱、復(fù)制、更正、補(bǔ)充、刪除在內(nèi)的一系列人格權(quán)益。然而,大模型的數(shù)據(jù)采集、模型搭建和結(jié)果輸出無(wú)一不涉及對(duì)個(gè)人數(shù)據(jù)的處理,其在醫(yī)療、金融等領(lǐng)域的應(yīng)用更是涉及個(gè)人的敏感信息,但囿于現(xiàn)階段大模型技術(shù)的局限性,難以做到對(duì)個(gè)人數(shù)據(jù)的全面性保障。例如,當(dāng)用戶(hù)對(duì)ChatGPT進(jìn)行提問(wèn)時(shí),可能會(huì)暴露其不愿公開(kāi)的個(gè)人信息。而根據(jù)OpenAI的說(shuō)明,ChatGPT只支持用戶(hù)刪除個(gè)人賬戶(hù),而無(wú)法做到完全刪除用戶(hù)的個(gè)人信息,這使得OpenAI不得不在其網(wǎng)站提示用戶(hù)“不要在談話(huà)中分享任何敏感信息”[14]。

    其二,大模型的企業(yè)數(shù)據(jù)安全風(fēng)險(xiǎn)。企業(yè)基于對(duì)數(shù)據(jù)的實(shí)質(zhì)性加工和創(chuàng)造性勞動(dòng)獲取了對(duì)數(shù)據(jù)及數(shù)據(jù)產(chǎn)品的財(cái)產(chǎn)性利益,對(duì)此我國(guó)在政策和地方法規(guī)層面予以認(rèn)可,并在司法實(shí)踐中通過(guò)著作權(quán)保護(hù)或反不正當(dāng)競(jìng)爭(zhēng)法的有關(guān)規(guī)定予以保護(hù)。然而,大模型在應(yīng)用過(guò)程中頻繁地從互聯(lián)網(wǎng)大量地爬取數(shù)據(jù),而大模型在挖掘、使用數(shù)據(jù)的過(guò)程中卻難以對(duì)所利用數(shù)據(jù)的權(quán)利狀態(tài)進(jìn)行一一辨析,若被爬取的數(shù)據(jù)中包含企業(yè)的商業(yè)秘密或可被納入著作權(quán)法保護(hù)范圍的內(nèi)容則極易構(gòu)成侵權(quán)。

    其三,大模型的國(guó)家數(shù)據(jù)安全風(fēng)險(xiǎn)主要體現(xiàn)在數(shù)據(jù)的跨境流通過(guò)程中。在大數(shù)據(jù)時(shí)代,數(shù)據(jù)被視為國(guó)家的一種基礎(chǔ)性戰(zhàn)略資源,各國(guó)紛紛主張對(duì)本國(guó)數(shù)據(jù)進(jìn)行生產(chǎn)、開(kāi)發(fā)、利用,并提出一系列有關(guān)數(shù)據(jù)本地化存儲(chǔ)和限制輸出的規(guī)定[15]。例如,針對(duì)個(gè)人數(shù)據(jù)的出境監(jiān)管,我國(guó)《個(gè)人信息保護(hù)法》就規(guī)定了數(shù)據(jù)出境安全評(píng)估、個(gè)人信息保護(hù)認(rèn)證以及簽訂個(gè)人信息出境標(biāo)準(zhǔn)合同三種路徑,并通過(guò)《數(shù)據(jù)出境安全評(píng)估辦法》《個(gè)人信息出境標(biāo)準(zhǔn)合同辦法》《網(wǎng)絡(luò)安全標(biāo)準(zhǔn)實(shí)踐指南 個(gè)人信息跨境處理活動(dòng)安全認(rèn)證規(guī)范V2.0》等對(duì)個(gè)人數(shù)據(jù)出境規(guī)制的具體內(nèi)容予以細(xì)化。在此背景下,大模型在全球范圍內(nèi)收集和使用用戶(hù)的個(gè)人數(shù)據(jù)將面臨極大的合規(guī)風(fēng)險(xiǎn)。例如,若國(guó)內(nèi)的ChatGPT用戶(hù)出于數(shù)據(jù)分析或信息統(tǒng)計(jì)等目的,將其收集的一定規(guī)模的個(gè)人數(shù)據(jù)傳輸至OpenAI的境外數(shù)據(jù)處理中心,就很可能構(gòu)成事實(shí)上的數(shù)據(jù)出境行為,如果未經(jīng)審批許可將導(dǎo)致極大的合規(guī)隱患[16]。

    2.3 大模型的動(dòng)態(tài)數(shù)據(jù)安全風(fēng)險(xiǎn)

    大模型的應(yīng)用是一個(gè)動(dòng)態(tài)的過(guò)程,大致可以分為數(shù)據(jù)采集階段、模型訓(xùn)練階段以及應(yīng)用階段。由于不同階段涉及的數(shù)據(jù)處理行為不同,相應(yīng)的數(shù)據(jù)安全風(fēng)險(xiǎn)也存在差異,需要分別展開(kāi)分析。

    其一,訓(xùn)練數(shù)據(jù)的采集階段。大模型的搭建依托于海量的訓(xùn)練數(shù)據(jù),由于訓(xùn)練數(shù)據(jù)的來(lái)源屬性具有多元性,所可能引發(fā)的數(shù)據(jù)安全風(fēng)險(xiǎn)也將是多重而非單一的。以個(gè)人數(shù)據(jù)為例,根據(jù)我國(guó)《個(gè)人信息保護(hù)法》的有關(guān)規(guī)定,采集個(gè)人信息主體的個(gè)人數(shù)據(jù)需要得到信息主體的同意,并遵循目的最小化原則,若采集的數(shù)據(jù)屬于個(gè)人敏感信息則更需要得到個(gè)人單獨(dú)或書(shū)面同意。但由于具體的數(shù)據(jù)訓(xùn)練環(huán)節(jié),大模型的訓(xùn)練數(shù)據(jù)一般都以“太字節(jié)”(Terabyte)為計(jì)量單位,難以保障模型開(kāi)發(fā)者對(duì)每個(gè)主體都完全符合知情同意的具體要求。

    其二,在模型的訓(xùn)練與調(diào)整階段,開(kāi)發(fā)者利用獎(jiǎng)勵(lì)機(jī)制和強(qiáng)化學(xué)習(xí)技術(shù)對(duì)模型進(jìn)行不斷訓(xùn)練和調(diào)整,不斷提升內(nèi)容生成模型的回答質(zhì)量[17]。在該階段,如何保障模型內(nèi)存儲(chǔ)數(shù)據(jù)免遭黑客攻擊或內(nèi)部工作人員非法披露導(dǎo)致數(shù)據(jù)泄露風(fēng)險(xiǎn)是一個(gè)值得思考的問(wèn)題。對(duì)此,盡管各大科技公司都聲明將采取加密等措施來(lái)保障數(shù)據(jù)安全,但根據(jù)外國(guó)媒體的報(bào)道,在模型構(gòu)建階段的數(shù)據(jù)安全泄露問(wèn)題可能已經(jīng)發(fā)生[18]。

    其三,在模型的應(yīng)用階段,用戶(hù)通過(guò)prompt指令向大模型“發(fā)出命令”,大模型隨后便會(huì)在數(shù)據(jù)庫(kù)中進(jìn)行檢索,而后通過(guò)對(duì)用戶(hù)指令內(nèi)涵的分析,將搜索結(jié)果由數(shù)字序列形式逆向翻譯為自然語(yǔ)言形式,并為用戶(hù)輸出相應(yīng)的結(jié)果。然而,容易被忽視的問(wèn)題是,用戶(hù)通過(guò)prompt指令輸入的內(nèi)容可能也屬于用戶(hù)的個(gè)人信息,仍需要按照《個(gè)人信息保護(hù)法》的有關(guān)規(guī)定采取相應(yīng)措施進(jìn)行保護(hù)。值得注意的是,我國(guó)的人工智能立法也意識(shí)到了這點(diǎn),在2023年7月10日正式頒布的《生成式人工智能服務(wù)管理暫行辦法》中明確規(guī)定了生成式人工智能服務(wù)提供者對(duì)使用者的輸入信息和使用記錄履行保護(hù)義務(wù),且應(yīng)當(dāng)依法及時(shí)受理和處理個(gè)人關(guān)于查閱、復(fù)制、更正、補(bǔ)充、刪除其個(gè)人信息等的請(qǐng)求。

    3 大模型數(shù)據(jù)安全風(fēng)險(xiǎn)治理的既有路徑及不足

    隨著人工智能應(yīng)用全球化進(jìn)程的不斷加快,世界各國(guó)的人工智能立法也被提上日程。根據(jù)斯坦福大學(xué)發(fā)布的《2023年度人工智能指數(shù)報(bào)告》,2016至2022年間,全球已有31個(gè)國(guó)家頒布了共123項(xiàng)與AI相關(guān)的法案。以下以歐盟、美國(guó)的治理模式為例,總結(jié)其經(jīng)驗(yàn)與不足,并對(duì)我國(guó)既有的治理策略進(jìn)行評(píng)析。

    3.1 歐盟模式:基于風(fēng)險(xiǎn)分類(lèi)分級(jí)的剛性治理

    總體來(lái)看,或許是受到強(qiáng)調(diào)人權(quán)保護(hù)的法律傳統(tǒng)以及一體化的政治體制的影響,歐盟的大模型治理采用了較高強(qiáng)度的監(jiān)管力度[19],自2016年起就不斷探索推進(jìn)對(duì)人工智能技術(shù)應(yīng)用的風(fēng)險(xiǎn)監(jiān)管體系建構(gòu)。2021年4月,《人工智能法案(提案)》(以下簡(jiǎn)稱(chēng)“AIA”)正式發(fā)布,并在2023年通過(guò)談判形成了最新版本。

    從2023年最新修改的AIA來(lái)看,歐盟已形成了基于風(fēng)險(xiǎn)的大模型分類(lèi)分級(jí)治理路徑。具體而言,AIA以具體應(yīng)用場(chǎng)景中引發(fā)風(fēng)險(xiǎn)程度的高低為基準(zhǔn)將人工智能系統(tǒng)劃分為四類(lèi),即不可接受的風(fēng)險(xiǎn)(unacceptable risk)、高風(fēng)險(xiǎn)(high risk)、有限風(fēng)險(xiǎn)(limited risk)和較低或者最低限度的風(fēng)險(xiǎn)(low and minimal risk),法律應(yīng)對(duì)策略分別對(duì)應(yīng)禁止(prohibition)、事前合格性評(píng)定和認(rèn)證標(biāo)志(exante conformity assessment and CE marking)、信息披露(transparency)和無(wú)義務(wù)(no obligations)。其中,大模型作為泛用性極高的人工智能系統(tǒng),因其在教育、金融、法律等領(lǐng)域廣闊的應(yīng)用場(chǎng)景,屬于AIA附錄3所列舉的特定領(lǐng)域AI系統(tǒng),將很可能被定性為高風(fēng)險(xiǎn)人工智能系統(tǒng),并被要求履行建立全生命周期內(nèi)持續(xù)反復(fù)運(yùn)行的風(fēng)險(xiǎn)和質(zhì)量管理機(jī)制、對(duì)訓(xùn)練數(shù)據(jù)中的個(gè)人數(shù)據(jù)采取假名化措施等數(shù)據(jù)安全保障義務(wù)。歐盟的大模型監(jiān)管路徑對(duì)大模型的研發(fā)者、提供者提出了較高的義務(wù),有利于保障數(shù)據(jù)安全。

    然而,歐盟的風(fēng)險(xiǎn)分類(lèi)分級(jí)監(jiān)管思路以人工智能的應(yīng)用場(chǎng)景為標(biāo)準(zhǔn),可能導(dǎo)致大模型被一律定性為高風(fēng)險(xiǎn)人工智能,難以實(shí)現(xiàn)大模型的精細(xì)化治理,可能阻礙大模型技術(shù)的創(chuàng)新性發(fā)展。另外,以統(tǒng)一性立法開(kāi)展的大模型治理相較于分散性立法缺乏了一定的靈活性,面對(duì)瞬息萬(wàn)變的大模型技術(shù)發(fā)展難以實(shí)現(xiàn)“敏捷性治理”。

    3.2 美國(guó)模式:“鼓勵(lì)創(chuàng)新+低強(qiáng)度”的柔性監(jiān)管

    在聯(lián)邦層面,美國(guó)尚未形成統(tǒng)一的大模型立法,而以一些不具有強(qiáng)制適用性的政策文件為主。而在州層面,針對(duì)大模型的數(shù)據(jù)隱私保護(hù),美國(guó)各州的立法采取了較為寬松的監(jiān)管策略,為大模型企業(yè)的發(fā)展留下了更多容錯(cuò)空間。一方面,在知情同意模式的選擇上,區(qū)別于歐盟GDPR的“選擇加入”(opt-in)原則,美國(guó)采用了“選擇退出”(opt-out)模式[20],大模型企業(yè)在模型訓(xùn)練數(shù)據(jù)的收集過(guò)程中滿(mǎn)足一定條件則無(wú)需事先征得數(shù)據(jù)主體同意;另一方面,美國(guó)各州立法提出了企業(yè)更正期、中小企業(yè)豁免權(quán)等創(chuàng)新容錯(cuò)措施。其中,企業(yè)更正期是指面臨行政處罰和行政訴訟的企業(yè)若一定的更正期內(nèi)(《加州消費(fèi)者隱私法案》(CCPA)規(guī)定更正期原則上為30天)進(jìn)行合規(guī)性整改,便可以免除相應(yīng)的處罰。中小企業(yè)豁免權(quán)則是指通過(guò)在法案中設(shè)置以企業(yè)營(yíng)業(yè)額或處理數(shù)據(jù)量為標(biāo)準(zhǔn)的適用門(mén)檻,將部分中小企業(yè)排除在法案的適用范圍之外。例如,弗吉尼亞州的《消費(fèi)者數(shù)據(jù)保護(hù)法》(CDPA)規(guī)定該法僅適用于一年內(nèi)控制或處理超過(guò)10 萬(wàn)名弗吉尼亞州州消費(fèi)者數(shù)據(jù)的企業(yè)。類(lèi)似地,被視為聯(lián)邦隱私立法潛在模型的CCPA僅適用于在加州開(kāi)展業(yè)務(wù)并滿(mǎn)足以下條件之一企業(yè):(1)營(yíng)業(yè)年收入超過(guò)2 500萬(wàn)美元且年收入的50%以上系源自于銷(xiāo)售加州消費(fèi)者的個(gè)人信息;(2)基于商業(yè)目的處理的加州消費(fèi)者信息每年超過(guò)50 000個(gè)。

    可見(jiàn),美國(guó)對(duì)大模型的監(jiān)管策略更多是基于商業(yè)邏輯而非人權(quán)保護(hù)的邏輯[21],“監(jiān)管”被視為一種反對(duì)自由市場(chǎng)的負(fù)擔(dān)[22]。循此理念,美國(guó)不把強(qiáng)制監(jiān)管放在首位,而是最大程度發(fā)揮企業(yè)自治和市場(chǎng)的自我條件,意圖激發(fā)大模型研發(fā)的創(chuàng)新動(dòng)力[23]。但這一監(jiān)管策略忽視了對(duì)大模型應(yīng)用中各類(lèi)數(shù)據(jù)安全的保障,或難以防范大模型廣泛應(yīng)用對(duì)個(gè)人、企業(yè)甚至國(guó)家數(shù)據(jù)安全利益帶來(lái)的潛在威脅。

    3.3 我國(guó)大模型數(shù)據(jù)安全風(fēng)險(xiǎn)治理的現(xiàn)狀與不足

    我國(guó)一貫重視技術(shù)發(fā)展的風(fēng)險(xiǎn)治理,遵循發(fā)展與安全并重、創(chuàng)新與倫理并行的治理思路[24],通過(guò)引導(dǎo)“科技向善”來(lái)促進(jìn)高科技產(chǎn)業(yè)的健康發(fā)展。在國(guó)家層面,2017年,我國(guó)發(fā)布《新一代人工智能發(fā)展規(guī)劃》,為我國(guó)的人工智能健康發(fā)展提供綱領(lǐng)性指引;2021年9月、11月,《數(shù)據(jù)安全法》和《個(gè)人信息保護(hù)法》先后施行,為規(guī)范人工智能應(yīng)用中的數(shù)據(jù)安全和隱私保障提供了合規(guī)指引;2022年以來(lái),為因應(yīng)大模型廣泛應(yīng)用帶來(lái)的技術(shù)風(fēng)險(xiǎn),我國(guó)先后頒布了《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》(以下簡(jiǎn)稱(chēng)《辦法》)等一系列監(jiān)管規(guī)范,提出了算法備案、數(shù)據(jù)安全審核以及訓(xùn)練數(shù)據(jù)治理等制度要求,初步構(gòu)建起我國(guó)大模型治理的監(jiān)管體系。在地方層面,深圳、上海等地出臺(tái)有關(guān)人工智能產(chǎn)業(yè)的促進(jìn)條例,積極探索人工智能風(fēng)險(xiǎn)的分類(lèi)分級(jí)監(jiān)管體系。例如,《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》第65條就將人工智能產(chǎn)品和服務(wù)分為高風(fēng)險(xiǎn)以及中低風(fēng)險(xiǎn)兩級(jí),分別適用“清單式管理”和“事前披露+事后控制”兩種不同的監(jiān)管方式。

    然而,就大模型的數(shù)據(jù)安全風(fēng)險(xiǎn)治理而言,我國(guó)既有的監(jiān)管方案還存在一些不足,體現(xiàn)為以下幾點(diǎn):

    其一,分類(lèi)分級(jí)監(jiān)管的標(biāo)準(zhǔn)不夠清晰,難以落地。根據(jù)監(jiān)管對(duì)象的不同特征實(shí)施分類(lèi)分級(jí)監(jiān)管是我國(guó)實(shí)現(xiàn)治理精細(xì)化與科學(xué)化的一貫思路。然而,在大模型治理領(lǐng)域,《辦法》第3條僅在原則層面提出要開(kāi)展分類(lèi)分級(jí)監(jiān)管,卻未明確究竟以何標(biāo)準(zhǔn)作為分類(lèi)依據(jù)、具體分為幾種類(lèi)型以及對(duì)應(yīng)的差異化規(guī)制方式。上海市頒布的人工智能產(chǎn)業(yè)條例中雖探索性提出將人工智能分為高風(fēng)險(xiǎn)和中低風(fēng)險(xiǎn)兩級(jí),但也未詳細(xì)說(shuō)明分類(lèi)的依據(jù),且囿于其效力位階較低和適用范圍有限而難以實(shí)現(xiàn)大模型敏捷治理[25]的目標(biāo)。

    其二,我國(guó)既有監(jiān)管規(guī)范未明確提出大模型研發(fā)者的概念,可能導(dǎo)致大模型數(shù)據(jù)安全風(fēng)險(xiǎn)的責(zé)任分配不清。在“小模型”時(shí)代,模型采用高度定制化的“手工作坊式”生產(chǎn)方式,研發(fā)、部署和運(yùn)行的主體可清晰界分[26]。然而,大模型采用“無(wú)需定制”“協(xié)同部署”“輕量通用”等方式實(shí)現(xiàn)快速普及,使得作為大模型服務(wù)提供者的平臺(tái)企業(yè)難以形成對(duì)模型定義、設(shè)計(jì)和部署的終局影響力,對(duì)模型數(shù)據(jù)安全具有影響力的研發(fā)者卻可能并未與應(yīng)用層用戶(hù)產(chǎn)生直接交互??梢?jiàn),在大模型治理中,界分模型研發(fā)者和服務(wù)提供者并課以不同的數(shù)據(jù)安全保障義務(wù)是數(shù)據(jù)安全風(fēng)險(xiǎn)化解的應(yīng)有之義。然而,我國(guó)頒布的《辦法》第22條僅規(guī)定了生成式人工智能服務(wù)提供者和使用者的概念,未單獨(dú)規(guī)定作為大模型技術(shù)支持方的研發(fā)者,易導(dǎo)致兩者在模型數(shù)據(jù)安全保障義務(wù)的責(zé)任邊界模糊,不利于監(jiān)管部門(mén)對(duì)兩者開(kāi)展監(jiān)督與追責(zé)。

    其三,如前文所言,數(shù)據(jù)安全是一個(gè)動(dòng)態(tài)而非靜態(tài)的概念,對(duì)大模型數(shù)據(jù)安全的風(fēng)險(xiǎn)治理也應(yīng)相應(yīng)地針對(duì)數(shù)據(jù)采集、模型訓(xùn)練以及應(yīng)用服務(wù)三個(gè)階段展開(kāi)。但我國(guó)目前既有的管理規(guī)范多以大模型的應(yīng)用服務(wù)為視角,強(qiáng)調(diào)模型應(yīng)用過(guò)程中的數(shù)據(jù)安全以及個(gè)人信息保護(hù),尚未建立起大模型運(yùn)行全過(guò)程的數(shù)據(jù)安全風(fēng)險(xiǎn)防范體系。

    4 我國(guó)大模型數(shù)據(jù)安全風(fēng)險(xiǎn)化解的法律因應(yīng)路徑

    20世紀(jì)中葉,波蘭尼提出的“雙重運(yùn)動(dòng)理論”揭示了政府規(guī)制在市場(chǎng)發(fā)展與技術(shù)創(chuàng)新中的作用[27]。面對(duì)大模型帶來(lái)的風(fēng)險(xiǎn),應(yīng)當(dāng)確立的一個(gè)認(rèn)知是,大模型并非一種簡(jiǎn)單的技術(shù)工具,更是一種對(duì)社會(huì)建構(gòu)產(chǎn)生強(qiáng)烈沖擊的新型社會(huì)權(quán)力?;诖?,大模型的數(shù)據(jù)安全風(fēng)險(xiǎn)規(guī)制應(yīng)摒棄純粹的技術(shù)工具主義視角,而應(yīng)針對(duì)我國(guó)既有的大模型監(jiān)管路徑的缺陷,結(jié)合國(guó)外大模型數(shù)據(jù)安全風(fēng)險(xiǎn)防范的有益經(jīng)驗(yàn),從建立分類(lèi)監(jiān)管方案、完善責(zé)任機(jī)制以及探索創(chuàng)新監(jiān)管工具三個(gè)方面完善我國(guó)的大模型數(shù)據(jù)安全風(fēng)險(xiǎn)監(jiān)管模式(如圖2所示)。

    圖2 大模型數(shù)據(jù)安全的監(jiān)管框架

    其一,建立以數(shù)據(jù)安全風(fēng)險(xiǎn)為基準(zhǔn)的分級(jí)監(jiān)管路徑?!鞍踩弊鳛橐粋€(gè)外延相對(duì)模糊的法律概念,通過(guò)類(lèi)型化分析來(lái)精準(zhǔn)度量其內(nèi)涵成為一種理性且可欲的選擇[28]。如前文所言,我國(guó)目前并未明確人工智能分級(jí)監(jiān)管的具體標(biāo)準(zhǔn),而歐盟則采用了基于人工智能應(yīng)用場(chǎng)景的風(fēng)險(xiǎn)分級(jí)監(jiān)管方式。然而,此種監(jiān)管方式并不是特別適合應(yīng)用于大模型領(lǐng)域,這主要是因?yàn)榇竽P图夹g(shù)具有泛用性,應(yīng)用場(chǎng)景十分多元,若按照歐盟的分類(lèi)標(biāo)準(zhǔn),則幾乎所有的大模型都將被歸入高風(fēng)險(xiǎn)人工智能,難以實(shí)現(xiàn)對(duì)數(shù)據(jù)安全風(fēng)險(xiǎn)的精細(xì)化治理。鑒于數(shù)據(jù)將直接影響人工智能算法模型的訓(xùn)練效果和泛化能力[29],或可將大模型內(nèi)含的數(shù)據(jù)安全風(fēng)險(xiǎn)程度納入人工智能分級(jí)監(jiān)管的評(píng)價(jià)標(biāo)準(zhǔn),建立起以數(shù)據(jù)安全風(fēng)險(xiǎn)為基準(zhǔn)的分級(jí)監(jiān)管路徑。具體而言,影響大模型數(shù)據(jù)安全風(fēng)險(xiǎn)程度的兩個(gè)主要因素是大模型所采集和使用數(shù)據(jù)的敏感度以及訓(xùn)練數(shù)據(jù)集的規(guī)模。其中,數(shù)據(jù)的敏感度是指數(shù)據(jù)遭到攻擊、篡改、破壞或非法獲取和利用等安全事故后對(duì)個(gè)人、社會(huì)和國(guó)家?guī)?lái)的危害程度[30]?!秱€(gè)人信息保護(hù)法》根據(jù)個(gè)人信息的敏感程度將個(gè)人信息分為一般個(gè)人信息和敏感個(gè)人信息,《數(shù)據(jù)安全法》則將數(shù)據(jù)類(lèi)型化為一般數(shù)據(jù)和重要數(shù)據(jù)。結(jié)合《個(gè)人信息保護(hù)法》和《數(shù)據(jù)安全法》的有關(guān)規(guī)定,可借鑒《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》第65條的規(guī)定,將大模型分為高風(fēng)險(xiǎn)和中低風(fēng)險(xiǎn)兩類(lèi),前者涉及大規(guī)模的敏感個(gè)人信息和重要數(shù)據(jù)的處理行為,后者則僅在小范圍內(nèi)采集并處理一般個(gè)人信息和一般數(shù)據(jù)。對(duì)于高風(fēng)險(xiǎn)的大模型,國(guó)家采用負(fù)面清單制管理,開(kāi)展負(fù)面清單內(nèi)產(chǎn)品、服務(wù)的研發(fā)以及提供活動(dòng)前,應(yīng)當(dāng)取得國(guó)家有關(guān)主管部門(mén)的行政許可;對(duì)于中低風(fēng)險(xiǎn)的大模型,則采用事前披露和事后跟蹤的監(jiān)管模式,促進(jìn)先行先試。

    其二,完善大模型運(yùn)行全過(guò)程的數(shù)據(jù)安全責(zé)任機(jī)制。責(zé)任機(jī)制是法律開(kāi)展制度設(shè)計(jì)所關(guān)注的核心內(nèi)容。如前文所述,我國(guó)現(xiàn)階段的大模型監(jiān)管文件僅提及模型服務(wù)提供者以及使用者的安全責(zé)任,卻忽視了大模型的技術(shù)研發(fā)者在數(shù)據(jù)安全保障中的作用。鑒于此,結(jié)合數(shù)據(jù)要素的動(dòng)態(tài)特征,建議在現(xiàn)有的監(jiān)管體制基礎(chǔ)上對(duì)模型的服務(wù)提供者和技術(shù)研發(fā)者作區(qū)分處理,完善基于大模型運(yùn)行全過(guò)程的數(shù)據(jù)安全責(zé)任機(jī)制。首先,在模型的數(shù)據(jù)采集階段,模型的研發(fā)者應(yīng)確保模型數(shù)據(jù)來(lái)源的合法性,涉及個(gè)人數(shù)據(jù)的應(yīng)確保符合《個(gè)人信息保護(hù)法》的有關(guān)規(guī)定,涉及公共數(shù)據(jù)的則需要依據(jù)與政府簽訂的授權(quán)協(xié)議履行相關(guān)的數(shù)據(jù)安全保障義務(wù),若數(shù)據(jù)系利用爬蟲(chóng)技術(shù)從公開(kāi)互聯(lián)網(wǎng)中獲取則需要確保符合robots協(xié)議的要求;其次,模型訓(xùn)練與調(diào)整階段,模型的研發(fā)者應(yīng)采用必要的技術(shù)和組織措施保障數(shù)據(jù)安全,并在投放市場(chǎng)前進(jìn)行數(shù)據(jù)安全測(cè)試;最后,在模型的應(yīng)用服務(wù)階段,模型服務(wù)的提供者應(yīng)自行或委托第三方對(duì)模型數(shù)據(jù)來(lái)源的合規(guī)性開(kāi)展形式審查[31],對(duì)于用戶(hù)輸入的數(shù)據(jù)則應(yīng)當(dāng)采取必要的保密和安全保障措施,若用戶(hù)輸入數(shù)據(jù)涉及個(gè)人信息的,則需要參照《個(gè)人信息保護(hù)法》的有關(guān)規(guī)定保障用戶(hù)的撤回同意、查閱、復(fù)制、更正、刪除等信息權(quán)益。

    其三,探索以監(jiān)管沙盒為代表的包容審慎監(jiān)管措施?!鞍輰徤鳌痹钦疄榱藨?yīng)對(duì)互聯(lián)網(wǎng)新業(yè)態(tài)的監(jiān)管困境所提出的一項(xiàng)創(chuàng)新性監(jiān)管原則,這種監(jiān)管原則一方面鼓勵(lì)、寬容、保護(hù)創(chuàng)新,為新業(yè)態(tài)、新產(chǎn)業(yè)留足發(fā)展空間,不得“簡(jiǎn)單封殺”;另一方面則強(qiáng)調(diào)要對(duì)新事物發(fā)展過(guò)程中所帶來(lái)的潛在風(fēng)險(xiǎn)進(jìn)行積極預(yù)防和控制,不得放任不管[32]。大模型是人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展的產(chǎn)物,對(duì)于新興事物,既要包容其失誤,同時(shí)更要防范其風(fēng)險(xiǎn),慎重處理好創(chuàng)新發(fā)展與風(fēng)險(xiǎn)控制之間的關(guān)系?;谶@一理念,歐盟AIA法案提出了人工智能監(jiān)管沙盒(AI Regulatory Sandbox)機(jī)制。通過(guò)這套機(jī)制,大模型在沙盒試運(yùn)行階段若遭遇個(gè)人數(shù)據(jù)的處理活動(dòng),只要滿(mǎn)足一定條件便可以突破歐盟GDPR中有關(guān)信息主體授權(quán)的限制,將“為其他目的合法收集的個(gè)人數(shù)據(jù)”用于沙盒中人工智能系統(tǒng)的開(kāi)發(fā)和測(cè)試中,意圖實(shí)現(xiàn)數(shù)據(jù)利用與個(gè)人隱私保護(hù)之間的平衡。借鑒歐盟的做法,建議我國(guó)遵循包容審慎理念,探索大模型領(lǐng)域的“監(jiān)管沙盒”制度。一方面,需要明確監(jiān)管沙盒的“入盒”條件,此處可參考?xì)W盟AIA法案中的有關(guān)規(guī)定,明確監(jiān)管沙盒主要向保障公共安全、公共衛(wèi)生、改善環(huán)境治理等重大公共利益的大模型或中小型企業(yè)研發(fā)的大模型開(kāi)放;另一方面,需要進(jìn)一步探索監(jiān)管沙盒中運(yùn)行機(jī)制、數(shù)據(jù)風(fēng)險(xiǎn)責(zé)任豁免機(jī)制、試運(yùn)行期限、退出條件等內(nèi)容,具體規(guī)則可以由國(guó)家網(wǎng)信辦牽頭,會(huì)同工信部、市場(chǎng)監(jiān)管總局等相關(guān)部委制定[33]。

    5 結(jié)束語(yǔ)

    技術(shù)發(fā)展和法律規(guī)制之間的互動(dòng)貫穿于時(shí)代發(fā)展的每一進(jìn)程。大模型應(yīng)用的智能時(shí)代已至,我們?nèi)孕柚?jǐn)記霍金所言:“人工智能的發(fā)展可能意味著人類(lèi)的終結(jié)……它可以自主決定采取措施并以不斷增長(zhǎng)的速度重新設(shè)計(jì)自身?!睘榉乐勾竽P彤惢癁槿祟?lèi)無(wú)法控制的“技術(shù)利維坦”[34],需要在對(duì)大模型應(yīng)用的數(shù)據(jù)安全風(fēng)險(xiǎn)進(jìn)行全面分析的基礎(chǔ)上建立起“全過(guò)程”“多主體”的數(shù)據(jù)安全責(zé)任制度,并在創(chuàng)新發(fā)展與風(fēng)險(xiǎn)化解之間探尋出一個(gè)合適的平衡點(diǎn),為大模型應(yīng)用的可信未來(lái)提供堅(jiān)實(shí)的法治保障。

    猜你喜歡
    數(shù)據(jù)安全個(gè)人信息人工智能
    如何保護(hù)勞動(dòng)者的個(gè)人信息?
    個(gè)人信息保護(hù)進(jìn)入“法時(shí)代”
    警惕個(gè)人信息泄露
    云計(jì)算中基于用戶(hù)隱私的數(shù)據(jù)安全保護(hù)方法
    電子制作(2019年14期)2019-08-20 05:43:42
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    建立激勵(lì)相容機(jī)制保護(hù)數(shù)據(jù)安全
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    大數(shù)據(jù)云計(jì)算環(huán)境下的數(shù)據(jù)安全
    電子制作(2017年20期)2017-04-26 06:57:48
    下一幕,人工智能!
    国产精品99久久久久久久久| 极品人妻少妇av视频| 男女国产视频网站| 欧美xxxx性猛交bbbb| 丝瓜视频免费看黄片| 人妻一区二区av| 午夜福利网站1000一区二区三区| 2018国产大陆天天弄谢| 国产精品99久久99久久久不卡 | 欧美精品一区二区免费开放| 国产精品一区二区在线不卡| 人妻系列 视频| 久热这里只有精品99| 人体艺术视频欧美日本| 国产国语露脸激情在线看| 青青草视频在线视频观看| 欧美精品亚洲一区二区| 亚洲第一av免费看| 亚洲欧美精品自产自拍| 日韩av免费高清视频| 欧美 亚洲 国产 日韩一| 十八禁高潮呻吟视频| 日韩在线高清观看一区二区三区| 99国产综合亚洲精品| 国产免费一级a男人的天堂| 欧美精品一区二区免费开放| 国产欧美另类精品又又久久亚洲欧美| 国产精品女同一区二区软件| 成人无遮挡网站| av女优亚洲男人天堂| 99热全是精品| 欧美3d第一页| 欧美少妇被猛烈插入视频| 在线观看国产h片| 久久午夜综合久久蜜桃| 中国国产av一级| av国产精品久久久久影院| 国模一区二区三区四区视频| 日韩欧美精品免费久久| 91在线精品国自产拍蜜月| 国产高清有码在线观看视频| 国产成人aa在线观看| 在线观看一区二区三区激情| 两个人的视频大全免费| 一级毛片电影观看| 在线观看www视频免费| 97超碰精品成人国产| a级毛片在线看网站| 一边亲一边摸免费视频| 国产日韩欧美视频二区| 国产成人freesex在线| 日本与韩国留学比较| 国产视频首页在线观看| 亚洲av综合色区一区| 伦精品一区二区三区| 亚洲精品,欧美精品| 中文字幕最新亚洲高清| 亚洲人与动物交配视频| 国产探花极品一区二区| 亚洲国产av新网站| 国产老妇伦熟女老妇高清| 国产成人精品一,二区| 欧美三级亚洲精品| 伦理电影免费视频| 91精品国产九色| 久久鲁丝午夜福利片| 国产熟女午夜一区二区三区 | 日韩,欧美,国产一区二区三区| 国产 一区精品| 国产成人av激情在线播放 | 我的老师免费观看完整版| 在线观看三级黄色| 久久久久网色| 国产成人午夜福利电影在线观看| 日本与韩国留学比较| 色视频在线一区二区三区| 亚洲精品中文字幕在线视频| 99视频精品全部免费 在线| 亚洲av.av天堂| 一区二区三区乱码不卡18| 精品人妻一区二区三区麻豆| 满18在线观看网站| 搡老乐熟女国产| 在线免费观看不下载黄p国产| 另类亚洲欧美激情| 大香蕉久久成人网| 精品少妇内射三级| 日韩电影二区| 91aial.com中文字幕在线观看| 国产视频首页在线观看| 午夜精品国产一区二区电影| 夫妻性生交免费视频一级片| 亚洲国产av影院在线观看| 日韩强制内射视频| 久久国产亚洲av麻豆专区| 99热6这里只有精品| 久热久热在线精品观看| 欧美日韩国产mv在线观看视频| 亚洲国产最新在线播放| 简卡轻食公司| 日本黄色片子视频| 国产一区有黄有色的免费视频| 久久久久久久久久久免费av| 亚洲精品久久久久久婷婷小说| 国产极品粉嫩免费观看在线 | 99久久精品国产国产毛片| 亚洲精品第二区| 免费看av在线观看网站| 一级毛片aaaaaa免费看小| 亚洲性久久影院| 性高湖久久久久久久久免费观看| 我的老师免费观看完整版| 男人操女人黄网站| 99热网站在线观看| 丰满迷人的少妇在线观看| 在线观看美女被高潮喷水网站| 亚洲国产最新在线播放| 最近的中文字幕免费完整| 亚洲人成网站在线播| 精品人妻在线不人妻| 大话2 男鬼变身卡| 亚洲欧美一区二区三区黑人 | 色吧在线观看| 在线免费观看不下载黄p国产| 久久av网站| 五月伊人婷婷丁香| 亚洲精品国产av成人精品| 亚洲av成人精品一区久久| 欧美精品人与动牲交sv欧美| 欧美性感艳星| 三上悠亚av全集在线观看| 黑丝袜美女国产一区| xxx大片免费视频| 下体分泌物呈黄色| 尾随美女入室| 亚洲综合色惰| 亚洲精品成人av观看孕妇| 亚洲国产日韩一区二区| 久久人人爽人人爽人人片va| 国产精品久久久久久精品古装| 成年人免费黄色播放视频| 国产成人91sexporn| 热99国产精品久久久久久7| 精品亚洲乱码少妇综合久久| 亚洲av中文av极速乱| 啦啦啦中文免费视频观看日本| 中文字幕亚洲精品专区| 男的添女的下面高潮视频| 美女xxoo啪啪120秒动态图| 精品99又大又爽又粗少妇毛片| 99精国产麻豆久久婷婷| 18禁在线播放成人免费| 亚洲精品乱码久久久v下载方式| 狠狠婷婷综合久久久久久88av| 亚洲内射少妇av| 亚洲成人一二三区av| .国产精品久久| 啦啦啦在线观看免费高清www| 久久久久久久亚洲中文字幕| 亚洲精品日韩在线中文字幕| 精品国产国语对白av| 亚洲第一av免费看| 精品国产乱码久久久久久小说| av电影中文网址| 欧美精品高潮呻吟av久久| 免费观看av网站的网址| 亚洲精品第二区| 最近2019中文字幕mv第一页| 免费黄网站久久成人精品| 精品99又大又爽又粗少妇毛片| 18+在线观看网站| 99re6热这里在线精品视频| a级毛片在线看网站| 亚洲av成人精品一二三区| 国产男女内射视频| 丰满少妇做爰视频| 啦啦啦啦在线视频资源| 美女中出高潮动态图| .国产精品久久| 大香蕉久久成人网| 国产精品一区二区在线不卡| 曰老女人黄片| 妹子高潮喷水视频| 精品99又大又爽又粗少妇毛片| 久久毛片免费看一区二区三区| 性高湖久久久久久久久免费观看| 国产国语露脸激情在线看| 亚洲婷婷狠狠爱综合网| 久久av网站| 最近最新中文字幕免费大全7| 国产精品国产三级国产专区5o| 免费av不卡在线播放| 免费久久久久久久精品成人欧美视频 | 26uuu在线亚洲综合色| 亚洲av免费高清在线观看| 欧美老熟妇乱子伦牲交| 日本与韩国留学比较| 最近中文字幕高清免费大全6| 99热这里只有精品一区| 成年人免费黄色播放视频| 一区二区三区精品91| 欧美另类一区| 亚洲人与动物交配视频| 国产爽快片一区二区三区| h视频一区二区三区| 精品熟女少妇av免费看| 搡女人真爽免费视频火全软件| 91久久精品国产一区二区成人| 国产在线一区二区三区精| 精品人妻熟女毛片av久久网站| 欧美人与性动交α欧美精品济南到 | 天堂中文最新版在线下载| 国产综合精华液| 午夜影院在线不卡| 久久精品国产自在天天线| a级毛片黄视频| 黄色配什么色好看| 亚洲精品国产色婷婷电影| 亚洲人成网站在线播| a级毛片在线看网站| 精品卡一卡二卡四卡免费| 人妻 亚洲 视频| 国产伦精品一区二区三区视频9| 狂野欧美白嫩少妇大欣赏| 看十八女毛片水多多多| 国产精品女同一区二区软件| av专区在线播放| 欧美bdsm另类| 久久精品久久久久久久性| 狠狠婷婷综合久久久久久88av| 天美传媒精品一区二区| 免费看不卡的av| 国产成人91sexporn| 久久久精品区二区三区| 午夜福利在线观看免费完整高清在| 人人澡人人妻人| 国产免费又黄又爽又色| www.色视频.com| 久久人人爽人人片av| 色5月婷婷丁香| 最黄视频免费看| 国产黄片视频在线免费观看| 丝袜在线中文字幕| 九草在线视频观看| 九九久久精品国产亚洲av麻豆| 成年人午夜在线观看视频| 尾随美女入室| 国产精品秋霞免费鲁丝片| 亚洲av免费高清在线观看| 精品一区二区三卡| 亚洲欧美一区二区三区黑人 | 久久精品人人爽人人爽视色| 精品国产一区二区久久| 青春草国产在线视频| 国产成人精品久久久久久| 亚洲色图综合在线观看| 日韩成人伦理影院| 精品一区在线观看国产| 久久这里有精品视频免费| 亚洲国产av影院在线观看| 性色av一级| 在线看a的网站| 国精品久久久久久国模美| 另类亚洲欧美激情| 亚洲欧洲日产国产| 天天影视国产精品| 七月丁香在线播放| 亚洲不卡免费看| 久久99蜜桃精品久久| 亚洲国产精品成人久久小说| 欧美三级亚洲精品| 国产成人a∨麻豆精品| 国产午夜精品一二区理论片| 黑人高潮一二区| 中文字幕亚洲精品专区| 亚洲天堂av无毛| 最近的中文字幕免费完整| av.在线天堂| 久久韩国三级中文字幕| 在线精品无人区一区二区三| 中文字幕最新亚洲高清| 热99久久久久精品小说推荐| 九色成人免费人妻av| 国产日韩欧美亚洲二区| 草草在线视频免费看| 亚洲av综合色区一区| 久久久亚洲精品成人影院| 一本大道久久a久久精品| 国产精品.久久久| 国产日韩一区二区三区精品不卡 | 亚洲国产av新网站| 内地一区二区视频在线| 日本午夜av视频| 少妇人妻精品综合一区二区| av网站免费在线观看视频| 夜夜骑夜夜射夜夜干| 国产欧美亚洲国产| 一区二区三区四区激情视频| 亚洲精华国产精华液的使用体验| 国产精品欧美亚洲77777| 免费黄频网站在线观看国产| 极品人妻少妇av视频| 婷婷色综合www| 熟女av电影| 免费av中文字幕在线| 日本91视频免费播放| 亚洲欧洲国产日韩| 中文字幕免费在线视频6| 亚洲美女黄色视频免费看| 黄色视频在线播放观看不卡| 人成视频在线观看免费观看| 中文乱码字字幕精品一区二区三区| 夫妻性生交免费视频一级片| 王馨瑶露胸无遮挡在线观看| 国产白丝娇喘喷水9色精品| 人人妻人人添人人爽欧美一区卜| 亚洲,欧美,日韩| 激情五月婷婷亚洲| 亚洲精品久久成人aⅴ小说 | 日本91视频免费播放| 精品国产一区二区久久| 亚洲av在线观看美女高潮| 美女主播在线视频| 午夜精品国产一区二区电影| 最新中文字幕久久久久| 欧美成人精品欧美一级黄| 日产精品乱码卡一卡2卡三| 熟女人妻精品中文字幕| 91久久精品电影网| 国产精品一区www在线观看| 亚洲国产精品一区二区三区在线| 男人爽女人下面视频在线观看| 人体艺术视频欧美日本| 婷婷色综合www| 精品国产一区二区三区久久久樱花| 国产成人免费无遮挡视频| 国产在线视频一区二区| 啦啦啦视频在线资源免费观看| 久久精品国产亚洲av涩爱| av天堂久久9| 日韩一区二区视频免费看| 精品午夜福利在线看| av在线app专区| 极品人妻少妇av视频| 高清毛片免费看| 国产欧美日韩综合在线一区二区| 黑人巨大精品欧美一区二区蜜桃 | 亚洲成人手机| 大陆偷拍与自拍| 亚洲婷婷狠狠爱综合网| 99视频精品全部免费 在线| 99九九在线精品视频| 欧美最新免费一区二区三区| 国语对白做爰xxxⅹ性视频网站| 精品酒店卫生间| 久久97久久精品| 看免费成人av毛片| 黄色毛片三级朝国网站| 女性生殖器流出的白浆| 亚洲国产最新在线播放| 熟女电影av网| 在线 av 中文字幕| 久久久亚洲精品成人影院| 狂野欧美激情性bbbbbb| freevideosex欧美| 青春草国产在线视频| 一区二区三区精品91| 久久99热6这里只有精品| 免费人妻精品一区二区三区视频| 国产精品久久久久久精品古装| 国产一区二区三区av在线| 麻豆精品久久久久久蜜桃| 这个男人来自地球电影免费观看 | 99热网站在线观看| 国产日韩欧美在线精品| 国产亚洲午夜精品一区二区久久| 97超碰精品成人国产| 制服人妻中文乱码| 亚洲在久久综合| 综合色丁香网| 日韩熟女老妇一区二区性免费视频| 91精品国产国语对白视频| 国产白丝娇喘喷水9色精品| 亚洲成人手机| 免费观看av网站的网址| a 毛片基地| 亚洲av日韩在线播放| 免费日韩欧美在线观看| 久久免费观看电影| 青春草国产在线视频| 日本av免费视频播放| 91精品国产九色| 3wmmmm亚洲av在线观看| 高清在线视频一区二区三区| 成人国语在线视频| 男人添女人高潮全过程视频| a级毛片免费高清观看在线播放| 蜜桃在线观看..| 国产精品一区二区在线不卡| 欧美日本中文国产一区发布| 亚洲高清免费不卡视频| 国产成人精品久久久久久| 亚洲国产色片| 免费高清在线观看视频在线观看| 国产精品久久久久久久久免| 亚洲av成人精品一二三区| 中文字幕制服av| 亚洲怡红院男人天堂| av黄色大香蕉| 亚洲av福利一区| 国产淫语在线视频| 精品一区在线观看国产| 不卡视频在线观看欧美| av卡一久久| 国产有黄有色有爽视频| 黄色视频在线播放观看不卡| av播播在线观看一区| 丝袜在线中文字幕| 少妇人妻久久综合中文| 欧美97在线视频| 男女边吃奶边做爰视频| 欧美人与善性xxx| 高清不卡的av网站| 少妇高潮的动态图| 亚洲婷婷狠狠爱综合网| 国产成人精品久久久久久| 水蜜桃什么品种好| 我的老师免费观看完整版| 少妇人妻精品综合一区二区| 欧美精品人与动牲交sv欧美| 欧美丝袜亚洲另类| 最新中文字幕久久久久| 亚洲av成人精品一区久久| 国产精品三级大全| 高清视频免费观看一区二区| 91久久精品国产一区二区成人| 99视频精品全部免费 在线| 女性被躁到高潮视频| 视频在线观看一区二区三区| 欧美日韩亚洲高清精品| 亚洲欧美精品自产自拍| 亚洲av电影在线观看一区二区三区| 精品少妇黑人巨大在线播放| videossex国产| 肉色欧美久久久久久久蜜桃| 久久久久国产精品人妻一区二区| 日本av免费视频播放| 欧美成人午夜免费资源| 又粗又硬又长又爽又黄的视频| 国产av一区二区精品久久| 黄片播放在线免费| 亚洲经典国产精华液单| 2021少妇久久久久久久久久久| 国产精品一区二区三区四区免费观看| 亚洲欧美日韩卡通动漫| 国产av精品麻豆| 美女cb高潮喷水在线观看| 人成视频在线观看免费观看| 婷婷色av中文字幕| av免费在线看不卡| 另类亚洲欧美激情| 日日爽夜夜爽网站| 熟女电影av网| 国产成人aa在线观看| 国产精品一国产av| 18禁观看日本| 欧美bdsm另类| 欧美日韩亚洲高清精品| 国产一区二区三区av在线| 99热6这里只有精品| 如日韩欧美国产精品一区二区三区 | 免费看不卡的av| 国产av国产精品国产| 人体艺术视频欧美日本| 最近的中文字幕免费完整| 一区在线观看完整版| 中文字幕人妻熟人妻熟丝袜美| 国产亚洲午夜精品一区二区久久| 成年人免费黄色播放视频| 亚洲综合精品二区| 母亲3免费完整高清在线观看 | 国产成人av激情在线播放 | 日日爽夜夜爽网站| 国产免费福利视频在线观看| 欧美丝袜亚洲另类| 桃花免费在线播放| 国产不卡av网站在线观看| 啦啦啦中文免费视频观看日本| 你懂的网址亚洲精品在线观看| 日日撸夜夜添| 午夜免费男女啪啪视频观看| 91精品伊人久久大香线蕉| 亚洲第一区二区三区不卡| 亚洲精品第二区| 免费播放大片免费观看视频在线观看| 大又大粗又爽又黄少妇毛片口| 免费大片18禁| 黑丝袜美女国产一区| 日韩 亚洲 欧美在线| 中文欧美无线码| 亚洲精品一区蜜桃| 免费av中文字幕在线| 国产在线免费精品| 日韩亚洲欧美综合| 国产熟女午夜一区二区三区 | 18禁在线播放成人免费| 最近中文字幕2019免费版| 最近的中文字幕免费完整| 久久精品久久久久久噜噜老黄| 国产色婷婷99| 亚洲精品久久午夜乱码| 大话2 男鬼变身卡| 嘟嘟电影网在线观看| 日韩大片免费观看网站| 97超碰精品成人国产| 丝袜美足系列| 亚洲精品亚洲一区二区| 亚洲图色成人| 伦理电影免费视频| 国产高清不卡午夜福利| 秋霞在线观看毛片| 久久久久久伊人网av| 蜜桃在线观看..| av国产久精品久网站免费入址| 久久久亚洲精品成人影院| 国产爽快片一区二区三区| 免费久久久久久久精品成人欧美视频 | 亚洲三级黄色毛片| xxxhd国产人妻xxx| 午夜免费观看性视频| 免费观看无遮挡的男女| 欧美精品人与动牲交sv欧美| 久久久久久人妻| 日韩av免费高清视频| 九草在线视频观看| 精品人妻熟女av久视频| 一区二区av电影网| 亚洲人成网站在线观看播放| 亚洲婷婷狠狠爱综合网| 国产极品天堂在线| 熟妇人妻不卡中文字幕| 精品一区在线观看国产| 99国产综合亚洲精品| 99热这里只有是精品在线观看| 最近最新中文字幕免费大全7| 亚洲国产精品999| 插阴视频在线观看视频| 蜜臀久久99精品久久宅男| 亚洲国产精品国产精品| 亚洲国产精品一区三区| 亚洲第一区二区三区不卡| 美女视频免费永久观看网站| 777米奇影视久久| 一个人看视频在线观看www免费| 国内精品宾馆在线| 3wmmmm亚洲av在线观看| 久久久精品免费免费高清| 大片免费播放器 马上看| 18在线观看网站| 日本91视频免费播放| 观看美女的网站| 人妻夜夜爽99麻豆av| 国产欧美日韩一区二区三区在线 | av有码第一页| 亚洲欧美日韩另类电影网站| 亚洲av.av天堂| 亚洲,欧美,日韩| 中文乱码字字幕精品一区二区三区| 26uuu在线亚洲综合色| 考比视频在线观看| 最后的刺客免费高清国语| 黄片无遮挡物在线观看| 亚洲三级黄色毛片| 精品少妇内射三级| 久久99精品国语久久久| 少妇精品久久久久久久| 啦啦啦中文免费视频观看日本| 美女大奶头黄色视频| 国产乱人偷精品视频| 黑人欧美特级aaaaaa片| 国产成人精品久久久久久| 狠狠精品人妻久久久久久综合| 丰满乱子伦码专区| 九九在线视频观看精品| 国产精品久久久久久精品古装| 亚洲内射少妇av| 国产高清不卡午夜福利| 超碰97精品在线观看| 日本猛色少妇xxxxx猛交久久| 老司机影院毛片| 亚洲成人一二三区av| 日本猛色少妇xxxxx猛交久久| 久久国产精品大桥未久av| 韩国高清视频一区二区三区| 亚洲综合色网址| 久久精品人人爽人人爽视色| 国产精品一二三区在线看| 五月玫瑰六月丁香| 性高湖久久久久久久久免费观看| a级毛色黄片| 午夜激情久久久久久久| 夫妻性生交免费视频一级片| 国产无遮挡羞羞视频在线观看| 一级a做视频免费观看| 国产av精品麻豆| 欧美成人精品欧美一级黄| 激情五月婷婷亚洲| 成年美女黄网站色视频大全免费 | 大片电影免费在线观看免费| 亚洲人成77777在线视频| 国产精品久久久久久精品古装| 多毛熟女@视频| 免费观看在线日韩| 九九爱精品视频在线观看| 国产综合精华液|