• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    ChatGPT沖擊下敏感個(gè)人信息的應(yīng)對(duì)與保護(hù)

    2023-11-12 17:06:09張煒羿
    關(guān)鍵詞:個(gè)人信息保護(hù)法人工智能

    摘 要:人工智能聊天機(jī)器人ChatGPT橫空出世,瞬間成為全世界關(guān)注的焦點(diǎn),全球用戶量激增的背后,也蘊(yùn)含了人們對(duì)于個(gè)人信息安全的擔(dān)憂,特別是對(duì)敏感個(gè)人信息的保護(hù)問(wèn)題。ChatGPT利用網(wǎng)絡(luò)爬蟲(chóng)采集互聯(lián)網(wǎng)數(shù)據(jù)引發(fā)合法性與合規(guī)性的爭(zhēng)議,算法黑箱的不透明性始終挑戰(zhàn)著數(shù)據(jù)處理透明化的原則,而深究沖突的本質(zhì),是人工智能時(shí)代下數(shù)據(jù)的自由流通、共享與敏感個(gè)人信息保護(hù)之間的矛盾。為此,在規(guī)范網(wǎng)絡(luò)爬蟲(chóng)的使用、提高人工智能算法透明度的同時(shí),也要加強(qiáng)對(duì)人工智能各個(gè)階段的監(jiān)管與問(wèn)責(zé)以提高ChatGPT和類ChatGPT系統(tǒng)保護(hù)敏感個(gè)人信息的安全性和可信性。

    關(guān)鍵詞:ChatGPT;人工智能;敏感個(gè)人信息;《個(gè)人信息保護(hù)法》

    2022年11月,美國(guó)人工智能公司Open AI推出了人工智能聊天機(jī)器人程序ChatGPT。ChatGPT在正式上線的第一周用戶數(shù)量便突破百萬(wàn),兩個(gè)月內(nèi)全球活躍用戶數(shù)量破億,打敗TikTok(抖音海外版)和Instagram(照片墻),成為史上用戶數(shù)增速最快的應(yīng)用程序,被譽(yù)為“繼2016年打敗人類圍棋冠軍的AlphaGo之后,人工智能的又一重要突破”。并迅速引領(lǐng)新一代人工智能發(fā)展的浪潮。2023年初,微軟成功將ChatGPT接入其搜索引擎Bing中,在短短14個(gè)小時(shí)內(nèi)被推上了美國(guó)iOS下載總榜的第23名;幾乎同一時(shí)間,谷歌CEO官宣了其對(duì)標(biāo)ChatGPT的產(chǎn)品——巴德(Bard);Meta首席執(zhí)行官馬克·扎克伯格表示,他的目標(biāo)是讓Meta成為內(nèi)容生成式人工智能的領(lǐng)導(dǎo)者。國(guó)內(nèi)層面,百度、阿里巴巴等科技公司也正在投入大量人力物力研發(fā)類ChatGPT系統(tǒng)。

    ChatGPT不僅代表了AIGC(AI Generated Content,人工智能內(nèi)容生成)技術(shù)的最新成果和當(dāng)前自然語(yǔ)言生成式AI發(fā)展的最高成就,而且?guī)?lái)了商業(yè)模式的創(chuàng)新和產(chǎn)業(yè)結(jié)構(gòu)的升級(jí);但同時(shí)以ChatGPT為代表的內(nèi)容生成式AI也在不斷挑戰(zhàn)著社會(huì)倫理的界限和數(shù)據(jù)安全的底線,ChatGPT需要在海量自然語(yǔ)言數(shù)據(jù)基礎(chǔ)上進(jìn)行訓(xùn)練,并使用機(jī)器學(xué)習(xí)算法生成與訓(xùn)練數(shù)據(jù)相似的新內(nèi)容。這些語(yǔ)料庫(kù)大部分來(lái)自互聯(lián)網(wǎng)抓取,原始數(shù)據(jù)的抓取是否合法?如何在人工智能時(shí)代實(shí)現(xiàn)數(shù)據(jù)的流通共享與個(gè)人信息的保護(hù)?本文將以ChatGPT的誕生、發(fā)展為切入口,探討ChatGPT沖擊之下如何保護(hù)敏感個(gè)人信息。

    一、ChatGPT的基本概念和技術(shù)架構(gòu)

    (一)何為ChatGPT

    ChatGPT全稱為“Chat Generative Pre-trained Transformed”,是一款基于GPT-3.5語(yǔ)言模型的聊天機(jī)器人。ChatGPT可以處理自然語(yǔ)言,與用戶進(jìn)行溝通,當(dāng)用戶輸入指令(Prompt)后,它可以準(zhǔn)確理解用戶意圖,根據(jù)指令生成或長(zhǎng)或短的回答,并可以與其他AIGC聯(lián)動(dòng),生成圖片、視頻等。ChatGPT不僅可以應(yīng)用于日常對(duì)話,還可以進(jìn)行語(yǔ)言翻譯、撰寫(xiě)商業(yè)計(jì)劃書(shū)、法律咨詢和編寫(xiě)代碼等活動(dòng),并且能夠敢于質(zhì)疑、承認(rèn)錯(cuò)誤、拒絕不合理請(qǐng)求,做到與人類流暢且?guī)缀鯚o(wú)差別的交流。20世紀(jì)50年代,英國(guó)數(shù)學(xué)家圖靈提出“圖靈測(cè)試”,即處于密閉小屋內(nèi)的測(cè)試者通過(guò)打字分別與兩個(gè)測(cè)試對(duì)象進(jìn)行對(duì)話,其中一個(gè)測(cè)試對(duì)象是計(jì)算機(jī),另一個(gè)則是活生生的人,測(cè)試者通過(guò)不斷提出問(wèn)題、接收測(cè)試對(duì)象的回答來(lái)判斷小屋外是人還是計(jì)算機(jī),如果計(jì)算機(jī)能夠非常好的模仿人類的回答而讓測(cè)試者產(chǎn)生了誤判,則代表通過(guò)了“圖靈測(cè)試”[1],ChatGPT被認(rèn)為是如今最接近“圖靈測(cè)試”的AI模型。

    從ChatGPT輸入和輸出的邏輯來(lái)看,ChatGPT是在生成式預(yù)訓(xùn)練變換模型(Generative Pre-Trained Transformer,GPT)的底層技術(shù)之上,經(jīng)由不斷迭代發(fā)展而來(lái)的。GPT-1、GPT-2、GPT-3以及ChatGPT都是采用Transformer為核心結(jié)構(gòu)的模型,2018年Open AI公司推出的GPT-1,其參數(shù)量為1.17億,預(yù)訓(xùn)練數(shù)據(jù)量約為5GB,而在2020年5月推出的GPT-3,參數(shù)量就已達(dá)到了驚人的1750億,預(yù)訓(xùn)練數(shù)據(jù)量約45TB,海量數(shù)據(jù)通過(guò)Transformer的“自注意力機(jī)制”(Self Attention)被GPT深度學(xué)習(xí),在無(wú)監(jiān)督訓(xùn)練模式下,得到通用的“預(yù)訓(xùn)練”版本模型。ChatGPT在GPT-3的基礎(chǔ)上,新加入RLHF(Reinforcement Learning from Human Feedback,人類反饋強(qiáng)化學(xué)習(xí)),通過(guò)人工對(duì)模型的多個(gè)回答進(jìn)行標(biāo)注排序,進(jìn)而形成了無(wú)限接近人類自身的回答。

    (二)ChatGPT的模型基礎(chǔ)

    1. 大規(guī)模語(yǔ)言模型

    近年來(lái),“大規(guī)模預(yù)訓(xùn)練+微調(diào)”已經(jīng)成為深度學(xué)習(xí)多領(lǐng)域處理目標(biāo)任務(wù)的新范式,預(yù)訓(xùn)練技術(shù)需要利用廣泛的文本數(shù)據(jù)訓(xùn)練深層網(wǎng)絡(luò)結(jié)構(gòu),并得到一個(gè)通用的大規(guī)模語(yǔ)言模型(Large Language Model,LLM)。語(yǔ)言模型是自然語(yǔ)言生成式AI的基礎(chǔ),它要求打造一個(gè)核心函數(shù)P,這個(gè)函數(shù)可以根據(jù)一個(gè)句子前面的所有單詞來(lái)計(jì)算下一個(gè)單詞出現(xiàn)的概率,把這些單詞的概率相乘,如果數(shù)值越大,則代表越接近人類的語(yǔ)言。自“神經(jīng)網(wǎng)絡(luò)”概念被提出以來(lái),AI研究人員一直試圖在計(jì)算機(jī)中打造類人腦神經(jīng)元的網(wǎng)絡(luò)結(jié)構(gòu),語(yǔ)言模型的提出讓人們開(kāi)始探索“神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型”(Neural Network Language Model,NNLM)的可能性。

    2017年底,Google研究人員發(fā)表了里程碑式的論文:《Attention Is All You Need》,提出在機(jī)器翻譯上大量采用“自注意力機(jī)制”進(jìn)行深度學(xué)習(xí),“自注意機(jī)制”疊加所構(gòu)成的深度網(wǎng)絡(luò)也就是目前GPT和Bard等自然語(yǔ)言生成式AI的核心模型——Transformer?!白宰⒁饬C(jī)制”改變了過(guò)去人們?cè)贜NLM領(lǐng)域關(guān)注輸入要素與輸出要素之間關(guān)系的研究方向,將重點(diǎn)放在輸入要素或者輸出要素之間的內(nèi)在聯(lián)系機(jī)制上,以此為基礎(chǔ)的AI模型更能從邏輯上理解人類單詞之間的語(yǔ)義關(guān)系。同時(shí),正是因?yàn)門(mén)ransformer模型能夠計(jì)算出輸入元素之間的關(guān)聯(lián),它可以實(shí)現(xiàn)不需要標(biāo)注樣本的自我監(jiān)督式學(xué)習(xí),大大節(jié)省了預(yù)訓(xùn)練進(jìn)行人工標(biāo)注的金錢(qián)和時(shí)間成本。這也就是GPT能夠在短短幾年時(shí)間內(nèi)完成迭代,并將1750億參數(shù)作為其訓(xùn)練數(shù)據(jù)源的原因。

    2. 人類反饋強(qiáng)化學(xué)習(xí)

    GPT模型通過(guò)Transformer機(jī)制可以理解句子中各個(gè)單詞之間的邏輯關(guān)系,但是純粹基于Transformer機(jī)制來(lái)進(jìn)行學(xué)習(xí)未必能使AI了解人類Prompt真實(shí)的意圖,而且給出的答案也未必符合人類社會(huì)的公序良俗和語(yǔ)言習(xí)慣,Google-BERT和GPT-2就曾經(jīng)出現(xiàn)過(guò)生成有害答案的趨勢(shì),因此ChatGPT在GPT-3的基礎(chǔ)之上加入了新的訓(xùn)練方法——人類反饋強(qiáng)化學(xué)習(xí)(RLHF)。

    RLHF訓(xùn)練是通過(guò)人工標(biāo)注好的數(shù)據(jù)對(duì)GPT-3.5模型進(jìn)行微調(diào)(fine-tuned),對(duì)模型生成的答案進(jìn)行打分排序,高質(zhì)量的答案進(jìn)行獎(jiǎng)勵(lì)(reward)、反饋錯(cuò)誤的答案進(jìn)行懲罰,使ChatGPT可以模仿人類偏好,經(jīng)過(guò)反復(fù)迭代生成更高質(zhì)量的回答。因此,ChatGPT相較于其他問(wèn)答式AI有著更強(qiáng)的道德約束性,當(dāng)被詢問(wèn)到一些敏感或者超越道德邊界的問(wèn)題時(shí),ChatGPT基本都能察覺(jué)并且回避。但是,雖然ChatGPT通過(guò)RLHF進(jìn)行強(qiáng)化學(xué)習(xí),仍然存在生成錯(cuò)誤或者偏見(jiàn)性答案的情況,并且ChatGPT在前期大規(guī)模預(yù)訓(xùn)練中抓取來(lái)自不同國(guó)家、不同平臺(tái)的海量信息,對(duì)全球數(shù)據(jù)安全帶來(lái)不小的沖擊。

    二、敏感個(gè)人信息的概述和保護(hù)現(xiàn)狀

    (一)敏感個(gè)人信息概述

    1. 敏感個(gè)人信息的界定

    在《個(gè)人信息保護(hù)法》出臺(tái)之前,我國(guó)并沒(méi)有對(duì)敏感個(gè)人信息的保護(hù)作特別規(guī)定,也沒(méi)有在個(gè)人信息中區(qū)分一般個(gè)人信息和敏感個(gè)人信息?!睹穹ǖ洹返?034條原則性地規(guī)定了“自然人的個(gè)人信息受法律保護(hù)”,雖然沒(méi)有直接采用敏感個(gè)人信息的概念,但在第2款列舉的受法律保護(hù)的個(gè)人信息中,可以看到身份證件號(hào)碼、生物識(shí)別信息、健康信息、行蹤信息等實(shí)質(zhì)上屬于敏感個(gè)人信息;第3款對(duì)“私密信息”作出了規(guī)定,私密信息與敏感個(gè)人信息存在交叉,所以實(shí)質(zhì)上也增強(qiáng)了對(duì)敏感個(gè)人信息的保護(hù)?!墩餍艠I(yè)管理?xiàng)l例》第14條規(guī)定征信機(jī)構(gòu)不得采集個(gè)人宗教信仰、血型、基因等個(gè)人信息,并且在第2款規(guī)定不得采集個(gè)人收入、存款、有價(jià)證券等信息,除非信息主體同意;《最高人民法院關(guān)于審理使用人臉識(shí)別技術(shù)處理個(gè)人信息相關(guān)民事案件適用法律若干問(wèn)題的規(guī)定》從司法實(shí)踐的角度對(duì)人臉信息進(jìn)行保護(hù)。由此可見(jiàn),盡管《個(gè)人信息保護(hù)法》首次提出“敏感個(gè)人信息”的概念并作出了具體、全面的規(guī)定,但是之前已經(jīng)有了立法和實(shí)踐的經(jīng)驗(yàn),而且對(duì)敏感個(gè)人信息的保護(hù)一直秉持“告知+同意”的處理原則。

    《個(gè)人信息保護(hù)法》第28條通過(guò)“概括+列舉”的方式對(duì)敏感個(gè)人信息下定義,敏感個(gè)人信息是指一旦泄露或者被非法使用,容易導(dǎo)致自然人的人格尊嚴(yán)受到侵害或者人身、財(cái)產(chǎn)安全受到危害的個(gè)人信息,包括生物識(shí)別、宗教信仰、醫(yī)療健康等信息。該概念雖然是從敏感個(gè)人信息受到侵害時(shí)的認(rèn)定標(biāo)準(zhǔn)出發(fā)對(duì)敏感個(gè)人信息作出的界定,但也明確了敏感個(gè)人信息是與自然人的人格尊嚴(yán)或者人身財(cái)產(chǎn)安全具有密切聯(lián)系的個(gè)人信息[2],與一般個(gè)人信息進(jìn)行區(qū)分。

    2. 敏感個(gè)人信息的保護(hù)路徑

    (1)限定處理敏感個(gè)人信息的要件

    因?yàn)槊舾袀€(gè)人信息的特殊性,其處理一方面給信息主體帶來(lái)巨大風(fēng)險(xiǎn),另一方面又具有極高的利用價(jià)值和公共價(jià)值,因此幾乎沒(méi)有國(guó)家完全禁止個(gè)人信息處理者處理敏感個(gè)人信息,只是在立法價(jià)值上有所取舍。例如歐盟的《通用數(shù)據(jù)保護(hù)條例》(GDPR)和韓國(guó)的《個(gè)人信息保護(hù)法》都采用的是“一般禁止+例外”的模式;但是我國(guó)沒(méi)有采取這種模式,而是規(guī)定一般個(gè)人信息和敏感個(gè)人信息都可以處理,但是對(duì)敏感個(gè)人信息的處理作出特別規(guī)定,即必須滿足三要件——特定的目的、充分的必要性、采取嚴(yán)格保護(hù)措施。

    《個(gè)人信息保護(hù)法》第6條規(guī)定:處理個(gè)人信息應(yīng)當(dāng)具有明確、合理的目的。這是處理個(gè)人信息的一般原則性規(guī)定,但是處理敏感信息在此基礎(chǔ)上還要求具有“特定目的”。特定目的意味著,個(gè)人信息處理者的職業(yè)或者活動(dòng)決定了其能否為某一目的而處理該敏感個(gè)人信息[3],例如醫(yī)務(wù)人員只有在治療患者疾病時(shí)才能處理患者的醫(yī)療健康信息。

    充分的必要性要求信息處理者處理敏感個(gè)人信息是實(shí)現(xiàn)其特定目的不可或缺的、必不可少的。例如金融理財(cái)服務(wù)提供者只有掌握了金融賬戶信息才能開(kāi)展理財(cái)活動(dòng)。相反,如果可以在不收集敏感個(gè)人信息的情況下也能實(shí)現(xiàn)特定目的,則不滿足此項(xiàng)要求。

    敏感個(gè)人信息的不當(dāng)處理極易造成信息主體的人格權(quán)益和人身、財(cái)產(chǎn)權(quán)益受到侵害,因此在滿足特定目的、充分必要性的基礎(chǔ)之上,還需要對(duì)敏感個(gè)人信息進(jìn)行嚴(yán)格保護(hù)。所謂嚴(yán)格保護(hù)措施主要規(guī)定在《個(gè)人信息保護(hù)法》第五章中,個(gè)人信息處理者應(yīng)當(dāng)對(duì)一般個(gè)人信息和敏感個(gè)人信息進(jìn)行分類,并采取加密、去標(biāo)識(shí)化等安全技術(shù)措施,在處理敏感個(gè)人信息時(shí),應(yīng)當(dāng)事前進(jìn)行評(píng)估和記錄處理情況。

    (2)敏感個(gè)人信息處理中的“特別告知+單獨(dú)同意”規(guī)則

    處理個(gè)人信息一般應(yīng)遵循“告知+同意”規(guī)定,但是處理敏感個(gè)人信息時(shí),《個(gè)人信息保護(hù)法》為個(gè)人信息處理者強(qiáng)加了“特別告知”義務(wù)和取得信息主體“單獨(dú)同意”的規(guī)定。

    《個(gè)人信息保護(hù)法》第17條規(guī)定了個(gè)人信息處理者告知義務(wù)的“一般規(guī)定”,第30條規(guī)定處理敏感個(gè)人信息時(shí)還需要另行告知處理的必要性和對(duì)個(gè)人權(quán)益的影響。一是處理的必要性,并不能由信息處理者自行決定處理是否必要,而是應(yīng)當(dāng)要求處理者將信息處理的必要性告知個(gè)人,由個(gè)人判斷信息處理是否必要;二是對(duì)個(gè)人權(quán)益的理解,個(gè)人權(quán)益是指?jìng)€(gè)人享有的所有法律上賦予的權(quán)利,信息處理者在處理個(gè)人敏感信息時(shí)對(duì)個(gè)人權(quán)益帶來(lái)的或大或小的損害都應(yīng)及時(shí)告知,保障個(gè)人的知情權(quán)。

    “單獨(dú)同意”意味著敏感信息的處理同意不能歸入一攬子授權(quán)之中,而是應(yīng)該將敏感個(gè)人信息區(qū)分開(kāi)來(lái),單獨(dú)告知并取得同意,這才是所謂的“單獨(dú)同意”。如果信息處理者將敏感個(gè)人信息同意與其他授權(quán)進(jìn)行捆綁,則該同意無(wú)效。

    盡管法條對(duì)“告知+同意”有了明確規(guī)定,但是信息不對(duì)稱以及市場(chǎng)中消費(fèi)者與商家地位的不平等,實(shí)踐中的“單獨(dú)同意”多數(shù)情況下流于形式,個(gè)人很難理解敏感個(gè)人信息帶來(lái)的風(fēng)險(xiǎn)并做出選擇,“同意”的作用正在虛化和異化。目前必須針對(duì)大數(shù)據(jù)中越來(lái)越普遍的數(shù)據(jù)采集和信息爬取,完善“告知+同意”規(guī)則。

    (二)比較法視角下敏感個(gè)人信息的保護(hù)

    敏感個(gè)人信息的概念出現(xiàn)較早,20世紀(jì)70年代德國(guó)黑森州《個(gè)人資料保護(hù)法》和瑞典《資料法》中就曾出現(xiàn)過(guò)敏感資料的概念。但目前普遍認(rèn)為敏感個(gè)人信息的概念濫觴于1980年經(jīng)濟(jì)合作與發(fā)展組織(OECD)起草的《隱私保護(hù)與個(gè)人數(shù)據(jù)跨境流動(dòng)準(zhǔn)則》(Guidelines on the Protection of Privacy and Transborder Flows of Personal Data,以下簡(jiǎn)稱OECD《指南》)。OECD《指南》對(duì)敏感個(gè)人信息問(wèn)題進(jìn)行了探討,但是最終并沒(méi)有進(jìn)行特別規(guī)定,因?yàn)镺ECD專家組認(rèn)為數(shù)據(jù)的敏感性來(lái)源于其所處的環(huán)境,因此對(duì)何謂敏感數(shù)據(jù)無(wú)法達(dá)成共識(shí)。

    目前世界主要國(guó)家都對(duì)敏感個(gè)人信息作出特別保護(hù),歐盟GDPR使用“特殊類型數(shù)據(jù)”這一概念;日本《日本個(gè)人信息保護(hù)法》將其稱為“需注意的個(gè)人信息”;美國(guó)聯(lián)邦層面至今尚未出臺(tái)有關(guān)個(gè)人信息的專門(mén)立法[4],只在零散的州法規(guī)以及各個(gè)行業(yè)的軟法中出現(xiàn)。這可能是因?yàn)槊舾袀€(gè)人數(shù)據(jù)并不是一個(gè)達(dá)成普遍共識(shí)的法律術(shù)語(yǔ),而且因?yàn)樾骂愋兔舾袛?shù)據(jù)的層出不窮,其歸入與擇出標(biāo)準(zhǔn)也存在爭(zhēng)議[5]。

    歐盟GDPR對(duì)個(gè)人信息進(jìn)行了分層處理,一是對(duì)一般個(gè)人信息的規(guī)定,包括種族、政治觀點(diǎn)、宗教信仰等,這些數(shù)據(jù)可以處理,但是不得泄露;二是個(gè)人敏感數(shù)據(jù),包括個(gè)人基因信息、生物特征信息這種可以識(shí)別到特定主體的信息,原則上禁止以識(shí)別為目的的處理;三是關(guān)于健康數(shù)據(jù)、性生活、性取向信息原則上禁止處理[6]。美國(guó)加利福尼亞州于2020年11月通過(guò)《加州隱私法案》(California Privacy Rights Act of 2020,CPRA),將敏感個(gè)人信息作為新的個(gè)人信息類別并單獨(dú)監(jiān)管,還規(guī)定了企業(yè)如果計(jì)劃收集或使用任何敏感個(gè)人信息,必須對(duì)個(gè)人進(jìn)行特別通知,并且個(gè)人可以要求企業(yè)停止出售、共享和使用這些信息。并且在金融領(lǐng)域、通信領(lǐng)域、教育領(lǐng)域都出臺(tái)了特定敏感信息法案。

    由以上歐美立法經(jīng)驗(yàn)可知,相對(duì)于一般信息,主要國(guó)家和地區(qū)的立法中均對(duì)敏感個(gè)人信息實(shí)行強(qiáng)化保護(hù),這種強(qiáng)化保護(hù)是指信息處理者在處理有關(guān)敏感個(gè)人信息問(wèn)題時(shí),不僅要遵循法律關(guān)于一般個(gè)人信息使用的規(guī)定,而且還要提高注意義務(wù),遵守針對(duì)敏感個(gè)人信息保護(hù)的特別規(guī)定,在適用順序上,首先選擇適用敏感個(gè)人信息的保護(hù)規(guī)則。具體規(guī)范上,采用“一般禁止+例外”的立法模式,一方面,明確了禁止收集和處理的原則;另一方面,規(guī)定了嚴(yán)格限定的例外情形。

    三、現(xiàn)實(shí)沖擊,ChatGPT與敏感個(gè)人信息保護(hù)之間的矛盾

    (一)網(wǎng)絡(luò)爬蟲(chóng)造成的數(shù)據(jù)爬取合法合規(guī)性風(fēng)險(xiǎn)

    ChatGPT訓(xùn)練大型語(yǔ)言模型所使用的數(shù)據(jù)主要依靠網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在互聯(lián)網(wǎng)爬取大量信息。根據(jù)OpenAI公司公開(kāi)的文檔顯示,ChatGPT的原始訓(xùn)練集有至少60%的數(shù)據(jù)來(lái)自互聯(lián)網(wǎng)抓取,其來(lái)源包括博客平臺(tái)、維基百科、獨(dú)立網(wǎng)站等,這些數(shù)據(jù)都是由網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行技術(shù)支撐。網(wǎng)絡(luò)爬蟲(chóng)本質(zhì)上是一段計(jì)算機(jī)程序或腳本,它按照一定的邏輯和算法規(guī)則自動(dòng)爬取萬(wàn)維網(wǎng)信息,并可以自動(dòng)采集所有其能夠訪問(wèn)到的頁(yè)面數(shù)據(jù),還可以對(duì)采集到的數(shù)據(jù)進(jìn)行后續(xù)的挖掘分析[7]。目前,爬蟲(chóng)技術(shù)被廣泛地應(yīng)用于互聯(lián)網(wǎng)搜索引擎或其他網(wǎng)站,比如百度搜索引擎的爬蟲(chóng)叫百度蜘蛛、360的爬蟲(chóng)叫360Spider、搜狗的爬蟲(chóng)叫Sougouspider。

    但是,網(wǎng)絡(luò)爬蟲(chóng)有其固有的缺點(diǎn),特別是針對(duì)ChatGPT這種數(shù)據(jù)需求量巨大的AI模型,數(shù)據(jù)的采集難免會(huì)涉及個(gè)人信息,甚至可能是敏感個(gè)人信息,這些信息作為ChatGPT訓(xùn)練集的一部分,被反復(fù)迭代學(xué)習(xí),構(gòu)成對(duì)敏感個(gè)人信息的侵權(quán);而且這種大規(guī)模的采集數(shù)據(jù)也一般不可能滿足敏感個(gè)人信息“特別告知+單獨(dú)同意”的規(guī)定。盡管從OpenAI公開(kāi)策略來(lái)看,其收集信息還是會(huì)遵循Robots協(xié)議(Robots Exclusion Protocol,爬蟲(chóng)排除標(biāo)準(zhǔn)),但是Robots協(xié)議目前只是一種道德規(guī)范和行業(yè)標(biāo)準(zhǔn),并不具有法律效力,且OpenAI目前公布的隱私政策并沒(méi)有涉及它在數(shù)據(jù)采集階段如何保護(hù)個(gè)人敏感信息,因此ChatGPT收集的訓(xùn)練數(shù)據(jù)是否合法有待商榷。

    (二)算法黑箱與數(shù)據(jù)處理透明化之間的矛盾

    從一開(kāi)始,人們制定數(shù)據(jù)保護(hù)法的目的就是構(gòu)建和限制對(duì)個(gè)人數(shù)據(jù)的處理,并使其對(duì)數(shù)據(jù)主體透明。1977年《德國(guó)聯(lián)邦數(shù)據(jù)保護(hù)法》第3節(jié)已經(jīng)規(guī)定了除非有法定依據(jù)或者征得了個(gè)人的同意,原則上禁止處理個(gè)人信息。此后這一數(shù)據(jù)處理方式得以沿用,并體現(xiàn)在《通用數(shù)據(jù)保護(hù)條例》(GDPR)中。我國(guó)《個(gè)人數(shù)據(jù)保護(hù)法》在一定程度上借鑒了GDPR,并且在敏感個(gè)人信息的處理上有更為嚴(yán)格的規(guī)定:個(gè)人信息處理者不僅要有明確、特定的目的和處理敏感個(gè)人信息的充分必要性,還要告知個(gè)人處理敏感個(gè)人信息的相關(guān)事宜并取得個(gè)人的單獨(dú)同意??傊?,現(xiàn)行的數(shù)據(jù)保護(hù)法的傳統(tǒng)目標(biāo)是使數(shù)據(jù)處理合理化,即只允許在法定基礎(chǔ)上、為特定目的、以透明的方式處理個(gè)人數(shù)據(jù)。用漢堡大學(xué)馬里昂·阿爾伯斯(Marion Albers)教授的話說(shuō):“整個(gè)方式的指導(dǎo)思想是,行動(dòng)方針的決策過(guò)程幾乎完全可以通過(guò)法律手段加以預(yù)見(jiàn)、規(guī)劃和指導(dǎo)?!盵8]顯然,人工智能的發(fā)展與這一目標(biāo)相違背。

    當(dāng)前常規(guī)的基于機(jī)器學(xué)習(xí)的人工智能通常要求輸入大量用于訓(xùn)練和測(cè)試的數(shù)據(jù)進(jìn)行深度學(xué)習(xí),最后輸出結(jié)果。這種算法運(yùn)作雖然是由人類編寫(xiě),但是機(jī)器深度學(xué)習(xí)的過(guò)程卻是人類無(wú)法通過(guò)外部觀察獲知的,這也就是所謂的“算法黑箱”理論。算法應(yīng)用于生活的方方面面,算法黑箱作為難以消弭的弊端亦是接踵而來(lái),算法的不透明性和不可解釋性引發(fā)開(kāi)發(fā)者和消費(fèi)者之間的信息不對(duì)稱,并帶來(lái)算法歧視和偏見(jiàn)[9]。人工智能的開(kāi)發(fā)離不開(kāi)算法,因此算法黑箱帶來(lái)的影響不可避免的波及人工智能領(lǐng)域,其中一個(gè)重要體現(xiàn)就是當(dāng)前人工智能與現(xiàn)行數(shù)據(jù)保護(hù)法的基本理念發(fā)生了沖突,特別是ChatGPT采用“自注意力機(jī)制”進(jìn)行深度學(xué)習(xí),也就是無(wú)監(jiān)督學(xué)習(xí)的情況下,即使是程序員,也無(wú)法理解人工智能獲得其結(jié)果的過(guò)程。敏感個(gè)人信息處理所需要的透明度與算法黑箱截然相反,《個(gè)人信息保護(hù)法》關(guān)于敏感個(gè)人信息的保護(hù)面臨著人工智能的部分失控和完全不可控的挑戰(zhàn)。

    (三)數(shù)據(jù)開(kāi)放與敏感個(gè)人信息受保護(hù)之間的矛盾

    近年來(lái),隨著數(shù)字經(jīng)濟(jì)的繁榮,對(duì)數(shù)據(jù)的獲取、共享和使用已經(jīng)成為增強(qiáng)經(jīng)濟(jì)發(fā)展和社會(huì)福祉的核心驅(qū)動(dòng)力,數(shù)據(jù)的大規(guī)模流動(dòng)與傳輸,已經(jīng)成為經(jīng)濟(jì)全球化背景下每個(gè)經(jīng)濟(jì)部門(mén)不可或缺的組成部分。在云端儲(chǔ)存大量的個(gè)人信息,甚至是敏感信息或關(guān)鍵信息,是以信息網(wǎng)絡(luò)為主要載體的數(shù)字經(jīng)濟(jì)時(shí)代發(fā)展的必然趨勢(shì)。ChatGPT與敏感個(gè)人信息保護(hù)之間的沖突,集中體現(xiàn)在數(shù)據(jù)處理方式的沖突,而究其本質(zhì),是一種在數(shù)字經(jīng)濟(jì)時(shí)代,數(shù)據(jù)越來(lái)越頻繁地被采集、流通、共享與敏感個(gè)人信息需要受到特殊保護(hù)之間的矛盾。

    人工智能的發(fā)展要求數(shù)據(jù)傳輸?shù)目焖傩?、信息獲取的便捷性和調(diào)取的便利性。這一點(diǎn)也體現(xiàn)在ChatGPT對(duì)數(shù)據(jù)的采集和應(yīng)用中。而敏感個(gè)人數(shù)據(jù)保護(hù)則代表了一種信息領(lǐng)域的保守性。在信息技術(shù)和市場(chǎng)的雙重作用下,人們不可避免地被卷入數(shù)字的洪流,但是不能由此倒因?yàn)楣耐茢喑鋈藗冊(cè)敢鉃榱藬?shù)據(jù)的開(kāi)放犧牲自身的敏感信息[10],正相反的是,數(shù)字經(jīng)濟(jì)越發(fā)展,個(gè)人信息保護(hù)的問(wèn)題就越受到人們的關(guān)注與強(qiáng)調(diào)。實(shí)現(xiàn)信息開(kāi)放與信息保護(hù)之間的平衡,不僅需要ChatGPT提高信息處理的透明度,也有賴于相關(guān)立法政策的出臺(tái)以及政府的監(jiān)管。

    四、路徑探索,ChatGPT時(shí)代敏感個(gè)人信息的保護(hù)

    (一)規(guī)范ChatGPT網(wǎng)絡(luò)爬蟲(chóng)信息采集方式

    ChatGPT運(yùn)用網(wǎng)絡(luò)爬蟲(chóng)采集原始訓(xùn)練庫(kù)中的數(shù)據(jù),目前飽受合法性的爭(zhēng)議。筆者認(rèn)為,規(guī)范網(wǎng)絡(luò)爬蟲(chóng)信息采集行為,一方面需要OpenAI公司規(guī)范ChatGPT的網(wǎng)絡(luò)爬蟲(chóng)技術(shù);另一方面需要數(shù)據(jù)被爬取方,即數(shù)據(jù)權(quán)利方積極采用“反爬”策略。

    網(wǎng)絡(luò)爬蟲(chóng)作為一種利用邏輯和算法自動(dòng)爬取互聯(lián)網(wǎng)信息的計(jì)算機(jī)程序,想要保持其技術(shù)上的中立性,需要法律對(duì)其進(jìn)行合法性限定[11]。首先,網(wǎng)絡(luò)爬蟲(chóng)應(yīng)保證只針對(duì)開(kāi)放數(shù)據(jù)爬取,這不僅要求爬取對(duì)象上,網(wǎng)絡(luò)爬蟲(chóng)不能采集具有非公開(kāi)特性的敏感個(gè)人信息,也體現(xiàn)在技術(shù)手段上不能具有明顯的侵入性;其次,使用網(wǎng)絡(luò)爬蟲(chóng)應(yīng)當(dāng)基于明確、合理的目的,ChatGPT官方可以公開(kāi)其信息采集的目的、方式、手段、采集到的信息如何利用、保護(hù)等,在證明其網(wǎng)絡(luò)爬蟲(chóng)技術(shù)符合法律規(guī)定的同時(shí),緩解公眾對(duì)于信息安全問(wèn)題的擔(dān)憂。

    當(dāng)然,避免敏感個(gè)人信息被不當(dāng)爬取不僅需要數(shù)據(jù)爬取方規(guī)范網(wǎng)絡(luò)爬蟲(chóng)的應(yīng)用,也需要數(shù)據(jù)被爬取方積極運(yùn)用“反爬”策略。其一,因?yàn)镺penAI公司表示其會(huì)遵從Robots協(xié)議,因此可能會(huì)被ChatGPT網(wǎng)絡(luò)爬蟲(chóng)爬取的網(wǎng)站、特別是內(nèi)含敏感個(gè)人信息的網(wǎng)站,可以充分利用Robots協(xié)議,引導(dǎo)或限制網(wǎng)絡(luò)爬蟲(chóng)的爬取行為。其二,利用User-Agent限制網(wǎng)絡(luò)爬蟲(chóng),User-Agent指的是用戶在訪問(wèn)網(wǎng)站時(shí)所使用的客戶端種類和版本[12],相當(dāng)于客戶端向網(wǎng)站站點(diǎn)表明身份的一種標(biāo)識(shí),知名的爬蟲(chóng)都有其固定的User-Agent,可以通過(guò)設(shè)置User-Agent黑名單來(lái)限制網(wǎng)絡(luò)爬蟲(chóng)的訪問(wèn)。

    (二)打開(kāi)黑箱,提高ChatGPT數(shù)據(jù)處理透明度

    過(guò)去幾年,人工智能的不透明性已經(jīng)成為一個(gè)顯要的政治和社會(huì)議題。隨著人工智能對(duì)社會(huì)的影響逐步加深,公眾越發(fā)認(rèn)為那些監(jiān)管、使用或受人工智能影響的人們應(yīng)該對(duì)這項(xiàng)技術(shù)有足夠的了解。打開(kāi)黑箱對(duì)于識(shí)別侵犯用戶敏感個(gè)人信息、發(fā)現(xiàn)偏見(jiàn)和防止其他潛在危害是必不可少的。目前各國(guó)紛紛出臺(tái)政策和立法文件,確立人工智能透明度的目標(biāo)。然而,我們也應(yīng)該認(rèn)識(shí)到的是,“完全”透明是不可能的、也不可取的。提高人工智能透明度的價(jià)值在于產(chǎn)生知識(shí)和引發(fā)有關(guān)技術(shù)的辯論,激發(fā)個(gè)人對(duì)基于人工智能的決策提出疑問(wèn),并從長(zhǎng)遠(yuǎn)來(lái)看將加強(qiáng)社會(huì)對(duì)新技術(shù)的接受[11]。

    從這個(gè)角度出發(fā),我們應(yīng)該對(duì)透明度有一個(gè)更廣度的認(rèn)知。科里亞斯(Cary Coglianese)認(rèn)為算法透明包含兩種:“魚(yú)缸型透明”(fishbowl transparency)和“原因型透明”(reasoned transparency),前者是指公開(kāi)數(shù)據(jù)的源代碼、數(shù)據(jù)訓(xùn)練集等;后者指公開(kāi)算法工作的原理,強(qiáng)調(diào)公開(kāi)信息的實(shí)用性,在實(shí)踐中,公開(kāi)算法原理更具有可行性,它既可以提高公眾對(duì)于人工智能的了解,又能保護(hù)公司的知識(shí)產(chǎn)權(quán)。其二,將算法披露與解釋權(quán)結(jié)合起來(lái),這種解釋是一種嵌入制度環(huán)境中的社會(huì)實(shí)踐,即公民可以了解到人工智能決策的依據(jù)、產(chǎn)生的影響、以及明確可以啟動(dòng)司法程序捍衛(wèi)自己的權(quán)利。

    打開(kāi)黑箱對(duì)于識(shí)別侵犯用戶敏感個(gè)人信息的行為是必不可少的,ChatGPT引發(fā)的對(duì)侵犯敏感個(gè)人信息的質(zhì)疑和恐慌一定程度上來(lái)源于社會(huì)普遍對(duì)于人工智能興起的無(wú)知和被剝奪公民權(quán)的感受。因此,一方面,為了消除這些不利影響,ChatGPT官方應(yīng)當(dāng)定期公布其保護(hù)敏感信息的隱私政策,包括信息保護(hù)算法原理、實(shí)踐情況以及用戶反饋,并根據(jù)現(xiàn)實(shí)情況不斷進(jìn)行調(diào)整;另一方面,ChatGPT官方以及各國(guó)行政或司法機(jī)關(guān)也應(yīng)及時(shí)告知公民可以依據(jù)ChatGPT侵犯公民敏感個(gè)人信息的行為提起司法訴訟,保障公民的敏感個(gè)人信息保護(hù)權(quán)得到救濟(jì)。

    (三)建立全鏈條監(jiān)管和問(wèn)責(zé)機(jī)制

    ChatGPT的沖擊暴露了現(xiàn)實(shí)中敏感個(gè)人信息保護(hù)的不足,一方面體現(xiàn)在對(duì)人工智能監(jiān)管的缺失,無(wú)法從事前和事中避免人工智能給敏感個(gè)人信息帶來(lái)的不利影響;另一方面則體現(xiàn)在法條理論與實(shí)踐的脫節(jié),法條內(nèi)容流于形式,無(wú)法很好地指導(dǎo)實(shí)踐。

    首先,從國(guó)家層面,需要建立事前、事中和事后的全鏈條監(jiān)管。具體而言:第一,確立對(duì)人工智能事前監(jiān)管模式。歐盟最早將人工智能的監(jiān)管由理論邁向?qū)嵺`,2021年4月,歐盟委員會(huì)頒布全球首部《人工智能法案》,確立以技術(shù)風(fēng)險(xiǎn)分級(jí)為核心的監(jiān)管模式[13],對(duì)于高風(fēng)險(xiǎn)的人工智能,歐盟要求供應(yīng)商在投入市場(chǎng)前提交評(píng)估報(bào)告,如果提交的目的或性質(zhì)有根本改變則需要重新評(píng)估[14];目前我國(guó)沒(méi)有針對(duì)人工智能的專門(mén)立法,關(guān)于數(shù)據(jù)算法或者人工智能的主要規(guī)定分散在《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》《個(gè)人信息保護(hù)法》以及一些零散的政策文件中,因此可以借鑒歐盟的立法路徑,建立專門(mén)的人工智能法案,規(guī)定涉及敏感信息安全問(wèn)題的人工智能投入市場(chǎng)前進(jìn)行評(píng)估備案。第二,對(duì)人工智能進(jìn)行事中、事后監(jiān)管,可以參考《個(gè)人信息保護(hù)法》中第六章的規(guī)定,國(guó)家網(wǎng)信部門(mén)負(fù)責(zé)敏感個(gè)人信息保護(hù)監(jiān)管工作,完善敏感個(gè)人信息保護(hù)投訴、舉報(bào)機(jī)制,對(duì)風(fēng)險(xiǎn)較大的個(gè)人信息處理者進(jìn)行約談①。目前,ChatGPT并沒(méi)有進(jìn)入中國(guó)市場(chǎng),但是諸如阿里巴巴、百度等國(guó)內(nèi)互聯(lián)網(wǎng)公司已開(kāi)始著手研發(fā)類ChatGPT系統(tǒng)。建立全生命周期監(jiān)管機(jī)制,不僅可以預(yù)防有朝一日ChatGPT進(jìn)入中國(guó)后帶來(lái)的問(wèn)題,也可以避免投入市場(chǎng)的類ChatGPT系統(tǒng)脫離法治軌道。

    其次,建立問(wèn)責(zé)評(píng)估體系,使法條規(guī)定能夠落實(shí)到實(shí)踐,例如“特別告知+單獨(dú)同意”規(guī)則的完善。告知義務(wù)是信息主體知情權(quán)的基礎(chǔ),告知義務(wù)后續(xù)的責(zé)任應(yīng)貫穿于信息收集和使用的全部環(huán)節(jié)[15]。目前被合法獲取的敏感個(gè)人信息可能被ChatGPT采集并“二次使用”,但卻并沒(méi)有取得信息主體的同意,這也是目前該規(guī)則飽受爭(zhēng)議的重要原因。對(duì)此,應(yīng)加強(qiáng)對(duì)初步信息處理者的問(wèn)責(zé)制度,防止其在履行完特別告知義務(wù)后進(jìn)入“免責(zé)”狀態(tài),或者在發(fā)生敏感個(gè)人信息泄露事件時(shí)將責(zé)任轉(zhuǎn)嫁第三方;同時(shí),也可以加入獨(dú)立的第三方機(jī)構(gòu)進(jìn)行評(píng)估,確保敏感個(gè)人信息處理者在合乎規(guī)范的閾值內(nèi)運(yùn)行。

    五、結(jié)語(yǔ)

    人工智能的前進(jìn)與發(fā)展已然勢(shì)不可擋,在ChatGPT發(fā)布短短幾個(gè)月后,2023年3月15日凌晨,GPT-4橫空出世,它擁有比ChatGPT更強(qiáng)大的圖片識(shí)別能力和推理能力,使科技的發(fā)展邁向了不可預(yù)測(cè)的新階段。我們必須認(rèn)識(shí)到,內(nèi)容生成式AI的發(fā)展不可能被按下暫停鍵或倒退鍵,但它們帶來(lái)的敏感個(gè)人信息安全問(wèn)題卻不可能在短時(shí)間內(nèi)消弭,而這些沖突的背后是大數(shù)據(jù)時(shí)代不可避免的數(shù)據(jù)流通與信息保護(hù)之間的矛盾,因此需要不斷平衡技術(shù)創(chuàng)新與傳統(tǒng)信息保護(hù)領(lǐng)域之間的關(guān)系。這一方面要求規(guī)范網(wǎng)絡(luò)爬蟲(chóng)信息采集行為、提高人工智能透明度以滿足法律和社會(huì)倫理的需要;另一方面也要建立全生命周期的監(jiān)管和問(wèn)責(zé)制度,警惕人工智能的失控。使未來(lái)人工智能的發(fā)展不是潘多拉的魔盒,而是通往未來(lái)世界的一把鑰匙。

    注 釋:

    ① 參見(jiàn)《個(gè)人信息保護(hù)法》第60條、62條、64條。

    參考文獻(xiàn):

    [1] 馮志偉,張燈柯,饒高琦.從圖靈測(cè)試到ChatGPT——人機(jī)對(duì)話的里程碑及啟示[J].語(yǔ)言戰(zhàn)略研究,2023,8(2):20-24.

    [2] 王利明.敏感個(gè)人信息保護(hù)的基本問(wèn)題——以《民法典》和《個(gè)人信息保護(hù)法》的解釋為背景[J].當(dāng)代法學(xué),2022,36(1):3-14.

    [3] 程嘯.個(gè)人信息保護(hù)法理解與適用[M].北京:中國(guó)法制出版社,2021:267.

    [4] 楊合慶.中華人民共和國(guó)個(gè)人信息保護(hù)法釋義[M].北京:法律出版社,2022:85.

    [5] 王苑.敏感個(gè)人信息的概念界定與要素判斷——以《個(gè)人信息保護(hù)法》第28條為中心[J].環(huán)球法律評(píng)論,2022,44(2):85-99.

    [6] 中國(guó)信息通訊研究院互聯(lián)網(wǎng)法律研究中心.個(gè)人信息保護(hù)立法研究[M].北京:中國(guó)法制出版社,2021:222.

    [7] 賈寧.大數(shù)據(jù)爬取、清洗與可視化教程[M].北京:中國(guó)工信出版集團(tuán),2021.

    [8] [德]托馬斯·威施邁耶,蒂莫·拉德馬赫,編,韓至旭,李輝,等,譯.人工智能與法律的對(duì)話[M].上海:上海人民出版社,2020:39.

    [9] 吳椒軍,郭婉兒.人工智能時(shí)代算法黑箱的法治化治理[J].科技與法律(中英文),2021,1(1):19-28.

    [10] 彭岳.跨境數(shù)據(jù)隱私保護(hù)的貿(mào)易法維度[J].法律適用,2022(6):16-28.

    [11] 蘇青.網(wǎng)絡(luò)爬蟲(chóng)的演變及其合法性限定[J].比較法研究,2021,175(3):89-104.

    [12] 胡俊瀟,陳國(guó)偉.網(wǎng)絡(luò)爬蟲(chóng)反爬策略研究[J].科技創(chuàng)新與應(yīng)用,2019(15):137-138+140.

    [13] 劉軒,陳海彬.人工智能監(jiān)管:理論、模式與趨勢(shì)[J/OL].[2023-03-17].情報(bào)理論與實(shí)踐:1-9http://kns.cnki.net/kcms/detail/11.1762.G3.20230316.0934.002.html.

    [14] 鄧建鵬,朱懌成.ChatGPT模型的法律風(fēng)險(xiǎn)及應(yīng)對(duì)之策[J/OL].[2023-03-17].新疆師范大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版),2023(5):1-11.

    [15] 范海潮,顧理平.探尋平衡之道:隱私保護(hù)中知情同意原則的實(shí)踐困境與修正[J].新聞與傳播研究,2021,28(2):70-85+127-128.

    作者簡(jiǎn)介:張煒羿(1999- ),女,山東濰坊人,對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)法學(xué)院碩士研究生,研究方向?yàn)閿?shù)據(jù)法學(xué)、個(gè)人信息保護(hù)法。

    猜你喜歡
    個(gè)人信息保護(hù)法人工智能
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    個(gè)人信息的法律保護(hù)
    法制博覽(2018年1期)2018-02-24 22:53:17
    個(gè)人信息保護(hù)法在大數(shù)據(jù)時(shí)代的適用和域外效力
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    個(gè)人信息保護(hù)法域外效力研究
    下一幕,人工智能!
    論個(gè)人信息權(quán)
    商情(2016年11期)2016-04-15 07:59:05
    or卡值多少钱| 丁香六月欧美| 青草久久国产| 夜夜爽天天搞| 亚洲全国av大片| 一二三四在线观看免费中文在| 久久久久国产精品人妻aⅴ院| 每晚都被弄得嗷嗷叫到高潮| 国产野战对白在线观看| 一进一出抽搐gif免费好疼| 欧美又色又爽又黄视频| 午夜福利高清视频| av中文乱码字幕在线| 每晚都被弄得嗷嗷叫到高潮| 男人舔女人下体高潮全视频| www.999成人在线观看| 男女之事视频高清在线观看| 一级片免费观看大全| 日本一二三区视频观看| 最近在线观看免费完整版| 国产精品 国内视频| 这个男人来自地球电影免费观看| 99在线视频只有这里精品首页| 国内精品久久久久久久电影| 成熟少妇高潮喷水视频| 国产日本99.免费观看| 亚洲男人的天堂狠狠| 中出人妻视频一区二区| 色av中文字幕| 欧美日韩亚洲国产一区二区在线观看| 亚洲第一电影网av| 国产精品一区二区免费欧美| 久久久久久久久中文| 亚洲自偷自拍图片 自拍| 亚洲成人国产一区在线观看| 日本 av在线| 国产主播在线观看一区二区| 国产真人三级小视频在线观看| 麻豆国产97在线/欧美 | 一二三四社区在线视频社区8| 亚洲av美国av| 国产精品精品国产色婷婷| 久久久久久久精品吃奶| 亚洲一码二码三码区别大吗| 好男人在线观看高清免费视频| 丝袜人妻中文字幕| 香蕉国产在线看| 亚洲第一欧美日韩一区二区三区| 亚洲国产精品久久男人天堂| 国产精品野战在线观看| 国产免费男女视频| 国产视频一区二区在线看| 神马国产精品三级电影在线观看 | 真人一进一出gif抽搐免费| 精品熟女少妇八av免费久了| 国产熟女午夜一区二区三区| 在线观看美女被高潮喷水网站 | 免费在线观看视频国产中文字幕亚洲| 亚洲 欧美一区二区三区| 俺也久久电影网| 人妻久久中文字幕网| netflix在线观看网站| 欧美一级a爱片免费观看看 | 91麻豆精品激情在线观看国产| 国产av一区二区精品久久| 一个人免费在线观看的高清视频| 免费看十八禁软件| 99在线视频只有这里精品首页| 欧美日韩亚洲国产一区二区在线观看| 天堂影院成人在线观看| 国产亚洲精品综合一区在线观看 | 69av精品久久久久久| 一个人免费在线观看电影 | 香蕉丝袜av| 18禁裸乳无遮挡免费网站照片| 1024手机看黄色片| 久久草成人影院| 在线看三级毛片| 色综合欧美亚洲国产小说| 亚洲第一电影网av| 在线国产一区二区在线| 不卡av一区二区三区| 日韩欧美 国产精品| 国产精品一及| videosex国产| 精品免费久久久久久久清纯| 99久久国产精品久久久| 99热这里只有精品一区 | 亚洲国产中文字幕在线视频| 50天的宝宝边吃奶边哭怎么回事| 两性午夜刺激爽爽歪歪视频在线观看 | 在线国产一区二区在线| 国产亚洲精品综合一区在线观看 | 国产亚洲精品久久久久5区| 又大又爽又粗| 99精品久久久久人妻精品| svipshipincom国产片| 99精品在免费线老司机午夜| 日韩国内少妇激情av| 夜夜躁狠狠躁天天躁| 国产又黄又爽又无遮挡在线| 日韩大尺度精品在线看网址| 久久国产精品影院| 成人三级黄色视频| 久久精品aⅴ一区二区三区四区| 十八禁网站免费在线| 最近最新免费中文字幕在线| 国产熟女午夜一区二区三区| 久久草成人影院| 国产亚洲精品一区二区www| 国产精品98久久久久久宅男小说| 亚洲午夜理论影院| 超碰成人久久| 国内精品一区二区在线观看| 国产精品久久久久久久电影 | 日日摸夜夜添夜夜添小说| 国产成+人综合+亚洲专区| 日本黄大片高清| 久久久国产欧美日韩av| 久久这里只有精品中国| 美女高潮喷水抽搐中文字幕| 黄色视频,在线免费观看| 岛国在线免费视频观看| 免费在线观看黄色视频的| 久久人妻av系列| 国产亚洲精品一区二区www| 久久欧美精品欧美久久欧美| 1024香蕉在线观看| 91成年电影在线观看| 一个人免费在线观看电影 | 欧美成狂野欧美在线观看| 在线看三级毛片| 脱女人内裤的视频| 婷婷精品国产亚洲av| 男人舔女人的私密视频| 国产成人系列免费观看| 一个人免费在线观看的高清视频| 国产亚洲av嫩草精品影院| 成人国语在线视频| 亚洲 欧美一区二区三区| 国产黄片美女视频| 亚洲成人久久性| www.999成人在线观看| 啪啪无遮挡十八禁网站| 久99久视频精品免费| 欧美日韩亚洲国产一区二区在线观看| 日日爽夜夜爽网站| 国内精品一区二区在线观看| 精品电影一区二区在线| 色综合亚洲欧美另类图片| 欧美一区二区国产精品久久精品 | 50天的宝宝边吃奶边哭怎么回事| 特级一级黄色大片| 麻豆成人av在线观看| 亚洲成人免费电影在线观看| 日韩精品免费视频一区二区三区| 少妇裸体淫交视频免费看高清 | 啦啦啦免费观看视频1| 国产不卡一卡二| 国产伦人伦偷精品视频| 国产真实乱freesex| www.精华液| 午夜日韩欧美国产| av福利片在线观看| av天堂在线播放| 精品久久久久久久毛片微露脸| 中文字幕精品亚洲无线码一区| 免费在线观看日本一区| 熟女电影av网| 色噜噜av男人的天堂激情| 国产一区二区三区在线臀色熟女| tocl精华| 日韩欧美国产在线观看| 国产成+人综合+亚洲专区| 国产三级中文精品| 久久久水蜜桃国产精品网| 日韩高清综合在线| 欧美极品一区二区三区四区| 国产午夜精品论理片| 好男人电影高清在线观看| 99热只有精品国产| 色精品久久人妻99蜜桃| 亚洲av电影不卡..在线观看| 亚洲va日本ⅴa欧美va伊人久久| 又粗又爽又猛毛片免费看| 天堂√8在线中文| a级毛片在线看网站| 成年女人毛片免费观看观看9| 757午夜福利合集在线观看| 精华霜和精华液先用哪个| 搡老妇女老女人老熟妇| 中文字幕精品亚洲无线码一区| 欧美久久黑人一区二区| 欧美精品亚洲一区二区| 国产在线观看jvid| 我要搜黄色片| 午夜精品在线福利| 丰满人妻熟妇乱又伦精品不卡| 国内精品一区二区在线观看| 精华霜和精华液先用哪个| 听说在线观看完整版免费高清| 亚洲人成电影免费在线| 天堂影院成人在线观看| 久热爱精品视频在线9| 又紧又爽又黄一区二区| 国产成人系列免费观看| 免费看美女性在线毛片视频| aaaaa片日本免费| 免费观看精品视频网站| 亚洲电影在线观看av| 国产高清激情床上av| 亚洲av第一区精品v没综合| 国产精品电影一区二区三区| svipshipincom国产片| 国产亚洲精品综合一区在线观看 | av在线天堂中文字幕| 国内精品久久久久久久电影| 久久 成人 亚洲| 不卡一级毛片| 欧美午夜高清在线| 啪啪无遮挡十八禁网站| 可以免费在线观看a视频的电影网站| 欧美乱码精品一区二区三区| 亚洲真实伦在线观看| 国产一区二区在线av高清观看| 69av精品久久久久久| 少妇的丰满在线观看| 韩国av一区二区三区四区| 亚洲全国av大片| 国产黄a三级三级三级人| 国产成人影院久久av| 中文在线观看免费www的网站 | 啪啪无遮挡十八禁网站| 国产区一区二久久| 欧美高清成人免费视频www| 成人av一区二区三区在线看| 亚洲av美国av| 欧美成狂野欧美在线观看| 中文字幕久久专区| 午夜视频精品福利| 国产黄a三级三级三级人| 亚洲欧美日韩高清专用| 精品久久久久久久久久免费视频| 无限看片的www在线观看| 午夜影院日韩av| 日本免费a在线| 成熟少妇高潮喷水视频| 国产精品一区二区三区四区免费观看 | 丁香欧美五月| 男女之事视频高清在线观看| 国产亚洲欧美98| 亚洲av成人一区二区三| 女人高潮潮喷娇喘18禁视频| 俄罗斯特黄特色一大片| 国产日本99.免费观看| 9191精品国产免费久久| 国产三级在线视频| 国产精品自产拍在线观看55亚洲| 亚洲人成电影免费在线| 国产精品野战在线观看| 此物有八面人人有两片| 一二三四社区在线视频社区8| 欧美成狂野欧美在线观看| xxx96com| 久久婷婷成人综合色麻豆| 老汉色av国产亚洲站长工具| 亚洲一卡2卡3卡4卡5卡精品中文| 久久 成人 亚洲| 12—13女人毛片做爰片一| 久久香蕉国产精品| bbb黄色大片| 欧美乱色亚洲激情| 亚洲乱码一区二区免费版| 成在线人永久免费视频| 两人在一起打扑克的视频| 国产伦在线观看视频一区| 好男人电影高清在线观看| 亚洲av日韩精品久久久久久密| 亚洲成人久久爱视频| 在线观看舔阴道视频| 亚洲专区中文字幕在线| 亚洲国产欧美人成| 美女 人体艺术 gogo| 中文资源天堂在线| 久久久国产欧美日韩av| 日日干狠狠操夜夜爽| 法律面前人人平等表现在哪些方面| 老司机在亚洲福利影院| av欧美777| 日本 欧美在线| 成人亚洲精品av一区二区| 不卡av一区二区三区| av在线播放免费不卡| 1024视频免费在线观看| 观看免费一级毛片| 国产精品综合久久久久久久免费| 国产一区二区三区在线臀色熟女| 亚洲一区高清亚洲精品| 超碰成人久久| 在线观看一区二区三区| 男女之事视频高清在线观看| 亚洲av电影不卡..在线观看| 少妇熟女aⅴ在线视频| 欧美av亚洲av综合av国产av| 免费人成视频x8x8入口观看| 国产成人啪精品午夜网站| 黄色成人免费大全| 欧美黑人欧美精品刺激| 国产欧美日韩一区二区精品| 国产激情偷乱视频一区二区| 欧美+亚洲+日韩+国产| 丝袜美腿诱惑在线| 熟女少妇亚洲综合色aaa.| 亚洲欧美精品综合一区二区三区| 日本精品一区二区三区蜜桃| 18禁黄网站禁片午夜丰满| 91在线观看av| 又粗又爽又猛毛片免费看| 欧美日韩乱码在线| 国产精品久久电影中文字幕| 国产精品亚洲一级av第二区| 变态另类丝袜制服| xxxwww97欧美| 欧美不卡视频在线免费观看 | 婷婷丁香在线五月| 久热爱精品视频在线9| АⅤ资源中文在线天堂| 99热6这里只有精品| 国产伦一二天堂av在线观看| 国产主播在线观看一区二区| 男人的好看免费观看在线视频 | 老汉色av国产亚洲站长工具| 午夜激情福利司机影院| 不卡av一区二区三区| 在线永久观看黄色视频| 欧美日韩一级在线毛片| 欧美乱码精品一区二区三区| www日本黄色视频网| 毛片女人毛片| 亚洲男人的天堂狠狠| 9191精品国产免费久久| 免费看a级黄色片| 中亚洲国语对白在线视频| xxx96com| 国产三级中文精品| av视频在线观看入口| 国产又黄又爽又无遮挡在线| 不卡一级毛片| 亚洲九九香蕉| 日韩欧美在线二视频| 女同久久另类99精品国产91| 国产精品久久久人人做人人爽| 国产亚洲av嫩草精品影院| 亚洲av成人一区二区三| 国产主播在线观看一区二区| 国产欧美日韩一区二区精品| 欧美高清成人免费视频www| 日韩精品免费视频一区二区三区| 精品欧美国产一区二区三| 欧美日本视频| 国产蜜桃级精品一区二区三区| 好男人在线观看高清免费视频| 国产亚洲精品综合一区在线观看 | 成人av在线播放网站| 亚洲一区二区三区不卡视频| 国产蜜桃级精品一区二区三区| 亚洲人成电影免费在线| 在线观看舔阴道视频| 他把我摸到了高潮在线观看| 狂野欧美白嫩少妇大欣赏| 婷婷亚洲欧美| 哪里可以看免费的av片| 国产单亲对白刺激| 黑人巨大精品欧美一区二区mp4| 久久久久久国产a免费观看| 欧美一级毛片孕妇| 欧美三级亚洲精品| 91av网站免费观看| 观看免费一级毛片| 亚洲真实伦在线观看| 午夜福利视频1000在线观看| 9191精品国产免费久久| 他把我摸到了高潮在线观看| 久久久精品国产亚洲av高清涩受| 国产精品一区二区三区四区免费观看 | 日韩欧美一区二区三区在线观看| 免费看十八禁软件| 亚洲国产日韩欧美精品在线观看 | 一级毛片精品| 嫩草影视91久久| 免费看十八禁软件| 看黄色毛片网站| 国产私拍福利视频在线观看| 最新在线观看一区二区三区| 变态另类成人亚洲欧美熟女| 国产一区二区三区在线臀色熟女| 国产av一区在线观看免费| 中文亚洲av片在线观看爽| 欧美性猛交╳xxx乱大交人| 久久午夜综合久久蜜桃| 欧美日本亚洲视频在线播放| 欧美成人一区二区免费高清观看 | 天天一区二区日本电影三级| 天堂√8在线中文| 精品久久久久久成人av| www.自偷自拍.com| 欧美成人一区二区免费高清观看 | 99国产精品一区二区三区| 亚洲av成人av| 欧美另类亚洲清纯唯美| 大型黄色视频在线免费观看| 欧美成人一区二区免费高清观看 | 国产伦一二天堂av在线观看| 日韩欧美三级三区| www国产在线视频色| 我的老师免费观看完整版| 大型av网站在线播放| 淫妇啪啪啪对白视频| 中文字幕人成人乱码亚洲影| 国产亚洲av嫩草精品影院| 成人永久免费在线观看视频| 亚洲av美国av| 狂野欧美激情性xxxx| 亚洲成人久久性| 亚洲国产精品成人综合色| 看黄色毛片网站| 亚洲男人天堂网一区| 中出人妻视频一区二区| 精华霜和精华液先用哪个| 99re在线观看精品视频| 麻豆成人午夜福利视频| 在线十欧美十亚洲十日本专区| 国产精品久久久人人做人人爽| 真人一进一出gif抽搐免费| 又黄又粗又硬又大视频| 亚洲,欧美精品.| 人妻久久中文字幕网| 午夜视频精品福利| 精品久久久久久久末码| 免费在线观看成人毛片| 国内精品一区二区在线观看| 午夜福利免费观看在线| 美女扒开内裤让男人捅视频| 亚洲欧美激情综合另类| 日韩中文字幕欧美一区二区| 搡老妇女老女人老熟妇| 一区二区三区国产精品乱码| 久久香蕉国产精品| 窝窝影院91人妻| www.999成人在线观看| 欧美大码av| 国产人伦9x9x在线观看| 12—13女人毛片做爰片一| 中亚洲国语对白在线视频| 国产成+人综合+亚洲专区| 国产黄a三级三级三级人| 精品久久久久久久久久久久久| 精华霜和精华液先用哪个| 国产成人一区二区三区免费视频网站| 亚洲精品av麻豆狂野| 三级国产精品欧美在线观看 | 少妇人妻一区二区三区视频| 成年人黄色毛片网站| netflix在线观看网站| 男女床上黄色一级片免费看| 日韩欧美在线二视频| 国产三级中文精品| 好男人在线观看高清免费视频| 久热爱精品视频在线9| 男女之事视频高清在线观看| 国产精品野战在线观看| 亚洲av美国av| 色尼玛亚洲综合影院| 午夜福利在线在线| 一个人免费在线观看电影 | xxxwww97欧美| 免费无遮挡裸体视频| 欧美日韩乱码在线| 男男h啪啪无遮挡| 哪里可以看免费的av片| 日韩欧美国产在线观看| 美女大奶头视频| 亚洲成a人片在线一区二区| 精品电影一区二区在线| 国产精华一区二区三区| 亚洲色图av天堂| 精品免费久久久久久久清纯| 一级毛片高清免费大全| 99精品欧美一区二区三区四区| 国产激情久久老熟女| 美女大奶头视频| 最新在线观看一区二区三区| 亚洲av成人不卡在线观看播放网| 18美女黄网站色大片免费观看| 婷婷亚洲欧美| 大型av网站在线播放| 在线十欧美十亚洲十日本专区| 精品久久久久久久毛片微露脸| 一级毛片女人18水好多| 岛国视频午夜一区免费看| 91大片在线观看| 久久人人精品亚洲av| 日本撒尿小便嘘嘘汇集6| 国产高清视频在线播放一区| 亚洲色图 男人天堂 中文字幕| 中文亚洲av片在线观看爽| 亚洲精品中文字幕一二三四区| 中文字幕高清在线视频| 琪琪午夜伦伦电影理论片6080| 可以在线观看毛片的网站| 男女床上黄色一级片免费看| 午夜久久久久精精品| 香蕉av资源在线| svipshipincom国产片| 亚洲精品久久成人aⅴ小说| 国产成人啪精品午夜网站| 99re在线观看精品视频| 少妇的丰满在线观看| 午夜免费成人在线视频| 午夜老司机福利片| 久久欧美精品欧美久久欧美| 一本久久中文字幕| 久久精品91蜜桃| 青草久久国产| 精品一区二区三区视频在线观看免费| 在线观看午夜福利视频| 麻豆成人av在线观看| 亚洲精华国产精华精| 老司机在亚洲福利影院| 母亲3免费完整高清在线观看| 激情在线观看视频在线高清| 欧美在线一区亚洲| 欧美精品亚洲一区二区| 精品久久久久久久末码| 亚洲精品一卡2卡三卡4卡5卡| 午夜福利在线观看吧| 国产黄片美女视频| 国产精品 国内视频| av福利片在线观看| 亚洲国产精品成人综合色| 白带黄色成豆腐渣| 夜夜爽天天搞| 又紧又爽又黄一区二区| 日本 欧美在线| 国产精品一区二区精品视频观看| 亚洲精华国产精华精| 757午夜福利合集在线观看| 成人午夜高清在线视频| 精品福利观看| 男女视频在线观看网站免费 | 久久中文字幕一级| 99国产精品一区二区三区| 日韩av在线大香蕉| 老熟妇乱子伦视频在线观看| 亚洲精华国产精华精| 一边摸一边做爽爽视频免费| 亚洲成av人片免费观看| 国产99白浆流出| 一级作爱视频免费观看| 999久久久国产精品视频| 国产真实乱freesex| 国内少妇人妻偷人精品xxx网站 | 成人国语在线视频| 国产又色又爽无遮挡免费看| 在线播放国产精品三级| 国内揄拍国产精品人妻在线| 高清在线国产一区| 国产精品一区二区三区四区久久| 日日爽夜夜爽网站| 国产一区二区三区在线臀色熟女| 久久久久久久久中文| 欧美日韩亚洲综合一区二区三区_| 国产精品乱码一区二三区的特点| 久久久久久久精品吃奶| 亚洲精品一卡2卡三卡4卡5卡| 高清毛片免费观看视频网站| 亚洲电影在线观看av| 成人av在线播放网站| 精品人妻1区二区| 久久草成人影院| 婷婷六月久久综合丁香| xxx96com| 国产三级黄色录像| 国产精品亚洲美女久久久| 国产精品 国内视频| 日本黄色视频三级网站网址| 禁无遮挡网站| 久久久久久人人人人人| 午夜激情福利司机影院| 国产精品久久久av美女十八| 国产精品久久电影中文字幕| 久久精品国产亚洲av香蕉五月| 成人18禁高潮啪啪吃奶动态图| 99精品欧美一区二区三区四区| 亚洲人成网站高清观看| 亚洲中文av在线| 看黄色毛片网站| 欧美成人性av电影在线观看| 国产乱人伦免费视频| 男插女下体视频免费在线播放| 两个人的视频大全免费| e午夜精品久久久久久久| 国产真人三级小视频在线观看| www.熟女人妻精品国产| 亚洲熟妇中文字幕五十中出| 黑人操中国人逼视频| 亚洲七黄色美女视频| 中文亚洲av片在线观看爽| 亚洲人成电影免费在线| 亚洲国产精品sss在线观看| 国内久久婷婷六月综合欲色啪| 亚洲熟妇中文字幕五十中出| 欧美高清成人免费视频www| 99国产精品一区二区蜜桃av| 日韩中文字幕欧美一区二区|