• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能時代個人數(shù)據(jù)保護(hù)的困境與出路

    2024-08-17 00:00:00武騰
    現(xiàn)代法學(xué) 2024年4期

    摘 要:人工智能的發(fā)展離不開對大量個人數(shù)據(jù)的處理。只有妥當(dāng)適用《個人信息保護(hù)法》中的目的限制原則和有關(guān)個人知情權(quán)、決定權(quán)的規(guī)則,才能有效保障人工智能安全發(fā)展。目的限制原則包括“兩肢”,一是處理目的自身的限制,二是處理目的對處理方式的限制。目的限制原則與人工智能發(fā)展之間有緊張關(guān)系,面臨適用困境。該原則喪失實效,既會造成最小必要原則等多項原則難以適用,又不利于個人知情權(quán)、決定權(quán)的行使,還易致使個人數(shù)據(jù)交易欠缺自愿性、公平性。我國目的限制原則采用“寬進(jìn)嚴(yán)出”模式,個人數(shù)據(jù)處理者不必將人工智能發(fā)展和應(yīng)用中對個人數(shù)據(jù)的每一步處理活動加以披露,而是應(yīng)分別披露訓(xùn)練機(jī)器學(xué)習(xí)模型、制作用戶標(biāo)簽和畫像、提供個性化服務(wù)等不同處理目的、處理方式,并揭示其各自風(fēng)險。經(jīng)由人工智能制作用戶標(biāo)簽和畫像的,屬于個人數(shù)據(jù)處理活動。該處理活動只有同時包含體現(xiàn)公平價值的設(shè)計,才具有充分的合理性。此外,還應(yīng)構(gòu)建程序性規(guī)則以保障個人能夠以集體的方式行使個人對標(biāo)簽、畫像享有的有限決定權(quán)。

    關(guān)鍵詞:人工智能;個人數(shù)據(jù);目的限制原則;數(shù)據(jù)畫像;個人信息保護(hù)

    中圖分類號:D923 文獻(xiàn)標(biāo)志碼:A

    近年來,我國高度重視推動人工智能發(fā)展。2023年7月24日,中共中央政治局會議提出,“促進(jìn)人工智能安全發(fā)展”。①2023年8月15日起施行的《生成式人工智能服務(wù)管理暫行辦法》第3條強(qiáng)調(diào)“國家堅持發(fā)展和安全并重、促進(jìn)創(chuàng)新和依法治理相結(jié)合的原則”,該辦法對生成式人工智能的安全風(fēng)險作出專門調(diào)整。2023年6月,國際計算機(jī)學(xué)會通過了《關(guān)于開發(fā)、部署和應(yīng)用生成式人工智能技術(shù)的若干原則》,將個人數(shù)據(jù)保護(hù)列為一項主要原則。

    See Principles for the Development, Deployment, and Use of Generative AI Technologies, Association for Computing Machinery, https://www.acm.org/binaries/content/assets/public-policy/ustpc-approved-generative-ai-principles, last visited on June 10, 2024.新一代人工智能的發(fā)展需要利用海量個人數(shù)據(jù),

    個人數(shù)據(jù)是指記錄個人信息的數(shù)據(jù)。在人工智能語境下,不必嚴(yán)格區(qū)分個人數(shù)據(jù)與個人信息。個人數(shù)據(jù)安全是人工智能安全發(fā)展下的重要課題。

    個人數(shù)據(jù)是人工智能的“燃料”,有關(guān)個人數(shù)據(jù)保護(hù)和利用的法律從源頭上影響人工智能行業(yè)的發(fā)展。

    參見汪慶華:《人工智能的法律規(guī)制路徑:一個框架性討論》,載《現(xiàn)代法學(xué)》2019年第2期,第61頁。若嚴(yán)格適用個人數(shù)據(jù)保護(hù)相關(guān)法律,可能阻礙人工智能的發(fā)展。圍繞如何適用目的限制原則和最小必要原則,學(xué)界便產(chǎn)生分歧。有學(xué)者指出,無論在歐盟還是在我國,目的限制原則與必要原則的規(guī)定使得數(shù)據(jù)很難被用于人工智能訓(xùn)練,因為除了極少數(shù)專門采集的個人數(shù)據(jù),絕大部分個人數(shù)據(jù)被收集時,其目的都只和消費等個人目的相關(guān)。

    參見丁曉東:《論人工智能促進(jìn)型的數(shù)據(jù)制度》,載《中國法律評論》2023年第6期,第178頁。有學(xué)者則認(rèn)為,生成式人工智能的算法模型運行時,其技術(shù)發(fā)展訴求不能成為違規(guī)利用個人數(shù)據(jù)的理由,不能過度收集和處理個人數(shù)據(jù),應(yīng)適用最小必要原則使個人權(quán)益受到的限制盡量處于最低水平。

    參見劉艷紅:《生成式人工智能的三大安全風(fēng)險及法律規(guī)制——以ChatGPT為例》,載《東方法學(xué)》2023年第4期,第34-35頁??梢?,學(xué)界對人工智能快速發(fā)展背景下個人數(shù)據(jù)保護(hù)基本原則如何適用存在不同觀點。

    在人工智能發(fā)展實踐中,個人數(shù)據(jù)保護(hù)的基本原則和具體規(guī)則尚未得到全面遵循,個人信息權(quán)益也未受到充分保護(hù)。大力投入人工智能技術(shù)開發(fā)的騰訊,在其《微信隱私保護(hù)指引》介紹了大規(guī)模個人信息處理的情況。該文件第1.34條規(guī)定:“我們可能將通過某些功能所收集的信息用于我們的其他服務(wù)。例如,我們可能將你在使用我們某一功能或服務(wù)時我們收集的信息,在另一功能或服務(wù)中用于向你或你的好友提供特定內(nèi)容,包括但不限于展示廣告(你可以通過‘我—設(shè)置—個人信息與權(quán)限—個性化廣告管理’管理微信為你提供的個性化廣告)?!?/p>

    參見《微信隱私保護(hù)指引》(2023年11月10日更新),https://weixin.qq.com/cgi-bin/readtemplate?t=weixin_agreement&s=privacy&cc=CN,2024年5月13日訪問。此處關(guān)于處理目的、處理方式的描述十分抽象難懂。該規(guī)定列出的主要示例是,“基于特征標(biāo)簽進(jìn)行間接人群畫像并提供更加精準(zhǔn)和個性化的服務(wù)和內(nèi)容”。制作特征標(biāo)簽、進(jìn)行人群畫像和提供個性化服務(wù)等活動被壓縮在一條示例之中,處理目的就落腳于個性化推薦。如此一來,前面的活動似乎僅僅是個性化推薦的一部分,用戶可以通過個性化廣告服務(wù)的管理進(jìn)行自主選擇,其個人信息權(quán)益似乎已經(jīng)得到周全照顧。然而,即使用戶關(guān)閉了微信中的個性化廣告服務(wù),其個人信息仍會被大規(guī)模收集和加工,其標(biāo)簽和畫像仍然會被制作,個人決定權(quán)的行使范圍十分有限。

    其實,訓(xùn)練機(jī)器學(xué)習(xí)模型、制作標(biāo)簽和畫像、個性化推薦是三項不同的活動。三者并非在技術(shù)上必然同時發(fā)生,而是人工智能商業(yè)化應(yīng)用的不同步驟,各個步驟對個人權(quán)益有不同的影響,個人可以行使的權(quán)利范圍也有所不同。實踐中已經(jīng)暴露出的問題包括:其一,個人數(shù)據(jù)處理目的透明度低,機(jī)器學(xué)習(xí)訓(xùn)練、制作標(biāo)簽和畫像等基本上被掩蓋在個性化推薦這一目的之下,僅僅作為個性化推薦的前置條件被提及,不具有明確性;其二,制作標(biāo)簽和畫像等處理目的合理性不充分,基本上依附于個性化推薦的合理性,而未顯示出其自身的合理性;其三,在人工智能商業(yè)化應(yīng)用中,用戶很難獲知其標(biāo)簽究竟包括什么、是否準(zhǔn)確,也很難修改。用戶即使拒絕個性化推薦,也無力影響企業(yè)對標(biāo)簽、畫像的制作??傊?,無論是《中華人民共和國個人信息保護(hù)法》(以下簡稱《個人信息保護(hù)法》)第6條中的目的限制原則,還是該法有關(guān)個人知情權(quán)、個人決定權(quán)的規(guī)則,在實踐中尚未得到全面遵循,進(jìn)而未彰顯出其本應(yīng)具有的增加人工智能透明性、可解釋性和保障個人自主決定權(quán)的功效。

    《個人信息保護(hù)法》是有關(guān)個人數(shù)據(jù)保護(hù)和利用的基礎(chǔ)性法律。該法生效后,以人工智能大模型為代表的人工智能發(fā)展浪潮迎面而來。該法的適用不僅在理論上存有分歧,在實踐中也面臨較大挑戰(zhàn)。有必要研究該法規(guī)定的目的限制原則能否、如何有效適用于人工智能發(fā)展活動,該法規(guī)定的個人知情權(quán)規(guī)則、個人決定權(quán)規(guī)則能否、如何適用于個人標(biāo)簽、畫像的制作活動。

    一、人工智能發(fā)展中個人數(shù)據(jù)保護(hù)的困境

    在人工智能發(fā)展中,個人數(shù)據(jù)保護(hù)的困境主要體現(xiàn)在兩個方面,一是目的限制原則及相關(guān)原則的適用陷入困境,難以發(fā)揮實際功效;二是個人信息權(quán)益的實現(xiàn)面臨較大困境,個人知情權(quán)規(guī)則、個人決定權(quán)規(guī)則在個人標(biāo)簽、畫像制作過程中未得到

    有效適用。

    (一)目的限制原則適用面臨的困境

    目的限制原則是國內(nèi)外個人數(shù)據(jù)保護(hù)法普遍接受的基本原則。在20世紀(jì)70年代美國行政部門提出的公平信息實踐原則中,區(qū)分目的特定原則(purpose specification)與使用限制原則(use limitation)。在經(jīng)濟(jì)合作與發(fā)展組織(以下簡稱經(jīng)合組織)《隱私保護(hù)和個人數(shù)據(jù)跨境流通指南》(1980年發(fā)布,2013年修正)

    Recommendation of the Council concerning Guidelines governing the Protection of Privacy and Transborder Flows of Personal Data \,OECD, https://legalinstruments.oecd.org/public/doc/114/114.en.pdf, last visited on June 10, 2024.和歐洲《有關(guān)個人數(shù)據(jù)自動化處理中個人保護(hù)的公約》(以下簡稱《108號公約》)

    Convention for the Protection of Individuals with regard to Automatic Processing of Personal Data, The Council of Europe, https://rm.coe.int/1680078b37, last visited on June 10, 2024.中,同樣區(qū)分目的特定原則與使用限制原則。歐盟2016年《通用數(shù)據(jù)保護(hù)條例》

    Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation). See Official Journal of the European Union, L 119/1.將目的限制與使用限制統(tǒng)一作出規(guī)定。在歐盟法中,目的限制原則包括兩部分內(nèi)容:一是收集目的必須特定、明確和正當(dāng);二是使用不得與上述目的不相兼容,從而確立了目的限制原則的所謂“兩肢”。

    《個人信息保護(hù)法》第6條內(nèi)容豐富,國內(nèi)學(xué)者針對目的限制原則的內(nèi)涵及其與最小必要原則的關(guān)系提出不同意見。有的認(rèn)為,該法第6條規(guī)定的目的原則相當(dāng)于歐盟法上的目的限制原則和數(shù)據(jù)最小化原則。

    參見張新寶:《個人信息處理的基本原則》,載《中國法律評論》2021年第5期,第22頁。有的認(rèn)為,該法第6條第1款規(guī)定了目的限制原則的三個層次,第2款關(guān)于數(shù)據(jù)最小化原則的規(guī)定則是目的限制原則與必要原則在個人信息收集環(huán)節(jié)的體現(xiàn)。

    參見程嘯:《論我國個人信息保護(hù)法的基本原則》,載《國家檢察官學(xué)院學(xué)報》2021年第5期,第10-13頁。有的認(rèn)為,該法第6條確立了目的限定原則,是比例原則中適當(dāng)性與必要性原則的混合。

    參見申衛(wèi)星:《論個人信息保護(hù)與利用的平衡》,載《中國法律評論》2021年第5期,第30-31頁。還有的認(rèn)為,該法第6條第1款規(guī)定了目的性原則與必要性原則。

    參見龍衛(wèi)球主編:《中華人民共和國個人信息保護(hù)法釋義》,中國法制出版社2021年版,第24頁??傊鄶?shù)意見認(rèn)為,《個人信息保護(hù)法》第6條第1款是目的限制原則的主要依據(jù),且該款規(guī)定與最小必要原則有密切聯(lián)系。本文認(rèn)為,一方面,應(yīng)采用“兩肢法”界定目的限制原則;另一方面,應(yīng)區(qū)分目的限制原則與最小必要原則。目的限制原則包括兩方面內(nèi)容,一是處理目的自身的限制,即處理目的必須明確、合理;二是處理目的對處理方式的限制,即處理方式與處理目的必須直接相關(guān)。至于《個人信息保護(hù)法》第6條中有關(guān)“采取對個人權(quán)益影響最小的方式”“收集限于最小范圍”等規(guī)定,屬于對處理方式所作的具體要求,雖然需要結(jié)合處理目的來加以判斷,但明顯具有相對獨立性,適宜將其作為最小必要原則的內(nèi)容。

    之所以區(qū)分目的限制原則與最小必要原則,主要基于以下考慮:第一,目的限制原則與最小必要原則各有側(cè)重,前者側(cè)重于處理目的的屬性,以及目的所產(chǎn)生的拘束力,后者側(cè)重于處理方式的內(nèi)容,以及處理方式是否超出最小范圍或者帶來不合比例的后果;第二,對于目的、手段以及兩者之間的關(guān)聯(lián),只有分層次考察,才便于劃定處理行為的邊界,才有助于準(zhǔn)確適用法律。

    如前所述,互聯(lián)網(wǎng)企業(yè)發(fā)布的隱私政策大多會對個人信息處理目的予以介紹,但是有關(guān)處理目的的介紹往往層次不清、易生歧義。在司法實踐中,有的人民法院在圍繞個人數(shù)據(jù)處理行為是否符合法律規(guī)定進(jìn)行審理時,尚未根據(jù)目的限制原則進(jìn)行說理。在“陳某訴北京百度網(wǎng)訊科技有限公司個人信息保護(hù)糾紛案”

    參見湖北省黃岡市中級人民法院(2021)鄂11民終3136號民事判決書。中,百度公司既經(jīng)營搜索引擎,又經(jīng)營貼吧,搜索引擎中有關(guān)搜索記錄的個人信息被用在貼吧產(chǎn)品中,用于個性化推薦。該案焦點問題之一是,上述有關(guān)搜索記錄信息的處理是否符合法律規(guī)定。人民法院認(rèn)為,“一個公司基于其開發(fā)產(chǎn)品而獲得的用戶信息屬于公司重要資產(chǎn),其有權(quán)在合理限度內(nèi)在其其他產(chǎn)品中積極使用。同時,百度公司就百度平臺產(chǎn)品設(shè)置了綜合性的隱私政策平臺,對于搜索記錄這類僅反映用戶一般偏好的信息而言,將其遷移至關(guān)聯(lián)產(chǎn)品中予以使用的行為并未超出一般社會認(rèn)知的合理期待,即未超出對用戶信息的合理使用限度”。參見湖北省黃岡市中級人民法院(2021)鄂11民終3136號民事判決書。其實,搜索記錄中很可能包含個人不希望在社交中為他人所知悉的興趣、需求,如果可以不經(jīng)過個人同意,便用于其他產(chǎn)品之中,尤其是應(yīng)用到具有社交屬性的場景中,可能超出公眾的合理期待。搜索記錄被廣泛商業(yè)化應(yīng)用,可能直接威脅個人隱私的核心領(lǐng)域。人民法院在處理這類糾紛時,應(yīng)當(dāng)充分認(rèn)識并發(fā)揮目的限制原則的功效。

    盡管在該案審理之時《個人信息保護(hù)法》尚未生效,該案二審法院已經(jīng)結(jié)合《個人信息保護(hù)法(草案)》(第二次審議稿)對涉案信息是否構(gòu)成個人信息予以認(rèn)定;其未認(rèn)識到目的限制原則的重要作用,實屬遺憾。根據(jù)目的限制原則的指引,處理這類糾紛的應(yīng)然路徑是先查明企業(yè)在處理搜索記錄信息時是否將個人信息處理目的予以明確化,再判斷該處理目的是否具有充分的合理性,最后判斷將搜索記錄用于其他產(chǎn)品中并開展個性化推薦是否為實現(xiàn)該處理目的所必需。

    目的限制原則缺少實際功效的根源,在于其與人工智能發(fā)展之間具有深層次的緊張關(guān)系。傳統(tǒng)個人數(shù)據(jù)保護(hù)法的主要宗旨是限制個人數(shù)據(jù)的處理,并使其對數(shù)據(jù)主體透明。為此,需要使個人數(shù)據(jù)處理的各個單獨階段對數(shù)據(jù)主體保持透明,并獲得數(shù)據(jù)主體的同意。

    參見\尼古拉斯·馬奇:《人工智能與數(shù)據(jù)保護(hù)的基本權(quán)利:為技術(shù)創(chuàng)新和創(chuàng)新保護(hù)打開大門》,李輝譯,載彭誠信主編:《人工智能與法律的對話2》,上海人民出版社2020年版,第39頁。目的限制原則、最小必要原則、透明原則等均是以此理念為基礎(chǔ),協(xié)力促使上述目標(biāo)實現(xiàn)。

    人工智能的快速發(fā)展卻給上述目標(biāo)的實現(xiàn)帶來嚴(yán)峻挑戰(zhàn)?,F(xiàn)代意義上的人工智能(artificial intelligence,簡稱AI)誕生于1956年的達(dá)特茅斯人工智能大會,人工智能研究和應(yīng)用的主要目的是,讓人造的機(jī)器能開展本來只有依靠人之智慧才能開展的活動。

    參見\瑞恩·艾伯特:《理性機(jī)器人:人工智能未來法治圖景》,張金平、周睿雋譯,上海人民出版社2021年版,第29頁。人工智能主流模型有二,一種是符號主義或者經(jīng)典邏輯,又被稱為老好人人工智能(Good Old-Fashioned AI),機(jī)器根據(jù)人編寫好的特定處理規(guī)則處理特定問題;另一種是聯(lián)結(jié)主義或者人工神經(jīng)網(wǎng)絡(luò),人并未事先編寫特定處理規(guī)則,而主要由機(jī)器根據(jù)訓(xùn)練的數(shù)據(jù)自行發(fā)現(xiàn)特定處理規(guī)則。

    參見\瑞恩·艾伯特:《理性機(jī)器人:人工智能未來法治圖景》,張金平、周睿雋譯,上海人民出版社2021年版,第37頁。近年來,計算機(jī)、互聯(lián)網(wǎng)等技術(shù)迅速發(fā)展,聯(lián)結(jié)主義風(fēng)頭正盛。

    各種人工智能類型及相關(guān)流派的發(fā)展演變,參見\瑪格麗特·博登:《AI:人工智能的本質(zhì)與未來》,孫詩惠譯,中國人民大學(xué)出版社2017年版,第8-23頁。算力、算法、數(shù)據(jù)成為人工智能蓬勃發(fā)展的主要推動力量。在三者之中,數(shù)據(jù)是算法的燃料,因為只有依靠海量數(shù)據(jù),才能訓(xùn)練算法,從而發(fā)展更高級的人工智能。成功的大型互聯(lián)網(wǎng)企業(yè)都會運用智能技術(shù)從海量個人數(shù)據(jù)中“挖掘知識”,以滿足客戶的個性化需要。不過,計算機(jī)技術(shù)專家早已指出,數(shù)據(jù)挖掘是數(shù)據(jù)收集之后典型的二次性目的(secondary purpose);由于從數(shù)據(jù)中挖掘知識具有“探索性質(zhì)”(exploratory nature),所以幾乎不可能事先知道什么該挖掘,什么不該挖掘。

    See Jiawei Han & Micheline Kamber, Data Mining: Concepts and Techniques, Elsevier, 2006, p. 679.當(dāng)前人工智能發(fā)展的主流模式之一是機(jī)器學(xué)習(xí),在無監(jiān)督學(xué)習(xí)的情況下,即使是開發(fā)機(jī)器學(xué)習(xí)的程序員也難以理解人工智能獲得結(jié)果的全部過程;依法規(guī)范每一步數(shù)據(jù)處理的想法與這種“黑箱”的現(xiàn)實格格不入。

    參見\尼古拉斯·馬奇:《人工智能與數(shù)據(jù)保護(hù)的基本權(quán)利:為技術(shù)創(chuàng)新和創(chuàng)新保護(hù)打開大門》,李輝譯,載彭誠信主編:《人工智能與法律的對話2》,上海人民出版社2020年版,第40頁。如果將每一次數(shù)據(jù)收集、每一步數(shù)據(jù)處理都按照目的限制原則的要求予以披露,并獲得個人的同意,會給人工智能發(fā)展帶來巨大的成本乃至不確定性。有意見認(rèn)為,嚴(yán)格適用目的限制原則不利于對個人數(shù)據(jù)的利用。

    參見朱榮榮:《個人信息保護(hù)“目的限制原則”的反思與重構(gòu)——以〈個人信息保護(hù)法〉第6條為中心》,載《財經(jīng)法學(xué)》2022年第1期,第18頁。有意見甚至認(rèn)為,在人工智能時代應(yīng)當(dāng)削弱甚至放棄目的限制原則,因為這一原則以及傳統(tǒng)的個人數(shù)據(jù)保護(hù)理念起源于20世紀(jì)70年代,已經(jīng)無法對人工智能技術(shù)進(jìn)步作出充分回應(yīng)。

    參見\尼古拉斯·馬奇:《人工智能與數(shù)據(jù)保護(hù)的基本權(quán)利:為技術(shù)創(chuàng)新和創(chuàng)新保護(hù)打開大門》,李輝譯,載彭誠信主編:《人工智能與法律的對話2》,上海人民出版社2020年版,第41頁。

    然而,目的限制原則在個人數(shù)據(jù)保護(hù)法中處于“基石”地位,其他原則大多奠定在目的限制原則這一基礎(chǔ)之上。如果嚴(yán)重削弱甚至放棄目的限制原則,那么最小必要原則、透明原則、質(zhì)量原則等諸多原則也會難以適用,從而出現(xiàn)個人數(shù)據(jù)保護(hù)多項原則一并失效的后果。其一,目的原則喪失功效造成最小必要原則適用困難。在目的限制原則喪失實際功效的情況下,處理目的往往不明確、不特定。如此一來,就難以判斷處理方式是否與處理目的直接相關(guān),也無從判斷收集范圍是否最小化、給個人權(quán)益造成的不利影響是否最小化。

    參見武騰:《最小必要原則在平臺處理個人信息實踐中的適用》,載《法學(xué)研究》2021年第6期,第74頁。其二,目的限制原則喪失功效意味著透明原則未被遵循。根據(jù)《個人信息保護(hù)法》第7條規(guī)定,個人信息處理者應(yīng)向個人告知處理目的、處理方式等,只有目的本身足夠“透明”,滿足個人充分知情之需,才能符合透明原則的要求。目的限制原則喪失功效意味著透明原則根本未得到貫徹。其三,目的限制原則喪失功效造成質(zhì)量原則適用困難?!秱€人信息保護(hù)法》第8條規(guī)定:“處理個人信息應(yīng)當(dāng)保證個人信息的質(zhì)量,避免因個人信息不準(zhǔn)確、不完整對個人權(quán)益造成不利影響。”在個人信息處理目的不明確的情況下,其所需要的個人信息的準(zhǔn)確度、完整度也難以確定。只有將處理目的明確揭示出來,才能基于該目的判斷所收集的數(shù)據(jù)是否足夠準(zhǔn)確、足夠完整,是否已經(jīng)及時更新??傊瑐€人數(shù)據(jù)保護(hù)的各原則之間雖然重心有所不同,但彼此關(guān)聯(lián)緊密,拋棄目的限制原則或者放任其喪失實際功效,將造成個人數(shù)據(jù)保護(hù)的諸多原則均無法發(fā)揮作用。

    (二)個人信息權(quán)益實現(xiàn)面臨的困境

    《個人信息保護(hù)法》第44條規(guī)定,個人對其個人信息處理享有知情權(quán)、決定權(quán),有權(quán)限制或者拒絕他人對其個人信息進(jìn)行處理。知情權(quán)、決定權(quán)是個人在個人信息處理活動中的“基礎(chǔ)性、概括性”權(quán)利。

    參見楊合慶主編:《中華人民共和國個人信息保護(hù)法釋義》,法律出版社2022年版,第113頁。知情是決定的前提,決定是知情的目的。告知規(guī)則、查閱復(fù)制規(guī)則、解釋說明規(guī)則等主要體現(xiàn)了知情權(quán)的要求,更正補充規(guī)則、刪除規(guī)則、可攜帶規(guī)則等主要體現(xiàn)了決定權(quán)的要求。這些規(guī)則中的具體權(quán)利具有工具性、手段性特點,其功能是幫助實現(xiàn)個人的自我決定,維護(hù)人格自主發(fā)展。自我決定是民法和憲法中的一般原則,自我決定原則是私法自治的組成部分,在意思表示瑕疵等領(lǐng)域有十分廣泛的體現(xiàn)。

    參見\托馬斯·M. J. 默勒斯:《法學(xué)方法論》(全本·第6版),杜志浩譯,北京大學(xué)出版社2022年版,第511頁。不過,私法自治中“永恒存在的是權(quán)力配置不均衡時常會危及私法自治的矛盾”。

    \維爾納·弗盧梅:《法律行為論》,遲穎譯,法律出版社2013年版,第11頁。在一方當(dāng)事人的自主決定權(quán)被事實上剝奪時,就需要通過強(qiáng)制性規(guī)定來加強(qiáng)對該方當(dāng)事人的保護(hù),以矯正權(quán)力配置不均衡。向個人賦予個人信息相關(guān)各項權(quán)利,就是為了幫助實現(xiàn)個人自主決定。

    個人信息權(quán)益本質(zhì)上是一種維護(hù)自主決定的人格權(quán)益。

    有意見認(rèn)為,個人信息權(quán)利體系包括指向個人信息初次分配秩序的個人信息決定權(quán)和指向個人信息交換處理秩序的知情權(quán)、攜帶權(quán)。參見蕭鑫:《個人信息權(quán)的分析與建構(gòu)》,載《法學(xué)研究》2023年第6期,第73頁。一方面,個人信息相關(guān)各項權(quán)利有憲法上的加持,能夠?qū)耶a(chǎn)生效力。

    參見王錫鋅:《國家保護(hù)視野中的個人信息權(quán)利束》,載《中國社會科學(xué)》2021年第11期,第115頁。另一方面,個人信息權(quán)益具有民事權(quán)益屬性,能夠?qū)λ饺水a(chǎn)生效力。當(dāng)處理個人信息的企業(yè)未依法履行告知義務(wù)、更正義務(wù)、刪除義務(wù)等義務(wù)時,個人可依據(jù)《個人信息保護(hù)法》第50條第2款訴請人民法院判決該企業(yè)履行上述行為義務(wù)。

    依據(jù)《個人信息保護(hù)法》第14條第1款,基于個人同意處理個人信息的,該同意應(yīng)當(dāng)由個人在充分知情的前提下自愿、明確作出。個人知情權(quán)規(guī)則具有基礎(chǔ)地位,知情權(quán)的有效實現(xiàn)是個人行使其他權(quán)利的前提。

    然而,在有關(guān)人工智能發(fā)展的個人數(shù)據(jù)處理中,并非所有企業(yè)都向個人清楚告知了處理目的、處理方式以及相關(guān)風(fēng)險。有的智能產(chǎn)品企業(yè)在披露其處理個人語音數(shù)據(jù)的目的時往往采用比較模糊的表述,讓人難以理解其處理方式,也難以獲知個人權(quán)益遭受侵犯的風(fēng)險。百度對話式人工智能操作系統(tǒng)隱私政策中提到,其會利用“語音信息進(jìn)行模型訓(xùn)練”,如果用戶參加所謂“語音交互改進(jìn)計劃”,機(jī)器會“額外收集您在喚醒設(shè)備的過程中所產(chǎn)生的不超過10秒的語音信息(截至設(shè)備被喚醒),并且與您發(fā)出的語音指令一起用于模型訓(xùn)練,同時會在您結(jié)束交互后等待更長的時間(例如0.5秒)?!?/p>

    參見《DuerOS隱私政策》(2024年3月22日更新),https://xiaodu.baidu.com/webssr/protocol?id=e02b4c0b-79f8-4cf1-a2ff-1b2aca3c40a2,2024年5月13日訪問。然而,該隱私政策并未清楚告知其基于訓(xùn)練模型處理個人數(shù)據(jù)的范圍多大、風(fēng)險如何。第一,所謂“額外收集您在喚醒設(shè)備的過程中所產(chǎn)生的不超過10秒的語音信息(截至設(shè)備被喚醒)”時間范圍不清晰。只要智能設(shè)備周圍出現(xiàn)語音聊天,就可能被識別為處在喚醒設(shè)備的“過程”中,設(shè)備便會持續(xù)不斷收集若干段語音信息,從而構(gòu)成對語音數(shù)據(jù)的大范圍收集以及對隱私的侵犯。第二,“結(jié)束交互”的時間也不清晰,很多用戶在結(jié)束與智能設(shè)備的交流之后并不會明確發(fā)出關(guān)機(jī)指令,這就會出現(xiàn)雖然用戶認(rèn)為交互已經(jīng)結(jié)束,但是設(shè)備仍在持續(xù)不斷收集語音數(shù)據(jù)的情形。第三,結(jié)束交互后等待的時間范圍也不清晰。在該隱私政策中,0.5秒僅是一個示例,而不是其承諾的最長等待時間。即使在交互結(jié)束之后,設(shè)備也可能等待更長的時間以收集數(shù)據(jù)??梢姡捎谡Z音數(shù)據(jù)收集范圍的不確定,人工智能活動可能存在超范圍收集個人數(shù)據(jù)乃至侵犯隱私的風(fēng)險。

    同樣常見的是,企業(yè)沒有根據(jù)個人數(shù)據(jù)的類型、處理方式,保障個人行使決定權(quán)。人工智能容易受到偏見的影響,為減少或消除歧視,須慎重制作用戶標(biāo)簽,因為標(biāo)簽是影響預(yù)測質(zhì)量和預(yù)測偏見的關(guān)鍵因素,仔細(xì)選擇標(biāo)簽可以讓我們在最大限度降低風(fēng)險的同時享受算法預(yù)測的好處。

    參見\阿杰伊·阿格拉沃爾等:《權(quán)力與預(yù)測:人工智能的顛覆性經(jīng)濟(jì)學(xué)》,何凱譯,中信出版社2024年版,第275頁。企業(yè)在利用個人數(shù)據(jù)添加特征標(biāo)簽、制作用戶畫像時,應(yīng)謹(jǐn)慎考察標(biāo)簽?zāi)芊窨陀^、公平地反映個人的特征,給個人以查詢、更正、刪除部分個人特征標(biāo)簽的機(jī)會。但在實踐中,個人基本沒有機(jī)會查詢標(biāo)簽和畫像,更沒有機(jī)會行使決定權(quán)。例如,建設(shè)銀行很早便開發(fā)智慧銀行,“將個人客戶畫像標(biāo)簽歸納為七大類:基礎(chǔ)信息、信用與風(fēng)險、金融行為、非金融行為、聯(lián)系情況、渠道特征、客戶分析,共計2229種標(biāo)簽”,

    參見劉筱攸、張雪囡:《智慧銀行:兩千多個標(biāo)簽為客戶精準(zhǔn)畫像》,http://www.ccb.com/cn/ccbtoday/jhbkhb/20181009_1539072441.html,2024年5月13日訪問。而用戶通過建設(shè)銀行應(yīng)用程序中“我的畫像”只能查詢到極少的標(biāo)簽。

    個人信息權(quán)益難以實現(xiàn),還會造成個人數(shù)據(jù)交易缺乏自愿性和公平性。如果個人對交易目的、交易標(biāo)的物等內(nèi)容不知情,甚至存在誤解,個人在參與數(shù)據(jù)流通交易時必然缺少真正的自愿,也難以保障個人數(shù)據(jù)交易的公平性。在實踐中,大規(guī)模個人數(shù)據(jù)處理目的經(jīng)常被表述為“提升用戶體驗”“改善服務(wù)質(zhì)量”。在交易關(guān)系中,顯然無法將“接受服務(wù)”認(rèn)定為個人所付出的代價,而只能將其理解為個人所獲得的利益。實際上,個人數(shù)據(jù)本身便是發(fā)展人工智能的燃料,只有借助這些燃料,企業(yè)才有可能改善機(jī)器學(xué)習(xí)模型、算法。當(dāng)個人同意企業(yè)處理大規(guī)模個人數(shù)據(jù),從而幫助企業(yè)訓(xùn)練機(jī)器學(xué)習(xí)模型、改善商業(yè)決策時,個人所提供的對價并非財產(chǎn),而是勞務(wù)。原因是,個人同意企業(yè)處理的個人數(shù)據(jù)并非小規(guī)模數(shù)據(jù),而是不間斷產(chǎn)生的大規(guī)模數(shù)據(jù),大規(guī)模個人數(shù)據(jù)的實時提供具有人身專屬性,該活動與人格尊嚴(yán)的距離很近,故不適合將個人持續(xù)提供大規(guī)模個人數(shù)據(jù)定性為個人提供財產(chǎn),而適合將其定性為個人提供勞務(wù)。

    參見武騰:《個人信息積極利用的類型區(qū)分與合同構(gòu)造》,載《法學(xué)》2023年第6期,第70頁。只有將大規(guī)模個人數(shù)據(jù)處理的主要目的——利用海量數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型、制作用戶標(biāo)簽和畫像等予以單獨披露,才能揭示上述交易目的和交易性質(zhì)。

    二、人工智能發(fā)展中目的限制原則的靈活適用

    《個人信息保護(hù)法》有關(guān)目的限制原則的規(guī)定采用“寬進(jìn)嚴(yán)出”模式,這一模式有助于容納人工智能發(fā)展的需要,同時要求將人工智能相關(guān)目的全面披露。只要對目的限制原則予以靈活適用,便有助于在保護(hù)個人信息權(quán)益與促進(jìn)人工智能發(fā)展之間實現(xiàn)平衡。

    (一)“寬進(jìn)嚴(yán)出”模式下應(yīng)明確披露人工智能各層處理目的

    在歐盟法中,目的限制原則實行“嚴(yán)進(jìn)寬出”模式。

    參見梁澤宇:《個人信息保護(hù)中目的限制原則的解釋與適用》,載《比較法研究》2018年第5期,第20頁。所謂“嚴(yán)進(jìn)”,是指處理目的必須具有特定性,無論處理何種類型的個人數(shù)據(jù),處理目的都必須具體、特定。所謂“寬出”,是指對處理方式與處理目的的關(guān)聯(lián)性采用“相兼容”(compatible)標(biāo)準(zhǔn)。至于是否“相兼容”,需要在具體案件中進(jìn)行判斷。2022年10月20日,歐盟法院在C-77/21號判決

    See Document 62021CJ0077,https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A62021CJ0077, last visited on June 10, 2024.中指出,個人數(shù)據(jù)控制者、處理者應(yīng)當(dāng)確保最初收集個人數(shù)據(jù)的目的與進(jìn)一步處理的目的之間存在具體、合理和足夠緊密的聯(lián)系,并且確保進(jìn)一步的處理不會偏離數(shù)據(jù)主體對進(jìn)一步使用其數(shù)據(jù)的合理期待。

    與之形成對照的是,我國目的限制原則實行“寬進(jìn)嚴(yán)出”模式?!秱€人信息保護(hù)法》第6條第1款只要求處理目的明確、合理,而未要求“目的特定”。結(jié)合該法第28條第2款

    依據(jù)該款,只有在具有特定的目的和充分的必要性,并采取嚴(yán)格保護(hù)措施的情形下,個人信息處理者才可以處理敏感個人信息。進(jìn)行體系解釋,特定性并不是目的限制原則的一般性要求,而只是對敏感個人信息的特別要求。同時,在處理方式的相關(guān)性方面,該法第6條第1款規(guī)定了“直接相關(guān)”,從而僅包括與處理目的具有高度緊密聯(lián)系的處理方式。處理方式與處理目的越疏遠(yuǎn),越難以被初始目的所涵蓋,對個人信息的后續(xù)處理越容易被認(rèn)定為是出于另外的目的,此時只能交由目的變更規(guī)則來調(diào)整。可見,我國目的限制原則允許目的具有一定的寬泛性,而在處理方式與處理目的之間的關(guān)聯(lián)性上,強(qiáng)調(diào)關(guān)聯(lián)的直接性、高度緊密性。

    在“寬進(jìn)嚴(yán)出”模式下,處理目的特定性要求有所緩和,處理者可以將具有較大彈性的內(nèi)容納入其明確表示的處理目的中。不過,處理方式與處理目的之間的“直接相關(guān)性”意味著,必須將處理目的盡可能全面、完整地披露出來。如果披露不夠全面、完整,那么后續(xù)處理行為即使是技術(shù)上、商業(yè)上通常所需要的,也可能因為欠缺與處理目的之間的“直接相關(guān)性”而缺乏合法性基礎(chǔ)。

    在人工智能發(fā)展和應(yīng)用中,訓(xùn)練機(jī)器學(xué)習(xí)模型、制作標(biāo)簽和畫像均是有相對獨立性的活動,兩者雖然與個性化推薦緊密相關(guān),但是并不能被納入后者之中。即使用戶拒絕接受個性化推薦服務(wù),其個人數(shù)據(jù)也已經(jīng)被用于訓(xùn)練機(jī)器學(xué)習(xí)模型,其用戶標(biāo)簽和畫像也往往已經(jīng)被制作完成,而且會被持續(xù)用于與其他用戶數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析,進(jìn)而程度不同地影響到自身。在處理目的不夠明確、內(nèi)容不夠完整的情況下,人工智能處理個人數(shù)據(jù)的活動便“不易察覺”“不可干預(yù)”。

    按照目的明確之要求,人工智能各層次處理目的必須以通俗易懂的方式清楚表達(dá)、解釋出來。而且,目的的明確最遲不得晚于個人數(shù)據(jù)收集活動發(fā)生之時。明確性要求是為了確保目的在其意義或者意圖層面不模糊、不易生歧義,不帶來理解上的疑問或者困難。

    See Article 29 Data Protection Working Party, Opinion 03/2013 on Purpose Limitation, European Commission, https://ec.europa.eu/justice/article-29/documentation/opinion-recommendation/files/2013/wp203_en.pdf, last visited on June 10, 2024.明確性的判斷主體不是個人數(shù)據(jù)處理者,而是個人數(shù)據(jù)處理的所有相關(guān)主體。只有處理目的具有明確性,才有助于透明性、可預(yù)期性的實現(xiàn),才有助于避免或者減少數(shù)據(jù)主體的期待與個人數(shù)據(jù)控制者的期待之間產(chǎn)生不一致。

    See Article 29 Data Protection Working Party, Opinion 03/2013 on Purpose Limitation, European Commission, https://ec.europa.eu/justice/article-29/documentation/opinion-recommendation/files/2013/wp203_en.pdf, last visited on June 10, 2024.經(jīng)合組織《隱私保護(hù)和個人數(shù)據(jù)跨境流通指南》指出,“明確化”的方式靈活多樣,無論采取何種方式都必須滿足“有質(zhì)量”和“一致性”的要求。

    See Article 29 Data Protection Working Party, Opinion 03/2013 on Purpose Limitation, European Commission, https://ec.europa.eu/justice/article-29/documentation/opinion-recommendation/files/2013/wp203_en.pdf, last visited on June 10, 2024.企業(yè)在基于發(fā)展人工智能的目的處理個人數(shù)據(jù)時,如果對處理目的的內(nèi)容沒有完整披露,或者所表達(dá)的內(nèi)容層次混亂、充滿歧義,其便可能違反明確性要求,需要承擔(dān)不利的法律后果。

    在違反目的明確要求的情況下,個人數(shù)據(jù)處理者不能按照其主觀意愿或者單方解釋結(jié)論來決定其處理目的。必須重新解釋其表達(dá)出來的處理目的,對其真實的處理目的加以實質(zhì)審查。此時,應(yīng)當(dāng)適用或類推適用格式條款規(guī)則中的不利解釋規(guī)則。

    依據(jù)《民法典》第498條第2句,對格式條款有兩種以上解釋的,應(yīng)當(dāng)作出不利于提供格式條款一方的解釋。亦即,當(dāng)出現(xiàn)兩種以上有關(guān)處理目的的解釋結(jié)論時,應(yīng)當(dāng)采用對個人數(shù)據(jù)處理者不利的解釋結(jié)論。例如,在涉及人工智能發(fā)展的隱私政策中,有的企業(yè)將訓(xùn)練機(jī)器學(xué)習(xí)模型等隱含在個性化推薦目的之后。由此可能有兩種解釋結(jié)論:(1)只有為了實現(xiàn)個性化推薦,機(jī)器學(xué)習(xí)模型訓(xùn)練才是符合處理目的的;(2)無論是否為了實現(xiàn)個性化推薦,機(jī)器學(xué)習(xí)模型訓(xùn)練本身便當(dāng)然符合處理目的。鑒于存在不同解釋結(jié)論,mmSyMObiGyYcAjJIXK+9ULHqcrdVxJS8P5UqS03w1NQ=一般應(yīng)采取不利于隱私政策格式條款提供方的解釋結(jié)論。

    (二)只有滿足目的合理性要求才能實現(xiàn)“智能向善”

    目的限制原則還要求處理目的具有合理性或正當(dāng)性。歐盟《通用數(shù)據(jù)保護(hù)條例》第5條第1款b項規(guī)定處理目的必須是正當(dāng)?shù)模╨egitimate),該正當(dāng)性是指符合所有可適用的數(shù)據(jù)保護(hù)法以及其他可適用的法律。換言之,“正當(dāng)”是廣義上的合法,是指符合所有成文法、判例法,既包括具體規(guī)則,又包括法律原則。伴隨科學(xué)技術(shù)的發(fā)展、社會經(jīng)濟(jì)的進(jìn)步,正當(dāng)性的內(nèi)涵也會發(fā)生改變。

    See Article 29 Data Protection Working Party, Opinion 03/2013 on Purpose Limitation, European Commission, https://ec.europa.eu/justice/article-29/documentation/opinion-recommendation/files/2013/wp203_en.pdf, last visited on June 10, 2024.

    我國《個人信息保護(hù)法》第6條第1款中的處理目的合理性與歐盟法上的正當(dāng)性相似。要判斷合理性,必須在具體的法律關(guān)系中,綜合考慮個案中的全部情形,權(quán)衡各種相互沖突的利益,得出妥當(dāng)結(jié)論。結(jié)合《個人信息保護(hù)法》第13條第1款第2項以下規(guī)定來說,只要具備一些重要的合法性基礎(chǔ),就可以同時滿足形式合法和實質(zhì)正當(dāng)?shù)囊?。比如,緊急情況下為保護(hù)個人的生命健康處理其個人信息的,處理目的具有充分的合理性。又如,為了增進(jìn)企業(yè)與其客戶之間的商業(yè)聯(lián)系處理個人信息的,處理目的也可謂具有一定合理性。不過,如果收集個人信息是為了挖掘出可能有用的知識,其合理性便不夠充分,需要添加其他因素以補強(qiáng)合理性。

    發(fā)展人工智能的目的是否具有充分的合理性?對此無法簡單地作出肯定回答。人工智能帶來的既有機(jī)遇,也有挑戰(zhàn)和風(fēng)險。如果從企業(yè)的角度來看,為增強(qiáng)市場預(yù)測能力、高效反饋能力而發(fā)展人工智能,無可非議。但在提高預(yù)測能力、改善商業(yè)決策的過程中,人工智能也可能帶來侵害個人隱私、生成虛假信息等風(fēng)險。近來,世界主要國家提出在全球治理中應(yīng)堅持“智能向善”(AI for good)的宗旨。

    參見《中華人民共和國和法蘭西共和國關(guān)于人工智能和全球治理的聯(lián)合聲明》,載《人民日報》2024年5月7日,第3版。無論是訓(xùn)練機(jī)器學(xué)習(xí)模型,還是制作用戶標(biāo)簽,其本身尚不符合實質(zhì)正當(dāng)性的要求,也就是說,其并非當(dāng)然是一件“好事”。只有在發(fā)展人工智能過程中加入體現(xiàn)利益平衡和倫理道德的設(shè)計,才能使人工智能活動成為一項具有實質(zhì)正當(dāng)性的活動。在人工智能商業(yè)化應(yīng)用中,如果其主要目的是通過制作標(biāo)簽和畫像給用戶分組,那么,只有在該目的同時包含追求公平等價值時,處理目的才有較充分的合理性。

    綜上,為了保障人工智能安全發(fā)展,應(yīng)將人工智能應(yīng)用中各層次目的清晰披露出來。為使各層次處理目的具備足夠的合理性,必須將倫理因素嵌入其中。尤其是,在標(biāo)簽、畫像等制作過程中必須反映公認(rèn)的價值觀,以使其具有公平性、非歧視性,并尊重人格尊嚴(yán)。

    三、人工智能活動及其風(fēng)險的單獨告知

    歐洲《108號公約》委員會在2019年通過了一份指南,為人工智能發(fā)展中的數(shù)據(jù)保護(hù)等問題提供指引。對于可能影響個人和社會的人工智能應(yīng)用程序,特別是用于決策作出過程的人工智能應(yīng)用程序,該公約要求,在研發(fā)和采用之時必須以保護(hù)人的尊嚴(yán)、維護(hù)人權(quán)和基本自由為核心關(guān)切,尤須注重保護(hù)個人數(shù)據(jù)。

    See the Committee of the Convention for the Protection of Individuals with regards to Processing of Personal Data (Convention 108), Guidelines on Artificial Intelligence and Data Protection (adopted on 25 January 2019), Council of Europe, https://rm.coe.int/2018-lignes-directrices-sur-l-intelligence-artificielle-et-la-protecti/168098e1b7, last visited on June 10, 2024.歐盟《人工智能法案》第5條規(guī)定了不可接受的人工智能實踐,這些實踐活動大多侵犯人的基本權(quán)利。例如,采用惡意操縱或欺騙的技術(shù),損害人的知情決定權(quán),使人作出給自身帶來重大損害的決策。

    See Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act),

    European, Council, https://data.consilium.europa.eu/doc/document/PE-24-2024-INIT/en/pdf, last visited on June 9, 2024.只有將人工智能活動及其相關(guān)風(fēng)險予以單獨告知,才能保障個人知情權(quán)的實現(xiàn)。

    第一,企業(yè)處理個人信息的目的主要體現(xiàn)在隱私政策、用戶協(xié)議等文件中,此時不應(yīng)該將訓(xùn)練機(jī)器學(xué)習(xí)模型、制作標(biāo)簽和畫像等內(nèi)容掩蓋在“提供個性化服務(wù)”“改善服務(wù)體驗”背后。訓(xùn)練機(jī)器學(xué)習(xí)模型、制作用戶標(biāo)簽和畫像、提供個性化服務(wù)等三方面內(nèi)容分別屬于三項相互獨立、相互關(guān)聯(lián)的活動。個人在上述三個層面所能行使的決定權(quán)也有所不同。個人依據(jù)《個人信息保護(hù)法》第24條第2款可以較為自由地拒絕個性化推薦,但只能在有限范圍內(nèi)對標(biāo)簽和畫像行使決定權(quán),也難以限制企業(yè)利用已經(jīng)合法收集的個人數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型。換言之,即使個人拒絕某一場景下的個性化服務(wù),其個人數(shù)據(jù)仍然可能被用于訓(xùn)練機(jī)器學(xué)習(xí)模型,其用戶標(biāo)簽和畫像仍然可能生成。因此,人工智能技術(shù)發(fā)展和應(yīng)用中存在不同層次的個人數(shù)據(jù)處理目的,必須通過專門方式加以告知,確保個人清楚知悉其廣泛的個人數(shù)據(jù)可能被用于不同處理目的,也使個人了解是否存在不可預(yù)見乃至不可控的風(fēng)險。

    第二,在沒有明確告知相關(guān)處理目的、處理方式的情況下,處理行為便沒有獲得個人的真正同意,這類處理活動便缺少合法性基礎(chǔ)。人臉識別是人工智能的應(yīng)用之一。在有的案件中,企業(yè)在安裝人臉識別系統(tǒng)后,公示用途為“視頻安全巡查”,而未告知其處理目的主要是判斷消費者是屬于何種類型的客戶(如是否近期到訪),該企業(yè)的行為構(gòu)成不當(dāng)使用個人信息。

    參見江蘇省蘇州市姑蘇區(qū)人民法院(2022)蘇0508民初5316號民事判決書。企業(yè)在基于人工智能發(fā)展或應(yīng)用目的處理個人數(shù)據(jù)時,如果未告知相關(guān)處理目的和處理方式,造成個人無法清晰認(rèn)識到該處理活動的性質(zhì)以及相關(guān)風(fēng)險,便缺少處理個人數(shù)據(jù)的合法性基礎(chǔ),個人可以要求企業(yè)停止基于人工智能相關(guān)目的處理個人數(shù)據(jù)。為避免出現(xiàn)這種情況,制作用戶標(biāo)簽、測算用戶未來行為趨勢等人工智能發(fā)展應(yīng)用中的處理目的須在隱私政策中予以專門披露。此外,人工智能活動通常涉及到對敏感個人數(shù)據(jù)的處理(如智能音箱可能處理聲紋數(shù)據(jù)),根據(jù)《個人信息保護(hù)法》第29條和第30條規(guī)定,應(yīng)當(dāng)向個人告知處理敏感個人信息的必要性以及對個人權(quán)益的影響,并獲得單獨同意。

    第三,應(yīng)當(dāng)向個人告知人工智能技術(shù)發(fā)展和應(yīng)用中個人數(shù)據(jù)處理的“風(fēng)險”類型與內(nèi)容,而非每一個處理步驟。當(dāng)前,人工智能技術(shù)經(jīng)常由“自我學(xué)習(xí)”(self-learning)機(jī)制驅(qū)動,在自我學(xué)習(xí)過程中即使是程序員也未必知道數(shù)據(jù)到底經(jīng)過何種組合、如何被權(quán)衡和使用。中國人工智能學(xué)會發(fā)布的《中國人工智能系列白皮書——大模型技術(shù)(2023版)》指出,大模型基于深度神經(jīng)網(wǎng)絡(luò),為黑盒模型,其工作機(jī)理仍難以理解。

    參見中國人工智能學(xué)會網(wǎng)站,https://www.caai.cn/index.php?s=/home/article/detail/id/3172.html,2024年6月20日訪問。

    在實踐中,將個人數(shù)據(jù)處理的每一個步驟告知個人,既不現(xiàn)實也不必要。反之,應(yīng)該對數(shù)據(jù)處理系統(tǒng)及其場景進(jìn)行總體審視,評估其是否會帶來超乎尋常的抽象危險(abstract danger),從而在保護(hù)個人數(shù)據(jù)的前提下為人工智能技術(shù)發(fā)展留下空間。

    See Ralf Poscher, Artificial Intelligence and the Right to Data Protection, https://www.cambridge.org/core/services/aop-cambridge-core/content/view/26AB000E713FBF3BDB89067C23B118F1/9781009207867c16_281-289.pdf/artificial_intelligence_and_the_right_to_data_protection.pdf, last visited on July 18, 2023.概言之,有必要將評估之后發(fā)現(xiàn)的個人數(shù)據(jù)處理相關(guān)“風(fēng)險”類型與內(nèi)容告知個人。

    其實,面對日益復(fù)雜的算法,“透明性”與“準(zhǔn)確性”之間并非截然對立的關(guān)系。所謂算法越準(zhǔn)確,透明度就越低的觀點,只適用于設(shè)計精確的游戲或其他類似的穩(wěn)定環(huán)境,而不適用于充滿不確定性的環(huán)境。有的研究人員在開發(fā)有關(guān)預(yù)測貸款違約的人工智能時,采用了易于理解的軟件,并加入可視化技術(shù),其開發(fā)的人工智能不僅透明,而且在預(yù)測貸款違約方面,與深度神經(jīng)網(wǎng)絡(luò)和其他復(fù)雜的黑盒子模型一樣準(zhǔn)確。

    參見\格爾德·吉仁澤:《失控與自控》,何文忠等譯,中信出版社2024年版,第169-171頁。人工智能商業(yè)化應(yīng)用的場景是充滿不確定性的場景,未來努力的方向應(yīng)該是,在金融、零售、就業(yè)等各種充滿不確定性的場景中,增強(qiáng)人工智能對個人數(shù)據(jù)使用的透明性、可解釋性,一方面,滿足保護(hù)個人知情權(quán)的要求,另一方面,有助于檢驗人工智能是否存在偏見。

    《個人信息保護(hù)法》不僅規(guī)定了個人知情權(quán)規(guī)則,還規(guī)定了個人決定權(quán)相關(guān)規(guī)則,包括更正權(quán)、補充權(quán)、刪除權(quán)等。在個人數(shù)據(jù)處理過程中,個人決定權(quán)的行使容易被局限在“收集”環(huán)節(jié)。因為嚴(yán)格地說,處理過程中的中間數(shù)據(jù)乃至最終評價數(shù)據(jù),未必是可以識別到特定自然人的個人數(shù)據(jù)。

    See Sandra Wachter & Brent Mittelstadt, A Right to Reasonable Inferences: Re-Thinking Data Protection Law in the Age of Big Data and AI, 2019 Columbia Business Law Review 494, 617 (2019).如此一來,在人工智能應(yīng)用過程中大部分個人決定權(quán)難有用武之地。然而,這種調(diào)整模式會給個人數(shù)據(jù)保護(hù)帶來巨大挑戰(zhàn)。既然人工智能有可能削弱人的自主決定,帶來操縱、歧視、信息繭房等后果,就應(yīng)該在一定范圍內(nèi)適用個人決定權(quán)規(guī)則。

    四、人工智能商業(yè)化應(yīng)用中個人決定權(quán)的集體行使

    個人決定權(quán)主要是指個人有權(quán)選擇、限制、拒絕他人處理其個人信息,具體包括對個人信息處理的同意和撤回同意、更正、刪除、拒絕等權(quán)利。

    參見張新寶主編:《〈中華人民共和國個人信息保護(hù)法〉釋義》,人民出版社2021年版,第351-352頁;程嘯:《個人信息保護(hù)法理解與適用》,中國法制出版社2021年版,第332-334頁。個人決定權(quán)不僅指向限制處理或拒絕他人處理個人信息的權(quán)利,更在宏觀上反映著個人控制信息的理念。參見姚佳:《個人信息主體的權(quán)利體系——基于數(shù)字時代個體權(quán)利的多維觀察》,載《華東政法大學(xué)學(xué)報》2022年第2期,第95-96頁。人工智能商業(yè)化應(yīng)用的主要方式是,經(jīng)由機(jī)器處理海量個人數(shù)據(jù),對不同用戶添加標(biāo)簽、制作畫像,然后針對其個人特征提供個性化服務(wù)。有疑問的是,個人是否可以拒絕企業(yè)制作標(biāo)簽和畫像?鑒于標(biāo)簽和畫像并非針對某個特定自然人制作,而是針對“一組”自然人制作,

    參見趙精武:《用戶標(biāo)簽的法律性質(zhì)與治理邏輯》,載《現(xiàn)代法學(xué)》2022年第6期,第102頁。個人能否、如何行使更正權(quán)、限制使用權(quán)等權(quán)利?

    (一)人工智能形成的用戶標(biāo)簽、畫像屬于個人數(shù)據(jù)

    所謂由機(jī)器貼標(biāo)簽,是指根據(jù)用戶消費行為中的文本、圖片、視頻等數(shù)據(jù),機(jī)器自動學(xué)習(xí)出用戶興趣、喜好等,并用不同的標(biāo)簽對用戶予以分類標(biāo)記。對用戶標(biāo)簽和消費行為標(biāo)簽進(jìn)行雙向匹配,形成精細(xì)化用戶畫像,本質(zhì)上是將不同自然人的思考模式、行為模式作出區(qū)分。需要探討的是,對于這些標(biāo)簽數(shù)據(jù)、畫像數(shù)據(jù),個人能否、如何基于個人信息權(quán)益行使權(quán)利。

    歐盟《通用數(shù)據(jù)保護(hù)條例》第13條至第15條、第21條至第22條等規(guī)定了個人對數(shù)據(jù)畫像及相關(guān)邏輯程序的知情權(quán)、反對權(quán)。與之相比,我國《個人信息保護(hù)法》第24條第3款有關(guān)自動化決策的規(guī)定中,未詳細(xì)規(guī)定個人有權(quán)要求個人信息處理者說明的對象。

    該款規(guī)定:“通過自動化決策方式作出對個人權(quán)益有重大影響的決定,個人有權(quán)要求個人信息處理者予以說明,并有權(quán)拒絕個人信息處理者僅通過自動化決策的方式作出決定?!卑凑樟⒎C(jī)關(guān)工作人員的意見,說明的對象包括自動化決策使用的個人信息種類、自動化決策的基本原理和邏輯機(jī)制,以及可能對個人產(chǎn)生的不利影響等。

    參見楊合慶主編:《中華人民共和國個人信息保護(hù)法釋義》,法律出版社2022年版,第74頁。對于數(shù)據(jù)畫像,并未包含在說明范圍內(nèi),更未包含在拒絕范圍之內(nèi)。也就是說,《個人信息保護(hù)法》第24條第3款僅允許個人拒絕單純基于自動化決策作出的決定,并未規(guī)定個人可以在一定范圍內(nèi)拒絕數(shù)據(jù)畫像。

    與立法中的“粗線條”設(shè)計不同,行業(yè)實踐必然朝著精細(xì)化的方向探索。2022年3月1日起施行的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第17條第2款規(guī)定,算法推薦服務(wù)提供者應(yīng)當(dāng)向用戶提供選擇或者刪除用于算法推薦服務(wù)的針對其個人特征的用戶標(biāo)簽的功能。2023年8月發(fā)布的國家標(biāo)準(zhǔn)《信息安全技術(shù) 基于個人信息的自動化決策安全要求》(征求意見稿)第10.3條規(guī)定,在特定自動化決策中,個人信息處理者應(yīng)當(dāng)設(shè)立相關(guān)機(jī)制,以便個人選擇或者刪除用于算法推薦服務(wù)的個人特征標(biāo)簽。

    參見全國網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會網(wǎng)站,https://www.tc260.org.cn/front/bzzqyjDetail.html?id=20230818163540&norm_id=20221102151633&recode_id=52619,2024年6月20日訪問。

    上述規(guī)定有助于實現(xiàn)個人對“特征標(biāo)簽”的知情、自主選擇或刪除。只不過,有必要探討其背后的法理基礎(chǔ)和法律依據(jù)。

    數(shù)據(jù)畫像的目標(biāo)是實現(xiàn)“深度個性化”“精細(xì)分組”,對消費者個人生活“360度全景式洞察”。

    See Andrew J. McClurg, A Thousand Words Are Worth a Picture: A Privacy Tort Response to Consumer Data Profiling, 98 Northwestern University Law Review 63, 68 (2003).從市場營銷角度看,只有不斷深入探明消費者購買決策的影響因素,企業(yè)才能提供適銷對路的產(chǎn)品或服務(wù)?;诘乩淼?、人口的、行為的、心理的等因素對市場進(jìn)行劃分,是市場細(xì)分的重要工作。

    See Barrie Gunter, The Psychology of Consumer Profiling in a Digital Age, Routledge, 2016, p. 7.對消費者所在位置、所屬組群、慣常行為、內(nèi)在心理進(jìn)行探究,是企業(yè)開展市場營銷必然采取的行動。制作標(biāo)簽、畫像本質(zhì)上是由機(jī)器對自然人分組,人工智能正在推動上述目標(biāo)迅速實現(xiàn)。雖然標(biāo)簽和畫像通常不是針對特定個人專門制作,而是針對特定群體制作,但是只有在制作標(biāo)簽、畫像過程中適用個人決定權(quán)規(guī)則,才能夠?qū)崿F(xiàn)個人信息保護(hù)法的規(guī)范目的。

    第一,由諸多特征標(biāo)簽組成的畫像數(shù)據(jù)一般屬于推斷型數(shù)據(jù)。在實踐中,個性化標(biāo)簽包括多重維度、多個類目,具體內(nèi)容包括性別、居住地、年齡階段、職業(yè)類型、婚育狀況、子女年齡段、自有住房及房貸情況、銀行卡數(shù)量及種類、經(jīng)常旅游地、通信套餐、通勤距離等。

    參見任寅姿、季樂樂:《標(biāo)簽類目體系:面向業(yè)務(wù)的數(shù)據(jù)資產(chǎn)設(shè)計方法論》,機(jī)械工業(yè)出版社2021年版,第149-159頁。即使自然人的姓名、身份證號碼等信息被刪除,覆蓋面廣泛的標(biāo)簽所構(gòu)成的畫像也足以全面揭示出其自然狀況和社會地位。個人特征的高度透明化,是人工智能深度商業(yè)化應(yīng)用的結(jié)果。

    歐盟《通用數(shù)據(jù)保護(hù)條例》序言第72段提到,畫像活動適用該條例有關(guān)個人數(shù)據(jù)處理的規(guī)則,包括個人數(shù)據(jù)保護(hù)的各項原則。

    See Sandra Wachter & Brent Mittelstadt, A Right to Reasonable Inferences: Re-Thinking Data Protection Law in the Age of Big Data and AI, 2019 Columbia Business Law Review 494, 617 (2019).這意味著,畫像行為其實是個人數(shù)據(jù)處理行為。畫像數(shù)據(jù)是結(jié)合了其他人的數(shù)據(jù)以及匿名化數(shù)據(jù),經(jīng)過關(guān)聯(lián)之后產(chǎn)生的,其可用于識別特定自然人。

    企業(yè)完全有能力通過添加數(shù)據(jù),對用戶畫像所關(guān)聯(lián)的個人進(jìn)行識別,對此不乏實例。See Andrew J. McClurg, A Thousand Words Are Worth a Picture: A Privacy Tort Response to Consumer Data Profiling, 98 Northwestern University Law Review 63, 83-84 (2003).畫像越精準(zhǔn),畫像數(shù)據(jù)可識別性越強(qiáng)。因此,畫像數(shù)據(jù)通常屬于記錄個人特征信息的數(shù)據(jù)。

    第二,對于記錄自然人個人特征信息的畫像數(shù)據(jù),盡管企業(yè)享有一定財產(chǎn)權(quán)益,

    參見武騰:《數(shù)據(jù)資源的合理利用與財產(chǎn)構(gòu)造》,載《清華法學(xué)》2023年第1期,第161頁。仍應(yīng)該保障個人在一定范圍內(nèi)行使個人信息權(quán)益。商業(yè)秘密等企業(yè)財產(chǎn)權(quán)益與消費者人格權(quán)益之間關(guān)系的協(xié)調(diào),完全不是新問題。

    商業(yè)秘密保護(hù)與隱私保護(hù)之間經(jīng)常存在緊張關(guān)系。參見吳漢東:《知識產(chǎn)權(quán)法》,法律出版社2021年版,第651、656頁。企業(yè)的商業(yè)秘密權(quán)益旨在排除其他經(jīng)營者的不當(dāng)利用行為,而不能排除個人正當(dāng)行使權(quán)利;只要存在個人的在先權(quán)益,其仍然受到個人權(quán)益的限制。

    對于數(shù)據(jù)畫像,歐盟《通用數(shù)據(jù)保護(hù)條例》第21條、第22條等規(guī)定個人有反對權(quán)。在美國,有意見認(rèn)為應(yīng)該賦予個人“受到合理推斷”的權(quán)利,對于具有高風(fēng)險性和低可驗證性的推斷型數(shù)據(jù),應(yīng)該在事前告知和事后異議兩個方面增強(qiáng)個人的權(quán)利。

    See Sandra Wachter & Brent Mittelstadt, A Right to Reasonable Inferences: Re-Thinking Data Protection Law in the Age of Big Data and AI, 2019 Columbia Business Law Review 494, 614 (2019). 在我國也有必要承認(rèn)此類權(quán)利。在人工智能應(yīng)用過程中,個人就其“如何被看待”有權(quán)發(fā)言和采取行動,這類權(quán)利體現(xiàn)了個人信息保護(hù)法的規(guī)范目的。

    第三,從精準(zhǔn)營銷、增強(qiáng)用戶粘性等角度看,對消費者個人形象進(jìn)行全息刻畫對現(xiàn)代企業(yè)具有重要意義。只不過,既然上述活動屬于個人數(shù)據(jù)處理活動,就應(yīng)當(dāng)具有合理的處理目的。處理目的具有合理性不能僅基于企業(yè)的角度作出判斷,還必須考慮消費者的人格權(quán)益以及社會公共利益。個人在接受各類私人服務(wù)和公共服務(wù)時,標(biāo)簽、畫像是其受到區(qū)別對待的關(guān)鍵因素。用戶標(biāo)簽、數(shù)據(jù)畫像因而是數(shù)字人格、數(shù)字身份的具體表現(xiàn)。添加標(biāo)簽、制作畫像不可能是純粹技術(shù)中立的活動,而是始終牽涉到人格平等、社會公正。只有添加合理標(biāo)簽、制作合理畫像,才可謂合理的個人數(shù)據(jù)處理活動。

    (二)個人決定權(quán)的集體行使及其限度

    鑒于標(biāo)簽、畫像通常是群體型個人數(shù)據(jù),且是企業(yè)加工后的衍生數(shù)據(jù),個人決定權(quán)規(guī)則只能在有限范圍內(nèi)適用于這類數(shù)據(jù),且在有的場合適合以集體行動的方式行使權(quán)利。

    第一,在效力內(nèi)容方面,個人決定權(quán)一般局限于更正權(quán)、補充權(quán)、限制使用權(quán)等,而不包括隨時撤回同意、可攜帶權(quán)等。在適用范圍方面,更正權(quán)通常適用于具有高度敏感性的標(biāo)簽或者畫像部分,補充權(quán)通常適用于標(biāo)簽、畫像的使用會給個人權(quán)益帶來重大影響的場合,限制使用權(quán)通常適用于個人權(quán)益受損風(fēng)險高的場景。在行使更正權(quán)、補充權(quán)時,個人應(yīng)當(dāng)對標(biāo)簽本身的不準(zhǔn)確、不客觀、不公平等予以說明,并根據(jù)具體情況提供必要證據(jù)。

    第二,個人可以集體行使權(quán)利,要求降低畫像的精細(xì)度、修改標(biāo)簽內(nèi)容。個人要求降低畫像的精細(xì)度,本質(zhì)上是要求增加對特定自然人識別的難度、降低人身權(quán)益和財產(chǎn)權(quán)益受侵害的風(fēng)險。近年來,大數(shù)據(jù)技術(shù)研發(fā)者越來越重視個人隱私保護(hù),為保護(hù)隱私,發(fā)展出隨機(jī)化方法、k-匿名和l-多樣性方法、分布式隱私保護(hù)方法等。

    參見\韓家煒等:《數(shù)據(jù)挖掘:概念與技術(shù)》,范明等譯,機(jī)械工業(yè)出版社2012年版,第400頁。例如,將標(biāo)簽中的“值”從整數(shù)(如3)修改為區(qū)間(如0-5),便能夠提高對隱私的保護(hù)。個人還可以借助集體行使權(quán)利,要求修改標(biāo)簽內(nèi)容。在標(biāo)簽?zāi)0逯?,有的?biāo)簽名為“貪小便宜”,標(biāo)簽邏輯是“近3個月內(nèi)交易時采用優(yōu)惠券抵扣的行為超過3次”。

    參見任寅姿、季樂樂:《標(biāo)簽類目體系:面向業(yè)務(wù)的數(shù)據(jù)資產(chǎn)設(shè)計方法論》,機(jī)械工業(yè)出版社2021年版,第266頁。該標(biāo)簽制作活動顯然不是純粹技術(shù)中立的,而是屬于對消費者不妥當(dāng)?shù)脑u價。然而,單個個人幾乎不可能就標(biāo)簽設(shè)計向企業(yè)施加影響。未來要推動構(gòu)建平臺內(nèi)個人集體行使權(quán)利的機(jī)制,通過程序性規(guī)則幫助個人發(fā)現(xiàn)歧視性標(biāo)簽以及相關(guān)區(qū)別對待。只有經(jīng)過集體施加反作用力,企業(yè)才會采取措施不斷改善標(biāo)簽和畫像。

    需要指出的是,完全拒絕標(biāo)簽和數(shù)據(jù)畫像相當(dāng)于拒絕類別化,其實就是拒絕了人工智能在商業(yè)中的應(yīng)用。

    參見\馬克·舒?zhèn)惒?、\里克·彼得斯編:《算法社會:技術(shù)、權(quán)力和知識》,王延川、栗鵬飛譯,商務(wù)印書館2023年版,第45頁。這在現(xiàn)實中幾乎不可能實現(xiàn),也未必是值得追求的目標(biāo)。很多應(yīng)用程序中雖然設(shè)置了“開關(guān)”個人性化推薦的按鈕,但是即使關(guān)閉個性化推薦,相關(guān)信息仍然是結(jié)合之前的用戶畫像,基于算法來進(jìn)行推送,并非純粹按照時間先后等自然順序向用戶發(fā)布信息。只有基于客觀、公平、非歧視等原則制作標(biāo)簽、畫像,才可謂合理的個人數(shù)據(jù)處理活動。只有將個人對標(biāo)簽、畫像數(shù)據(jù)的有限決定權(quán)確立起來,才能促進(jìn)企業(yè)在發(fā)展和應(yīng)用人工智能技術(shù)時,強(qiáng)化個人自主決定的機(jī)制設(shè)計,進(jìn)而完善人工智能發(fā)展中的風(fēng)險治理。

    五、結(jié)語

    只要人工智能安全和發(fā)展并重的原則仍然是人工智能治理的基本原則,就應(yīng)該將個人數(shù)據(jù)保護(hù)作為人工智能風(fēng)險治理的主要內(nèi)容之一。靈活適用個人數(shù)據(jù)保護(hù)中的目的限制原則,妥當(dāng)適用個人知情權(quán)規(guī)則、決定權(quán)規(guī)則,有助于發(fā)現(xiàn)和應(yīng)對人工智能帶來的風(fēng)險。特別是,人工智能的開發(fā)者和應(yīng)用者應(yīng)該將訓(xùn)練機(jī)器學(xué)習(xí)模型、制作標(biāo)簽和畫像等不同處理目的、處理方式以及相關(guān)風(fēng)險明確披露出來,這既是保護(hù)個人權(quán)益的必然要求,又是實現(xiàn)人工智能風(fēng)險治理的必要環(huán)節(jié)。未來,根據(jù)人工智能風(fēng)險的類型進(jìn)行區(qū)分治理,在促進(jìn)人工智能相關(guān)科學(xué)技術(shù)發(fā)展的同時,增強(qiáng)人工智能商業(yè)化應(yīng)用中的透明性、合理性,應(yīng)是貫穿人工智能立法的主線。

    欧美zozozo另类| 嫩草影院入口| 国产成人a∨麻豆精品| 美女cb高潮喷水在线观看| 一边摸一边抽搐一进一小说| 色视频www国产| 国产淫语在线视频| 国产老妇女一区| 日韩精品有码人妻一区| 99九九线精品视频在线观看视频| 麻豆av噜噜一区二区三区| 波多野结衣巨乳人妻| 精品一区二区三区人妻视频| 九色成人免费人妻av| 春色校园在线视频观看| av黄色大香蕉| 免费观看在线日韩| 国产私拍福利视频在线观看| 免费观看的影片在线观看| 久久久久久久久久久丰满| 久久久久久久久久成人| 亚洲真实伦在线观看| 色综合站精品国产| 午夜爱爱视频在线播放| 夜夜爽夜夜爽视频| 国产精品久久久久久久电影| 国产成人精品婷婷| 97热精品久久久久久| 免费黄网站久久成人精品| 欧美人与善性xxx| 亚洲真实伦在线观看| 淫秽高清视频在线观看| 国产麻豆成人av免费视频| 免费观看精品视频网站| av.在线天堂| 美女国产视频在线观看| 一区二区三区免费毛片| 内地一区二区视频在线| 岛国毛片在线播放| 日韩中字成人| 欧美xxxx黑人xx丫x性爽| 九九爱精品视频在线观看| 日本熟妇午夜| 人人妻人人澡欧美一区二区| 亚洲av.av天堂| 久久久久久久久久黄片| 99九九线精品视频在线观看视频| av在线天堂中文字幕| 性色avwww在线观看| 午夜精品在线福利| 欧美丝袜亚洲另类| 蜜桃久久精品国产亚洲av| 成人综合一区亚洲| 亚洲国产精品合色在线| 国产爱豆传媒在线观看| 国产免费福利视频在线观看| 国产精品伦人一区二区| 男人狂女人下面高潮的视频| 欧美另类亚洲清纯唯美| 又黄又爽又刺激的免费视频.| 内射极品少妇av片p| 1000部很黄的大片| eeuss影院久久| 国产亚洲最大av| 日韩欧美精品免费久久| 麻豆成人午夜福利视频| 最近的中文字幕免费完整| 精品久久久久久成人av| 国产伦精品一区二区三区四那| 小说图片视频综合网站| 国产午夜福利久久久久久| 日本免费在线观看一区| 亚洲成人精品中文字幕电影| 久久久久久久久久黄片| 97在线视频观看| 一区二区三区四区激情视频| 能在线免费观看的黄片| 18禁动态无遮挡网站| 联通29元200g的流量卡| 伦理电影大哥的女人| 黄片无遮挡物在线观看| 有码 亚洲区| av在线播放精品| 国产人妻一区二区三区在| 免费在线观看成人毛片| 色视频www国产| 又黄又爽又刺激的免费视频.| .国产精品久久| 国产极品天堂在线| 黄片无遮挡物在线观看| 国产成人免费观看mmmm| 成人特级av手机在线观看| 国产黄片视频在线免费观看| 午夜精品在线福利| 女人被狂操c到高潮| 欧美高清性xxxxhd video| 少妇的逼水好多| 亚洲经典国产精华液单| 夫妻性生交免费视频一级片| 国内少妇人妻偷人精品xxx网站| 3wmmmm亚洲av在线观看| 色哟哟·www| 午夜亚洲福利在线播放| 男人和女人高潮做爰伦理| 久久久国产成人精品二区| 男女那种视频在线观看| 欧美日韩国产亚洲二区| 天堂中文最新版在线下载 | 91aial.com中文字幕在线观看| 亚洲伊人久久精品综合 | 久久精品国产亚洲网站| 一卡2卡三卡四卡精品乱码亚洲| 精品久久久久久久久久久久久| 国产成人a区在线观看| 久久人妻av系列| av线在线观看网站| 久久久久久久亚洲中文字幕| 内射极品少妇av片p| 国产淫语在线视频| 内射极品少妇av片p| 边亲边吃奶的免费视频| 久久欧美精品欧美久久欧美| 3wmmmm亚洲av在线观看| 国产成人精品婷婷| 成人无遮挡网站| 99热全是精品| 一卡2卡三卡四卡精品乱码亚洲| 久久人妻av系列| 国语自产精品视频在线第100页| 中文字幕av成人在线电影| 成人高潮视频无遮挡免费网站| 欧美变态另类bdsm刘玥| 三级男女做爰猛烈吃奶摸视频| 两个人的视频大全免费| 亚洲激情五月婷婷啪啪| 国产伦精品一区二区三区视频9| 久久99热这里只频精品6学生 | av线在线观看网站| 成人美女网站在线观看视频| 国产免费又黄又爽又色| 国产熟女欧美一区二区| 婷婷色麻豆天堂久久 | 国产免费又黄又爽又色| 一个人看的www免费观看视频| 欧美日韩在线观看h| 中文字幕熟女人妻在线| 一本久久精品| 欧美成人免费av一区二区三区| 午夜免费男女啪啪视频观看| 色5月婷婷丁香| 两个人的视频大全免费| www.色视频.com| 亚洲内射少妇av| 毛片女人毛片| 晚上一个人看的免费电影| 欧美日本视频| 国产熟女欧美一区二区| 男人舔奶头视频| 亚洲自偷自拍三级| 亚洲四区av| 韩国av在线不卡| 欧美潮喷喷水| www.av在线官网国产| 九九在线视频观看精品| 欧美日韩精品成人综合77777| 床上黄色一级片| 日韩av在线大香蕉| 久久久久网色| 又黄又爽又刺激的免费视频.| av.在线天堂| 九九久久精品国产亚洲av麻豆| 欧美一区二区国产精品久久精品| 国产亚洲av嫩草精品影院| 干丝袜人妻中文字幕| 欧美潮喷喷水| 美女脱内裤让男人舔精品视频| ponron亚洲| 久久精品影院6| 一夜夜www| 国产v大片淫在线免费观看| 亚洲成av人片在线播放无| av在线蜜桃| 国产伦精品一区二区三区视频9| 日韩成人av中文字幕在线观看| 国产亚洲av嫩草精品影院| 乱码一卡2卡4卡精品| 国产高清不卡午夜福利| 黄片wwwwww| 日本猛色少妇xxxxx猛交久久| 亚洲av免费高清在线观看| 级片在线观看| 国产极品精品免费视频能看的| 99久久中文字幕三级久久日本| 卡戴珊不雅视频在线播放| 国产精品国产三级国产专区5o | 欧美一区二区国产精品久久精品| 色视频www国产| 三级经典国产精品| 亚洲国产欧美在线一区| 一级黄片播放器| 亚洲美女搞黄在线观看| 国产精品人妻久久久久久| 国产一级毛片七仙女欲春2| av免费在线看不卡| 2021少妇久久久久久久久久久| 99久国产av精品| 国产午夜精品一二区理论片| 欧美日本亚洲视频在线播放| 亚洲精品国产av成人精品| 日韩强制内射视频| 简卡轻食公司| 最近最新中文字幕大全电影3| 国产黄片美女视频| 成人三级黄色视频| 久久久精品94久久精品| 中文乱码字字幕精品一区二区三区 | 国产伦精品一区二区三区视频9| 日本免费a在线| 久热久热在线精品观看| 小蜜桃在线观看免费完整版高清| 身体一侧抽搐| 久久亚洲精品不卡| 深爱激情五月婷婷| 精品欧美国产一区二区三| 国产淫语在线视频| 国产高潮美女av| 亚洲内射少妇av| 国产淫片久久久久久久久| 别揉我奶头 嗯啊视频| 高清午夜精品一区二区三区| 国产一区二区在线观看日韩| 91精品伊人久久大香线蕉| 男人狂女人下面高潮的视频| 中文字幕久久专区| 我的老师免费观看完整版| 男女国产视频网站| 成人二区视频| 国产成人freesex在线| 搡女人真爽免费视频火全软件| 18禁裸乳无遮挡免费网站照片| 国产精品久久电影中文字幕| 日韩在线高清观看一区二区三区| 国产精品综合久久久久久久免费| 亚洲自偷自拍三级| 日本一二三区视频观看| 国产av一区在线观看免费| 熟女电影av网| 日本午夜av视频| 久久韩国三级中文字幕| 亚洲在线自拍视频| 日本黄大片高清| 爱豆传媒免费全集在线观看| 好男人视频免费观看在线| 国产精品永久免费网站| av天堂中文字幕网| 亚洲18禁久久av| 日韩亚洲欧美综合| 亚洲天堂国产精品一区在线| 九九在线视频观看精品| 欧美日韩精品成人综合77777| 色播亚洲综合网| 久久99热6这里只有精品| 亚洲人成网站在线观看播放| 欧美精品一区二区大全| 男女边吃奶边做爰视频| 51国产日韩欧美| 日本熟妇午夜| 菩萨蛮人人尽说江南好唐韦庄 | 国产单亲对白刺激| 美女脱内裤让男人舔精品视频| 九九热线精品视视频播放| 成年av动漫网址| 欧美最新免费一区二区三区| 搡女人真爽免费视频火全软件| 好男人视频免费观看在线| a级一级毛片免费在线观看| 永久免费av网站大全| 亚洲自偷自拍三级| 亚洲人与动物交配视频| 国产精品.久久久| 热99在线观看视频| 国产精品熟女久久久久浪| 青春草视频在线免费观看| 精品人妻偷拍中文字幕| 一夜夜www| 国产成人a区在线观看| 纵有疾风起免费观看全集完整版 | 免费播放大片免费观看视频在线观看 | 中文精品一卡2卡3卡4更新| 日韩一区二区三区影片| 黄色一级大片看看| 久久亚洲精品不卡| 一本久久精品| 夜夜爽夜夜爽视频| 日日啪夜夜撸| 搡老妇女老女人老熟妇| videos熟女内射| 身体一侧抽搐| 亚洲国产欧美在线一区| 久久精品久久精品一区二区三区| 99热这里只有精品一区| 久久久久久久久久久免费av| 欧美日本亚洲视频在线播放| 搡老妇女老女人老熟妇| 观看免费一级毛片| 亚洲真实伦在线观看| 青青草视频在线视频观看| 如何舔出高潮| 精品一区二区三区人妻视频| 淫秽高清视频在线观看| 中文字幕亚洲精品专区| 国产精品1区2区在线观看.| 亚洲18禁久久av| 国产真实乱freesex| 日韩欧美在线乱码| 汤姆久久久久久久影院中文字幕 | 亚洲欧美精品自产自拍| 我要搜黄色片| 午夜精品一区二区三区免费看| 亚洲精品亚洲一区二区| 欧美zozozo另类| 国产伦精品一区二区三区四那| 在线观看一区二区三区| 97热精品久久久久久| 国产精品不卡视频一区二区| 久久精品夜夜夜夜夜久久蜜豆| 国产精华一区二区三区| 亚洲性久久影院| 九九久久精品国产亚洲av麻豆| 简卡轻食公司| 国产午夜精品论理片| 久久精品国产自在天天线| 插阴视频在线观看视频| 国产精品麻豆人妻色哟哟久久 | 一边亲一边摸免费视频| 亚洲欧美一区二区三区国产| 国产伦在线观看视频一区| 哪个播放器可以免费观看大片| av国产久精品久网站免费入址| 最近最新中文字幕大全电影3| 神马国产精品三级电影在线观看| 男插女下体视频免费在线播放| 秋霞伦理黄片| 少妇人妻一区二区三区视频| 欧美成人一区二区免费高清观看| 久久人妻av系列| 深夜a级毛片| 国产精品熟女久久久久浪| 欧美+日韩+精品| 精品午夜福利在线看| 亚洲国产最新在线播放| 亚洲在线观看片| 久久欧美精品欧美久久欧美| 久久午夜福利片| 看片在线看免费视频| av免费观看日本| 国产淫片久久久久久久久| 国内精品一区二区在线观看| 亚洲一级一片aⅴ在线观看| 最近2019中文字幕mv第一页| 色5月婷婷丁香| 亚洲av.av天堂| 91在线精品国自产拍蜜月| 国产乱来视频区| 成人高潮视频无遮挡免费网站| 欧美一区二区精品小视频在线| 18禁在线播放成人免费| 国产精品久久电影中文字幕| 在线观看av片永久免费下载| 久久精品久久精品一区二区三区| 老师上课跳d突然被开到最大视频| 亚洲乱码一区二区免费版| 春色校园在线视频观看| 91精品一卡2卡3卡4卡| 亚洲18禁久久av| 老司机福利观看| 亚洲欧美精品自产自拍| av在线天堂中文字幕| 中文字幕人妻熟人妻熟丝袜美| 日本与韩国留学比较| 在线免费十八禁| 夜夜看夜夜爽夜夜摸| 久久久久久国产a免费观看| 国产一级毛片在线| 国内精品美女久久久久久| 69人妻影院| 中文在线观看免费www的网站| 亚洲激情五月婷婷啪啪| 99久久无色码亚洲精品果冻| 久久这里有精品视频免费| 亚洲精品日韩av片在线观看| 99久久精品国产国产毛片| 日韩欧美在线乱码| 亚洲一级一片aⅴ在线观看| 日本黄色片子视频| 身体一侧抽搐| 嫩草影院新地址| 国产日韩欧美在线精品| 搡女人真爽免费视频火全软件| 熟女人妻精品中文字幕| 国产精品.久久久| 听说在线观看完整版免费高清| videos熟女内射| 亚洲精品日韩在线中文字幕| 97热精品久久久久久| 久久亚洲国产成人精品v| 国产精品日韩av在线免费观看| 亚洲人成网站在线观看播放| 少妇裸体淫交视频免费看高清| 国产精品99久久久久久久久| 欧美zozozo另类| 国产精品.久久久| av国产久精品久网站免费入址| 夜夜看夜夜爽夜夜摸| 亚洲av免费高清在线观看| 国产精品综合久久久久久久免费| 国产成人aa在线观看| 22中文网久久字幕| 三级毛片av免费| 蜜臀久久99精品久久宅男| 一级av片app| 久久久久精品久久久久真实原创| videos熟女内射| 亚洲国产欧洲综合997久久,| 国产又色又爽无遮挡免| 最近中文字幕高清免费大全6| 久久久久久久久久久免费av| 亚洲最大成人手机在线| 国产爱豆传媒在线观看| 欧美丝袜亚洲另类| 日本色播在线视频| 直男gayav资源| 国产成年人精品一区二区| 国产日韩欧美在线精品| a级毛片免费高清观看在线播放| 国产激情偷乱视频一区二区| 深爱激情五月婷婷| 国产黄片美女视频| 老司机影院成人| 午夜日本视频在线| 亚洲国产成人一精品久久久| 日韩大片免费观看网站 | 亚洲精品成人久久久久久| 亚洲不卡免费看| 黑人高潮一二区| 麻豆一二三区av精品| 久久综合国产亚洲精品| 亚洲成色77777| 午夜福利视频1000在线观看| 日韩av不卡免费在线播放| 久99久视频精品免费| 亚洲av中文av极速乱| 啦啦啦啦在线视频资源| 国产精品久久久久久精品电影| 午夜精品一区二区三区免费看| 亚洲精品国产成人久久av| 伊人久久精品亚洲午夜| 亚洲综合精品二区| 在线观看av片永久免费下载| 久热久热在线精品观看| 日韩欧美国产在线观看| 亚州av有码| 午夜视频国产福利| 欧美激情在线99| 亚洲国产高清在线一区二区三| 国产精品美女特级片免费视频播放器| 精品人妻视频免费看| 久久久久久久久久久丰满| 长腿黑丝高跟| 内射极品少妇av片p| 欧美xxxx黑人xx丫x性爽| 两个人的视频大全免费| 婷婷色av中文字幕| 国内揄拍国产精品人妻在线| 欧美97在线视频| 偷拍熟女少妇极品色| 人人妻人人澡人人爽人人夜夜 | 99热这里只有是精品在线观看| 国产三级在线视频| 99久久成人亚洲精品观看| 国产黄a三级三级三级人| 熟妇人妻久久中文字幕3abv| 一本久久精品| 2022亚洲国产成人精品| 色尼玛亚洲综合影院| 国产成人福利小说| 看免费成人av毛片| 精品欧美国产一区二区三| 人人妻人人澡欧美一区二区| 在线播放国产精品三级| 色综合站精品国产| 看十八女毛片水多多多| 国产老妇伦熟女老妇高清| 中文欧美无线码| 99久久成人亚洲精品观看| 国产亚洲午夜精品一区二区久久 | 欧美变态另类bdsm刘玥| 91久久精品国产一区二区成人| 国产免费福利视频在线观看| 免费看av在线观看网站| 丰满人妻一区二区三区视频av| 久久久欧美国产精品| 99国产精品一区二区蜜桃av| 亚洲av日韩在线播放| 成人鲁丝片一二三区免费| 亚洲av男天堂| 国产精品不卡视频一区二区| videossex国产| 日韩一本色道免费dvd| 老司机福利观看| 亚洲国产欧洲综合997久久,| 亚洲熟妇中文字幕五十中出| 欧美日韩国产亚洲二区| 男插女下体视频免费在线播放| 2022亚洲国产成人精品| 精品久久久久久久久久久久久| 色综合站精品国产| 国产精品一区二区在线观看99 | 非洲黑人性xxxx精品又粗又长| 久久久久精品久久久久真实原创| 成人一区二区视频在线观看| 91在线精品国自产拍蜜月| 永久网站在线| 婷婷色av中文字幕| 国产精品人妻久久久影院| 国产伦一二天堂av在线观看| 一个人观看的视频www高清免费观看| 午夜福利网站1000一区二区三区| 欧美成人免费av一区二区三区| 亚洲av福利一区| 两性午夜刺激爽爽歪歪视频在线观看| 男插女下体视频免费在线播放| 日韩av在线免费看完整版不卡| 亚洲人成网站在线播| 精品久久国产蜜桃| 色5月婷婷丁香| 精品免费久久久久久久清纯| 国产精品.久久久| 亚洲成人久久爱视频| 婷婷色综合大香蕉| 久久精品国产鲁丝片午夜精品| 99久久中文字幕三级久久日本| 麻豆一二三区av精品| 六月丁香七月| 汤姆久久久久久久影院中文字幕 | 秋霞伦理黄片| 国产精品久久久久久av不卡| 午夜日本视频在线| 亚洲天堂国产精品一区在线| 偷拍熟女少妇极品色| 免费观看在线日韩| 久久草成人影院| 天堂√8在线中文| 大香蕉久久网| 少妇人妻精品综合一区二区| 亚洲综合色惰| 国产伦一二天堂av在线观看| 一本一本综合久久| 日本午夜av视频| 成人一区二区视频在线观看| 一个人观看的视频www高清免费观看| 中文字幕av成人在线电影| 国产精品永久免费网站| 欧美性猛交╳xxx乱大交人| 日本免费在线观看一区| 国产精品久久久久久久久免| 日本猛色少妇xxxxx猛交久久| 看十八女毛片水多多多| 一级黄片播放器| 国产精品,欧美在线| 欧美+日韩+精品| 久久久久网色| 亚洲av成人精品一二三区| 午夜免费男女啪啪视频观看| 久久久久九九精品影院| 97人妻精品一区二区三区麻豆| 99热精品在线国产| 亚洲五月天丁香| 免费看a级黄色片| 成人美女网站在线观看视频| 欧美激情在线99| 亚洲精品自拍成人| 真实男女啪啪啪动态图| 91在线精品国自产拍蜜月| 国内少妇人妻偷人精品xxx网站| av线在线观看网站| 久久综合国产亚洲精品| 成人毛片60女人毛片免费| 成年av动漫网址| 久久久精品欧美日韩精品| 亚洲第一区二区三区不卡| 特大巨黑吊av在线直播| 九九热线精品视视频播放| 国产精品久久久久久久电影| 极品教师在线视频| a级毛片免费高清观看在线播放| 中文亚洲av片在线观看爽| 免费看日本二区| 久久久久久国产a免费观看| 人体艺术视频欧美日本| 九九热线精品视视频播放| 欧美日韩一区二区视频在线观看视频在线 | av国产免费在线观看| 麻豆一二三区av精品| 久久久久九九精品影院| 精品久久久久久久久亚洲| 久久久欧美国产精品| 2021少妇久久久久久久久久久| 男人舔女人下体高潮全视频| 在线播放无遮挡| 国产老妇伦熟女老妇高清| 久久久成人免费电影| 伊人久久精品亚洲午夜| 免费黄色在线免费观看| 中文字幕人妻熟人妻熟丝袜美|