• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法世界中規(guī)制數(shù)據(jù)收集與使用的新策略

    2024-01-01 00:00:00黃錦嘉
    海峽法學(xué) 2024年3期
    關(guān)鍵詞:權(quán)利救濟(jì)個(gè)人信息保護(hù)

    摘要:算法與模型的研發(fā)往往基于海量數(shù)據(jù),其中的數(shù)據(jù)收集與使用愈加受到關(guān)注。相較于要求刪除不當(dāng)數(shù)據(jù)的傳統(tǒng)做法,美國聯(lián)邦貿(mào)易委員會(huì)于2019年引入了“放棄算法利益”執(zhí)法措施。放棄算法利益是“放棄非法所得”這一衡平法救濟(jì)方式的現(xiàn)代應(yīng)用場景之一,其源自聯(lián)邦貿(mào)易委員會(huì)監(jiān)管“欺騙性行為”的執(zhí)法權(quán)限,旨在防止企業(yè)基于不當(dāng)數(shù)據(jù)獲利。放棄算法利益可補(bǔ)救“算法陰影”的影響、強(qiáng)烈震懾違法者以及鼓勵(lì)負(fù)責(zé)任的數(shù)據(jù)實(shí)踐,但其也可能損害創(chuàng)新、變相鞏固大型企業(yè)壟斷地位,進(jìn)而影響相關(guān)產(chǎn)業(yè)發(fā)展與國家戰(zhàn)略布局。監(jiān)管者應(yīng)在逐案評(píng)估風(fēng)險(xiǎn)與嚴(yán)重性的基礎(chǔ)上審慎采用此種執(zhí)法措施,優(yōu)先考慮是否存在減輕不當(dāng)數(shù)據(jù)影響的可能手段,并要求企業(yè)建立完善訓(xùn)練數(shù)據(jù)來源記錄,以充分發(fā)揮放棄算法利益的優(yōu)勢、抑制其潛在的破壞性。

    關(guān)鍵詞:放棄算法利益"" 個(gè)人信息保護(hù)"" 算法規(guī)制"" 權(quán)利救濟(jì)

    中國分類號(hào):D971.221.7"" 文獻(xiàn)標(biāo)識(shí)碼:A" "文章編號(hào):1674-8557(2024)03-0020-16

    一、引言

    數(shù)據(jù)蘊(yùn)藏著巨大的價(jià)值,被譽(yù)為21世紀(jì)的“新石油”(new oil)。在日漸興起的機(jī)器學(xué)習(xí)與人工智能場景中,數(shù)據(jù)作為模型與算法的素材,很大程度上決定了后兩者的質(zhì)量與表現(xiàn),其重要性在算法經(jīng)濟(jì)的大趨勢下愈加凸顯。以近幾年發(fā)展迅猛的生成式人工智能(generative AI)應(yīng)用為例,隨著2022年10月3日線上文生圖(text-to-image)合成服務(wù)NovelAI推出圖像生成功能,11月30日人工智能公司OpenAI推出聊天機(jī)器人ChatGPT,生成式人工智能迅速占據(jù)公眾視野,并掀起了一場聲勢浩大的人工智能熱潮。其中,NovelAI所使用的穩(wěn)定擴(kuò)散(Stable Diffusion)模型由來自LAION數(shù)據(jù)集的約20億圖像數(shù)據(jù)(數(shù)據(jù)大小約為150TB)訓(xùn)練而成,在此基礎(chǔ)上還追加了約530萬張圖片組成的微調(diào)數(shù)據(jù)集(數(shù)據(jù)大小約為6TB);ChatGPT的數(shù)據(jù)集則據(jù)稱包含3000億單詞,數(shù)據(jù)大小約為570GB。訓(xùn)練數(shù)據(jù)的規(guī)模與模型、算法的泛用性息息相關(guān),對(duì)于前文所述的穩(wěn)定擴(kuò)散模型與大語言模型而言尤為如此。

    正因算法與模型往往基于海量數(shù)據(jù)訓(xùn)練,其中的數(shù)據(jù)收集與使用實(shí)踐愈加受到法律研究者與政策制定者的關(guān)注。當(dāng)算法與模型基于不當(dāng)數(shù)據(jù),例如涉及侵犯隱私或個(gè)人信息權(quán)利的數(shù)據(jù)時(shí),要求“刪除訓(xùn)練集中的相關(guān)數(shù)據(jù)”是監(jiān)管者的常用執(zhí)法措施。在多數(shù)情況下,美國隱私執(zhí)法機(jī)構(gòu)會(huì)要求侵犯隱私的公司剝離非法獲取的數(shù)據(jù)。在2019年美國聯(lián)邦貿(mào)易委員會(huì)(Federal Trade Commission,以下簡稱FTC)與英國劍橋分析公司(Cambridge Analytica)達(dá)成的一項(xiàng)和解協(xié)議中,F(xiàn)TC不僅要求公司“刪除通過欺騙手段取得的信息”,還要求“刪除全部或部分源自上述信息的任何信息或工作產(chǎn)品,包括任何算法與方程”。其后,F(xiàn)TC在與圖片應(yīng)用程序開發(fā)商Everalbum等多家公司的和解協(xié)議中采用了類似做法,使得這一監(jiān)管策略引發(fā)了輿論與學(xué)界的廣泛關(guān)注。此種要求企業(yè)“刪除受污染算法或模型”的做法被稱作“放棄算法利益”(algorithmic disgorgement),亦稱“算法刪除”(algorithmic deletion)或“算法破壞”(algorithmic destruction),本質(zhì)上是一種瞄準(zhǔn)并破壞企業(yè)所持有的知識(shí)產(chǎn)權(quán)的手段。

    目前,對(duì)于人工智能場景下企業(yè)收集、利用數(shù)據(jù)行為的規(guī)制,近幾年國內(nèi)學(xué)者的主張可分為數(shù)據(jù)層面的規(guī)制與產(chǎn)品(即算法或模型)層面的規(guī)制兩種進(jìn)路,其中似乎少有學(xué)者研究“直接刪除算法或模型”這一做法的適用性如何。對(duì)于數(shù)據(jù)層面的規(guī)制,有學(xué)者嘗試為生成式人工智能場景下個(gè)人信息的合理使用劃定框架,亦有學(xué)者表示應(yīng)完善數(shù)據(jù)分類分級(jí)、獲取以及利用制度,整體而言是在探尋數(shù)據(jù)收集和使用的安全區(qū)間。而對(duì)于產(chǎn)品層面的規(guī)制,有學(xué)者提出生成式人工智能應(yīng)從主體監(jiān)管向“基礎(chǔ)模型—專業(yè)模型—服務(wù)應(yīng)用”分層規(guī)制轉(zhuǎn)變,其中基礎(chǔ)模型層應(yīng)以發(fā)展為導(dǎo)向關(guān)注訓(xùn)練數(shù)據(jù),專業(yè)模型層應(yīng)以審慎包容為理念關(guān)注訓(xùn)練數(shù)據(jù)來源與安全及個(gè)人信息保護(hù),服務(wù)應(yīng)用層則關(guān)注信息內(nèi)容安全。相較而言,國內(nèi)學(xué)者對(duì)于直接指向并破壞算法或模型等知識(shí)產(chǎn)權(quán)的執(zhí)法措施的研究較少;從某種程度上說,由于“放棄算法利益”具有強(qiáng)力與激進(jìn)的特征,在使用時(shí)可能造成嚴(yán)重且破壞性的后果,因而成為了學(xué)者較少關(guān)注的執(zhí)法策略。

    作為“事實(shí)上的聯(lián)邦隱私委員會(huì)”(de facto federal privacy commission),F(xiàn)TC對(duì)隱私事務(wù)擁有廣泛的管轄權(quán),構(gòu)成了美國信息隱私法律體系中的重要一環(huán),這可為個(gè)人信息保護(hù)的研究提供新角度、新見解。目前,美國缺乏聯(lián)邦層面的綜合性信息隱私或消費(fèi)者隱私權(quán)立法,相關(guān)制度由針對(duì)特定部門和領(lǐng)域的法律規(guī)范拼湊而成,這不僅使得大量領(lǐng)域缺失完善的法律規(guī)制手段,相互間還呈現(xiàn)出高度碎片化、缺乏一致性且充滿差異的特性。在此種情況下,負(fù)責(zé)監(jiān)管“不公平或欺騙性行為”的FTC適當(dāng)?shù)靥钛a(bǔ)了美國信息隱私法的空白,甚至成為某些領(lǐng)域中隱私監(jiān)管的唯一方法。FTC如普通法制度一般制定與發(fā)展原則,其執(zhí)法行動(dòng)強(qiáng)烈塑造著美國信息隱私法的樣貌,具有較高的研究意義與價(jià)值。本文將聚焦于這一新鮮的執(zhí)法策略,通過梳理其根源及發(fā)展脈絡(luò),探求其法理基礎(chǔ),分析其作為一種算法領(lǐng)域救濟(jì)措施的優(yōu)勢與局限性,并在預(yù)測其未來可能的發(fā)展與改進(jìn)中探尋制度借鑒的可能性。

    二、“放棄算法利益”執(zhí)法機(jī)制的根源及發(fā)展脈絡(luò)

    (一)“放棄算法利益”與放棄非法所得的關(guān)系

    從英文表述中可以看出,“放棄算法利益”是美國法中“放棄非法所得”(disgorgement)這一業(yè)已確立的權(quán)利救濟(jì)方式在算法監(jiān)管中的應(yīng)用。根據(jù)《布萊克法律詞典》的定義,“放棄非法所得”指的是“根據(jù)要求或法律強(qiáng)制放棄某物的行為,例如放棄非法獲得的利潤”。在美國《返還與不當(dāng)?shù)美谌沃厥觥罚≧estatement (Third) of Restitution and Unjust Enrichment)第51條的注釋a中,該詞被定義為“一種以被告的不當(dāng)所得來衡量的返還形式”,“要求被告放棄那些可適當(dāng)歸因于被告干涉原告受法律保護(hù)的權(quán)利的收益”。

    實(shí)際上,放棄非法所得這一做法在衡平法中已有較為悠久的歷史。雖然未出現(xiàn)“放棄非法所得”的精確表述,但美國法很早便允許對(duì)不當(dāng)使用他人或?qū)嶓w的專利或版權(quán)所獲利潤進(jìn)行追償。在“謝爾頓訴米高溫影業(yè)公司案”(Sheldon v. Metro-Goldwyn Pictures Corp.)中,美國聯(lián)邦最高法院曾指出:“在1909年《版權(quán)法》(Copyright Act of 1909)之前,沒有關(guān)于追回利潤的法律規(guī)定,但在版權(quán)和專利案件中,衡平法允許追回利潤以作為禁令裁定附帶的適當(dāng)衡平法救濟(jì)……這種救濟(jì)根據(jù)衡平法管轄原則授予,并非為了施加懲罰,而是為了防止不當(dāng)?shù)美?,允許受害的申訴人主張‘依照公平和善意(ex aequo et bono)屬于他們的東西,除此之外別無其他’。”

    目前,放棄非法所得這一手段經(jīng)常出現(xiàn)于美國證券和商品期貨交易相關(guān)法律規(guī)范中。例如,1934年《證券交易法》(Securities Exchange Act of 1934)第16(b)條就規(guī)定了強(qiáng)制放棄短線利潤的救濟(jì)措施;1936年《商品交易法》(Commodity Exchange Act of 1936)也規(guī)定地方法院可下令沒收非法所得,作為對(duì)違反該法行為的救濟(jì)措施,以剝奪不法行為者的非法所得、阻止違法行為。《美國法理學(xué)》(American Jurisprudence)第二版對(duì)此有著更為深入的解釋:“放棄非法所得是一種衡平法上的救濟(jì)措施,旨在阻止未來違反證券法的行為,并剝奪被告因不當(dāng)行為而獲得的收益……放棄非法所得考慮到這樣一個(gè)事實(shí):發(fā)出禁令本身并不能糾正過去活動(dòng)的后果。若法院認(rèn)為被告不應(yīng)當(dāng)從其錯(cuò)誤中獲利,但出于衡平法考慮表明不應(yīng)批準(zhǔn)禁令,也可以實(shí)施這種救濟(jì)措施?!笨梢钥闯?,放棄非法所得作為一種剝奪違法者不當(dāng)利益的衡平法救濟(jì)措施,其目的是為了防止不當(dāng)?shù)美?,使非法行為人無利可圖,進(jìn)而實(shí)現(xiàn)法律既定的震懾目標(biāo)。

    從FTC相關(guān)成員的立場出發(fā),我們可以發(fā)現(xiàn)“放棄算法利益”同樣具有放棄非法所得的內(nèi)核。前FTC委員羅希特·喬普拉(Rohit Chopra)在一份聲明中表示,F(xiàn)TC要求不法公司“放棄其欺騙的成果”,這表明“放棄算法利益”這一手段實(shí)質(zhì)上剝奪了違法者的不當(dāng)利益?,F(xiàn)任FTC代理主席麗貝卡·凱利·斯勞特(Rebecca Kelly Slaughter)在2021年隱私未來論壇(Future of Privacy Forum)的主題演講中更是將“放棄算法利益”類比為貨幣返還,表示“我們應(yīng)要求違規(guī)者不僅要放棄非法獲取的數(shù)據(jù),還有利益——此處是算法”,換言之“放棄算法利益”是一種救濟(jì)手段。斯勞特等人在論文中進(jìn)一步指出:“當(dāng)公司非法收集數(shù)據(jù)時(shí),其不應(yīng)該能夠從這些數(shù)據(jù)或使用這些數(shù)據(jù)開發(fā)的任何算法中獲利”,這意味著“放棄算法利益”可防止違法者不當(dāng)?shù)美?。因此,F(xiàn)TC意圖將此種執(zhí)法機(jī)制歸類為放棄非法所得的一種現(xiàn)代應(yīng)用場景。

    (二)“放棄算法利益”的法律基礎(chǔ)及出臺(tái)背景

    雖然“放棄算法利益”是一項(xiàng)新生的執(zhí)法措施,但其依舊源自FTC針對(duì)“欺騙性行為”的執(zhí)法權(quán)限。FTC依據(jù)諸多法律授權(quán)開展執(zhí)法活動(dòng),其中最主要的權(quán)力來源是《聯(lián)邦貿(mào)易委員會(huì)法》(Federal Trade Commission Act,以下簡稱FTCA)。美國國會(huì)于1938年修正了FTCA第5條之規(guī)定,通過增加“不公平或欺騙性行為或做法”(unfair or deceptive acts or practices)這一表述,以授予FTC處理欺騙性行為或做法的權(quán)力。所謂“欺騙性行為”,根據(jù)FTC在《關(guān)于欺騙行為的政策聲明》(Policy Statement on Deception)中的表述,指的是“存在以下陳述、遺漏或做法……可能會(huì)誤導(dǎo)(likely to mislead)在此情形下理性行事的消費(fèi)者(consumer acting reasonably in the circumstances)”,并且該陳述、遺漏或做法有實(shí)質(zhì)(material)影響。在數(shù)據(jù)安全與隱私領(lǐng)域,F(xiàn)TC針對(duì)“欺騙性行為”的執(zhí)法活動(dòng)主要聚焦于企業(yè)在隱私政策中的自愿承諾,即當(dāng)企業(yè)在隱私政策中包含有關(guān)數(shù)據(jù)安全與隱私的承諾但未能兌現(xiàn)時(shí),F(xiàn)TC便主張企業(yè)具有“欺騙性行為”。在下文的“放棄算法利益”相關(guān)案件中,我們便能夠注意到FTC在努力證明,企業(yè)收集個(gè)人信息的行為與企業(yè)在隱私政策或其他場合的表述不相符合,進(jìn)而構(gòu)成了“欺騙性或誤導(dǎo)性陳述”。斯勞特等人表示,算法刪除“旨在更新和增強(qiáng)FTC監(jiān)管算法消

    費(fèi)者傷害的能力”,其僅是FTCA第5條的通常用語在算法領(lǐng)域的應(yīng)用。加之前文所述喬普拉委員關(guān)于不法公司“放棄其欺騙的成果”的觀點(diǎn),我們能夠明確“放棄算法利益”這一執(zhí)法手段與公司的欺騙行為直接相關(guān),因而具有明確的法律基礎(chǔ)。

    “放棄算法利益”不僅是FTCA框架下被允許的執(zhí)法手段之一,其最終應(yīng)運(yùn)而生,也是對(duì)FTC在執(zhí)法中難以針對(duì)初次違法者尋求金錢處罰的困境的某種回應(yīng)。根據(jù)FTCA第5條,F(xiàn)TC通常只能對(duì)涉及不公平或欺騙性行為的首次違法行為發(fā)出停止令(cease and desist order),并且除非命令、規(guī)則或禁令遭到違反,否則其不得尋求衡平法救濟(jì)。FTCA第5(m)(1)(B)的確規(guī)定,在FTC此前裁定該行為不公平或具有欺騙性并發(fā)出了停止令,而且違規(guī)方實(shí)際知悉此種做法是不公平或具有欺騙性的情況下,F(xiàn)TC在能夠證明一方從事這些行為的情況下可以尋求民事處罰。但證明實(shí)際知悉的困難、對(duì)任何事實(shí)問題舉行重新聽證會(huì)的要求,以及被告不僅有能力挑戰(zhàn)當(dāng)前裁決且有能力挑戰(zhàn)先前對(duì)非法行為的認(rèn)定,都使得FTC極少援引此條款。FTCA第19條也確實(shí)允許FTC在“有必要糾正對(duì)消費(fèi)者或其他人的傷害”的情況下尋求法院下令的金錢救濟(jì),但為了根據(jù)第19條獲得救濟(jì),F(xiàn)TC必須首先確定某項(xiàng)行為是否不公平或具有欺騙性并發(fā)布最終停止令,還必須證明“一個(gè)理性人在當(dāng)時(shí)情況下會(huì)知道與停止令相關(guān)的行為或做法是不誠實(shí)或欺詐性的”,因此執(zhí)行起來也很有挑戰(zhàn)。從歷史上看,F(xiàn)TC在針對(duì)不公平或欺騙性行為尋求金錢救濟(jì)時(shí),幾乎總是援引FTCA的13(b)規(guī)定,該條款“授權(quán)委員會(huì)尋求初步和永久禁令,以救濟(jì)‘FTC執(zhí)行的任何法律規(guī)定’”,而這一看似“便利”的做法也為將來埋下了隱患。

    在2021年的“AMG資本管理有限責(zé)任公司訴聯(lián)邦貿(mào)易委員會(huì)案”(AMG Cap. Mgmt., LLC v. Fed. Trade Comm'n,以下簡稱“AMG案”)中,美國聯(lián)邦最高法院認(rèn)為FTC不得根據(jù)第13(b)獲得金錢救濟(jì),因?yàn)槠洳环系?3條對(duì)“禁令救濟(jì)”的定義。法院繼續(xù)指出,國會(huì)已經(jīng)通過第5條和第19條授權(quán)FTC獲得有條件和有限的金錢救濟(jì),而FTC正利用第13條在不滿足這些條件和限制的情況下獲得相同甚至更多的金錢救濟(jì),并表示“如果委員會(huì)認(rèn)為該權(quán)力過于繁瑣或不足,當(dāng)然可以要求國會(huì)授予其進(jìn)一步的救濟(jì)權(quán)力”。“AMG案”也一并解決了巡回上訴法院之間關(guān)于FTC是否有權(quán)根據(jù)第13(b)獲得金錢救濟(jì)的分歧,此前第三和第七巡回上訴法院認(rèn)為第13(b)未授權(quán)FTC尋求金錢救濟(jì),而第九巡回上訴法院則允許FTC尋求如此救濟(jì),最終聯(lián)邦最高法院采納了前者的立場。

    事實(shí)上,聯(lián)邦最高法院的理由是足夠充分的,因?yàn)榻罹葷?jì)是“面向未來的”,目的是預(yù)防潛在的行為發(fā)生,而金錢救濟(jì)則聚焦于過去的行為,二者的確不可混為一談。但無論如何,“AMG案”嚴(yán)重削弱了FTC就初次違法者的不公平或欺騙性行為獲得金錢救濟(jì)的能力,使其失去了“幫助消費(fèi)者的最有力工具”。此后,F(xiàn)TC開始呼吁國會(huì)制定新法以增強(qiáng)其執(zhí)法權(quán)、依據(jù)第19條啟動(dòng)新規(guī)則的制定并提起“更多行政訴訟”、依據(jù)第5(m)(1)(B)規(guī)定進(jìn)行執(zhí)法,“放棄算法利益”執(zhí)法措施應(yīng)運(yùn)而生。

    FTC相關(guān)人員與一些評(píng)論家對(duì)“放棄算法利益”這一新興執(zhí)法措施寄予了相當(dāng)程度的期待。喬普拉指出這是“一次重要的方向修正”;美國前FTC首席技術(shù)專家、現(xiàn)任加利福尼亞州隱私保護(hù)局(California Privacy Protection Agency, CPPA)執(zhí)行局長的阿什坎·索爾塔尼(Ashkan Soltani)也曾在推特上發(fā)文稱,“要求公司刪除從通過欺騙方式收集的數(shù)據(jù)開發(fā)的‘模型和算法’(而不僅僅是基礎(chǔ)數(shù)據(jù)),對(duì)人工智能與機(jī)器學(xué)習(xí)而言是一個(gè)非常重要的先例”。有學(xué)者認(rèn)為其“反映了對(duì)數(shù)據(jù)在機(jī)器學(xué)習(xí)模型的應(yīng)用環(huán)境中很重要這一事實(shí)更深入的理解,而不僅僅停留在數(shù)據(jù)收集這一固定點(diǎn)上”,“代表了FTC調(diào)整其救濟(jì)措施以反映技術(shù)變革的能力”。雖然角度各不相同,但我們能夠發(fā)現(xiàn)上述評(píng)價(jià)的共通之處,即都看重“放棄算法利益”這一執(zhí)法措施在后“AMG案”時(shí)代大放異彩的重要意義,以及其在規(guī)范人工智能與機(jī)器學(xué)習(xí)方面所具有的先行者地位。

    不過,雖然FTC創(chuàng)造性地采用“放棄算法利益”作為針對(duì)“欺騙性行為”的執(zhí)法手段,但其究竟源自FTCA哪一條款的授權(quán)卻并不明晰,F(xiàn)TC也未對(duì)此明確表達(dá)立場。有學(xué)者認(rèn)為,“放棄算法利益”最有可能基于FTCA第18條的規(guī)則制定權(quán),而且最容易通過法院的審查:第5(b)條授權(quán)的停止令以及第13(b)條授權(quán)的臨時(shí)和永久禁令以及限制令本質(zhì)上都是前瞻性的,F(xiàn)TC或許可以主張“放棄算法利益”可解決持續(xù)性危害,或者可防止企業(yè)進(jìn)一步使用以不當(dāng)方式獲得的數(shù)據(jù),但是目前FTC還未表明類似觀點(diǎn),相比之下第18條的規(guī)則制定權(quán)可能是能夠經(jīng)受法院審查的最佳可行途徑。整體而言,“放棄算法利益”的執(zhí)法依據(jù)尚留待FTC進(jìn)一步闡明,該執(zhí)法手段必要的法律基礎(chǔ)還需進(jìn)一步完善。

    三、“放棄算法利益”執(zhí)法機(jī)制的實(shí)際應(yīng)用及利弊分析

    (一)“放棄算法利益”執(zhí)法機(jī)制的實(shí)踐及未明確之處

    目前,共有四起案件涉及“放棄算法利益”執(zhí)法措施。如前文所述,在2019年的“劍橋分析公司案”(In the Matter of Cambridge Analytica, LLC)中,F(xiàn)TC指控該公司“通過虛假和欺騙性手段獲得應(yīng)用程序用戶的同意以收集其Facebook個(gè)人資料數(shù)據(jù)”,并“錯(cuò)誤表明該應(yīng)用程序沒有從授權(quán)其數(shù)據(jù)收集的Facebook用戶處收集任何可識(shí)別信息”。作為和解協(xié)議的一部分,F(xiàn)TC要求公司“刪除全部或部分源自上述信息的任何信息或工作產(chǎn)品,包括任何算法與方程”。

    在2021年的“Everalbum案”中,Everalbum推出了一款允許用戶上傳照片和視頻至云端的應(yīng)用程序“Ever”,并于2017年2月推出了一項(xiàng)基于面部識(shí)別技術(shù)對(duì)用戶照片進(jìn)行分組并允許用戶“標(biāo)記”個(gè)體的功能。盡管Everalbum表示需要用戶明確選擇激活才會(huì)使用面部識(shí)別技術(shù),但實(shí)際上從2018年5月至2019年4月,除位于部分州和歐盟的用戶可選擇是否開啟面部識(shí)別功能,該功能自動(dòng)對(duì)所有用戶啟用且無法關(guān)閉。此外,Everalbum還向用戶承諾其將刪除停用賬戶的Ever用戶的照片和視頻,但至少在2019年10月之前Everalbum都未能刪除任何已停用賬戶的用戶的照片或視頻。而在2017年9月至2019年8月期間,Everalbum基于用戶照片中提取的數(shù)百萬張面部圖像與從公開數(shù)據(jù)集中獲取的面部圖像創(chuàng)建了多個(gè)數(shù)據(jù)集,用于開發(fā)面部識(shí)別技術(shù)。在和解協(xié)議中,F(xiàn)TC要求Everalbum刪除或銷毀“停用賬戶的Ever應(yīng)用程序用戶的照片和視頻”、“所有由未明確同意使用的Ever用戶的生物識(shí)別信息衍生的面部嵌入(Face Embedding)”,以及“任何受影響的工作產(chǎn)品(Affected Work Production)”,而“受影響的工作產(chǎn)品”指的便是“全部或部分使用從Ever移動(dòng)應(yīng)用程序用戶收集的生物識(shí)別信息開發(fā)的任何模型或算法”。

    在2022年的慧儷輕體公司(WW International, Inc.)及其子公司Kurbo的案件中,后者提供了一項(xiàng)“專為8歲及以上兒童、青少年和家庭使用的體重管理與跟蹤服務(wù)”。由于該服務(wù)針對(duì)兒童,且慧儷輕體公司實(shí)際知悉13歲以下的兒童正使用該服務(wù),因此其行為受到COPPA規(guī)則的約束,其中要求“將信息收集做法直接通知家長……獲得可驗(yàn)證的家長同意……并僅在實(shí)現(xiàn)收集目的合理必要的時(shí)間內(nèi)保留兒童的個(gè)人信息?!盕TC指控其未遵守上述要求,未將其數(shù)據(jù)收集做法通知家長、未獲得可驗(yàn)證的家長同意以及超出實(shí)現(xiàn)收集目的合理必要的時(shí)間保留兒童個(gè)人信息。與此同時(shí),有報(bào)道稱,慧儷輕體公司使用獲得的數(shù)據(jù),“基于對(duì)用戶數(shù)據(jù)的分析”,使用算法“提出有關(guān)健康、健身和減重的建議”。與“Everalbum案”類似,慧儷輕體公司也被要求刪除或銷毀任何“受影響的工作產(chǎn)品”,即“全部或部分”使用本案中存在爭議的兒童個(gè)人信息“開發(fā)的任何模型或算法”。

    在2023年的“聯(lián)邦貿(mào)易委員會(huì)訴Ring公司案”(Fed. Trade Comm'n v. Ring LLC)中,該公司向消費(fèi)者廣告宣傳、市場營銷、銷售聯(lián)網(wǎng)和支持視頻錄制的安全攝像頭、門鈴以及相關(guān)配件和服務(wù)。FTC指控該公司欺騙客戶,未能限制員工和承包商對(duì)其客戶視頻的訪問、在未經(jīng)同意的情況下以訓(xùn)練算法等目的使用客戶視頻,并且未能實(shí)施安全保障措施。同樣,F(xiàn)TC在和解協(xié)議中要求Ring公司“刪除或銷毀任何受影響的工作產(chǎn)品”,即“被告確定或合理確定的、全部或部分根據(jù)2018年3月前相關(guān)記錄的審查和注釋而開發(fā)的任何模型或算法”,“除非此類刪除在技術(shù)上不可行”。

    當(dāng)劍橋分析公司被要求刪除算法與方程等工作產(chǎn)品時(shí),很少有人能預(yù)料到此和解協(xié)議將開啟一種全新的模式,當(dāng)時(shí)輿論的反應(yīng)可以證明此點(diǎn)。不過,考慮到FTC有著引入新的同意令條款并隨后成為標(biāo)準(zhǔn)做法的歷史,加之“放棄算法利益”這一執(zhí)法機(jī)制已多次出現(xiàn)在和解協(xié)議中并不斷規(guī)范化,我們能夠預(yù)見其將成為一種標(biāo)準(zhǔn)做法,被FTC引入后續(xù)的執(zhí)法活動(dòng)中。

    雖然“放棄算法利益”已逐漸成為FTC在算法領(lǐng)域開展執(zhí)法的一種趨勢,但其仍有許多細(xì)節(jié)需要明晰。上述案件折射出的第一個(gè)疑問便是,當(dāng)算法與模型涉及何種“不當(dāng)數(shù)據(jù)”時(shí),F(xiàn)TC會(huì)采用“放棄算法利益”執(zhí)法手段。從內(nèi)容上看,四起案件所涉及的“不當(dāng)數(shù)據(jù)”雖各有特點(diǎn),但具有某些共同特征?!皠蚍治龉景浮敝械挠脩粼谏缃黄脚_(tái)上的個(gè)人資料數(shù)據(jù)、“Everalbum案”中包含在用戶圖像與視頻中的面部識(shí)別信息、Kurbo服務(wù)收集的兒童個(gè)人信息以及Ring公司用于訓(xùn)練算法的部分客戶視頻,這些數(shù)據(jù)皆未經(jīng)過相關(guān)信息主體(或其監(jiān)護(hù)人)的有效同意,屬于典型的繞過知情同意框架收集的個(gè)人信息。我們似乎可以得出結(jié)論,即數(shù)據(jù)源自違法收集的個(gè)人信息,且相關(guān)主體將其用于訓(xùn)練算法或模型時(shí),F(xiàn)TC便很有可能將“放棄算法利益”加入執(zhí)法的“武器庫”中。那么,F(xiàn)TC尋求“放棄算法利益”的范圍是否局限于未經(jīng)同意而非法采集的個(gè)人信息?答案又似乎不是。實(shí)際上,F(xiàn)TC并未表示其下令刪除模型或算法是由于其中可能含有個(gè)人信息的蹤跡,其執(zhí)法的核心依據(jù)仍然是違法者具有針對(duì)消費(fèi)者的“欺騙性行為”,“放棄算法利益”是欺騙性實(shí)踐的邏輯結(jié)果,從而落入了FTC的管轄范圍。或者也可以這樣認(rèn)為,“放棄算法利益”是監(jiān)管欺騙性行為與規(guī)制企業(yè)不當(dāng)數(shù)據(jù)實(shí)踐二者共同作用的結(jié)果。

    第二個(gè)疑問,便是“放棄算法利益”的具體機(jī)制為何。例如,對(duì)于刪除算法和模型,是僅僅刪除企業(yè)手中的副本,還是徹底禁止轉(zhuǎn)讓、專利授權(quán)等一切盈利手段?是否只要被不當(dāng)數(shù)據(jù)污染,無論程度如何,算法和模型都將面臨被刪除的命運(yùn)?由已被污染的算法或模型所衍生出的算法或模型是否也屬于“放棄算法利益”的執(zhí)法范圍?由于現(xiàn)有案件皆通過和解協(xié)議解決,尚無企業(yè)挑戰(zhàn)FTC的執(zhí)法權(quán)限,導(dǎo)致相關(guān)法律用語與具體機(jī)制缺乏較為細(xì)致的解釋。事實(shí)上,這種情形并不罕見;有學(xué)者指出,F(xiàn)TC“自20世紀(jì)90年代末以來……一直通過其監(jiān)管不公平和欺騙性貿(mào)易行為的權(quán)力來執(zhí)行公司的隱私政策”,“幾乎所有”此類案件都以和解告終。目前的情況也表明,“放棄算法利益”的具體細(xì)節(jié)還需要更多“關(guān)鍵的契機(jī)”才可得以闡明,屆時(shí)FTC也可擁有向法院證明“放棄算法利益”合理性的機(jī)會(huì)。

    (二)“放棄算法利益”執(zhí)法機(jī)制的優(yōu)勢及局限性

    作為一種瞄準(zhǔn)算法和模型本身以懲罰違法行為的執(zhí)法措施,“放棄算法利益”自然擁有許多傳統(tǒng)執(zhí)法措施所不具備的優(yōu)勢。

    第一,相較于僅要求刪除不當(dāng)數(shù)據(jù),“放棄算法利益”是一種補(bǔ)救“算法陰影”(algorithmic shadows)的根本性措施。“算法陰影”是學(xué)者蒂芬妮·李(Tiffany C. Li)提出的概念,意為“數(shù)據(jù)在生成的機(jī)器學(xué)習(xí)模型上的印記”。當(dāng)模型或算法已訓(xùn)練完成,此時(shí)即使刪除數(shù)據(jù),也難以影響已完成訓(xùn)練的模型或算法;不當(dāng)數(shù)據(jù)所造成的偏見、誤判和不準(zhǔn)確等負(fù)面影響如同陰影一般籠罩在算法和模型之上,刪除數(shù)據(jù)等常規(guī)執(zhí)法手段可能收效甚微?!八惴幱啊辈粌H強(qiáng)化了隱私法已關(guān)注到的隱私危害,例如自動(dòng)化決策對(duì)數(shù)據(jù)集中的個(gè)體的不當(dāng)影響,還會(huì)導(dǎo)致諸如“群體隱私危害”(例如帶有偏見的算法通過自動(dòng)化決策影響數(shù)據(jù)集之外的個(gè)體)以及“第三方隱私損害”或“分布式隱私損害”(例如數(shù)據(jù)集中個(gè)體的DNA信息可能揭示和泄露數(shù)據(jù)集之外的個(gè)體),而FTC要求刪除基于用戶數(shù)據(jù)訓(xùn)練的模型的措施基本消除了“算法陰影”的不良影響。

    第二,相較于金錢救濟(jì),“放棄算法利益”對(duì)企業(yè)的不當(dāng)數(shù)據(jù)實(shí)踐無疑有極大的震懾作用,并可鼓勵(lì)企業(yè)重視訓(xùn)練過程中的數(shù)據(jù)合規(guī)實(shí)踐。如前所述,在“AMG案”前,F(xiàn)TC能夠通過FTCA第13(b)條尋求金錢救濟(jì),F(xiàn)TC也曾開出過巨額罰單,但有時(shí)仍然難以起到震懾不當(dāng)數(shù)據(jù)收集行為的目的。以Facebook屢次受到執(zhí)法為例,F(xiàn)TC自2011年起就指控Facebook在用戶控制其個(gè)人信息隱私的能力方面具有“虛假或誤導(dǎo)性陳述”以及“不公平行為或做法”,而后雙方于2012年8月達(dá)成了和解協(xié)議。然而,2019年FTC指控Facebook違反2012年和解協(xié)議并開出50億美元的天價(jià)處罰,此后在2023年FTC再次指控Facebook違反2020年和解協(xié)議。之所以罰款有時(shí)難以解決隱私問題,很大程度上是由于企業(yè)可以將處罰內(nèi)部化為開展業(yè)務(wù)的成本,即一種可償還和核算的金融負(fù)債,而不必一定要改變其不當(dāng)數(shù)據(jù)實(shí)踐和做法。“放棄算法利益”則在某種程度上彌補(bǔ)了這一缺陷。算法的開發(fā)成本高昂且耗時(shí),其作為一項(xiàng)知識(shí)產(chǎn)權(quán)通常是科技企業(yè)的重要資產(chǎn),構(gòu)成其核心競爭力的一部分?!胺艞壦惴ɡ妗笨赡軙?huì)令公司損失可觀的時(shí)間和經(jīng)費(fèi),并能直接影響企業(yè)當(dāng)前的業(yè)務(wù)情況與未來的營業(yè)能力,起到較強(qiáng)的震懾作用。震懾作用的一個(gè)附帶影響,是能夠鼓勵(lì)企業(yè)重視數(shù)據(jù)安全與隱私。為避免觸發(fā)監(jiān)管者的執(zhí)法行動(dòng),企業(yè)可能會(huì)先行建立數(shù)據(jù)合規(guī)治理模型,跟蹤數(shù)據(jù)的使用情況并加強(qiáng)供應(yīng)商的盡職調(diào)查,從而完善公平和負(fù)責(zé)任的數(shù)據(jù)實(shí)踐。更進(jìn)一步,有學(xué)者強(qiáng)調(diào)“放棄算法利益”能夠恢復(fù)消費(fèi)者對(duì)商業(yè)模式的信任:對(duì)FTC而言,“放棄算法利益”這一執(zhí)法機(jī)制有助于震懾“占主導(dǎo)地位的、強(qiáng)大的公司”,“采取更多措施來保護(hù)消費(fèi)者,并讓似乎旨在誤導(dǎo)、欺騙和操縱消費(fèi)者的商業(yè)模式恢復(fù)信任”。

    然而,作為一項(xiàng)激進(jìn)的執(zhí)法措施,“放棄算法利益”的問題同樣突出。

    第一,在強(qiáng)烈影響企業(yè)當(dāng)下業(yè)務(wù)經(jīng)營的同時(shí),“放棄算法利益”也可能導(dǎo)致某些關(guān)鍵人工智能服務(wù)中斷,這對(duì)消費(fèi)者和企業(yè)都會(huì)產(chǎn)生廣泛且災(zāi)難性的影響。雖然現(xiàn)有案件中涉及的違法者大多體量較小,相關(guān)人工智能工具受眾有限,但違反數(shù)據(jù)收集、處理規(guī)則最為嚴(yán)重的公司,或許也是擁有海量用戶群體、深度嵌入多數(shù)人日常生活的人工智能服務(wù)的提供者。例如,蘋果公司的虛擬語音助理Siri采用了人工智能、機(jī)器學(xué)習(xí)和語音識(shí)別技術(shù),根據(jù)目前“放棄算法利益”執(zhí)法措施的寬泛表述,如果FTC發(fā)現(xiàn)多年來用于訓(xùn)練模型的數(shù)據(jù)集包含不當(dāng)數(shù)據(jù),其可能會(huì)要求蘋果公司銷毀構(gòu)建Siri服務(wù)和產(chǎn)品的所有算法,這種負(fù)擔(dān)過重且不成比例的執(zhí)法措施可能會(huì)造成更大的危害。

    第二,“放棄算法利益”可能會(huì)損害創(chuàng)新、變相鞏固大企業(yè)的壟斷地位,甚至削弱一國在人工智能領(lǐng)域的影響力。遵守“放棄算法利益”命令可能代價(jià)高昂,對(duì)于處在初創(chuàng)階段或是規(guī)模較小的企業(yè)而言可能難以承受,使其在開發(fā)模型和算法的過程中不得不考慮已訓(xùn)練模型可能會(huì)遭到刪除的風(fēng)險(xiǎn)。這會(huì)帶來一個(gè)反直覺的結(jié)果,即在某種程度上鞏固了大型科技企業(yè)的市場地位,因?yàn)樗鼈兓蛟S是唯一能夠承受新人工智能項(xiàng)目的潛在風(fēng)險(xiǎn)的公司。嚴(yán)苛的執(zhí)法不僅會(huì)抑制單一企業(yè)的創(chuàng)新能力,其風(fēng)險(xiǎn)還可能向外溢出,在整個(gè)行業(yè)引發(fā)寒蟬效應(yīng),甚至可能進(jìn)一步影響國家戰(zhàn)略布局與科技實(shí)力,造成更為深遠(yuǎn)的影響。例如,有學(xué)者站在美國立場上指出,“失去人工智能創(chuàng)新可能意味著美國在制定有關(guān)人工智能與隱私的全球規(guī)范方面的作用較小,因此沒有能力倡導(dǎo)有關(guān)人工智能、隱私和技術(shù)未來的民主理想”。美國學(xué)者尚且有如此顧慮,對(duì)于其他迫切希望抓住人工智能紅利的國家而言,若盲目且不成比例地采用“放棄算法利益”的執(zhí)法措施,則可能會(huì)產(chǎn)生更加嚴(yán)重的后果。

    第三,“放棄算法利益”在實(shí)施過程中存在困難,因?yàn)楸O(jiān)管者與企業(yè)可能都難以識(shí)別出受污染的模型或算法。企業(yè)對(duì)于數(shù)據(jù)使用的內(nèi)部管理千差萬別,例如有統(tǒng)計(jì)研究表明,65%的公司無法分析其收集的所有數(shù)據(jù),只有54%的公司知曉所有敏感數(shù)據(jù)的存儲(chǔ)位置,這表明企業(yè)可能難以高效追蹤某一特定算法的訓(xùn)練數(shù)據(jù)的來源。更為重要的是,監(jiān)管者也難以核實(shí)企業(yè)是否已依照其要求刪除所有受不當(dāng)數(shù)據(jù)影響的模型或算法。以“Everalbum案”為例,除了要求公司“提交書面聲明并宣誓愿接受偽證罪處罰”,確認(rèn)所要求的算法實(shí)際上已被刪除之外,F(xiàn)TC可能無法驗(yàn)證所有使用相關(guān)數(shù)據(jù)訓(xùn)練的算法實(shí)際都已被破壞。若是由FTC決定銷毀哪些算法,則一部分“干凈”的算法或模型可能遭受牽連;而若是由企業(yè)自主決定銷毀對(duì)象,則有可能出現(xiàn)漏網(wǎng)之魚。不過,也有學(xué)者提出,讓監(jiān)管者更早參與這一過程或許是潛在的解決方案,例如FTC可要求企業(yè)創(chuàng)建“數(shù)據(jù)材料清單”,監(jiān)控和記錄其數(shù)據(jù)收集實(shí)踐,這對(duì)于確定哪些數(shù)據(jù)用于訓(xùn)練單個(gè)算法而言可能是一個(gè)有效的工具。

    四、“放棄算法利益”執(zhí)法機(jī)制的評(píng)價(jià)及借鑒

    如前文所述,“放棄算法利益”是FTC針對(duì)算法領(lǐng)域中不當(dāng)數(shù)據(jù)收集實(shí)踐和做法的一項(xiàng)“核彈級(jí)”執(zhí)法策略,其優(yōu)勢與劣勢都可謂十分顯著。對(duì)消費(fèi)者而言,由于“算法陰影”的影響長久存在,個(gè)體面臨著不同于以往的重大隱私威脅。刪除權(quán)等著眼于“刪除不當(dāng)數(shù)據(jù)”的傳統(tǒng)救濟(jì)方式往往存在著范圍與程序難以確定、內(nèi)容難以理解等個(gè)人信息權(quán)利的通病,使其面對(duì)算法世界中愈加嚴(yán)峻復(fù)雜的數(shù)據(jù)安全與隱私態(tài)勢時(shí)顯得捉襟見肘?!胺艞壦惴ɡ妗弊鳛橐环N強(qiáng)有力的執(zhí)法手段,有能力從根源上解決這一難題。我們也應(yīng)看到,修補(bǔ)個(gè)體受到的隱私損害需要一個(gè)長期、系統(tǒng)的過程,個(gè)體的心理創(chuàng)傷并不會(huì)僅僅由于違法者并未獲利而輕易彌合,從這個(gè)意義上說“放棄算法利益”并不是根治一切算法世界頑疾的靈丹妙藥。對(duì)企業(yè)而言,“放棄算法利益”的法理在于剝離違法企業(yè)的不當(dāng)?shù)美?,令違法者意識(shí)到不當(dāng)數(shù)據(jù)實(shí)踐“不值得”。其通過剝奪算法和模型進(jìn)而影響企業(yè)的營利能力與核心競爭力,在帶來強(qiáng)烈震懾力的同時(shí),也推動(dòng)企業(yè)在收集數(shù)據(jù)和訓(xùn)練模型、算法方面承擔(dān)更多的責(zé)任。同時(shí),我們也不能忽視“放棄算法利益”執(zhí)法措施對(duì)于行業(yè)的潛在破壞性影響,由此帶來的創(chuàng)新與市場競爭抑制對(duì)消費(fèi)者而言可能并不是一件好事。對(duì)監(jiān)管者而言,人工智能的迅猛發(fā)展深刻影響了個(gè)人信息保護(hù)的態(tài)勢,在數(shù)據(jù)安全和隱私保護(hù)的復(fù)雜環(huán)境中兌現(xiàn)平衡權(quán)利保護(hù)與行業(yè)發(fā)展的承諾,對(duì)于執(zhí)法機(jī)構(gòu)而言正變得愈加富有挑戰(zhàn)。監(jiān)管者迫切需要一種能夠在關(guān)鍵時(shí)刻采用的、與嚴(yán)重違反數(shù)據(jù)收集規(guī)則的行為相適應(yīng)的處理手段,以達(dá)成遏制不當(dāng)數(shù)據(jù)實(shí)踐、推動(dòng)企業(yè)數(shù)據(jù)合規(guī)建設(shè)的目的。很明顯,“放棄算法利益”的收益與風(fēng)險(xiǎn)并存,監(jiān)管者需要根據(jù)具體情況審慎決策,而且從目前FTC的執(zhí)法實(shí)踐看,該措施多通過“全有或全無”的方式適用,只要訓(xùn)練數(shù)據(jù)部分受到污染,就需要?jiǎng)h除在此基礎(chǔ)上的模型或算法,使得這一執(zhí)法措施極易超出必要限度。總而言之,“放棄算法利益”具備一項(xiàng)高效而強(qiáng)力的算法規(guī)制方案的潛力,但只有在明確了實(shí)際應(yīng)用的邊界與限度后,其才能成為可行性強(qiáng)且令人信服的執(zhí)法方式。

    從實(shí)際效果看,“放棄算法利益”強(qiáng)調(diào)了不當(dāng)數(shù)據(jù)實(shí)踐的嚴(yán)重后果,為企業(yè)在記錄數(shù)據(jù)來源、控制內(nèi)部風(fēng)險(xiǎn)等方面施加了更高標(biāo)準(zhǔn)的合規(guī)義務(wù),整體更偏向于隱私權(quán)與個(gè)人信息保護(hù),這或許較為符合當(dāng)前我國個(gè)人信息保護(hù)的立法實(shí)踐與價(jià)值取向。我國個(gè)人信息保護(hù)立法受到了歐洲數(shù)據(jù)保護(hù)立法寬泛和強(qiáng)監(jiān)管的深刻影響,這可以從包羅萬象的個(gè)人信息定義、《個(gè)人信息保護(hù)法》不設(shè)置企業(yè)營收和處理個(gè)人信息數(shù)量的門檻、大部分個(gè)人信息保護(hù)義務(wù)對(duì)不同規(guī)模企業(yè)一視同仁等方面看出。此外,我國近年來嚴(yán)厲懲處侵犯公民個(gè)人信息相關(guān)犯罪,個(gè)人信息保護(hù)領(lǐng)域的刑事司法活動(dòng)十分活躍,也體現(xiàn)出我國秉持重視個(gè)體隱私與個(gè)人信息保護(hù)的立場。以上種種表明,我國或許能夠從這一執(zhí)法機(jī)制中汲取有益經(jīng)驗(yàn)。

    通過細(xì)化和完善具體規(guī)則,我們可以在提升“放棄算法利益”這一執(zhí)法手段的可操作性的同時(shí),實(shí)現(xiàn)權(quán)利保護(hù)與行業(yè)發(fā)展的協(xié)調(diào)并進(jìn)。根據(jù)目前FTC的執(zhí)法實(shí)踐,“放棄算法利益”相關(guān)案件多與生物識(shí)別信息或兒童在線信息的不當(dāng)收集有關(guān),但筆者認(rèn)為監(jiān)管者并無必要根據(jù)信息類型來決定其應(yīng)用與否。更為合適的理解是,“放棄算法利益”是一種著眼于遏制嚴(yán)重不當(dāng)數(shù)據(jù)實(shí)踐的執(zhí)法手段,在數(shù)據(jù)安全與隱私風(fēng)險(xiǎn)達(dá)到較高程度時(shí)方可采用,而生物識(shí)別信息或兒童在線信息具有各自的特殊性,一旦遭受泄露,負(fù)面影響可能伴隨個(gè)體終生,因此存在應(yīng)用“放棄算法利益”的必要性。除此之外,監(jiān)管者還應(yīng)注意評(píng)估特定不當(dāng)數(shù)據(jù)實(shí)踐的嚴(yán)重性與潛在風(fēng)險(xiǎn),考慮是否存在減輕不當(dāng)數(shù)據(jù)影響的可能性,同時(shí)要求企業(yè)做好訓(xùn)練數(shù)據(jù)的來源記錄工作。

    首先,監(jiān)管者應(yīng)將“放棄算法利益”打造成為一把始終約束不法行為人的“達(dá)摩克利斯之劍”,突出其警示、震懾作用,在逐案評(píng)估不當(dāng)數(shù)據(jù)實(shí)踐嚴(yán)重性及潛在風(fēng)險(xiǎn)的基礎(chǔ)上,審慎采用此手段。例如,在評(píng)估違法事件的性質(zhì)時(shí),可考慮如下因素:(1)違法企業(yè)的經(jīng)營規(guī)模和業(yè)務(wù)情況,如企業(yè)營業(yè)收入、分支機(jī)構(gòu)等因素,以及企業(yè)收集、使用數(shù)據(jù)的程度,如企業(yè)所屬行業(yè)和領(lǐng)域、主營業(yè)務(wù)范圍以及處理數(shù)據(jù)的數(shù)量等因素。鑒于“放棄算法利益”執(zhí)法措施的破壞力,可考慮限制其對(duì)非營利組織、小型初創(chuàng)企業(yè)和其他合規(guī)資源有限的企業(yè)的適用,以減少其對(duì)規(guī)模較小企業(yè)生存發(fā)展和行業(yè)競爭秩序的消極影響。(2)特定不當(dāng)數(shù)據(jù)實(shí)踐的嚴(yán)重程度和風(fēng)險(xiǎn)大小。例如,違法收集信息占總數(shù)據(jù)收集量的比例,受污染模型或算法的數(shù)據(jù)集中不當(dāng)數(shù)據(jù)的比例,以及受到不當(dāng)數(shù)據(jù)實(shí)踐影響的個(gè)體或群體的數(shù)量、范圍等情況。監(jiān)管者應(yīng)避免要求銷毀從受污染數(shù)據(jù)中獲得的所有模型和算法,而應(yīng)只關(guān)注直接源自不當(dāng)數(shù)據(jù)并構(gòu)成嚴(yán)重風(fēng)險(xiǎn)的部分。(3)主觀認(rèn)識(shí)與是否采取補(bǔ)救措施。例如,高級(jí)管理人員是否明知企業(yè)存在不當(dāng)數(shù)據(jù)實(shí)踐,企業(yè)在收集、使用不當(dāng)數(shù)據(jù)訓(xùn)練算法的過程中是否具有過錯(cuò)及其程度,以及是否采取了補(bǔ)救措施或僅是放任違法結(jié)果持續(xù)。(4)模型受污染的時(shí)間點(diǎn)以及后續(xù)的訓(xùn)練情況。雖然“算法陰影”的不良影響會(huì)伴隨受污染的模型和算法投入使用而一直持續(xù),但現(xiàn)實(shí)中確有部分模型和算法在使用不當(dāng)數(shù)據(jù)進(jìn)行訓(xùn)練后長期切換至“干凈”的數(shù)據(jù)源進(jìn)行訓(xùn)練,對(duì)此有必要重新對(duì)模型和算法的受污染程度與風(fēng)險(xiǎn)進(jìn)行評(píng)估。在此種情況下,既可以考慮對(duì)僅在最近一段時(shí)間采用了不當(dāng)數(shù)據(jù)訓(xùn)練的算法或模型適用“放棄算法利益”執(zhí)法措施,也可以在審慎評(píng)估后認(rèn)定模型仍然具有嚴(yán)重風(fēng)險(xiǎn)時(shí)適用此措施。

    其次,“放棄算法利益”的結(jié)果是破壞算法本身,而模型和算法的訓(xùn)練往往需要耗費(fèi)大量的時(shí)間和經(jīng)費(fèi),因此在評(píng)估適用這一措施時(shí),監(jiān)管者應(yīng)優(yōu)先考慮是否存在緩解模型與算法受污染程度的手段。目前,機(jī)器學(xué)習(xí)中尚有一些減輕某部分?jǐn)?shù)據(jù)影響的技術(shù),例如正則化技術(shù)可幫助減少模型對(duì)不當(dāng)數(shù)據(jù)中存在的特定特征或模式的依賴,微調(diào)數(shù)據(jù)集和數(shù)據(jù)增強(qiáng)技術(shù)能夠幫助模型和算法適應(yīng)新數(shù)據(jù)并削弱不當(dāng)數(shù)據(jù)的影響,但要讓機(jī)器學(xué)習(xí)模型“忘記”其訓(xùn)練數(shù)據(jù)仍然具有相當(dāng)?shù)碾y度,目前而言完全消除數(shù)據(jù)影響的唯一方法依舊是重新訓(xùn)練。如果現(xiàn)有技術(shù)允許企業(yè)將模型和算法的風(fēng)險(xiǎn)降低至某種程度,使得其他執(zhí)法手段能夠達(dá)到救濟(jì)不當(dāng)數(shù)據(jù)實(shí)踐所造成不良影響的目的,則應(yīng)當(dāng)認(rèn)可企業(yè)為減輕違法后果所作的努力,此種情況下就應(yīng)避免將“放棄算法利益”作為優(yōu)先適用的執(zhí)法手段。當(dāng)然,此處的難點(diǎn)在于,算法規(guī)制通常涉及法律與科技的跨學(xué)科研究,政策研究者與算法工程師之間應(yīng)當(dāng)加強(qiáng)溝通交流,打破學(xué)科間的壁壘,以評(píng)估各種機(jī)器學(xué)習(xí)技術(shù)在減弱不當(dāng)數(shù)據(jù)影響方面的實(shí)際效果,從而為政策制定提供指引。

    最后,監(jiān)管者應(yīng)注重事前參與,同步跟進(jìn)監(jiān)管措施,為企業(yè)提供數(shù)據(jù)收集與使用的合規(guī)指引和技術(shù)支持,并要求其做好人工智能和機(jī)器學(xué)習(xí)過程中的數(shù)據(jù)來源記錄工作,完善其內(nèi)部數(shù)據(jù)管理與風(fēng)險(xiǎn)控制機(jī)制。不可否認(rèn)的是,不同企業(yè)在內(nèi)部管理水平與風(fēng)險(xiǎn)控制能力方面往往存在著顯著差距,尤其對(duì)于合規(guī)資源有限的中小企業(yè)而言,其可能并不重視也難以完成模型和算法訓(xùn)練過程中數(shù)據(jù)來源的記錄,而這將極大地限制“放棄算法利益”執(zhí)法措施發(fā)揮效用的空間。監(jiān)管者的事前介入是企業(yè)負(fù)責(zé)任數(shù)據(jù)實(shí)踐的重要環(huán)節(jié),也有利于促進(jìn)企業(yè)重視數(shù)據(jù)安全與隱私合規(guī)建設(shè),從而緩和“放棄算法利益”的破壞性后果。對(duì)此,監(jiān)管者有必要強(qiáng)化與企業(yè)的信息溝通,在為企業(yè)提供適當(dāng)技術(shù)支持的同時(shí),要求企業(yè)通過創(chuàng)建數(shù)據(jù)收集清單、將數(shù)據(jù)來源記錄納入模型和算法開發(fā)過程之中或?qū)⒅鳛轱L(fēng)險(xiǎn)控制的一環(huán),以凸顯“放棄算法利益”在推動(dòng)企業(yè)數(shù)據(jù)合規(guī)建設(shè)過程中的積極作用,而非其破壞性影響。

    結(jié)語

    “放棄算法利益”一方面體現(xiàn)出FTC意圖監(jiān)管算法領(lǐng)域的決心,另一方面也折射出算法與人工智能領(lǐng)域缺乏有效監(jiān)管、原有執(zhí)法工具難以應(yīng)對(duì)技術(shù)變革的事實(shí)。作為個(gè)人信息保護(hù)機(jī)制之一的不當(dāng)數(shù)據(jù)刪除在算法世界中的無力,提醒著法律研究者與政策制定者應(yīng)持續(xù)關(guān)注算法領(lǐng)域信息安全與隱私的新問題、新動(dòng)向。

    “放棄算法利益”是一項(xiàng)強(qiáng)有力的執(zhí)法手段,但其潛在的破壞性影響也不容忽視。在評(píng)估是否采取這一執(zhí)法措施的過程中,風(fēng)險(xiǎn)因素的大小以及是否存在糾正模型與算法受污染程度的技術(shù)是兩個(gè)關(guān)鍵點(diǎn)。風(fēng)險(xiǎn)因素的大小需要從涉事企業(yè)的基本情況、是否明知以及主觀惡意程度大小、違法行為的后果等方面加以評(píng)估;而是否存在某種緩解模型與算法受污染程度的手段,以及實(shí)際效果如何,則需要更多的跨學(xué)科協(xié)同研究。此外,作為“放棄算法利益”得以落實(shí)的基礎(chǔ),人工智能和機(jī)器學(xué)習(xí)過程的數(shù)據(jù)來源記錄至關(guān)重要,而這離不開監(jiān)管者的推動(dòng)與企業(yè)的數(shù)據(jù)合規(guī)建設(shè)。通過法律研究者與人工智能領(lǐng)域?qū)I(yè)學(xué)者的密切合作,我們可以期待,法律能夠更加貼合科技發(fā)展的現(xiàn)狀,更好地實(shí)現(xiàn)算法世界中數(shù)據(jù)收集與使用的規(guī)范化。

    (責(zé)任編輯:陳曉屏)

    猜你喜歡
    權(quán)利救濟(jì)個(gè)人信息保護(hù)
    如何做好法律領(lǐng)域的個(gè)人信息保護(hù)
    東方教育(2016年3期)2016-12-14 20:18:10
    沒收國際合作領(lǐng)域權(quán)利救濟(jì)探析
    人民論壇(2016年23期)2016-12-13 10:57:46
    限定繼承原則下債權(quán)人利益的保護(hù)
    我國大數(shù)據(jù)時(shí)代個(gè)人信息保護(hù)研究綜述
    我國高校管理中學(xué)生權(quán)利救濟(jì)研究
    中國市場(2016年35期)2016-10-19 03:18:09
    《中華人民共和國環(huán)境保護(hù)稅法(征求意見稿)》若干建議
    中國市場(2016年34期)2016-10-15 09:19:12
    完善我國監(jiān)獄罪犯申訴維權(quán)制度的思考
    移動(dòng)互聯(lián)環(huán)境中個(gè)人信息保護(hù)的調(diào)查與分析—以大學(xué)生為例
    大數(shù)據(jù)時(shí)代個(gè)人信息管理與保護(hù)
    淺談?dòng)邢挢?zé)任公司的司法解散制度
    日韩欧美国产一区二区入口| 两人在一起打扑克的视频| 久久久精品94久久精品| 午夜激情av网站| 国产一区有黄有色的免费视频| 国产亚洲欧美在线一区二区| 久久香蕉激情| 91精品国产国语对白视频| 在线观看免费视频日本深夜| 人妻 亚洲 视频| 最近最新中文字幕大全免费视频| 亚洲成a人片在线一区二区| 中文字幕av电影在线播放| 一区二区三区激情视频| 99国产精品免费福利视频| 1024视频免费在线观看| 久久ye,这里只有精品| 热99国产精品久久久久久7| 极品少妇高潮喷水抽搐| 中文字幕人妻丝袜制服| 亚洲国产欧美在线一区| 久久久久网色| 久久精品国产亚洲av香蕉五月 | 欧美在线一区亚洲| www.精华液| 欧美精品啪啪一区二区三区| 国产一区有黄有色的免费视频| 亚洲九九香蕉| 午夜激情久久久久久久| 精品福利观看| 欧美老熟妇乱子伦牲交| 色精品久久人妻99蜜桃| 国产日韩一区二区三区精品不卡| 超碰97精品在线观看| av视频免费观看在线观看| 欧美精品一区二区大全| 搡老乐熟女国产| 九色亚洲精品在线播放| 人妻 亚洲 视频| 一级片免费观看大全| 婷婷丁香在线五月| 国产精品1区2区在线观看. | 成年人免费黄色播放视频| 欧美乱妇无乱码| 中文字幕最新亚洲高清| 999精品在线视频| 中文字幕人妻丝袜一区二区| 桃红色精品国产亚洲av| 黄色怎么调成土黄色| 一区二区三区激情视频| videosex国产| 日韩中文字幕视频在线看片| 欧美精品亚洲一区二区| 少妇被粗大的猛进出69影院| 欧美日韩视频精品一区| 国产成人免费无遮挡视频| 女人被躁到高潮嗷嗷叫费观| 国产免费现黄频在线看| 老司机午夜福利在线观看视频 | 视频区欧美日本亚洲| 免费在线观看黄色视频的| 一级毛片精品| 涩涩av久久男人的天堂| 欧美在线一区亚洲| 精品一区二区三区av网在线观看 | 久久久久久久精品吃奶| 国产精品一区二区在线不卡| 国产一区二区三区视频了| 天堂动漫精品| 桃花免费在线播放| 下体分泌物呈黄色| 少妇被粗大的猛进出69影院| 久久午夜亚洲精品久久| 亚洲av片天天在线观看| 天天影视国产精品| 久久久久国内视频| 精品一区二区三区av网在线观看 | 最新的欧美精品一区二区| 制服人妻中文乱码| 老汉色∧v一级毛片| 在线天堂中文资源库| 精品国产乱码久久久久久小说| 亚洲全国av大片| 日韩三级视频一区二区三区| 99久久国产精品久久久| 亚洲专区字幕在线| 80岁老熟妇乱子伦牲交| 亚洲熟女精品中文字幕| 黄片播放在线免费| 国产在线一区二区三区精| 国产男女超爽视频在线观看| 精品午夜福利视频在线观看一区 | 肉色欧美久久久久久久蜜桃| 777米奇影视久久| 曰老女人黄片| 久久久欧美国产精品| 久久精品亚洲av国产电影网| 91老司机精品| 午夜免费成人在线视频| 香蕉丝袜av| 91麻豆av在线| 在线观看www视频免费| 99re6热这里在线精品视频| 精品国产乱码久久久久久小说| 亚洲av成人一区二区三| 成年动漫av网址| 视频在线观看一区二区三区| 高潮久久久久久久久久久不卡| 12—13女人毛片做爰片一| 国产精品.久久久| 亚洲人成伊人成综合网2020| 曰老女人黄片| 精品人妻熟女毛片av久久网站| bbb黄色大片| 久久精品国产综合久久久| 免费黄频网站在线观看国产| 一边摸一边抽搐一进一小说 | 每晚都被弄得嗷嗷叫到高潮| 狠狠婷婷综合久久久久久88av| 亚洲综合色网址| a级毛片黄视频| 亚洲精品一二三| 亚洲色图 男人天堂 中文字幕| 在线观看免费高清a一片| 十八禁高潮呻吟视频| 日本a在线网址| 欧美国产精品一级二级三级| 欧美亚洲日本最大视频资源| 免费观看av网站的网址| 成人影院久久| av线在线观看网站| 少妇裸体淫交视频免费看高清 | 亚洲色图 男人天堂 中文字幕| 成人国产av品久久久| 在线观看66精品国产| 亚洲成人免费av在线播放| 欧美日本中文国产一区发布| 最近最新免费中文字幕在线| 首页视频小说图片口味搜索| 国产av国产精品国产| 又紧又爽又黄一区二区| 国产成人系列免费观看| 视频区欧美日本亚洲| 久久性视频一级片| √禁漫天堂资源中文www| 黑人操中国人逼视频| 国产日韩欧美在线精品| 久久午夜亚洲精品久久| 色婷婷久久久亚洲欧美| 黄色视频不卡| 亚洲欧洲日产国产| 国产精品影院久久| 18在线观看网站| 国产成人免费无遮挡视频| 国产一区有黄有色的免费视频| 中国美女看黄片| 国产av国产精品国产| 国产精品麻豆人妻色哟哟久久| av超薄肉色丝袜交足视频| 精品一区二区三区av网在线观看 | 久9热在线精品视频| 亚洲午夜理论影院| 国产一卡二卡三卡精品| 热99re8久久精品国产| 在线 av 中文字幕| 国产免费现黄频在线看| 最新美女视频免费是黄的| 久久精品国产a三级三级三级| 高清黄色对白视频在线免费看| 中文字幕最新亚洲高清| 男女午夜视频在线观看| 亚洲国产欧美一区二区综合| 色播在线永久视频| 久久中文看片网| 日本wwww免费看| 老司机在亚洲福利影院| 亚洲人成77777在线视频| 法律面前人人平等表现在哪些方面| 动漫黄色视频在线观看| 国产成人精品久久二区二区91| 搡老乐熟女国产| 国产精品影院久久| 久久午夜亚洲精品久久| 午夜激情av网站| 岛国毛片在线播放| 欧美国产精品一级二级三级| 大型黄色视频在线免费观看| 99riav亚洲国产免费| 亚洲成人手机| 欧美黄色片欧美黄色片| 国产单亲对白刺激| 老熟妇仑乱视频hdxx| 久久人妻熟女aⅴ| 久久人人爽av亚洲精品天堂| av在线播放免费不卡| 波多野结衣一区麻豆| 99国产精品一区二区三区| 欧美黑人欧美精品刺激| 一级片'在线观看视频| 欧美日韩黄片免| 免费观看人在逋| 久久久久久久久免费视频了| 欧美在线黄色| 日本wwww免费看| 又紧又爽又黄一区二区| 欧美激情高清一区二区三区| 日日爽夜夜爽网站| 热99久久久久精品小说推荐| 老司机午夜福利在线观看视频 | 日韩大码丰满熟妇| 黑人操中国人逼视频| 18禁国产床啪视频网站| 日韩大片免费观看网站| 亚洲国产欧美日韩在线播放| 国产免费福利视频在线观看| 怎么达到女性高潮| 少妇被粗大的猛进出69影院| 自拍欧美九色日韩亚洲蝌蚪91| 婷婷成人精品国产| 午夜福利在线观看吧| 中文字幕高清在线视频| 十八禁网站网址无遮挡| 亚洲欧洲精品一区二区精品久久久| 亚洲少妇的诱惑av| 精品一区二区三区四区五区乱码| 亚洲三区欧美一区| 纵有疾风起免费观看全集完整版| 真人做人爱边吃奶动态| 91精品三级在线观看| 精品午夜福利视频在线观看一区 | 国产精品偷伦视频观看了| 一区二区三区乱码不卡18| 国产伦理片在线播放av一区| 777米奇影视久久| 999久久久精品免费观看国产| 18禁美女被吸乳视频| 精品国内亚洲2022精品成人 | 国产欧美亚洲国产| 久久国产精品人妻蜜桃| 成年动漫av网址| 亚洲国产av新网站| 亚洲国产欧美日韩在线播放| 免费人妻精品一区二区三区视频| 精品福利观看| 亚洲国产精品一区二区三区在线| 99九九在线精品视频| 高清视频免费观看一区二区| 亚洲欧洲精品一区二区精品久久久| 乱人伦中国视频| 久久久久国内视频| 水蜜桃什么品种好| 最近最新中文字幕大全免费视频| netflix在线观看网站| 人妻一区二区av| 自拍欧美九色日韩亚洲蝌蚪91| 三上悠亚av全集在线观看| 中亚洲国语对白在线视频| 国产在视频线精品| 国产亚洲欧美在线一区二区| 看免费av毛片| 日韩欧美三级三区| 伦理电影免费视频| av视频免费观看在线观看| 欧美黄色淫秽网站| 男人舔女人的私密视频| 麻豆国产av国片精品| 老司机在亚洲福利影院| 最近最新中文字幕大全免费视频| 丰满少妇做爰视频| 色94色欧美一区二区| 天堂8中文在线网| 男女无遮挡免费网站观看| 亚洲伊人久久精品综合| 日韩制服丝袜自拍偷拍| 欧美日韩福利视频一区二区| 亚洲精品中文字幕在线视频| 欧美亚洲 丝袜 人妻 在线| 在线 av 中文字幕| 久久精品国产亚洲av高清一级| 男男h啪啪无遮挡| 国产精品二区激情视频| 法律面前人人平等表现在哪些方面| 乱人伦中国视频| 久久久国产成人免费| 国产精品一区二区精品视频观看| 少妇裸体淫交视频免费看高清 | 日韩视频一区二区在线观看| 日日摸夜夜添夜夜添小说| 蜜桃在线观看..| 高清av免费在线| 日韩制服丝袜自拍偷拍| 国产极品粉嫩免费观看在线| 飞空精品影院首页| 久9热在线精品视频| 一边摸一边做爽爽视频免费| 色精品久久人妻99蜜桃| 九色亚洲精品在线播放| 国产成人精品无人区| 香蕉久久夜色| 国产有黄有色有爽视频| 一本综合久久免费| 俄罗斯特黄特色一大片| 大片免费播放器 马上看| 十八禁网站网址无遮挡| 看免费av毛片| 亚洲熟妇熟女久久| 久久99热这里只频精品6学生| 国产欧美日韩一区二区三| 成人三级做爰电影| 日韩视频在线欧美| 高清av免费在线| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲成国产人片在线观看| 好男人电影高清在线观看| 波多野结衣一区麻豆| 日韩一区二区三区影片| 男女边摸边吃奶| 757午夜福利合集在线观看| 久久人妻福利社区极品人妻图片| 99久久99久久久精品蜜桃| 亚洲精品美女久久久久99蜜臀| 久久影院123| 国产精品香港三级国产av潘金莲| 一级片'在线观看视频| 无遮挡黄片免费观看| 国产国语露脸激情在线看| 妹子高潮喷水视频| 久久午夜亚洲精品久久| 丝袜在线中文字幕| 国产欧美日韩一区二区精品| 亚洲精品国产区一区二| 波多野结衣一区麻豆| 动漫黄色视频在线观看| 亚洲熟女精品中文字幕| 国产高清视频在线播放一区| 国产精品美女特级片免费视频播放器 | 极品教师在线免费播放| 国产免费视频播放在线视频| 亚洲熟妇熟女久久| 美女福利国产在线| 成在线人永久免费视频| 又黄又粗又硬又大视频| 亚洲av日韩在线播放| 亚洲专区字幕在线| 亚洲精品中文字幕一二三四区 | 亚洲五月婷婷丁香| 丰满饥渴人妻一区二区三| 欧美亚洲 丝袜 人妻 在线| 亚洲精品成人av观看孕妇| 国产精品久久久久久人妻精品电影 | 精品人妻熟女毛片av久久网站| 9色porny在线观看| 日本黄色日本黄色录像| 啦啦啦中文免费视频观看日本| 日本精品一区二区三区蜜桃| 高潮久久久久久久久久久不卡| 男女床上黄色一级片免费看| 亚洲 欧美一区二区三区| 91精品三级在线观看| 天堂8中文在线网| 日本精品一区二区三区蜜桃| 国产av国产精品国产| 19禁男女啪啪无遮挡网站| 精品国内亚洲2022精品成人 | 精品免费久久久久久久清纯 | 男女无遮挡免费网站观看| av网站在线播放免费| 国产在线观看jvid| 2018国产大陆天天弄谢| 精品一品国产午夜福利视频| 国产激情久久老熟女| 日韩精品免费视频一区二区三区| svipshipincom国产片| 一区二区日韩欧美中文字幕| 高清在线国产一区| 人人妻人人爽人人添夜夜欢视频| 国产av国产精品国产| 大香蕉久久网| 91九色精品人成在线观看| 老司机影院毛片| 王馨瑶露胸无遮挡在线观看| 久久中文字幕一级| 国产精品国产高清国产av | 欧美中文综合在线视频| 另类亚洲欧美激情| 黑人欧美特级aaaaaa片| 亚洲精品美女久久av网站| 免费在线观看日本一区| 露出奶头的视频| 色综合婷婷激情| 国产精品自产拍在线观看55亚洲 | 国产一区有黄有色的免费视频| 大码成人一级视频| 亚洲精品久久成人aⅴ小说| 欧美国产精品一级二级三级| 王馨瑶露胸无遮挡在线观看| 男女之事视频高清在线观看| 国产精品1区2区在线观看. | 18禁裸乳无遮挡动漫免费视频| 亚洲欧美色中文字幕在线| 大片电影免费在线观看免费| av视频免费观看在线观看| 制服人妻中文乱码| 19禁男女啪啪无遮挡网站| 成人精品一区二区免费| 丝袜美腿诱惑在线| 老司机在亚洲福利影院| 这个男人来自地球电影免费观看| 国产精品亚洲一级av第二区| 亚洲人成电影观看| 成年版毛片免费区| 狠狠婷婷综合久久久久久88av| 免费日韩欧美在线观看| 国产伦人伦偷精品视频| 男男h啪啪无遮挡| 亚洲精品美女久久av网站| 一区二区三区国产精品乱码| 亚洲九九香蕉| 欧美精品亚洲一区二区| 香蕉国产在线看| 12—13女人毛片做爰片一| 视频区图区小说| 午夜免费成人在线视频| 美女扒开内裤让男人捅视频| 欧美激情 高清一区二区三区| 黄色a级毛片大全视频| 亚洲熟妇熟女久久| 一本久久精品| 久久久久久久久久久久大奶| 欧美日韩黄片免| 国产国语露脸激情在线看| 国产亚洲精品第一综合不卡| 亚洲欧洲日产国产| 亚洲精品美女久久久久99蜜臀| 在线观看免费高清a一片| 国内毛片毛片毛片毛片毛片| 曰老女人黄片| 99国产精品一区二区蜜桃av | 国产精品香港三级国产av潘金莲| 欧美国产精品一级二级三级| 十八禁网站网址无遮挡| 一区二区三区乱码不卡18| 精品国内亚洲2022精品成人 | 亚洲七黄色美女视频| 国产精品1区2区在线观看. | 777米奇影视久久| 国产精品久久久人人做人人爽| 久久人人爽av亚洲精品天堂| 露出奶头的视频| 老司机亚洲免费影院| 亚洲精华国产精华精| 另类精品久久| 极品人妻少妇av视频| 99re在线观看精品视频| 精品第一国产精品| 性高湖久久久久久久久免费观看| 超碰成人久久| 99riav亚洲国产免费| 纯流量卡能插随身wifi吗| aaaaa片日本免费| 久久精品熟女亚洲av麻豆精品| 最近最新中文字幕大全电影3 | 中文字幕另类日韩欧美亚洲嫩草| 亚洲色图av天堂| 国产精品成人在线| 亚洲伊人色综图| 亚洲avbb在线观看| 久久久久精品人妻al黑| 高清欧美精品videossex| 中国美女看黄片| 女人被躁到高潮嗷嗷叫费观| 可以免费在线观看a视频的电影网站| 国产精品久久久人人做人人爽| 精品国内亚洲2022精品成人 | 亚洲五月婷婷丁香| 人人妻,人人澡人人爽秒播| 美女扒开内裤让男人捅视频| 国产欧美日韩精品亚洲av| 国产亚洲精品一区二区www | 我的亚洲天堂| 天天添夜夜摸| 一级a爱视频在线免费观看| 久久香蕉激情| 99国产极品粉嫩在线观看| 国产精品免费大片| 黄色视频不卡| 岛国在线观看网站| 制服诱惑二区| 亚洲欧美色中文字幕在线| av天堂久久9| 国产免费现黄频在线看| 国产精品一区二区精品视频观看| 在线观看免费午夜福利视频| 亚洲国产看品久久| 亚洲 欧美一区二区三区| 性色av乱码一区二区三区2| 久热爱精品视频在线9| 亚洲一卡2卡3卡4卡5卡精品中文| 国产精品久久久av美女十八| 天堂8中文在线网| 久久中文字幕一级| 建设人人有责人人尽责人人享有的| 亚洲国产av新网站| 国产免费av片在线观看野外av| 中文字幕av电影在线播放| 叶爱在线成人免费视频播放| 中文亚洲av片在线观看爽 | 国产免费视频播放在线视频| 交换朋友夫妻互换小说| 亚洲国产成人一精品久久久| 亚洲avbb在线观看| 亚洲中文av在线| 怎么达到女性高潮| 亚洲性夜色夜夜综合| 亚洲欧美日韩另类电影网站| 国产av又大| 国产一区有黄有色的免费视频| 欧美国产精品一级二级三级| videosex国产| 久久国产精品影院| 色婷婷av一区二区三区视频| 欧美老熟妇乱子伦牲交| 国产在视频线精品| 欧美乱妇无乱码| 少妇精品久久久久久久| 黑人欧美特级aaaaaa片| 黄频高清免费视频| 美女视频免费永久观看网站| 操美女的视频在线观看| 18禁国产床啪视频网站| 日韩免费高清中文字幕av| 国产黄色免费在线视频| 国产日韩欧美亚洲二区| 国产一区二区 视频在线| 国产有黄有色有爽视频| 国产无遮挡羞羞视频在线观看| 国产麻豆69| avwww免费| 中文字幕av电影在线播放| 亚洲av欧美aⅴ国产| 久久人人97超碰香蕉20202| 2018国产大陆天天弄谢| 成人免费观看视频高清| 一二三四在线观看免费中文在| 国产欧美日韩综合在线一区二区| 丁香欧美五月| 国产av国产精品国产| 欧美精品一区二区大全| 黑人巨大精品欧美一区二区蜜桃| 久久ye,这里只有精品| 俄罗斯特黄特色一大片| 精品一区二区三区视频在线观看免费 | 久热这里只有精品99| 热re99久久国产66热| 久久久久国内视频| 色在线成人网| 亚洲欧美日韩高清在线视频 | 亚洲精品中文字幕在线视频| 一级片'在线观看视频| 亚洲中文av在线| 久久国产精品影院| 成人国产av品久久久| 国产成人av激情在线播放| 亚洲国产精品一区二区三区在线| 国产欧美日韩一区二区三区在线| 成人18禁在线播放| 亚洲九九香蕉| 久久婷婷成人综合色麻豆| 婷婷丁香在线五月| 女人久久www免费人成看片| 久久国产精品影院| 一本—道久久a久久精品蜜桃钙片| 男女床上黄色一级片免费看| a级毛片黄视频| 无人区码免费观看不卡 | 亚洲av成人一区二区三| 在线观看免费日韩欧美大片| 久久国产精品男人的天堂亚洲| 啦啦啦视频在线资源免费观看| 午夜福利在线观看吧| 精品亚洲成国产av| 黄色怎么调成土黄色| av网站免费在线观看视频| 伊人久久大香线蕉亚洲五| 久久影院123| 亚洲国产精品一区二区三区在线| 好男人电影高清在线观看| 久久午夜综合久久蜜桃| 狠狠狠狠99中文字幕| 999久久久国产精品视频| 国产高清国产精品国产三级| 丝袜美腿诱惑在线| 悠悠久久av| 伦理电影免费视频| 51午夜福利影视在线观看| 亚洲专区中文字幕在线| 久久午夜综合久久蜜桃| 久久精品国产亚洲av高清一级| 男人舔女人的私密视频| 成人18禁高潮啪啪吃奶动态图| 51午夜福利影视在线观看| 久久人人97超碰香蕉20202| 精品第一国产精品| 交换朋友夫妻互换小说| 新久久久久国产一级毛片| 久久青草综合色| 男女边摸边吃奶| 国产在线观看jvid| 精品少妇内射三级| 在线观看免费日韩欧美大片| 777米奇影视久久| 色94色欧美一区二区| 999久久久精品免费观看国产| 亚洲欧洲日产国产| 狠狠婷婷综合久久久久久88av|