• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    《個人信息保護(hù)法》語境下“免受算法支配權(quán)”的實現(xiàn)路徑與內(nèi)涵辨析

    2021-01-12 04:51:38唐林垚
    湖北社會科學(xué) 2021年3期
    關(guān)鍵詞:個人信息保護(hù)法信息處理個人信息

    唐林垚

    (中國社會科學(xué)院法學(xué)研究所,北京 100009)

    算法決策相對于自然人決策具有成本低、效率高、反應(yīng)快、應(yīng)用廣等優(yōu)勢。依托算法決策的各類智能應(yīng)用,無疑能為人們的生活帶來便利,“已經(jīng)日益成為社會經(jīng)濟(jì)發(fā)展和公共治理的重要支點”,[1](p165)但新的問題也由此產(chǎn)生:外賣平臺近乎嚴(yán)苛的超時懲戒制度,逼迫外賣騎手不顧交通安全疲于奔命;網(wǎng)約車軟件、網(wǎng)購平臺通過對用戶操作習(xí)慣的分析,在隱藏環(huán)節(jié)加價、對消費者進(jìn)行揩油和“殺熟”;各類短視頻應(yīng)用登頂全球下載量最多的應(yīng)用行列,“成癮性”利用空洞內(nèi)容吞噬空余時間的算法設(shè)計被詬病為21世紀(jì)的“精神鴉片”。在智能應(yīng)用無所不在的數(shù)字經(jīng)濟(jì)時代,如何保護(hù)個體免受算法的支配和控制,同保護(hù)個人信息一樣,已經(jīng)成為廣大人民群眾最關(guān)心、最直接、最現(xiàn)實的利益問題。目前,被人大法工委列為2021年立法工作重點的《個人信息保護(hù)法》對個人信息的利用和流轉(zhuǎn)保護(hù)有余,對個體脫離算法決策的相關(guān)權(quán)利保障卻明顯不足,解決方案是在《個人信息保護(hù)法(草案)》中明確具體地規(guī)定個體享有“免受算法支配權(quán)”。

    一、規(guī)制的基點:針對算法決策的規(guī)則構(gòu)建邏輯

    算法,是求解特定結(jié)果的數(shù)理步驟,是解決特殊問題的思維路徑,[2](p365)但其一旦以智能應(yīng)用為載體介入對個體或群體的日常決策,就可能產(chǎn)生關(guān)涉?zhèn)€體權(quán)益、公序良俗和公共安全的問題。馬斯克對此直言不諱:“以算法為代表的人工智能或是人類文明的最大敵人?!盵3](p1)這種“反電子烏托邦”的論點或許過于悲觀和絕對,但我們確有必要對算法決策的優(yōu)點和缺點持有更全面和更清醒的認(rèn)識。

    (一)算法決策的特征及應(yīng)用場景。

    作為各類智能應(yīng)用的關(guān)鍵所在,算法決策,是指利用先進(jìn)的信息挖掘技術(shù)對海量用戶進(jìn)行持續(xù)追蹤和信息采集,通過特定規(guī)則對信息進(jìn)行提煉以確定用戶的群組特質(zhì)或特征,①《個人信息保護(hù)法(草案)》第4條:“個人信息的處理包括個人信息的收集、存儲、使用、加工、傳輸、提供、公開等活動?!彼惴Q策是典型的信息處理活動,算法決策中的相對方為信息處理主體(即算法利用方,包括但不限于智能服務(wù)提供方、社交媒體、短視頻軟件、網(wǎng)購平臺、智能配送系統(tǒng)等)和信息主體(即算法決策對象,包括但不限于智能應(yīng)用用戶、網(wǎng)購平臺消費者、外賣送餐平臺騎手、網(wǎng)約車司機(jī)等)。為與《個人信息保護(hù)法(草案)》表述一致,本文采用信息而非數(shù)據(jù)的提法。最終生成具有明確指向性的決策或用戶畫像的過程。算法決策精于預(yù)測,號稱能為信息主體提供貼心的“個性化服務(wù)”。舉例而言,短視頻軟件的內(nèi)容推薦算法圍繞“熱度權(quán)重”進(jìn)行內(nèi)容推送,具有極高的用戶黏性;產(chǎn)品推薦引擎革新了網(wǎng)絡(luò)購物平臺的內(nèi)容呈現(xiàn)方式,從滿足消費者需求一躍提升至培養(yǎng)消費者習(xí)慣;動態(tài)投喂算法被社交媒體廣泛采用,極大地增加了用戶沉浸其中的時間。內(nèi)置算法決策的智能應(yīng)用不勝枚舉,通常,算法決策都是“免費”的,信息主體無須繳納任何費用即可“享用服務(wù)”,只要允許信息處理者獲取和重復(fù)使用個人信息即可。[4](p196)

    算法決策還被廣泛應(yīng)用于公共治理。如用于考察客戶信譽的銀行大數(shù)據(jù)資信系統(tǒng)、公安部門的犯罪預(yù)測系統(tǒng)、居民養(yǎng)老保險在線審核系統(tǒng)以及各地為抗擊疫情推出的健康碼應(yīng)用等。與此同時,人們對智慧城市和智慧生活的向往,推動了算法決策對傳統(tǒng)商業(yè)模式的顛覆。以大家耳熟能詳?shù)闹悄軕?yīng)用為例,美團(tuán)、餓了么等外賣平臺的實時智能配送系統(tǒng),號稱能夠完成“萬單對萬人的秒級求解”,以最低的價格、最短的時間實現(xiàn)最精確的物品配送;滴滴出行、首汽約車等網(wǎng)約車軟件,在實現(xiàn)百萬級出乘需求匹配的同時,還力圖盡可能平衡司機(jī)和乘客的利益,讓出行的時間和成本都“可預(yù)見”和“可控制”。在算法決策已經(jīng)結(jié)構(gòu)性嵌入社會運營的大背景下,[5](p133)赫拉利所描述的“算法社會”已經(jīng)奇點臨近:“權(quán)威將從個人轉(zhuǎn)向由算法構(gòu)成的網(wǎng)絡(luò)。人類不會再認(rèn)為自己是自主的個體,不再依據(jù)自己的期望度日,而是習(xí)慣把人類整體看作一種生化機(jī)制的集合體,由電子算法網(wǎng)絡(luò)實時監(jiān)測和指揮?!盵6](p296)

    (二)算法決策的問題及法律風(fēng)險。

    盡管,使用算法決策的信息處理者堅稱,算法決策能給用戶提供更有意義的體驗、為信息主體帶來便利、提升社會運營效率,但智能應(yīng)用和傳統(tǒng)服務(wù)大相徑庭——算法決策的服務(wù)供給通常完全基于信息處理者推斷出來的用戶喜好和商業(yè)痛點,向信息主體提供服務(wù)時也未真正征求其意愿和完整的意思表示。誠然,“通知—同意機(jī)制”早已被前置為算法決策全周期的“第一閘口”,但晦澀難懂的用戶須知無法讓信息主體知曉全部信息、非同意不可使用的俘獲同意機(jī)制誘使用戶匆忙決策,“通知—同意機(jī)制”形同虛設(shè)。[7](p126)從程序法的視角來看,現(xiàn)行算法決策系統(tǒng)的設(shè)計理念普遍有待商榷,[8](p4)相關(guān)的道德和倫理問題也由此凸顯:算法決策系統(tǒng)真正提升的,是信息處理者的收入所得,還是信息主體的便利性和獲得感?信息處理者的利己和社會整體的利他如果發(fā)生本末倒置,法律就有介入的必要,以調(diào)適二者之間的沖突。

    當(dāng)算法決策從“試圖適應(yīng)和預(yù)測人們的偏好”轉(zhuǎn)向“將本不存在的偏好強(qiáng)加于人們”時,法律應(yīng)對風(fēng)險也隨之激增。自然人決策是維系人類集體生活所不可或缺的“陽光、空氣和水”,自然人決策向算法決策的讓渡是人類主動對自身特性的放棄和抹殺,必然將對社會群體和個人產(chǎn)生深刻影響。眾所周知,自然人決策存在諸多弊端,遠(yuǎn)非盡善盡美,近代法律制度在彌補和矯正自然人決策方面頗有建樹;但對于算法決策的缺陷和不足,我們知之甚少,缺乏查缺補漏的經(jīng)驗,遑論能夠自上而下建立切實可行的制度性保障機(jī)制。當(dāng)生成決策的邏輯基礎(chǔ)是不同于人類理性的算法程式時,過去行之有效的監(jiān)督和干預(yù)機(jī)制難以發(fā)揮實效;在科技創(chuàng)新發(fā)展和應(yīng)用于社會的過程中,倡導(dǎo)“負(fù)責(zé)任的治理”尤其重要,這要求立法者具備“三界五行”的視野,而不是被現(xiàn)有問題驅(qū)動著走。習(xí)近平總書記指出,“要整合多學(xué)科力量,加強(qiáng)人工智能相關(guān)法律、倫理、社會問題研究?!蔽ㄓ薪⑼晟频乃惴Q策規(guī)范,才能更好地獲取人工智能福利,讓科技造福人類。[9](p17)

    (三)算法規(guī)制的權(quán)利路徑與方向。

    各類應(yīng)用對用戶“潤物細(xì)無聲”的投其所好,看似簡單,實則需要過濾大量的個人信息才能實現(xiàn),在這個過程中,算法決策是核心,規(guī)制算法決策與保護(hù)個人信息同樣重要。算法決策日益成為影響國家安全、政治安全、意識形態(tài)安全的重點問題,也是世界各國所面臨的共性難題。2021年2月7日,國務(wù)院反壟斷委員會制定發(fā)布《關(guān)于平臺經(jīng)濟(jì)領(lǐng)域的反壟斷指南》,將“大數(shù)據(jù)殺熟”和“算法合謀”納入重點監(jiān)管范疇,提倡保護(hù)市場公平競爭,促進(jìn)平臺經(jīng)濟(jì)規(guī)范有序創(chuàng)新健康發(fā)展,維護(hù)消費者利益和社會公共利益。[10](p3)但是,算法決策所帶來的法律挑戰(zhàn),并非都因互聯(lián)網(wǎng)巨頭濫用市場支配地位而產(chǎn)生,任何信息處理者,無論大小,只要濫用算法工具,都可能造成嚴(yán)重后果。算法決策以大數(shù)據(jù)為其“養(yǎng)分”和“燃料”,而構(gòu)成大數(shù)據(jù)的,則是眾多獨立的個體。因此,公法視域之外,個體權(quán)利保障的進(jìn)路更加重要。在《網(wǎng)絡(luò)安全法》已經(jīng)生效、《數(shù)據(jù)安全法》呼之欲出之時,與每個個體休戚相關(guān)的《個人信息保護(hù)法》勢必將主要承載保護(hù)信息主體免受算法決策侵害之重任。

    算法對個體的侵害,源于對人類自主性的侵蝕??戮S指出,“人不律己,便是情緒、食欲和情欲的奴隸”。[11](p1)由此看來,缺乏自律便會喪失自由。既然自由通常建立在嚴(yán)于律己的基礎(chǔ)之上,人們行事時須常以更高標(biāo)準(zhǔn)約束自己,才能充分體會到自主性的存在。根據(jù)尼采的觀點,“真正的幸福來自自我節(jié)制”,[12](p505)只有自我節(jié)制才能讓人持續(xù)地感受到自己是自身利益的最佳判斷者??v觀當(dāng)下各類算法決策的應(yīng)用場景,不僅不能促進(jìn)人們以更高標(biāo)準(zhǔn)約束自身以獲得更高的自主性,反倒傾向于引導(dǎo)人們不斷屈服于低層次的本能和唾手可得的滿足感,在對廉價快感的角逐中徹底喪失幸福和自由:“抖音”“快手”極易讓人沉迷于快節(jié)奏的驚喜變幻之中,從而降低做其他事情的積極性,甚至讓人忘記思考;網(wǎng)購平臺的新品推送,催生了無數(shù)原本不需要的消費需求,甚至在一定程度上培養(yǎng)了消費者“超前消費”和“過度消費”的壞習(xí)慣,從而引發(fā)債務(wù)危機(jī)。要想突破算法決策對人們的支配和困擾,首先應(yīng)當(dāng)根除信息主體對算法應(yīng)用的不當(dāng)依賴,倡導(dǎo)一種以自然人自律取代算法他律的原初狀態(tài)。

    算法決策規(guī)制的重要基點,應(yīng)聚焦于算法決策濫用所導(dǎo)致的權(quán)力失衡。交易,是商業(yè)的基石;從交易中獲利,是商業(yè)的本質(zhì)。算法決策在商業(yè)領(lǐng)域的頻繁應(yīng)用,正源于算法決策可以帶來更高的正向收益。問題在于,算法決策帶來的正向收益并未在交易雙方中平均分配;憑借著技術(shù)和信息的雙重優(yōu)勢,掌控算法應(yīng)用的信息處理者最終將能占盡信息處理活動中的所有剩余利益。不知疲倦、隨時待機(jī)、能力隨算力水漲船高的算法決策應(yīng)用在設(shè)計之初,就是為了助力信息處理者或以巧妙、精準(zhǔn)的方式掠奪消費者剩余實現(xiàn)“開源”,或通過節(jié)省人工成本的方式減少自然人崗位實現(xiàn)“節(jié)流”。因此,打著“個性化服務(wù)”“提供貼心支持”等幌子的算法應(yīng)用,并不總是以受眾或消費者的利益最大化為追求,相反,二者存在不可避免的利益沖突。職是之故,針對算法決策的個人權(quán)利保障,應(yīng)以交易雙方的利益再分配為根本目標(biāo),改變“數(shù)據(jù)處理者中心主義”的現(xiàn)狀。

    二、試錯的過程:現(xiàn)行信息主體權(quán)利的局限與不足

    在擺脫算法依賴、保護(hù)信息主體權(quán)益方面,立法者早已有所行動?!秱€人信息保護(hù)法(草案)》第四章針對算法決策行為,賦予了信息主體“更正權(quán)”(第46條)、“被遺忘權(quán)”(第47條)和“獲解釋權(quán)”(第48條),但這三種權(quán)利尚不足以保護(hù)信息主體免受算法操縱、平臺殺熟和信息繭房的傷害,也不可能真正實現(xiàn)“免受算法支配權(quán)”的綜合意涵。

    (一)“更正權(quán)”:治標(biāo)不治本。

    針對算法決策的“更正權(quán)”,始見于歐盟《通用數(shù)據(jù)保護(hù)條例》(下簡稱GDPR)第16條,算法決策對象可以在不違反算法目的的前提下,更正、完善、調(diào)整存在偏差的個人信息。我國《網(wǎng)絡(luò)安全法》第43條最先規(guī)定了在“網(wǎng)絡(luò)運營者收集、存儲的其個人信息有錯誤”等情形中,“個人有權(quán)要求網(wǎng)絡(luò)運營者予以更正”;2021年生效的《民法典》吸納了這一規(guī)定,將其置于人格權(quán)編第1037條:“自然人可以依法向信息處理者查閱或者復(fù)制其個人信息;發(fā)現(xiàn)信息有錯誤的,有權(quán)提出異議并請求及時采取更正等必要措施。”《個人信息保護(hù)法(草案)》第46條在前述規(guī)定的基礎(chǔ)上,進(jìn)行了細(xì)化,要求信息處理者對不準(zhǔn)確和不完整的個人信息進(jìn)行及時更正和補充。然而,無論是歐盟還是我國,算法決策對象主動行使“更正權(quán)”可以更正的對象,只能是處于決策鏈前端的底層數(shù)據(jù)或者個人信息,不能更正形成錯誤算法決策的錯誤邏輯。由于機(jī)器學(xué)習(xí)模型抓取的大數(shù)據(jù)通常來源于多個渠道,個人實際上不可能對較長時間維度中的每一次數(shù)據(jù)抓取都進(jìn)行糾偏,極偶爾的數(shù)據(jù)更正相對于體量異常龐大的“數(shù)據(jù)池”而言,根本不具備統(tǒng)計學(xué)意義條件,因此難以對算法決策的結(jié)果產(chǎn)生決定性影響。

    更何況,在卷積神經(jīng)網(wǎng)絡(luò)中,算法決策所依賴的機(jī)器學(xué)習(xí)模型群,對應(yīng)著不同層級的信息簇,信息簇和信息簇之間存在層層遞進(jìn)的關(guān)系,除了直接來源于信息主體的初始信息外,其余所有層級的信息簇都是信息主體難以理解的推論信息。要對算法決策的結(jié)果產(chǎn)生影響,“更正權(quán)”的作用對象應(yīng)當(dāng)是環(huán)環(huán)相扣的推論信息簇,但單從字面意思來看,GDPR第16條、《網(wǎng)絡(luò)安全法》第43條、《民法典》第1037條以及《個人信息保護(hù)法(草案)》第46條,皆不涉及對推論信息的“更正”。已經(jīng)有學(xué)者注意到了算法決策過程中推論信息的監(jiān)管空白,主張“通過保障推論數(shù)據(jù)獲取權(quán)以搭建個人數(shù)據(jù)主體與數(shù)據(jù)控制者之間的溝通機(jī)制”。[13](p107)此番呼吁對應(yīng)的背景是,域外為數(shù)不多的司法判決對推論信息的歸屬和本質(zhì)尚未定性。在Y.S v.Minister voor Immigra?tie一案中,荷蘭高等法院曾判決,無論推論信息與原始信息之間的關(guān)聯(lián)有多么直接、是否關(guān)涉信息主體的重要權(quán)益,只要推論信息通過特定的處理方式(算法)在原始信息的基礎(chǔ)上有所遞進(jìn),那么該推論信息就不是信息主體可以任意支配的個人信息。①Y.S v.Minister voor Immigratie,C-372/12(2010).在Peter Nowak v.Data Protection Commissioner一案中,愛爾蘭高等法院則認(rèn)為,只要能夠證明同信息主體有所關(guān)聯(lián),那么不管是經(jīng)歷了多少輪處理取得的推論信息,都應(yīng)被視為信息主體可以直接支配的個人信息。②Peter Nowak v.Data Protection Commissioner,C-434/16(2017).易言之,只要能追溯至算法決策對象原始信息的推論信息,都屬于信息主體通過行使“更正權(quán)”可以糾正的信息。問題是,即便采納Pe?ter Nowak案的審判思路,考慮到計算機(jī)的思維通常異于常人,信息輸入和輸出之間通常不是線性關(guān)聯(lián),對算法決策運算邏輯缺乏相應(yīng)知識的信息主體,如何有能力對推論信息進(jìn)行更正呢?

    綜上所述,機(jī)器學(xué)習(xí)模型從數(shù)個渠道、多個平臺抓取信息,形成對個體產(chǎn)生重大影響的算法決策。單一信息源頭的修改及修正,在整體邏輯不變的前提下,能夠起到的作用可謂“微乎其微”,根本不可能實現(xiàn)徹底更正錯誤的法律效果。在算法黑箱的掩映下,針對推論信息的“更正權(quán)”實屬天方夜譚,不具備可行性。更正基礎(chǔ)信息完全不同于更正結(jié)果,二者具有指向性的區(qū)別,在行權(quán)擬取得的法律效果上,“更正權(quán)”甚至算不上最低程度的“免受算法支配權(quán)”。

    (二)“獲解釋權(quán)”:聊勝于無。

    長期以來,算法可解釋性的合規(guī)要求,被視為“對抗數(shù)據(jù)個體的主體性和自治性淪陷和喪失的內(nèi)在之善”;[14](p1425)本應(yīng)居于非普遍使用、輔助性地位的算法透明原則,一躍成為世界各國人工智能法律法規(guī)的核心要旨。[15](p20)似乎,只要過程是可以被解釋的,那么算法決策結(jié)果的合理與否,便一目了然。但是,算法透明真的能夠一蹴而就嗎?答案顯然是否定的。

    透過可解釋性的合規(guī)要求確實可以將有爭議的問題擺至臺面進(jìn)行探討,但針對算法決策過程的人為解釋,未必能夠通過科學(xué)合理的方式進(jìn)行驗證。機(jī)器學(xué)習(xí)模型所涉及的中間環(huán)節(jié)越多,身處局外的觀察家們就越不能終局地評價信息輸入和結(jié)果輸出之間的因果關(guān)系。強(qiáng)推算法可解釋性合規(guī)要求的結(jié)果是,信息處理者被迫加大力度,去尋求能夠正當(dāng)化算法決策且能夠被大眾所接受的理由和借口[16](p61)——對算法決策的解釋是事后添加的,而解釋說理的方式完全取決于政治和經(jīng)濟(jì)目標(biāo)。對算法可解釋性的合規(guī)要求進(jìn)行補強(qiáng)的方案,是要求信息處理者在算法決策的各個流程引入同行評議,由同信息處理者無關(guān)聯(lián)的專家同行對機(jī)器學(xué)習(xí)模型和代碼的構(gòu)造進(jìn)行實質(zhì)審查。英國《政府?dāng)?shù)據(jù)倫理框架》將法定同行評議作為算法決策的“安全屏障”,但并未給出切實可行的操作方案。需要指出的是,通過同行評議并不意味著算法就可被解釋,更不意味著算法不具備支配性和攻擊性。缺乏充分反映自然人價值體系的倫理審查標(biāo)準(zhǔn),同行評議充其量只能保證:(1)算法代碼的字里行間不充斥著個別程序員帶有偏見的價值負(fù)載;(2)機(jī)器學(xué)習(xí)建模過程和指令轉(zhuǎn)譯過程中不存在必須調(diào)整的理解偏差和表達(dá)耗散。

    GDPR第13條、第14條、第15條分別規(guī)定了直接、間接以及因各類原因進(jìn)行個人信息處理活動主體應(yīng)向信息主體履行的強(qiáng)制性信息披露義務(wù);《個人信息保護(hù)法(草案)》第48條相對簡單地闡述了“個人有權(quán)要求個人信息處理者對其個人信息處理規(guī)則進(jìn)行解釋說明”。以上兩種規(guī)定方式,均是從信息主體的“獲解釋權(quán)”入手,來反向規(guī)定信息處理者應(yīng)當(dāng)遵循的算法可解釋性的合規(guī)要求,并不必然涉及對算法決策的“全流程”解釋。在這種規(guī)定方式之下,信息處理者可以輕松地以信息采集的范圍和合理性來搪塞信息主體對算法決策過程的懷疑,將本來是針對信息采集環(huán)節(jié)的事前解釋“依葫蘆畫瓢”地作用于算法決策的事中和事后過程。同行評議程序的缺乏,配合上本來就意義不大的事前解釋,必然將架空信息主體的“獲解釋權(quán)”,既無法降低信息處理者和信息主體之間的信息不對稱,甚至都難以協(xié)助信息主體加深對算法決策的了解。

    總而言之,立法者看到的是一個設(shè)定一項“獲解釋權(quán)”就可以讓算法決策可解釋的世界,而這種理想愿景同當(dāng)今技術(shù)運作的現(xiàn)實情況存在巨大鴻溝。隨著機(jī)器學(xué)習(xí)模型的日益復(fù)雜、卷積神經(jīng)網(wǎng)絡(luò)的廣泛適用、數(shù)據(jù)搜集源頭的交匯重疊,要就算法決策的運作原理與裁判機(jī)制做出詳細(xì)且外行人也能理解的解釋,經(jīng)常是“解釋了也是白解釋”,無助于信息主體從不公平的算法決策中抽身而退,也并未賦予信息主體在算法決策前負(fù)隅頑抗的籌碼。

    (三)“被遺忘權(quán)”:徒勞無功。

    從字面來看,“被遺忘權(quán)”是迄今為止,最接近“免受算法支配權(quán)”的一種權(quán)利創(chuàng)設(shè),因為信息主體只要確實身處“被遺忘”的狀態(tài),那將不再受到算法工具的針對、評價和信息封鎖。世界各國縱有截然不同的“被遺忘權(quán)”立法背景,“被遺忘權(quán)”卻殊途同歸地在法律文件中被轉(zhuǎn)譯為“擦除權(quán)”(the right to erase)或“刪除權(quán)”(the right to delete)。以歐盟為例,在2010年的Google Spain v.Costeja Gonzalez案中,原告要求在搜索引擎中剔除自己已經(jīng)過時的個人信息,《個人數(shù)據(jù)保護(hù)指令》(下簡稱DPID)第12條“允許信息主體擦除不符合相關(guān)規(guī)定的信息”的原始規(guī)定得以適用。GDPR第17條吸收了此前的規(guī)定,將DPID第12條表達(dá)為:“信息主體有權(quán)要求數(shù)據(jù)控制者擦除關(guān)于其個人信息的權(quán)利”。我國的相關(guān)法律實踐開始于2015年,在任甲玉訴北京百度網(wǎng)訊科技有限公司人格權(quán)糾紛案中,原告除了主張姓名權(quán)和名譽權(quán)受到侵害之外,還額外主張被告侵犯了其人格權(quán)中“被遺忘”的權(quán)利。①任甲玉與北京百度網(wǎng)訊科技有限公司人格權(quán)糾紛案,北京市海淀區(qū)人民法院民事判決書,(2015)海民初字第17417號。雖然原告在二審中敗訴,但是“被遺忘權(quán)”的主張,引發(fā)了學(xué)界和實務(wù)界的熱切關(guān)注,[17](p155)并體現(xiàn)在《民法典》人格權(quán)編的立法工作中?!睹穹ǖ洹返?028條、1029條、1037條和1195條分別規(guī)定了自然人在四種情形中享有“刪除權(quán)”:1.報刊、網(wǎng)絡(luò)等媒體報道的內(nèi)容失實;2.針對自己的信用評價不當(dāng);3.信息處理者違反法律、行政法規(guī)的規(guī)定或者雙方的約定處理其個人信息;4.網(wǎng)絡(luò)用戶利用網(wǎng)絡(luò)服務(wù)實施侵權(quán)行為?!秱€人信息保護(hù)法(草案)》集判例和《民法典》之大全,在第22條規(guī)定了超出約定處理目的、合同履行完畢時信息處理者的信息返還或刪除義務(wù),在第47條明確了個人撤回信息處理同意時所享有的“刪除權(quán)”;對于刪除信息在技術(shù)上難以實現(xiàn)的,《個人信息保護(hù)法(草案)》要求個人信息處理者立即停止處理個人信息。

    遺憾的是,表現(xiàn)為“刪除權(quán)”的“被遺忘權(quán)”,并非完整意義上的“被遺忘權(quán)”,只能在有限范圍內(nèi)將涉及信息主體的部分信息“隱去”,并不能起到讓信息主體“被遺忘”的效果。在Google Spain案中,雖然原告勝訴,但被允許行使“刪除權(quán)”的結(jié)果,只是讓搜索引擎在其算法模型中,剔除了包含原告?zhèn)€人信息的鏈接,并沒有徹底刪除包含這些個人信息的原始界面,畢竟,這些界面所對應(yīng)的門戶網(wǎng)站,并不歸搜索引擎公司所有。因此,原告行使“刪除權(quán)”頂多實現(xiàn)了被某個搜索引擎算法“遺忘”的法律效果;只要包含個人信息的原始頁面依舊存續(xù),其他的智能應(yīng)用依舊可以實現(xiàn)對這些頁面的抓取和訪問,信息主體也就仍然隨時處于各類算法決策的支配之下。“被遺忘權(quán)”的自欺欺人之處在于,信息主體只能暫時免受某算法決策的“跟蹤”,就好比清空網(wǎng)絡(luò)購物平臺購物車雖然可以暫時改變“猜你想要”的推送結(jié)果,但算法系統(tǒng)依舊可以憑借對用戶購買習(xí)慣、支付方式等深層次信息的牢牢掌控進(jìn)行“套路”和“殺熟”。若想達(dá)至被徹底遺忘的效果,信息主體只能依次向包含個人信息的網(wǎng)站逐一行使“被遺忘權(quán)”,此種在理論上可行的操作方式在實踐中將面臨極高的行權(quán)成本。更何況,現(xiàn)實中有不少專門記錄從搜索引擎界面移除鏈接的界面,例如Wikime?dia和Reddit等,讓希冀行使“被遺忘權(quán)”的信息主體陷入“越描越黑”的境地之中。[18](p18)以此觀之,如果“被遺忘權(quán)”只是停留在“擦除權(quán)”“刪除權(quán)”的水準(zhǔn),期望信息主體通過行使“被遺忘權(quán)”來達(dá)到“免受算法支配”的希望,定然會落空。

    三、應(yīng)對的方案:“免受算法支配權(quán)”的內(nèi)涵與外延

    “更正權(quán)”“被遺忘權(quán)”“獲解釋權(quán)”的固有缺陷決定了,即使三者在實踐中能夠合乎情理的聯(lián)動,也無法真正起到讓信息主體“免受算法支配”的效果。等因奉此,《個人信息保護(hù)法(草案)》應(yīng)當(dāng)以更加直接的方式規(guī)定“免受算法支配權(quán)”:“個人有權(quán)不成為算法決策支配對象,信息處理者應(yīng)當(dāng)保障個人可以不受信息自動化處理的決定的限制”。性質(zhì)上,“免受算法支配權(quán)”是信息主體請求免受算法決策影響、獲得人工干預(yù)等權(quán)利的集合。對這種復(fù)合式權(quán)利的內(nèi)涵界定,可以分情境從以下三個方面展開。

    (一)算法操縱場景:“陳情權(quán)”。

    “免受算法支配權(quán)”是最低限度的“陳情權(quán)”,是個體就自身不公平遭遇獲得公平聆訊以及請求行政復(fù)議的權(quán)利。允許個體就廣泛存在的“算法不公”進(jìn)行陳情,可以讓政策制定者以“同為自然人”的立場對被決策者的實際遭遇感同身受,借此制定出更人性化的政策和法律,及時矯正影響深遠(yuǎn)的算法決策可能存在的偏誤。

    在算法操縱的場景中,受算法支配的從業(yè)人員,主要是學(xué)歷不高、無專業(yè)技能的基礎(chǔ)工種,是各類勞動者中幾近最為弱勢的群體。以外賣送餐騎手為例,各平臺的騎手一般分為兩類,一種是加入各個站點、由代理商作為“隔層”與平臺構(gòu)成勞務(wù)關(guān)系的專職騎手,理應(yīng)按照勞動法規(guī)范落實工作時間和社會保險的相關(guān)規(guī)定;另一種是入行門檻極低,自主注冊、接單、配送的眾包騎手,由于其服務(wù)樣態(tài)不符合典型勞動關(guān)系的特征,很難納入勞動法調(diào)整,缺乏與其勞動方式相適應(yīng)的法律保障機(jī)制。在平臺的外衣下,專職騎手實際上也難以行使勞動法所提供的法定議價權(quán)利,與眾包騎手一樣缺乏同平臺的議價能力,這實際上是勞動者被算法支配的問題的根源。在該類法律關(guān)系中,工作時間、加班報酬以及獎懲規(guī)則由平臺決定,平臺的決定權(quán)由算法決策予以具體落實。由于缺乏議價能力,勞動者只能選擇要么被迫接受、要么離開平臺,算法決策加劇了平臺與底層勞動者之間的權(quán)力和利益結(jié)構(gòu)失衡。

    讓勞動關(guān)系中的信息主體免受算法支配的對策,是回歸基本的勞動者權(quán)益保障,即綜合運用政策工具,提升勞動者與平臺之間的議價能力。在人工智能的加持下,新業(yè)態(tài)、新模式層出不窮,政策和既有規(guī)定很難及時捕捉因技術(shù)變革帶來的新問題和新挑戰(zhàn),此時,賦予作為受支配者、當(dāng)事人的信息主體通過正當(dāng)渠道發(fā)聲的“陳情權(quán)”,有助于提醒立法者及時調(diào)整法律法規(guī),以構(gòu)筑勞動者權(quán)益保障的底線?!瓣惽闄?quán)”的行使,將有助于建立與不同業(yè)態(tài)和模式相匹配的“政府—勞動者—平臺”三方參與的議價協(xié)商制度,借用公共對話的場域來制衡平臺的技術(shù)霸權(quán),為處于弱勢地位的勞動者提供議價渠道,以各方都能接受的協(xié)商結(jié)果修正近乎肆意妄為的算法決策。

    “陳情權(quán)”所構(gòu)筑的商談場域,也有助于矯正雇傭關(guān)系中不平衡的風(fēng)險分配機(jī)制,避免不公平的責(zé)任轉(zhuǎn)嫁或無必要的責(zé)任攬承?!胺芍贫鹊恼?dāng)性取決于‘正當(dāng)化’的過程以及為了達(dá)到這一目的而運用的‘說理的技術(shù)’?!盵19](p71)各參與方的相互角力可以創(chuàng)造出符合各方利益的內(nèi)生性合理秩序,解決既有外生性制度安排難以應(yīng)對的棘手問題?!蹲罡呷嗣穹ㄔ宏P(guān)于審理人身損害賠償案件適用法律若干問題的解釋》第11條規(guī)定了“雇主嚴(yán)格責(zé)任制”:“雇員在從事雇傭活動中遭受人身損害,雇主應(yīng)當(dāng)承擔(dān)賠償責(zé)任,雇傭關(guān)系以外的第三人造成雇員人身損害的,賠償權(quán)利人可以請求第三人承擔(dān)賠償責(zé)任,也可以請求雇主承擔(dān)賠償責(zé)任?!北仨毘姓J(rèn)的是,“雇主嚴(yán)格責(zé)任制”的過度適用,將給勞動市場的供給方帶來過高的運營成本,不利于商業(yè)活動的開展。面對技術(shù)進(jìn)步不斷革新商業(yè)模式的現(xiàn)狀,有學(xué)者指出,不宜“一攬子”將互聯(lián)網(wǎng)平臺的勞務(wù)供給認(rèn)定為勞務(wù)關(guān)系,勞動法的適用范圍應(yīng)當(dāng)根據(jù)技術(shù)的發(fā)展做動態(tài)調(diào)整,“避免勞動關(guān)系的泛化”。[20](p50)“陳情權(quán)”的適用,將有助于勞動者和平臺之間自行達(dá)至責(zé)任和風(fēng)險分配的最優(yōu)解,為未來《勞動法》的動態(tài)調(diào)整提供方法論上的啟示。

    (二)平臺殺熟場景:“人工干預(yù)權(quán)”。

    平臺殺熟,是指信息處理者通過對信息主體的大數(shù)據(jù)分析,在掌握其消費偏好、消費習(xí)慣和消費水平后,將同一商品或服務(wù)以差別性定價賣給不同的信息主體從而獲得更多消費者剩余的行為,嚴(yán)重影響市場秩序、侵害消費者權(quán)益以及社會整體利益。例如,同樣的一份外賣餐食,外賣平臺對同一區(qū)域的客戶收取不同的配送費或者服務(wù)費;網(wǎng)約車軟件對相同里程、相近交通狀況的行程收取不同的費用。在殺熟技巧越發(fā)精湛的今天,平臺殺熟演化出兩種基本表現(xiàn)形式,從差別定價逐漸向誘導(dǎo)消費轉(zhuǎn)換。其中,差別定價以三種方式實現(xiàn):(1)根據(jù)信息主體所使用的設(shè)備差異進(jìn)行差別定價;(2)根據(jù)信息主體消費時所處的不同場合進(jìn)行差別定價;(3)根據(jù)信息主體的不同消費習(xí)慣和效率頻率進(jìn)行差別定價。誘導(dǎo)消費主要有三種表現(xiàn)形式:(1)分析信息主體對價格的敏感程度,對“高凈值客戶”隱藏性價比更高的選項;(2)利用預(yù)測型和自主學(xué)習(xí)型算法,實現(xiàn)各搜索界面的協(xié)調(diào)一致,排除信息主體的多樣化選擇;(3)在用戶原有偏好的基礎(chǔ)上進(jìn)行戰(zhàn)略性反復(fù)推送,激發(fā)用戶原本不存在的隱性偏好。

    平臺殺熟的本質(zhì),其實是人為的錯誤算法決策,是平臺放任有利于自身的、帶有偏見的算法決策取代原有公平的、不區(qū)別對待的算法決策。在這個意義上,平臺殺熟和算法決策錯誤并無二致,二者可以以相同的矯正方式予以應(yīng)對。矯正算法決策錯誤最直接的方法,是人工介入。實際上,《個人信息保護(hù)法(草案)》第四章的“更正權(quán)”“獲解釋權(quán)”以及“被遺忘權(quán)”都是人工介入的典范,當(dāng)算法決策產(chǎn)生錯誤時,由自然人介入決策過程,或?qū)Σ徽_的原始信息予以更正、或?qū)此撇缓侠淼乃惴Q策予以解釋、或刪除包含噪音的個人信息。但正如上文指出的那樣,“更正權(quán)”“獲解釋權(quán)”以及“被遺忘權(quán)”層面的人工介入,尚不足以完全糾正錯誤的算法決策,更不可能實現(xiàn)免受算法支配的法律效果。在平臺殺熟和算法決策有誤的場景中,“免受算法支配權(quán)”應(yīng)當(dāng)對應(yīng)比“人工介入權(quán)”程度更高的“人工干預(yù)權(quán)”,即以人工干預(yù)的方式直接糾正不合理的結(jié)果,以“自然人所具備的一般理性和情感”對信息主體的相關(guān)信息進(jìn)行審查并得出全新結(jié)論。

    更高程度的人工介入體現(xiàn)在,由自然人親力親為,對錯誤的算法決策過程和結(jié)果的干預(yù)。以健康碼為例,政府部門允許個人在健康碼的結(jié)果與實際情況不符時,撥打12345熱線發(fā)起糾錯申請,經(jīng)縣級防控指揮部核實確認(rèn)后,以人工決策取代算法決策形成公允的判定結(jié)果。這是在法律尚無明確規(guī)定的情況下,以“行勝于言”的方式實現(xiàn)了“免受算法支配權(quán)”的精神內(nèi)涵,這種以人為本的執(zhí)法實踐,讓智治與自治、法治、德治一樣充滿溫度?;氐狡脚_殺熟的場景,“人工干預(yù)權(quán)”的設(shè)置,并不意味著平臺必須以“自然人親力親為”的方式進(jìn)行定價或者向消費者推薦商品或服務(wù),也不是當(dāng)消費者覺察到被殺熟之后由人工審核算法定價的合理性。從節(jié)約雙方成本的角度考慮,平臺應(yīng)在預(yù)測型和自主學(xué)習(xí)型算法的使用上保持克制,并且主動建立“算法決策審核官”等職位,由自然人專家主動監(jiān)測算法決策的各個環(huán)節(jié),防止利潤最大化導(dǎo)向下算法決策的異化和“脫韁”,以事前的“主動人工干預(yù)”避免產(chǎn)生事后的“被動人工干預(yù)”成本。

    (三)信息繭房場景:“遠(yuǎn)離權(quán)”。

    人類的相互操縱和強(qiáng)力干預(yù),頗受外部競爭和權(quán)力分化的限制,但打著促進(jìn)個人自主旗號的算法工具,已經(jīng)在受眾的半推半就之間完全破壞了人類的自主性。這種破壞性集中體現(xiàn)在通過吸引注意力的方式來影響人們的行為并左右人們的偏好。有學(xué)者將監(jiān)控和管理人們生活的算法決策系統(tǒng)比喻成“隱形鐵絲網(wǎng)”,它們包圍并限制了人們的自主空間,個體甚至根本意識不到它們在做什么。[21](p9)無處不在的傳感器系統(tǒng)、時時開啟的定位服務(wù)、360度無死角的監(jiān)控攝像頭以及呈指數(shù)級增長的大數(shù)據(jù),記錄并重塑了人們的數(shù)字生活,任何從中逃亡的嘗試,都將面臨被“推回正軌”的壓力。例如,脫離銀行的資信審查系統(tǒng),信息主體將無法獲得貸款,甚至,在房屋租賃的平臺都無法通過審核。2020年以來,反壟斷法和反不正當(dāng)競爭法已經(jīng)在宏觀層面頻頻發(fā)力,對橫亙在政府和市場之間、憑借科技優(yōu)勢介入社會運營的技術(shù)寡頭進(jìn)行合理拆分,防止因“集個人信息之大成”而掌握“準(zhǔn)公權(quán)力”的商業(yè)平臺、金融機(jī)構(gòu)和社交媒體興風(fēng)作浪。在微觀層面,信息主體也需要切實有力、操作性強(qiáng)的個體權(quán)利,以脫離算法決策所塑造的信息繭房,不被掌控話語權(quán)的商業(yè)巨頭們“帶節(jié)奏”。

    美國學(xué)者特蘭最早提出了“注意力保護(hù)權(quán)”(the right to attention)的概念,主張賦予信息主體對抗算法決策捕捉和控制注意力的權(quán)利。[22](p1023)由于“注意力保護(hù)權(quán)”的概念過于模糊,實踐中人們將其解讀為“離線權(quán)”(the right to disconnect),意指信息處理主體應(yīng)當(dāng)賦予信息主體從網(wǎng)絡(luò)世界回歸現(xiàn)實生活留白、不受算法調(diào)度的被動權(quán)利。弗銳希曼和瑟琳格更進(jìn)一步,提出了“遠(yuǎn)離權(quán)(the right to be off)”的概念。他們指出,人類在21世紀(jì)保持自主意識的關(guān)鍵在于,個體隨時隨地都能享有在沒有任何算法工具強(qiáng)加于身的情況下生活的基本權(quán)利。[23](p96-102)實現(xiàn)“遠(yuǎn)離權(quán)”的方式,是在“通知—同意機(jī)制”中,對信息主體可以“隨時離線”的權(quán)利予以特別提示??紤]到算法決策應(yīng)用場景的千變?nèi)f化,千篇一律的權(quán)利預(yù)設(shè)方式將難以發(fā)揮其既定的效用,“遠(yuǎn)離權(quán)”的內(nèi)涵亟待進(jìn)一步完善。

    根據(jù)拉茲在20世紀(jì)80年代提出的四維自主理論,個體想要成為自己生活的主宰者,應(yīng)當(dāng)符合四個基本條件:(1)具有最低限度的理性來計劃擬實現(xiàn)的目標(biāo);(2)擁有足夠的選擇,不受單一手段的限制和制約;(3)在思維和心智上獨立,有能力應(yīng)對來自外界的干擾、脅迫和操縱;(4)享有實現(xiàn)目標(biāo)的精神和魄力。[24](p112)相應(yīng)的,“遠(yuǎn)離權(quán)”的構(gòu)建可以從多個面向展開:(1)算法決策通常透過限制和約束個體的選擇,以達(dá)到直接或間接干預(yù)人類決策的目的,“遠(yuǎn)離權(quán)”則應(yīng)打破算法工具有限選擇的藩籬,禁止信息處理者利用技術(shù)手段隱藏、過濾、預(yù)選可供信息主體選擇的選項;(2)算法決策工具慣于通過反復(fù)推薦,來削弱個體自主決策的意志,以“放長線釣大魚”的手段,讓人們被迫接受一套“因反復(fù)而定型”的思維模式乃至價值觀。信息主體應(yīng)當(dāng)被允許請求信息處理者剔除一切可能擾亂其思維的推薦方式,包括但不限于重復(fù)推送、在關(guān)鍵位置進(jìn)行醒目提醒等;(3)某些算法工具被塑造成具有脅迫性的輔助工具,如果個體不按照程序規(guī)定的方式行動,系統(tǒng)就會發(fā)出不利后果的嚴(yán)正警告。在更極端的情形中,算法工具之間甚至存在合謀的情況,例如,某些自動駕駛系統(tǒng)同保險費計算程序掛鉤,如果用戶不嚴(yán)格按照自動駕駛系統(tǒng)所“建議”的方式駕駛車輛,那么將可能面臨保費激增的后果。就此而論,“遠(yuǎn)離權(quán)”應(yīng)當(dāng)包含禁止系統(tǒng)濫發(fā)警告的消極效力;(4)算法工具通過吞噬碎片時間的方式,逐漸消磨個體“集中力量辦大事”的心力:密集溝通與零散信息讓專心致志的思考愈發(fā)奢侈,疲于應(yīng)付的必然結(jié)果就是好生忙碌卻智識匱乏,在不知不覺間讓算法接管一切。就像當(dāng)今所有的網(wǎng)絡(luò)游戲都被要求引入“防沉溺系統(tǒng)”一樣,信息處理者應(yīng)當(dāng)主動在算法工具中置入長時間使用應(yīng)用提醒,以及超長時間使用應(yīng)用被迫離線等功能。

    四、結(jié)語

    “免受算法支配權(quán)”所揭示出來的重要命題是,人類與技術(shù)之間,需要保持相當(dāng)?shù)陌踩嚯x。算法操縱、平臺殺熟和信息繭房場景中“免受算法支配權(quán)”的內(nèi)涵雖然不盡相同,但其背后的邏輯基點都是不同場景之間自然人保護(hù)的共性需求:其一,警惕本來應(yīng)當(dāng)是中立的智能應(yīng)用,被用來掩飾未取得“多數(shù)人同意”的少數(shù)人集權(quán)。其二,避免“算法正確”取代“自然人正確”以及“信息處理者利益最大化”排斥“個人利益最大化”。其三,倡導(dǎo)一種符合自然人實際感受的自由與自主。只有在決定自身利益的關(guān)鍵事務(wù)上享有積極參與的權(quán)利,人類才有可能維持和延續(xù)在知識、經(jīng)驗和道德上的卓越。監(jiān)管套利、技術(shù)壁壘和應(yīng)用迭代或?qū)⑷找鏀U(kuò)展信息采集的邊界、加大算法可解釋性的鴻溝、提升個體被網(wǎng)絡(luò)世界遺忘的門檻,但倘若能將免受算法支配的權(quán)利思維嵌入至算法規(guī)制的全流程,那便是以充分體現(xiàn)人民意愿的方式將“不斷增強(qiáng)人民群眾獲得感、幸福感、安全感”的價值追求一以貫之;[25](p15)如此個人信息保護(hù),正所謂“良法善治”也。

    猜你喜歡
    個人信息保護(hù)法信息處理個人信息
    如何保護(hù)勞動者的個人信息?
    工會博覽(2022年16期)2022-07-16 05:53:54
    個人信息保護(hù)進(jìn)入“法時代”
    東營市智能信息處理實驗室
    基于Revit和Dynamo的施工BIM信息處理
    警惕個人信息泄露
    綠色中國(2019年14期)2019-11-26 07:11:44
    地震烈度信息處理平臺研究
    CTCS-3級列控系統(tǒng)RBC與ATP結(jié)合部異常信息處理
    個人信息的法律保護(hù)
    法制博覽(2018年1期)2018-02-24 22:53:17
    個人信息保護(hù)法在大數(shù)據(jù)時代的適用和域外效力
    個人信息保護(hù)法域外效力研究
    亚洲欧美日韩东京热| 欧美一级a爱片免费观看看| 日韩精品免费视频一区二区三区 | 2018国产大陆天天弄谢| 亚洲国产最新在线播放| 中文字幕制服av| 久热这里只有精品99| 成人亚洲欧美一区二区av| 国产日韩欧美在线精品| 久久久久久久久久成人| 亚洲av欧美aⅴ国产| 亚洲欧美成人综合另类久久久| 久久ye,这里只有精品| 麻豆成人午夜福利视频| a级一级毛片免费在线观看| 日本黄大片高清| 精品国产一区二区久久| 精品卡一卡二卡四卡免费| 美女视频免费永久观看网站| 欧美+日韩+精品| 亚洲激情五月婷婷啪啪| 九色成人免费人妻av| 精品国产国语对白av| 晚上一个人看的免费电影| 熟女av电影| 美女大奶头黄色视频| 亚州av有码| 一区二区三区免费毛片| 成年av动漫网址| 99re6热这里在线精品视频| 亚洲av中文av极速乱| 亚洲内射少妇av| 亚洲四区av| 中文字幕人妻熟人妻熟丝袜美| 一个人看视频在线观看www免费| 亚洲精品视频女| 日韩av免费高清视频| 免费观看的影片在线观看| 乱人伦中国视频| 国产精品一区二区三区四区免费观看| 九九久久精品国产亚洲av麻豆| 国产高清有码在线观看视频| 高清毛片免费看| 黄色配什么色好看| 亚洲国产精品专区欧美| 91在线精品国自产拍蜜月| 日韩一区二区三区影片| 国产探花极品一区二区| 中文欧美无线码| 久久久精品94久久精品| 久久人人爽人人片av| 80岁老熟妇乱子伦牲交| 精品人妻偷拍中文字幕| 99九九线精品视频在线观看视频| 免费看日本二区| 午夜福利,免费看| 午夜日本视频在线| 青青草视频在线视频观看| 99热6这里只有精品| 成年女人在线观看亚洲视频| 亚洲精品视频女| a级毛片免费高清观看在线播放| 老司机影院成人| 少妇精品久久久久久久| 成人毛片a级毛片在线播放| 亚洲av中文av极速乱| 99久久中文字幕三级久久日本| 精品少妇内射三级| 日本91视频免费播放| 老司机影院毛片| 亚洲怡红院男人天堂| 少妇猛男粗大的猛烈进出视频| 三上悠亚av全集在线观看 | 好男人视频免费观看在线| 纯流量卡能插随身wifi吗| 日本黄色日本黄色录像| 亚洲怡红院男人天堂| 精品卡一卡二卡四卡免费| 乱人伦中国视频| 久久国产精品大桥未久av | 国产一区有黄有色的免费视频| 亚洲经典国产精华液单| 亚洲综合色惰| 亚洲国产色片| 国产成人午夜福利电影在线观看| 欧美日韩视频精品一区| 男男h啪啪无遮挡| 国产精品蜜桃在线观看| 亚洲,欧美,日韩| 如日韩欧美国产精品一区二区三区 | 黄色欧美视频在线观看| 久久国产精品大桥未久av | 久热这里只有精品99| 日韩一本色道免费dvd| 色哟哟·www| 国产精品99久久99久久久不卡 | 国产精品一区二区在线观看99| 亚洲欧洲国产日韩| 99久久综合免费| 黑人巨大精品欧美一区二区蜜桃 | 蜜桃在线观看..| 国产黄色免费在线视频| 久久精品久久精品一区二区三区| 久久精品国产鲁丝片午夜精品| 美女脱内裤让男人舔精品视频| 亚洲av男天堂| 国产 精品1| a级一级毛片免费在线观看| 男人舔奶头视频| 国产日韩一区二区三区精品不卡 | 蜜桃久久精品国产亚洲av| 成人免费观看视频高清| 亚洲精品日韩av片在线观看| 99九九在线精品视频 | 男女国产视频网站| 一级av片app| 欧美日本中文国产一区发布| 亚洲av男天堂| 国产中年淑女户外野战色| 国产精品不卡视频一区二区| 久久精品久久久久久噜噜老黄| 国产免费一区二区三区四区乱码| 久久狼人影院| 亚洲美女黄色视频免费看| 人人妻人人添人人爽欧美一区卜| 99久久人妻综合| 九九在线视频观看精品| 多毛熟女@视频| 在线观看www视频免费| 久久精品国产亚洲av涩爱| 国产 一区精品| 99久久综合免费| 国产一区有黄有色的免费视频| 内射极品少妇av片p| av.在线天堂| av福利片在线| 久久国内精品自在自线图片| 亚洲精品一二三| 黄片无遮挡物在线观看| 亚洲国产最新在线播放| 欧美高清成人免费视频www| 国产午夜精品久久久久久一区二区三区| 人人妻人人添人人爽欧美一区卜| tube8黄色片| 天天操日日干夜夜撸| 中国国产av一级| 国产欧美日韩一区二区三区在线 | 一级毛片 在线播放| av不卡在线播放| 日韩一区二区视频免费看| 亚洲av中文av极速乱| 国产黄片视频在线免费观看| 国产精品麻豆人妻色哟哟久久| 久久热精品热| 一二三四中文在线观看免费高清| 国产成人精品一,二区| 久久久亚洲精品成人影院| 偷拍熟女少妇极品色| 中文字幕制服av| 你懂的网址亚洲精品在线观看| 777米奇影视久久| 亚洲欧美中文字幕日韩二区| 十八禁网站网址无遮挡 | 在线观看免费视频网站a站| 亚洲一区二区三区欧美精品| 丰满少妇做爰视频| 日韩在线高清观看一区二区三区| 亚洲综合色惰| 热re99久久精品国产66热6| 欧美激情极品国产一区二区三区 | 哪个播放器可以免费观看大片| 能在线免费看毛片的网站| 亚洲三级黄色毛片| 国产真实伦视频高清在线观看| 久久国产亚洲av麻豆专区| 精品亚洲成国产av| 在线观看免费日韩欧美大片 | 中文字幕制服av| 亚洲电影在线观看av| 亚洲国产欧美在线一区| 成人二区视频| 美女大奶头黄色视频| 黄色怎么调成土黄色| 精品人妻一区二区三区麻豆| 亚洲精品,欧美精品| 卡戴珊不雅视频在线播放| 亚洲欧美日韩另类电影网站| 国产又色又爽无遮挡免| www.色视频.com| 激情五月婷婷亚洲| 免费在线观看成人毛片| 欧美最新免费一区二区三区| 丝袜喷水一区| freevideosex欧美| 2021少妇久久久久久久久久久| 国产伦精品一区二区三区四那| 亚洲精品自拍成人| 好男人视频免费观看在线| 久久久精品免费免费高清| 精华霜和精华液先用哪个| 一区二区三区免费毛片| 亚洲国产精品999| 成人国产麻豆网| 久久久久精品性色| 夫妻性生交免费视频一级片| 国产精品三级大全| 伊人久久国产一区二区| 一级,二级,三级黄色视频| 男男h啪啪无遮挡| 人妻 亚洲 视频| 精品国产乱码久久久久久小说| 欧美 亚洲 国产 日韩一| 亚洲欧美成人精品一区二区| 精品久久久久久电影网| 最近2019中文字幕mv第一页| 亚洲中文av在线| 又粗又硬又长又爽又黄的视频| 成人二区视频| 男人舔奶头视频| av国产久精品久网站免费入址| 日韩欧美一区视频在线观看 | 又黄又爽又刺激的免费视频.| 国产亚洲5aaaaa淫片| 亚洲婷婷狠狠爱综合网| 国产伦在线观看视频一区| 国产成人免费观看mmmm| 国产精品久久久久久久久免| 欧美三级亚洲精品| 卡戴珊不雅视频在线播放| 80岁老熟妇乱子伦牲交| 久久久久视频综合| 久久久久久久国产电影| 国产精品成人在线| 黄色视频在线播放观看不卡| 成人免费观看视频高清| 精品一区在线观看国产| 国产精品麻豆人妻色哟哟久久| 深夜a级毛片| 免费观看的影片在线观看| 欧美激情国产日韩精品一区| 亚洲精品乱久久久久久| 晚上一个人看的免费电影| 欧美精品一区二区大全| 18禁在线无遮挡免费观看视频| 两个人免费观看高清视频 | 日韩电影二区| 国产成人免费观看mmmm| 久久久久久久国产电影| 国产精品无大码| 亚洲av免费高清在线观看| 不卡视频在线观看欧美| 成人漫画全彩无遮挡| 精品亚洲成国产av| 一区二区av电影网| 中文字幕亚洲精品专区| 国产精品成人在线| 麻豆成人午夜福利视频| 成年美女黄网站色视频大全免费 | 免费看日本二区| 交换朋友夫妻互换小说| videossex国产| 欧美+日韩+精品| 国产国拍精品亚洲av在线观看| 18禁动态无遮挡网站| 国内少妇人妻偷人精品xxx网站| 卡戴珊不雅视频在线播放| 欧美高清成人免费视频www| 97超视频在线观看视频| 熟妇人妻不卡中文字幕| 亚洲美女黄色视频免费看| 亚洲国产精品成人久久小说| 少妇高潮的动态图| 人人澡人人妻人| 精品一区二区三卡| 国产精品人妻久久久影院| 亚洲国产欧美日韩在线播放 | 如何舔出高潮| 国产精品福利在线免费观看| 亚洲欧美日韩另类电影网站| 伦理电影大哥的女人| 丰满迷人的少妇在线观看| 精品一区二区三卡| av又黄又爽大尺度在线免费看| 18禁动态无遮挡网站| 日日啪夜夜撸| 乱系列少妇在线播放| 熟女电影av网| 日韩欧美精品免费久久| 黄色配什么色好看| 9色porny在线观看| 男女无遮挡免费网站观看| 亚洲国产av新网站| 国产一级毛片在线| 久久久久久久久久久久大奶| av女优亚洲男人天堂| 国产精品.久久久| 成人影院久久| 久热这里只有精品99| 各种免费的搞黄视频| 久久久久久久国产电影| 欧美日韩精品成人综合77777| 久久精品国产亚洲网站| 婷婷色麻豆天堂久久| 久久国内精品自在自线图片| 国产成人freesex在线| 激情五月婷婷亚洲| 少妇的逼水好多| 国产男人的电影天堂91| 亚洲国产毛片av蜜桃av| 亚洲av男天堂| 精品亚洲成a人片在线观看| 国产亚洲5aaaaa淫片| 人妻少妇偷人精品九色| 人妻夜夜爽99麻豆av| 久久精品久久精品一区二区三区| 欧美+日韩+精品| 亚洲精品国产成人久久av| 精品一区二区三卡| 一边亲一边摸免费视频| 老女人水多毛片| 日韩精品有码人妻一区| 丝袜在线中文字幕| 欧美日韩视频精品一区| 丝袜在线中文字幕| 婷婷色综合大香蕉| 国产成人aa在线观看| 欧美日韩一区二区视频在线观看视频在线| 好男人视频免费观看在线| 亚洲性久久影院| 国产亚洲最大av| 国产色婷婷99| 亚洲国产欧美在线一区| 中文字幕久久专区| av免费在线看不卡| 纯流量卡能插随身wifi吗| 久久99蜜桃精品久久| 精品久久久精品久久久| 色5月婷婷丁香| 欧美国产精品一级二级三级 | 男女国产视频网站| 国产又色又爽无遮挡免| 青春草亚洲视频在线观看| 国产午夜精品一二区理论片| 欧美少妇被猛烈插入视频| 蜜桃久久精品国产亚洲av| 观看av在线不卡| 婷婷色av中文字幕| 婷婷色综合大香蕉| 成年av动漫网址| 国产一区二区在线观看日韩| 亚洲人成网站在线播| 国产精品无大码| 欧美丝袜亚洲另类| 国产真实伦视频高清在线观看| 三级国产精品片| 天天操日日干夜夜撸| av不卡在线播放| 亚洲电影在线观看av| 一本久久精品| 99精国产麻豆久久婷婷| 一本大道久久a久久精品| 少妇高潮的动态图| 特大巨黑吊av在线直播| 国产精品福利在线免费观看| 嘟嘟电影网在线观看| 久久99精品国语久久久| 丰满饥渴人妻一区二区三| 精品人妻偷拍中文字幕| 秋霞在线观看毛片| 日本av免费视频播放| 欧美丝袜亚洲另类| 五月伊人婷婷丁香| 欧美成人午夜免费资源| 免费播放大片免费观看视频在线观看| 乱人伦中国视频| 极品人妻少妇av视频| 乱人伦中国视频| 菩萨蛮人人尽说江南好唐韦庄| 亚洲精品456在线播放app| 国产真实伦视频高清在线观看| 热re99久久精品国产66热6| 国产午夜精品久久久久久一区二区三区| 色视频www国产| 国产精品福利在线免费观看| 香蕉精品网在线| 欧美日韩视频精品一区| 亚洲人成网站在线播| 视频区图区小说| 欧美精品亚洲一区二区| 亚洲精品日韩在线中文字幕| 三级国产精品片| 国产精品福利在线免费观看| 国产精品蜜桃在线观看| 日韩制服骚丝袜av| 观看免费一级毛片| 免费久久久久久久精品成人欧美视频 | 午夜激情久久久久久久| 午夜视频国产福利| av天堂久久9| 国产伦在线观看视频一区| 综合色丁香网| 精品酒店卫生间| 久久人人爽av亚洲精品天堂| 国产成人freesex在线| 中文字幕av电影在线播放| 日韩,欧美,国产一区二区三区| 久久6这里有精品| 亚洲中文av在线| 好男人视频免费观看在线| 国产熟女欧美一区二区| 下体分泌物呈黄色| 午夜日本视频在线| 男人狂女人下面高潮的视频| 日本wwww免费看| 精品亚洲成a人片在线观看| 一本色道久久久久久精品综合| 成人美女网站在线观看视频| 午夜久久久在线观看| 久久久欧美国产精品| 国产精品女同一区二区软件| 亚洲中文av在线| 国模一区二区三区四区视频| 高清黄色对白视频在线免费看 | av免费观看日本| 蜜桃久久精品国产亚洲av| 色婷婷av一区二区三区视频| 国产91av在线免费观看| 成人国产av品久久久| 亚洲精品一二三| 观看美女的网站| 亚洲久久久国产精品| 亚洲情色 制服丝袜| 免费看不卡的av| 在线观看国产h片| 日本黄色日本黄色录像| 欧美日韩国产mv在线观看视频| 日本-黄色视频高清免费观看| 日本爱情动作片www.在线观看| 成年人免费黄色播放视频 | 另类亚洲欧美激情| 一级二级三级毛片免费看| 日日摸夜夜添夜夜添av毛片| 久久精品久久精品一区二区三区| 欧美区成人在线视频| 一本大道久久a久久精品| 成年人免费黄色播放视频 | 精品人妻熟女毛片av久久网站| 91在线精品国自产拍蜜月| 欧美最新免费一区二区三区| 麻豆成人午夜福利视频| 街头女战士在线观看网站| 特大巨黑吊av在线直播| 久久久久精品久久久久真实原创| 乱人伦中国视频| 亚洲熟女精品中文字幕| 亚洲国产精品国产精品| 99久久中文字幕三级久久日本| 久久精品熟女亚洲av麻豆精品| av专区在线播放| 亚洲精品国产成人久久av| 欧美人与善性xxx| av卡一久久| 精品国产露脸久久av麻豆| 热99国产精品久久久久久7| 亚洲一区二区三区欧美精品| 18禁动态无遮挡网站| 我的女老师完整版在线观看| 亚洲丝袜综合中文字幕| 亚洲自偷自拍三级| 国产在线男女| 日本爱情动作片www.在线观看| 国产男女超爽视频在线观看| 午夜福利影视在线免费观看| 日韩av在线免费看完整版不卡| a 毛片基地| 91aial.com中文字幕在线观看| 国产91av在线免费观看| 啦啦啦在线观看免费高清www| 午夜免费观看性视频| 亚洲欧洲精品一区二区精品久久久 | 麻豆成人午夜福利视频| 国产精品无大码| 国产91av在线免费观看| 啦啦啦在线观看免费高清www| 亚洲精品一二三| 少妇猛男粗大的猛烈进出视频| 免费观看在线日韩| 亚洲欧美日韩另类电影网站| 免费播放大片免费观看视频在线观看| 国产免费又黄又爽又色| 一级毛片久久久久久久久女| 人人妻人人澡人人爽人人夜夜| 国产成人免费无遮挡视频| 成年美女黄网站色视频大全免费 | 日日摸夜夜添夜夜添av毛片| 久久午夜福利片| 两个人的视频大全免费| 丝袜在线中文字幕| 日韩中文字幕视频在线看片| 中文资源天堂在线| 精品少妇内射三级| 久久热精品热| 国产爽快片一区二区三区| 美女国产视频在线观看| 人妻 亚洲 视频| 高清不卡的av网站| 亚洲欧美精品自产自拍| 最近的中文字幕免费完整| 街头女战士在线观看网站| 精品人妻一区二区三区麻豆| 国产亚洲最大av| 成人亚洲精品一区在线观看| 精品一区二区三区视频在线| 日本av免费视频播放| 91成人精品电影| 久久午夜综合久久蜜桃| 亚洲av二区三区四区| 成年人午夜在线观看视频| 国产精品偷伦视频观看了| 亚洲精品一区蜜桃| 夫妻午夜视频| 免费大片黄手机在线观看| 最近手机中文字幕大全| 亚洲一区二区三区欧美精品| av线在线观看网站| 国产亚洲午夜精品一区二区久久| 国产精品一区二区三区四区免费观看| 亚洲国产精品成人久久小说| 久久精品国产自在天天线| 国产精品麻豆人妻色哟哟久久| 18禁在线播放成人免费| 欧美日韩一区二区视频在线观看视频在线| 青春草国产在线视频| 日本wwww免费看| 亚洲人成网站在线观看播放| 久久 成人 亚洲| av天堂中文字幕网| 久久精品国产亚洲网站| 七月丁香在线播放| 在线观看免费视频网站a站| 国精品久久久久久国模美| 永久免费av网站大全| 亚洲精品中文字幕在线视频 | 极品教师在线视频| 一边亲一边摸免费视频| 日韩熟女老妇一区二区性免费视频| 人妻少妇偷人精品九色| 亚洲美女视频黄频| 人妻 亚洲 视频| 大片免费播放器 马上看| 日韩av在线免费看完整版不卡| 内地一区二区视频在线| av一本久久久久| 国产高清不卡午夜福利| 亚洲精品成人av观看孕妇| 国产成人91sexporn| 国产精品不卡视频一区二区| 夜夜骑夜夜射夜夜干| 免费看光身美女| 我要看黄色一级片免费的| 在线观看免费日韩欧美大片 | 成年美女黄网站色视频大全免费 | 国产欧美亚洲国产| 欧美日韩av久久| 精品国产一区二区久久| kizo精华| 99久久精品国产国产毛片| 亚洲熟女精品中文字幕| 国产淫语在线视频| 一区二区三区四区激情视频| 国内少妇人妻偷人精品xxx网站| 亚洲不卡免费看| 久久午夜综合久久蜜桃| 免费观看av网站的网址| 亚洲国产欧美日韩在线播放 | 亚洲欧美日韩东京热| 麻豆成人午夜福利视频| 日本wwww免费看| 尾随美女入室| 欧美 亚洲 国产 日韩一| av免费观看日本| 99久久精品一区二区三区| 久久国产亚洲av麻豆专区| 男人舔奶头视频| 丝袜喷水一区| 亚洲,一卡二卡三卡| 久久免费观看电影| 中文在线观看免费www的网站| 99九九线精品视频在线观看视频| 午夜福利在线观看免费完整高清在| 婷婷色av中文字幕| 免费久久久久久久精品成人欧美视频 | 一本久久精品| 观看av在线不卡| 两个人免费观看高清视频 | 91午夜精品亚洲一区二区三区| 高清在线视频一区二区三区| 久久久精品94久久精品| 夜夜看夜夜爽夜夜摸| 亚洲av不卡在线观看| 精品一区在线观看国产| 精品熟女少妇av免费看| 国产爽快片一区二区三区| 国产精品一区二区在线不卡| 亚洲欧美一区二区三区黑人 | 99久久中文字幕三级久久日本| 精品少妇黑人巨大在线播放| 中文乱码字字幕精品一区二区三区| 视频区图区小说| a级片在线免费高清观看视频| 一区二区三区乱码不卡18| av在线观看视频网站免费| 精品久久久噜噜| 日日爽夜夜爽网站| a级毛片在线看网站|