• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    硬規(guī)則時(shí)代的數(shù)據(jù)自由與隱私邊界*

    2019-02-22 00:07:33肖冬梅
    關(guān)鍵詞:權(quán)力規(guī)則算法

    肖冬梅,陳 晰

    (湘潭大學(xué) 法學(xué)院,湖南 湘潭 411105)

    一、人類社會(huì)規(guī)則的嬗變:從軟規(guī)則到硬規(guī)則

    馮象認(rèn)為,智能社會(huì)的規(guī)則由算法制定,是硬性的[1]5。因?yàn)殡S著人類社會(huì)步入大數(shù)據(jù)與人工智能時(shí)代,若不遵守代碼、算法構(gòu)筑的硬性規(guī)則,往往不能執(zhí)行下一步操作。事實(shí)上,人類社會(huì)正在從軟規(guī)則時(shí)代走向硬規(guī)則時(shí)代,從時(shí)間維度來看,這是一個(gè)動(dòng)態(tài)演進(jìn)的歷史過程。從夜不閉戶、路不拾遺的古代社會(huì)的柴門插銷,發(fā)展到近代社會(huì)的木門銅鎖、現(xiàn)代社會(huì)的鐵門、防盜門窗到當(dāng)前的電子門禁、秘鑰,在這個(gè)演進(jìn)過程中,技術(shù)因素是其間的核心變量,而與技術(shù)創(chuàng)新相伴而行的是社會(huì)規(guī)則的變遷。何謂硬規(guī)則?硬規(guī)則有看得見的,也有看不見的,看得見的硬規(guī)則如路障、隔欄、緊閉的大門等物理設(shè)施,這些物理屏障即看得見的硬規(guī)則。數(shù)碼時(shí)代的密鑰則是典型的看不見的硬規(guī)則,我們現(xiàn)在取款、網(wǎng)購、訂票、收發(fā)郵件等日常活動(dòng),無不受這類硬規(guī)則的約束,記不得密碼我們?nèi)〔坏藉X、無法在線支付進(jìn)行消費(fèi)、不能收發(fā)電子郵件和登錄APP,而這些已經(jīng)成了我們?nèi)粘I畋仨氉袷?、不能違背的基本規(guī)則。可以說,隨著云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能技術(shù)的發(fā)展及其在各個(gè)領(lǐng)域的深入滲透,我們正在步入的智能社會(huì)是由數(shù)碼規(guī)則引領(lǐng)潮流、算法制定的硬規(guī)則世界。譬如置身于智慧校園,不管是到食堂吃飯、進(jìn)圖書館借書、去教學(xué)樓上課、澡堂洗澡,都會(huì)遭遇門禁這種硬規(guī)則,若忘記帶校園卡,就會(huì)上不了課、借不了書、吃不了飯、洗不了澡。

    何謂軟規(guī)則?法律、政策、倫理道德等都可歸為軟規(guī)則一類,與硬規(guī)則相比,軟規(guī)則的遵守往往需要內(nèi)心約束或自覺意識(shí)。相對(duì)于寫在紙上或掛在墻上的法條、政策或倫理規(guī)范,人們顯然更遵從“物理規(guī)則”。比如擋在入口處的路障、馬路中央的隔欄,沒有這些物理屏障(硬規(guī)則),光是立一塊牌子,貼一紙告示,往往不起作用。以十字路口的紅綠燈信號(hào)與立交橋?yàn)槔?,前者是軟?guī)則,后者是硬規(guī)則,紅綠燈顯示禁止通行的信號(hào)經(jīng)常會(huì)有人去闖,但即便是繞行,立交橋設(shè)計(jì)的路線人們往往都會(huì)遵循。數(shù)字化生存一代,已經(jīng)習(xí)慣了高效的硬規(guī)則。硬規(guī)則的制定和實(shí)施往往由服務(wù)商或政府機(jī)構(gòu)主導(dǎo),多數(shù)用戶的意見不會(huì)被重視,規(guī)則透明度低、沒有多少選擇空間,如用戶拒絕接受往往會(huì)被排除在服務(wù)之外。越來越多的硬規(guī)則出自商家、機(jī)構(gòu)的自決行為,無須走政治程序醞釀?wù)撧q、匯聚民意,也不靠用戶的內(nèi)心約束或法治意識(shí)得以實(shí)施,隨著大數(shù)據(jù)、算法和人工智能的深度滲透,我們每天的選擇越來越由代碼傳達(dá)的指令說了算。

    二、硬規(guī)則背后的數(shù)據(jù)主義與數(shù)據(jù)自由

    (一)數(shù)據(jù)主義是硬規(guī)則世界的新宗教

    研究顯示,過去幾年中人類制造的數(shù)據(jù)占整個(gè)人類歷史數(shù)據(jù)量的95%,換言之,大數(shù)據(jù)時(shí)代已經(jīng)真正降臨。大數(shù)據(jù)是基于海量歷史行為與前人經(jīng)驗(yàn),對(duì)未來的一種洞察。人們往往更傾向于相信大多數(shù)人的選擇,如出行時(shí)我們通常會(huì)選擇導(dǎo)航給出的最佳路線,網(wǎng)上購物時(shí)我們通常會(huì)選擇銷量最好的商品等。人類逐漸放棄直覺和經(jīng)驗(yàn),選擇相信大數(shù)據(jù)的決策和分析[2]13。數(shù)據(jù)、代碼和算法正馳騁在解釋萬物的高速路上。而人類,在某些程度上,已然成為自我的“先知”。

    “數(shù)據(jù)主義”被認(rèn)為是21世紀(jì)的新宗教。有生命科學(xué)研究者認(rèn)為,假設(shè)生物體都是算法,那么生命就是數(shù)據(jù)處理的過程,換言之,人是由“數(shù)據(jù)”構(gòu)成的。數(shù)據(jù)主義者認(rèn)為,宇宙是由數(shù)據(jù)組成,任何現(xiàn)象或?qū)嶓w的價(jià)值就在于對(duì)數(shù)據(jù)處理的貢獻(xiàn)。有了更好的算法和數(shù)據(jù),人類這種生物算法就會(huì)被自然淘汰,數(shù)據(jù)主義者信仰兩條律令:一是要連接越來越多的媒介,產(chǎn)生和使用越來越多的信息,讓數(shù)據(jù)流最大化;二是要把一切連接到系統(tǒng),連那些不想連入的異端也不能例外。隨著人類步入大數(shù)據(jù)時(shí)代,“數(shù)據(jù)主義”似乎將取代“人文主義”并成為一種新的世界觀或宗教,對(duì)此人類應(yīng)當(dāng)警醒。尤瓦爾·赫拉利認(rèn)為,“數(shù)據(jù)主義”不僅是“21世紀(jì)最大的科學(xué)挑戰(zhàn)”、“最急迫的政治和經(jīng)濟(jì)議題”,還是最重要的人文精神挑戰(zhàn)[3]352-353。

    技術(shù)常常與技術(shù)增進(jìn)人的自由相伴而行。習(xí)慣了數(shù)字化生存的這一代人,也習(xí)慣了硬規(guī)則,對(duì)于智能時(shí)代層出不窮的“便捷服務(wù)”習(xí)以為常,事實(shí)上,在我們身處的硬規(guī)則世界,日常生活中的每一次交易,都是數(shù)碼信息的交換,用戶都100%執(zhí)行了硬規(guī)則指令:提交個(gè)人信息。做一個(gè)透明人,自愿或被迫交出隱私,供人牟利,業(yè)已是生活常態(tài)。個(gè)人行為信息支撐著精準(zhǔn)投放廣告、區(qū)別定價(jià);指紋和刷臉,方便了身份識(shí)別與信用追蹤;DNA信息則可幫助保險(xiǎn)公司甄別投保人風(fēng)險(xiǎn)。網(wǎng)絡(luò)平臺(tái)和產(chǎn)業(yè)巨頭,大大小小的網(wǎng)站、店家、服務(wù)商,日復(fù)一日、年復(fù)一年地依法獲取加工隱私“原材料”。

    大數(shù)據(jù)和普適計(jì)算催生了新的人機(jī)關(guān)系、人-數(shù)據(jù)關(guān)系,數(shù)據(jù)和算法不再只發(fā)揮工具的作用,它們會(huì)改變?nèi)藗兊纳盍?xí)慣和行為方式,與人共同組成一個(gè)人機(jī)、人-數(shù)據(jù)融合的新世界。在這個(gè)新世界硬規(guī)則盛行,軟規(guī)則退居其后;數(shù)據(jù)主義喧囂而上,人文主義式微。人文主義呼吁“聆聽自己內(nèi)心的聲音”,數(shù)據(jù)主義呼吁“聆聽算法的意見”。數(shù)據(jù)技術(shù)對(duì)日常生活的影響日益廣泛,推動(dòng)人類社會(huì)從人文主義世界觀向數(shù)據(jù)主義世界觀轉(zhuǎn)變。這種從“以人為中心”向“以數(shù)據(jù)為中心”的轉(zhuǎn)變,并不只是一場(chǎng)停留于觀念中的哲學(xué)革命,而是能“真真切切”影響人類日常生活諸方面的日常生活革命。它直接高舉造福人類、給人類帶來幸福快樂的旗幟,以人道的口號(hào)占領(lǐng)日常生活的每一領(lǐng)域、每一角落;它不僅給予人類幸福快樂健康長(zhǎng)壽等承諾,而且還讓每一個(gè)人越來越多地享受它所帶來的益處,并越來越依賴于它。數(shù)據(jù)主義正是通過承諾滿足這些人文主義愿望而得以傳播,人類為了獲得永生、幸福、快樂,愉快地將選擇、決定權(quán)交給了算法。然而,“一旦權(quán)力從人類手中交給算法,人文主義議題就可能慘遭淘汰。只要我們放棄了以人為中心的世界觀,而秉持以數(shù)據(jù)為中心的世界觀,人類的健康和幸??磥硪簿筒辉倌敲粗匾盵3]356。

    (二)硬規(guī)則運(yùn)行的前提是數(shù)據(jù)自由

    當(dāng)數(shù)據(jù)主義成為現(xiàn)實(shí),萬事萬物皆可作為海量數(shù)據(jù)的聚合體被解讀和分析。尤瓦爾·赫拉利指出:“數(shù)據(jù)主義相信一切的善(包括經(jīng)濟(jì)增長(zhǎng))都來自信息自由。如果想要?jiǎng)?chuàng)造一個(gè)更美好的世界,關(guān)鍵就是要釋放數(shù)據(jù),給它們自由”。但數(shù)據(jù)獲得了自由,人將失去自由,自由似乎遵循守恒定律,這也暗示自由與“善”存在某種沖突。數(shù)據(jù)主義有助于社會(huì)運(yùn)行效率的提高,但可能對(duì)個(gè)人隱私造成傷害,導(dǎo)致人的齊一性、個(gè)人自由的喪失。在自由與“善”之間,數(shù)據(jù)主義極端地選擇了所謂的“善”,忽略了人的自由。或者說,數(shù)據(jù)主義僅在數(shù)據(jù)這一點(diǎn)上統(tǒng)一了“善”和自由,因?yàn)閷?duì)數(shù)據(jù)主義來說,信息自由就是最高的“善”[3]356。

    在目前復(fù)雜的個(gè)人數(shù)據(jù)生態(tài)系統(tǒng)中,用戶個(gè)體實(shí)際上已不可能提供有意義的、真正自愿的“同意”來進(jìn)行數(shù)據(jù)共享和處理活動(dòng)[4]509-514。網(wǎng)絡(luò)平臺(tái)和APP運(yùn)營者在隱私政策中對(duì)其第三方授權(quán)名單往往也不予公布,這意味著用戶知情權(quán)并未被尊重,用戶個(gè)人數(shù)據(jù)在其注冊(cè)的網(wǎng)絡(luò)平臺(tái)、APP及其合作伙伴之間自由流動(dòng),個(gè)人數(shù)據(jù)被肆意收割和過度利用。2018年3月美國紐約時(shí)報(bào)和英國衛(wèi)報(bào)聯(lián)袂深度報(bào)道一家名為“劍橋分析”(Cambridge Analytica)的公司,利用Facebook5000萬用戶及其好友共計(jì)8700萬名個(gè)人用戶的敏感數(shù)據(jù),用于2016年美國總統(tǒng)選舉中,針對(duì)目標(biāo)受眾推送信息,從而影響大選結(jié)果,就是一個(gè)建立在數(shù)據(jù)自由流動(dòng)基礎(chǔ)上實(shí)現(xiàn)大數(shù)據(jù)引導(dǎo)和操縱民意的典型案例。以當(dāng)前最為常見、時(shí)時(shí)刻刻都在發(fā)生的網(wǎng)絡(luò)購物場(chǎng)景為例,消費(fèi)者通過貨比三家,自以為做出了最佳選擇,殊不知消費(fèi)者看到的價(jià)格是購物網(wǎng)站通過對(duì)個(gè)人數(shù)據(jù)的收集和挖掘,針對(duì)消費(fèi)者進(jìn)行個(gè)性化定制的價(jià)格。這種“大數(shù)據(jù)殺熟”現(xiàn)象已變得越來越常見,這意味著消費(fèi)者自以為是的自主決策其實(shí)是被操縱的選擇,消費(fèi)者在毫不知情的情況下其自主權(quán)遭到侵犯。以往消費(fèi)者討價(jià)還價(jià)的能力大有用武之地,到了大數(shù)據(jù)時(shí)代,遇上精準(zhǔn)營銷,這種自主判斷和選擇的能力已派不上用場(chǎng),甚至這種能力正在慢慢喪失。

    三、數(shù)據(jù)主義與數(shù)據(jù)自由對(duì)隱私的挑戰(zhàn)

    (一)數(shù)據(jù)主義呼吁數(shù)據(jù)自由與分享經(jīng)濟(jì)

    數(shù)據(jù)主義以產(chǎn)業(yè)發(fā)展與人類便利等“善”為由,呼吁數(shù)據(jù)自由與分享經(jīng)濟(jì)。但越來越多的事件表明不加控制的數(shù)據(jù)自由流動(dòng)帶來了嚴(yán)重的隱私安全隱患。正如狄更斯所言:這是最好的時(shí)代,也是最壞的時(shí)代。我們所處的這個(gè)時(shí)代之所以是一個(gè)最好的時(shí)代,因?yàn)槲覀冇鲆娏饲八从械谋憷?,我們所處的這個(gè)時(shí)代之所以是一個(gè)最壞的時(shí)代,因?yàn)槲覀冊(cè)谟惨?guī)則面前只能無奈地讓渡隱私來換取便利,說“隱私為零”并不夸張。

    現(xiàn)在數(shù)字信息產(chǎn)業(yè)價(jià)值鏈上成千上萬的企業(yè)從任意一種線上行為收割數(shù)據(jù),當(dāng)今世界各類服務(wù)商正不斷從任意一種線上行為收割數(shù)據(jù),并且在線上和移動(dòng)用戶進(jìn)入數(shù)字世界的36秒之內(nèi),就將目標(biāo)內(nèi)容觸達(dá)用戶[5]69-70。不僅是臉書,谷歌、蘋果和亞馬遜等網(wǎng)絡(luò)巨頭也都在收割我們的數(shù)據(jù),用于任何我們可能想到的目的。例如,Acxiom公司或者甲骨文BlueKai運(yùn)營的數(shù)據(jù)管理平臺(tái)也擁有上百萬用戶的個(gè)人特點(diǎn)和社會(huì)心理檔案。

    如今服務(wù)商利用算法大規(guī)模收集數(shù)據(jù)行為所依賴的“通知同意”范式已經(jīng)毫無意義。在算法控制下,用戶淪為了生產(chǎn)鏈條上的一環(huán),既需要作為生產(chǎn)者不斷產(chǎn)生數(shù)據(jù),又需要作為消費(fèi)者不斷反饋使用數(shù)據(jù)[6]87-99。實(shí)踐中服務(wù)商通過Cookie、客戶端程序等軟件終端,從消費(fèi)者終端和瀏覽行為中獲取用戶個(gè)性化數(shù)據(jù),或自行獲取,或與第三方合作,借助第三方的平臺(tái)系統(tǒng)獲取數(shù)據(jù),如我國 “個(gè)推”公司與新浪微博、墨跡天氣、飛豬、攜程等數(shù)十個(gè)常用的APP合作,進(jìn)行數(shù)據(jù)共享與精準(zhǔn)推送。服務(wù)商則對(duì)用戶行為進(jìn)行畫像、標(biāo)簽,或者其他技術(shù)處理,結(jié)合用戶需要與企業(yè)服務(wù)向用戶客戶端投放推薦與搜索結(jié)果。

    大數(shù)據(jù)便于挖掘和定位,易于對(duì)個(gè)體進(jìn)行數(shù)據(jù)畫像,建構(gòu)關(guān)于個(gè)體的完整形象,從而使全方位全程監(jiān)控個(gè)體成為可能。數(shù)據(jù)濫用等正是依托這樣的計(jì)算平臺(tái)和環(huán)境得以實(shí)現(xiàn)。因此,服務(wù)商以數(shù)據(jù)自由與分享經(jīng)濟(jì)為名,通過數(shù)據(jù)和算法輕而易舉地監(jiān)控和控制個(gè)體,使人機(jī)關(guān)系、人-數(shù)據(jù)關(guān)系發(fā)生了逆轉(zhuǎn)。

    (二)過度的數(shù)據(jù)自由與分享正在擠壓隱私空間

    (1)網(wǎng)絡(luò)服務(wù)商通過格式化隱私政策控制用戶數(shù)據(jù)

    隱私政策被認(rèn)為是嵌入到服務(wù)條款協(xié)議中的用以規(guī)范用戶和服務(wù)商之間關(guān)系的文件。隱私政策原本可以起到告知用戶其個(gè)人信息會(huì)被如何收集、使用和存儲(chǔ),用戶享有何種權(quán)利,達(dá)到約束服務(wù)商的目的。但目前網(wǎng)絡(luò)服務(wù)商利用其單方面發(fā)布的隱私政策,免除自身義務(wù)或者限制用戶權(quán)利的情況十分普遍,對(duì)用戶隱私權(quán)的保護(hù)造成極大的威脅。事實(shí)上越來越多的服務(wù)商的隱私政策化身為約束用戶的硬規(guī)則,其被強(qiáng)加于用戶協(xié)議條款中,而用戶若要享受服務(wù)職能,就只能執(zhí)行服務(wù)商的格式化指令:提交個(gè)人數(shù)據(jù)。服務(wù)商通過推出更有利于其自身的隱私政策,以達(dá)到控制數(shù)據(jù),攫取數(shù)據(jù)上所蘊(yùn)含的巨大經(jīng)濟(jì)價(jià)值的目的。

    (2)過度的數(shù)據(jù)自由蘊(yùn)含著高隱私風(fēng)險(xiǎn)

    建立在個(gè)人數(shù)據(jù)過度收集與挖掘基礎(chǔ)上的數(shù)據(jù)自由,事實(shí)上蘊(yùn)含著嚴(yán)重的隱私風(fēng)險(xiǎn)。人們?cè)趶?fù)雜社會(huì)生活的方方面面的數(shù)據(jù)痕跡或數(shù)據(jù)足跡匯集成了海量數(shù)據(jù)。國家、企業(yè)和組織借助這些數(shù)據(jù)痕跡或足跡可以細(xì)致入微地洞察每個(gè)人的行為模式,進(jìn)而從中透視人的心理與動(dòng)機(jī)[7]92-100?;ヂ?lián)網(wǎng)的本質(zhì)是“數(shù)據(jù)的流動(dòng)”,數(shù)據(jù)通過在組織、人、設(shè)備三者之間形成自由流動(dòng),將世界連接成一個(gè)整體。但過度的數(shù)據(jù)自由正在遭到公眾對(duì)于隱私泄露的質(zhì)疑,F(xiàn)acebook依舊沒有脫離Cambridge Analytica的陰影,在其后另一家英國數(shù)據(jù)分析公司Crimson Hexagon也被封殺。谷歌因第三方電子郵件應(yīng)用程序處理Gmail用戶數(shù)據(jù)不當(dāng)而遭到強(qiáng)烈抗議。

    從今日頭條的個(gè)性化推送到螞蟻金服的芝麻信用評(píng)分,從京東的“奶爸當(dāng)家指數(shù)”到某旅游網(wǎng)站用大數(shù)據(jù)“殺熟”,個(gè)人數(shù)據(jù)自動(dòng)化分析已深嵌人類日常生活之中。通過自動(dòng)化的數(shù)據(jù)處理,評(píng)估、分析及預(yù)測(cè)個(gè)人的工作表現(xiàn)、經(jīng)濟(jì)狀況、位置、健康狀況、個(gè)人偏好、可信賴度或行為表現(xiàn),進(jìn)而利用這種“數(shù)據(jù)畫像”,在不同的業(yè)務(wù)場(chǎng)景中做出有關(guān)數(shù)據(jù)主體的各項(xiàng)決定。

    大數(shù)據(jù)時(shí)代,我們不過是一部部會(huì)行走的事件記錄器。用生物傳感器去捕捉數(shù)據(jù),用算法去處理數(shù)據(jù),就能實(shí)現(xiàn)跟蹤任何生命指標(biāo)的能力。美國技術(shù)哲學(xué)家劉易斯·芒福德指出,現(xiàn)代技術(shù)尤其是單一技術(shù)造就了一種高度權(quán)力化的復(fù)雜的大型機(jī)器——“巨機(jī)器”。在這個(gè)巨機(jī)器中,人無異于一顆顆螺絲釘,服從機(jī)械的鐵律[8]281-291。現(xiàn)代社會(huì)是一個(gè)基于技術(shù)的空間,大數(shù)據(jù)技術(shù)是現(xiàn)代單一技術(shù)的典范,如果不對(duì)大數(shù)據(jù)技術(shù)的使用進(jìn)行合理的規(guī)范,人類就可能面臨 “數(shù)據(jù)巨機(jī)器”的災(zāi)難性后果。大數(shù)據(jù)技術(shù)和普適計(jì)算成了數(shù)據(jù)巨機(jī)器出現(xiàn)的物質(zhì)基礎(chǔ)。數(shù)據(jù)巨機(jī)器由數(shù)據(jù)和算法鑄成。數(shù)據(jù)是原材料,算法是加工廠。數(shù)據(jù)來源于離散的個(gè)體,算法由具有單一性的機(jī)構(gòu)決定。數(shù)據(jù)通過算法的加工,鑄成了數(shù)據(jù)巨機(jī)器。

    安全和隱私是一枚硬幣的兩面。中消協(xié)2018年11月底發(fā)布了《100款A(yù)pp個(gè)人信息收集與隱私政策測(cè)評(píng)報(bào)告》,對(duì)中國消費(fèi)者常用的App分類進(jìn)行了隱私專項(xiàng)測(cè)評(píng)。其中報(bào)告顯示新聞閱讀、網(wǎng)上購物和交易支付等類型App為總平均分相對(duì)較高的App類別,而金融理財(cái)類App得分相對(duì)較低,僅為28.91分。隱私問題的極化可能導(dǎo)致數(shù)據(jù)巨機(jī)器的出現(xiàn),進(jìn)而導(dǎo)致人與數(shù)據(jù)關(guān)系的破裂、人的自由的喪失。隱私問題只是數(shù)據(jù)濫用的后果之一,數(shù)據(jù)巨機(jī)器的形成和人的自由的喪失才是數(shù)據(jù)濫用最嚴(yán)重的后果。尤瓦爾·赫拉利認(rèn)為,信仰數(shù)據(jù)主義意味著:放棄隱私、自主性和個(gè)別性。數(shù)據(jù)主義不在乎我們的主觀需求,對(duì)人類產(chǎn)生了威脅[3]352-353。

    四、硬規(guī)則世界隱私邊界的守護(hù)窘境與突圍路徑

    (一)隱私邊界的守護(hù)價(jià)值與現(xiàn)實(shí)窘境

    隱私作為具有道德價(jià)值的利益,是人格尊嚴(yán)的先決條件,也是社會(huì)組織、道德倫理、法律問責(zé)機(jī)制的一塊基石。我們所知的人類社會(huì)及其道德倫理制度,都包含了對(duì)隱私和自由意志的不同程度的認(rèn)可?!半[”,是指需要隔絕于公的私的領(lǐng)域;“私”指有別于群體/社會(huì)之公的個(gè)體。社會(huì)承認(rèn)并尊重個(gè)人享有一定的隱私權(quán)益,并且或多或少,限制他人(包括政府、企業(yè)、團(tuán)體)對(duì)個(gè)人信息的索取和使用。相應(yīng)地,社會(huì)要求個(gè)人為享有隱私,或他人的不知情、不得干預(yù)而付出代價(jià),即為自己的選擇和言行負(fù)責(zé)。

    沒有隱私,就沒有自由意志。有了隱私,人才能培育道德自我意識(shí),即充分意識(shí)到自己與行為后果的聯(lián)系,從而能夠自覺承擔(dān)后果責(zé)任,才產(chǎn)生了對(duì)行動(dòng)的自主選擇的心理需求,自由意志得以培育。隱私所要求的社會(huì)認(rèn)可及保護(hù),其實(shí)是以自由意志,即人對(duì)他人和社會(huì)負(fù)責(zé)的能力為代價(jià)的。換言之,消滅隱私,就是消滅人類個(gè)體負(fù)責(zé)的能力。隱私的存在,不僅是自由意志生成和行使的條件,也是個(gè)體接受社會(huì)評(píng)價(jià)、承擔(dān)社會(huì)義務(wù)的前提。反之,若無隱私,自我意識(shí)與自由意志就失去了植根的土壤,社會(huì)評(píng)價(jià)和個(gè)體責(zé)任就無所依托。

    隱私邊界的失守將導(dǎo)致社會(huì)偏見與歧視滋生。目前我們被數(shù)據(jù)所記載、所表達(dá)、所模擬、所處理、所預(yù)測(cè),致使現(xiàn)實(shí)空間的歧視加劇。從求職歧視、消費(fèi)歧視到司法歧視,數(shù)據(jù)歧視前所未有地制度化和系統(tǒng)化。算法暗箱顯現(xiàn)了用戶數(shù)據(jù)權(quán)利與機(jī)構(gòu)數(shù)據(jù)權(quán)力的失衡現(xiàn)象。數(shù)據(jù)是用戶的,算法是機(jī)構(gòu)的。數(shù)據(jù)的收集和使用,對(duì)消費(fèi)者個(gè)人而言是被動(dòng)的,對(duì)機(jī)構(gòu)而言則是主動(dòng)的。機(jī)構(gòu)設(shè)計(jì)的算法是其意志的模型化,算法賦予機(jī)構(gòu)巨大的數(shù)據(jù)權(quán)力,主動(dòng)權(quán)總是掌握在機(jī)構(gòu)手中。對(duì)機(jī)構(gòu)而言,數(shù)據(jù)是透明的,哪里有數(shù)據(jù),如何收集和挖掘數(shù)據(jù),機(jī)構(gòu)都知道。數(shù)據(jù)是用戶的,但用戶并不知道自己的數(shù)據(jù)如何安放和被使用。個(gè)體數(shù)據(jù)權(quán)利和機(jī)構(gòu)數(shù)據(jù)權(quán)力的不對(duì)稱,使得個(gè)體的隱私邊界近乎失守。對(duì)于機(jī)構(gòu),這似乎可以讓他們獲得更高利潤(rùn)、減少自身的風(fēng)險(xiǎn);但對(duì)于零隱私的個(gè)體來說,或許會(huì)因此遭受偏見或歧視導(dǎo)致不公平。因?yàn)閭€(gè)人數(shù)據(jù)被收集、行跡被跟蹤、隱私被監(jiān)控,各類掌握數(shù)據(jù)和算法的機(jī)構(gòu)能精準(zhǔn)掌握個(gè)體的工作表現(xiàn)、發(fā)展?jié)摿Α攤芰?、需求偏好、健康狀況等特征,據(jù)此進(jìn)行數(shù)據(jù)畫像并做出各種取舍和決定。算法自動(dòng)化決策被廣泛適用于政策制定、招聘篩選、貸款額度確定甚至司法輔助量刑等,有些個(gè)體將因此失去獲得新資源的機(jī)會(huì),例如獲得投資、貸款、工作機(jī)會(huì)等。

    隱私權(quán)的設(shè)立與發(fā)展,極大地加強(qiáng)了人們的隱私意識(shí)。隱私成了公民的基本權(quán)益,享有隱私是現(xiàn)代社會(huì)理所當(dāng)然的一項(xiàng)個(gè)人自由;保護(hù)隱私,即保護(hù)人的尊嚴(yán),保護(hù)我們唯一的生活世界,然而其邊界正受到全方位的挑戰(zhàn)。我們的一舉一動(dòng),甚至一個(gè)閃念都處于監(jiān)控之下,不啻一個(gè)個(gè)透明人。有史以來第一次,隱私成了商品被大規(guī)模地買賣。而隱私一旦商品化,不同社會(huì)階層和集團(tuán)便生出相互沖突的利益訴求,關(guān)于隱私的社會(huì)共識(shí)就名存實(shí)亡了。

    (二)守護(hù)好隱私邊界的路徑:構(gòu)建與硬規(guī)則共舞的軟規(guī)則體系

    大數(shù)據(jù)時(shí)代,掌握海量數(shù)據(jù)的政府部門與互聯(lián)網(wǎng)企業(yè)巨頭成為數(shù)據(jù)權(quán)力主體。這些深諳數(shù)據(jù)權(quán)力法則并能嫻熟駕馭這類新型權(quán)力的主體成為人類社會(huì)秩序重構(gòu)的支配與控制主體。缺乏有力約束的數(shù)據(jù)自由流動(dòng),使得數(shù)據(jù)權(quán)力正在野蠻生長(zhǎng)。數(shù)據(jù)權(quán)力治理與隱私邊界的守護(hù),亟需規(guī)制數(shù)據(jù)權(quán)力的法治因應(yīng)之策。一方面,要從規(guī)范數(shù)據(jù)收集、處理、存儲(chǔ)以及跨境傳輸、司法管轄等方面夯實(shí)數(shù)據(jù)主權(quán),并加強(qiáng)數(shù)據(jù)監(jiān)管,對(duì)義務(wù)主體問責(zé),以權(quán)力制約權(quán)力。另一方面,通過設(shè)置新型權(quán)利賦予數(shù)據(jù)主體,以權(quán)利稀釋權(quán)力。除此以外,數(shù)據(jù)權(quán)力主體的自律與數(shù)據(jù)權(quán)利主體的自治也十分重要。通過探索公法與私法齊上的綜合規(guī)制,推動(dòng)多方聯(lián)動(dòng),建構(gòu)與智能硬規(guī)則世界相適應(yīng)的軟規(guī)則體系,方能守護(hù)好隱私邊界。

    (1)公法路徑:明確數(shù)據(jù)主權(quán)與監(jiān)管權(quán)來規(guī)制野蠻生長(zhǎng)的數(shù)據(jù)權(quán)力

    我國《國家安全法》(2015)、《網(wǎng)絡(luò)安全法》(2016)對(duì)網(wǎng)絡(luò)安全保障與網(wǎng)絡(luò)空間權(quán)力治理具有挈領(lǐng)之意義。隨著我國于2018年將《個(gè)人信息保護(hù)法》、《數(shù)據(jù)安全法》納入立法計(jì)劃,該領(lǐng)域開啟緊鑼密鼓的密集立法,這體現(xiàn)了我國在網(wǎng)絡(luò)安全、數(shù)據(jù)保護(hù)方面的迫切需要與高度共識(shí),若能快速推進(jìn)《個(gè)人信息保護(hù)法》、《數(shù)據(jù)安全法》出臺(tái),我們有望從網(wǎng)絡(luò)法治的宏大敘事困境突圍,從宏觀走向中觀,最終走向現(xiàn)實(shí)操作層面,實(shí)現(xiàn)對(duì)數(shù)據(jù)權(quán)力的有效治理。通過國內(nèi)法對(duì)外國數(shù)據(jù)權(quán)力主體的行為進(jìn)行規(guī)制,直接關(guān)乎國家數(shù)據(jù)主權(quán),這也是當(dāng)前各國的通行做法,如GDPR及歐盟成員國國內(nèi)法確立的長(zhǎng)臂管轄權(quán),GDPR第3條“地域范圍”規(guī)定了三種可能的情形:一是設(shè)立在歐盟內(nèi)的控制者或處理者對(duì)個(gè)人數(shù)據(jù)的處理,無論其處理行為是否發(fā)生在歐盟內(nèi);二是對(duì)歐盟內(nèi)的數(shù)據(jù)主體的個(gè)人數(shù)據(jù)處理,即使控制者和處理者未設(shè)在歐盟內(nèi),只要其處理行為滿足以下兩個(gè)條件之一:a.發(fā)生在向歐盟內(nèi)的數(shù)據(jù)主體提供商品或服務(wù)的過程中,無論此項(xiàng)商品或服務(wù)是否需要數(shù)據(jù)主體支付對(duì)價(jià);b.對(duì)數(shù)據(jù)主體發(fā)生在歐盟內(nèi)的行為進(jìn)行的監(jiān)控;三是適用于設(shè)立在歐盟之外,但依據(jù)國際公法歐盟成員國法律可適用地的控制者對(duì)個(gè)人數(shù)據(jù)的處理[9]1。

    我國可通過《個(gè)人信息保護(hù)法》與《數(shù)據(jù)安全法》確立或進(jìn)一步明確數(shù)據(jù)控制者義務(wù)、監(jiān)管機(jī)構(gòu)權(quán)力和責(zé)任、數(shù)據(jù)跨境傳輸?shù)慕够蛳拗埔?guī)則,而且在全球場(chǎng)域中確立關(guān)鍵信息基礎(chǔ)設(shè)施、數(shù)據(jù)資源和網(wǎng)絡(luò)行為的最終權(quán)力,這些舉措應(yīng)該都屬于數(shù)據(jù)主權(quán)具體展開的形式。為加強(qiáng)數(shù)據(jù)跨境流動(dòng)以及數(shù)據(jù)資源的域外控制能力,應(yīng)將網(wǎng)絡(luò)空間主權(quán)落實(shí)到國家數(shù)據(jù)主權(quán)。無論數(shù)據(jù)權(quán)力新貴是國家還是非國家實(shí)體,或是個(gè)人或組織等,一旦涉及危害國家安全時(shí),即可主張國家數(shù)據(jù)主權(quán)。

    在我國,政府監(jiān)管在數(shù)據(jù)保護(hù)領(lǐng)域的缺位或不到位已成為各界的共識(shí),雖然近兩年隨著數(shù)據(jù)泄露事件爆發(fā)常有監(jiān)管機(jī)構(gòu)約談涉事企業(yè),也有監(jiān)管部門主動(dòng)對(duì)APP的隱私政策進(jìn)行評(píng)估并將評(píng)估結(jié)果向社會(huì)公布,但相較于隱私保護(hù)的需求,可謂杯水車薪。目前我國數(shù)據(jù)監(jiān)管可謂九龍治水,存在多頭管理、職權(quán)交叉、權(quán)限不明的弊端。因此,明確數(shù)據(jù)監(jiān)管權(quán)的歸屬主體、權(quán)力類型、權(quán)力內(nèi)容以及權(quán)力邊界,應(yīng)是正在制定中的《個(gè)人信息保護(hù)法》、《數(shù)據(jù)安全法》的重要組成部分。事實(shí)上,有關(guān)數(shù)據(jù)監(jiān)管體系的構(gòu)建及數(shù)據(jù)監(jiān)管權(quán)力構(gòu)造的條款,也是歐盟GDPR的一個(gè)重要?jiǎng)?chuàng)新與貢獻(xiàn)。

    加強(qiáng)數(shù)據(jù)領(lǐng)域的行政監(jiān)管十分必要,一方面,因?yàn)榫蛡€(gè)體而言,新型權(quán)利的設(shè)置尚不足以防范其個(gè)人數(shù)據(jù)與信息遭受的侵犯,因?yàn)閭€(gè)人數(shù)據(jù)與信息價(jià)值計(jì)算不易,受損價(jià)值舉證更難,個(gè)人數(shù)據(jù)權(quán)難免淪為“寫在紙上掛在墻上的權(quán)利”。而行政監(jiān)管可以做到以預(yù)防為主,并可對(duì)監(jiān)管對(duì)象進(jìn)行全程控制[10]3-23。另一方面,《民法總則》無法規(guī)制群體性的數(shù)據(jù)侵權(quán),因?yàn)椤睹穹倓t》是從禁止侵害的角度來保護(hù)個(gè)人信息的。數(shù)據(jù)的采集、處理、儲(chǔ)存、利用,往往涉及諸多機(jī)構(gòu)和單位,民法無法規(guī)范社會(huì)群體性行為。且刑事、民事監(jiān)管手段都存在滯后性,行政監(jiān)管則可以事先預(yù)防數(shù)據(jù)侵權(quán)。譬如谷歌因數(shù)據(jù)融合在2012-2014年變更隱私政策,增加數(shù)據(jù)融合的描述“我們利用從所有服務(wù)中收集的信息來提供、維護(hù)、保護(hù)和改進(jìn)這些服務(wù),同時(shí)開發(fā)新的服務(wù)并保護(hù)谷歌以及用戶。我們還會(huì)使用此類信息為您提供定制內(nèi)容,例如向您提供相關(guān)程度更高的搜索結(jié)果和廣告”,引起了歐盟29條工作組和多國數(shù)據(jù)監(jiān)管機(jī)構(gòu)的調(diào)查,并要求其修改該變更內(nèi)容[11],充分發(fā)揮了行政監(jiān)管的主動(dòng)性和效率優(yōu)勢(shì)。

    (2)私法路徑:通過設(shè)置新型權(quán)利來稀釋數(shù)據(jù)權(quán)力

    個(gè)人主體行使私權(quán)往往有正外部性,即個(gè)體在實(shí)現(xiàn)數(shù)據(jù)權(quán)利的過程中,能在一定程度上阻滯數(shù)據(jù)的融合,從而實(shí)現(xiàn)對(duì)數(shù)據(jù)權(quán)力的形成造成事實(shí)上的約束與限制,這便是以權(quán)利稀釋權(quán)力。Richards N.E.(2013)的大數(shù)據(jù)三大悖論之首即透明化悖論,是指信息透明化要求與搜集信息秘密進(jìn)行之間的悖論[12]66。大數(shù)據(jù)以“透明化”、“全樣本”為取勝根本,若能通過目前已納入立法計(jì)劃的《個(gè)人信息保護(hù)法》,以數(shù)據(jù)法益為內(nèi)核配置數(shù)據(jù)拒絕權(quán)、數(shù)據(jù)限制處理權(quán)等數(shù)據(jù)權(quán)利,隨著數(shù)據(jù)主體對(duì)自己新型權(quán)利的主張,目前的數(shù)據(jù)收集與濫用亂象可望得到有效治理,數(shù)據(jù)融合由此受到約束,數(shù)據(jù)的“全樣本”斷難實(shí)現(xiàn),數(shù)據(jù)畫像和精準(zhǔn)預(yù)測(cè)將面臨無本之木、無源之水之困,其結(jié)果是切實(shí)地保護(hù)了隱私。因此,不宜因傳統(tǒng)私權(quán)在大數(shù)據(jù)技術(shù)下無法有效地保護(hù)個(gè)人信息或數(shù)據(jù),就全部否定以私權(quán)保護(hù)個(gè)人數(shù)據(jù)或信息的進(jìn)路,而將“數(shù)據(jù)(或信息)作為公共物品來規(guī)制”[13]116-132。

    歐美雖然在個(gè)人數(shù)據(jù)保護(hù)路徑、監(jiān)管體系與力度、大數(shù)據(jù)產(chǎn)業(yè)政策方面差異頗大,但二者在保護(hù)個(gè)人對(duì)數(shù)據(jù)的控制權(quán)方面卻近乎一致。歐盟GDPR以列舉的方式逐一規(guī)定了數(shù)據(jù)主體的訪問權(quán)、被遺忘權(quán)、更正權(quán),可攜帶權(quán)等,作為迄今為止數(shù)據(jù)保護(hù)領(lǐng)域影響最為深遠(yuǎn)的一部立法,它高揚(yáng)權(quán)利保護(hù)的旗幟,開創(chuàng)性地賦予數(shù)據(jù)主體一系列的新型權(quán)利。美國曾根據(jù)其1996年《健康保險(xiǎn)可攜帶和責(zé)任法》,頒布了《個(gè)人可識(shí)別醫(yī)療信息隱私標(biāo)準(zhǔn)》,針對(duì)個(gè)人醫(yī)療信息進(jìn)行隱私保護(hù)與控制。2019年的《加州消費(fèi)者隱私權(quán)法》則明確指出,加州消費(fèi)者應(yīng)當(dāng)能夠就其個(gè)人信息行使控制權(quán)。

    (3)數(shù)據(jù)權(quán)力主體的自律:以數(shù)據(jù)合規(guī)為核心

    根據(jù)Richards N.E.(2013)的大數(shù)據(jù)三大悖論之權(quán)力悖論,即大數(shù)據(jù)是改造社會(huì)的強(qiáng)大力量,但這種力量的發(fā)揮是以犧牲個(gè)人權(quán)利為代價(jià),而讓各大權(quán)力實(shí)體(服務(wù)商或政府)獨(dú)享特權(quán),大數(shù)據(jù)利益的天平傾向于對(duì)個(gè)人數(shù)據(jù)擁有控制權(quán)的機(jī)構(gòu)[12]66。對(duì)于平臺(tái)方和消費(fèi)者個(gè)體而言,要達(dá)成長(zhǎng)期的平衡格局,信任至關(guān)重要。平臺(tái)方切不可目光短淺,平衡一經(jīng)被打破,平臺(tái)方一旦失去消費(fèi)者的信任,往往會(huì)無法回頭?!翱萍枷蛏?,信任重建”不能僅僅輒止于口頭,數(shù)據(jù)合規(guī)對(duì)于平臺(tái)方就是生命線。

    “科技向善”比較容易感知,譬如利用海量用戶數(shù)據(jù),谷歌地圖很好的解決了路癡迷路的問題,可以通過VPS的視覺定位系統(tǒng),借助AI呈現(xiàn)實(shí)景街道,給步行用戶提供精準(zhǔn)簡(jiǎn)便的導(dǎo)航。目前AI可幫助特殊群體實(shí)現(xiàn)語言功能,通過摩斯密碼的輸入來正常說話。“信任重建”卻需要假以時(shí)日,目前絕大多數(shù)APP都有隱含的協(xié)議,默認(rèn)商家對(duì)個(gè)人信息進(jìn)行采集和利用。搜索軟件、購物軟件、社交軟件、地圖軟件、聽歌軟件,我們?cè)诮邮鼙憷臅r(shí)候,事實(shí)上就已經(jīng)選擇了放棄隱私。雖然有些放棄是我們?cè)敢獾模行┓艞壥潜黄鹊?,還有些是不知不覺的。后兩種情形下商家顯然將面臨失去用戶信任的風(fēng)險(xiǎn)。除了通過單個(gè)APP內(nèi)數(shù)據(jù)的采集信息的方式,還有一種是基于設(shè)備的采集方式。該種方式采集的數(shù)據(jù)通過一定的人工智能、機(jī)器學(xué)習(xí)、算法加工等,就能進(jìn)行精準(zhǔn)的用戶畫像。譬如我們新買的手機(jī)往往已經(jīng)被設(shè)備商預(yù)裝了各種各樣的App,多數(shù)情況下用戶并不知情。這無疑也在商家與消費(fèi)者之間埋下了信任隱患。

    歐盟29條工作組曾在調(diào)查谷歌隱私政策修改時(shí)對(duì)谷歌提出過合規(guī)性建議,其中關(guān)于具體需要衡量的因素包括:(1)提供信息的充分性。(2)處理的合法性基礎(chǔ),即獲得用戶的明確同意。(3)提供給用戶便捷有效的退出數(shù)據(jù)融合的選項(xiàng)。(4)保證符合數(shù)據(jù)最小化原則、目的限制原則以及Privacy by Design等要求,且對(duì)不同的數(shù)據(jù)融合行為所收集的數(shù)據(jù)進(jìn)行隔離和區(qū)別。(5)數(shù)據(jù)融合的數(shù)據(jù)保留期限,應(yīng)當(dāng)與目的實(shí)現(xiàn)相一致[14]。

    事實(shí)上,該建議對(duì)于所有數(shù)據(jù)平臺(tái)方或數(shù)據(jù)控制者都是適用的,這是數(shù)據(jù)合規(guī)所必須達(dá)到的標(biāo)準(zhǔn)。2019年1月,法國數(shù)據(jù)監(jiān)管機(jī)構(gòu)CNIL因谷歌違反GDPR的透明性原則、提供充分信息以及針對(duì)個(gè)性化廣告缺乏數(shù)據(jù)處理的合法性基礎(chǔ),而對(duì)谷歌處以5000萬歐元的高額罰款。CNIL作為29條工作組任命的主要調(diào)查機(jī)構(gòu),其處罰決定書里對(duì)谷歌提出的合規(guī)性建議與29條工作組的建議高度一致。

    (4)數(shù)據(jù)權(quán)利主體的自治

    正如警察不可能制止所有的偷盜行為一樣,每個(gè)個(gè)體的防范意識(shí)對(duì)于安全而言意義重大。事實(shí)上,不論是平臺(tái)方還是政府監(jiān)管機(jī)構(gòu),都不可能完全解決竊取個(gè)人信息的威脅,需要每個(gè)數(shù)據(jù)主體提高安全意識(shí),防范于未然。斯蒂法諾·昆達(dá)利尼主張每一個(gè)人都應(yīng)該保持自己對(duì)線上資訊的控制,這些線上資訊可以在不同的門戶網(wǎng)站之間輕松地轉(zhuǎn)移[2]。如果我們決定不再喜歡臉書,我們應(yīng)該能夠轉(zhuǎn)移至一個(gè)類似的網(wǎng)站,比如臉書的競(jìng)爭(zhēng)對(duì)手,并且不會(huì)丟掉依然使用臉書的那些聯(lián)系人信息。

    結(jié)語

    我們應(yīng)當(dāng)加大力度治理數(shù)據(jù)隱私問題,同時(shí)應(yīng)當(dāng)積極建構(gòu)人與技術(shù)、人與數(shù)據(jù)的自由關(guān)系。通過夯實(shí)數(shù)據(jù)主權(quán)、強(qiáng)化行政監(jiān)管對(duì)算法權(quán)力、數(shù)據(jù)權(quán)力進(jìn)行規(guī)制,以權(quán)力制約權(quán)力;通過設(shè)置數(shù)據(jù)主體新型權(quán)利,以權(quán)利稀釋權(quán)力;強(qiáng)化數(shù)據(jù)控制者、用戶的隱私數(shù)據(jù)保護(hù)意識(shí),加強(qiáng)數(shù)據(jù)權(quán)力主體的自律和數(shù)據(jù)權(quán)利主體的自治。采用“技術(shù)+管理+法律”多種救濟(jì)措施,使軟規(guī)則與硬規(guī)制共舞,守護(hù)好隱私邊界,最終達(dá)到數(shù)據(jù)善治的目標(biāo)。

    猜你喜歡
    權(quán)力規(guī)則算法
    撐竿跳規(guī)則的制定
    數(shù)獨(dú)的規(guī)則和演變
    基于MapReduce的改進(jìn)Eclat算法
    不如叫《權(quán)力的兒戲》
    電影(2019年6期)2019-09-02 01:42:38
    Travellng thg World Full—time for Rree
    進(jìn)位加法的兩種算法
    讓規(guī)則不規(guī)則
    Coco薇(2017年11期)2018-01-03 20:59:57
    TPP反腐敗規(guī)則對(duì)我國的啟示
    一種改進(jìn)的整周模糊度去相關(guān)算法
    權(quán)力的網(wǎng)絡(luò)
    博客天下(2015年12期)2015-09-23 01:47:57
    欧美成人午夜免费资源| av网站在线播放免费| 男女下面插进去视频免费观看| 国产精品久久久久久精品电影小说| 亚洲欧美一区二区三区国产| 波多野结衣一区麻豆| 久久久久久久亚洲中文字幕| 韩国av在线不卡| 久久婷婷青草| 国产在线一区二区三区精| 天天躁日日躁夜夜躁夜夜| 欧美少妇被猛烈插入视频| 欧美精品av麻豆av| 亚洲综合色惰| 最新中文字幕久久久久| 久久这里只有精品19| 成人毛片60女人毛片免费| 波多野结衣一区麻豆| 亚洲精品国产色婷婷电影| 色播在线永久视频| 一级黄片播放器| 久久久久久免费高清国产稀缺| 欧美精品亚洲一区二区| 热99国产精品久久久久久7| 伊人久久大香线蕉亚洲五| 亚洲第一av免费看| 成人免费观看视频高清| 国产精品偷伦视频观看了| 国产精品欧美亚洲77777| 久久97久久精品| 又黄又粗又硬又大视频| 中文字幕制服av| 18禁观看日本| 久久人人97超碰香蕉20202| 国产在线一区二区三区精| 亚洲图色成人| 国产欧美日韩一区二区三区在线| 午夜老司机福利剧场| 美女国产视频在线观看| 一级片免费观看大全| a级片在线免费高清观看视频| h视频一区二区三区| 91在线精品国自产拍蜜月| 国产黄色免费在线视频| 熟女av电影| 熟女av电影| 韩国高清视频一区二区三区| 国产精品久久久久久精品电影小说| 一区二区三区激情视频| 日韩精品免费视频一区二区三区| 国产探花极品一区二区| 国产有黄有色有爽视频| 26uuu在线亚洲综合色| 国产麻豆69| 中文精品一卡2卡3卡4更新| 久久久精品94久久精品| 最近手机中文字幕大全| 中文字幕制服av| 在线观看免费视频网站a站| 女的被弄到高潮叫床怎么办| 丝袜脚勾引网站| 日韩制服丝袜自拍偷拍| 香蕉精品网在线| a 毛片基地| 精品午夜福利在线看| 欧美精品一区二区免费开放| 秋霞伦理黄片| 久久精品夜色国产| 日本av手机在线免费观看| xxx大片免费视频| 一级片'在线观看视频| 又大又黄又爽视频免费| 男女边摸边吃奶| 日韩,欧美,国产一区二区三区| 日本爱情动作片www.在线观看| 欧美精品一区二区免费开放| 国产av精品麻豆| 考比视频在线观看| 免费看不卡的av| 一级毛片黄色毛片免费观看视频| 一区二区三区精品91| 国产成人精品婷婷| 黄片播放在线免费| 美女福利国产在线| 国产乱人偷精品视频| 狠狠精品人妻久久久久久综合| 免费看av在线观看网站| 久久久欧美国产精品| 精品少妇一区二区三区视频日本电影 | 日日摸夜夜添夜夜爱| 色吧在线观看| 91aial.com中文字幕在线观看| 欧美黄色片欧美黄色片| 免费看不卡的av| 午夜免费观看性视频| 国产深夜福利视频在线观看| 国产亚洲一区二区精品| 丝袜脚勾引网站| 成年人午夜在线观看视频| 在线亚洲精品国产二区图片欧美| 最近中文字幕2019免费版| 国产国语露脸激情在线看| 久久青草综合色| 一区二区三区激情视频| 久热这里只有精品99| 欧美日本中文国产一区发布| 赤兔流量卡办理| 人人妻人人添人人爽欧美一区卜| freevideosex欧美| 午夜福利网站1000一区二区三区| 久久久欧美国产精品| 熟妇人妻不卡中文字幕| 亚洲精品日本国产第一区| 日韩欧美精品免费久久| 成年av动漫网址| 伊人久久大香线蕉亚洲五| 久久女婷五月综合色啪小说| 精品一区二区免费观看| 国产精品一区二区在线不卡| 91久久精品国产一区二区三区| av片东京热男人的天堂| 亚洲欧美一区二区三区黑人 | 岛国毛片在线播放| 精品视频人人做人人爽| 晚上一个人看的免费电影| 国产片特级美女逼逼视频| 丰满迷人的少妇在线观看| 在线观看三级黄色| 春色校园在线视频观看| 久久精品国产鲁丝片午夜精品| 亚洲精品中文字幕在线视频| 天堂8中文在线网| 亚洲中文av在线| 秋霞伦理黄片| kizo精华| 久久久国产欧美日韩av| 亚洲国产成人一精品久久久| 国产成人欧美| 欧美人与性动交α欧美软件| 国精品久久久久久国模美| 丰满迷人的少妇在线观看| 免费不卡的大黄色大毛片视频在线观看| 免费女性裸体啪啪无遮挡网站| 国产毛片在线视频| 一区二区日韩欧美中文字幕| 丝袜喷水一区| 蜜桃在线观看..| 在线看a的网站| 女人精品久久久久毛片| 免费av中文字幕在线| 精品卡一卡二卡四卡免费| 丰满少妇做爰视频| 国产黄频视频在线观看| 波野结衣二区三区在线| 久久精品熟女亚洲av麻豆精品| 午夜免费观看性视频| 国产xxxxx性猛交| 久久人人97超碰香蕉20202| 女的被弄到高潮叫床怎么办| 国产亚洲一区二区精品| 国产色婷婷99| 美女大奶头黄色视频| 日韩三级伦理在线观看| 99热网站在线观看| 欧美日韩综合久久久久久| 熟妇人妻不卡中文字幕| 国产老妇伦熟女老妇高清| 狂野欧美激情性bbbbbb| 欧美 亚洲 国产 日韩一| 免费久久久久久久精品成人欧美视频| 国产精品秋霞免费鲁丝片| 十分钟在线观看高清视频www| 久久久久视频综合| 中文精品一卡2卡3卡4更新| 欧美国产精品va在线观看不卡| 99久久人妻综合| 99re6热这里在线精品视频| 男人操女人黄网站| 如日韩欧美国产精品一区二区三区| 夜夜骑夜夜射夜夜干| 午夜免费鲁丝| 亚洲精品国产一区二区精华液| 91aial.com中文字幕在线观看| 久久久久久人妻| 另类精品久久| 女的被弄到高潮叫床怎么办| 亚洲综合精品二区| 久久影院123| 日韩成人av中文字幕在线观看| 大片免费播放器 马上看| 男男h啪啪无遮挡| 777米奇影视久久| 亚洲一级一片aⅴ在线观看| 欧美国产精品一级二级三级| 丰满迷人的少妇在线观看| 青春草亚洲视频在线观看| 免费av中文字幕在线| 免费久久久久久久精品成人欧美视频| 免费av中文字幕在线| 久久午夜综合久久蜜桃| 高清av免费在线| 亚洲色图 男人天堂 中文字幕| 亚洲人成77777在线视频| 欧美xxⅹ黑人| 寂寞人妻少妇视频99o| 母亲3免费完整高清在线观看 | 久久女婷五月综合色啪小说| 日韩视频在线欧美| 午夜日韩欧美国产| 波多野结衣一区麻豆| 色94色欧美一区二区| 欧美av亚洲av综合av国产av | 秋霞伦理黄片| 亚洲av综合色区一区| 亚洲精品成人av观看孕妇| 日韩制服丝袜自拍偷拍| 看免费成人av毛片| 亚洲欧美精品自产自拍| 精品国产乱码久久久久久小说| 欧美日韩亚洲国产一区二区在线观看 | 国产成人午夜福利电影在线观看| 伦精品一区二区三区| 久久国产精品大桥未久av| 女人久久www免费人成看片| 永久免费av网站大全| 1024视频免费在线观看| 欧美日韩一级在线毛片| 午夜老司机福利剧场| 一个人免费看片子| 亚洲久久久国产精品| 成人亚洲欧美一区二区av| 国产xxxxx性猛交| 久久精品国产鲁丝片午夜精品| 久久精品国产a三级三级三级| 国产野战对白在线观看| 伊人久久国产一区二区| 午夜福利乱码中文字幕| 亚洲男人天堂网一区| 亚洲,欧美精品.| 老司机影院毛片| 精品国产一区二区三区久久久樱花| 精品国产一区二区三区久久久樱花| 国产av码专区亚洲av| 精品国产一区二区三区久久久樱花| 亚洲人成77777在线视频| 欧美激情高清一区二区三区 | 免费久久久久久久精品成人欧美视频| 国产精品国产三级国产专区5o| 亚洲欧美成人精品一区二区| 成人国语在线视频| 免费黄色在线免费观看| 免费大片黄手机在线观看| 制服诱惑二区| 久久久久久久久免费视频了| 国产黄色视频一区二区在线观看| 一边摸一边做爽爽视频免费| 欧美 亚洲 国产 日韩一| 亚洲欧美一区二区三区国产| 纯流量卡能插随身wifi吗| 美女午夜性视频免费| 成年动漫av网址| 另类亚洲欧美激情| 午夜福利在线免费观看网站| 这个男人来自地球电影免费观看 | 国产精品 欧美亚洲| 亚洲精品在线美女| 免费女性裸体啪啪无遮挡网站| 国产精品 欧美亚洲| 天堂俺去俺来也www色官网| av视频免费观看在线观看| 天天影视国产精品| 伊人久久国产一区二区| 亚洲久久久国产精品| 日本wwww免费看| 99热网站在线观看| 爱豆传媒免费全集在线观看| 国产综合精华液| 久久韩国三级中文字幕| 欧美 亚洲 国产 日韩一| 下体分泌物呈黄色| 在线观看人妻少妇| 捣出白浆h1v1| 亚洲精品自拍成人| 夫妻午夜视频| 2021少妇久久久久久久久久久| 波多野结衣av一区二区av| 性高湖久久久久久久久免费观看| 国产极品天堂在线| av免费在线看不卡| 日韩成人av中文字幕在线观看| 一级毛片我不卡| 青春草国产在线视频| 波多野结衣av一区二区av| 国产白丝娇喘喷水9色精品| 最黄视频免费看| 精品少妇内射三级| 妹子高潮喷水视频| 久久精品熟女亚洲av麻豆精品| 丝袜喷水一区| 国产成人一区二区在线| 国产成人精品久久久久久| 纵有疾风起免费观看全集完整版| 国产av精品麻豆| 超色免费av| 久久久久国产一级毛片高清牌| 日本av手机在线免费观看| 午夜激情av网站| 亚洲,欧美,日韩| av片东京热男人的天堂| 丰满饥渴人妻一区二区三| 黄频高清免费视频| 在线观看免费高清a一片| 免费黄网站久久成人精品| 日本91视频免费播放| 免费黄频网站在线观看国产| 老女人水多毛片| 久久精品国产亚洲av涩爱| 一级片免费观看大全| 可以免费在线观看a视频的电影网站 | 亚洲一码二码三码区别大吗| 精品一区二区三区四区五区乱码 | 国产成人一区二区在线| 亚洲精品视频女| 最近最新中文字幕免费大全7| 欧美国产精品一级二级三级| 高清不卡的av网站| 国产精品国产三级国产专区5o| 日韩电影二区| 免费高清在线观看日韩| freevideosex欧美| 免费久久久久久久精品成人欧美视频| 黑人欧美特级aaaaaa片| 欧美国产精品va在线观看不卡| 成年av动漫网址| 亚洲av在线观看美女高潮| 黄片小视频在线播放| 欧美xxⅹ黑人| 久久精品久久久久久噜噜老黄| 成人漫画全彩无遮挡| a 毛片基地| av视频免费观看在线观看| 日韩一卡2卡3卡4卡2021年| 少妇熟女欧美另类| 亚洲成人av在线免费| 久久久久精品久久久久真实原创| 免费高清在线观看视频在线观看| 黑丝袜美女国产一区| 九草在线视频观看| 免费人妻精品一区二区三区视频| 在线观看三级黄色| 亚洲欧美一区二区三区久久| 亚洲av在线观看美女高潮| 捣出白浆h1v1| 日韩一本色道免费dvd| 久久热在线av| 亚洲国产欧美日韩在线播放| av视频免费观看在线观看| 黑丝袜美女国产一区| 久久久久视频综合| 亚洲精品久久午夜乱码| 大片免费播放器 马上看| 亚洲婷婷狠狠爱综合网| 丁香六月天网| 午夜福利网站1000一区二区三区| 欧美国产精品一级二级三级| 国产精品国产三级国产专区5o| 国产白丝娇喘喷水9色精品| 免费观看a级毛片全部| 午夜日韩欧美国产| 久久久欧美国产精品| 免费人妻精品一区二区三区视频| 黑人欧美特级aaaaaa片| 久久久久久久国产电影| 午夜日本视频在线| 国语对白做爰xxxⅹ性视频网站| 国产伦理片在线播放av一区| 黑人猛操日本美女一级片| 久久婷婷青草| 久久久精品国产亚洲av高清涩受| 黄网站色视频无遮挡免费观看| 欧美激情极品国产一区二区三区| 久久久久精品久久久久真实原创| 9191精品国产免费久久| 妹子高潮喷水视频| 香蕉精品网在线| 老熟女久久久| 成年动漫av网址| 久久午夜福利片| 国产黄色视频一区二区在线观看| 日韩精品免费视频一区二区三区| 美女午夜性视频免费| 亚洲,欧美精品.| 免费在线观看黄色视频的| av天堂久久9| 国产成人av激情在线播放| 婷婷色av中文字幕| 欧美xxⅹ黑人| 亚洲国产欧美网| 亚洲男人天堂网一区| 国产亚洲欧美精品永久| 国产亚洲精品第一综合不卡| 久久久国产精品麻豆| av网站免费在线观看视频| 精品一区在线观看国产| 999精品在线视频| 日本黄色日本黄色录像| 国产精品一国产av| 伦理电影免费视频| 亚洲成人一二三区av| 99re6热这里在线精品视频| 又大又黄又爽视频免费| 久久国内精品自在自线图片| 国产一区二区三区综合在线观看| 青春草亚洲视频在线观看| av线在线观看网站| 成年女人在线观看亚洲视频| 欧美精品人与动牲交sv欧美| 亚洲国产欧美在线一区| 亚洲av电影在线观看一区二区三区| 咕卡用的链子| 成年av动漫网址| 看十八女毛片水多多多| 日本wwww免费看| 我要看黄色一级片免费的| 1024香蕉在线观看| 欧美另类一区| 九色亚洲精品在线播放| 在线看a的网站| 国产成人a∨麻豆精品| 成年动漫av网址| 午夜福利在线观看免费完整高清在| 国产一区亚洲一区在线观看| 一级a爱视频在线免费观看| 国产xxxxx性猛交| 免费女性裸体啪啪无遮挡网站| 少妇人妻久久综合中文| 午夜激情av网站| 少妇的逼水好多| 午夜福利网站1000一区二区三区| 丰满乱子伦码专区| 国产精品久久久久久精品电影小说| 十八禁高潮呻吟视频| 边亲边吃奶的免费视频| 欧美人与性动交α欧美软件| 国产av一区二区精品久久| 久久久国产欧美日韩av| 边亲边吃奶的免费视频| 精品少妇内射三级| 亚洲中文av在线| 搡老乐熟女国产| 宅男免费午夜| www.精华液| 如何舔出高潮| 中文字幕另类日韩欧美亚洲嫩草| www.精华液| 国产无遮挡羞羞视频在线观看| 91成人精品电影| 一级片免费观看大全| 91久久精品国产一区二区三区| 女性被躁到高潮视频| 亚洲欧美成人精品一区二区| 日韩一卡2卡3卡4卡2021年| 啦啦啦啦在线视频资源| 国产成人精品无人区| 看免费av毛片| 女的被弄到高潮叫床怎么办| 久久国产精品大桥未久av| 久久精品久久精品一区二区三区| 亚洲精品一二三| 国产片内射在线| 一区福利在线观看| 日本猛色少妇xxxxx猛交久久| 亚洲精品国产av成人精品| 精品视频人人做人人爽| 亚洲欧美色中文字幕在线| 久久99一区二区三区| 97在线视频观看| 免费看av在线观看网站| 美女脱内裤让男人舔精品视频| 国产激情久久老熟女| 亚洲精品第二区| 国产一区二区激情短视频 | 丝袜美腿诱惑在线| 国精品久久久久久国模美| 亚洲精品美女久久av网站| 欧美国产精品一级二级三级| 久久久久久久大尺度免费视频| 色网站视频免费| 亚洲激情五月婷婷啪啪| 国产精品一区二区在线不卡| 久久久久久久大尺度免费视频| 亚洲经典国产精华液单| 黄片无遮挡物在线观看| 9191精品国产免费久久| 亚洲av在线观看美女高潮| 久久久久久久久久久久大奶| 久久久国产一区二区| 国产成人aa在线观看| 国产在线视频一区二区| 国产激情久久老熟女| 国产黄色视频一区二区在线观看| 亚洲中文av在线| 亚洲美女视频黄频| 欧美人与性动交α欧美软件| 日韩视频在线欧美| 午夜日本视频在线| 国产精品av久久久久免费| 久久99蜜桃精品久久| 老司机亚洲免费影院| 成人免费观看视频高清| 亚洲av电影在线观看一区二区三区| 午夜福利视频在线观看免费| 国产国语露脸激情在线看| 国产精品国产三级国产专区5o| 亚洲av中文av极速乱| a级毛片黄视频| 汤姆久久久久久久影院中文字幕| 九九爱精品视频在线观看| 2018国产大陆天天弄谢| 亚洲,欧美,日韩| 国产成人免费无遮挡视频| 九草在线视频观看| 最近中文字幕高清免费大全6| 亚洲欧美成人精品一区二区| 男女国产视频网站| 国产野战对白在线观看| 亚洲熟女精品中文字幕| 亚洲国产精品成人久久小说| 国产熟女欧美一区二区| 午夜老司机福利剧场| www.av在线官网国产| 人人妻人人添人人爽欧美一区卜| 熟女av电影| 黄片播放在线免费| 精品少妇黑人巨大在线播放| 免费av中文字幕在线| 亚洲国产看品久久| 精品午夜福利在线看| 国产免费又黄又爽又色| 十分钟在线观看高清视频www| 国产一级毛片在线| 久久99蜜桃精品久久| 下体分泌物呈黄色| 人成视频在线观看免费观看| 亚洲欧美清纯卡通| 亚洲经典国产精华液单| 精品卡一卡二卡四卡免费| 国产免费现黄频在线看| 午夜日韩欧美国产| 成人亚洲精品一区在线观看| 天天躁日日躁夜夜躁夜夜| 1024视频免费在线观看| 精品人妻一区二区三区麻豆| 丰满迷人的少妇在线观看| 精品国产乱码久久久久久男人| 国产精品久久久久久精品电影小说| 天堂中文最新版在线下载| 国产 精品1| 人成视频在线观看免费观看| 国产精品免费视频内射| 成人毛片a级毛片在线播放| 天天躁日日躁夜夜躁夜夜| 国产精品.久久久| 日日摸夜夜添夜夜爱| 99re6热这里在线精品视频| 亚洲精品久久午夜乱码| 久久久久国产网址| 精品少妇久久久久久888优播| 80岁老熟妇乱子伦牲交| 制服人妻中文乱码| 欧美老熟妇乱子伦牲交| 9色porny在线观看| 欧美激情 高清一区二区三区| 精品一区在线观看国产| 欧美+日韩+精品| 看免费av毛片| 久久久久久久久久久免费av| 亚洲,一卡二卡三卡| 国产精品二区激情视频| 国产亚洲最大av| av视频免费观看在线观看| 久久午夜综合久久蜜桃| 99国产精品免费福利视频| 久久精品久久精品一区二区三区| 1024香蕉在线观看| 日韩成人av中文字幕在线观看| 免费看不卡的av| 亚洲av电影在线观看一区二区三区| 在线精品无人区一区二区三| 男男h啪啪无遮挡| 精品国产露脸久久av麻豆| 亚洲av免费高清在线观看| 亚洲精品aⅴ在线观看| 人妻少妇偷人精品九色| 18在线观看网站| 女人被躁到高潮嗷嗷叫费观| 一本—道久久a久久精品蜜桃钙片| 国产成人一区二区在线| av女优亚洲男人天堂| 久久久久精品久久久久真实原创| 免费看不卡的av| 热99国产精品久久久久久7| 人人妻人人澡人人看| 亚洲,欧美精品.| 亚洲精品日本国产第一区| 超色免费av| 精品亚洲乱码少妇综合久久| 国产一区亚洲一区在线观看| 精品一区二区三卡| 国产精品 欧美亚洲| 久久久久久久亚洲中文字幕| 一边亲一边摸免费视频| 亚洲人成网站在线观看播放| 国产日韩一区二区三区精品不卡| 国产不卡av网站在线观看|