• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)識別反壟斷法律監(jiān)管規(guī)制?

    2019-07-17 06:42:54國瀚文
    關(guān)鍵詞:規(guī)制消費者算法

    國瀚文

    (國立忠北大學(xué)法學(xué)院,韓國清州28644)

    互聯(lián)網(wǎng)已嵌入現(xiàn)代社會生活,只要使用互聯(lián)網(wǎng),就會產(chǎn)生關(guān)于個人行為的數(shù)據(jù),并被記錄在互聯(lián)網(wǎng)中。而互聯(lián)網(wǎng)企業(yè)對于消費者數(shù)據(jù)收集的顆?;潭确浅<?xì),由于它們充分利用了消費者的信任(因缺乏具體算法知識和數(shù)據(jù)風(fēng)險意識而產(chǎn)生的個人權(quán)利被保障的信任),對相關(guān)個人數(shù)據(jù)有選擇性地實施了濫用行為。通過收集數(shù)據(jù)、進(jìn)行數(shù)據(jù)識別,用來預(yù)測消費者未來的網(wǎng)上行為。例如,通過步數(shù)計算、睡眠質(zhì)量測算和體重管理等涉及健康的數(shù)據(jù),可以預(yù)測該消費者的人壽保險費率,甚至可以揭示其個人偏好、家庭情況或者特定的經(jīng)濟(jì)狀況。這種行為實質(zhì)上是互聯(lián)網(wǎng)企業(yè)利用大數(shù)據(jù)和復(fù)雜的算法榨取“消費者剩余”的經(jīng)濟(jì)利益,侵犯消費者個人數(shù)據(jù)權(quán)益的侵權(quán)行為,需要受到反壟斷法律規(guī)制。

    一、互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)識別行為違法性認(rèn)定

    (一)數(shù)據(jù)識別行為界定

    數(shù)據(jù)的生成是傳感器在人類活動(照片、聲音、文本、手機觸摸屏活動等)、自然事件(溫度、風(fēng))或工業(yè)生產(chǎn)(物理、生物、化學(xué)變化過程等)中,通過感知輸入將二進(jìn)制代碼翻譯成人類可觀察的輸出的一種信息方式。此文所討論的數(shù)據(jù)僅為人們在互聯(lián)網(wǎng)上的活動軌跡,包括文字輸入、消費記錄、瀏覽歷史等信息。對這些信息進(jìn)行有目的的分析過程就是數(shù)據(jù)識別行為。這是通過算法實現(xiàn)的,即通過一種明確的簡單操作列表,機械地、系統(tǒng)地應(yīng)用于一套令牌(tokens)或?qū)ο笾?例如棋子、數(shù)字、蛋糕成分的配置等)①令牌是計算機術(shù)語,是一種能夠控制站點占有媒體的特殊幀,以區(qū)別數(shù)據(jù)幀及其他控制幀,代表執(zhí)行某些操作權(quán)利的對象。令牌可以理解為暗號,在一些數(shù)據(jù)傳輸之前,要先進(jìn)行暗號的核對,不同的暗號被授權(quán)不同的數(shù)據(jù)操作。。也就是說,令牌最初的狀態(tài)是輸入,最終的狀態(tài)是輸出[1]。隨著認(rèn)知無線電技術(shù)的發(fā)展,數(shù)據(jù)識別已經(jīng)發(fā)展到了一個新的水平,使計算機能夠比人類更有效地解決復(fù)雜問題,從而做出有效預(yù)測[2]。各互聯(lián)網(wǎng)企業(yè)依據(jù)數(shù)據(jù)識別技術(shù)在互聯(lián)網(wǎng)市場上進(jìn)行激烈競爭,數(shù)字識別技術(shù)被廣泛應(yīng)用于商務(wù)、教育、就業(yè)、醫(yī)療、保險等領(lǐng)域。但是,它的發(fā)展并未為人類社會各種事務(wù)和決策工作帶來人類所期望的客觀性?,F(xiàn)實是效率雖然被提高了,但我們在網(wǎng)絡(luò)中的所行所為已無時無刻地不被算法所分析,即便是基于數(shù)學(xué)原理進(jìn)行識別算法的計算也不例外。但是算法畢竟是由研發(fā)人員進(jìn)行開發(fā)的,如何將“人類”所具有的判斷和選擇不偏不倚地進(jìn)行程序算法的編寫,是值得深究的。數(shù)據(jù)識別所帶來的不透明、不公平、不追責(zé)等問題,以及缺乏法律保護(hù)、倫理監(jiān)督等規(guī)范的現(xiàn)狀,使得個人的任何數(shù)據(jù)行為都成為了算法進(jìn)行自動化決策的原料。

    在互聯(lián)網(wǎng)市場中,數(shù)據(jù)識別對消費者所表現(xiàn)出來的主要影響就是價格歧視、數(shù)據(jù)畫像②由交互設(shè)計之父Alan Cooper最早提出的概念,通過一系列真實數(shù)據(jù)分析,得出目標(biāo)用戶模型。例如,根據(jù)在線用戶的喜好購買的品牌、價格帶、購買方式、購買時間等推斷該用戶的消費偏好。根據(jù)歐盟《通用數(shù)據(jù)保護(hù)條例》(GDPR)的規(guī)定,數(shù)據(jù)畫像是指對個人數(shù)據(jù)進(jìn)行的任何自動化處理,包括利用個人數(shù)據(jù)評估與自然人有關(guān)的特定方面,特別是針對與自然人的工作表現(xiàn)、經(jīng)濟(jì)狀況、健康狀況、個人偏好、興趣、信譽、行為習(xí)慣、位置或行蹤有關(guān)的分析和預(yù)測(參見GDPR第4條第4款)。、廣告定向投放等行為?;ヂ?lián)網(wǎng)企業(yè)以前所未有的方式了解他們的客戶,通過數(shù)據(jù)識別,掌握每一位消費者可以為產(chǎn)品支付的最高價格,并利用算法去改善市場定價模型、完善客戶服務(wù)以及預(yù)測潛在客戶來源。2017年 6月,經(jīng)濟(jì)合作與發(fā)展組織(OECD)歸納了四種可以作為合謀工具的算法,主要包括監(jiān)督算法、平行算法、信號算法以及自我學(xué)習(xí)算法③監(jiān)督算法意在發(fā)現(xiàn)其他合謀者的背叛行為,從而啟動對其的懲罰,即通過監(jiān)督算法檢測對手的定價行為,一旦發(fā)現(xiàn)其違約,就自動啟動價格戰(zhàn),主要是為了保障合謀戰(zhàn)線的統(tǒng)一;平行算法意在自動為所有合謀企業(yè)設(shè)定最優(yōu)價格,合謀企業(yè)采用一種動態(tài)定價算法,幫助提供同類產(chǎn)品或服務(wù)的企業(yè)在動態(tài)市場上進(jìn)行平行定價;信號算法指為合謀者設(shè)置信號,借助先進(jìn)的信息網(wǎng)絡(luò)技術(shù)手段,向其他合謀者不斷發(fā)出瞬時的、極其復(fù)雜的定價信號,只有使用了同類算法的合謀者才能接受和解讀;自我學(xué)習(xí)算法意在為企業(yè)選擇一個市場最優(yōu)的價格,企業(yè)可能利用人工智能創(chuàng)造利潤最大化的定價算法,通過深度學(xué)習(xí)后,達(dá)成其他企業(yè)的默契共謀。[3]。以美國Topkins一案為例,2015年,美國司法部指控Topkins違反《謝爾曼法》,其通過算法協(xié)調(diào)價格變動的行為構(gòu)成犯罪,包括撰寫定價算法代碼,采用特定定價算法與其他同行進(jìn)行協(xié)商定價,以維持和穩(wěn)定特定海報商品的銷售價格,并且協(xié)調(diào)各自的價格調(diào)整;隨時與合謀者搜集、交換、監(jiān)督和討論相關(guān)定價與銷售信息,落實價格協(xié)議和監(jiān)督定價算法的效力,收取價款[4]。該案是第一起因利用識別算法行為違反反壟斷法并遭到處罰的案件。該案成為全球?qū)?shù)據(jù)識別算法行為進(jìn)行反壟斷管制的風(fēng)向標(biāo)。

    1.數(shù)據(jù)識別政策比較

    數(shù)據(jù)識別的精確度意味著科技的發(fā)展程度。一方面,精確的個性化服務(wù)或許會提高工作效率,但也在另一方面損害了消費者的利益。消費者的利益一旦受損程度過大,又會反過來降低工作效率。所以,數(shù)據(jù)識別算法技術(shù)并不是一種完全價值中立的科學(xué)活動或數(shù)學(xué)活動[5],相反,其總是蘊含著價值判斷。我國目前大多數(shù)在線平臺的數(shù)據(jù)識別算法設(shè)計都隱含了歧視和不公,有的更是隱藏了利益集團(tuán)的操控[6]。在此,以BAT④BAT,即百度公司、阿里巴巴集團(tuán)、騰訊公司三大互聯(lián)網(wǎng)公司首字母的縮寫。BAT已經(jīng)成為中國最大的三家互聯(lián)網(wǎng)公司。中國互聯(lián)網(wǎng)發(fā)展了20年,現(xiàn)在形成了三足鼎立的格局,三家巨頭各自形成自己的體系和戰(zhàn)略規(guī)劃,分別掌握著中國的信息型數(shù)據(jù)、交易型數(shù)據(jù)、關(guān)系型數(shù)據(jù),然后利用與大眾的通道不斷兼并后起的創(chuàng)新企業(yè)?;诂F(xiàn)有業(yè)務(wù)的競爭優(yōu)勢在移動互聯(lián)網(wǎng)領(lǐng)域構(gòu)建完整的生態(tài)體系已經(jīng)成為BAT的布局核心,但在這個過程中,三巨頭的側(cè)重點各不相同。百度以搜索引擎為支撐,在探索新業(yè)務(wù)方面主要以戰(zhàn)略投資為主,形式多為收購和控股;阿里側(cè)重于構(gòu)筑完善的電子商務(wù)生態(tài)鏈,覆蓋物流、數(shù)據(jù)服務(wù)、電商的交易支付、供應(yīng)鏈金融等領(lǐng)域;騰訊更多地是采用開放平臺戰(zhàn)略,游戲領(lǐng)域一直是騰訊投資的重點。公司的隱私政策為例(見表1)。

    表1 BAT公司隱私政策匯總① 此表格為作者個人基于該三家公司的隱私政策所做的簡單整理,僅代表個人之見解,如需詳細(xì)了解政策全文可參見各網(wǎng)站注冊頁面。

    2.數(shù)據(jù)識別類型化

    可以將以上被采集的數(shù)據(jù)分為以下幾類(見表2)。

    表2 數(shù)據(jù)聚合分類

    通過對各數(shù)據(jù)的收集與對比,可以對消費者形成完整的“數(shù)據(jù)畫像”并對其進(jìn)行“實時追蹤”,使消費者在商戶面前變得無處遁形。另外,數(shù)據(jù)識別算法可以進(jìn)行完整的自我學(xué)習(xí),基于原始數(shù)據(jù)挖掘新的信息,既增加了個人隱私暴露的危險,又使市場競爭乃至社會安全、國家安全暴露在危險之中。而我國目前未對互聯(lián)網(wǎng)企業(yè)進(jìn)行大范圍、深層次的規(guī)制審查,所以在這個層面上的案例幾乎沒有。但是歐盟對Microsoft、Google、Facebook和Linked-In等大型在線平臺做了多年的跟蹤調(diào)查,其得出的結(jié)論是這些社交平臺顯示出獲取更多個人數(shù)據(jù)的動機,超出了確保平臺正常運行所需的客觀要求。

    數(shù)據(jù)的保護(hù)是全球性的問題。近年來,全球范圍內(nèi)頻繁發(fā)生的數(shù)據(jù)隱私與數(shù)據(jù)競爭事件無不揭示出,反壟斷法并不是數(shù)據(jù)競爭的法外之地,亟需受到監(jiān)管規(guī)制。2017年,域外發(fā)生多起數(shù)據(jù)違規(guī)事件:Facebook因面部識別系統(tǒng)侵犯隱私被起訴;Facebook因數(shù)據(jù)搜集違規(guī)遭到多國罰款;WhatsApp因與Facebook分享數(shù)據(jù)在德國被起訴;甲骨文向歐盟投訴Google的隱私政策更改;Google因違反數(shù)據(jù)保護(hù)在韓遭起訴;Google因違法收集蘋果用戶數(shù)據(jù)被訴;Twitter等因共享用戶信息賠530萬美元;美醫(yī)療公司支付數(shù)據(jù)泄露和解費用1.15億美元;美國信用機構(gòu)泄露1.43億用戶數(shù)據(jù);雅虎30億用戶信息遭泄露;美英多國就數(shù)據(jù)泄露調(diào)查Uber等[7]。在國內(nèi)也多次發(fā)生電商平臺的數(shù)據(jù)公開買賣事件,其中的數(shù)據(jù)既有直接的個人信息,如電話、姓名、身份證號、銀行卡號,也有郵箱賬號、密碼等。Gartner(全球最具權(quán)威的IT研究與顧問咨詢公司)全球風(fēng)險與安全調(diào)查數(shù)據(jù)顯示,在全球網(wǎng)絡(luò)安全風(fēng)險中,企業(yè)對“隱私問題”的關(guān)注度超過安全事件[8]。

    通過以上案例可以看出,消費者的個人權(quán)益隨時隨地都在受到不正當(dāng)競爭行為的侵犯,通過對互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)識別算法進(jìn)行有效監(jiān)管,明確消費者的個人隱私保護(hù)政策,保障消費者的權(quán)益是十分必要的。

    (二)數(shù)據(jù)識別行為《反壟斷法》監(jiān)管規(guī)制推定

    本節(jié)旨在確定在線平臺如何以濫用個人數(shù)據(jù)①個人數(shù)據(jù)即個人信息,也有學(xué)者使用個人資料、信息隱私等稱謂,但研究對象與內(nèi)容并無本質(zhì)區(qū)別,其意義相同。的形式實際發(fā)生侵權(quán)行為,即互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)識別行為應(yīng)受到監(jiān)管規(guī)制。消費者的個人數(shù)據(jù)具有經(jīng)濟(jì)意義,互聯(lián)網(wǎng)企業(yè)通過濫用此類數(shù)據(jù),使消費者的個人支付能力在討價還價或在線購物時可能會變得更透明。目前,我國消費者的數(shù)據(jù)隱私保護(hù)還未引入《反壟斷法》的規(guī)制中,所以應(yīng)進(jìn)行規(guī)制框架推定,以明確數(shù)據(jù)保護(hù)規(guī)則的適用范圍。

    以《反壟斷法》對數(shù)據(jù)識別行為進(jìn)行定性。我國《反壟斷法》第17條第1款第(6)項規(guī)定:“禁止具有市場支配地位的經(jīng)營者沒有正當(dāng)理由,對條件相同的交易相對人在交易價格等交易條件上實行差別待遇。”傳統(tǒng)模式下價格歧視的構(gòu)成要件主要包括以下三點:一是實施主體具有市場支配地位;二是對客體為地位條件相同的相對人實行價格上的差別待遇;三是沒有正當(dāng)理由。具有市場支配地位的主體才對市場定價具有影響力,并且有能力干預(yù)相對人對于商品的選擇,限制市場競爭。

    首先,互聯(lián)網(wǎng)市場中擁有支配地位的企業(yè)規(guī)模越大,占據(jù)的數(shù)據(jù)資源就越多,數(shù)據(jù)驅(qū)動技術(shù)就越強大,完全有能力對數(shù)據(jù)市場的競爭構(gòu)成威脅。其次,所謂同位不同價,即在同一在線平臺,不同消費者購買同一商品,沒有正當(dāng)理由僅因為數(shù)據(jù)算法識別等因素,需支付跟自身經(jīng)濟(jì)能力相當(dāng)?shù)淖罡叨▋r行為。這種銷售方式使消費者盈余被破壞,即賣方將同樣銷售成本的物品,按不同價格收取費用,獲得利潤是不同消費者所能支付的最大利潤,于是消費者的利益遭到了最大破壞。最后,沒有正當(dāng)理由,主要指各種效率理由[9]。根據(jù)傳統(tǒng)反壟斷法,價格歧視在能夠增進(jìn)產(chǎn)出時,是能夠增進(jìn)福利的,在新經(jīng)濟(jì)領(lǐng)域的高新技術(shù)市場上尤其如此。但價格歧視也有可能反競爭,損害效率[10]。因為互聯(lián)網(wǎng)市場具有正的網(wǎng)絡(luò)外部性②用戶效應(yīng)的增多,能夠更好地消除信息的不對稱,邊際價值不斷提高,邊際成本不斷下降。所以,具有正的網(wǎng)絡(luò)外部性的大數(shù)據(jù)交易市場,通過運用大數(shù)據(jù)平臺進(jìn)行經(jīng)營,消費者將會越來越多。,邊際成本的減少,促進(jìn)了效率的增加,但是這種增加是建立在一級價格歧視基礎(chǔ)之上的③一級價格歧視是指完全的價格歧視,經(jīng)營者獲取了全部的消費者剩余;二級價格歧視是根據(jù)消費者購買量給予不同的優(yōu)惠,類似于對常駐會員級別的人給予特別優(yōu)惠;三級價格歧視則是根據(jù)市場規(guī)律進(jìn)行調(diào)節(jié),經(jīng)營者既有利潤回籠,消費者利益也未受損。,即個性化定制價格,導(dǎo)致消費者的剩余利益被完全侵犯。因此,將數(shù)據(jù)識別行為納入到《反壟斷法》的規(guī)制范圍是追求現(xiàn)代法治精神所必須的。

    二、數(shù)據(jù)識別算法是《反壟斷法》監(jiān)管的焦點問題所在

    個人興趣、步數(shù)計算、喜歡的食物和位置數(shù)據(jù)等都是個人數(shù)據(jù)的子類別,盡管是與個人隱私相關(guān)的間接數(shù)據(jù),但與更直接或高度敏感的個人隱私數(shù)據(jù)相比,此類間接數(shù)據(jù)一旦進(jìn)行聚合將能推斷出一個大數(shù)據(jù)類別。由于在線平臺的復(fù)雜性,既有多邊市場的存在,又有數(shù)字單一市場“數(shù)據(jù)驅(qū)動技術(shù)”創(chuàng)新發(fā)展的需求,因此,應(yīng)將消費者的數(shù)據(jù)行為進(jìn)行分類,以便在保障技術(shù)發(fā)展的同時細(xì)化監(jiān)管規(guī)制,保障消費者的隱私權(quán)和數(shù)據(jù)市場的競爭秩序。此規(guī)制路徑要從實際情況出發(fā),從每天圍繞在消費者周邊的數(shù)據(jù)識別算法起步。以下從國內(nèi)主要互聯(lián)網(wǎng)企業(yè)的隱私政策④個人隱私與個人信息呈交叉關(guān)系,即有的個人隱私屬于個人信息,而有的個人隱私不屬于個人信息;有的個人信息特別是涉及個人私生活的敏感信息屬于個人隱私,但也有一些個人隱私信息因高度公開而不屬于隱私。比較分析著手。

    (一)數(shù)據(jù)識別算法缺乏法律保障

    對于個人信息保護(hù)立法,歐盟采取了“‘指令’①Directive 95/46/EC(《個人數(shù)據(jù)保護(hù)指令》于2012年11月修訂為General Data Protection Regulation《歐盟數(shù)據(jù)保護(hù)規(guī)則》)、Directive2003/31EC(《電子商務(wù)指令》)、Directive2002/58/EC(《隱私與電子通訊指令》)、Directive2006/24/EC(《數(shù)據(jù)留存指令》)。成員國立法”的“國家主導(dǎo)模式”,美國則采取了“補充已有法律(主要是隱私權(quán)保護(hù)法律)+行業(yè)自律”的模式[11]。我國從2015年至今,國家互聯(lián)網(wǎng)辦公室以約談百度等互聯(lián)網(wǎng)企業(yè)的方式,對其不斷產(chǎn)生的新問題進(jìn)行警醒。《網(wǎng)絡(luò)安全法》《個人信息安全規(guī)范》等規(guī)范條文的落地,使交易平臺的數(shù)據(jù)收集行為有了一定的規(guī)范依據(jù),但是根據(jù)目前的實踐來看,在線平臺基本上是避開法律紅線進(jìn)行經(jīng)營?!凹夹g(shù)只有透明才能獲益。”[12]在線個人用戶通常不知道與他們互動的公司收集和處理他們個人信息的程度,所以算法透明度決定了算法的公平,監(jiān)管規(guī)制決定了對在線個人用戶的披露程度。因目前我國沒有《數(shù)據(jù)法》可以細(xì)化數(shù)據(jù)披露程度的規(guī)則,所以只能由若干部門法律要求不同程度地披露個人數(shù)據(jù)的收集和使用方式。

    (二)數(shù)據(jù)識別算法透明度模糊化

    當(dāng)法律監(jiān)管進(jìn)入大數(shù)據(jù)領(lǐng)域時,互聯(lián)網(wǎng)企業(yè)對其商業(yè)行為的保密性越來越強,以至于這些企業(yè)對個人的量化程度也越來越高。從數(shù)據(jù)收集到數(shù)據(jù)處理的完成方式是不透明的?;ヂ?lián)網(wǎng)企業(yè)與第三方共享代碼和模型有以下三個缺點:首先,數(shù)據(jù)挖掘的復(fù)雜性算法通常是該行業(yè)最寶貴的資源,因此,透明度要求不僅會威脅互聯(lián)網(wǎng)企業(yè)的商業(yè)模式,還可能會阻礙該行業(yè)的技術(shù)創(chuàng)新;其次,高級算法的復(fù)雜性非常高,以至于他們的架構(gòu)設(shè)計通常難以完全理解;最后,讓更廣泛的公眾理解算法將是一件非常難的事情。另外一個關(guān)鍵問題是,為了發(fā)揮隱私政策的作用,需要有足夠多的個人用戶閱讀、理解隱私政策。然而,并不是所有的消費者都會仔細(xì)閱讀在線平臺的隱私政策,這也導(dǎo)致了對披露系統(tǒng)的忽視。

    (三)數(shù)據(jù)權(quán)屬確立規(guī)制缺失

    我國現(xiàn)行立法中對于個人數(shù)據(jù)的權(quán)屬沒有明確規(guī)定,加之互聯(lián)網(wǎng)市場存在眾多灰色地帶,使得數(shù)據(jù)的權(quán)屬問題成為數(shù)據(jù)保護(hù)的核心之重。目前較為流行的一種觀點認(rèn)為,數(shù)據(jù)沒有所有權(quán),因為數(shù)據(jù)是存在于網(wǎng)絡(luò)之中的,是具有流動性和非排他性的,而獲取數(shù)據(jù)的過程應(yīng)當(dāng)符合法律規(guī)定。另外一種觀點認(rèn)為,應(yīng)對數(shù)據(jù)賦予財產(chǎn)權(quán)性質(zhì)。來自于個人用戶的數(shù)據(jù),個人對其擁有絕對的所有權(quán),如表2中所列的數(shù)據(jù)種類。個人在日常生活中形成的數(shù)據(jù)曲線,可以反映出其個人生活方式等方面的信息,無論數(shù)據(jù)如何流轉(zhuǎn),其所有權(quán)均應(yīng)歸個人所有。還有一種觀點認(rèn)為,數(shù)據(jù)只有通過在線平臺的提煉才能產(chǎn)生價值,所以數(shù)據(jù)的所有權(quán)應(yīng)該歸在線平臺?;跀?shù)據(jù)的特殊性質(zhì)與互聯(lián)網(wǎng)市場的特殊存在,我們可以考慮使用經(jīng)濟(jì)學(xué)的價值理論對數(shù)據(jù)進(jìn)行價值定性,以法律規(guī)范對其所屬價值進(jìn)行等級上的區(qū)分,或許更符合現(xiàn)在的趨勢。

    (四)數(shù)據(jù)權(quán)屬授權(quán)形同虛設(shè)

    通過對表1、表2中在線平臺運營的隱私政策比較分析可以看出,數(shù)據(jù)從個人手中流轉(zhuǎn)到互聯(lián)網(wǎng)企業(yè),在合法條件下主要是用戶行使授權(quán)行為的結(jié)果,即同意②文中的“同意”為廣義的同意,其具體意義包括:同意;選擇性同意;推定同意;明確同意或特別許可同意。在線平臺收集個人相關(guān)數(shù)據(jù)。而目前精準(zhǔn)廣告的投放多是互聯(lián)網(wǎng)企業(yè)追蹤用戶網(wǎng)上行為軌跡,通過Cookie等類似技術(shù)所得,以便于其進(jìn)行精準(zhǔn)營銷。業(yè)界通行的用戶授權(quán)模式是通過用戶“默認(rèn)同意”,再選擇“退出”方式實現(xiàn),但這卻是GDPR明令禁止的行為。

    因為任何人的個人數(shù)據(jù)都可以保存并用于未知領(lǐng)域,況且此種數(shù)據(jù)積累越多價值越大。而個人用戶除選擇“同意”以外,只能放棄在線平臺提供的服務(wù),即個人用戶喪失了選擇的權(quán)利。

    還有,不只是個人用戶的授權(quán)選擇權(quán)受到損害,與在線用戶相關(guān)的在線平臺的權(quán)利也會受到損害威脅。例如,在新浪微博訴脈脈案中,脈脈未經(jīng)許可就抓取了新浪微博用戶的職業(yè)信息、學(xué)歷信息經(jīng)營自身業(yè)務(wù);2017年,今日頭條也通過用戶的設(shè)備授權(quán)將新浪微博的內(nèi)容自動轉(zhuǎn)移到自身業(yè)務(wù)中;華為與微信之爭,華為也是通過用戶的授權(quán),取得了微信中的數(shù)據(jù)。這就是數(shù)據(jù)識別行為帶來的惡性競爭結(jié)果之一,如不加以規(guī)制,市場必將扭曲。

    三、數(shù)據(jù)保護(hù)回應(yīng)與監(jiān)管規(guī)制構(gòu)建

    簡單禁止數(shù)據(jù)收集是行不通的,為了追逐利益,在線平臺會違反市場競爭秩序,這顯然不符合我國現(xiàn)階段經(jīng)濟(jì)快速發(fā)展的現(xiàn)狀。數(shù)據(jù)收集和處理所帶來的巨大利潤會形成監(jiān)管較少的黑市。所以,旨在最大限度地減少數(shù)據(jù)識別使用的危害,并通過合法的數(shù)據(jù)收集和處理,提高個人用戶平等性的監(jiān)管規(guī)制是我們必須考慮的制度規(guī)劃。

    (一)監(jiān)管規(guī)制構(gòu)建,法律保障公平

    監(jiān)管規(guī)制的構(gòu)建“應(yīng)以‘習(xí)近平網(wǎng)絡(luò)強國戰(zhàn)略思想’為指引,加強頂層設(shè)計”[13],一方面,將競爭規(guī)制引入個人數(shù)據(jù)保護(hù);另一方面,推動其他法律的立法進(jìn)程,完善個人數(shù)據(jù)安全法律保障體系。

    首先,在認(rèn)知上優(yōu)化隱私政策。改變目前無須閱讀隱私政策即可在在線平臺注冊等方式,并對隱私政策中涉及到的關(guān)鍵詞匯進(jìn)行顏色標(biāo)識和解釋說明,以增強個人用戶的理解度,確保披露的有效性。

    其次,為了對抗在線平臺對數(shù)據(jù)挖掘固有的密封技術(shù)發(fā)展趨勢,可以通過數(shù)據(jù)挖掘技術(shù)在算法決策和交互式建模方面提高透明度,即采取“智能”披露的方式。以表1中各在線平臺的隱私政策為例:隱私政策應(yīng)易于訪問且清晰易懂,對各在線平臺使用包括文本在內(nèi)的多層格式進(jìn)行說明,如圖形說明等[14],以簡化對算法的復(fù)雜理解,在線平臺采集數(shù)據(jù)時應(yīng)對用戶進(jìn)行提醒說明。

    最后,以法律作為監(jiān)管工具,將數(shù)據(jù)識別算法管控引入《反壟斷法》。算法可以強化在位者的力量,進(jìn)而提高市場集中度,如谷歌在歐洲經(jīng)濟(jì)區(qū)范圍內(nèi)以專用算法①即X算法(保密信息)與Panda降級算法。的競爭性比較購物,給其他比較購物服務(wù)之間的競爭帶來了不利影響,增加了谷歌的流量,減少了歐洲經(jīng)濟(jì)區(qū)的流量,最終損害了歐盟境內(nèi)消費者的利益。所以我國新的《反壟斷法》應(yīng)盡快修訂出臺,制定適應(yīng)互聯(lián)網(wǎng)行業(yè)發(fā)展的配套規(guī)則,將典型的互聯(lián)網(wǎng)壟斷行為納入其中。在傳統(tǒng)構(gòu)成要件的基礎(chǔ)上,將后果要件也作為關(guān)鍵性指標(biāo)來判定數(shù)據(jù)識別算法的違法性。即從損害后果影響的深度進(jìn)行考察,如果行為造成的損害后果無法依賴市場進(jìn)行自我調(diào)節(jié)和恢復(fù)②即市場優(yōu)先原則,指為了維護(hù)市場的競爭秩序,法律需要加以干預(yù)、進(jìn)行外部矯正。在這種情況下,市場本身無法發(fā)揮作用進(jìn)行自我恢復(fù)。[15],就說明該行為是違法的[16]。

    為確保監(jiān)管的有效實現(xiàn),應(yīng)建立跨部門的聯(lián)合審查、評估與處理機制。同時,對數(shù)據(jù)識別進(jìn)行刑事追責(zé)也是國際上的立法趨勢,如美國《謝爾曼法》就對違反了該法的公司和個人設(shè)定了刑事處罰。法國、瑞士、加拿大等國也對實施壟斷行為的刑事責(zé)任做了規(guī)定[17]。我國在進(jìn)行《反壟斷法》修訂時,可以首先引入網(wǎng)絡(luò)“透明問責(zé)制”,明確在線平臺所應(yīng)承擔(dān)的法律責(zé)任,才能起到有效的預(yù)防和震懾作用。如美國計算機力學(xué)協(xié)會(USACM)發(fā)布聲明,就算法透明度與問責(zé)制確立了相應(yīng)原則;歐盟競爭委員Vestager提出,企業(yè)有義務(wù)遵守數(shù)據(jù)保護(hù)與反壟斷方面的法律規(guī)則來設(shè)計算法③參見GDPR第13條第2款。。而該項制度的實施只能由消費團(tuán)體、學(xué)術(shù)界、監(jiān)管機構(gòu)來引領(lǐng),政府機關(guān)作為幕后保障。

    (二)識別算法管控,披露認(rèn)知優(yōu)化

    基于技術(shù)的發(fā)展趨勢,應(yīng)對數(shù)據(jù)識別算法即對數(shù)據(jù)使用自動化決策進(jìn)行嚴(yán)格管控。根據(jù)GDPR對人權(quán)的保護(hù)理念,一方面,應(yīng)對在線用戶的個人數(shù)據(jù)權(quán)利賦予更多的自主決策權(quán);另一方面,對企業(yè)的識別算法進(jìn)行嚴(yán)格管控,主要有以下幾點:(1)在線平臺如需要使用算法自動化決策,應(yīng)向在線用戶告知決策機制,包括數(shù)字畫像,并說明需要使用該算法進(jìn)行決策的原因,以及將會在法律上對用戶造成哪些不利影響,且上述信息用戶有權(quán)訪問④參見GDPR第35條第1款。,除例外規(guī)定外,用戶有權(quán)不受企業(yè)算法自動化決策的約束⑤參見GDPR第2條第1款。;(2)用戶數(shù)據(jù)的算法識別自動化處理程序作為高風(fēng)險的數(shù)據(jù)處理業(yè)務(wù),要求對數(shù)據(jù)主體個人開展系統(tǒng)和廣泛的評估,且評估對用戶個人能產(chǎn)生法律效力或類似重大的影響①參見GDPR第35條第3款。;(3)除非在線平臺能表明其有可供披露的正當(dāng)事由,該正當(dāng)事由大于用戶的個人利益,或者大于法律規(guī)定,基于其特定的情況,用戶有權(quán)在任何時候反對基于公共利益和在線平臺或第三方正當(dāng)利益處理其個人數(shù)據(jù)②參見GDPR第21條第1款。;(4)嚴(yán)控將對自然人產(chǎn)生法律后果或者造成嚴(yán)重影響的算法和對用戶的評估,作為高風(fēng)險的數(shù)據(jù)處理行為③參見GDPR第35條第3款。;(5)對企業(yè)進(jìn)行強制要求,并對其算法進(jìn)行系統(tǒng)化監(jiān)控,根據(jù)企業(yè)規(guī)模設(shè)立用戶數(shù)據(jù)保護(hù)崗位④參見GDPR第31條第1款。;(6)對企業(yè)不承擔(dān)自動決策不利后果的例外保持審慎的立法態(tài)度,發(fā)布行為規(guī)范⑤參見GDPR第70條。?;ヂ?lián)網(wǎng)企業(yè)基于嚴(yán)格的識別算法程序管控,增加了企業(yè)處理消費者個人數(shù)據(jù)的成本,對于各項程序中的審查和排除,需要大量的人力和新程序的開發(fā)才可實現(xiàn)。否則,企業(yè)將會面臨大量的投訴和違規(guī)責(zé)罰,這就說明對企業(yè)的管控還是要依靠法律的威懾力才可實現(xiàn)。隨著我國大數(shù)據(jù)業(yè)務(wù)的發(fā)展和應(yīng)用,對人權(quán)保護(hù)周嚴(yán)的規(guī)則將逐漸隨著世界局勢的變換而得到發(fā)展。通過借鑒歐盟的人權(quán)保護(hù)規(guī)則,制定適合我國社會主義市場經(jīng)濟(jì)特色的識別算法監(jiān)管機制具有十分重要的意義。

    互聯(lián)網(wǎng)企業(yè)識別算法管控的對應(yīng)面則為對算法程序的透明度要求。早在1995年,加拿大隱私專員Ann Cavoukian就率先引入PbD理念,旨在產(chǎn)品或服務(wù)設(shè)計之初,融入隱私保護(hù)的理念,主張將隱私理念植入技術(shù)架構(gòu)設(shè)計,以用戶為中心,提升透明度并給予用戶更多的對其個人信息的控制權(quán)[18]。

    (三)數(shù)據(jù)類別細(xì)化,確定權(quán)屬規(guī)則

    依據(jù)現(xiàn)有數(shù)據(jù)類別進(jìn)行性質(zhì)分類,即進(jìn)行基礎(chǔ)數(shù)據(jù)與增值數(shù)據(jù)的區(qū)分。基礎(chǔ)數(shù)據(jù)是指能夠識別消費者本人的數(shù)據(jù),如表2中所列出的個人直接數(shù)據(jù)等,這些數(shù)據(jù)信息為實施數(shù)據(jù)驅(qū)動技術(shù)的本源數(shù)據(jù)。消費者作為此類數(shù)據(jù)的提供者,應(yīng)該具有絕對的所有權(quán),這是數(shù)據(jù)確權(quán)規(guī)則的基本原則。在線平臺通過消費者在線的行為活動,利用數(shù)據(jù)驅(qū)動技術(shù)搜集整理出的數(shù)據(jù)為增值數(shù)據(jù),如表2中的行為數(shù)據(jù)、位置數(shù)據(jù)等。因為附加了數(shù)據(jù)處理者的勞動,因此在消費者明確授權(quán)的情況下,在線平臺可以對增值數(shù)據(jù)擁有所有權(quán)。如在大眾點評網(wǎng)訴愛幫網(wǎng)案中,法院認(rèn)為愛幫公司對其經(jīng)營業(yè)務(wù)并未付出勞動,而是直接利用技術(shù)手段在愛幫網(wǎng)上展示大眾點評網(wǎng)的商戶簡介和用戶點評,并以此獲取商業(yè)利益的行為是不正當(dāng)競爭行為。大眾點評網(wǎng)搜集、整理的商戶簡介和用戶點評,應(yīng)受法律保護(hù),因為其中包含有大眾點評網(wǎng)的附加勞動。

    另外,充分考慮到數(shù)據(jù)類型的多樣性,應(yīng)采用需求的多樣性和計算框架的多樣性方式,以開放架構(gòu)實現(xiàn)在線平臺系統(tǒng)的按需擴展和動態(tài)演進(jìn)[19]。一方面,對數(shù)據(jù)識別算法的設(shè)計者而言,應(yīng)更嚴(yán)格地篩選算法,避免算法對數(shù)據(jù)歧視行為進(jìn)行深度學(xué)習(xí),而跳進(jìn)無意識的侵權(quán)循環(huán)之中[20];另一方面,對數(shù)據(jù)類別的細(xì)化管理,可以最大限度地提高科技發(fā)展的速度與能力。因此,在法律授權(quán)下的數(shù)據(jù)采集、存儲、分析、發(fā)布與關(guān)聯(lián)融合、歸檔等全域管理,有利于數(shù)據(jù)按需快速流動和各種類型數(shù)據(jù)流水線的動態(tài)集成與調(diào)度。

    (四)明確授權(quán)邊界,確立授權(quán)規(guī)則

    賦予個人用戶選擇權(quán),而不是在“隱私政策”上籠統(tǒng)地進(jìn)行陳述。隱私政策是否實施了有效的通知,取決于該通知的長度和功效之間的內(nèi)在張力。傳統(tǒng)意義上的通知一直面向個人,個人用戶在閱讀并充分理解“通知”的條款和條件后,通過選擇同意或拒絕平臺的同意使其采取相應(yīng)的行動。并且,對于與個人有關(guān)的其他平臺,也是通過消費者的授權(quán)而實施了不正當(dāng)競爭行為。

    應(yīng)該強化用戶對個人數(shù)據(jù)的自決權(quán),增加同意規(guī)則的授權(quán)難度。GDPR對同意作了要求。一是默認(rèn)同意被視為無效。GDPR已明令禁止“默認(rèn)同意”的用戶信息處理規(guī)則⑥參見GDPR第4條第11項。,要求用戶依照自己的意愿做出明確的指示。同意須以聲明或清晰肯定的行為表示,表明其同意處理與其相關(guān)的個人數(shù)據(jù),默示、預(yù)選方框或者不作為不構(gòu)成同意。GDPR將歐盟境內(nèi)的互聯(lián)網(wǎng)企業(yè)的監(jiān)控確定為其管轄范圍①參見GDPR第3條第2款。。當(dāng)算法是基于直接的市場營銷目的而針對個人進(jìn)行精準(zhǔn)廣告投放行為時,用戶有權(quán)拒絕。所以,GDPR要求基于同意陌生的數(shù)據(jù)處理須使用明示授權(quán)的方式進(jìn)行。W8數(shù)據(jù)公司的一份報告顯示,按照GDPR的要求,英國市場營銷所使用的現(xiàn)有用戶數(shù)據(jù)有75%都是不合規(guī)的[21]。企業(yè)除非選擇遵守,否則只能采用新的技術(shù)來進(jìn)行規(guī)避。Google已于2018年3月22日向客戶和合作者公告宣布其廣告政策的調(diào)整,廣告發(fā)布者需要添加額外的環(huán)節(jié)以滿足GDPR的同意政策。Google還將與包括IAB(Interactive Advertising Bureau)(歐洲)在內(nèi)的廣告行業(yè)協(xié)會協(xié)作,溝通實現(xiàn)最佳的同意解決方案[22]。二是需經(jīng)用戶同意才能與第三方共享數(shù)據(jù)。GDPR的同意規(guī)則意味著企業(yè)與第三方或者關(guān)聯(lián)公司如要共享用戶數(shù)據(jù),需征得用戶的明確同意②參見GDPR第6條。。Google和YouTube之間是通過共用隱私政策進(jìn)行數(shù)據(jù)共享的。2012年,因兩個產(chǎn)品合并隱私政策未告知用戶并征得用戶同意,Google于2013年被荷蘭的個人數(shù)據(jù)保護(hù)機構(gòu)Dutch Data Protection Authority(DPA)認(rèn)定為違法,并被歐洲各國個人信息保護(hù)機構(gòu)調(diào)查[23]。Facebook也在隱私政策中規(guī)定,為了用于推廣、支持和整合活動及改進(jìn)服務(wù),會與其旗下公司分享擁有的用戶信息[24]。但根據(jù)GDPR的要求,Facebook同 Google一樣,正在調(diào)整其隱私政策。

    另外,在線平臺、用戶和第三方之間的關(guān)系,影響到數(shù)據(jù)市場的正常運營。對用戶的授權(quán)原則進(jìn)行嚴(yán)格管控,也是為了市場秩序的有序進(jìn)行。所以,在線平臺可以引入“數(shù)據(jù)授權(quán)+平臺授權(quán)+用戶授權(quán)”的三重授權(quán)原則。如在脈脈非法抓取新浪微博用戶信息案中,法院明確,第三方應(yīng)用應(yīng)通過開放平臺獲取相應(yīng)信息。以O(shè)PEN-API模式獲取用戶信息時應(yīng)堅持三重授權(quán)原則,以保護(hù)消費者的隱私權(quán)、知情權(quán)和選擇權(quán)為底線,以公平誠信為行為準(zhǔn)則,維護(hù)互聯(lián)網(wǎng)市場的公平競爭秩序,實現(xiàn)數(shù)據(jù)經(jīng)濟(jì)的合作共贏。

    四、結(jié) 語

    全球已進(jìn)入“數(shù)據(jù)識別”時代,算法社會只是數(shù)字化生活的一個簡單縮影。在使用數(shù)據(jù)識別算法創(chuàng)造價值的同時,也會伴隨很多風(fēng)險,過度的數(shù)據(jù)收集、高度復(fù)雜的算法自動化決策行為給個人、社會乃至國家安全都帶來了巨大的挑戰(zhàn)。在數(shù)字經(jīng)濟(jì)時代,誰首先實現(xiàn)了數(shù)據(jù)的有效治理,誰就掌握了信息全球化的主動權(quán)和話語權(quán)。因為我國立法規(guī)制的現(xiàn)狀趕不上科學(xué)技術(shù)進(jìn)步的步伐,所以,如何通過科學(xué)的立法與制度設(shè)計,改善現(xiàn)行法律與產(chǎn)業(yè)發(fā)展的關(guān)系,是我國對算法識別進(jìn)行法律規(guī)制面臨的巨大挑戰(zhàn)。根據(jù)其他先進(jìn)國家的立法現(xiàn)實與國內(nèi)外的新型案例,我們需要用前瞻性的眼光對現(xiàn)在和未來做出有預(yù)期的規(guī)劃,既不能一味地照搬國外的法律規(guī)范,也不能任由數(shù)據(jù)識別算法為所欲為。對待異域制度,要看到條文背后所隱藏的作用機理,結(jié)合我國社會主義市場經(jīng)濟(jì)的現(xiàn)實情況構(gòu)建監(jiān)管規(guī)制。對待數(shù)據(jù)識別行為,既要以監(jiān)管來進(jìn)行規(guī)制,又要發(fā)揮其積極作用。將數(shù)據(jù)識別對個人的損害引入《反壟斷法》的規(guī)制中,以明確數(shù)據(jù)保護(hù)規(guī)則的適用范圍,并且讓監(jiān)管規(guī)制涉入消費者個人數(shù)據(jù)利益保護(hù)機制。只有建立合理的互聯(lián)網(wǎng)企業(yè)監(jiān)管機制,才能使互聯(lián)網(wǎng)市場的競爭實現(xiàn)良性循環(huán),既促進(jìn)科技的發(fā)展,又使個人的既得利益得到有效保障,形成國家、社會、企業(yè)和個人對數(shù)據(jù)共同治理的美好愿景。

    猜你喜歡
    規(guī)制消費者算法
    主動退市規(guī)制的德國經(jīng)驗與啟示
    消費者網(wǎng)上購物六注意
    基于MapReduce的改進(jìn)Eclat算法
    Travellng thg World Full—time for Rree
    進(jìn)位加法的兩種算法
    保護(hù)與規(guī)制:關(guān)于文學(xué)的刑法
    刑法論叢(2018年4期)2018-05-21 00:44:30
    知識付費消費者
    論《反不正當(dāng)競爭法》的規(guī)制范疇
    法治研究(2016年4期)2016-12-01 03:41:40
    悄悄偷走消費者的創(chuàng)意
    一種改進(jìn)的整周模糊度去相關(guān)算法
    久久人妻av系列| 亚洲精品在线美女| 欧美日韩亚洲国产一区二区在线观看| 午夜激情福利司机影院| 蜜桃久久精品国产亚洲av| 波多野结衣巨乳人妻| 欧美日韩黄片免| 中文字幕人成人乱码亚洲影| 国产精品久久久久久人妻精品电影| 桃色一区二区三区在线观看| 成人永久免费在线观看视频| 男人舔奶头视频| 日本精品一区二区三区蜜桃| 18美女黄网站色大片免费观看| 色综合欧美亚洲国产小说| 波多野结衣巨乳人妻| 少妇粗大呻吟视频| 久久久久久久午夜电影| 在线观看日韩欧美| 脱女人内裤的视频| 一区二区三区高清视频在线| 国产精品九九99| 后天国语完整版免费观看| 国产精品久久电影中文字幕| 特级一级黄色大片| 国产三级中文精品| 成在线人永久免费视频| 欧美黄色淫秽网站| 在线十欧美十亚洲十日本专区| 91字幕亚洲| 久久这里只有精品中国| 亚洲成人国产一区在线观看| 老汉色av国产亚洲站长工具| 琪琪午夜伦伦电影理论片6080| 久久人妻福利社区极品人妻图片| 欧美在线一区亚洲| 1024手机看黄色片| 久久久久久亚洲精品国产蜜桃av| 日本在线视频免费播放| 成人国产综合亚洲| 一进一出好大好爽视频| 最近在线观看免费完整版| 精品第一国产精品| 久久久久久九九精品二区国产 | 亚洲一卡2卡3卡4卡5卡精品中文| 国产又黄又爽又无遮挡在线| 亚洲熟女毛片儿| 久久精品aⅴ一区二区三区四区| 狠狠狠狠99中文字幕| 一进一出抽搐动态| 国产亚洲精品av在线| 国产三级中文精品| 日本a在线网址| 亚洲一区高清亚洲精品| 欧美日本视频| 99re在线观看精品视频| 老鸭窝网址在线观看| 成人亚洲精品av一区二区| 国产精品国产高清国产av| 欧美在线黄色| 男女视频在线观看网站免费 | 99热只有精品国产| 成人av在线播放网站| 国产探花在线观看一区二区| 国产一级毛片七仙女欲春2| 久久中文看片网| 午夜免费激情av| 制服人妻中文乱码| 成人特级黄色片久久久久久久| 丰满人妻一区二区三区视频av | 亚洲美女视频黄频| 日韩av在线大香蕉| 精品久久久久久久久久久久久| 亚洲精品一卡2卡三卡4卡5卡| 亚洲美女视频黄频| 亚洲成av人片免费观看| xxx96com| 嫩草影视91久久| 一个人免费在线观看的高清视频| 精品欧美一区二区三区在线| 亚洲最大成人中文| 少妇人妻一区二区三区视频| 精品免费久久久久久久清纯| 国产单亲对白刺激| 欧美精品啪啪一区二区三区| 在线观看一区二区三区| 叶爱在线成人免费视频播放| 色综合欧美亚洲国产小说| 日本熟妇午夜| 男女做爰动态图高潮gif福利片| 久久精品国产亚洲av高清一级| 亚洲人成伊人成综合网2020| 亚洲国产欧美网| 国产三级在线视频| 香蕉丝袜av| 可以免费在线观看a视频的电影网站| 老司机深夜福利视频在线观看| 在线视频色国产色| 久久精品91无色码中文字幕| 国产精品野战在线观看| 五月伊人婷婷丁香| 成人手机av| 精品国产乱子伦一区二区三区| 12—13女人毛片做爰片一| 麻豆国产97在线/欧美 | 全区人妻精品视频| 色综合站精品国产| 特大巨黑吊av在线直播| 麻豆成人av在线观看| 国产精品一及| 国内精品久久久久久久电影| 搞女人的毛片| 久久中文看片网| 欧美人与性动交α欧美精品济南到| 麻豆一二三区av精品| 嫩草影视91久久| 99国产综合亚洲精品| 精品久久蜜臀av无| 在线观看www视频免费| 床上黄色一级片| 久久久精品国产亚洲av高清涩受| 国产亚洲精品一区二区www| 欧美av亚洲av综合av国产av| 日韩大码丰满熟妇| 在线国产一区二区在线| 一级a爱片免费观看的视频| 啪啪无遮挡十八禁网站| 国产成人av激情在线播放| 精品电影一区二区在线| 欧美成人性av电影在线观看| 欧美一级a爱片免费观看看 | 成人18禁在线播放| 亚洲 国产 在线| 一个人免费在线观看电影 | 国语自产精品视频在线第100页| 免费av毛片视频| 欧美成狂野欧美在线观看| 午夜精品一区二区三区免费看| 男人舔奶头视频| а√天堂www在线а√下载| 欧洲精品卡2卡3卡4卡5卡区| www.自偷自拍.com| 香蕉丝袜av| 最新在线观看一区二区三区| 国产成人精品久久二区二区免费| 最新美女视频免费是黄的| 中文字幕人妻丝袜一区二区| 欧美成人一区二区免费高清观看 | 91av网站免费观看| 一本久久中文字幕| 少妇的丰满在线观看| 中文字幕av在线有码专区| 搞女人的毛片| 精华霜和精华液先用哪个| 亚洲精品中文字幕一二三四区| 99在线视频只有这里精品首页| 欧美丝袜亚洲另类 | 岛国在线免费视频观看| 一级作爱视频免费观看| 欧美极品一区二区三区四区| 亚洲成av人片在线播放无| 999精品在线视频| 亚洲美女视频黄频| 国产高清有码在线观看视频 | 在线十欧美十亚洲十日本专区| 国产亚洲精品第一综合不卡| 国产av不卡久久| 香蕉国产在线看| 精品第一国产精品| 国产精品亚洲一级av第二区| 亚洲片人在线观看| 日本a在线网址| 欧美丝袜亚洲另类 | 亚洲午夜理论影院| 亚洲,欧美精品.| 三级毛片av免费| 婷婷亚洲欧美| 国产亚洲欧美在线一区二区| √禁漫天堂资源中文www| 亚洲国产高清在线一区二区三| 欧美日韩中文字幕国产精品一区二区三区| 亚洲国产精品久久男人天堂| 人人妻,人人澡人人爽秒播| 亚洲一码二码三码区别大吗| 精品一区二区三区av网在线观看| 亚洲美女黄片视频| 国产欧美日韩一区二区精品| 色老头精品视频在线观看| 亚洲av美国av| 欧美一级毛片孕妇| 亚洲精品中文字幕在线视频| 日日干狠狠操夜夜爽| 久久热在线av| 成人三级黄色视频| 真人一进一出gif抽搐免费| 亚洲成av人片在线播放无| 国产蜜桃级精品一区二区三区| 一级作爱视频免费观看| 在线a可以看的网站| 免费高清视频大片| 亚洲精品国产一区二区精华液| 亚洲成人久久性| 亚洲七黄色美女视频| 欧美久久黑人一区二区| 国产在线观看jvid| 欧美日韩一级在线毛片| 日本成人三级电影网站| 嫩草影院精品99| 国产高清videossex| 91字幕亚洲| 国产精品亚洲av一区麻豆| 小说图片视频综合网站| 制服丝袜大香蕉在线| 中文在线观看免费www的网站 | 蜜桃久久精品国产亚洲av| 国产爱豆传媒在线观看 | 国产午夜福利久久久久久| 国产精品av久久久久免费| 在线播放国产精品三级| 天天躁狠狠躁夜夜躁狠狠躁| 90打野战视频偷拍视频| 别揉我奶头~嗯~啊~动态视频| 亚洲美女视频黄频| 亚洲欧美一区二区三区黑人| 无人区码免费观看不卡| 中文在线观看免费www的网站 | 日韩欧美三级三区| 18禁美女被吸乳视频| 精品久久久久久成人av| 成人国产综合亚洲| 成人国产一区最新在线观看| 亚洲精品美女久久久久99蜜臀| 丝袜人妻中文字幕| 国产aⅴ精品一区二区三区波| 岛国在线观看网站| 日韩 欧美 亚洲 中文字幕| 国产成人精品久久二区二区91| 精品午夜福利视频在线观看一区| 日韩国内少妇激情av| 99re在线观看精品视频| 色播亚洲综合网| 成人18禁在线播放| 日本成人三级电影网站| 久久中文看片网| 18美女黄网站色大片免费观看| 99久久99久久久精品蜜桃| 丰满人妻一区二区三区视频av | 亚洲狠狠婷婷综合久久图片| 免费在线观看日本一区| 久久天堂一区二区三区四区| 校园春色视频在线观看| 午夜影院日韩av| 99riav亚洲国产免费| 搞女人的毛片| a级毛片a级免费在线| 伦理电影免费视频| 一级a爱片免费观看的视频| 欧美日韩福利视频一区二区| 国产精品免费视频内射| 欧美成人性av电影在线观看| 搡老熟女国产l中国老女人| 欧美黄色片欧美黄色片| 欧美国产日韩亚洲一区| av在线播放免费不卡| 狂野欧美白嫩少妇大欣赏| 久久香蕉精品热| 少妇裸体淫交视频免费看高清 | 一进一出好大好爽视频| 日韩欧美在线二视频| 午夜影院日韩av| а√天堂www在线а√下载| 日本一区二区免费在线视频| 淫秽高清视频在线观看| 久久九九热精品免费| 久久伊人香网站| 黄色 视频免费看| 亚洲人成77777在线视频| e午夜精品久久久久久久| 国语自产精品视频在线第100页| 久久精品国产清高在天天线| a级毛片在线看网站| 老司机午夜福利在线观看视频| 精品福利观看| 精品国产美女av久久久久小说| 桃红色精品国产亚洲av| 国产激情欧美一区二区| 神马国产精品三级电影在线观看 | 黑人欧美特级aaaaaa片| 日韩欧美 国产精品| 一个人免费在线观看电影 | 啦啦啦观看免费观看视频高清| 亚洲精品在线观看二区| 黄色视频,在线免费观看| 国产成人av激情在线播放| 久久婷婷人人爽人人干人人爱| av片东京热男人的天堂| 精品电影一区二区在线| 久99久视频精品免费| 成人特级黄色片久久久久久久| 国产精品久久久久久人妻精品电影| 国产熟女xx| 久久久久久国产a免费观看| 久久国产精品人妻蜜桃| 国产精品一及| 91大片在线观看| 一a级毛片在线观看| 在线看三级毛片| 12—13女人毛片做爰片一| 嫁个100分男人电影在线观看| 曰老女人黄片| 99久久无色码亚洲精品果冻| 国产精品一区二区三区四区免费观看 | 一区二区三区国产精品乱码| 国产三级黄色录像| 国产1区2区3区精品| 天堂动漫精品| 午夜精品一区二区三区免费看| 国产私拍福利视频在线观看| 中文字幕最新亚洲高清| 香蕉av资源在线| 美女扒开内裤让男人捅视频| 国产真人三级小视频在线观看| 成年免费大片在线观看| 午夜影院日韩av| 午夜老司机福利片| 国产三级中文精品| 国内精品久久久久久久电影| 国产av在哪里看| 可以在线观看的亚洲视频| 身体一侧抽搐| 成人av在线播放网站| 久久久久久免费高清国产稀缺| 在线观看午夜福利视频| 欧美成人午夜精品| 99riav亚洲国产免费| 亚洲欧美精品综合一区二区三区| 男女视频在线观看网站免费 | 欧美乱妇无乱码| 一边摸一边做爽爽视频免费| 男插女下体视频免费在线播放| 在线a可以看的网站| 一级片免费观看大全| 日韩精品中文字幕看吧| 亚洲黑人精品在线| 国产精品免费视频内射| 99riav亚洲国产免费| 又紧又爽又黄一区二区| 一本久久中文字幕| 国产一区二区三区视频了| 国产精华一区二区三区| 不卡一级毛片| 成人av在线播放网站| 老司机靠b影院| 给我免费播放毛片高清在线观看| 一级黄色大片毛片| 这个男人来自地球电影免费观看| 日本黄色视频三级网站网址| 午夜精品在线福利| 老司机靠b影院| 婷婷六月久久综合丁香| 国产av一区在线观看免费| 人人妻人人澡欧美一区二区| 亚洲熟妇熟女久久| 亚洲片人在线观看| tocl精华| 国产精品一区二区精品视频观看| 最近视频中文字幕2019在线8| 日韩大尺度精品在线看网址| 色综合亚洲欧美另类图片| 老司机午夜福利在线观看视频| 欧美+亚洲+日韩+国产| 久久亚洲真实| 午夜久久久久精精品| 午夜视频精品福利| 香蕉丝袜av| 亚洲欧洲精品一区二区精品久久久| 又黄又爽又免费观看的视频| 中文字幕人妻丝袜一区二区| 国产区一区二久久| 国产亚洲精品久久久久久毛片| a级毛片a级免费在线| 国产高清videossex| 午夜福利18| 别揉我奶头~嗯~啊~动态视频| 亚洲人成网站在线播放欧美日韩| 国产区一区二久久| 国产av一区在线观看免费| 男女午夜视频在线观看| 久久性视频一级片| 亚洲国产精品久久男人天堂| 午夜成年电影在线免费观看| 亚洲专区国产一区二区| 久久香蕉国产精品| √禁漫天堂资源中文www| 欧美在线黄色| 欧美丝袜亚洲另类 | 亚洲电影在线观看av| 久久中文看片网| 欧美丝袜亚洲另类 | 国产又黄又爽又无遮挡在线| 国产一区二区在线观看日韩 | 天天躁夜夜躁狠狠躁躁| 久久人妻福利社区极品人妻图片| 欧美一级a爱片免费观看看 | 欧美一级a爱片免费观看看 | 精品久久久久久久久久久久久| 久久久久久九九精品二区国产 | 少妇粗大呻吟视频| 欧美成人一区二区免费高清观看 | 国产一级毛片七仙女欲春2| 亚洲精品中文字幕一二三四区| 欧美久久黑人一区二区| 色噜噜av男人的天堂激情| 午夜老司机福利片| 一边摸一边做爽爽视频免费| videosex国产| 亚洲av中文字字幕乱码综合| 一进一出好大好爽视频| 亚洲av电影不卡..在线观看| 国产真人三级小视频在线观看| 免费在线观看亚洲国产| 亚洲 欧美 日韩 在线 免费| 最近最新免费中文字幕在线| 天天一区二区日本电影三级| 免费观看人在逋| 又黄又粗又硬又大视频| 叶爱在线成人免费视频播放| 亚洲午夜理论影院| 女生性感内裤真人,穿戴方法视频| 精品欧美一区二区三区在线| www.自偷自拍.com| 欧美日韩一级在线毛片| 成人av一区二区三区在线看| 麻豆国产av国片精品| 老司机靠b影院| 在线观看免费日韩欧美大片| 老司机在亚洲福利影院| 99国产精品一区二区蜜桃av| 欧美日韩瑟瑟在线播放| 国产精品av久久久久免费| 亚洲精品av麻豆狂野| 九色成人免费人妻av| 国产精品一区二区免费欧美| 美女大奶头视频| 51午夜福利影视在线观看| 亚洲avbb在线观看| 岛国在线观看网站| 十八禁网站免费在线| 久久久久久亚洲精品国产蜜桃av| av福利片在线观看| 男女之事视频高清在线观看| 熟妇人妻久久中文字幕3abv| 巨乳人妻的诱惑在线观看| 97碰自拍视频| 母亲3免费完整高清在线观看| 9191精品国产免费久久| 琪琪午夜伦伦电影理论片6080| 免费一级毛片在线播放高清视频| 麻豆国产97在线/欧美 | 久久精品人妻少妇| bbb黄色大片| 久久精品人妻少妇| 成人av在线播放网站| 欧美精品亚洲一区二区| 国产精品爽爽va在线观看网站| 丁香六月欧美| 五月玫瑰六月丁香| 观看免费一级毛片| 色噜噜av男人的天堂激情| 欧美黄色淫秽网站| www.自偷自拍.com| 99在线视频只有这里精品首页| 亚洲人成网站在线播放欧美日韩| 啪啪无遮挡十八禁网站| 日本熟妇午夜| 欧美在线一区亚洲| 欧美三级亚洲精品| 狂野欧美白嫩少妇大欣赏| 久久国产乱子伦精品免费另类| 国产成人啪精品午夜网站| 日本精品一区二区三区蜜桃| 亚洲av片天天在线观看| av视频在线观看入口| 一区二区三区激情视频| 狂野欧美白嫩少妇大欣赏| 亚洲成人中文字幕在线播放| 中文字幕最新亚洲高清| av有码第一页| 天天一区二区日本电影三级| 成人午夜高清在线视频| 日本熟妇午夜| 国产亚洲精品久久久久5区| 一级毛片高清免费大全| 十八禁网站免费在线| 久久久久精品国产欧美久久久| 啦啦啦免费观看视频1| 99久久精品国产亚洲精品| 伊人久久大香线蕉亚洲五| 99在线视频只有这里精品首页| 精品国产超薄肉色丝袜足j| 午夜福利在线观看吧| 欧美日韩精品网址| 狠狠狠狠99中文字幕| 老司机深夜福利视频在线观看| 一边摸一边抽搐一进一小说| 午夜福利高清视频| 欧美一级毛片孕妇| 亚洲精品色激情综合| 韩国av一区二区三区四区| 欧美黑人巨大hd| 国产一级毛片七仙女欲春2| 国产亚洲欧美98| 在线永久观看黄色视频| 国产探花在线观看一区二区| 日本免费a在线| 日韩中文字幕欧美一区二区| 无人区码免费观看不卡| av欧美777| 午夜精品一区二区三区免费看| 久久精品影院6| 啦啦啦韩国在线观看视频| 亚洲真实伦在线观看| 99热只有精品国产| 亚洲第一电影网av| 久久精品夜夜夜夜夜久久蜜豆 | 欧洲精品卡2卡3卡4卡5卡区| 国产主播在线观看一区二区| 欧洲精品卡2卡3卡4卡5卡区| 亚洲美女视频黄频| 日本三级黄在线观看| 99久久精品热视频| 天堂av国产一区二区熟女人妻 | 中文字幕av在线有码专区| 99久久无色码亚洲精品果冻| 日韩免费av在线播放| 亚洲男人的天堂狠狠| 国产欧美日韩精品亚洲av| 免费在线观看视频国产中文字幕亚洲| 91国产中文字幕| 无遮挡黄片免费观看| 最近最新中文字幕大全电影3| 国产精品av久久久久免费| 又紧又爽又黄一区二区| 很黄的视频免费| 他把我摸到了高潮在线观看| 亚洲国产欧美网| 午夜福利在线观看吧| 久久久久亚洲av毛片大全| 欧美国产日韩亚洲一区| 一个人免费在线观看的高清视频| 在线观看66精品国产| 国产精品美女特级片免费视频播放器 | 久久久国产欧美日韩av| 国产精品一区二区免费欧美| 国产伦人伦偷精品视频| 国产99白浆流出| 亚洲欧美精品综合久久99| 99在线人妻在线中文字幕| 国产精品国产高清国产av| 亚洲人成电影免费在线| 国产高清激情床上av| 99国产精品99久久久久| 欧美成人一区二区免费高清观看 | a级毛片a级免费在线| 精品不卡国产一区二区三区| 99久久精品国产亚洲精品| 精品乱码久久久久久99久播| 欧美绝顶高潮抽搐喷水| 成年人黄色毛片网站| 欧美在线黄色| 天堂av国产一区二区熟女人妻 | 女人爽到高潮嗷嗷叫在线视频| 日本一二三区视频观看| av中文乱码字幕在线| 黑人欧美特级aaaaaa片| 91av网站免费观看| 国产99白浆流出| 亚洲av电影不卡..在线观看| 国产精品一及| 亚洲精品av麻豆狂野| 欧美日韩乱码在线| 色老头精品视频在线观看| 禁无遮挡网站| 此物有八面人人有两片| 精品久久蜜臀av无| 麻豆国产97在线/欧美 | 精品免费久久久久久久清纯| 成人av一区二区三区在线看| svipshipincom国产片| 国产一区二区三区在线臀色熟女| 亚洲成人免费电影在线观看| 精品久久蜜臀av无| 久久久久久国产a免费观看| 精品不卡国产一区二区三区| 国产成人欧美在线观看| 久久精品影院6| 亚洲专区国产一区二区| 成人国语在线视频| 亚洲精品粉嫩美女一区| 亚洲精品一卡2卡三卡4卡5卡| 国产亚洲欧美98| 亚洲精品美女久久av网站| 手机成人av网站| 很黄的视频免费| 天堂动漫精品| av免费在线观看网站| 成人国语在线视频| 亚洲精品国产精品久久久不卡| 精品不卡国产一区二区三区| 狂野欧美激情性xxxx| 天堂动漫精品| 国产精品免费视频内射| 国产精品亚洲av一区麻豆| 欧美黑人欧美精品刺激| 国产黄片美女视频|