• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    歐盟個(gè)人數(shù)據(jù)保護(hù)法上的反自動(dòng)化決策權(quán)研究

    2019-04-08 01:33:54張建文李錦華

    張建文 李錦華

    摘 要:在大數(shù)據(jù)時(shí)代,信息成為一項(xiàng)重要的社會(huì)資源,如何開(kāi)發(fā)和利用數(shù)據(jù)是現(xiàn)代社會(huì)無(wú)可回避的問(wèn)題。個(gè)人數(shù)據(jù)本文中個(gè)人數(shù)據(jù)與個(gè)人信息作同一概念理解,不加以明確區(qū)分。保護(hù)法隨著科學(xué)技術(shù)和數(shù)據(jù)產(chǎn)業(yè)的發(fā)展備受關(guān)注。其中,歐盟對(duì)個(gè)人數(shù)據(jù)立法的研究和相關(guān)法律的規(guī)定較為成熟,其賦予了數(shù)據(jù)主體多種數(shù)據(jù)權(quán)利。最新成果體現(xiàn)在2016年的《一般數(shù)據(jù)保護(hù)條例》(GDPR),其規(guī)定的反自動(dòng)化決策權(quán)也成為了理論和實(shí)務(wù)界的焦點(diǎn)。但對(duì)于反自動(dòng)化決策權(quán)的研究尚需進(jìn)一步深入,包括明晰反自動(dòng)化決策權(quán)的概念和理論基礎(chǔ)、反自動(dòng)化決策權(quán)的權(quán)利架構(gòu)及反自動(dòng)化決策權(quán)對(duì)我國(guó)個(gè)人信息保護(hù)立法的啟示等。希望通過(guò)對(duì)反自動(dòng)化決策權(quán)的研究,為我國(guó)未來(lái)個(gè)人信息保護(hù)立法提供借鑒。

    關(guān)鍵詞:個(gè)人數(shù)據(jù)保護(hù)法;一般數(shù)據(jù)保護(hù)條例;信息自決;反自動(dòng)化決策權(quán)

    中圖分類(lèi)號(hào):D913

    文獻(xiàn)標(biāo)識(shí)碼:A

    文章編號(hào):1673-8268(2019)02-0023-07

    一、反自動(dòng)化決策權(quán)概述

    (一)反自動(dòng)化決策釋義

    自動(dòng)化決策指建立在自動(dòng)化基礎(chǔ)上的決策。它建立在整理收集人們大量個(gè)人數(shù)據(jù)的基礎(chǔ)之上,同時(shí)研究人的決策行為,使之能夠適合不同階層、不同行為方式的決策者需要[1]。在大數(shù)據(jù)時(shí)代,數(shù)據(jù)的整理分析可以大幅降低風(fēng)險(xiǎn),提高決策的效率和正確性、最優(yōu)性。如今,許多決策都不是由人工參與直接做出,而是通過(guò)算法后臺(tái)程序運(yùn)作自動(dòng)做出。在自動(dòng)化決策普及率越來(lái)越高的時(shí)代,人工決策將從決策鏈中逐步淘汰,因?yàn)槿斯Q策速度慢、犯錯(cuò)率高,綜合考慮多種因素的能力較算法低。社會(huì)各領(lǐng)域越來(lái)越多地依靠自動(dòng)化決策系統(tǒng)進(jìn)行風(fēng)險(xiǎn)評(píng)估和機(jī)會(huì)分配。自動(dòng)化決策技術(shù)能夠更好地將現(xiàn)代大數(shù)據(jù)分析的科學(xué)技術(shù)水平與分析預(yù)測(cè)未來(lái)行為的期待結(jié)合起來(lái),從而做出符合未來(lái)發(fā)展趨勢(shì)的最優(yōu)決策結(jié)果。然而,在算法不公開(kāi)不透明的程序運(yùn)作中,錯(cuò)誤的信息或者涉及隱私的信息可能會(huì)被濫用,從而導(dǎo)致不公平不公正的決策結(jié)果,給個(gè)人帶來(lái)?yè)p害,甚至是災(zāi)難性的后果。同時(shí),當(dāng)自動(dòng)化決策中參入不公平或不正當(dāng)?shù)钠?jiàn)因素或錯(cuò)誤信息時(shí),它們的預(yù)測(cè)功能將失去價(jià)值。即這種“黑箱”模式的自動(dòng)化決策的泛濫將給整個(gè)社會(huì)帶來(lái)危險(xiǎn)。而且,當(dāng)無(wú)辜的人被視為危險(xiǎn)恐怖分子或不講信用、工作表現(xiàn)差的人時(shí),人們不僅對(duì)造成這種誤解的結(jié)果沒(méi)有申訴救濟(jì)的途徑,甚至可能對(duì)這一情況都一無(wú)所知。

    自動(dòng)化決策作為使用價(jià)值極高的決策手段,我們應(yīng)該將其放在何種位置?依靠自動(dòng)化系統(tǒng)做出的應(yīng)當(dāng)是什么樣的決策?對(duì)于自動(dòng)化的決策我們?nèi)绾芜M(jìn)行審查和質(zhì)疑?如果自動(dòng)化決策出現(xiàn)了算法歧視、算法錯(cuò)誤導(dǎo)致經(jīng)濟(jì)損失或人格利益受損時(shí),自動(dòng)化決策的相對(duì)人是否可以得到救濟(jì)?通過(guò)何種途徑獲得救濟(jì)?又應(yīng)當(dāng)如何確定自動(dòng)化決策造成損害的責(zé)任主體?如今將計(jì)算機(jī)算法程序當(dāng)作擋箭牌的情況很多,有很多類(lèi)似“都是計(jì)算機(jī)的問(wèn)題,我們也沒(méi)有辦法……”的托辭。面對(duì)這種不作為推卸責(zé)任的做法,我們沒(méi)有任何預(yù)設(shè)的可質(zhì)疑路徑。計(jì)算機(jī)算法盡管犯錯(cuò)率極低,但是出現(xiàn)錯(cuò)誤也是十分正常的事情,因?yàn)樗惴ㄗ畛蹙褪怯扇祟?lèi)設(shè)計(jì),很可能出現(xiàn)人類(lèi)常常會(huì)犯的錯(cuò)誤和偏見(jiàn),也無(wú)法完全掌握與該事項(xiàng)相關(guān)的所有信息,因?yàn)槭澜缟喜淮嬖谑赖氖挛?,所以沒(méi)有人能夠要求算法達(dá)到百分之百正確。因此,為自動(dòng)化決策的相對(duì)人提供一種救濟(jì)權(quán)利,包括提出質(zhì)詢、要求解釋的權(quán)利,可以通過(guò)指定一個(gè)專(zhuān)門(mén)的負(fù)責(zé)人處理質(zhì)詢事件,該負(fù)責(zé)人有權(quán)對(duì)算法決策結(jié)果正確與否做出判斷,同時(shí)也有糾正錯(cuò)誤算法的權(quán)利,這對(duì)于保護(hù)自動(dòng)化決策相對(duì)人具有重要意義[2]。如果算法決策不容置疑,或者沒(méi)有合適的途徑進(jìn)行異議,那么它的存在就不僅不能稱(chēng)為一種進(jìn)步,而且完全可能形成新型的“專(zhuān)制暴政”。

    綜上所述,由于自動(dòng)化決策已經(jīng)在我們現(xiàn)代社會(huì)扎根發(fā)展壯大,成為社會(huì)中的一部分,因此自動(dòng)化決策帶來(lái)的歧視、不公平和不公正現(xiàn)象以及算法錯(cuò)誤造成的經(jīng)濟(jì)損失或人格利益受損等問(wèn)題不容忽視。針對(duì)這些算法決策設(shè)計(jì)一套可質(zhì)詢程序是當(dāng)務(wù)之急。而解決這些問(wèn)題的前提是自動(dòng)化決策的相對(duì)人擁有拒絕被算法自動(dòng)化處理的權(quán)利,有權(quán)對(duì)自動(dòng)化處理的決策提出質(zhì)疑,并就遭受的損失提出賠償請(qǐng)求等救濟(jì)的權(quán)利,即賦予自動(dòng)化決策的相對(duì)人以反自動(dòng)化決策權(quán)。

    (二)反自動(dòng)化決策的意義與價(jià)值

    反自動(dòng)化決策是數(shù)據(jù)主體對(duì)個(gè)人數(shù)據(jù)自主控制的必然要求。反自動(dòng)化決策的立法構(gòu)想在于允許自然人對(duì)提供給數(shù)據(jù)處理者經(jīng)過(guò)匿名化處理的個(gè)人數(shù)據(jù)進(jìn)行再次利用后所形成的算法程序(該算法程序所作的自動(dòng)化決策行為對(duì)自身產(chǎn)生重大影響時(shí))提出意見(jiàn),包括有關(guān)要求以易于理解的形式傳達(dá)有關(guān)的數(shù)據(jù)信息,有權(quán)視情況提出修改或刪除信息的要求,并在相關(guān)請(qǐng)求遭到拒絕時(shí)尋求救濟(jì)參見(jiàn)歐盟系列條約第108號(hào)《有關(guān)個(gè)人數(shù)據(jù)自動(dòng)化處理之個(gè)人保護(hù)公約》第8條。[3]。根據(jù)《有關(guān)個(gè)人數(shù)據(jù)自動(dòng)化處理之個(gè)人保護(hù)公約》第1條規(guī)定可知,該公約的目的是為了保障個(gè)人的權(quán)利和基本自由受到尊重,強(qiáng)調(diào)特別是對(duì)個(gè)人數(shù)據(jù)進(jìn)行自動(dòng)化處理時(shí),應(yīng)當(dāng)充分保護(hù)個(gè)人的隱私權(quán)。由此可知,賦予數(shù)據(jù)主體反自動(dòng)化決策權(quán)的目的在于尊重個(gè)人自由和尊嚴(yán),減少自動(dòng)化處理給個(gè)人可能帶來(lái)的不利影響。反自動(dòng)化決策權(quán)賦予了數(shù)據(jù)主體對(duì)個(gè)人數(shù)據(jù)較大強(qiáng)度的控制力,個(gè)人數(shù)據(jù)可依照數(shù)據(jù)主體的自由意志、自主決定是否被自動(dòng)化處理,即使是經(jīng)過(guò)數(shù)據(jù)主體同意所進(jìn)行的自動(dòng)化處理,數(shù)據(jù)主體仍然可以對(duì)該自動(dòng)化處理結(jié)果進(jìn)行確認(rèn)、異議,根據(jù)情況要求修改或者刪除。

    一方面,考慮到反自動(dòng)化決策個(gè)人信息處理涉及傳統(tǒng)隱私和數(shù)據(jù)保護(hù)問(wèn)題之深層原因在于社會(huì)要求保障人權(quán),尤其是不歧視、言論自由和信息自由的人權(quán)要求,在高度強(qiáng)調(diào)人文精神的現(xiàn)代社會(huì)里,需要更廣泛地考慮人權(quán)的需求。但是自動(dòng)化決策具有過(guò)度依賴數(shù)據(jù)的缺點(diǎn),自動(dòng)化決策所依靠的數(shù)據(jù)來(lái)自廣泛獲取的個(gè)人數(shù)據(jù),而這些數(shù)據(jù)可能本身就包含個(gè)人或社會(huì)成見(jiàn),導(dǎo)致基于偏見(jiàn)數(shù)據(jù)所做出的自動(dòng)化決策結(jié)果不公平地歧視個(gè)人或群體,干擾個(gè)人權(quán)利,導(dǎo)致人們被排除在社會(huì)生活的某個(gè)領(lǐng)域之外,使個(gè)人無(wú)法享受某些服務(wù)或福利待遇。2018年,第40屆數(shù)據(jù)保護(hù)與隱私專(zhuān)員國(guó)際大會(huì)《人工智能倫理與數(shù)據(jù)保護(hù)宣言》中主張,人工智能發(fā)展需要道德和人權(quán)的考慮進(jìn)行補(bǔ)充,應(yīng)當(dāng)充分尊重人權(quán)、保護(hù)個(gè)人數(shù)據(jù)和隱私權(quán)以及人的尊嚴(yán)不受侵害,考慮到自動(dòng)化決策系統(tǒng)對(duì)隱私權(quán)和數(shù)據(jù)保護(hù)權(quán)的挑戰(zhàn),應(yīng)當(dāng)保證個(gè)人能夠控制和理解自動(dòng)化決策系統(tǒng)。

    另一方面,反自動(dòng)化決策權(quán)的規(guī)定可以從側(cè)面要求自動(dòng)化決策系統(tǒng)的所有相關(guān)人員,為了自動(dòng)化決策結(jié)果不違反法律規(guī)定或造成損害從而引起數(shù)據(jù)主體尋求法律保護(hù),而更加積極主動(dòng)地采取安全保障措施,包括在原始數(shù)據(jù)收集時(shí)盡可能保證數(shù)據(jù)的真實(shí)準(zhǔn)確,在分析整理數(shù)據(jù)形成算法程序時(shí)保證設(shè)計(jì)者的個(gè)人偏見(jiàn)不帶入系統(tǒng),主動(dòng)監(jiān)管自動(dòng)化處理系統(tǒng)作出決策的全過(guò)程,在發(fā)生決策錯(cuò)誤或其他不公平不公正的結(jié)果時(shí),能夠準(zhǔn)確定位到具體出錯(cuò)環(huán)節(jié),明確應(yīng)當(dāng)承擔(dān)責(zé)任的主體等。反自動(dòng)化決策權(quán)有利于保障人權(quán),保護(hù)個(gè)人數(shù)據(jù)安全、隱私以及人的尊嚴(yán)不受侵害。

    二、反自動(dòng)化決策的理論基礎(chǔ)

    最早使用“個(gè)人信息自決權(quán)”概念的是德國(guó)學(xué)者施太姆勒,他認(rèn)為人們有權(quán)自由、自主地決定是否讓自己以外的其他人獲悉自己的所思所想所為,這項(xiàng)權(quán)利屬于德國(guó)關(guān)于人的自由發(fā)展權(quán)的范疇。在德國(guó)的“人口普查案”的判決書(shū)中,法庭使用了“信息自決”的概念,承認(rèn)了自然人有權(quán)決定其信息是否被公開(kāi)或使用。對(duì)于德國(guó)聯(lián)邦憲法法院來(lái)說(shuō),個(gè)人的自決是指:在面對(duì)某種可能性的時(shí)候,個(gè)人有作出從事或者放棄決定的自由,并且依照此決定而行為[4]。該案對(duì)立法、司法、學(xué)術(shù)研究產(chǎn)生了重大影響,判決中的信息自決概念被廣泛引用[5],為歐盟和其他國(guó)家及地區(qū)個(gè)人數(shù)據(jù)保護(hù)立法提供了法學(xué)理論和判例上的支撐??档乱舱f(shuō)過(guò),每一個(gè)理性存在的人是他自身的目的而不是工具,所有的行動(dòng)都是以自身存在為出發(fā)點(diǎn)[6]。個(gè)人有自主能力對(duì)自己的行為經(jīng)過(guò)思考而作出選擇。信息自決權(quán)在我國(guó)臺(tái)灣地區(qū)也獲得了一定發(fā)展。臺(tái)灣司法院于2005年出臺(tái)的第603號(hào)解釋認(rèn)定強(qiáng)制公民按捺指紋的規(guī)定違反了憲法要求保障的基本人權(quán)[7]。該司法院解釋與德國(guó)人口普查案中論證信息自決的原理基本一致[8]。我國(guó)憲法雖未明確將其列為一項(xiàng)公民的基本權(quán)利,但也有學(xué)者(如王利明教授)主張將個(gè)人信息權(quán)作為一種具體人格權(quán)進(jìn)行規(guī)范,法律應(yīng)尊重個(gè)人對(duì)其信息的控制[9]70。我國(guó)《憲法》第38條所確立的人格尊嚴(yán)不受侵犯條款可以成為信息自決權(quán)的正當(dāng)性基礎(chǔ)[9]72。

    自決權(quán)是一項(xiàng)自己決定如何向世界展示自我的權(quán)利。在個(gè)人信息保護(hù)中,自決權(quán)體現(xiàn)為個(gè)人有權(quán)自行決定是否將個(gè)人信息轉(zhuǎn)移或進(jìn)一步使用。即個(gè)人信息自決權(quán)指信息主體擁有是否披露個(gè)人信息以及所披露個(gè)人信息的范圍、時(shí)間、方式、對(duì)象等的權(quán)利。因此,想要獲取個(gè)人信息必須獲得信息主體的同意。個(gè)人信息自決權(quán)中自我決定的對(duì)象是與個(gè)人相關(guān)的信息[10]。因此,信息自決在于保障個(gè)人對(duì)自身信息的控制,更多時(shí)候是為了防止個(gè)人信息在毫不知情的情況下被不當(dāng)利用。王澤鑒先生也曾指出,現(xiàn)在的隱私權(quán)法律體系已經(jīng)轉(zhuǎn)變?yōu)椤耙詡€(gè)人信息自主權(quán)為中心的法律體系”[11]。因此,為促進(jìn)信息的自由流動(dòng)和保護(hù)公民的人格利益,自然人除了有權(quán)決定其個(gè)人信息是否以及在何種程度、范圍內(nèi)被收集、使用和處理,還有權(quán)以平等主體身份參與到個(gè)人信息的自動(dòng)化處理決策過(guò)程中[12]。

    三、GDPR中反自動(dòng)化決策的權(quán)利架構(gòu)

    (一)反自動(dòng)化決策權(quán)的適用前提

    自動(dòng)化決策作為大數(shù)據(jù)時(shí)代促進(jìn)經(jīng)濟(jì)發(fā)展、促進(jìn)數(shù)據(jù)高速流通、保障數(shù)據(jù)分析精準(zhǔn)高效的數(shù)據(jù)處理手段,不論是消費(fèi)頁(yè)面定點(diǎn)投放的廣告,微博、新浪新聞的推送服務(wù),還是網(wǎng)易云音樂(lè)的個(gè)性化推薦,無(wú)時(shí)無(wú)刻不在影響著我們的生活,給我們的生活帶來(lái)了快捷精準(zhǔn)的個(gè)性化服務(wù),從而減少了用戶的搜索成本,提高了效率。生活中絕大多數(shù)的自動(dòng)化決策處理行為,不會(huì)給人們?cè)斐苫虍a(chǎn)生太大的不利影響。自動(dòng)化決策不僅能夠提高個(gè)人數(shù)據(jù)的商業(yè)價(jià)值,而且能為人們提供優(yōu)質(zhì)服務(wù)。因此,如果不對(duì)反自動(dòng)化決策權(quán)的使用范圍進(jìn)行限定,將給數(shù)據(jù)處理者帶來(lái)極大的成本負(fù)擔(dān),同時(shí)造成資源浪費(fèi)(時(shí)間、人力、司法資源等),不利于以數(shù)據(jù)為核心的產(chǎn)業(yè)發(fā)展,從而阻礙數(shù)字經(jīng)濟(jì)的發(fā)展。歐盟《通用數(shù)據(jù)保護(hù)條例》(general data protection regulation,GDPR)第22條規(guī)定:“對(duì)于僅基于自動(dòng)化數(shù)據(jù)處理的決策,包括特征分析,若其產(chǎn)生的法律效力涉及數(shù)據(jù)主體,或?qū)λ?她有類(lèi)似的重要影響,則他/她有權(quán)不成為此決策的對(duì)象?!币虼?,從GDPR的規(guī)定可以看出,數(shù)據(jù)主體反自動(dòng)化決策的權(quán)利是在該自動(dòng)化決策的行為產(chǎn)生的法律效力涉及自身或產(chǎn)生類(lèi)似重要影響時(shí)方可行使的權(quán)利。比如當(dāng)這些自動(dòng)化決策損害人們獲得信貸、工作、住房和其他重要利益時(shí),人們有權(quán)利拒絕被自動(dòng)化決策模式處理,即擁有反自動(dòng)化決策的權(quán)利,人們至少有權(quán)對(duì)自動(dòng)化決策處理結(jié)果提出自己的意見(jiàn)[13]。

    (二)反自動(dòng)化決策權(quán)的主體

    反自動(dòng)化決策權(quán)權(quán)利主體的確認(rèn)直接決定了誰(shuí)享有該項(xiàng)新型數(shù)據(jù)權(quán)利。根據(jù)歐盟GDPR序言第14條[14]和第1條第2款[14]規(guī)定可以得知,GDPR的保護(hù)對(duì)象是自然人,其重點(diǎn)保障自然人的基本權(quán)利和自由。因此,GDPR所要保護(hù)的主體是自然人,即GDPR所規(guī)定的數(shù)據(jù)權(quán)利的主體是自然人。

    按照傳統(tǒng)民法理論對(duì)于自然人的研究以及世界各國(guó)民事立法對(duì)自然人的規(guī)定可以得知,自然人一般是指基于出生的事實(shí)存在于世的人。WP29工作小組也在意見(jiàn)中指出,在各成員國(guó)現(xiàn)行民法典對(duì)自然人的定義下,“個(gè)人數(shù)據(jù)因此在原則上是關(guān)于已識(shí)別或可識(shí)別的在世的人的數(shù)據(jù)” [15]。GDPR序言(27)規(guī)定:“本條例不適用于死者的個(gè)人數(shù)據(jù)。成員國(guó)可以為死者個(gè)人數(shù)據(jù)的處理行為制定規(guī)則?!盵14]沒(méi)有生命的死者不屬于自然人的范疇。所以,死者無(wú)法成為反自動(dòng)化決策權(quán)的主體。對(duì)于法人的權(quán)利主體資格,雖然GDPR沒(méi)有直接排除適用,但從其第4條關(guān)于個(gè)人數(shù)據(jù)的定義以及立法目的可以看出,法人也無(wú)法成為反自動(dòng)化決策權(quán)的權(quán)利主體。

    同時(shí),GDPR第8條規(guī)定兒童數(shù)據(jù)處理需由父母同意。處理低于16歲(其他成員國(guó)可以規(guī)定其他年齡但不得低于13歲)兒童數(shù)據(jù)時(shí),必須獲得其父母或監(jiān)護(hù)人的同意。反自動(dòng)化決策權(quán)用其他方式表達(dá)即為不同意被自動(dòng)化決策處理,不接受自動(dòng)化決策的約束。GDPR規(guī)定兒童行使同意權(quán)利的年齡限制是考慮到兒童心智、知識(shí)和經(jīng)驗(yàn)等方面不夠成熟,不能夠作出正確合理的意思表示。因此考慮個(gè)人數(shù)據(jù)保護(hù)的立法目的,對(duì)于低于16歲(其他成員國(guó)規(guī)定低于13歲)的兒童的反自動(dòng)化決策權(quán)由其父母或法定監(jiān)護(hù)人代為行使。

    (三)反自動(dòng)化決策權(quán)的客體

    GDPR第22條規(guī)定:“數(shù)據(jù)主體有權(quán)反對(duì)此類(lèi)決策:完全依靠自動(dòng)化處理——包括用戶畫(huà)像對(duì)數(shù)據(jù)主體作出具有法律影響或類(lèi)似重大影響的決策。”GDPR將用戶畫(huà)像作為典型的自動(dòng)化決策類(lèi)型進(jìn)行特別舉例強(qiáng)調(diào),具體指任何以評(píng)估個(gè)人的特定方面為目的,對(duì)個(gè)人數(shù)據(jù)進(jìn)行自動(dòng)化處理的形式,包括對(duì)工作表現(xiàn)能力、經(jīng)濟(jì)狀況、信用狀況、健康狀態(tài)、個(gè)人喜好、忠誠(chéng)度、地理位置、消費(fèi)趨向等進(jìn)行分析和預(yù)測(cè)。因此,反自動(dòng)化決策權(quán)的客體是自動(dòng)化決策的結(jié)果。根據(jù)歐盟法律規(guī)定的有權(quán)反對(duì)的“自動(dòng)化決策”須滿足以下三個(gè)特征:一是該決策只能是以自動(dòng)化處理方式進(jìn)行,即決策不是由人工參與直接做出的,而是通過(guò)算法后臺(tái)程序運(yùn)作自動(dòng)做出的決策結(jié)果;二是該自動(dòng)化處理的決策是對(duì)于個(gè)人特定方面的分析和預(yù)測(cè),而不是其他與個(gè)人無(wú)關(guān)的內(nèi)容和事項(xiàng),個(gè)人特定方面包括但不限于經(jīng)濟(jì)條件、健康狀態(tài)、信用度等;三是自動(dòng)化處理的決策結(jié)果應(yīng)當(dāng)對(duì)個(gè)人有法律效果或其他類(lèi)似重大影響[16]。

    (四)反自動(dòng)化決策權(quán)的內(nèi)容

    一是GDPR第22條第1款規(guī)定,未經(jīng)同意或履行合同或法律其他規(guī)定所作出的自動(dòng)化決策,數(shù)據(jù)主體有權(quán)不受限制。數(shù)據(jù)主體有權(quán)不受對(duì)其自身產(chǎn)生法律效果或其他類(lèi)似重大影響的自動(dòng)化決策的限制。

    二是GDPR第22條第3款規(guī)定,即使基于數(shù)據(jù)主體同意或履行合同需要或法律的其他規(guī)定所形成的自動(dòng)化決策結(jié)果,數(shù)據(jù)控制者仍舊應(yīng)當(dāng)采取適當(dāng)?shù)拇胧┍Wo(hù)數(shù)據(jù)主體的自由權(quán)利和正當(dāng)化利益,同時(shí)數(shù)據(jù)主體至少擁有對(duì)自動(dòng)化決策系統(tǒng)的使用者進(jìn)行人為干預(yù)的權(quán)利,可以表達(dá)自己的觀點(diǎn)或提出質(zhì)疑。因此,即使是經(jīng)過(guò)數(shù)據(jù)主體同意的自動(dòng)化決策,數(shù)據(jù)主體仍然有權(quán)采取對(duì)該自動(dòng)化決策提出質(zhì)疑或反對(duì)意見(jiàn)等人為干預(yù)的方式行使反自動(dòng)化決策權(quán)。

    (五)反自動(dòng)化決策與其他權(quán)利的關(guān)系

    1.反自動(dòng)化決策權(quán)與拒絕權(quán)

    GDPR第21條規(guī)定了拒絕權(quán)。即在關(guān)于他/她的特定情形下,任何有關(guān)他/她的個(gè)人數(shù)據(jù)處理和分析,數(shù)據(jù)主體擁有拒絕權(quán)。數(shù)據(jù)主體有權(quán)拒絕任何與之相關(guān)的個(gè)人數(shù)據(jù)處理。這一規(guī)定是為了保障數(shù)據(jù)主體對(duì)自身信息的絕對(duì)控制權(quán),切實(shí)落實(shí)個(gè)人信息自決的理念,保障個(gè)人數(shù)據(jù)的安全、尊嚴(yán)和隱私等權(quán)益。

    而反自動(dòng)化決策權(quán)作為拒絕權(quán)中的一種,內(nèi)涵和外延都沒(méi)有拒絕權(quán)寬。反自動(dòng)化決策權(quán)僅在該自動(dòng)化決策對(duì)其產(chǎn)生法律效果或其他類(lèi)似影響時(shí)可以提出質(zhì)詢或不受限制,而拒絕權(quán)可以在源頭就扼制數(shù)據(jù)收集及進(jìn)一步使用的可能。自動(dòng)化決策建立在收集整理分析大量個(gè)人數(shù)據(jù)的基礎(chǔ)之上[1]。從根本上看,自動(dòng)化決策作出的過(guò)程,除了最初原始數(shù)據(jù)樣本收集的海量數(shù)據(jù)中包含有未經(jīng)處理的可識(shí)別到個(gè)人的數(shù)據(jù)(收集時(shí)已然應(yīng)獲得數(shù)據(jù)處理合法的依據(jù)),經(jīng)過(guò)無(wú)數(shù)個(gè)同類(lèi)的個(gè)人數(shù)據(jù)整理并經(jīng)過(guò)匿名化處理后形成一個(gè)類(lèi)別的集合(結(jié)論報(bào)告),原則上無(wú)法識(shí)別到個(gè)人。基于這些數(shù)據(jù)運(yùn)作的自動(dòng)化處理過(guò)程,也不會(huì)直接識(shí)別到個(gè)人,這類(lèi)數(shù)據(jù)的進(jìn)一步利用不需要獲得數(shù)據(jù)主體的同意或其他合法處理依據(jù)。根據(jù)前文所述可知,反自動(dòng)化決策權(quán)僅在自動(dòng)化決策對(duì)權(quán)利主體產(chǎn)生了法律效果或其他重大影響時(shí)得以行使并獲得救濟(jì)。例如,由于自動(dòng)化決策的算法程序的基礎(chǔ)數(shù)據(jù)錯(cuò)誤、設(shè)計(jì)者的觀點(diǎn)偏見(jiàn)、程序本身的技術(shù)缺陷等造成的歧視、不公平不公正或其他錯(cuò)誤決定,導(dǎo)致自動(dòng)化決策的相對(duì)人的生活、工作、經(jīng)濟(jì)等利益受到損失時(shí),可以對(duì)該決策提出質(zhì)疑,要求自動(dòng)化決策的使用者進(jìn)行解釋?zhuān)⒃谑艿椒欠〒p害時(shí)請(qǐng)求賠償?shù)取?/p>

    因此,反自動(dòng)化決策權(quán)更側(cè)重于救濟(jì),賦予數(shù)據(jù)主體在特定情形(對(duì)自身產(chǎn)生法律效果或其他類(lèi)似重大影響時(shí))獲得救濟(jì)。而拒絕權(quán)是強(qiáng)烈體現(xiàn)以人為核心的價(jià)值觀,能夠從源頭切實(shí)保障個(gè)人自主決定權(quán),體現(xiàn)數(shù)據(jù)主體對(duì)個(gè)人數(shù)據(jù)強(qiáng)烈的控制力。

    2.反自動(dòng)化決策權(quán)與其他權(quán)利和自由

    在信息爆炸時(shí)代,大數(shù)據(jù)的整理分析可以大幅度降低風(fēng)險(xiǎn),提高決策的效率、正確性與最優(yōu)性。自動(dòng)化決策是適應(yīng)數(shù)字時(shí)代高效快捷的經(jīng)濟(jì)發(fā)展需求和保障企業(yè)、政府或其他組織作出最優(yōu)決策的手段之一,不僅可以減少人力、物力和時(shí)間成本,同時(shí)可以降低決策失誤,減少人為偏見(jiàn)影響。但是,反自動(dòng)化決策權(quán)的行使必然會(huì)與其他權(quán)利和自由發(fā)生沖突。原則上,數(shù)據(jù)主體對(duì)于自動(dòng)化處理的決策結(jié)果沒(méi)有干涉的權(quán)利,因?yàn)閭€(gè)人數(shù)據(jù)的立法目的是為了保護(hù)個(gè)人數(shù)據(jù),即可識(shí)別或可能識(shí)別個(gè)人的數(shù)據(jù)。自動(dòng)化決策的數(shù)據(jù)均要求經(jīng)過(guò)匿名化等去識(shí)別性的措施處理,無(wú)法定位到具體個(gè)人。因此自動(dòng)化決策處理不需要獲得主體同意即可合法進(jìn)行,除非該自動(dòng)化決策結(jié)果對(duì)相對(duì)人產(chǎn)生了法律后果或類(lèi)似重要影響,否則反自動(dòng)化決策權(quán)沒(méi)有可適用余地。反自動(dòng)化決策權(quán)是數(shù)字經(jīng)濟(jì)發(fā)展中鼓勵(lì)以數(shù)據(jù)為發(fā)展核心的企業(yè)充分挖掘個(gè)人數(shù)據(jù)的商業(yè)價(jià)值,發(fā)掘個(gè)人數(shù)據(jù)對(duì)國(guó)家安全與公共利益的重要價(jià)值與以人為核心的個(gè)人信息保護(hù)法律體系構(gòu)建之間的矛盾、沖突的調(diào)節(jié)器,能夠使多方利益沖突達(dá)到相對(duì)和諧平衡狀態(tài),實(shí)現(xiàn)共贏發(fā)展。

    四、GDPR中支撐反自動(dòng)化決策權(quán)的制度規(guī)范

    (一)同意的制度規(guī)范

    同意的概念在西方首先是在政治領(lǐng)域使用,但是不僅僅局限于政治領(lǐng)域,在其他領(lǐng)域例如商業(yè)領(lǐng)域、醫(yī)療領(lǐng)域和家庭生活領(lǐng)域。也存在涉及個(gè)人同意或集體同意的問(wèn)題。當(dāng)前許多國(guó)家已然將同意作為個(gè)人數(shù)據(jù)處理的合法要件之一,GDPR更是規(guī)定了當(dāng)前最為嚴(yán)格的同意規(guī)范。同意不僅體現(xiàn)了數(shù)據(jù)主體對(duì)自身相關(guān)的個(gè)人數(shù)據(jù)的控制權(quán),更是個(gè)人數(shù)據(jù)處理的合法依據(jù)。GDPR第22條規(guī)定了僅三種例外情形下,自動(dòng)化決策方屬合法行為,數(shù)據(jù)主體沒(méi)有提出反對(duì)自動(dòng)化決策的權(quán)利。即如果不符合以下三個(gè)條件之一,該自動(dòng)化處理行為即為違法行為:一是數(shù)據(jù)主體與數(shù)據(jù)控制者的合同簽訂或履行合同所必要的;二是歐盟或成員國(guó)的法律所授權(quán)的;三是數(shù)據(jù)主體的明確同意。前面兩種情形屬于特殊情形,數(shù)據(jù)主體的同意是大多數(shù)自動(dòng)化決策合法的依據(jù)。同時(shí),GDPR第22條第3款規(guī)定,即使在第一種和第二種情形下,數(shù)據(jù)控制者仍應(yīng)當(dāng)保障數(shù)據(jù)主體對(duì)控制者進(jìn)行干涉、表達(dá)其觀點(diǎn)和對(duì)決策進(jìn)行異議的權(quán)利。因此,即使在數(shù)據(jù)主體同意其對(duì)用戶畫(huà)像等進(jìn)行自動(dòng)化決策的情形下,數(shù)據(jù)主體仍然有提出異議、發(fā)表意見(jiàn)的權(quán)利。盡管同意只是在當(dāng)前絕大多數(shù)個(gè)人信息保護(hù)法律規(guī)范下處理個(gè)人信息的若干合法理由之一,但無(wú)疑是最具全球性的合法標(biāo)準(zhǔn),并且最有可能使用戶產(chǎn)生信任??梢哉J(rèn)為,同意是基于對(duì)行為的事實(shí)、含義和后果的清楚理解并作出的選擇,是權(quán)利主體基于自由意志所做的許可允諾的意思表示。同意能夠體現(xiàn)尊重和保護(hù)數(shù)據(jù)主體相關(guān)數(shù)據(jù)權(quán)利的時(shí)代要求。

    (二)匿名化制度規(guī)范

    根據(jù)前文所述,GDPR中將用戶畫(huà)像作為典型的自動(dòng)化處理進(jìn)行舉例。根據(jù)GDPR的解釋?zhuān)坝脩舢?huà)像”指為了分析個(gè)人特定方面信息從而預(yù)測(cè)未來(lái)行為而對(duì)個(gè)人數(shù)據(jù)進(jìn)行的自動(dòng)化處理,尤其是為了評(píng)估個(gè)人的信用度、工作能力、行為表現(xiàn)、興趣偏好、健康狀態(tài)等特定方面的情況而進(jìn)行的數(shù)據(jù)處理。即自動(dòng)化決策的結(jié)果與個(gè)人的相關(guān)性依舊強(qiáng)烈。匿名化處理是數(shù)據(jù)控制者進(jìn)一步利用數(shù)據(jù)所應(yīng)當(dāng)采取的安全技術(shù)手段,以保護(hù)數(shù)據(jù)主體的合法權(quán)益?!澳涿褪侨コ龜?shù)據(jù)中個(gè)人標(biāo)識(shí)符的過(guò)程”[17],目的在于切斷數(shù)據(jù)與個(gè)人之間的聯(lián)系,使之不具有“可識(shí)別性”,確保個(gè)人數(shù)據(jù)不能關(guān)聯(lián)到某個(gè)已識(shí)別或可識(shí)別的自然人,有利于規(guī)制數(shù)據(jù)處理者,防止數(shù)據(jù)的進(jìn)一步處理侵犯主體權(quán)益,保障數(shù)據(jù)主體的人格尊嚴(yán)、隱私等。因此,進(jìn)行自動(dòng)化決策的前提應(yīng)當(dāng)是對(duì)個(gè)人數(shù)據(jù)進(jìn)行匿名化處理。如果沒(méi)有采取有效的匿名化處理技術(shù)(或其他可以消除數(shù)據(jù)的可識(shí)別或可能識(shí)別的性質(zhì)的技術(shù)手段),切斷信息中“可識(shí)別”或“可能識(shí)別”的聯(lián)系,該自動(dòng)化處理的決策結(jié)果就不符合法律法規(guī)的要求,即該數(shù)據(jù)處理行為不具有合法性,數(shù)據(jù)主體有權(quán)提出異議,要求修改刪除和賠償損失。

    (三)禁止或限制特殊個(gè)人的數(shù)據(jù)處理制度規(guī)范

    GDPR中明確禁止對(duì)個(gè)人敏感數(shù)據(jù)進(jìn)行自動(dòng)化處理。對(duì)于敏感數(shù)據(jù)的類(lèi)型各國(guó)沒(méi)有同一標(biāo)準(zhǔn)和范圍,但是具有重疊部分。普遍認(rèn)為種族、政治觀點(diǎn)、宗教信仰、健康、生物數(shù)據(jù)、基因數(shù)據(jù)和與性相關(guān)的數(shù)據(jù)為敏感數(shù)據(jù)。對(duì)于這些敏感數(shù)據(jù)原則上限制處理。在自動(dòng)化決策處理中,對(duì)敏感數(shù)據(jù)進(jìn)行處理的前提是獲得數(shù)據(jù)主體的明確同意或基于法律規(guī)定的其他合法依據(jù)。但是系統(tǒng)總是在無(wú)意識(shí)的情況下自動(dòng)收集處理個(gè)人信息,難以自動(dòng)判定是否屬于敏感數(shù)據(jù)而不進(jìn)行自動(dòng)化處理,因此基于自動(dòng)化處理方式下的決策很可能會(huì)有侵犯隱私的風(fēng)險(xiǎn)[18]。

    五、GDPR中反自動(dòng)化決策權(quán)的啟示

    “個(gè)人信息權(quán)是一種新興權(quán)利?!盵19]歐盟地區(qū)有關(guān)個(gè)人數(shù)據(jù)保護(hù)的立法不論是法律體系的完備還是規(guī)定主體權(quán)利的新穎,在全球范圍內(nèi)是數(shù)一數(shù)二的,歐盟個(gè)人數(shù)據(jù)保護(hù)歷年發(fā)展的立法規(guī)范是世界各國(guó)各區(qū)域個(gè)人信息保護(hù)立法的借鑒對(duì)象。因此,GDPR規(guī)定的反自動(dòng)化決策權(quán)對(duì)于我國(guó)未來(lái)的個(gè)人信息保護(hù)立法具有重要的啟示和借鑒價(jià)值。

    首先,個(gè)人信息保護(hù)立法的最根本目的在于保障人權(quán)。立法者應(yīng)當(dāng)堅(jiān)持以人為核心的價(jià)值觀構(gòu)建個(gè)人信息保護(hù)法律體系,“以保護(hù)個(gè)人信息之上的人權(quán)保障,實(shí)現(xiàn)個(gè)人信息保護(hù)法制的體系化”[20]。

    其次,明確賦予自動(dòng)化決策相對(duì)人以反自動(dòng)化決策權(quán)。尊重個(gè)人言論自由、信息自由等相關(guān)權(quán)利,賦予個(gè)人對(duì)自身產(chǎn)生影響的自動(dòng)化決策提出異議的權(quán)利,包括提出質(zhì)詢、要求解釋、甚至不受限制的權(quán)利,從法律上最大限度地保障個(gè)人對(duì)自身信息的控制。

    最后,在反自動(dòng)化決策權(quán)利受到法律明文保護(hù)的基礎(chǔ)上,進(jìn)行反自動(dòng)化決策的制度建設(shè)。從多方面保障反自動(dòng)化決策權(quán)的行使。例如引入算法解釋。算法解釋指的是,當(dāng)自動(dòng)化決策的具體決定對(duì)相對(duì)人產(chǎn)生了法律上或其他類(lèi)似的重要影響,相對(duì)人對(duì)該自動(dòng)化決策使用人提出質(zhì)疑,要求對(duì)自動(dòng)化決策的結(jié)果進(jìn)行具體解釋的權(quán)利[21]68。算法解釋權(quán)包含了自動(dòng)化決策相關(guān)者之間的博弈[22],同時(shí)也是信息不對(duì)稱(chēng)的矯正工具,是意思自治的必然要求[21]69。算法解釋請(qǐng)求權(quán)的引入,賦予相對(duì)人對(duì)自身有重大影響的自動(dòng)化決策的結(jié)果提出質(zhì)疑并要求解釋的權(quán)利,為信息主體提供一個(gè)合理的救濟(jì)路徑,平衡多方的利益需求。還可以通過(guò)建立問(wèn)責(zé)制,確保對(duì)自動(dòng)化決策潛在的影響和后果保持時(shí)刻關(guān)注,促進(jìn)利益相關(guān)者(例如個(gè)人、監(jiān)管部門(mén)和其他第三方)對(duì)自動(dòng)化決策系統(tǒng)進(jìn)行監(jiān)控、監(jiān)管、定期評(píng)估、定期審查參見(jiàn)《人工智能倫理與數(shù)據(jù)保護(hù)宣言》中的責(zé)任原則。。

    保障自動(dòng)化決策的全過(guò)程均有利益相關(guān)人的參與和監(jiān)督,使自動(dòng)化決策過(guò)程對(duì)參與者透明化,確保決策導(dǎo)致的錯(cuò)誤、歧視等問(wèn)題都能夠準(zhǔn)確定位到具體的出錯(cuò)環(huán)節(jié),找到對(duì)該自動(dòng)化決策結(jié)果負(fù)責(zé)的主體,以期解決自動(dòng)化決策帶來(lái)的問(wèn)責(zé)機(jī)制弱化問(wèn)題,切實(shí)保障反自動(dòng)化決策權(quán)得以行使,保護(hù)數(shù)據(jù)主體的合法權(quán)益。

    參考文獻(xiàn):

    [1]?李勃,王端.科學(xué)決策辭典[M].北京:經(jīng)濟(jì)管理出版社,1995:103.

    [2] 瑟格·阿比特博,吉爾·多維克.算法小時(shí)代:從數(shù)學(xué)到生活的歷變[M].任軼,譯.北京:人民郵電出版社,2017:104-111.

    [3] 個(gè)人數(shù)據(jù)保護(hù):歐盟指令及成員國(guó)法律、經(jīng)合組織指導(dǎo)方針[M].陳飛,譯.北京:法律出版社,2006:161.

    [4] 謝遠(yuǎn)揚(yáng).個(gè)人信息的私法保護(hù)[M].北京:中國(guó)法制出版社,2016:103.

    [5] 賀栩栩.比較法上的個(gè)人數(shù)據(jù)信息自決權(quán)[J].比較法研究,2013(2):65.

    [6] 朱偉.知情同意:困難和出路[J].哲學(xué)動(dòng)態(tài),2008(2):42.

    [7] 謝永志.個(gè)人數(shù)據(jù)保護(hù)立法研究[M].北京:人民法院出版社,2013:118.

    [8] 楊芳.個(gè)人信息自決權(quán)理論及其檢討——兼論個(gè)人信息保護(hù)法之客體[J].比較法研究,2015(6):23.

    [9] 王利明.論個(gè)人信息權(quán)的法律保護(hù)——以個(gè)人信息與隱私權(quán)的界分為中心[J].現(xiàn)代法學(xué),2013(4).

    [10]蕭奕弘.論個(gè)人資料保護(hù)法的法制性問(wèn)題[J].成大法學(xué),2012(23):149.

    [11]王澤鑒.人格權(quán)的具體化及其保護(hù)范圍·隱私權(quán)篇(中)[J].比較法研究,2009(1):10.

    [12]閆靜.信息自決權(quán)理論下的檔案隱私保護(hù)路徑探析[J].檔案學(xué)研究,2016(1):81.

    [13]弗蘭克·帕斯奎爾.黑箱社會(huì):控制金錢(qián)和信息的數(shù)據(jù)法則[M].趙亞男,譯.北京:中信出版社,2015:213.

    [14]Official Journal of the European Union. General Data Protection Regulation[EB/OL].[2018-09-05].https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32016R0679&from=EN.

    [15]Article 29 Data Protection Working Party, Opinion 4/2007 on the concept of personal data [EB/OL].[2018-09-05].http://ec.europa.eu/justice/policies/privacy/docs/wpdocs/2007/wp136_en.pdf.

    [16]鄒茜.歐盟個(gè)人數(shù)據(jù)處理中自動(dòng)化個(gè)人決策法律規(guī)制研究[D].重慶:西南政法大學(xué),2017:17.

    [17]張晨原.數(shù)據(jù)匿名化處理的法律規(guī)制[J].重慶郵電大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2017(6):53.

    [18]吳燦銘,王震環(huán).電子商務(wù)與網(wǎng)絡(luò)營(yíng)銷(xiāo)實(shí)用教程[M].北京:清華大學(xué)出版社,2016:259.

    [19]閔豐錦.個(gè)人信息權(quán)保護(hù)的法律界限研究[J].重慶郵電大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2018(4):56.

    [20]楊翱宇.我國(guó)個(gè)人信息保護(hù)的立法實(shí)踐與路徑走向[J].重慶郵電大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2017(6):50.

    [21]張凌寒:商業(yè)自動(dòng)化決策的算法解釋權(quán)研究[J].法律科學(xué)(西北政法大學(xué)學(xué)報(bào)),2018(3).

    [22]賈章范.法經(jīng)濟(jì)學(xué)視角下算法解釋請(qǐng)求權(quán)的制度構(gòu)建[J].黑龍江省政法管理干部學(xué)院學(xué)報(bào),2018(4):76.

    成人av在线播放网站| 亚洲激情五月婷婷啪啪| 欧美极品一区二区三区四区| 久久久精品94久久精品| 日本五十路高清| 尾随美女入室| 色5月婷婷丁香| 国产精品乱码一区二三区的特点| 日韩欧美在线乱码| 又爽又黄无遮挡网站| 欧美丝袜亚洲另类| 国产麻豆成人av免费视频| 日本免费a在线| 在线免费观看的www视频| 亚洲国产精品sss在线观看| 不卡一级毛片| 成年女人看的毛片在线观看| 国产精品一区二区性色av| 亚洲国产高清在线一区二区三| av福利片在线观看| 欧美极品一区二区三区四区| 久久久久久久久久久丰满| 欧美一级a爱片免费观看看| 午夜精品一区二区三区免费看| 亚洲在线自拍视频| 美女被艹到高潮喷水动态| 男女那种视频在线观看| 亚洲在线观看片| 国产探花在线观看一区二区| 国产伦精品一区二区三区四那| 国产激情偷乱视频一区二区| 国内精品宾馆在线| 国产片特级美女逼逼视频| 亚洲国产精品成人久久小说 | 一级毛片电影观看 | 日本在线视频免费播放| 日本在线视频免费播放| 女人被狂操c到高潮| 亚洲精品456在线播放app| 成熟少妇高潮喷水视频| 蜜桃久久精品国产亚洲av| 亚洲av不卡在线观看| 男人狂女人下面高潮的视频| 成熟少妇高潮喷水视频| 尤物成人国产欧美一区二区三区| 国产aⅴ精品一区二区三区波| av在线老鸭窝| 成人一区二区视频在线观看| 国产欧美日韩精品一区二区| 久久久久久久久中文| 久久亚洲国产成人精品v| 国产黄片美女视频| 亚洲电影在线观看av| 三级国产精品欧美在线观看| 国产高潮美女av| 嫩草影视91久久| 国产精品福利在线免费观看| 丰满的人妻完整版| 国产精品国产三级国产av玫瑰| 国产精品爽爽va在线观看网站| 日韩成人av中文字幕在线观看 | 成人永久免费在线观看视频| 一级黄色大片毛片| 老熟妇仑乱视频hdxx| av天堂在线播放| 国产精品久久久久久亚洲av鲁大| 国产男靠女视频免费网站| 3wmmmm亚洲av在线观看| 久久久久久伊人网av| 男女边吃奶边做爰视频| 日本爱情动作片www.在线观看 | 免费无遮挡裸体视频| 亚洲中文字幕一区二区三区有码在线看| 两个人的视频大全免费| 国产午夜精品久久久久久一区二区三区 | 老司机福利观看| 亚洲人成网站高清观看| 小蜜桃在线观看免费完整版高清| 搞女人的毛片| 波野结衣二区三区在线| 欧美+亚洲+日韩+国产| 午夜a级毛片| 国产av不卡久久| 精品免费久久久久久久清纯| 最后的刺客免费高清国语| 能在线免费观看的黄片| 老司机福利观看| 亚洲在线自拍视频| 亚洲无线观看免费| 免费av不卡在线播放| 日本-黄色视频高清免费观看| 此物有八面人人有两片| 男女下面进入的视频免费午夜| 热99在线观看视频| 国产成人福利小说| 亚洲av一区综合| 久久九九热精品免费| 国产中年淑女户外野战色| 校园春色视频在线观看| 真人做人爱边吃奶动态| 亚洲av五月六月丁香网| 午夜福利高清视频| 男人舔女人下体高潮全视频| 成人特级av手机在线观看| 欧美成人a在线观看| 一进一出抽搐动态| 亚洲美女搞黄在线观看 | 亚洲av.av天堂| 国产欧美日韩精品亚洲av| 偷拍熟女少妇极品色| 精品久久久久久久末码| 久久久久性生活片| 老女人水多毛片| 久久久久免费精品人妻一区二区| 一级黄色大片毛片| 自拍偷自拍亚洲精品老妇| 国产亚洲91精品色在线| 色播亚洲综合网| 在线看三级毛片| av女优亚洲男人天堂| 欧美xxxx性猛交bbbb| 观看免费一级毛片| 两性午夜刺激爽爽歪歪视频在线观看| av在线蜜桃| 97人妻精品一区二区三区麻豆| 美女黄网站色视频| 一夜夜www| 亚洲国产精品成人久久小说 | 久久精品国产鲁丝片午夜精品| 日韩在线高清观看一区二区三区| 国语自产精品视频在线第100页| av在线蜜桃| 3wmmmm亚洲av在线观看| 国产成年人精品一区二区| 岛国在线免费视频观看| 1024手机看黄色片| 晚上一个人看的免费电影| 老女人水多毛片| 少妇的逼水好多| 亚洲电影在线观看av| 少妇丰满av| 久久久久久久午夜电影| 国产成人影院久久av| 别揉我奶头 嗯啊视频| 少妇的逼水好多| 夜夜看夜夜爽夜夜摸| 国产一区二区在线观看日韩| 欧美性感艳星| 18禁在线无遮挡免费观看视频 | 日韩欧美 国产精品| 亚洲欧美成人综合另类久久久 | 成人亚洲欧美一区二区av| 欧美又色又爽又黄视频| 国产一区亚洲一区在线观看| av在线播放精品| 麻豆成人午夜福利视频| 欧美极品一区二区三区四区| 免费av观看视频| 成人av一区二区三区在线看| 久久久成人免费电影| 亚洲最大成人av| 久久午夜亚洲精品久久| 直男gayav资源| 97超碰精品成人国产| 国内精品美女久久久久久| av中文乱码字幕在线| 女生性感内裤真人,穿戴方法视频| 插阴视频在线观看视频| 国产精品伦人一区二区| 大又大粗又爽又黄少妇毛片口| 内射极品少妇av片p| 此物有八面人人有两片| 久久这里只有精品中国| 男女之事视频高清在线观看| 能在线免费观看的黄片| 亚洲天堂国产精品一区在线| 免费看光身美女| 久久国产乱子免费精品| 露出奶头的视频| 最近2019中文字幕mv第一页| 国产精品电影一区二区三区| 亚洲欧美精品自产自拍| 国产精品,欧美在线| 日韩av在线大香蕉| 干丝袜人妻中文字幕| 小蜜桃在线观看免费完整版高清| 精品一区二区三区人妻视频| 欧美潮喷喷水| 成人亚洲欧美一区二区av| 精品一区二区免费观看| 免费搜索国产男女视频| 国产精品伦人一区二区| av在线亚洲专区| 欧美+亚洲+日韩+国产| 久久精品影院6| 俺也久久电影网| 国产精品久久电影中文字幕| 亚洲性久久影院| 天天躁夜夜躁狠狠久久av| 天堂动漫精品| 亚洲精品久久国产高清桃花| 亚洲精品456在线播放app| 18+在线观看网站| 日韩一本色道免费dvd| 天堂动漫精品| 高清毛片免费观看视频网站| 日本免费a在线| 啦啦啦韩国在线观看视频| 久久热精品热| 亚洲av熟女| 大香蕉久久网| 久久久久久久久中文| 伊人久久精品亚洲午夜| 亚洲av中文av极速乱| 亚洲无线在线观看| 乱系列少妇在线播放| 精品久久久久久久久久免费视频| 插逼视频在线观看| 97超视频在线观看视频| 午夜福利在线观看吧| 色av中文字幕| 国产伦一二天堂av在线观看| 深夜a级毛片| 少妇裸体淫交视频免费看高清| 精品人妻熟女av久视频| 国产伦精品一区二区三区四那| 国产高潮美女av| 久久久久久大精品| 麻豆国产av国片精品| 99热精品在线国产| 亚洲电影在线观看av| 床上黄色一级片| 狂野欧美白嫩少妇大欣赏| 欧美成人精品欧美一级黄| 国产成人freesex在线 | 麻豆国产av国片精品| 波多野结衣巨乳人妻| 日本五十路高清| 成人特级av手机在线观看| 免费在线观看成人毛片| 日韩欧美在线乱码| 蜜臀久久99精品久久宅男| 国产成人福利小说| 性色avwww在线观看| 国产高清三级在线| 亚洲国产高清在线一区二区三| 国产精品,欧美在线| 国产欧美日韩一区二区精品| 亚洲在线观看片| 成人av一区二区三区在线看| 久久久精品94久久精品| 亚洲成人久久爱视频| 国产精品野战在线观看| 亚洲精品在线观看二区| 露出奶头的视频| 如何舔出高潮| 黄色日韩在线| 黑人高潮一二区| 国产黄色视频一区二区在线观看 | 男女之事视频高清在线观看| 欧美成人精品欧美一级黄| 婷婷亚洲欧美| 99久久中文字幕三级久久日本| 午夜精品在线福利| 美女被艹到高潮喷水动态| 男人舔奶头视频| 校园人妻丝袜中文字幕| 人妻久久中文字幕网| 变态另类成人亚洲欧美熟女| 国产精品免费一区二区三区在线| 男人和女人高潮做爰伦理| 国产色婷婷99| 亚洲精品在线观看二区| 99国产精品一区二区蜜桃av| 亚洲天堂国产精品一区在线| 1000部很黄的大片| 久久久久久久久久黄片| 变态另类丝袜制服| 国产人妻一区二区三区在| 国产精品人妻久久久久久| 精品人妻视频免费看| 成人午夜高清在线视频| 久久久久久久久久久丰满| 女同久久另类99精品国产91| 亚洲av.av天堂| 日韩高清综合在线| 亚洲在线自拍视频| 日韩欧美 国产精品| 欧美性猛交黑人性爽| 成人二区视频| 欧美不卡视频在线免费观看| 亚洲精品日韩在线中文字幕 | 97在线视频观看| 秋霞在线观看毛片| 日韩国内少妇激情av| avwww免费| 99riav亚洲国产免费| 免费观看精品视频网站| 亚洲精品亚洲一区二区| 免费看美女性在线毛片视频| 91精品国产九色| 大香蕉久久网| 国产成人91sexporn| 久99久视频精品免费| 免费看光身美女| 九九久久精品国产亚洲av麻豆| 国产人妻一区二区三区在| 亚洲,欧美,日韩| 久久99热这里只有精品18| 乱系列少妇在线播放| 婷婷亚洲欧美| 十八禁网站免费在线| 99热6这里只有精品| 亚洲欧美日韩无卡精品| 一夜夜www| 国产在线精品亚洲第一网站| 婷婷精品国产亚洲av在线| 免费看美女性在线毛片视频| 99热这里只有精品一区| 两个人的视频大全免费| 久久亚洲精品不卡| 亚洲五月天丁香| 亚洲图色成人| 国产午夜精品论理片| eeuss影院久久| 亚洲av免费高清在线观看| 国产亚洲精品综合一区在线观看| 黄片wwwwww| 99久久精品国产国产毛片| 可以在线观看毛片的网站| 18禁黄网站禁片免费观看直播| 久久国内精品自在自线图片| 亚洲人成网站在线观看播放| 一a级毛片在线观看| 99久国产av精品国产电影| 亚洲av中文字字幕乱码综合| 五月伊人婷婷丁香| 午夜老司机福利剧场| 国产精品电影一区二区三区| www日本黄色视频网| 亚洲va在线va天堂va国产| 天堂av国产一区二区熟女人妻| 少妇人妻一区二区三区视频| 日韩欧美精品免费久久| 97超碰精品成人国产| 久久这里只有精品中国| 简卡轻食公司| 国产白丝娇喘喷水9色精品| 精品久久国产蜜桃| 亚洲人成网站在线播| 国产视频一区二区在线看| 激情 狠狠 欧美| 中文在线观看免费www的网站| 神马国产精品三级电影在线观看| 亚洲婷婷狠狠爱综合网| 尾随美女入室| 亚洲自偷自拍三级| 亚洲久久久久久中文字幕| av天堂在线播放| 日韩高清综合在线| 国产精品亚洲美女久久久| 国产精品av视频在线免费观看| 99riav亚洲国产免费| 日日摸夜夜添夜夜添小说| 欧美日本亚洲视频在线播放| 国模一区二区三区四区视频| 久久久精品大字幕| 日本色播在线视频| 久久午夜亚洲精品久久| 搡老熟女国产l中国老女人| 免费不卡的大黄色大毛片视频在线观看 | 一区福利在线观看| 午夜老司机福利剧场| av在线亚洲专区| 日韩欧美三级三区| 特大巨黑吊av在线直播| 精品一区二区三区人妻视频| 日日摸夜夜添夜夜爱| 少妇的逼水好多| 久久精品国产清高在天天线| 欧美中文日本在线观看视频| 国产亚洲精品久久久久久毛片| 中国国产av一级| 老师上课跳d突然被开到最大视频| 日韩欧美精品v在线| 成人av在线播放网站| h日本视频在线播放| 深爱激情五月婷婷| 国产色婷婷99| 午夜a级毛片| 少妇熟女欧美另类| 国产视频一区二区在线看| 美女xxoo啪啪120秒动态图| 又黄又爽又刺激的免费视频.| 国产真实伦视频高清在线观看| 国产片特级美女逼逼视频| 国内精品一区二区在线观看| 亚洲熟妇中文字幕五十中出| 亚洲美女搞黄在线观看 | 国产片特级美女逼逼视频| 天天一区二区日本电影三级| 波多野结衣高清作品| 国产精品久久电影中文字幕| 男人舔奶头视频| 免费观看的影片在线观看| 国产精品99久久久久久久久| 亚洲18禁久久av| 亚洲欧美精品综合久久99| 天天躁夜夜躁狠狠久久av| 夜夜爽天天搞| 亚洲精华国产精华液的使用体验 | 亚洲国产欧洲综合997久久,| 免费看日本二区| 午夜福利高清视频| 免费观看的影片在线观看| 久久久久国产网址| 国产精品日韩av在线免费观看| 国产精品久久久久久久久免| 久久热精品热| 亚洲精品久久国产高清桃花| 看免费成人av毛片| 亚洲内射少妇av| 国产av一区在线观看免费| 亚洲美女黄片视频| 午夜福利在线观看吧| 尾随美女入室| АⅤ资源中文在线天堂| av黄色大香蕉| 日韩中字成人| 国产日本99.免费观看| 中文亚洲av片在线观看爽| 日日摸夜夜添夜夜爱| 午夜日韩欧美国产| 国产伦精品一区二区三区视频9| 久久精品国产99精品国产亚洲性色| 国内精品美女久久久久久| 色播亚洲综合网| 少妇的逼水好多| 床上黄色一级片| 久久人妻av系列| 久久精品久久久久久噜噜老黄 | 欧美一区二区精品小视频在线| 亚洲五月天丁香| 免费无遮挡裸体视频| 免费大片18禁| 日韩大尺度精品在线看网址| 一区福利在线观看| 欧美丝袜亚洲另类| 在线观看66精品国产| 免费大片18禁| 日日摸夜夜添夜夜添小说| 亚洲国产欧洲综合997久久,| 一本精品99久久精品77| 草草在线视频免费看| 蜜桃亚洲精品一区二区三区| 日本免费一区二区三区高清不卡| 国产亚洲av嫩草精品影院| 国产高清不卡午夜福利| 深爱激情五月婷婷| 中文字幕av在线有码专区| 亚洲精品色激情综合| 久久久久久久久久久丰满| 婷婷色综合大香蕉| 熟女人妻精品中文字幕| 精品一区二区三区人妻视频| 午夜影院日韩av| 成人性生交大片免费视频hd| 亚洲经典国产精华液单| 亚洲无线在线观看| 中文字幕久久专区| 亚洲av.av天堂| 国产乱人偷精品视频| 久久亚洲精品不卡| 日本撒尿小便嘘嘘汇集6| 欧美日韩一区二区视频在线观看视频在线 | 国产aⅴ精品一区二区三区波| 少妇被粗大猛烈的视频| 免费看av在线观看网站| 蜜臀久久99精品久久宅男| 成人av在线播放网站| 亚洲中文字幕一区二区三区有码在线看| 国产成人影院久久av| 亚洲专区国产一区二区| 美女内射精品一级片tv| 国产白丝娇喘喷水9色精品| 免费搜索国产男女视频| 少妇熟女aⅴ在线视频| 国产精品三级大全| 亚洲丝袜综合中文字幕| 99在线人妻在线中文字幕| 欧美最黄视频在线播放免费| 国产欧美日韩精品亚洲av| 淫妇啪啪啪对白视频| 黑人高潮一二区| 精品一区二区三区av网在线观看| 国产精品,欧美在线| 久久人妻av系列| 丰满人妻一区二区三区视频av| 国产乱人偷精品视频| 精品一区二区免费观看| 亚洲第一电影网av| 一进一出好大好爽视频| 99热这里只有精品一区| 在线观看一区二区三区| 欧美另类亚洲清纯唯美| 亚洲美女视频黄频| 欧美高清性xxxxhd video| 久久精品久久久久久噜噜老黄 | 欧美一区二区国产精品久久精品| av专区在线播放| 天堂动漫精品| 国产成人a区在线观看| 丰满人妻一区二区三区视频av| 国产精品一区二区免费欧美| 国产精品国产三级国产av玫瑰| 真实男女啪啪啪动态图| 国产精品国产三级国产av玫瑰| 99热这里只有是精品50| 久久久久久久久久黄片| 亚洲人成网站高清观看| 亚洲18禁久久av| 国产色婷婷99| 男女边吃奶边做爰视频| 国产在线男女| 亚洲最大成人av| 国产午夜精品论理片| 搡老妇女老女人老熟妇| 国产精品乱码一区二三区的特点| 亚洲aⅴ乱码一区二区在线播放| 国产伦一二天堂av在线观看| 一个人免费在线观看电影| 搞女人的毛片| 女人十人毛片免费观看3o分钟| 欧美绝顶高潮抽搐喷水| 亚洲欧美日韩卡通动漫| 婷婷精品国产亚洲av| 午夜老司机福利剧场| 日本-黄色视频高清免费观看| 最近在线观看免费完整版| 国产综合懂色| 搡老岳熟女国产| 校园春色视频在线观看| 久久这里只有精品中国| 亚洲图色成人| 日日撸夜夜添| 天堂影院成人在线观看| 91麻豆精品激情在线观看国产| 国产在视频线在精品| 久久精品久久久久久噜噜老黄 | 亚洲熟妇中文字幕五十中出| 国内精品久久久久精免费| 亚洲国产欧洲综合997久久,| 免费观看精品视频网站| 久久人人爽人人爽人人片va| 欧美潮喷喷水| 亚洲精品国产成人久久av| 搡老熟女国产l中国老女人| 亚洲最大成人av| 内射极品少妇av片p| 亚洲国产精品成人综合色| 免费无遮挡裸体视频| 中国美女看黄片| 欧美日韩一区二区视频在线观看视频在线 | 久久久久久久亚洲中文字幕| 天堂动漫精品| 国产在线精品亚洲第一网站| 亚洲国产欧洲综合997久久,| 人妻丰满熟妇av一区二区三区| 国产成人福利小说| 亚洲成av人片在线播放无| а√天堂www在线а√下载| 黄色日韩在线| 97热精品久久久久久| 亚洲国产高清在线一区二区三| 1024手机看黄色片| 久久精品人妻少妇| aaaaa片日本免费| 少妇人妻一区二区三区视频| 九九爱精品视频在线观看| 国产精品免费一区二区三区在线| 中文字幕久久专区| 日韩强制内射视频| 欧美高清成人免费视频www| 一级毛片久久久久久久久女| 久久久久国产网址| 亚洲婷婷狠狠爱综合网| 不卡一级毛片| 麻豆乱淫一区二区| 亚洲美女黄片视频| 校园春色视频在线观看| 免费电影在线观看免费观看| 成人美女网站在线观看视频| 国产一区二区亚洲精品在线观看| 亚洲国产日韩欧美精品在线观看| 最近中文字幕高清免费大全6| 在线观看66精品国产| av女优亚洲男人天堂| 国产精品福利在线免费观看| 校园春色视频在线观看| 久久久久久伊人网av| 人妻丰满熟妇av一区二区三区| 欧美一区二区国产精品久久精品| 搡老熟女国产l中国老女人| 免费大片18禁| 人人妻人人澡人人爽人人夜夜 | 国产精品一区www在线观看| 欧美日韩在线观看h| 日本在线视频免费播放| 欧美+亚洲+日韩+国产| 免费看av在线观看网站| 久久精品夜夜夜夜夜久久蜜豆| 久久久久久久久久久丰满| 免费高清视频大片| 97超碰精品成人国产| 一个人观看的视频www高清免费观看|