• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    歐盟個人數(shù)據(jù)保護(hù)法上的反自動化決策權(quán)研究

    2019-04-08 01:33:54張建文李錦華

    張建文 李錦華

    摘 要:在大數(shù)據(jù)時代,信息成為一項重要的社會資源,如何開發(fā)和利用數(shù)據(jù)是現(xiàn)代社會無可回避的問題。個人數(shù)據(jù)本文中個人數(shù)據(jù)與個人信息作同一概念理解,不加以明確區(qū)分。保護(hù)法隨著科學(xué)技術(shù)和數(shù)據(jù)產(chǎn)業(yè)的發(fā)展備受關(guān)注。其中,歐盟對個人數(shù)據(jù)立法的研究和相關(guān)法律的規(guī)定較為成熟,其賦予了數(shù)據(jù)主體多種數(shù)據(jù)權(quán)利。最新成果體現(xiàn)在2016年的《一般數(shù)據(jù)保護(hù)條例》(GDPR),其規(guī)定的反自動化決策權(quán)也成為了理論和實務(wù)界的焦點。但對于反自動化決策權(quán)的研究尚需進(jìn)一步深入,包括明晰反自動化決策權(quán)的概念和理論基礎(chǔ)、反自動化決策權(quán)的權(quán)利架構(gòu)及反自動化決策權(quán)對我國個人信息保護(hù)立法的啟示等。希望通過對反自動化決策權(quán)的研究,為我國未來個人信息保護(hù)立法提供借鑒。

    關(guān)鍵詞:個人數(shù)據(jù)保護(hù)法;一般數(shù)據(jù)保護(hù)條例;信息自決;反自動化決策權(quán)

    中圖分類號:D913

    文獻(xiàn)標(biāo)識碼:A

    文章編號:1673-8268(2019)02-0023-07

    一、反自動化決策權(quán)概述

    (一)反自動化決策釋義

    自動化決策指建立在自動化基礎(chǔ)上的決策。它建立在整理收集人們大量個人數(shù)據(jù)的基礎(chǔ)之上,同時研究人的決策行為,使之能夠適合不同階層、不同行為方式的決策者需要[1]。在大數(shù)據(jù)時代,數(shù)據(jù)的整理分析可以大幅降低風(fēng)險,提高決策的效率和正確性、最優(yōu)性。如今,許多決策都不是由人工參與直接做出,而是通過算法后臺程序運(yùn)作自動做出。在自動化決策普及率越來越高的時代,人工決策將從決策鏈中逐步淘汰,因為人工決策速度慢、犯錯率高,綜合考慮多種因素的能力較算法低。社會各領(lǐng)域越來越多地依靠自動化決策系統(tǒng)進(jìn)行風(fēng)險評估和機(jī)會分配。自動化決策技術(shù)能夠更好地將現(xiàn)代大數(shù)據(jù)分析的科學(xué)技術(shù)水平與分析預(yù)測未來行為的期待結(jié)合起來,從而做出符合未來發(fā)展趨勢的最優(yōu)決策結(jié)果。然而,在算法不公開不透明的程序運(yùn)作中,錯誤的信息或者涉及隱私的信息可能會被濫用,從而導(dǎo)致不公平不公正的決策結(jié)果,給個人帶來損害,甚至是災(zāi)難性的后果。同時,當(dāng)自動化決策中參入不公平或不正當(dāng)?shù)钠娨蛩鼗蝈e誤信息時,它們的預(yù)測功能將失去價值。即這種“黑箱”模式的自動化決策的泛濫將給整個社會帶來危險。而且,當(dāng)無辜的人被視為危險恐怖分子或不講信用、工作表現(xiàn)差的人時,人們不僅對造成這種誤解的結(jié)果沒有申訴救濟(jì)的途徑,甚至可能對這一情況都一無所知。

    自動化決策作為使用價值極高的決策手段,我們應(yīng)該將其放在何種位置?依靠自動化系統(tǒng)做出的應(yīng)當(dāng)是什么樣的決策?對于自動化的決策我們?nèi)绾芜M(jìn)行審查和質(zhì)疑?如果自動化決策出現(xiàn)了算法歧視、算法錯誤導(dǎo)致經(jīng)濟(jì)損失或人格利益受損時,自動化決策的相對人是否可以得到救濟(jì)?通過何種途徑獲得救濟(jì)?又應(yīng)當(dāng)如何確定自動化決策造成損害的責(zé)任主體?如今將計算機(jī)算法程序當(dāng)作擋箭牌的情況很多,有很多類似“都是計算機(jī)的問題,我們也沒有辦法……”的托辭。面對這種不作為推卸責(zé)任的做法,我們沒有任何預(yù)設(shè)的可質(zhì)疑路徑。計算機(jī)算法盡管犯錯率極低,但是出現(xiàn)錯誤也是十分正常的事情,因為算法最初就是由人類設(shè)計,很可能出現(xiàn)人類常常會犯的錯誤和偏見,也無法完全掌握與該事項相關(guān)的所有信息,因為世界上不存在十全十美的事物,所以沒有人能夠要求算法達(dá)到百分之百正確。因此,為自動化決策的相對人提供一種救濟(jì)權(quán)利,包括提出質(zhì)詢、要求解釋的權(quán)利,可以通過指定一個專門的負(fù)責(zé)人處理質(zhì)詢事件,該負(fù)責(zé)人有權(quán)對算法決策結(jié)果正確與否做出判斷,同時也有糾正錯誤算法的權(quán)利,這對于保護(hù)自動化決策相對人具有重要意義[2]。如果算法決策不容置疑,或者沒有合適的途徑進(jìn)行異議,那么它的存在就不僅不能稱為一種進(jìn)步,而且完全可能形成新型的“專制暴政”。

    綜上所述,由于自動化決策已經(jīng)在我們現(xiàn)代社會扎根發(fā)展壯大,成為社會中的一部分,因此自動化決策帶來的歧視、不公平和不公正現(xiàn)象以及算法錯誤造成的經(jīng)濟(jì)損失或人格利益受損等問題不容忽視。針對這些算法決策設(shè)計一套可質(zhì)詢程序是當(dāng)務(wù)之急。而解決這些問題的前提是自動化決策的相對人擁有拒絕被算法自動化處理的權(quán)利,有權(quán)對自動化處理的決策提出質(zhì)疑,并就遭受的損失提出賠償請求等救濟(jì)的權(quán)利,即賦予自動化決策的相對人以反自動化決策權(quán)。

    (二)反自動化決策的意義與價值

    反自動化決策是數(shù)據(jù)主體對個人數(shù)據(jù)自主控制的必然要求。反自動化決策的立法構(gòu)想在于允許自然人對提供給數(shù)據(jù)處理者經(jīng)過匿名化處理的個人數(shù)據(jù)進(jìn)行再次利用后所形成的算法程序(該算法程序所作的自動化決策行為對自身產(chǎn)生重大影響時)提出意見,包括有關(guān)要求以易于理解的形式傳達(dá)有關(guān)的數(shù)據(jù)信息,有權(quán)視情況提出修改或刪除信息的要求,并在相關(guān)請求遭到拒絕時尋求救濟(jì)參見歐盟系列條約第108號《有關(guān)個人數(shù)據(jù)自動化處理之個人保護(hù)公約》第8條。[3]。根據(jù)《有關(guān)個人數(shù)據(jù)自動化處理之個人保護(hù)公約》第1條規(guī)定可知,該公約的目的是為了保障個人的權(quán)利和基本自由受到尊重,強(qiáng)調(diào)特別是對個人數(shù)據(jù)進(jìn)行自動化處理時,應(yīng)當(dāng)充分保護(hù)個人的隱私權(quán)。由此可知,賦予數(shù)據(jù)主體反自動化決策權(quán)的目的在于尊重個人自由和尊嚴(yán),減少自動化處理給個人可能帶來的不利影響。反自動化決策權(quán)賦予了數(shù)據(jù)主體對個人數(shù)據(jù)較大強(qiáng)度的控制力,個人數(shù)據(jù)可依照數(shù)據(jù)主體的自由意志、自主決定是否被自動化處理,即使是經(jīng)過數(shù)據(jù)主體同意所進(jìn)行的自動化處理,數(shù)據(jù)主體仍然可以對該自動化處理結(jié)果進(jìn)行確認(rèn)、異議,根據(jù)情況要求修改或者刪除。

    一方面,考慮到反自動化決策個人信息處理涉及傳統(tǒng)隱私和數(shù)據(jù)保護(hù)問題之深層原因在于社會要求保障人權(quán),尤其是不歧視、言論自由和信息自由的人權(quán)要求,在高度強(qiáng)調(diào)人文精神的現(xiàn)代社會里,需要更廣泛地考慮人權(quán)的需求。但是自動化決策具有過度依賴數(shù)據(jù)的缺點,自動化決策所依靠的數(shù)據(jù)來自廣泛獲取的個人數(shù)據(jù),而這些數(shù)據(jù)可能本身就包含個人或社會成見,導(dǎo)致基于偏見數(shù)據(jù)所做出的自動化決策結(jié)果不公平地歧視個人或群體,干擾個人權(quán)利,導(dǎo)致人們被排除在社會生活的某個領(lǐng)域之外,使個人無法享受某些服務(wù)或福利待遇。2018年,第40屆數(shù)據(jù)保護(hù)與隱私專員國際大會《人工智能倫理與數(shù)據(jù)保護(hù)宣言》中主張,人工智能發(fā)展需要道德和人權(quán)的考慮進(jìn)行補(bǔ)充,應(yīng)當(dāng)充分尊重人權(quán)、保護(hù)個人數(shù)據(jù)和隱私權(quán)以及人的尊嚴(yán)不受侵害,考慮到自動化決策系統(tǒng)對隱私權(quán)和數(shù)據(jù)保護(hù)權(quán)的挑戰(zhàn),應(yīng)當(dāng)保證個人能夠控制和理解自動化決策系統(tǒng)。

    另一方面,反自動化決策權(quán)的規(guī)定可以從側(cè)面要求自動化決策系統(tǒng)的所有相關(guān)人員,為了自動化決策結(jié)果不違反法律規(guī)定或造成損害從而引起數(shù)據(jù)主體尋求法律保護(hù),而更加積極主動地采取安全保障措施,包括在原始數(shù)據(jù)收集時盡可能保證數(shù)據(jù)的真實準(zhǔn)確,在分析整理數(shù)據(jù)形成算法程序時保證設(shè)計者的個人偏見不帶入系統(tǒng),主動監(jiān)管自動化處理系統(tǒng)作出決策的全過程,在發(fā)生決策錯誤或其他不公平不公正的結(jié)果時,能夠準(zhǔn)確定位到具體出錯環(huán)節(jié),明確應(yīng)當(dāng)承擔(dān)責(zé)任的主體等。反自動化決策權(quán)有利于保障人權(quán),保護(hù)個人數(shù)據(jù)安全、隱私以及人的尊嚴(yán)不受侵害。

    二、反自動化決策的理論基礎(chǔ)

    最早使用“個人信息自決權(quán)”概念的是德國學(xué)者施太姆勒,他認(rèn)為人們有權(quán)自由、自主地決定是否讓自己以外的其他人獲悉自己的所思所想所為,這項權(quán)利屬于德國關(guān)于人的自由發(fā)展權(quán)的范疇。在德國的“人口普查案”的判決書中,法庭使用了“信息自決”的概念,承認(rèn)了自然人有權(quán)決定其信息是否被公開或使用。對于德國聯(lián)邦憲法法院來說,個人的自決是指:在面對某種可能性的時候,個人有作出從事或者放棄決定的自由,并且依照此決定而行為[4]。該案對立法、司法、學(xué)術(shù)研究產(chǎn)生了重大影響,判決中的信息自決概念被廣泛引用[5],為歐盟和其他國家及地區(qū)個人數(shù)據(jù)保護(hù)立法提供了法學(xué)理論和判例上的支撐。康德也說過,每一個理性存在的人是他自身的目的而不是工具,所有的行動都是以自身存在為出發(fā)點[6]。個人有自主能力對自己的行為經(jīng)過思考而作出選擇。信息自決權(quán)在我國臺灣地區(qū)也獲得了一定發(fā)展。臺灣司法院于2005年出臺的第603號解釋認(rèn)定強(qiáng)制公民按捺指紋的規(guī)定違反了憲法要求保障的基本人權(quán)[7]。該司法院解釋與德國人口普查案中論證信息自決的原理基本一致[8]。我國憲法雖未明確將其列為一項公民的基本權(quán)利,但也有學(xué)者(如王利明教授)主張將個人信息權(quán)作為一種具體人格權(quán)進(jìn)行規(guī)范,法律應(yīng)尊重個人對其信息的控制[9]70。我國《憲法》第38條所確立的人格尊嚴(yán)不受侵犯條款可以成為信息自決權(quán)的正當(dāng)性基礎(chǔ)[9]72。

    自決權(quán)是一項自己決定如何向世界展示自我的權(quán)利。在個人信息保護(hù)中,自決權(quán)體現(xiàn)為個人有權(quán)自行決定是否將個人信息轉(zhuǎn)移或進(jìn)一步使用。即個人信息自決權(quán)指信息主體擁有是否披露個人信息以及所披露個人信息的范圍、時間、方式、對象等的權(quán)利。因此,想要獲取個人信息必須獲得信息主體的同意。個人信息自決權(quán)中自我決定的對象是與個人相關(guān)的信息[10]。因此,信息自決在于保障個人對自身信息的控制,更多時候是為了防止個人信息在毫不知情的情況下被不當(dāng)利用。王澤鑒先生也曾指出,現(xiàn)在的隱私權(quán)法律體系已經(jīng)轉(zhuǎn)變?yōu)椤耙詡€人信息自主權(quán)為中心的法律體系”[11]。因此,為促進(jìn)信息的自由流動和保護(hù)公民的人格利益,自然人除了有權(quán)決定其個人信息是否以及在何種程度、范圍內(nèi)被收集、使用和處理,還有權(quán)以平等主體身份參與到個人信息的自動化處理決策過程中[12]。

    三、GDPR中反自動化決策的權(quán)利架構(gòu)

    (一)反自動化決策權(quán)的適用前提

    自動化決策作為大數(shù)據(jù)時代促進(jìn)經(jīng)濟(jì)發(fā)展、促進(jìn)數(shù)據(jù)高速流通、保障數(shù)據(jù)分析精準(zhǔn)高效的數(shù)據(jù)處理手段,不論是消費(fèi)頁面定點投放的廣告,微博、新浪新聞的推送服務(wù),還是網(wǎng)易云音樂的個性化推薦,無時無刻不在影響著我們的生活,給我們的生活帶來了快捷精準(zhǔn)的個性化服務(wù),從而減少了用戶的搜索成本,提高了效率。生活中絕大多數(shù)的自動化決策處理行為,不會給人們造成或產(chǎn)生太大的不利影響。自動化決策不僅能夠提高個人數(shù)據(jù)的商業(yè)價值,而且能為人們提供優(yōu)質(zhì)服務(wù)。因此,如果不對反自動化決策權(quán)的使用范圍進(jìn)行限定,將給數(shù)據(jù)處理者帶來極大的成本負(fù)擔(dān),同時造成資源浪費(fèi)(時間、人力、司法資源等),不利于以數(shù)據(jù)為核心的產(chǎn)業(yè)發(fā)展,從而阻礙數(shù)字經(jīng)濟(jì)的發(fā)展。歐盟《通用數(shù)據(jù)保護(hù)條例》(general data protection regulation,GDPR)第22條規(guī)定:“對于僅基于自動化數(shù)據(jù)處理的決策,包括特征分析,若其產(chǎn)生的法律效力涉及數(shù)據(jù)主體,或?qū)λ?她有類似的重要影響,則他/她有權(quán)不成為此決策的對象?!币虼耍瑥腉DPR的規(guī)定可以看出,數(shù)據(jù)主體反自動化決策的權(quán)利是在該自動化決策的行為產(chǎn)生的法律效力涉及自身或產(chǎn)生類似重要影響時方可行使的權(quán)利。比如當(dāng)這些自動化決策損害人們獲得信貸、工作、住房和其他重要利益時,人們有權(quán)利拒絕被自動化決策模式處理,即擁有反自動化決策的權(quán)利,人們至少有權(quán)對自動化決策處理結(jié)果提出自己的意見[13]。

    (二)反自動化決策權(quán)的主體

    反自動化決策權(quán)權(quán)利主體的確認(rèn)直接決定了誰享有該項新型數(shù)據(jù)權(quán)利。根據(jù)歐盟GDPR序言第14條[14]和第1條第2款[14]規(guī)定可以得知,GDPR的保護(hù)對象是自然人,其重點保障自然人的基本權(quán)利和自由。因此,GDPR所要保護(hù)的主體是自然人,即GDPR所規(guī)定的數(shù)據(jù)權(quán)利的主體是自然人。

    按照傳統(tǒng)民法理論對于自然人的研究以及世界各國民事立法對自然人的規(guī)定可以得知,自然人一般是指基于出生的事實存在于世的人。WP29工作小組也在意見中指出,在各成員國現(xiàn)行民法典對自然人的定義下,“個人數(shù)據(jù)因此在原則上是關(guān)于已識別或可識別的在世的人的數(shù)據(jù)” [15]。GDPR序言(27)規(guī)定:“本條例不適用于死者的個人數(shù)據(jù)。成員國可以為死者個人數(shù)據(jù)的處理行為制定規(guī)則。”[14]沒有生命的死者不屬于自然人的范疇。所以,死者無法成為反自動化決策權(quán)的主體。對于法人的權(quán)利主體資格,雖然GDPR沒有直接排除適用,但從其第4條關(guān)于個人數(shù)據(jù)的定義以及立法目的可以看出,法人也無法成為反自動化決策權(quán)的權(quán)利主體。

    同時,GDPR第8條規(guī)定兒童數(shù)據(jù)處理需由父母同意。處理低于16歲(其他成員國可以規(guī)定其他年齡但不得低于13歲)兒童數(shù)據(jù)時,必須獲得其父母或監(jiān)護(hù)人的同意。反自動化決策權(quán)用其他方式表達(dá)即為不同意被自動化決策處理,不接受自動化決策的約束。GDPR規(guī)定兒童行使同意權(quán)利的年齡限制是考慮到兒童心智、知識和經(jīng)驗等方面不夠成熟,不能夠作出正確合理的意思表示。因此考慮個人數(shù)據(jù)保護(hù)的立法目的,對于低于16歲(其他成員國規(guī)定低于13歲)的兒童的反自動化決策權(quán)由其父母或法定監(jiān)護(hù)人代為行使。

    (三)反自動化決策權(quán)的客體

    GDPR第22條規(guī)定:“數(shù)據(jù)主體有權(quán)反對此類決策:完全依靠自動化處理——包括用戶畫像對數(shù)據(jù)主體作出具有法律影響或類似重大影響的決策。”GDPR將用戶畫像作為典型的自動化決策類型進(jìn)行特別舉例強(qiáng)調(diào),具體指任何以評估個人的特定方面為目的,對個人數(shù)據(jù)進(jìn)行自動化處理的形式,包括對工作表現(xiàn)能力、經(jīng)濟(jì)狀況、信用狀況、健康狀態(tài)、個人喜好、忠誠度、地理位置、消費(fèi)趨向等進(jìn)行分析和預(yù)測。因此,反自動化決策權(quán)的客體是自動化決策的結(jié)果。根據(jù)歐盟法律規(guī)定的有權(quán)反對的“自動化決策”須滿足以下三個特征:一是該決策只能是以自動化處理方式進(jìn)行,即決策不是由人工參與直接做出的,而是通過算法后臺程序運(yùn)作自動做出的決策結(jié)果;二是該自動化處理的決策是對于個人特定方面的分析和預(yù)測,而不是其他與個人無關(guān)的內(nèi)容和事項,個人特定方面包括但不限于經(jīng)濟(jì)條件、健康狀態(tài)、信用度等;三是自動化處理的決策結(jié)果應(yīng)當(dāng)對個人有法律效果或其他類似重大影響[16]。

    (四)反自動化決策權(quán)的內(nèi)容

    一是GDPR第22條第1款規(guī)定,未經(jīng)同意或履行合同或法律其他規(guī)定所作出的自動化決策,數(shù)據(jù)主體有權(quán)不受限制。數(shù)據(jù)主體有權(quán)不受對其自身產(chǎn)生法律效果或其他類似重大影響的自動化決策的限制。

    二是GDPR第22條第3款規(guī)定,即使基于數(shù)據(jù)主體同意或履行合同需要或法律的其他規(guī)定所形成的自動化決策結(jié)果,數(shù)據(jù)控制者仍舊應(yīng)當(dāng)采取適當(dāng)?shù)拇胧┍Wo(hù)數(shù)據(jù)主體的自由權(quán)利和正當(dāng)化利益,同時數(shù)據(jù)主體至少擁有對自動化決策系統(tǒng)的使用者進(jìn)行人為干預(yù)的權(quán)利,可以表達(dá)自己的觀點或提出質(zhì)疑。因此,即使是經(jīng)過數(shù)據(jù)主體同意的自動化決策,數(shù)據(jù)主體仍然有權(quán)采取對該自動化決策提出質(zhì)疑或反對意見等人為干預(yù)的方式行使反自動化決策權(quán)。

    (五)反自動化決策與其他權(quán)利的關(guān)系

    1.反自動化決策權(quán)與拒絕權(quán)

    GDPR第21條規(guī)定了拒絕權(quán)。即在關(guān)于他/她的特定情形下,任何有關(guān)他/她的個人數(shù)據(jù)處理和分析,數(shù)據(jù)主體擁有拒絕權(quán)。數(shù)據(jù)主體有權(quán)拒絕任何與之相關(guān)的個人數(shù)據(jù)處理。這一規(guī)定是為了保障數(shù)據(jù)主體對自身信息的絕對控制權(quán),切實落實個人信息自決的理念,保障個人數(shù)據(jù)的安全、尊嚴(yán)和隱私等權(quán)益。

    而反自動化決策權(quán)作為拒絕權(quán)中的一種,內(nèi)涵和外延都沒有拒絕權(quán)寬。反自動化決策權(quán)僅在該自動化決策對其產(chǎn)生法律效果或其他類似影響時可以提出質(zhì)詢或不受限制,而拒絕權(quán)可以在源頭就扼制數(shù)據(jù)收集及進(jìn)一步使用的可能。自動化決策建立在收集整理分析大量個人數(shù)據(jù)的基礎(chǔ)之上[1]。從根本上看,自動化決策作出的過程,除了最初原始數(shù)據(jù)樣本收集的海量數(shù)據(jù)中包含有未經(jīng)處理的可識別到個人的數(shù)據(jù)(收集時已然應(yīng)獲得數(shù)據(jù)處理合法的依據(jù)),經(jīng)過無數(shù)個同類的個人數(shù)據(jù)整理并經(jīng)過匿名化處理后形成一個類別的集合(結(jié)論報告),原則上無法識別到個人?;谶@些數(shù)據(jù)運(yùn)作的自動化處理過程,也不會直接識別到個人,這類數(shù)據(jù)的進(jìn)一步利用不需要獲得數(shù)據(jù)主體的同意或其他合法處理依據(jù)。根據(jù)前文所述可知,反自動化決策權(quán)僅在自動化決策對權(quán)利主體產(chǎn)生了法律效果或其他重大影響時得以行使并獲得救濟(jì)。例如,由于自動化決策的算法程序的基礎(chǔ)數(shù)據(jù)錯誤、設(shè)計者的觀點偏見、程序本身的技術(shù)缺陷等造成的歧視、不公平不公正或其他錯誤決定,導(dǎo)致自動化決策的相對人的生活、工作、經(jīng)濟(jì)等利益受到損失時,可以對該決策提出質(zhì)疑,要求自動化決策的使用者進(jìn)行解釋,并在受到非法損害時請求賠償?shù)取?/p>

    因此,反自動化決策權(quán)更側(cè)重于救濟(jì),賦予數(shù)據(jù)主體在特定情形(對自身產(chǎn)生法律效果或其他類似重大影響時)獲得救濟(jì)。而拒絕權(quán)是強(qiáng)烈體現(xiàn)以人為核心的價值觀,能夠從源頭切實保障個人自主決定權(quán),體現(xiàn)數(shù)據(jù)主體對個人數(shù)據(jù)強(qiáng)烈的控制力。

    2.反自動化決策權(quán)與其他權(quán)利和自由

    在信息爆炸時代,大數(shù)據(jù)的整理分析可以大幅度降低風(fēng)險,提高決策的效率、正確性與最優(yōu)性。自動化決策是適應(yīng)數(shù)字時代高效快捷的經(jīng)濟(jì)發(fā)展需求和保障企業(yè)、政府或其他組織作出最優(yōu)決策的手段之一,不僅可以減少人力、物力和時間成本,同時可以降低決策失誤,減少人為偏見影響。但是,反自動化決策權(quán)的行使必然會與其他權(quán)利和自由發(fā)生沖突。原則上,數(shù)據(jù)主體對于自動化處理的決策結(jié)果沒有干涉的權(quán)利,因為個人數(shù)據(jù)的立法目的是為了保護(hù)個人數(shù)據(jù),即可識別或可能識別個人的數(shù)據(jù)。自動化決策的數(shù)據(jù)均要求經(jīng)過匿名化等去識別性的措施處理,無法定位到具體個人。因此自動化決策處理不需要獲得主體同意即可合法進(jìn)行,除非該自動化決策結(jié)果對相對人產(chǎn)生了法律后果或類似重要影響,否則反自動化決策權(quán)沒有可適用余地。反自動化決策權(quán)是數(shù)字經(jīng)濟(jì)發(fā)展中鼓勵以數(shù)據(jù)為發(fā)展核心的企業(yè)充分挖掘個人數(shù)據(jù)的商業(yè)價值,發(fā)掘個人數(shù)據(jù)對國家安全與公共利益的重要價值與以人為核心的個人信息保護(hù)法律體系構(gòu)建之間的矛盾、沖突的調(diào)節(jié)器,能夠使多方利益沖突達(dá)到相對和諧平衡狀態(tài),實現(xiàn)共贏發(fā)展。

    四、GDPR中支撐反自動化決策權(quán)的制度規(guī)范

    (一)同意的制度規(guī)范

    同意的概念在西方首先是在政治領(lǐng)域使用,但是不僅僅局限于政治領(lǐng)域,在其他領(lǐng)域例如商業(yè)領(lǐng)域、醫(yī)療領(lǐng)域和家庭生活領(lǐng)域。也存在涉及個人同意或集體同意的問題。當(dāng)前許多國家已然將同意作為個人數(shù)據(jù)處理的合法要件之一,GDPR更是規(guī)定了當(dāng)前最為嚴(yán)格的同意規(guī)范。同意不僅體現(xiàn)了數(shù)據(jù)主體對自身相關(guān)的個人數(shù)據(jù)的控制權(quán),更是個人數(shù)據(jù)處理的合法依據(jù)。GDPR第22條規(guī)定了僅三種例外情形下,自動化決策方屬合法行為,數(shù)據(jù)主體沒有提出反對自動化決策的權(quán)利。即如果不符合以下三個條件之一,該自動化處理行為即為違法行為:一是數(shù)據(jù)主體與數(shù)據(jù)控制者的合同簽訂或履行合同所必要的;二是歐盟或成員國的法律所授權(quán)的;三是數(shù)據(jù)主體的明確同意。前面兩種情形屬于特殊情形,數(shù)據(jù)主體的同意是大多數(shù)自動化決策合法的依據(jù)。同時,GDPR第22條第3款規(guī)定,即使在第一種和第二種情形下,數(shù)據(jù)控制者仍應(yīng)當(dāng)保障數(shù)據(jù)主體對控制者進(jìn)行干涉、表達(dá)其觀點和對決策進(jìn)行異議的權(quán)利。因此,即使在數(shù)據(jù)主體同意其對用戶畫像等進(jìn)行自動化決策的情形下,數(shù)據(jù)主體仍然有提出異議、發(fā)表意見的權(quán)利。盡管同意只是在當(dāng)前絕大多數(shù)個人信息保護(hù)法律規(guī)范下處理個人信息的若干合法理由之一,但無疑是最具全球性的合法標(biāo)準(zhǔn),并且最有可能使用戶產(chǎn)生信任。可以認(rèn)為,同意是基于對行為的事實、含義和后果的清楚理解并作出的選擇,是權(quán)利主體基于自由意志所做的許可允諾的意思表示。同意能夠體現(xiàn)尊重和保護(hù)數(shù)據(jù)主體相關(guān)數(shù)據(jù)權(quán)利的時代要求。

    (二)匿名化制度規(guī)范

    根據(jù)前文所述,GDPR中將用戶畫像作為典型的自動化處理進(jìn)行舉例。根據(jù)GDPR的解釋,“用戶畫像”指為了分析個人特定方面信息從而預(yù)測未來行為而對個人數(shù)據(jù)進(jìn)行的自動化處理,尤其是為了評估個人的信用度、工作能力、行為表現(xiàn)、興趣偏好、健康狀態(tài)等特定方面的情況而進(jìn)行的數(shù)據(jù)處理。即自動化決策的結(jié)果與個人的相關(guān)性依舊強(qiáng)烈。匿名化處理是數(shù)據(jù)控制者進(jìn)一步利用數(shù)據(jù)所應(yīng)當(dāng)采取的安全技術(shù)手段,以保護(hù)數(shù)據(jù)主體的合法權(quán)益?!澳涿褪侨コ龜?shù)據(jù)中個人標(biāo)識符的過程”[17],目的在于切斷數(shù)據(jù)與個人之間的聯(lián)系,使之不具有“可識別性”,確保個人數(shù)據(jù)不能關(guān)聯(lián)到某個已識別或可識別的自然人,有利于規(guī)制數(shù)據(jù)處理者,防止數(shù)據(jù)的進(jìn)一步處理侵犯主體權(quán)益,保障數(shù)據(jù)主體的人格尊嚴(yán)、隱私等。因此,進(jìn)行自動化決策的前提應(yīng)當(dāng)是對個人數(shù)據(jù)進(jìn)行匿名化處理。如果沒有采取有效的匿名化處理技術(shù)(或其他可以消除數(shù)據(jù)的可識別或可能識別的性質(zhì)的技術(shù)手段),切斷信息中“可識別”或“可能識別”的聯(lián)系,該自動化處理的決策結(jié)果就不符合法律法規(guī)的要求,即該數(shù)據(jù)處理行為不具有合法性,數(shù)據(jù)主體有權(quán)提出異議,要求修改刪除和賠償損失。

    (三)禁止或限制特殊個人的數(shù)據(jù)處理制度規(guī)范

    GDPR中明確禁止對個人敏感數(shù)據(jù)進(jìn)行自動化處理。對于敏感數(shù)據(jù)的類型各國沒有同一標(biāo)準(zhǔn)和范圍,但是具有重疊部分。普遍認(rèn)為種族、政治觀點、宗教信仰、健康、生物數(shù)據(jù)、基因數(shù)據(jù)和與性相關(guān)的數(shù)據(jù)為敏感數(shù)據(jù)。對于這些敏感數(shù)據(jù)原則上限制處理。在自動化決策處理中,對敏感數(shù)據(jù)進(jìn)行處理的前提是獲得數(shù)據(jù)主體的明確同意或基于法律規(guī)定的其他合法依據(jù)。但是系統(tǒng)總是在無意識的情況下自動收集處理個人信息,難以自動判定是否屬于敏感數(shù)據(jù)而不進(jìn)行自動化處理,因此基于自動化處理方式下的決策很可能會有侵犯隱私的風(fēng)險[18]。

    五、GDPR中反自動化決策權(quán)的啟示

    “個人信息權(quán)是一種新興權(quán)利?!盵19]歐盟地區(qū)有關(guān)個人數(shù)據(jù)保護(hù)的立法不論是法律體系的完備還是規(guī)定主體權(quán)利的新穎,在全球范圍內(nèi)是數(shù)一數(shù)二的,歐盟個人數(shù)據(jù)保護(hù)歷年發(fā)展的立法規(guī)范是世界各國各區(qū)域個人信息保護(hù)立法的借鑒對象。因此,GDPR規(guī)定的反自動化決策權(quán)對于我國未來的個人信息保護(hù)立法具有重要的啟示和借鑒價值。

    首先,個人信息保護(hù)立法的最根本目的在于保障人權(quán)。立法者應(yīng)當(dāng)堅持以人為核心的價值觀構(gòu)建個人信息保護(hù)法律體系,“以保護(hù)個人信息之上的人權(quán)保障,實現(xiàn)個人信息保護(hù)法制的體系化”[20]。

    其次,明確賦予自動化決策相對人以反自動化決策權(quán)。尊重個人言論自由、信息自由等相關(guān)權(quán)利,賦予個人對自身產(chǎn)生影響的自動化決策提出異議的權(quán)利,包括提出質(zhì)詢、要求解釋、甚至不受限制的權(quán)利,從法律上最大限度地保障個人對自身信息的控制。

    最后,在反自動化決策權(quán)利受到法律明文保護(hù)的基礎(chǔ)上,進(jìn)行反自動化決策的制度建設(shè)。從多方面保障反自動化決策權(quán)的行使。例如引入算法解釋。算法解釋指的是,當(dāng)自動化決策的具體決定對相對人產(chǎn)生了法律上或其他類似的重要影響,相對人對該自動化決策使用人提出質(zhì)疑,要求對自動化決策的結(jié)果進(jìn)行具體解釋的權(quán)利[21]68。算法解釋權(quán)包含了自動化決策相關(guān)者之間的博弈[22],同時也是信息不對稱的矯正工具,是意思自治的必然要求[21]69。算法解釋請求權(quán)的引入,賦予相對人對自身有重大影響的自動化決策的結(jié)果提出質(zhì)疑并要求解釋的權(quán)利,為信息主體提供一個合理的救濟(jì)路徑,平衡多方的利益需求。還可以通過建立問責(zé)制,確保對自動化決策潛在的影響和后果保持時刻關(guān)注,促進(jìn)利益相關(guān)者(例如個人、監(jiān)管部門和其他第三方)對自動化決策系統(tǒng)進(jìn)行監(jiān)控、監(jiān)管、定期評估、定期審查參見《人工智能倫理與數(shù)據(jù)保護(hù)宣言》中的責(zé)任原則。。

    保障自動化決策的全過程均有利益相關(guān)人的參與和監(jiān)督,使自動化決策過程對參與者透明化,確保決策導(dǎo)致的錯誤、歧視等問題都能夠準(zhǔn)確定位到具體的出錯環(huán)節(jié),找到對該自動化決策結(jié)果負(fù)責(zé)的主體,以期解決自動化決策帶來的問責(zé)機(jī)制弱化問題,切實保障反自動化決策權(quán)得以行使,保護(hù)數(shù)據(jù)主體的合法權(quán)益。

    參考文獻(xiàn):

    [1]?李勃,王端.科學(xué)決策辭典[M].北京:經(jīng)濟(jì)管理出版社,1995:103.

    [2] 瑟格·阿比特博,吉爾·多維克.算法小時代:從數(shù)學(xué)到生活的歷變[M].任軼,譯.北京:人民郵電出版社,2017:104-111.

    [3] 個人數(shù)據(jù)保護(hù):歐盟指令及成員國法律、經(jīng)合組織指導(dǎo)方針[M].陳飛,譯.北京:法律出版社,2006:161.

    [4] 謝遠(yuǎn)揚(yáng).個人信息的私法保護(hù)[M].北京:中國法制出版社,2016:103.

    [5] 賀栩栩.比較法上的個人數(shù)據(jù)信息自決權(quán)[J].比較法研究,2013(2):65.

    [6] 朱偉.知情同意:困難和出路[J].哲學(xué)動態(tài),2008(2):42.

    [7] 謝永志.個人數(shù)據(jù)保護(hù)立法研究[M].北京:人民法院出版社,2013:118.

    [8] 楊芳.個人信息自決權(quán)理論及其檢討——兼論個人信息保護(hù)法之客體[J].比較法研究,2015(6):23.

    [9] 王利明.論個人信息權(quán)的法律保護(hù)——以個人信息與隱私權(quán)的界分為中心[J].現(xiàn)代法學(xué),2013(4).

    [10]蕭奕弘.論個人資料保護(hù)法的法制性問題[J].成大法學(xué),2012(23):149.

    [11]王澤鑒.人格權(quán)的具體化及其保護(hù)范圍·隱私權(quán)篇(中)[J].比較法研究,2009(1):10.

    [12]閆靜.信息自決權(quán)理論下的檔案隱私保護(hù)路徑探析[J].檔案學(xué)研究,2016(1):81.

    [13]弗蘭克·帕斯奎爾.黑箱社會:控制金錢和信息的數(shù)據(jù)法則[M].趙亞男,譯.北京:中信出版社,2015:213.

    [14]Official Journal of the European Union. General Data Protection Regulation[EB/OL].[2018-09-05].https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32016R0679&from=EN.

    [15]Article 29 Data Protection Working Party, Opinion 4/2007 on the concept of personal data [EB/OL].[2018-09-05].http://ec.europa.eu/justice/policies/privacy/docs/wpdocs/2007/wp136_en.pdf.

    [16]鄒茜.歐盟個人數(shù)據(jù)處理中自動化個人決策法律規(guī)制研究[D].重慶:西南政法大學(xué),2017:17.

    [17]張晨原.數(shù)據(jù)匿名化處理的法律規(guī)制[J].重慶郵電大學(xué)學(xué)報(社會科學(xué)版),2017(6):53.

    [18]吳燦銘,王震環(huán).電子商務(wù)與網(wǎng)絡(luò)營銷實用教程[M].北京:清華大學(xué)出版社,2016:259.

    [19]閔豐錦.個人信息權(quán)保護(hù)的法律界限研究[J].重慶郵電大學(xué)學(xué)報(社會科學(xué)版),2018(4):56.

    [20]楊翱宇.我國個人信息保護(hù)的立法實踐與路徑走向[J].重慶郵電大學(xué)學(xué)報(社會科學(xué)版),2017(6):50.

    [21]張凌寒:商業(yè)自動化決策的算法解釋權(quán)研究[J].法律科學(xué)(西北政法大學(xué)學(xué)報),2018(3).

    [22]賈章范.法經(jīng)濟(jì)學(xué)視角下算法解釋請求權(quán)的制度構(gòu)建[J].黑龍江省政法管理干部學(xué)院學(xué)報,2018(4):76.

    两个人的视频大全免费| 在线观看一区二区三区激情| av在线天堂中文字幕| 国产男女内射视频| 视频区图区小说| 国产乱人视频| 欧美日本视频| 中文字幕制服av| 精品一区二区三区视频在线| 成人漫画全彩无遮挡| xxx大片免费视频| 国产黄频视频在线观看| 熟女电影av网| 免费看不卡的av| 国产色爽女视频免费观看| 亚洲欧美日韩另类电影网站 | 九草在线视频观看| 日韩电影二区| 免费在线观看成人毛片| 精品久久久久久久末码| 久久久精品欧美日韩精品| 一本色道久久久久久精品综合| 国产乱人视频| 99精国产麻豆久久婷婷| 小蜜桃在线观看免费完整版高清| 免费看不卡的av| 天堂网av新在线| 精品久久久久久久人妻蜜臀av| 美女被艹到高潮喷水动态| 在线播放无遮挡| 中国美白少妇内射xxxbb| 欧美一级a爱片免费观看看| 美女高潮的动态| 午夜老司机福利剧场| 欧美日韩视频高清一区二区三区二| 亚洲熟女精品中文字幕| 人体艺术视频欧美日本| av专区在线播放| 丝瓜视频免费看黄片| 久久精品久久久久久久性| 禁无遮挡网站| 中国国产av一级| 高清日韩中文字幕在线| 在线观看av片永久免费下载| 亚洲av中文字字幕乱码综合| 尤物成人国产欧美一区二区三区| 一区二区三区乱码不卡18| 欧美性猛交╳xxx乱大交人| www.色视频.com| 22中文网久久字幕| 久久久久国产网址| 午夜免费观看性视频| 蜜桃久久精品国产亚洲av| 国产黄色视频一区二区在线观看| 女人十人毛片免费观看3o分钟| 亚洲综合色惰| 只有这里有精品99| 欧美日韩综合久久久久久| 午夜免费观看性视频| 亚洲精品国产av蜜桃| 最近的中文字幕免费完整| 激情 狠狠 欧美| 亚洲国产精品专区欧美| 男的添女的下面高潮视频| 在线播放无遮挡| 中文在线观看免费www的网站| 一级av片app| 熟女人妻精品中文字幕| 欧美成人a在线观看| 日产精品乱码卡一卡2卡三| 在线a可以看的网站| 天堂网av新在线| 久久久久久久大尺度免费视频| 如何舔出高潮| 精品人妻熟女av久视频| 六月丁香七月| 激情 狠狠 欧美| 又粗又硬又长又爽又黄的视频| 日本色播在线视频| 久久久午夜欧美精品| 亚洲,欧美,日韩| 香蕉精品网在线| 亚洲国产色片| 国产精品久久久久久精品古装| 久久韩国三级中文字幕| 国产精品精品国产色婷婷| 九色成人免费人妻av| 少妇人妻 视频| 欧美日韩在线观看h| 婷婷色麻豆天堂久久| 寂寞人妻少妇视频99o| 日本熟妇午夜| 免费看光身美女| 看黄色毛片网站| 美女被艹到高潮喷水动态| 人妻一区二区av| 中国美白少妇内射xxxbb| 欧美区成人在线视频| 精品国产一区二区三区久久久樱花 | 一个人观看的视频www高清免费观看| 日本爱情动作片www.在线观看| av在线播放精品| 男女国产视频网站| 亚洲av免费在线观看| 欧美日韩视频精品一区| 欧美区成人在线视频| 日韩国内少妇激情av| 另类亚洲欧美激情| 日韩在线高清观看一区二区三区| 久久久久久久亚洲中文字幕| 久久精品国产亚洲av天美| 精品久久久噜噜| 免费少妇av软件| 国产爽快片一区二区三区| 如何舔出高潮| 欧美成人精品欧美一级黄| 国产成人aa在线观看| 午夜老司机福利剧场| 一个人观看的视频www高清免费观看| 国产精品女同一区二区软件| 久久久久久久午夜电影| 高清av免费在线| 国产综合精华液| 精品久久久久久久末码| 99久国产av精品国产电影| 99久国产av精品国产电影| 精品久久久精品久久久| 久久97久久精品| 亚洲精品国产av成人精品| 日韩亚洲欧美综合| 美女cb高潮喷水在线观看| 成人无遮挡网站| 男插女下体视频免费在线播放| 一区二区三区四区激情视频| 亚洲av一区综合| av在线天堂中文字幕| 久久99热这里只频精品6学生| 超碰av人人做人人爽久久| 久久久精品94久久精品| 我要看日韩黄色一级片| 亚洲精品国产色婷婷电影| 男女边吃奶边做爰视频| 国产亚洲最大av| 听说在线观看完整版免费高清| 亚洲最大成人av| 欧美另类一区| 综合色av麻豆| 国产高清国产精品国产三级 | 男女下面进入的视频免费午夜| 黄片无遮挡物在线观看| 国产成人91sexporn| 精品久久久久久电影网| 久久久成人免费电影| 成人国产av品久久久| 神马国产精品三级电影在线观看| 国产免费福利视频在线观看| 97人妻精品一区二区三区麻豆| 日韩中字成人| 日韩伦理黄色片| 国内揄拍国产精品人妻在线| 九九久久精品国产亚洲av麻豆| 少妇人妻 视频| 日本wwww免费看| 精品一区二区免费观看| 美女国产视频在线观看| 日日撸夜夜添| 国产精品人妻久久久影院| av又黄又爽大尺度在线免费看| 色吧在线观看| 777米奇影视久久| 国产视频首页在线观看| 一边亲一边摸免费视频| 色哟哟·www| 五月玫瑰六月丁香| 久久人人爽人人爽人人片va| 91久久精品电影网| 日本免费在线观看一区| 亚洲国产精品999| 女人久久www免费人成看片| 黄色日韩在线| .国产精品久久| 美女脱内裤让男人舔精品视频| 成年女人看的毛片在线观看| 交换朋友夫妻互换小说| 亚洲精品亚洲一区二区| 欧美bdsm另类| 日本wwww免费看| 亚洲av福利一区| 国产黄a三级三级三级人| 日韩强制内射视频| 免费大片18禁| 91久久精品国产一区二区成人| 校园人妻丝袜中文字幕| 欧美性感艳星| 午夜免费鲁丝| 国产高清有码在线观看视频| 亚洲色图综合在线观看| 91久久精品国产一区二区成人| 国产亚洲av嫩草精品影院| 少妇猛男粗大的猛烈进出视频 | 国产日韩欧美在线精品| 欧美人与善性xxx| 岛国毛片在线播放| 在线a可以看的网站| 国产av码专区亚洲av| 永久免费av网站大全| 成人黄色视频免费在线看| 日韩制服骚丝袜av| 色吧在线观看| 一级毛片电影观看| 91在线精品国自产拍蜜月| av国产久精品久网站免费入址| 美女内射精品一级片tv| 亚洲精品日本国产第一区| 国产中年淑女户外野战色| 丝瓜视频免费看黄片| 夜夜爽夜夜爽视频| 亚洲国产日韩一区二区| 你懂的网址亚洲精品在线观看| 永久网站在线| 精品久久久久久久久亚洲| 亚洲精品色激情综合| 国产亚洲午夜精品一区二区久久 | 国产精品蜜桃在线观看| 久久精品国产亚洲av天美| 男女无遮挡免费网站观看| 色5月婷婷丁香| 大香蕉久久网| 三级男女做爰猛烈吃奶摸视频| 两个人的视频大全免费| 成人黄色视频免费在线看| 一本色道久久久久久精品综合| 亚洲国产最新在线播放| 亚洲成人久久爱视频| 国产精品蜜桃在线观看| 免费人成在线观看视频色| 国产有黄有色有爽视频| 在线观看av片永久免费下载| 免费观看a级毛片全部| 少妇人妻久久综合中文| 在线观看国产h片| 卡戴珊不雅视频在线播放| 丝袜脚勾引网站| 美女视频免费永久观看网站| 欧美一级a爱片免费观看看| 天天一区二区日本电影三级| 精品国产露脸久久av麻豆| 国产爱豆传媒在线观看| 国产一区二区在线观看日韩| av在线天堂中文字幕| 欧美xxxx黑人xx丫x性爽| 狂野欧美白嫩少妇大欣赏| 久久精品国产亚洲av天美| 久久久精品免费免费高清| 黄色日韩在线| 汤姆久久久久久久影院中文字幕| 日韩不卡一区二区三区视频在线| 搡老乐熟女国产| 亚洲国产精品成人久久小说| 免费看av在线观看网站| 亚洲人成网站高清观看| 国产精品99久久久久久久久| 日本-黄色视频高清免费观看| 亚洲av男天堂| 99九九线精品视频在线观看视频| 亚洲av免费高清在线观看| 婷婷色av中文字幕| 亚洲人成网站在线观看播放| 成年版毛片免费区| 亚洲精品自拍成人| 欧美少妇被猛烈插入视频| 精品久久久久久久末码| 亚洲欧美日韩另类电影网站 | 国产视频首页在线观看| 亚洲精品影视一区二区三区av| 成人无遮挡网站| 亚洲av免费高清在线观看| 丝瓜视频免费看黄片| 久久这里有精品视频免费| av天堂中文字幕网| av在线观看视频网站免费| 日本wwww免费看| 成人特级av手机在线观看| 国产精品人妻久久久影院| 国产精品精品国产色婷婷| 久久久精品94久久精品| 国产精品99久久99久久久不卡 | 国产午夜精品久久久久久一区二区三区| 亚洲国产精品专区欧美| 偷拍熟女少妇极品色| 水蜜桃什么品种好| 内地一区二区视频在线| 欧美高清成人免费视频www| 夜夜看夜夜爽夜夜摸| 国产精品人妻久久久影院| 国产av国产精品国产| 久久精品国产亚洲网站| 黄色欧美视频在线观看| 网址你懂的国产日韩在线| 久久久午夜欧美精品| 中文精品一卡2卡3卡4更新| 91精品伊人久久大香线蕉| 中文字幕免费在线视频6| 80岁老熟妇乱子伦牲交| 中文字幕av成人在线电影| 一级毛片 在线播放| 一区二区三区四区激情视频| 超碰97精品在线观看| 联通29元200g的流量卡| 成人亚洲欧美一区二区av| 国产一区二区三区av在线| 亚洲精品国产成人久久av| 欧美丝袜亚洲另类| 男女那种视频在线观看| 岛国毛片在线播放| 久久99蜜桃精品久久| 亚洲内射少妇av| 少妇 在线观看| 久久精品熟女亚洲av麻豆精品| 插逼视频在线观看| 黄片wwwwww| 欧美日韩视频高清一区二区三区二| 99热全是精品| 欧美潮喷喷水| 亚洲av日韩在线播放| 免费电影在线观看免费观看| 国产av国产精品国产| 直男gayav资源| 国产精品一区二区在线观看99| 国产精品无大码| 综合色av麻豆| 热99国产精品久久久久久7| 国产精品伦人一区二区| 国产成人精品福利久久| 最新中文字幕久久久久| 69人妻影院| 国产视频内射| 免费av观看视频| 免费看a级黄色片| 欧美国产精品一级二级三级 | 天天一区二区日本电影三级| 国内少妇人妻偷人精品xxx网站| 久久久久久久久大av| 能在线免费看毛片的网站| 免费看日本二区| 尾随美女入室| 男女边摸边吃奶| 精品久久久久久久久av| 下体分泌物呈黄色| 联通29元200g的流量卡| 天堂中文最新版在线下载 | 美女xxoo啪啪120秒动态图| 少妇 在线观看| 午夜视频国产福利| 日韩欧美精品v在线| 午夜亚洲福利在线播放| 麻豆精品久久久久久蜜桃| 国产又色又爽无遮挡免| 久久久午夜欧美精品| 国产亚洲最大av| 国产视频内射| 亚洲国产精品999| 神马国产精品三级电影在线观看| 精品久久久久久久久av| 国产 精品1| 男女无遮挡免费网站观看| 成年女人看的毛片在线观看| 日日撸夜夜添| 亚洲va在线va天堂va国产| videos熟女内射| 大陆偷拍与自拍| 高清日韩中文字幕在线| 亚洲,一卡二卡三卡| 嘟嘟电影网在线观看| 国产高清不卡午夜福利| 亚洲国产av新网站| 亚洲国产精品成人综合色| 国产欧美日韩一区二区三区在线 | 熟妇人妻不卡中文字幕| 国产成人精品福利久久| 黑人高潮一二区| 在线 av 中文字幕| 免费人成在线观看视频色| 永久免费av网站大全| 日韩av免费高清视频| 最后的刺客免费高清国语| 国产精品麻豆人妻色哟哟久久| 国产av码专区亚洲av| 各种免费的搞黄视频| 简卡轻食公司| 午夜免费男女啪啪视频观看| 97超视频在线观看视频| 插阴视频在线观看视频| 国产色爽女视频免费观看| 1000部很黄的大片| 精品久久国产蜜桃| 成年免费大片在线观看| 国产一区二区三区综合在线观看 | 高清毛片免费看| 成人亚洲欧美一区二区av| 18禁裸乳无遮挡动漫免费视频 | 日韩,欧美,国产一区二区三区| 亚洲熟女精品中文字幕| 亚洲国产精品成人综合色| 新久久久久国产一级毛片| 岛国毛片在线播放| 精品一区二区免费观看| 99久国产av精品国产电影| 80岁老熟妇乱子伦牲交| 一区二区三区精品91| 超碰成人久久| 久久久精品免费免费高清| 亚洲精品视频女| 欧美日韩视频高清一区二区三区二| 亚洲专区中文字幕在线 | 欧美日韩视频高清一区二区三区二| 久久久久久人人人人人| 99精国产麻豆久久婷婷| 成人三级做爰电影| 999精品在线视频| 国产男女超爽视频在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 精品国产超薄肉色丝袜足j| 久久精品国产亚洲av涩爱| 少妇人妻 视频| 最近2019中文字幕mv第一页| kizo精华| 在线观看免费午夜福利视频| 精品久久久精品久久久| 午夜福利乱码中文字幕| 日韩精品有码人妻一区| 欧美人与性动交α欧美软件| 男女无遮挡免费网站观看| 久久精品亚洲av国产电影网| 亚洲成人手机| 久久久精品免费免费高清| av免费观看日本| 婷婷色综合www| 久久久欧美国产精品| 99精品久久久久人妻精品| 亚洲综合精品二区| 欧美激情 高清一区二区三区| 精品国产乱码久久久久久小说| 男人爽女人下面视频在线观看| 国产伦理片在线播放av一区| 久久久精品国产亚洲av高清涩受| 老司机深夜福利视频在线观看 | 国产成人欧美在线观看 | 久久精品国产亚洲av高清一级| 亚洲综合色网址| 激情视频va一区二区三区| 午夜福利在线免费观看网站| 中文精品一卡2卡3卡4更新| 哪个播放器可以免费观看大片| 国产在视频线精品| 国产一卡二卡三卡精品 | 男女国产视频网站| 亚洲少妇的诱惑av| 国产精品国产三级专区第一集| 国产免费视频播放在线视频| 国产免费又黄又爽又色| 两性夫妻黄色片| av国产久精品久网站免费入址| h视频一区二区三区| 69精品国产乱码久久久| 欧美国产精品va在线观看不卡| 午夜福利一区二区在线看| av福利片在线| 久久久亚洲精品成人影院| 亚洲色图 男人天堂 中文字幕| 一级毛片我不卡| 宅男免费午夜| 女人精品久久久久毛片| 亚洲精品成人av观看孕妇| 90打野战视频偷拍视频| svipshipincom国产片| 亚洲美女搞黄在线观看| 免费女性裸体啪啪无遮挡网站| 人人澡人人妻人| 国产精品麻豆人妻色哟哟久久| 亚洲国产av新网站| 久久人人爽人人片av| 99国产综合亚洲精品| 在线观看国产h片| 91成人精品电影| 日本午夜av视频| 亚洲自偷自拍图片 自拍| 欧美人与善性xxx| 大码成人一级视频| 美女视频免费永久观看网站| 中文字幕另类日韩欧美亚洲嫩草| 亚洲情色 制服丝袜| 午夜影院在线不卡| 哪个播放器可以免费观看大片| 国产精品一区二区精品视频观看| 啦啦啦 在线观看视频| 亚洲精品日韩在线中文字幕| 啦啦啦在线免费观看视频4| 国产成人系列免费观看| 国产熟女午夜一区二区三区| 国产精品熟女久久久久浪| 不卡视频在线观看欧美| 熟女少妇亚洲综合色aaa.| 九九爱精品视频在线观看| 丝袜人妻中文字幕| 免费在线观看视频国产中文字幕亚洲 | 国产毛片在线视频| 十分钟在线观看高清视频www| 美女视频免费永久观看网站| 51午夜福利影视在线观看| 国产99久久九九免费精品| 久热这里只有精品99| e午夜精品久久久久久久| 另类精品久久| 成人毛片60女人毛片免费| 欧美日韩视频高清一区二区三区二| 国产又爽黄色视频| 久久久精品国产亚洲av高清涩受| 国产亚洲av高清不卡| 亚洲欧美一区二区三区黑人| 久久综合国产亚洲精品| 亚洲欧美色中文字幕在线| 又大又黄又爽视频免费| 亚洲欧美日韩另类电影网站| 国产精品一区二区在线观看99| 黄片播放在线免费| 一区二区日韩欧美中文字幕| 国产成人免费观看mmmm| 九九爱精品视频在线观看| 久久久精品国产亚洲av高清涩受| www.自偷自拍.com| 亚洲国产av影院在线观看| 老熟女久久久| 日韩精品有码人妻一区| 久久久久久免费高清国产稀缺| 国产女主播在线喷水免费视频网站| 精品久久久精品久久久| 欧美激情极品国产一区二区三区| 午夜久久久在线观看| 天天躁夜夜躁狠狠躁躁| 婷婷色麻豆天堂久久| 亚洲精品日本国产第一区| 99精国产麻豆久久婷婷| 啦啦啦视频在线资源免费观看| 欧美黄色片欧美黄色片| 国产精品欧美亚洲77777| 亚洲专区中文字幕在线 | 一本久久精品| 亚洲成色77777| av国产精品久久久久影院| 成年人免费黄色播放视频| 久久午夜综合久久蜜桃| 精品人妻在线不人妻| 色综合欧美亚洲国产小说| 精品人妻一区二区三区麻豆| 日韩精品有码人妻一区| 国产精品久久久久久久久免| 亚洲精品,欧美精品| 亚洲精品第二区| 欧美精品人与动牲交sv欧美| 欧美 亚洲 国产 日韩一| 国产精品一区二区在线观看99| 午夜免费鲁丝| 欧美老熟妇乱子伦牲交| 欧美精品av麻豆av| 熟女av电影| 激情五月婷婷亚洲| 搡老岳熟女国产| 国产97色在线日韩免费| 亚洲国产精品国产精品| 国产麻豆69| 亚洲图色成人| 十分钟在线观看高清视频www| 女人高潮潮喷娇喘18禁视频| 久久久久精品久久久久真实原创| 丰满饥渴人妻一区二区三| 亚洲色图 男人天堂 中文字幕| 天堂俺去俺来也www色官网| 亚洲美女黄色视频免费看| 日韩一区二区三区影片| 1024视频免费在线观看| 少妇 在线观看| 久久久亚洲精品成人影院| 黄色视频在线播放观看不卡| 永久免费av网站大全| 女性被躁到高潮视频| 亚洲av日韩在线播放| 热99国产精品久久久久久7| 国产av精品麻豆| 亚洲精品国产av成人精品| 国产av精品麻豆| 9191精品国产免费久久| 夫妻性生交免费视频一级片| 好男人视频免费观看在线| 久久国产精品大桥未久av| 99九九在线精品视频| 国产伦人伦偷精品视频| 老司机深夜福利视频在线观看 | 久久97久久精品| 大香蕉久久网| 国产1区2区3区精品| 免费观看av网站的网址| 不卡av一区二区三区| 男女下面插进去视频免费观看| 中文乱码字字幕精品一区二区三区| 国产精品久久久久久人妻精品电影 | 亚洲伊人久久精品综合| 高清在线视频一区二区三区| 国产精品亚洲av一区麻豆 | 亚洲美女视频黄频| 日韩制服丝袜自拍偷拍| 色吧在线观看| 欧美在线黄色| 搡老乐熟女国产| 日韩熟女老妇一区二区性免费视频|