• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    《通用數(shù)據(jù)保護(hù)條例》框架內(nèi)的自動(dòng)化決策與數(shù)據(jù)保護(hù)

    2020-12-30 10:51:15孫躍元
    關(guān)鍵詞:控制者數(shù)據(jù)保護(hù)權(quán)利

    ◆孫躍元

    數(shù)據(jù)安全與云計(jì)算

    《通用數(shù)據(jù)保護(hù)條例》框架內(nèi)的自動(dòng)化決策與數(shù)據(jù)保護(hù)

    ◆孫躍元

    (中國(guó)政法大學(xué)研究生院 北京 100088)

    大數(shù)據(jù)時(shí)代下的自動(dòng)化決策已經(jīng)在社會(huì)各領(lǐng)域朝著縱深發(fā)展,但目前關(guān)于自動(dòng)化決策的法律規(guī)制仍處于滯后的狀態(tài)。因此,本文旨在分析《通用數(shù)據(jù)保護(hù)條例》中有關(guān)自動(dòng)決策的規(guī)則,包括自動(dòng)化決策的本質(zhì)及核心概念的分類(lèi);立法所授權(quán)的自動(dòng)化決策及法律規(guī)定的保護(hù)措施。對(duì)相關(guān)制度進(jìn)行梳理,發(fā)現(xiàn)其立法中主要存在的問(wèn)題,包括算法解釋權(quán)和算法透明度的理論和實(shí)踐困境。并以此探討其對(duì)我國(guó)如何對(duì)解決自動(dòng)化決策帶來(lái)問(wèn)題的借鑒意義。

    通用數(shù)據(jù)保護(hù)條例;自動(dòng)化決策;算法解釋權(quán);算法透明度

    隨著現(xiàn)代信息科學(xué)技術(shù)的高速發(fā)展,人工智能有望成為“第四次工業(yè)革命”的主要導(dǎo)火索。這場(chǎng)深刻的革命將改變目前社會(huì)的運(yùn)作方式和人與人的相互關(guān)系,甚至改變就業(yè)市場(chǎng)和就業(yè)需求,以及即將走上數(shù)字化道路的各個(gè)行業(yè)。近年來(lái),機(jī)器人技術(shù)和娛樂(lè)軟件領(lǐng)域的技術(shù)發(fā)展出現(xiàn)了前所未有的進(jìn)步,從仿人機(jī)器人、自主和護(hù)理機(jī)器人、自主車(chē)輛、機(jī)器人保姆和玩具,到用于預(yù)測(cè)警務(wù)或醫(yī)療診斷的人工智能等[1]。人工智能飛速發(fā)展的同時(shí),算法自動(dòng)化決策也帶來(lái)了嚴(yán)重的新生風(fēng)險(xiǎn)??v觀全球,歐盟在數(shù)據(jù)保護(hù)立法領(lǐng)域遙遙領(lǐng)先,并且隨著科技水平的迭代更新而完善。因此,通過(guò)分析研判歐盟《通用數(shù)據(jù)保護(hù)條例》相關(guān)規(guī)定,以其對(duì)我國(guó)的自動(dòng)化決策立法領(lǐng)域提供借鑒思路。

    1 《通用數(shù)據(jù)保護(hù)條例》中的自動(dòng)化決策概念厘清

    在《通用數(shù)據(jù)保護(hù)條例》(以下簡(jiǎn)稱(chēng)GDPR)中,自動(dòng)化決策定義為在沒(méi)有人為干預(yù)的情況下做出決策,自動(dòng)個(gè)人決策是完全基于自動(dòng)處理的決策。通常情況下可以向系統(tǒng)自動(dòng)提供數(shù)據(jù),系統(tǒng)自動(dòng)輸出決定。如果自動(dòng)化決策對(duì)數(shù)據(jù)主體沒(méi)有任何約束力,也不存在剝奪數(shù)據(jù)主體的合法權(quán)利的可能性,那么這種類(lèi)型的決策的影響就很小。如果某種決策對(duì)主體有約束力并且影響權(quán)利,法律必須提供足夠的安全保護(hù)來(lái)保護(hù)個(gè)人的權(quán)益不受侵害。此類(lèi)對(duì)個(gè)體產(chǎn)生重大影響的例子不勝枚舉,例如通過(guò)自動(dòng)化決策決定客戶(hù)是否應(yīng)獲得信貸、納稅申報(bào)表或被雇傭等等。自動(dòng)化決策包括多種決策類(lèi)型,例如高頻交易,銀行發(fā)放貸款的決定、行政決定和一定范圍內(nèi)的司法決定。隨著技術(shù)的進(jìn)步和社會(huì)的發(fā)展,自動(dòng)化決策的概念并不是一個(gè)統(tǒng)一的概念,它是廣泛、多面的。根據(jù)其性質(zhì)不同可以將其分為三大類(lèi):程序性和實(shí)質(zhì)性自動(dòng)決策、算法性和非算法性自動(dòng)決策,基于規(guī)則和基于法律的決策。

    1.1 程序性和實(shí)質(zhì)性決策。

    程序性和實(shí)質(zhì)性決策的區(qū)分并不是指作出程序性或?qū)嵸|(zhì)性決定,而是指自動(dòng)決定的通過(guò)方式必須保證程序性和實(shí)質(zhì)性的公平性和準(zhǔn)確性。程序公正要求相同或可比事實(shí)有關(guān)的所有決定都是根據(jù)同一自動(dòng)程序作出的。然而,程序性決定也必須在實(shí)質(zhì)上是公正的。這是任何自動(dòng)化決策都必須遵循的底層邏輯,即通過(guò)算法做出的決定不應(yīng)具有任何歧視性。

    1.2 算法決策和非算法決策

    算法決策是在算法支持下的自動(dòng)化決策。算法的概念沒(méi)有一個(gè)共同的定義。但是,在自動(dòng)決策中,正在處理的計(jì)算機(jī)算法是指為完成一項(xiàng)任務(wù)的一系列步驟,這項(xiàng)任務(wù)被描述得足夠精確,計(jì)算機(jī)可以運(yùn)行它。隨著大數(shù)據(jù)的日益使用和復(fù)雜決策的日益增多,算法干預(yù)已成為必不可少的手段。非算法決策主要是指不通過(guò)計(jì)算機(jī)算法而做出的,其涉及范圍較小,因此不在主要討論范圍。

    1.3 基于規(guī)則和基于法律的自動(dòng)決策。

    “基于規(guī)則”和“基于法律”的決策都是在規(guī)則的基礎(chǔ)上做出的,但其規(guī)則來(lái)源是不同的。對(duì)于基于規(guī)則的決策,這種規(guī)則主要是某種商業(yè)目的的結(jié)果。此類(lèi)決策已經(jīng)在商業(yè)領(lǐng)域得到廣泛應(yīng)用。例如,為了精準(zhǔn)的廣告投放而分析得出的決策結(jié)果等。而基于法律的自動(dòng)化決策,其規(guī)則來(lái)源于對(duì)每個(gè)人都有約束力的法律規(guī)則。生活最常見(jiàn)的例子如凡超過(guò)限速的人都將被罰款。自動(dòng)化決策的前提是所適用的規(guī)則不易解釋?zhuān)瑳Q策者在作出決策時(shí)沒(méi)有任何自由裁量權(quán)。但由于法律規(guī)則的特殊性質(zhì),此類(lèi)決策同樣帶來(lái)難題。除非基于法律的規(guī)則非常清晰和精確,否則它必須面對(duì)法律開(kāi)放性和解釋性的挑戰(zhàn)。

    2 歐盟數(shù)據(jù)保護(hù)立法授權(quán)的自動(dòng)化決策

    GDPR授權(quán)的第一類(lèi)自動(dòng)決策是在數(shù)據(jù)主體與數(shù)據(jù)控制者之間訂立或履行合同的“必要”決策(第1款中的禁止“不適用于以下決定:(a)對(duì)于數(shù)據(jù)主體與數(shù)據(jù)控制者之間的合同訂立或履行是必要的;(b)由控制者所遵循的聯(lián)盟或成員國(guó)法律授權(quán)...;或(c)基于數(shù)據(jù)主體的明確同意)。根據(jù)必要性標(biāo)準(zhǔn)所指的內(nèi)容,該規(guī)定可以有不同的解釋?zhuān)虼?,關(guān)于“必要”的解讀是模糊不清的,這種情況下做出的決定值得懷疑。例如,訂立保險(xiǎn)合同或貸款合同肯定需要對(duì)風(fēng)險(xiǎn)進(jìn)行評(píng)估,但是這種風(fēng)險(xiǎn)是否一定需要通過(guò)自動(dòng)化決策的方式進(jìn)行評(píng)估,值得考慮。再比如,航班價(jià)格通常是通過(guò)動(dòng)態(tài)定價(jià)來(lái)確定的,同時(shí)考慮到了潛在買(mǎi)家的用戶(hù)畫(huà)像的結(jié)果。用戶(hù)畫(huà)像是GDPR著重強(qiáng)調(diào)的自動(dòng)化決策模型的一種。但是,這種通過(guò)分析用戶(hù)的個(gè)體特征,以便自動(dòng)確定價(jià)格,對(duì)于締結(jié)或履行此購(gòu)買(mǎi)合同是否必要也同樣需要懷疑。

    GDPR授權(quán)的另一種自動(dòng)化決策是根據(jù)數(shù)據(jù)主體的明確同意進(jìn)行自動(dòng)決策。根據(jù)法律規(guī)定,“同意”的作出必須通過(guò)積極行為達(dá)到明示同意的效果?!懊鞔_同意”是指數(shù)據(jù)主體必須明確聲明同意,例如簽名的書(shū)面聲明,填寫(xiě)電子表格或使用電子簽名。目前各種的互聯(lián)網(wǎng)產(chǎn)品的同意制度都或多或少打些擦邊球。比較常見(jiàn)的問(wèn)題是不明確的同意制度泛濫。例如許多App普遍存在預(yù)先勾選同意,或者要求用戶(hù)針對(duì)不同的數(shù)據(jù)處理活動(dòng)給出一攬子同意等,已經(jīng)實(shí)質(zhì)性的影響到了用戶(hù)對(duì)其數(shù)據(jù)的控制力度,有極大的侵犯用戶(hù)隱私的風(fēng)險(xiǎn)。因此,將數(shù)據(jù)處理活動(dòng)作為用戶(hù)使用其服務(wù)的前提條件、隱私政策冗長(zhǎng)晦澀、網(wǎng)站上隱私政策極不明顯、隱私相關(guān)內(nèi)容過(guò)于分散、默認(rèn)設(shè)置同意收集用戶(hù)個(gè)人數(shù)據(jù)等種種情形下所做出的“同意”通常都被認(rèn)定無(wú)效。GDPR為了真正使數(shù)據(jù)主體行使同意的權(quán)利,增強(qiáng)數(shù)據(jù)主體對(duì)個(gè)人數(shù)據(jù)控制力的效果,采取了非常嚴(yán)格的“同意”解釋制度。但不得不承認(rèn),這種嚴(yán)格的同意制度同也在一定程度上造成了企業(yè)合規(guī)成本加大和生產(chǎn)成本加重的問(wèn)題,勢(shì)必會(huì)影響中小企業(yè)技術(shù)創(chuàng)新和變革

    3 GDPR關(guān)于自動(dòng)化決策中的保護(hù)措施

    3.1 反自動(dòng)化決策權(quán)的發(fā)展和應(yīng)用

    在信息量爆炸的大數(shù)據(jù)時(shí)代,自動(dòng)化決策無(wú)疑是一種極為高效的數(shù)據(jù)處理手段,不僅能使我們的日常生活便捷有序,還有利于企業(yè)的精準(zhǔn)投放和量化生產(chǎn),這大大節(jié)約了社會(huì)的整體資源。但是由于算法黑箱等技術(shù)壁壘的存在,自動(dòng)化決策不可能是完全公正、正確的。假如算法在運(yùn)行中被人為地加入了歧視和偏見(jiàn)的因素,其運(yùn)算結(jié)果也一定是不公正的,極有可能加劇社會(huì)不穩(wěn)定[2]。因此,法律確有必要提供有效保護(hù)措施,包括提供拒絕自動(dòng)化處理的權(quán)利和其他救濟(jì)手段。

    歐洲的數(shù)據(jù)保護(hù)立法已經(jīng)走在了世界的前沿,并且不斷地更新完善。關(guān)于反自動(dòng)化決策權(quán)的立法保護(hù)在諸多法律文件上均有體現(xiàn)。歐洲議會(huì)和理事會(huì)于2016年4月27日發(fā)布的《刑事事項(xiàng)數(shù)據(jù)保護(hù)指令》第11條對(duì)自動(dòng)化個(gè)人決策采取了類(lèi)似的立場(chǎng)(《刑事事項(xiàng)數(shù)據(jù)保護(hù)指令》旨在規(guī)定有關(guān)主管機(jī)關(guān)出于預(yù)防,調(diào)查,偵查或起訴等目的處理個(gè)人數(shù)據(jù)的問(wèn)題。內(nèi)容涉及犯罪或執(zhí)行刑事處罰等此類(lèi)數(shù)據(jù)的自由流通問(wèn)題),規(guī)定成員國(guó)有義務(wù)禁止“完全基于自動(dòng)化處理的決策,包括對(duì)數(shù)據(jù)主體產(chǎn)生不利法律影響或?qū)ζ洚a(chǎn)生重大影響的分析”。1995年的英國(guó)《數(shù)據(jù)保護(hù)指令》第15條規(guī)定,數(shù)據(jù)主體同樣有權(quán)不受完全是基于數(shù)據(jù)的自動(dòng)化處理的決策所產(chǎn)生的對(duì)其重大影響。《數(shù)據(jù)保護(hù)指令》的還列舉了一些自動(dòng)化決策的例子,即“評(píng)估與數(shù)據(jù)主體有關(guān)的某些個(gè)人方面的決策,如其工作表現(xiàn)、信譽(yù)、可靠性、行為等”。這些例子表明,《數(shù)據(jù)保護(hù)指令》的規(guī)定主要集中在基于數(shù)據(jù)自動(dòng)處理的分析實(shí)例上,而不包括其他類(lèi)型的自動(dòng)決策?!锻ㄓ脭?shù)據(jù)保護(hù)條例》第22條延續(xù)了這種保護(hù)個(gè)人數(shù)據(jù)不受自動(dòng)化處理的傳統(tǒng)(GDPR第22條第一款規(guī)定:“數(shù)據(jù)對(duì)象有權(quán)不受僅基于自動(dòng)處理的決定的約束,對(duì)他或她產(chǎn)生法律效力,或?qū)λ蛩a(chǎn)生同樣重大的影響),并且提供了一些自動(dòng)決策的例子,即“在沒(méi)有任何人為干預(yù)的情況下自動(dòng)拒絕在線信貸申請(qǐng)或電子招聘實(shí)踐”,這使GDPR在該條款的基礎(chǔ)上增加了一些內(nèi)容程序。

    根據(jù)GDPR,數(shù)據(jù)主體有不受完全基于“自動(dòng)處理”的決策的權(quán)利,而數(shù)據(jù)分析(profiling)是一種主要導(dǎo)致此類(lèi)決策的處理類(lèi)型。數(shù)據(jù)分析意味著對(duì)個(gè)人數(shù)據(jù)的處理,用以評(píng)估與自然人有關(guān)的某些特征,例如“分析或預(yù)測(cè)與自然人在工作中的表現(xiàn)、經(jīng)濟(jì)狀況、健康、個(gè)人偏好、興趣、可靠性有關(guān)的方面”。通常情況下,一個(gè)人的數(shù)據(jù)很難不經(jīng)過(guò)分析直接導(dǎo)致決策。但有些自動(dòng)化決策和預(yù)測(cè)并不直接來(lái)源于數(shù)據(jù)分析,例如高頻交易或?qū)λ痉ㄅ袥Q結(jié)果的預(yù)測(cè),它們不涉及對(duì)個(gè)人數(shù)據(jù)的處理,因此不屬于GDPR的保護(hù)范圍。

    值得注意是GDPR第22條是被放在數(shù)據(jù)主體權(quán)利的章節(jié)中的,這說(shuō)明權(quán)利的行使將取決于數(shù)據(jù)主體的自由意志和選擇。如果數(shù)據(jù)主體選擇行使此權(quán)利,并且要求決策不完全基于自動(dòng)化處理,則數(shù)據(jù)控制者將具有三種選擇:首先,它在人為干預(yù)下做出決策,即不基于完全依靠自動(dòng)化處理的決策;第二,如果不適用第22條第2款的例外情況,則不得以自動(dòng)方式做出最終決定;第三,在適用第22條第2款中的例外的情況下,它仍然可以做出自動(dòng)決定。但為了使決定不完全基于自動(dòng)處理,控制者將需要利用有能力更改自動(dòng)決策的人工干預(yù),即對(duì)“有權(quán)并有能力更改該決定的人”所行使的決定的監(jiān)督。但是,如果不選擇行使這項(xiàng)權(quán)利,則會(huì)導(dǎo)致可以合法地做出自動(dòng)化決策。如果簽訂或執(zhí)行合同時(shí)有必要做出自動(dòng)化決策或基于數(shù)據(jù)主體的明確同意,則數(shù)據(jù)控制者有義務(wù)向數(shù)據(jù)主體提供保護(hù)措施。但是,如果沒(méi)有適用例外情況,并且數(shù)據(jù)主體沒(méi)有行使其反對(duì)自動(dòng)決策的權(quán)利,就可以做出完全自動(dòng)化的決策,對(duì)數(shù)據(jù)主體產(chǎn)生相應(yīng)的法律后果。

    3.2 GDPR規(guī)定的具體保護(hù)措施

    根據(jù)GDPR,只要允許自動(dòng)決策,就必須為數(shù)據(jù)主體提供適當(dāng)?shù)谋U洗胧?。此?lèi)保護(hù)措施的目的是防止錯(cuò)誤、歧視性決定或不尊重?cái)?shù)據(jù)主體權(quán)益的決定。GDPR明確規(guī)定了應(yīng)提供最低限度的措施:(1)數(shù)據(jù)主體至少應(yīng)有權(quán)申請(qǐng)具有人為干預(yù)權(quán)力的控制者;(2)數(shù)據(jù)主體有表達(dá)觀點(diǎn)的權(quán)利;(3)數(shù)據(jù)主體有反對(duì)該自動(dòng)化決定的權(quán)利。

    數(shù)據(jù)主體始終具有權(quán)利獲得人工干預(yù),這意味著可以請(qǐng)求通過(guò)人工干預(yù)使全自動(dòng)決策變?yōu)榉亲詣?dòng)化。例如,如果通過(guò)自動(dòng)化方式評(píng)估保險(xiǎn)風(fēng)險(xiǎn),則數(shù)據(jù)主體可以要求對(duì)這種決策的結(jié)果進(jìn)行人工評(píng)估。但是人為干預(yù)的權(quán)利可能給數(shù)據(jù)主體行使其權(quán)利和修改決策的人造成實(shí)際困難。這種方法在法律上是適當(dāng)?shù)?,在社?huì)上是可取的,但它可能在實(shí)踐中存在巨大的困難。由于自動(dòng)化系統(tǒng)可能不僅考慮了與決策相關(guān)的數(shù)據(jù),還有許多其他復(fù)雜的數(shù)據(jù)集。并且,數(shù)據(jù)分析能力有限的人在實(shí)際操作中很難證明,最終決策需要與算法決策有所不同。如果自動(dòng)化決策是與特定數(shù)據(jù)主體相關(guān)的簡(jiǎn)單數(shù)據(jù)總和,那么對(duì)自動(dòng)化決策進(jìn)行人工審核或許可行。但是,如果決策是基于大數(shù)據(jù)中數(shù)據(jù)之間的復(fù)雜關(guān)系,在審查此類(lèi)決策時(shí)將面臨更加艱巨的任務(wù)[3] 。最后,數(shù)據(jù)控制者是否愿意重新評(píng)估和修改該決定,很大程度上取決于其對(duì)最終決定的責(zé)任。并且不容忽視的是,責(zé)任制應(yīng)始終考慮決策錯(cuò)誤的原因,如果故意設(shè)計(jì)算法以區(qū)分特定種族,則責(zé)任歸因于算法的開(kāi)發(fā)者。而不是僅靠人工干預(yù)進(jìn)行結(jié)果糾偏。

    GDPR賦予了數(shù)據(jù)表達(dá)觀點(diǎn)的權(quán)利。筆者認(rèn)為,對(duì)此權(quán)利恰當(dāng)?shù)慕忉屖牵刂普咴谠u(píng)估自動(dòng)決策時(shí)應(yīng)考慮數(shù)據(jù)主體的意見(jiàn),并有義務(wù)對(duì)數(shù)據(jù)主體的觀點(diǎn)做出回應(yīng)。現(xiàn)實(shí)中,數(shù)據(jù)控制者可能通過(guò)不回答數(shù)據(jù)主體的意見(jiàn),而將使該權(quán)利在實(shí)踐中無(wú)效。因此,必須在這項(xiàng)權(quán)利與通過(guò)該決定的必要性之間取得權(quán)利的平衡。數(shù)據(jù)主體有權(quán)對(duì)決定提出異議,該權(quán)利與表達(dá)她的觀點(diǎn)的權(quán)利并駕齊驅(qū)。在實(shí)踐中,這意味著決策程序?qū)⒆兂蓪?duì)抗性的。這引出了無(wú)法回避的問(wèn)題,誰(shuí)應(yīng)該對(duì)這種自動(dòng)決策的結(jié)果負(fù)責(zé)。例如,如果某個(gè)數(shù)據(jù)主體明確同意對(duì)其信用等級(jí)進(jìn)行自動(dòng)評(píng)估,之后對(duì)這一決定結(jié)果提出異議,那么是否需要由處理該文件的銀行官員或者該組織內(nèi)的另一名獨(dú)立監(jiān)督員處理此異議?由于GDPR模糊的規(guī)定,很多實(shí)際操作中可能遇到的壁壘目前尚未有行之有效的解決方案。

    4 GDPR關(guān)于自動(dòng)化決策救濟(jì)權(quán)的立法缺憾

    4.1 算法解釋權(quán)的模糊性規(guī)定

    數(shù)據(jù)主體獲得解釋自動(dòng)決策的權(quán)利的問(wèn)題一直是學(xué)術(shù)界爭(zhēng)論的熱點(diǎn)[4]。一些學(xué)者認(rèn)為GDPR只需要對(duì)系統(tǒng)的運(yùn)作方式進(jìn)行事前解釋?zhuān)鵁o(wú)需對(duì)決定背后的原因進(jìn)行事后解釋。而另一部分學(xué)者認(rèn)為自動(dòng)決策的算法解釋權(quán)具有實(shí)施的可能性,但在實(shí)踐中可能會(huì)遇到巨大的困難。這引起了幾個(gè)問(wèn)題:到底需要向數(shù)據(jù)主體顯示什么?這項(xiàng)權(quán)利的確切含義是什么,解釋必須有多詳細(xì)。

    要注意的是,GDPR關(guān)于通知義務(wù)和獲取的權(quán)利均未明確提及命名為“解釋權(quán)”的權(quán)利。GDPR要求不論是從數(shù)據(jù)主體還是從其他來(lái)源收集個(gè)人數(shù)據(jù),數(shù)據(jù)控制者向數(shù)據(jù)主體提供有關(guān)所涉及背后邏輯的“有意義”的信息,以及對(duì)數(shù)據(jù)進(jìn)行自動(dòng)化決策的意義和預(yù)期后果。在法院判例法中,為了解釋數(shù)據(jù)主體的某些權(quán)利而對(duì)不同的數(shù)據(jù)保護(hù)條款進(jìn)行結(jié)合并不少見(jiàn)。例如,在西班牙的Google案中,法院依靠95數(shù)據(jù)保護(hù)指令的訪問(wèn)權(quán)和反對(duì)權(quán)相結(jié)合來(lái)創(chuàng)建刪除權(quán)(通常稱(chēng)為“被遺忘權(quán)”)[5]。鑒于此,筆者認(rèn)為,可以通過(guò)對(duì)法律條文進(jìn)行解釋?zhuān)_定解釋權(quán)的核心要義是有權(quán)告知數(shù)據(jù)主體有關(guān)自動(dòng)決策對(duì)其產(chǎn)生法律或重大影響的原因。

    GDPR并沒(méi)有明確給出算法解釋的內(nèi)容和范圍??刂普吒嬷獢?shù)據(jù)主體“有關(guān)所涉及的邏輯的有意義的信息,以及這種處理對(duì)數(shù)據(jù)主體的意義和預(yù)期的后果”,即數(shù)據(jù)控制器需要向數(shù)據(jù)主體告知作出決定的原因。僅當(dāng)數(shù)據(jù)主體可以理解決策所基于的因素和考慮因素時(shí),自動(dòng)決策所涉及的邏輯才是“有意義的”。對(duì)系統(tǒng)或算法功能的抽象理解對(duì)數(shù)據(jù)主體沒(méi)有太大用處。如果僅僅披露算法整體運(yùn)行的程序性規(guī)則,并不能回答為什么算法以特定數(shù)據(jù)集作為輸入才能達(dá)到特定決策的問(wèn)題。因此數(shù)據(jù)主體必須了解該決定背后的原因。

    4.2 算法透明度的實(shí)踐難題

    隨著技術(shù)的進(jìn)步以及算法在決策中的使用呈指數(shù)增長(zhǎng),法律法規(guī)和學(xué)術(shù)工作都要求更加透明的算法決策。算法的透明性是揭示采用特定決策的算法背后的邏輯。簡(jiǎn)單的自動(dòng)化決策背后的邏輯解釋不會(huì)產(chǎn)生特殊問(wèn)題。例如,如果檢測(cè)到駕駛員速度超過(guò)了速度限制,則自動(dòng)發(fā)出超速罰單。決策背后的邏輯以及決策所依據(jù)的規(guī)則可以很容易地向數(shù)據(jù)主體解釋?zhuān)喝绻隽怂俣认拗?,則發(fā)出超速罰單。與之不同的是,基于復(fù)雜算法的自動(dòng)決策在解釋決策基礎(chǔ)的原因時(shí)會(huì)面臨許多麻煩。在實(shí)踐操作中,幾乎不可能解釋算法,因?yàn)榧词顾惴ㄩ_(kāi)發(fā)人員也無(wú)法準(zhǔn)確指出做出特定決策的原因。提高算法透明度的技術(shù)解決問(wèn)題,例如顯示源代碼等等。但這必然會(huì)涉及商業(yè)秘密和技術(shù)保密的問(wèn)題。算法開(kāi)發(fā)者如果公開(kāi)其核心技術(shù),則會(huì)面臨核心機(jī)密泄露等一系列損害公司利益的行為。

    5 對(duì)我國(guó)的借鑒意義

    5.1 敏感數(shù)據(jù)收集的源頭監(jiān)管

    敏感數(shù)據(jù)的范圍和類(lèi)型目前并沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)。當(dāng)涉及種族或民族血統(tǒng)的敏感數(shù)據(jù)參與決策時(shí),決策可能具有歧視性,因?yàn)闆Q策所基于的數(shù)據(jù)本身就是歧視性的。有偏見(jiàn)的數(shù)據(jù)集反而會(huì)導(dǎo)致算法結(jié)果歧視受保護(hù)的群體[6]。作為與決策相關(guān)的輸入變量,敏感數(shù)據(jù)如宗教種族等,極有可能導(dǎo)致決策結(jié)果的歧視性。因此,原則上,自動(dòng)決策不應(yīng)基于個(gè)人敏感數(shù)據(jù),除非數(shù)據(jù)主體明確同意出于特定目的進(jìn)行處理或?yàn)榫S護(hù)重要的公共利益而必須進(jìn)行此類(lèi)處理。盡管在現(xiàn)有技術(shù)下,自動(dòng)化決策往往都是從多個(gè)復(fù)雜數(shù)據(jù)集中獲取數(shù)據(jù),而非單一的數(shù)據(jù)集。經(jīng)過(guò)大數(shù)據(jù)的分析比對(duì),極有可能形成新的敏感數(shù)據(jù)集。因此,我國(guó)應(yīng)建立并完善敏感數(shù)據(jù)收集制度,從源頭對(duì)其進(jìn)行監(jiān)管。

    5.2 技術(shù)障礙的克服與法律規(guī)制的動(dòng)態(tài)平衡

    盡管我們認(rèn)為數(shù)據(jù)主體應(yīng)有權(quán)了解自動(dòng)化決策的背后邏輯和原因,但仍不清楚是否以及如何使用此權(quán)利。在實(shí)踐中,為數(shù)據(jù)主體提供算法決策背后的邏輯的有意義的解釋方面,存在技術(shù)障礙和知識(shí)產(chǎn)權(quán)障礙[7]。其中最難克服的是技術(shù)障礙。用來(lái)解釋基于算法的自主決策的技術(shù)障礙的數(shù)量取決于算法的復(fù)雜性?;诤?jiǎn)單算法運(yùn)算做出決策的原因或許解釋難度并不大。但是,如果決策所使用的算法是神經(jīng)網(wǎng)絡(luò)算法,使用非??焖俚臋C(jī)器學(xué)習(xí),必須開(kāi)發(fā)進(jìn)一步的技術(shù)以澄清具體的考慮因素以及權(quán)重是多少。因此,在AI領(lǐng)域和法律領(lǐng)域都需要進(jìn)一步的研究,以找到理解自動(dòng)化決策的最佳解決方案[8]。AI的研究人員需要設(shè)法找到技術(shù)解決方案來(lái)簡(jiǎn)化此類(lèi)決策的解釋?zhuān)欠裳芯咳藛T應(yīng)該嘗試在自動(dòng)化決策涉及的不同利益之間找到適當(dāng)?shù)钠胶狻Ec此同時(shí),數(shù)據(jù)控制者應(yīng)了解其數(shù)據(jù)保護(hù)法規(guī)下的義務(wù)以及在未能向數(shù)據(jù)主體提供該法規(guī)要求的信息的情況下的責(zé)任制。

    6 結(jié)語(yǔ)

    本文研究了《通用數(shù)據(jù)保護(hù)條例》關(guān)于自動(dòng)化決策的法律規(guī)制問(wèn)題,并在其原有的法律框架內(nèi),找出其立法缺憾及空白。在對(duì)比分析國(guó)內(nèi)自動(dòng)化決策現(xiàn)狀后,提出了我國(guó)特有的解決路徑思考,以期為我國(guó)未來(lái)在相關(guān)領(lǐng)域的立法研究提供借鑒和思考。

    [1]張吉豫.人工智能良性創(chuàng)新發(fā)展的法制構(gòu)建思考[J].中國(guó)法律評(píng)論, 2018.

    [2]周文揚(yáng), 張?zhí)鞓s.生成、影響與反思:聚合類(lèi)新聞客戶(hù)端的信息繭房效應(yīng)研究——以“今日頭條”為例[N].傳媒,2018.

    [3]林洹民.自動(dòng)決策算法的法律規(guī)制:以數(shù)據(jù)活動(dòng)顧問(wèn)為核心的二元監(jiān)管路徑[J].法律科學(xué)(西北政法大學(xué)學(xué)報(bào)), 2019.

    [4]張建文,李錦華.歐盟個(gè)人數(shù)據(jù)保護(hù)法上的反自動(dòng)化決策權(quán)研究[J].重慶郵電大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2019.

    [5]National Bureau of Economic Research, The Short-Run Effects of GDPR on Technology Venture Investment, https://www. nber.org/papers/w25248.pdf.

    [6]歐姆瑞·本·沙哈爾、卡爾·E. 施奈德.過(guò)猶不及——強(qiáng)制披露的失敗[M].法律出版社, 2015.

    [7]楊芳.個(gè)人信息自決權(quán)理論及其檢討[J].比較法研究, 2015.

    [8]許可.數(shù)字經(jīng)濟(jì)視野中的歐盟<一般數(shù)據(jù)保護(hù)條例>[J].財(cái)經(jīng)法學(xué), 2018.

    猜你喜歡
    控制者數(shù)據(jù)保護(hù)權(quán)利
    我們的權(quán)利
    從“控制者”變身“隱形人”
    論人工智能的刑事責(zé)任能力與追究
    淺談中小學(xué)財(cái)務(wù)人員角色轉(zhuǎn)換的緊迫性
    數(shù)據(jù)控制者的權(quán)利與限制
    論不存在做錯(cuò)事的權(quán)利
    法大研究生(2018年2期)2018-09-23 02:19:50
    TPP生物藥品數(shù)據(jù)保護(hù)條款研究
    歐盟數(shù)據(jù)保護(hù)立法改革之發(fā)展趨勢(shì)分析
    歐盟《一般數(shù)據(jù)保護(hù)條例》新規(guī)則評(píng)析
    權(quán)利套裝
    Coco薇(2015年12期)2015-12-10 02:43:39
    亚洲精品中文字幕在线视频 | 美女高潮的动态| av又黄又爽大尺度在线免费看| 亚洲av日韩在线播放| 99久久人妻综合| av卡一久久| 国产精品久久久久久久电影| 久久久a久久爽久久v久久| 美女高潮的动态| 狂野欧美激情性bbbbbb| 亚洲一级一片aⅴ在线观看| 亚洲av日韩在线播放| 一个人看视频在线观看www免费| 内地一区二区视频在线| 春色校园在线视频观看| 搡老乐熟女国产| 性色avwww在线观看| 久久久久精品久久久久真实原创| 国产亚洲5aaaaa淫片| av.在线天堂| av视频免费观看在线观看| 日日啪夜夜爽| 国产亚洲精品久久久com| 亚洲国产欧美人成| 国产黄色免费在线视频| 欧美最新免费一区二区三区| 国产av一区二区精品久久 | 蜜桃亚洲精品一区二区三区| 中文字幕精品免费在线观看视频 | 2022亚洲国产成人精品| 一级毛片aaaaaa免费看小| 国产一级毛片在线| 校园人妻丝袜中文字幕| 99久久精品热视频| 黑丝袜美女国产一区| 不卡视频在线观看欧美| 亚洲国产成人一精品久久久| 国产精品久久久久久精品电影小说 | 日韩av在线免费看完整版不卡| 熟女av电影| 久久精品国产a三级三级三级| 在线 av 中文字幕| 精品少妇久久久久久888优播| 我的女老师完整版在线观看| 成人毛片a级毛片在线播放| 久久久久久久久久成人| 亚洲av成人精品一区久久| 国产69精品久久久久777片| 亚洲婷婷狠狠爱综合网| 欧美少妇被猛烈插入视频| 99热国产这里只有精品6| 国产高潮美女av| 岛国毛片在线播放| 另类亚洲欧美激情| 老熟女久久久| 久久人人爽人人片av| 18禁在线无遮挡免费观看视频| 欧美另类一区| 各种免费的搞黄视频| 91午夜精品亚洲一区二区三区| 亚洲精品aⅴ在线观看| 亚洲最大成人中文| kizo精华| 人妻 亚洲 视频| 国产精品蜜桃在线观看| 少妇 在线观看| 日本欧美国产在线视频| 免费大片18禁| 国产欧美另类精品又又久久亚洲欧美| 亚洲欧美日韩无卡精品| 国产免费福利视频在线观看| 人妻制服诱惑在线中文字幕| 伦精品一区二区三区| 日韩一区二区视频免费看| 青春草国产在线视频| 好男人视频免费观看在线| 国产精品女同一区二区软件| 自拍欧美九色日韩亚洲蝌蚪91 | 1000部很黄的大片| 一级毛片黄色毛片免费观看视频| 成人亚洲精品一区在线观看 | 日韩欧美 国产精品| 国产精品国产av在线观看| 国产又色又爽无遮挡免| 久久av网站| 国产淫语在线视频| 99热这里只有精品一区| 丝瓜视频免费看黄片| 亚洲人与动物交配视频| 亚洲精品日本国产第一区| 国产精品女同一区二区软件| 色哟哟·www| 大码成人一级视频| 国产精品秋霞免费鲁丝片| 精品国产三级普通话版| 欧美日韩精品成人综合77777| 欧美亚洲 丝袜 人妻 在线| 中文天堂在线官网| 色网站视频免费| 国产精品久久久久久久电影| 久久久久久伊人网av| 亚洲av日韩在线播放| 亚洲精品自拍成人| 只有这里有精品99| 欧美最新免费一区二区三区| 国产成人freesex在线| 国产又色又爽无遮挡免| 大又大粗又爽又黄少妇毛片口| 99久久人妻综合| 亚洲国产成人一精品久久久| 秋霞在线观看毛片| 国产黄色视频一区二区在线观看| 大香蕉97超碰在线| 97热精品久久久久久| 91久久精品国产一区二区成人| 亚洲精品国产av成人精品| 亚洲精品久久午夜乱码| 久久久国产一区二区| 免费不卡的大黄色大毛片视频在线观看| 99热国产这里只有精品6| 国产午夜精品久久久久久一区二区三区| 亚洲天堂av无毛| 日本与韩国留学比较| 婷婷色麻豆天堂久久| 哪个播放器可以免费观看大片| 精品国产三级普通话版| 丰满人妻一区二区三区视频av| 最黄视频免费看| 国产精品成人在线| 国产精品无大码| 一区在线观看完整版| 国产 一区精品| 国产 一区精品| 精华霜和精华液先用哪个| 22中文网久久字幕| 欧美精品人与动牲交sv欧美| 中文欧美无线码| 国产伦精品一区二区三区视频9| 婷婷色综合大香蕉| 国产高潮美女av| 午夜日本视频在线| 夜夜看夜夜爽夜夜摸| 大话2 男鬼变身卡| 国产av码专区亚洲av| 在线天堂最新版资源| 国产高潮美女av| 亚洲激情五月婷婷啪啪| av播播在线观看一区| 亚洲精品,欧美精品| 少妇人妻 视频| 亚洲一级一片aⅴ在线观看| 日日撸夜夜添| 亚洲国产欧美在线一区| 国产成人精品婷婷| 激情五月婷婷亚洲| 观看美女的网站| 一级二级三级毛片免费看| 综合色丁香网| 欧美性感艳星| 18禁裸乳无遮挡免费网站照片| 秋霞在线观看毛片| 久久久久久人妻| 午夜精品国产一区二区电影| 欧美日韩亚洲高清精品| 中文字幕制服av| 熟妇人妻不卡中文字幕| 中文字幕人妻熟人妻熟丝袜美| 高清在线视频一区二区三区| av线在线观看网站| 大又大粗又爽又黄少妇毛片口| 一个人看视频在线观看www免费| 亚洲电影在线观看av| 少妇高潮的动态图| 欧美三级亚洲精品| 国产午夜精品久久久久久一区二区三区| 成人黄色视频免费在线看| 日本av免费视频播放| 五月伊人婷婷丁香| 在线观看一区二区三区| 少妇人妻 视频| 我的女老师完整版在线观看| 五月玫瑰六月丁香| 欧美国产精品一级二级三级 | 亚洲国产av新网站| 一本色道久久久久久精品综合| 国产亚洲欧美精品永久| 欧美另类一区| 久久综合国产亚洲精品| 高清不卡的av网站| 一区二区三区乱码不卡18| 老司机影院成人| 一级黄片播放器| 免费看日本二区| 九九爱精品视频在线观看| 丝袜喷水一区| 赤兔流量卡办理| 国产一区二区三区综合在线观看 | 九草在线视频观看| 成人免费观看视频高清| 久久久色成人| 国产 精品1| 青春草国产在线视频| 中文字幕免费在线视频6| 国产色爽女视频免费观看| 另类亚洲欧美激情| 精品酒店卫生间| 身体一侧抽搐| 亚洲精品,欧美精品| 99热网站在线观看| 国产高清有码在线观看视频| 色婷婷久久久亚洲欧美| 久久久久久久国产电影| 国产成人午夜福利电影在线观看| 亚洲成人av在线免费| 午夜福利在线观看免费完整高清在| 国产黄频视频在线观看| 舔av片在线| 久久久色成人| 国产精品一二三区在线看| 国产深夜福利视频在线观看| 91精品一卡2卡3卡4卡| 欧美三级亚洲精品| 日日啪夜夜撸| 99久久中文字幕三级久久日本| 亚洲色图综合在线观看| 午夜福利影视在线免费观看| 久久精品国产亚洲网站| 精品久久久噜噜| 99re6热这里在线精品视频| 免费观看在线日韩| 成人国产麻豆网| 2018国产大陆天天弄谢| 毛片一级片免费看久久久久| 啦啦啦啦在线视频资源| 久久精品国产亚洲av天美| 中国美白少妇内射xxxbb| 我的老师免费观看完整版| 日韩制服骚丝袜av| 久久精品久久精品一区二区三区| 一本久久精品| 午夜激情福利司机影院| 久久久久久久国产电影| 成人美女网站在线观看视频| 欧美老熟妇乱子伦牲交| 成人亚洲欧美一区二区av| 亚洲精品aⅴ在线观看| 一级毛片 在线播放| 中国国产av一级| 熟女人妻精品中文字幕| 狠狠精品人妻久久久久久综合| 在线播放无遮挡| 久久久亚洲精品成人影院| 精品一区二区免费观看| 亚洲av电影在线观看一区二区三区| 精品久久久精品久久久| a 毛片基地| 内地一区二区视频在线| 97超碰精品成人国产| 波野结衣二区三区在线| 国产亚洲5aaaaa淫片| 亚洲自偷自拍三级| 久久6这里有精品| 狂野欧美白嫩少妇大欣赏| 又黄又爽又刺激的免费视频.| 国产成人精品福利久久| 久久99蜜桃精品久久| 精品久久国产蜜桃| 婷婷色综合www| 精品99又大又爽又粗少妇毛片| 尾随美女入室| 日韩av不卡免费在线播放| 美女国产视频在线观看| 亚洲国产精品一区三区| 99久久精品国产国产毛片| 成年av动漫网址| 黄色配什么色好看| 亚洲成人中文字幕在线播放| av又黄又爽大尺度在线免费看| 亚洲高清免费不卡视频| 免费黄网站久久成人精品| 小蜜桃在线观看免费完整版高清| 免费观看av网站的网址| 最新中文字幕久久久久| 免费av中文字幕在线| 国精品久久久久久国模美| 99久久综合免费| 少妇人妻精品综合一区二区| 亚洲欧美一区二区三区国产| 涩涩av久久男人的天堂| 人妻制服诱惑在线中文字幕| 日本与韩国留学比较| 我要看日韩黄色一级片| 国产精品久久久久久精品电影小说 | 成年免费大片在线观看| 欧美高清成人免费视频www| 精品人妻偷拍中文字幕| 一本色道久久久久久精品综合| 一区二区三区四区激情视频| 熟女人妻精品中文字幕| 国产日韩欧美亚洲二区| 国产在线视频一区二区| 亚洲精品自拍成人| 五月玫瑰六月丁香| 91精品伊人久久大香线蕉| 99热这里只有是精品在线观看| av在线老鸭窝| 色网站视频免费| 日韩伦理黄色片| 美女xxoo啪啪120秒动态图| 国产精品99久久99久久久不卡 | 男人狂女人下面高潮的视频| 在线播放无遮挡| 亚洲精品亚洲一区二区| 一区二区三区乱码不卡18| 国产v大片淫在线免费观看| 午夜视频国产福利| 制服丝袜香蕉在线| www.色视频.com| 亚洲色图综合在线观看| 久久久久性生活片| 在线观看免费视频网站a站| 全区人妻精品视频| 成人国产麻豆网| 人人妻人人添人人爽欧美一区卜 | 乱码一卡2卡4卡精品| 少妇高潮的动态图| 国产一区二区三区av在线| 激情五月婷婷亚洲| 成年人午夜在线观看视频| 国产亚洲av片在线观看秒播厂| 久久久久久久久久久免费av| 国产精品国产三级国产av玫瑰| 性色avwww在线观看| 妹子高潮喷水视频| 欧美高清成人免费视频www| 欧美精品人与动牲交sv欧美| 精品久久久久久电影网| 久久国产亚洲av麻豆专区| 美女视频免费永久观看网站| 亚洲精品一二三| 国产午夜精品久久久久久一区二区三区| 国产精品欧美亚洲77777| 丝袜脚勾引网站| 国产伦精品一区二区三区四那| av网站免费在线观看视频| 我要看日韩黄色一级片| 国产一级毛片在线| 不卡视频在线观看欧美| 亚洲熟女精品中文字幕| 一级二级三级毛片免费看| 日本黄色片子视频| 91精品一卡2卡3卡4卡| 亚洲精品日韩在线中文字幕| 多毛熟女@视频| 免费黄色在线免费观看| 亚洲无线观看免费| 国产真实伦视频高清在线观看| 久久97久久精品| 99热这里只有精品一区| 夜夜看夜夜爽夜夜摸| 中国三级夫妇交换| 好男人视频免费观看在线| 又黄又爽又刺激的免费视频.| 国产免费一级a男人的天堂| 亚洲一级一片aⅴ在线观看| 中文字幕精品免费在线观看视频 | 韩国高清视频一区二区三区| 麻豆成人av视频| 国产午夜精品久久久久久一区二区三区| 18禁在线播放成人免费| 天堂俺去俺来也www色官网| 国产在线男女| 两个人的视频大全免费| 激情五月婷婷亚洲| 国产黄色视频一区二区在线观看| 久热这里只有精品99| 三级国产精品欧美在线观看| 一级片'在线观看视频| 国产人妻一区二区三区在| 国产又色又爽无遮挡免| 1000部很黄的大片| 夫妻午夜视频| 国产 精品1| 欧美一级a爱片免费观看看| 精品国产露脸久久av麻豆| www.色视频.com| 最近手机中文字幕大全| 亚洲av成人精品一区久久| 亚洲av日韩在线播放| 亚洲内射少妇av| 51国产日韩欧美| 欧美变态另类bdsm刘玥| 亚洲美女黄色视频免费看| 最近中文字幕高清免费大全6| 久久久久久人妻| 人体艺术视频欧美日本| 国产精品免费大片| 国产精品久久久久久精品古装| 国产在线免费精品| 亚洲美女视频黄频| 免费观看的影片在线观看| 国产淫语在线视频| 亚洲精品乱码久久久久久按摩| 久久人人爽av亚洲精品天堂 | 成人毛片60女人毛片免费| 国产亚洲最大av| 欧美 日韩 精品 国产| 最近中文字幕2019免费版| 一级片'在线观看视频| 最近2019中文字幕mv第一页| 日韩成人伦理影院| 少妇被粗大猛烈的视频| 婷婷色综合www| 亚洲无线观看免费| 日本vs欧美在线观看视频 | 亚洲婷婷狠狠爱综合网| 久久久久久久亚洲中文字幕| 蜜臀久久99精品久久宅男| 嫩草影院新地址| 直男gayav资源| 成人毛片a级毛片在线播放| 午夜免费鲁丝| 内地一区二区视频在线| 亚洲第一区二区三区不卡| 成人影院久久| 97在线人人人人妻| 天堂中文最新版在线下载| 激情 狠狠 欧美| 高清在线视频一区二区三区| 午夜福利在线在线| av在线播放精品| 在线观看人妻少妇| 日韩av在线免费看完整版不卡| 一区二区三区四区激情视频| 国产亚洲av片在线观看秒播厂| 交换朋友夫妻互换小说| 精品少妇久久久久久888优播| 99热这里只有是精品50| 国产黄色免费在线视频| 欧美zozozo另类| 男女无遮挡免费网站观看| 日本av免费视频播放| 日韩欧美精品免费久久| 少妇的逼水好多| 久久国产乱子免费精品| 在线观看一区二区三区| 最近手机中文字幕大全| 成人美女网站在线观看视频| 国产精品成人在线| 中文字幕精品免费在线观看视频 | 久久久a久久爽久久v久久| 亚洲激情五月婷婷啪啪| 久久6这里有精品| 久久国产精品男人的天堂亚洲 | freevideosex欧美| 国产成人a∨麻豆精品| 联通29元200g的流量卡| 欧美bdsm另类| 最近2019中文字幕mv第一页| 成人免费观看视频高清| 国产精品精品国产色婷婷| 精品99又大又爽又粗少妇毛片| 这个男人来自地球电影免费观看 | 91久久精品国产一区二区成人| 老师上课跳d突然被开到最大视频| 国产爱豆传媒在线观看| 亚洲色图综合在线观看| 男人添女人高潮全过程视频| 久久99蜜桃精品久久| 好男人视频免费观看在线| 午夜免费观看性视频| 看非洲黑人一级黄片| 99热这里只有精品一区| 国产有黄有色有爽视频| 深爱激情五月婷婷| 国产av一区二区精品久久 | 三级国产精品片| 汤姆久久久久久久影院中文字幕| 在线免费观看不下载黄p国产| av在线蜜桃| 亚洲va在线va天堂va国产| 97超碰精品成人国产| 免费不卡的大黄色大毛片视频在线观看| 韩国高清视频一区二区三区| 免费观看在线日韩| 色视频在线一区二区三区| 一级爰片在线观看| 久久精品国产自在天天线| av不卡在线播放| 看免费成人av毛片| 亚洲欧洲日产国产| 老熟女久久久| 国产精品福利在线免费观看| 色婷婷久久久亚洲欧美| 国产一区二区三区综合在线观看 | 亚洲av.av天堂| 青春草国产在线视频| 成年美女黄网站色视频大全免费 | 久久这里有精品视频免费| 色婷婷av一区二区三区视频| 国产精品国产三级国产专区5o| 免费av不卡在线播放| 在线观看国产h片| 黄色欧美视频在线观看| 五月伊人婷婷丁香| 乱系列少妇在线播放| 熟女电影av网| 欧美zozozo另类| 亚洲精品一二三| 777米奇影视久久| 国产在线一区二区三区精| 免费高清在线观看视频在线观看| 中文字幕精品免费在线观看视频 | 日韩在线高清观看一区二区三区| 日日撸夜夜添| 欧美成人精品欧美一级黄| 久久热精品热| 夜夜骑夜夜射夜夜干| 岛国毛片在线播放| 超碰av人人做人人爽久久| a级一级毛片免费在线观看| www.色视频.com| 久久久久久久大尺度免费视频| av在线观看视频网站免费| 水蜜桃什么品种好| 亚洲欧美一区二区三区黑人 | 五月开心婷婷网| 欧美一区二区亚洲| 亚洲av中文字字幕乱码综合| 亚洲自偷自拍三级| 精品亚洲乱码少妇综合久久| 91aial.com中文字幕在线观看| 国产成人aa在线观看| 国产免费福利视频在线观看| 欧美xxxx黑人xx丫x性爽| 久久精品国产亚洲av涩爱| 欧美另类一区| 国产淫语在线视频| 黑人高潮一二区| 中文在线观看免费www的网站| 免费播放大片免费观看视频在线观看| 秋霞在线观看毛片| 亚洲精品aⅴ在线观看| 国产在视频线精品| av福利片在线观看| 久久 成人 亚洲| 色5月婷婷丁香| 多毛熟女@视频| 国产一区有黄有色的免费视频| 日韩制服骚丝袜av| 国产欧美日韩一区二区三区在线 | 亚洲国产精品成人久久小说| 天堂中文最新版在线下载| 毛片一级片免费看久久久久| 欧美激情国产日韩精品一区| 成人影院久久| 久久毛片免费看一区二区三区| 大码成人一级视频| 国产大屁股一区二区在线视频| 99热国产这里只有精品6| 成人二区视频| 国产精品无大码| 99热全是精品| 日韩一本色道免费dvd| 亚洲欧美日韩另类电影网站 | 亚洲av男天堂| 国国产精品蜜臀av免费| 国产91av在线免费观看| 亚洲天堂av无毛| 免费看日本二区| 亚洲欧美日韩无卡精品| 韩国高清视频一区二区三区| 这个男人来自地球电影免费观看 | 99热全是精品| 亚洲av国产av综合av卡| 免费黄色在线免费观看| 午夜日本视频在线| 少妇熟女欧美另类| freevideosex欧美| 少妇 在线观看| 亚洲激情五月婷婷啪啪| 狂野欧美白嫩少妇大欣赏| 22中文网久久字幕| 人妻少妇偷人精品九色| 人妻夜夜爽99麻豆av| 久久久色成人| 国产精品一区二区性色av| 国产淫片久久久久久久久| 婷婷色麻豆天堂久久| 一级av片app| 日本wwww免费看| 97在线人人人人妻| 久久99热这里只有精品18| 亚洲精品一区蜜桃| 色婷婷av一区二区三区视频| 精品亚洲乱码少妇综合久久| 美女国产视频在线观看| 国产大屁股一区二区在线视频| 最近最新中文字幕免费大全7| 免费黄频网站在线观看国产| 一本—道久久a久久精品蜜桃钙片| 又爽又黄a免费视频| 亚洲av.av天堂| 少妇精品久久久久久久| 亚州av有码| 男女无遮挡免费网站观看| 亚洲欧洲日产国产| 少妇的逼水好多| 成人漫画全彩无遮挡| 99国产精品免费福利视频| 最近中文字幕高清免费大全6| 久久久久国产网址| 毛片一级片免费看久久久久| 成人亚洲欧美一区二区av| 婷婷色综合www|