• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    《個人信息保護法》中的算法解釋權:兼顧公私場景的區(qū)分規(guī)范策略*

    2022-02-05 02:01:30林洹民
    法治研究 2022年5期

    林洹民

    2021 年11 月1 日生效的《個人信息保護法》(下文簡稱《個保法》)第24 條第3 款規(guī)定,通過自動化決策方式作出對個人權益有重大影響的決定,個人有權要求個人信息處理者予以說明,并有權拒絕個人信息處理者僅通過自動化決策的方式作出決定。該款正式規(guī)定個人的算法解釋權,對打破“算法黑箱”實現算法透明具有明顯的積極意義。但是,《個保法》規(guī)定的算法解釋權的構成要件與法律后果都較為模糊,可能會引發(fā)法律適用的障礙。例如,在構成要件層面,算法解釋權是否限于決定“僅”由自動決策算法做出的情形,是否只要存在人工干預即不能請求解釋算法?在法律后果層面,個人得請求解釋的是具體的算法決定,還是一般性的運作邏輯?為了細化《個保法》的相關規(guī)則,也為了搭建更為全面的算法治理框架,2021 年12 月31 日國家網信辦發(fā)布《互聯網信息服務算法推薦管理規(guī)定》(下文簡稱《算法推薦管理規(guī)定》),該規(guī)定已于2022 年3 月1 日正式生效?!端惴ㄍ扑]管理規(guī)定》圍繞算法解釋權作出規(guī)定,但在制定過程中爭議較大,且最終版本相對于征求意見稿有較大幅度的修改。無論是《個保法》相關規(guī)范的模糊性還是《算法推薦管理規(guī)定》具體規(guī)則的反復修改,均表明算法解釋權規(guī)范設計的復雜性。法律一旦生效,即面臨執(zhí)行的問題。隨著《個保法》與《算法推薦管理規(guī)定》的陸續(xù)生效,如何“落地”算法解釋權,必將成為互聯網執(zhí)法的一大難點。有鑒于此,本文欲結合《個保法》與《算法推薦管理規(guī)定》的相關規(guī)范,圍繞算法解釋權的構成要件和法律后果展開分析,著重討論算法解釋權在公私場景中不同的意義與構造,希冀為算法解釋權的適用提供充分的理論依據和具體的操作指引。

    一、算法解釋權的構成要件

    《個保法》第24 條第3 款規(guī)定,通過自動化決策方式作出對個人權益有重大影響的決定,個人有權要求個人信息處理者予以說明,并有權拒絕個人信息處理者僅通過自動化決策的方式作出決定。據此,算法解釋權的適用前提是:(1)決定通過自動化決策方式作出;(2)對個人權益有重大影響。

    (一)決定通過自動化決策方式作出

    根據《個保法》第73 條第2 項,自動化決策,是指通過計算機程序自動分析、評估個人的行為習慣、興趣愛好或者經濟、健康、信用狀況等,并進行決策的活動。自動化決策方式即為處理個人信息并做出決策的算法。問題在于,是否決策必須僅通過算法做出,個人才能行使算法解釋權。換言之,是否只要存在人工干預即不得請求解釋算法?

    歐盟《通用數據保護條例》(GDPR,下文簡稱《歐盟條例》)第22 條第1 款明確要求決策必須“僅”由算法做出。與之不同,我國只是要求決定通過自動決策方式作出,并未要求不存在人工干預?!稓W盟條例》在生效之后,圍繞第22 條的適用范圍產生過激烈的討論。如果整個決策流程當中的決定完全由算法做出,那么當然適用第22 條;如果人工干涉發(fā)生在所有流程當中,那么原則上不適用第22 條。但是如果既有人工干涉也有算法決策,有時難以判斷決定是否僅由算法做出。一般認為,輔助型算法并非自動決策算法。輔助型算法大致包括決策支持型算法、分組型算法與總結型算法(decision-support, triaging, and summarization algorithm)。①Reuben Binns and Michael Veale, Is that your final decision? Multi-stage profiling, selective effects, and Article 22 of the GDPR, International Data Privacy Law, 2021, Vol. 00, No. 0, p.3.對于決策支持型算法而言,算法僅僅提供支持作用,看似還是由人作出決策的。但是,個人可能完全依賴算法的建議決策。德國學者因此指出,雖然存在人為干預,但若僅是例行公事式的檢驗,算法決定構成決策的“實質性基礎”,此時該類算法就屬于“自動決策算法”。②Simitis/Hornung/Spiecker, Datenschutzrecht, Nomos Verlag, 1. Aufl., Baden-Baden 2019, S. 714.對于分組類型而言,雖然也有人工參與,但算法可能已經事先地影響決策的選擇。例如算法可能將申請者分為A 和B 兩個群組,每個群組雖然都由人最終決定結果,但群組A 只能得到H1 和H2 兩種結果,群組B 則只能得到H3 和H4。此時我們不由地要問:這種程度的人工干預是否足以排斥算法解釋權,此時自動決策算法難道沒有實質上影響決策嗎?對于總結型算法而言,算法可能根據眾多個人的評價做出評價。例如Ebay、Uber 或淘寶、滴滴根據用戶的反饋為店鋪或司機打分,不同等級對應不同的商業(yè)機會。此時,決策是否完全由算法做出?《歐盟條例》第22 條之所以強調決定必須僅由算法作出,源于歐洲人對自動化的不安。③Margot E Kaminski, Binary Governance: Lessons from the GDPR’s Approach to Algorithmic Accountability, 92 Southern California Law Review 1529 (2019).德國聯邦憲法法院于1983 年提出個人信息自決權的重要理由之一就在于,在自動化信息處理的時代,不存在不重要的個人信息。④BVerfGE 65, 1 (43).歐盟格外警惕自動化決策,因此強調對自動化算法的規(guī)制。但若以此強調決策必須僅由算法做出,法律才應當規(guī)制,則有些過猶不及的。只要決策實質受到自動決策算法影響,均應有規(guī)范的必要。

    更為重要的是,如果我們強調算法解釋權的適用前提是決策“僅”由算法做出,那么行政決策算法就不會被納入自動化算法規(guī)則的射程范圍。以行政處罰裁量輔助系統為例,該系統根據執(zhí)法人員勾選或者輸入的案情要素提供裁量建議,最終的裁量由執(zhí)法人員結合個案情形作出。目前已投入使用的行政處罰裁量輔助系統,包括南京的“環(huán)保行政處罰自由裁量輔助決策系統”、甘肅的“環(huán)境行政處罰裁量輔助決策系統”、北京的“睿法官”智能研判系統、上海的“206”刑事案件智能輔助辦案系統、湖北的“智能量刑輔助系統”等等。此類算法僅僅提供輔助性建議,最終的決定仍然由人作出,但是卻對行政行為產生重要影響。鑒于我國尚不存在專門針對全自動行政行為的法律規(guī)范,《個保法》規(guī)則查漏補缺,彌補法律制度闕如的不足。借助《個保法》中的算法條款,能夠有效地拘束行政機關借助算法的行政行為。

    承上,《個保法》第24 條第3 款規(guī)定的算法解釋權的適用對象,并非限于決定僅由自動決策算法做出的情況。即便存在人工干預,只要算法對決策產生實質性影響,即應當屬于算法解釋權的適用對象。

    (二)對個人權益有重大影響

    1.重大影響并不限于對個人不利的決定。有利或者不利,是主觀性極強的概念。如果將適用范圍限于對個人的不利影響,個人需要證明決定對其利益構成侵害,這不一定能夠順利實現。歐盟在制定《個人數據保護指令》當中,曾試圖將適用條件限定為不利的法律影響或類似的不利影響。⑤Commission of the European Communities, Amended proposal for a Council Directive on the protection of individuals with regard to the processing of personal data and on the free movement of such data (15 October 1992, COM(92) 422 final - SYN 287), p. 26.但后來考慮到可能增加個人的負擔,因此并未做限制。第29 條工作組在其指導意見中指出,重大影響可以是積極的,也可以是消極的。⑥Article 29 Working Party, Guidelines on Automated individ ual decision-making and Profiling for the purposes of Regulation 2016/679, 17/EN WP 251 rev. 01, as last revised and adopted on 6 February, 2018.

    2.重大影響并不存在明確的判斷標準。重大影響這一標準具備一定的模糊性。立法者有意識地采納模糊性的表達,以交由監(jiān)管機關和司法機關判斷何為“重大影響”。但一般認為,合同締結或終止應屬于該款指涉的不利狀態(tài)。個體如果因為自動決策算法而未能締結合同,應認定屬于遭受了重大影響。⑦BeckOK DatenschutzR/ DS-GVO Art. 22 Rn. 39.此外,當繼續(xù)性合同內容因自動決策算法的結果而被要求終止時,數據主體也可以行使算法結果拒絕權。⑧Simitis/Hornung/Spiecker, a.a.O. S.716.再者,算法結果雖不影響當事人的法律狀態(tài),但事實上影響了當事人合同目的實現,此時個體仍然有獲得法律保護的可能。例如,個人如果只能按照不利的條款才能締結合同,也應被認定法律狀態(tài)遭受不利影響。⑨Mendoza/Bygrave, The Right Not to Be Subject to Automated Decisions Based on Profiling, University of Oslo Faculty of Law Research Paper No. 2017-20, p. 12.具體而言,個人雖然與企業(yè)確立了合同關系,但卻不能如同他人一樣享受靈活的支付選擇——個人被要求必須提前付款,不能享受貨到付款待遇,亦或者個人不得使用信用卡支付等等。⑩BeckOK DatenschutzR/v. Lewinski BDSG § 6 a Rn. 40.

    二、算法解釋權的效力之爭

    《個保法》第24 條第3 款規(guī)定,“個人有權要求個人信息處理者予以說明”。但說明或解釋一詞有高度模糊性,英國信息委員會辦公室就指出,解釋包括六種情況:理性解釋、責任解釋、數據解釋、公平解釋、安全與執(zhí)行解釋和影響力解釋。?Information Commissioner's Office & The Alan Turing Institute, Explaining decisions made with Artificial Intelligence/Part 1 The basics of explaining AI/What goes into an explanation?, available from, accessed 8 Jan 2022.在《個保法》通過之前,我國學者主要圍繞算法解釋權是事后的、對具體決定的解釋,還是事前的、一般性的解釋展開了豐富的討論。

    支持事后的、對具體決定的算法解釋權的學者認為:鑒于合同法、侵權法和消費者保護法等都沒法充分救濟當事人,法律應當賦予個人事后的算法解釋權;當自動化決策算法的具體決定對相對人有法律上或者經濟上的顯著影響時,相對人有權向算法使用人提出異議,要求提供對具體決策的解釋。?參見張凌寒:《商業(yè)自動化決策的算法解釋權研究》,載《法律科學(西北政法大學學報)》2018 年第3 期;張恩典:《大數據時代的算法解釋權:背景、邏輯與構造》,載《法學論壇》2019 年第4 期。支持說受到牛津大學網絡研究中心研究助理古德曼和倫敦帝國學院數學系講師弗萊斯曼觀點的影響。二人通過分析《歐盟條例》相關規(guī)范指出,《歐盟條例》已經明確規(guī)定了個人的算法解釋權:鑒于《歐盟條例》第13 條和第14 條要求使用數據畫像技術的數據控制者提供數據主體和算法邏輯有關的有意義的信息,數據主體實質上享有自動決策算法解釋請求權。?Bryce Goodman, Seth Flaxman, European Union regulations on algorithmic decision-making and a ‘‘right to explanation’’, in 2016 ICML Workshop on Human Interpretability in Machine Learning, New York, NY: ArXiv e-prints.古德曼和弗萊斯曼認為《歐盟條例》規(guī)定了個人對算法決策的事后的、針對具體決定的解釋請求權。國外也有一些學者同樣持此觀點。?See Francesca Rossi, Artificial Intelligence: Potential Benefits and Ethical Considerations, (European Parliament: Policy Department C: Citizens’ Rights and Constitutional Affairs 2016), Briefing PE 571, p.380.

    反對說認為,立法不應創(chuàng)設事后的、針對具體決定的算法解釋權,而僅應規(guī)定事前的、針對算法基本情況的解釋請求權。?參見沈偉偉:《算法透明原則的迷思——算法規(guī)制理論的批判》,載《環(huán)球法律評論》2019 年第6 期;林洹民:《個人對抗商業(yè)自動決策算法的私權設計》,載《清華法學》2020 年第4 期。核心理由在于:(1)事后的、具體的算法解釋權擾亂商業(yè)模式。企業(yè)出于節(jié)省成本、降低技術難度等考慮傾向于將業(yè)務外包,借助外部數據公司的輔助,在控制風險的同時實現收益的最大化。以金融公司為例,銀行從外部數據公司獲知評分結果,進而作出授信決定;信用卡公司甚至完全依賴外部評分機制(externes Scoring)決定信用卡的發(fā)放與否。?在大數據時代,金融機構往往求助于專門的數據分析公司,借助這些公司的數據分析技術風險評估。例如,德國Kreditech 貸款評分公司、美國Movenbank 移動銀行、中國香港Lenddo 網絡貸款公司以及TrustCloud 、Connect.Me、Briiefly、Reputate 等新型中介機構,試圖設計大數據金融的信用平臺,打造能反映 LinkedIn、Facebook 或其他社交網絡的開放平臺,整合用戶活動記錄,進而通過算法實時地將社交網絡產生的種種資料直接轉化成個人的互聯網信用。金融機構因無法查看外部數據公司的算法和使用的數據,因此沒有機會解釋算法。在以外部信用評分為代表的外包模式下,算法解釋缺乏實質意義。信用卡公司員工最多只能根據申請人提交的資料重新作出決策,若結果與基于算法做出的結果一致,員工也只能解釋自己的判斷依據。?Simitis/Hornung/Spiecker, a.a.O. S. 714.(2)深度學習算法決策結果的不可解釋性。深度學習算法自我分析數據,自我遴選標準,自我評估結果,根本不存在“每種指標的功能權重,機器定義的特定案例決策規(guī)則和起參考輔助作用的信息”的解釋可能。深度學習算法的特征設定不再必要,機器將在深度學習算法的指引下自行選定特征,設計評估和決策算法。深度學習算法依賴于大量的數據和強大硬件的支撐,但設計者也沒法解釋決策產生的依據。算法設計者并沒有設計考慮因素、權重等,而是任由數據畫像技術自行發(fā)現影響因素及權重,算法設計者自身也不清楚被算法考慮的因素及其權重。反對說也否定《歐盟條例》第22 條規(guī)定了事前的、針對具體決定的算法解釋權。他們指出,《條例》序言第71 條明確提到了算法決定解釋權,但《歐盟條例》前言不能創(chuàng)設新的權利;第13-15 條僅要求提供事前的、一般性的說明,并非事后的、具體的算法解釋權。?Sandra Wachter, Brent Mittelstadt, Luciano Floridi, Why a right to explanation of automated decision-making does not exist in the General Data Protection Regulation, International Data Privacy Law, 2017, Vol. 7, No.2.但也需注意,第29 條工作小組起初認為《歐盟條例》第13 條至第15 條要求告知“和邏輯相關的有意義的信息”僅提供一個一般性的洞察,而非針對具體決定的解釋請求權,?Article 29 Working Party, Guidelines on Automated individ ual decision-making and Profiling for the purposes of Regulation 2016/679, 17/EN WP 251, adopted on 3 October 2017, 24.后來卻改弦更張,認為提供的信息應當足夠個人理解具體的決定。?Article 29 Working Party, Guidelines on Automated individ ual decision-making and Profiling for the purposes of Regulation 2016/679, 17/EN WP 251 rev. 01, as last revised and adopted on 6 February, 2018, 27 (A29WP Guidelines)第29 條工作小組的觀點也展示了該問題的復雜性。

    鑒于我國學者對該問題遠未達成共識,我國立法者設計了相對模糊的法律規(guī)范。較為籠統的規(guī)則設計雖然在操作層面不夠清晰,但卻為不同場景中不同的算法解釋權提供棲身之地。《個保法》屬于領域法,既含有私法色彩,也具有公法屬性。21參見周漢華:《論互聯網法》,載《中國法學》2015年第3期;張新寶:《互聯網生態(tài)“守門人”個人信息保護特別義務設置研究》,載《比較法研究》2021 年第3 期;龍衛(wèi)球:《〈個人信息保護法〉的基本法定位與保護功能——基于新法體系形成及其展開的分析》,載《現代法學》2021 年第5 期?!秱€保法》第24 條既規(guī)范公權力機關的算法應用,也規(guī)范企業(yè)與個人之間的算法決策。但公私法的理念并不相同,前者強調依法行政原則、正當程序、尊重與保障人權等原則,后者則更加關注誠實信用、意思自治與合同正義。規(guī)范對象與規(guī)范理念的不同,導致不存在統一適用于公私法場景的算法解釋權。

    三、公法上的事后的解釋權

    (一)行政管理智能化與公民知情權保護

    國務院于2017 年印發(fā)的《新一代人工智能發(fā)展規(guī)劃》強調,應促進人工智能技術在行政管理領域的運用。人工智能的本質即是算法、數據和算力的系統結合。目前自動決策算法已經開始在行政管理領域推廣使用。“秒批”為全自動行政的典型代表。所謂的“秒批”,是指行政主體事先根據審批的條件和流程設定自動化程序,申請人提交申請信息后,系統將通過自有的和共享的數據庫自動比對以及核驗材料,無人工干預地瞬時完成自動審批并將結果反饋給申請人,完成審批流程。22參見查云飛:《行政裁量自動化的學理基礎與功能定位》,載《行政法學研究》2021 年第3 期。但需注意,行政機關使用自動決策算法作出的決策可能存在錯誤,國外的算法行政實踐已經暴露出了種種瑕疵。例如,密歇根融合數據自動化系統存在著93%的出錯率,40000 人可能受害;澳大利亞社會保障部的智能催債系統發(fā)生了幾乎類似的算法裁決錯誤,成千上萬的福利申請者收到了系統的郵件,要求他們證明未冒用資格獲得社會福利。23參見汪慶華:《算法透明的多重維度和算法問責》,載《比較法研究》2020 年第6 期。即便算法僅為輔助手段,行政機關也可能“惰于思考”,借助自算法轉嫁決策風險,逃避問責。

    自動決策算法在行政管理領域的應用雖然有利于提高工作效率,但可能侵犯公民的知情權、申訴權,甚至發(fā)生錯誤處罰等直接侵犯公民人身自由和財產安全的情況。知情權是確保規(guī)范性期望不被動搖的關鍵。如果人們不了解行政決定的原因,不理解自身為什么會敗訴,公權力行為的正當性和合法性將會遭受質疑。24茲舉一例,如果新書發(fā)布會前四排不允許自由落座,人們可能會對此表示不滿。但如果主辦方說明前幾排是留給殘障人士的,人們不僅不會不滿,反而會贊賞主辦方的細心與熱心。我國《行政許可法》第38 條第3 款規(guī)定,行政機關依法作出不予行政許可的書面決定的,應當說明理由,并告知申請人享有依法申請行政復議或者提起行政訴訟的權利?!缎姓幜P法》第44 條規(guī)定,行政機關在作出行政處罰決定之前,應當告知當事人擬作出的行政處罰內容及事實、理由、依據,并告知當事人依法享有的陳述、申辯、要求聽證等權利。為了防止行政機關借助算法侵犯公民的基本權利,公民應有權請求解釋行政自動決策算法的具體決定。下文以健康碼為例詳述之。

    (二)健康碼的法律性質與弊端

    健康碼是算法處理個人信息之后的電子健康憑證。我國利用自動化算法分析健康數據、地理位置數據、社交數據等個人數據,判斷個人是否有可能已經感染新冠病毒。根據算法處理結果,人們將會獲得紅黃綠三種顏色之一的健康碼。紅碼和黃碼持有者得分別實施14 天和7 天的集中或居家隔離,只有綠碼持有者才免于隔離,享有通行自由。

    健康碼僅僅展示感染新冠肺炎的可能性,紅碼者并非當然感染新冠肺炎。但源于政府依據健康碼限制公民行為自由,健康碼成為某種行政行為。生成健康碼,在行政法上的行為類型屬于行政評級。25參見查云飛:《健康碼:個人疫情風險的自動化評級與利用》,載《浙江學刊》2020 年第3 期。行政評級是指行政機關設定一些簡明的評價標準,結合相對人的相關信息或者過往的行為予以定性評價,在此基礎上可進行相應分類監(jiān)管。26參見王瑞雪:《論行政評級及其法律控制》,載《法商研究》2018 年第3 期。生成健康碼并非行政確認,在性質上與酒駕檢測和車輛年檢接近,應當屬于“行政評級”。行政評級已被廣泛運用于各個領域,例如餐飲業(yè)的衛(wèi)生等級評定、納稅人的納稅信譽等級評定、行政審批中介機構等級評定以及備受爭議的社會信用評價等。27參見吳元元:《信息基礎、聲譽機制與執(zhí)法優(yōu)化——食品安全治理的新視野》,載《中國社會科學》2012 年第6 期。

    當健康碼成為一種可以限制出行自由的行政行為時,法秩序應當給于公民一定的保障。即便公民經過核酸檢測后并認定未感染新冠肺炎,也會因為健康碼是黃碼或紅碼而被限制出行自由。然而,技術后臺基于哪些數據比對分析,對各類數據如何賦值,在數據沖突時如何處理,風險等級的評定標準具體如何以及動態(tài)調整有哪些依據,這些由行政機關設定的標準卻并未公開。人民缺乏對政府部門使用健康碼的法定知情權。盡管《行政處罰法》《行政強制法》《行政許可法》等法律已經規(guī)定知情權,但是健康碼的性質為行政評級,并非行政處罰、行政強制或行政許可。當然,也可以借助正當程序保護公民的知情權。但正當程序這一標準頗具模糊性,這使得行政機關使用算法的行為缺乏直接的法律拘束。

    (三)破題之策:事后的、針對具體決定的算法解釋權

    《個保法》第24 條第3 款前半句規(guī)定,通過自動化決策方式作出對個人權益有重大影響的決定,個人有權要求個人信息處理者予以說明。健康碼是計算機程序處理個人信息的結果,屬于通過自動化決策方式做出的決定;健康碼顏色直接影響出行自由,應屬于“對個人權益有重大影響的決定”。因此,在《個保法》生效之后,個人得據此請求公權力機關解釋健康碼。疑問在于,個人得請求解釋具體的健康碼決定,還是健康碼的運行邏輯?

    我國行政法要求行政主體在作出行政決定時,特別是做出對當事人不利的決定時,負有說明理由的義務,包括說明作出行政決定的法律原因和事實原因,并指出此為程序公證的必然要求。28參見應松年主編:《行政法與行政訴訟法學》,高等教育出版社2017 年版,第44 頁。理由說明義務受到德國與美國學說的影響?!兜聡痉ā返? 條第1 款雖然沒有直接規(guī)定知情權,但被認為已蘊含了“知情權”的因素;美國的知情權也對我國行政法產生深遠影響。29參見章劍生:《現代行政法基本理論》(下卷),法律出版社2014 年版,第640 頁。要求行政機關具體說明決策理由,有助于防止行政裁量權濫用、減少人民的對抗,并且能夠構成司法審查的基礎。30同上注,第643-646 頁。借助算法的行政行為也應滿足告知義務。尤其值得注意的是,法國行政法雖然不存在普適的行政告知義務,但2017 年修改的《法國行政法典》規(guī)定每個獨立的個體可以從行政機關獲得下列信息:算法模型對決策的貢獻程度和貢獻方式;算法模型所依賴的數據及其來源;對參數的處理方式以及對各項指標的加權幅度;算法模型導致的結果。31Edwards L & Veale M, Enslaving the Algorithm: From a “Right to an Explanation” to a “Right to Better Decisions”, 16(3) IEEE Security & Privacy 46 (2018).

    就健康碼這一行政行為而言,行政機關應當說明健康碼的法律依據和事實依據。法律依據是指,行政機關為什么可以未經個人的同意處理個人信息。《民法典》第1036 條將“維護公共利益”作為處理個人信息不予承擔民事責任的事由之一;《個保法》第13 條第1 款第4 項也進一步明確為應對突發(fā)公共衛(wèi)生事件構成個人信息處理的合法性依據。兩部法律為行政機關使用算法處理個人信息提供法律依據。事實依據則在于,健康碼處理哪些個人數據,又依據何種邏輯作出判斷。結合《個保法》第35 條前半句和第17 條,國家機關為履行法定職責處理個人信息的,也應當告知個人信息的處理目的、處理方式,處理的個人信息種類、保存期限等信息。

    在個人與公權力場景,公權力不得以商業(yè)秘密為由拒絕解釋具體的決定。欲解釋具體的算法決定,難免要深入到“黑箱”內部,說明算法的邏輯、運行原理。在個人與公權力關系當中,基本權利保護居于優(yōu)位。如果解釋具體決定為侵犯商業(yè)秘密,公權力機關即不應使用算法為行政行為。公權力機關負有解釋算法決定的義務,如果擔心算法解釋影響第三方的商業(yè)秘密,即不應使用該算法作出決定。此外,公權力也不得以解釋不能拒絕解釋具體的決定。一些復雜的算法難以解釋,深度學習算法的決定也尚不具備解釋可能性。如果公權力不能解釋算法,即不得運用算法。無論如何,公民的知情權都應居于優(yōu)位。

    需注意,并非在社會治理的所有領域均不得使用不具備解釋可行性的自動決策算法。在一些領域當中,算法的不透明性不但無害,反而有利:一旦算法公開,算法相對人可能有針對性地與算法對抗。例如,當美國聯邦高速公路管理局拒絕披露對運營商安全等級評級的算法時,聯邦法院只是要求政府部門公布影響算法結果的各因素的權重,而并未要求政府完整地公布算法設計,原因即在于算法透明可能帶來的執(zhí)法規(guī)避風險。32Don Ray Drive-A-Way Co. v. Skinner, 785 F. Supp. 198 (D.D.C. 1992).再者,如果算法運用合理,不透明的算法可以彌補社會裂痕,維持社會共識。在我國社會的實踐中,已經有不少案例充分發(fā)揮了不透明的算法的正面功能。例如,有的大學采取了以學生在食堂的消費情況為評定依據的算法發(fā)放助學金,這種算法既相對有效地確定了貧困學生的群體,又避免了貧困學生公開“比窮”、傷害貧困家庭孩子自尊心等問題。33參見丁曉東:《算法與歧視 從美國教育平權案看算法倫理與法律解釋》,載《中外法學》2017 年第6 期。只是在何種情境之下可以不解釋算法決定,應由法律明確規(guī)定。行政機關有依法行政的義務,目前僅有《個保法》第35 條后半句允許公權力機關在特定情況不履行告知義務。除此之外,公權力機關應負有解釋算法決定的義務。

    四、私領域中事前的解釋權

    (一)智能經濟與消費者權益保護

    在個人與企業(yè)場景當中,算法不透明已然引發(fā)諸多糾紛。在“全國首例消費者因檢索服務狀告電商平臺違約案”當中,原告以“我搜索的是國美冰箱,為什么出來的不全是國美牌冰箱?”為由起訴被告淘寶公司,認為淘寶公司的行為“辜負”了消費者的信賴,構成違約。在該案庭審當中,原告要求被告解釋算法,但被告以商業(yè)秘密為由拒絕。34《為啥搜出來的不全是國美牌冰箱?女研究生告電商平臺,全國首例“搜索服務”違約案判了》,載網易新聞,https://3g.163.com/dy/article/G2D205CM0512GTK3.html,2021 年5 月25 日訪問。該案中的原告不相信不透明的算法,認為自己遭受不公平的待遇。在我國確實出現過借助算法歧視和大數據殺熟的案例。例如某公司在運用算法篩選簡歷時,因閆某某為“河南人”而拒絕其應聘。35《女孩因“河南人”應聘被拒案開庭 浙江喜來登被判道歉賠償1 萬元》,https://www.thepaper.cn/newsDetail_forward_5064609, 2021 年5 月31 日訪問。歧視是一個雜糅了文化、社會和道德觀念、歷史和時間的因素,對于何種行為構成歧視并不存在統一的標準。但如果算法僅僅根據地域拒絕應聘者,那么便構成歧視。再比如,消費者在某應用程序預訂賓館,使用不同的手機搜索同一酒店、同一日期、同一房型價格在169 元到217 元之間波動。36《大數據殺熟,為什么越來越肆無忌憚?》,https://m.21jingji.com/article/20201221/herald/c49f8dc4b126badd76b8c400b478e5c5_zaker.html,2021 年5 月31 日訪問。大數據殺熟已然引起人們的不滿。如果個人有權請求解釋算法的具體決定,有助于打破算法黑箱,實現算法正義。

    但也需注意,在個人與企業(yè)關系當中,并不存在優(yōu)位價值。與公民知情權保護不同,消費者保護與企業(yè)發(fā)展同為法律所欲促成的目標。歐盟部長委員會早在2010 年就指出,自動決策算法有利于更好地細分市場和提供更好的服務,能夠實現消費者和企業(yè)的雙贏,可為用戶、經濟體和整個社會帶來益處。自動決策算法能夠降低商業(yè)風險和消費者負擔。37Recommendation CM/Rec (2010) 13 of the Committee of Ministers to member states on the protection of individuals with regard to automatic processing of personal data in the context of profiling.例如金融機構借助自動決策算法分析海量替代數據,不但在控制風險的同時極大地降低了運營成本,而且也使得沒有存款記錄、借貸歷史的人能夠獲得貸款,推動“普惠金融”的實現;信用卡公司采用自動決策算法審核信用卡申請,極大地降低信用卡公司的管理成本,“免年費”成為可能;保險行業(yè)早于17 世紀就已經使用算法控制風險——保險本就是由精算科學發(fā)展而來的,保險使得人們可以拿所在群體的集體風險為賭注,換取不幸發(fā)生時的自我保護——保險行業(yè)目前可以借助算法和大數據將人們分為更小的群體,提供更合適的產品和服務。因此,法律對商業(yè)自動決策算法的規(guī)范,應當致力于實現個人利益和商業(yè)利益之間的平衡,既鼓勵商業(yè)自動決策算法發(fā)揮積極作用,同時又避免算法侵犯私權,造成實質不公。

    (二)企業(yè)原則上不負有解釋算法具體決定的義務

    商業(yè)自動決策算法降低了商業(yè)風險和消費者負擔,但也使得用戶有淪為信用評分算法客體的危險。為了防止算法歧視和大數據殺熟,應當確保算法一定程度上的透明性。但算法透明并不意味著事后的、具體的算法決定解釋權。

    如果我們要求算法使用人事后解釋算法的具體決定,可能會嚴重侵犯企業(yè)的知識產權。要解釋算法決定,難免要深入設計層面。如果要求企業(yè)解釋算法的設計,將使得企業(yè)的智慧成果暴露在競爭對手的視線當中。通過保守算法的秘密,企業(yè)得以維持自身的競爭優(yōu)勢和商業(yè)秘密,進而在激烈的市場競爭當中占據優(yōu)勢地位。38Bernardo Huberman, Sociology of Science: Big Data Deserve a Bigger Audience, 482 Nature 308, 2012.無論如何強調算法監(jiān)管,不扼殺行業(yè)的創(chuàng)新力和競爭力應是管理的底線?!稓W盟條例》序言第63 條明確強調,知情權不能損害企業(yè)的商業(yè)秘密、其他知識產權,特別是軟件的著作權。即使在格外強調人權保障的德國,數據主體要求企業(yè)解釋算法邏輯的主張也沒有得到認可。德國2009 年版《聯邦數據保護法》第34 條第4 款第4 項曾規(guī)定,信用評分機構必須應數據主體的要求以容易理解的方式解釋每一個個案概率值的產生和意義;該條第2 款規(guī)定,信用評分機構必須以完全能夠理解的方式告知概率值的產生和意義。從文義上看,數據主體似乎有權請求告知算法的邏輯。然而,德國聯邦最高法院2014 年在對上述法條的解釋中明確指出,數據主體不得請求披露權重、評分公式、統計值和參考組的信息等信息,因為這觸犯了企業(yè)的商業(yè)秘密;披露企業(yè)的商業(yè)秘密也明顯不符合立法目的。39BGH, Urteil vom 28.01.2014 - VI ZR 156/13, BGHZ 200, 38 Rn. 24ff.為了增加法的清晰性和確定性,德國2017 年新《聯邦數據保護條例》(BDSG)直接廢除了原第34 條。我國司法實踐也采納保護知識產權的立場。在廈門某脈技術有限公司與廈門市某睿信息科技有限公司的糾紛中,某脈公司主張算法的核心參數特征(Gabor 參數)是其技術秘密,該主張得到法院的支持;40參見福建省高級人民法院(2019)閩民終19 號民事裁定書。在凌某某訴北京某播視界科技有限公司隱私權、個人信息權益網絡侵權責任糾紛案當中,北京互聯網法院認為,算法確實會涉及被告的商業(yè)秘密,告知和公開算法不屬于對原告的個人信息進行保護的必要措施。41參見北京互聯網法院(2019)京0491 民初6694 號民事判決書。2020 年8 月《最高人民法院關于審理侵犯商業(yè)秘密民事案件適用法律若干問題的規(guī)定》也將算法列入了技術信息范疇,使其正式成為我國知識產權法保護的對象。

    再者,企業(yè)對復雜算法尤其是深度學習算法可能會出現解釋不能的情況——企業(yè)沒法解釋具體的決定是怎么做出的。目前國際正在研究算法的可解釋性問題,但尚未在技術上有根本性的突破。規(guī)范上的期望,倘若沒有附帶注意到可執(zhí)行性問題,那么就無法獲得實行。如果我們執(zhí)意要求企業(yè)解釋他們本就無法解釋的算法決定,那么等同于限制復雜算法應用的推廣。

    值得注意的是,《算法推薦管理規(guī)定》(征求意見稿)第12 條要求算法推薦服務提供者“應當”優(yōu)化檢索、排序、選擇、推送、展示等規(guī)則的透明度和可解釋性。正式通過的《算法推薦管理規(guī)定》并未規(guī)定算法推薦服務提供者的解釋算法決定的義務,而是“鼓勵”算法推薦服務提供者實現算法透明和可解釋性。征求意見稿第17 條第3 款規(guī)定,用戶認為算法推薦服務提供者應用算法對其權益造成重大影響的,有權要求算法推薦服務提供者予以說明并采取相應改進或者補救措施?!端惴ㄍ扑]管理規(guī)定》第17 條第3 款放棄權利式設計,而是規(guī)定算法推薦服務提供者“應當依法予以說明并承擔相應責任”。42《算法推薦管理規(guī)定》第17 條第3 款:算法推薦服務提供者應用算法對用戶權益造成重大影響的,應當依法予以說明并承擔相應責任。算法推薦服務提供者說明算法決定的,應當“依法”進行,這也表明算法使用人并不負有全方位的算法解釋義務。鑒于《算法推薦管理規(guī)定》主要規(guī)范商業(yè)算法,該規(guī)定試圖柔化商業(yè)算法相對人的權利和算法使用人的義務。

    最后,算法使用人應告知的是算法處理的個人信息,而非解釋具體的算法決定?!秱€保法》第44 條規(guī)定個人信息主體的知情權,第46 條規(guī)定個人請求更正、補充個人信息的權利。數據的不完整、不準確將影響算法的最終決定。借助知情權,個人能夠請求告知算法決定所依據的個人數據,從而借助更正權和補充權防止個人遭受算法錯誤決定的不利影響。

    (三)個人對商業(yè)自動決策算法事前的、一般性的解釋請求權

    根據《個保法》第17 條第1 款第2 項,個人信息處理者在處理個人信息前,應當以顯著方式、清晰易懂的語言真實、準確、完整地向個人告知個人信息的處理目的、處理方式,處理的個人信息種類、保存期限。算法本質上屬于處理個人信息的代碼,因此算法使用人有義務向算法相對人告知算法的基本情況。據此,個人有權向算法使用人請求說明算法的基本情況。值得關注的是,《算法推薦管理規(guī)定》第16 條規(guī)定,算法推薦服務提供者應當以顯著方式告知用戶其提供算法推薦服務的情況,并以適當方式公示算法推薦服務的基本原理、目的意圖和主要運行機制等。公示算法的基本原理、主要運行機制,可能會侵犯算法使用人的知識產權。監(jiān)管部門對算法的規(guī)范有過重的嫌疑。更何況,披露算法邏輯和運行原理可能會引發(fā)個人的博弈行為。例如,谷歌公開搜索排序算法后,很多網站就開始利用此類算法,在自己的網頁內嵌套符合該算法的具有隱藏內容的網頁,以此達到提高網站在谷歌搜索結果頁面排名靠前的目的。我國網絡“水軍”盛行,他們通過人工或機器的方式不正當地改變某些評分,以此影響消費者的消費行為。如果法律強行要求公開算法邏輯,“水軍”就可以更快地調整刷分策略,更精準地利用網站的算法漏洞。43參見丁曉東:《論算法的法律規(guī)制》,載《中國社會科學》2020 年第12 期。

    再者,算法解釋權的目標在于保障個人的知情權。但對于個人而言,真正想要了解的不是算法的構造、運行原理,而是對自己的可能的不利影響?!稓W盟條例》第13 條第2 款第f 項、第14 條第2 款第g 項和第15 條第1 款第h 項規(guī)定個人信息控制者應當告知個人信息主體算法的“相關邏輯的有意義信息,包括此類處理對于數據主體的重要意義和預期后果”,并未要求披露算法的基本原理和運作機制等核心信息。《歐盟條例》將告知重點明確為“對于數據主體的重要意義和預期后果”,因為算法規(guī)范的重點是確保算法相對人的知情權,使其在真正了解算法影響的基礎上做出選擇。算法使用人真正應當披露的是個性化推薦算法的使用目的、使用的數據類型和信息處理的可能后果以及預期影響等信息,而非算法邏輯和運行原理。

    最后,算法結果拒絕權也可以幫助化解算法解釋權之價值沖突困境。法律不要求解釋算法的具體決定,并非就等于放任算法霸權的威脅。算法的不利影響還可以被其他制度化解,我們不能過于倚重算法解釋權?!秱€保法》第24 條第3 款還規(guī)定了算法應用拒絕權:只要算法決策對個人產生重要影響,個人有權拒絕接受自動決策算法的決定,要求人工替代算法做出決定。即便個人不理解算法決定,也可以徑自拒絕接受算法決定,從而避免受到算法的不利影響。與《歐盟條例》相比,我國的算法應用拒絕權并無例外條款的限制。這使得中國的算法應用拒絕權相較于歐盟而言更為強大。

    綜上所述,個人對商業(yè)自動決策算法的解釋請求權原則上限于事前的、對算法基本情況的說明。算法解釋應著重說明對于算法相對人可能的不利影響,而非解釋算法的基本原理與運作模型,以免侵犯算法使用人的知識產權。

    五、總結與展望:區(qū)分不同應用場景的算法治理

    在大數據和人工智能時代,“算法+應用場景”這一模式正在快速席卷社會的各個領域。在這一結構當中,算法為賦能方式,應用場景為賦能領域,由此形成了一套“方式”與“領域”的疊加關系或結合關系。44參見龍衛(wèi)球:《人工智能立法規(guī)范對象與規(guī)范策略》,載《政法論叢》2020 年第3 期。算法本身僅是一項計算法程序,正是因為其與具體應用場景相結合,人們結合應用需求有針對性地開發(fā)算法產品,算法才表現出強大的賦能性,由此引發(fā)應用失范的現象。因此,當我們討論算法規(guī)范時,我們不能只談技術,而必須考慮到算法在不同應用場景中的不同影響。

    應用場景當中存在多元價值,疊加價值的存在使得設計統一的規(guī)則格外艱難。公共安全、個人權利、經濟效率等價值相互交疊,使得算法治理舉步維艱。算法解釋權的規(guī)則設計應能夠涵蓋不同應用場景中的多元價值沖突?!秱€保法》第24 條不要求決策“僅”由算法做出,也不明確規(guī)定算法解釋權的法律效力,就是為了滿足場景化治理的多樣需求,給不同場景不同的算法解釋權留出彈性空間。

    在個人與公權力關系當中,政府機關借助算法從事行政行為的,不能侵犯公民的知情權。個人有權請求政府機關解釋具體的算法決定。政府部門解釋算法決定的,應盡可能以通俗易懂的方式為之。因為個人沒有能力閱讀算法、分析算法,沒有算法使用人的幫助個人沒法理解算法決定。只有充分理解算法決定,個人才可能會接受算法決定。再者,當個人提起行政訴訟時,法院也只有在了解算法決定的理由的基礎上,才能判斷行政行為的合法性。45Filip Geburczyk, Automated administrative decision-making under the influence of the GDPR - Early reflections and upcoming challenges, Computer Law & Security Review 41 (2021) 105538, P.10.如果政府機關無法解釋具體的算法決定,那么就不應使用自動化算法。知識產權保護或解釋不能等事由,不能成為公權力機關不解釋算法決定的理由。只有充分保障個人對公權力的事后的、針對具體決定的算法解釋權,才能使得個人免受法律規(guī)則轉換為計算機語言時帶來的風險。46Danielle Keats Citron, Technological Due Process (2008), 85 Washington University Law Review 1249, 1261.最后,公權力機關僅有在法律明確規(guī)定“告知豁免”的情況下,才可以不解釋具體的決定理由。德國《行政程序法》第39 條第2 款就規(guī)定五種情況下可以不說理由。不說明理由的原因在于,雖然行政相對人獲得更充分的保護,但行政機會可能會喪失必需的效率。47同前注?,第652 頁。目前我國提供的告知豁免僅有《個保法》第35 條,我國應進一步完善豁免例外制度。在缺乏明確法律規(guī)定的情況下,政府不得拒絕解釋具體的算法決定的請求。

    在個人與企業(yè)關系當中,我們一方面要防止個人淪為算法的純粹客體,保障人的主體性,另一方面也要避免算法解釋權阻礙復雜算法的商業(yè)應用,扼殺技術進步與商業(yè)模式的創(chuàng)新。因此,個人原則上僅得請求解釋算法的基本情況,不得請求解釋具體的算法決定。《算法推薦管理規(guī)定》第16 條要求算法推薦服務提供者公示算法推薦服務的基本原理和主要運行機制,雖然體現出保護算法相對人的立法態(tài)度,但也有過度侵犯企業(yè)商業(yè)秘密的嫌疑。對于個人而言,最重要的信息是算法對自己可能的不利影響。算法使用人應有義務提供該信息,以使得個人對是否接受算法處理個人信息做出基本的判斷。更何況,《個保法》第24 條第3 款后半句賦予算法相對人算法結果拒絕權。即便個人不理解算法決定,也能夠直接拒絕接受算法決定,要求人工審核材料并做出判斷。對于消費者而言,“給一個說法”的目的也是表達對于算法決定的不滿。與其解釋算法,不如允許消費者直接拒絕算法決定,一勞永逸地擺脫算法的影響。因此,即便商業(yè)機構以保護知識產權為由拒絕解釋算法,也不會損害消費者的合法權益。

    另需注意,在金融、社交傳媒、超大型平臺管理等特殊的個人-企業(yè)領域,法秩序基于特殊的風險控制的需求,創(chuàng)設了特殊的算法備案制度。最后,分場景地調整算法解釋權的效力并不會影響算法透明目標的實現。算法透明作為一種信息監(jiān)管機制,是數字社會化和社會數字化趨勢下的必然選擇,它有助于打消

    個人對決策自主性喪失的憂慮。48參見汪慶華:《算法透明的多重維度和算法問責》,載《比較法研究》2020 年第6 期。算法解釋權僅為實現算法透明的一種手段,《個保法》還設計算法評估、算法應用拒絕權、個人信息保護負責人、平臺守門人規(guī)則等規(guī)則規(guī)范算法。因此,即便我們在一些場景當中調整算法解釋權的效力,也未必會嚴重影響個人的利益?!秱€保法》第24 條第3 款規(guī)定的算法解釋權應在不同場景、不同價值沖突當中尋找合理的平衡點,以此實現算法良治與算法效率的動態(tài)平衡。

    久久久欧美国产精品| 亚洲熟女精品中文字幕| 国产一区二区 视频在线| 亚洲欧美清纯卡通| 婷婷色av中文字幕| 欧美在线黄色| 亚洲欧美一区二区三区黑人| 各种免费的搞黄视频| xxxhd国产人妻xxx| 男人爽女人下面视频在线观看| 三上悠亚av全集在线观看| 国产精品久久久人人做人人爽| 男女之事视频高清在线观看| 最新在线观看一区二区三区| 欧美 亚洲 国产 日韩一| 不卡一级毛片| 高清视频免费观看一区二区| 亚洲一区二区三区欧美精品| 亚洲欧洲日产国产| 国产精品熟女久久久久浪| 97在线人人人人妻| 久久人妻熟女aⅴ| 少妇人妻久久综合中文| 人妻人人澡人人爽人人| 国产在线观看jvid| 纵有疾风起免费观看全集完整版| 两人在一起打扑克的视频| 99国产精品99久久久久| 日本五十路高清| 视频区欧美日本亚洲| 久久香蕉激情| 亚洲精品av麻豆狂野| 国产精品久久久久久精品古装| 91麻豆精品激情在线观看国产 | 亚洲专区国产一区二区| 国产精品国产av在线观看| 永久免费av网站大全| 少妇的丰满在线观看| 女人爽到高潮嗷嗷叫在线视频| 伊人久久大香线蕉亚洲五| 亚洲精品粉嫩美女一区| 老司机午夜十八禁免费视频| 老司机深夜福利视频在线观看 | 多毛熟女@视频| 不卡av一区二区三区| 一个人免费看片子| 大型av网站在线播放| 精品久久蜜臀av无| 曰老女人黄片| 亚洲精品一二三| 久久精品成人免费网站| 青春草亚洲视频在线观看| 国产精品免费视频内射| 深夜精品福利| 亚洲天堂av无毛| 精品一区二区三区av网在线观看 | 纯流量卡能插随身wifi吗| 国产在线视频一区二区| 免费观看a级毛片全部| 人人妻人人添人人爽欧美一区卜| 狠狠精品人妻久久久久久综合| 亚洲精品美女久久久久99蜜臀| 国产精品成人在线| 国产1区2区3区精品| 亚洲国产欧美日韩在线播放| 一个人免费在线观看的高清视频 | 国产精品久久久久久精品古装| 欧美黑人欧美精品刺激| 一进一出抽搐动态| 天天躁狠狠躁夜夜躁狠狠躁| 90打野战视频偷拍视频| 99热网站在线观看| 国产老妇伦熟女老妇高清| 欧美av亚洲av综合av国产av| av超薄肉色丝袜交足视频| 欧美国产精品一级二级三级| 热re99久久精品国产66热6| 深夜精品福利| 色婷婷av一区二区三区视频| 亚洲国产精品成人久久小说| 午夜免费观看性视频| 色精品久久人妻99蜜桃| 精品国产乱子伦一区二区三区 | 久久久久久亚洲精品国产蜜桃av| 老熟妇乱子伦视频在线观看 | av片东京热男人的天堂| 9热在线视频观看99| 久久亚洲精品不卡| 国产精品 国内视频| 成人国语在线视频| 啦啦啦中文免费视频观看日本| 99久久综合免费| 日本wwww免费看| 国产精品欧美亚洲77777| 亚洲 欧美一区二区三区| 黄色视频在线播放观看不卡| av线在线观看网站| 精品一品国产午夜福利视频| 90打野战视频偷拍视频| 国产一区二区三区av在线| 首页视频小说图片口味搜索| 成年女人毛片免费观看观看9 | 自拍欧美九色日韩亚洲蝌蚪91| 9色porny在线观看| 大片免费播放器 马上看| 韩国精品一区二区三区| 精品视频人人做人人爽| 狠狠婷婷综合久久久久久88av| 国产极品粉嫩免费观看在线| 黄色a级毛片大全视频| 美女国产高潮福利片在线看| 丝瓜视频免费看黄片| 亚洲成人国产一区在线观看| 国产精品av久久久久免费| tocl精华| 欧美黄色淫秽网站| 国产成人av激情在线播放| 午夜精品久久久久久毛片777| 久久天躁狠狠躁夜夜2o2o| 国产精品 欧美亚洲| 丰满少妇做爰视频| 亚洲三区欧美一区| 国产又爽黄色视频| 精品国产乱码久久久久久男人| 国产麻豆69| 人人澡人人妻人| 丁香六月欧美| 免费观看av网站的网址| 色婷婷av一区二区三区视频| 久久青草综合色| 美女国产高潮福利片在线看| av在线老鸭窝| 亚洲中文av在线| 欧美人与性动交α欧美精品济南到| 日韩中文字幕视频在线看片| 淫妇啪啪啪对白视频 | 女性被躁到高潮视频| 久久人人爽人人片av| 亚洲国产成人一精品久久久| 欧美 日韩 精品 国产| 亚洲精品av麻豆狂野| 成年人午夜在线观看视频| 不卡一级毛片| av欧美777| 国产亚洲欧美在线一区二区| 日韩大码丰满熟妇| 国产男女内射视频| 日日摸夜夜添夜夜添小说| 一级黄色大片毛片| 国产深夜福利视频在线观看| 一本一本久久a久久精品综合妖精| 欧美精品一区二区大全| 国产麻豆69| 久久99热这里只频精品6学生| 一级a爱视频在线免费观看| 波多野结衣av一区二区av| 美女高潮到喷水免费观看| 国产精品偷伦视频观看了| 久久青草综合色| 91成人精品电影| 亚洲av欧美aⅴ国产| 欧美另类一区| 一边摸一边抽搐一进一出视频| 韩国精品一区二区三区| 在线观看免费视频网站a站| 考比视频在线观看| 免费高清在线观看视频在线观看| 婷婷丁香在线五月| 成人18禁高潮啪啪吃奶动态图| 黑人操中国人逼视频| 麻豆乱淫一区二区| 91成人精品电影| 亚洲精品国产精品久久久不卡| a在线观看视频网站| 精品欧美一区二区三区在线| 咕卡用的链子| 18禁观看日本| 午夜福利,免费看| a在线观看视频网站| 老司机福利观看| 午夜91福利影院| 999久久久国产精品视频| 午夜福利,免费看| 色精品久久人妻99蜜桃| 人妻久久中文字幕网| 免费日韩欧美在线观看| 日韩,欧美,国产一区二区三区| 操美女的视频在线观看| 另类精品久久| 大型av网站在线播放| 国产成人av激情在线播放| 极品少妇高潮喷水抽搐| 欧美成狂野欧美在线观看| netflix在线观看网站| av视频免费观看在线观看| 麻豆国产av国片精品| 夜夜骑夜夜射夜夜干| 他把我摸到了高潮在线观看 | 国产精品免费大片| 国产欧美日韩一区二区三区在线| 亚洲黑人精品在线| 亚洲av片天天在线观看| 人妻一区二区av| 欧美黄色淫秽网站| 三上悠亚av全集在线观看| 亚洲国产精品一区二区三区在线| 99国产精品99久久久久| 免费在线观看完整版高清| 桃花免费在线播放| 飞空精品影院首页| 18在线观看网站| 亚洲国产欧美网| 精品人妻在线不人妻| 亚洲人成电影免费在线| 一级黄色大片毛片| 中文字幕另类日韩欧美亚洲嫩草| 亚洲情色 制服丝袜| 精品人妻一区二区三区麻豆| 成人黄色视频免费在线看| 在线十欧美十亚洲十日本专区| 国产在线视频一区二区| 欧美中文综合在线视频| 国产野战对白在线观看| 后天国语完整版免费观看| 午夜福利影视在线免费观看| 欧美激情极品国产一区二区三区| 久久久久精品国产欧美久久久 | 国产av又大| 老司机深夜福利视频在线观看 | 高清欧美精品videossex| 午夜福利,免费看| 可以免费在线观看a视频的电影网站| 久久久精品区二区三区| 人成视频在线观看免费观看| 人妻人人澡人人爽人人| 岛国毛片在线播放| 亚洲综合色网址| 亚洲国产精品成人久久小说| videos熟女内射| 欧美日韩亚洲综合一区二区三区_| 中文精品一卡2卡3卡4更新| 手机成人av网站| 国产伦理片在线播放av一区| 国产国语露脸激情在线看| 国产免费一区二区三区四区乱码| 亚洲国产毛片av蜜桃av| 国产免费福利视频在线观看| 精品熟女少妇八av免费久了| 中文精品一卡2卡3卡4更新| 国产视频一区二区在线看| 国产伦理片在线播放av一区| 黄色片一级片一级黄色片| 欧美人与性动交α欧美软件| 久久精品熟女亚洲av麻豆精品| 久久天躁狠狠躁夜夜2o2o| 精品一区在线观看国产| 欧美国产精品va在线观看不卡| av在线app专区| 国产伦人伦偷精品视频| 久久久国产一区二区| 欧美日韩成人在线一区二区| 老司机福利观看| 欧美精品亚洲一区二区| 欧美变态另类bdsm刘玥| 欧美xxⅹ黑人| 亚洲avbb在线观看| 久久久久网色| 国产xxxxx性猛交| 人成视频在线观看免费观看| 国产亚洲午夜精品一区二区久久| 国产视频一区二区在线看| 国产伦理片在线播放av一区| 国产欧美日韩一区二区精品| 国产av国产精品国产| 欧美+亚洲+日韩+国产| 中文字幕人妻丝袜制服| 久久久国产一区二区| 精品福利观看| 考比视频在线观看| 在线观看免费日韩欧美大片| 久久国产亚洲av麻豆专区| 国产日韩欧美亚洲二区| 纵有疾风起免费观看全集完整版| 精品一区在线观看国产| 亚洲精品久久成人aⅴ小说| 亚洲av男天堂| 韩国精品一区二区三区| 国产极品粉嫩免费观看在线| 成人av一区二区三区在线看 | 欧美国产精品va在线观看不卡| 成人亚洲精品一区在线观看| 黑人欧美特级aaaaaa片| 国产精品香港三级国产av潘金莲| 精品欧美一区二区三区在线| 国产精品麻豆人妻色哟哟久久| 黄色片一级片一级黄色片| 天堂俺去俺来也www色官网| 国产成人精品无人区| 搡老熟女国产l中国老女人| 亚洲精品粉嫩美女一区| av国产精品久久久久影院| 亚洲视频免费观看视频| 亚洲欧洲精品一区二区精品久久久| 啦啦啦免费观看视频1| 日韩制服骚丝袜av| 国产精品影院久久| 99久久国产精品久久久| 好男人电影高清在线观看| tocl精华| 美女视频免费永久观看网站| 国产一区二区三区av在线| 久久国产精品影院| 亚洲激情五月婷婷啪啪| 狂野欧美激情性bbbbbb| av超薄肉色丝袜交足视频| 欧美性长视频在线观看| 天堂中文最新版在线下载| 中文字幕高清在线视频| 国产亚洲欧美在线一区二区| 91精品国产国语对白视频| 午夜福利,免费看| 男女国产视频网站| 国产免费av片在线观看野外av| av网站在线播放免费| 国产野战对白在线观看| 国产精品亚洲av一区麻豆| 国产深夜福利视频在线观看| 日本wwww免费看| 三上悠亚av全集在线观看| 波多野结衣一区麻豆| 久热爱精品视频在线9| 国产免费现黄频在线看| 亚洲avbb在线观看| 悠悠久久av| 成在线人永久免费视频| 免费久久久久久久精品成人欧美视频| 免费在线观看影片大全网站| 叶爱在线成人免费视频播放| 欧美少妇被猛烈插入视频| 日韩一区二区三区影片| 久久久国产精品麻豆| 国产精品亚洲av一区麻豆| 黄色毛片三级朝国网站| 国产一级毛片在线| 狠狠婷婷综合久久久久久88av| 日本撒尿小便嘘嘘汇集6| 国精品久久久久久国模美| 男人舔女人的私密视频| 国产av精品麻豆| 亚洲伊人久久精品综合| 中文字幕精品免费在线观看视频| 欧美午夜高清在线| 美女大奶头黄色视频| 国产99久久九九免费精品| 秋霞在线观看毛片| 岛国毛片在线播放| 亚洲免费av在线视频| 国产老妇伦熟女老妇高清| 日韩欧美一区二区三区在线观看 | 国产免费一区二区三区四区乱码| av欧美777| 中文字幕人妻熟女乱码| 无限看片的www在线观看| 亚洲精品一二三| 桃花免费在线播放| 国产精品一二三区在线看| 黄色视频,在线免费观看| 欧美国产精品一级二级三级| 韩国精品一区二区三区| 欧美精品一区二区大全| 在线观看免费高清a一片| 午夜免费观看性视频| 国产色视频综合| 亚洲精品国产av成人精品| 美女高潮喷水抽搐中文字幕| 少妇人妻久久综合中文| 在线 av 中文字幕| 欧美黄色片欧美黄色片| 热99re8久久精品国产| 一二三四在线观看免费中文在| 亚洲av日韩精品久久久久久密| 大码成人一级视频| 老司机靠b影院| 亚洲av欧美aⅴ国产| 精品卡一卡二卡四卡免费| 考比视频在线观看| 国产麻豆69| 少妇 在线观看| 天天添夜夜摸| 亚洲avbb在线观看| 人人妻,人人澡人人爽秒播| 国产黄色免费在线视频| av电影中文网址| 亚洲精品美女久久久久99蜜臀| 成人三级做爰电影| 亚洲国产成人一精品久久久| 亚洲激情五月婷婷啪啪| 国产亚洲精品一区二区www | 久久九九热精品免费| 99久久综合免费| 日韩欧美一区视频在线观看| 精品久久久久久电影网| 亚洲欧美激情在线| 国产伦人伦偷精品视频| 精品少妇久久久久久888优播| 美女中出高潮动态图| 成人黄色视频免费在线看| 一边摸一边抽搐一进一出视频| 女性生殖器流出的白浆| 91麻豆av在线| 亚洲国产成人一精品久久久| 色精品久久人妻99蜜桃| 无限看片的www在线观看| 亚洲精品粉嫩美女一区| 亚洲欧美日韩高清在线视频 | 两个人免费观看高清视频| 国产精品成人在线| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲熟女精品中文字幕| 久久青草综合色| 好男人电影高清在线观看| 久久久久久久久久久久大奶| 黄色毛片三级朝国网站| 一区二区日韩欧美中文字幕| 久久精品久久久久久噜噜老黄| 欧美日韩av久久| 少妇裸体淫交视频免费看高清 | 国产欧美亚洲国产| 久久久久国产一级毛片高清牌| 好男人电影高清在线观看| 国产黄频视频在线观看| 97人妻天天添夜夜摸| 亚洲九九香蕉| 真人做人爱边吃奶动态| 欧美黑人欧美精品刺激| 国产成人啪精品午夜网站| 欧美精品高潮呻吟av久久| 日韩制服骚丝袜av| 成人av一区二区三区在线看 | 丰满饥渴人妻一区二区三| 在线观看免费日韩欧美大片| 国产成人精品久久二区二区免费| 99精品欧美一区二区三区四区| 亚洲国产中文字幕在线视频| 亚洲成人免费av在线播放| 日本一区二区免费在线视频| 国产无遮挡羞羞视频在线观看| 日韩人妻精品一区2区三区| 国产亚洲精品一区二区www | 国产精品99久久99久久久不卡| 丝袜美腿诱惑在线| 丝袜脚勾引网站| 国产成人影院久久av| 欧美 日韩 精品 国产| 少妇人妻久久综合中文| h视频一区二区三区| 两个人看的免费小视频| 人人妻人人澡人人爽人人夜夜| 又黄又粗又硬又大视频| 纵有疾风起免费观看全集完整版| 两性午夜刺激爽爽歪歪视频在线观看 | 精品卡一卡二卡四卡免费| 国产一区二区三区综合在线观看| 国产男人的电影天堂91| videos熟女内射| 热99re8久久精品国产| 久久久久久久国产电影| 这个男人来自地球电影免费观看| 色老头精品视频在线观看| 中文字幕人妻丝袜制服| 久久 成人 亚洲| 亚洲成av片中文字幕在线观看| www.熟女人妻精品国产| 精品一品国产午夜福利视频| 亚洲伊人久久精品综合| 欧美日韩亚洲高清精品| 亚洲av国产av综合av卡| 亚洲专区字幕在线| www.999成人在线观看| 久久ye,这里只有精品| 久久精品熟女亚洲av麻豆精品| 精品欧美一区二区三区在线| 精品亚洲成国产av| 国产成人一区二区三区免费视频网站| 飞空精品影院首页| 亚洲色图 男人天堂 中文字幕| 亚洲三区欧美一区| 这个男人来自地球电影免费观看| 老司机在亚洲福利影院| 亚洲国产精品一区二区三区在线| 高清欧美精品videossex| 99精国产麻豆久久婷婷| 男男h啪啪无遮挡| 国产精品九九99| 一级毛片精品| 19禁男女啪啪无遮挡网站| 黄色a级毛片大全视频| 亚洲av美国av| 欧美久久黑人一区二区| 亚洲性夜色夜夜综合| 国产精品一区二区精品视频观看| 精品熟女少妇八av免费久了| 日韩视频在线欧美| 黄片播放在线免费| 日韩欧美免费精品| 建设人人有责人人尽责人人享有的| 国产成人av教育| 国产精品香港三级国产av潘金莲| 国产99久久九九免费精品| 天堂中文最新版在线下载| 欧美精品亚洲一区二区| 老鸭窝网址在线观看| 曰老女人黄片| 99国产精品一区二区蜜桃av | 美女大奶头黄色视频| 亚洲欧美精品综合一区二区三区| 最近最新免费中文字幕在线| 亚洲精品第二区| 在线观看免费日韩欧美大片| 国产精品一二三区在线看| 91国产中文字幕| 国产一级毛片在线| 欧美日韩福利视频一区二区| 亚洲av成人不卡在线观看播放网 | 一个人免费看片子| 成年女人毛片免费观看观看9 | 久久久国产一区二区| 欧美变态另类bdsm刘玥| 欧美久久黑人一区二区| 亚洲国产日韩一区二区| 99国产精品99久久久久| 性高湖久久久久久久久免费观看| 亚洲精品久久午夜乱码| 性高湖久久久久久久久免费观看| 精品国产国语对白av| 亚洲国产精品一区二区三区在线| 水蜜桃什么品种好| 亚洲五月婷婷丁香| 午夜视频精品福利| 视频区图区小说| 亚洲少妇的诱惑av| 婷婷丁香在线五月| 又大又爽又粗| 亚洲欧美激情在线| tocl精华| 18禁观看日本| av片东京热男人的天堂| 国产精品麻豆人妻色哟哟久久| 一本—道久久a久久精品蜜桃钙片| tube8黄色片| 2018国产大陆天天弄谢| 美女午夜性视频免费| 欧美另类亚洲清纯唯美| 美女中出高潮动态图| 欧美国产精品一级二级三级| 国产免费av片在线观看野外av| 成人影院久久| 热99久久久久精品小说推荐| 欧美另类一区| 欧美变态另类bdsm刘玥| 久久久久久久久免费视频了| 亚洲精品粉嫩美女一区| 精品国产国语对白av| 国内毛片毛片毛片毛片毛片| 丰满少妇做爰视频| 最近中文字幕2019免费版| 精品少妇内射三级| 国产一区二区三区在线臀色熟女 | 亚洲熟女毛片儿| 日本av免费视频播放| 亚洲专区中文字幕在线| 在线av久久热| 日韩 欧美 亚洲 中文字幕| 久久久精品94久久精品| 人妻一区二区av| √禁漫天堂资源中文www| 欧美激情 高清一区二区三区| av在线播放精品| 最近中文字幕2019免费版| 曰老女人黄片| 免费人妻精品一区二区三区视频| 久久久精品区二区三区| 国产欧美日韩综合在线一区二区| 久久久国产欧美日韩av| 亚洲国产欧美在线一区| 国产免费av片在线观看野外av| 91老司机精品| 久久精品人人爽人人爽视色| 日韩免费高清中文字幕av| 久久久久久久久久久久大奶| 国产日韩欧美视频二区| 99热国产这里只有精品6| 波多野结衣av一区二区av| 亚洲欧洲日产国产| 深夜精品福利| 王馨瑶露胸无遮挡在线观看| 久久99一区二区三区| 亚洲欧美激情在线| 亚洲人成电影免费在线| 一个人免费看片子| 欧美精品av麻豆av| 亚洲精品美女久久久久99蜜臀| 黄色毛片三级朝国网站| 男女免费视频国产| 亚洲欧美激情在线| 菩萨蛮人人尽说江南好唐韦庄| 日韩视频在线欧美| 免费久久久久久久精品成人欧美视频| 人妻一区二区av| 王馨瑶露胸无遮挡在线观看| cao死你这个sao货| 久久久久久免费高清国产稀缺| 国产成人av教育| avwww免费| 国产成人av激情在线播放|