• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    風險視角下對算法偏見的雙軌治理
    ——自動決策算法中偏見性因素的規(guī)制研究

    2021-12-27 11:29:42肖夢黎
    理論月刊 2021年7期
    關鍵詞:決策算法

    □肖夢黎

    (1.華東政法大學 法律學院,上海201620;2.華東理工大學 法學院,上海200237)

    一、問題的提出

    我們每個人都被各種各樣的算法所籠罩,各種超級平臺收集著我們的身份信息、聯系人信息、違法信息、生物數據甚至政治評論,點擊“拒絕”即無法訪問。算法形成了“全景敞式”的權力,每個普通人都在被“一種不間斷的書寫日夜跟蹤”[1](p215)。在工作招聘、申請教育機會、信貸額度、綠卡排期甚至是犯罪預測中[2](p674-671),算法的自動決策無處不在。算法的核心是基于現有行為對用戶的未來行為進行預測,賦予相對人以數字人格,對其未來的機會產生影響[3](p37)。通過不同企業(yè)與政府主體間數據庫的購買與算法判斷的導入構成了算法使用的擴散,并可能導致一種人們盡力使自己的生活方式符合算法的新模式,從而最終形成了算法對人類社會的規(guī)訓。

    隨著算法工具化與算法行政不斷擴展的趨勢,自動化決策中隱含的算法歧視會產生波紋式的擴大影響。算法與經濟社會深度融合,從自動駕駛、信用評級到司法裁判中的應用,逐漸成為一種自帶判斷的區(qū)分方式[4](p181-182)。算法當然會存在偏見:一方面,算法使用的大量數據本就來源于社會本身,這種鏡像式的結構自然也會將社會中的歧視與偏見如實地帶入算法。比如當貸款公司將征信系統(tǒng)的數據分析源逐漸拓展到淘寶、eBay等的交易評價、微博與Facebook的好友人數以及LinkedIn的人脈對象時,居住在富裕板塊的人會更容易獲得貸款,而女性申請者則會獲得較低的額度①美國Movenbank,國內支付寶的花唄、京東白條等都在應用此類技術。。另一方面,作為技術的算法也是一種生命體,技術與發(fā)明技術的人類間存在所謂的“相夫差異”[5](p49),算法因此會產生新的偏見。比如在招聘算法中,通勤時間較長的員工該項評分就會呈現為負值,而少數族群由于經濟條件上的弱勢會居住在遠離市中心的地方,就會導致一個較低的錄用率,從而實質上構成對該群體的歧視[6](p84)。算法編寫者可能會利用數據主體弱點進行數據殺熟,或者根據敏感信息(如政治傾向)等對特定群體進行結果操縱。更令人擔憂的是,算法決策正在侵入越來越多的公共領域,在諸如自動稅收與行政許可的“秒批”中,算法已經在做出具有即時生效性的具體行政行為[7](p65)。在美國,算法評估正在取代現金保釋[8]。蘇州市2015年就建立了覆蓋91種違法行為的犯罪預測系統(tǒng)②馬德林:《互聯網技術帶給中國社會治安“全新可能性”》,載《中國新聞》2016年10月13日。。算法廣泛應用帶來的是接連出現的“算法丑聞”,這些以數學形式表現的“殺傷性武器”可能會隨意關閉使用者的未來機會之門[9](p6-10)。人類無法期待自動化決策系統(tǒng)自行解決問題,因此對算法的規(guī)制就顯得尤為重要。

    對于自動決策算法中偏見性因素的規(guī)制,法學界的討論大致圍繞算法透明原則、算法解釋權以及設置數據保護官與數據監(jiān)管局[10](p49-52)等幾種路徑。算法治理則主要存在歐盟的《通用數據保護條例》(下簡稱“GDPR”)中的個體賦權模式,美國《算法問責法案》中的外部治理模式以及本土化的設置平臺義務模式[11](p21-25)。在尋求算法透明化的過程中,強制算法公開與控制算法結果的路徑顯然存在問題。一方面,算法的強制公開可能導致商業(yè)秘密與知識產權的泄露;另一方面,源代碼的公開也無法真正使普通公眾理解、獲得救濟。在對自動決策算法中的偏見性因素進行問責的過程中,受算法影響者(數據主體)享有包括對算法知情、質詢和申訴的權利。而算法的設計與使用者(也就是數據控制方)相應的有披露數據來源、解釋算法過程與接受算法審計等一系列義務。

    法學界討論的算法規(guī)制更多是方法論上的,從法律適用上進行條分縷析。但在計算機技術不斷更迭的時代,算法透明原則的實施效果往往取決于法律價值與技術實現兩個層面,技術治理可以為法律治理提供新的洞見。本文將就如何通過法律價值引導下的技術手段具體討論實現算法透明的原則,將規(guī)制方法從事后追責、將算法工具化的方式轉成以風險識別為前提、技術治理與法律治理并重的規(guī)制方式。

    二、風險理念下的算法透明與預防性規(guī)制

    算法透明原則指涉的是一種基于規(guī)則的“透明度模型”,具體包括“輸入數據、系統(tǒng)在推理和決策(規(guī)則制定)層面所包含的規(guī)范性、做出的該決定的背景和進一步影響,以及負責的參與者”等方面[12](p433)。對于機器學習與自動決策而言,透明度原則并不是一種可見性的程度,而是一種看到相關目的的能力。就像某些學者所言,算法透明原則僅在少數情形下適用,而在多數情況下既不可行也無必要。披露對象的技術能力、自動決策下算法的不可知與干擾項披露等應該都會影響算法透明的實效[13](p20-21)?!皵祿寗拥淖詣踊獯a”的透明度是基于這樣一種理解:透明度不能被視為純粹的開放性,而應該是一種交流行為。從這個觀點來看,透明度也是一種治理方式。

    在自動決策算法的規(guī)制中,技術治理與法律治理是無法分割的[14](p63-65)。在新型“監(jiān)視資本主義”的場景下,技術化統(tǒng)治也要靠技術手段來化解。從“白箱”算法到“灰箱”算法、“黑箱”算法,直至自動決策化不斷加深的“感知”算法與“奇異”算法,將法律價值嵌入到技術治理中是一種更為有效的應對算法霸權的規(guī)制方式。技術治理的理念主要是預防性的,面向未來風險的,因此在算法透明原則的實踐過程中尤其要注意算法風險的分類。

    (一)風險分類的規(guī)制前提

    針對不同風險應該采取分類治理的規(guī)制方式。正如GDPR在第22條規(guī)定,如果某項算法會對相對人產生法律影響或與之相類似的顯著影響,數據主體就有不受僅依賴于自動決策的權利。接下來的問題就是如何將算法區(qū)分為會產生法律影響或與之相類似的顯著影響與其他類型的算法。GDPR在第29條工作組指南中規(guī)定了何種應視為對個體產生重要影響:比如信用貸款審批、電子招聘、醫(yī)療服務、教育或自動化決策顯著影響了個人的習慣或選擇;通過自動化決策的應用達到取消合同、取消住房福利等的后果;以及在定向廣告中,利于數據殺熟或政治傾向等的敏感信息[15](p398-404)。如果自動決策算法不會對數據主體產生重大影響,算法相對人可以行使GDPR第21條的退出權;若自動化決策本身會對數據主體產生重大影響,則算法使用者應該保障人工介入自動決策,以及數據主體對自動化決策提出質疑的權利。

    與之相類似,美國《公平信用報告法》否決了在信用評分中應用自動化決策的決定。美國國會2019年4月提出的《算法問責法案》也對高風險算法進行了列舉式界定,其中包括對個體隱私安全等造成嚴重不利后果的算法,涉及種族、膚色、政治觀點、宗教、工會身份、生物數據、性別、性傾向、犯罪記錄、逮捕記錄的算法,以及在公共場所進行系統(tǒng)性監(jiān)督的算法①《算法問責法案》共規(guī)定了五種類別的高風險算法,筆者在此重新歸納。其中有些雖然是高風險算法,但是由于應用特別廣泛,實際上無法進行有效控制。比如基于個人的工作表現、經濟狀況、個人偏好、地理位置和行為軌跡而做出的影響個人權利的算法等。。對于這些高風險算法,算法的設計與使用者應該對算法的設計、訓練數據的收集和想要達致的目標等方面做出詳細說明。

    (二)對于低風險算法的監(jiān)管沙盒與責任豁免

    對于風險較低的算法而言,出于運營成本與保護創(chuàng)新的考慮,應該使其自主發(fā)展,并在數據保護一端賦予算法相對人(數據主體)以退出權。在此僅介紹監(jiān)管沙盒(監(jiān)管音盒)的創(chuàng)新型舉措:監(jiān)管沙盒(Regulatory Sandbox)是英國金融行為監(jiān)管局(FCA)創(chuàng)設的一種針對金融科技配套豁免規(guī)則的監(jiān)管模式。監(jiān)管沙盒由監(jiān)管委員會運營,提供受監(jiān)視的試驗環(huán)境測試算法,從技術維度評估算法風險,從而提供一種區(qū)別于代碼核查、模型比對的動態(tài)監(jiān)管機制。監(jiān)管委員會可以設立專用數據庫,從中隨機生成真實數據和干擾數據,進而對算法進行校驗,以測試算法的準確性、可信度、風險性以及對用戶決策的干預程度。

    對于監(jiān)管沙盒而言,目前多是由監(jiān)管部門對初創(chuàng)行業(yè)進行遴選,從而實現對海量訓練集數據的校驗與一定程度的算法責任豁免。但是若將準入門檻修改為依申請加入,不做主觀篩選,也就成為法國模式下的監(jiān)管音盒(Regulatory Soundbox),從而使得對于不同企業(yè)的監(jiān)管強度更加均衡[16]。監(jiān)管沙盒在自動決策算法領域的應用可以在風險規(guī)制與創(chuàng)新友好間尋求平衡,支持小微初創(chuàng)企業(yè)進行低風險、突破式的創(chuàng)新。

    (三)對于高風險算法的技術驗證與人機回圈

    對于高風險的算法應該遵循事先審查與事后可解釋的算法透明路徑。歐盟的《通用數據保護條例》規(guī)定了“至少應為數據主體提供關于自動化決策中所運用邏輯的有用信息、該處理的重要性與其對數據主體可能造成的后果”①詳見歐盟《通用數據保護條例》第13條第2款f項、第14條第2款g項、第15條第1款h項。。美國的《算法問責法案》則規(guī)定,針對某些高風險算法,應詳細說明算法決策,包括算法設計、訓練數據和算法目標等信息②2019年4月10日,美國國會兩院議員提出《算法問責法案》(Algorithmic Accountability Act),要求大型科技公司評估并消除其“自動決策系統(tǒng)”給個人信息隱私和安全帶來的風險,以及因種族、膚色、宗教、政治信仰、性別或其他方面差異帶來的歧視性偏見。該法案將適用于年收入超過5000萬美元的企業(yè),持有至少100萬人口或設備數據或主要扮演數據經紀人角色的組織。。算法可解釋原則若想順利實施,必須符合兩個要求:其一是可以找到某項固定不變的因素,顯著性地導致算法輸出結果中的偏見;其二是需要保證算法不會被后續(xù)編寫者篡改。事實上,算法是很可能被篡改的,因此應該運用加密承諾的方式。而找尋算法中某個固定不變的導致輸出結果產生偏見的要素的途徑就是有效的算法驗證。

    1.自動決策算法的可驗證性。軟件驗證是一種運用數學證明來表明軟件具有某些特性的技術。其既可以通過分析現有代碼,也可以通過使用專用工具提取被證明為正確的不變性約束條件③在計算機科學中,invariant就是在程序的執(zhí)行過程或部分執(zhí)行過程中,可以認為絕對正確的條件。它是在執(zhí)行的某個階段中總是true的邏輯斷言。所謂invariant,就是針對某個主體(對象、方法等)的一些“絕對真理”式的約束,不論該主體處于何種狀態(tài)或階段,都必須滿足這些約束條件。它們不受狀態(tài)和階段的轉移影響,即所謂不變性。因而將invariant翻譯成“不變性約束條件”。。與靜態(tài)分析(旨在檢查已編寫的代碼是否存在錯誤或偏離其規(guī)范)或軟件測試(旨在通過在特定配置中執(zhí)行軟件來驗證軟件是否滿足特定的功能需求)不同,軟件驗證可以從邏輯上解釋算法在不同條件下的運作行為。經過驗證的程序附帶一個數學證明,證明它們具有某些不變性約束條件,因此不必對這些不變性約束條件進行測試[2](p662-665)。

    加密承諾就是一種提供算法可驗證性的重要方式,未來區(qū)塊鏈技術的廣泛應用將使得通過時間戳的驗證程序成為可能。公私鑰密碼學可以在不預先共享私鑰的前提下發(fā)送加密信息,以保障不同節(jié)點間的數據記錄不可偽造與被篡改[17](p85-86)。可以說,區(qū)塊鏈技術是密碼學的重要應用,而究其原理而言,加密承諾是由第三方或在安全的地方保存的密封文件的數字等價物。它將提交者綁定到被提交對象(信封內的對象)的特定值,以便稍后可以顯示該對象,并且任何人都可以驗證承諾是否與該數字對象相對應。加密承諾與信封中的信件類似。一旦一個對象“在”密封的信封中,觀察者就看不到它,任何人也不能改變它。特定的承諾可用于在特定時間鎖定對秘密的了解,而不泄露秘密的內容。同時仍然允許稍后在法庭等場所披露該秘密,并保證該秘密在過渡期間不被更改。而該加密承諾在密封后也會產生一個密鑰,用于驗證承諾。加密承諾有助于實現自動化決策的程序規(guī)則正當性,確保每個決策都使用同樣的策略。做出自動決策的公司或機構隨后將在確定的日期在公開場所對承諾進行公開,也可以在遭遇質詢后向法院等監(jiān)督機構披露源代碼和公開密鑰,以證明其在承諾時擁有特定的源代碼[2](p662-667)。

    自動決策算法中隨機數的公平性也應該是可驗證的,隨機過程的設計不當也會導致后續(xù)的算法解釋遭遇困難。因此在處理會對相對人產生重大影響的決策時,為了防止算法的濫用,應該由可信的第三方提供一個種子值,然后通過種子產生可復制值的加密算法實現隨機過程。這些種子值應該預先設置與一些不能更改的信息標識相對應,比如身份證號、社會保險號或者受試者姓名等,這樣既可以在系統(tǒng)中保持隨機性的好處,也可以保證涉及重要權益的種子值不會被算法設計者篡改。

    2.人機回圈。就可能對相對人產生重大影響的自動決策算法而言,另一個行之有效的糾偏方式就是加入“人”的因素,為算法決策過程注入民主化。人機回圈(human-in-the-loop)原則認為,當在算法決策中遇到諸如倫理、道德風險、偏見等機器學習仍無法獲得最優(yōu)解的問題時,就需要通過人類智慧的補足來優(yōu)化算法,從而為機器學習提供一種民主的或者說是非設計者的“濾鏡”[18]。設定緩刑期限算法的程序員可能并不十分了解法律本身,而訓練集與編程中的偏差則會帶入到算法中,并作為自動決策結果出現。在這一過程中,行業(yè)專家與有道德判斷能力的公眾的引入、人機交流技術與用戶申訴等機制的設置可以有效打破技術專家對算法決策權的壟斷?!蹲匀弧冯s志上就公布了一個針對自動駕駛面臨的困境所做的調查,該調查囊括了來自233個國家與地區(qū)超過4000萬份問卷,總結了不同地區(qū)針對自動駕駛的不同態(tài)度,從而對如何發(fā)展全球性的、社會可接受的機器倫理的原則進行了論述,為人機回圈的適用提供了有益的范例[19]。

    三、以算法審查與算法解釋權為核心的事后規(guī)制

    算法解釋權與算法透明原則是一體兩面的制度,只有在算法透明原則的框架下,個人方可提出并行使算法解釋權。算法透明原則可以視為對算法設計與使用方的義務設定,而算法解釋權則是對受算法影響者(數據主體)的一種具體賦權。算法的設計與使用者負有對數據輸入、邏輯過程、特定因素權重等某一項或某幾項的披露與解釋義務,受算法影響者因而享有對算法的知情權、質詢權與申訴權。對于算法審查與算法解釋權的原則性探討已經有很多,但仍未解決的問題則是如何打開“黑箱”進行審查,是基于何種方式進行解釋,繼而再回答司法救濟中如何解決算法歧視認定的問題。

    (一)通過零知識證明原則進行的算法審查

    由于算法設計者、使用者作為消費者的信息受托人負有忠實義務與注意義務[20],因此應該由行政機關或第三方機構對算法進行審查,從而避免對公眾的權利侵害。算法審計包括非侵入用戶式審查(Noninvasive User Audit)、借助傀儡審查(Sock Puppet Audit)、層層打開式審查(Scraping Audit)與聯合審查(Collaborative Audit)等[21](p197-202)?,F階段已經可以通過一些技術方式實現對于算法執(zhí)行過程的審查。通過算法設計者內部的數據活動顧問與外部的數據活動監(jiān)管局對接的二元監(jiān)管方式可以有效進行算法歧視性的審查。“數據活動顧問從企業(yè)內部對算法進行設計與使用的評估控制,而數據活動監(jiān)管局從外部對數據活動顧問提供必要的援助和監(jiān)督?!盵10](p43)

    算法審查面臨的棘手問題就是通過何種方式對復雜性極高,且存在于“黑箱”中的自動決策算法進行歧視性審查。零知識證明原則可以證明實際使用的決策策略,或在特定情況下達成的特定決策具有特定屬性,但不必揭示如何知道該屬性或決策策略是什么①一個經典例子是假設兩個百萬富翁出去吃午飯,二者同意更富有的人應該支付費用。不過,兩人都不愿意向對方透露其財富數額。零知識證明可以讓他們兩人都知道誰更富有(因此誰應該支付餐廳的費用),而不必透露兩者的價值。See Danielle Keats Citron,Technological Due Process,85 WASH.U.L.REV.1249,1256(2008)(describing systemic errors in the automated eligibility determinations for federal bene?fits programs).。與前述的加密承諾相對應,假設決策者做出A、B、C三個承諾(commitment):A代表算法設計者對于非歧視性政策的遵循承諾,B代表在特定情況下輸入A的承諾,C是對在該情況下實際達成時做出的自動化決策的承諾。這些承諾可以事先發(fā)送給監(jiān)管機構或者是可信的第三方,從而保證在算法實施期間不被篡改。當用戶提起算法審查時,算法設計者、使用者就可以公布密鑰,算法審查機關通過零知識證明原則使公眾驗證A、B和C確實相互對應。也就是說,當提交的策略A應用于輸入的數據B時,結果就是提交的結果C。如此就可以由公眾與特定審查機關完成對自動決策過程的核實。所有這些驗證過程都不披露決策政策本身,也不披露可能包含在輸入或結果中的私人數據。

    更為重要的是,如果特定的自動決策受到質疑,法院或其他監(jiān)督機構可以迫使算法制定方披露其所使用的實際策略和輸入數據,用以核實算法是否符合其公布的承諾。其核心在于算法設計方雖然是在自動決策中,但也應該是遵循了某種統(tǒng)一的策略。例如,若被試的性別被顛倒,信用評分將是相同的。在這種情況下,零知識證明原則可以展示輸入與輸出關系的性質。

    (二)算法解釋權

    1.基于算法相對人訴求為中心的算法解釋權。如果想要對算法進行解釋,可以提供兩種解釋思路:一種是以模型為中心的解釋(MCEs),另一種是以主體為中心的解釋(SCEs)的解釋方式[22](p18-20)。以模型為中心的解釋關注的是模型本身,以了解自動化決策背后的邏輯、語境、變量與演繹表現。該解釋方式可以解決一些算法決策所涉及的程序規(guī)則性的問題,但無法兼顧對于單個數據主體對特定“有意義的信息”的解釋要求。以主體為中心的解釋模式是建立在輸入記錄的基礎上并圍繞輸入記錄形成的,只能在給定的查詢做出時予以提供,該查詢可以是真實的、虛構的或探索性的。

    GDPR第13、14條規(guī)定,當數據主體的個人數據被算法使用時,應擁有獲得算法解釋的權利①對于算法解釋權,歐洲委員會基于對自動決策危害的顧慮,建議將解釋權放置在第20條,歐洲議會建議放置在序言第58條,歐洲理事會則認為不應當包含這項內容。最終妥協(xié)結果是將該內容納入序言第71條。轉引自程瑩:《元規(guī)制模式下的數據保護與算法規(guī)制——以歐盟〈通用數據保護條例〉為研究樣本》,載《法律科學》2019年第4期。,也就是數據主體擁有掌握其信息的權利。序言的表述則更加清晰,若某項算法會對個人權利產生重要影響,那么數據控制者需要參與并審查自動化決策。GDPR第12條規(guī)定,算法控制者應當以清晰和平白的語言,以一種簡潔、透明、易懂和容易獲取的形式“為數據主體提供關于自動化決策中所運用邏輯的有用信息、該處理的重要性與其可能對數據主體產生的后果”,可認為GDPR采取的更多是一種基于算法主體為中心的算法解釋。基于個體本身的算法解釋權可以回答敏感度的問題,比如更換哪些輸入值會使結果發(fā)生相反的變化,也可以解釋分類聚類的合理性問題,比如用于訓練集的哪些數據記錄與我的最相似,像我這樣的人被錯誤分類的次數是多于還是少于平均水平[22](p51-53)。

    以算法相對人主體為中心的解釋更多關注的是如何在算法與受算法影響的主體間建立一種關系,從而為個體提供更有意義的解釋。該種解釋其實是在機器學習的場景下,致力于提供一些設計中的“接縫點”,將注意力從算法內部的復雜性轉向關注其輸入與輸出這樣的接縫點,從而有效回避了商業(yè)秘密、知識產權的沖突,解決了部分算法不可知的問題?;趥€體的算法解釋權對應的是模型不可知系統(tǒng)(pedagogical system),也就是基于個體查詢得到的相關信息,不太會侵犯知識產權,也不易被逆向地模仿或重塑。

    因此算法解釋權應該被理解為:當數據主體認為算法決策得出的結果與自己預期不相符合時,有要求對算法設計以及運行(數據的分析處理過程)進行解釋的權利。權利主體為數據主體,而義務主體為數據控制者。解釋內容應該依據GDPR第22條第1款以及第4款所述的包括數據畫像及有關的邏輯程序和有意義信息在內的相關內容,以及此類處理對數據主體的意義和預期影響。解釋的內容應符合兩個標準:第一,具有相關性,即必須與相對人所受的具體自動化決策相關;第二,相對人能夠理解。

    2.算法說明書與無條件反事實解釋。如果要進行算法解釋,那么如何解釋就需要考慮法律規(guī)制與技術規(guī)制兩個方面。對于公眾而言,無可能也無必要對每項涉及自身權益的算法都提出解釋需求,因為這樣也等于部分告別了算法統(tǒng)治下的現代社會。如果公布算法或者解釋算法邏輯與內部結構、各種因素權重確實有困難,是否可以制定類似藥品說明書的算法說明書。就像雖然制藥工藝受專利法與商業(yè)秘密保護而免于公開,但是功能主治與禁忌說明應該公開。在算法設計方向使用者公布隱私條例時,應該對主要使用算法的邏輯、目的等加以公布,對涉及的敏感因素予以提示。

    如果算法相對人一旦提出了算法解釋的需求,也可以遵循無條件反射事實(unconditional counter?factual)解釋的方法:即不需要解釋內部“黑箱”的運算邏輯,而是將算法依賴的外部因素加以解釋[23](p860-861)。在不打開算法“黑箱”的條件下,了解某項算法是否存在某種價值與倫理的前置性要求,繼而實現問責①比如針對為什么減稅是適當的這一問題,政策邏輯的回應是因為減稅的先決條件是高通貨膨脹和貿易逆差,而目前的情況顯示了這些因素。而反事實解釋則是如果通貨膨脹率降低,減稅就不可取了。如果沒有貿易逆差,就不建議減稅。正常邏輯下的算法模型刻畫起來難度較大,即使在單變量的情況下,也很難解釋函數如何隨著輸入的變化而變化。若轉換為無條件反事實解釋,就轉而采用端到端的綜合方法來解決問題,函數的輸入輸出與決策邏輯就非常清楚。。我們對反事實解釋的概念取決于相關概念:無條件反事實原則不致力于解釋這個世界的因果關系,而是提供更具信息性的一組反事實解釋,從而提供反事實所對應的結果附近的不同選擇[23](p878-882)。算法模型的刻畫難度較大,即使在單變量的情況下,也很難解釋函數如何隨著輸入的變化而變化。反事實解釋的方法是以提供能夠改變決策的最小信息量的方式編制的,不需要理解算法的內部邏輯。一個單一的反事實可以顯示某個決定是如何基于某些數據做出的,而這些數據在決策做出前不會被改變,接下來只要通過計算機算出有意義的反事實。包括神經網絡、向量機和回歸器在內的許多機器學習的標準分類都是通過在一組訓練數據上找到使目標最小化的最優(yōu)權重集來進行訓練的②在這個數據集中,種族(race)是使用一個離散變量建模的,該變量只能接受標簽0或1,分別對應于“白色”或“黑色”。反事實顯示“黑色”學生會得到更好的分數。對于“黑人”學生來說,種族確實在計算出的反事實下有所不同,顯示出決定和種族之間的依賴性(這通常是受法律保護的屬性)。Wachter,Sandra,B.Mittelstadt,and C.Russell“.Counterfactual Explanations without Opening the Black Box:Automated Decisions and the GDPR.”Social Science Electronic Publishing(2017).。比如在根據種族、法學院之前的平均分數和法學院入學考試分數(LAST)來預測法學院學生的第一年平均分數中,反事實顯示黑人學生會得到更好的分數,從而顯示這一決策與種族之間的依賴性。要求算法的設計者與使用者建立一個因果模型,并將其傳達給非專業(yè)的公眾是非常困難的。反事實繞過了解釋復雜機器學習系統(tǒng)內部工作的實質性挑戰(zhàn),而轉變?yōu)橄驍祿黧w提供信息。這些信息既容易理解,又對決策原因的理解、挑戰(zhàn)決策與改變未來行為等卓有成效。

    3.退出算法決策或者要求訂正的權利。當討論算法解釋權時,更重要的一點是賦予受算法影響者退出決策或者修改決策輸入的權利。也就是說,算法解釋只是開端,而當算法的設計者和使用者對自動決策做出解釋后,受算法影響者還有修正決策的權利[24](p73)。比如GDPR中賦予了數據主體更正、清除個人數據的權利,以及限制、拒絕算法設計者與使用者處理個人數據的權利[25](p51-52)。GDPR同樣賦予了數據主體以被遺忘權,被遺忘權不僅僅只是要求算法使用者刪除數據,也包括使其進行數據脫敏、增殖或消減數據等(比如通過增加與敏感信息并列的一系列虛構信息對抗算法,或者使某些搜索結果劣后出現)的做法[26](p150-151)。算法解釋權其實是一種通過賦權來合理分配風險,彌合算法使用者與受算法影響者間權力鴻溝的治理工具。

    (三)司法審查中對歧視性因素的認定方式

    如果在算法解釋中發(fā)現了歧視性因素,也并不能直接認定算法設計者需要承擔相關責任。美國司法審查中就形成了對基于主觀故意的算法歧視審查與基于無過錯的算法歧視審查兩種模式。針對算法歧視中存在主觀故意的模式,原告需要證明被告(算法設計者)存在主觀上的歧視意圖或與歧視相關的刻板印象,如能證明,被告就需承擔責任。這一原則確立于“麥克唐納道格拉斯公司訴格林”(McDonnell Douglas Corp.v.Green)①McDonnell Douglas Corp.v.Green,411 U.S.792(1973).一案,而在“岡薩雷斯訴谷歌”案中,法院遵循的邏輯也是如此。該種模式的核心在于審查算法是否存在故意的不同待遇,而這種針對特有群體的不同待遇與刻板印象需要對算法決策起實質性作用。在原告可以用間接證據證明的情況下,就可以被認定為存在算法歧視。

    由于受算法影響者對于主觀過錯的證明非常困難,于是美國法院逐漸演化出了對無過錯情況下的算法歧視審查。即不考慮算法的主觀意圖,而是觀察其客觀結果是否導致差異性影響,從而認定是否構成算法歧視。美國聯邦最高法院在“康涅狄格州訴迪爾”(Connecticut v.Teal)案中確立了該原則。受算法影響者往往不具備真正理解算法的能力,因此應采取過錯推定原則。這種情況下算法控制方會以商業(yè)必要性為抗辯理由,原告方即需要提出被告有可替代的算法程序再行反駁。在這種模式下,法院需要綜合三個方面的因素做出認定:其一是差異性影響:算法對原告產生的不利影響大于對其他一般公眾產生的不利影響。其二是商業(yè)必要性審查,考察算法行為的選擇與商業(yè)目標間是否存在直接相關性。其三是可替代算法決策評估:若存在非差異性影響的算法,就應該認定歧視②參見“阿爾伯馬爾紙業(yè)公司訴穆迪”(Albemarle Paper Co v.Moody)一案。。

    四、結語:在算法時代重塑規(guī)制理念

    針對自動決策算法中形成的“全景敞式”的權力與可能產生的各種偏見性因素,需要采取包容審慎的風險治理的規(guī)制理念。將鼓勵創(chuàng)新與保護用戶權益通盤考慮,提升國家的數據治理能力,重點解決算法應該如何“透明”的法律技術問題。自動決策算法可以劃分為對算法相對人有重大影響的與風險較低的兩種類別:對于低風險算法,出于運營成本與保護創(chuàng)新的考慮,應使其自主發(fā)展,保障算法相對人的退出權,并考慮引入監(jiān)管沙盒(音盒)等方式進行一定程度的責任豁免。若算法可能對相對人產生重大影響,則應該采取加密承諾、公平的隨機過程等在內的軟件驗證方式;注重人機回圈,為算法決策過程注入民主化,增加用戶體驗的反饋環(huán)節(jié)。在事后規(guī)制中,可以通過零知識證明原則、無條件反事實解釋等方法在避免打開“黑箱”的情況下對提出解釋權請求的當事人進行算法的解釋與審查,并與司法訴訟過程中差異性影響的審查方案相銜接。

    本文對算法透明原則、算法解釋權與算法審計等原則的探討從原理拓展到具體的技術方案。在對自動決策算法進行規(guī)制的討論中,實質上也是在技術治理與法律治理中加以選擇,某種程度上也是在探索科技與法律的關系。技術治理遵循的是自我偏好的邏輯,而法律治理遵循的是社會共識的邏輯。這兩種路徑其實都包含技術治理與法律治理的思維,只是含量、側重點有所不同。對于算法規(guī)制這一問題而言,技術治理是不可或缺的。該考慮的是如何平衡這兩種治理手段,使得法律治理得以對技術發(fā)展做出較好的引領和歸化。

    猜你喜歡
    決策算法
    為可持續(xù)決策提供依據
    基于MapReduce的改進Eclat算法
    Travellng thg World Full—time for Rree
    決策為什么失誤了
    進位加法的兩種算法
    決策大數據
    決策(2018年11期)2018-11-28 01:10:26
    決策大數據
    決策(2018年10期)2018-11-07 02:01:38
    算法初步兩點追蹤
    基于增強隨機搜索的OECI-ELM算法
    一種改進的整周模糊度去相關算法
    国产免费现黄频在线看| 久久人人爽av亚洲精品天堂| 青草久久国产| 日韩欧美免费精品| 男女床上黄色一级片免费看| 亚洲少妇的诱惑av| 欧美成人午夜精品| 精品少妇内射三级| 欧美成人免费av一区二区三区 | 日韩免费av在线播放| 黄色视频在线播放观看不卡| 大片免费播放器 马上看| 精品久久蜜臀av无| 久久午夜亚洲精品久久| 天堂中文最新版在线下载| 国产一卡二卡三卡精品| 国产深夜福利视频在线观看| 国产成+人综合+亚洲专区| 久久热在线av| 日韩大片免费观看网站| 欧美日韩福利视频一区二区| 超色免费av| 大香蕉久久网| 一区二区日韩欧美中文字幕| 在线亚洲精品国产二区图片欧美| 日本黄色视频三级网站网址 | 亚洲色图综合在线观看| 黄片播放在线免费| 9色porny在线观看| 国产亚洲欧美精品永久| 亚洲精品乱久久久久久| 首页视频小说图片口味搜索| 欧美日韩视频精品一区| 精品福利永久在线观看| 天天操日日干夜夜撸| 精品久久久久久久毛片微露脸| 80岁老熟妇乱子伦牲交| 亚洲欧美色中文字幕在线| www.自偷自拍.com| 日韩中文字幕欧美一区二区| 欧美 亚洲 国产 日韩一| 亚洲 欧美一区二区三区| 欧美国产精品一级二级三级| 老司机午夜福利在线观看视频 | 最近最新中文字幕大全电影3 | 国产精品国产高清国产av | 色尼玛亚洲综合影院| 精品欧美一区二区三区在线| aaaaa片日本免费| 在线观看免费午夜福利视频| 国产成人影院久久av| 国产成人精品久久二区二区91| 黑丝袜美女国产一区| 久久中文字幕一级| 日韩欧美免费精品| 99国产综合亚洲精品| 亚洲精品国产精品久久久不卡| 午夜福利,免费看| 欧美变态另类bdsm刘玥| 亚洲第一av免费看| 制服人妻中文乱码| 老司机午夜十八禁免费视频| 桃红色精品国产亚洲av| 又大又爽又粗| 嫁个100分男人电影在线观看| 日韩大码丰满熟妇| 制服诱惑二区| 汤姆久久久久久久影院中文字幕| 久久天躁狠狠躁夜夜2o2o| 狠狠婷婷综合久久久久久88av| 国产av精品麻豆| 亚洲性夜色夜夜综合| 国产亚洲欧美在线一区二区| 国产免费现黄频在线看| 亚洲av日韩精品久久久久久密| 美女高潮喷水抽搐中文字幕| kizo精华| kizo精华| 亚洲熟妇熟女久久| 捣出白浆h1v1| 成年人免费黄色播放视频| 国产一区二区激情短视频| 黄色视频不卡| 国产精品免费一区二区三区在线 | 精品国产乱子伦一区二区三区| 久久ye,这里只有精品| 国产精品一区二区在线不卡| 成人18禁高潮啪啪吃奶动态图| 伦理电影免费视频| 久久久久精品国产欧美久久久| √禁漫天堂资源中文www| √禁漫天堂资源中文www| 在线播放国产精品三级| 亚洲欧洲精品一区二区精品久久久| 黑人欧美特级aaaaaa片| xxxhd国产人妻xxx| 黄色毛片三级朝国网站| 少妇猛男粗大的猛烈进出视频| 成人精品一区二区免费| 91精品国产国语对白视频| 午夜日韩欧美国产| 老司机深夜福利视频在线观看| 欧美日韩国产mv在线观看视频| 国产在视频线精品| 老司机亚洲免费影院| 国产精品99久久99久久久不卡| 麻豆乱淫一区二区| 亚洲欧美日韩另类电影网站| 天堂俺去俺来也www色官网| 热re99久久精品国产66热6| 亚洲中文字幕日韩| 妹子高潮喷水视频| 大型黄色视频在线免费观看| videos熟女内射| 亚洲欧美色中文字幕在线| 99re在线观看精品视频| h视频一区二区三区| 久久久精品免费免费高清| 欧美黄色片欧美黄色片| 精品人妻熟女毛片av久久网站| 国产一卡二卡三卡精品| 中文字幕人妻丝袜一区二区| 亚洲中文av在线| 国产精品av久久久久免费| 性色av乱码一区二区三区2| av网站免费在线观看视频| 精品国产乱码久久久久久小说| 国产97色在线日韩免费| 性少妇av在线| 桃花免费在线播放| 国产亚洲欧美精品永久| 淫妇啪啪啪对白视频| 又黄又粗又硬又大视频| 飞空精品影院首页| 欧美黑人精品巨大| 欧美激情 高清一区二区三区| 久久久水蜜桃国产精品网| 99精国产麻豆久久婷婷| 91成年电影在线观看| 国产精品国产av在线观看| 亚洲成人免费av在线播放| 999久久久国产精品视频| 精品亚洲成a人片在线观看| 日韩视频在线欧美| 日韩欧美三级三区| 大香蕉久久网| 久久国产精品大桥未久av| 黄色视频,在线免费观看| 久久久久久久久久久久大奶| 成人黄色视频免费在线看| 99久久精品国产亚洲精品| 国产人伦9x9x在线观看| 99精品在免费线老司机午夜| 老司机亚洲免费影院| 水蜜桃什么品种好| 女人被躁到高潮嗷嗷叫费观| 国产精品久久久av美女十八| 一本一本久久a久久精品综合妖精| 成人亚洲精品一区在线观看| 天天操日日干夜夜撸| 99国产精品免费福利视频| 欧美老熟妇乱子伦牲交| 国产三级黄色录像| 大型av网站在线播放| 在线观看免费日韩欧美大片| 十分钟在线观看高清视频www| 黑人猛操日本美女一级片| 少妇猛男粗大的猛烈进出视频| 在线观看66精品国产| 亚洲专区中文字幕在线| 国产xxxxx性猛交| 99精品欧美一区二区三区四区| 免费高清在线观看日韩| 久久久久久久精品吃奶| 日本av免费视频播放| 日本撒尿小便嘘嘘汇集6| 法律面前人人平等表现在哪些方面| 一级毛片女人18水好多| 国产成+人综合+亚洲专区| 国产亚洲一区二区精品| videos熟女内射| 亚洲第一青青草原| 久久中文字幕一级| 欧美日韩成人在线一区二区| 亚洲成a人片在线一区二区| 黑人猛操日本美女一级片| 久久 成人 亚洲| 在线观看66精品国产| 精品亚洲成a人片在线观看| 午夜福利,免费看| 性色av乱码一区二区三区2| 免费在线观看黄色视频的| 精品久久蜜臀av无| 脱女人内裤的视频| 一边摸一边抽搐一进一出视频| 三上悠亚av全集在线观看| 国产精品久久久人人做人人爽| 成在线人永久免费视频| 91国产中文字幕| 欧美另类亚洲清纯唯美| 国产亚洲精品一区二区www | 欧美激情久久久久久爽电影 | 亚洲 国产 在线| av在线播放免费不卡| 成年人免费黄色播放视频| 亚洲av日韩在线播放| 亚洲人成电影免费在线| 午夜激情久久久久久久| 99九九在线精品视频| 久久久久久免费高清国产稀缺| 天天躁夜夜躁狠狠躁躁| 国产一卡二卡三卡精品| 男女免费视频国产| 99热国产这里只有精品6| av天堂久久9| 在线十欧美十亚洲十日本专区| 午夜精品国产一区二区电影| 一进一出好大好爽视频| 国产亚洲精品久久久久5区| 黄色片一级片一级黄色片| 国产精品欧美亚洲77777| 我要看黄色一级片免费的| 老汉色∧v一级毛片| 美女午夜性视频免费| 在线天堂中文资源库| a在线观看视频网站| 国产亚洲欧美精品永久| 天天躁日日躁夜夜躁夜夜| 久久婷婷成人综合色麻豆| av欧美777| 天天添夜夜摸| 黄片大片在线免费观看| 国产精品免费大片| 欧美国产精品va在线观看不卡| 人人妻,人人澡人人爽秒播| 19禁男女啪啪无遮挡网站| 国产欧美日韩一区二区精品| 色综合欧美亚洲国产小说| av一本久久久久| 国产精品久久久久成人av| 亚洲全国av大片| 午夜福利,免费看| 人成视频在线观看免费观看| 女人精品久久久久毛片| 国产免费视频播放在线视频| 国产精品久久久久久精品古装| 两个人免费观看高清视频| 国内毛片毛片毛片毛片毛片| 欧美成狂野欧美在线观看| 熟女少妇亚洲综合色aaa.| 亚洲va日本ⅴa欧美va伊人久久| 999久久久国产精品视频| 国产精品二区激情视频| 桃红色精品国产亚洲av| 丰满人妻熟妇乱又伦精品不卡| 一本大道久久a久久精品| 亚洲少妇的诱惑av| 国产精品.久久久| 国产av又大| 久久午夜综合久久蜜桃| a级毛片黄视频| 亚洲美女黄片视频| 成年人免费黄色播放视频| 久久精品成人免费网站| 老司机午夜福利在线观看视频 | 国产精品久久久久久精品古装| 亚洲成人国产一区在线观看| 国产福利在线免费观看视频| 最黄视频免费看| 91老司机精品| 777久久人妻少妇嫩草av网站| 国产不卡一卡二| 中文字幕另类日韩欧美亚洲嫩草| 欧美日韩福利视频一区二区| 我的亚洲天堂| av超薄肉色丝袜交足视频| 菩萨蛮人人尽说江南好唐韦庄| 亚洲精品av麻豆狂野| 飞空精品影院首页| 亚洲精品美女久久久久99蜜臀| 免费看十八禁软件| 大片电影免费在线观看免费| 亚洲欧美一区二区三区久久| 丝瓜视频免费看黄片| 日韩三级视频一区二区三区| 亚洲五月婷婷丁香| 久久热在线av| 黄网站色视频无遮挡免费观看| 久久久精品免费免费高清| 亚洲av日韩在线播放| 久久久久久亚洲精品国产蜜桃av| 亚洲午夜理论影院| 黄色 视频免费看| 国产欧美亚洲国产| 99香蕉大伊视频| 欧美久久黑人一区二区| 黄色视频在线播放观看不卡| 99re在线观看精品视频| 精品久久久久久久毛片微露脸| 久久这里只有精品19| 免费一级毛片在线播放高清视频 | 久久人人97超碰香蕉20202| 99在线人妻在线中文字幕 | 大香蕉久久成人网| 久久影院123| 中文亚洲av片在线观看爽 | 热99久久久久精品小说推荐| 夜夜爽天天搞| svipshipincom国产片| 欧美激情久久久久久爽电影 | 另类亚洲欧美激情| 男女下面插进去视频免费观看| 首页视频小说图片口味搜索| 亚洲专区字幕在线| 久久精品国产a三级三级三级| 日韩熟女老妇一区二区性免费视频| 99久久国产精品久久久| 窝窝影院91人妻| 三上悠亚av全集在线观看| av有码第一页| 日本一区二区免费在线视频| 久久国产亚洲av麻豆专区| 欧美日韩亚洲高清精品| 午夜福利免费观看在线| 日本一区二区免费在线视频| 在线观看舔阴道视频| 999久久久精品免费观看国产| www.自偷自拍.com| 美女视频免费永久观看网站| 成年版毛片免费区| 男男h啪啪无遮挡| www.熟女人妻精品国产| 在线av久久热| 人人澡人人妻人| 亚洲色图av天堂| 日韩欧美一区二区三区在线观看 | 久久狼人影院| 视频在线观看一区二区三区| 91大片在线观看| 欧美日韩亚洲高清精品| 色94色欧美一区二区| e午夜精品久久久久久久| 女性被躁到高潮视频| 久久中文看片网| 国产精品美女特级片免费视频播放器 | 精品国产超薄肉色丝袜足j| 高清视频免费观看一区二区| 如日韩欧美国产精品一区二区三区| 高清av免费在线| 老熟妇乱子伦视频在线观看| 久久久欧美国产精品| 欧美乱妇无乱码| 怎么达到女性高潮| 伊人久久大香线蕉亚洲五| 国内毛片毛片毛片毛片毛片| 人妻久久中文字幕网| 免费日韩欧美在线观看| 国产又色又爽无遮挡免费看| 国产黄色免费在线视频| 亚洲欧洲精品一区二区精品久久久| 老司机靠b影院| 俄罗斯特黄特色一大片| 欧美日韩亚洲国产一区二区在线观看 | 视频区欧美日本亚洲| 一区二区av电影网| 成年人午夜在线观看视频| 欧美午夜高清在线| 中文字幕人妻熟女乱码| 成人永久免费在线观看视频 | 在线av久久热| 精品少妇一区二区三区视频日本电影| 19禁男女啪啪无遮挡网站| 狂野欧美激情性xxxx| 亚洲五月色婷婷综合| 亚洲精品美女久久久久99蜜臀| 性少妇av在线| 国产精品国产高清国产av | 欧美激情 高清一区二区三区| 国产成人一区二区三区免费视频网站| 国产成+人综合+亚洲专区| 国产精品久久久人人做人人爽| 别揉我奶头~嗯~啊~动态视频| 国产亚洲精品一区二区www | 成年动漫av网址| 国产成人影院久久av| 美女福利国产在线| 欧美乱妇无乱码| 亚洲色图综合在线观看| 天天影视国产精品| 女警被强在线播放| 麻豆成人av在线观看| 精品国产一区二区三区久久久樱花| 亚洲欧洲精品一区二区精品久久久| 亚洲少妇的诱惑av| 欧美日韩成人在线一区二区| 中文字幕精品免费在线观看视频| 深夜精品福利| 老司机福利观看| 自线自在国产av| 免费人妻精品一区二区三区视频| a级毛片黄视频| 日韩视频一区二区在线观看| 丰满人妻熟妇乱又伦精品不卡| 国产在线一区二区三区精| 18在线观看网站| 热99国产精品久久久久久7| 国产一区二区三区综合在线观看| 夫妻午夜视频| 男女午夜视频在线观看| 国产av又大| 女同久久另类99精品国产91| 18禁美女被吸乳视频| 岛国在线观看网站| a在线观看视频网站| 亚洲精品国产区一区二| 久久这里只有精品19| 丁香六月天网| 午夜成年电影在线免费观看| 国产91精品成人一区二区三区 | 极品教师在线免费播放| 岛国在线观看网站| 黄片大片在线免费观看| 亚洲全国av大片| 色婷婷av一区二区三区视频| 99re在线观看精品视频| 制服人妻中文乱码| 女性生殖器流出的白浆| 中文字幕精品免费在线观看视频| 一级片免费观看大全| 黄网站色视频无遮挡免费观看| 一区在线观看完整版| 99久久人妻综合| 可以免费在线观看a视频的电影网站| avwww免费| 久久影院123| 啦啦啦 在线观看视频| 精品国产国语对白av| 亚洲av日韩在线播放| 精品少妇一区二区三区视频日本电影| 亚洲一卡2卡3卡4卡5卡精品中文| 精品亚洲成a人片在线观看| 国产视频一区二区在线看| 亚洲av国产av综合av卡| 少妇粗大呻吟视频| 桃花免费在线播放| 一区二区日韩欧美中文字幕| 9色porny在线观看| 午夜福利免费观看在线| 岛国在线观看网站| 国产精品偷伦视频观看了| 午夜精品国产一区二区电影| 狂野欧美激情性xxxx| 国产免费av片在线观看野外av| 50天的宝宝边吃奶边哭怎么回事| 老司机影院毛片| 岛国在线观看网站| 久久性视频一级片| 国产深夜福利视频在线观看| 久久久国产一区二区| 18禁国产床啪视频网站| 久久国产亚洲av麻豆专区| 91av网站免费观看| 亚洲精品成人av观看孕妇| 国产欧美日韩一区二区精品| 在线观看人妻少妇| 正在播放国产对白刺激| 成人免费观看视频高清| 色婷婷久久久亚洲欧美| 两性夫妻黄色片| 伊人久久大香线蕉亚洲五| 亚洲第一欧美日韩一区二区三区 | 欧美成人免费av一区二区三区 | 精品久久久久久久毛片微露脸| 国产精品熟女久久久久浪| 最新的欧美精品一区二区| 中文字幕制服av| 亚洲精品乱久久久久久| 欧美老熟妇乱子伦牲交| 精品国产国语对白av| av网站免费在线观看视频| 国产一区二区三区视频了| 免费不卡黄色视频| 他把我摸到了高潮在线观看 | 国产成人精品久久二区二区91| 日韩一区二区三区影片| 国产精品秋霞免费鲁丝片| 亚洲国产看品久久| 免费在线观看日本一区| 精品免费久久久久久久清纯 | 天堂动漫精品| 国产在视频线精品| 嫁个100分男人电影在线观看| 韩国精品一区二区三区| 国产激情久久老熟女| 捣出白浆h1v1| www日本在线高清视频| 国产色视频综合| 精品人妻1区二区| 欧美中文综合在线视频| 岛国毛片在线播放| a级毛片黄视频| 波多野结衣一区麻豆| 天天躁狠狠躁夜夜躁狠狠躁| 黑人欧美特级aaaaaa片| 日韩欧美免费精品| 精品国产超薄肉色丝袜足j| 日本vs欧美在线观看视频| 99国产极品粉嫩在线观看| 国产亚洲午夜精品一区二区久久| 亚洲精品国产精品久久久不卡| 在线十欧美十亚洲十日本专区| 中文欧美无线码| 丁香六月天网| 国产一区二区 视频在线| 黑丝袜美女国产一区| 少妇 在线观看| 精品国产一区二区久久| 欧美黑人精品巨大| 成人精品一区二区免费| 色精品久久人妻99蜜桃| 99久久人妻综合| 丰满人妻熟妇乱又伦精品不卡| 亚洲av日韩精品久久久久久密| 黄色视频在线播放观看不卡| 国产国语露脸激情在线看| 日韩精品免费视频一区二区三区| 中文字幕av电影在线播放| 99国产精品一区二区蜜桃av | 国产在线免费精品| 五月天丁香电影| 午夜精品久久久久久毛片777| 免费黄频网站在线观看国产| 天堂8中文在线网| 欧美激情高清一区二区三区| 久久久久久免费高清国产稀缺| 国产成人欧美在线观看 | 亚洲一卡2卡3卡4卡5卡精品中文| 日韩 欧美 亚洲 中文字幕| 精品国内亚洲2022精品成人 | tocl精华| 美女午夜性视频免费| 亚洲 欧美一区二区三区| 国产福利在线免费观看视频| 纯流量卡能插随身wifi吗| 国产激情久久老熟女| 亚洲av日韩精品久久久久久密| 国产精品1区2区在线观看. | 成人18禁在线播放| 老司机影院毛片| 午夜两性在线视频| 亚洲精品乱久久久久久| 捣出白浆h1v1| 精品福利观看| 老司机午夜十八禁免费视频| 久久久欧美国产精品| 精品久久久精品久久久| 久久午夜亚洲精品久久| 国产真人三级小视频在线观看| 日日夜夜操网爽| 亚洲国产欧美一区二区综合| 亚洲精品在线观看二区| 亚洲情色 制服丝袜| 日本a在线网址| 亚洲国产成人一精品久久久| 国产精品 欧美亚洲| 国产精品一区二区在线观看99| 国产日韩欧美视频二区| 中文字幕色久视频| 99在线人妻在线中文字幕 | 国产欧美日韩一区二区三| 精品久久久精品久久久| 成人黄色视频免费在线看| avwww免费| 国产成人精品久久二区二区免费| 十八禁人妻一区二区| 国产精品麻豆人妻色哟哟久久| 50天的宝宝边吃奶边哭怎么回事| 欧美在线一区亚洲| 国产精品影院久久| 人人澡人人妻人| 69av精品久久久久久 | 亚洲国产中文字幕在线视频| 国产精品一区二区在线观看99| 超色免费av| 涩涩av久久男人的天堂| 精品国产乱子伦一区二区三区| 欧美精品一区二区大全| av天堂在线播放| 色视频在线一区二区三区| 国产成人精品久久二区二区91| 自线自在国产av| 丰满迷人的少妇在线观看| 国产福利在线免费观看视频| 亚洲av成人不卡在线观看播放网| 国产一区二区 视频在线| 国产福利在线免费观看视频| 亚洲av成人不卡在线观看播放网| 国产在线精品亚洲第一网站| cao死你这个sao货| 十八禁高潮呻吟视频| 久久久久久久久免费视频了| 男女下面插进去视频免费观看| 国产在线一区二区三区精| 黄色a级毛片大全视频| 老鸭窝网址在线观看| 色在线成人网| 久久 成人 亚洲| 免费人妻精品一区二区三区视频| 国产不卡一卡二| 久久精品国产综合久久久| 久久精品成人免费网站| 免费少妇av软件| 精品卡一卡二卡四卡免费| 亚洲天堂av无毛| 热99久久久久精品小说推荐|