• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    商業(yè)自動化決策算法解釋權(quán)的功能定位與實現(xiàn)路徑

    2020-06-04 13:18:42張凌寒
    關(guān)鍵詞:解釋權(quán)權(quán)利決策

    張凌寒

    (北京科技大學(xué) 文法學(xué)院,北京 100083)

    一、問題的提出:算法解釋如何從技術(shù)方案轉(zhuǎn)為法律制度?

    算法的自動化決策廣泛應(yīng)用于公共領(lǐng)域與商業(yè)平臺,深刻地影響著個體的多項權(quán)利。以商業(yè)領(lǐng)域的自動化決策為例,算法不僅決定了導(dǎo)航的路線、新聞的議程,更是深度嵌入信用評級、保險醫(yī)療、教育就業(yè)等領(lǐng)域。不僅如此,商業(yè)平臺通過法律授權(quán)、后門、買賣與外包等方式,使得算法與數(shù)據(jù)在公私領(lǐng)域間流動。例如,芝麻信用這類的商業(yè)算法自動化決策結(jié)果延伸至申領(lǐng)護照、身份認證等公共服務(wù)場景。因此,商業(yè)自動化決策結(jié)果借由決策結(jié)果的共享對用戶個人產(chǎn)生橫跨公私領(lǐng)域的深遠影響。

    然而,由于數(shù)據(jù)來源的不透明、算法黑箱等因素,用戶個體難以得知商業(yè)自動化決策的結(jié)果是如何得出的。近年來,各國的立法者與學(xué)界達成共識,即算法的自動化決策應(yīng)當具備可解釋性,用戶有權(quán)知曉決策的原因。(1)See Association for Computing Machinery Us Public Policy Council(Usacm):Statement on Algorithmic Transparency and Accountability,https://www.acm.org/binaries/content/assets/public-policy/2017_usacm_statement_algorithms.pdf,最后訪問日期:2019年6月20日。自動化決策算法的可解釋性被認為對建立算法問責制[1]、促進在人工智能中嵌入倫理[2]、保護隱私[3]和確定人工智能法律責任[4]方面具有重大的制度價值。

    盡管如此,現(xiàn)有的算法解釋的制度多針對公共部門算法,商業(yè)自動化決策的算法解釋卻存在諸多爭議。如法國的秘書國家數(shù)字事務(wù)部部長表示:“如果政府不能解釋其決定,政府就不應(yīng)該使用算法?!?2)See Joshua New and Daniel Castro:How Policymakers Can Foster Algorithmic Accountability, http://www2.datainnovation.org/2018-algorithmic-accountability.pdf, 最后訪問日期:2019年5月12日。紐約市的算法監(jiān)管法案,針對的也是政府使用算法做出行政行為的解釋。(3)非盈利組織Propublica研究發(fā)現(xiàn),Northpoint公司開發(fā)的犯罪風(fēng)險評估算法Compas系統(tǒng)性地歧視了黑人,白人更多被錯誤的評估為具有低犯罪風(fēng)險,而黑人被錯誤地評估為具有高犯罪風(fēng)險的概率兩倍于白人。See Kirchner,Julia Angwin Surya Mattu,Jeff Larson,Lauren.Machine Bias:There’s Software Used Across The Country To Predict Future Criminals.And it’s Biased Against Blacks.ProPublica.https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing,最后訪問日期:2017 年11月1日。相比公共部門算法解釋的理論支撐與司法實踐,商業(yè)自動化決策算法的可解釋性則面臨著重重障礙:有的觀點擔憂算法解釋權(quán)會損害商業(yè)秘密,有的觀點認為賦予用戶算法解釋權(quán)會給平臺增加巨大的負擔??偟膩碚f,現(xiàn)有的商業(yè)自動化決策的算法解釋更多被認為是一種技術(shù)解決方案:通過披露平臺的算法(甚至是源代碼)來達到自動化決策可解釋性的要求。即使如此,這種技術(shù)方案性質(zhì)的算法解釋路徑的功能也依然存疑。(4)如有觀點認為:“自動化決策解釋這種透明度規(guī)范功能有限——因為我們并不知道需要看到什么內(nèi)容才能對算法自動決策的過程放心?!?Joshua A.Kroll, Solon Barocas, Edward W.Felten, Joel R.Reiden-Berg, David G.Robinson, And Harlan Yu.Accountable Algorithms.165u.pa.l.rev.(2016), p.633.

    如何將商業(yè)自動化決策的算法解釋從一種技術(shù)方案轉(zhuǎn)化為可行的法律制度呢?回答這一問題,本文首先需澄清技術(shù)意義上的算法解釋與法律意義上的算法解釋的功能區(qū)別,進而探討私權(quán)利性質(zhì)的算法解釋權(quán)在算法治理體系中的功能定位。實現(xiàn)這樣的制度功能,則依靠對算法解釋權(quán)的權(quán)利構(gòu)造和權(quán)利內(nèi)容進行大膽而細致的制度設(shè)計。與此同時,需兼顧效率與公平,探討算法解釋權(quán)的適用范圍、解釋標準與行使程序。

    雖然公私領(lǐng)域均廣泛應(yīng)用自動化決策,但公權(quán)力運行規(guī)則與私權(quán)領(lǐng)域截然不同。本文將討論局限于商業(yè)自動化決策,為了行文簡潔下文均簡稱為自動化決策。

    二、自動化決策算法解釋作為技術(shù)方案的誤區(qū)與澄清

    自動化決策算法解釋權(quán)面臨的許多質(zhì)疑都來源于將算法解釋作為技術(shù)方案的誤區(qū)。這樣的質(zhì)疑包括:一、認為而且由于機器學(xué)習(xí)技術(shù)的發(fā)展,算法的決策過程對于其開發(fā)者都是不透明的,因此也無法提供實質(zhì)的自動化決策算法解釋。[5]二、用戶不能理解算法解釋權(quán)提供的算法源代碼,因此算法解釋權(quán)制度沒有價值。有學(xué)者指出,絕大多數(shù)用戶都是 “技術(shù)文盲”,即缺乏理解數(shù)據(jù)建立算法和機器學(xué)習(xí)模型的基礎(chǔ)技術(shù)知識。因此,即使為用戶提供了自動化決策的算法解釋,也沒有實質(zhì)性幫助。這種將算法解釋作為技術(shù)方案的觀點,混淆了自動化決策算法作為技術(shù)方案的內(nèi)部解釋和作為法律路徑的外部解釋。持此觀點者認為只有披露源代碼才能獲得解釋,是將提高透明度和產(chǎn)生社會信任的“外部解釋”誤認為技術(shù)開發(fā)需要的“內(nèi)部解釋”。

    自動化決策算法的內(nèi)部解釋和外部解釋具有不同的制度功能。內(nèi)部解釋,是程序員或科學(xué)家做出的技術(shù)解釋,具體指通過觀察模型的輸入和輸出之間的關(guān)系,檢查某部分的作用,而排除系統(tǒng)故障、增強系統(tǒng)可靠性并驗證系統(tǒng)功能。[8]這與外部解釋并不相同。外部解釋指以精確的方式(忠實于自動化決策系統(tǒng))和人類可理解的方式做出的自動化決策理由解釋,用以建立公眾對自動化決策的信任,驗證其遵守了法規(guī)與政策的要求。[8]1-10正如評價餐廳的衛(wèi)生標準并不需要知道其菜單的配方,評價汽車的碰撞標準也不需要了解汽車的技術(shù)細節(jié)一樣,通過外部解釋獲取自動化決策的算法解釋,無須獲知算法源代碼的技術(shù)細節(jié)。

    由于內(nèi)外部解釋的制度功能的不同,其解釋對象、標準、內(nèi)容也存在巨大差異。內(nèi)部解釋以內(nèi)部技術(shù)人員為對象,標準是“可判斷性”(interpretable)[9]9,內(nèi)容包括自動化決策系統(tǒng)如何運行,以實現(xiàn)技術(shù)故障診斷與修復(fù)的制度功能。而外部解釋是以用戶和監(jiān)管部門為對象,標準是“可理解的”(comprehensible),內(nèi)容是使外部可知曉自動化決策是如何做出的,如此方可使沒有技術(shù)背景的人得以追溯自動化決策。[10]117

    基于內(nèi)外部解釋的區(qū)分,可得出結(jié)論:自動化決策算法解釋權(quán)并不要求用戶理解源代碼即可實現(xiàn)制度功能。自動化決策算法的外部解釋要么需要算法設(shè)計層面的價值取向、決策各要素權(quán)重,要么需要算法運行層面的運行機制解釋,而這些功能性信息需要平臺提供,但形式并非算法源代碼。現(xiàn)實中的算法解釋也未深入算法源代碼的層面。例如,魏則西事件后,聯(lián)合調(diào)查組要求百度采用以信譽度為主要權(quán)重的排名算法(5)參見佚名:《國家網(wǎng)信辦聯(lián)合調(diào)查組公布進駐百度調(diào)查結(jié)果》,中國政府網(wǎng),http://www.gov.cn/xinwen/2016-05/09/content_5071628.htm,最后訪問日期:2017年8月20日。,其對算法的調(diào)查(獲得解釋)和整改限于設(shè)計價值理念層面。又如2015年的任某訴百度名譽權(quán)案件中,法院調(diào)查獲得的算法解釋則限于運行機制層面。法院認定百度自動補足算法的搜索建議“即任某姓名系百度經(jīng)過相關(guān)算法的處理后顯示的客觀存在網(wǎng)絡(luò)空間的字符組合”,而這種外部解釋已經(jīng)足夠判決得出“百度無主觀過錯”的結(jié)論。[11]因此,外部解釋或限于算法設(shè)計層面的價值考量,或限于算法運行層面的結(jié)果追溯,這些功能性信息的解釋不需要調(diào)取源代碼,因此也無須擔憂算法的解釋會損害平臺的商業(yè)秘密。

    繼而可能產(chǎn)生的疑問是,如果不進行源代碼的檢驗,誰來驗證平臺提供的算法解釋是否真實?首先,自動化決策的算法解釋必須具有可驗證性,即能夠解釋算法決策結(jié)果。這種外部的驗證一般可通過輸入相似的條件,觀察是否得出相似的自動化決策結(jié)果來驗證。例如平臺對某用戶的信用評分較低,當用戶提出自動化決策的算法解釋請求后,完全可以通過調(diào)取與該用戶相似條件的用戶評分數(shù)據(jù)對算法解釋進行驗證,而無須進入源代碼的層次。其次,用戶個人發(fā)起的自動化決策的算法解釋權(quán)制度目的是救濟用戶個人。如果用戶認為自動化決策的算法解釋不具有可驗證性,應(yīng)有其他相應(yīng)制度進一步救濟。

    自動化決策的算法解釋權(quán)作為法律路徑的功能是生產(chǎn)社會信任。自動化決策的算法解釋權(quán)能夠為用戶個人提供決策相關(guān)的信息,其生產(chǎn)信任的功能既指向過去,更指向未來:一方面能夠解釋過去的決策回報用戶基于用戶協(xié)議投入的信任;另一方面提供解釋增強未來用戶個體對于自動化決策的信任。從自動化決策算法解釋可回報用戶過去投入的信任而言,用戶意思自治下的“同意”必然包含著,用戶有理由期望在發(fā)生危害和錯誤時,平臺將以公正和負責任的態(tài)度做出回應(yīng),否則將無從基于信賴利益接受用戶協(xié)議。這種合理要求并不因服務(wù)協(xié)議中沒有提及或排除而消失。從算法解釋可以作為未來的信任生產(chǎn)機制而言,自動化決策算法的不透明性使得民眾對于自動化決策本身就缺乏信任,相繼發(fā)生的算法歧視、算法共謀、大數(shù)據(jù)殺熟等事件更使得自動化決策的公正性廣受社會的質(zhì)疑。平臺能夠提供解釋、解釋具有可驗證性等均可解除社會公眾對于算法黑箱的質(zhì)疑,提高自動化決策的透明度,促進決策公正。

    綜上所述,獲得對自動化決策算法的解釋,目的是追溯自動化決策結(jié)果的來源,考察自動化決策的價值考量,而非獲得自動化決策的內(nèi)部技術(shù)細節(jié)。既無須擔憂用戶無法理解算法自動化決策的解釋,更無須因此否定自動化決策算法解釋權(quán)的制度價值。因此,對算法解釋的認識應(yīng)及時從技術(shù)方案的誤區(qū)中走出,將算法解釋作為生產(chǎn)社會信任的法律制度,探討其在算法治理體系中的功能與地位。

    三、自動化決策算法解釋權(quán)的制度功能定位:算法治理體系的私權(quán)安全網(wǎng)

    自動化決策算法解釋權(quán)是救濟用戶的私權(quán)利,它由用戶個人向自動化決策的使用者(本文語境下的商業(yè)平臺)請求發(fā)起。作為私權(quán)利性質(zhì)的請求權(quán),自動化決策算法解釋權(quán)具有無法替代的救濟作用,在算法治理體系中承擔著保障用戶個人權(quán)利的安全網(wǎng)的作用。

    算法解釋權(quán)制度作為一項法律制度,功能仍然受到一些質(zhì)疑。有觀點認為作為私權(quán)利的算法解釋權(quán)行使成本過高,用戶個人難以獲得救濟。商業(yè)自動化決策的設(shè)計者和使用者一般為大型互聯(lián)網(wǎng)平臺,與用戶在技術(shù)、資源等方面力量相差極為懸殊。因此,以用戶一己之力去請求平臺提供自動化決策解釋,需要付出極大的時間精力和金錢成本而收益較低。例如,淘寶的算法對用戶的支付寶賬戶采取取消收款、資金止付等強制措施,用戶推翻算法決策需要舉證(6)參見《淘寶平臺服務(wù)協(xié)議全文(2016年10月版)》中淘寶自動化決策對用戶違約的認定:“6.1淘寶可在淘寶平臺規(guī)則中約定違約認定的程序和標準。如:淘寶可依據(jù)您的用戶數(shù)據(jù)與海量用戶數(shù)據(jù)的關(guān)系來認定您是否構(gòu)成違約;您有義務(wù)對您的數(shù)據(jù)異?,F(xiàn)象進行充分舉證和合理解釋,否則將被認定為違約?!?http://b2b.toocle.com/detail--6361764.html,最后訪問日期:2017年11月23日。,導(dǎo)致用戶很可能因成本原因放棄維權(quán)。誠然,私權(quán)利性質(zhì)的算法解釋權(quán)面臨著權(quán)利行使成本較高的問題,但是其在算法治理的法律體系中起到無可替代的作用。

    第一,算法治理體系中的各項制度中僅有私權(quán)利路徑可由用戶個人啟動,代表了用戶的立場。在現(xiàn)有的算法治理體系中,算法問責制、算法透明度規(guī)則、平臺自律等相關(guān)機制均在實踐中推進。然而,這些制度要么代表政府的立場,要么代表自動化決策使用者(平臺)的立場。如算法問責制代表政府立場,政府要求自動化決策的使用者(平臺)符合法律要求,承擔違規(guī)的責任。又如,平臺的平臺自治規(guī)則代表平臺立場,平臺通過平臺架構(gòu)使得用戶必須遵循平臺規(guī)定的行為流程。自治規(guī)則以淘寶網(wǎng)的糾紛解決機制、騰訊微信公眾號的抄襲舉報規(guī)則為代表。在政府、平臺和用戶三方力量的對比中,用戶處于極為弱勢的地位:既沒有政府公權(quán)力一樣強大的力量抗衡平臺,也沒有技術(shù)力量做自動化決策算法的審查,甚至沒有力量用腳投票離開平臺。因此,私權(quán)利保護路徑具有不可替代的作用。

    第二,算法治理體系中,僅有算法解釋權(quán)針對具體自動化決策的修正。在現(xiàn)有的用戶個體可以行使的私權(quán)利清單中,僅有自動化決策的算法解釋權(quán)針對具體的自動化決策,可以起到修正具體自動化決策的作用。例如,現(xiàn)有法律制度中,歐盟《通用數(shù)據(jù)保護條例》(GDPR)中的一系列提供給用戶(數(shù)據(jù)主體)對抗平臺(數(shù)據(jù)控制者)的私權(quán)利包括:質(zhì)疑自動化決策結(jié)果(7)GDPR Article 22(3)in the Cases Referred to in Points(A)and(C)of Paragraph 2, The data controller shall implement suitable measures to safeguard the data subject’s rights and freedoms and legitimate interests, at least the right to obtain human intervention on the part of the controller, to express his or her point of view and to contest the decision.,獲得解釋(8),雖然這一權(quán)利是否具有法律效力尚有學(xué)者提出質(zhì)疑,但《歐洲通用數(shù)據(jù)保護條例》仍是第一部提出數(shù)據(jù)主體獲得自動化決策算法解釋權(quán)利的法律。不受純粹的自動化決策并獲得人為決策的權(quán)利。(9)GDPR Article 22(1)of the General Data Protection Regulation(GDPR)“The data subject has the right not to be subject to a decision based solely on automated processing, including profiling, when it produces legal effects concerning him or her or at least it similarly significantly affects him or her”.在這些私權(quán)利的選擇中,用戶選擇是全有或全無的“留下還是離開”:要么拒絕自動化決策的結(jié)果,要么選擇重新獲得一個決策。唯有自動化決策的算法解釋權(quán),給了用戶修正一個具體決策的機會。在自動化決策無所不在的人工智能時代,這極為重要:全盤接受還是拒絕都意味著巨大的成本,只有修正還意味著在原有算法決策體系內(nèi)保有位置并獲得正確決策結(jié)果。因此,自動化決策的算法解釋權(quán)的制度價值,即使在用戶的私權(quán)利保護路徑中,也是無可替代的。

    第三,即使算法解釋權(quán)因行使成本高而極少被主張,也能宣告用戶權(quán)利,彰顯法律態(tài)度,起到算法治理體系中的安全網(wǎng)的作用?!鞍踩W(wǎng)”一詞常被用于描繪社會保障體系的作用,指當公民遭遇變故與不幸時,社會保障體系能夠滿足公民基本需求,緩解社會焦慮與不安。[12]如果算法治理體系中的一系列事前的風(fēng)險防范制度、事中的正當程序以及事后問責制度都未能起到作用時,私權(quán)利性質(zhì)的算法解釋權(quán),就成了保護用戶個人權(quán)利、恢復(fù)社會信任的最后一道防線。因此,“安全網(wǎng)”一詞形象地描述了自動化決策算法解釋權(quán)在算法治理體系中的定位。算法解釋權(quán)權(quán)利行使的成本可通過具體制度的設(shè)計而逐步降低,但不能以此作為其沒有制度價值的理由。例如,為了實現(xiàn)產(chǎn)品質(zhì)量安全,法律設(shè)計了多層次的制度體系:包括事前的行業(yè)準入制度、產(chǎn)品質(zhì)量體系標準,事中的行政部門質(zhì)量抽查檢測,事后的刑事、行政責任以及產(chǎn)品侵權(quán)責任。顯然,不能寄希望于以私權(quán)性質(zhì)的產(chǎn)品侵權(quán)責任發(fā)揮最為重要的作用,但產(chǎn)品侵權(quán)責任作為私權(quán)救濟路徑有其必要的存在價值。

    至此可以得出結(jié)論,作為私權(quán)利的自動化決策算法解釋權(quán)在一個完整的算法治理法律體系中的地位是不可取代的。作為一項法律制度,算法解釋權(quán)可以追溯決策來源、生產(chǎn)社會信任,更重要的是可以作為救濟用戶個人的最后一道防線。那么,如何對算法解釋權(quán)的權(quán)利構(gòu)造和內(nèi)容進行設(shè)計能夠?qū)崿F(xiàn)這樣的制度功能呢?

    四、自動化決策算法解釋權(quán)的雙層結(jié)構(gòu)與具體內(nèi)容

    制度功能的實現(xiàn)需要精心的制度設(shè)計。自動化決策算法解釋權(quán)是典型的“信息糾正”手段,目的在于矯正自動化決策中雙方嚴重信息不對稱的地位,使信息從信息優(yōu)勢方向信息劣勢方流動,而達到雙方衡平。[13]那么,算法解釋權(quán)應(yīng)如何構(gòu)造以提供充分的信息,能夠?qū)崿F(xiàn)救濟用戶的制度功能?第一,需要研究算法解釋權(quán)的權(quán)利構(gòu)造,即信息應(yīng)以何種層次提供;第二,需闡明算法解釋的具體內(nèi)容,即信息以何種類型提供。

    (一)包含知情與干預(yù)的雙層結(jié)構(gòu)

    自動化決策的算法解釋權(quán)必須以行為干預(yù)為導(dǎo)向,提供用戶知情與行為干預(yù)兩個層次的信息,是一個完整的、正當?shù)臋?quán)利構(gòu)造。早在歐盟《通用數(shù)據(jù)保護條例》(GDPR)2016年頒布時,就有學(xué)者質(zhì)疑算法解釋權(quán)僅提供知情功能不提供救濟功能。具體而言,認為GDPR支持數(shù)據(jù)主體獲得有關(guān)自動化決策的邏輯的信息,僅僅是一種知情權(quán),意義有限。[14]也就是說,如果用戶獲得的解釋內(nèi)容是系統(tǒng)通用的一般功能,那么所有人獲得的解釋內(nèi)容都是一樣的。而一個“有用”的解釋必須是具有針對性的有意義的解釋。[14]僅僅提供信息使用戶知情,并無法發(fā)揮自動化決策算法解釋權(quán)的救濟功能。

    何為自動化決策算法解釋權(quán)應(yīng)以對用戶個人行為的干預(yù)作為導(dǎo)向?制度功能以干預(yù)為導(dǎo)向,意指自動化決策算法解釋權(quán)的目的不僅在使用戶知曉自動化決策結(jié)果是如何得到的,也要使用戶知曉如何干預(yù)以改變未來的自動化決策結(jié)果。換句話說,自動化決策算法解釋權(quán)提供給個人的信息不僅要包括為什么(why),也要包括怎么辦(how)。舉例而言,如果用戶沒有通過銀行的信用評估,一個以結(jié)果為目的的自動化決策解釋的內(nèi)容是“您沒有資格是因為您沒有及時支付最后三次租金支票”,一是以干預(yù)為導(dǎo)向的解釋內(nèi)容是“您沒有資格是因為沒有及時支付最后三次租金支票,您如果連續(xù)四次支付,分數(shù)將超過75%的用戶”。[15]GDPR提出的“解釋權(quán)”(Right to Explanation)廣為詬病是因為這僅僅是以“知情”作為結(jié)果目的的一種知情權(quán),在Recital 71條中強調(diào)的“公平透明的處理”意味著用戶有權(quán)知曉數(shù)據(jù)如何收集、審核、處理數(shù)據(jù),并采取措施防止歧視(10)歐盟《通用數(shù)據(jù)保護條例》(GDPR)中在71條明確提出了解釋權(quán),表述為被自動決策的人應(yīng)該具有適當?shù)谋Wo,具體應(yīng)包括數(shù)據(jù)主體的特別信息和獲得人類干預(yù),表達自己的觀點,并且有權(quán)獲得在評估決定的解釋,并對決定提出質(zhì)疑?!癛ecital 71, a person who has been subject to automated decision-making:should be subject to suitable safeguards, which should include specific information to the data subject and the right to obtain human intervention, to express his or her point of view,to obtain an explanation of the decision reached after such assessment and to challenge the decision.”,但對用戶具體行為的指導(dǎo)付諸闕如。

    為何自動化決策算法解釋權(quán)要以干預(yù)為導(dǎo)向?自動化決策算法在其適用的場景中具有一般規(guī)則的屬性,如信用評分、簡歷篩選等自動化決策算法事實上決定了用戶的財產(chǎn)、就業(yè)等權(quán)益。而具備正當性的規(guī)則應(yīng)具有可預(yù)測性,即人們可以根據(jù)規(guī)定,事先估計到當事人雙方將如何行為及行為的后果,從而對自己的行為做出合理的安排。(11)又稱為可預(yù)測性、安定性。參見雷磊:《法律方法、法的安定性與法治》,載《法學(xué)家》2015年第4期。然而,自動化決策仍處在黑箱之中,用戶事先不知自動化決策算法的權(quán)重因素,無從預(yù)測自己行為的后果,只能事后得知算法對自己的決策結(jié)果。為了彌補算法黑箱造成的正當性的缺陷,事后的自動化決策解釋應(yīng)該提供對用戶行為的指引。換句話說,事后通過解釋結(jié)果補足行為指引的信息,是算法作為一般行為規(guī)則的題中之義。如此自動化決策的算法才具有了作為一般行為規(guī)則的正當性。舉例而言,《行政許可法》規(guī)定,行政機關(guān)首先應(yīng)當公示行政許可的全部材料,行政相對人提交的材料中如果不全,行政機關(guān)應(yīng)一次性告知其所需的其他材料。(12)《行政許可法》第32條。這既包括事前的告知,也包括行政決策的結(jié)果,以及對相對人行為的指引。自動化決策在缺乏事前透明的情況下,如果其事后提供的解釋不以行為干預(yù)為導(dǎo)向,相當于行政機關(guān)反復(fù)告知行政相對人準備的申請材料不全,而行政相對人又無從知曉如何補足申請材料。因此,自動化決策的解釋應(yīng)以行為干預(yù)為導(dǎo)向,是自動化決策算法應(yīng)用正當性的必然要求。

    以結(jié)果和干預(yù)為導(dǎo)向的自動化決策解釋權(quán)有何不同?以結(jié)果為導(dǎo)向的解釋權(quán)與以干預(yù)為目的的解釋權(quán)有兩項重大區(qū)別:第一,解釋的內(nèi)容和深度不同。以干預(yù)為導(dǎo)向的解釋權(quán)意味著要深入了解自動化決策的內(nèi)部運作機制,即要了解數(shù)據(jù)“輸入”和結(jié)果“輸出”的對應(yīng)關(guān)系。如芝麻信用不僅要告知用戶為何具體的芝麻信用評分較低,也要告知用戶如何能夠提高自己的芝麻信用評分,且這種告知要針對具體用戶而非僅告知評分規(guī)則。第二,兩種導(dǎo)向的解釋提供給用戶的后續(xù)選擇不同。獲得結(jié)果為導(dǎo)向的解釋,用戶的后續(xù)選擇只能是接受或者退出自動化決策。而獲得干預(yù)為導(dǎo)向的解釋,賦予了用戶一定更改自動化決策的能動性,用戶仍可選擇留在自動化決策中獲得更好的結(jié)果。這也避免拒絕接受自動化決策結(jié)果的用戶向平臺申請調(diào)解或訴諸司法救濟,有效節(jié)約了社會資源。

    以干預(yù)為導(dǎo)向的自動化決策解釋權(quán)應(yīng)為何種權(quán)利構(gòu)造?具體包括:其一,具體自動化決策結(jié)果的理由說明(why),即解釋具體決策考慮的主要因素以及各因素不同的權(quán)重。可能包括但不限于:具體決策的理由、原因、產(chǎn)生決策結(jié)果的個人數(shù)據(jù),例如每種指標的功能權(quán)重,機器定義的特定案例決策規(guī)則,起參考輔助作用的信息等。[16]5188-5196其二,用戶個人更正自動化決策結(jié)果的行為指引(how),即應(yīng)提供某個因素改變時,自動化決策可能發(fā)生的改變,指出決定性因素。例如,由于您最近兩個月的銀行貸款沒有償還,所以這次的信用卡申請被拒絕,如果您及時償還貸款則可以獲得貸款。行為指引的目的在于提供救濟路徑,告知用戶可修正自動化決策的方法。最后,在某些情形下,還需要提供解釋為何相似的情況可能有不同的決定,或不同的情況可能有相似的決定。[17]說明理由的欠缺,相當于沒有理由,可能導(dǎo)致相應(yīng)自動化決策的無效或被撤銷。

    (二)自動化決策算法解釋的具體內(nèi)容

    那么自動化決策的算法解釋權(quán)以干預(yù)為導(dǎo)向的救濟功能如何實現(xiàn)呢?這需要對自動化決策算法解釋的具體內(nèi)容進行制度設(shè)計?,F(xiàn)有自動化決策的算法解釋對象究竟是自動化決策算法的權(quán)重設(shè)計,還是算法的運行方式,抑或算法決策采用的數(shù)據(jù)并不清晰。[18]633-705換句話說,當一個算法做出了錯誤決策,究竟需要得知的是設(shè)計問題、運行偏差,還是數(shù)據(jù)錯誤并無定論。因此,自動化決策算法解釋制度應(yīng)包含哪些具體內(nèi)容呢?

    一個自動化決策由算法和數(shù)據(jù)共同生成,因此解釋應(yīng)該囊括算法與數(shù)據(jù)的內(nèi)容,具體包含兩個層次。其中雙層是指自動化決策的算法解釋需包括理由說明與行為指引兩個層次,具體又有不同的解釋內(nèi)容:

    1.自動化決策算法解釋的第一層次為理由說明層次,包含以下三項內(nèi)容。

    其一,解釋自動化決策的算法。即需解釋與具體決策相關(guān)的系統(tǒng)功能,例如自動化決策系統(tǒng)的邏輯、意義、算法設(shè)定的目的和一般功能,包括但不限于系統(tǒng)的需求規(guī)范、決策樹、預(yù)定義模型、標準和分類結(jié)構(gòu)等。

    其二,解釋決策使用的個人數(shù)據(jù)。此解釋步驟可稱為數(shù)據(jù)更新和救濟步驟,可以排除錯誤的自動化決策是由數(shù)據(jù)偏差而產(chǎn)生的,決定是否有繼續(xù)解釋的必要。自動化決策的使用者應(yīng)保證個人數(shù)據(jù)的準確性、完整性、不確定性以及時效性。例如,2017年美國二手房銷售網(wǎng)站Zillow被一位房主起訴,認為其自動估價算法Zestimates嚴重低估自己的房產(chǎn)價值,給銷售造成了嚴重障礙。[19]一個錯誤的自動化決策可能造成“污染效應(yīng)”,錯誤的結(jié)果可以反復(fù)被其他平臺用來進行其他自動化決策,對用戶造成持續(xù)性損害。僅具有查明功能的算法解釋僅能披露信息,而不能進行錯誤決策的修正實現(xiàn)救濟。

    其三,其他的決策理由??赡馨ǖ幌抻诿糠N指標的功能權(quán)重,機器定義的特定案例決策規(guī)則,起參考輔助作用的信息等。在決策涉及相對人實體權(quán)利、程序權(quán)利及救濟權(quán)利,涉及“最低限度的公正”時應(yīng)就自動化決策系統(tǒng)的運行過程和做出行為的推理,給出理由說明。[20]

    2.自動化決策算法解釋的第二層次為行為指引層次,包括兩項內(nèi)容:其一,在自動化決策可以更改的指標中,用戶可更改的行為種類和內(nèi)容。其二,用戶做出行為調(diào)整之后的結(jié)果。

    值得強調(diào)的是,自動化決策的解釋中必然包含了對于個人數(shù)據(jù)使用情況的解釋。盡管如此,自動化決策的算法解釋權(quán)與個人數(shù)據(jù)保護制度之間的關(guān)系既有重合又有顯著的功能不同。二者重合之處在于,自動化決策的結(jié)果是由算法運算數(shù)據(jù)得出的,也就是說,數(shù)據(jù)的正確是自動化決策正確的必要條件。保護個人數(shù)據(jù)的準確性、完整性以及時效性(例如年齡信息會隨著時間推移而變化),是數(shù)據(jù)保護制度的功能之一。

    二者功能的巨大差別在于自動化決策算法解釋提供救濟的針對性。這種針對性體現(xiàn)為:第一算法解釋權(quán)針對某些特定用戶個體數(shù)據(jù)。自動化決策的算法解釋可以提供決策的理由,如果不利決策是錯誤的數(shù)據(jù)造成的,用戶則可以更新錯誤數(shù)據(jù)(提供正確或刪除錯誤數(shù)據(jù))要求重新自動決策。第二算法解釋權(quán)針對用戶的特定自動化決策場景。個人數(shù)據(jù)的價值在于應(yīng)用,對用戶個人數(shù)據(jù)權(quán)利的救濟應(yīng)重點放在救濟數(shù)據(jù)應(yīng)用中受到的權(quán)利損害。[21]因為數(shù)據(jù)必須借由算法的邏輯與運算,才能形成潛在的價值或者風(fēng)險。個人權(quán)利遭受損害的來源,不僅來自數(shù)據(jù)或算法,而是來自兩者的匯合。(13)Sugimoto,C.R.,Ekbia,H.R.,& Mattioli,M.:Big Data,Consent,and the Future of Data Protection.https://Ieeexplore.Ieee.org/abstract/document/7862532, 最后訪問日期:2019年6月10日。2014年美國總統(tǒng)科學(xué)與科技顧問委員會也提出應(yīng)將政策“更多聚焦于數(shù)據(jù)的實際使用”上。[22]自動化決策的算法解釋就是對個人數(shù)據(jù)應(yīng)用造成不利結(jié)果進行救濟的制度。

    自動化決策的算法解釋權(quán)偏重于用戶個人數(shù)據(jù)在應(yīng)用中受到損害后的救濟,并具有個人數(shù)據(jù)保護制度無法取代的制度功能。自動化決策的算法解釋權(quán)應(yīng)以行為干預(yù)為導(dǎo)向,包含用戶知情與行為指引雙層結(jié)構(gòu)的信息,并包括算法、數(shù)據(jù)與其他決策理由等具體內(nèi)容,才能夠?qū)崿F(xiàn)算法解釋權(quán)的救濟功能。

    五、自動化決策算法解釋權(quán)的適用范圍與行使程序

    由平臺來承擔自動化決策算法解釋的責任,本質(zhì)是將自動化決策的風(fēng)險通過法律制度再分配給平臺。[13]也就是說,現(xiàn)有的情況是由用戶個人承擔自動化決策錯誤的全部風(fēng)險,而算法解釋權(quán)則是對風(fēng)險進行了再分配。在此情況下,算法解釋也成了平臺的一項成本與負擔。因此,需要本著效率與公平兼顧的原則,對自動化決策算法解釋權(quán)的適用范圍、解釋標準與行使程序做出相應(yīng)的制度設(shè)計,可有效平衡平臺與用戶的利益。

    通過具體制度適用范圍和行使程序的設(shè)計,可以回應(yīng)以下爭議:其一,如果對任何算法都可以提起算法解釋權(quán),是否會造成平臺負擔過重?其二,平臺提供的算法解釋應(yīng)達到程序要求即可,還是需要達到實質(zhì)理性?用戶需要向法院提起訴訟才能得到自動化決策解釋,還是向平臺提出要求即可得到解釋?其三,用戶是否可以隨時向平臺提出算法解釋權(quán)的請求?這樣是否會造成平臺無法正常運營?對于這些質(zhì)疑,可通過解釋適用范圍的限定,明確的解釋標準,合理的解釋程序予以回應(yīng)。

    (一)自動化決策算法解釋權(quán)適用范圍之限定

    可通過限制自動化決策算法解釋權(quán)的適用范圍,達到平臺商業(yè)效率與個人權(quán)利救濟的衡平,避免用戶濫用解釋權(quán)而給平臺造成過重負擔。個體啟動的自動化決策算法解釋的范圍,應(yīng)對用戶具有重大影響,是評價類算法并且未達到人類參與的必要程度。

    第一,本著效率原則,適用算法解釋權(quán)的自動化決策必須對用戶具有法律效力或重大影響。[23]對當事人具有法律上的直接影響根據(jù)法律規(guī)定即可判定。但是很多商業(yè)自動化決策,如在線信用卡申請和自動化招聘,其對用戶的影響是拒絕用戶簽訂合同,很難謂之有法律效力。此類自動化決策可以歸類為具有“重大影響”。“重大影響”的判定應(yīng)結(jié)合當事人的具體情況,如拒絕批準貸款對經(jīng)濟條件較差的人可謂重大影響,對相對經(jīng)濟條件較好的人則可能不構(gòu)成重大影響。此外,還應(yīng)結(jié)合自動化決策是否具有可替代性。如果做出自動化決策的算法使用者市場占有率及與用戶依存關(guān)系越高,則越易被判斷為重大影響,而如果具有較強可替代性則不構(gòu)成。自動化決策具有“重大影響”的標準應(yīng)結(jié)合實踐逐步依靠判例發(fā)展規(guī)則體系。

    第二,從種類上說,從算法的分類看,用戶啟動的算法解釋應(yīng)適用于所有評價類算法。根據(jù)學(xué)者對算法的分類以及現(xiàn)有算法功能的基本歸納[24]398-415,可將算法大致分為以下幾類:

    算法功能應(yīng)用類型實例優(yōu)先排序搜索引擎,問答類服務(wù)百度,知乎,Google分類評價聲譽、信用評分,社交評分大眾點評,支付寶,芝麻信用相關(guān)性預(yù)測發(fā)展和趨勢頭條新聞,視頻推薦,犯罪預(yù)測過濾郵件過濾,推薦系統(tǒng)垃圾郵件過濾系統(tǒng)

    其中評價類算法通過歷史數(shù)據(jù)對財產(chǎn)、聲譽、人的資格直接進行評價或排序。如文中所提到的案例包括價格估算、福利發(fā)放、貸款評估、教師資格評價等絕大多數(shù)都屬于評價類算法,其決策結(jié)果對于用戶有經(jīng)濟上或者法律上的直接影響,故而評價類算法均應(yīng)適用于算法解釋權(quán)。其他的算法自動化決策并非對用戶沒有直接影響,如社交媒體Facebook可能推薦熱點新聞,淘寶等網(wǎng)站可能分析用戶信息以推送定制廣告。但此類自動化決策對用戶權(quán)利影響甚微,且可以通過用戶的自主行為調(diào)整和改變(如用戶自行搜索其他結(jié)果就可能改變推送內(nèi)容),故而出于節(jié)約社會資源的考慮暫不予配置由私主體啟動的自動化決策算法解釋。

    第三,從程度上來說,適用算法解釋權(quán)的自動化決策未達到人類參與決策的必要程度。適用算法解釋權(quán)的自動化決策不應(yīng)以形式為標準,而應(yīng)該取決于人的參與是否達到必要程度。歐洲《通用數(shù)據(jù)保護條例》提出,算法解釋權(quán)僅限于“完全基于自動化決定的處理”,即只要人參與決策過程都意味著其不再是“自動化決策”,即不應(yīng)適用第22條有關(guān)算法解釋權(quán)的規(guī)定。(14)人的參與是否排除算法解釋權(quán)的適用的問題在歐盟的立法中也經(jīng)歷多次反復(fù)。在最早歐盟〈通用數(shù)據(jù)保護條例》(GDPR)中歐洲議會(EP)草案提案的第20(5)條提出只要“主要”由算法自動化決策即可使用算法解釋權(quán)(“有關(guān)資料主體的權(quán)利或自由不得單獨或主要基于自動處理,而應(yīng)包括人類評估……)。但是到了正式公布的GPPR版本中,歐盟委員會(EC)則變成了“完全基于自動化處理的決定”。歐洲議會(EP)比歐盟委員會(EC)更希望嚴格限制自動化決策,可是最后文本中“主要”的主張并未被采納,只有嚴格的“單獨”的自動化決策有未來適用的可能。See Sandra Wachter, Brent Mittelstadt, Luciano Floridi, Why a Right to Explanation of Automated Decision-Making Does not Exist in the General Data Protection Regulation, Vol.7, No.2, International Data Privacy Law(2017).pp.76-99.此項規(guī)定未免過于絕對且流于形式主義,可以想見將人類決策者設(shè)置在“臨門一腳”的位置即可規(guī)避算法解釋權(quán)。那么何為人對決策的參與達到了“必要程度”呢?在此首先應(yīng)判斷算法的作用。如果算法負責準備決策的依據(jù)或證據(jù),則不屬于自動化決策。但如果人最終完全采納了算法自動化決策給出的建議,并未對決策做出任何人為的干預(yù),如驗證、修改或者更改決定的行為,則顯然有理由將其作為自動化決策。舉例而言,CT、核磁共振等醫(yī)療器械在掃描人體后,機載電腦會根據(jù)圖像給出診斷建議,但仍需醫(yī)生閱讀報告并給出診斷后,才能依照此診斷進行治療。在此種情形下,則是算法為人為決策提供證據(jù)。但如果醫(yī)療器械掃描后直接開出處方,則為算法的自動化決策。在判斷是否自動化決策而應(yīng)適用算法解釋權(quán)的問題上,應(yīng)本著寧嚴勿縱的原則,因為人對計算機的本能依賴與決策惰性已經(jīng)在心理學(xué)研究中得到了廣泛證實。人類極容易受到“自動化偏見”的影響,指的是即使人能夠認識到情況需要另外一種選擇,也更傾向于計算機判斷。[25]據(jù)研究,算法的自動化決策系統(tǒng)使用“超級推理”,能夠以微妙而有效的方式塑造用戶的感受和行為,破壞個人的獨立判斷力。[26]判斷過于關(guān)注人是否參與的形式則可能造成損害實質(zhì)正義的結(jié)果。

    (二)自動化決策算法解釋的內(nèi)容與形式標準

    自動化決策算法解釋的標準并非技術(shù)概念,而是對具有法律意義的信息的程序性要求和實質(zhì)理性化的要求。算法解釋的信息必須以合乎程序標準與實質(zhì)標準的方式提供。自動化決策算法解釋的形式標準應(yīng)包括:

    第一,解釋的客體完整。自動化決策的算法解釋應(yīng)由監(jiān)管部門統(tǒng)一提供格式解釋文本,保證算法設(shè)計者和使用者提供的解釋客體完整且無遺漏,否則應(yīng)視為無效的解釋。

    第二,解釋以書面形式做出。以書面形式做出可保證自動化決策的使用者為用戶提供解釋均留存證據(jù)。

    第三,解釋語言清晰平實。自動化決策算法解釋本質(zhì)是由信息占有優(yōu)勢一方做出的“信號發(fā)送”行為。[27]24由于設(shè)計者、使用者與監(jiān)管者、用戶之間技術(shù)力量的差距,應(yīng)要求自動化決策算法解釋必須以清晰平實的語言做出,否則會導(dǎo)致解釋徒具形式而無法被理解。(15)歐盟《通用數(shù)據(jù)保護條例》(GDPR)第12條提出數(shù)據(jù)主體獲得的這些信息需要以“透明的、可理解的和容易獲得的方式,以清晰和平實的語言做出”。

    (三)自動化決策算法解釋的先行處理規(guī)則

    算法解釋權(quán)的行使應(yīng)遵循自動化決策使用者(平臺)先行處理的規(guī)則。從行為動機上說,自動化決策的用戶一般數(shù)量甚巨,自動化決策使用者出于避免出現(xiàn)大規(guī)模集體訴訟與自動化決策效率優(yōu)化的需要,有動機進行自動化決策算法的糾錯與調(diào)試。從能力上說,自動化決策使用者與算法開發(fā)者對算法的規(guī)則、設(shè)計更為了解,也較司法機關(guān)能夠更快地為用戶提供解釋與數(shù)據(jù)更新。設(shè)立算法使用者先行處理的原則,一方面可以要求當事人現(xiàn)行協(xié)商解決之后再進入司法程序,減少司法負累;另一方面方便當事人,可以不經(jīng)過煩瑣的司法程序獲得算法決策的解釋,以及及時更新數(shù)據(jù)的權(quán)利。

    自動化決策算法解釋權(quán)啟動的不應(yīng)要求用戶舉證自動化決策結(jié)果錯誤。否則用戶或需提供自我的正確數(shù)據(jù),或需收集大量自動化決策進行統(tǒng)計。這樣成本過高而造成行使的制度障礙。應(yīng)在滿足上文限制條件的情況下,由用戶舉證對自身有法律效力或重大影響,即可提起算法解釋。

    用戶提起算法解釋請求后,自動化決策者有沒有停止原行為的義務(wù)呢?基于自動化決策而生的狀態(tài),或暫停服務(wù),或取消資格等行為,應(yīng)推定其為合理,即不要求因算法解釋的提起而停止,直到生效判決推翻自動化決策。此外,自動化決策者提供的算法解釋與決策原因應(yīng)規(guī)定法定期限。一定的法定期限一方面督促決策者盡早履行解釋義務(wù);另一方面可使用戶在前置程序無法得到解釋的情況下可以尋求訴訟路徑的救濟。

    目前的虛擬財產(chǎn)糾紛,電商平臺消費合同糾紛等一般均由平臺設(shè)置了內(nèi)部的自治機制,但同時存在用戶力量弱小、權(quán)益被漠視等問題。依靠內(nèi)部規(guī)約來解決算法解釋易陷入類似的境地。但評價類算法實際上具有平臺內(nèi)類“法律”規(guī)則的地位,比用戶糾紛解決更為重要。因此,還需在算法監(jiān)管、算法透明度等方面加強對評價類算法的預(yù)先監(jiān)管,以及完善算法解釋請求權(quán)與訴訟的銜接制度。

    六、結(jié)論

    自動化決策算法解釋權(quán)的存在是為了消弭法律實然權(quán)利與應(yīng)然權(quán)利的鴻溝。在人工智能時代的法律制度供給嚴重不足的情況下,為處于弱勢的用戶提供最后一道權(quán)利保障的安全網(wǎng)。為了避免草率地以“現(xiàn)象描述”方式創(chuàng)制權(quán)利,自動化決策算法解釋權(quán)的功能定位與制度構(gòu)造應(yīng)予以厘清和明確。

    在制度定位上,自動化決策算法解釋權(quán)作為私權(quán)救濟路徑是算法治理體系中必不可少的一環(huán)。既不應(yīng)因其行使成本較高對自動化決策算法解釋權(quán)棄如敝履,也不應(yīng)過于拔高其作為用戶救濟最后保障的制度定位。在制度功能上,權(quán)利構(gòu)造的合理設(shè)計能夠發(fā)揮自動化決策算法解釋權(quán)私權(quán)救濟的最大功用。為與事前規(guī)制的算法透明度規(guī)則予以區(qū)分,自動化決策的算法解釋必須同時兼具知情與指引功能,以用戶行為干預(yù)為導(dǎo)向,通過設(shè)定的解釋內(nèi)容實現(xiàn)。在制度效用上,應(yīng)充分本著效率與公平兼顧的原則,既不為平臺增加過于沉重的負擔,又要充分考慮用戶的權(quán)利得到切實保障。因此,需通過權(quán)利行使的范圍、標準與程序來充分發(fā)揮制度的功用。

    通過明確自動化決策算法解釋權(quán)制度功能、雙層構(gòu)造、解釋內(nèi)容、適用范圍、解釋標準與行使程序,厘清權(quán)利的功能定位與制度構(gòu)造,方可糾正用戶權(quán)利畸輕的現(xiàn)狀,以實現(xiàn)平等、自由、正義的目標。

    猜你喜歡
    解釋權(quán)權(quán)利決策
    黨內(nèi)法規(guī)解釋權(quán)授權(quán)的規(guī)范反思及完善
    法律方法(2022年1期)2022-07-21 09:20:40
    為可持續(xù)決策提供依據(jù)
    我們的權(quán)利
    決策為什么失誤了
    論不存在做錯事的權(quán)利
    法大研究生(2018年2期)2018-09-23 02:19:50
    權(quán)利套裝
    Coco薇(2015年12期)2015-12-10 02:43:39
    理解我國法律解釋權(quán)的“監(jiān)督”向度
    法律方法(2013年1期)2013-10-27 02:27:04
    最高院司法解釋權(quán)的經(jīng)濟分析
    法律方法(2013年1期)2013-10-27 02:27:00
    雜志有獎訂閱
    秀·美的(2013年4期)2013-07-02 03:54:48
    愛一個人
    文苑·感悟(2012年12期)2012-12-13 01:53:52
    老汉色av国产亚洲站长工具| 老司机午夜十八禁免费视频| 男女边摸边吃奶| 啪啪无遮挡十八禁网站| 最新在线观看一区二区三区| 精品第一国产精品| 久久久久网色| 黑人巨大精品欧美一区二区蜜桃| 在线观看免费视频网站a站| 亚洲久久久国产精品| 国产成人精品在线电影| 99精国产麻豆久久婷婷| 成人手机av| 国产av又大| 两人在一起打扑克的视频| 免费久久久久久久精品成人欧美视频| 国产精品一区二区在线不卡| 免费在线观看视频国产中文字幕亚洲| 大型黄色视频在线免费观看| a级片在线免费高清观看视频| 亚洲av电影在线进入| 亚洲av欧美aⅴ国产| 精品熟女少妇八av免费久了| svipshipincom国产片| 99国产精品99久久久久| 久久久精品区二区三区| 真人做人爱边吃奶动态| av欧美777| 欧美乱码精品一区二区三区| 91精品国产国语对白视频| 国产日韩一区二区三区精品不卡| 少妇的丰满在线观看| 两人在一起打扑克的视频| 丰满人妻熟妇乱又伦精品不卡| 操美女的视频在线观看| 在线观看免费午夜福利视频| 一边摸一边抽搐一进一小说 | 精品第一国产精品| 久久久久久久久免费视频了| 日本vs欧美在线观看视频| 亚洲av日韩精品久久久久久密| 亚洲,欧美精品.| 叶爱在线成人免费视频播放| 如日韩欧美国产精品一区二区三区| 亚洲免费av在线视频| 免费久久久久久久精品成人欧美视频| 又黄又粗又硬又大视频| 亚洲精品国产区一区二| 久久精品熟女亚洲av麻豆精品| 一二三四社区在线视频社区8| 国产亚洲精品久久久久5区| 亚洲一区二区三区欧美精品| 亚洲精品乱久久久久久| 黄色毛片三级朝国网站| 日韩大片免费观看网站| 熟女少妇亚洲综合色aaa.| 久久精品亚洲熟妇少妇任你| tube8黄色片| 90打野战视频偷拍视频| 首页视频小说图片口味搜索| 久久 成人 亚洲| 777久久人妻少妇嫩草av网站| 久久久久久人人人人人| 在线观看免费视频网站a站| 成人免费观看视频高清| 中文欧美无线码| 夜夜夜夜夜久久久久| 在线播放国产精品三级| 国产在视频线精品| 日韩免费av在线播放| 在线永久观看黄色视频| 制服诱惑二区| 欧美日韩国产mv在线观看视频| 99国产极品粉嫩在线观看| 午夜福利免费观看在线| 欧美精品高潮呻吟av久久| tube8黄色片| 天天添夜夜摸| 在线观看免费午夜福利视频| 人人妻人人添人人爽欧美一区卜| 一区二区三区乱码不卡18| 亚洲熟女毛片儿| 新久久久久国产一级毛片| 亚洲成av片中文字幕在线观看| 久久久久久久精品吃奶| 午夜成年电影在线免费观看| 一本大道久久a久久精品| 天天躁夜夜躁狠狠躁躁| 十八禁高潮呻吟视频| 日本精品一区二区三区蜜桃| 亚洲av欧美aⅴ国产| 日韩大片免费观看网站| 一区二区三区乱码不卡18| 亚洲精品中文字幕在线视频| 免费在线观看完整版高清| 黑丝袜美女国产一区| 免费观看a级毛片全部| 亚洲欧洲日产国产| 国产老妇伦熟女老妇高清| 午夜精品国产一区二区电影| 国产精品九九99| av超薄肉色丝袜交足视频| 国产成人免费观看mmmm| 在线观看免费高清a一片| 在线观看www视频免费| 国产野战对白在线观看| 久久中文字幕人妻熟女| 国产欧美日韩一区二区精品| 成人影院久久| 一边摸一边做爽爽视频免费| 人妻 亚洲 视频| 男人舔女人的私密视频| 别揉我奶头~嗯~啊~动态视频| 国产精品1区2区在线观看. | 水蜜桃什么品种好| 黄色视频在线播放观看不卡| 亚洲欧美精品综合一区二区三区| 日日摸夜夜添夜夜添小说| 丝袜美足系列| 一本大道久久a久久精品| 五月天丁香电影| 国产老妇伦熟女老妇高清| 又紧又爽又黄一区二区| 亚洲三区欧美一区| 12—13女人毛片做爰片一| 日本黄色视频三级网站网址 | 国产日韩欧美视频二区| 侵犯人妻中文字幕一二三四区| 男人舔女人的私密视频| 成人亚洲精品一区在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 制服人妻中文乱码| 亚洲欧美日韩另类电影网站| 精品一区二区三卡| 亚洲精品中文字幕一二三四区 | 9色porny在线观看| www日本在线高清视频| 亚洲国产欧美日韩在线播放| 80岁老熟妇乱子伦牲交| av超薄肉色丝袜交足视频| 后天国语完整版免费观看| 久久ye,这里只有精品| 777久久人妻少妇嫩草av网站| 国产在线观看jvid| a级片在线免费高清观看视频| 国产精品.久久久| 制服诱惑二区| 99精品在免费线老司机午夜| 狠狠精品人妻久久久久久综合| 欧美激情 高清一区二区三区| 电影成人av| 久久久久国产一级毛片高清牌| 国产成人精品久久二区二区免费| 在线观看人妻少妇| videosex国产| 亚洲国产av影院在线观看| 日日摸夜夜添夜夜添小说| 黄网站色视频无遮挡免费观看| 在线观看免费视频网站a站| 亚洲av第一区精品v没综合| 99热国产这里只有精品6| 色视频在线一区二区三区| 一二三四在线观看免费中文在| 国产淫语在线视频| 男女边摸边吃奶| 色综合欧美亚洲国产小说| 亚洲av成人一区二区三| 蜜桃国产av成人99| 老汉色av国产亚洲站长工具| 国产欧美日韩综合在线一区二区| 啦啦啦中文免费视频观看日本| 五月天丁香电影| 99re在线观看精品视频| 色精品久久人妻99蜜桃| 制服人妻中文乱码| 丝袜在线中文字幕| 国产在线免费精品| 一区二区av电影网| netflix在线观看网站| 亚洲全国av大片| 国产精品二区激情视频| 国产精品美女特级片免费视频播放器 | 免费看a级黄色片| 成年动漫av网址| 大型av网站在线播放| 中文字幕人妻熟女乱码| 久久国产亚洲av麻豆专区| 美女视频免费永久观看网站| 久久久欧美国产精品| 最近最新中文字幕大全免费视频| 大码成人一级视频| 麻豆成人av在线观看| 日韩熟女老妇一区二区性免费视频| 中文字幕色久视频| 欧美日韩亚洲高清精品| 交换朋友夫妻互换小说| 午夜福利视频精品| 日韩精品免费视频一区二区三区| 国产成人一区二区三区免费视频网站| 国产精品1区2区在线观看. | 香蕉丝袜av| 最近最新中文字幕大全电影3 | 男女无遮挡免费网站观看| 成人手机av| 欧美人与性动交α欧美软件| 五月开心婷婷网| 国产亚洲欧美精品永久| 亚洲精品在线观看二区| 电影成人av| 精品少妇内射三级| 欧美黑人欧美精品刺激| 国产精品 欧美亚洲| 老熟妇仑乱视频hdxx| 国产成人精品久久二区二区91| 怎么达到女性高潮| kizo精华| 成人三级做爰电影| 不卡一级毛片| 久久久久久久精品吃奶| 男男h啪啪无遮挡| 国产淫语在线视频| 日韩大片免费观看网站| www.自偷自拍.com| 一边摸一边抽搐一进一小说 | 国产成人欧美| 久久免费观看电影| 热re99久久国产66热| 国产av一区二区精品久久| 国产成人一区二区三区免费视频网站| 亚洲精品国产区一区二| av超薄肉色丝袜交足视频| 国产av国产精品国产| 巨乳人妻的诱惑在线观看| 欧美乱妇无乱码| av不卡在线播放| 欧美午夜高清在线| 欧美另类亚洲清纯唯美| 波多野结衣av一区二区av| 成年人黄色毛片网站| 99国产精品一区二区三区| 99在线人妻在线中文字幕 | 欧美 亚洲 国产 日韩一| 亚洲久久久国产精品| 2018国产大陆天天弄谢| 在线观看人妻少妇| 国产精品秋霞免费鲁丝片| 亚洲成人免费电影在线观看| 日韩人妻精品一区2区三区| 久久精品国产综合久久久| 99精品欧美一区二区三区四区| 中文字幕色久视频| 免费看a级黄色片| 两性夫妻黄色片| 激情在线观看视频在线高清 | 亚洲国产av影院在线观看| 午夜两性在线视频| 午夜福利在线观看吧| netflix在线观看网站| 亚洲成av片中文字幕在线观看| 欧美另类亚洲清纯唯美| 国产在线观看jvid| 三级毛片av免费| 亚洲成人免费电影在线观看| 18禁美女被吸乳视频| 精品国内亚洲2022精品成人 | 岛国毛片在线播放| 两个人看的免费小视频| 日韩欧美一区二区三区在线观看 | 法律面前人人平等表现在哪些方面| 亚洲精品在线观看二区| 成年人黄色毛片网站| 老司机在亚洲福利影院| 免费女性裸体啪啪无遮挡网站| 亚洲精品久久午夜乱码| 亚洲成人国产一区在线观看| 日韩中文字幕视频在线看片| 好男人电影高清在线观看| 国产黄频视频在线观看| 欧美精品啪啪一区二区三区| 91av网站免费观看| 黑人欧美特级aaaaaa片| 亚洲视频免费观看视频| 桃花免费在线播放| 嫩草影视91久久| 在线观看免费日韩欧美大片| 黑人巨大精品欧美一区二区mp4| 中文字幕人妻丝袜制服| 男男h啪啪无遮挡| 亚洲,欧美精品.| 国产成人啪精品午夜网站| 亚洲少妇的诱惑av| 亚洲人成伊人成综合网2020| 少妇粗大呻吟视频| 久久午夜亚洲精品久久| 另类精品久久| 黄片大片在线免费观看| 女同久久另类99精品国产91| 久久免费观看电影| 9热在线视频观看99| 99国产综合亚洲精品| 亚洲欧美日韩高清在线视频 | 国产一区二区 视频在线| av在线播放免费不卡| 热99re8久久精品国产| 亚洲精品国产区一区二| 国产精品偷伦视频观看了| 国产精品98久久久久久宅男小说| 精品免费久久久久久久清纯 | 国产精品久久久久久精品古装| 男女边摸边吃奶| 免费在线观看视频国产中文字幕亚洲| 日韩视频一区二区在线观看| 亚洲国产欧美网| 日韩三级视频一区二区三区| 两个人看的免费小视频| 高清视频免费观看一区二区| 91老司机精品| 18禁国产床啪视频网站| 久久热在线av| kizo精华| 成人影院久久| 日韩欧美一区视频在线观看| 午夜激情久久久久久久| 日韩成人在线观看一区二区三区| 中文字幕色久视频| 女人高潮潮喷娇喘18禁视频| 热99re8久久精品国产| 老汉色∧v一级毛片| 高清黄色对白视频在线免费看| 高潮久久久久久久久久久不卡| 99国产极品粉嫩在线观看| 男女无遮挡免费网站观看| 人人妻,人人澡人人爽秒播| 男女之事视频高清在线观看| www.熟女人妻精品国产| av天堂在线播放| 最近最新免费中文字幕在线| 制服人妻中文乱码| 中文字幕人妻熟女乱码| 久久精品亚洲熟妇少妇任你| 国产伦理片在线播放av一区| 国产精品秋霞免费鲁丝片| 国产精品98久久久久久宅男小说| 国产在线免费精品| 午夜激情久久久久久久| 美女视频免费永久观看网站| 18禁美女被吸乳视频| 淫妇啪啪啪对白视频| 在线观看人妻少妇| 超色免费av| 99久久99久久久精品蜜桃| 人妻 亚洲 视频| 日韩一卡2卡3卡4卡2021年| 一区二区三区激情视频| 亚洲九九香蕉| 9色porny在线观看| 免费看a级黄色片| 天堂中文最新版在线下载| av天堂久久9| 天天影视国产精品| 婷婷丁香在线五月| 日韩精品免费视频一区二区三区| 色尼玛亚洲综合影院| avwww免费| 精品午夜福利视频在线观看一区 | 人人妻人人澡人人爽人人夜夜| 国产99久久九九免费精品| 99在线人妻在线中文字幕 | 纯流量卡能插随身wifi吗| 一区在线观看完整版| 悠悠久久av| 麻豆国产av国片精品| 婷婷成人精品国产| 最黄视频免费看| 999久久久国产精品视频| 精品国产乱码久久久久久小说| 纯流量卡能插随身wifi吗| 在线观看免费午夜福利视频| 男人舔女人的私密视频| 99久久精品国产亚洲精品| 新久久久久国产一级毛片| 国产97色在线日韩免费| 美女午夜性视频免费| 91麻豆av在线| 久久亚洲精品不卡| av天堂久久9| 人妻一区二区av| 精品第一国产精品| 日韩三级视频一区二区三区| 亚洲av成人一区二区三| 天堂中文最新版在线下载| 757午夜福利合集在线观看| 交换朋友夫妻互换小说| 一边摸一边做爽爽视频免费| 麻豆国产av国片精品| 999久久久国产精品视频| 国产精品秋霞免费鲁丝片| 女人高潮潮喷娇喘18禁视频| 精品午夜福利视频在线观看一区 | e午夜精品久久久久久久| 国产精品影院久久| 亚洲伊人久久精品综合| 啦啦啦免费观看视频1| 国产男女内射视频| 黄片小视频在线播放| 成人影院久久| 99re6热这里在线精品视频| 高潮久久久久久久久久久不卡| 在线观看免费视频网站a站| 午夜激情久久久久久久| 国产av一区二区精品久久| 国产精品一区二区在线不卡| 久久久水蜜桃国产精品网| 正在播放国产对白刺激| 99在线人妻在线中文字幕 | 国产男靠女视频免费网站| 亚洲成国产人片在线观看| 亚洲国产看品久久| 亚洲精品国产色婷婷电影| 亚洲久久久国产精品| 国产成人免费无遮挡视频| 视频区欧美日本亚洲| av电影中文网址| 久久99一区二区三区| 一级a爱视频在线免费观看| 又大又爽又粗| 少妇粗大呻吟视频| 亚洲免费av在线视频| 国产又色又爽无遮挡免费看| 成人18禁高潮啪啪吃奶动态图| 中文字幕人妻丝袜一区二区| 亚洲av成人一区二区三| 大型av网站在线播放| 欧美人与性动交α欧美软件| 国产在线免费精品| 桃红色精品国产亚洲av| 亚洲av第一区精品v没综合| 黑人猛操日本美女一级片| 一边摸一边做爽爽视频免费| 黄色视频不卡| 国产精品电影一区二区三区 | 两性夫妻黄色片| 伊人久久大香线蕉亚洲五| av天堂久久9| 精品乱码久久久久久99久播| 啦啦啦在线免费观看视频4| 亚洲av电影在线进入| 国产精品熟女久久久久浪| 麻豆av在线久日| 亚洲精品国产区一区二| 亚洲成a人片在线一区二区| 国产又色又爽无遮挡免费看| 黑人欧美特级aaaaaa片| 亚洲人成77777在线视频| 国产精品熟女久久久久浪| 中国美女看黄片| 亚洲国产欧美日韩在线播放| 国产精品亚洲av一区麻豆| 久久久精品免费免费高清| 久久人妻av系列| 欧美激情极品国产一区二区三区| 黑人操中国人逼视频| cao死你这个sao货| 欧美日韩黄片免| 亚洲伊人久久精品综合| 成年动漫av网址| 久久人人爽av亚洲精品天堂| 黑丝袜美女国产一区| 老熟妇乱子伦视频在线观看| 国产色视频综合| av线在线观看网站| 精品欧美一区二区三区在线| 亚洲男人天堂网一区| 国产成人免费无遮挡视频| 国产伦人伦偷精品视频| 建设人人有责人人尽责人人享有的| 男人操女人黄网站| 少妇精品久久久久久久| 久久人妻av系列| 午夜福利在线免费观看网站| 亚洲午夜精品一区,二区,三区| 99riav亚洲国产免费| 伊人久久大香线蕉亚洲五| 精品午夜福利视频在线观看一区 | 午夜久久久在线观看| 久久亚洲精品不卡| 50天的宝宝边吃奶边哭怎么回事| 免费高清在线观看日韩| 九色亚洲精品在线播放| 久久久国产成人免费| 国产男靠女视频免费网站| 国产精品久久电影中文字幕 | 91av网站免费观看| 国产精品亚洲一级av第二区| 久久久精品国产亚洲av高清涩受| 在线观看免费视频网站a站| 看免费av毛片| 亚洲国产精品一区二区三区在线| 国产一区二区三区视频了| 国产97色在线日韩免费| 欧美老熟妇乱子伦牲交| 亚洲av片天天在线观看| 夜夜爽天天搞| 老熟妇仑乱视频hdxx| 精品午夜福利视频在线观看一区 | www.熟女人妻精品国产| 色94色欧美一区二区| 热99国产精品久久久久久7| 国产黄频视频在线观看| 久久久国产欧美日韩av| 国产在线精品亚洲第一网站| 欧美激情高清一区二区三区| 日本黄色视频三级网站网址 | 超碰成人久久| 制服诱惑二区| 天天影视国产精品| 日本av手机在线免费观看| 国产精品av久久久久免费| 国产精品亚洲一级av第二区| 99久久精品国产亚洲精品| 久久天堂一区二区三区四区| netflix在线观看网站| 亚洲一区二区三区欧美精品| 欧美亚洲 丝袜 人妻 在线| 精品人妻1区二区| svipshipincom国产片| 女性生殖器流出的白浆| 黄色成人免费大全| 亚洲国产av新网站| 亚洲视频免费观看视频| 91九色精品人成在线观看| 十八禁人妻一区二区| 国产在线一区二区三区精| 国产精品欧美亚洲77777| 日韩三级视频一区二区三区| 国产精品久久久久久精品电影小说| 99精品久久久久人妻精品| 日韩 欧美 亚洲 中文字幕| 国产99久久九九免费精品| 国产成人精品久久二区二区91| 12—13女人毛片做爰片一| 大片电影免费在线观看免费| av有码第一页| 变态另类成人亚洲欧美熟女 | 久久久欧美国产精品| 王馨瑶露胸无遮挡在线观看| 欧美日韩成人在线一区二区| 国产一区有黄有色的免费视频| 高潮久久久久久久久久久不卡| 男女免费视频国产| 飞空精品影院首页| 国产激情久久老熟女| 亚洲av日韩精品久久久久久密| 一级a爱视频在线免费观看| 精品久久久久久电影网| kizo精华| 中文字幕精品免费在线观看视频| 亚洲熟女精品中文字幕| 国产xxxxx性猛交| 黄色毛片三级朝国网站| 1024视频免费在线观看| 欧美日韩亚洲高清精品| 精品久久蜜臀av无| 国产午夜精品久久久久久| 国产精品99久久99久久久不卡| 国产一区二区在线观看av| 久久天堂一区二区三区四区| netflix在线观看网站| 亚洲一区二区三区欧美精品| 精品亚洲成国产av| 91老司机精品| 69av精品久久久久久 | 欧美中文综合在线视频| 国产亚洲欧美在线一区二区| 亚洲va日本ⅴa欧美va伊人久久| 成年人黄色毛片网站| 国产淫语在线视频| 精品卡一卡二卡四卡免费| 国产黄色免费在线视频| 男女午夜视频在线观看| av天堂久久9| 欧美激情高清一区二区三区| 12—13女人毛片做爰片一| 色尼玛亚洲综合影院| 国产有黄有色有爽视频| 欧美 日韩 精品 国产| 多毛熟女@视频| 国产精品av久久久久免费| 黄色 视频免费看| svipshipincom国产片| 亚洲九九香蕉| 少妇粗大呻吟视频| 国产片内射在线| 性色av乱码一区二区三区2| 老司机靠b影院| 国产亚洲午夜精品一区二区久久| 亚洲av电影在线进入| 妹子高潮喷水视频| 成人三级做爰电影| 午夜福利在线免费观看网站| 亚洲五月色婷婷综合| 亚洲成国产人片在线观看| 国产精品九九99| 亚洲中文字幕日韩| 成年女人毛片免费观看观看9 | 日韩欧美免费精品| 久久久久久人人人人人| 久久ye,这里只有精品| 久久99一区二区三区| 人人妻,人人澡人人爽秒播| 亚洲欧美日韩高清在线视频 | 日韩制服丝袜自拍偷拍| 国产精品一区二区免费欧美| 久久亚洲真实| 日韩成人在线观看一区二区三区|