• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    大數(shù)據(jù)時代的算法解釋權(quán):背景、邏輯與構(gòu)造

    2019-02-04 03:28:50張恩典
    法學(xué)論壇 2019年4期
    關(guān)鍵詞:解釋權(quán)決策算法

    張恩典

    (南昌大學(xué) 法學(xué)院, 江西南昌 330031)

    一、問題的提出

    人類社會已經(jīng)進(jìn)入大數(shù)據(jù)時代。大數(shù)據(jù)給人們的生活、工作乃至于思維方式都帶來了重大變革。大數(shù)據(jù)之所以能夠給人類社會帶來諸多變革,所依靠的則是計算機算法模型對海量數(shù)據(jù)進(jìn)行自動分析?;诖髷?shù)據(jù)的算法決策正彌散于現(xiàn)代社會,充斥于商業(yè)領(lǐng)域與公共治理領(lǐng)域之中,對人們?nèi)粘9才c私人生活產(chǎn)生著深刻而復(fù)雜的影響,并逐漸顯現(xiàn)出取代人類決策的趨勢。有學(xué)者將這個由大數(shù)據(jù)算法逐漸占據(jù)統(tǒng)治地位的社會形象地稱為“算法社會”。[注]Jack M.Balkin,2016 Sidley Austin Distinguished Lecture on Big Data Law and Policy: The Three Laws of Robotics in the Age of Big Data, Vol.78 Ohio State Law Journal(2017), p.1226.在算法社會中,一方面,人的智性得到前所未有的發(fā)展,但是,另一方面,人的心性和靈性卻逐漸被侵蝕,相關(guān)論述請參見於興中:《算法社會與人的秉性》,載《中國法律評論》2018年第2期。以色列歷史學(xué)家尤瓦爾·赫拉利更是大膽預(yù)言:“隨著機器學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)興起,有越來越多算法會獨立進(jìn)化,自我改進(jìn)、從自己的錯誤中學(xué)習(xí)。這些算法分析的數(shù)據(jù)量是天文數(shù)字,絕非人力可及,而且它們也能找出人類找不到的模式,采取人類想不到的策略?!盵注][以]尤瓦爾·赫拉利:《未來簡史:從智人到智神》,林俊宏譯,中信出版社2017年版,第355頁。從目前的情形來看,這一正深度滲透人類生活諸多方面,對個人權(quán)利和利益產(chǎn)生重大影響的算法決策是建立在大數(shù)據(jù)挖掘分析基礎(chǔ)之上,隱藏于算法“黑箱”之中,令普通公眾難窺其中奧秘。

    為了緩和乃至化解現(xiàn)代社會中大數(shù)據(jù)算法決策的“黑箱”效應(yīng),法學(xué)理論界與實務(wù)界進(jìn)行著艱辛的理論和制度探索。在眾多規(guī)制方案中,設(shè)置算法解釋權(quán)便是充滿創(chuàng)見而又備受爭議的一種方案:言其充滿創(chuàng)見,是因為其旨在回應(yīng)大數(shù)據(jù)時代算法決策的“黑箱”效應(yīng)這一基本問題,言其備受爭議,是因為對算法解釋權(quán)的存在及正當(dāng)與否,學(xué)者們?nèi)匀淮嬖谥卮蠓制?。[注]關(guān)于算法解釋權(quán)的理論爭議,參見Bryce Goodman, Seth Flaxman, European Union Regulation on Algorithmic Decision-making and a “Right to Explanation”, https://arxiv.org/pdf/1606.08813.pdf,最后訪問時間:2018年7月20日。S.Wachter, B.Mittelstadt, L.Floridi, Why a Right to Explanation of Automated Decision-Making Does not Exist in the General Data Protection Regulation, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2903469, 最后訪問時間:2018年7月20日。Andrew D.Selbet, Julia Powles, Meaningful Information and The Right to Explanation, Vol.7 International Data Privacy Law (2017).可以毫不夸張地說,目前,無論是在理論還是實踐維度,算法解釋權(quán)都處于“重重迷霧”之中,究其原因,在于學(xué)術(shù)界對算法解釋權(quán)這一現(xiàn)代算法社會興起的重要權(quán)利形態(tài)缺乏足夠的研究。[注]相較于近幾年來法學(xué)界在被遺忘權(quán)方面的豐碩研究成果而言,目前關(guān)于算法解釋權(quán)的研究成果,無論是在相對數(shù)量還是在絕對數(shù)量上都非常有限,這與大數(shù)據(jù)時代算法解釋權(quán)的重要性似乎呈現(xiàn)出一種不均衡的狀態(tài)。根據(jù)筆者在知網(wǎng)數(shù)據(jù)庫的檢索,截止2018年8月28日,國內(nèi)法學(xué)界有關(guān)算法解釋權(quán)研究主題公開發(fā)表的研究論文僅有1篇,張凌寒:《商業(yè)自動化決策的算法解釋權(quán)研究》,載《法律科學(xué)》2018年第3期。面對這種情形,亟待法律學(xué)者撥開籠罩在算法解釋權(quán)“迷霧”,以使這一算法解釋權(quán)更具理論意蘊與實踐功能。本文不惴淺陋,嘗試從算法解釋權(quán)的興起背景、權(quán)利邏輯、爭論焦點與基本構(gòu)造等方面,對大數(shù)據(jù)時代興起的這一新型權(quán)利類型展開研究,以期對算法解釋權(quán)的理論探索與制度實踐有所助益。

    二、算法解釋權(quán)產(chǎn)生的背景:大數(shù)據(jù)算法決策的興起及其引發(fā)的問題

    (一)大數(shù)據(jù)時代算法自動化決策的興起

    算法是種古老的技藝。在人類社會漫長的發(fā)展過程中,人們都在運用算法來解決生活中的問題。正如美國學(xué)者克里斯托弗在考究算法歷史時所指出的那樣:“千百年來,人們一直在設(shè)計、修改并分享著算法,這一活動早在算法這個詞出現(xiàn)之前就開始了?!捅葌惾颂幚矸墒聞?wù)時會用到算法,古時候拉丁語老師檢查語法時會用到算法,醫(yī)生靠算法來預(yù)測病情,無數(shù)遍布全球的普通人曾試圖用算法預(yù)測未來?!盵注][美]克里斯托弗·斯坦納:《算法帝國》,李筱瑩譯,人民郵電出版社2014年版,第42頁。但是,公允而言,受制于數(shù)據(jù)存儲和處理能力,彼時,算法的功能和影響力畢竟是有限的。只有到了大數(shù)據(jù)時代,算法才真正發(fā)揮了其潛在的功能和廣泛的影響力,以大數(shù)據(jù)為基礎(chǔ)的算法自動化決策遍及私人生活和公共治理領(lǐng)域。

    在私人生活中,算法決策廣泛運用于廣告營銷、就業(yè)、銀行信貸等諸多領(lǐng)域。當(dāng)我們作為消費者進(jìn)行網(wǎng)絡(luò)購物時,算法向我們推薦產(chǎn)品;當(dāng)我們應(yīng)聘某一崗位時,算法決定著我們是否能夠勝任這一崗位,進(jìn)而決定著我們能否獲得就業(yè)機會;[注]目前,國外已經(jīng)有公司運用大數(shù)據(jù)算法來尋找理想職員,參見Matt Richtel, How Big Data Is Playing Recruiter for Specialized Worker, The New York Time, April 27, 2013.當(dāng)我們向銀行申請貸款時,銀行所使用的大數(shù)據(jù)算法對我們進(jìn)行信用評分,進(jìn)而決定我們是否能夠獲得貸款以及獲得貸款的額度大小。不僅如此,金融算法大量運用于金融投資決策之中,美國學(xué)者將金融算法形容為開啟現(xiàn)代金融帝國大門的新密碼。[注]參見Frank Pasquale, The Black Box Society: The Secret Algorithms That Control Money and Information, Harvard University Press, 2015, pp.59-100.大數(shù)據(jù)算法之于已經(jīng)邁入互聯(lián)網(wǎng)時代的現(xiàn)代金融業(yè)的重要地位由此可見一斑。

    在公共治理領(lǐng)域,算法決策也逐漸受到青睞。在刑事偵查中,以大數(shù)據(jù)算法為基礎(chǔ)的預(yù)測警務(wù)被用于預(yù)防和打擊犯罪。美國情報部門為了打擊恐怖主義以維護(hù)國家安全,逐漸開始運用大數(shù)據(jù)算法識別和發(fā)現(xiàn)潛在的“恐怖分子”。美國學(xué)者佩德羅·多明戈斯在談到學(xué)習(xí)算法之于現(xiàn)代國家安全的重要性時指出:“在網(wǎng)絡(luò)空間之外,學(xué)習(xí)算法是保護(hù)國家的壁壘……恐怖分子可隱藏在足球比賽的人群中,但學(xué)習(xí)算法能辨認(rèn)他們的相貌,恐怖分子可以在國外制造爆炸事件,但學(xué)習(xí)算法能找到他們?!盵注][美]佩德羅·多明戈斯:《終極算法:機器學(xué)習(xí)和人工智能如何重塑世界》,黃芳萍譯,中信出版社2017年版,第24—26頁。同時,算法決策還被運用于刑事審判之中,作為量刑的重要依據(jù)。美國威斯康辛州初審法院基于罪犯改造部門提交的一份載有被告艾瑞克·魯米斯的再犯風(fēng)險評估內(nèi)容的COPMAS調(diào)查報告,進(jìn)而對其作出了監(jiān)禁6年外加監(jiān)外管制5年的判決。在接到一審判決之后,被告以初審法院根據(jù)COPMAS評估作出判決侵犯其正當(dāng)程序權(quán)利為由提出上訴,但最終被威斯康辛州最高法院駁回。

    算法不僅決定了執(zhí)法資源的分配,而且還在很大程度上決定著國家扶貧資源的分配。為了實現(xiàn)精準(zhǔn)扶貧戰(zhàn)略目標(biāo),目前,我國貴州、安徽、海南等中西部欠發(fā)達(dá)地區(qū)紛紛運用大數(shù)據(jù)來精準(zhǔn)識別貧困戶,進(jìn)而決定國家扶貧資源的合理分配。雖然各地“大數(shù)據(jù)+扶貧”戰(zhàn)略在具體實踐中有所差異,但是總體上遵循如下思路和做法:一是通過相關(guān)部門多維度數(shù)據(jù)對比分析,自動預(yù)警、實時推送異常信息,幫助扶貧干部實現(xiàn)對貧困戶的精準(zhǔn)識別。二是以“扶貧云”的建檔立卡貧困戶數(shù)據(jù)為基礎(chǔ),通過相關(guān)扶貧部門數(shù)據(jù)對貧困戶進(jìn)行精準(zhǔn)畫像,實時掌握國家、省、市、縣、鄉(xiāng)、村各級幫扶干部情況及對應(yīng)幫扶貧困戶信息。三是可根據(jù)貧困實時信息,自動比對和身份識別,推送給教育、財政、扶貧等相關(guān)部門,實現(xiàn)“一站式”精準(zhǔn)扶貧。四是通過大數(shù)據(jù)可視化,將幫扶企業(yè)對各貧困村、貧困戶的幫扶情況呈現(xiàn)出來,實時掌握企業(yè)幫扶貧困戶情況和貧困戶被幫扶進(jìn)程。[注]參見羅以洪、吳大華:《數(shù)過留痕!大數(shù)據(jù)讓扶貧變得更精準(zhǔn)》,載《經(jīng)濟(jì)日報》(百家號)2018年5月3日。

    由此可見,算法決策已經(jīng)彌散于私人和公共領(lǐng)域之中,并且伴隨著大數(shù)據(jù)不斷發(fā)展,算法決策還在向社會其他領(lǐng)域滲透蔓延開來。在現(xiàn)代社會中,算法決策之所以被廣泛運用,一個重要的原因在于算法決策有助于實現(xiàn)精準(zhǔn)決策??陀^公正是人類決策的重要目標(biāo),然而,受到人類認(rèn)知偏差的影響,人類決策一直為精準(zhǔn)性所困擾,現(xiàn)代社會的復(fù)雜性更加劇了精準(zhǔn)決策的難度。大數(shù)據(jù)為復(fù)雜社會治理提供了難得的歷史契機。一方面,現(xiàn)代互聯(lián)網(wǎng)技術(shù)實現(xiàn)了海量數(shù)據(jù)的存儲,人們?nèi)粘I畹狞c滴都被記錄下來;另一方面,借助于大數(shù)據(jù)算法,公私?jīng)Q策部門能夠?qū)€人的偏好、行為進(jìn)行精準(zhǔn)預(yù)測,從而作出相應(yīng)的決策。而且,算法決策還能固化乃至形塑個人的偏好。當(dāng)我們?yōu)g覽網(wǎng)絡(luò)時,大數(shù)據(jù)算法基于我們的瀏覽歷史和消費記錄,向我們推薦網(wǎng)頁新聞和營銷廣告,將固化和形塑我們的偏好和認(rèn)知。從功利主義視角觀之,大數(shù)據(jù)時代盛行的算法決策符合效用最大化的功利原理,這也是算法決策在現(xiàn)代社會備受公共部門與私人機構(gòu)青睞的根本原因。

    (二)算法自動決策面臨的新問題催生算法解釋權(quán)

    大數(shù)據(jù)時代的算法決策展現(xiàn)的是一種典型的技術(shù)理性。算法決策依靠的是大數(shù)據(jù)挖掘技術(shù)。大數(shù)據(jù)挖掘范圍最典型的特征在于,“其轉(zhuǎn)變了傳統(tǒng)的圍繞特定認(rèn)知對象或假設(shè)而進(jìn)行的數(shù)據(jù)搜集模式,取而代之以基于廣泛、全面、深度的數(shù)據(jù)搜集而形成認(rèn)知對象或假設(shè)的過程?!盵注]裴煒:《個人信息大數(shù)據(jù)與刑事正當(dāng)程序的沖突及其調(diào)和》,載《法學(xué)研究》2018年第2期。近年來,伴隨著算法決策廣泛運用,其在因精準(zhǔn)化而備受青睞贊譽的同時,卻也因算法決策引發(fā)的風(fēng)險而遭遇到越來越多的批評與質(zhì)疑。概括而言,目前,作為技術(shù)理性產(chǎn)物的算法決策所面臨主要是隱私風(fēng)險和歧視風(fēng)險。

    從隱私維度看,算法決策對生活于其間的個人隱私構(gòu)成了嚴(yán)重威脅。算法決策是以海量數(shù)據(jù)為基礎(chǔ)的,用于進(jìn)行算法決策的算法模型就是基于所搜集的歷史數(shù)據(jù)訓(xùn)練而形成的,亦即機器學(xué)習(xí)過程。用于訓(xùn)練算法模型的歷史數(shù)據(jù)來源廣泛,囊括個人購物偏好,行蹤軌跡、生理特征等諸多方面,其中包含大量涉及個人隱私的數(shù)據(jù)信息。在算法模型運用于特定主體時,仍然需要對個人的上述諸方面的數(shù)據(jù)信息進(jìn)行搜集。因此,在很大程度上,大數(shù)據(jù)時代的算法決策是以犧牲個人隱私來換取所謂的便利和高效,人們的私生活和個人隱私被現(xiàn)代物聯(lián)網(wǎng)技術(shù)暴露無遺。置身于大數(shù)據(jù)時代,“進(jìn)行數(shù)據(jù)收集、創(chuàng)建、存儲和分析的電腦數(shù)量呈爆炸性增加,使得技術(shù)能夠侵犯你的隱私。記錄你的生活細(xì)節(jié)的數(shù)據(jù)采集點越多,任何想要了解你的人可獲得的信息就越多?!盵注][美]特蕾莎·M.佩頓、西奧多·克萊普爾:《大數(shù)據(jù)時代的隱私》,鄭淑紅譯,上??茖W(xué)技術(shù)出版社2011年版,第19頁。無怪乎美國學(xué)者洛麗·安德魯斯發(fā)出大數(shù)據(jù)時代下個人“隱私死亡”的警告。[注]參見Lori B.Andrews, I Know Who You Are and I Saw What You Did: Social Networks and the Death of Privacy, Free Press, 2013.值得特別注意的是,與傳統(tǒng)技術(shù)聚焦于個體隱私信息的搜集與利用不同之處在于,現(xiàn)代大數(shù)據(jù)分析技術(shù)在隱私信息的搜集和運用上,已經(jīng)呈現(xiàn)出超越個體層面,逐漸向群體隱私聚焦的趨勢。[注]參見Lanah Kammourieh et al ., “Group privacy in the Age of Big Data” , in Taylor, Luciano Floridi, Bart van der Sloot(ed.), Group Privacy: New Challenges of Data Technologies, Springer, 2017, pp.37-66.之所以會帶來這種變化,原因在于,以大數(shù)據(jù)算法決策是建立在分類的基礎(chǔ)之上。這意味著,大數(shù)據(jù)時代,不僅僅要關(guān)注單個個體的隱私保護(hù)問題,還需要關(guān)注大數(shù)據(jù)分析技術(shù)帶來的群體隱私威脅和保護(hù)的問題,這也給傳統(tǒng)以個體為中心建構(gòu)隱私權(quán)的理論、制度和實踐帶來了挑戰(zhàn)。

    從決策的平等性角度觀之,自動化算法決策在引發(fā)隱私風(fēng)險的同時,也造成了歧視風(fēng)險。[注]參見Kate Crawford, The Hidden Biases, Harvard Business Review, April 01,2013.德國學(xué)者克里斯多夫·庫克里克將現(xiàn)代大數(shù)據(jù)算法統(tǒng)治的社會稱之為“微粒社會”,以區(qū)別于傳統(tǒng)的“粗粒社會”,微粒社會的典型特點是借助算法對人和事物進(jìn)行高度的解析、評價和預(yù)測。因此,微粒社會也是一個借助算法進(jìn)行預(yù)測和打分的“評價型社會”。然而,由算法所進(jìn)行的評價并非技術(shù)專家所標(biāo)榜的那么客觀和中立?;谒惴ㄋ龀觥霸u價和預(yù)測不是中立的,它們介入個體的生活之中,考驗著我們對于民主體制中平等的理解?!盵注][德]克里斯多夫·庫克里克:《微粒社會:數(shù)字化時代的社會模式》,黃昆、夏柯譯,中信出版社2018年版,第110頁。這意味著,算法決策給傳統(tǒng)的平等觀念和價值帶來了嚴(yán)重的挑戰(zhàn),也引發(fā)了歧視風(fēng)險。如果說隱私風(fēng)險是源自于大數(shù)據(jù)的開放性特征,那么,歧視風(fēng)險則是源于大數(shù)據(jù)的排斥性特征。在技術(shù)樂觀主義者看來,大數(shù)據(jù)具有開放性和包容性,能夠很大程度上消除傳統(tǒng)人類決策中的偏見與歧視。然而,大數(shù)據(jù)并非如那我們所設(shè)想的那般,只具有開放性,而是兼具包容性特征與排斥性特征。[注]參見Jonas Lerman, Big Data and Its Exclusion,Vol 66 Stanford Law Review Online (2013), pp.55-63;又參見Edith Ramirez, Julie Brill, Maureen K. Ohlhausen, Terrell McSweeny, Big Data: A Tool for Inclusion or Exclusion?, Federal Trade Commission, January, 2016.而恰恰是由于大數(shù)據(jù)的排斥性特征,引發(fā)了大數(shù)據(jù)算法歧視的問題。

    目前,算法決策的歧視問題呈現(xiàn)在私人與公共決策諸方面。例如,在招聘就業(yè)領(lǐng)域,算法自動化決策帶來了對黑人和女性等特殊群體的系統(tǒng)性歧視。[注]關(guān)于就業(yè)領(lǐng)域的算法歧視問題,參見Allan G.King, Marko J.Mrkonich, Big Data and the Risk of Employment Discrimination, Vol.68 Oklahoma Law Review(2016), pp.555-584;又參見Pauline T.Kim, Data-Drive Discrimination at Work, Vol.58 William&Mary Law Review(2017), pp.857-936.在銀行信貸領(lǐng)域,算法決策使得在相同條件下,黑人和其他有色人種獲得銀行貸款的機會明顯減少。[注]關(guān)于金融信貸領(lǐng)域的算法歧視,參見Danielle Keats Citron, Frank Pasquale, The Scored Society: Due Process for Automated Predictions, Vol.89 Washington Law Review(2014), pp.1-33.美國學(xué)者伊恩·艾瑞斯表達(dá)了他對于金融信貸領(lǐng)域算法決策種族歧視的擔(dān)憂:“盡管幾乎不可能明確根據(jù)種族來制定房貸或保險計算程序,……不過,形式上沒有種族歧視的計算程序有時也會被質(zhì)疑為促進(jìn)了某種實質(zhì)性的歧視。地域性歧視是歷史延續(xù)下來的做法,即拒絕向少數(shù)群體地區(qū)提供貸款。實質(zhì)性歧視類似于拒絕向數(shù)據(jù)表明有少數(shù)群體聚集的群體提供貸款。讓人擔(dān)心的是放款人可以通過數(shù)據(jù)挖掘到與種族相關(guān)的特征,并把這些特征用作拒絕放款的借口?!盵注][美]伊恩·艾瑞斯:《大數(shù)據(jù)思維與決策》,宮相真譯,人民郵電出版社2014年版,第172頁。牛津?qū)W者布萊斯·古德曼和賽斯·弗蘭斯曼認(rèn)為,“在一定意義上,運用算法畫像來進(jìn)行資源分配本質(zhì)上就具有歧視性:當(dāng)數(shù)據(jù)主體根據(jù)各種變量進(jìn)行分組時畫像就發(fā)生了,而決定的作出則是以某一主體歸屬于特定的群體為基礎(chǔ)的?!盵注]Bryce Goodman, Seth Flaxman, European Union Regulation on Decision-making and a “Right to Explanation”, https://arxiv.org/pdf/1606.08813.pdf,最后訪問時間:2018年7月20日。在市場營銷方面,各大互聯(lián)網(wǎng)平臺通過對消費者歷史消費記錄的大數(shù)據(jù)分析,可以精準(zhǔn)掌握潛在消費主體的消費偏好和需求,并基于消費者對特定商品和服務(wù)的喜好程度來對其進(jìn)行“差別化定價”,提供所謂的“個性化”消費體驗。然而,這種個性化定價的背后,則可能構(gòu)成“價格歧視”。[注]國外學(xué)者阿里爾·扎拉奇、莫里斯·E.斯圖克認(rèn)為,歧視性定價行為指的是商家在向不同的消費者提供相同等級、相同質(zhì)量的商品或服務(wù)時,基于后者的購買意愿與支付能力,實行不同的收費標(biāo)準(zhǔn)或價格政策。而商家成功實施歧視性定價行為需要滿足兩個條件:一是差別化的定價能力;二是有限的套利空間。大數(shù)據(jù)時代,商家憑借其掌握海量消費數(shù)據(jù)和具備自我學(xué)習(xí)能力的定價算法,能夠逼近完全的價格歧視。參見[英]阿里爾·扎拉奇、[美]莫里斯·E.斯圖克:《算法的陷阱:超級平臺、算法壟斷與場景欺騙》,余瀟譯,中信出版集團(tuán)2018年版,第113—118頁。在預(yù)測警務(wù)執(zhí)法領(lǐng)域,算法自動化決策則涉嫌歧視黑人群體和有犯罪記錄者。[注]關(guān)于預(yù)測警務(wù)中的算法歧視問題,參見Tal Z.Zarsky, Transparent Predictions, Vol.2013 U.Illinois Law Review(2013), pp.1503-1569.

    在現(xiàn)代法治社會中,基于個人種族、膚色、宗教信仰或其他一些特征所作出的公共或私人決策都將受到?jīng)Q策平等性的質(zhì)疑。然而,在大數(shù)據(jù)算法的幫襯下,決策者可以“繞開這些反歧視約束,實現(xiàn)對特定人群的分組。通過自動化的開發(fā)和改進(jìn)分組的過程,算法將特定種族、婚姻狀況、年齡、性取向和宗教信仰的人劃分到了一起?!盵注][英]阿里爾·扎拉奇、[美]莫里斯·E.斯圖克:《算法的陷阱:超級平臺、算法壟斷與場景欺騙》,余瀟譯,中信出版集團(tuán)2018年版,第164頁。這意味著,借助于算法程序,歧視現(xiàn)象將變得更為隱秘,難以為人們所察覺。但是這并不意味著歧視并不存在。實踐中。屢屢見諸報端的“大數(shù)據(jù)殺熟”等大數(shù)據(jù)歧視現(xiàn)象表明,算法決策并非如我們所設(shè)想的那樣公正客觀,而是同樣存在著偏見和歧視,人們固有的偏見與歧視將通過數(shù)據(jù)搜集和數(shù)據(jù)訓(xùn)練等一系列行為而得以延續(xù),甚至加劇。學(xué)者形象地將其稱為“偏見數(shù)據(jù)進(jìn),偏見決策出”。

    算法自動決策所引發(fā)的隱私與歧視風(fēng)險,在不同程度上都指向大數(shù)據(jù)算法決策的“黑箱效應(yīng)”。所謂算法決策的“黑箱效應(yīng)”,是指那些對人們生活產(chǎn)生重大影響的決策,是由大數(shù)據(jù)算法在人們無法察覺和認(rèn)知的隱秘狀態(tài)下自動作出的,具有高度的模糊性。究其原因,算法決策黑箱效應(yīng)緣于算法決策具有高度的技術(shù)性和隱蔽性。正因如此,大數(shù)據(jù)算法成為公共和私人機構(gòu)推諉責(zé)任的工具和屏障,當(dāng)決策失誤時,他們便可以決策是由技術(shù)中立的算法模型作出為理由而拒絕承擔(dān)責(zé)任,從而引發(fā)了算法決策的可責(zé)性問題。憑借大數(shù)據(jù)算法,一些商業(yè)機構(gòu)和公共部門正在獲得一種新的權(quán)力——算法權(quán)力。而如何從法律制度層面對這一權(quán)力加以有效規(guī)制,成為亟待法律學(xué)者回應(yīng)的重要理論與實踐命題。

    2016年4月14日通過并于2018年5月25日正式實施的歐盟《一般數(shù)據(jù)保護(hù)條例》,被認(rèn)為確立了算法解釋權(quán)。在大數(shù)據(jù)時代背景之下,作為一種新興權(quán)利形態(tài),算法解釋權(quán)興起所展現(xiàn)的,實則是試圖通過強化對算法自動化決策的解釋,進(jìn)而提高算法透明性,并最終達(dá)致克服算法模糊性和技術(shù)性特征所引發(fā)的隱私和歧視風(fēng)險的制度性努力,亦即旨在通過賦予數(shù)據(jù)主體有權(quán)獲得算法自動決策的解釋權(quán)利,來達(dá)到規(guī)制算法權(quán)力,進(jìn)而緩和乃至消除算法決策隱私和歧視風(fēng)險的目的。

    三、通過增強透明性規(guī)制算法權(quán)力:算法解釋權(quán)之控權(quán)邏輯評析

    透過上文的分析,我們得以洞悉算法解釋權(quán)產(chǎn)生的現(xiàn)實情境,但是,公允而論,作為一種新興權(quán)利,其正當(dāng)性并不僅取決于宏觀層面大數(shù)據(jù)時代所面臨的形形色色的現(xiàn)實需求,而更多地取決于這一權(quán)利類型究竟能夠在多大程度上回應(yīng)和解決現(xiàn)實的難題。在大數(shù)據(jù)時代,各種權(quán)利話語呈現(xiàn)泛濫趨勢。加拿大學(xué)者薩姆納便對現(xiàn)代社會中權(quán)利膨脹與貶值現(xiàn)象提出批評,在談到權(quán)利話語的問題時,他將經(jīng)濟(jì)學(xué)上的通貨膨脹與權(quán)利膨脹相類比:“通貨膨脹使得貨幣貶值,降低了購買力。權(quán)利要求的擴(kuò)大也使權(quán)利貶值,降低了權(quán)利論爭力。權(quán)利要求的擴(kuò)大是有意義的,但往往缺乏基礎(chǔ)或比較輕率”。[注][加]L·M.薩姆納:《權(quán)利的道德基礎(chǔ)》,李茂森譯,中國人民大學(xué)出版社2011年版,第14頁。目前,圍繞著算法解釋權(quán)的實然存在性與應(yīng)然正當(dāng)性,學(xué)界仍存明顯分歧。為了更好地明確算法解釋權(quán)的價值,避免算法解釋權(quán)的制度建構(gòu)淪為一種缺乏理論基礎(chǔ)的輕率產(chǎn)物,殊有必要梳理和檢視算法解釋權(quán)的控權(quán)邏輯,并澄清和回應(yīng)目前學(xué)者圍繞算法解釋權(quán)的理論爭議誤區(qū)。

    (一)算法解釋權(quán)的控權(quán)邏輯:增強算法透明性

    在算法決策逐漸占據(jù)統(tǒng)治地位的算法社會中,各大互聯(lián)網(wǎng)商業(yè)巨頭和公共機構(gòu)正在掌握一種算法權(quán)力,而支撐這種新型權(quán)力的則是各種功能強大的學(xué)習(xí)算法。大數(shù)據(jù)算法的重要特征在于其高度的專業(yè)性和模糊性,這些特征使得算法決策呈現(xiàn)出顯著的黑箱效應(yīng),并最終引發(fā)了算法決策的責(zé)任性危機。為了克服算法黑箱效應(yīng),進(jìn)而強化算法決策的可責(zé)性法律學(xué)者和技術(shù)專家等進(jìn)行了艱辛的理論探索和制度建構(gòu),算法解釋權(quán)則是眾多方案中極具代表性的一種。從控權(quán)角度觀之,算法解釋權(quán)基本遵循了以權(quán)利制約權(quán)力的控權(quán)邏輯。具體而言,算法解釋權(quán)制度的建構(gòu)邏輯如下:算法決策存在嚴(yán)重的黑箱效應(yīng),并導(dǎo)致算法決策責(zé)任性缺失,為了重塑算法決策可責(zé)性,則需要通過算法解釋權(quán)來提高算法決策的透明性。

    歐盟《一般數(shù)據(jù)保護(hù)條例》便基本遵循了這樣一種以通過賦予解釋權(quán)提高算法透明性進(jìn)而增強算法決策可責(zé)性的算法權(quán)力規(guī)制路徑。歐盟《一般數(shù)據(jù)保護(hù)條例》第13條第2款第(f)、第(14)條第2款第(g)項、第15條第1款第(h)項均規(guī)定了控制者在獲取個人數(shù)據(jù)時,為確保處理過程公正和透明之必要,應(yīng)當(dāng)向數(shù)據(jù)主體提供如下信息:“本條例第22條第1款以及第4款所述的自動決策機制,包括數(shù)據(jù)畫像及有關(guān)的邏輯程序和有意義的信息,以及此類處理對數(shù)據(jù)主體的意義和預(yù)期影響?!痹摋l實則確立了算法解釋權(quán)。從立法目的上看,該條款明確指出了設(shè)立算法解釋權(quán)的目的,即旨在“確保處理過程的公正和透明”。從權(quán)利主體上,該條款將解釋權(quán)的權(quán)利主體界定為數(shù)據(jù)主體,而將解釋權(quán)的義務(wù)主體界定為數(shù)據(jù)控制者,即各大互聯(lián)網(wǎng)平臺和公共機構(gòu)。從適用對象上,算法解釋權(quán)適用于基于算法所做出的自動決策,該《條例》第22條第1款進(jìn)一步對算法自動決策加以界定:“如果某種包括數(shù)據(jù)畫像在內(nèi)的自動化決策會對數(shù)據(jù)主體產(chǎn)生法律效力或?qū)ζ湓斐深愃浦卮笥绊?,?shù)據(jù)主體有權(quán)不受上述決策的限制。”從解釋內(nèi)容上,則主要包括“數(shù)據(jù)畫像及有關(guān)的邏輯程序和有意義的信息,以及此類處理對數(shù)據(jù)主體的意義和預(yù)期影響”。透過對歐盟《一般數(shù)據(jù)保護(hù)條例》的梳理可以發(fā)現(xiàn),算法解釋權(quán)的權(quán)利構(gòu)造以及立法目的大致遵循了上述以數(shù)據(jù)主體算法解釋權(quán)制約數(shù)據(jù)控制者算法權(quán)力的控權(quán)邏輯,且遵循借由提升算法決策透明性來達(dá)致算法決策可責(zé)性的規(guī)制路徑。

    (二)算法解釋權(quán)控權(quán)邏輯之批判——來自反對者的觀點

    至于算法解釋權(quán)背后的控權(quán)邏輯是否能夠成立,則有待進(jìn)一步分析論證。為了增強分析論證的針對性,在此,筆者將通過梳理目前學(xué)界關(guān)于算法解釋權(quán)的理論爭議,來進(jìn)一步厘清算法解釋權(quán)控權(quán)邏輯的潛在價值和局限性。為了有針對性地回應(yīng)反對者的觀點,筆者重點梳理和考察對算法解釋權(quán)持否定與批判態(tài)度的學(xué)者的觀點。概括而言,目前反對者主要是從否定算法解釋權(quán)的實存性與正當(dāng)性兩個層面上來批判算法解釋權(quán)。

    第一、否定算法解釋權(quán)是實然的法定權(quán)利。以布萊斯·古德曼和塞斯·弗拉克斯曼為代表的學(xué)者認(rèn)為,歐盟《一般數(shù)據(jù)保護(hù)條例》規(guī)定,數(shù)據(jù)主體有權(quán)利獲得“包括數(shù)據(jù)畫像及有關(guān)的邏輯程序和有意義的信息”,確立了算法解釋權(quán)。[注]Bryce Goodman, Seth Flaxman, European Union Regulation on Decision-making and a “Right to Explanation”, https://arxiv.org/pdf/1606.08813.pdf,最后訪問時間:2018年7月20日。持相近觀點還有美國學(xué)者安德魯·賽爾貝特和茱莉亞·波爾斯教授,參見Andrew D.Selbet, Julia Powles, Meaningful Information and The Right to Explanation, Vol.7 International Data Privacy Law (2017).而桑德拉˙瓦切特等學(xué)者則否認(rèn)歐盟《一般數(shù)據(jù)保護(hù)條例》的上述規(guī)定確立了算法解釋權(quán),而認(rèn)為該條款只是確立了算法知情權(quán)(Right to be Informed)。[注]參見S.Wachter, B.Mittelstadt, L.Floridi, Why a Right to Explanation of Automated Decision-Making Does not Exist in the General Data Protection Regulation, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2903469,最后訪問時間:2018年8月10日。還有觀點認(rèn)為,真正確立算法解釋權(quán)的是該《條例》序言第71款。安德魯·伯特認(rèn)為,序言第71款“可能是歐盟《一般數(shù)據(jù)保護(hù)條例》中最清晰的表達(dá)算法解釋權(quán)”的條款。[注]參見Andrew Burt, Is There a ‘Right to Explanation’ for Machine Learning in the GDPR?,https://iapp.org/news/a/is-there-a-right-to-explanation-for-machine-learning-in-the-gdpr/,最后訪問時間:2018年8月10日。但是,在他看來,問題在于,因為《條例》序言部分沒有法律效力,使得該條所謂算法解釋權(quán)無法發(fā)生法律約束力。在筆者看來,解釋權(quán)之所以會造成上述分歧,直接的原因在于,在2016年出臺的歐盟《一般數(shù)據(jù)保護(hù)條例》中并未明確出現(xiàn)“解釋權(quán)”(Right to Explanation)的字眼,從而給予了學(xué)者們理論闡釋和解讀的空間,甚至于直接否定算法解釋權(quán)是一項法定權(quán)利。

    第二、質(zhì)疑算法解釋權(quán)的正當(dāng)性。除了從法律文本上去否定算法解釋權(quán)的實然存在性,還有學(xué)者則從權(quán)利正當(dāng)性這一更深層次質(zhì)疑算法解釋權(quán)的合理性。具體而言,對于算法解釋權(quán)正當(dāng)?shù)馁|(zhì)疑主要包括以下三個方面:第一,否認(rèn)算法解釋的可能性。一些學(xué)者認(rèn)為大數(shù)據(jù)算法不具有可解釋性,進(jìn)而直接否認(rèn)解釋權(quán)存在的可能性。第二,否認(rèn)算法解釋的必要性。持這種觀點的學(xué)者認(rèn)為,人類所作出的很多決策,尤其是私人機構(gòu)所作出的決策并不需要進(jìn)行解釋,因此同樣不需要對算法決策進(jìn)行解釋。第三,認(rèn)為賦予算法解釋權(quán)不但不能達(dá)到增強算法決策責(zé)任性的目的,反而會影響算法自動決策的效率,甚至造成不必要的損失,特別是會泄露商業(yè)秘密。[注]參見Lilian Edwards, Michael Veale, Slave to the Algorithm?Why A‘Right to An Explanation’ Is Probably Not The Remedy You Are Looking For, Vol.16 Duke Law & Technology. Review(2017), pp.18-84.正是基于上述理由,學(xué)者們對算法解釋權(quán)持懷疑甚至是堅決反對的態(tài)度。

    (三)對反對觀點的理論回應(yīng)

    筆者認(rèn)為,上述觀點均在某種層面反映出算法決策的復(fù)雜性,具有一定道理。但是,其中一些觀點殊值商榷。以下分述之:

    第一,算法解釋權(quán)已經(jīng)成為一項法定權(quán)利。雖然目前學(xué)界對算法解釋權(quán)是否一項法定權(quán)利仍存爭議。但是,通過梳理和比較歐盟《一般數(shù)據(jù)保護(hù)條例》的相關(guān)條文,筆者認(rèn)為,該條例第13條第2款第(f)、第14條第2款第(g)項、第15條第1款第(h)項,以及第22條第1款之規(guī)定,實際上已經(jīng)從法律上確立了算法解釋權(quán)。有學(xué)者所謂的算法知情權(quán),實則是對算法解釋權(quán)解釋內(nèi)容和解釋標(biāo)準(zhǔn)的一種片面的理解而已。實際上,從該學(xué)者之后發(fā)表的有關(guān)解釋權(quán)研究成果中,可以發(fā)現(xiàn)其也是承認(rèn)算法解釋權(quán)的。[注]參見Sandra Wachter, Brent Mittelstadt, Chris Russell, Counterfactual Explanation Without Opening the Black Box: Automated Decisions and The GDPR, Available at: https://ssrn.com/abstract=3063289. 最后訪問時間:2018年8月20日。

    第二,目前現(xiàn)實中的算法決策多具有可解釋性。誠然,算法決策確實面臨著解釋的難題,這種解釋難題一方面緣于大數(shù)據(jù)算法自動決策所運用的算法模型具有較高的專業(yè)性;另一方面緣于算法決策是建立在相關(guān)性基礎(chǔ)之上,而并非建立在因果關(guān)系之上,按照慣常的決策解釋方式,難以對其進(jìn)行恰當(dāng)解釋。然而,我們不能就此完全否認(rèn)算法決策的可解釋性。實際上,就目前運用的算法模型而言,大多數(shù)算法決策還是具有可解釋性的。首先,“雖然某些模型缺乏可解釋性確實是一項挑戰(zhàn),但總體而言,可理解的解釋的前景并非毫無希望。許多算法決策不依賴于難以理解的深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò),而是較不復(fù)雜和更易解釋的模型,例如決策樹”。其次,“即使是在復(fù)雜的多層模型中,模糊性的問題也被高估了,在不試圖打開黑箱的情形下仍有多種方式能夠解釋某一模型所做出的特定決策”。[注]Reuben Binns, Algorithmic Accountability and Public Reason, Philosophy and Technology, 2017.這意味著,目前,大多數(shù)算法決策仍然是具有解釋可能性的。

    第三,算法解釋權(quán)有助于緩和算法決策的復(fù)雜性。我們認(rèn)為,那種將以人類為決策者所作出的決策直接與大數(shù)據(jù)算法自動決策直接等同的觀點是值得商榷的。因為人類所做出的決策,通常是能夠為常人所理解的,人們通常不需要描述決策 的過程,而更多的是解釋作出決策的原因,以體現(xiàn)決策的合理性。實際上,“當(dāng)涉及到人類決策者時,當(dāng)某人做出我們不理解或不相信的次優(yōu)決定時,我們常常同樣會想要一個解釋。”[注]Finale Doshi-Velez, Mason Kertz, Accountability of AI Under the Law: The Role of Explanation, https://dash.harvard.edu/bitstream/handle/1/34372584/2017-11_aiexplainability-1.pdf?sequence=3,p.3,最后訪問時間:2018年8月25日。在算法自動化決策中,解釋的內(nèi)容不僅涉及到描述算法決策作出的過程,還涉及特定算法自動決策作出的原因與理由。換言之,在算法自動決策中,數(shù)據(jù)控制者實際上承擔(dān)了更重的解釋義務(wù)。透過算法解釋權(quán),原本具有高度復(fù)雜性的算法決策能夠在很大程度上為人們所理解。

    第四,算法解釋權(quán)有助于增強算法的責(zé)任性。正如前述,算法解釋權(quán)的控權(quán)邏輯實則是通過提高算法透明性來達(dá)致增強算法責(zé)任性的目的。而否定者則認(rèn)為,通過提高算法透明性來提升算法決策的責(zé)任性的路徑收效甚微,且會嚴(yán)重影響算法決策的效率和數(shù)據(jù)控制者的競爭力。必須承認(rèn),否定者所表達(dá)的觀點以及隱含于其中的對算法透明性的擔(dān)憂是有道理的。首先,因為將算法毫無保留的向公眾公開是一件極不明智的選擇,這不僅將危及公眾的隱私,而且將使得算法自動決策的功能被完全架空。基于此,通過完全地、毫無保留地將算法徹底公之于眾是我們堅決反對的。[注]參見Paul B.Delaat, Algorithmic Decision-Making Based on Machine Learning from Big Data: Can Transparency Restore Accountability, Philosophy and Technology, 2017.但是,這并不能構(gòu)成我們反對算法解釋權(quán)的理由。因為算法解釋權(quán)這一制度設(shè)計所意欲實現(xiàn)的并非是算法模型的“完全透明性”,而毋寧是在尋求一種“適當(dāng)透明性”。[注]Frank Pasquale, The Black Box Society, Harvard University Press, 2015, p.142.這一制度設(shè)計并不要求算法模型和決策過程的完全公開,而是要求其對算法模型的邏輯和有意義的信息進(jìn)行解釋說明。其次,算法解釋權(quán)通過對算法決策內(nèi)在因果性和相關(guān)性的解釋有助于增強算法的可責(zé)性。在現(xiàn)代社會中,可責(zé)性既是一種美德,也是一種具體機制。作為一種機制,可責(zé)性所指涉的是解釋和為特定行為進(jìn)行辯護(hù)的義務(wù)。具體到算法決策領(lǐng)域,算法應(yīng)責(zé)性價值的實現(xiàn),主要體現(xiàn)為以下三個方面:(1)告知算法決策具體實施的行為;(2)闡釋說明算法決策的正當(dāng)性;(3)承擔(dān)算法決策所帶來的制裁后果。算法解釋權(quán)透過對算法模型的解釋、特定算法決策過程的描述以及算法決策對數(shù)據(jù)主體預(yù)期影響的解釋說明,能夠提升算法的可責(zé)性。再次,算法解釋權(quán)作為一種反思機制有助于提升算法責(zé)任性。眾所周知,大數(shù)據(jù)關(guān)注的是相關(guān)性,而非因果性。大數(shù)據(jù)算法決策也是試圖發(fā)現(xiàn)事物之間的相關(guān)性,以實現(xiàn)算法決策的精準(zhǔn)性和客觀性,但是,在很多情形下,相關(guān)性并不能保證決策的精準(zhǔn)性和客觀性,算法解釋權(quán)通過賦予數(shù)據(jù)控制者對其算法模型和算法決策的解釋說明義務(wù),實則是給予了其對算法決策進(jìn)行反思的機會。誠如學(xué)者所言:“通過呈現(xiàn)決策背后的邏輯,解釋可以被用來防止錯誤并增加信任,解釋還可能被用來確定在產(chǎn)生爭議的情形下,運用的某些標(biāo)準(zhǔn)是否適當(dāng)?!盵注]Finale Doshi-Velez, Mason Kertz, Accountability of AI Under the Law: The Role of Explanation, https://dash.harvard.edu/bitstream/handle/1/34372584/2017-11_aiexplainability-1.pdf?sequence=3,p.4,最后訪問時間:2018年8月25日。這一點,對于公共領(lǐng)域的算法決策尤為重要。公共決策并非單純的個人欲望、偏好和利益的滿足,而是要接受公共理性的檢驗。此時,算法解釋權(quán)要求數(shù)據(jù)控制者對算法決策加以解釋說明,恰恰給予公共領(lǐng)域的算法決策接受公共理性檢驗的機會,從而促進(jìn)算法決策的可責(zé)性。[注]參見Reuben Binns, Algorithmic Accountability and Public Reason, Philosophy and Technology, 2017.

    綜上,我們認(rèn)為,在大數(shù)據(jù)背景下,伴隨著算法自動化決策的興起,算法解釋權(quán)作為一種應(yīng)對算法決策黑箱效應(yīng)的新型權(quán)利,通過提升算法透明性來重塑算法決策的可責(zé)性,具有正當(dāng)性基礎(chǔ)。

    四、算法解釋權(quán)的基本構(gòu)造:兩種解釋權(quán)模式的比較分析

    肯認(rèn)算法解釋權(quán)在現(xiàn)代算法社會中具有正當(dāng)性的同時,我們也需要看到,算法解釋權(quán)作為一種新興權(quán)利,在理論上仍面臨著諸多爭議,在實踐中亦將遭遇許多問題,而回應(yīng)爭議和解決問題的最重要途徑是進(jìn)一步理清算法解釋權(quán)的基本構(gòu)造。通常而言,一項權(quán)利的基本構(gòu)造涉及權(quán)利主體、客體、內(nèi)容等方面。具體到算法解釋權(quán),其基本構(gòu)造包括算法解釋權(quán)的主體、客體、內(nèi)容等諸方面。青年學(xué)者張凌寒博士已經(jīng)從主體、解釋標(biāo)準(zhǔn)和內(nèi)容層次上對算法解釋權(quán)的構(gòu)造作了開創(chuàng)性的研究,具有重要意義。[注]參見張凌寒:《商業(yè)自動化決策的算法解釋權(quán)研究》,載《法律科學(xué)》2018年第3期。為深化對提高算法解釋權(quán)利構(gòu)造的理論認(rèn)知,本文將從解釋主體、解釋標(biāo)準(zhǔn)、時機等方面總結(jié)算法解釋權(quán)構(gòu)造的兩種模式,并探討兩種模式運用的具體情境。

    從動態(tài)角度審視算法決策的形成過程,會發(fā)現(xiàn)算法決策過程實際上包含了兩個基本階段:第一階段為算法模型的建模階段,第二階段則是將算法模型運用于特定主體,并在此基礎(chǔ)上形成自動化算法決策?;谝陨蟽蓚€階段,可以將算法解釋權(quán)界分為以“算法功能為中心”的解釋權(quán)模式與以“具體決策為中心”的解釋權(quán)模式。[注]Andrew D.Selbet, Julia Powles, Meaningful Information and The Right to Explanation, Vol.7 International Data Privacy Law(2017).還有學(xué)者將算法解釋模式區(qū)分為“以模型為中心”的解釋模式與“以主體為中心”的解釋模式,實際上,這種類型學(xué)區(qū)分與本文采行的界分標(biāo)準(zhǔn)有相似之處,參見Lilian Edwards, Michael Veale, Slave to the Algorithm?Why A‘Right to An Explanation’Is Probably Not The Remedy You Are Looking For, Vol.16 Duke Law & Technology Review(2017), pp.18-84.兩種算法解釋權(quán)模式在解釋主體、解釋標(biāo)準(zhǔn)和解釋時機上具有明顯差異。

    首先,從解釋主體上,算法解釋權(quán)主體包括算法解釋權(quán)的權(quán)利主體和義務(wù)主體。前者指享有獲得特定算法解釋權(quán)的主體,而后者則是指負(fù)有算法解釋義務(wù)的主體。兩種解釋權(quán)模式在權(quán)利主體范圍上有所差異。以算法系統(tǒng)功能為中心的解釋權(quán)模式的權(quán)利主體主要是數(shù)據(jù)主體,義務(wù)主體則主要是特定算法模型的開發(fā)者,以具體決策為中心的解釋權(quán)模式的權(quán)利主體則主要是受到特定算法自動化決策影響的相對人,例如在被特定自動化算法決策拒絕聘用的相對人,其義務(wù)主體則是特定算法模型的使用者,例如用特定算法模型作出雇傭決策的公司。需要特別指出的是,因為算法決策的過程具有較高專業(yè)性和復(fù)雜性,作為特定算法模型的開發(fā)者負(fù)有協(xié)助解釋的義務(wù)。

    其次,從解釋標(biāo)準(zhǔn)觀之,數(shù)據(jù)控制者對自動化算法決策的解釋標(biāo)準(zhǔn)不同,意味著其為數(shù)據(jù)主體提供的“有意義的信息”所包含的具體內(nèi)容并不相同。以算法的系統(tǒng)功能為中心的解釋權(quán)模式主要聚焦于對特定算法模型的系統(tǒng)功能的解釋說明。在這一模式下,特定的數(shù)據(jù)控制者提供給數(shù)據(jù)主體的有意義的信息主要包括:“自動化決策系統(tǒng)的邏輯、意義、設(shè)想的后果和一般的功能,例如規(guī)范指南、決策樹、預(yù)定義模型,標(biāo)準(zhǔn)和分類結(jié)構(gòu)”。[注]張凌寒:《商業(yè)自動化決策的算法解釋權(quán)研究》,載《法律科學(xué)》2018年第3期。以具體決策為中心的算法解釋模式則主要聚焦于基于算法模型所產(chǎn)生的“具體決策”進(jìn)行解釋,這種解釋模式所提供的有意義的信息包括:特定自動化決策的基本原理、理由和個體情況,例如,特征的權(quán)重、機器定義的特定案例決策規(guī)則,參考或畫像群體的信息。由此可見,兩種算法解釋權(quán)模式在解釋標(biāo)準(zhǔn)上存在顯著差異。

    再次,從解釋的時機觀之,以算法的系統(tǒng)功能為中心的解釋權(quán)模式的解釋行為通常既可以選擇在算法模型建模完成之后而特定算法決策做出之前,也可以選擇在特定決策做出之后。而以具體決策為中心的算法解釋模式,其解釋行為通常是在做出特定自動決策之后進(jìn)行。

    由此可見,兩種算法解釋權(quán)模式在解釋主體、解釋標(biāo)準(zhǔn)和解釋時機上存在顯著差異。但是,需要指出的是,根據(jù)算法決策的時間階段不同對算法決策解釋權(quán)作出類型化界分,旨在明確各個階段的解釋權(quán)的具體標(biāo)準(zhǔn)和內(nèi)容,而并非是意在在算法解釋權(quán)運用中對兩者進(jìn)行排他選擇,更不是指對所有的算法決策統(tǒng)一選擇某種解釋標(biāo)準(zhǔn)。有學(xué)者認(rèn)為,在解釋標(biāo)準(zhǔn)上,算法解釋權(quán)應(yīng)當(dāng)聚焦于特定決策,并認(rèn)為對特定算法模型“系統(tǒng)功能”的解釋是法律上“無意義的信息”。[注]張凌寒:《商業(yè)自動化決策的算法解釋權(quán)研究》,載《法律科學(xué)》2018年第3期。我們認(rèn)為,上述觀點有一定道理,但亦有值得商榷之處。實際上,算法“系統(tǒng)功能”與特定算法決策的結(jié)果密切相關(guān),不能因為系統(tǒng)功能的解釋本身具有較高的技術(shù)性特征便認(rèn)為對其解釋是無意義的。這種理解既不符合歐盟《一般數(shù)據(jù)保護(hù)條例》的“有意義的信息”的立法涵義,也不符合算法解釋權(quán)的立法目的。

    結(jié)語

    在大數(shù)據(jù)時代,伴隨著算法統(tǒng)治時刻的來臨,如何從法律制度上對這些廣泛而深刻影響人類權(quán)利和利益乃至于人的尊嚴(yán)和完整性的大數(shù)據(jù)算法進(jìn)行有效規(guī)制,成為現(xiàn)代“算法社會”中法律人義不容辭的使命與責(zé)任。誠然,賦予數(shù)據(jù)主體以及受特定算法決策影響的相對人以算法解釋權(quán),只是眾多規(guī)制方案中的一種。作為一種賦權(quán)規(guī)制路徑,如同其他規(guī)制方案一樣,算法解釋權(quán)既有其不可替代的功能,也存在著局限性。但是,無論怎樣,以提高算法決策透明度和可責(zé)性為重要目的的算法解釋權(quán)規(guī)制方案,在捍衛(wèi)人的尊嚴(yán)和完整性方面,發(fā)揮著無法取代的重要性,而人的尊嚴(yán)和人的完整性的侵蝕恰恰是現(xiàn)代算法社會所面臨的根本性挑戰(zhàn)。從這個意義上,作為其中可資利用的一個新興權(quán)利形態(tài),算法解釋權(quán)在捍衛(wèi)和實現(xiàn)算法社會中為人們所共同珍視的隱私、包容等關(guān)系人的尊嚴(yán)的重要價值方面具有重要制度功能,值得我們憧憬和認(rèn)真對待。

    猜你喜歡
    解釋權(quán)決策算法
    黨內(nèi)法規(guī)解釋權(quán)授權(quán)的規(guī)范反思及完善
    法律方法(2022年1期)2022-07-21 09:20:40
    為可持續(xù)決策提供依據(jù)
    基于MapReduce的改進(jìn)Eclat算法
    Travellng thg World Full—time for Rree
    決策為什么失誤了
    進(jìn)位加法的兩種算法
    一種改進(jìn)的整周模糊度去相關(guān)算法
    理解我國法律解釋權(quán)的“監(jiān)督”向度
    法律方法(2013年1期)2013-10-27 02:27:04
    最高院司法解釋權(quán)的經(jīng)濟(jì)分析
    法律方法(2013年1期)2013-10-27 02:27:00
    雜志有獎訂閱
    秀·美的(2013年4期)2013-07-02 03:54:48
    亚洲国产精品国产精品| 亚洲美女视频黄频| 色综合欧美亚洲国产小说| 大片免费播放器 马上看| 亚洲熟女毛片儿| 精品亚洲成国产av| 午夜免费观看性视频| 日韩中文字幕视频在线看片| 成人三级做爰电影| 两个人看的免费小视频| 久久久久人妻精品一区果冻| 高清不卡的av网站| 一级毛片我不卡| 老司机影院成人| 亚洲国产精品成人久久小说| 国产男人的电影天堂91| 亚洲天堂av无毛| 91国产中文字幕| 欧美人与性动交α欧美精品济南到| 欧美日韩福利视频一区二区| 日韩大片免费观看网站| av又黄又爽大尺度在线免费看| 多毛熟女@视频| 久久99热这里只频精品6学生| netflix在线观看网站| 亚洲国产精品成人久久小说| 久久久久久久大尺度免费视频| 久久国产精品男人的天堂亚洲| 国产午夜精品一二区理论片| 亚洲五月色婷婷综合| 在线观看免费日韩欧美大片| 满18在线观看网站| 久久免费观看电影| 亚洲天堂av无毛| 女人精品久久久久毛片| 久久久精品94久久精品| 亚洲,一卡二卡三卡| 成年人午夜在线观看视频| 亚洲精品在线美女| 极品少妇高潮喷水抽搐| 亚洲人成网站在线观看播放| 国产高清不卡午夜福利| 十八禁人妻一区二区| 99热网站在线观看| 9色porny在线观看| 操美女的视频在线观看| 只有这里有精品99| 欧美国产精品一级二级三级| 日韩欧美精品免费久久| 欧美亚洲日本最大视频资源| 午夜福利一区二区在线看| 久久久久精品人妻al黑| 一级片免费观看大全| 性少妇av在线| 91老司机精品| 一区二区三区乱码不卡18| 妹子高潮喷水视频| 亚洲精品久久成人aⅴ小说| 你懂的网址亚洲精品在线观看| 久久久久精品久久久久真实原创| 久久影院123| 亚洲欧美一区二区三区国产| 国产野战对白在线观看| 捣出白浆h1v1| 香蕉丝袜av| 亚洲国产欧美一区二区综合| 成人国产麻豆网| 欧美中文综合在线视频| 亚洲,一卡二卡三卡| 欧美日韩精品网址| 老熟女久久久| 考比视频在线观看| 岛国毛片在线播放| 老鸭窝网址在线观看| 精品国产一区二区久久| av天堂久久9| 夜夜骑夜夜射夜夜干| 国产精品蜜桃在线观看| 赤兔流量卡办理| 国产伦理片在线播放av一区| 男女边摸边吃奶| svipshipincom国产片| 久久久久国产精品人妻一区二区| 亚洲成av片中文字幕在线观看| 亚洲美女黄色视频免费看| 久久人人爽av亚洲精品天堂| www.自偷自拍.com| 免费观看人在逋| 国产男人的电影天堂91| 妹子高潮喷水视频| 免费观看人在逋| 中文精品一卡2卡3卡4更新| 久久久久网色| 中文字幕人妻丝袜一区二区 | 啦啦啦在线免费观看视频4| 中文字幕亚洲精品专区| 叶爱在线成人免费视频播放| 男女国产视频网站| 中文字幕亚洲精品专区| 亚洲欧美一区二区三区黑人| 中文字幕最新亚洲高清| 国产在线一区二区三区精| 中文字幕另类日韩欧美亚洲嫩草| 国产精品欧美亚洲77777| 秋霞在线观看毛片| 久久女婷五月综合色啪小说| 欧美中文综合在线视频| 婷婷成人精品国产| 久久久国产精品麻豆| 一区二区av电影网| 精品国产国语对白av| 丝袜喷水一区| 午夜日本视频在线| 日本爱情动作片www.在线观看| 午夜精品国产一区二区电影| 国产女主播在线喷水免费视频网站| 国产亚洲最大av| 亚洲av在线观看美女高潮| a级片在线免费高清观看视频| 午夜av观看不卡| 美女福利国产在线| 一区福利在线观看| 国产精品国产三级专区第一集| 亚洲精品久久午夜乱码| 亚洲少妇的诱惑av| 国产成人精品无人区| 男女边吃奶边做爰视频| 黑人巨大精品欧美一区二区蜜桃| 欧美日韩一区二区视频在线观看视频在线| 亚洲国产精品一区三区| 男女午夜视频在线观看| 天天操日日干夜夜撸| 久久ye,这里只有精品| 亚洲精品中文字幕在线视频| 久久人妻熟女aⅴ| 夫妻午夜视频| 国产精品久久久久久久久免| 亚洲成人av在线免费| 国产男人的电影天堂91| 久久久久久人人人人人| 国产精品久久久久久人妻精品电影 | netflix在线观看网站| 欧美精品人与动牲交sv欧美| 欧美激情 高清一区二区三区| 天堂中文最新版在线下载| 欧美日韩亚洲综合一区二区三区_| 制服诱惑二区| 日日撸夜夜添| 91精品国产国语对白视频| 卡戴珊不雅视频在线播放| 国产 精品1| 国产深夜福利视频在线观看| 啦啦啦 在线观看视频| 超色免费av| 啦啦啦在线观看免费高清www| 2021少妇久久久久久久久久久| 亚洲少妇的诱惑av| 久久女婷五月综合色啪小说| 亚洲精品成人av观看孕妇| 亚洲欧美精品综合一区二区三区| 日韩 欧美 亚洲 中文字幕| 十八禁网站网址无遮挡| 一区二区三区精品91| 亚洲情色 制服丝袜| 亚洲欧美激情在线| 亚洲精品一二三| 亚洲av欧美aⅴ国产| 日韩精品有码人妻一区| 久久97久久精品| 热re99久久精品国产66热6| 99国产精品免费福利视频| 男女边摸边吃奶| 丰满迷人的少妇在线观看| 一级a爱视频在线免费观看| 国产xxxxx性猛交| 成年人免费黄色播放视频| 操出白浆在线播放| av国产精品久久久久影院| 国产成人欧美| 欧美黄色片欧美黄色片| 黑丝袜美女国产一区| 老汉色∧v一级毛片| 免费看不卡的av| 国产男女超爽视频在线观看| 欧美日韩福利视频一区二区| 精品少妇久久久久久888优播| 亚洲精品中文字幕在线视频| 五月开心婷婷网| 操美女的视频在线观看| 色婷婷久久久亚洲欧美| 两个人免费观看高清视频| 午夜日本视频在线| 国产成人av激情在线播放| 国产精品国产三级国产专区5o| 国产乱人偷精品视频| 女性生殖器流出的白浆| 久久性视频一级片| 成人国产麻豆网| 久久精品久久精品一区二区三区| 97精品久久久久久久久久精品| 侵犯人妻中文字幕一二三四区| 亚洲av成人精品一二三区| 亚洲精品,欧美精品| 国产成人欧美在线观看 | 色网站视频免费| 色吧在线观看| 女性被躁到高潮视频| 考比视频在线观看| 汤姆久久久久久久影院中文字幕| 日本av手机在线免费观看| 老熟女久久久| 成年美女黄网站色视频大全免费| 亚洲国产av新网站| 丁香六月欧美| 纯流量卡能插随身wifi吗| 十八禁网站网址无遮挡| 91aial.com中文字幕在线观看| 国产日韩一区二区三区精品不卡| 妹子高潮喷水视频| 看免费成人av毛片| 母亲3免费完整高清在线观看| 多毛熟女@视频| 日韩中文字幕欧美一区二区 | 日韩精品免费视频一区二区三区| 在线看a的网站| 国产一区亚洲一区在线观看| 亚洲综合精品二区| 热99国产精品久久久久久7| 日韩制服骚丝袜av| 亚洲国产av影院在线观看| 欧美乱码精品一区二区三区| 在线观看一区二区三区激情| 日本黄色日本黄色录像| 国产麻豆69| 女性被躁到高潮视频| 亚洲精华国产精华液的使用体验| 91精品伊人久久大香线蕉| 极品少妇高潮喷水抽搐| 伊人亚洲综合成人网| av国产精品久久久久影院| av在线app专区| 久久精品国产亚洲av高清一级| 欧美中文综合在线视频| 国产精品国产三级国产专区5o| 99国产精品免费福利视频| 亚洲国产av影院在线观看| 五月天丁香电影| 成人午夜精彩视频在线观看| 日韩av在线免费看完整版不卡| 成人三级做爰电影| 侵犯人妻中文字幕一二三四区| 黑人巨大精品欧美一区二区蜜桃| 观看美女的网站| 精品久久久精品久久久| 高清欧美精品videossex| 日韩欧美精品免费久久| 美女视频免费永久观看网站| 一区福利在线观看| 大香蕉久久成人网| www.精华液| 一级a爱视频在线免费观看| 国产午夜精品一二区理论片| 黑丝袜美女国产一区| 中文字幕色久视频| 丰满少妇做爰视频| 精品国产超薄肉色丝袜足j| 亚洲精品久久成人aⅴ小说| 视频在线观看一区二区三区| 日韩不卡一区二区三区视频在线| 免费不卡黄色视频| 久久人人爽av亚洲精品天堂| 亚洲国产精品成人久久小说| 91成人精品电影| 女性生殖器流出的白浆| 香蕉国产在线看| 亚洲精品乱久久久久久| 91精品国产国语对白视频| www.自偷自拍.com| 一级毛片黄色毛片免费观看视频| 男人操女人黄网站| 中文字幕色久视频| 国产精品免费视频内射| 亚洲精华国产精华液的使用体验| 观看av在线不卡| 日本欧美国产在线视频| 欧美日本中文国产一区发布| 日本wwww免费看| 欧美日韩国产mv在线观看视频| 日韩 欧美 亚洲 中文字幕| 最新的欧美精品一区二区| 人人妻人人添人人爽欧美一区卜| 亚洲精品一区蜜桃| 欧美精品一区二区大全| 中文字幕av电影在线播放| 国产成人系列免费观看| 日本av免费视频播放| 国产精品久久久久成人av| 午夜影院在线不卡| 国产免费福利视频在线观看| 亚洲欧洲国产日韩| 国产日韩一区二区三区精品不卡| 99久久精品国产亚洲精品| 好男人视频免费观看在线| 美女午夜性视频免费| 男的添女的下面高潮视频| 国产高清国产精品国产三级| 在线观看www视频免费| 国产免费福利视频在线观看| 9色porny在线观看| 亚洲成人免费av在线播放| 黄片无遮挡物在线观看| av不卡在线播放| 十八禁网站网址无遮挡| 欧美日韩亚洲国产一区二区在线观看 | 18禁动态无遮挡网站| 国产精品久久久久久人妻精品电影 | 十分钟在线观看高清视频www| 欧美成人午夜精品| 国产成人一区二区在线| 国产av精品麻豆| 另类亚洲欧美激情| 亚洲av电影在线进入| 久久久欧美国产精品| 国产成人精品无人区| 综合色丁香网| 在线观看一区二区三区激情| 青草久久国产| 啦啦啦中文免费视频观看日本| 高清在线视频一区二区三区| 一区二区三区精品91| 国产1区2区3区精品| 亚洲欧美色中文字幕在线| 大陆偷拍与自拍| 亚洲成国产人片在线观看| 日韩 亚洲 欧美在线| 老司机影院毛片| 亚洲精品国产一区二区精华液| 国产亚洲一区二区精品| 五月开心婷婷网| 国产精品 欧美亚洲| www.自偷自拍.com| 亚洲一区二区三区欧美精品| 午夜91福利影院| 国产精品国产av在线观看| 这个男人来自地球电影免费观看 | 亚洲av电影在线观看一区二区三区| 中文字幕色久视频| 一级a爱视频在线免费观看| 一本一本久久a久久精品综合妖精| 操美女的视频在线观看| 亚洲欧美中文字幕日韩二区| 欧美日本中文国产一区发布| 国产成人91sexporn| 999精品在线视频| 免费女性裸体啪啪无遮挡网站| 色综合欧美亚洲国产小说| 女人被躁到高潮嗷嗷叫费观| 1024视频免费在线观看| 高清欧美精品videossex| 欧美激情极品国产一区二区三区| 又粗又硬又长又爽又黄的视频| 国产精品免费视频内射| 纵有疾风起免费观看全集完整版| 久久99热这里只频精品6学生| 亚洲国产毛片av蜜桃av| 日本av免费视频播放| 国产精品久久久久成人av| 亚洲五月色婷婷综合| 国产精品一二三区在线看| 女人久久www免费人成看片| 国产精品三级大全| 国产在线一区二区三区精| 丝袜人妻中文字幕| 热re99久久国产66热| 18禁国产床啪视频网站| 七月丁香在线播放| 久久人人爽人人片av| videosex国产| 久久久久视频综合| e午夜精品久久久久久久| 午夜日韩欧美国产| 久久国产精品男人的天堂亚洲| 这个男人来自地球电影免费观看 | 人人妻人人爽人人添夜夜欢视频| 亚洲av福利一区| 久久精品国产a三级三级三级| 免费观看a级毛片全部| 亚洲三区欧美一区| 叶爱在线成人免费视频播放| 男女高潮啪啪啪动态图| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲精品久久久久久婷婷小说| 免费观看性生交大片5| 考比视频在线观看| 狂野欧美激情性xxxx| 伊人久久国产一区二区| 国产精品国产三级专区第一集| 午夜福利影视在线免费观看| 国产一区二区三区综合在线观看| 午夜激情久久久久久久| 晚上一个人看的免费电影| 香蕉丝袜av| 日本爱情动作片www.在线观看| 欧美变态另类bdsm刘玥| 中文字幕色久视频| 一个人免费看片子| 99热国产这里只有精品6| 国产精品久久久久久精品电影小说| 黄色一级大片看看| 国产激情久久老熟女| 三上悠亚av全集在线观看| av网站免费在线观看视频| 日日摸夜夜添夜夜爱| 欧美日韩av久久| 黑人巨大精品欧美一区二区蜜桃| 男人添女人高潮全过程视频| videosex国产| 两个人看的免费小视频| 巨乳人妻的诱惑在线观看| 成人国产麻豆网| 免费看av在线观看网站| 亚洲欧美精品自产自拍| 午夜日韩欧美国产| 久久精品人人爽人人爽视色| 国产成人免费无遮挡视频| 国产在线视频一区二区| 丰满迷人的少妇在线观看| 在线观看免费视频网站a站| 菩萨蛮人人尽说江南好唐韦庄| 亚洲专区中文字幕在线 | 欧美乱码精品一区二区三区| 91精品三级在线观看| 高清av免费在线| 国产乱来视频区| 热99国产精品久久久久久7| 宅男免费午夜| 午夜久久久在线观看| 18禁观看日本| 久久性视频一级片| 97精品久久久久久久久久精品| 狠狠婷婷综合久久久久久88av| 亚洲色图综合在线观看| 日韩一区二区视频免费看| 亚洲伊人久久精品综合| 国产亚洲一区二区精品| 90打野战视频偷拍视频| 免费少妇av软件| 观看av在线不卡| 亚洲欧美激情在线| 亚洲精品日韩在线中文字幕| 欧美精品亚洲一区二区| 精品免费久久久久久久清纯 | 欧美精品一区二区免费开放| 国产精品一区二区精品视频观看| 成年美女黄网站色视频大全免费| 91精品伊人久久大香线蕉| 中文字幕色久视频| 国产黄频视频在线观看| 久久精品亚洲熟妇少妇任你| 欧美最新免费一区二区三区| 亚洲色图综合在线观看| 看免费成人av毛片| 久久久久久久久免费视频了| 亚洲国产看品久久| 操美女的视频在线观看| www.自偷自拍.com| 免费人妻精品一区二区三区视频| 国产片特级美女逼逼视频| 蜜桃在线观看..| av片东京热男人的天堂| 老熟女久久久| 99香蕉大伊视频| 久久久久久人妻| 国产欧美日韩综合在线一区二区| 国产亚洲av高清不卡| 美女大奶头黄色视频| 国产片特级美女逼逼视频| 天天操日日干夜夜撸| 国产精品熟女久久久久浪| 精品免费久久久久久久清纯 | 国产片内射在线| 久久久精品区二区三区| 久久精品国产亚洲av高清一级| 亚洲精品国产av成人精品| 亚洲av电影在线进入| 91精品伊人久久大香线蕉| 亚洲久久久国产精品| 国产男人的电影天堂91| 伊人久久大香线蕉亚洲五| av免费观看日本| 欧美日韩亚洲高清精品| 一区在线观看完整版| 丝袜脚勾引网站| 中文字幕人妻丝袜制服| 中文字幕av电影在线播放| 国产深夜福利视频在线观看| 三上悠亚av全集在线观看| 亚洲av欧美aⅴ国产| 国产精品熟女久久久久浪| 久久久精品94久久精品| 青春草视频在线免费观看| xxx大片免费视频| 女人高潮潮喷娇喘18禁视频| 日本vs欧美在线观看视频| 免费黄网站久久成人精品| 欧美亚洲 丝袜 人妻 在线| 水蜜桃什么品种好| 亚洲欧美精品自产自拍| 777米奇影视久久| 中文字幕最新亚洲高清| 欧美黑人精品巨大| 熟女少妇亚洲综合色aaa.| 免费黄频网站在线观看国产| 国产一区二区在线观看av| 黄色 视频免费看| 91aial.com中文字幕在线观看| 777久久人妻少妇嫩草av网站| 欧美激情高清一区二区三区 | 日本91视频免费播放| 日韩av不卡免费在线播放| 青草久久国产| 在线免费观看不下载黄p国产| 1024视频免费在线观看| 少妇人妻精品综合一区二区| 电影成人av| 亚洲欧美精品综合一区二区三区| 久久性视频一级片| 亚洲欧美一区二区三区国产| 国产成人精品久久久久久| 黄色视频在线播放观看不卡| 天天躁夜夜躁狠狠久久av| 黄色毛片三级朝国网站| 少妇被粗大的猛进出69影院| 激情五月婷婷亚洲| 国产一卡二卡三卡精品 | 免费在线观看黄色视频的| 国产精品 欧美亚洲| 欧美黑人精品巨大| 欧美精品av麻豆av| avwww免费| 国产精品三级大全| 久久久欧美国产精品| 一边亲一边摸免费视频| 日韩精品免费视频一区二区三区| 国产精品人妻久久久影院| 欧美在线黄色| 男女边吃奶边做爰视频| 亚洲欧美成人精品一区二区| 久久热在线av| 熟女av电影| 中文字幕av电影在线播放| 看免费成人av毛片| 亚洲国产欧美网| 成人亚洲欧美一区二区av| 无限看片的www在线观看| 亚洲国产精品一区二区三区在线| 丁香六月欧美| 国产无遮挡羞羞视频在线观看| 国产精品一国产av| 老司机靠b影院| 午夜日本视频在线| 女人精品久久久久毛片| 亚洲图色成人| 亚洲欧洲国产日韩| 乱人伦中国视频| 国产精品亚洲av一区麻豆 | 这个男人来自地球电影免费观看 | 视频在线观看一区二区三区| 国产乱来视频区| 欧美日韩视频精品一区| 午夜精品国产一区二区电影| 美女主播在线视频| 视频在线观看一区二区三区| 亚洲国产欧美网| 精品国产乱码久久久久久男人| 老司机影院成人| av网站免费在线观看视频| 天堂俺去俺来也www色官网| 亚洲精品视频女| 国产精品久久久久久精品古装| 免费在线观看黄色视频的| 国产亚洲av片在线观看秒播厂| 国产一区亚洲一区在线观看| 考比视频在线观看| 亚洲精品久久午夜乱码| 90打野战视频偷拍视频| 波多野结衣一区麻豆| 亚洲色图综合在线观看| 久久国产精品大桥未久av| 丝袜脚勾引网站| 美女主播在线视频| 免费少妇av软件| 国产精品女同一区二区软件| 久久国产精品大桥未久av| 亚洲自偷自拍图片 自拍| 亚洲av中文av极速乱| 国产欧美日韩一区二区三区在线| 狂野欧美激情性xxxx| 国产伦理片在线播放av一区| netflix在线观看网站| 久久精品国产亚洲av高清一级| 国产亚洲av高清不卡| 欧美日韩福利视频一区二区| 高清在线视频一区二区三区| 高清av免费在线| 高清视频免费观看一区二区| 91精品国产国语对白视频| 中文字幕另类日韩欧美亚洲嫩草| 男人爽女人下面视频在线观看| 亚洲激情五月婷婷啪啪| 久久久精品区二区三区| 日韩伦理黄色片| 黑人巨大精品欧美一区二区蜜桃| 亚洲成国产人片在线观看| 日韩精品免费视频一区二区三区|