• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法的價值挑戰(zhàn)及其包容性治理

    2022-03-23 16:46:32羅有成
    關鍵詞:規(guī)制主體法律

    ○羅有成

    引 言

    隨著智能互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和區(qū)塊鏈等為代表的新一代科技革命不斷邁向縱深,算法正在以前所未有的姿態(tài)重新構造社會行為、社會關系和社會結構。算法把人類拉進了一個大數(shù)據(jù)無處不在的互聯(lián)網(wǎng)社會、一個高度解析的單體化微粒社會(1)[德]克里斯多夫·庫克里克:《微粒社會》,黃昆、夏柯譯,北京:中信出版社,2017年,第7—8頁。和一個由各種代碼編程塑造出來的自動化社會。在商業(yè)場景中,算法在自動駕駛、投資咨詢、信息推送、職場評估等業(yè)已顯現(xiàn)出媲美甚至超越人類的實力;在公共治理領域,智慧行政、智能司法、福利分配、信用評估等算法系統(tǒng)已越來越多地應用于公共決策。人類似乎重新開啟了一個“大航海時代”,只不過這次他們要面對的不再是海洋,而是大數(shù)據(jù)和算法。(2)周尚君:《數(shù)字社會如何塑造國家能力》,《法律和政治科學》2022年第1輯,第26頁。與算法同行、與算法共生,成為數(shù)字社會必然的發(fā)展趨勢。然而,算法在帶給人類諸多便利的同時,也誘發(fā)了一系列合法性挑戰(zhàn)、正當性隱憂和倫理性風險。諸如算法歧視、算法“黑箱”、算法合謀、算法霸權、算法錯誤等新型且獨特的不公正現(xiàn)象在生活場景中頻繁發(fā)生。(3)[英]杰米·薩斯坎德:《算法的力量:人類如何共同生存》,李大白譯,北京:北京日報出版社,2022年,“導論”第xxiii頁。如何建立高效協(xié)同、良性互動的算法治理機制,如何在引導算法技術快速發(fā)展創(chuàng)新的同時,能夠克服算法技術的社會化應用所產(chǎn)生的潛在價值挑戰(zhàn),將是一個全新的法學課題。

    綜觀既有研究,國內(nèi)學界主要以“算法治理”統(tǒng)攝此論題。有學者提出算法治理的場景化原理,主張根據(jù)不同場景類型對算法采取不同規(guī)制方式。(4)丁曉東:《論算法的法律規(guī)制》,《中國社會科學》2020年第12期,第138—159頁。有學者提出需構建符合算法運作邏輯的規(guī)制路徑。(5)鄭智航:《人工智能算法的倫理危機與法律規(guī)制》,《法律科學(西北政法大學學報)》2021年第1期,第14頁。有學者則認為,采取算法與法律之關系的重構模式,能夠有效應對算法的價值危機和法律挑戰(zhàn),破解算法的法律治理難題。(6)鄭玉雙:《計算正義:算法與法律之關系的法理建構》,《政治與法律》2021年第11期,第91頁。還有學者從不同角度分別提出了算法的元規(guī)制模式、(7)程瑩:《元規(guī)制模式下的數(shù)據(jù)保護與算法規(guī)制——以歐盟<通用數(shù)據(jù)保護條例>為研究樣本》,《法律科學(西北政法大學學報)》2019年第4期,第48—55頁。算法的模塊化治理(8)許可:《馴服算法:算法治理的歷史展開與當代體系》,《華東政法大學學報》2022年第1期,第99—113頁。以及算法平臺的“穿透式監(jiān)管”(9)張凌寒:《平臺“穿透式監(jiān)管”的理據(jù)及限度》, 《法律科學(西北政法大學學報)》2022年第1期,第107—109頁。。由此可見,迅猛興起的算法治理熱潮幾乎“亂花漸欲迷人眼”,算法治理的相關制度設計及學理建議亦層出不窮。但是,既有研究背后隱含的假設仍然是將算法作為“技術工具”進行嚴格規(guī)制,尚未真正意識到算法治理的包容性,或忽視算法治理的多元主體維度,亦或忽視算法治理的多元工具維度,更沒有找到算法技術發(fā)展創(chuàng)新與合理規(guī)制相互協(xié)調(diào)的可行路徑。因此,這些分析仍不足以很好地回應數(shù)字社會中的算法風險及其治理難題?;诖?,本文將從激勵算法發(fā)展與合理規(guī)制相協(xié)調(diào)的基本目標出發(fā),揭示算法誘發(fā)的價值挑戰(zhàn),反思傳統(tǒng)算法治理模式的法理困境,闡釋算法的包容性治理范式,并提出現(xiàn)實可行的治理方案,以為我國算法治理實踐提供理論指引。

    一 算法的價值挑戰(zhàn)

    進入數(shù)字社會以后,算法逐步和人們的日常生活產(chǎn)生深度交融,形成了一種大數(shù)據(jù)加持、自動化決策、場景化驅(qū)動的獨特運行邏輯。與絕大多數(shù)科學技術相同,算法技術是一把雙刃劍。從正面來看,算法不僅完全能勝任“類人化”的智慧工作,還表現(xiàn)出效率更高、精度更優(yōu)、服務更好的優(yōu)勢;從負面看,算法獨特的運行邏輯對支撐法治社會的法律價值與正義觀念造成沖擊和挑戰(zhàn)。這種價值挑戰(zhàn)主要表現(xiàn)為主體的自由空間被抑制、個體的平等機會面臨算法歧視威脅以及算法的技術邏輯阻礙制度正義實現(xiàn)。

    (一)算法對主體自由的挑戰(zhàn)

    在價值譜系中,主體自由作為“諸價值的價值”,相對于其他價值具有優(yōu)先性。阿馬蒂亞·森將主體自由定義為“一個人擁有的有效權力的一部分”(10)[印]阿馬蒂亞·森:《正義的理念》,王磊、李航譯,北京:中國人民大學出版社,2012年,第254頁。。霍布斯對主體自由的定義是:“一個自由人指的是在其力量和智慧所能辦到的事物中,可以不受阻礙地做他所愿意做的事情的人?!?11)[英]霍布斯:《利維坦》,黎思復、黎廷弼譯,北京:商務印書館,1985年,第163頁。然而,算法對人類的主體自由價值提出了前所未有的挑戰(zhàn)。

    一方面,算法使個體面臨被客體化的危險。進入“萬物皆互聯(lián),無處不計算”(12)齊延平:《論人工智能時代法律場景的變遷》,《法律科學(西北政法大學學報)》2018年第4期,第43頁。的數(shù)字社會,人們在日常生活中首先面臨著各種各樣的海量數(shù)據(jù),依托算法對這些數(shù)據(jù)進行系統(tǒng)加工,就可以解讀和推斷人們的行為。也就是說,算法能夠根據(jù)不同的場景需要,從海量的數(shù)據(jù)中隨機提取特定的“小定律”,生成一種精準的個體行為反饋機制,從而形成各種各樣的自動化區(qū)分、評分、排序和決策。這由此將形成以“量化自我”(13)Sander Klous, Nart Wielaard, We are Big Data: The Future of the Information Society, Paris: Atlantis Press, 2016, p.61.為主要特征的數(shù)字社會關系架構,有足夠的數(shù)據(jù)就可以認識自我、了解生活,一切皆可量化。例如,近年來新興的“大數(shù)據(jù)畫像”在掌握個體的各種行為數(shù)據(jù)后,通過算法對其喜好、性格、交流習慣、行事風格、政治偏好等各種特征進行匯總畫像,即可深度剖析自我。算法將人們的各種數(shù)據(jù)整合起來,按照預先設定的自動化區(qū)分標準進行排列,并分別賦予相應的指涉含義。但“算法并不是從主體角度,而是從作為可以被計算、預測和被控制的客體的角度來看待個人的”(14)John Cheney-Lippold, We Are Data: Algorithms and the Making of Our Digital Selves, New York: New York University Press, 2017, p.141.,個人變成了被算法定義、分析的對象。隨著算法權力的進一步擴張,人類與技術之間的權力格局和地位還會隨之發(fā)生更大的變化。

    另一方面,傳統(tǒng)的法律權利系統(tǒng)也將受到算法的深刻影響,并進一步危及到主體自由價值的法律實現(xiàn)。主體自由作為法律的價值,同樣需要通過法律來實現(xiàn)。這在傳統(tǒng)上依賴于法律權利系統(tǒng)的一套作用機制,它將抽象的自由意志轉化具體的自由權利,使人們之間有適當?shù)木嚯x,既不相互干預,又能夠相互支持,造就了作為現(xiàn)代社會基礎的獨立而負責任的個人。但是,伴隨著算法的異軍突起,法律權利系統(tǒng)的作用機制及其仰賴的社會基礎發(fā)生了重大變化,“法律本身也開始被重新定位到一個可能比它更為根本的新的社會框架結構中”(15)余成峰:《法律的“死亡”:人工智能時代的法律功能危機》,《華東政法大學學報》2018年第2期,第16頁。。算法憑借仿生神經(jīng)網(wǎng)絡系統(tǒng)高度模擬人腦的神經(jīng)元結構,再加上WHAT型高級語言方式程序,其思維和語言會不斷逼近甚至超越人類,作出的決策也更加專業(yè)化和復雜化。(16)[美]佩德羅·多明戈斯:《終極算法:機器學習和人工智能如何重塑世界》,黃芳萍譯,北京:中信出版社,2017年,第120—121頁。當這些決策廣泛應用于法律場景中時,個體不僅琢磨不透算法的技術邏輯,而且他們的行動空間、控制能力、參與渠道和救濟方式也不斷被算法侵蝕,與之相伴隨的同意權、知情權、參與權、異議權和救濟權紛紛失效。

    (二)算法對機會平等的挑戰(zhàn)

    在算法引發(fā)的諸多價值挑戰(zhàn)中,算法歧視導致個體機會不平等的現(xiàn)象尤為引人擔憂。(17)崔靖梓:《算法歧視挑戰(zhàn)下平等權保護的危機與應對》,《法律科學(西北政法大學學報)》2019年第3期,第30—33頁。人們過于擔心人類的偏見和歧視,同時又過于相信計算機的客觀公正性。但事實上,計算機可以很巧妙地“學會”沉淀在人類生活場景中隱含的歧視,而且“嵌入人工智能的歧視不再像過去一般露骨,而是隱匿到數(shù)字世界的角落悄無聲息地侵蝕社會公平正義”(18)李成:《人工智能歧視的法律治理》,《中國法學》2021年第2期,第128頁。。例如,谷歌搜索后臺使用的機器學習工具存在難以發(fā)現(xiàn)的種族歧視問題,它能把黑人常用的姓名與“你是否有被逮捕記錄”的調(diào)查關聯(lián)在一起。更加令人擔心的是,算法導致的歧視具有不可逆性,很難加以消除。一旦包含人類歧視的算法被廣泛應用,將導致特定個體系統(tǒng)性歧視的反復發(fā)生,進而誘發(fā)個體機會不平等的結構化風險。因為算法對個體的一次不正當歧視決策會被貼上“標簽”,分析結果也會將不正當歧視原封不動地保留下來,并直接帶進下一輪的運算中,個體的“污名化身份”隨著數(shù)據(jù)的累積逐漸固化和放大,這就形成了接二連三甚至永遠的歧視決策鎖定。

    數(shù)字不平等不僅僅是個體差異意義上的不平等,同時它也彰顯著個體背后的社會結構中的不平等。算法就可能會加劇社會不平等的結構化風險,進而衍生出“數(shù)字貧民窟”效應。算法以大數(shù)據(jù)為基礎,“大數(shù)據(jù)集”的完備與否決定了輸出結果的精確與否。但是人類社會的高度復雜性在客觀上決定了“大數(shù)據(jù)集”的不完備性,很多時候我們收集的數(shù)據(jù)都不滿足全樣本和一致性的要求。數(shù)據(jù)收集偏差、缺失就會造成算法先天性地排除在數(shù)據(jù)上處于劣勢的那一部分群體,并在算法的持續(xù)應用中形成信息反饋循環(huán),從而導致社會原有的“數(shù)據(jù)鴻溝”被進一步反映和強化。同時,算法基于差別對待的底層邏輯,會對不同的人群實行分類,根據(jù)他們的特征進行編碼和賦值,用以表明其優(yōu)先等級、風險程度和商業(yè)價值。這在一定程度上可能是對數(shù)據(jù)本身所蘊含的不平等結果的簡單復制,久而久之,“強者恒強,弱者愈弱”的局面將越發(fā)難以避免??梢姡惴ú⒉幌裨O計者所宣稱的那樣客觀、中立、平等和去意識形態(tài)化,反而基于一種“自動不平等”的決策背景,營造了一所鎖定窮人、管制窮人甚至懲罰窮人的“數(shù)字貧民窟”(19)[美]弗吉尼亞·尤班克斯:《自動不平等:高科技如何鎖定、管制和懲罰窮人》,李明倩譯,北京:商務印書館,2021年,第10、153頁。。

    算法誘發(fā)價值危機的問題,除了上述的無意識的偏見表達和結構性不平等之外,很大程度上是大型平臺企業(yè)和部分公共機構不正當使用算法帶來的不平等問題。從形式上看,由于數(shù)據(jù)輸入與數(shù)據(jù)輸出之間存在“隱層”,算法不透明形成偏好,忽視甚至強化已有的不平等,加劇算法歧視。但從根源上看,問題不簡單在于大數(shù)據(jù)和算法,而在于平臺、公共機構等算法使用者的意志及其行為。(20)周尚君、羅有成:《數(shù)字正義論:理論內(nèi)涵與實踐機制》,《社會科學》2022年第6期,第166—167頁。如果大數(shù)據(jù)采集過程中不能很好地考慮到“數(shù)字弱勢群體”,訓練算法、開展機器學習過程中隱藏著不為人知、未經(jīng)檢驗的商業(yè)目的,算法應用過程中不遵循相應的法律和技術正當程序,那么最終的算法決策結果就會傾向于加重、強化現(xiàn)有的分類、分化、不平等和差距。(21)Monica.M.Brannon, Datafied and Divided: Techno-Dimensions of Inequality in American Cities, City & Community, 2017, (16), p.23.由此可見,由于算法技術本身的復雜性,再加上社會的不公正使用,從而損害了算法程序的價值規(guī)范秩序,同時對于私法自治也產(chǎn)生了更大挑戰(zhàn)。

    (三)算法對制度正義的挑戰(zhàn)

    制度正義即社會基本結構的正義,它既構成了一個組織良好的人類聯(lián)合體的基本條件,也確定了社會合作的利益和負擔的適當分配。(22)[美]約翰·羅爾斯:《正義論》,何懷宏等譯,北京:中國社會科學出版社,1988年,第5頁?,F(xiàn)代法治社會以實現(xiàn)制度正義為首要目標,但帶有極強工具理性特征的算法決策,卻很難保證決策結果符合社會公眾的制度正義期待。因為算法本質(zhì)是計算,“計算機并不是‘思考’,而是依據(jù)邏輯處理數(shù)據(jù)”(23)[英]喬治·扎卡達基斯:《人類的終極命運:從舊石器時代到人工智能的未來》,陳朝譯,北京:中信出版社,2017年,第 292 頁。,通過數(shù)據(jù)模型或代碼表達意見,在相關性的概率計算基礎上認識現(xiàn)實世界的規(guī)律。然而,人們是通過因果性邏輯而不是相關性的概率邏輯來理解正義價值。因此,經(jīng)由相關性得出的算法決策,不僅可能與社會的正義觀念、正義標準格格不入,還可能阻斷以因果關系為鏈條的法律追責路徑。并且,算法建基于可測量和可計算的數(shù)據(jù),但正義價值是一個模糊的抽象概念,很難量化。我們的計算機程序盡管在語言學習和邏輯學習方面取得了巨大進步,但仍然不能很好地理解抽象的正義概念。也正因如此,有學者認為,一旦正義的概念沒能編入算法程序中,就有可能誘發(fā)大規(guī)模的、產(chǎn)業(yè)化的社會不公。(24)[美]凱西·奧尼爾:《算法霸權:數(shù)學殺傷性武器的威脅》,馬青玲譯,北京:中信出版社,2018年,第103—104頁。

    算法背后隱藏著算法“黑箱”問題,也可能會給分配正義、程序正義和信息正義等價值的具體實現(xiàn)帶來嚴峻挑戰(zhàn)。未來算法會不斷進化,訓練數(shù)據(jù)集、編寫代碼、模型完善,以及機器自主學習過程變得越來越復雜。但對于用戶來說,除了繁蕪的程序、枯燥艱深的代碼外,諸如數(shù)據(jù)是怎樣被收集的、信息是如何分類的、模型是如何選擇的、算法又是怎樣運算的都不為我們所知曉和控制。目前公權力機關也沒有一套完善的法律程序去打開算法“黑箱”,建立起公平公正的數(shù)據(jù)收集和算法決策體系。(25)林曦、郭蘇建:《算法不正義與大數(shù)據(jù)倫理》,《社會科學》2020年第8期,第13頁。在信息不對稱、法律程序不健全的情況下,算法完全可能會淪為知識的黑洞與權力的“暗箱”,進而侵蝕分配正義和信息正義價值。此外,由于目前大部分算法的控制權掌握在大數(shù)據(jù)公司和互聯(lián)網(wǎng)平臺等私主體手中,算法與資本、技術緊密纏繞在一起,因此很難保證透明、參與、可問責等程序價值要素在算法應用過程中得以實現(xiàn)。一旦算法開發(fā)者或算法控制者在算法“黑箱”中裝進了過度的商業(yè)資本追求,就很可能導致私主體利用算法“黑箱”攫取公權力、俘獲公共利益等風險的發(fā)生。(26)張凌寒:《算法權力的興起、異化及法律規(guī)制》,《法商研究》2019年第4期,第69—70頁。

    二 算法治理的傳統(tǒng)模式與法理難題

    根據(jù)算法誘發(fā)價值風險的不同原因,傳統(tǒng)法律理論與實踐中主要包括以算法公開為核心的規(guī)制模式和以個體賦權為中心的回應模式。(27)需指出的是,此處的劃分依據(jù)是算法治理思路上的核心差異。實踐中,各國算法治理路徑中存在一些共通的地方,但并不影響本文對算法治理主導性思路的類型化分析。盡管這兩種治理模式從制度理性的層面上回應了算法危機的時代命題,試圖從算法本體的不透明維度和算法主體的權利關系維度構建算法治理范式。然而,一旦仔細分析這兩種算法治理模式,就會發(fā)現(xiàn)它很難貢獻出一個有效的算法治理框架,在應用于具體實踐中也會遭遇可行性與可欲性的法理難題。

    (一)規(guī)制模式及其法理難題

    規(guī)制模式認為算法的最大風險在于不透明性,因此需要向公眾公開算法,確保算法為用戶所理解,并圍繞算法的可解釋性原則建立起一套以結果責任認定為核心的算法問責機制。(28)Frank Pasquale, The Black Box Society,Cambridge:Harvard University Press,2015,pp.8-12.其要求算法必須保持透明度,用戶或公眾所能夠知悉算法的運算數(shù)據(jù)、基本邏輯、模型原理、決策流程及源代碼等信息。(29)Bruno Lepri et al.,Fair, Transparent, and Accountable Algorithmic Decision-making Processes, Philosophy & Technology ,2018, (31) , pp.611- 627.由于規(guī)制模式和現(xiàn)代信息公開制度的理念相吻合,又在知情權和可問責性兩個維度發(fā)揮重要作用,因此在各國治理實踐中得到了很好的支持與應用。例如,美國《2019年算法問責法案》(Algorithmic Accountability Act 2019)確立了數(shù)據(jù)來源披露原則和知情原則兩大原則來確保算法的透明性;歐盟《一般數(shù)據(jù)保護條例》(General Data Protection Regulation)第13條要求數(shù)據(jù)控制者在利用自動化決策機制時要向數(shù)據(jù)主體提供數(shù)據(jù)畫像過程中運用的邏輯。(30)《歐盟〈一般數(shù)據(jù)保護條例〉(GDPR)》,瑞柏律師事務所譯,北京:法律出版社,2018年,第50—51頁。我國《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》第12、14、15條針對算法“黑箱”問題,也規(guī)定了旨在提高算法透明度的條款。

    從制度機理和治理邏輯來看,規(guī)制模式在算法透明化基礎上還要求算法的可解釋性,確保算法的語言符合用戶的認知和理解能力,相關的重要信息真正為用戶所知悉。因為算法具有高度復雜的技術性特征,即便算法完全透明化,用戶或公眾也未必能理解其運作邏輯。簡單機械的透明度要求可能會陷入“魚缸”式的透明,為避免這種無效的透明度就要求算法必須可被解釋。(31)Cary Coglianese, David Lehr,Transparency and Algorithmic Governance, Administrative Law Review, 2019, (71), pp.19-21 .具體而言,算法控制者首先要為公眾提供理解系統(tǒng)源、輸入指令、操作環(huán)境、輸出結果的正當方式和程序,以保障用戶知情權和系統(tǒng)穩(wěn)定性。其次,算法運作規(guī)則的公開需符合普通用戶的常識判斷和理解能力,必要時可以用通俗易懂的方式向被決策對象解釋,且這些解釋必須直接、有效。(32)Bruno Lepri et al., Fair, Transparent, and Accountable Algorithmic Decision-making Processes, Philosophy & Technology, 2018, (31) , pp.614-616.最后,算法問責機制在規(guī)制治理模式的制度安排中尤為重要。監(jiān)管機構要求算法控制者有義務向公眾公開算法系統(tǒng)設計和證明自動化決策的正當性,并通過訴諸專業(yè)的行政機構或者組建外部監(jiān)督主體對算法進行審查和監(jiān)督,以確定源代碼是否忠實地執(zhí)行程序。

    從治理效能來看,規(guī)制模式雖然在一定程度上依靠算法的透明化、可解釋和可問責機制彌補了算法的技術壁壘,但應用于具體實踐中仍會遭遇可行性和可欲性難題。在可行性層面,算法公開不具有解決方案的整體性和包容性。一方面,算法公開可能會和個體的隱私權發(fā)生沖突。因為在公開代碼、公式、參數(shù)權重和理由解釋等基本信息的同時,必然也牽涉到對個體重要信息或底層數(shù)據(jù)的披露。即使不直接披露個體的重要信息,但也可能從算法公開的一些結論中推導出其他用戶的決策情況,從而引發(fā)隱私披露問題。以智能醫(yī)療診治領域為例,算法控制者公開此類算法的技術邏輯時,也需要借助用戶的一些重要數(shù)據(jù)來予以解釋和說明。另一方面,算法控制者也可以借助商業(yè)秘密保護的法律制度對抗算法透明原則,這也使得規(guī)制模式應用于算法治理遭遇明顯挑戰(zhàn)。例如,在威斯康星州訴魯米斯案( State V.Loomis) 中,美國威斯康星州最高法院就認為COMPAS評估算法屬于商業(yè)秘密,不予公開合法。(33)State v.Loomis, 881 N.W.2d 749 (Wisconsin, 2016) .德國聯(lián)邦最高法院也傾向于認為算法屬于公司的商業(yè)秘密,不予支持用戶要求公開算法代碼的請求。(34)林洹民:《自動決策算法的法律規(guī)制:以數(shù)據(jù)活動顧問為核心的二元監(jiān)管路徑》,《法律科學(西北政法大學學報)》2019年第3期,第45頁。

    在可欲性層面,算法公開會導致算法被算計的問題,不僅阻礙技術的發(fā)展,還會導致多個主體的正當權益受損。(35)Danielle Keats Citron, Frank Pasquale,The Scored Society: Due Process for Automated Predictions, Washington Law Review, 2014,(89),pp.26-30.規(guī)制模式的初衷是通過算法公開的制度設計,讓那些對結果抱有懷疑的人可以掀開“引擎蓋子”看個究竟。但算法一旦掀開“引擎蓋子”,別有用心的相關主體就會算計算法。它們在全面了解算法的系統(tǒng)源、輸入指令、操作流程等信息后,不惜損害其他主體和用戶的合法權益,憑借改變相應參數(shù)、數(shù)據(jù)的刻意設計、利用解釋方法探測模型漏洞等技術手段操控算法。(36)丁曉東:《論算法的法律規(guī)制》,《中國社會科學》2020年第12期,第144頁。以谷歌Pagerank搜索算法為例,當該算法被公開后,許多惡意網(wǎng)站(尤其是內(nèi)容農(nóng)場、商業(yè)廣告網(wǎng)站、惡意代碼網(wǎng)站等)立馬開始算計該算法,經(jīng)由技術上的嵌套、隱藏設計,最終實現(xiàn)了相關度很低的內(nèi)容卻排名在谷歌搜索結果頁面優(yōu)先級位置的不正當目的。(37)也正因如此,谷歌以及其他搜索引擎,逐漸收緊算法披露。到最后,谷歌幾乎明確拒絕算法透明,甚至將已公開的算法作出秘密調(diào)整。沈偉偉:《算法透明原則的迷思——算法規(guī)制理論的批判》,《環(huán)球法律評論》2019年第6期,第26頁。

    (二)回應模式及其法理難題

    理解算法治理的第二種模式是回應模式。其認為算法治理的根本在于“喂養(yǎng)”算法的數(shù)據(jù)問題,因此把治理重心放在個體賦權方面,更多的依賴個體對數(shù)據(jù)的充分把控,通過賦予數(shù)據(jù)主體新型數(shù)據(jù)權利的方式來規(guī)范數(shù)據(jù)的收集、使用,從而對算法施加影響。換言之,回應模式主要依靠法律權利系統(tǒng)發(fā)揮作用,即不直接對主體行為進行規(guī)制,而是通過創(chuàng)設新的權利和安置潛在的價值沖突,以緩和價值理性與技術理性之間的沖突?;貞J饺趸朔傻闹苯右?guī)制色彩,最大限度發(fā)揮數(shù)據(jù)控制者的資源優(yōu)勢開展自我治理。(38)程瑩:《元規(guī)制模式下的數(shù)據(jù)保護與算法規(guī)制——以歐盟<通用數(shù)據(jù)保護條例>為研究樣本》,《法律科學(西北政法大學學報)》2019年第4期,第50頁。它創(chuàng)造了一系列包括數(shù)據(jù)權利和算法相關權利在內(nèi)的基礎權利,以強化個體的自主性和責任性。這些新型的數(shù)據(jù)權利并不是一個扁平的權利單元,而是一個寬廣豐厚的權利束。其主要包括知情選擇權、數(shù)據(jù)訪問權、數(shù)據(jù)更正補充權、數(shù)據(jù)刪除權(被遺忘權)、數(shù)據(jù)可攜權、數(shù)據(jù)財產(chǎn)權等數(shù)據(jù)權利;而算法相關權利主要包括算法解釋請求權、算法理解權、算法異議權、人工干預(接管)權、免受自動化決策權等權利類型。

    回應模式與規(guī)制模式立足于不同的治理邏輯?;貞J奖举|(zhì)上是在個體對數(shù)據(jù)以及決策享有的自決權基礎上建立起一套數(shù)據(jù)權利體系來約束算法行為。“其制度運行邏輯是通過賦予數(shù)據(jù)主體事前的知情同意以獲得選擇空間,事中和事后圍繞數(shù)據(jù)和算法構建多種新型主體權利從而助其獲得影響和控制?!?39)張欣:《從算法危機到算法信任:算法治理的多元方案和本土化路徑》,《華東政法大學學報》2019年第6期,第21頁。也就是說,當法律賦予個體明確的數(shù)據(jù)權利后,與之相對應的義務就會施加給算法控制者,使得算法控制者審慎地對待算法。在這個過程中,個體也能夠借助數(shù)據(jù)權利對抗和約束算法控制者。以《一般數(shù)據(jù)保護條例》第22條規(guī)定的免受自動化決策權為例,根據(jù)該條規(guī)定,會對數(shù)據(jù)主體產(chǎn)生法律效力或者將對其具有重大影響的決定,不應僅僅建立在自動化處理的基礎之上,數(shù)據(jù)主體有權反對此類決定。(40)《歐盟〈一般數(shù)據(jù)保護條例〉(GDPR)》,瑞柏律師事務所譯,第57頁。

    盡管回應模式認識到實現(xiàn)算法可信控制的能力首要掌握在被規(guī)制者手中,因此采取了一種“保持距離式”的個體賦權模式。但是,回應模式并不符合算法的運作邏輯,在治理效能、行業(yè)發(fā)展、算法權力的復雜性上會遭遇可行性難題。一方面,即使賦予數(shù)據(jù)主體一系列新型的數(shù)據(jù)權利和相關算法權利,但數(shù)據(jù)主體并沒有與之相匹配的理解意愿和行動能力。有關研究表明,數(shù)據(jù)權主體沒有仔細閱讀隱私公告的意愿和習慣,他們往往也不能有效理解繁雜且冗長的權利告知書和隱私政策,從而使得數(shù)據(jù)權主體在數(shù)據(jù)的收集、儲存、使用時無法作出合理判斷。(41)Helen Nissenbaum, Privacy in Context: Technology, Policy, and the Integrity of Social Life, Stanford: Stanford University Press, 2009, p.105.另一方面,回應模式可能會對算法行業(yè)的發(fā)展造成一定阻礙。因為其賦予了個體廣泛的數(shù)據(jù)權利,同時又對數(shù)據(jù)控制者的義務要求十分嚴苛,而“個人數(shù)據(jù)上的權利安排直接決定了數(shù)據(jù)的流動、分享以及數(shù)據(jù)產(chǎn)業(yè)的發(fā)展”(42)程嘯:《論大數(shù)據(jù)時代的個人數(shù)據(jù)權利》,《中國社會科學》2018年第3期,第103頁。,過于嚴苛的控制可能阻礙算法的發(fā)展創(chuàng)新。此外,如果單單憑借個體賦權的治理思路很難對抗算法權力的技術性和資本性。以平臺企業(yè)的“交叉補貼”做法為例,平臺企業(yè)可以通過提供免費服務獲取數(shù)據(jù)主體的同意來收集信息或者應用算法決策。

    三 走向包容性治理:算法治理的新框架

    算法崛起誘發(fā)的價值挑戰(zhàn)表明,數(shù)字社會亟需建構起一套能夠?qū)λ惴ㄗ詣踊瘺Q策進行有效規(guī)約的治理體系。但上述規(guī)制模式和回應模式存在的法理難題也表明,算法治理具有相當程度的復雜性和特殊性。目前各國在治理實踐中還沒有形成體系化的治理制度,這既有算法技術發(fā)展不成熟的原因,也有政策制定者無法全面認識算法風險的因素。為此,當前我國算法治理方案的設定應當結合發(fā)展實際和未來可能,有所為有所不為,構建一套能夠包容多元主體、平衡各方利益,實現(xiàn)激勵發(fā)展與合理規(guī)制相協(xié)調(diào)的算法包容性治理體系。

    (一)包容性治理的理論內(nèi)涵

    本文提出的算法包容性治理體系具有鮮明的統(tǒng)合功能和實踐價值。它與上述規(guī)制模式和回應模式均不同,既非片面地主張規(guī)制優(yōu)位,強調(diào)算法透明化和事后問責;也非單純通過個體賦權的方式來約束算法自動化決策,而是尋求科技進步與社會價值的平衡,遵循算法運作邏輯進行多方、多元、審慎治理。包容性治理的“包容”有兩方面的內(nèi)涵:一是指主體層面的包容共治,包括政府治理、社會治理、企業(yè)治理、公民治理四個方面;二是指治理工具和治理手段的包容共治,包括法律之治、技術之治、倫理之治、行業(yè)自律之治四個層次。同時,包容性治理在治理過程中還強調(diào)個體算法權益、平臺算法權益、算法市場秩序和算法行業(yè)發(fā)展等多種利益的平衡。由此,四元主體、四管齊下、多元利益平衡,方能緩解算法技術創(chuàng)新與相對穩(wěn)定的法律制度之間的矛盾張力,(43)張吉豫:《構建多元共治的算法治理體系》,《法律科學(西北政法大學學報)》2022年第1期,第111頁??朔惴ǖ膬r值挑戰(zhàn),進而實現(xiàn)算法向上向善的治理目標。

    在算法治理領域,提出算法包容性治理,有著豐富的本土理論基礎和現(xiàn)實客觀依據(jù)。在黨的十九大報告中,習近平明確提出“打造共建共治共享的社會治理格局”(44)習近平:《決勝全面建成小康社會 奪取新時代中國特色社會主義偉大勝利——在中國共產(chǎn)黨第十九次全國代表大會上的報告》,北京:人民出版社,2017年,第49頁。。之后,黨的十九屆四中全會著重提出“堅持和完善共建共治共享的社會治理制度”(45)《中共中央關于堅持和完善中國特色社會主義制度 推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》,《人民日報》2019年11月6日,第001版。。由于算法應用的廣泛性和算法治理的復雜性,上述“共建共治共享”理論對算法治理體系的構建具有根本性的指導意義。2019年我國發(fā)布的《新一代人工智能治理原則》把“包容共享”作為八項治理原則之一,(46)我國《新一代人工智能治理原則》突出了發(fā)展“負責任的人工智能”這一主題,強調(diào)和諧友好、公平公正、包容共享、尊重隱私、安全可控、共擔責任、開放協(xié)作、敏捷治理等八項原則。旨在引導算法治理合理容納監(jiān)管機構、企業(yè)、社會組織、公眾等不同主體,并讓社會主體共享數(shù)字技術發(fā)展成果的機會和實效。2021年9月17日,國家互聯(lián)網(wǎng)信息辦公室等九部門聯(lián)合發(fā)布了《關于加強互聯(lián)網(wǎng)信息服務算法綜合治理的指導意見》,明確提出“多元協(xié)同、多方參與的治理機制”“打造形成政府監(jiān)管、企業(yè)履責、行業(yè)自律、社會監(jiān)督的算法安全多元共治局面”。2022年3月1日起施行的《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》提出了倫理與法治相銜接、推動社會共建共治共享、加強行業(yè)自律、賦能公眾監(jiān)督等治理原則。

    因此,構建算法包容性治理體系是對既有“共建共治共享”理論的繼承和發(fā)展。它是在數(shù)字技術條件下,利用多方參與主體、多元治理手段去有效回應算法的價值風險及其治理難題。在我國算法治理共同體中,政府、企業(yè)、社會組織、公眾都是治理主體,都是多元共治格局中不可或缺的“一方”,其中國家的監(jiān)管發(fā)揮核心作用;在我國算法治理方式中,法律治理固然居于“中樞”地位,但并不能涵蓋治理的全部,算法包容性治理所追求的應是一個以法律為基礎但能夠合理容納倫理、技術、自律的多元秩序。

    (二)包容性治理的具體路徑

    1.主體機制:促進多元主體的包容共治

    如前文所述,規(guī)制模式和回應模式要么將算法治理的重心放在政府監(jiān)管,要么側重于算法的個體賦權。但究其實質(zhì),算法引發(fā)的價值挑戰(zhàn)是多元復雜的,且交織于政府、算法平臺、算法用戶、公眾等多方參與主體中,如果只是貼合算法問責、個體賦權式的治理,則不過是缺乏整體結構下的精細化進路。在包容性治理架構下,算法治理是一種整體化治理,其每一項治理措施能夠在不同維度間建立合理聯(lián)結,形成具有系統(tǒng)性的制度安排,從而更好地克服算法的價值風險。(47)蘇宇:《算法規(guī)制的譜系》,《中國法學》2020年第3期,第182—183頁。

    在治理主體層面,關鍵在于提升算法治理實施主體的協(xié)同性,形成多元共治的治理主體系統(tǒng)。如何建立多元化的價值風險控制體系,如何在算法系統(tǒng)的整個生命周期中落實不同主體的責任,又如何平衡不同主體間的利益沖突,這些都需要借助治理主體的系統(tǒng)化安排來解決。因此,未來算法治理應當既強調(diào)政府的科學監(jiān)管,也重視公民、社會、企業(yè)等多元主體的互動,通過不同治理主體法律地位的確認、權利義務機制的安排以及社會監(jiān)督機制的構建,形成多元協(xié)同的算法治理主體系統(tǒng)。

    第一,政府一方面要做好政策倡導,加強算法治理研究、科學引導大數(shù)據(jù)公司的算法開發(fā)與應用、建立倫理機構和普及算法教育;另一方面要落實包容審慎監(jiān)管,推動更加精細化、更具有針對性的算法立法和執(zhí)法,處理好算法發(fā)展創(chuàng)新與合理規(guī)制之間的關系。(48)劉權:《數(shù)字經(jīng)濟視域下包容審慎監(jiān)管的法治邏輯》,《法學研究》2022年第4期,第38—41頁。第二,企業(yè)應當根據(jù)法律法規(guī)的規(guī)定完善算法管理流程和算法審核、評估機制。對于高風險或?qū)姍嘁嬗兄卮笥绊懙淖詣踊瘺Q策系統(tǒng),則有必要在吸納政府、科研機構、具有專業(yè)知識的社會公眾、同行評審等多方力量展開組合性審核、評估。(49)張欣:《算法影響評估制度的構建機理與中國方案》,《法商研究》2021年第2期,第108頁。同時,企業(yè)要推動內(nèi)部責任機構的建立。比如,可以成立算法風險防控委員會,負責統(tǒng)籌算法合規(guī)事宜、對接監(jiān)管部門和行業(yè)協(xié)會以及建立行業(yè)自律規(guī)范。第三,社會組織應當在算法治理中發(fā)揮重要的監(jiān)督功能。社會組織在監(jiān)督算法應用平臺的同時,也應當對國家行政機關進行監(jiān)督。因為行政機關也是算法的開發(fā)者、使用者,在公共治理領域中廣泛應用算法決策。在未來算法監(jiān)管中,有必要成立專門性的算法監(jiān)管社會組織,(50)例如,在歐盟,有學者提議設立新的歐盟監(jiān)督機構負責評估和監(jiān)督人工智能產(chǎn)品、軟件、系統(tǒng)或服務來保護公共福利。[美]伍德羅·巴菲爾德、[意]烏戈·帕加洛:《法律與人工智能高級導論》,蘇苗罕譯,上海:上海人民出版社,2022年,第226頁。并且算法監(jiān)管社會組織可根據(jù)自動化決策導致公共利益受損的事實,向人民法院提起公益訴訟。最后,建立有效的算法維權機制,暢通公民依法維權的渠道。當公民自身合法權益受到侵害時,可通過投訴、舉報、提起訴訟等多元方式捍衛(wèi)權利,參與算法治理。

    2.實施機制:強化算法治理實施工具的系統(tǒng)性

    我國算法的相關規(guī)范依據(jù)散見于法律、規(guī)章、政策性文件和技術標準中,這種立法狀況必然導致我國對算法的治理系統(tǒng)性不足,治理實施主體、治理實施工具和治理實施對象之間的聯(lián)系不夠緊密。因此,包容性治理強調(diào)算法治理應具有整體性和包容性,能夠合理聯(lián)結不同治理工具,將系統(tǒng)化的治理實施機制有機融入整個法治體系中,形成算法治理合力。

    第一,在法律層面,遵循發(fā)展與安全的辯證法,在“風險—規(guī)制”框架下搭建妥當?shù)臋C制,(51)林洹民:《自動決策算法的風險識別與區(qū)分規(guī)制》,《比較法研究》2022年第2期,第199頁。建構分級分類的包容審慎監(jiān)管體系。對于可能誘發(fā)系統(tǒng)性價值風險、可能威脅人類倫理安全的算法,應當采取嚴格限制,只有公共服務機構基于實質(zhì)性公共利益才能應用,且需要在事前、事中和事后均開展“算法安全評估”。對于中度影響個體權利但不會誘發(fā)系統(tǒng)性價值風險的算法,原則上允許開發(fā)、應用,但需要從制度上構建一套涵蓋風險管理機制、數(shù)據(jù)治理機制、技術保障機制、流程備份機制、信息透明機制、信息備案機制等全生命周期的監(jiān)管措施。對于算法風險低且自主性弱的算法,法律在原則上不施加明顯的規(guī)制,只是作出最基礎的安全義務要求。第二,在技術層面,構建代碼逆向治理機制。算法運作取決于代碼如何設計,故代碼也可以對算法進行逆向治理。實踐中,可以根據(jù)社會需要的動態(tài)變化將算法誘發(fā)的價值風險劃分為不同等級,并通過代碼一一設定對應的動態(tài)因素閾值,從而以低成本方式實現(xiàn)對算法運行全過程的動態(tài)監(jiān)管。(52)郭哲:《反思算法權力》,《法學評論》2020年第6期,第40頁。當然,構建代碼治理機制并不是要否定法律治理的作用,其仍然需要將代碼治理的標準和方案與法律基本價值進行對照,以抑制代碼治理的偏好。第三,在倫理層面,一方面要對算法前置性地施加以人為本的整體倫理負載。算法掌握主體應當在設計過程中將由代碼組成的“道德語法”(53)[美]溫德爾·瓦拉赫、科林·艾倫:《道德機器:如何讓機器人明辨是非》,王小紅等譯,北京:北京大學出版社,2017年,第91頁。內(nèi)嵌到算法的底層,嚴格設定其倫理信任閾值,從而把隱藏在數(shù)據(jù)背后的負面價值提煉出來,并在算法評估環(huán)節(jié)予以充分驗證。另一方面要立足于算法倫理委員會、倫理實踐框架、算法倫理標準認證以及倫理培訓,將倫理規(guī)范轉化為行業(yè)標準和技術指南,使之成為具有實際約束力的“軟法”(54)許可:《馴服算法:算法治理的歷史展開與當代體系》,《華東政法大學學報》2022年第1期,第112頁。。第四,在自律層面,推進行業(yè)內(nèi)部制定自治規(guī)范和技術標準。在算法應用相關規(guī)范和標準制定中,應強化算法安全可控、可解釋、可問責和公平公正的價值指引,鼓勵企業(yè)提出和公布自己的更優(yōu)算法標準。《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》要求企業(yè)制定并公開算法推薦相關服務規(guī)則,履行定期審核、評估與驗證算法的機理、模型、數(shù)據(jù)和應用結果等義務,在很大程度上就是鼓勵企業(yè)積極有效地進行算法自治。企業(yè)自行制定的自治規(guī)范和技術標準經(jīng)實踐檢驗成熟時,可將其納入法律標準或國家通用技術指南中,進一步推廣應用,為算法治理提供先進技術示范。

    3.保障機制:推進算法的可信控制

    算法是繼互聯(lián)網(wǎng)之后新一代“通用目的技術”,具有高度的延展性,可以嵌入到經(jīng)濟社會的方方面面。因此,必須高度重視算法的社會屬性,積極預防和有效應對其可能帶來的系統(tǒng)性價值風險,確保算法符合人類社會的“共同善”。這就需要以算法信任為基礎,通過“貫穿于算法的技術層、應用層和治理層的系統(tǒng)化制度安排,確保算法以可信任狀態(tài)得以設計、部署、應用和執(zhí)行”(55)袁康:《可信算法的法律規(guī)制》,《東方法學》2021年第3期,第5頁。。算法的可信控制是防范算法風險和構建算法信任的基礎,其包含技術信任與治理信任兩個維度:一是技術本身的可靠、可控,二是算法使用者在算法應用過程中滿足合法性、道德性與魯棒性的要求。(56)Veronika Alexander et al., Why Trust an Algorithm? Performance, Cognition, and Neurophysiology, Computers in Human Behavior, 2018, (89), pp.279- 288.就技術信任維度而言,算法誘發(fā)的各種價值風險,首先可以通過增強技術可靠性的方式來推進算法的可信控制。實踐中已有新的探索,例如我國大數(shù)據(jù)公司和算法平臺正在積極探索運用歧視感知數(shù)據(jù)挖掘、數(shù)據(jù)過濾、差分隱私、聯(lián)邦學習、模型優(yōu)化等技術,著力解決算法歧視、算法黑箱等不正義問題。就治理信任維度而言,一方面可以通過多元主體協(xié)同,塑造值得信賴的治理群落,滿足算法專業(yè)化、多元化、敏捷化的治理需求;另一方面通過法律和倫理規(guī)則體系的融合,從數(shù)據(jù)、算法、計算、管理四個層級入手提升算法的可信性,并精細設計算法全生命周期的責任機制。(57)孫麗文、李少帥:《風險情景下人工智能技術信任機制建構與解析》,《中國科技論壇》2022年第1期,第150頁。

    與此同時,有必要建立算法應用的負面清單制度,從原則上對極易誘發(fā)價值風險且自主性強的算法予以完全禁止,并將其限定為具備合法性且具有相當可信度的算法。習近平強調(diào),“要加強人工智能發(fā)展的潛在風險研判和防范,維護人民利益和國家安全,確保人工智能安全、可靠、可控?!?58)《習近平在中共中央政治局第九次集體學習時強調(diào)加強領導做好規(guī)劃明確任務夯實基礎 推動我國新一代人工智能健康發(fā)展》,《黨建》2018年第11期,第19頁。也就是說,應當尊重科技創(chuàng)新的底線思維,認真研判算法應用的邊界和限度。具體來講,首先,應通過篩選當前算法應用的不法行為來明確算法研發(fā)行為的合法性邊界,(59)金夢:《立法倫理與算法正義——算法主體行為的法律規(guī)制》,《政法論壇》2021年第1期,第37頁。使算法賦能的領域受到法律的一定限制。其次,根據(jù)算法應用過程中誘發(fā)的不同價值風險建立分類預警機制,及時對智能投顧、無人駕駛、智慧司法、智能診療等不同領域的不法行為進行否定性評價,防止算法危機的進一步擴散。最后,逐步建立健全負面清單制度,凡是可能造成個體重要權利減損,可能威脅人類倫理安全和沖擊社會秩序的算法都應當列入負面清單。例如,應當禁止設置歧視性或偏見性用戶標簽的行為,禁止根據(jù)消費者的偏好、交易習慣等特征實行不合理的差別定價行為,禁止局部改變?nèi)祟惢虻乃惴ㄩ_發(fā),等等。當然,負面清單要因算法技術發(fā)展、法律變動、社會可接受度變化進行動態(tài)調(diào)整。

    結 語

    一個加速變動的數(shù)字時代已經(jīng)來臨。數(shù)據(jù)、算法和算力的強強聯(lián)合重新界定了人們的生存空間并不斷開疆拓土,呈現(xiàn)出一種大數(shù)據(jù)加持、自動化決策和場景化驅(qū)動的全新秩序樣態(tài)。以大數(shù)據(jù)、算法、區(qū)塊鏈、元宇宙(60)關于元宇宙治理的相關討論,參見[印尼]薩法里·卡西亞安托、[德]穆斯塔法· 基林茨:《元宇宙的法律難題》,鄭志峰、羅有成譯,《財經(jīng)法學》2022年第6期,第3—14頁。為代表的新一輪科技革命,呈現(xiàn)出前所未有的鮮明特征。它們不再是作為單純的“技術工具”,技術本身開始展現(xiàn)出與人類相媲美的智能性和自主性,(61)李訓虎:《刑事司法人工智能的包容性規(guī)制》,《中國社會科學》2021年第2期,第62頁。這對傳統(tǒng)的法權關系和價值體系構成明顯沖擊,并在很大程度上改變了機器與人類、法律與算法、意識與代碼之間的關系。然而,如何接受和使用這種力量依然將取決于人類自身,并將取決于人類為算法正義的實現(xiàn)所做出的努力。面對這場前所未有的技術革新,一方面應摒棄科技領域流行的技術中立論,充分研判算法可能引發(fā)的法律、倫理及社會問題;另一方面也需要認真反思傳統(tǒng)治理模式遭遇算法時所帶來的難題。因此,未來算法治理應當走向一種包容性治理的新框架:在治理主體層面搭建國家、社會、企業(yè)和公民的多元共治;在治理工具層面合理聯(lián)結法律、代碼、倫理和自律等不同手段;在治理效果層面滿足算法技術創(chuàng)新與合理規(guī)制之間的動態(tài)平衡。唯此,我們或能實現(xiàn)算法向上向善,而不是任由算法異化為一個神秘且危險的“數(shù)字牢籠”。

    猜你喜歡
    規(guī)制主體法律
    論自然人破產(chǎn)法的適用主體
    南大法學(2021年3期)2021-08-13 09:22:32
    主動退市規(guī)制的德國經(jīng)驗與啟示
    南大法學(2021年4期)2021-03-23 07:56:10
    法律解釋與自然法
    法律方法(2021年3期)2021-03-16 05:57:02
    保護與規(guī)制:關于文學的刑法
    刑法論叢(2018年4期)2018-05-21 00:44:30
    論《反不正當競爭法》的規(guī)制范疇
    法治研究(2016年4期)2016-12-01 03:41:40
    關于遺產(chǎn)保護主體的思考
    讓人死亡的法律
    山東青年(2016年1期)2016-02-28 14:25:30
    “互助獻血”質(zhì)疑聲背后的法律困惑
    論多元主體的生成
    讓法律做主
    浙江人大(2014年5期)2014-03-20 16:20:27
    国产成人啪精品午夜网站| 久久久久久免费高清国产稀缺| 亚洲国产欧美日韩在线播放| 午夜福利乱码中文字幕| 精品国产一区二区三区久久久樱花| 黄片大片在线免费观看| 正在播放国产对白刺激| 一二三四在线观看免费中文在| 91成人精品电影| 1024香蕉在线观看| 天天操日日干夜夜撸| 精品国产一区二区久久| 久久人人爽av亚洲精品天堂| 欧美日韩av久久| 亚洲成人免费av在线播放| 日韩三级视频一区二区三区| 国产欧美日韩一区二区精品| 天堂8中文在线网| 午夜激情av网站| 日韩欧美国产一区二区入口| 亚洲人成77777在线视频| 如日韩欧美国产精品一区二区三区| 一本色道久久久久久精品综合| 777米奇影视久久| 欧美精品av麻豆av| 久久热在线av| svipshipincom国产片| 久久热在线av| 一级毛片精品| 丁香六月欧美| 欧美乱码精品一区二区三区| 中文字幕制服av| 久久av网站| 男女边摸边吃奶| 久久久国产一区二区| 在线观看舔阴道视频| 在线亚洲精品国产二区图片欧美| 欧美黄色片欧美黄色片| 这个男人来自地球电影免费观看| 91大片在线观看| 一级a爱视频在线免费观看| 青春草视频在线免费观看| 欧美激情高清一区二区三区| 可以免费在线观看a视频的电影网站| 高潮久久久久久久久久久不卡| 老司机亚洲免费影院| 亚洲少妇的诱惑av| 国内毛片毛片毛片毛片毛片| 国产欧美日韩综合在线一区二区| 日日夜夜操网爽| 妹子高潮喷水视频| 日韩三级视频一区二区三区| 亚洲国产av新网站| 一区二区三区乱码不卡18| 日韩欧美国产一区二区入口| 香蕉丝袜av| 久久精品成人免费网站| 久久久国产成人免费| 69精品国产乱码久久久| 国产极品粉嫩免费观看在线| 久久香蕉激情| 欧美精品一区二区大全| 亚洲精品美女久久久久99蜜臀| 午夜福利乱码中文字幕| 日韩欧美一区二区三区在线观看 | 天堂8中文在线网| 午夜两性在线视频| 国产欧美日韩精品亚洲av| 桃红色精品国产亚洲av| 人人澡人人妻人| 日韩一区二区三区影片| 他把我摸到了高潮在线观看 | 国产男女内射视频| 黄色视频在线播放观看不卡| 亚洲成人国产一区在线观看| 久久久国产成人免费| 高潮久久久久久久久久久不卡| 久久久精品区二区三区| 亚洲第一青青草原| 久久性视频一级片| 啦啦啦在线免费观看视频4| 婷婷色av中文字幕| 成人亚洲精品一区在线观看| 18禁裸乳无遮挡动漫免费视频| 国产精品1区2区在线观看. | 亚洲熟女毛片儿| 久久天堂一区二区三区四区| 久久久久国内视频| 丁香六月欧美| 亚洲av成人不卡在线观看播放网 | 曰老女人黄片| 国产91精品成人一区二区三区 | √禁漫天堂资源中文www| av免费在线观看网站| 久久天堂一区二区三区四区| 视频区图区小说| 午夜福利视频精品| 天天影视国产精品| 欧美日韩成人在线一区二区| 9191精品国产免费久久| h视频一区二区三区| av超薄肉色丝袜交足视频| 丰满人妻熟妇乱又伦精品不卡| 麻豆乱淫一区二区| 国产一区二区三区综合在线观看| av片东京热男人的天堂| 老司机在亚洲福利影院| 日本精品一区二区三区蜜桃| 中文字幕人妻熟女乱码| 成人18禁高潮啪啪吃奶动态图| 超碰成人久久| 老司机在亚洲福利影院| 纯流量卡能插随身wifi吗| 热99国产精品久久久久久7| 久久久久网色| 午夜两性在线视频| 好男人电影高清在线观看| 成年av动漫网址| 搡老岳熟女国产| 亚洲精品美女久久av网站| 亚洲精品中文字幕一二三四区 | 精品熟女少妇八av免费久了| 国产精品欧美亚洲77777| 一边摸一边做爽爽视频免费| 成人免费观看视频高清| 亚洲综合色网址| 亚洲欧美精品综合一区二区三区| 国产亚洲欧美在线一区二区| 亚洲国产中文字幕在线视频| 中文字幕制服av| 久久中文字幕一级| 一级毛片电影观看| 午夜精品国产一区二区电影| 国产伦人伦偷精品视频| 久久ye,这里只有精品| 精品国产超薄肉色丝袜足j| 国产在线免费精品| 色综合欧美亚洲国产小说| 国产精品久久久久成人av| 好男人电影高清在线观看| 日韩欧美一区二区三区在线观看 | 亚洲全国av大片| 久久久久久久国产电影| 国产精品一二三区在线看| 51午夜福利影视在线观看| 久久久久久久久免费视频了| 午夜成年电影在线免费观看| 国产日韩一区二区三区精品不卡| 交换朋友夫妻互换小说| 国产欧美亚洲国产| 亚洲成av片中文字幕在线观看| 一区二区日韩欧美中文字幕| 五月天丁香电影| 亚洲色图综合在线观看| 亚洲欧洲日产国产| 亚洲精品乱久久久久久| 日韩一卡2卡3卡4卡2021年| 久久香蕉激情| 视频在线观看一区二区三区| 日韩一卡2卡3卡4卡2021年| 国产精品欧美亚洲77777| √禁漫天堂资源中文www| 国产精品欧美亚洲77777| bbb黄色大片| 久久久久久久久久久久大奶| 久久人妻熟女aⅴ| 性高湖久久久久久久久免费观看| 久久亚洲国产成人精品v| 国产伦理片在线播放av一区| 男女床上黄色一级片免费看| 女性生殖器流出的白浆| 国产精品久久久久久人妻精品电影 | 91麻豆精品激情在线观看国产 | 亚洲成人免费av在线播放| 日韩欧美一区二区三区在线观看 | 丰满迷人的少妇在线观看| 国产99久久九九免费精品| 中文字幕av电影在线播放| 五月天丁香电影| 性色av一级| 国产亚洲av高清不卡| 欧美精品啪啪一区二区三区 | 久久国产精品人妻蜜桃| 人人妻人人澡人人看| 一区在线观看完整版| 久久久久久久精品精品| 久久ye,这里只有精品| 天天躁日日躁夜夜躁夜夜| 女性被躁到高潮视频| 亚洲成人免费电影在线观看| 久久久久久免费高清国产稀缺| 欧美在线黄色| 在线精品无人区一区二区三| 男女床上黄色一级片免费看| 国产xxxxx性猛交| 亚洲精品成人av观看孕妇| 亚洲国产精品成人久久小说| 久久国产精品影院| 日韩中文字幕欧美一区二区| 老熟妇仑乱视频hdxx| 极品少妇高潮喷水抽搐| 在线永久观看黄色视频| 久久精品人人爽人人爽视色| 亚洲黑人精品在线| 99久久国产精品久久久| 国产精品 欧美亚洲| 国产精品一区二区在线不卡| 中文字幕人妻熟女乱码| 老鸭窝网址在线观看| 俄罗斯特黄特色一大片| 狠狠狠狠99中文字幕| 夜夜夜夜夜久久久久| 精品久久久精品久久久| 午夜免费观看性视频| 国产精品成人在线| 亚洲国产中文字幕在线视频| 一区二区三区四区激情视频| 色视频在线一区二区三区| 热99re8久久精品国产| 91国产中文字幕| 久久精品久久久久久噜噜老黄| 首页视频小说图片口味搜索| 久久久久久久久免费视频了| 中文字幕av电影在线播放| av免费在线观看网站| 成人av一区二区三区在线看 | 性高湖久久久久久久久免费观看| 国产黄色免费在线视频| 日韩制服骚丝袜av| 中文字幕人妻丝袜一区二区| 老汉色∧v一级毛片| 蜜桃国产av成人99| 岛国在线观看网站| 99国产精品99久久久久| 亚洲欧美一区二区三区久久| 亚洲欧美激情在线| 亚洲第一av免费看| 久久性视频一级片| 老熟妇乱子伦视频在线观看 | 亚洲国产欧美一区二区综合| 黄色片一级片一级黄色片| 成人影院久久| 国精品久久久久久国模美| 国产一区二区 视频在线| 国产成人欧美在线观看 | 成年人午夜在线观看视频| 久久人人爽人人片av| 亚洲久久久国产精品| 欧美在线一区亚洲| 国产成人av教育| 精品第一国产精品| 国产99久久九九免费精品| 王馨瑶露胸无遮挡在线观看| 王馨瑶露胸无遮挡在线观看| 色婷婷久久久亚洲欧美| 妹子高潮喷水视频| 亚洲精品中文字幕在线视频| 国产精品麻豆人妻色哟哟久久| 女性生殖器流出的白浆| 乱人伦中国视频| 人妻一区二区av| 亚洲一卡2卡3卡4卡5卡精品中文| 国产在视频线精品| 无遮挡黄片免费观看| 大陆偷拍与自拍| 婷婷丁香在线五月| 王馨瑶露胸无遮挡在线观看| 国产深夜福利视频在线观看| 一二三四社区在线视频社区8| 最黄视频免费看| av在线播放精品| 亚洲伊人色综图| 亚洲一码二码三码区别大吗| 国产欧美日韩一区二区精品| 国产亚洲欧美精品永久| 日日爽夜夜爽网站| 老司机亚洲免费影院| 成人免费观看视频高清| 欧美国产精品一级二级三级| 日韩视频在线欧美| 18禁黄网站禁片午夜丰满| 91九色精品人成在线观看| 日韩,欧美,国产一区二区三区| 精品一区二区三区四区五区乱码| 日韩中文字幕欧美一区二区| 免费观看人在逋| 高清在线国产一区| 精品一品国产午夜福利视频| 国产极品粉嫩免费观看在线| 美女视频免费永久观看网站| 啪啪无遮挡十八禁网站| 欧美性长视频在线观看| 91精品三级在线观看| 国产亚洲午夜精品一区二区久久| 人人妻,人人澡人人爽秒播| 亚洲av日韩在线播放| 成年女人毛片免费观看观看9 | 大型av网站在线播放| 青青草视频在线视频观看| 美女视频免费永久观看网站| 国产黄色免费在线视频| 日韩免费高清中文字幕av| 在线天堂中文资源库| 国产区一区二久久| 亚洲专区中文字幕在线| 欧美亚洲 丝袜 人妻 在线| 一级毛片女人18水好多| 精品亚洲成a人片在线观看| 久久精品成人免费网站| 日韩免费高清中文字幕av| 国产免费现黄频在线看| www.精华液| 欧美av亚洲av综合av国产av| 欧美日韩一级在线毛片| 久久久久久免费高清国产稀缺| 亚洲人成77777在线视频| 性少妇av在线| videos熟女内射| 汤姆久久久久久久影院中文字幕| 麻豆乱淫一区二区| 亚洲九九香蕉| 性少妇av在线| 婷婷色av中文字幕| 69av精品久久久久久 | 麻豆乱淫一区二区| 中文字幕另类日韩欧美亚洲嫩草| 免费一级毛片在线播放高清视频 | 午夜福利视频在线观看免费| 精品国产乱码久久久久久男人| 青春草亚洲视频在线观看| 涩涩av久久男人的天堂| 欧美日韩一级在线毛片| 亚洲精品在线美女| 亚洲av国产av综合av卡| 老司机深夜福利视频在线观看 | 两个人看的免费小视频| 国产精品一二三区在线看| 久久久久国内视频| 老司机亚洲免费影院| 国产亚洲精品久久久久5区| 国产一区二区 视频在线| 国产不卡av网站在线观看| 女警被强在线播放| 精品第一国产精品| 欧美变态另类bdsm刘玥| 国产国语露脸激情在线看| 老熟妇仑乱视频hdxx| 伊人亚洲综合成人网| 曰老女人黄片| 国内毛片毛片毛片毛片毛片| 欧美日韩国产mv在线观看视频| 黄片小视频在线播放| 成人影院久久| 美女中出高潮动态图| av又黄又爽大尺度在线免费看| 亚洲国产欧美日韩在线播放| 国产欧美日韩一区二区精品| 秋霞在线观看毛片| 亚洲av国产av综合av卡| 在线 av 中文字幕| 黄频高清免费视频| 啦啦啦在线免费观看视频4| 人人妻人人爽人人添夜夜欢视频| 精品一区在线观看国产| 亚洲国产精品成人久久小说| 精品久久久久久久毛片微露脸 | 国产精品1区2区在线观看. | 99久久99久久久精品蜜桃| 亚洲成人国产一区在线观看| 91老司机精品| 亚洲成人国产一区在线观看| 黄色怎么调成土黄色| 成年动漫av网址| 高清av免费在线| av天堂在线播放| 精品一区二区三区四区五区乱码| 亚洲精品在线美女| 一区在线观看完整版| 欧美精品亚洲一区二区| 男女边摸边吃奶| 欧美人与性动交α欧美软件| 亚洲七黄色美女视频| 啦啦啦视频在线资源免费观看| 久久久久精品人妻al黑| 国产人伦9x9x在线观看| 国产在线观看jvid| 欧美日韩福利视频一区二区| 丝袜在线中文字幕| 欧美日韩成人在线一区二区| 国产无遮挡羞羞视频在线观看| 一级片免费观看大全| 久久久久网色| 高清黄色对白视频在线免费看| 欧美 亚洲 国产 日韩一| 国产精品一区二区在线观看99| 国产精品欧美亚洲77777| 久久天堂一区二区三区四区| 中文精品一卡2卡3卡4更新| 午夜影院在线不卡| 精品一区二区三区四区五区乱码| 波多野结衣av一区二区av| 69精品国产乱码久久久| 嫩草影视91久久| 亚洲天堂av无毛| 天天躁夜夜躁狠狠躁躁| 久久香蕉激情| 极品少妇高潮喷水抽搐| 久久久精品国产亚洲av高清涩受| videos熟女内射| 免费在线观看黄色视频的| 乱人伦中国视频| 亚洲一卡2卡3卡4卡5卡精品中文| 色老头精品视频在线观看| 视频区欧美日本亚洲| 久久青草综合色| 欧美激情 高清一区二区三区| 午夜免费鲁丝| 亚洲第一青青草原| 国产1区2区3区精品| 黄片小视频在线播放| 免费在线观看日本一区| 亚洲成av片中文字幕在线观看| 日日夜夜操网爽| 亚洲精品一二三| 午夜免费鲁丝| 中文字幕人妻丝袜一区二区| 99久久综合免费| 91精品三级在线观看| 在线观看免费高清a一片| 免费在线观看完整版高清| 亚洲精品久久午夜乱码| 国产精品二区激情视频| 真人做人爱边吃奶动态| 久久精品人人爽人人爽视色| 免费日韩欧美在线观看| 丝袜美腿诱惑在线| 亚洲午夜精品一区,二区,三区| 人人妻人人澡人人爽人人夜夜| 国产极品粉嫩免费观看在线| 精品国产超薄肉色丝袜足j| 波多野结衣一区麻豆| 国产亚洲一区二区精品| 日本wwww免费看| 欧美亚洲日本最大视频资源| 精品一区二区三区四区五区乱码| 久久人人97超碰香蕉20202| 大型av网站在线播放| 咕卡用的链子| 肉色欧美久久久久久久蜜桃| 欧美日韩av久久| 国产精品久久久久久人妻精品电影 | 日本一区二区免费在线视频| www.自偷自拍.com| 18禁黄网站禁片午夜丰满| 一个人免费看片子| 亚洲精品乱久久久久久| 国产欧美日韩一区二区三 | 老司机靠b影院| 免费人妻精品一区二区三区视频| 在线十欧美十亚洲十日本专区| 老司机影院毛片| 亚洲专区字幕在线| 男女免费视频国产| 黑人巨大精品欧美一区二区mp4| 最近最新免费中文字幕在线| 国产亚洲一区二区精品| 亚洲天堂av无毛| 男女午夜视频在线观看| 日本vs欧美在线观看视频| 青春草视频在线免费观看| 国产男人的电影天堂91| 18禁国产床啪视频网站| 国产精品一区二区在线不卡| av有码第一页| 中文字幕av电影在线播放| 免费女性裸体啪啪无遮挡网站| 高潮久久久久久久久久久不卡| 久久久水蜜桃国产精品网| netflix在线观看网站| 精品国产一区二区三区久久久樱花| 老熟妇乱子伦视频在线观看 | 亚洲人成电影观看| 午夜两性在线视频| 国产欧美日韩一区二区三 | 成人国产一区最新在线观看| 夜夜夜夜夜久久久久| 涩涩av久久男人的天堂| 国产精品欧美亚洲77777| 欧美午夜高清在线| 一区二区三区四区激情视频| 五月开心婷婷网| 女性被躁到高潮视频| 国产成人精品无人区| 蜜桃国产av成人99| 69精品国产乱码久久久| 亚洲av成人不卡在线观看播放网 | 男男h啪啪无遮挡| 捣出白浆h1v1| 真人做人爱边吃奶动态| 天天添夜夜摸| 国产精品一区二区精品视频观看| 大香蕉久久成人网| 中文字幕制服av| 亚洲成国产人片在线观看| 国产日韩欧美亚洲二区| 久9热在线精品视频| 亚洲精品第二区| 亚洲av国产av综合av卡| 老司机深夜福利视频在线观看 | 久久久精品94久久精品| 欧美日韩亚洲高清精品| 亚洲激情五月婷婷啪啪| 国产精品熟女久久久久浪| 欧美黑人欧美精品刺激| 精品久久蜜臀av无| 欧美精品高潮呻吟av久久| 99精品久久久久人妻精品| 岛国在线观看网站| 丝瓜视频免费看黄片| 国产免费福利视频在线观看| 精品少妇久久久久久888优播| 亚洲第一青青草原| 日韩制服骚丝袜av| 男人爽女人下面视频在线观看| 美女大奶头黄色视频| 高清欧美精品videossex| 精品人妻一区二区三区麻豆| 久久久久国内视频| 黑人操中国人逼视频| 一区二区日韩欧美中文字幕| 亚洲欧洲日产国产| 极品少妇高潮喷水抽搐| 亚洲av成人不卡在线观看播放网 | 免费少妇av软件| 国产又爽黄色视频| 伊人亚洲综合成人网| 欧美性长视频在线观看| 久久av网站| 啪啪无遮挡十八禁网站| 亚洲精品av麻豆狂野| 国产深夜福利视频在线观看| 亚洲精品日韩在线中文字幕| 少妇猛男粗大的猛烈进出视频| 91字幕亚洲| 欧美精品一区二区大全| 久久国产亚洲av麻豆专区| 他把我摸到了高潮在线观看 | 免费观看av网站的网址| av国产精品久久久久影院| 99精品欧美一区二区三区四区| 亚洲精品乱久久久久久| 欧美+亚洲+日韩+国产| 国产成人精品久久二区二区91| netflix在线观看网站| 人人妻人人澡人人爽人人夜夜| 一级毛片电影观看| 国产淫语在线视频| 黄色毛片三级朝国网站| 国产免费现黄频在线看| 欧美成人午夜精品| 亚洲精品自拍成人| 不卡一级毛片| 国产男人的电影天堂91| 国产伦理片在线播放av一区| 欧美性长视频在线观看| 中国美女看黄片| 欧美日韩亚洲高清精品| 成人国产av品久久久| 人妻人人澡人人爽人人| 在线观看免费日韩欧美大片| 免费日韩欧美在线观看| 免费看十八禁软件| 久久久久久久大尺度免费视频| 亚洲av男天堂| 在线观看免费视频网站a站| 黄色a级毛片大全视频| 视频区欧美日本亚洲| 麻豆乱淫一区二区| 亚洲熟女精品中文字幕| 亚洲精品久久成人aⅴ小说| 99国产精品99久久久久| 国产福利在线免费观看视频| 黑人巨大精品欧美一区二区蜜桃| 爱豆传媒免费全集在线观看| www.av在线官网国产| 欧美国产精品va在线观看不卡| 久久九九热精品免费| 搡老岳熟女国产| 丰满人妻熟妇乱又伦精品不卡| 久久中文字幕一级| av不卡在线播放| 一进一出抽搐动态| 精品乱码久久久久久99久播| 91精品伊人久久大香线蕉| 黄片大片在线免费观看| 18禁观看日本| 2018国产大陆天天弄谢| 国产av一区二区精品久久| 亚洲色图综合在线观看| 1024视频免费在线观看| 中文字幕制服av| 搡老乐熟女国产| 欧美黄色片欧美黄色片| 天天躁日日躁夜夜躁夜夜| 国产熟女午夜一区二区三区| 在线观看人妻少妇| 亚洲精品久久午夜乱码| videosex国产| 日韩中文字幕欧美一区二区| 2018国产大陆天天弄谢| 亚洲成av片中文字幕在线观看| 777久久人妻少妇嫩草av网站| 亚洲av国产av综合av卡| av线在线观看网站| 高潮久久久久久久久久久不卡|