• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)字政府視閾下的算法行政:興起、風險與法治糾偏

    2024-07-10 10:41:04李牧王俊
    關(guān)鍵詞:公民權(quán)利

    李牧 王俊

    摘?要: 隨著數(shù)字政府建設(shè)目標的確立,算法技術(shù)嵌入行政成為一種必然趨勢,但是算法在促進行政的同時,也帶來了法治價值失序的隱憂。算法基于海量數(shù)據(jù)運算配置社會資源,輔助甚至獨立作出行政行為,或許將會成為行政權(quán)行使的中樞性力量。但是,過度依賴算法可能導致強調(diào)技術(shù)理性而忽視價值理性。算法技術(shù)本身所帶的內(nèi)生性風險與算法應(yīng)用中潛在的風險,暗含著行政權(quán)力的“技術(shù)延伸”和公民權(quán)利被侵蝕的隱患,算法行政遭受合法性和合理性的詰難,數(shù)字政府建設(shè)與法治政府建設(shè)面臨耦合困境。為防范算法行政異化風險,政府的數(shù)字化必須與法治化同步建設(shè),警惕技術(shù)理性凌駕于價值理性之上的觀念,并從算法的創(chuàng)制、適用以及事后追責的各階段構(gòu)建起算法行政的合法性約束機制,避免“權(quán)力—權(quán)利”格局的失衡,從而促進政府數(shù)字化建設(shè)和法治化建設(shè)的深度融合。

    關(guān)鍵詞: 數(shù)字法治政府; 算法行政; 異化風險; 公民權(quán)利; 行政法治

    中圖分類號: D922.114; D922.112?文獻標識碼: A?DOI: 10.3963/j.issn.1671-6477.2024.02.001

    一、 問題的提出

    隨著數(shù)字技術(shù)的興起,先進的算法技術(shù)在政府治理中被廣泛適用,政府行政邁入數(shù)字化、網(wǎng)絡(luò)化、自動化、智能化時代。2021年我國發(fā)布的《法治政府建設(shè)實施綱要(2021-2025年)》第九條中專門提出“全面建設(shè)數(shù)字法治政府”的目標,并要求借助技術(shù)手段實現(xiàn)治理信息化和法治化的深度融合,大力提升法治政府建設(shè)的數(shù)字化水平。2022年國務(wù)院提出“整體協(xié)同、敏捷高效、智能精準、開放透明、公平普惠”的數(shù)字政府建設(shè)目標,政府行政數(shù)字化的步伐進一步加快。

    在數(shù)字政府建設(shè)浪潮下,公共行政日益依賴算法,但算法行政中潛在的黑箱、扭曲、不公等異化現(xiàn)象可能侵蝕公民的正當權(quán)利,算法行政面臨合法性危機。過多的人機交互、人機交往不啻使得“人越來越像機器,機器越來越像人”[1],并且容易導致過度崇拜技術(shù)理性而忽視價值理性。為緩解國家負擔過重和提升治理效能,我國興起了一種新型的合作治理模式,即政府借助私人力量來完成行政任務(wù)[2]。受個人利益驅(qū)動的算法開發(fā)者與旨在維護公共福祉的政府機構(gòu)展開合作,算法由此借助正當?shù)闹贫刃螒B(tài)嵌入行政權(quán)力,但“公私合謀”“算法黑箱”等問題仍引發(fā)了巨大的爭議,算法嵌入行政對行政權(quán)力的運行產(chǎn)生了一定的風險,如算法技術(shù)被公務(wù)人員用作規(guī)避個人責任的工具,本應(yīng)由公務(wù)人員擔負的責任歸咎于機器算法,“算法卸責”現(xiàn)象頻發(fā)。此外,算法拘囿于自學性、“黑箱”性與極速性的特性[3],基于機器學習作出的決定具有一定的獨立性甚至不可預測性,有偏離預計行政目標、侵犯公民權(quán)利的可能。綜上所述,以效率為導向的數(shù)字政府建設(shè)與以公正為基石的法治政府建設(shè)出現(xiàn)了異步風險,算法行政引發(fā)了“破壞政府公信力”“加劇社會不平等”“侵蝕公民權(quán)利”“損害行政行為的公正性”等一系列隱患。

    從法治的角度審視,算法驅(qū)動的行政活動本質(zhì)上仍然屬于行政權(quán)力的行使,應(yīng)當被納入行政法治框架之中,受到法律的約束。然而,問題在于,在面對技術(shù)密集、快速迭代、依賴于代碼和算法作出決定的新型行政管理模式時,現(xiàn)有的行政法治體系應(yīng)如何有效地適應(yīng)和監(jiān)督?為此,筆者認為算法行政必須以法治的根本價值為依歸,明確算法行政的價值目標,通過從算法嵌入行政的創(chuàng)制、適用以及事后追責等各階段,搭建算法行政的合法性框架,以回應(yīng)數(shù)字時代算法行政所提出的各種挑戰(zhàn)和訴求。

    二、 算法及技術(shù)的演進與算法行政

    (一) 緣起:從技術(shù)到權(quán)力

    “算法”這一術(shù)語的歷史源遠流長,其中文命名可以追溯到《周髀算經(jīng)》和《九章算術(shù)》等中國古代數(shù)學文獻;而算法英文名稱“Algorithm”,是來自于9世紀波斯數(shù)學家花剌子米,他在數(shù)學上提出了算法這個概念,乃表示數(shù)字或符號的運算規(guī)則。隨著數(shù)學的進步,演繹推理的邏輯過程也逐漸轉(zhuǎn)化為算法形式,使得計算與推理在“算法”這一概念下實現(xiàn)了融合。算法已超越了簡單的計算規(guī)則,轉(zhuǎn)而成為從數(shù)學問題中抽象出的通用計算程序,并且旨在實現(xiàn)標準化,以便進行機械化的重復迭代[4]。1936年,英國科學家艾倫·圖靈提出了一個名為“圖靈機”的數(shù)學計算模型。這一模型的核心思想是將人類的計算過程簡化并抽象為數(shù)學邏輯上的機器操作,其被認為是人工智能的先河。算法因此突破了傳統(tǒng)數(shù)學應(yīng)用的界限,擴展到計算機科學領(lǐng)域,逐漸演變?yōu)榧夹g(shù)和場景應(yīng)用中的關(guān)鍵驅(qū)動力。自此以后,算法被認為是基于數(shù)學原理,通過計算機編程語言表達的一系列程序化指令或操作規(guī)范,其實質(zhì)上是一套求解邏輯。

    20世紀中葉以降,隨著人類將算法應(yīng)用于眾多領(lǐng)域,算法在很大程度上改變了人類生活,為決策者提供了更加精準的信息作為決策判斷的依據(jù),公共機構(gòu)、私營企業(yè)、公民個人日益依賴算法,有學者甚至提出“算法即規(guī)則,代碼即法律”的觀點。算法已超越了單純的計算機科學范疇,開始具有社會屬性。任何能夠讓特定主體控制他人或?qū)λ水a(chǎn)生影響的資源,都可以被稱作權(quán)力[5]。而算法調(diào)配資源的力量使其形成了一種事實上的技術(shù)權(quán)力。憑借其固有的優(yōu)越性,算法被整合進社會權(quán)力架構(gòu)之中,對社會運作和人際交往模式產(chǎn)生了變革性質(zhì)的影響,它基于機器學習優(yōu)勢挑戰(zhàn)并爭奪人類的決策權(quán);通過架構(gòu)優(yōu)勢塑造人類的認知與行為模式;通過嵌入優(yōu)勢,以指數(shù)級的速度放大其影響力,進而反過來影響和塑造社會運作的方式,最終形成了所謂的“算法權(quán)力”[6]。簡言之,算法權(quán)力就是某一主體因掌握相應(yīng)的算法技術(shù)而得到了其他主體不具備的一種優(yōu)勢[7],這種優(yōu)勢的實質(zhì)是技術(shù)權(quán)力的獲得。

    (二) 區(qū)分:算法系統(tǒng)類別

    基于不同的角度,算法系統(tǒng)有不同的分類。從生成方式來看,公共領(lǐng)域已使用的算法系統(tǒng)主要包括兩種類型,一種是規(guī)則導入型算法,另一種是機器學習型算法。前者是指算法設(shè)計者將預先編寫的程序規(guī)則寫入計算機神經(jīng)網(wǎng)絡(luò),該算法比較簡單或者是具有固定的模型,僅遵循設(shè)計者設(shè)定的指令,其輸出完全處于人類的控制之下。后者不是基于明確的人工編寫的規(guī)則,而是依賴于從歷史數(shù)據(jù)中自主歸納出的規(guī)則。通說認為,機器學習是程序依據(jù)提供的數(shù)據(jù)自動地學習,進而獲得識別和進行預測的能力[8]。機器學習的本質(zhì)在于應(yīng)用算法構(gòu)建量化分析框架,使得計算機模型能夠通過數(shù)據(jù)進行“學習”[9],其得出的結(jié)果具有不可預測性,譬如智慧警務(wù)背景下部署的“預測性警務(wù)系統(tǒng)”,預測犯罪活動可能發(fā)生的地點和涉及的參與者,讓公安機關(guān)能夠及時采取預防措施,從而防止犯罪行為的發(fā)生[10]。從算法對人類決策的影響力程度來看,算法系統(tǒng)可以被劃分為輔助決策系統(tǒng)和全自動決策系統(tǒng)兩大類。輔助決策系統(tǒng)中,算法一般承擔著輔助職能,例如,系統(tǒng)在分析了氣象數(shù)據(jù)之后發(fā)出潛在風險的預警,或者依據(jù)道路交通狀況的數(shù)據(jù)提出在特定區(qū)域安裝交通信號燈的建議等。這種系統(tǒng)的應(yīng)用,決策者保留了較大的自主權(quán),行政機關(guān)可以自行決定是否遵循系統(tǒng)所提供的建議。相比之下,全自動決策系統(tǒng)不需要人參與其中就可以完全自主地作出決策。例如,在深圳市實施的全自動審批系統(tǒng)中,高等院校的應(yīng)屆畢業(yè)生若要申報引進和落戶,僅需在線提交所需材料,系統(tǒng)會自動進行材料審核,只要所提交的信息和材料齊全且準確,審批過程將無需人工干預,隨即自動完成。一般而言,不需要裁量的事項運用的是全自動決策系統(tǒng),而需要裁量的事項主要應(yīng)用輔助決策系統(tǒng)。

    (三) 演進:算法嵌入行政

    進入21世紀,信息技術(shù)革命的到來導致互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算和人工智能等技術(shù)被廣泛應(yīng)用。就公共行政而言,由此而引發(fā)的制度變遷是最為廣泛和深刻的,正如有學者所言,信息技術(shù)不僅用以提高行政效率,而且大幅度地改變公共行政的體制和機制[11]。由于算法逐漸滲透到社會生活的方方面面,變革著人類的生活方式以及對世界的認知,魯夫羅伊便將治理術(shù)引入數(shù)字領(lǐng)域,正式提出“算法治理術(shù)”,即“算法行政”這一概念[12]。一般認為,算法行政是自動化行政的范式之一,其并不屬于規(guī)范意義上的法律概念范疇,僅是通過算法進行的自動化行政活動[13]。“算法行政”是行政系統(tǒng)以自動化決策為主要機制,實現(xiàn)數(shù)據(jù)驅(qū)動型治理的一種方式[14]。由此可見,在治理語境下,“算法行政”屬于新型的國家與社會治理的方式,算法是行政機關(guān)進行治理的工具[15]。從技術(shù)邏輯視角來看,算法嵌入行政對傳統(tǒng)的行政模式和治理結(jié)構(gòu)進行了深刻的塑造和變革,算法提升了行政的效率和精確性,基于此算法行政發(fā)展為一種新型的官僚行政模式,有學者將其稱為“算法官僚”[16]。從政治邏輯的角度分析,算法在行政中的廣泛應(yīng)用影響了公共權(quán)力的分配與使用、公眾參與政治的行為模式以及公共決策的結(jié)果等,正逐步推動行政部門走向一種新型官僚主義,即“算法官僚主義”[17],其意指行政部門過度依賴算法的運用,而忽視人的主體性地位。綜合以上分析可知,算法行政是指在數(shù)字政府建設(shè)背景下,為提升行政效率、優(yōu)化資源配置,以算法技術(shù)驅(qū)動行政活動,借助算法進行自動化操作和決策的新型行政管理模式。

    由于算法行政自身的優(yōu)越性極大滿足了行政主體對其實用主義功能的期待,算法嵌入行政的趨勢也愈加明顯[18]。算法行政不僅極大助益于行政效率,還提高了政府治理的精準度。算法系統(tǒng)通過搜集和分析數(shù)據(jù),能夠模擬出對行為主體的詳細“人物畫像”,實現(xiàn)針對性的治理策略,從而提升政府治理的精確性。此外,算法行政還增強了政府治理的理性和客觀性。在傳統(tǒng)的政府治理過程中,行政人員可能會受到各種因素的影響,導致行政偏私,使得政府行政的合法性和合理性受到質(zhì)疑,而算法系統(tǒng)在預設(shè)了明確的標準和考量因素后,能夠?qū)λ休斎氲男畔⑦M行較客觀的處理。算法的“技術(shù)中立”特性有助于消除政府治理中的偏見和人情等復雜因素,從而在一定程度上確保了行政結(jié)果的公正性。在數(shù)字政府建設(shè)的背景下,算法行政幾乎被政府運用到社會生活治理的各個領(lǐng)域。無論是環(huán)境保護、交通管理,還是醫(yī)療、教育和衛(wèi)生等公共服務(wù)的提供,都能看到算法技術(shù)賦能對提升政府治理效能的顯著貢獻。算法在國家和社會治理場景中的應(yīng)用正變得日益普遍,算法與行政相結(jié)合的新型行政模式——算法行政,正日益形成。

    三、 算法行政風險樣態(tài)的類型化識別

    未來的行政權(quán)行使或許更顯智慧和高效,“但它可能缺乏情感,甚至比今天枯燥乏味的官僚程序更缺乏情感”[19]。算法嵌入行政在提高行政效能的同時,也具有異化的風險,其具體表征主要為兩方面:從算法技術(shù)視角看,算法黑箱和算法技術(shù)的不確定性,暗含著行政過程的不透明和結(jié)果的不可預測,可能促使算法行政產(chǎn)生與法治政府建設(shè)相悖的作用力;從算法應(yīng)用視角看,法律語言轉(zhuǎn)譯成算法語言,權(quán)力的技術(shù)化可能會導致技術(shù)權(quán)力化,算法或許會成為行政主體脫卸責任的一種方式,異化的算法行政暗含著權(quán)力擴張、政府失信以及公民權(quán)利被侵蝕的失范風險,算法行政面臨著合法性危機。

    (一) 算法技術(shù)的內(nèi)生性風險

    1.算法黑箱。簡單來說,“算法黑箱”指的是已知輸入和輸出,但對于輸入是如何被轉(zhuǎn)換成輸出的這個過程卻一無所知的情形。在算法系統(tǒng)開發(fā)的私有化趨勢中,私營部門常以商業(yè)秘密保護為理由,回避公開其算法的責任,進一步增加算法行政的透明度風險。由算法行政引發(fā)的訴訟表明,由于算法黑箱的存在,執(zhí)行任務(wù)的公務(wù)人員并不了解這些系統(tǒng)的運行原理,更無法在法庭上給出任何解釋說明①。算法黑箱的不透明與難以解釋關(guān)涉人們的知情權(quán)以及直接影響人們對算法的信任感與認同度,很容易引發(fā)民眾對算法合理性和算法權(quán)力合法性的擔憂,進而導致政府公信力受損[20]。

    2.算法的不確定性。算法的不確定性風險主要有三類:一是研發(fā)中,特定知識演繹成算法模型難以做到絕對準確。二是輸出過程中,算法在數(shù)據(jù)處理、模型構(gòu)建和實際應(yīng)用中面臨的限制,使得其輸出的準確性和有效性難以保證。三是基于算法結(jié)果作出的決策對社會產(chǎn)生的影響可能是一個未知數(shù),特別是在考慮算法長期影響的情況下,這種不確定性構(gòu)成了算法最大的風險[21]。現(xiàn)代法治國家通過依法行政原則和正當程序原則構(gòu)建起行政權(quán)力正當行使的運行框架。算法行政的出現(xiàn),依法行政有逐漸異化為依“法”(算法)行政的隱患,算法尤其是機器學習型算法,在算法設(shè)計師設(shè)計的“學習規(guī)則”的基礎(chǔ)上,通過海量已知數(shù)據(jù)產(chǎn)生未知信息,并依據(jù)外部環(huán)境的變化進化自己的算法,產(chǎn)生的結(jié)果往往具有未知性和不可預測性[22],其導致的直接結(jié)果就是法律的實施具有更大的不確定性。

    (二) 算法應(yīng)用中的潛在風險

    1.算法卸責導致責任歸屬不明。所謂“卸責”,顧名思義就是推卸責任。算法行政中,公務(wù)人員借助算法實施行政活動,當出現(xiàn)需要承擔責任的情形時,原本應(yīng)由公務(wù)人員承擔的責任可能被轉(zhuǎn)嫁至算法,導致出現(xiàn)責任歸屬不明的現(xiàn)象。更有甚者,在出現(xiàn)“人機沖突”時,更傾向選擇遵循機器的建議,一旦造成嚴重后果,就可以將責任推給技術(shù)本身,從而轉(zhuǎn)移公務(wù)人員承擔的責任,算法卸責可能成為行政主體脫逃政治責任和法律責任的手段[23]。例如,在河南村鎮(zhèn)銀行儲戶遭遇錯誤賦“紅碼”的事件中,相關(guān)部門借以技術(shù)原因來逃避公眾的追責;而在后續(xù)再次出現(xiàn)“紅碼”問題時,鄭州市也以“技術(shù)故障”作為解釋,以達卸責的目的。

    2.算法濫用侵蝕公民權(quán)利。依靠算法極大地縮減了行政行為作出的時間,減少了人為因素對行政行為的影響和干預,在一定程度上促進了行政的客觀性、科學性。但是,算法濫用仍給公民權(quán)利帶來了不容忽視的侵蝕風險。在數(shù)字政府建設(shè)過程中,實體型政府向平臺型政府轉(zhuǎn)變,越來越多的個人信息數(shù)據(jù)被政府或企業(yè)收集、儲存、分析。與此同時,自動化行政使用算法技術(shù)功能的前提就是大量數(shù)據(jù)信息的采集,行政裁量智能系統(tǒng)需要機器學習大量的案件和數(shù)據(jù),如果出現(xiàn)對數(shù)據(jù)和信息的過度分析和違法使用,將導致公民的個人信息和隱私權(quán)面臨被侵害的風險。同樣,公民的人身自由、言論自由以及新型的數(shù)字人權(quán)②等都在不同程度上受到了異化的算法權(quán)力的擠壓,根植于數(shù)理邏輯的算法行政存在侵蝕公民權(quán)利根基的可能性。

    3.算法賦能促使權(quán)力隱性擴張的風險。“自由法治國”到“社會法治國”,其實質(zhì)是政府從“守夜人”到行政國家的轉(zhuǎn)變。肇始于此,政府的任務(wù)從消極地不過多干涉公民生活轉(zhuǎn)變成積極為公民提供“生存照顧”[24],政府的行政職能和任務(wù)因此急劇擴張。行政國家自其興起以來,總體上呈現(xiàn)出持續(xù)擴張的趨勢。行政機關(guān)的職能不斷擴展,承擔著越來越多的立法和裁判職能,通過制定行政規(guī)章的行政立法權(quán)以及與司法判決相近的行政裁決權(quán),并直接管理國家和社會事務(wù),一度成為國家權(quán)力中最活躍的權(quán)力。而算法賦能行政的出現(xiàn),可能會加劇這種行政權(quán)擴張的趨勢。社會需求日益增長與行政資源有限性的矛盾,為行政權(quán)的持續(xù)擴張?zhí)峁┲鯔C與動力,算法行政也是為緩解此矛盾的因應(yīng)之策。行政機關(guān)借助算法采集和利用公民的個人信息,在此過程中形成公民的“數(shù)字畫像”,可以精準實施對某個具體的人的監(jiān)控以及對公民個人行為的全方位掌控,行政權(quán)得以“技術(shù)延伸”。在此情境下,“權(quán)利”對“權(quán)力”的制約平衡機制發(fā)生傾斜。算法行政可能超出法律對行政權(quán)的授權(quán)范圍,進而造成法律統(tǒng)治下的政府漸變?yōu)樗惴ńy(tǒng)治下的政府。

    四、 算法行政異化風險的法治糾偏

    (一) 理念先行:明確算法行政的價值旨歸

    理性、正當?shù)膬r值理念是消除算法行政異化的重要前提。因此,必須要明確算法行政的價值旨歸從而調(diào)和技術(shù)理性與價值理性之間可能出現(xiàn)的失衡。

    1.堅持以人民為中心的理念,明確算法行政的范圍。一方面,在使用算法權(quán)力進行社會管理的過程中,政府各級部門應(yīng)始終貫徹以人民為中心的服務(wù)理念,充分利用算法技術(shù)提供更具精確和個性化、性價比更高、持續(xù)迭代創(chuàng)新的公共服務(wù),維護公民的合法權(quán)益,平衡權(quán)力與權(quán)利的關(guān)系,確保權(quán)力源自人民、服務(wù)人民,增進公民對數(shù)字服務(wù)的滿意度。另一方面,明確界定算法行政的范圍是避免技術(shù)授權(quán)導致公共權(quán)力無序擴張的必要之舉?!皺?quán)力擁有者在使用權(quán)力時會一直使用到權(quán)力臨近極限,方才停止?!盵25]必須嚴格規(guī)范算法在不同情景中的相應(yīng)適用范圍,以防止算法在行政領(lǐng)域下過度擴張的趨勢[26]。法律保留原則強調(diào),對基本權(quán)利的限制必須由法律來規(guī)定。對可能實質(zhì)性地影響到公民基本權(quán)利的算法行政應(yīng)用范圍,必須遵循法律保留原則,由法律明文規(guī)定。簡言之,算法應(yīng)用于行政的邊界應(yīng)當受到法律的明確界定:通過概括性或具體列舉的方式,指明哪些行政行為應(yīng)由公務(wù)人員直接作出,而不得由算法來主導。例如,德國依據(jù)所涉權(quán)利重要性、人工介入程度以及裁量范圍三個要素確定了自動化行政的法律保留范圍[27]。

    2.以公正為基,兼顧效率。在社會發(fā)展過程中,公平與效率之間的價值沖突似乎難以避免,而一個良好的社會必須能夠在追求公平與提高效率之間找到恰當?shù)钠胶恻c[28]。算法對行政的賦能,導致效率優(yōu)先主義在技術(shù)的助推下不斷得以強化,相應(yīng)地,算法嵌入行政生成的治理新形態(tài)可能過于追求治理的效率,從而忽視對公平原則的追求,造成算法行政中公平原則的遮蔽。如果沒有效率,算法行政就不能體現(xiàn)出其優(yōu)越性;如果沒有公正,算法行政就無法體現(xiàn)出其正當性。在算法行政的推進過程中,行政機關(guān)應(yīng)當保留一定的自由裁量權(quán),以確保行政機關(guān)可以基于實質(zhì)公平而作出區(qū)別對待的行政行為。例如,在系統(tǒng)作出行政處罰之前,應(yīng)當實施必要的人工復核,消除算法可能帶來的偏見。除此之外,還必須考慮數(shù)字弱勢群體的權(quán)益,允許傳統(tǒng)行政活動形式的存在,保留傳統(tǒng)送達、告知的行政流程,確保他們在政府行政網(wǎng)絡(luò)化、數(shù)字化的轉(zhuǎn)型中不會被邊緣化。

    (二) 算法創(chuàng)制:構(gòu)建算法影響評估制度

    算法影響評估指的是在算法系統(tǒng)投入使用之前和運行期間,對其可能產(chǎn)生的影響進行評價,以確保算法系統(tǒng)在風險可識別且影響可控制的安全范圍內(nèi)運行。通過建立算法影響評估制度,檢視嵌入行政活動的算法是否在技術(shù)與倫理之間取得均衡,并對可能產(chǎn)生的影響進行評估。算法制定過程中引入風險評估制度,正是建立在風險預防的理念基礎(chǔ)之上,從源頭預防算法可能引發(fā)的系統(tǒng)性風險。基于我國算法影響評估實踐,算法影響評估制度可以劃分為封閉合規(guī)型和開放反思型兩大類別。鑒于二者之間的比較③,開放反思型算法影響評估制度更能適應(yīng)機器學習算法的特性,它在提高算法的透明度、維護個人法定程序權(quán)利以及為公眾提供實質(zhì)性的算法決策審查等方面,展現(xiàn)出更為顯著的制度優(yōu)勢。因此,我國應(yīng)以此為基礎(chǔ)制定動態(tài)性評估和結(jié)果強制披露的算法影響評估制度并通過建立相應(yīng)工作機制予以落實。

    1.建立動態(tài)的算法影響評估啟動機制。在我國,算法制定過程中承擔風險評估的義務(wù)主體通常是行政機關(guān),但行政機關(guān)有權(quán)將風險評估的任務(wù)委托給算法開發(fā)公司以外的專業(yè)第三方機構(gòu)。如前文所述,機器學習型算法基于已有邏輯結(jié)構(gòu)不斷通過數(shù)據(jù)學習進而進化新的規(guī)則,規(guī)則生成具有動態(tài)性和不確定性,所以算法風險評估啟動機制也應(yīng)當是動態(tài)的、全過程的,不能拘于事前評估,而是通過事前、事中在算法的開發(fā)、應(yīng)用等階段對算法進行覆蓋技術(shù)安全性、社會穩(wěn)定性、公共安全以及個人信息保護等多個方面影響程度的評估。評估得出的結(jié)論將作為決定算法是否可以被實際應(yīng)用或繼續(xù)應(yīng)用的關(guān)鍵參考。依據(jù)不同的應(yīng)用背景、規(guī)范和類別,召集技術(shù)專家就算法的安全性、算法制定的權(quán)限、程序以及內(nèi)容是否合法進行深入討論,評估的項目包括數(shù)據(jù)來源的合法性、對數(shù)字弱勢群體的保護措施、用戶隱私的維護以及針對倫理風險的緊急應(yīng)對方案等,同時需將評估結(jié)果及時公布以供公眾查閱[29]。對于存在重大風險的項目,應(yīng)當迅速采取整改措施,不斷更新技術(shù)手段,力求將算法嵌入行政的合法性與合理性風險降至最低。

    2.建立評估報告強制披露機制。在算法決策中,“輸入端”與“輸出端”兩個環(huán)節(jié)的信息公開,將增強算法的透明度和可理解性,從而增進公眾對算法系統(tǒng)的信任度[30]。在公共部門與私營企業(yè)共同開發(fā)算法系統(tǒng)的情境下,商業(yè)主體通常會以算法影響評估報告包含商業(yè)機密為由,拒絕對外披露,這嚴重阻礙了公眾參與監(jiān)督算法運作的途徑。關(guān)于算法行政中的算法究竟是否屬于商業(yè)秘密,學界有不同觀點④,筆者認為,應(yīng)用于行政中的算法與商用算法的性質(zhì)明顯不同,其不應(yīng)當被認定為商業(yè)秘密。這是因為:一是在大多數(shù)情況下,算法行政所采用的算法相對簡單,通常可以通過逆向工程來揭示其工作原理,難以稱得上是商業(yè)秘密;二是如果商業(yè)機構(gòu)明知算法的公共性而仍向公共部門提供比較復雜的算法,既想賺取制作算法的利潤,卻又不愿尊重行政公開原則、不愿公開評估報告,依循“公共利益高于個人利益”的邏輯,就不應(yīng)認定為商業(yè)秘密進行保護[31]。故在制定算法影響評估機制時,私營部門和政府機構(gòu)應(yīng)當透明化算法操作的詳細過程,包括公開算法處理的數(shù)據(jù)類型以及算法內(nèi)部的邏輯結(jié)構(gòu)。此外,還應(yīng)闡明算法輸入數(shù)據(jù)在決策過程中的權(quán)重,提供必要的專業(yè)知識以便公眾理解算法的工作原理、決策邊界,以及算法執(zhí)行可能帶來的影響和后果。

    3.建立算法“通告—評論”機制。美國《聯(lián)邦行政程序法》規(guī)定正式規(guī)則制定應(yīng)遵循“通告—評論”的創(chuàng)制方式,它要求政府將擬議新規(guī)則或變更規(guī)則通知公眾,并接受公眾評論[32]。鑒于算法創(chuàng)制和規(guī)則制定過程的具有高度相似性,因此可以參照現(xiàn)有制度來構(gòu)建算法的“通告—評論”機制。一方面,行政主體在啟動特定算法系統(tǒng)的影響評估時,或可進一步參考比較法上的先例,如加拿大的“AIA”機制(算法影響評估工具)[33],應(yīng)當評估的具體內(nèi)容包括算法設(shè)計理念、算法應(yīng)用場景、對相對人權(quán)益可能的損害以及擬定減少風險的措施。另一方面,應(yīng)建立有序的評價渠道,在線上設(shè)置統(tǒng)一的智慧平臺,如算法評論網(wǎng)站、網(wǎng)絡(luò)郵箱等。在線下的政務(wù)服務(wù)大廳或者其他指定地點設(shè)立專門的算法評論窗口收集公眾郵寄的評論信件。

    (三) 算法適用:技術(shù)性正當程序的嵌入

    正當程序不僅具有規(guī)范公權(quán)力行使的工具性價值,也包含平等、公正、尊嚴、秩序等現(xiàn)代法治精神在內(nèi)的獨立價值。為因應(yīng)數(shù)字技術(shù)對傳統(tǒng)正當程序核心價值的沖擊與瓦解,國外學者提出了技術(shù)性正當程序的概念[34]。技術(shù)性正當程序旨在通過優(yōu)化計算機程序設(shè)計,保障算法行政的透明性,從而捍衛(wèi)被數(shù)字技術(shù)所威脅的人的尊嚴價值。在算法行政中,其核心理念為確保算法行政的公正性,避免任何形式的偏見、聽取各方意見以及對決策說明理由[35]。隨著數(shù)字技術(shù)大行其道,行政行為方式和行政過程的數(shù)字化轉(zhuǎn)型使得技術(shù)性正當程序的嵌入變得十分必要。

    1.明確行政主體的充分告知義務(wù)。在適用數(shù)字化、智能化、自動化行政程序時,行政主體應(yīng)當在作出行政行為前向相對人告知擬作出的行政行為及其依據(jù)和理由。自動化系統(tǒng)應(yīng)生成審計軌跡,以確保相對人可查閱相關(guān)信息、允許中立的第三方專家進行審查,并確保救濟機制能夠覆蓋算法決策的全過程。這樣,相對人就有途徑和能力對自動化系統(tǒng)可能出現(xiàn)的錯誤判斷和處理結(jié)果提出質(zhì)疑。同時,還可以輔助行政機關(guān)在向相對人通知決定時提供充分的理由說明,提高系統(tǒng)決策的透明度和可解釋性,并促使行政機關(guān)及時識別和糾正可能的偏差[36]。

    2.構(gòu)建結(jié)構(gòu)化的人工交涉機制。在技術(shù)正當程序的關(guān)鍵環(huán)節(jié)中,人的介入至關(guān)重要,特別是在告知和說明理由之后,聽取陳述和進行辯護的階段更是不可或缺。在這一階段,行政機關(guān)能夠?qū)π姓袨榈囊罁?jù)進行更深入的闡釋,并與當事人進行實質(zhì)性的溝通。而結(jié)構(gòu)化的人工交涉機制可以強化行政人員與算法系統(tǒng)的協(xié)同,有助于保障算法行政的程序性公正。為此,有必要針對不同的算法行政場景,建立起依申請介入和依職權(quán)介入的二元人工交涉機制。具體而言,一是參考歐盟的《通用數(shù)據(jù)保護條例》(GDPR),賦予行政相對人請求人工介入的權(quán)利。這樣不僅能夠增強行政相對人對算法系統(tǒng)的信任,還能夠為系統(tǒng)提供必要的反饋,以便不斷改進和優(yōu)化;二是明確行政機關(guān)依職權(quán)審查算法系統(tǒng)的責任。行政機關(guān)在將算法嵌入某一行政事項后,必須對算法系統(tǒng)所作決定的合法性與準確性進行抽查,防止因系統(tǒng)錯誤而出現(xiàn)行政不公的情形。

    (四) 算法問責:本土化的算法問責機制

    當算法行政引發(fā)損害,那么法律問責必然產(chǎn)生。為因應(yīng)算法行政活動帶來的風險,歐美地區(qū)早已發(fā)布多種算法問責政策[37]。從世界范圍來看,算法問責是一種必然趨勢,我國也應(yīng)在借鑒他國經(jīng)驗的基礎(chǔ)上,構(gòu)建起具有中國特色的算法問責模式。

    1.明確責任劃分,謹防“算法卸責”。在輔助算法決策系統(tǒng)中,公職人員可能通過放棄行使裁量權(quán),避免人為介入的方式卸責。為解決這個問題,一個可行的主要方法是在機器作出決策之后,加強對結(jié)果的人工審核。實踐中,可以采用“覆蓋決策”⑤的方式避免算法系統(tǒng)的出錯。例如,在執(zhí)法過程中,盡管系統(tǒng)已經(jīng)提出了行政處罰的建議,但執(zhí)法人員仍需要重新審視案件的全部證據(jù),根據(jù)理性和內(nèi)心良知對證據(jù)進行取舍,只有在其得出的結(jié)論與系統(tǒng)結(jié)論相吻合時,才會予以處罰。在全自動算法決策系統(tǒng)中,由于作出決策的是算法系統(tǒng),在追究“技術(shù)問題”的責任時,行政機構(gòu)可能會傾向于將責任歸咎于提供算法的供應(yīng)商,而算法開發(fā)商可能也會通過各種方式進行卸責。因此,必須明確行政主體與私營部門之間的權(quán)責關(guān)系,進一步增強供應(yīng)商在數(shù)據(jù)安全和網(wǎng)絡(luò)防護責任方面的要求[38],在探討企業(yè)行為是否可以合理地視為政府行為并要求政府承擔相應(yīng)責任時,可以引入政府行為理論進行判斷。

    2.完善算法備案制度。算法備案是在我國現(xiàn)行備案制度下發(fā)展出來的一種新型備案制度。從《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》來看,我國算法備案制度屬于行政備案形態(tài),雖然沒有明確將算法備案適用主體限制為企業(yè),但是《境內(nèi)互聯(lián)網(wǎng)信息服務(wù)算法備案清單(2023年12月)》中的備案主體均為企業(yè),而應(yīng)用于公共行政的算法同樣“具有輿論屬性或者社會動員能力”,因此也應(yīng)當將其納入算法備案體系。內(nèi)嵌于公共行政的算法備案審查主要考慮兩方面內(nèi)容:(1)合法性。算法系統(tǒng)在搜集信息時,必須依據(jù)法律規(guī)定進行,且僅限于法律、行政法規(guī)、地方性法規(guī)、政府規(guī)章、黨內(nèi)法規(guī)等規(guī)范性文件所明確授權(quán)的范圍,符合行政的基本程序,同時應(yīng)恪守“法無授權(quán)即禁止”的原則。(2)正當性及合目的性。公共行政利用算法技術(shù)必須符合經(jīng)濟性,并且應(yīng)當符合比例原則。換言之,算法決策系統(tǒng)的應(yīng)用必須目的正當,應(yīng)用該算法系統(tǒng)有助于其行政目標的實現(xiàn),并且對相對人的權(quán)益影響最小。對于發(fā)現(xiàn)不符合上述兩方面內(nèi)容的算法系統(tǒng),應(yīng)當不準許其應(yīng)用于公共行政,已經(jīng)應(yīng)用的應(yīng)當停止,并且以此追究相關(guān)人員的責任。

    五、 結(jié)?語

    隨著數(shù)字時代的來臨,法治政府面臨著數(shù)字化的革新,數(shù)字法治政府建設(shè)成為主流,算法正逐漸滲透到公共行政領(lǐng)域的各個方面。如上所述,算法嵌入行政所產(chǎn)生的法治風險并非子虛烏有,但是這并不能否定算法給行政機關(guān)工作成效帶來的助益。技術(shù)的發(fā)展是必然的,在社會高速發(fā)展的今天,技術(shù)不可不用,但不可濫用、不可妄用。法律所起到的作用就在于規(guī)范技術(shù),防范算法行政帶來的技術(shù)風險或人為風險,從而保護公民免受技術(shù)的傷害。因此,有必要從算法嵌入行政的各階段對算法行政進行規(guī)約,從而有效因應(yīng)算法行政的異化,以保護公民的合法權(quán)利,促進數(shù)字政府與法治政府的深度融合,進一步發(fā)揮算法在治理現(xiàn)代化中的正向效能。

    注釋:

    ①?如美國阿肯色州公共服務(wù)部的自動化決策系統(tǒng)對殘障人士造成了嚴重的影響,但在訴訟過程中,行政機關(guān)工作人員和第三方系統(tǒng)開發(fā)者均無法說明如何調(diào)試不斷出錯的系統(tǒng)。參見Ryan Calo & Danielle K.Citron,The Automated Administrative State:A Crisis of Legitimacy,70 Emory L.J.797 (2021).

    ②?隨著數(shù)字社會的發(fā)展,出現(xiàn)了“生物人”與“信息人”并存的局面,人的存在形式以一種新的“數(shù)字屬性”呈現(xiàn)出來。有學者借此提出“數(shù)字人權(quán)”的概念,并以上網(wǎng)權(quán)、個人數(shù)據(jù)權(quán)、數(shù)字身份權(quán)、數(shù)字完整權(quán)等為數(shù)字人權(quán)的實在內(nèi)容。參見鄭智航的文章《數(shù)字人權(quán)的理論證成與自主性內(nèi)涵》,原文載于《華東政法大學學報》2023年第1期第35-47頁。

    ③?封閉合規(guī)型算法影響評估制度在評估啟動上呈現(xiàn)事前性和靜態(tài)性,在評估程序以及評估報告披露呈現(xiàn)高度封閉性;開放反思型算法影響評估制度在評估啟動上具有周期性和動態(tài)性,評估程序以及評估報告上呈現(xiàn)較高的開放性。參見張恩典的文章《算法影響評估制度的反思與建構(gòu)》,原文載于《電子政務(wù)》雜志2021年第11期第57-68頁。

    ④?關(guān)于算法的法律性質(zhì),基本上有言論、商業(yè)秘密和正當言論三種觀點。參見陳景輝的文章《算法的法律性質(zhì):言論、商業(yè)秘密還是正當程序?》,原文載于《比較法研究》雜志2020年第2期第120-132頁。

    ⑤?通常指的是在決策過程中考慮所有相關(guān)因素和可能的結(jié)果,以確保決策的全面性和有效性,如進行風險評估、相關(guān)方案比較以及對利益相關(guān)者的分析。

    [參考文獻]

    [1] ?馬長山.數(shù)智治理的法治悖論[J].東方法學,2022(04):63-74.

    [2] 章志遠.邁向公私合作型行政法[J].法學研究,2019,41(02):137-153.

    [3] 胡敏潔.論自動化行政中的瑕疵指令及其救濟[J].北京行政學院學報,2021(04):81-88.

    [4] 李文林.數(shù)學史概論(第2版)[M].北京:高等教育出版社,2002.

    [5] (德)尤爾根·哈貝馬斯.作為“意識形態(tài)”的技術(shù)和科學[M].李黎,郭官,譯.上海:學林出版社,1999:76.

    [6] 張凌寒.算法權(quán)力的興起、異化及法律規(guī)制[J].法商研究,2019,36(04):63-75.

    [7] 鄭戈.算法的法律與法律的算法[J].中國法律評論,2018(02):66-85.

    [8] (日)西森秀稔,大關(guān)真之.量子計算機簡史[M].姜婧,譯.成都:四川人民出版社,2020:66.

    [9] 張濤.自動化行政對行政程序的挑戰(zhàn)及其制度因應(yīng)[J].華中科技大學學報(社會科學版),2022,36(05):60-69,89.

    [10]沈國琴,齊小力.人工智能嵌入預測警務(wù)的法律風險及其預防[J].廣西社會科學,2021(5):10-17.

    [11]于安.論數(shù)字行政法:比較法視角的探討[J].華東政法大學學報,2022,25(01):6-17.

    [12]M.Hildebrand,K.De Vries.Privacy,Due Process and the Computational Turn:The Philosophy of Law Meets the Philosophy of Technology[M].London:Routledge,2013:143-169.

    [13]郝志斌.算法行政的風險場景及其法律規(guī)制:基于算法法權(quán)關(guān)系架構(gòu)的分析[J].山東大學學報(哲學社會科學版),2023(05):157-169.

    [14]張欣.算法行政的架構(gòu)原理、本質(zhì)特征與法治化路徑:兼論《個人信息保護法(草案)》[J].經(jīng)貿(mào)法律評論,2021(01):21-35.

    [15]查云飛.算法的行政法屬性及其規(guī)范[J].法制與社會發(fā)展,2023,29(06):168-185.

    [16]段哲哲.控制算法官僚:困境與路徑[J].電子政務(wù),2021(12):2-16.

    [17]劉特,鄭躍平,曹夢冰.算法行政:文獻述評與研究展望[J].公共行政評論,2024,17(01):84-104,198.

    [18]張恩典.人工智能算法決策對行政法治的挑戰(zhàn)及制度因應(yīng)[J].行政法學研究,2020(04):34-45.

    [19]劉權(quán).數(shù)字政府建設(shè)中數(shù)字化與法治化的融合[J].當代法學,2023,37(06):15-25.

    [20]HAUER T.Society and the second age of machines:algorithms versus ethics[J].Society,2018,55(2):100-106.

    [21]張海柱.算法治理中的不確定風險及其應(yīng)對[J/OL].科學學研究,DOI:10.16192/j.cnki.1003-2053.20240024.003.

    [22]王賓.自動化行政中算法的法律控制[J].財經(jīng)法學,2023(01):61-75.

    [23]高童非.論自動化行政中的“算法卸責”[J].電子政務(wù),2023(02):115-128.

    [24]趙宏.法治與行政:德國行政法在法治國背景下的展開[J].行政法學研究,2007(02):128-134.

    [25](法)孟德斯鳩.論法的精神:上冊[M].彭盛,譯.北京:當代世界出版社,2008:76.

    [26]蔣敏娟,黃璜.數(shù)字政府:概念界說、價值蘊含與治理框架:基于西方國家的文獻與經(jīng)驗[J].當代世界與社會主義,2020(03):175-182.

    [27]Civitarese Matteucci S.The Rise of Technological Administration and the Ragged Route Towards a Digital Administrative Law[DB/OL].Sorace D.,F(xiàn)erraraL.,Piazza I.(eds) The Changing Administrative Law of an EU Member State.Springer,Cham.https://doi.org/10.1007/978-3-030-50780-0_8.

    [28][美]阿瑟·奧肯.平等與效率[M].王忠民,黃清,譯.成都:四川人民出版社,1988:4.

    [29]王婧怡.數(shù)字時代算法技術(shù)異化的倫理困境與治理路徑[J].自然辯證法研究,2023,39(10):128-131.

    [30]張永亮,林盛浩,張潔玉.算法權(quán)力之規(guī)制:算法影響評估制度的生成及展開[J].證券法苑,2022,35(1):227-246.

    [31]于一帆.自動化行政中算法的可公開性及其范圍[J].行政法學研究,2024(01):159-167.

    [32]翟翌,羅實.算法行政的合法性危機與化解方案:基于溝通合法性的視角[J].理論與改革,2023(06):63-77.

    [33]張欣.算法影響評估制度的構(gòu)建機理與中國方案[J].法商研究,2021,38(02):102-115.

    [34]Danielle Keats Citron.Technological Due Process[J].Washington University Law Review,2008,85:1249-1259.

    [35]劉東亮.技術(shù)性正當程序:人工智能時代程序法和算法的雙重變奏[J].比較法研究,2020(05):64-79.

    [36]蘇宇.數(shù)字時代的技術(shù)性正當程序:理論檢視與制度構(gòu)建[J].法學研究,2023,45(01):91-107.

    [37]張惠彬,王懷賓.算法行政問責的機制與評估:基于歐美40份政策的實施分析[J].中國行政管理,2024(01):89-99.

    [38]余凌云.無人駕駛的道交法規(guī)范構(gòu)建[J].荊楚法學,2023(05):94-107.

    (責任編輯?文?格)

    猜你喜歡
    公民權(quán)利
    深度偽造與公民權(quán)利的沖突與平衡
    緊急狀態(tài)下國家克減權(quán)的運行與公民權(quán)利保護——以我國在新冠肺炎疫情中的有力防控為視角
    法大研究生(2020年2期)2020-01-19 01:41:32
    社會保障制度中政府權(quán)力、公民權(quán)利與責任的互動——澳大利亞社會保障體系的啟示與借鑒
    財政科學(2017年3期)2017-08-07 02:28:57
    關(guān)于城鄉(xiāng)社會同構(gòu)的憲法學研究
    法制博覽(2016年12期)2016-12-28 13:33:30
    我國公民參與行政的當前不足及對策建議
    人民論壇(2016年25期)2016-09-28 10:34:01
    公民主體視角下的共享析論
    理論導刊(2016年9期)2016-09-20 13:45:16
    巴山新語:用法治為公民權(quán)利“撐腰”
    公民導刊(2016年5期)2016-06-11 10:58:49
    從“路怒”看人的匿名化社會行為與公民權(quán)利
    智富時代(2015年7期)2015-07-04 05:00:01
    陽光下的權(quán)力規(guī)則體系
    依法治國與公民權(quán)利保障
    久久久亚洲精品成人影院| 亚洲国产欧美在线一区| 91久久精品电影网| 成人影院久久| 高清视频免费观看一区二区| 国产乱人偷精品视频| 国产成人aa在线观看| 亚洲国产日韩一区二区| 一边亲一边摸免费视频| 国产男女超爽视频在线观看| 秋霞伦理黄片| 亚洲精品456在线播放app| 一区在线观看完整版| 亚洲国产日韩一区二区| 国产有黄有色有爽视频| 国产伦在线观看视频一区| 国产成人午夜福利电影在线观看| 久久久精品免费免费高清| 亚洲在久久综合| 最近中文字幕2019免费版| 国产成人freesex在线| 内地一区二区视频在线| 日韩成人av中文字幕在线观看| 欧美日韩视频精品一区| 中文欧美无线码| 亚洲av国产av综合av卡| 男女啪啪激烈高潮av片| 97超视频在线观看视频| 男男h啪啪无遮挡| 精品一区二区三区视频在线| 国产淫片久久久久久久久| 搡老乐熟女国产| 国产亚洲5aaaaa淫片| 国产精品.久久久| 国产精品不卡视频一区二区| 久久鲁丝午夜福利片| 亚洲av日韩在线播放| 午夜福利网站1000一区二区三区| 国产在线视频一区二区| 久久久久久久国产电影| av不卡在线播放| 亚洲精品日本国产第一区| 精品久久久久久久末码| 在线 av 中文字幕| 乱码一卡2卡4卡精品| 在线观看免费视频网站a站| 国产日韩欧美在线精品| 一区二区三区精品91| 在线观看免费视频网站a站| 99热6这里只有精品| 亚洲四区av| 人妻少妇偷人精品九色| 黄色欧美视频在线观看| 亚洲,欧美,日韩| 国产成人精品福利久久| 人妻 亚洲 视频| 熟女人妻精品中文字幕| 国产综合精华液| 18禁在线播放成人免费| 超碰av人人做人人爽久久| 欧美zozozo另类| 最近的中文字幕免费完整| 亚洲国产成人一精品久久久| 韩国高清视频一区二区三区| www.色视频.com| 欧美人与善性xxx| 久久久久久久久久成人| 午夜免费观看性视频| 尾随美女入室| 日本av免费视频播放| 欧美国产精品一级二级三级 | 国产亚洲一区二区精品| 精品少妇久久久久久888优播| 日韩三级伦理在线观看| 日韩不卡一区二区三区视频在线| 日韩av不卡免费在线播放| 婷婷色综合大香蕉| 欧美日韩国产mv在线观看视频 | 国产一区二区在线观看日韩| 亚洲欧美日韩无卡精品| 国产毛片在线视频| 免费黄网站久久成人精品| 久久精品国产亚洲网站| 99久久精品国产国产毛片| 在线观看美女被高潮喷水网站| 91久久精品国产一区二区成人| 久久久久久久国产电影| 午夜福利在线观看免费完整高清在| 中文欧美无线码| 日韩精品有码人妻一区| 婷婷色麻豆天堂久久| 亚洲欧美日韩东京热| 欧美人与善性xxx| 寂寞人妻少妇视频99o| 肉色欧美久久久久久久蜜桃| 亚洲精品日韩在线中文字幕| 伦理电影免费视频| 久久久久久久大尺度免费视频| 中国美白少妇内射xxxbb| 免费av不卡在线播放| 不卡视频在线观看欧美| 久热这里只有精品99| 亚洲国产色片| 久久综合国产亚洲精品| 精品一区在线观看国产| 中文精品一卡2卡3卡4更新| 国产国拍精品亚洲av在线观看| 亚洲美女黄色视频免费看| 九九在线视频观看精品| 成年美女黄网站色视频大全免费 | 国产精品国产三级国产av玫瑰| 各种免费的搞黄视频| 青春草亚洲视频在线观看| 中国国产av一级| av不卡在线播放| 成人一区二区视频在线观看| 国产精品成人在线| 亚洲国产最新在线播放| 男人添女人高潮全过程视频| 在线观看av片永久免费下载| 观看美女的网站| 亚洲精品国产av蜜桃| 国产一区二区三区综合在线观看 | 久久久久久久久久久丰满| 插逼视频在线观看| 亚洲内射少妇av| 亚洲欧美日韩另类电影网站 | 国产成人精品婷婷| 婷婷色av中文字幕| 亚洲成人av在线免费| 国产精品人妻久久久影院| 水蜜桃什么品种好| 色5月婷婷丁香| 成人黄色视频免费在线看| 91久久精品国产一区二区成人| 中文在线观看免费www的网站| 亚洲在久久综合| 我的老师免费观看完整版| 男女免费视频国产| 97超碰精品成人国产| 日韩,欧美,国产一区二区三区| 人体艺术视频欧美日本| av网站免费在线观看视频| 亚洲成人中文字幕在线播放| 欧美精品国产亚洲| 久久国内精品自在自线图片| 国产精品伦人一区二区| 亚洲人成网站高清观看| 国产片特级美女逼逼视频| 国产成人精品一,二区| 国产一区有黄有色的免费视频| 国产在线男女| 看十八女毛片水多多多| 亚洲精品自拍成人| 日本av手机在线免费观看| 欧美成人午夜免费资源| 久久热精品热| 亚洲aⅴ乱码一区二区在线播放| 九九爱精品视频在线观看| 亚洲av二区三区四区| 亚洲熟女精品中文字幕| 2018国产大陆天天弄谢| 97在线视频观看| 国产精品秋霞免费鲁丝片| 26uuu在线亚洲综合色| 五月玫瑰六月丁香| 在线观看美女被高潮喷水网站| 日韩免费高清中文字幕av| 极品教师在线视频| 高清黄色对白视频在线免费看 | 高清欧美精品videossex| 国产精品国产av在线观看| 婷婷色综合大香蕉| 国内精品宾馆在线| 亚洲国产精品999| 国产精品偷伦视频观看了| 在线观看国产h片| 久久韩国三级中文字幕| 国产免费视频播放在线视频| 丰满迷人的少妇在线观看| 成人漫画全彩无遮挡| 欧美成人一区二区免费高清观看| 韩国av在线不卡| 日韩电影二区| av在线蜜桃| av免费在线看不卡| xxx大片免费视频| 国产精品av视频在线免费观看| 亚洲怡红院男人天堂| 少妇裸体淫交视频免费看高清| 夜夜骑夜夜射夜夜干| 一级av片app| 久久国产精品大桥未久av | 久久国产亚洲av麻豆专区| 日韩视频在线欧美| 国产一区二区在线观看日韩| 亚洲欧美一区二区三区国产| 国产精品99久久久久久久久| 一级毛片 在线播放| 亚洲精品成人av观看孕妇| 日本黄色日本黄色录像| 午夜福利在线在线| 中国三级夫妇交换| 偷拍熟女少妇极品色| 久久久国产一区二区| 久久人人爽av亚洲精品天堂 | 欧美激情国产日韩精品一区| 国产黄频视频在线观看| 97热精品久久久久久| 国产伦精品一区二区三区四那| 亚洲精品久久久久久婷婷小说| 午夜免费鲁丝| 色视频www国产| 国产精品麻豆人妻色哟哟久久| 免费看日本二区| 久久久久久久国产电影| 亚洲精华国产精华液的使用体验| 久久热精品热| 亚洲欧美精品专区久久| 免费av中文字幕在线| 国产成人免费无遮挡视频| 国产色婷婷99| 菩萨蛮人人尽说江南好唐韦庄| 毛片女人毛片| 成年女人在线观看亚洲视频| 久久女婷五月综合色啪小说| 国产高清不卡午夜福利| 国产高清不卡午夜福利| 欧美bdsm另类| 国产精品国产三级国产av玫瑰| 美女福利国产在线 | 秋霞在线观看毛片| 久久婷婷青草| 午夜福利高清视频| 国产亚洲91精品色在线| 日韩免费高清中文字幕av| 亚洲精品456在线播放app| 精品亚洲乱码少妇综合久久| 亚洲第一av免费看| 天堂中文最新版在线下载| 最新中文字幕久久久久| 国产精品女同一区二区软件| videos熟女内射| 黄片无遮挡物在线观看| 久久精品夜色国产| 国产成人精品久久久久久| 黄色怎么调成土黄色| 国产免费又黄又爽又色| 欧美bdsm另类| 国产亚洲精品久久久com| 欧美一级a爱片免费观看看| 国产白丝娇喘喷水9色精品| 日韩欧美一区视频在线观看 | 免费观看的影片在线观看| 97在线人人人人妻| 黑丝袜美女国产一区| 各种免费的搞黄视频| 国产免费一区二区三区四区乱码| 99热全是精品| 久久99热6这里只有精品| 欧美 日韩 精品 国产| 蜜桃在线观看..| 人妻夜夜爽99麻豆av| 久久人人爽人人爽人人片va| 狂野欧美激情性bbbbbb| 亚洲欧美成人精品一区二区| 一区二区三区精品91| 亚洲国产色片| 免费看日本二区| 成人午夜精彩视频在线观看| 亚洲电影在线观看av| 成人国产av品久久久| 免费看光身美女| 尾随美女入室| 国产av码专区亚洲av| 色婷婷av一区二区三区视频| 最后的刺客免费高清国语| 蜜桃久久精品国产亚洲av| 亚洲成人av在线免费| 97在线视频观看| 亚洲av不卡在线观看| 大陆偷拍与自拍| 97超视频在线观看视频| 一级毛片久久久久久久久女| 国产成人a∨麻豆精品| 人妻少妇偷人精品九色| 少妇精品久久久久久久| 一级毛片黄色毛片免费观看视频| 国产男人的电影天堂91| 狠狠精品人妻久久久久久综合| 欧美三级亚洲精品| 丰满乱子伦码专区| 建设人人有责人人尽责人人享有的 | 高清av免费在线| 啦啦啦视频在线资源免费观看| 欧美3d第一页| 成人免费观看视频高清| 国产成人免费观看mmmm| 丝袜脚勾引网站| 国产av一区二区精品久久 | 免费大片黄手机在线观看| 成人毛片a级毛片在线播放| 18禁裸乳无遮挡动漫免费视频| 午夜福利视频精品| 成人综合一区亚洲| 26uuu在线亚洲综合色| 建设人人有责人人尽责人人享有的 | 日日撸夜夜添| 伊人久久国产一区二区| 少妇人妻 视频| 久久精品久久久久久久性| 亚洲国产高清在线一区二区三| 免费av中文字幕在线| 最近的中文字幕免费完整| 久久人人爽人人片av| 人人妻人人澡人人爽人人夜夜| 国产一区亚洲一区在线观看| 韩国高清视频一区二区三区| 夫妻性生交免费视频一级片| 2018国产大陆天天弄谢| 亚洲精品国产av蜜桃| 久久久久久九九精品二区国产| 国产精品女同一区二区软件| 国产亚洲一区二区精品| 夜夜看夜夜爽夜夜摸| 一级毛片电影观看| 男人狂女人下面高潮的视频| 亚洲最大成人中文| 高清日韩中文字幕在线| 高清欧美精品videossex| 国产欧美日韩精品一区二区| 精品人妻偷拍中文字幕| 免费少妇av软件| 色网站视频免费| 免费不卡的大黄色大毛片视频在线观看| 99久久精品国产国产毛片| 又爽又黄a免费视频| 精品少妇黑人巨大在线播放| 纵有疾风起免费观看全集完整版| 亚洲精品日韩av片在线观看| 国产亚洲午夜精品一区二区久久| 一本久久精品| 男人添女人高潮全过程视频| av在线蜜桃| 久久综合国产亚洲精品| 熟妇人妻不卡中文字幕| 国产午夜精品久久久久久一区二区三区| 91精品伊人久久大香线蕉| 亚洲成人一二三区av| 国产毛片在线视频| 欧美日韩视频精品一区| 婷婷色综合www| 亚洲av中文字字幕乱码综合| 国国产精品蜜臀av免费| 成人一区二区视频在线观看| 国产亚洲91精品色在线| 联通29元200g的流量卡| 国产欧美另类精品又又久久亚洲欧美| 欧美 日韩 精品 国产| 一区二区三区精品91| 在线免费观看不下载黄p国产| 国产精品一区二区性色av| 春色校园在线视频观看| 一级毛片黄色毛片免费观看视频| 成人无遮挡网站| 成人高潮视频无遮挡免费网站| 国产高清国产精品国产三级 | 亚洲欧美日韩无卡精品| 欧美3d第一页| av播播在线观看一区| 少妇 在线观看| 亚洲精品aⅴ在线观看| 免费观看的影片在线观看| 亚洲在久久综合| 中文精品一卡2卡3卡4更新| 日韩 亚洲 欧美在线| 精品久久久噜噜| 伊人久久精品亚洲午夜| av在线蜜桃| 一本色道久久久久久精品综合| 欧美精品亚洲一区二区| 亚洲精品一区蜜桃| 日韩一本色道免费dvd| 精品少妇久久久久久888优播| 国产午夜精品一二区理论片| 日韩精品有码人妻一区| 能在线免费看毛片的网站| 国产精品麻豆人妻色哟哟久久| av天堂中文字幕网| 最黄视频免费看| 国国产精品蜜臀av免费| 少妇熟女欧美另类| 亚洲av中文字字幕乱码综合| 国产精品福利在线免费观看| 春色校园在线视频观看| 午夜福利网站1000一区二区三区| 少妇人妻精品综合一区二区| 国产真实伦视频高清在线观看| 婷婷色av中文字幕| 亚洲欧美成人综合另类久久久| 亚洲人成网站在线观看播放| 国产精品精品国产色婷婷| 尾随美女入室| 一二三四中文在线观看免费高清| 精品酒店卫生间| 亚洲高清免费不卡视频| 亚洲欧美精品自产自拍| 狂野欧美激情性bbbbbb| 亚洲美女黄色视频免费看| 晚上一个人看的免费电影| 成人国产麻豆网| av在线app专区| 丰满人妻一区二区三区视频av| tube8黄色片| 国产亚洲欧美精品永久| 欧美老熟妇乱子伦牲交| 欧美zozozo另类| 夫妻性生交免费视频一级片| 五月天丁香电影| 91午夜精品亚洲一区二区三区| 人妻系列 视频| 国产真实伦视频高清在线观看| 纯流量卡能插随身wifi吗| 久久99热这里只有精品18| av在线老鸭窝| 精品一区在线观看国产| 国产成人freesex在线| 亚洲成人手机| 国产精品一区二区性色av| 亚洲人与动物交配视频| 一区在线观看完整版| 亚洲精品乱码久久久v下载方式| www.色视频.com| 在线观看一区二区三区激情| 亚洲国产欧美人成| 人人妻人人爽人人添夜夜欢视频 | 免费久久久久久久精品成人欧美视频 | 99热国产这里只有精品6| 春色校园在线视频观看| 日韩在线高清观看一区二区三区| 日韩大片免费观看网站| 欧美日韩亚洲高清精品| 国产黄片美女视频| 91久久精品国产一区二区三区| 在线观看人妻少妇| 精品人妻偷拍中文字幕| 亚洲四区av| 亚洲欧美日韩东京热| 在线观看国产h片| 麻豆成人午夜福利视频| 精品99又大又爽又粗少妇毛片| 亚洲成人av在线免费| 啦啦啦视频在线资源免费观看| 伦精品一区二区三区| 丰满乱子伦码专区| 亚洲av成人精品一区久久| 高清日韩中文字幕在线| 中文字幕制服av| 日本av免费视频播放| 美女高潮的动态| 日韩av在线免费看完整版不卡| 在线 av 中文字幕| 人妻夜夜爽99麻豆av| 久久久久精品性色| 我的老师免费观看完整版| 女人十人毛片免费观看3o分钟| 国产精品人妻久久久久久| 99热网站在线观看| 国产精品久久久久久精品电影小说 | 久久 成人 亚洲| 日日啪夜夜爽| 三级国产精品欧美在线观看| 国产精品国产三级国产av玫瑰| 欧美3d第一页| 1000部很黄的大片| 久久影院123| 蜜桃久久精品国产亚洲av| 日产精品乱码卡一卡2卡三| 午夜福利影视在线免费观看| 色5月婷婷丁香| 精品一区在线观看国产| 久久精品熟女亚洲av麻豆精品| 亚洲自偷自拍三级| 国产高清三级在线| 国产成人免费观看mmmm| 亚洲人成网站在线观看播放| 少妇猛男粗大的猛烈进出视频| 日本黄大片高清| 国产中年淑女户外野战色| 少妇丰满av| 日日啪夜夜爽| 亚洲av成人精品一二三区| 香蕉精品网在线| 成人毛片60女人毛片免费| 久久韩国三级中文字幕| 久久久精品免费免费高清| 少妇被粗大猛烈的视频| 一级毛片久久久久久久久女| av女优亚洲男人天堂| 亚洲欧美日韩东京热| 青春草亚洲视频在线观看| 精品人妻一区二区三区麻豆| 女性生殖器流出的白浆| 日本猛色少妇xxxxx猛交久久| 中文字幕人妻熟人妻熟丝袜美| 亚洲av欧美aⅴ国产| 一二三四中文在线观看免费高清| 国产乱人偷精品视频| 国产一区二区在线观看日韩| 国产成人aa在线观看| 中文天堂在线官网| 精品一区二区三区视频在线| 午夜福利网站1000一区二区三区| 91精品国产九色| 亚洲精品色激情综合| 91狼人影院| 插阴视频在线观看视频| 久久99精品国语久久久| 精品亚洲成a人片在线观看 | 日韩欧美一区视频在线观看 | 男女国产视频网站| 国产一区有黄有色的免费视频| 国产真实伦视频高清在线观看| 欧美xxxx黑人xx丫x性爽| 日韩在线高清观看一区二区三区| 自拍欧美九色日韩亚洲蝌蚪91 | 亚洲精品456在线播放app| 永久免费av网站大全| 一本久久精品| 一个人看的www免费观看视频| 亚洲国产最新在线播放| 欧美xxⅹ黑人| 成年人午夜在线观看视频| 欧美精品人与动牲交sv欧美| 国产中年淑女户外野战色| 自拍偷自拍亚洲精品老妇| 熟女人妻精品中文字幕| 波野结衣二区三区在线| av线在线观看网站| 男人舔奶头视频| 大片免费播放器 马上看| 伊人久久精品亚洲午夜| 一级毛片久久久久久久久女| 成人美女网站在线观看视频| 国产精品国产三级国产av玫瑰| 高清在线视频一区二区三区| 黑人猛操日本美女一级片| 日本黄色日本黄色录像| 一二三四中文在线观看免费高清| 性高湖久久久久久久久免费观看| 欧美日韩视频高清一区二区三区二| 精品一品国产午夜福利视频| 亚洲av男天堂| 亚洲精品国产av蜜桃| 欧美日韩在线观看h| 久久久久网色| 寂寞人妻少妇视频99o| 亚洲欧美清纯卡通| 纵有疾风起免费观看全集完整版| 欧美日韩国产mv在线观看视频 | 国产成人精品久久久久久| 亚洲四区av| 深夜a级毛片| 青春草视频在线免费观看| 久久精品久久精品一区二区三区| 大话2 男鬼变身卡| 国产91av在线免费观看| 丰满乱子伦码专区| 美女脱内裤让男人舔精品视频| 色视频www国产| xxx大片免费视频| 国产在线免费精品| 大香蕉97超碰在线| 边亲边吃奶的免费视频| 免费在线观看成人毛片| 日本av免费视频播放| 91精品国产九色| 看非洲黑人一级黄片| 丝瓜视频免费看黄片| 亚洲熟女精品中文字幕| 国产亚洲一区二区精品| 亚洲精品久久久久久婷婷小说| 精品人妻熟女av久视频| 成年美女黄网站色视频大全免费 | 天堂中文最新版在线下载| 午夜老司机福利剧场| 中文天堂在线官网| 久久精品久久久久久久性| 亚洲怡红院男人天堂| 国产伦精品一区二区三区四那| 在线观看国产h片| 制服丝袜香蕉在线| 秋霞在线观看毛片| av免费观看日本| 中文字幕人妻熟人妻熟丝袜美| 在线观看三级黄色| 久热这里只有精品99| 久久综合国产亚洲精品| 看免费成人av毛片| 91精品国产国语对白视频| 岛国毛片在线播放| 国产免费视频播放在线视频| 人体艺术视频欧美日本| 毛片女人毛片| 国产高潮美女av| 性色av一级| 视频区图区小说| 观看免费一级毛片| 亚洲内射少妇av| 一个人看视频在线观看www免费| 美女内射精品一级片tv| 91久久精品电影网| 新久久久久国产一级毛片| 91在线精品国自产拍蜜月| 亚洲精品视频女|