• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    自動化行政對行政程序的挑戰(zhàn)及其制度因應(yīng)

    2022-09-28 04:51:38張濤
    關(guān)鍵詞:程序規(guī)則系統(tǒng)

    □ 張濤

    一、問題的提出

    在數(shù)字政府建設(shè)中,大數(shù)據(jù)、算法、人工智能等尖端數(shù)字技術(shù)的廣泛使用,雖然可以對政府進(jìn)行流程再造,實(shí)現(xiàn)行政程序“簡單、便捷、迅速”的目標(biāo),但與此同時,數(shù)字技術(shù)也可能對基本的假設(shè)和確定性提出規(guī)范性挑戰(zhàn),如進(jìn)一步擴(kuò)大國家內(nèi)部的數(shù)字鴻溝、侵犯個人隱私、技術(shù)不透明導(dǎo)致程序不公正、算法偏見加劇社會不公平[1]。對此,我國《法治政府建設(shè)實(shí)施綱要(2021—2025年)》明確提出“全面建設(shè)數(shù)字法治政府”,要求“著力實(shí)現(xiàn)政府治理信息化與法治化深度融合”。因此,如何推進(jìn)數(shù)字法治政府建設(shè)已經(jīng)成為一項(xiàng)重要課題。

    在理論上,學(xué)術(shù)界將數(shù)字法治政府建設(shè)問題集中概括為“自動化行政”所引發(fā)的各類爭議,并提出不同的法律控制措施。例如,有學(xué)者提出,可以從自動化行政的主體、權(quán)利、程序幾個方面綜合考慮法律控制要素[2];還有學(xué)者提出,應(yīng)當(dāng)對自動化行政進(jìn)行分級分類,根據(jù)不同的等級采取不同的控制措施[3]。總體而言,目前的研究成果主要側(cè)重于自動化行政的整體法律秩序建構(gòu),不過,長期以來,程序主義進(jìn)路在行政法治建設(shè)和行政法法典化中一直發(fā)揮著重要作用[4],因此,也有一些學(xué)者提出應(yīng)當(dāng)建構(gòu)所謂的“技術(shù)性正當(dāng)程序”[5]或者“算法正當(dāng)程序”[6]來應(yīng)對自動化行政提出的挑戰(zhàn)。事實(shí)上,行政程序有時也被理解為信息和決策過程,在這個過程中,法律解決方案不是簡單地通過邏輯推理來(預(yù)先)找到或者確立,而是通過信息處理產(chǎn)生具有約束力的決定。這種信息和決策過程的結(jié)構(gòu)與順序?qū)ψ鳛槌绦蚪K點(diǎn)的行政決定具有決定性影響。一般認(rèn)為,政府的數(shù)字化轉(zhuǎn)型主要包含兩層含義:一是內(nèi)部流程的轉(zhuǎn)型;二是政府與其他社會及政治行為者之間關(guān)系的轉(zhuǎn)型(制度轉(zhuǎn)型)[7]。因此,自動化行政在很大程度上是行政程序中特定環(huán)節(jié)或者所有環(huán)節(jié)的部分或者完全自動化[3]。

    行政法為促進(jìn)行政行為的問責(zé)和保護(hù)個人權(quán)益提供了重要框架,相關(guān)的原則及規(guī)則主要以決策是由人而不是由計(jì)算機(jī)作出的為預(yù)設(shè)前提。在自動化行政的背景下,這些原則與規(guī)則在多大程度上與計(jì)算機(jī)化的行政決策兼容呢?本文進(jìn)一步追問的問題是:自動化行政到底對行政程序法治提出了何種挑戰(zhàn),我們又應(yīng)當(dāng)對此種挑戰(zhàn)作出何種回應(yīng)?為了回答上述問題,本文的基本論證結(jié)構(gòu)如下:首先,對自動化行政的技術(shù)邏輯及實(shí)踐場景進(jìn)行闡述;其次,對行政程序的基本要素進(jìn)行確認(rèn),并分析其在自動化行政中遭遇的困境;最后,對現(xiàn)有的法律控制路徑進(jìn)行分析,并將其概括為“數(shù)據(jù)權(quán)利的程序化”和“行政程序的數(shù)字化”,由此提出通過自動化行政分級來配置行政程序要素。

    二、自動化行政的技術(shù)邏輯與實(shí)踐場景

    在討論社會技術(shù)的法律問題時,首先面臨的一項(xiàng)挑戰(zhàn)是缺乏對核心概念的準(zhǔn)確且普遍的定義,諸如大數(shù)據(jù)、算法、機(jī)器學(xué)習(xí)、人工智能等術(shù)語在不同學(xué)科領(lǐng)域通常具有不同的含義。因此,為了使研究對象更具針對性,本文首先對自動化行政的技術(shù)邏輯進(jìn)行闡述,主要是對算法自動化決策的一般內(nèi)容及具體形式進(jìn)行研究,在此基礎(chǔ)上,本文將對自動化行政的實(shí)踐場景進(jìn)行闡述,主要是確定算法自動化決策在公共行政中的典型應(yīng)用實(shí)例。

    (一)自動化行政的技術(shù)邏輯

    自動化行政實(shí)際上是“自動化決策”(automated-decision making)在行政領(lǐng)域的具體應(yīng)用。從廣義上看,自動化決策是一個計(jì)算機(jī)化的過程,它使用編碼邏輯或者算法來作出(部分)決定或者提出建議[8]。不過,自動化決策系統(tǒng)的處理能力和操作能力獨(dú)立于或者依賴于人工輸入的程度均存在差異,因此決策可以完全或者部分自動化。換言之,自動化過程實(shí)際上是一個水平的連續(xù)體,并非全有或者全無的二元對立概念[9]。目前,各種不同類型的自動化決策系統(tǒng)正在或者即將廣泛用于行政決策中。從自動化程度的角度看,自動化決策系統(tǒng)大致可以分為兩類:一類是基于規(guī)則的專家系統(tǒng)(rule-based expert system),一類是基于機(jī)器學(xué)習(xí)的算法系統(tǒng)(machine learning algorithm)[10]。不過,值得強(qiáng)調(diào)的是,雖然從形式上可以將自動化決策系統(tǒng)分為這兩類,但是二者之間的界限實(shí)際上已經(jīng)越來越模糊,并且在一些具體的應(yīng)用場景中二者可能是相互融合的。

    1.基于規(guī)則的專家系統(tǒng)

    基于規(guī)則的專家系統(tǒng)也稱為“生產(chǎn)系統(tǒng)”或者“專家系統(tǒng)”,是最簡單的人工智能形式。它使用一組規(guī)則來表示知識,這些規(guī)則能從已知的事實(shí)中推導(dǎo)出新的事實(shí)。比如,醫(yī)療領(lǐng)域中通過向患者提問、由計(jì)算機(jī)代替醫(yī)生看病的系統(tǒng),便是典型的基于規(guī)則的專家系統(tǒng)?;谝?guī)則的系統(tǒng)的目標(biāo)是從人類專家那里獲取知識,并將其轉(zhuǎn)換為許多編碼規(guī)則以應(yīng)用于數(shù)據(jù)輸入。在基于規(guī)則的專家系統(tǒng)中,最基本的規(guī)則形式是“if-then規(guī)則”,即如果a,則執(zhí)行x,否則如果b,則執(zhí)行y?;谝?guī)則的專家系統(tǒng)是比較簡單的模型,可以適應(yīng)和應(yīng)用于大規(guī)模的問題,其前提條件是關(guān)于問題領(lǐng)域的知識可以用“if-then規(guī)則”的形式表達(dá)。當(dāng)然,該領(lǐng)域的范圍也不能過于龐大,否則大量的規(guī)則將會降低專家系統(tǒng)的效率[11]。

    2.基于機(jī)器學(xué)習(xí)的算法系統(tǒng)

    與基于規(guī)則的專家系統(tǒng)相比,基于機(jī)器學(xué)習(xí)的算法系統(tǒng)不是基于明確的人工編寫的規(guī)則,而是基于從歷史數(shù)據(jù)中學(xué)習(xí)的規(guī)則。一般認(rèn)為,機(jī)器學(xué)習(xí)是指“程序根據(jù)輸入的信息(即數(shù)據(jù))自動進(jìn)行學(xué)習(xí),從而掌握識別和預(yù)測能力的功能”[12]。機(jī)器學(xué)習(xí)的核心是使用算法來建立量化分析模型,幫助計(jì)算機(jī)模型從數(shù)據(jù)中“學(xué)習(xí)”。它同以人為中心的處理過程不同,它是由計(jì)算機(jī)學(xué)習(xí)和發(fā)現(xiàn)隱藏在數(shù)據(jù)中的模式,而不是由人去直接建立模型。一般而言,機(jī)器學(xué)習(xí)中模型建立和模型管理的概念是指能夠持續(xù)并且重復(fù)開展后續(xù)的決策流程,而不是高度人工參與的常常基于統(tǒng)計(jì)手段的分析。近年來,隨著計(jì)算能力的進(jìn)步,機(jī)器學(xué)習(xí)可以用來自動地實(shí)現(xiàn)針對大數(shù)據(jù)的復(fù)雜數(shù)學(xué)計(jì)算。在理論上,根據(jù)計(jì)算機(jī)的“學(xué)習(xí)模式”,將機(jī)器學(xué)習(xí)算法分為四種類型:有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化(深度)學(xué)習(xí)。目前,比較常見的是有監(jiān)督學(xué)習(xí),即模型訓(xùn)練過程有人工干預(yù),目的是識別哪些輸出是正確的結(jié)果,哪些輸出不是。例如,在歷史數(shù)據(jù)集中,標(biāo)記患有或者未患有特定疾病的患者,運(yùn)用有監(jiān)督學(xué)習(xí)算法的目的是利用這一歷史數(shù)據(jù)信息在新的(未標(biāo)注過)的數(shù)據(jù)庫中預(yù)測哪些患者可能患有此種疾病[13]。

    (二)自動化行政的實(shí)踐場景

    長期以來,政府部門一直尋求將各種技術(shù)工具用于行政活動中。在推進(jìn)國家治理體系和治理能力現(xiàn)代化的背景下,國家出臺了一系列政策文件,要求將大數(shù)據(jù)、人工智能等數(shù)字技術(shù)廣泛運(yùn)用于政府治理中。例如,國務(wù)院于2015年印發(fā)的《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》提出要建立“用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新”的管理機(jī)制;國務(wù)院于2017年印發(fā)的《新一代人工智能發(fā)展規(guī)劃》提出“開發(fā)適于政府服務(wù)與決策的人工智能平臺……在復(fù)雜社會問題研判、政策評估、風(fēng)險預(yù)警、應(yīng)急處置等重大戰(zhàn)略決策方面推廣應(yīng)用”。在此背景下,各級政府部門進(jìn)行了一系列冠以“智慧”的政府治理實(shí)踐探索,比較典型且引發(fā)社會廣泛關(guān)注的有以下幾類實(shí)踐。

    1.交警非現(xiàn)場執(zhí)法

    交警非現(xiàn)場執(zhí)法是自動化決策系統(tǒng)在行政活動中應(yīng)用最早也是最廣的領(lǐng)域。傳統(tǒng)的交警執(zhí)法,主要是由巡邏警察在現(xiàn)場發(fā)現(xiàn)違法行為,通過履行法定程序后作出行政處罰決定,其主要體現(xiàn)為“人海戰(zhàn)術(shù)”“守株待兔”的執(zhí)法特點(diǎn)。在大數(shù)據(jù)、算法、人臉識別等技術(shù)的幫助下,交警執(zhí)法由“現(xiàn)場”轉(zhuǎn)為“非現(xiàn)場”,執(zhí)法人員不需要與違法人員進(jìn)行接觸,就可以通過數(shù)字平臺(設(shè)備)完成違法信息收集、違法事實(shí)固定、違法行為通知、行政決定作出及送達(dá)、當(dāng)事人履行行政決定等一系列行為,可以實(shí)現(xiàn)全天候、24小時不間斷執(zhí)法。當(dāng)前,非現(xiàn)場執(zhí)法已經(jīng)被廣泛運(yùn)用于治理超速、超重、亂停車、闖紅燈、違反限行、不系安全帶等道路交通違法行為中,且應(yīng)用范圍還在不斷擴(kuò)大[14]。總體而言,從目前交警非現(xiàn)場執(zhí)法系統(tǒng)的實(shí)際運(yùn)行情況來看,其主要采用的仍是基于規(guī)則的專家系統(tǒng),尚未達(dá)到機(jī)器學(xué)習(xí)的水平[5]。不過,在智慧警務(wù)建設(shè)背景下,目前有一些地方的公安機(jī)關(guān)也在探索將機(jī)器學(xué)習(xí)算法運(yùn)用到警察執(zhí)法中,部署“預(yù)測性警務(wù)系統(tǒng)”,對違法犯罪活動發(fā)生的地點(diǎn)及參與者進(jìn)行預(yù)測,以便公安機(jī)關(guān)提前介入,避免違法犯罪活動的發(fā)生[15]。

    2.自動化公共信用評價

    在全面推進(jìn)社會信用體系建設(shè)和加快建立“基于信用的新型監(jiān)管機(jī)制”的背景下,自動化決策系統(tǒng)也被應(yīng)用于公共信用評價中。公共信用評價是指行政機(jī)關(guān)、法律法規(guī)授權(quán)的具有管理公共事務(wù)職能的組織根據(jù)信用主體的信用信息,運(yùn)用統(tǒng)計(jì)和其他方法,建立信用評價模型,對信用主體在社會和經(jīng)濟(jì)活動中遵守法定義務(wù)、履行約定義務(wù)的狀態(tài)進(jìn)行評估,并以分?jǐn)?shù)或者等級的形式表現(xiàn)出來的活動[16]。從各個地方公共信用評價的實(shí)踐樣態(tài)看,目前主要是由政府部門委托私營企業(yè)、科研機(jī)構(gòu)開發(fā)或運(yùn)營公共信用評價系統(tǒng),包括個人信用評價系統(tǒng)和企業(yè)信用評價系統(tǒng)。盡管目前很少有政府部門向社會公開公共信用評價系統(tǒng)的相關(guān)信息(如底層邏輯、數(shù)據(jù)參數(shù)、算法系統(tǒng)等),但是我們?nèi)匀豢梢詮呢?fù)責(zé)信用評價系統(tǒng)開發(fā)的私營企業(yè)或者科研機(jī)構(gòu)的專利公告中管窺自動化公共信用評價的技術(shù)原理。例如,蕪湖市的個人社會信用評價系統(tǒng)“樂惠分”,便是由蕪湖市發(fā)改委信用辦聯(lián)合惠國征信服務(wù)股份有限公司開發(fā)的?!皹坊莘帧北澈蟮募夹g(shù)支撐正是該公司所掌握的“基于政務(wù)數(shù)據(jù)和應(yīng)用的個人社會信用評分方法”這一發(fā)明專利。根據(jù)該專利的公告信息,該專利采用了線性回歸和線性規(guī)劃的方法,利用政務(wù)大數(shù)據(jù)作為原始參數(shù)對個人信用狀況建模,通過各維度細(xì)分模型確定相關(guān)數(shù)據(jù)權(quán)重,最終形成個人社會信用評分[17]??傮w而言,在目前的公共信用評價實(shí)踐中,既有基于規(guī)則的專家系統(tǒng),也有基于機(jī)器學(xué)習(xí)的算法系統(tǒng),二者通?;旌线\(yùn)用。

    3.自動化行政審批

    在深化“放管服”改革和持續(xù)優(yōu)化營商環(huán)境的背景下,自動化決策系統(tǒng)也被廣泛應(yīng)用于行政審批中。傳統(tǒng)的行政審批流程大致包括當(dāng)事人現(xiàn)場遞交材料、窗口人員現(xiàn)場審核材料(不予受理或者退補(bǔ)材料)、核準(zhǔn)人員審查、作出決定文書、申請人現(xiàn)場領(lǐng)取文書等,存在“辦事難、辦事慢、多頭跑、來回跑”等問題。為了提高行政效能,降低行政相對人的合規(guī)成本,一些地方政府部門紛紛進(jìn)行“秒批”改革,推動行政許可信息網(wǎng)上公開、行政許可網(wǎng)上政務(wù)平臺建構(gòu)、行政許可網(wǎng)上申請與審查,以及電子證照制度的引入等[18]。在自動化行政審批中,自動化決策系統(tǒng)發(fā)揮了重要作用。以青島市為例,該市自2019年開始運(yùn)行“企業(yè)設(shè)立智能登記系統(tǒng)”,該系統(tǒng)通過創(chuàng)新開發(fā)“地址標(biāo)準(zhǔn)化、經(jīng)營范圍標(biāo)準(zhǔn)化”兩個子系統(tǒng),實(shí)現(xiàn)企業(yè)注冊地址的自動關(guān)聯(lián)和經(jīng)營范圍的菜單式填報(bào),通過改造全程電子化外網(wǎng)智能申報(bào)、內(nèi)網(wǎng)系統(tǒng)智能審核兩個子系統(tǒng),采用電腦根據(jù)業(yè)務(wù)規(guī)則自動判斷審批的方式,推動行政審批由人工審批轉(zhuǎn)向電腦智能審批,實(shí)現(xiàn)企業(yè)設(shè)立登記“零跑腿、零見面和零人工干預(yù)”[19]。總體而言,目前在自動化行政審批實(shí)踐中,主要采用的仍然是基于規(guī)則的專家系統(tǒng)。

    綜上所述,政府部門目前主要依靠預(yù)先編程的基于規(guī)則的自動化決策系統(tǒng),因?yàn)橥耆白灾鞯摹弊詣踊瘺Q策系統(tǒng)的成本仍然比較高,并且在技術(shù)方面尚待進(jìn)一步完善。然而,隨著技術(shù)的不斷發(fā)展和迭代,我們可以預(yù)期機(jī)器學(xué)習(xí)算法(或從數(shù)據(jù)模式中學(xué)習(xí)的算法)將用于政府部門做出更多的定性評估、建議和指導(dǎo),甚至可能是評估性行政決定。

    三、自動化行政對行政程序提出的挑戰(zhàn)

    從控權(quán)論的角度看,行政法的主要功能是管理由代表行政機(jī)關(guān)的公務(wù)員作出的行政決定。隨著時間的推移,行政法已經(jīng)形成一個龐大的原則及制度庫,其中許多原則及制度在不同的司法管轄區(qū)獲得認(rèn)可,以管理行政決定的出臺過程。如今,先進(jìn)的自動化決策系統(tǒng)有望補(bǔ)充甚至取代以人為中心的決策,這就提出了它們與既定公法原則及制度的兼容性問題。如前所述,自動化行政在很大程度上是行政程序的部分或者完全自動化,因此,自動化行政首先便對既定行政程序原則及規(guī)則提出了挑戰(zhàn),甚至可能影響公民程序性基本權(quán)利的保障。

    (一)行政程序在傳統(tǒng)行政法中的經(jīng)典界定

    在行政法學(xué)理論中,從程序機(jī)制所架構(gòu)的政府與公眾之間的互動關(guān)系,以及程序規(guī)范所觸及的政府決策形式與層次的功能性觀點(diǎn)出發(fā),至少可以將與行政程序法有關(guān)的程序要素的規(guī)定歸納為以下三大取向:透明化、參與化與論辯化。其中,透明化取向的規(guī)定是一切程序規(guī)定的基礎(chǔ),沒有透明化作為基礎(chǔ),參與化的規(guī)定恐怕就無法發(fā)揮功能,更不用說論辯化。同樣,參與化的規(guī)定也是論辯化的基礎(chǔ),如果沒有達(dá)到某種程度的參與,就很難進(jìn)行實(shí)質(zhì)意義上的論辯[20]。這三種程序取向之間具有明顯的層次性,不僅對行政機(jī)關(guān)遵守行政程序規(guī)定有幫助,而且也有助于司法系統(tǒng)審查程序是否正當(dāng)。

    1.行政程序的透明化取向

    一般認(rèn)為,具有透明化取向的程序機(jī)制主要有以下兩項(xiàng):(1)信息公開(卷宗閱覽)。行政信息是行政機(jī)關(guān)在行使職權(quán)過程中所形成的各種“記錄”。信息公開要求行政機(jī)關(guān)根據(jù)職權(quán)或者行政相對人請求,將行政信息向行政相對人或者社會公開展示,并允許查閱、摘抄和復(fù)制。信息公開的重要功能在于彰顯行政決定的基礎(chǔ)結(jié)構(gòu),使公民得以預(yù)先規(guī)劃其未來與政府互動的行事準(zhǔn)則。(2)告知/通知。告知程序是以通知或者公告等形式,將程序之開始及過程讓程序當(dāng)事人知悉,目的是使受告知者能夠從容思考準(zhǔn)備,知悉其義務(wù)之內(nèi)容及法律效果,避免突襲進(jìn)而符合可預(yù)測性的依法行政原則。

    2.行政程序的參與化取向

    一般認(rèn)為,具有參與化取向的程序機(jī)制主要有以下兩項(xiàng):(1)陳述意見。陳述意見程序的主要功能在于保障公民權(quán)利,兼顧行政效率與強(qiáng)化公民對政府的信任,因此,對于陳述意見的程序要求主要呈現(xiàn)為高度任意性或者非要式性,換言之,不論言詞陳述還是書面陳述均可。(2)公告與評論。公告與評論程序在許多國家的行政程序法中均有規(guī)定,它要求行政機(jī)關(guān)必須將草擬的行政規(guī)定通過法定形式進(jìn)行公告,內(nèi)容包括規(guī)定擬定的方式、時間、地點(diǎn)、授權(quán)依據(jù)和有關(guān)規(guī)定的要點(diǎn)及爭議。公告之后緊接著是評論程序,行政機(jī)關(guān)必須給予利害關(guān)系人參與行政規(guī)定制定程序的機(jī)會,參與方式主要以書面形式提出資料、觀點(diǎn)或者意見。

    3.行政程序的論辯化取向

    一般認(rèn)為,具有論辯化取向的程序機(jī)制主要有以下兩項(xiàng):(1)聽證。聽證是行政法中非常重要的一項(xiàng)程序機(jī)制,它具有嚴(yán)格性、要式性和準(zhǔn)司法性等特征。一般對于聽證程序的觸動事由、時間、參與者、程序進(jìn)行方式、當(dāng)事人的權(quán)利及其效果等內(nèi)容均有較為細(xì)致的程序設(shè)計(jì)要求,這也使得行政程序法具備“提前司法救濟(jì)”的功能。(2)說明理由。說明理由要求行政機(jī)關(guān)在作出對行政相對人合法利益產(chǎn)生不利影響的行政行為時,除法律有特別規(guī)定外,必須向行政相對人說明該行政行為的事實(shí)依據(jù)、法律依據(jù)以及進(jìn)行自由裁量時所考慮的政策、公益等因素[21]2422。

    (二)行政程序在自動化行政中的現(xiàn)實(shí)困境

    不可否認(rèn)的是,自動化決策系統(tǒng)在公共行政中的應(yīng)用確實(shí)可以提高政府決策的一致性、準(zhǔn)確性、成本效益和及時性,這也是自動化行政得以廣泛擴(kuò)張的重要原因。正如德國學(xué)者盧曼所言:“自動化將改變系統(tǒng)中可以捕捉到的復(fù)雜性的潛力,并徹底改變解決復(fù)雜性的方式。”[22]但與此同時,自動化行政也可能對行政程序的基本要素構(gòu)成挑戰(zhàn),削弱行政程序在保護(hù)公民合法權(quán)益和控制行政權(quán)力行使方面的的作用。

    1.自動化行政對信息公開程序提出挑戰(zhàn)

    就政府信息公開而言,有兩個因素至關(guān)重要:一是信息公開的前提。一般認(rèn)為,政府信息具有公物屬性,政府只是暫時的“持有者”或者“保管者”,社會公眾才是信息的“所有權(quán)者”,這是政府信息公開的重要法理基礎(chǔ)[23]114。二是信息公開的質(zhì)量。一般認(rèn)為,政府信息應(yīng)當(dāng)通過便捷、經(jīng)濟(jì)的途徑以可理解的方式公開。然而,在自動化行政中,自動化決策系統(tǒng)的應(yīng)用可能破壞上述兩個因素的基礎(chǔ):一方面,行政活動中使用的自動化決策系統(tǒng)大多由政府部門委托私營企業(yè)或者科研機(jī)構(gòu)研發(fā)或者運(yùn)營,而這些技術(shù)供應(yīng)商通常以“商業(yè)秘密”為由拒絕向行政相對人或者社會公眾披露有關(guān)自動化決策系統(tǒng)的信息,尤其是理論界極力倡導(dǎo)的“源代碼公開”[24];另一方面,在自動化行政中,應(yīng)當(dāng)公開的信息內(nèi)容已經(jīng)轉(zhuǎn)變?yōu)樽詣踊瘺Q策系統(tǒng)相關(guān)的技術(shù)參數(shù)、底層邏輯、代碼規(guī)則等信息,即使這些信息能夠完全公開,非專業(yè)的行政相對人或者社會公眾也難以真正理解這些信息的確切意涵,造成所謂的“無知的不透明”[25]。

    2.自動化行政對告知程序提出挑戰(zhàn)

    告知程序的充分性取決于它能否讓受影響的個人了解將要決定的問題,支持政府立場的證據(jù),以及機(jī)構(gòu)的決策過程。在自動化行政中,自動化決策系統(tǒng)從以下兩個方面對告知程序提出挑戰(zhàn):一方面,一些自動化系統(tǒng)在技術(shù)設(shè)計(jì)之時便沒有考慮告知程序的基本要求。例如,在公共信用評價中,一些個人被評價為“嚴(yán)重失信人”,并被列入各類“黑名單”,但是卻并未收到關(guān)于信用評價決定的通知;在交警非現(xiàn)場執(zhí)法中,一些監(jiān)控設(shè)備并未匹配有效的告知程序,導(dǎo)致個人在同一地點(diǎn)連續(xù)受到行政處罰卻并未收到任何通知,“杜寶良案”便是典型例子(1)在北京賣菜的安徽來京司機(jī)杜寶良,在每天必經(jīng)的北京市西城區(qū)真武廟頭條西口被“電子眼”拍下闖禁行105次,被罰款10500元。此前,從未有交管部門告知他有違法行為。。另一方面,即使自動化決策系統(tǒng)提供了告知程序,告知的內(nèi)容也是不充分的。無論是基于規(guī)則的專家系統(tǒng)還是基于機(jī)器學(xué)習(xí)的算法系統(tǒng),其所生成的決策結(jié)果不僅伴隨著規(guī)則轉(zhuǎn)化為代碼的過程,還包含復(fù)雜的數(shù)據(jù)分析和程序運(yùn)算,這些過程很難被充分且有效地體現(xiàn)在告知內(nèi)容上。

    3.自動化行政對陳述意見程序提出挑戰(zhàn)

    在行政法理論中,禁止過度形式主義原則要求行政程序保持適度的靈活性,行政機(jī)關(guān)在作出行政決定時應(yīng)當(dāng)充分考慮個案的特殊情況,而陳述意見程序正是行政相對人表達(dá)自身特殊性的重要保證。在自動化行政中,自動化決策系統(tǒng)所依據(jù)的規(guī)則、參數(shù)、運(yùn)算邏輯等均由技術(shù)人員事先進(jìn)行了嚴(yán)格的確定性預(yù)設(shè),這種“模式化或者標(biāo)準(zhǔn)化”將不可避免地忽視個案的特殊性,鉗制行政相對人的意見表達(dá)。正如美國學(xué)者卡里·科里安尼斯(Cary Coglianese)等所指出的,“與當(dāng)今數(shù)字時代的其他計(jì)算策略一樣,機(jī)器學(xué)習(xí)可以快速且自動地支持算法產(chǎn)生結(jié)果,以縮短或越過人類的審議和決策”[26]。事實(shí)上,法律決定不應(yīng)當(dāng)主要基于統(tǒng)一的特征,而應(yīng)當(dāng)基于那些使案件具有獨(dú)特性的特殊特征,只有這樣的個體化才能最終表明有關(guān)的法律后果在多大程度上是合理的。自動化行政可能通過算法強(qiáng)化形式主義傾向,破壞陳述意見程序,最終可能導(dǎo)致“非個人化”,將個人排除在“循環(huán)”之外,從而破壞法律理念的核心,即在個案中尋求正義。

    4.自動化行政對公告與評論程序提出挑戰(zhàn)

    公告與評論是美國《行政程序法》中一項(xiàng)非常重要的程序,在我國行政領(lǐng)域主要體現(xiàn)為行政立法“公開征求意見”與社會公眾“提出意見或者建議”。行政機(jī)關(guān)在制定旨在實(shí)施、解釋或者規(guī)定法律或者政策的普遍適用性規(guī)則時,通常需要向社會公開征求意見,并且說明制定或者修訂規(guī)則的主要理由及考慮因素;利害關(guān)系人或者其他社會公眾針對行政機(jī)關(guān)公布的“征求意見稿”,可以書面提出自己的觀點(diǎn)和建議。在自動化行政中,法律或者政策要求在被轉(zhuǎn)化為技術(shù)代碼時,本身就涉及對法律或者政策的解釋與執(zhí)行,由此形成的指引自動化決策系統(tǒng)的新規(guī)則理應(yīng)屬于“公告與評論”的對象。然而,通過代碼制定“新規(guī)則”卻難以滿足公告與評論程序的要求:一方面,由私人供應(yīng)商開發(fā)的自動化決策系統(tǒng),源代碼都是專有的和封閉的,公眾沒有機(jī)會審查嵌入源代碼的新規(guī)則;另一方面,在沒有公告規(guī)則變化的情況下,公眾缺乏應(yīng)對這種變化所需的信息,無法對其看不到的規(guī)則提供反饋[27]。

    5.自動化行政對聽證程序提出挑戰(zhàn)

    聽證程序源于“對當(dāng)事人不利的決定必須聽取他的意見”這一自然正義原則,目前已經(jīng)成為各國行政程序法一項(xiàng)共同的程序機(jī)制。廣義上的“聽證程序”包括上文論及的“陳述意見”,泛指“聽取利害關(guān)系人意見的程序”,而狹義上的聽證特指行政機(jī)關(guān)以“聽證會”的形式聽取當(dāng)事人意見的程序[21]2443。本文此處論及的聽證程序主要指狹義上的聽證。在實(shí)踐中,聽證程序并非適用于所有的行政決定,其本質(zhì)上是一個利益衡量的結(jié)果。例如,美國聯(lián)邦最高法院在Mathews v. Eldridge案中指出,是否實(shí)施聽證程序,需要權(quán)衡個人利益的價值、額外程序的成本、政府主張的利益等因素(2)Mathews v. Eldridge, 424 U.S. 319 (U.S.Va. 1976).;根據(jù)我國《行政處罰法》第63條的規(guī)定,聽證程序主要適用于比較重大的行政處罰決定。在自動化行政中,聽證程序可能主要涉及由技術(shù)專家來破譯和解釋代碼及其運(yùn)行,而這可能改變現(xiàn)有的利益衡量格局。一方面,行政機(jī)關(guān)可能認(rèn)為,上述專家證詞的成本可能超過所涉及的個人利益和決策錯誤的風(fēng)險,因而對此類聽證要求采取消極態(tài)度;另一方面,現(xiàn)有聽證程序中所涉及的利益衡量具有明顯的個案特征,其可能會忽視自動化決策系統(tǒng)中“一次性技術(shù)修復(fù)”所帶來的“類案效應(yīng)”,進(jìn)而夸大引入聽證程序的成本[27]。

    6.自動化行政對說明理由程序提出挑戰(zhàn)

    說明理由不僅是一項(xiàng)重要的程序機(jī)制,亦是法治的基本要求,法治不僅是規(guī)則之治,其本質(zhì)更是理由之治。對于行政機(jī)關(guān)而言,理由是對武斷決定的一種制約;對于行政相對人而言,理由能使其了解是否可以對該決定提出異議,如果可以,根據(jù)是什么,即使決定是不利的,行政相對人也可能被理由所說服,接受該決定是對裁量權(quán)的合理且無偏見的行使。說明理由的一個重要功能還在于揭示行為事實(shí)、法律規(guī)定等因素與行政決定結(jié)果之間的因果關(guān)系。然而,在自動化行政中,自動化決策系統(tǒng)可能對說明理由造成破壞:一方面,隨著機(jī)器學(xué)習(xí)算法的廣泛運(yùn)用,自動化決策結(jié)果通常不依賴于人類事先指定每個變量如何被記入預(yù)測的規(guī)則;另一方面,自動化決策系統(tǒng)的“黑箱”性質(zhì),其分析結(jié)果不是直觀上可以解釋的,也不能支持傳統(tǒng)上為政府行為提供理由的那種因果解釋,因?yàn)橄嚓P(guān)性是其核心邏輯[26]。

    四、自動化行政的現(xiàn)有控制路徑:權(quán)利程序化和程序數(shù)字化

    針對行政程序在自動化行政中面臨的挑戰(zhàn),理論界和實(shí)務(wù)界均進(jìn)行了積極探索,提出了不同的解決方案,其中,最具代表性的有以下兩種方法:一種是通過個人數(shù)據(jù)權(quán)利的程序化,以數(shù)據(jù)權(quán)利來制約自動化行政;另一種是通過行政程序的數(shù)字化,對行政程序本身進(jìn)行數(shù)字化轉(zhuǎn)型來制約自動化行政。

    (一)數(shù)據(jù)權(quán)利的程序化:以數(shù)據(jù)權(quán)利制約自動化行政

    數(shù)字信息被稱為是現(xiàn)代技術(shù)的“基因代碼”,眾多新興技術(shù)的發(fā)展都有賴于數(shù)字信息的使用,其中也包括個人數(shù)據(jù)。因此,個人數(shù)據(jù)保護(hù)權(quán)在數(shù)字時代也越發(fā)受到重視。在我國,關(guān)于個人數(shù)據(jù)保護(hù)權(quán)的權(quán)利性質(zhì),理論上還存有爭議,有一般民事權(quán)利路徑,也有基本權(quán)利主張,而《民法典》和《個人信息保護(hù)法》也未對這一問題作出明確回應(yīng)。盡管如此,理論界對將個人數(shù)據(jù)保護(hù)權(quán)作為一項(xiàng)受法律保護(hù)的權(quán)利基本上已經(jīng)達(dá)成共識。在歐盟,個人數(shù)據(jù)保護(hù)權(quán)作為一項(xiàng)基本權(quán)利出現(xiàn)在《歐盟基本權(quán)利憲章》第8條,并且歐盟《一般數(shù)據(jù)保護(hù)條例》第1條也對個人數(shù)據(jù)保護(hù)權(quán)的基本權(quán)利地位進(jìn)行了確認(rèn)[28]。從長遠(yuǎn)來看,隨著社會的數(shù)字化轉(zhuǎn)型不斷推進(jìn),個人數(shù)據(jù)對個人身份、生存將變得越來越重要,因此,賦予個人數(shù)據(jù)保護(hù)權(quán)的基本權(quán)利地位或許將成為一種必然趨勢。

    在自動化行政中,數(shù)據(jù)處理是自動化決策系統(tǒng)的核心,在很多情況下,主要體現(xiàn)為個人數(shù)據(jù)處理。因此,從功能主義的角度看,個人數(shù)據(jù)保護(hù)權(quán)也成為制約自動化行政的一種工具。在我國《個人信息保護(hù)法》和歐盟《一般數(shù)據(jù)保護(hù)條例》中,個人數(shù)據(jù)保護(hù)權(quán)及其附屬權(quán)利也是適用于私營部門和公共部門的,不過,與其他諸如平等權(quán)、生存權(quán)、教育權(quán)等基本權(quán)利相比,個人數(shù)據(jù)保護(hù)權(quán)卻具有明顯的程序?qū)傩訹29]。個人數(shù)據(jù)保護(hù)權(quán)中的程序主義傾向源于基本權(quán)利本身所具有的程序要求。在理論上,一般認(rèn)為,每項(xiàng)基本權(quán)利都包括程序內(nèi)容,在實(shí)踐時皆有“程序保障”的需求,這是基本權(quán)利功能的客觀面向[23]101。不過,在個人數(shù)據(jù)保護(hù)權(quán)中,這種程序性要求更為明顯和突出,已經(jīng)從客觀面向轉(zhuǎn)為主觀公權(quán)利面向,如有關(guān)透明度、可獲得性和比例性等要求,已經(jīng)成為協(xié)調(diào)不同利益及權(quán)利不可或缺的條件和方法。我國《個人信息保護(hù)法》和歐盟《一般數(shù)據(jù)保護(hù)條例》均將“告知-同意”作為合法處理個人數(shù)據(jù)的首要條件,同時賦予個人數(shù)據(jù)主體知情權(quán)、決定權(quán)、查閱權(quán)、復(fù)制權(quán)、更正權(quán)、刪除權(quán)等附屬權(quán)利。這些權(quán)利與上文論及的行政程序基本要素極為相似,可以概括為是個人數(shù)據(jù)權(quán)利的程序化[30],通過發(fā)揮基本權(quán)利的防御功能,可以對自動化行政進(jìn)行規(guī)范。

    (二)行政程序的數(shù)字化:以程序變革制約自動化行政

    長期以來,行政法理論主要強(qiáng)調(diào)司法審查對行政決定結(jié)果的控制,而忽視行政程序在確保行政決定的合法性和正確性方面的關(guān)鍵作用。隨著行政法理論與實(shí)踐的發(fā)展,人們逐漸意識到行政程序本身不能成為目的,其內(nèi)在價值可以來自于實(shí)質(zhì)性決策的改進(jìn)(工具性功能),但也可以獨(dú)立于結(jié)果。來自于決策外部的功能,在一定程度上是非工具性的,比如通過行政程序中的主體地位來強(qiáng)調(diào)人的尊嚴(yán),通過擴(kuò)展的參與權(quán)來加強(qiáng)公民的公共精神以及對公共事務(wù)的共同責(zé)任意識。因此,程序正義和程序控制也逐漸受到行政法理論與實(shí)踐的重視。王萬華指出,“行政程序作為來自外部的、規(guī)范行政權(quán)行使過程的規(guī)范機(jī)制,具有防止行政權(quán)濫用的消極控權(quán)功能和助推行政權(quán)積極行使的公共意志形成功能,中國未來的法治政府建設(shè)重心應(yīng)當(dāng)轉(zhuǎn)向行政程序機(jī)制的完善”[31]。在自動化行政中,通過行政程序來控制自動化決策系統(tǒng)的應(yīng)用也受到理論和實(shí)踐的重視。

    在理論上,最具代表性的解決思路是“技術(shù)性正當(dāng)程序”或者“程序性數(shù)據(jù)正當(dāng)程序”的提出,即通過行政程序的數(shù)字化轉(zhuǎn)型,以此來應(yīng)對自動化行政提出的程序挑戰(zhàn)?!凹夹g(shù)性正當(dāng)程序”這一概念最早是由美國學(xué)者丹尼爾·西特倫(Danielle Citron)于2008年提出的。西特倫認(rèn)為,為了使正當(dāng)程序的應(yīng)用更好地適應(yīng)自動化決策系統(tǒng),需要進(jìn)行幾項(xiàng)變革:首先,與其對每個自動化決策系統(tǒng)進(jìn)行交叉檢查,不如對使用這些系統(tǒng)作出行政決定的政府人員進(jìn)行關(guān)于自動化偏見和謬誤的額外教育,這可以幫助他們更公平地審查輸出結(jié)果;其次,行政機(jī)關(guān)應(yīng)當(dāng)詳細(xì)解釋在作出行政決定的過程中對自動化決策系統(tǒng)的依賴程度,包括任何計(jì)算機(jī)生成的事實(shí)或者法律結(jié)論;最后,行政機(jī)關(guān)應(yīng)當(dāng)定期測試其使用的自動化決策系統(tǒng)是否存在偏見和其他錯誤[27]。受到西特倫的啟發(fā),美國學(xué)者凱特·克勞福德(Kate Crawford)等提出了“程序性數(shù)據(jù)正當(dāng)程序”,其核心是對既有正當(dāng)程序要素的內(nèi)容進(jìn)行變革:首先是告知,要求應(yīng)當(dāng)向受自動化決策系統(tǒng)影響的人披露自動化決策系統(tǒng)的類型、輸入數(shù)據(jù)的來源等信息;其次是聽證的機(jī)會,應(yīng)當(dāng)由中立的數(shù)據(jù)裁決者對自動化決策系統(tǒng)的數(shù)據(jù)輸入、算法邏輯等進(jìn)行例行審查;最后是公正裁決者與司法審查,應(yīng)當(dāng)由中立的數(shù)據(jù)裁決者處理投訴,并調(diào)查可能導(dǎo)致決定不公的各類指控[32]。受國外學(xué)者的啟發(fā),劉東亮也對技術(shù)性正當(dāng)程序進(jìn)行了闡述,認(rèn)為原有的正當(dāng)程序要素可以通過新的要求繼續(xù)在自動化決策系統(tǒng)中適用,具體包括排除偏見(即算法的公開、透明和一致性)、說明理由(即算法的可解釋性)、聽取意見(即允許質(zhì)疑、事后聽證、專業(yè)審計(jì)等)[5]。

    實(shí)踐中,一些國家(地區(qū))新近出臺的有關(guān)自動化行政的立法或者政策也深受理論發(fā)展的影響,體現(xiàn)了通過行政程序數(shù)字化來控制自動化行政的思路。例如,加拿大于2019年制定了《自動化決策指令》(DirectiveonAutomatedDecision-Making),目的是要求政府在使用自動化決策系統(tǒng)時貫徹核心的行政法原則(如透明度、問責(zé)制、合法性和和程序公正性),以確保依法作出更有效、準(zhǔn)確、一致和可解釋的行政決定。該指令重點(diǎn)對算法影響評估、透明度(主要包括在作出決定前提供通知、在作出決定后提供解釋、獲取組件、發(fā)布源代碼、記錄決定等內(nèi)容)、質(zhì)量保證(主要包括測試與監(jiān)測結(jié)果、數(shù)據(jù)質(zhì)量、同行審查、員工培訓(xùn)、安全問題、確保人工干預(yù)等)等內(nèi)容進(jìn)行了規(guī)定。新西蘭于2020年制定了《算法憲章》(AlgorithmCharterforAotearoaNewZealand),該憲章一方面肯定了算法在公共行政中的價值,另一方面要求政府機(jī)構(gòu)在使用算法系統(tǒng)時作出以下幾個方面的承諾:(1)透明度,具體包括用通俗易懂的語言編寫算法文件,提供有關(guān)數(shù)據(jù)和程序的信息等;(2)合作關(guān)系,應(yīng)當(dāng)在算法的開發(fā)和使用中嵌入少數(shù)族群的觀點(diǎn);(3)以人為本,與受算法決策影響的個人、群體進(jìn)行協(xié)商;(4)數(shù)據(jù),應(yīng)當(dāng)確保數(shù)據(jù)符合目的;(5)通過同行審查確保隱私、倫理保障;(6)保留人為干預(yù),負(fù)責(zé)對算法決策信息的查詢、投訴與解釋。

    五、超越現(xiàn)有控制路徑:以自動化分級來配置行政程序要素

    無論是數(shù)據(jù)權(quán)利的程序化還是行政程序的數(shù)字化,基本上都是從普遍適用性的角度出發(fā),對自動化行政應(yīng)當(dāng)遵守的權(quán)利保護(hù)或者程序保障進(jìn)行整體設(shè)計(jì)。不過,這種一般性的解決方案在具體執(zhí)行時仍然存在諸多不確定性,原因在于:一方面,人類與自動化決策系統(tǒng)在自動化行政中的互動可以采取非常不同的形式,自動化決策系統(tǒng)可以接管很大一部分行政行為,也可以僅僅用來生成信息,為了對自動化行政的程序保障進(jìn)行合法評估,需要進(jìn)一步區(qū)分人類和自動化決策系統(tǒng)在行政過程中的互動范圍。另一方面,行政程序(正當(dāng)程序)本身并不是一個固定公式,不同程序要素所需的密度取決于個別案件的情況,并通過權(quán)衡所有的情況和利害關(guān)系來確定。正如美國聯(lián)邦最高法院在Morrissey v. Brewer案中所指出的,“正當(dāng)程序是靈活的,需要根據(jù)具體情況來確定所要求的程序保護(hù),但這并不意味著法官可以將其適用于任何關(guān)系;一旦確定應(yīng)采取某種程序,它的靈活性就在它的范圍之內(nèi),必須有一種基本認(rèn)識,即并非所有需要程序保障的情形都需要同樣的程序”(3)Morrissey v. Brewer, 408 U.S. 471 (U.S.Iowa, 1972).。職是之故,本文在上述兩種控制路徑的基礎(chǔ)上,從更為實(shí)用的角度出發(fā),提出第三種控制思路,即對行政決定的自動化程度進(jìn)行分級,根據(jù)不同的等級匹配相應(yīng)的程序要素,既回應(yīng)行政程序的現(xiàn)實(shí)困境,也發(fā)揮自動化行政的優(yōu)勢。

    (一)自動化行政的分級構(gòu)造

    表1 自動化行政的分級構(gòu)造

    如前所述,關(guān)于自動化行政中自動化決策系統(tǒng)的類型,大致可以分為基于規(guī)則的專家系統(tǒng)和基于機(jī)器學(xué)習(xí)的算法系統(tǒng)。不過,對于自動化行政的分級,目前理論界與實(shí)務(wù)界有不同的主張。理論上,馬顏昕以自動駕駛領(lǐng)域的分級標(biāo)準(zhǔn)為參考,認(rèn)為根據(jù)人類與人工智能系統(tǒng)的分工、適用的不同場景這兩個標(biāo)準(zhǔn),可以將自動化行政分為五級:零級(無自動化行政)、一級(自動化輔助行政)、二級(部分自動化行政)、三級(無裁量能力的完全自動化行政)和四級(有裁量能力的完全自動化行政)[3]。德國學(xué)者阿里安·伯杰(Ariane Berger)根據(jù)行政決定的自動化潛力(automationspotenzial)將其分為以下幾類:一是具有復(fù)雜事實(shí)的行政決定,二是具有復(fù)雜決策標(biāo)準(zhǔn)的行政決定,三是具有較多實(shí)質(zhì)內(nèi)容的行政決定,四是具有較少實(shí)質(zhì)內(nèi)容的行政決定[33]。

    實(shí)踐中,上文論及的加拿大《自動化決策指令》根據(jù)自動化行政決定對個人、群體或者社會的影響,將自動化行政分為四級:Ⅰ級(行政決定通常會導(dǎo)致可逆轉(zhuǎn)的、短暫的影響)、Ⅱ級(行政決定通常會導(dǎo)致可能是可逆轉(zhuǎn)和短期的影響)、Ⅲ級(行政決定通常會導(dǎo)致難以逆轉(zhuǎn)并且是持續(xù)的影響)和Ⅳ級(行政決定通常會導(dǎo)致不可逆轉(zhuǎn)并且是永久性的影響)。結(jié)合已有的理論與實(shí)踐經(jīng)驗(yàn),本文主要以自動化行政中人類與自動化決策系統(tǒng)的互動范圍作為標(biāo)準(zhǔn),對自動化行政的自動化程度進(jìn)行劃分,即在行政活動中行政決定的哪一部分被分配給人類或者自動化決策系統(tǒng),如表1所示[34]。

    (二)自動化行政的程序要素配置

    如前所述,行政程序(正當(dāng)程序)本身并非一個僵化的、一刀切的萬能公式,其本身具有極強(qiáng)的靈活性。對于“何種程度的程序設(shè)計(jì)才是正當(dāng)?shù)摹边@一問題,理論上一直存有爭議,即使是在正當(dāng)程序理論與實(shí)踐均比較豐富的美國亦是如此。為了回應(yīng)社會問題,理論界與實(shí)務(wù)界提出了一些解決方案。實(shí)踐中,美國聯(lián)邦最高法院在Mathews v. Eldridge案中提出了著名的“馬修斯平衡測試”,即在確定正當(dāng)程序的“具體要求”時必須考慮三個要素:(1)將受到官方行為影響的私人利益;(2)通過所使用的程序錯誤地剝奪這種利益的風(fēng)險,以及額外的或者替代的程序性保障措施的可能價值;(3)政府的利益,包括所涉及的職能以及額外的或者替代的程序性要求帶來的財(cái)政和行政負(fù)擔(dān)(4)Mathews v. Eldridge, 424 U.S. 319 (U.S.Va. 1976).。在理論上,美國學(xué)者馬丁·瑞斯(Martin H. Redish)等主張采取一種以價值為導(dǎo)向的正當(dāng)程序觀念,并提出正當(dāng)程序應(yīng)當(dāng)具備七項(xiàng)恒久價值:(1)準(zhǔn)確性;(2)公平的表象;(3)平等性;(4)可預(yù)測性、透明度和合理性;(5)參與;(6)披露;(7)隱私與尊嚴(yán)。在瑞斯等看來,一個靈活的正當(dāng)程序模式更多的是建立在價值的基礎(chǔ)之上,而不是建立在具體程序的基礎(chǔ)之上,這樣才更有可能經(jīng)久不衰[35]。

    結(jié)合上述理論與實(shí)踐經(jīng)驗(yàn),筆者認(rèn)為,在自動化行政中,行政程序(正當(dāng)程序)的程序設(shè)計(jì)應(yīng)當(dāng)以行政決定的自動化程度為基礎(chǔ),將一些體現(xiàn)或者有助于實(shí)現(xiàn)恒久價值的程序要素作為強(qiáng)制性最低要求,同時引入類似于“馬修斯平衡測試”的機(jī)制,將一些程序要素作為可變要求。換言之,并非對所有領(lǐng)域和場景中的自動化行政要求統(tǒng)一的程序要素。

    第一,最低程序要求。為了確保能夠公平、準(zhǔn)確地作出行政決定,自動化行政必須在程序設(shè)計(jì)過程中具有最低程度的靈活性,要為人為干預(yù)提供保障[34]。在理論上,作為對機(jī)器學(xué)習(xí)工具超越甚至消滅人類能動性的回應(yīng),學(xué)者們提出了一種新型的權(quán)利,即所謂的人為決定權(quán)(right to a human decision)[36]。這樣一種主張也被一些國家(地區(qū))的立法所采納,并不同程度地體現(xiàn)在法律條文中。歐盟《一般數(shù)據(jù)保護(hù)條例》第22條第1款規(guī)定:“若自動化決策(包括數(shù)據(jù)畫像)會對數(shù)據(jù)主體產(chǎn)生法律效力或?qū)ζ湓斐深愃频闹卮笥绊?,?shù)據(jù)主體有權(quán)不受上述決策的限制”,這一權(quán)利同時適用于私人和公共實(shí)體,創(chuàng)造了一種普遍適用于自動化決策的選擇退出機(jī)制(opt-out)。我國《個人信息保護(hù)法》第24條第3款借鑒了歐盟的立法經(jīng)驗(yàn),也做出類似的規(guī)定,不過其適用對象主要是利用個人信息進(jìn)行自動化決策的商業(yè)主體。筆者認(rèn)為,在設(shè)計(jì)自動化行政程序時,必須為不可預(yù)見的情況留有余地,需要考慮行政機(jī)關(guān)與行政相對人之間必要的互動。在大規(guī)模行政管理領(lǐng)域,其中的程序設(shè)計(jì)通常過度的形式化和標(biāo)準(zhǔn)化,即便如此,在進(jìn)行程序設(shè)計(jì)時也應(yīng)當(dāng)滿足上述要求。如果不能滿足這些要求,那么在部署某種自動化決策系統(tǒng)時,就必須降低其自動化程度,以便能夠保證通過人為干預(yù),使行政程序能夠必要地適應(yīng)個別案件。對于政府部門而言,可以從理念、技術(shù)和規(guī)則三個維度確保自動化行政中的人為干預(yù)機(jī)制:在理念上,行政機(jī)關(guān)及其工作人員應(yīng)當(dāng)堅(jiān)持組織架構(gòu)扁平化和以用戶為中心;在技術(shù)上,需要在自動化決策系統(tǒng)設(shè)計(jì)之初就為人為干預(yù)保留通道;在規(guī)則上,要確立人為干預(yù)的優(yōu)先效力及配套制度,并確保司法權(quán)的終局性介入[37]。

    第二,可變程序要求。除靈活性和人為干預(yù)是自動化行政必須具備的最低程序要求外,還有一些程序要素或者機(jī)制是可變的,本文主要以告知、陳述意見、信息公開、說明理由這四個程序要素來進(jìn)行具體說明。首先,如果在自動化行政中行政相對人自己申請行政決定或者能夠預(yù)見到行政決定的做出,則可以在一定程度上免除事先告知的要求。在這種情況下,事后提供有關(guān)使用自動化決策系統(tǒng)的信息就可以滿足告知要求。其次,根據(jù)事實(shí)的復(fù)雜性和爭議性、程序當(dāng)事人受影響程度、法律適用問題的復(fù)雜性和爭議性以及行政機(jī)關(guān)的自由裁量范圍,可以確定是否將陳述意見和信息公開程序推遲到行政決定做出以后,即異議或者申訴程序。最后,在自動化行政中,說明理由所需的密度可以取決于個別案件的情況,并通過權(quán)衡所有情況和利害關(guān)系來確定。行政機(jī)關(guān)不必詳細(xì)處理所有當(dāng)事方的意見,也不必駁斥每個觀點(diǎn)。如果行政機(jī)關(guān)的理由說明能夠涵蓋對行政決定至關(guān)重要的所有論據(jù),那就足夠了。這包括對行政決定所依據(jù)的事實(shí)和法律評估。如果一項(xiàng)行政決定對當(dāng)事人的權(quán)利義務(wù)有重大影響,如果要評估復(fù)雜或者極具爭議性的法律或者事實(shí)問題,如果行政機(jī)關(guān)擁有很大的自由裁量權(quán),或者在適用法律時偏離一貫的做法,那么,理由說明就必須特別詳細(xì)[34]。

    六、結(jié)語

    盡管當(dāng)前政府部門對自動化決策系統(tǒng)的使用尚處于早期發(fā)展階段,并且主要集中于基于規(guī)則的專家系統(tǒng),但從長遠(yuǎn)來看,更多技術(shù)先進(jìn)且復(fù)雜的自動化決策系統(tǒng)(如基于機(jī)器學(xué)習(xí)的算法系統(tǒng))廣泛融入公共行政或?qū)⒊蔀橐环N必然趨勢。當(dāng)我們在熱情贊揚(yáng)自動化決策系統(tǒng)為公共行政帶來的高效、便捷、一致性等優(yōu)勢時,也應(yīng)當(dāng)就自動化決策系統(tǒng)對行政程序法治提出的挑戰(zhàn)保持謹(jǐn)慎[34]。行政機(jī)關(guān)在自動化行政中應(yīng)當(dāng)堅(jiān)持守正創(chuàng)新,一方面,應(yīng)當(dāng)始終堅(jiān)持行政程序法治的基本價值;另一方面,應(yīng)當(dāng)通過新的機(jī)制與方法增強(qiáng)行政程序的適應(yīng)性。如此,才能不斷推進(jìn)數(shù)字法治政府建設(shè)。

    猜你喜歡
    程序規(guī)則系統(tǒng)
    Smartflower POP 一體式光伏系統(tǒng)
    撐竿跳規(guī)則的制定
    數(shù)獨(dú)的規(guī)則和演變
    WJ-700無人機(jī)系統(tǒng)
    ZC系列無人機(jī)遙感系統(tǒng)
    北京測繪(2020年12期)2020-12-29 01:33:58
    試論我國未決羈押程序的立法完善
    讓規(guī)則不規(guī)則
    Coco薇(2017年11期)2018-01-03 20:59:57
    “程序猿”的生活什么樣
    連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
    英國與歐盟正式啟動“離婚”程序程序
    精品人妻熟女av久视频| 中文字幕免费在线视频6| 又爽又黄无遮挡网站| 精品久久久噜噜| 波多野结衣巨乳人妻| 国产精品乱码一区二三区的特点| 国产av在哪里看| 热99在线观看视频| 免费看美女性在线毛片视频| 丰满少妇做爰视频| 91精品国产九色| 日韩视频在线欧美| av.在线天堂| av在线观看视频网站免费| 亚洲精品色激情综合| 久久99热这里只频精品6学生 | 精品一区二区三区视频在线| 乱码一卡2卡4卡精品| 欧美人与善性xxx| 午夜福利网站1000一区二区三区| 最近最新中文字幕免费大全7| 超碰av人人做人人爽久久| 毛片女人毛片| 直男gayav资源| 国产成人一区二区在线| 国产精品国产三级专区第一集| 国产精品人妻久久久影院| 色播亚洲综合网| 99热6这里只有精品| 久久人妻av系列| 黄色配什么色好看| www日本黄色视频网| 男女国产视频网站| 最近2019中文字幕mv第一页| 免费观看精品视频网站| 91久久精品电影网| 成年女人永久免费观看视频| 国产精品一区www在线观看| 久久精品国产鲁丝片午夜精品| 欧美人与善性xxx| 日韩av在线免费看完整版不卡| 美女黄网站色视频| 最近手机中文字幕大全| 在线播放国产精品三级| 99热精品在线国产| 欧美激情久久久久久爽电影| 欧美日本亚洲视频在线播放| 一级二级三级毛片免费看| 99在线视频只有这里精品首页| 久久精品国产99精品国产亚洲性色| 久久精品熟女亚洲av麻豆精品 | 日韩三级伦理在线观看| 免费观看的影片在线观看| 女人被狂操c到高潮| 99热这里只有是精品在线观看| 日韩高清综合在线| 中文精品一卡2卡3卡4更新| 男插女下体视频免费在线播放| 男女视频在线观看网站免费| 亚洲五月天丁香| 26uuu在线亚洲综合色| 久久99蜜桃精品久久| 国产精品国产三级专区第一集| 国产 一区精品| av国产免费在线观看| 精品人妻视频免费看| 午夜a级毛片| 亚洲欧美精品专区久久| 欧美精品一区二区大全| av在线观看视频网站免费| 日韩人妻高清精品专区| 国产极品精品免费视频能看的| 少妇熟女aⅴ在线视频| 麻豆一二三区av精品| 一卡2卡三卡四卡精品乱码亚洲| 春色校园在线视频观看| 亚洲五月天丁香| 我的女老师完整版在线观看| 99热6这里只有精品| 亚洲av熟女| 免费看美女性在线毛片视频| 最近最新中文字幕免费大全7| av国产免费在线观看| 日本与韩国留学比较| 边亲边吃奶的免费视频| 在线a可以看的网站| 一级毛片aaaaaa免费看小| 日本黄色片子视频| 亚洲五月天丁香| 狂野欧美激情性xxxx在线观看| 日日撸夜夜添| 亚洲av.av天堂| 日韩制服骚丝袜av| 一个人免费在线观看电影| 免费观看的影片在线观看| 午夜激情欧美在线| 麻豆一二三区av精品| 在线观看66精品国产| 精品人妻视频免费看| 亚洲国产欧洲综合997久久,| 在线免费十八禁| 精品久久久久久久久久久久久| 伊人久久精品亚洲午夜| 午夜日本视频在线| 国产成人精品婷婷| 国产精品一区二区三区四区久久| 一个人免费在线观看电影| 麻豆精品久久久久久蜜桃| 别揉我奶头 嗯啊视频| 欧美+日韩+精品| 汤姆久久久久久久影院中文字幕 | 色综合色国产| 亚洲欧洲国产日韩| 日日干狠狠操夜夜爽| 激情 狠狠 欧美| 岛国在线免费视频观看| 成人亚洲精品av一区二区| 搞女人的毛片| 国产亚洲5aaaaa淫片| 中国国产av一级| 久久久久网色| 国产乱人偷精品视频| 特级一级黄色大片| 国产真实伦视频高清在线观看| 亚洲av一区综合| 久久精品国产亚洲网站| 亚洲人成网站在线观看播放| 久久99蜜桃精品久久| 国国产精品蜜臀av免费| 国产精品美女特级片免费视频播放器| 国产在线男女| 午夜福利在线在线| 日韩中字成人| 成人午夜高清在线视频| 老司机福利观看| 观看免费一级毛片| 全区人妻精品视频| 亚洲精品色激情综合| 搡女人真爽免费视频火全软件| 校园人妻丝袜中文字幕| 韩国高清视频一区二区三区| 高清视频免费观看一区二区 | 美女国产视频在线观看| 日日摸夜夜添夜夜爱| 午夜爱爱视频在线播放| av在线老鸭窝| 国产极品精品免费视频能看的| 久久99蜜桃精品久久| 久久韩国三级中文字幕| av线在线观看网站| 国产亚洲精品av在线| 亚洲欧美精品自产自拍| 成人国产麻豆网| 久久久精品欧美日韩精品| 国产人妻一区二区三区在| 男人狂女人下面高潮的视频| 免费无遮挡裸体视频| 国产午夜福利久久久久久| 最近中文字幕2019免费版| 国内揄拍国产精品人妻在线| 日本五十路高清| 日韩欧美精品v在线| 亚州av有码| 淫秽高清视频在线观看| 国产视频首页在线观看| 成人三级黄色视频| 久久久久久久久久黄片| 中文字幕熟女人妻在线| 国产一区二区亚洲精品在线观看| 最近视频中文字幕2019在线8| 男女视频在线观看网站免费| 人妻系列 视频| 狂野欧美白嫩少妇大欣赏| 国产人妻一区二区三区在| 在线免费观看不下载黄p国产| 欧美成人精品欧美一级黄| 久久精品国产亚洲av天美| 亚洲av成人精品一区久久| 大又大粗又爽又黄少妇毛片口| 国产精品人妻久久久久久| 女人久久www免费人成看片 | 国产精品野战在线观看| 成人二区视频| 99久久人妻综合| 久久精品久久久久久久性| 亚洲av成人av| 最近最新中文字幕免费大全7| 国产一区二区三区av在线| 日韩大片免费观看网站 | 国产精品,欧美在线| 国产成人免费观看mmmm| 久久精品久久久久久噜噜老黄 | 深爱激情五月婷婷| 97在线视频观看| 亚洲av一区综合| 男插女下体视频免费在线播放| 亚洲av免费在线观看| 亚洲av成人精品一二三区| 久久久精品94久久精品| 久久6这里有精品| 国产精品久久久久久精品电影小说 | 中文乱码字字幕精品一区二区三区 | 亚洲综合色惰| 亚洲精品一区蜜桃| 狂野欧美白嫩少妇大欣赏| 十八禁国产超污无遮挡网站| 国产av码专区亚洲av| 久久久久久久久大av| 午夜老司机福利剧场| 干丝袜人妻中文字幕| 国产欧美日韩精品一区二区| 欧美区成人在线视频| 美女国产视频在线观看| 狂野欧美激情性xxxx在线观看| 国产成人a∨麻豆精品| 日本猛色少妇xxxxx猛交久久| 亚洲精品成人久久久久久| 国产三级中文精品| 精品熟女少妇av免费看| 国产精品福利在线免费观看| 男人舔女人下体高潮全视频| 亚洲精品色激情综合| 亚洲最大成人av| 日韩av在线大香蕉| av女优亚洲男人天堂| 特大巨黑吊av在线直播| 又爽又黄a免费视频| 可以在线观看毛片的网站| 少妇熟女aⅴ在线视频| 日韩欧美在线乱码| 欧美不卡视频在线免费观看| 欧美区成人在线视频| 国产精品一区二区在线观看99 | 超碰97精品在线观看| 日韩视频在线欧美| 九九在线视频观看精品| 日本五十路高清| 美女国产视频在线观看| 一二三四中文在线观看免费高清| 久久精品夜色国产| 成年免费大片在线观看| 国产精品麻豆人妻色哟哟久久 | 熟女人妻精品中文字幕| 免费在线观看成人毛片| 美女大奶头视频| 热99在线观看视频| 国产成人免费观看mmmm| 精品午夜福利在线看| 国产成人a∨麻豆精品| 在线免费观看不下载黄p国产| 午夜老司机福利剧场| 最近手机中文字幕大全| 国产美女午夜福利| 别揉我奶头 嗯啊视频| 亚洲精华国产精华液的使用体验| 夜夜看夜夜爽夜夜摸| 午夜a级毛片| av国产久精品久网站免费入址| 国产单亲对白刺激| 国产又色又爽无遮挡免| 国产 一区精品| av国产久精品久网站免费入址| 黄色欧美视频在线观看| 少妇人妻一区二区三区视频| 毛片一级片免费看久久久久| 可以在线观看毛片的网站| 亚洲精品久久久久久婷婷小说 | 久久久久久久久久黄片| 如何舔出高潮| 日本-黄色视频高清免费观看| 99热网站在线观看| 国产免费视频播放在线视频 | 小蜜桃在线观看免费完整版高清| 欧美日韩在线观看h| 日韩av在线大香蕉| 国产91av在线免费观看| 亚洲在线自拍视频| 日本黄大片高清| 在线免费观看的www视频| 偷拍熟女少妇极品色| 人妻少妇偷人精品九色| 亚洲久久久久久中文字幕| 国产精品不卡视频一区二区| 天堂中文最新版在线下载 | 国产精品永久免费网站| 蜜臀久久99精品久久宅男| 国产亚洲午夜精品一区二区久久 | 可以在线观看毛片的网站| 麻豆成人av视频| 国产午夜福利久久久久久| av免费观看日本| 中文字幕熟女人妻在线| 国产一级毛片在线| 国产成人精品久久久久久| 欧美性猛交黑人性爽| 九九爱精品视频在线观看| 国产精品久久久久久久电影| 国产精品精品国产色婷婷| 直男gayav资源| 搞女人的毛片| 亚州av有码| 建设人人有责人人尽责人人享有的 | 亚洲,欧美,日韩| 男女啪啪激烈高潮av片| 国产一区亚洲一区在线观看| 99久久精品国产国产毛片| 能在线免费观看的黄片| 国产大屁股一区二区在线视频| 免费观看精品视频网站| 亚洲中文字幕日韩| 欧美日韩综合久久久久久| 一本一本综合久久| 免费黄色在线免费观看| 真实男女啪啪啪动态图| 人体艺术视频欧美日本| 亚洲国产欧美在线一区| 国产精品久久久久久精品电影小说 | 欧美色视频一区免费| 国产大屁股一区二区在线视频| 国产精品久久久久久久电影| 久久亚洲精品不卡| 日韩欧美三级三区| 少妇猛男粗大的猛烈进出视频 | av视频在线观看入口| 国产精品熟女久久久久浪| 韩国av在线不卡| 波多野结衣巨乳人妻| 天天躁夜夜躁狠狠久久av| 亚洲国产欧美在线一区| 欧美成人a在线观看| 色视频www国产| 99久久成人亚洲精品观看| 看黄色毛片网站| 国产精品一区二区性色av| 国产一区二区三区av在线| 色综合站精品国产| 亚洲va在线va天堂va国产| 狂野欧美白嫩少妇大欣赏| 尤物成人国产欧美一区二区三区| 午夜精品一区二区三区免费看| 小说图片视频综合网站| 美女国产视频在线观看| 毛片一级片免费看久久久久| 又爽又黄无遮挡网站| 国产视频内射| 99久久精品一区二区三区| 日韩欧美精品v在线| 嫩草影院精品99| 久久久久性生活片| 欧美日本视频| 国内精品美女久久久久久| 大香蕉久久网| 午夜福利网站1000一区二区三区| 变态另类丝袜制服| 亚洲四区av| 亚洲不卡免费看| 欧美激情国产日韩精品一区| 黄片无遮挡物在线观看| 男女边吃奶边做爰视频| 国产亚洲精品久久久com| videos熟女内射| 欧美变态另类bdsm刘玥| 成人毛片a级毛片在线播放| 国产精品,欧美在线| 久久久久久久久久黄片| 久久久久久伊人网av| 超碰av人人做人人爽久久| 久久99热这里只频精品6学生 | 国产激情偷乱视频一区二区| 久久精品久久久久久噜噜老黄 | 永久免费av网站大全| av视频在线观看入口| 成人午夜精彩视频在线观看| 亚洲精品日韩在线中文字幕| 中国国产av一级| 中文字幕免费在线视频6| 亚洲精品亚洲一区二区| 国产精品精品国产色婷婷| 韩国高清视频一区二区三区| 亚洲欧美精品自产自拍| av在线播放精品| 精品久久久久久久人妻蜜臀av| 精品一区二区三区人妻视频| 国产片特级美女逼逼视频| 黄色欧美视频在线观看| 日日撸夜夜添| 久久草成人影院| 看免费成人av毛片| 一级二级三级毛片免费看| 国产综合懂色| 亚洲欧美成人综合另类久久久 | 国产亚洲精品久久久com| 看黄色毛片网站| 亚州av有码| 99热这里只有精品一区| 中文字幕av成人在线电影| 最近2019中文字幕mv第一页| 亚洲成人av在线免费| 少妇裸体淫交视频免费看高清| av女优亚洲男人天堂| 男的添女的下面高潮视频| 久久6这里有精品| 日韩在线高清观看一区二区三区| 九九在线视频观看精品| 午夜老司机福利剧场| 亚洲欧美日韩东京热| 淫秽高清视频在线观看| 精品久久久久久成人av| 国产爱豆传媒在线观看| 精品人妻熟女av久视频| 九九在线视频观看精品| 亚洲国产精品成人综合色| 免费观看精品视频网站| 国产精品国产三级国产av玫瑰| 国产精品麻豆人妻色哟哟久久 | 七月丁香在线播放| 久久精品久久久久久久性| 精品人妻视频免费看| 成人亚洲精品av一区二区| 蜜臀久久99精品久久宅男| 麻豆av噜噜一区二区三区| 噜噜噜噜噜久久久久久91| 国产欧美日韩精品一区二区| 欧美性猛交╳xxx乱大交人| 成人美女网站在线观看视频| 一级毛片电影观看 | av国产免费在线观看| 特大巨黑吊av在线直播| 亚洲真实伦在线观看| 国产精品伦人一区二区| 亚洲欧美成人综合另类久久久 | 国内揄拍国产精品人妻在线| 一级黄片播放器| 国产极品天堂在线| 男人狂女人下面高潮的视频| 人人妻人人澡欧美一区二区| 国产精品蜜桃在线观看| 国产午夜精品久久久久久一区二区三区| 热99re8久久精品国产| 夫妻性生交免费视频一级片| 女人十人毛片免费观看3o分钟| av福利片在线观看| 丝袜美腿在线中文| 秋霞伦理黄片| 高清日韩中文字幕在线| 欧美成人午夜免费资源| 在线免费观看的www视频| 亚洲精品乱码久久久v下载方式| 91av网一区二区| 中文字幕熟女人妻在线| 欧美不卡视频在线免费观看| 免费电影在线观看免费观看| 国产成人精品一,二区| 久久亚洲精品不卡| 欧美高清性xxxxhd video| 又粗又爽又猛毛片免费看| 中文乱码字字幕精品一区二区三区 | 亚洲乱码一区二区免费版| 久久精品国产99精品国产亚洲性色| 永久网站在线| 国语对白做爰xxxⅹ性视频网站| 99久久人妻综合| 91aial.com中文字幕在线观看| 国产美女午夜福利| 国产精品99久久久久久久久| 色综合站精品国产| 国产午夜精品论理片| 噜噜噜噜噜久久久久久91| 搞女人的毛片| 青青草视频在线视频观看| 麻豆成人av视频| 精品熟女少妇av免费看| 最近手机中文字幕大全| 最近中文字幕2019免费版| 国产成年人精品一区二区| 日本一本二区三区精品| kizo精华| 99久久无色码亚洲精品果冻| 热99re8久久精品国产| av免费观看日本| av在线天堂中文字幕| 赤兔流量卡办理| 九九久久精品国产亚洲av麻豆| 亚洲国产精品久久男人天堂| 精品久久久久久久久亚洲| 亚洲一区高清亚洲精品| 亚洲精品久久久久久婷婷小说 | 亚洲欧美日韩东京热| 18禁在线播放成人免费| 久久久久免费精品人妻一区二区| 一个人观看的视频www高清免费观看| 岛国毛片在线播放| 亚洲av熟女| 久久这里有精品视频免费| 我要看日韩黄色一级片| 亚洲性久久影院| 99久久无色码亚洲精品果冻| 国产老妇女一区| 亚洲综合精品二区| 又粗又爽又猛毛片免费看| 麻豆乱淫一区二区| 日本五十路高清| 男人的好看免费观看在线视频| 午夜福利在线观看免费完整高清在| 亚洲va在线va天堂va国产| 三级男女做爰猛烈吃奶摸视频| 午夜爱爱视频在线播放| 亚洲激情五月婷婷啪啪| 99久久精品国产国产毛片| 91午夜精品亚洲一区二区三区| 中文字幕精品亚洲无线码一区| 91久久精品电影网| 如何舔出高潮| 国内揄拍国产精品人妻在线| 国产美女午夜福利| 日本与韩国留学比较| 超碰97精品在线观看| 老司机影院毛片| 美女cb高潮喷水在线观看| 国产极品精品免费视频能看的| 91久久精品国产一区二区成人| 国产成人一区二区在线| 亚洲av熟女| 国产精品1区2区在线观看.| av视频在线观看入口| 国产在线一区二区三区精 | 午夜日本视频在线| 国产美女午夜福利| 搡女人真爽免费视频火全软件| 亚洲国产精品成人久久小说| 最近中文字幕2019免费版| 国产人妻一区二区三区在| 大话2 男鬼变身卡| 人妻少妇偷人精品九色| 亚洲自拍偷在线| 18禁动态无遮挡网站| 精品久久久久久电影网 | 美女脱内裤让男人舔精品视频| 久久久精品94久久精品| 久久久久久久久久久丰满| 小说图片视频综合网站| 高清日韩中文字幕在线| 亚州av有码| 男人的好看免费观看在线视频| 可以在线观看毛片的网站| 亚洲精品日韩av片在线观看| 69人妻影院| 成人综合一区亚洲| 亚洲人成网站在线观看播放| 久久久久久久久大av| 色播亚洲综合网| 在线播放无遮挡| 免费不卡的大黄色大毛片视频在线观看 | 插逼视频在线观看| 国产高清有码在线观看视频| 成人一区二区视频在线观看| 99热网站在线观看| 免费看日本二区| 精品国产露脸久久av麻豆 | 久久精品人妻少妇| 热99re8久久精品国产| 人人妻人人澡人人爽人人夜夜 | 午夜激情福利司机影院| 三级国产精品欧美在线观看| 少妇人妻精品综合一区二区| 日本三级黄在线观看| 一级毛片我不卡| 永久网站在线| 亚洲国产色片| 美女大奶头视频| 在线播放国产精品三级| 欧美性感艳星| 午夜福利在线观看免费完整高清在| 亚洲aⅴ乱码一区二区在线播放| 插逼视频在线观看| 美女cb高潮喷水在线观看| 纵有疾风起免费观看全集完整版 | 日韩 亚洲 欧美在线| 久久精品91蜜桃| 三级国产精品片| 精品熟女少妇av免费看| 晚上一个人看的免费电影| 草草在线视频免费看| 麻豆av噜噜一区二区三区| 国产精品av视频在线免费观看| 成人亚洲精品av一区二区| 久久99蜜桃精品久久| 精品99又大又爽又粗少妇毛片| 99久久中文字幕三级久久日本| 日日摸夜夜添夜夜添av毛片| 精品免费久久久久久久清纯| 国语自产精品视频在线第100页| 国产成人aa在线观看| 亚洲成人精品中文字幕电影| 亚洲av不卡在线观看| 成人特级av手机在线观看| 欧美+日韩+精品| 久久99热这里只频精品6学生 | 国产色婷婷99| 亚洲精品国产成人久久av| 欧美成人午夜免费资源| 青春草亚洲视频在线观看| 国产精品人妻久久久久久| 一夜夜www| 在线观看av片永久免费下载| 中文字幕精品亚洲无线码一区| 亚洲av中文字字幕乱码综合| 18禁在线无遮挡免费观看视频| 亚洲av日韩在线播放| 少妇人妻精品综合一区二区| 97超视频在线观看视频| 超碰97精品在线观看| 草草在线视频免费看| 欧美人与善性xxx| 精品久久久久久久久亚洲|