• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    自動(dòng)化行政裁量的包容性規(guī)制

    2025-01-01 00:00:00趙龍
    行政法學(xué)研究 2025年1期
    關(guān)鍵詞:人工智能

    摘要:我國(guó)的自動(dòng)化行政裁量應(yīng)用在政策推動(dòng)下處于世界領(lǐng)先水平,但存在數(shù)據(jù)瑕疵、轉(zhuǎn)譯偏差、算法黑箱等基礎(chǔ)誘因,易產(chǎn)生行政權(quán)利與義務(wù)被技術(shù)性懸置、官僚系統(tǒng)越權(quán)與卸責(zé)蔓延、機(jī)械裁量與個(gè)案正義相沖突等負(fù)外部效應(yīng)。若要科學(xué)解決這些基礎(chǔ)問(wèn)題及其負(fù)外部效應(yīng),則需改進(jìn)既有的發(fā)展優(yōu)位規(guī)制模式,構(gòu)建兼顧創(chuàng)新發(fā)展與合理規(guī)制的包容性規(guī)制框架。在以人為本與權(quán)利保障雙向融合的技術(shù)賦權(quán)趨勢(shì)下,自動(dòng)化行政裁量的技術(shù)創(chuàng)新應(yīng)注重提升公民參與行政活動(dòng)的信息能力。技術(shù)性正當(dāng)程序是正當(dāng)程序的數(shù)字化升級(jí)與過(guò)程論闡釋,有助于推動(dòng)自動(dòng)化行政裁量應(yīng)用邊界的劃定與實(shí)質(zhì)化人工干預(yù)機(jī)制的構(gòu)建。

    關(guān)鍵詞:人工智能;自動(dòng)化行政裁量;技術(shù)性正當(dāng)程序;包容性規(guī)制

    目次

    一、引言

    二、自動(dòng)化行政裁量的容許性分析

    三、自動(dòng)化行政裁量的負(fù)外部效應(yīng)

    四、自動(dòng)化行政裁量的包容性規(guī)制原理

    五、自動(dòng)化行政裁量的包容性規(guī)制路徑

    六、結(jié)語(yǔ)

    一、引言

    國(guó)外關(guān)于人工智能與法律相結(jié)合的研究,最早可追溯至20世紀(jì)60年代。隨著凱文·阿什利(Kevin Ashley)等人設(shè)計(jì)出根據(jù)案例進(jìn)行推理的HYPO軟件,法律人工智能逐漸被納入法律專家和技術(shù)專家的研究視野。此后,各國(guó)相繼開(kāi)發(fā)了各類法律人工智能系統(tǒng),如ROSS、Lex Machina等。相較于國(guó)外,國(guó)內(nèi)開(kāi)展法律人工智能的研究最早出現(xiàn)在20世紀(jì)80年代,如龔祥瑞、李克強(qiáng)1983年提出法律工作計(jì)算機(jī)化具有現(xiàn)實(shí)可能性。2009年,以環(huán)保行政處罰自由裁量輔助決策系統(tǒng)為代表的智能輔助行政裁量開(kāi)始出現(xiàn)。2022年,OpenAI公司發(fā)布的ChatGPT-3.5,更是掀起了法律人工智能的研究熱潮。相比于個(gè)案化裁量,機(jī)械化裁量可以提升行政活動(dòng)的一致性、緩解行政資源的不均衡。但行政裁量從“人類”到“機(jī)器”的載體變化,引發(fā)了行政權(quán)力運(yùn)行機(jī)制、行政裁量運(yùn)行方式的深刻變革。盡管部分學(xué)者將目光從“自動(dòng)化行政”移向了“自動(dòng)化行政裁量”,較全面地闡釋了自動(dòng)化行政裁量的學(xué)理基礎(chǔ)與功能定位。然而,當(dāng)前關(guān)于自動(dòng)化行政裁量的學(xué)術(shù)研究囿于理論探討與前景預(yù)測(cè),未觸及自動(dòng)化行政裁量的負(fù)外部效應(yīng)以及因應(yīng)手段的實(shí)質(zhì)匱乏。

    各國(guó)針對(duì)自動(dòng)化行政裁量的規(guī)制研究均處于起步階段,規(guī)制模式各具特色:歐盟在數(shù)據(jù)保護(hù)框架下采取嚴(yán)格監(jiān)管模式,美國(guó)通過(guò)發(fā)布法案與作成判例而呈現(xiàn)漸進(jìn)規(guī)制模式,中國(guó)積極推動(dòng)人工智能與行政活動(dòng)的深度融合而形成發(fā)展優(yōu)位模式。盡管我國(guó)自動(dòng)行政裁量應(yīng)用走在世界前列,但是相關(guān)規(guī)制研究卻長(zhǎng)期處于缺位狀態(tài)。習(xí)近平總書(shū)記在2014年兩院院士大會(huì)上強(qiáng)調(diào),“抓住新一輪科技革命和產(chǎn)業(yè)變革的重大機(jī)遇,就是要在新賽場(chǎng)建設(shè)之初就加入其中,甚至主導(dǎo)一些賽場(chǎng)建設(shè),從而使我們成為新的競(jìng)賽規(guī)則的重要制定者、新的競(jìng)賽場(chǎng)地的重要主導(dǎo)者”。因此,我國(guó)既應(yīng)保持推動(dòng)自動(dòng)化行政裁量應(yīng)用的政策連貫性以鞏固先發(fā)優(yōu)勢(shì),也應(yīng)主動(dòng)提出規(guī)制方案以避免技術(shù)控制的“科林格里奇困境(Colingridge’s Dilemma)”再現(xiàn)。這種對(duì)發(fā)展優(yōu)位模式的前瞻性改進(jìn)思路,體現(xiàn)了兼顧創(chuàng)新發(fā)展與合理規(guī)制的“共建共治共享”與“包容審慎監(jiān)管”理念。本文通過(guò)考察自動(dòng)化行政裁量的政策依據(jù)、技術(shù)原理、權(quán)力來(lái)源及容許性限度,揭示自動(dòng)化行政裁量負(fù)外部效應(yīng)的基礎(chǔ)誘因與外在表現(xiàn),在此基礎(chǔ)上進(jìn)一步提出自動(dòng)化行政裁量的包容性規(guī)制原理和規(guī)制方案。

    二、自動(dòng)化行政裁量的容許性分析

    自動(dòng)化技術(shù)可以發(fā)掘行政機(jī)關(guān)搜集信息的潛力,進(jìn)而徹底改變行政機(jī)關(guān)解決復(fù)雜問(wèn)題的方式。由于自動(dòng)化行政裁量在依據(jù)上具有政策引導(dǎo)性、在應(yīng)用上具有技術(shù)可行性、在法理上具有權(quán)力正當(dāng)性,因而在我國(guó)行政執(zhí)法領(lǐng)域得以快速推廣應(yīng)用。然而,當(dāng)前技術(shù)發(fā)展所處的弱人工智能階段,決定了自動(dòng)化行政裁量的輔助功能定位以及必要的容許性限度。

    (一)自動(dòng)化行政裁量的運(yùn)作原理

    自由裁量權(quán)允許執(zhí)法部門(mén)選擇“執(zhí)法優(yōu)先權(quán)”,但這些選擇卻可能帶有社會(huì)性和政治性,同時(shí)又不能期望執(zhí)法部門(mén)隨處都能全面執(zhí)法,因?yàn)樗麄兊淖杂蓤?zhí)法行為可能帶有歧視性和武斷性。在此意義上,使用自動(dòng)化行政系統(tǒng)有助于減少自由裁量權(quán)的負(fù)面影響。我國(guó)行政處罰領(lǐng)域最早引入了自動(dòng)化裁量。南京市環(huán)保局早在2009年就研發(fā)了“環(huán)保行政處罰自由裁量輔助決策系統(tǒng)”,該系統(tǒng)的研發(fā)思路是按照違法事實(shí)“無(wú)、輕微、一般、較重、嚴(yán)重、特別嚴(yán)重”的六個(gè)等級(jí),將每個(gè)違法事實(shí)二維概分為違法行為和違法后果,每個(gè)違法行為和違法后果再拆分為若干個(gè)子行為和子后果,通過(guò)子行為和子后果的分別疊加,計(jì)算出總行為和總后果,進(jìn)而得出違法事實(shí)的相應(yīng)等級(jí)。這類基于二維數(shù)組的行政處罰裁量輔助決策系統(tǒng),主要是通過(guò)創(chuàng)建算法模型來(lái)模擬行政處罰的自由裁量過(guò)程。目前,行政處罰裁量輔助系統(tǒng)在我國(guó)市場(chǎng)監(jiān)管、城市管理、交通運(yùn)輸及稅收征管等領(lǐng)域得到了全面推廣。

    人工智能的本質(zhì)是功能模擬,自動(dòng)化行政裁量實(shí)質(zhì)是通過(guò)機(jī)器模擬行政裁量的過(guò)程,其運(yùn)作原理可被概括為三個(gè)環(huán)節(jié),即“從場(chǎng)景到數(shù)據(jù)”“從數(shù)據(jù)到模型”“輸出裁量結(jié)果”。首先,“從場(chǎng)景到數(shù)據(jù)”環(huán)節(jié)以歷史違法事實(shí)、既有裁量依據(jù)的結(jié)構(gòu)化為目標(biāo),通過(guò)語(yǔ)料獲取、數(shù)據(jù)清洗、特征標(biāo)注等步驟,搭建自由裁量輔助決策知識(shí)庫(kù)。在這一知識(shí)庫(kù)中,數(shù)據(jù)的完整性與真實(shí)性將決定算法模型能否還原行政裁量場(chǎng)景。其次,“從數(shù)據(jù)到模型”環(huán)節(jié)以選取最優(yōu)算法模型來(lái)擬合輸入與輸出關(guān)系為目標(biāo),通常需要完成通用模型選配和模型選配后的結(jié)構(gòu)改造兩項(xiàng)工作。算法模型只有隨著行政裁量任務(wù)的調(diào)整而持續(xù)優(yōu)化,才能不斷接近程序正義的理想狀態(tài)。最后,“輸出裁量結(jié)果”環(huán)節(jié)以自動(dòng)化行政系統(tǒng)輸出個(gè)案裁量結(jié)果為目標(biāo),通常是將個(gè)案事實(shí)與自由裁量輔助決策知識(shí)庫(kù)中的違法事實(shí)、裁量依據(jù)分別進(jìn)行匹配,從而給出具體的行政裁量結(jié)果。

    (二)自動(dòng)化行政裁量的政策依據(jù)

    相比于歐洲國(guó)家的保守態(tài)度、英美國(guó)家的慎重態(tài)度,我國(guó)對(duì)法律人工智能應(yīng)用整體上持積極發(fā)展態(tài)度。在開(kāi)放包容的政策氛圍下,我國(guó)的“智慧警務(wù)”“智慧法院”“智慧政務(wù)”等人工智能應(yīng)用處于世界領(lǐng)先地位?;厮菸覈?guó)“互聯(lián)網(wǎng)+政務(wù)服務(wù)”的發(fā)展歷程,可以管窺“人工智能+政務(wù)服務(wù)”的未來(lái)發(fā)展趨勢(shì)。在2015年政府工作報(bào)告提出制定“互聯(lián)網(wǎng)+\"行動(dòng)計(jì)劃后,國(guó)務(wù)院隨即印發(fā)了《關(guān)于積極推進(jìn)“互聯(lián)網(wǎng)+”行動(dòng)的指導(dǎo)意見(jiàn)》。而在2016年政府工作報(bào)告提出推行“互聯(lián)網(wǎng)+政務(wù)服務(wù)”后,《關(guān)于加快推進(jìn)“互聯(lián)網(wǎng)+政務(wù)服務(wù)”工作的指導(dǎo)意見(jiàn)》《“互聯(lián)網(wǎng)+政務(wù)服務(wù)”技術(shù)體系建設(shè)指南》等指導(dǎo)文件陸續(xù)出臺(tái)。因此,在2024年政府工作報(bào)告首次提出開(kāi)展“人工智能+”行動(dòng)的政策背景下,綜合過(guò)往“互聯(lián)網(wǎng)+政務(wù)服務(wù)”的發(fā)展歷程、地方“人工智能+政務(wù)服務(wù)”的實(shí)踐案例以及當(dāng)前我國(guó)對(duì)數(shù)字中國(guó)、數(shù)字政府等命題的重視程度,推動(dòng)“人工智能+政務(wù)服務(wù)”的頂層設(shè)計(jì)勢(shì)在必行。

    除《中華人民共和國(guó)個(gè)人信息保護(hù)法》(以下簡(jiǎn)稱《個(gè)人信息保護(hù)法》)從個(gè)人信息保護(hù)視角對(duì)人工智能應(yīng)用(自動(dòng)化決策)作出限定外,我國(guó)既有法律對(duì)行政領(lǐng)域的人工智能應(yīng)用還未有直接規(guī)定。在我國(guó),政策是法律的靈魂,是制定法律的依據(jù),因此規(guī)范意義上的政策幾乎具有等同于法律的實(shí)施效果。一些走在法律規(guī)制前面的政策甚至更具實(shí)效性。政策的支持是我國(guó)推動(dòng)自動(dòng)化行政裁量應(yīng)用的正當(dāng)性根據(jù)。首先,中央的政策文件為自動(dòng)化行政裁量提供了原則指引。例如,中共中央、國(guó)務(wù)院2021年8月印發(fā)《法治政府建設(shè)實(shí)施綱要(2021-2025年)》,提出運(yùn)用人工智能技術(shù)促進(jìn)依法行政。其次,國(guó)務(wù)院所屬機(jī)構(gòu)發(fā)布的指導(dǎo)文件為自動(dòng)化行政裁量的推廣應(yīng)用提供了實(shí)質(zhì)性支撐。例如,國(guó)務(wù)院辦公廳2019年1月印發(fā)《關(guān)于全面推行行政執(zhí)法公示制度執(zhí)法全過(guò)程記錄制度重大執(zhí)法決定法制審核制度的指導(dǎo)意見(jiàn)》,明確要求研發(fā)行政執(zhí)法裁量智能輔助信息系統(tǒng)。生態(tài)環(huán)境部2021年1月印發(fā)《關(guān)于優(yōu)化生態(tài)環(huán)境保護(hù)執(zhí)法方式提高執(zhí)法效能的指導(dǎo)意見(jiàn)》,旨在推動(dòng)自由裁量系統(tǒng)研發(fā)以實(shí)現(xiàn)行政裁量的電子化。國(guó)務(wù)院辦公廳2022年8月印發(fā)《關(guān)于進(jìn)一步規(guī)范行政裁量權(quán)基準(zhǔn)制定和管理工作的意見(jiàn)》,要求運(yùn)用人工智能技術(shù)將裁量基準(zhǔn)嵌入行政執(zhí)法系統(tǒng)。

    (三)自動(dòng)化行政裁量的權(quán)力正當(dāng)性

    赫拉利(Harari)指出,人類已被海量數(shù)據(jù)所淹沒(méi)而無(wú)力處理大量數(shù)據(jù),導(dǎo)致其正將手里的權(quán)力交給集體智慧、外部算法等。從傳統(tǒng)行政裁量到自動(dòng)化行政裁量,盡管裁量主體由行政人員轉(zhuǎn)變?yōu)槿斯ぶ悄?,但本質(zhì)上仍是行政裁量權(quán)的運(yùn)作。行政裁量的存在,主要是調(diào)和立法萬(wàn)能與行政萬(wàn)能兩種理想的需要。在行政裁量所具有的法律正當(dāng)性與平衡功能基礎(chǔ)之上,自動(dòng)化行政裁量應(yīng)用可以技術(shù)性修復(fù)傳統(tǒng)行政裁量長(zhǎng)期存在的固有瑕疵,進(jìn)一步增強(qiáng)自動(dòng)化行政裁量的權(quán)力正當(dāng)性。

    不違背法律禁止性規(guī)定是自動(dòng)化行政裁量應(yīng)用的法律基礎(chǔ)?!吨腥A人民共和國(guó)憲法》第2條第2款允許人民通過(guò)多種形式管理國(guó)家事務(wù)、第27條第1款要求國(guó)家機(jī)關(guān)不斷提高工作效率,這些條款是允許以自動(dòng)化方式作出行政行為的憲法淵源。此外,《中華人民共和國(guó)行政處罰法》(以下簡(jiǎn)稱《行政處罰法》)和《中華人民共和國(guó)行政許可法》(以下簡(jiǎn)稱《行政許可法》)均未限定行政裁量的實(shí)施方式,《行政許可法》第33條倡導(dǎo)行政機(jī)關(guān)推行“電子政務(wù)”,《行政處罰法》2021年修訂時(shí)在第41條新增“利用電子技術(shù)監(jiān)控設(shè)備”的執(zhí)法規(guī)定。

    行政裁量的平衡功能是自動(dòng)化行政裁量應(yīng)用的功能基礎(chǔ)。相比于司法活動(dòng)的被動(dòng)性,行政活動(dòng)具有更高的靈活性和更多的能動(dòng)性。尤其在適用法律時(shí),行政人員享有更多的裁量空間,導(dǎo)致行政活動(dòng)存在更多的平衡空間。邁耶(Mayer)認(rèn)為,行政裁量是對(duì)集體利益、正義、目的性等自行權(quán)衡的過(guò)程。行政裁量理論經(jīng)歷了從嚴(yán)格限制到相對(duì)獨(dú)立的發(fā)展歷程,在現(xiàn)代行政活動(dòng)中扮演了能動(dòng)、靈活的平衡功能。這種平衡功能體現(xiàn)在除非這一概念明顯被錯(cuò)誤解釋,否則司法機(jī)關(guān)不能審查行政機(jī)關(guān)針對(duì)不確定法律概念作出的權(quán)衡性決定。

    修復(fù)行政裁量瑕疵是自動(dòng)化行政裁量應(yīng)用的價(jià)值基礎(chǔ)。德國(guó)行政法學(xué)者毛雷爾(Maurer)認(rèn)為行政裁量應(yīng)是“受法律約束的裁量”,行政裁量瑕疵主要呈現(xiàn)出裁量逾越、裁量濫用、裁量怠惰三種形態(tài)。自動(dòng)化行政裁量具有主體多元性、裁量自動(dòng)性等算法技術(shù)特征,可以技術(shù)性修復(fù)傳統(tǒng)行政裁量的固有瑕疵:其一,算法不存在二義性,因此法律代碼化過(guò)程可以確保裁量結(jié)果的唯一性;其二,自動(dòng)化系統(tǒng)只能按照預(yù)設(shè)的基準(zhǔn)和流程運(yùn)行并輸出裁量結(jié)果;其三,自動(dòng)化系統(tǒng)每秒可以輸出百萬(wàn)級(jí)的機(jī)器語(yǔ)言指令,極大節(jié)省了非必要的行政裁量程序流轉(zhuǎn)時(shí)效限制。

    (四)自動(dòng)化行政裁量的容許性限度

    我國(guó)對(duì)以半自動(dòng)化方式作出行政裁量持包容態(tài)度。江蘇省、甘肅省等地先后研發(fā)了環(huán)保行政處罰裁量輔助系統(tǒng)。在地方取得可復(fù)制、可推廣的經(jīng)驗(yàn)后,國(guó)家層面相繼印發(fā)政策文件指導(dǎo)并鼓勵(lì)各地使用自動(dòng)化行政裁量智能輔助系統(tǒng)。

    以人工智能技術(shù)在行政裁量中發(fā)揮的作用為界限,自動(dòng)化行政裁量可分為輔助計(jì)算、執(zhí)行規(guī)則及機(jī)器學(xué)習(xí)等模式。不同模式背后所體現(xiàn)的是人工智能介入行政裁量的深度和廣度。自動(dòng)化系統(tǒng)的設(shè)計(jì)研發(fā)往往依賴于市場(chǎng)機(jī)制中的科技企業(yè),在理論上為科技企業(yè)介入行政裁量開(kāi)放了空間。然而,實(shí)踐中的智能化(電子化)系統(tǒng)不僅在名稱上被行政機(jī)關(guān)限定為“裁量輔助系統(tǒng)”,而且在系統(tǒng)運(yùn)行步驟上被設(shè)置為“兩段式裁量”:第一階段為程式化的機(jī)器裁量,第二階段為個(gè)案化的人工裁量。美國(guó)宇宙學(xué)教授泰格馬克(Tegmark)指出,構(gòu)建具備人類水平的通用人工智能(AGI)是人工智能領(lǐng)域的“圣杯問(wèn)題”。自動(dòng)化行政裁量應(yīng)用當(dāng)前仍處于弱人工智能的技術(shù)發(fā)展階段,已然決定了其行政輔助的功能定位。

    明確自動(dòng)化行政裁量的輔助功能定位,并不意味著禁錮其技術(shù)優(yōu)勢(shì)的最大發(fā)揮。既然我國(guó)在政策與制度上并不限制自動(dòng)化行政裁量,那么就應(yīng)以發(fā)展的眼光、進(jìn)取的姿態(tài)對(duì)待自動(dòng)化行政裁量的容許性限度。這是因?yàn)?,盡管行政裁量具有實(shí)現(xiàn)個(gè)案正義的法律品格,但在事實(shí)清楚、關(guān)系簡(jiǎn)單、小額頻發(fā)的行政案件中,裁量一致性意味著更高的正義追求。并且,隨著技術(shù)迭代與樣本擴(kuò)容,機(jī)器裁量與人工裁量之間的差距正在逐步縮小,有望無(wú)限逼近人工裁量的集體經(jīng)驗(yàn)和裁量水準(zhǔn)。近年來(lái),以ChatGPT為代表的生成式人工智能席卷全球,讓自動(dòng)化行政裁量的拓深應(yīng)用有了更多想象空間。而以貝葉斯模型(Bayesian Model)為代表的人工智能模型不斷涌現(xiàn),為自動(dòng)化行政裁量的因果推理提供了方法論啟示。

    三、自動(dòng)化行政裁量的負(fù)外部效應(yīng)

    自動(dòng)化行政裁量的本質(zhì)是算法自動(dòng)化決策,在撼動(dòng)行政規(guī)律與提升行政效能的同時(shí),亦生成了權(quán)力行使、責(zé)任承擔(dān)及公平正義等法治維度的負(fù)外部效應(yīng)。究其原因,既有自動(dòng)化行政裁量固有的技術(shù)性缺陷,也有傳統(tǒng)行政法存在的立法局限性。

    (一)自動(dòng)化行政裁量負(fù)外部效應(yīng)的基礎(chǔ)誘因

    自動(dòng)化行政裁量在世界范圍內(nèi)的應(yīng)用推廣緩慢,源于復(fù)雜因素的疊加作用。由于數(shù)據(jù)、規(guī)則、算法是法律人工智能運(yùn)行的核心驅(qū)動(dòng)要素,因此引發(fā)自動(dòng)化行政裁量負(fù)外部效應(yīng)的基礎(chǔ)誘因主要存在于數(shù)據(jù)收集、規(guī)則轉(zhuǎn)譯及算法設(shè)計(jì)等方面。

    第一,大量的行政案例為自動(dòng)化行政裁量提供了基礎(chǔ)性數(shù)據(jù),但是數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)樣本不足、數(shù)據(jù)共享不充分等實(shí)踐難題,導(dǎo)致創(chuàng)建可信數(shù)據(jù)算法模型的目標(biāo)難以實(shí)現(xiàn)。首先,高質(zhì)量訓(xùn)練數(shù)據(jù)的匱乏影響了機(jī)器學(xué)習(xí)的效果。以中國(guó)裁判文書(shū)網(wǎng)為例,大量裁判文書(shū)的分析、論證過(guò)程較為簡(jiǎn)略,而較為詳細(xì)的合議庭筆錄等內(nèi)部文書(shū)卻無(wú)法成為底層數(shù)據(jù)。其次,數(shù)據(jù)的規(guī)模和代表性不足,可能對(duì)數(shù)據(jù)分析結(jié)果的完整性、代表性產(chǎn)生影響。最后,數(shù)據(jù)共享不充分將催生政務(wù)服務(wù)的“數(shù)據(jù)孤島”。盡管中央層面2023年已經(jīng)成立了國(guó)家數(shù)據(jù)局,但是自下而上的跨層級(jí)數(shù)據(jù)共享渠道還不夠通暢。

    第二,將裁量規(guī)范與基準(zhǔn)(以自然語(yǔ)言表現(xiàn))轉(zhuǎn)碼為機(jī)器可識(shí)別的算法規(guī)則(以機(jī)器語(yǔ)言表現(xiàn))的過(guò)程中,可能存在對(duì)照轉(zhuǎn)譯、細(xì)化轉(zhuǎn)譯、創(chuàng)設(shè)轉(zhuǎn)譯等情形。對(duì)照轉(zhuǎn)譯是將裁量規(guī)范與基準(zhǔn)直接轉(zhuǎn)譯為算法規(guī)則,但囿于技術(shù)水平而存在表述差距。細(xì)化轉(zhuǎn)譯是將相對(duì)寬泛的裁量規(guī)范與基準(zhǔn)進(jìn)行算法解構(gòu)以涵攝個(gè)案事實(shí),本質(zhì)是對(duì)裁量規(guī)范與基準(zhǔn)的技術(shù)性修正,甚至可能修改其法律構(gòu)成要件,具有實(shí)施意義上的立法功能。創(chuàng)設(shè)轉(zhuǎn)譯則是通過(guò)機(jī)器學(xué)習(xí)自主創(chuàng)設(shè)裁量規(guī)范與基準(zhǔn)之外的算法規(guī)則,將從根本上動(dòng)搖法定立法權(quán)。若創(chuàng)設(shè)轉(zhuǎn)譯不受限制,則《中華人民共和國(guó)立法法》確立的立法權(quán)體系將面臨人工智能的巨大威脅,尤其是下位法規(guī)、規(guī)章制定權(quán)將面臨技術(shù)性擴(kuò)容的風(fēng)險(xiǎn)。

    第三,自動(dòng)化裁量的黑箱化運(yùn)行無(wú)法滿足行政信息公開(kāi)原則。算法黑箱是對(duì)算法運(yùn)行過(guò)程不透明現(xiàn)象的比喻。算法黑箱的存在,導(dǎo)致自動(dòng)化行政裁量出現(xiàn)了邏輯隱層,即裁量算法的運(yùn)行邏輯處于不可知的隱蔽狀態(tài)。倫敦大學(xué)法學(xué)教授拉迪加(La Diega)將產(chǎn)生算法黑箱的原因歸結(jié)于組織、技術(shù)、法律三個(gè)維度:在組織維度,在最低限度的透明度義務(wù)下,算法運(yùn)行被追求利益最大化的私主體所操控;在技術(shù)維度,人工智能使算法決策的技術(shù)原理在本質(zhì)上難以獲得,比如以人腦為模型的人工神經(jīng)網(wǎng)絡(luò)同樣不透明;在法律維度,算法和源代碼受到了現(xiàn)有知識(shí)產(chǎn)權(quán)等法律制度對(duì)技術(shù)的保護(hù)??萍计髽I(yè)通常為承擔(dān)算法系統(tǒng)研發(fā)任務(wù)的第三方,擁有以軟件著作、方法/產(chǎn)品專利、商業(yè)秘密等知識(shí)產(chǎn)權(quán)保護(hù)為由的公開(kāi)抗辯權(quán),合法阻卻了算法和源代碼的公開(kāi)。例如,在智搜訴光速蝸牛一案中,法院認(rèn)為經(jīng)智搜公司優(yōu)化后的推薦算法屬于不為公眾所知的勞動(dòng)成果,應(yīng)予以商業(yè)秘密保護(hù)。

    (二)自動(dòng)化行政裁量負(fù)外部效應(yīng)的外在表現(xiàn)

    自動(dòng)化行政裁量與傳統(tǒng)行政裁量所追求的價(jià)值目標(biāo)具有同一性。然而,自動(dòng)化行政裁量固有的技術(shù)缺陷與人工智能嵌入行政裁量的理想圖景之間張力漸增,具體表現(xiàn)為行政權(quán)利與義務(wù)被技術(shù)性懸置、官僚系統(tǒng)越權(quán)與卸責(zé)蔓延、機(jī)械裁量與個(gè)案正義相沖突等。

    哈貝馬斯(Habermas)認(rèn)為參與交往行動(dòng)的主體愿意使其行動(dòng)計(jì)劃建立在一種共識(shí)的基礎(chǔ)之上,而這種共識(shí)又建立在對(duì)有效主張的相互表態(tài)和主體間承認(rèn)的基礎(chǔ)之上。然而,自動(dòng)化行政裁量過(guò)程的非交往性,容易導(dǎo)致行政法規(guī)定的告知說(shuō)明、陳述申辯、要求聽(tīng)證等權(quán)利與義務(wù)被技術(shù)性懸置。首先,行政機(jī)關(guān)的告知說(shuō)明義務(wù)被虛化。行政機(jī)關(guān)既可能以算法運(yùn)行黑箱為由不履行法定的告知說(shuō)明義務(wù),也可能囿于專業(yè)知識(shí)匱乏而無(wú)法釋明機(jī)器裁量原理。其次,行政相對(duì)人的陳述申辯權(quán)利名存實(shí)亡。核心在于,自動(dòng)化行政裁量的非現(xiàn)場(chǎng)性易導(dǎo)致相對(duì)人行使陳述申辯權(quán)利的時(shí)點(diǎn)發(fā)生了后移。最后,行政相對(duì)人要求聽(tīng)證的權(quán)利被實(shí)質(zhì)剝奪,聽(tīng)證程序因技術(shù)壁壘而被完全架空。域外已有與之相應(yīng)的立法動(dòng)態(tài),如《德國(guó)聯(lián)邦行政程序法》第28條規(guī)定“借助自動(dòng)化設(shè)備作出行政行為時(shí),可以免除事先聽(tīng)證程序”。

    受制于算法黑箱化運(yùn)行,自動(dòng)化行政裁量可能加劇現(xiàn)代官僚系統(tǒng)的越權(quán)與卸責(zé)伴生現(xiàn)象。自動(dòng)化行政裁量的外在表征通常為電子設(shè)備、機(jī)器屏幕,甚至可以籠統(tǒng)稱之為機(jī)器。自動(dòng)化行政裁量過(guò)程由多個(gè)關(guān)聯(lián)的行政行為及其輔助行為構(gòu)成,導(dǎo)致既有身份識(shí)別制度無(wú)從適用。行政人員以機(jī)器裁量為由進(jìn)行越權(quán)裁量或推卸責(zé)任,將引發(fā)侵權(quán)責(zé)任分配方式與比例的爭(zhēng)議。首先,行政權(quán)力包裹于算法權(quán)力之中,將會(huì)遮蔽行政人員可能的裁量越權(quán)行為。其次,在傳統(tǒng)問(wèn)責(zé)理論中,問(wèn)責(zé)力度越大,卸責(zé)可能性越高,二者呈因果互動(dòng)關(guān)系。若自動(dòng)化行政裁量引發(fā)的不利后果被問(wèn)責(zé),則自動(dòng)化系統(tǒng)將是行政人員轉(zhuǎn)移問(wèn)責(zé)壓力絕佳的“替罪羊”。官僚系統(tǒng)有組織的越權(quán)與卸責(zé)伴生蔓延,進(jìn)一步產(chǎn)生無(wú)法問(wèn)責(zé)自動(dòng)化行政裁量的連鎖后果。

    自動(dòng)化行政裁量的機(jī)械裁量與個(gè)案正義之間存在巨大張力,主要表現(xiàn)在法治價(jià)值空心化與裁量路徑依賴化。首先,效率優(yōu)位易引發(fā)價(jià)值迷失。雖然自動(dòng)化行政裁量提升行政效率的功用已得到普遍認(rèn)可,但在技術(shù)解決方案中如何實(shí)現(xiàn)法治價(jià)值并未受到應(yīng)有重視。一個(gè)著名的反對(duì)圖靈測(cè)試的理由是,雖然算法可以模仿道德,但除非算法理解它所做的道德選擇,否則它就不可能是道德的。若在自動(dòng)化行政裁量中堅(jiān)持效率優(yōu)位,將導(dǎo)致公平公正、程序正義等法治價(jià)值的失衡。其次,行政人員易被機(jī)器裁量的技術(shù)中立表象所迷惑。因技術(shù)萬(wàn)能而產(chǎn)生的路徑依賴,將會(huì)深層次、系統(tǒng)性地削弱行政人員的專業(yè)知識(shí)與裁量能力。

    (三)自動(dòng)化行政裁量負(fù)外部效應(yīng)的行政法檢視

    現(xiàn)代行政法已然踏上了人工智能開(kāi)拓的制度荒土,相對(duì)滯后甚至缺位的法律制度加劇了自動(dòng)化行政裁量負(fù)外部效應(yīng)的溢出。因此,有必要進(jìn)一步分析其負(fù)外部效應(yīng)的制度因素。

    以法律關(guān)系恒定為視角,自動(dòng)化行政裁量帶來(lái)了行政法律關(guān)系的微妙變化,傳統(tǒng)行政法面對(duì)其負(fù)外部效應(yīng)時(shí)供給不足。首先,行政機(jī)關(guān)數(shù)字化轉(zhuǎn)型促使行政裁量由“人際型”向“人機(jī)型”轉(zhuǎn)變。傳統(tǒng)行政裁量受人力資源、時(shí)間成本等影響,呈現(xiàn)“嚴(yán)格立法、選擇執(zhí)法”態(tài)勢(shì)。自動(dòng)化行政裁量則由“人機(jī)互動(dòng)”作出,設(shè)備設(shè)置不夠科學(xué)、行政執(zhí)法全域全時(shí)更是加劇了非現(xiàn)場(chǎng)執(zhí)法的“全民違法”現(xiàn)象。其次,自動(dòng)化裁量引發(fā)行政法律關(guān)系由“封閉型”向“開(kāi)放型”轉(zhuǎn)變。全網(wǎng)協(xié)同的自動(dòng)化行政裁量打破了行政法律規(guī)定中關(guān)于管轄地域的限制,裁量過(guò)程的主體多元化打破了行政法律規(guī)定中關(guān)于“兩造恒定”的限制。

    以法律秩序異化為視角,自動(dòng)化行政裁量被深深地打上了算法烙印,法律規(guī)范與算法規(guī)則皆成為維護(hù)行政秩序的現(xiàn)實(shí)工具。行政秩序由建立在傳統(tǒng)行政法基礎(chǔ)之上的“法律秩序”異化為由算法規(guī)則支配的“算法秩序”。隨著自動(dòng)化行政的普及,行政機(jī)關(guān)因技術(shù)中立和技術(shù)依賴而過(guò)度信任機(jī)器裁量,導(dǎo)致現(xiàn)代風(fēng)險(xiǎn)社會(huì)的行政秩序常常需要依賴不同的自動(dòng)化系統(tǒng)進(jìn)行維持。行政場(chǎng)域在事實(shí)上演變?yōu)楸桓鞣N算法規(guī)則所驅(qū)動(dòng)的計(jì)算空間,行政機(jī)關(guān)與相對(duì)人淪為算法規(guī)訓(xùn)對(duì)象。自動(dòng)化行政裁量依賴算法驅(qū)動(dòng),意味著以算法為中心重建了整個(gè)行政場(chǎng)域中的法律秩序。

    以法律適用缺陷為視角,當(dāng)前行政法沒(méi)有對(duì)自動(dòng)化行政進(jìn)行回應(yīng)性立法,更難以針對(duì)自動(dòng)化行政裁量進(jìn)行立法規(guī)制。相較于傳統(tǒng)行政裁量,自動(dòng)化行政裁量具有主體多元性、程序自動(dòng)性等算法技術(shù)特征,確有進(jìn)行特殊制度安排的立法必要性。具體而言,對(duì)裁量自動(dòng)化系統(tǒng)從設(shè)計(jì)研發(fā)到責(zé)任追究進(jìn)行有效規(guī)制的行政法尚處于空缺狀態(tài):在系統(tǒng)設(shè)計(jì)環(huán)節(jié),既未建立研發(fā)主體的市場(chǎng)準(zhǔn)人制度,也未建立行政主體的研發(fā)監(jiān)管制度;在運(yùn)行反饋環(huán)節(jié),既未構(gòu)建自動(dòng)化行政裁量的偏差預(yù)警機(jī)制,也未構(gòu)建裁量偏差的人為干預(yù)機(jī)制;在責(zé)任追究環(huán)節(jié),既未明確自動(dòng)化行政裁量的法律定位,也未建立自動(dòng)化行政裁量的信息披露制度。

    四、自動(dòng)化行政裁量的包容性規(guī)制原理

    作為全球人工智能技術(shù)發(fā)展的重要引領(lǐng)者,我國(guó)繼《全球發(fā)展倡議》《全球安全倡議》《全球文明倡議》之后,于2023年10月對(duì)外發(fā)布了《全球人工智能治理倡議》,倡導(dǎo)構(gòu)建一個(gè)兼顧發(fā)展與安全的人工智能包容性治理框架。在全球人工智能治理框架下.我國(guó)自動(dòng)化行政裁量規(guī)制方案的設(shè)定,應(yīng)當(dāng)堅(jiān)持以人為本和權(quán)利保障,推動(dòng)多利益攸關(guān)方積極參與,并強(qiáng)調(diào)規(guī)制過(guò)程的互動(dòng)合作和利益均衡,實(shí)行具有中國(guó)特色的包容性規(guī)制原理和方案。

    (一)包容性規(guī)制:自動(dòng)化行政裁量的規(guī)制原理

    行政裁量與包容性規(guī)制都呈現(xiàn)“利益均衡”的價(jià)值向度。自國(guó)務(wù)院2017年印發(fā)并實(shí)施《新一代人工智能發(fā)展規(guī)劃》以來(lái),積極推進(jìn)人工智能技術(shù)在行政領(lǐng)域的實(shí)踐運(yùn)用已成為我國(guó)的政策導(dǎo)向?,F(xiàn)代公共行政的生命在于裁量,行政裁量是通過(guò)利益博弈、協(xié)調(diào)及權(quán)衡實(shí)現(xiàn)實(shí)體內(nèi)容“均衡合理”的過(guò)程。當(dāng)前我國(guó)處于自動(dòng)化行政裁量應(yīng)用的無(wú)人區(qū),以《全球人工智能治理倡議》為代表主張包容性規(guī)制的全新方案,體現(xiàn)了本土規(guī)制理念的原創(chuàng)性。從理論源流看,包容性規(guī)制的創(chuàng)新提出,主要受中央所倡導(dǎo)的“共建共治共享”與“包容審慎監(jiān)管”理念的深刻啟發(fā):前者以包容為內(nèi)涵,首次出現(xiàn)在黨的十九大報(bào)告有關(guān)構(gòu)建社會(huì)治理格局的論述中,強(qiáng)調(diào)多元主體參與社會(huì)治理、共享治理成果;后者以包容為前提,在國(guó)務(wù)院有關(guān)加快新舊動(dòng)能轉(zhuǎn)換的指導(dǎo)意見(jiàn)中首次被提出,尤其是包容審慎原則于2021年被明確寫(xiě)入《中華人民共和國(guó)科學(xué)技術(shù)進(jìn)步法》第35條,所表達(dá)的激勵(lì)發(fā)展、增進(jìn)效率之要旨極為突出。

    包容性規(guī)制重視對(duì)弱強(qiáng)制色彩、未型式化行政行為的應(yīng)用,采用非正式機(jī)制回應(yīng)大數(shù)據(jù)、人工智能等新興技術(shù)的規(guī)制需求,為技術(shù)發(fā)展提供了必要的容錯(cuò)空間。隨著數(shù)字社會(huì)信息不對(duì)稱加劇,不同群體的信息需求日趨復(fù)雜,包容性規(guī)制因而呈現(xiàn)出濃郁的合作規(guī)制范式轉(zhuǎn)向,在規(guī)制制度形態(tài)上則表現(xiàn)為“多元行政法”。盡管包容性規(guī)制中充斥著大量不確定法律概念,但通過(guò)構(gòu)建“技術(shù)—制度”協(xié)同演化的試驗(yàn)性規(guī)制框架,有機(jī)會(huì)科學(xué)解決自動(dòng)化行政裁量引發(fā)的大部分負(fù)外部效應(yīng)。如前所述,負(fù)外部效應(yīng)既源自技術(shù)缺陷誘因,也有行政程序失范問(wèn)題,故構(gòu)建包容性規(guī)制框架就是在構(gòu)建一個(gè)以法律為基礎(chǔ),統(tǒng)合技術(shù)、倫理的多元治理秩序。其中,針對(duì)技術(shù)缺陷誘因,不僅應(yīng)堅(jiān)持人工智能治理中的以人為本原則,而且要實(shí)現(xiàn)行政裁量中的權(quán)利保障要求,因此在數(shù)字技術(shù)賦權(quán)公民參與的發(fā)展趨勢(shì)下,應(yīng)當(dāng)重視自動(dòng)化行政裁量的技術(shù)研發(fā)與創(chuàng)新應(yīng)用;針對(duì)行政程序失范,則需以行政過(guò)程論為視角全面、動(dòng)態(tài)考察自動(dòng)化行政裁量,適時(shí)引入技術(shù)性正當(dāng)程序推動(dòng)自動(dòng)化行政裁量應(yīng)用邊界的劃定與實(shí)質(zhì)化人工干預(yù)機(jī)制的構(gòu)建。技術(shù)賦權(quán)與技術(shù)性正當(dāng)程序均具有規(guī)制新興技術(shù)的前瞻性與包容性,二者共同服務(wù)于激勵(lì)發(fā)展與合理規(guī)制相協(xié)調(diào)的包容性規(guī)制目標(biāo)。概言之,包容性規(guī)制堅(jiān)守以人為本原則和權(quán)利保障要求,踐行技術(shù)賦權(quán)和技術(shù)性正當(dāng)程序,通過(guò)創(chuàng)新發(fā)展與合理規(guī)制之間的利益均衡,為全球的自動(dòng)化行政裁量規(guī)制提供了中國(guó)方案。

    (二)技術(shù)賦權(quán)趨勢(shì):以人為本與權(quán)利保障的雙向融合

    任何成熟的法律思想體系均離不開(kāi)作為邏輯起點(diǎn)的人的預(yù)設(shè),否則整個(gè)理論大廈將會(huì)坍塌。為降低人工智能應(yīng)用風(fēng)險(xiǎn),學(xué)界相繼提出了“人在環(huán)路”“人本主義”等哲學(xué)觀念,以及“機(jī)器倫理學(xué)”“道德計(jì)算觀”等倫理觀念,這些創(chuàng)新觀念無(wú)不指向了以人為本的科技倫理觀。隨著人工智能立法的持續(xù)推進(jìn),以人為本的科技倫理觀逐步成為降低人工智能應(yīng)用風(fēng)險(xiǎn)的標(biāo)準(zhǔn)指引。例如,歐盟2024年正式批準(zhǔn)了全球首部具有法律約束力的《人工智能法案》,該法案的立法目的之一即為“促進(jìn)以人為本與值得信賴的人工智能應(yīng)用”。

    若聚焦于自動(dòng)化行政領(lǐng)域,以人為本的科技倫理觀則體現(xiàn)為以人為本的行政理念。以人為本的行政理念是以“國(guó)家尊重與保障人權(quán)”的憲法要求作為邏輯起點(diǎn),其本質(zhì)內(nèi)涵為維護(hù)行政活動(dòng)中人的主體性與人格尊嚴(yán)。在數(shù)字社會(huì),行政相對(duì)人與行政機(jī)關(guān)獲得了普遍性的技術(shù)賦權(quán)。盡管新興技術(shù)為拉近二者關(guān)系創(chuàng)造了基礎(chǔ)架構(gòu),但這種雙向賦權(quán)方式在實(shí)踐中對(duì)行政機(jī)關(guān)的賦權(quán)遠(yuǎn)超行政相對(duì)人,帶來(lái)的后果是以人為本的行政理念并未完全融入保障相對(duì)人程序性權(quán)利的行政法之中。需要警惕的是,自動(dòng)化行政裁量的應(yīng)用初衷是為了提高行政裁量的一致性與成本效益,卻可能與人工智能所倡導(dǎo)的以人為本科技倫理觀和現(xiàn)代行政法所追求的程序性權(quán)利保障相悖。解決這一悖論的可行性進(jìn)路是將“以人為本”與“權(quán)利保障”進(jìn)行雙向融合,適應(yīng)自動(dòng)化行政裁量的技術(shù)賦權(quán)發(fā)展趨勢(shì),進(jìn)而提出技術(shù)性正當(dāng)程序理論。

    美國(guó)社會(huì)學(xué)家所羅門(mén)(Solomon)最早提出賦權(quán)理論,他認(rèn)為“賦權(quán)”是一個(gè)過(guò)程,外化為協(xié)助弱勢(shì)群體對(duì)抗社會(huì)壓迫以降低其無(wú)權(quán)感。美國(guó)政治學(xué)家亨廷頓(Huntington)進(jìn)一步指出,“若要保持政體穩(wěn)定,則需從提高公民參與程度與制度化程度兩方面著手”。該觀點(diǎn)在數(shù)字社會(huì)仍具有借鑒意義,并且技術(shù)在現(xiàn)代國(guó)家治理中的賦權(quán)、增權(quán)作用更加凸顯。技術(shù)賦權(quán)既增加了體制運(yùn)行的韌性與載荷,也拓寬了公民參與的機(jī)會(huì)和渠道。在“以人為本”與“權(quán)利保障”雙向融合的技術(shù)賦權(quán)趨勢(shì)下,自動(dòng)化行政裁量的系統(tǒng)研發(fā)、部署應(yīng)用及運(yùn)行反饋均應(yīng)以是否有助于保障行政相對(duì)人程序性權(quán)利作為重要判斷標(biāo)準(zhǔn)。此外,數(shù)字技術(shù)賦權(quán)公民參與,可以為自動(dòng)化行政裁量的事前、事中及事后規(guī)制提供評(píng)判尺度,糾偏技術(shù)賦能過(guò)度所帶來(lái)的行政權(quán)力無(wú)序擴(kuò)張,借此強(qiáng)化自動(dòng)化行政裁量應(yīng)用中的程序性權(quán)利保障。

    (三)技術(shù)性正當(dāng)程序:正當(dāng)程序的數(shù)字化升級(jí)與過(guò)程論闡釋

    目前學(xué)界針對(duì)自動(dòng)化行政的規(guī)制研究,形成了信息權(quán)利規(guī)制、算法權(quán)利規(guī)制、行政過(guò)程規(guī)制三種主流方案。相較于后一種方案的程序法屬性,前兩種方案均屬于實(shí)體法范疇。作為自動(dòng)化行政的下位概念,自動(dòng)化行政裁量的規(guī)制方案應(yīng)當(dāng)由實(shí)體法轉(zhuǎn)向程序法,這可以從算法定義、行政概念、爭(zhēng)議屬性等維度找到合理依據(jù)。其一,算法主導(dǎo)了各領(lǐng)域人工智能應(yīng)用運(yùn)行的全生命周期。因此,阿比特博(Abiteboul)將算法定義為“解決問(wèn)題的進(jìn)程”。其二,行政是一個(gè)動(dòng)態(tài)、連續(xù)的過(guò)程,由多個(gè)關(guān)聯(lián)環(huán)節(jié)組成并且分步驟進(jìn)行。其三,自動(dòng)化行政裁量風(fēng)險(xiǎn)本質(zhì)是程序性爭(zhēng)議,主要源于機(jī)器裁量中產(chǎn)生的程序價(jià)值損失。

    引入行政過(guò)程論對(duì)自動(dòng)化行政裁量進(jìn)行分析,對(duì)于變革行政法學(xué)研究范式具有重要的方法論意義。遠(yuǎn)藤博也、鹽野宏等日本學(xué)者最早提出的行政過(guò)程論屬于典型的程序規(guī)制理論,可以對(duì)行政裁量的行為與要素進(jìn)行全面、動(dòng)態(tài)的考察。傳統(tǒng)正當(dāng)程序的中立性、參與性、公開(kāi)性等最低限度要求具有“魯棒性”,不因人工智能技術(shù)在行政裁量領(lǐng)域的應(yīng)用而貶損。美國(guó)學(xué)者希特倫(Cit-ron)對(duì)傳統(tǒng)正當(dāng)程序進(jìn)行技術(shù)性改造后,于2008年在《華盛頓大學(xué)法律評(píng)論》上提出了具有賦能取向的技術(shù)性正當(dāng)程序(Technological Due Process)理論。隨后,該理論被寫(xiě)入美國(guó)電氣電子工程師協(xié)會(huì)(IEEE) 2017年發(fā)布的第2版《符合倫理的設(shè)計(jì)(Ethically Aligned Design)》法律部分之中。從理論演進(jìn)脈絡(luò)來(lái)看,技術(shù)性正當(dāng)程序是行政過(guò)程論在自動(dòng)化行政領(lǐng)域的重大理論發(fā)展,有效克服了傳統(tǒng)正當(dāng)程序在數(shù)字社會(huì)的解釋力失靈問(wèn)題,有助于充實(shí)自動(dòng)化行政裁量負(fù)外部效應(yīng)的包容性規(guī)制框架。

    技術(shù)性正當(dāng)程序強(qiáng)調(diào)對(duì)行政相對(duì)人的技術(shù)賦權(quán),以參與性、中立性、公開(kāi)性等為最低限度要求,圍繞軌跡留存、系統(tǒng)測(cè)試、理性聽(tīng)證、原理公開(kāi)等過(guò)程要素而展開(kāi)。第一,在自動(dòng)化系統(tǒng)中留存審計(jì)軌跡,既可以建立行政行為的使用臺(tái)賬,也可以增強(qiáng)自動(dòng)化裁量的可解釋性。第二,自動(dòng)化系統(tǒng)在投入使用前、運(yùn)行期間及內(nèi)置規(guī)范修改時(shí)應(yīng)進(jìn)行嚴(yán)格的測(cè)試評(píng)估,這既有利于識(shí)別設(shè)計(jì)環(huán)節(jié)的算法偏見(jiàn),也有助于發(fā)現(xiàn)轉(zhuǎn)譯過(guò)程的規(guī)范誤讀。第三,建立聽(tīng)證法官的技術(shù)培訓(xùn)機(jī)制與決策釋明機(jī)制,可以確保相對(duì)人獲得“被聽(tīng)取意見(jiàn)的機(jī)會(huì)”。第四,以透明性與可問(wèn)責(zé)性作為設(shè)計(jì)目標(biāo),合理公開(kāi)自動(dòng)化系統(tǒng)的數(shù)據(jù)及算法。政府預(yù)算部門(mén)可以將算法公開(kāi)作為提供資金的先決條件,采購(gòu)部門(mén)可以在簽訂合同時(shí)明確研發(fā)機(jī)構(gòu)的公開(kāi)義務(wù)。

    五、自動(dòng)化行政裁量的包容性規(guī)制路徑

    對(duì)自動(dòng)化行政裁量進(jìn)行過(guò)程規(guī)制,應(yīng)當(dāng)基于包容性規(guī)制原理,實(shí)現(xiàn)激勵(lì)發(fā)展與合理規(guī)制相協(xié)調(diào)的價(jià)值目標(biāo)。在此過(guò)程中,若自動(dòng)化行政裁量的質(zhì)量具有提升可能性,則應(yīng)從激勵(lì)發(fā)展視角思考如何建構(gòu)技術(shù)創(chuàng)新方案。若自動(dòng)化行政裁量的質(zhì)量不具有改良可行性,則應(yīng)從合理規(guī)制視角思考如何建構(gòu)法律規(guī)制方案。

    (一)技術(shù)創(chuàng)新推動(dòng)自動(dòng)化行政裁量的質(zhì)量控制

    習(xí)近平總書(shū)記在2016年全國(guó)科技創(chuàng)新大會(huì)上強(qiáng)調(diào),“科技創(chuàng)新、制度創(chuàng)新要協(xié)同發(fā)揮作用,兩個(gè)輪子一起轉(zhuǎn)”。制度工具通常是在技術(shù)工具無(wú)效的情況下才出場(chǎng)。在通過(guò)制度工具解決自動(dòng)化行政裁量負(fù)外部性前,應(yīng)先在“技術(shù)一制度”框架下探索可行的技術(shù)路徑。學(xué)者關(guān)于自動(dòng)化行政裁量的規(guī)制研究,深受人工智能“通用技術(shù)+通用流程”的影響而在認(rèn)識(shí)論維度存在不足。但并非在通用領(lǐng)域取得成功的技術(shù)都可以適用于行政裁量領(lǐng)域,照搬通用技術(shù)的質(zhì)量控制方案往往成效不彰。自動(dòng)化行政裁量在研發(fā)主體、技術(shù)路徑、數(shù)據(jù)知識(shí)、模型設(shè)計(jì)等方面具有領(lǐng)域特殊性,使得人工智能通用技術(shù)遭遇了特定的技術(shù)障礙。為實(shí)現(xiàn)法治引領(lǐng)科技向善,需要將行政法學(xué)理論映射到人工智能通用技術(shù)的質(zhì)量控制方案之中。

    在研發(fā)主體方面,法律專家“單向度”的認(rèn)知障礙導(dǎo)致其長(zhǎng)期游離于技術(shù)研發(fā)之外。事實(shí)上,法律專家與技術(shù)專家的對(duì)話合作,有助于破除“領(lǐng)域知識(shí)壁壘”。在“十三五”至“十四五”期間,科技部發(fā)布了若干涉及智慧司法、社會(huì)治理的國(guó)家重點(diǎn)研發(fā)計(jì)劃,東南大學(xué)、清華大學(xué)等高校法學(xué)教授牽頭的多項(xiàng)重點(diǎn)專項(xiàng)獲批,表明國(guó)家層面鼓勵(lì)法律專家結(jié)合專業(yè)知識(shí)在技術(shù)研發(fā)中扮演積極角色的科研導(dǎo)向。因此,法律專家在技術(shù)研發(fā)中的角色與狀態(tài)應(yīng)由“游離”轉(zhuǎn)變?yōu)椤扒度搿保纬伞胺蓪<?技術(shù)專家”的研發(fā)主體人員結(jié)構(gòu)。

    在技術(shù)路徑方面,人工智能的道德設(shè)計(jì)通常有“自上而下”“自下而上”兩種技術(shù)方案。道德判斷依賴于價(jià)值判斷,英美法語(yǔ)境中的價(jià)值判斷對(duì)應(yīng)于歐陸法中的自由裁量,二者在技術(shù)路徑上具有一致性。其中,“自上而下”模式預(yù)設(shè)了知識(shí)框架,依賴專家知識(shí)的人工構(gòu)建;“自下而上”模式雖沒(méi)有預(yù)設(shè)知識(shí)框架,但依靠機(jī)器學(xué)習(xí)的自動(dòng)獲取。自動(dòng)化行政裁量的技術(shù)復(fù)雜性,促使現(xiàn)階段“自上而下”模式占據(jù)了主流地位?!白韵露稀蹦J街械淖匀徽Z(yǔ)言處理(NLP)、光學(xué)字符識(shí)別(OCR)、計(jì)算機(jī)視覺(jué)(CV)等技術(shù)應(yīng)用問(wèn)題較多,仍需大量的人工干預(yù)進(jìn)行裁量糾錯(cuò)。隨著技術(shù)發(fā)展,未來(lái)可通過(guò)“自上而下”與“自下而上”的融合路徑,推動(dòng)行政裁量領(lǐng)域知識(shí)框架的自動(dòng)化構(gòu)建。

    在數(shù)據(jù)知識(shí)方面,自動(dòng)化行政領(lǐng)域的數(shù)據(jù)知識(shí)要求與通用技術(shù)領(lǐng)域截然不同,這種區(qū)別表征為訓(xùn)練數(shù)據(jù)集、法律知識(shí)庫(kù)的構(gòu)建依據(jù)與更新頻次不同。德國(guó)民法學(xué)者拉倫茨(Larenz)將“構(gòu)成要件”與“法律后果”視作法律規(guī)范的基本邏輯結(jié)構(gòu)。法律構(gòu)成要件屬于法律規(guī)范的最小單元。在訓(xùn)練數(shù)據(jù)集創(chuàng)建伊始,為提高數(shù)據(jù)質(zhì)量,可以遵循“法律規(guī)范一解構(gòu)標(biāo)注一深度學(xué)習(xí)一人工智能”路徑,提取法律規(guī)范中的構(gòu)成要件作為數(shù)據(jù)標(biāo)注的標(biāo)簽特征。此外,自動(dòng)化行政裁量依賴的法律法規(guī)、法條釋義、司法解釋等法律知識(shí)內(nèi)容龐雜且更新較快,因此法律知識(shí)庫(kù)在創(chuàng)建完成后需要保持動(dòng)態(tài)更新才能確保其有效性。

    在模型設(shè)計(jì)方面,數(shù)據(jù)驅(qū)動(dòng)的同時(shí)若將規(guī)范要求融入模型設(shè)計(jì),可以對(duì)機(jī)器裁量進(jìn)行前置性糾偏。在實(shí)踐中,可供選擇的技術(shù)實(shí)現(xiàn)方法不一而足,示例如下:一是基于有向無(wú)環(huán)圖技術(shù)習(xí)近平:《為建設(shè)世界科技強(qiáng)國(guó)而奮斗》,載《人民日?qǐng)?bào)》2016年6月1日第2版。(DAG)將行政裁量“三段論”推理建模為多層級(jí)任務(wù)的因果關(guān)系,貝葉斯網(wǎng)絡(luò)(BayesianNetwork)就是典型的有向無(wú)環(huán)圖模型;二是使用事前可解釋性(Ante - Hoc)、事后可解釋性(Post-Hoc)的機(jī)器學(xué)習(xí)模型,推動(dòng)算法模型的可解釋性迭代;三是基于模糊邏輯理論,在模型設(shè)計(jì)中解析不確定法律概念、認(rèn)定不完備待證事實(shí)并作出模糊綜合評(píng)判。

    (二)法律保留作為自動(dòng)化行政裁量的應(yīng)用界限

    為從根源上規(guī)避自動(dòng)化行政裁量的負(fù)外部效應(yīng),有必要對(duì)其適用范圍加以限制。當(dāng)前技術(shù)正在快速迭代,若按照以往中國(guó)制度建設(shè)“三張清單”的方式,將因數(shù)字社會(huì)治理的異步困境而較難提出有效的自動(dòng)化行政裁量應(yīng)用清單。行政權(quán)力本質(zhì)上屬于一種由法律設(shè)定與控制的國(guó)家公權(quán)力,并且不是所有的法律規(guī)范都適合進(jìn)行代碼轉(zhuǎn)譯,因此自動(dòng)化行政裁量的適用范圍應(yīng)遵循法律保留的合理限制。至于法律保留采取何種模式作為自動(dòng)化行政裁量的應(yīng)用界限,可參照《中華人民共和國(guó)個(gè)人信息保護(hù)法》(以下簡(jiǎn)稱《個(gè)人信息保護(hù)法》)與歐盟《通用數(shù)據(jù)保護(hù)條例》(以下簡(jiǎn)稱GDPR)禁止完全自動(dòng)化決策的“原則+例外”規(guī)范模式:《個(gè)人信息保護(hù)法》第24條與GDPR第22條第1項(xiàng)規(guī)定了禁止完全自動(dòng)化決策的一般原則,GDPR第22條第2項(xiàng)規(guī)定了禁止完全自動(dòng)化決策的例外情形。

    自動(dòng)化行政裁量的原則禁止,主要針對(duì)以全自動(dòng)化形式作出行政裁量的情形。除非有法律規(guī)范的明確授權(quán),否則不得以完全自動(dòng)化方式作出行政裁量,這屬于法律保留的經(jīng)典表達(dá)。對(duì)此,德國(guó)《聯(lián)邦行政程序法》2017年修法引入全自動(dòng)化行政概念時(shí),在第35a條明確對(duì)行政裁量情形進(jìn)行了附條件的禁止性規(guī)定。德國(guó)立法者對(duì)完全自動(dòng)化行政裁量所秉持的加重法律保留態(tài)度,根源在于機(jī)器無(wú)法適用于需通過(guò)個(gè)案解決進(jìn)行法律續(xù)造的領(lǐng)域。之所以設(shè)定這種原則性應(yīng)用界限,與全自動(dòng)化行政裁量的技術(shù)局限與法治國(guó)原則下的權(quán)利保障息息相關(guān)。一方面,行政裁量要求行政人員在事實(shí)與規(guī)范之間不斷保持目光的“往返流轉(zhuǎn)”,但全自動(dòng)化行政裁量的自動(dòng)性、單向性決定了其無(wú)法在事實(shí)與規(guī)范之間反復(fù)對(duì)比。另一方面,全自動(dòng)化行政裁量應(yīng)用始終存在行政效能與權(quán)利保障之間的張力。這是因?yàn)槿詣?dòng)化行政裁量雖然顯著提升了行政效能,但其“去人類中心化”趨勢(shì)卻動(dòng)搖了人的主體性地位。

    自動(dòng)化行政裁量的例外允許,主要針對(duì)以半自動(dòng)化形式作出行政裁量的情形。若一律禁止自動(dòng)化行政裁量應(yīng)用,有違數(shù)字政府建設(shè)與行政體制改革的初衷。人工智能在技術(shù)原理上并非完全不可控,針對(duì)半自動(dòng)化行政裁量的“允許性保留”是實(shí)現(xiàn)個(gè)案正義的有效方式。要求法律規(guī)范對(duì)全自動(dòng)化行政裁量進(jìn)行明確授權(quán),同樣意味著立法者應(yīng)當(dāng)在特別法中明確半自動(dòng)化行政裁量的應(yīng)用界限。在立法模式上,由于技術(shù)發(fā)展與人類認(rèn)知間的交互作用效應(yīng),半自動(dòng)化行政裁量不宜采取統(tǒng)一立法模式,而應(yīng)進(jìn)行個(gè)別性立法權(quán)衡。在功能定位上,“人機(jī)協(xié)同”意味著“人機(jī)互助”與“人機(jī)互限”,故以“人機(jī)協(xié)同”定義行政機(jī)關(guān)與人工智能的關(guān)系更為恰當(dāng)。在適用事項(xiàng)上,從“人機(jī)協(xié)同”的關(guān)系定位出發(fā),確立半自動(dòng)化行政裁量適用事項(xiàng)的“充分+簡(jiǎn)單”選擇標(biāo)準(zhǔn):其一,裁量因子是機(jī)器裁量的基礎(chǔ),因此在形式上應(yīng)先判斷某一事項(xiàng)的行為與后果形態(tài)是否可以充分轉(zhuǎn)碼為自動(dòng)化系統(tǒng)的裁量因子;其二,機(jī)器裁量在處理低復(fù)雜度事項(xiàng)時(shí)比人類表現(xiàn)的更加公正,因此在實(shí)質(zhì)上應(yīng)判斷某一事項(xiàng)的內(nèi)容復(fù)雜程度,從中選取高發(fā)常見(jiàn)、事實(shí)清楚、爭(zhēng)議不大并且易于數(shù)據(jù)化的簡(jiǎn)單事項(xiàng)。

    (三)基于技術(shù)性正當(dāng)程序的實(shí)質(zhì)人工干預(yù)機(jī)制

    行政領(lǐng)域的人工智能居于輔助地位已是共識(shí),對(duì)自動(dòng)化行政進(jìn)行人工干預(yù)是不言自明的。但是,當(dāng)前的人工干預(yù)并不以實(shí)際參與程度與干涉效果作為評(píng)判標(biāo)準(zhǔn),“口號(hào)式”的人工干預(yù)儼然成為自動(dòng)化行政弊端的“遮羞布”。在自動(dòng)化行政裁量中,行政機(jī)關(guān)需面對(duì)人工智能對(duì)其行政行為的實(shí)質(zhì)拘束,相對(duì)人需應(yīng)對(duì)人工智能對(duì)其程序權(quán)利的實(shí)質(zhì)侵蝕。因此,作為解困之道的人工干預(yù)機(jī)制,亟需從形式化走向?qū)嵸|(zhì)化。人工干預(yù)機(jī)制的實(shí)質(zhì)化配置過(guò)程,需要對(duì)照技術(shù)性正當(dāng)程序的最低限度要求而展開(kāi)。

    在程序參與維度,圍繞“人在回路”構(gòu)建行政監(jiān)督與行政參與機(jī)制。所謂“人在回路”(Hu-man in the Loop),通常是指人有意義的存在于算法決策回路中。在自動(dòng)化行政裁量中,“人在回路”謀求建立一種人機(jī)交互的混合決策模式。混合決策意味著在決策場(chǎng)景中,將人工監(jiān)督內(nèi)嵌于人工智能系統(tǒng)的工作流程。歐盟《人工智能法案》序言第91條提出,“執(zhí)行人工監(jiān)督的人員應(yīng)具備必要的能力,特別是適當(dāng)?shù)娜斯ぶ悄苤R(shí)水平、培訓(xùn)以及適當(dāng)履行這些任務(wù)的權(quán)力”。這其實(shí)是強(qiáng)調(diào)人工智能應(yīng)用中的人工監(jiān)督應(yīng)當(dāng)是一種有意義的監(jiān)督,人在回路中扮演了錯(cuò)誤糾正、故障介入、決策正當(dāng)化、責(zé)任承擔(dān)等實(shí)質(zhì)化人工干預(yù)角色,可以最大限度規(guī)避算法決策下的“判斷力萎縮”(Judgemental Atrophy)。但人工干預(yù)的法律效果應(yīng)受到“禁止不利變更原則”的約束。即,若人工干預(yù)后的自動(dòng)化裁量結(jié)果對(duì)行政相對(duì)人更為不利,則應(yīng)維持自動(dòng)化裁量結(jié)果不變。

    在程序中立維度,圍繞增強(qiáng)聽(tīng)證人員與行政相對(duì)人的信息能力而展開(kāi)。首先,行政機(jī)關(guān)應(yīng)建立技術(shù)培訓(xùn)機(jī)制,提高聽(tīng)證人員對(duì)自動(dòng)化行政裁量的技術(shù)認(rèn)知,確保行政相對(duì)人可以獲得“被聽(tīng)取意見(jiàn)”的公平機(jī)會(huì)。而在聽(tīng)證報(bào)告中,行政機(jī)關(guān)應(yīng)要求聽(tīng)證人員就初步裁決結(jié)論與自動(dòng)化裁量結(jié)果的關(guān)聯(lián)性進(jìn)行說(shuō)明,這屬于一種干預(yù)并糾正聽(tīng)證人員偏見(jiàn)的裁決釋明機(jī)制。其次,行政機(jī)關(guān)應(yīng)要求系統(tǒng)供應(yīng)商在自動(dòng)化系統(tǒng)中設(shè)置“留存審計(jì)軌跡”的功能。審計(jì)軌跡包括與自動(dòng)化行政裁量過(guò)程相關(guān)的案件事實(shí)、規(guī)則依據(jù)等原始記錄。相應(yīng)的,行政機(jī)關(guān)應(yīng)配套建立針對(duì)審計(jì)軌跡的自動(dòng)留存與防止篡改機(jī)制。最后,行政機(jī)關(guān)應(yīng)要求系統(tǒng)研發(fā)主體在系統(tǒng)使用前與調(diào)整后均開(kāi)展測(cè)試與評(píng)估。在制定測(cè)試標(biāo)準(zhǔn)時(shí),應(yīng)以ISO標(biāo)準(zhǔn)、國(guó)家標(biāo)準(zhǔn)等權(quán)威標(biāo)準(zhǔn)為先導(dǎo),以企業(yè)內(nèi)部標(biāo)準(zhǔn)作為重要補(bǔ)充。在制定評(píng)估標(biāo)準(zhǔn)時(shí),應(yīng)當(dāng)將行業(yè)倡議、道德倫理等社會(huì)共識(shí)作為重要依據(jù)。

    在程序公開(kāi)維度,圍繞技術(shù)原理公開(kāi)與行政信息告知展開(kāi)。行政機(jī)關(guān)既應(yīng)承擔(dān)公開(kāi)自動(dòng)化系統(tǒng)技術(shù)原理的義務(wù),也應(yīng)承擔(dān)向相對(duì)人告知“有意義的通知”的義務(wù)。首先,行政機(jī)關(guān)可以要求系統(tǒng)供應(yīng)商以透明性與可問(wèn)責(zé)性作為系統(tǒng)設(shè)計(jì)目標(biāo),并且公開(kāi)自動(dòng)化系統(tǒng)的源代碼與算法。例如,行政機(jī)關(guān)內(nèi)部的預(yù)算管理部門(mén)可以將“公開(kāi)源代碼與算法”作為預(yù)算編報(bào)條件,實(shí)際使用部門(mén)可以將“公開(kāi)源代碼與算法”作為合同必備條件。其次,行政機(jī)關(guān)在自動(dòng)化行政裁量過(guò)程中應(yīng)向相對(duì)人告知“有意義的信息”。當(dāng)前,行政機(jī)關(guān)的電子告知事項(xiàng)存在立法缺陷,導(dǎo)致自動(dòng)化行政裁量面臨信任危機(jī)。未來(lái)應(yīng)當(dāng)統(tǒng)一電子告知事項(xiàng)的案件事實(shí)、職權(quán)依據(jù),告知行政相對(duì)人享有的權(quán)利、救濟(jì)途徑等具體內(nèi)容。只有約束行政主體按照法定程序進(jìn)行信息告知,才能有效預(yù)防行政主體在行使裁量權(quán)過(guò)程中濫用職權(quán)、恣意裁量等現(xiàn)象的發(fā)生,提高行政裁量行為的準(zhǔn)確性,確保行政裁量行為的合法性。

    六、結(jié)語(yǔ)

    人類社會(huì)自16世紀(jì)以來(lái)經(jīng)歷了多次重大科技革命,如機(jī)械化、電氣化、信息化、智能化等。前幾次科技革命對(duì)人類生產(chǎn)生活的影響,更多的是把人類從體力勞動(dòng)中解放出來(lái)。當(dāng)前以大數(shù)據(jù)、人工智能為代表的新一輪科技革命,呈現(xiàn)全行業(yè)替代人類的發(fā)展趨勢(shì),正在形成以數(shù)字化、智能化新技術(shù)為支撐的新質(zhì)生產(chǎn)力。隨著現(xiàn)代行政國(guó)家的崛起,“人機(jī)關(guān)系”成為了“人際關(guān)系”的重要補(bǔ)充,數(shù)據(jù)驅(qū)動(dòng)下的智能機(jī)器脫離了工具屬性,開(kāi)始具備自動(dòng)化裁量能力。新興技術(shù)融入行政裁量所引發(fā)的負(fù)外部效應(yīng)已經(jīng)凸顯,對(duì)既有的行政管理與行政法治產(chǎn)生了巨大沖擊,成為新時(shí)代數(shù)字法治中國(guó)建設(shè)中亟需解決的重大命題?!肮步ü仓喂蚕怼迸c“包容審慎監(jiān)管”是當(dāng)前我國(guó)推動(dòng)數(shù)字經(jīng)濟(jì)社會(huì)高質(zhì)量發(fā)展的原創(chuàng)性規(guī)制理念,為理解激勵(lì)發(fā)展與合理規(guī)制的二元關(guān)系提供了鮮活的制度樣本。面對(duì)技術(shù)創(chuàng)新與經(jīng)濟(jì)發(fā)展的高度不確定性,包容性規(guī)制理念的提出,代表了現(xiàn)代行政法學(xué)研究范式從“規(guī)制導(dǎo)向型”向“發(fā)展導(dǎo)向型”的演化趨勢(shì)。為應(yīng)對(duì)公共行政領(lǐng)域人機(jī)關(guān)系的深刻變革,學(xué)術(shù)界與實(shí)務(wù)界應(yīng)當(dāng)形成包容性規(guī)制的理念共識(shí),充分研判人機(jī)關(guān)系變革可能引發(fā)的法律問(wèn)題,遵循自動(dòng)化行政裁量的行政屬性,堅(jiān)持以人為本與權(quán)利保障相融合,遵循技術(shù)性正當(dāng)程序的程序規(guī)制框架,提升我國(guó)在自動(dòng)化行政裁量規(guī)范化與法治化進(jìn)程中的國(guó)際規(guī)則引領(lǐng)。

    (責(zé)任編輯:王青斌)

    基金項(xiàng)目:2024年山西省高等學(xué)校哲學(xué)社會(huì)科學(xué)研究項(xiàng)目“自動(dòng)化行政技術(shù)性正當(dāng)程序的系統(tǒng)建構(gòu)”(項(xiàng)目編號(hào):2024W003)的階段性成果。

    猜你喜歡
    人工智能
    我校新增“人工智能”本科專業(yè)
    用“小AI”解決人工智能的“大”煩惱
    汽車零部件(2020年3期)2020-03-27 05:30:20
    當(dāng)人工智能遇見(jiàn)再制造
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    AI人工智能解疑答問(wèn)
    人工智能與就業(yè)
    基于人工智能的電力系統(tǒng)自動(dòng)化控制
    人工智能,來(lái)了
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    人工智能來(lái)了
    国产乱人视频| 亚洲精品色激情综合| 99久久精品热视频| 99国产精品一区二区蜜桃av| 亚洲人成电影免费在线| 国产高清三级在线| 亚洲欧美日韩东京热| 成人av一区二区三区在线看| 免费高清视频大片| 亚洲一区高清亚洲精品| 在线观看午夜福利视频| 嫩草影院新地址| 露出奶头的视频| 色综合站精品国产| 制服丝袜大香蕉在线| 久久久精品欧美日韩精品| 日本a在线网址| 最近最新免费中文字幕在线| 毛片女人毛片| bbb黄色大片| 亚洲欧美日韩东京热| 一个人免费在线观看电影| 亚洲自偷自拍三级| 亚洲内射少妇av| 免费看美女性在线毛片视频| 99久久无色码亚洲精品果冻| 日本一二三区视频观看| 亚洲人与动物交配视频| 99热这里只有是精品在线观看 | 又黄又爽又免费观看的视频| 一个人看视频在线观看www免费| 国产视频一区二区在线看| 国产午夜福利久久久久久| 色综合亚洲欧美另类图片| 久久久久久久精品吃奶| 亚洲美女搞黄在线观看 | 老司机午夜十八禁免费视频| 中文资源天堂在线| 午夜影院日韩av| 欧美性猛交黑人性爽| 久久久久国内视频| 天堂网av新在线| 亚洲经典国产精华液单 | 欧美国产日韩亚洲一区| 精品一区二区三区视频在线观看免费| 99热只有精品国产| 最近在线观看免费完整版| 国产色爽女视频免费观看| 日本成人三级电影网站| 精品乱码久久久久久99久播| 国产淫片久久久久久久久 | 午夜福利18| 噜噜噜噜噜久久久久久91| 狂野欧美白嫩少妇大欣赏| 国产欧美日韩精品一区二区| 国产精品久久久久久亚洲av鲁大| 日本a在线网址| 国产单亲对白刺激| 少妇高潮的动态图| 午夜a级毛片| 搡老妇女老女人老熟妇| 亚洲国产精品久久男人天堂| 又紧又爽又黄一区二区| 天堂动漫精品| 欧美xxxx性猛交bbbb| 波多野结衣巨乳人妻| 成人国产一区最新在线观看| 亚洲av一区综合| 亚洲成a人片在线一区二区| 99久久99久久久精品蜜桃| 男人舔奶头视频| 亚洲无线在线观看| 极品教师在线视频| 757午夜福利合集在线观看| 一a级毛片在线观看| 国产av不卡久久| 国产精品,欧美在线| 亚洲最大成人中文| 日日摸夜夜添夜夜添av毛片 | 色综合婷婷激情| 在线a可以看的网站| 国产极品精品免费视频能看的| 久久国产乱子伦精品免费另类| 国产私拍福利视频在线观看| 亚洲狠狠婷婷综合久久图片| 最近最新免费中文字幕在线| 亚洲成人久久爱视频| 中文字幕免费在线视频6| 久久久精品大字幕| 亚洲中文日韩欧美视频| 91av网一区二区| 嫩草影院新地址| 欧美另类亚洲清纯唯美| 老熟妇乱子伦视频在线观看| 五月玫瑰六月丁香| 热99re8久久精品国产| 看黄色毛片网站| 国产精品久久久久久亚洲av鲁大| 国产精品久久久久久人妻精品电影| 内地一区二区视频在线| 身体一侧抽搐| 成年女人永久免费观看视频| 一级av片app| 久久久久国产精品人妻aⅴ院| 欧美bdsm另类| 国产精品嫩草影院av在线观看 | 91九色精品人成在线观看| 最好的美女福利视频网| 国产伦人伦偷精品视频| 欧美高清性xxxxhd video| 欧美最新免费一区二区三区 | 欧美日韩亚洲国产一区二区在线观看| 亚洲中文字幕日韩| 久久中文看片网| 国产三级黄色录像| 真人一进一出gif抽搐免费| 国产在线精品亚洲第一网站| av天堂在线播放| 我要搜黄色片| 欧美一级a爱片免费观看看| 熟妇人妻久久中文字幕3abv| 高清日韩中文字幕在线| 久久久国产成人免费| 国产精品亚洲av一区麻豆| 给我免费播放毛片高清在线观看| 国产av在哪里看| 亚洲精品日韩av片在线观看| 久久中文看片网| 我要看日韩黄色一级片| 午夜老司机福利剧场| 国产成人欧美在线观看| 99精品在免费线老司机午夜| av福利片在线观看| 亚洲精品日韩av片在线观看| 亚洲av日韩精品久久久久久密| 18禁裸乳无遮挡免费网站照片| 老司机午夜福利在线观看视频| 看片在线看免费视频| 在线观看免费视频日本深夜| 日韩欧美精品v在线| 女生性感内裤真人,穿戴方法视频| 久久久久久久久久黄片| 动漫黄色视频在线观看| 亚洲中文字幕一区二区三区有码在线看| 少妇人妻一区二区三区视频| 午夜福利免费观看在线| 一本久久中文字幕| 国产美女午夜福利| 色av中文字幕| 看片在线看免费视频| 夜夜看夜夜爽夜夜摸| 欧美在线黄色| 国产一区二区激情短视频| 老鸭窝网址在线观看| 日本黄色片子视频| 中文字幕久久专区| 在线a可以看的网站| 日韩成人在线观看一区二区三区| 精品久久国产蜜桃| 久久久久性生活片| 欧美乱色亚洲激情| 亚洲,欧美,日韩| 美女高潮的动态| 性欧美人与动物交配| 国产又黄又爽又无遮挡在线| 国产伦一二天堂av在线观看| 欧美精品啪啪一区二区三区| 999久久久精品免费观看国产| 久久精品久久久久久噜噜老黄 | 欧美成人a在线观看| a在线观看视频网站| 欧美成狂野欧美在线观看| 久9热在线精品视频| 精品欧美国产一区二区三| 1024手机看黄色片| 99精品久久久久人妻精品| 在线免费观看不下载黄p国产 | 日韩亚洲欧美综合| 无人区码免费观看不卡| 欧美3d第一页| 色尼玛亚洲综合影院| 欧美最黄视频在线播放免费| 日韩国内少妇激情av| 欧美日韩综合久久久久久 | 丁香六月欧美| 搞女人的毛片| 国产精品1区2区在线观看.| av在线蜜桃| 搡女人真爽免费视频火全软件 | 少妇丰满av| 精品国产三级普通话版| 国产蜜桃级精品一区二区三区| 五月玫瑰六月丁香| 成年女人永久免费观看视频| 最近视频中文字幕2019在线8| 午夜亚洲福利在线播放| 免费搜索国产男女视频| 一本久久中文字幕| 午夜激情福利司机影院| 免费看日本二区| 久久伊人香网站| 国产色爽女视频免费观看| 欧美潮喷喷水| 搞女人的毛片| 久久香蕉精品热| 成人av一区二区三区在线看| 久久人人精品亚洲av| 黄色女人牲交| 亚洲内射少妇av| 久久亚洲真实| 青草久久国产| 夜夜夜夜夜久久久久| 国产精品久久电影中文字幕| 国产大屁股一区二区在线视频| 9191精品国产免费久久| 国产伦一二天堂av在线观看| av欧美777| 久久精品国产清高在天天线| 欧美精品国产亚洲| 18禁在线播放成人免费| 男女视频在线观看网站免费| 一本一本综合久久| 校园春色视频在线观看| 少妇的逼水好多| 国产精品一区二区三区四区免费观看 | 午夜激情福利司机影院| 欧美中文日本在线观看视频| 高清在线国产一区| 可以在线观看毛片的网站| 一本综合久久免费| 国产精品国产高清国产av| 悠悠久久av| 黄色女人牲交| 丝袜美腿在线中文| 99riav亚洲国产免费| 18禁黄网站禁片午夜丰满| 亚洲第一欧美日韩一区二区三区| 成人一区二区视频在线观看| 日韩精品中文字幕看吧| 免费在线观看影片大全网站| av国产免费在线观看| 国产一区二区激情短视频| 天天躁日日操中文字幕| 99精品久久久久人妻精品| 直男gayav资源| 国产午夜精品论理片| 午夜福利高清视频| 国产高清激情床上av| or卡值多少钱| 国产精品嫩草影院av在线观看 | 久久国产乱子伦精品免费另类| 亚洲激情在线av| 一级毛片久久久久久久久女| 日韩欧美精品免费久久 | 少妇熟女aⅴ在线视频| 成年女人看的毛片在线观看| 一a级毛片在线观看| 国产黄a三级三级三级人| 欧美性猛交╳xxx乱大交人| 久久九九热精品免费| 熟女人妻精品中文字幕| 亚洲欧美激情综合另类| 欧美丝袜亚洲另类 | 一边摸一边抽搐一进一小说| 色视频www国产| 国产色爽女视频免费观看| 欧美激情久久久久久爽电影| 久久精品人妻少妇| 亚洲国产欧洲综合997久久,| 69av精品久久久久久| 99热6这里只有精品| 高潮久久久久久久久久久不卡| 国产白丝娇喘喷水9色精品| 日韩欧美国产一区二区入口| www.999成人在线观看| 别揉我奶头~嗯~啊~动态视频| 日韩欧美在线二视频| 久久久久久久久久成人| 亚洲 国产 在线| 波多野结衣高清作品| 97热精品久久久久久| 久久精品国产99精品国产亚洲性色| 成人欧美大片| 动漫黄色视频在线观看| 精品国产三级普通话版| 一夜夜www| 99久久精品国产亚洲精品| 国产精品电影一区二区三区| 在线观看66精品国产| 色噜噜av男人的天堂激情| 露出奶头的视频| 可以在线观看的亚洲视频| 久久人妻av系列| 亚洲色图av天堂| 国产精品久久久久久精品电影| 嫩草影院新地址| 欧美3d第一页| netflix在线观看网站| ponron亚洲| www.999成人在线观看| 十八禁人妻一区二区| 亚洲av电影不卡..在线观看| 精品福利观看| 欧美又色又爽又黄视频| 亚洲精品粉嫩美女一区| 国产精品嫩草影院av在线观看 | 超碰av人人做人人爽久久| 精品无人区乱码1区二区| 亚洲av成人精品一区久久| 又粗又爽又猛毛片免费看| a级毛片a级免费在线| 99久久精品国产亚洲精品| 国产精品98久久久久久宅男小说| 亚洲av免费在线观看| 在线观看午夜福利视频| 国产又黄又爽又无遮挡在线| 亚洲成人免费电影在线观看| 五月伊人婷婷丁香| 成人午夜高清在线视频| 夜夜夜夜夜久久久久| 久久久久国产精品人妻aⅴ院| av中文乱码字幕在线| 极品教师在线免费播放| 亚洲欧美激情综合另类| 免费人成在线观看视频色| 亚洲 国产 在线| 亚洲av日韩精品久久久久久密| 1000部很黄的大片| 精品一区二区免费观看| 亚洲av熟女| 欧美3d第一页| 中文资源天堂在线| 97碰自拍视频| 90打野战视频偷拍视频| 亚洲人成电影免费在线| 真人做人爱边吃奶动态| av天堂在线播放| 一区二区三区四区激情视频 | 日韩欧美免费精品| 91久久精品国产一区二区成人| 国产69精品久久久久777片| 免费av观看视频| 人人妻人人澡欧美一区二区| 91在线精品国自产拍蜜月| 亚洲欧美精品综合久久99| 欧美日韩瑟瑟在线播放| 看黄色毛片网站| 欧美一区二区精品小视频在线| 露出奶头的视频| 久久精品国产亚洲av天美| 国产精品综合久久久久久久免费| 嫩草影院新地址| 十八禁国产超污无遮挡网站| 久久久久亚洲av毛片大全| 男女视频在线观看网站免费| 人妻丰满熟妇av一区二区三区| 亚洲美女黄片视频| 亚洲精华国产精华精| 国产探花在线观看一区二区| 村上凉子中文字幕在线| 高清毛片免费观看视频网站| av专区在线播放| 亚洲精品色激情综合| 国产又黄又爽又无遮挡在线| 五月玫瑰六月丁香| 欧美潮喷喷水| 综合色av麻豆| 一本综合久久免费| а√天堂www在线а√下载| 欧美乱色亚洲激情| 亚洲七黄色美女视频| 久久精品国产亚洲av涩爱 | 亚洲欧美日韩东京热| 性色av乱码一区二区三区2| 欧美+日韩+精品| 18禁在线播放成人免费| 一本综合久久免费| 亚洲欧美日韩卡通动漫| 亚洲专区国产一区二区| 嫁个100分男人电影在线观看| 久久国产精品影院| 亚洲成av人片免费观看| 国内少妇人妻偷人精品xxx网站| 久99久视频精品免费| 91久久精品电影网| aaaaa片日本免费| 国产男靠女视频免费网站| 日本黄色片子视频| 中文字幕人成人乱码亚洲影| 免费黄网站久久成人精品 | 日韩欧美在线二视频| 波多野结衣高清无吗| 亚洲av电影在线进入| 十八禁网站免费在线| 人妻久久中文字幕网| 免费看a级黄色片| 亚洲欧美清纯卡通| 国产午夜精品论理片| 国产av不卡久久| 久久精品国产亚洲av天美| 熟女电影av网| 床上黄色一级片| 午夜激情欧美在线| 欧美绝顶高潮抽搐喷水| 欧美黄色片欧美黄色片| 成人亚洲精品av一区二区| 在线观看免费视频日本深夜| 久久精品影院6| 亚洲久久久久久中文字幕| 欧美bdsm另类| 国产 一区 欧美 日韩| 五月玫瑰六月丁香| 看黄色毛片网站| 99国产综合亚洲精品| 国产成+人综合+亚洲专区| 天美传媒精品一区二区| 黄色日韩在线| 久久午夜亚洲精品久久| 男人舔奶头视频| 国产69精品久久久久777片| 一级a爱片免费观看的视频| 婷婷丁香在线五月| 国产免费av片在线观看野外av| 天堂影院成人在线观看| 床上黄色一级片| 99久久99久久久精品蜜桃| 乱人视频在线观看| 99久久九九国产精品国产免费| 欧美xxxx黑人xx丫x性爽| 国产视频一区二区在线看| 久久午夜亚洲精品久久| 国产精品影院久久| 婷婷丁香在线五月| 免费电影在线观看免费观看| 国产激情偷乱视频一区二区| 一个人免费在线观看电影| 免费无遮挡裸体视频| 欧美成人a在线观看| 久久精品91蜜桃| 欧美日韩福利视频一区二区| 午夜影院日韩av| 校园春色视频在线观看| 亚洲av美国av| 国产亚洲精品综合一区在线观看| 女人十人毛片免费观看3o分钟| 变态另类成人亚洲欧美熟女| 午夜精品久久久久久毛片777| 午夜福利在线在线| 成熟少妇高潮喷水视频| 色吧在线观看| 中文字幕av在线有码专区| 国产伦人伦偷精品视频| 欧美最新免费一区二区三区 | 啦啦啦韩国在线观看视频| 中文字幕熟女人妻在线| 免费看光身美女| 97热精品久久久久久| 人妻夜夜爽99麻豆av| 亚洲欧美激情综合另类| 亚洲片人在线观看| 人妻丰满熟妇av一区二区三区| 久久精品国产亚洲av天美| avwww免费| 九色国产91popny在线| 国产精品三级大全| 亚洲最大成人中文| 国产亚洲精品久久久com| 91午夜精品亚洲一区二区三区 | 伊人久久精品亚洲午夜| 在线观看午夜福利视频| 国产乱人视频| 亚洲av电影不卡..在线观看| 波多野结衣高清作品| 在线播放无遮挡| 欧美成人性av电影在线观看| 欧美三级亚洲精品| xxxwww97欧美| 亚洲综合色惰| 中文字幕av在线有码专区| 欧美成人性av电影在线观看| 午夜福利在线观看免费完整高清在 | 久久人妻av系列| 国产黄a三级三级三级人| 国产av麻豆久久久久久久| 舔av片在线| 免费无遮挡裸体视频| 久久久色成人| 深夜a级毛片| 直男gayav资源| 国产成人福利小说| 老司机深夜福利视频在线观看| 久久亚洲真实| 999久久久精品免费观看国产| 亚洲欧美激情综合另类| 久久久成人免费电影| 欧美潮喷喷水| av视频在线观看入口| 国产午夜福利久久久久久| 99久久精品国产亚洲精品| 一a级毛片在线观看| 久久久精品大字幕| 俄罗斯特黄特色一大片| 国产精品亚洲一级av第二区| 久久午夜福利片| 亚洲va日本ⅴa欧美va伊人久久| 亚洲美女视频黄频| 女生性感内裤真人,穿戴方法视频| av在线老鸭窝| 久久这里只有精品中国| 色综合欧美亚洲国产小说| 自拍偷自拍亚洲精品老妇| 欧美色欧美亚洲另类二区| 久久精品人妻少妇| 亚洲人成伊人成综合网2020| 日韩欧美国产一区二区入口| 热99re8久久精品国产| 亚洲真实伦在线观看| 日本撒尿小便嘘嘘汇集6| 国产三级在线视频| 美女高潮的动态| 久久国产乱子免费精品| 国产单亲对白刺激| 亚洲精品一区av在线观看| 欧美丝袜亚洲另类 | 精品一区二区三区人妻视频| 18美女黄网站色大片免费观看| 最近视频中文字幕2019在线8| 一本综合久久免费| 18禁裸乳无遮挡免费网站照片| 日韩人妻高清精品专区| 亚洲美女搞黄在线观看 | 男女下面进入的视频免费午夜| 精品一区二区三区av网在线观看| 国产黄色小视频在线观看| 日本黄色视频三级网站网址| 欧美3d第一页| 日本精品一区二区三区蜜桃| 成人永久免费在线观看视频| 男人的好看免费观看在线视频| 中文字幕av成人在线电影| 欧美极品一区二区三区四区| 国产一区二区在线av高清观看| 熟妇人妻久久中文字幕3abv| 国产亚洲av嫩草精品影院| 国产真实伦视频高清在线观看 | 午夜两性在线视频| 免费在线观看亚洲国产| 91麻豆精品激情在线观看国产| 国产欧美日韩精品一区二区| 老鸭窝网址在线观看| 我的老师免费观看完整版| 色综合欧美亚洲国产小说| 九色成人免费人妻av| 人妻制服诱惑在线中文字幕| 最近在线观看免费完整版| 中文字幕人成人乱码亚洲影| 欧美潮喷喷水| 日韩av在线大香蕉| 男人舔奶头视频| 精品人妻一区二区三区麻豆 | 此物有八面人人有两片| 99久久成人亚洲精品观看| 国产国拍精品亚洲av在线观看| 国产精品国产高清国产av| av女优亚洲男人天堂| 国内揄拍国产精品人妻在线| 精品久久久久久久人妻蜜臀av| 国产精品久久视频播放| 午夜福利在线在线| 午夜久久久久精精品| 日韩欧美免费精品| 日韩中文字幕欧美一区二区| 中出人妻视频一区二区| 日本精品一区二区三区蜜桃| 日韩精品中文字幕看吧| 可以在线观看的亚洲视频| 九九久久精品国产亚洲av麻豆| 91在线观看av| 男插女下体视频免费在线播放| 国产野战对白在线观看| 国产成人a区在线观看| 亚洲av第一区精品v没综合| 久久久久久九九精品二区国产| 国内久久婷婷六月综合欲色啪| 一个人免费在线观看的高清视频| 亚洲国产高清在线一区二区三| 99久久精品国产亚洲精品| 日本精品一区二区三区蜜桃| 欧美日韩瑟瑟在线播放| 美女 人体艺术 gogo| 久久人人精品亚洲av| 色综合欧美亚洲国产小说| 亚洲av成人不卡在线观看播放网| www.999成人在线观看| 免费在线观看日本一区| 少妇被粗大猛烈的视频| 国产成人啪精品午夜网站| 亚洲自拍偷在线| 中出人妻视频一区二区| 日本 av在线| 天堂影院成人在线观看| 亚洲熟妇熟女久久| 午夜免费男女啪啪视频观看 | 十八禁国产超污无遮挡网站| 国产国拍精品亚洲av在线观看| 欧美高清成人免费视频www| 久久6这里有精品| 国语自产精品视频在线第100页| 亚洲成av人片免费观看| ponron亚洲| 国产视频内射| 久久婷婷人人爽人人干人人爱| 脱女人内裤的视频| 欧美日韩乱码在线| av天堂中文字幕网|