• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法自動化決策與行政正當(dāng)程序制度的沖突與調(diào)和

    2020-11-06 07:29:31張凌寒
    東方法學(xué) 2020年6期
    關(guān)鍵詞:決策行政算法

    張凌寒

    內(nèi)容摘要:行政治理中存在著兩種信息不對稱:行政機關(guān)與治理對象的信息不對稱、行政機關(guān)與行政相對人的信息不對稱。算法自動化決策嵌入行政活動,一方面極大地緩解了第一組信息不對稱,產(chǎn)生了行政權(quán)力增強效應(yīng);另一方面,算法或壓縮行政活動的各個環(huán)節(jié),或作為內(nèi)部行政決策,逃避行政正當(dāng)程序制度的控制。從信息論角度,行政正當(dāng)程序中的告知、申辯陳述、理由說明等環(huán)節(jié)是信息發(fā)送與溝通工具。兩種信息不對稱的此消彼長使得公民權(quán)利受到算法自動化決策的侵蝕,“權(quán)力-權(quán)利”格局嚴(yán)重失衡。因此應(yīng)以解決行政相對人信息不對稱為宗旨,堅持和發(fā)展適應(yīng)算法治理時代的正當(dāng)程序制度,尤其是行政公開原則、公眾參與原則與說明理由制度。堅持和發(fā)展行政公開原則,應(yīng)增強算法透明度、衡平行政公開與商業(yè)秘密制度,并規(guī)范信息公開方式;堅持和發(fā)展公眾參與原則,應(yīng)事前開展算法影響評估、重視陳述與申辯環(huán)節(jié);堅持和發(fā)展說明理由制度,應(yīng)賦予相對人獲得算法解釋的權(quán)利,并明確說明理由的內(nèi)容與標(biāo)準(zhǔn)。

    關(guān)鍵詞:信息不對稱 行政正當(dāng)程序 算法解釋 技術(shù)正當(dāng)程序 算法自動化決策 “權(quán)力-權(quán)利”格局

    中圖分類號:DF3 文獻(xiàn)標(biāo)識碼:A 文章編號:1674-4039-(2020)06-0004-17

    自20世紀(jì)50年代起,算法自動化決策即開始被應(yīng)用于政府的公共行政。〔1 〕在人工智能時代,自動化決策借助深度學(xué)習(xí)、大數(shù)據(jù)等技術(shù),以輔助行政裁量、預(yù)測調(diào)配資源的方式,嵌入了政府的行政治理中,這從深層撼動了傳統(tǒng)行政活動的運行規(guī)律和基本范式。更重要的是,這種變化不僅體現(xiàn)在政府行政流程、效率的角度,也體現(xiàn)在了以保障公民權(quán)利為核心的行政正當(dāng)程序?qū)用妗?/p>

    圍繞具體行政行為構(gòu)建的行政程序從“人”的行為出發(fā),而非機器。算法自動化決策對傳統(tǒng)行政正當(dāng)程序帶來了諸多挑戰(zhàn)。例如,早在2005年,杜寶良案中行政相對人反復(fù)在同一地點違章105次卻未收到行政機關(guān)通知,? 〔2 〕引發(fā)了對于全自動行政行為正當(dāng)程序缺失的廣泛關(guān)注。更重要的是,算法可以提前預(yù)測風(fēng)險而調(diào)配行政資源,這一活動卻完全不受正當(dāng)程序的控制。以禁飛名單為例,算法根據(jù)既往違法人員的特征,預(yù)測高風(fēng)險人群并禁止其登上飛機。換句話說,被禁飛的人并非已經(jīng)違法而是有違法風(fēng)險。但是,直到被阻止登上飛機之前,公民并不知曉其被列入名單,也不知曉列入名單的原因與過程。保證行政活動可信和正當(dāng)?shù)男姓?dāng)程序面臨失靈的風(fēng)險。

    在算法自動化決策逐步廣泛深度嵌入行政活動的背景下,如何堅持、修正和發(fā)展正當(dāng)程序原則是亟待研究的重大議題。筆者從保證公民實體權(quán)利與程序性權(quán)利、通過正當(dāng)程序限制公權(quán)力濫用的基本立場出發(fā),在行政權(quán)力與公民權(quán)利互動的理論框架下,剖析算法自動化決策對行政正當(dāng)程序的挑戰(zhàn),以及立法者應(yīng)如何應(yīng)對行政正當(dāng)程序?qū)崿F(xiàn)的制度障礙與技術(shù)障礙。

    一、算法治理嵌入行政活動的雙重效應(yīng)

    算法自動化決策從信息輸入、信息處理與信息輸出三個層面嵌入行政活動,并改變了行政活動的范式,使得行政機關(guān)可以通過風(fēng)險預(yù)測提前配置行政資源。這極大地加強了行政機關(guān)對治理對象信息處理分析能力,產(chǎn)生了行政權(quán)力的增強效應(yīng)。但與此同時,算法自動化決策壓縮行政活動環(huán)節(jié),架空了行政正當(dāng)程序;并且以內(nèi)部決策的角色參與行政活動,使正當(dāng)程序控制失靈。此消彼長下,形成了“權(quán)力-權(quán)利”失衡的格局。

    (一)算法嵌入行政治理的行政權(quán)力增強效應(yīng)

    行政活動中一直存在著行政機關(guān)與治理對象的信息不對稱,即政府對社會活動和治理對象信息掌握不足的情況。許多行政制度是為了緩解信息不足的矛盾而建立起來的。例如由于行政機關(guān)檢查與發(fā)現(xiàn)違法的情況有限,無法獲知所有違法行為,所以罰款額度既要有效懲罰被發(fā)現(xiàn)的違法人,也要威懾潛在違法者。例如著名經(jīng)濟學(xué)家加里·貝克指出,最佳的懲罰額度應(yīng)等于損害除以發(fā)現(xiàn)的概率。即,如果只有1/4的發(fā)現(xiàn)機會,那么最佳罰款應(yīng)該是損害的四倍?!? 〕在現(xiàn)實生活中,如果闖紅燈的交通違法行為的罰款金額200元是以被發(fā)現(xiàn)概率為1/4而設(shè)立的,那么當(dāng)交通管理部門設(shè)置的闖紅燈攝像可以實現(xiàn)違法行為100%被發(fā)現(xiàn)時,罰款金額應(yīng)相對降低。

    算法自動化決策的應(yīng)用使得這種信息不對稱得到了極大緩解,有效增強了政府的權(quán)力運行的廣度、深度和密度。信息技術(shù)在我國行政活動中應(yīng)用已久?!? 〕2019年以來,以算法為代表的信息技術(shù)應(yīng)用進(jìn)一步擴展,甚至參與裁量活動領(lǐng)域并進(jìn)行風(fēng)險預(yù)測,改變了行政活動的范式。2019年1月發(fā)布的《國務(wù)院辦公廳關(guān)于全面推行行政執(zhí)法公示制度執(zhí)法全過程記錄制度重大執(zhí)法決定法制審核制度的指導(dǎo)意見》中明確提出:“一是要推動行政執(zhí)法裁量的決策輔助系統(tǒng),規(guī)范行政自由裁量權(quán),確保執(zhí)法尺度統(tǒng)一;二是要開發(fā)風(fēng)險預(yù)測系統(tǒng),提前預(yù)警、檢測、研判,及時履行政府職能、提高行政精準(zhǔn)性?!?〔5 〕在算法自動化決策的推動下,政府對信息的處理能力發(fā)生質(zhì)的飛躍。

    首先,政府收集信息數(shù)量和質(zhì)量得到了極大提高。如2016年上海市政府搭建的事中事后綜合監(jiān)管平臺實現(xiàn)了各部門收集信息的共享,已匯集各類信息247萬余條、累計提請聯(lián)合懲戒156萬余條?!? 〕海量信息有效助力于行政檢查、行政命令等多種行政活動。如我國道路交通安全管理法實施條例要求營運客車、貨車安裝使用行駛記錄儀,為行政執(zhí)法提供行駛速度、連續(xù)駕駛時間等信息。其次,政府處理、輸出信息能力增強,因此行政執(zhí)法力度與強度也遠(yuǎn)強于過去。算法自動化決策可直接統(tǒng)籌信息收集、分析處理與輸出環(huán)節(jié),直接作出對行政相對人產(chǎn)生效力的命令、裁決等活動。以廣東省食品藥品監(jiān)督管理局為例,互聯(lián)網(wǎng)藥品信息服務(wù)資格證書核發(fā)、變更、換發(fā)等項證照都已實現(xiàn)電子化?!? 〕

    最后,政府通過算法自動化決策對行政活動大數(shù)據(jù)的分析,預(yù)測評估行政相對人的風(fēng)險指標(biāo),在違規(guī)發(fā)生之前干預(yù)。如北京市城市管理綜合行政執(zhí)法局通過對全部投訴舉報電話進(jìn)行定量分析,得出每年夏季晚上某固定時段占道經(jīng)營違法行為上升的結(jié)論,結(jié)合指揮系統(tǒng)的位置信息,調(diào)配執(zhí)法力量?!? 〕

    作為一個信息函數(shù),行政效能受到信息采集、傳輸和使用質(zhì)量的影響。算法自動化決策有效緩解了政府與治理對象的信息不對稱,成為行政權(quán)力實現(xiàn)和有效運行的能源和催化劑,也在此基礎(chǔ)上強化了其說服權(quán)力行使對象的能力。

    (二)算法應(yīng)用導(dǎo)致的行政正當(dāng)程序失靈效應(yīng)

    算法自動化決策如何造成了行政正當(dāng)程序失靈?如前所述,算法增強行政活動中收集、處理和輸出信息的各個環(huán)節(jié),從兩方面改變了行政活動的傳統(tǒng)范式:其一,反應(yīng)型算法自動化決策壓縮行政活動各環(huán)節(jié),直接實現(xiàn)行政活動的半自動化與自動化。自動化行政在系統(tǒng)內(nèi)部瞬間完成,無法分離活動的程序、步驟和方式,而是將所有信息與內(nèi)容糅雜進(jìn)既定的算法之中得出結(jié)果。其二,預(yù)測型算法改變傳統(tǒng)認(rèn)知范式,根據(jù)過去的歷史數(shù)據(jù)推斷出未來的趨勢。算法可以用來預(yù)測風(fēng)險,先發(fā)制人地對行政資源進(jìn)行調(diào)配,事先引導(dǎo)和部署行政活動。

    首先,反應(yīng)型算法對行政活動環(huán)節(jié)的壓縮,使得正當(dāng)程序制度無用武之地。反應(yīng)型算法是算法自動化決策應(yīng)用于行政活動的常見模式,其基本模型為收集數(shù)據(jù)—匹配條件—作出決策,具有較強的工具性特征。例如,最簡單的反應(yīng)型算法為登錄郵箱時輸入密碼—密碼錯誤—拒絕登錄。在行政活動中,名為專家系統(tǒng)、業(yè)務(wù)規(guī)則引擎、決策支持工具等的算法均為反應(yīng)型算法。通常這些系統(tǒng)包含三個主要組件:其一,相關(guān)業(yè)務(wù)規(guī)則(即立法、政策或程序性業(yè)務(wù)規(guī)則)的知識庫或規(guī)則庫;其二,一個獨立的推理引擎,該引擎使用推理得出結(jié)論;其三,用戶界面,向用戶呈現(xiàn)信息,并將用戶相應(yīng)提供給推理引擎以得出結(jié)論。行政機關(guān)可實現(xiàn)行政行為的半自動化或者自動化,甚至如果能梳理好行政執(zhí)法依據(jù)、行政裁量基準(zhǔn)、行政執(zhí)法流程、行政文書整合入人工智能系統(tǒng),則有可能作出自動化的行政執(zhí)法決定?!? 〕

    較為常見和簡單的例子是交通違章的自動識別。算法自動化決策可對監(jiān)控設(shè)備采集的數(shù)據(jù)進(jìn)行智能識別和分析,按照技術(shù)標(biāo)準(zhǔn)形成車輛違法數(shù)據(jù),繼而經(jīng)過交警部門的審核,對違法車輛進(jìn)行處理,以違法處理單的形式將處罰通知送至違法者。除了人為加入的審核環(huán)節(jié),其他環(huán)節(jié)技術(shù)上均可在瞬間糅雜完成。由于算法對行政活動程序的壓縮,原有的按照人的活動環(huán)節(jié)設(shè)立的諸多行政正當(dāng)程序發(fā)送信息的步驟均被省略。

    其次,預(yù)測型算法對治理對象的預(yù)測,實質(zhì)上架空了行政正當(dāng)程序。算法自動化決策給信息技術(shù)帶來的改變,根本在于對信息認(rèn)知方式的變化。傳統(tǒng)認(rèn)知方式下,信息技術(shù)圍繞特定認(rèn)知對象或假設(shè)進(jìn)行信息搜集,對已有的信息作出特定反應(yīng),仍具有較強的工具化特征。人工智能時代的信息認(rèn)知方式下,算法自動化決策具有數(shù)據(jù)挖掘功能,一方面提高了數(shù)據(jù)計算能力,能夠從不完全信息中提煉出更多有效信息;另一方面,可以進(jìn)行趨勢風(fēng)險的研判和預(yù)測。算法自動化決策信息認(rèn)知方式的改變,產(chǎn)生了可以預(yù)測風(fēng)險的預(yù)測型算法。

    預(yù)測型算法與反應(yīng)型算法有著邏輯上的根本區(qū)別。雖然反應(yīng)型算法的動態(tài)特性使得一旦發(fā)生違規(guī),算法就可立即進(jìn)行干預(yù),但是預(yù)測性算法可以在風(fēng)險發(fā)生之前調(diào)配資源進(jìn)行規(guī)避,實現(xiàn)“好鋼用在刀刃上”。〔10 〕例如江蘇省稅務(wù)機關(guān)運用大數(shù)據(jù)技術(shù),預(yù)測稅務(wù)風(fēng)險較高的行政相對人,據(jù)統(tǒng)計一年稽查次數(shù)減少97%合計8000多次?!?1 〕在此類行政活動中,預(yù)測型算法已成為事實上的行政活動核心流程。

    然而,預(yù)測型算法由于其僅僅是內(nèi)部行政決策,無法受到正當(dāng)程序的控制。從時間點上來說,決策發(fā)生在具體行政行為發(fā)生之前,從外形上來說并不具備具體行政行為的要件,顯然也并非抽象行政行為,只能作為行政機關(guān)的內(nèi)部決策。內(nèi)部行政決策本身即缺乏正當(dāng)程序的控制,由于行政決策更多地與政治過程相關(guān)聯(lián),導(dǎo)致它并未納入法治的軌道?!?2 〕即使近年來,行政決策亦要被納入法制化軌道已經(jīng)成為國務(wù)院和地方各級政府的基本共識,提出要以正當(dāng)程序控制行政決策?!?3 〕預(yù)測型算法依靠運算在算法黑箱內(nèi)部得出結(jié)果,完全規(guī)避了公眾參與、專家論證等信息交換和披露的正當(dāng)程序控制。

    算法自動化決策一方面增強了行政權(quán)力,另一方面卻侵蝕了正當(dāng)程序制度。行政正當(dāng)程序的缺失,不僅可能造成了行政相對人實體權(quán)利消減的結(jié)果,更直接損害了其程序性權(quán)利。在行政活動中,行政程序具有不同的價值位階,可分為“工具性價值”與“構(gòu)成性價值”?!?4 〕工具性行政程序關(guān)注行為活動的整體流程,目的在于提高行政效率,例如關(guān)于行為作出期限和方式的規(guī)定;構(gòu)成性行政程序指的是具有特殊價值追求的制度構(gòu)造,如聽證、理由明示等?!?5 〕日本學(xué)者認(rèn)為:“違反程序法上所規(guī)定的四項主要原則(即告知和聽證、文書閱覽、理由附記、審查基準(zhǔn)的設(shè)定與公布),至少應(yīng)解釋為構(gòu)成撤銷事由?!?〔16 〕在我國行政法上,進(jìn)行陳述、申辯或者參加聽證是我國行政訴訟法規(guī)定的具有構(gòu)成性價值的正當(dāng)程序,此類程序的缺失即使不影響行政相對人的實體權(quán)利,也具有效力瑕疵?!?7 〕

    毫無疑問,無論行政活動如何借助科技的力量變得便捷與高效,這類構(gòu)成性行政正當(dāng)程序都不應(yīng)該成為被省略的對象。這不僅造成了行政相對人實體權(quán)利的損害,也是程序性權(quán)利的缺失。行政相對人在行政活動中獲得知情、陳述申辯、得到理由說明的各項權(quán)利,無法得到保證。在此消彼長下,“權(quán)力-權(quán)利”格局嚴(yán)重失衡。

    二、算法自動化決策與行政正當(dāng)程序的沖突

    從信息論的角度看,行政正當(dāng)程序本質(zhì)是行政機關(guān)向行政相對人發(fā)送信息的工具。無論是行政活動前的行政公開、聽證,行政活動中的通知、聽取申述與申辯,以及事后的說明理由,目的都是在行政機關(guān)與行政相對人之間建立信息溝通機制。算法自動化決策的不透明性遮蔽了行政公開原則,算法設(shè)計運行的技術(shù)壟斷架空了公眾參與原則,算法決策黑箱無法為相對人提供理由說明,算法自動化決策與行政正當(dāng)程序產(chǎn)生了嚴(yán)重沖突。

    (一)行政正當(dāng)程序制度的信息工具功能

    正當(dāng)程序制度一向被認(rèn)為是規(guī)范行政權(quán)力運行、保障公民合法權(quán)利的重要制度。從信息論角度觀察,正當(dāng)程序制度實際上是一種信息工具,目的在政府與行政相對人之間建立信息溝通機制,以緩解行政相對人的信息不對稱,從而達(dá)到保障權(quán)利的制度目的。行政正當(dāng)程序具有信息發(fā)送的功能,可緩解行政相對人的信息不對稱,本身就是獨立于實體權(quán)利的程序性權(quán)利,蘊含著實現(xiàn)諸如參與性通知、程序理性和人道性等效能。

    正當(dāng)程序的基本含義是當(dāng)行政機關(guān)作出影響行政當(dāng)事人權(quán)益的行政行為時必須遵循法律的正當(dāng)程序,包括事先告知相對人,向相對人說明行為的根據(jù)、理由,聽取相對人的陳述、申辯,事后為相對人提供救濟路徑等。〔18 〕從信息工具的角度觀察,正當(dāng)程序制度的幾項核心內(nèi)容均系為了解決行政機關(guān)與行政相對人的信息不對稱問題。如果把行政行為的過程分為作出前和作出后兩個階段,正當(dāng)程序制度在行政行為作出前要求行政機關(guān)對相對人發(fā)送足夠的信息,在作出后亦要求提供糾正信息的路徑。

    第一,正當(dāng)程序制度包含著行政活動前的“信息發(fā)送”工具。例如要求行政機關(guān)對相對人有合理的告知。所謂合理的告知,不僅是指相對人應(yīng)得到被處理事項的合理說明,也包括其在合理的時間內(nèi)被告知。沒有告知或不恰當(dāng)?shù)母嬷瑢⒂绊懴鄬θ诵惺钩绦蚝蛯嶓w上的權(quán)利。還要求說明理由,即行政機關(guān)作出任何行政行為,特別是作出對行政相對人不利的行政行為,除非有法定保密的要求,都必須說明理由。〔19 〕

    第二,正當(dāng)程序制度包括行政活動中的“信息溝通”工具。即,強制要求行政機關(guān)必須獲取行政相對人的信息。例如,要求行政機關(guān)作出任何行政行為,特別是作出對行政相對人不利的行政行為,必須聽取相對人的陳述和申辯。行政機關(guān)作出嚴(yán)重影響行政相對人的合法權(quán)益的行政行為,還應(yīng)依相對人的申請或依法主動舉行聽證。

    第三,正當(dāng)程序制度包括行政行為后的“信息糾正”工具。例如,要求行政機關(guān)事后為相對人提供相應(yīng)的救濟途徑,其目的是為了防止行政行為錯誤,給相對人獲得“信息糾正”的機會。以上種種正當(dāng)程序制度的要求,都是力圖解決行政機關(guān)與相對人信息不對稱的情況。而只有符合正當(dāng)程序的行政行為方為合法有效,也充分說明了信息工具的缺失會直接影響行政行為的法律效力。盡管行政機關(guān)與相對人之間的信息不對稱無法最終消除,但通過正當(dāng)程序“發(fā)送信息”是法律對行政行為的基本合法性要求。

    從這個角度去理解正當(dāng)程序制度,會發(fā)現(xiàn)政府信息公開制度、行政聽證制度、說明理由制度、公眾參與制度等本質(zhì)上均為信息工具。通過程序來強制性要求政府對公眾披露行政活動中的信息,達(dá)到控制公權(quán)力保障公民權(quán)利的目的。20世紀(jì)中期以后,隨著各國行政程序立法的發(fā)展,正當(dāng)程序原則在世界許多國家如奧地利、意大利、西班牙、德國等得到了確立和廣泛使用。從程序控權(quán)取代實體控權(quán),從注重行政行為的合乎實體法規(guī)則向注重行政行為的合乎程序性轉(zhuǎn)變,以正當(dāng)程序模式的行政法來彌補嚴(yán)格規(guī)則模式之不足,已經(jīng)成為當(dāng)代行政法的主流?!?0 〕其背后的考量,是行政行為所需的信息越來越龐雜,依靠實體法規(guī)則已經(jīng)無法囊括,只能退而要求在程序法規(guī)則上滿足“發(fā)送信息”的要求,交由具體行政活動中相對人獲得的信息來保障公權(quán)力在合法范圍內(nèi)運行。

    行政正當(dāng)程序的信息發(fā)送功能由于算法自動化決策阻礙無法實現(xiàn)。無論是反應(yīng)型算法壓縮行政程序各個環(huán)節(jié)造成行政正當(dāng)程序的缺省,還是預(yù)測型算法直接作為內(nèi)部決策規(guī)避行政正當(dāng)程序,最終均導(dǎo)致行政相對人無法接收到行政機關(guān)通過行政正當(dāng)程序發(fā)送的信息。具體而言,尤其以行政公開原則、公眾參與原則與說明理由規(guī)則為甚。

    (二)算法不透明遮蔽行政公開原則

    20世紀(jì)中期以后,公開、透明、公眾參與已構(gòu)成現(xiàn)代正當(dāng)法律程序的基本的、甚至是不可或缺的內(nèi)容?!?1 〕美國、歐盟諸多成員國等近50個國家和地區(qū),都在20世紀(jì)60年代以后或21世紀(jì)初陸續(xù)制定了信息公開法和與美國“陽光法”類似的透明政府法?!?2 〕行政公開指的是行政機關(guān)的活動要堅持信息公開,除國家秘密、商業(yè)秘密與個人隱私的內(nèi)容,應(yīng)由行政機關(guān)向社會公眾進(jìn)行公開。〔23 〕

    算法導(dǎo)致的行政公開原則缺失可分為兩類原因:不愿公開與公開不能。具體而言,第一類原因是算法的采購、設(shè)計與運行,甚至算法的存在本身,政府基于各種考慮可公開而不愿公開。私營公司主張公開算法侵害商業(yè)秘密,政府官員可能會擔(dān)心公開披露的算法會被篡改或規(guī)避,阻礙行政目的實現(xiàn)。〔24 〕2017年年底紐約市政府開展的世界首次算法監(jiān)管活動堪稱典型。紐約市算法監(jiān)管工作組召開了三次會議,直到2019年4月仍未就“算法自動化決策”的定義與范圍達(dá)成共識,各政府部門也拒絕提供使用的算法清單,僅肯提供示例?!?5 〕此次監(jiān)管活動也因未取得成效受到了廣泛批評。

    第二種是“算法黑箱”造成的公開不能。“算法黑箱”是指在算法決策數(shù)據(jù)輸入、計算和輸出的三個環(huán)節(jié)中,分別面臨著三個難題:數(shù)據(jù)收集由于公共利益豁免知情同意規(guī)則而不透明、算法決策過程由于商業(yè)秘密保護(hù)而不公開、數(shù)據(jù)分析結(jié)果與決策之間轉(zhuǎn)換不公布。

    算法不透明可由于政府嚴(yán)重的技術(shù)依賴關(guān)系形成一個惡性循環(huán)。政府不僅需要購買算法系統(tǒng),還需要私營公司提供長期技術(shù)支持以便對算法系統(tǒng)運行進(jìn)行維護(hù)和改造。私營公司為了壟斷相關(guān)技術(shù)領(lǐng)域,會更加排斥將算法軟件技術(shù)開源或公布。這進(jìn)一步導(dǎo)致了某個專門的算法系統(tǒng)長期壟斷某行政部門的行政活動技術(shù)支持,更加缺乏來自社會公眾的監(jiān)督。2014年美國一項針對政府工作人員的調(diào)查顯示:“聯(lián)邦政府工作人員沒有足夠的數(shù)據(jù)分析技能將復(fù)雜的數(shù)據(jù)集轉(zhuǎn)化為決策者所需要的信息……高達(dá)96%的受訪者認(rèn)為他們所在部門存在數(shù)據(jù)技能短板?!?〔26 〕因此,調(diào)和算法自動化決策與行政信息公開的原則需平衡的三組利益:要求企業(yè)披露算法的相關(guān)信息,同時又不損害商業(yè)秘密和競爭優(yōu)勢,同時又能夠確保公眾監(jiān)督。

    (三)技術(shù)壟斷架空公眾參與原則

    行政正當(dāng)程序中的公眾參與原則極為重要,“某種形式的聽證”被認(rèn)為是程序正當(dāng)性過程最基本的要求,是行政機關(guān)提供正當(dāng)程序的最低限度?!?7 〕然而,算法自動化決策系統(tǒng)由私營公司“技術(shù)壟斷”,公眾的參與權(quán)難以得到保障。

    公眾參與原則的核心理念是“聽取公眾意見”。具體而言,包括兩個層面:第一,公眾應(yīng)有權(quán)利參與行政活動,這體現(xiàn)了正當(dāng)程序的公共意志形成功能;第二,在具體行政行為中,應(yīng)充分聽取當(dāng)事人的陳述和申辯。在公眾參與的過程中,要設(shè)置專門的程序如聽證保證公眾能夠參與,并要保證參與各方信息的對稱性。公民的有效參與,意在通過自己的行為影響某種結(jié)果的形成,而不是作為一個消極的客體被動地接受某一結(jié)果在算法廣泛嵌入行政活動的背景下,公眾參與原則面臨多重障礙。

    第一,公眾參與行政活動面臨私營企業(yè)技術(shù)壟斷的障礙。算法自動化決策本質(zhì)是對于行政資源的分配,但這一過程改變了政府資源分配和監(jiān)督行政相對人的一貫做法,轉(zhuǎn)而由私營企業(yè)承擔(dān)核心角色。在此次疫情防控期間,各地政府依靠私營公司的技術(shù)力量進(jìn)行健康碼的設(shè)計和運行工作,并大有將健康碼運用于社區(qū)、企業(yè)、群體等社會公共活動中的趨勢,然而,這一過程由私營公司壟斷,公眾并無參與機會?!?8 〕“智慧城市”也極好地體現(xiàn)了“公共權(quán)力私有化”這一趨勢。政府部門的數(shù)據(jù)、權(quán)力和私營公司的技術(shù)力量結(jié)合,發(fā)展出了主宰城市運行的智能系統(tǒng)?!?9 〕技術(shù)公司壟斷了硬件與算法系統(tǒng)的開發(fā)、設(shè)計和使用,卻拒絕對公眾公布算法收集處理數(shù)據(jù)的權(quán)限和過程?!?0 〕如邁阿密市政府與照明技術(shù)公司簽訂為期30年的合同,使該公司可以免費安裝裝有攝像頭和牌照讀取器的燈桿,為邁阿密警察局收集和處理信息,而該公司可以使用這些數(shù)據(jù)?!?1 〕政府大多數(shù)情況下需要以技術(shù)服務(wù)合同的方式向私營企業(yè)購買算法系統(tǒng)的設(shè)計和運營服務(wù),因此算法自動化決策(例如專家系統(tǒng)、自動行政)的采購和設(shè)計處于完全不透明的狀態(tài),缺乏公眾參與的聽證環(huán)節(jié)。公眾沒有機會在行政活動中融入自身的價值判斷和權(quán)利主張,更無法實現(xiàn)對行政權(quán)力濫用的程序性控制。

    第二,自動化(半自動)行政行為根據(jù)算法設(shè)定的規(guī)則運行,這一過程由行政機關(guān)與技術(shù)公司壟斷,沒有為行政相對人提供陳述與申辯的機會。由于缺乏有意義的通知,并且政府傾向于預(yù)設(shè)算法結(jié)論是正確的,這共同造成了相對人陳述與申辯環(huán)節(jié)的缺失。當(dāng)反應(yīng)型算法應(yīng)用于行政處罰等可能產(chǎn)生不利于行政相對人法律后果的行政行為時,缺乏陳述與申辯環(huán)節(jié)是嚴(yán)重的程序瑕疵。

    由此可見,算法自動化決策既回避了行政決策的公眾參與和聽證,也消解了具體行政行為層面的當(dāng)事人陳述和申辯的程序,造成了公眾參與原則的缺失。如果一項技術(shù)是服務(wù)于社會中的大多數(shù)群體,政府的作用就不可替代,無論作為社會系統(tǒng)的設(shè)計者還是行業(yè)領(lǐng)域技術(shù)創(chuàng)新的監(jiān)管者,政府都要承擔(dān)起責(zé)任,打破技術(shù)中心主義的局限?!?2 〕

    (四)算法黑箱無法提供理由說明

    正當(dāng)程序中的說明理由制度是指公權(quán)力機關(guān)在作出決定或者裁決時,應(yīng)向其他利害關(guān)系人說明法律依據(jù)和事實狀態(tài),及通過相關(guān)法律和事實狀態(tài)進(jìn)行推理或裁量而作出結(jié)論的過程,從而表明理由與最終該決定的內(nèi)在聯(lián)系?!?3 〕尤其是行政機關(guān)作出不利于行政相對人的行政行為時,除非有法定保密的要求,都必須說明理由。我國行政處罰法、行政許可法等法律法規(guī)均明確規(guī)定了行政行為說明理由的要求。〔34 〕這說明理由制度是正當(dāng)程序中的重要構(gòu)成要素,違反說明理由義務(wù)可能直接影響到?jīng)Q定或者裁決的效力。〔35 〕

    預(yù)測型算法作出行政決策的時點是在行政對象作出行為之前,依據(jù)是大數(shù)據(jù)的相關(guān)關(guān)系而非因果關(guān)系,因此無法提供理由說明。由于大部分深度學(xué)習(xí)推薦算法將數(shù)據(jù)變換到一個隱含空間,可以計算如何無限接近算法設(shè)定的目標(biāo),但是很難提供直接的決策理由。〔36 〕尤其是預(yù)測型算法在行政治理中的應(yīng)用,將行政對象的目標(biāo)與既有數(shù)據(jù)對比,應(yīng)用數(shù)據(jù)分析來發(fā)現(xiàn)特征和結(jié)果之間的相關(guān)性,并利用這個分析來生成可能不容易解釋或理解的預(yù)測。〔37 〕一個正當(dāng)?shù)男姓袨橐罄碛傻墓_,并公布作出行政行為的證據(jù)。而由于預(yù)測型算法的時間點在事件發(fā)生之前,所以尚無證據(jù)存在。這種先驗性使得合法正當(dāng)行為所需要的具有證明力的證據(jù)不可能存在。

    算法預(yù)測指導(dǎo)的行政活動對行政對象挑選并進(jìn)行甄別,卻無法提供實質(zhì)性證據(jù)。這實際上構(gòu)成了對行政對象區(qū)別性的不利對待,可能違反法律面前人人平等的原則?!?8 〕典型的預(yù)測型算法應(yīng)用為“預(yù)測警務(wù)”,如北京市公安局懷柔分局的 “犯罪數(shù)據(jù)分析和趨勢預(yù)測系統(tǒng)”收錄了懷柔9年來一萬余件犯罪案件數(shù)據(jù)。2014 年 5 月,該系統(tǒng)預(yù)測提示:近期泉河派出所轄區(qū)北斜街發(fā)生盜竊案的可能性較高,派出所加大對該區(qū)域的巡邏,并于5月7日抓獲一名盜竊汽車內(nèi)財物的嫌疑人?!?9 〕預(yù)測型算法使得在高治安風(fēng)險地區(qū)相應(yīng)投入更多警力,使得該地區(qū)的治安違法行為更容易被查到,導(dǎo)致風(fēng)險級別進(jìn)一步提高,可能形成一個失真的回饋環(huán)路。

    算法預(yù)測準(zhǔn)確率無法保證,一旦出錯可能造成無法挽回的損失。2017年12月,美國伊利諾伊州兒童和家庭服務(wù)部宣布,終止評估兒童安全和風(fēng)險的預(yù)測系統(tǒng),因為算法預(yù)測不準(zhǔn)確造成了父母與子女錯誤分離的后果。同年早些時候,美國洛杉磯郡也由于預(yù)測型算法的黑箱問題與高誤報率終止了預(yù)測型算法用于兒童受虐風(fēng)險的評估項目。〔40 〕

    算法深度學(xué)習(xí)與相關(guān)可能存在的預(yù)測失真問題由于算法自動化決策無法提供理由說明,算法決策缺乏有效的法律程序控制,易于不斷自我肯定與強化,造成行政行為持續(xù)性錯誤與相對人權(quán)利受損。

    三、基于行政信息公開原則增強算法自動化決策透明度

    (一)算法嵌入行政活動背景下行政信息公開原則的回歸

    現(xiàn)有算法自動化參與的行政活動中,我國法律作出了一定調(diào)整,但仍在某些領(lǐng)域需要行政信息公開規(guī)則的回歸。例如,在算法自動化決策參與行政許可行為中,我國行政許可法第 33 條規(guī)定了以數(shù)據(jù)電子方式提出行政許可,應(yīng)在行政機關(guān)的網(wǎng)站公布許可事項?!?1 〕作為行政信息公開在算法治理時代的因應(yīng)性調(diào)整。然而,在算法自動化決策參與的行政活動中,尚有行政信息公開原則的一些基本規(guī)則尚未得到滿足。

    首先,應(yīng)增強算法自動化決策的可見性,作為行政信息公開的基本要求。我國政府部門中,算法自動化決策系統(tǒng)多以“秒批”“智能交通”“智慧司法”為名。我國不僅對于人工智能算法應(yīng)用于政府部門并無清晰的規(guī)劃與分類,現(xiàn)有的電子政務(wù)的公示與通知也并不完善。2018年第十七屆中國政府網(wǎng)站績效評估顯示,超過15%的政府網(wǎng)站的辦事指南存在權(quán)力清單與行政事項不對應(yīng),35%的政府網(wǎng)站辦事內(nèi)容不準(zhǔn)確,80%存在辦理材料詳單不清晰?!?2 〕政府不應(yīng)僅將算法系統(tǒng)看作是辦公輔助系統(tǒng),而是應(yīng)公布政府部門自動化決策清單,讓公眾知曉哪些行政活動有自動化決策的參與,了解算法自動化決策可能帶來的權(quán)利影響。

    其次,算法作出決策的基本規(guī)則和因素權(quán)重,應(yīng)該對公眾與社會公開。形式的改變并不能豁免政府信息公開的義務(wù)。算法參與的行政行為并不會因為缺乏意思表示要素而不受行政法的拘束。原因在于,各類智能機器、評估模型等自動化設(shè)備的設(shè)置及啟用以及運作方式,都是由行政機關(guān)發(fā)蹤指示,行政機關(guān)仍是行政程序的主宰,所作出的表示或決定,都是行政機關(guān)的行為,具有法效意思及規(guī)制效力,性質(zhì)上仍為具體行政行為。〔43 〕如果政府機構(gòu)采用一條規(guī)則,僅僅以為算法運行不能直觀地作出解釋,就拒絕向公眾公開,則違反了行政行為應(yīng)公開透明的基本原則。早在1992年的案件中,美國聯(lián)邦公路管理局拒絕披露用于計算運營商安全評級的算法,但法庭認(rèn)為這違反了信息自由法中政府披露政府記錄和數(shù)據(jù)的要求,判決聯(lián)邦公路管理局必須披露計算中所用因素的權(quán)重?!?4 〕

    以上是行政信息公開原則對算法自動化決策應(yīng)用于行政活動的基本要求。除此之外,行政信息公開原則面臨著“算法黑箱”的挑戰(zhàn),需作出相應(yīng)的調(diào)整。

    (二)行政信息公開原則在算法數(shù)據(jù)收集環(huán)節(jié)的貫徹

    算法治理時代,人類將被降格為信息存在,以便接受機器的計算,方便企業(yè)獲得利潤和政府監(jiān)督管理?!?5 〕行政機關(guān)可大量收集公民數(shù)據(jù),不僅基于公共利益豁免“知情同意”規(guī)則的限制,? 〔46 〕還可要求私營公司報送數(shù)據(jù)。 〔47 〕這就導(dǎo)致,行政相對人并無機會知曉,嵌入在行政活動中的算法自動化決策通過哪些個人數(shù)據(jù)作出了決定。為了遵循行政信息公開原則:

    首先,行政機關(guān)收集數(shù)據(jù)同樣受到“合法、正當(dāng)、必要”原則限制 ,應(yīng)在行政活動中逐漸將此類規(guī)則細(xì)化?!?8 〕從行為性質(zhì)上梳理,行政機關(guān)對個人信息的收集行為屬于內(nèi)部行政程序,僅僅作為后續(xù)行政行為的必要前置活動,并不受到具體行政行為的相關(guān)法律限制。但是,作為數(shù)據(jù)收集行為,仍需嚴(yán)格遵循正當(dāng)目的原則與必要原則。以新冠肺炎疫情防控為例,無論是健康碼對個人敏感數(shù)據(jù)的大規(guī)模收集與使用,還是大數(shù)據(jù)對公民的追蹤定位,包括社區(qū)出入居民的信息登記,均應(yīng)有公共衛(wèi)生緊急狀態(tài)作為正當(dāng)性基礎(chǔ)。在緊急狀態(tài)恢復(fù)成日常狀態(tài)之后,即使疫情狀態(tài)防控常態(tài)化,也應(yīng)避免對公民個人數(shù)據(jù)的收集與追蹤常態(tài)化 。

    其次,盡管基于公共利益考慮無法要求政府再次獲得數(shù)據(jù)個體的知情同意,但起碼應(yīng)在平臺向個體收集數(shù)據(jù)時,作出“不利行為”通知。即如果政府可能根據(jù)第三方的信息作出行政的自動化決策,對行政相對人有負(fù)面不利影響,則應(yīng)要求平臺在收集數(shù)據(jù)之時就告知數(shù)據(jù)個體。例如,應(yīng)提示行政相對人,自動化決策結(jié)果參考了個人的公開信息、犯罪記錄、信息記錄,甚至可能是社交媒體使用情況。美國學(xué)者歐內(nèi)斯特·格爾霍恩所指出的,政府機構(gòu)實施的不利公布行為之基本功能就是通知,目的在于告知公布對象相關(guān)政策或情況,以便他們再行為選擇時可以利用這些信息。〔49 〕

    此外,法律應(yīng)及時劃定政府獲取第三方平臺數(shù)據(jù)的邊界,防止政府以公共利益為名無限度獲取平臺通過知情同意收集的用戶數(shù)據(jù),并規(guī)定政府做好相關(guān)的數(shù)據(jù)安全保障工作。

    (三)行政信息公開原則與保護(hù)算法商業(yè)秘密的衡平

    應(yīng)平衡算法自動化決策的模型公開與保護(hù)私營企業(yè)商業(yè)秘密之間的沖突,適度增加算法自動化決策的透明度。一直以來,公開算法模型都被開發(fā)設(shè)計算法的私營公司以“保護(hù)商業(yè)秘密”為由反對。例如,美國法學(xué)教授要求紐約州和紐約市公布教師評分的算法,遭到了紐約州教育部的拒絕。因其算法技術(shù)供應(yīng)合同規(guī)定,承包商提供的方法或措施是“專有信息”,教育部門不能公開?!?0 〕這引發(fā)疑問,私營企業(yè)的商業(yè)秘密可否凌駕于行政正當(dāng)程序?qū)π畔⒐_的要求之上?

    堅持行政公開原則,必須衡平商業(yè)秘密保護(hù)與公民正當(dāng)權(quán)利之間的價值位階。行政信息公開是一種集體語境下的程序正義,算法自動化決策普遍適用于行政相對人,本質(zhì)是一般規(guī)則。算法的開發(fā)設(shè)計過程類似于起草和通過一項即將適用于一大批案件的一般證據(jù)規(guī)則。一套算法系統(tǒng)可對多個行政相對人產(chǎn)生法律效力,一旦發(fā)生錯誤可能產(chǎn)生彌散化的損害后果。而具備正當(dāng)性的規(guī)則應(yīng)具有可預(yù)測性,即人們可以根據(jù)規(guī)定,事先估計到當(dāng)事人雙方將如何行為及行為的后果,從而對自己的行為作出合理的安排。〔51 〕這種對規(guī)則的知情權(quán)既是一種人權(quán),也是可依據(jù)我國憲法推導(dǎo)出的公民權(quán)利?!?2 〕相對于私營公司的商業(yè)秘密保護(hù),顯然價值位階更高。

    退一步論證,要求公布算法決策要素及權(quán)重,并不是要求公布技術(shù)源代碼,而是要求公布被代碼化的法律規(guī)則。當(dāng)前,有學(xué)者認(rèn)為算法的透明既非必要也不可能,甚至存在一定的害處?!?3 〕這將算法透明視作單一的、絕對的源代碼披露,忽視了算法的透明具有多層次性、多種方式、多種對象。

    算法自動化決策系統(tǒng)信息公開的不足會導(dǎo)致對政府公權(quán)力信任的不足,民眾信任的缺失可能導(dǎo)致更多的上訴,抵消掉算法系統(tǒng)帶來的行政效率提高效應(yīng)。鑒于算法的技術(shù)性,美國學(xué)者嘗試發(fā)展“技術(shù)性正當(dāng)程序”的制度來解決這一問題,即通過強調(diào)編碼公開、開發(fā)公眾參與程序、系統(tǒng)軟件測試等來實現(xiàn)程序所要求的透明化、公開和可問責(zé)等要求。〔54 〕因此,未來在政府內(nèi)部增加專業(yè)力量,由既懂行政規(guī)則又懂技術(shù)的人員來監(jiān)督算法設(shè)計運行,方為解決之道。

    (四)行政信息公開與算法決策輸出的說明

    行政信息公開應(yīng)包括對于行政決策結(jié)果中,在何種程度參考了算法自動化決策結(jié)果的信息。某個具體的行政行為,算法自動化決策可能起到不同程度的作用。有可能算法自動化決策直接成為生效的行政行為,如深圳市政府的“秒批”事項在2020年已達(dá)212個;? 〔55 〕有可能需要進(jìn)行進(jìn)一步人工審核,如再犯風(fēng)險評估軟件的法官審核。在此意義上,算法自動化決策對具體行政行為的干預(yù)程度和行政決策的可逆性應(yīng)向行政相對人公開。即使算法自動化決策已經(jīng)開始深度嵌入行政活動,但考慮到行政權(quán)力有著諸多不可讓渡的空間,并且涉及國家等基本概念的存系,應(yīng)盡量減少算法直接作出行政決定的情況。〔56 〕

    與此同時,應(yīng)尤其注意算法自動化決策結(jié)果對技術(shù)弱勢群體的說明方式。我國政府信息公開條例第43條規(guī)定:“申請公開政府信息的公民存在閱讀困難或者視聽障礙的,行政機關(guān)應(yīng)當(dāng)為其提供必要的幫助。” 〔57 〕依此立法精神,應(yīng)在信息公開環(huán)節(jié)同樣照顧老人、受教育程度較低人群等技術(shù)弱勢群體,以簡明、圖畫方式對公眾說明算法自動化決策。

    綜上所述,行政部門應(yīng)用算法自動化決策既應(yīng)符合行政信息公開的基本要求,也應(yīng)在輸入數(shù)據(jù)、決策過程和最終決策層面遵循行政信息公開原則的要求。德國第36屆信息官員自由會議通過一項文件“算法在公共管理中的透明度”。根據(jù)此文件,德國政府部門使用的算法必須要公布:(1)有關(guān)程序輸入和輸出數(shù)據(jù)的數(shù)據(jù)類別的信息;(2)算法所涉的邏輯,尤其是使用的計算公式,包括輸入數(shù)據(jù)的權(quán)重,基本的專業(yè)知識以及用戶部署的個人配置;(3)最終決策的范圍以及程序可能產(chǎn)生的后果。政府使用算法決策如不遵循行政信息公開原則,算法自動化決策的公平、可問責(zé)則無從談起。

    四、基于公眾參與原則進(jìn)行算法影響評估

    行政正當(dāng)程序中的公眾參與原則具有重要的實體權(quán)利保障功能,應(yīng)從加強公眾參與與恢復(fù)相對人陳述和申辯權(quán)利兩個方面,發(fā)展算法治理時代的行政正當(dāng)程序。

    (一)以算法影響評估保證公眾參與算法系統(tǒng)訂購與使用

    行政一般規(guī)則的制定需要公眾參與的審議,然而技術(shù)力量壟斷主導(dǎo)的采購與設(shè)計流程架空了這一過程。公眾參與原則要求算法自動化決策系統(tǒng)在被用于決策和影響行政相對人之前,公眾有權(quán)了解、評估和參與其對于自身和社會的影響。

    算法影響評估是既有行政制度資源的發(fā)展,可參考環(huán)境影響評估等類似的相關(guān)制度。這一制度的目的在于讓政府使用算法自動化決策前,能夠創(chuàng)造機會使得行政相對人、研究人員和決策者共同參與影響評估。這為公眾提供了算法系統(tǒng)部署前發(fā)現(xiàn)問題、表達(dá)訴求主張,甚至反對使用算法的機會,本身就是向社會提供算法系統(tǒng)信息的機制,能夠讓公眾更加了解情況、增加算法透明度,并讓政府部門、算法研發(fā)人員和公眾進(jìn)行富有成效的對話。其體現(xiàn)出行政程序不應(yīng)是行政主體單方用來約束公民、組織的工具,更是要體現(xiàn)出民主、責(zé)任、參與、法治的訴求。

    目前,我國各級警務(wù)部門的算法系統(tǒng)上線過程基本采用“個別試點后全面上線運行”的模式。這種模式可以視為試運行階段的算法影響測評,但上線前此類算法系統(tǒng)并無明確的評估程序,公眾無法借助參與過程提出自身的訴求。為了保證算法自動化決策系統(tǒng)被安全地部署于政府部門,歐洲議會提出了“算法影響評估(AIA)”的制度框架,即對于可能對公民權(quán)利造成影響的算法自動化決策系統(tǒng),應(yīng)允許社區(qū)和利益相關(guān)者進(jìn)行評估,以確定是否可以以及在什么領(lǐng)域使用算法?!?8 〕一些國家則已經(jīng)將算法影響評估制度從倡議落實為制度。加拿大在2020年生效的自動決策指令中,提出了對算法影響的評估制度?!?9 〕美國華盛頓州通過了眾議院和參議院的針對公共部門算法系統(tǒng)的HB165法案, 〔60 〕要求政府部門的算法系統(tǒng)在使用之前必須由政府在公共網(wǎng)站上公布,“并邀請公眾就算法問責(zé)報告發(fā)表評論,時間不得少于30天”。〔61 〕實際上,在歐盟通用數(shù)據(jù)保護(hù)條例(以下簡稱GDPR)中規(guī)定的“數(shù)據(jù)處理活動影響評估”制度實際上也是類似的算法自動化決策系統(tǒng)影響評估制度,而且既適用于私營公司也適用于公共部門?!?2 〕

    算法自動化決策的評估程序,不僅是公眾參與的有效路徑,也是算法設(shè)計者和使用者(平臺或政府)進(jìn)行自我監(jiān)管的重要方式。例如,我國中央網(wǎng)信辦將某些算法應(yīng)用定義為“具有輿論屬性或社會動員能力的互聯(lián)網(wǎng)信息服務(wù)”,并要求其進(jìn)行自我安全評估。〔63 〕舉輕以明重,由政府部門購買使用的算法自動化決策,也不應(yīng)被置于秘密黑箱之中,而應(yīng)在投入使用切實影響公民權(quán)利之前,經(jīng)過公眾參與的算法評估程序。在我國2020年7月發(fā)布的數(shù)據(jù)安全法(草案)征求意見稿中,提出了重要數(shù)據(jù)處理者的風(fēng)險評估制度,以及政務(wù)數(shù)據(jù)委托處理的批準(zhǔn)程序,但此類規(guī)定出于保護(hù)數(shù)據(jù)安全,基于保護(hù)公民權(quán)利的程序制度尚付諸闕如。

    (二)將通知與申辯環(huán)節(jié)作為算法決策生效必經(jīng)程序

    第一,應(yīng)避免全自動行政行為直接對當(dāng)事人發(fā)生法律效力,保證行政相對人可以收到算法自動化決策的有效通知,作為行政行為生效的必經(jīng)程序。為保障行政效率,很多的算法作出具體行政行為時完全無需任何人工干預(yù)。但是,當(dāng)算法作出了不利于當(dāng)事人的決定時,按照正當(dāng)程序更應(yīng)該提供有效通知。例如我國榮成市將個人信用評分的計算和評級分為指標(biāo)得分和直接判級兩種,前者是按照信用信息評價標(biāo)準(zhǔn)予以加(減)分,后者則是針對嚴(yán)重失信行為,將自然人的信用級別直接降級,被降級的自然人可能面臨如限制出境、限制高消費、公布姓名等懲戒行為。這類算法自動化決策應(yīng)以對相對人的及時通知作為后續(xù)行政活動展開的基礎(chǔ),公民可以主張相關(guān)內(nèi)容的更改、撤銷或者無效,方可為公民提供后續(xù)的救濟路徑?;谶@種考慮,德國行政程序法上對完全自動化行政的適用規(guī)定了兩個條件:其一,法律保留,即僅當(dāng)法律法規(guī)允許時方可適用;其二,行政機關(guān)不存在裁量和判斷余地時方可適用。

    第二,應(yīng)保證當(dāng)事人有陳述和申辯的權(quán)利,確保公民獲得人工干預(yù)算法自動化決策的權(quán)利。心理學(xué)的認(rèn)知實驗表明,人類將算法自動化系統(tǒng)看作防錯系統(tǒng),當(dāng)算法與人的決策出現(xiàn)分歧時,自動化系統(tǒng)的操作員傾向于相信計算機的回答?!?4 〕因為解碼算法自動化決策的成本過高,而驗證該算法作出的某個具體決策是否準(zhǔn)確相比之下收益變得極小。這導(dǎo)致算法自動化決策作出具體行政行為的情況下,具體個案的聽證成本極高,并不符合成本—收益分析法。第22條為類似境遇的相對人提供了出路:不受完全的自動化決策支配的權(quán)利,以及獲得人為干預(yù)的權(quán)利。在官方的解釋性文本中指出,該條款的目的旨在保護(hù)數(shù)據(jù)主體的利益,保障數(shù)據(jù)主體可以參與對其重要的決策。強有力的行政部門對個人使用數(shù)據(jù)進(jìn)行自動化決策的行為,使數(shù)據(jù)主體活在“數(shù)據(jù)陰影”之下,剝奪了個人影響決策過程的能力。

    五、基于說明理由規(guī)則創(chuàng)設(shè)算法解釋權(quán)

    由于數(shù)據(jù)來源的不透明、算法黑箱等因素,算法自動化決策的結(jié)果是如何得出的卻難以為個體所知曉。算法治理時代應(yīng)在適用算法自動化決策時堅持并修正行政行為說明理由的制度。

    (一)發(fā)展算法解釋權(quán)說明具體行政行為的理由

    各國的立法者與學(xué)界達(dá)成共識,即自動化決策的算法應(yīng)當(dāng)具備可解釋性,使得用戶有權(quán)知曉決策的原因。〔65 〕如法國數(shù)字事務(wù)部長表示:“如果政府不能解釋其決定,政府就不應(yīng)該使用算法?!?〔66 〕如果對于相對人不利的行政活動缺乏理由的說明,不僅會造成嚴(yán)重的程序性權(quán)利損害,更會使得行政相對人并不知曉理由而無法獲得行政法上的救濟。

    如果將算法自動化決策看作是專家論證,行政決策的科學(xué)性也必然要求建立行政決策專家咨詢的說明理由制度。算法自動化決策經(jīng)常以“專家決策輔助系統(tǒng)”的形式參與行政決策,行政部門應(yīng)以其理性解釋回應(yīng)公眾疑問,這既是對行政決策理性內(nèi)涵的解釋,也是對公眾的一種負(fù)責(zé)任的回應(yīng)?!?7 〕無法提供理由說明的專家意見直接影響行政決策的效力。司法實踐中,以專家咨詢結(jié)論說理不充分為由否定行政決策的個案并不鮮見。

    算法解釋權(quán)已經(jīng)從理論逐步發(fā)展為各國的具體制度,但其面目一直模糊難辨。以最早提出算法解釋概念的GDPR為例,其第13條、第15條提出的應(yīng)使數(shù)據(jù)主體了解“有意義的信息”“參與決策的邏輯”等規(guī)則,可以被法官寬泛或限制性解釋,也可能由于算法決策并非“完全基于自動化處理的決策”而被規(guī)避。

    法國2017年頒布實施的數(shù)字共和國法案則規(guī)定了較為具體的針對公共部門的算法解釋權(quán)。第一,針對的算法自動化決策范圍擴大,不再要求是“完全基于自動化處理的決策”,而涵蓋了行政機關(guān)的決策支持算法系統(tǒng)。第二,法國的算法解釋權(quán)僅適用于行政決定,因公共部門披露算法決策更具有理論正當(dāng)性,并且沒有商業(yè)算法決策的商業(yè)秘密障礙。第三,披露的內(nèi)容具體、范圍明確。要求提供的具體解釋內(nèi)容包括算法在行政決策中所起的作用與模式,算法處理的數(shù)據(jù)及來源,以及算法作出決策的權(quán)重,以及其如何適用于個體。無獨有偶,加拿大公共部門算法的自動化決策指令在2020年4月生效,要求使用算法決策的公共部門,應(yīng)就其決策向受影響的個人提供有意義的解釋,甚至包括決策中使用的變量??梢姡槍ο蛐姓鄬θ藗€體提供具體的算法解釋具有不可替代的制度價值并逐漸成為各國實踐。算法影響評估制度并不能代替算法解釋權(quán)制度,因為其旨在事前風(fēng)險的規(guī)避,而非事后的個體救濟。

    (二)行政行為算法解釋的內(nèi)容和標(biāo)準(zhǔn)

    理由說明的目的不僅限于知情,更在于提供救濟路徑。換句話說,理由說明不僅要使相對人知曉決定是如何作出的,同時還應(yīng)提供相對人可修正自動化決策的方法。具體的自動化決策算法解釋的理由說明包括:具體決策的理由、原因、產(chǎn)生決策結(jié)果的個人數(shù)據(jù)。例如每種指標(biāo)的功能權(quán)重,機器定義的特定案例決策規(guī)則,起參考輔助作用的信息等。 〔68 〕在決策涉及相對人實體權(quán)利、程序權(quán)利及救濟權(quán)利,涉及“最低限度的公正”時應(yīng)就自動化決策系統(tǒng)的運營過程、運營結(jié)果、作出行為的推理,給出理由說明。政府部門提供的算法解釋應(yīng)遵循以下標(biāo)準(zhǔn):第一,解釋的客體完整。自動化決策的算法解釋應(yīng)由監(jiān)管部門統(tǒng)一提供格式解釋文本,保證算法設(shè)計者和使用者提供的解釋客體完整且無遺漏,否則應(yīng)視為無效的解釋。第二,政府具體行政行為的理由說明,如不能提供理由則應(yīng)視為沒有理由, 〔69 〕可能直接導(dǎo)致政府算法自動化決策的行為失效。第三,解釋語言清晰平實,以書面形式作出。自動化決策算法解釋本質(zhì)是由信息占有優(yōu)勢一方作出的“信號發(fā)送”行為。由于政府與行政相對人權(quán)力與技術(shù)力量的差距,應(yīng)要求自動化決策算法解釋必須以清晰平實的語言作出,否則會導(dǎo)致解釋徒具形式而無法被理解?!?0 〕行政機關(guān)的算法解釋應(yīng)遵循具體行政行為說明理由的要求,或以書面形式作出,或在作出行政行為時必須說明,方便為日后行政訴訟與算法問責(zé)留存證據(jù)。

    不透明的自動化決策應(yīng)具備可解釋性而受到公眾監(jiān)督,使相對人有權(quán)知曉決策的原因,已經(jīng)成為算法自動化決策治理機制的共識。如果要求政府使用的算法自動化決策必須提供解釋和理由說明,還可以限制政府使用過于復(fù)雜的機器學(xué)習(xí)的算法系統(tǒng)。

    六、結(jié)? 語

    在已有的世界各國的立法中,政府使用的算法自動化決策都是被優(yōu)先作為監(jiān)管的對象。公民有權(quán)利期待國家使用現(xiàn)有的最佳技術(shù)來履行其行政管理職責(zé),這既來源于政府機構(gòu)有直接義務(wù)維護(hù)行政相對人的各項權(quán)利,更來源于行政機關(guān)應(yīng)為整個國家樹立榜樣。試想,如果被民眾信賴的、擁有最多社會資源的政府尚不能在算法自動化決策中保障公民權(quán)利,又如何指望私營的互聯(lián)網(wǎng)企業(yè)同樣公開、透明呢?算法治理時代,亟需遵循行政正當(dāng)程序的制度精神以改變對算法“技術(shù)中立”的錯誤認(rèn)識,避免“算法監(jiān)獄”與“算法暴政”的產(chǎn)生?!?1 〕算法治理時代,堅持、修正與發(fā)展正當(dāng)程序的具體制度,是政府負(fù)責(zé)任地應(yīng)用算法自動化決策的基本要求。

    猜你喜歡
    決策行政算法
    行政學(xué)人
    行政論壇(2022年5期)2022-10-25 04:47:00
    為可持續(xù)決策提供依據(jù)
    基于MapReduce的改進(jìn)Eclat算法
    Travellng thg World Full—time for Rree
    決策為什么失誤了
    行政調(diào)解的實踐與探索
    進(jìn)位加法的兩種算法
    一種改進(jìn)的整周模糊度去相關(guān)算法
    行政為先 GMC SAVANA
    車迷(2015年12期)2015-08-23 01:30:48
    加快行政審批體制改革
    全球化(2015年2期)2015-02-28 12:38:53
    亚洲专区国产一区二区| 90打野战视频偷拍视频| 这个男人来自地球电影免费观看| 国产69精品久久久久777片 | 看免费av毛片| 精品少妇一区二区三区视频日本电影| 18禁黄网站禁片免费观看直播| 在线免费观看的www视频| 免费看美女性在线毛片视频| 毛片女人毛片| 男女那种视频在线观看| 婷婷亚洲欧美| 亚洲国产精品sss在线观看| 十八禁网站免费在线| 久久久久久久精品吃奶| 国产成人欧美在线观看| 好看av亚洲va欧美ⅴa在| 老汉色∧v一级毛片| 在线观看一区二区三区| 一个人免费在线观看电影 | 天堂影院成人在线观看| 手机成人av网站| 国产三级在线视频| 国产精品爽爽va在线观看网站| 一本久久中文字幕| 欧美国产日韩亚洲一区| 国产精品一区二区精品视频观看| 不卡一级毛片| 亚洲国产看品久久| 国产精品一及| 亚洲性夜色夜夜综合| 亚洲欧美日韩高清专用| 天堂影院成人在线观看| 在线a可以看的网站| 国产真人三级小视频在线观看| 色综合站精品国产| 香蕉国产在线看| 中出人妻视频一区二区| 特级一级黄色大片| 国产av在哪里看| 长腿黑丝高跟| 精品欧美国产一区二区三| 成人18禁在线播放| 在线观看66精品国产| 日韩 欧美 亚洲 中文字幕| 黄色视频,在线免费观看| 操出白浆在线播放| 淫妇啪啪啪对白视频| 久久国产精品影院| 日韩欧美一区二区三区在线观看| 亚洲黑人精品在线| 亚洲免费av在线视频| 黄色毛片三级朝国网站| 国产高清视频在线播放一区| 变态另类丝袜制服| 亚洲人成电影免费在线| 免费观看精品视频网站| 日韩欧美 国产精品| 欧美黄色片欧美黄色片| 一级作爱视频免费观看| 日日爽夜夜爽网站| 日韩欧美国产一区二区入口| 男人舔女人的私密视频| 亚洲精品美女久久av网站| 欧美成狂野欧美在线观看| 午夜久久久久精精品| 午夜激情av网站| 巨乳人妻的诱惑在线观看| 我要搜黄色片| 国产69精品久久久久777片 | 啦啦啦免费观看视频1| a级毛片a级免费在线| 久9热在线精品视频| 高潮久久久久久久久久久不卡| 久久香蕉精品热| 他把我摸到了高潮在线观看| 国产亚洲av嫩草精品影院| 国产人伦9x9x在线观看| 亚洲国产高清在线一区二区三| 99久久精品热视频| 禁无遮挡网站| 可以在线观看毛片的网站| 老汉色∧v一级毛片| 老汉色av国产亚洲站长工具| 毛片女人毛片| 色综合婷婷激情| 日韩精品青青久久久久久| 国产一区二区激情短视频| 亚洲一卡2卡3卡4卡5卡精品中文| 国产激情欧美一区二区| 国产精品久久久久久亚洲av鲁大| 搡老妇女老女人老熟妇| 亚洲国产精品久久男人天堂| 妹子高潮喷水视频| 久久香蕉国产精品| 欧美日韩福利视频一区二区| 亚洲 欧美一区二区三区| 老司机靠b影院| 亚洲av日韩精品久久久久久密| 女警被强在线播放| 亚洲av片天天在线观看| 久久国产乱子伦精品免费另类| 精品免费久久久久久久清纯| 成熟少妇高潮喷水视频| 亚洲 欧美 日韩 在线 免费| 亚洲18禁久久av| 真人一进一出gif抽搐免费| 人妻丰满熟妇av一区二区三区| 999精品在线视频| 亚洲av成人av| 日本撒尿小便嘘嘘汇集6| 欧美乱色亚洲激情| 色综合亚洲欧美另类图片| 国模一区二区三区四区视频 | 黑人巨大精品欧美一区二区mp4| 国产蜜桃级精品一区二区三区| 久久精品91无色码中文字幕| 高清在线国产一区| 亚洲中文字幕日韩| 久久久久久国产a免费观看| 国产成人一区二区三区免费视频网站| 久久久久国产精品人妻aⅴ院| 亚洲国产看品久久| 男人的好看免费观看在线视频 | 亚洲av日韩精品久久久久久密| 无人区码免费观看不卡| 熟妇人妻久久中文字幕3abv| 一级a爱片免费观看的视频| 欧美日韩亚洲综合一区二区三区_| 亚洲成a人片在线一区二区| 久久精品国产综合久久久| 97碰自拍视频| 国产亚洲精品久久久久5区| 欧美丝袜亚洲另类 | 午夜免费成人在线视频| 中文字幕熟女人妻在线| 老司机午夜福利在线观看视频| www日本在线高清视频| 在线观看一区二区三区| 在线观看免费日韩欧美大片| 精品第一国产精品| 亚洲专区中文字幕在线| 九九热线精品视视频播放| 一进一出抽搐动态| 两性午夜刺激爽爽歪歪视频在线观看 | or卡值多少钱| 亚洲欧美激情综合另类| 国产黄片美女视频| АⅤ资源中文在线天堂| 国产区一区二久久| 亚洲欧美日韩东京热| 午夜福利欧美成人| 久久性视频一级片| 亚洲av成人一区二区三| 国产一区二区在线观看日韩 | 色综合亚洲欧美另类图片| 国产精华一区二区三区| 色综合婷婷激情| 久久国产乱子伦精品免费另类| 最近最新中文字幕大全免费视频| 国产av一区在线观看免费| 欧美三级亚洲精品| 国产伦人伦偷精品视频| 在线播放国产精品三级| 免费在线观看影片大全网站| 天天添夜夜摸| 精品日产1卡2卡| 欧美日韩精品网址| 国产黄a三级三级三级人| 国内精品久久久久久久电影| 国产伦一二天堂av在线观看| 男女下面进入的视频免费午夜| 亚洲国产欧美一区二区综合| 欧美久久黑人一区二区| 国产野战对白在线观看| 午夜免费激情av| 怎么达到女性高潮| 国产精品久久久av美女十八| 亚洲五月天丁香| 精品久久久久久久久久免费视频| 欧美一区二区精品小视频在线| 国产精品爽爽va在线观看网站| 精品久久蜜臀av无| 在线观看www视频免费| 女生性感内裤真人,穿戴方法视频| 久久这里只有精品19| 一本综合久久免费| 国产精品一及| 久久这里只有精品19| 白带黄色成豆腐渣| 国产精品一及| 操出白浆在线播放| 日本熟妇午夜| 国产欧美日韩一区二区三| 成年人黄色毛片网站| 黄色毛片三级朝国网站| 99国产综合亚洲精品| 校园春色视频在线观看| 两个人的视频大全免费| 亚洲性夜色夜夜综合| √禁漫天堂资源中文www| 亚洲 欧美 日韩 在线 免费| 九九热线精品视视频播放| 国产v大片淫在线免费观看| 国产精品亚洲一级av第二区| 国产精品一区二区三区四区久久| 精品无人区乱码1区二区| 两性午夜刺激爽爽歪歪视频在线观看 | 精品无人区乱码1区二区| 亚洲一区中文字幕在线| 在线免费观看的www视频| 在线观看日韩欧美| 又紧又爽又黄一区二区| 一个人免费在线观看的高清视频| 久久久久国产一级毛片高清牌| 在线观看66精品国产| 国产精品日韩av在线免费观看| 老司机午夜福利在线观看视频| 国产精品亚洲一级av第二区| 久久精品综合一区二区三区| 免费看日本二区| 在线a可以看的网站| 亚洲中文av在线| 99久久精品国产亚洲精品| 国产精品99久久99久久久不卡| 哪里可以看免费的av片| www.精华液| 亚洲一区二区三区色噜噜| 成在线人永久免费视频| 亚洲国产中文字幕在线视频| 国产一级毛片七仙女欲春2| 亚洲性夜色夜夜综合| 亚洲国产精品久久男人天堂| 好男人电影高清在线观看| 久久久久久久精品吃奶| 日韩欧美在线乱码| 国产私拍福利视频在线观看| 一进一出抽搐动态| 午夜两性在线视频| 国产精品av久久久久免费| 亚洲国产精品久久男人天堂| 天天躁夜夜躁狠狠躁躁| 在线观看午夜福利视频| 搞女人的毛片| 免费在线观看完整版高清| 两人在一起打扑克的视频| 国产精品久久久久久久电影 | 麻豆国产97在线/欧美 | 国产一区二区在线观看日韩 | 露出奶头的视频| 99热这里只有精品一区 | 亚洲精品在线观看二区| 18禁裸乳无遮挡免费网站照片| 麻豆一二三区av精品| 亚洲国产看品久久| 日韩大码丰满熟妇| 久久精品国产99精品国产亚洲性色| 可以在线观看毛片的网站| 欧美三级亚洲精品| 久久久水蜜桃国产精品网| tocl精华| 性欧美人与动物交配| netflix在线观看网站| 欧美av亚洲av综合av国产av| 最近最新中文字幕大全免费视频| 国内久久婷婷六月综合欲色啪| 又紧又爽又黄一区二区| 欧美黑人欧美精品刺激| 久久久久九九精品影院| 色av中文字幕| 久久精品亚洲精品国产色婷小说| 一进一出抽搐gif免费好疼| 麻豆国产97在线/欧美 | 丰满人妻熟妇乱又伦精品不卡| 国产精品野战在线观看| 国产一级毛片七仙女欲春2| 我要搜黄色片| 久久久久久久精品吃奶| 国产久久久一区二区三区| 国产一区二区三区视频了| 又粗又爽又猛毛片免费看| 人成视频在线观看免费观看| 国产人伦9x9x在线观看| 身体一侧抽搐| 深夜精品福利| 亚洲色图 男人天堂 中文字幕| 可以在线观看毛片的网站| 亚洲国产精品sss在线观看| 久久精品91无色码中文字幕| 成人三级做爰电影| 成年版毛片免费区| 国产精品久久久人人做人人爽| 1024视频免费在线观看| 国产精品 欧美亚洲| 老汉色∧v一级毛片| 午夜福利免费观看在线| 精品午夜福利视频在线观看一区| 夜夜看夜夜爽夜夜摸| 亚洲av成人av| 非洲黑人性xxxx精品又粗又长| 亚洲av成人一区二区三| 久久久久亚洲av毛片大全| 叶爱在线成人免费视频播放| 免费在线观看亚洲国产| 一本大道久久a久久精品| 91麻豆精品激情在线观看国产| 一本一本综合久久| 欧美精品啪啪一区二区三区| 99精品欧美一区二区三区四区| 亚洲人与动物交配视频| 亚洲国产欧美网| 两个人免费观看高清视频| 精品一区二区三区四区五区乱码| 欧美绝顶高潮抽搐喷水| 国产精品av视频在线免费观看| 黄片大片在线免费观看| 免费在线观看日本一区| 国产高清视频在线播放一区| 男女做爰动态图高潮gif福利片| 亚洲人成电影免费在线| 精品福利观看| 琪琪午夜伦伦电影理论片6080| 桃色一区二区三区在线观看| 香蕉久久夜色| 中文字幕人成人乱码亚洲影| 久久亚洲真实| 最新美女视频免费是黄的| 每晚都被弄得嗷嗷叫到高潮| 久久久国产精品麻豆| 欧美3d第一页| 亚洲一区中文字幕在线| 亚洲成人国产一区在线观看| 国产成人aa在线观看| 国产伦在线观看视频一区| 亚洲成人中文字幕在线播放| 禁无遮挡网站| 亚洲中文日韩欧美视频| 2021天堂中文幕一二区在线观| tocl精华| 人妻夜夜爽99麻豆av| 午夜福利视频1000在线观看| 久热爱精品视频在线9| 岛国在线免费视频观看| 老司机深夜福利视频在线观看| 久久久久久国产a免费观看| 精品国内亚洲2022精品成人| 宅男免费午夜| 亚洲欧洲精品一区二区精品久久久| 色噜噜av男人的天堂激情| av片东京热男人的天堂| 国产精品影院久久| 久久这里只有精品19| 少妇粗大呻吟视频| 亚洲成av人片免费观看| 国产一区二区三区视频了| 十八禁人妻一区二区| 一二三四在线观看免费中文在| 亚洲av第一区精品v没综合| 国产亚洲精品一区二区www| 亚洲国产欧美人成| 久久久久久久久中文| 九九热线精品视视频播放| 国产精品野战在线观看| 久久久国产精品麻豆| 国产激情欧美一区二区| 亚洲国产欧美人成| 亚洲国产日韩欧美精品在线观看 | 午夜福利在线在线| 操出白浆在线播放| 97碰自拍视频| 亚洲人成伊人成综合网2020| 日韩精品青青久久久久久| 后天国语完整版免费观看| 又黄又粗又硬又大视频| 亚洲精品美女久久av网站| 黄色a级毛片大全视频| 午夜免费成人在线视频| 成年人黄色毛片网站| 在线观看www视频免费| 午夜精品在线福利| 三级国产精品欧美在线观看 | 脱女人内裤的视频| 国产三级黄色录像| 黄色毛片三级朝国网站| 国产精品爽爽va在线观看网站| 亚洲国产欧美网| a级毛片a级免费在线| 中文字幕高清在线视频| 99国产综合亚洲精品| 久久久久免费精品人妻一区二区| 制服丝袜大香蕉在线| 无限看片的www在线观看| 香蕉丝袜av| 国产亚洲精品av在线| 最近视频中文字幕2019在线8| 亚洲av中文字字幕乱码综合| 亚洲狠狠婷婷综合久久图片| 国产成+人综合+亚洲专区| 国产精品av久久久久免费| 国产午夜精品论理片| 成在线人永久免费视频| 免费在线观看视频国产中文字幕亚洲| 国产成人精品久久二区二区91| 国产免费男女视频| 免费人成视频x8x8入口观看| 在线十欧美十亚洲十日本专区| 免费人成视频x8x8入口观看| 国产精品1区2区在线观看.| 男女视频在线观看网站免费 | 久久香蕉激情| 97碰自拍视频| 欧美黄色淫秽网站| 男人舔女人下体高潮全视频| √禁漫天堂资源中文www| 1024香蕉在线观看| 国产精品一区二区免费欧美| 亚洲av成人av| 久久久久久久久中文| 国产精品av久久久久免费| 无限看片的www在线观看| 精品免费久久久久久久清纯| 国产精品一区二区三区四区免费观看 | 美女大奶头视频| 国内精品久久久久久久电影| 亚洲自拍偷在线| 国产精品亚洲av一区麻豆| 亚洲成人精品中文字幕电影| 亚洲avbb在线观看| 国产免费av片在线观看野外av| 午夜久久久久精精品| 长腿黑丝高跟| 亚洲av成人一区二区三| 性色av乱码一区二区三区2| 99国产精品一区二区三区| 亚洲欧美一区二区三区黑人| 成年版毛片免费区| 久久午夜亚洲精品久久| 日韩免费av在线播放| 亚洲人成伊人成综合网2020| 国产精品一区二区三区四区久久| 亚洲第一电影网av| 国产精品一区二区三区四区久久| 中文字幕高清在线视频| av视频在线观看入口| 曰老女人黄片| 在线观看免费日韩欧美大片| 一区二区三区高清视频在线| 97超级碰碰碰精品色视频在线观看| 亚洲国产精品sss在线观看| 校园春色视频在线观看| 国产91精品成人一区二区三区| 成人一区二区视频在线观看| 90打野战视频偷拍视频| 日本熟妇午夜| 日韩高清综合在线| ponron亚洲| 欧美色欧美亚洲另类二区| 亚洲美女黄片视频| 一卡2卡三卡四卡精品乱码亚洲| 国产免费av片在线观看野外av| 久久热在线av| videosex国产| 曰老女人黄片| 欧美乱妇无乱码| 大型黄色视频在线免费观看| 久久精品国产99精品国产亚洲性色| 一区福利在线观看| 脱女人内裤的视频| 免费看美女性在线毛片视频| 欧美不卡视频在线免费观看 | 91字幕亚洲| 在线看三级毛片| 少妇人妻一区二区三区视频| 成人18禁在线播放| 99在线人妻在线中文字幕| 亚洲成av人片在线播放无| 日韩av在线大香蕉| 999久久久精品免费观看国产| 18禁黄网站禁片午夜丰满| 久久国产乱子伦精品免费另类| 欧洲精品卡2卡3卡4卡5卡区| 九色成人免费人妻av| 搡老熟女国产l中国老女人| 国产成人精品无人区| 亚洲成人免费电影在线观看| 热99re8久久精品国产| 国产一区二区在线观看日韩 | 午夜精品在线福利| 免费看a级黄色片| 亚洲avbb在线观看| 男女床上黄色一级片免费看| 国产精品亚洲美女久久久| 亚洲国产欧美一区二区综合| 老汉色∧v一级毛片| 欧美色欧美亚洲另类二区| 草草在线视频免费看| 国产在线精品亚洲第一网站| 久久久精品欧美日韩精品| 成人国产综合亚洲| 亚洲欧美日韩高清专用| 亚洲乱码一区二区免费版| 精品久久久久久久久久久久久| 天堂动漫精品| 国产熟女xx| 99国产精品一区二区蜜桃av| 国产午夜福利久久久久久| 99热6这里只有精品| 18禁黄网站禁片免费观看直播| 亚洲天堂国产精品一区在线| 午夜福利免费观看在线| 老熟妇乱子伦视频在线观看| 青草久久国产| 在线视频色国产色| 久久人妻av系列| 露出奶头的视频| 老熟妇乱子伦视频在线观看| 国产熟女午夜一区二区三区| 国产真人三级小视频在线观看| 国产在线精品亚洲第一网站| 久久中文字幕一级| 欧美成人午夜精品| 99久久99久久久精品蜜桃| 亚洲av电影在线进入| 欧美不卡视频在线免费观看 | 天天躁狠狠躁夜夜躁狠狠躁| 成人18禁高潮啪啪吃奶动态图| 亚洲无线在线观看| 亚洲色图av天堂| 最近在线观看免费完整版| 精品人妻1区二区| 亚洲精品国产一区二区精华液| 天堂动漫精品| 亚洲国产精品合色在线| 青草久久国产| 亚洲自拍偷在线| 午夜久久久久精精品| 久久久久久大精品| 小说图片视频综合网站| 精品无人区乱码1区二区| 欧美黑人精品巨大| 看片在线看免费视频| 日本 欧美在线| 亚洲专区中文字幕在线| 亚洲男人的天堂狠狠| www.999成人在线观看| 无限看片的www在线观看| 久久九九热精品免费| 午夜福利18| 天堂影院成人在线观看| 最近视频中文字幕2019在线8| 国产精品亚洲一级av第二区| 亚洲欧美激情综合另类| 他把我摸到了高潮在线观看| 亚洲国产欧美网| 十八禁人妻一区二区| 国产av在哪里看| 天堂影院成人在线观看| 精品国产乱码久久久久久男人| av福利片在线观看| 可以在线观看的亚洲视频| 男女下面进入的视频免费午夜| 成人一区二区视频在线观看| 久久亚洲真实| 嫩草影视91久久| 欧美国产日韩亚洲一区| 国产一区二区三区在线臀色熟女| 亚洲中文字幕日韩| 成人国语在线视频| 国产高清视频在线观看网站| 国产精品亚洲美女久久久| 在线观看免费日韩欧美大片| 丁香欧美五月| 国产探花在线观看一区二区| 69av精品久久久久久| 欧美一区二区精品小视频在线| 欧美另类亚洲清纯唯美| 淫秽高清视频在线观看| 麻豆成人av在线观看| 99久久精品国产亚洲精品| 国产成年人精品一区二区| 国产午夜精品论理片| 青草久久国产| av国产免费在线观看| 国产激情欧美一区二区| 1024视频免费在线观看| 最好的美女福利视频网| 久久久久精品国产欧美久久久| 久久久久久大精品| 精品少妇一区二区三区视频日本电影| 国产精品亚洲av一区麻豆| 一二三四社区在线视频社区8| 久久久久国产精品人妻aⅴ院| 久99久视频精品免费| 欧美午夜高清在线| 欧美日本视频| 1024视频免费在线观看| 国产三级在线视频| 50天的宝宝边吃奶边哭怎么回事| 亚洲黑人精品在线| 大型黄色视频在线免费观看| 国产片内射在线| 久久久精品欧美日韩精品| 不卡一级毛片| 久久伊人香网站| 91av网站免费观看| 黄色 视频免费看| 在线播放国产精品三级| 国产亚洲精品久久久久5区| 欧美一区二区精品小视频在线| 中文字幕最新亚洲高清| 国产亚洲精品久久久久5区| 精品电影一区二区在线| 观看免费一级毛片| 亚洲国产精品成人综合色| 国产精品久久久久久亚洲av鲁大|