• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)字法治政府建設中的算法行政:現(xiàn)實困境與紓解路徑

    2024-12-04 00:00:00彭執(zhí)一梁亞倫
    中共南京市委黨校學報 2024年5期

    [收稿日期] 2024-07-09

    [基金項目]四川省教育廳人文社會科學重點研究基地-四川基層公共文化服務研究中心2024年重點項目(JY2024A02);中國政法大學2024年度“學習習近平新時代中國特色社會主義思想”博士創(chuàng)新實踐項目(Z2024BSCX01)。

    [作者簡介]彭執(zhí)一,北京市西城區(qū)人民法院行政審判庭法官助理,100054;梁亞倫,中國政法大學法學院博士研究生,100088。

    [摘 要]數(shù)字時代的到來使得法治政府建設提升到“數(shù)字”維度的新階段,而建設數(shù)字法治政府需要對算法行政這一核心命題進行“揚長避短”。通過對實施現(xiàn)狀的梳理發(fā)現(xiàn),算法行政在數(shù)字法治政府建設中對行政主體職權行使和行政相對人權利保障等存在負面影響,在革新傳統(tǒng)治理模式的過程中問題頻現(xiàn),需要從針對性化解算法行政給行政主體所帶來的風險、有效實現(xiàn)算法行政下行政相對人的困境紓解、算法行政在傳統(tǒng)治理模式革新中的問題應對等方向入手,尋求解題之道。完善算法行政的努力將為數(shù)字法治政府建設提供寶貴的樣本價值。

    [關鍵詞]算法行政;數(shù)字法治政府;數(shù)治;現(xiàn)實困境;紓解路徑

    [中圖分類號]D912.1; D922.1[文獻標識碼]A[文章編號]1672-1071(2024)05-0063-09

    引言

    在大數(shù)據(jù)、人工智能、區(qū)塊鏈、云計算、元宇宙等數(shù)字技術的驅動賦能下,數(shù)字時代正在以前所未有的速度向我們走來。在中國式現(xiàn)代化語境下,數(shù)字時代不僅意味著社會形態(tài)從工業(yè)社會傳統(tǒng)模式走向一種由數(shù)字技術所建構的全新模式,更將帶來政府治理模式的深刻變革,數(shù)字法治政府建設作為中國式法治現(xiàn)代化的核心子課題之一,伴隨著數(shù)字時代的到來而成為行政法學研究中新的“顯學”[1]。新時代新征程,法治政府建設正朝著數(shù)字化轉型與改革方向邁進,數(shù)字法治政府建設已然成為國家治理體系和治理能力現(xiàn)代化的必然要求。

    《法治政府建設實施綱要(2021—2025年)》指出,應“堅持運用互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術手段促進依法行政,著力實現(xiàn)政府治理信息化與法治化深度融合,優(yōu)化革新政府治理流程和方式,大力提升法治政府建設數(shù)字化水平”。事實上,算法行政是數(shù)字法治政府建設中重要的一環(huán),如何將算法更好運用于政府治理,有效規(guī)避算法行政的弊端與風險,發(fā)揮其在行政效能提升上的巨大功用,是我們推動數(shù)字法治政府建設走向更高水平的重要議題。當前階段,數(shù)字法治政府建設中的算法行政在行政活動各環(huán)節(jié)適用上,以及適配傳統(tǒng)政府治理模式并推動漸進式革新中,均有大量顯見的現(xiàn)實困境,需要有針對性地加以紓解,厘清算法技術與行政法律制度之間的關系,促進算法更好地賦能政府行政活動,推動算法行政成為數(shù)字法治政府建設的關鍵動力源,發(fā)揮好算法行政中數(shù)字化與法治化雙重引擎的作用,加快建設數(shù)字法治政府[2]。

    一、 算法行政在數(shù)字法治政府建設中的實施現(xiàn)狀

    (一) 算法行政發(fā)展的時代背景

    近年來,隨著互聯(lián)網(wǎng)、大數(shù)據(jù)以及人工智能等技術的日漸成熟與廣泛應用,科技潮流奔涌而來并迅速向前[3]27,政府治理新需求的不斷涌現(xiàn),使得算法技術也逐漸進入行政規(guī)制領域,以美國為主要代表的域外國家[4]早已將算法行政納入本國行政管理之中,悄然發(fā)揮其行為規(guī)訓和福利配置的作用[5]。

    在我國,算法嵌入行政活動也逐漸在國家頂層設計和相關政策規(guī)劃之中體現(xiàn)出來。2019年,黨的十九屆四中全會通過的《中共中央關于堅持和完善中國特色社會主義制度 推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》即明確提出,“要加強數(shù)字政府建設;要建立健全運用互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術手段進行行政管理的制度規(guī)則”,標志著算法行政的法治化要求進入黨和國家的政策規(guī)劃,細化執(zhí)行的方案制定應當被提上日程。2021 年8月2日,中共中央、國務院印發(fā)的《法治政府建設實施綱要(2021-2025年)》明確提出“全面建設數(shù)字法治政府”的目標要求。在這個時代背景下,算法與行政的結合促成了“算法行政”的誕生。“算法行政”可以理解為國家運用算法技術執(zhí)行和管理社會的一種活動,換言之是一種被數(shù)據(jù)所賦能的全新治理模式,充分體現(xiàn)了大數(shù)據(jù)時代下信息收集高效方便、算法處理快速準確、算法決策科學中立的特點,完美地實現(xiàn)了“人—機”的轉換。

    (二) 算法行政發(fā)展的實踐樣態(tài)

    1. 算法行政地方立法:以京津冀地區(qū)為例證

    地方立法是推動算法行政實踐的重要環(huán)節(jié)。以區(qū)域協(xié)調發(fā)展立法的先行區(qū)域之一——京津冀地區(qū)為例,相關探索為算法行政的發(fā)展和實踐運用提供了有效的政策文本和科學的土壤。例如天津2021年8月出臺了《天津市加快數(shù)字化發(fā)展三年行動方案(2021—2023年)》,提出“發(fā)展普惠共享的數(shù)字公共服務”。北京2021年印發(fā)了《北京市關于加快建設全球數(shù)字經(jīng)濟標桿城市的實施方案》及打造智慧城市“樣板”的“十四五”行動綱要,其中也涉及了公共服務數(shù)字化轉型相關內容。而河北省則在“十四五”規(guī)劃中提出“促進信息技術與公共服務深度融合”。京津冀地區(qū)以推動城市區(qū)域融合發(fā)展、創(chuàng)新發(fā)展、綠色發(fā)展和數(shù)字化發(fā)展為目標導向,在數(shù)字時代背景下迅速驅動社會管理理念和管理方式改革轉型,借助大數(shù)據(jù)、人工智能等數(shù)字信息技術賦能社會治理,積極響應黨中央提出的“推進數(shù)字政府建設”發(fā)展戰(zhàn)略,不斷提高政府履職能力。

    2017年12月由北京市人民政府印發(fā)的《北京市政務信息資源管理辦法》、2021年1月由北京市大數(shù)據(jù)工作推進小組印發(fā)的《北京市公共數(shù)據(jù)管理辦法》等法規(guī)標準,形成了特色鮮明的“北京模式”。天津、河北也有相關法律法規(guī)出臺。如2019年1月起正式實施的《天津市促進大數(shù)據(jù)發(fā)展應用條例》。尤其是2022年7月起正式實施的《河北省數(shù)字經(jīng)濟促進條例》,其第七章更是以“京津冀數(shù)字經(jīng)濟協(xié)同發(fā)展”為題,專門明確推進三地新型基礎設施建設標準、布局和應用協(xié)同,推進與京津執(zhí)行統(tǒng)一的數(shù)據(jù)技術規(guī)范,實現(xiàn)公共數(shù)據(jù)信息系統(tǒng)兼容。2023年5月,北京市大數(shù)據(jù)中心、原天津市大數(shù)據(jù)管理中心(現(xiàn)隸屬于天津市數(shù)據(jù)局的天津數(shù)據(jù)發(fā)展中心)、原河北省大數(shù)據(jù)中心共同簽署了《京津冀大數(shù)據(jù)發(fā)展戰(zhàn)略合作協(xié)議》,旨在探索三地數(shù)據(jù)流通和數(shù)據(jù)協(xié)同的新模式,以疏通區(qū)域一體化協(xié)同發(fā)展,建設覆蓋大中小微企業(yè)的數(shù)字信用體系、符合場景的數(shù)據(jù)交易市場以及安全穩(wěn)定的數(shù)據(jù)流通平臺等數(shù)字化基礎設施??梢哉f,在國家部署“數(shù)字中國”戰(zhàn)略以來,京津冀三地政務服務數(shù)字化轉型及協(xié)同取得了較大的進展,數(shù)字化社會治理有了政策性支持與光明前景,算法行政在其中扮演著推動京津冀地區(qū)數(shù)字化社會治理的關鍵角色。

    2. 算法行政應用場景:以多種算法系統(tǒng)為例證

    近年來,人工智能算法更加廣泛地運用于各類社會治理領域,充分發(fā)揮了其高效快捷的優(yōu)勢。2017年,“海燕”系統(tǒng)在全國范圍內上線,主要應用于交通違章行政處罰領域。該智能算法系統(tǒng)對車輛信息及駕駛行為做出多次識別,對交通違法行為進行精準抓取,“智能識別抓拍”+“錄入系統(tǒng)算法分析”的運行模式為行政處罰的事實認定打下堅實基礎①。2018年,上海市靜安區(qū)在轄區(qū)內200多家食品經(jīng)營場所安裝“天鷹”智能分析系統(tǒng),監(jiān)管人員可以通過該系統(tǒng)內的監(jiān)管平臺即時查看聯(lián)網(wǎng)餐飲單位的后廚畫面,并進行24小時實時監(jiān)控。在監(jiān)控數(shù)據(jù)獲取之后,“天鷹”系統(tǒng)還可以識別并分析出違規(guī)行為并生成報警信息,并將該信息向食品經(jīng)營者和對應的市場監(jiān)管人員推送②。2018年,杭州市城市大腦V2.0版本上線,其中杭州59個高架匝道交通信號燈由人工智能算法技術接管。根據(jù)相關工作人員介紹,它能通過2分鐘、4分鐘、6分鐘的不斷學習、反饋及自我評價,自動找出主線和匝道最均衡、最適合的時間及流量配比方案,實現(xiàn)了算法對公共交通領域的有效接管③。

    2019年,北京市通州區(qū)環(huán)境監(jiān)管部門正式上線運營的“城市大腦·生態(tài)環(huán)境”生態(tài)環(huán)境綜合治理平臺,包括監(jiān)測大氣顆粒物、交通流量和工地揚塵的全部視頻監(jiān)控探頭,每10分鐘完成一次污染源視頻掃描;人工智能實時自動感知環(huán)境污染事件、實時上報派遣,其算法分析和識別出的違法信息將會在審核后直接作為行政處罰的依據(jù)④。2020年,河北省衡水市就曾在行政處罰裁量中運用了算法技術,其在《行政處罰決定書》中載明:“根據(jù)衡水市行政處罰自由裁量輔助決策系統(tǒng)各項裁量因子計算(焚燒面積:不足一畝;行為區(qū)域:二類功能區(qū)(工業(yè)區(qū)和農村地區(qū));焚燒時機:晴天晝間),裁量認定:情節(jié)輕微,處罰款人民幣伍佰肆拾伍元整。”可以看出,行政機關工作人員直接采納了算法得出的“情節(jié)輕微”的結果認定,是算法行政的典型運用。同年,廣西壯族自治區(qū)積極探索食品安全監(jiān)管的新模式,開發(fā)出市場銷售食用農產品質量安全抽檢監(jiān)測系統(tǒng),實現(xiàn)了對批發(fā)市場和農貿市場食品快檢結果數(shù)據(jù)的及時錄入、實時動態(tài)監(jiān)測和質量安全可追溯。此外,還開發(fā)了食品安全抽檢監(jiān)測分析系統(tǒng),通過該系統(tǒng)可以隨時查詢分析海量檢測信息,在數(shù)據(jù)收集的同時展開隨機抽查,根據(jù)其算法得出的風險級別來決定抽檢頻次,實現(xiàn)基于大數(shù)據(jù)的風險分析與管理⑤。隨著生成式人工智能技術與大模型的結合不斷從理論走進現(xiàn)實,多模態(tài)公共數(shù)據(jù)生成創(chuàng)造性、有價值的信息供政府決策者進行精準科學決策,以及政務服務流程自動化智能化的效率提升都將逐步落地實現(xiàn),算法行政的運行與應用場景還將有突破式更新。

    二、 算法行政在數(shù)字法治政府建設中的現(xiàn)實困境

    算法行政在數(shù)字時代背景下展現(xiàn)出巨大優(yōu)勢,在推動行政決策優(yōu)化、政府管理模式創(chuàng)新、行政監(jiān)督方式完善等方面都具有不可替代的作用,為傳統(tǒng)政府向智慧型政府和服務型政府的轉型提供源源不竭的動力。然而,算法技術是一把“雙刃劍”,隨著算法行政的實踐運用不斷實現(xiàn)廣度和深度的提升,其對于法治所帶來的沖擊也日趨明顯。

    (一) 算法行政對傳統(tǒng)行政主體依法行政產生的影響

    1. “人力”與“技術”主客體地位存在顛倒趨勢

    算法技術本身所具有的全天無差別檢測、客觀數(shù)據(jù)精準收集等特征,使得行政機關當然對其賦予極大的信任,因此在條件允許的情況下,所有行政行為的作出都會優(yōu)先選用算法程序獲取的數(shù)據(jù)為依據(jù)。而在裁量參考方面,算法技術把人的主觀因素抽離出裁量過程,被行政機關視為公正執(zhí)法的體現(xiàn),因此在常規(guī)場景下,行政機關工作人員就會養(yǎng)成過度依賴算法技術進行行政裁量的弊病,照搬裁量結果,并將其作為處罰依據(jù)附在處罰決定書中,“人力”與“技術”的主客體地位存在顛倒的趨勢。

    2. “技術”決策無法通過“人力”實現(xiàn)監(jiān)督

    事實上,行政機關工作人員并不天然具備判別生成數(shù)據(jù)及機器分析結論正確與否的能力,在辨明決策是否存在謬誤上存在很大的難度。即便其察覺出不妥,但由于決策是由算法作出的,對系統(tǒng)生成的數(shù)據(jù)佐證的結論進行修改的程序極其繁瑣和嚴格,就導致絕大多數(shù)行政機關工作人員并不會貿然對其進行修改。例如:在何友慶行政處罰案中,交警大隊無權修改平臺根據(jù)裁量作出的處罰金額[6],而在一些地方,只要違法事實記入系統(tǒng)之中,執(zhí)法人員就無法撤銷或修改,即便想要修改,也必須經(jīng)過一系列繁瑣和嚴格的附加程序[7]。而行政機關工作人員不懂技術造成的無法監(jiān)督,以及規(guī)避修改造成的不予監(jiān)督,導致了算法決策權的主體由行政機關轉變?yōu)樗惴?,出現(xiàn)“技術”決策無法通過“人力”實現(xiàn)監(jiān)督的現(xiàn)實困境。

    (二) 算法行政對行政相對人權益保障存在程序負效應

    1. 算法行政存在侵蝕行政相對人程序性權利的風險

    第一,行政公開制度和說明理由制度的失靈與行政相對人知情權的保障存在沖突。行政機關有義務將作出行政行為的依據(jù)、條件、標準面向公眾公開,行政機關需要對為何做出該種行政行為的理由進行解釋,兩種制度共同保障了行政相對人在相關領域和具體事項中的知情權,意義不言自明。但算法技術本身具有的“黑箱”特性使其無法進行過程、標準以及依據(jù)的公開,或者以代碼為對象的運算數(shù)據(jù)公開本身就不具有實質價值。算法行政系統(tǒng)進行計算的過程是“輸入-匹配-輸出”,在這一過程中輸入前的事實和數(shù)據(jù),輸出后的結論性數(shù)據(jù)通過人力均可以掌握,但專業(yè)技術壁壘和算法加密性致使數(shù)據(jù)處理過程并不能被直觀獲?。?]6。

    第二,聽證制度失靈與行政相對人陳述、申辯權的依法保障之間存在沖突。在傳統(tǒng)的行政活動中,行政機關現(xiàn)場執(zhí)法并作出決策,整個過程與行政相對人保持了時間和空間上的關聯(lián)性;而算法行政過程中,行政機關執(zhí)法的非現(xiàn)場性使其與行政相對人之間產生了信息交流的非對稱性[9]。也即是說,在算法系統(tǒng)作出決策時,行政相對人不能及時向行政機關申辯,其權利便無法得到有效保障。在傳統(tǒng)的行政方式中,行政執(zhí)法過程需要一定的時間成本,其具有“在現(xiàn)場”的空間性和“在當下”的時間性特點,調查取證、詢問、決策、聽證等每個環(huán)節(jié)都可以單獨并且可視化進行。而算法機器在處理行政事項時,其強大的計算能力能夠在輸入數(shù)據(jù)的瞬間就得出決策結果,因而無法像傳統(tǒng)行政活動一樣實現(xiàn)各步驟的有效拆解,使得行政活動不再分階段地單獨呈現(xiàn)。算法行政通過將所有信息和內容輸入既定的算法系統(tǒng)中得出結果,這就使得行政相對人原本分散在各個環(huán)節(jié)的陳述、申辯權利受到了沖擊。

    2. 算法決策增加了行政相對人在司法審查階段的救濟難度

    在通常的行政執(zhí)法場景下,行政機關因行政行為而被起訴時,可以通過與取證人員對質來了解證據(jù)采集過程、執(zhí)法人員的主觀想法等,并以此判斷證據(jù)是否合法、真實和關聯(lián)性幾何。[10]而在算法行政范式下,行政機關只需證明執(zhí)法拍攝設備的運轉狀態(tài)正常即可,其余均不予審查。例如,在何凱訴上海市公安局黃埔分局交通警察支隊行政糾紛案件中,原告(行政相對人)質疑被告(行政機關)所使用的聲吶定位系統(tǒng)電子監(jiān)控設備,認為該設備所生成的照片中橢圓形印記系人為添加。而本案中,法院選擇了審查該設備在投入使用后遭到投訴的頻次,并據(jù)此判斷能否對系統(tǒng)生成的結論予以采信。這種通過投訴率建構合理懷疑標準的審查方式顯然是存在問題的,據(jù)此標準我們不難發(fā)現(xiàn),即便運行設備和算法系統(tǒng)真的出現(xiàn)問題,也只能在多次失誤出現(xiàn)后才能賦予下一位“幸運的”行政相對人一次證明其救濟權合理性的機會。因此,這種審查方式給行政相對人實現(xiàn)權利救濟增加了難度,并在某種程度上附加了限制條件。

    (三) 算法行政的發(fā)展倒逼傳統(tǒng)政府治理模式革新

    1. 算法行政的發(fā)展致使政府治理中的公共性式微

    政府治理中的公共性,是指政府進行一切公共管理活動都是以提供公共服務和維護公共利益為價值導向[11]15,公共性在政府治理中發(fā)揮著“軌道指引”的作用。而“公共性”的內涵和價值內核是“以人為基礎”[12]42-45,這是因為人能夠充分發(fā)揮其主觀能動性,高度復雜的人腦系統(tǒng)加持,使得行政機關工作人員可以根據(jù)不同情況不同事實作出相應的行政決策行為。然而算法行政模式下,算法技術的嵌入擠壓了人在公共行政領域中的生存空間,這使得公共行政實踐中作為活動參與基本單元的人的參與性越來越弱[13],公共性在此過程中明顯弱化。算法系統(tǒng)的巨大優(yōu)勢讓人陷入技術依賴和技術崇拜的陷阱中,從而引發(fā)自我表達和參與的迷失[14]。

    2. 算法行政下的“數(shù)治”對傳統(tǒng)“法治”存在沖擊

    在數(shù)字時代,公權力機關通過對公民、法人和其他組織的數(shù)據(jù)進行采集、處理及應用,不斷增強其“數(shù)據(jù)權力”。這種“數(shù)據(jù)權力”與傳統(tǒng)“行政權力”的深度融合,促成了“數(shù)治”[15]。這種數(shù)治一定程度上沖擊了法治。首先,法治內涵之一的規(guī)則之治要求以穩(wěn)定的成文法規(guī)則為基礎,而數(shù)治的基礎則是數(shù)據(jù)、代碼和算法規(guī)則,從本質上不符合依據(jù)法律行使行政行為的要求。其次,法治內涵之二的理由之治強調要以公開、參與、競爭性的法律程序呈現(xiàn)事實和理由,而數(shù)治下的行政行為有著雜糅性、瞬時性、不可分離性的特征,存在著由程序壓縮導致的行政相對人程序性權利消解,算法黑箱導致的行政決策“無法解釋”和“不能解釋”等弊端,使得理由之治中的說明理由義務被虛化。最后,法治內涵之三的價值之治中,時代背景下的價值共識首要是對權力的約束和對個人尊嚴、權利的保障。而數(shù)治強調的價值首要是工具有效性和行政高效性,兩者在價值上并未能實現(xiàn)完全統(tǒng)一。

    三、 現(xiàn)階段算法行政現(xiàn)實困境的紓解路徑

    (一) 針對性化解算法行政給行政主體所帶來的風險

    1. 厘清定位:堅持行政主體地位與算法工具屬性

    一方面,應當用辯證思維看待算法行政。面對算法行政模式的興起,我們既要順應時代發(fā)展趨勢,積極用技術賦能政府治理,也要警惕算法行政給傳統(tǒng)行政主體所帶來的危機和挑戰(zhàn)。另一方面,行政機關應當在適用數(shù)字時代行政活動智能化趨勢的同時,堅持樹立主體性思維,始終以人為本推動數(shù)字法治政府建設。算法技術歸根結底是人類所創(chuàng)造出來的生產力工具,工具屬性始終是其第一性特征,算法系統(tǒng)即使擁有再高的自動化和智能化水平,也不具備超越人類的創(chuàng)造力,始終都只是輔助人類的工具[16]。生成式人工智能技術發(fā)展至今,即使有較為成熟的大模型可以基于海量數(shù)據(jù)和深度學習實現(xiàn)一定程度的“創(chuàng)新”,但這種“創(chuàng)新”本質上仍屬于既有數(shù)據(jù)運算的結果,而并不能像人腦一樣除了綜合現(xiàn)實情況進行計算外,還能考量價值、道德、情感等主觀因素,因此在算法行政的理想運作模式中,這些無法被編入算法系統(tǒng)卻至關重要的考量因素只能由行政機關背后的人作出。正如有算法運用在司法裁判領域那樣:對于一些交織著復雜社會價值和情理的案件,僅靠人工智能的數(shù)據(jù)分析和邏輯判斷是無法完成的,只有結合審判者理性的思考和感性的價值判斷才能夠得到公正的結果[17],在行政活動中亦然,行政決策和行政裁量的生成過程不能只依據(jù)算法,主導這一過程的主體只能是行政機關。立法不應賦予算法系統(tǒng)行政主體的資格,而應將其視為行政機關完成行政任務的具體機制和通道[18]。

    2. 提升能力:加強對算法技術的監(jiān)管與審核

    要提高行政機關運用算法的能力,從技術層面嘗試“解碼”封閉的算法行政決策過程,確保決策環(huán)始終有行政機關的身影。一方面,對于算法機器所獲取的證據(jù)必須批判對待,不能“照單全收”;而對于算法技術的分析過程,行政機關工作人員要積極進行“數(shù)據(jù)洗滌”,及時刪除無意義的數(shù)據(jù)。另一方面,行政機關工作人員培育對算法技術的監(jiān)管與審核能力也十分重要??陀^來說,行政機關讓渡決策權的重要原因之一,就是基于人力參與的過程無法像算法系統(tǒng)那般進行計算分析。這并不代表行政機關必須退場,反而要求其必須充分發(fā)揮有效參與和監(jiān)督的作用,對這些能夠影響行政相對人權益保障的決策環(huán)節(jié)給予更加嚴格的審核和控制。

    行政機關要在算法行政的技術運用和人才培養(yǎng)上加大投入力度,不斷提升行政機關工作人員運用人工智能和算法系統(tǒng)進行行政活動的能力,以及在算法技術輔助下實現(xiàn)科學精準決策的能力。還應當及時補充具備人工智能和法學雙學科背景的數(shù)字法治人才,通過代際優(yōu)化,逐漸實現(xiàn)工作隊伍的優(yōu)化升級。通過對行政機關工作人員舉行定期的技術普及性培訓、適當增加業(yè)務考核等方式,實現(xiàn)算法行政現(xiàn)存問題的合理解決[19]。此外,還應當持之以恒地推進政府善用算法的數(shù)據(jù)意識、行政機關工作人員善用算法的數(shù)據(jù)素養(yǎng)培育。真正從政府內部出發(fā),營造政府工作人員重視數(shù)據(jù)素養(yǎng)培育的良好氛圍,在保持行政機關工作人員主觀能動性的基礎上形成一種“主動學習大數(shù)據(jù)”的良好數(shù)據(jù)文化,由內而外帶動社會公眾,實現(xiàn)數(shù)字政府、數(shù)字社會、數(shù)字國家建設不斷向縱深發(fā)展[20]。

    (二) 有效實現(xiàn)算法行政下行政相對人的困境紓解

    1. 程序控制:救濟知情權與陳辯申訴權歸位

    落實信息公開,增設解釋義務。算法行政下公開什么、如何公開,是一個值得探究的問題。算法行政視角下的公開,我們最常想到的就是公開算法的計算代碼,但是一連串專業(yè)壁壘極高的數(shù)據(jù)代碼即便公開,對于公眾知情權的保障事實上也起不到任何效果,因為對這種“無意義的數(shù)據(jù)廢墟”所進行的公開只能消解算法技術的神秘性,卻不能被公民、法人和其他組織轉化為保護自己權利的武器[21]。再者,代碼的公開也往往會涉及商業(yè)秘密和數(shù)據(jù)安全的問題,可能導致代碼盜竊,也可能因公開存在一定技術疏漏的算法代碼而遭到“黑客”等了解代碼底層運行規(guī)則的群體進行的有組織攻擊。所以算法行政中算法的公開要有實質性意義和針對性指向[22],以此來保障公民“實質性的知情”[23]。在歐盟公布的《通用數(shù)據(jù)保護條例》(GDPR)中就有過相應的實踐:“應當向數(shù)據(jù)提供者公開涉及的邏輯的有意義的信息,以及此類處理對數(shù)據(jù)當事人的意義和預期后果?!钡谝?,應定期公開算法嵌入行政領域或主導行政決策的范圍清單,讓行政相對人知道哪些行政活動和行政決策運用到算法技術,并且還要公布在相關領域,算法參與行政活動和行政決策的程度,此舉便于行政相對人提前考量或將出現(xiàn)的侵益行為的方式和程度。第二,應公開算法系統(tǒng)的程序設計語言和運行邏輯,決策時各因素配比的權重等。通過此類舉措可以最大限度保障行政相對人的知情權,知曉影響自身權利義務的決策和活動所依據(jù)的邏輯,參考的因素和后續(xù)的影響等,以此增強行政相對人在個案行政決策結果和行為結果上的可預期性與可接受性。第三,政府采購部門應當和算法系統(tǒng)供應商提前協(xié)商并明確一定限度的公開需求,在算法系統(tǒng)的選購上將一定限度的公開義務作為標準在行政協(xié)議之中加以明確,避免相關企業(yè)用“商業(yè)秘密”來繞避公開義務。除算法系統(tǒng)可承受的最大限度實質性公開外,還需要給行政機關和算法系統(tǒng)開發(fā)者增設解釋義務,通過對系統(tǒng)運行流程和數(shù)據(jù)處理機制進行解釋說明,使社會公眾可以基本了解算法系統(tǒng)運行邏輯和價值取向。由此可以從兩個角度進行說明:第一,輸入時的說明。數(shù)據(jù)是算法行政運行的基礎,算法決策的科學性就是通過準確的數(shù)據(jù)選取和輸入為保障的,數(shù)字時代基礎信息和數(shù)據(jù)的充足度和豐富度毋庸置疑,但這也導致了數(shù)據(jù)質量的魚龍混雜。若數(shù)據(jù)本身就存在問題或關聯(lián)性較弱,那么決策結果就會出現(xiàn)瑕疵。因此,要及時解釋數(shù)據(jù)輸入的內容,給予行政相對人進行監(jiān)督和質疑的權利。第二,輸出時的說明。即要求對裁量因素、運行邏輯向行政相對人進行說明,可以聯(lián)合算法系統(tǒng)開發(fā)者一同面對行政相對人,針對“法律考量”和“技術考量”部分進行互補說明[24]。

    進行人工干預和事后程序補充,增設陳述、申辯權救濟渠道。首先,要保證行政相對人有隨時請求人工介入算法行政程序的權利,當一項算法適用于某個領域時,若行政相對人需要進行陳述和申辯時,行政機關應根據(jù)其理由和證據(jù)進行評估,若理由成立則應中斷整個自動化算法程序的執(zhí)行流程,轉為人工介入的普通程序。其次,雖然行政決策和行為過程中無法進行陳述和申辯,但是可以在事后進行補足,例如在決策過程中缺少了關鍵性因素和證據(jù)進而導致了不符合實際情況的行為和決策,則應嘗試進行修正,若可以轉譯為代碼進行輸入補正,則將其及時輸入;若無法進行補正輸入,最后的決策和行為應當由行政機關作出,其文書上要在算法系統(tǒng)規(guī)則之外充分體現(xiàn)行政機關補充的主觀內容,充分體現(xiàn)出行政相對人陳述和申辯權利保障的內容。

    2. 多維度權益保障:推進與時俱進的司法審查

    要從權益保障的目的出發(fā),切實審查算法技術運用的準確性和正當性。對于算法行政認定事實轉化為法律事實,司法審查的路徑可以如下:

    第一,審核算法技術設施的設置是否符合比例原則?!缎姓幜P法》第41條第1款規(guī)定的審查內容,其中要求討論設備設置是否合理,以道路交通領域為例,電子監(jiān)控設備輔助行政機關進行24小時不間斷無差別的監(jiān)測,而行政檢查作為侵益行政行為,因會對相對人造成不利影響而應當符合比例原則。電子監(jiān)控設備的數(shù)量和密度應當結合交通地點狀況、交通事故頻發(fā)程度、交通違法情形、交通危害后果等因素綜合考量[25]。因此若不符合比例地設置了設備,法院在審查時應當將該設備所獲取的事實予以排除。

    第二,審查算法系統(tǒng)取證是否符合技術標準要求。若取證時不符合相應的技術標準,法院在審查時應當將算法系統(tǒng)取證固定的事實直接排除。在蘇廣民訴青島市公安局嶗山分局交通警察大隊行政處罰二審行政判決書中,上訴人蘇廣民稱,被上訴人向法庭提供的、通過自動化設備采集的圖像證據(jù)不符合《道路交通安全違法行為圖像取證技術規(guī)范》(GAT832-2014)第3.6條中規(guī)定的“疊加在每幅圖片上的信息至少應包括違法時間、違法地點、違法代碼、違法行為、圖像取證設備編號、防偽信息等內容”,因此認為該證據(jù)不合法⑥。本質上,技術審查標準的制定是行政權行使的結果,在有關設備技術的合法性審查方面 ,法院原則上應當予以尊重,司法審查應當以是否存在取證和判斷瑕疵為準,即審查取證過程中是否符合相關技術領域的國家標準或者行業(yè)標準,對標準設置的合理性不進行實質審查。

    第三,審查算法技術是否有超越權限運行的嫌疑。依舊以道路交通領域為例,法律僅僅規(guī)定了其收集證據(jù)固定違法事實的權限,發(fā)揮為最終的處罰決定提供輔助的作用。也就是說,電子證據(jù)的上傳和違法事實的固定需要進入人工審核程序,只有經(jīng)過人工審核后的事實和證據(jù)才能作為行政處罰的依據(jù)。然而人工審核的內容僅包括了證據(jù)資料是否清晰,以及是否準確地記錄了違法行為過程、發(fā)生地點和時間等這些形式要件,對于系統(tǒng)認定的違法行為標準(事先設定好的算法系統(tǒng))這種實質要件則是不予審查并全盤接受的[26]。所以形式上確實有人工的介入,外在表現(xiàn)為行政行為的主體是行政機關,這種外顯性的聲明并不能阻卻算法系統(tǒng)已實質上成為真正的處罰決定作出者[27]。由此觀之,電子警察系統(tǒng)在應用過程中,已經(jīng)在事實層面超出了法律授權。因此,司法審查的重點,應當放在對算法技術介入的程度上,要求行政機關對接受算法技術所得出結論的比例或尺度進行說明并陳述理由,以保證算法技術能在現(xiàn)有的法律規(guī)范體系中始終處于輔助地位。此外,在實踐中我們還應當根據(jù)不同的決策場景和涉及利益的重要程度,確立具體的審查重點,進行不同層級的保護[28]。

    (三) 算法行政在傳統(tǒng)治理模式革新中的問題應對

    1. 行政公共性的重現(xiàn):建構人機和諧共生機制

    由于算法行政下決策和行為的作出具有結果的瞬時性和程序的不透明性,因此公眾無法有效參與其中,而算法系統(tǒng)通過數(shù)據(jù)分析和自我學習形成所謂的科學治理方案,再加之其數(shù)據(jù)分析可建構出完整的數(shù)字人格實現(xiàn)對個體需求的超前推算,這在表面造成了“行政相對人公共參與必要性減弱”的假象。在這種情況下,我們應當將權利放棄轉變?yōu)闄嗬惺乖跁r間上的前移,即將公眾參與的程序提前,將公眾在決策中發(fā)表意見的階段提前至算法設計階段,以此充分保障公眾對公共事務的參與。例如歐洲議會提出了“算法影響評估”(The Algorithmic Impact Assessment ,AIA),在這個框架的建構中就注明了如果一套算法系統(tǒng)在行政領域中的適用會對當事人產生權利義務的影響,那就應該派相關社區(qū)和公民參與評估,用來確定這項系統(tǒng)是否能夠適用[29]。美國紐約建構的算法影響評估制度也強調了公民的參與,即建立政府、公民、專家、第三方機構共同參與的多元評價機制[30]。據(jù)其經(jīng)驗,我們可嘗試將公眾參與內嵌到以下兩個步驟之中:第一,在行政機關選擇和采購算法系統(tǒng)時,可以將民眾滿意度作為招投標的主要考核指標之一,允許公民、法人和其他組織在公開的招投標環(huán)節(jié)中通過查閱競標的科技企業(yè)信息、過往研發(fā)實踐、產品亮點和體驗感受等提出意見,由于涉及專業(yè)性較強的內容,在提出相關意見時應要求同時提供相應證據(jù)和論證過程;第二,允許公眾參與算法系統(tǒng)的研發(fā)。由于算法系統(tǒng)的研發(fā)具有很強的技術性,因此,普通社會公眾只能提出關于過程控制、價值導向和救濟設置的建議,并在廣泛接納吸收這些建議后,由行政機關和算法系統(tǒng)開發(fā)者共同把關,確定上述需求落實的合理性與可行性。通過這些手段有效保證公民對算法行政的過程性參與,建構人機和諧共生的實施機制,進而實現(xiàn)行政公共性的重現(xiàn),以人的智慧為公共行政注入源源不斷的活力。

    2. 法治與數(shù)治的平衡:負面清單設立與選擇權保障

    通過既有經(jīng)驗研究,嘗試設立算法進入的行政領域的負面清單。不可否認,由算法技術賦能的數(shù)治對法治產生較大沖擊,我們可以通過區(qū)分算法能否進入的行政領域來限制算法行政的泛化[31]。在自動化行政發(fā)展初始階段,德國就曾對自動化設備的準入進行限制,一是適用必須遵循法律保留原則,二是對于不存在裁量和判斷的地方方可適用[32]。鑒于此,有學者提出設立算法行政合理應用領域清單[33],排除行政裁量空間較大的領域。除此之外,還可以借鑒行政訴訟受理范圍規(guī)定的模式,在此基礎上創(chuàng)設部分禁止進入的負面清單,更加科學地對算法進入行政領域進行限制。

    實現(xiàn)法治與數(shù)字的平衡,還應為行政相對人增設對程序的選擇權,進而實現(xiàn)其選擇權的保障。應當在一定程度上賦予行政相對人自由選擇是否運用算法處理同自身有利害關系的案件的權利。歐盟《通用數(shù)據(jù)保護條例》規(guī)定:“數(shù)據(jù)主體有權反對此類決策:完全依靠自動化處理——包括用戶畫像——對數(shù)據(jù)主體做出具有法律影響或類似嚴重影響的決策?!边@種“不受完全自動化決策約束權”[34],能夠體現(xiàn)出對程序自由選擇權的尊重與保障。因此在算法行政下,若一項決策或行為由算法系統(tǒng)作出且行政相對人對其并無異議時,該決策就應當生效;如果行政相對人質疑決策過程、結果等任意一個環(huán)節(jié),或者從一開始就拒絕接受算法系統(tǒng)的介入時,應當由行政機關工作人員以傳統(tǒng)方式處理,通過新的人力程序對該事項重新作出決策,但由于行政相對人可能會惡意質疑從而給行政機關造成不必要的業(yè)務壓力,所以在行政相對人質疑時,也應當要求其提出相應理由和依據(jù)供行政機關進行審查。通過這樣一套運作機制的規(guī)則細化與領域細化,使之在個案不斷更新中獲得檢驗與完善,最終助力法治與數(shù)治的平衡在算法行政中得到合理實現(xiàn)。

    結語

    建設數(shù)字法治政府關鍵在于算法行政的精準和正向適用,規(guī)范算法行政的技術邊界、規(guī)避其天然的程序負效應,這是實現(xiàn)精準和正向適用的必由之路。強調算法工具屬性并重視對算法技術的監(jiān)管審核,有助于針對性化解算法行政侵蝕傳統(tǒng)行政主體地位的風險,通過程序控制和多維度權益保障,將有效紓解算法行政下行政相對人面臨的權利救濟困境,而行政公共性的重現(xiàn)、法治與數(shù)治的平衡又將有效應對算法行政對傳統(tǒng)治理模式革新中存在的諸多問題。數(shù)字法治政府建設道阻且長,完善算法行政的嘗試提供了一種治理樣本,卻也僅是其中一小步。政府數(shù)據(jù)處理規(guī)則健全、數(shù)字政府組織規(guī)則完善、行政機關數(shù)字權力監(jiān)督機制完善等更多數(shù)字法治政府建設的議題,還有待逐一解決。

    注釋:

    ①參見騰訊新聞,《海燕系統(tǒng)已正式上線!不到一周抓拍違章上萬起,車主:車沒法開了》,騰訊新聞網(wǎng),https://auto.qq.com/a/20181203/007846.htm

    ②陸燕婷,《靜安用“天鷹”瞄準食品安全》,中國新聞網(wǎng),http://www.sh.chinanews.com.cn/bdrd/2019-02-18/52264.shtml;

    ③吳崇遠,《自動配時自動控制AI接管杭州59個高架匝道信號燈》,中國網(wǎng),http://zjnews.china.com.cn/yuanchuan/2018-11-30/156164.html.

    ④張楠,《副中心防控污染用上“人工智能”,生態(tài)環(huán)境綜合治理平臺試運行》,北晚新視覺網(wǎng),https://www.takefoto.cn/viewnews-1754361.html.

    ⑤洪泉,《廣西積極探索食品安全監(jiān)管新模式》,2020年7月30日《中國食品安全報》第B2版.

    ⑥參見山東省青島市中級人民法院(2020)魯02行終362號判決書,http://paper.cfsn.cn/content/1/2020-07/30/B2/20200730B2_ pdf.pdf.

    參考文獻:

    1〗周維棟,周佑勇.數(shù)字政府如何與法治政府更好結合?——基于技術與制度融合的分析視角.中國行政管理,2023(10):71-80.

    2〗查云飛.算法的行政法屬性及其規(guī)范.法制與社會發(fā)展,2023(6):168-185.

    3〗佩德羅·多明戈斯.終極算法:機器學習和人工智能如何重塑世界.黃芳萍,譯.北京:中信出版集團,2017.

    4〗Danielle Keats Citron.“Technological Due Proc-ess”[J]. Washington University Law Review.

    5〗王懷勇,鄧若翰.算法行政:現(xiàn)實挑戰(zhàn)與法律應對.行政法學研究,2022(4):104-118.

    6〗余俊,王守慢.算法自動化決策在行政處罰中的應用風險與規(guī)制路徑.中共山西省委黨校學報,2022(4):84-89.

    7〗王正鑫.機器何以裁量:行政處罰裁量自動化及其風險控制.行政法學研究,2022(2):166-176.

    8〗弗蘭克·帕斯奎爾.黑箱社會:控制金錢和信息的數(shù)據(jù)法則.趙亞男;譯.北京:中信出版集團,2015.

    9〗展鵬賀.數(shù)字化行政方式的權力正當性檢視.中國法學,2021(3):114-138.

    關保英,汪駿良.行政處罰中自動化方式適用的程序控制構建.青海社會科學,2021(6):150-159.

    戴維·H.羅森布魯姆戴維.公共行政學: 管理、政治與法律的途徑.張成福等,譯.北京:中國人民大學出版社,2002.

    譚九生.公共行政的哲學基礎.北京:中國社會科學出版社,2018.

    何哲.面向未來的公共管理體系:基于智能網(wǎng)絡時代的探析.中國行政管理,2017(11):100-106.

    王張華,顏佳華.人工智能時代算法行政的公共性審視——基于“人機關系”的視野.探索,2021(4):82-95.

    王錫鋅.數(shù)治與法治:數(shù)字行政的法治約束.中國人民大學學報,2022(6):17-34.

    馬長山.人工智能的社會風險及其法律規(guī)制.法律科學(西北政法大學學報),2018(6):47-55.

    馬靖云.智慧司法的難題及其破解.華東政法大學學報,2019(4):110-117.

    馬懷德.數(shù)字法治政府的內涵特征、基本原則及建設路徑.華東政法大學學報,2024(3):6-22.

    孫全勝.人工智能的機器學習助力數(shù)字法治政府建設的機理、挑戰(zhàn)與路徑.學術交流,2023(12):17-33.

    王凌光,梁亞倫.推動公共數(shù)據(jù)資源開發(fā)利用規(guī)范化制度化.民主與法制時報,2021-08-11(03).

    譚九生,范曉韻.算法“黑箱”的成因、風險及其治理.湖南科技大學學報(社會科學版),2020(6):92-99.

    丁曉東.論算法的法律規(guī)制.中國社會科學,2020(12):138-159+203.

    郭春鎮(zhèn).對“數(shù)據(jù)治理”的治理——從“文明碼”治理現(xiàn)象談起.法律科學(西北政法大學學報),2021(1):58-70.

    郝志斌.算法行政的風險場景及其法律規(guī)制——基于算法法權關系架構的分析.山東大學學報(哲學社會科學版),2023(5):157-169.

    余凌云.交警非現(xiàn)場執(zhí)法的規(guī)范構建.法學研究,2021(3):36-51.

    謝明睿,余凌云.技術賦能交警非現(xiàn)場執(zhí)法對行政程序的挑戰(zhàn)及完善.法學雜志,2021(3):48-58.

    王賓.自動化行政中算法的法律控制.財經(jīng)法學,2023(1):61-75.

    鄭智航.數(shù)字技術對政府權力的侵蝕及其法律規(guī)制.行政法學研究,2024(5):41-55.

    Koene A,Clifton C, Hatada Y, Webb H. A governance framework for algorithmic accountability and transparency[J]. Brussels: European Parliamentary Research Service,2009:53-55.

    雷剛,喻少如.算法正當程序:算法決策程序對正當程序的沖擊與回應.電子政務,2021(12):17-32.

    朱瑞.論算法行政的技術性正當程序.財經(jīng)法學,2023(4):103-117.

    馬顏昕.自動化行政的分級與法律控制變革.行政法學研究,2019(1):80-92.

    翟月熒.算法行政的興起、風險及其防控.新視野,2022(3):81-85.

    王苑.完全自動化決策拒絕權之正當性及其實現(xiàn)路徑——以《個人信息保護法》第24條第3款為中心.法學家,2022(5):72-86+193.

    (責任編輯:浩 洋)

    (校 對:木 子)

    国产亚洲精品久久久久5区| 亚洲色图av天堂| 一本大道久久a久久精品| 好看av亚洲va欧美ⅴa在| 99精品在免费线老司机午夜| 国产精华一区二区三区| 交换朋友夫妻互换小说| 天堂动漫精品| 啦啦啦免费观看视频1| 欧美日韩黄片免| 麻豆成人av在线观看| 欧美最黄视频在线播放免费 | 精品久久久久久电影网| 18美女黄网站色大片免费观看| 久久中文字幕一级| 国产蜜桃级精品一区二区三区| 精品国产一区二区三区四区第35| 91成年电影在线观看| 电影成人av| 99久久国产精品久久久| av天堂久久9| 国产乱人伦免费视频| 久久人人97超碰香蕉20202| 日本 av在线| 一个人免费在线观看的高清视频| 超色免费av| 麻豆国产av国片精品| 两个人看的免费小视频| 在线观看www视频免费| 新久久久久国产一级毛片| 国产三级黄色录像| 欧美色视频一区免费| 国产区一区二久久| 黄片播放在线免费| 妹子高潮喷水视频| 天天影视国产精品| 香蕉丝袜av| 欧美日韩视频精品一区| 国产99久久九九免费精品| 国产精品国产高清国产av| 亚洲专区中文字幕在线| 另类亚洲欧美激情| 亚洲精品粉嫩美女一区| 又大又爽又粗| 国产精品美女特级片免费视频播放器 | 国产精品一区二区精品视频观看| 村上凉子中文字幕在线| 一区二区日韩欧美中文字幕| 午夜免费激情av| 国产精品亚洲av一区麻豆| 怎么达到女性高潮| 久久久久国产精品人妻aⅴ院| 91字幕亚洲| 18禁国产床啪视频网站| 真人一进一出gif抽搐免费| 国产精品久久电影中文字幕| 91在线观看av| 丝袜在线中文字幕| 1024香蕉在线观看| 久9热在线精品视频| 国内久久婷婷六月综合欲色啪| 在线观看舔阴道视频| 亚洲精品国产区一区二| 国产精品免费一区二区三区在线| 国产精品久久久久久人妻精品电影| 人人妻人人澡人人看| 久久青草综合色| 侵犯人妻中文字幕一二三四区| 99国产极品粉嫩在线观看| 在线免费观看的www视频| 狠狠狠狠99中文字幕| 99精品久久久久人妻精品| 日韩大尺度精品在线看网址 | 黄色 视频免费看| 亚洲国产看品久久| 国内毛片毛片毛片毛片毛片| 久久精品国产99精品国产亚洲性色 | 亚洲精品美女久久av网站| 久久精品亚洲av国产电影网| 欧美久久黑人一区二区| 一边摸一边做爽爽视频免费| 另类亚洲欧美激情| 成人手机av| 欧美最黄视频在线播放免费 | 色精品久久人妻99蜜桃| 中出人妻视频一区二区| 欧美成人午夜精品| 18禁国产床啪视频网站| 18禁裸乳无遮挡免费网站照片 | 午夜a级毛片| 一个人免费在线观看的高清视频| 久久这里只有精品19| 国产激情欧美一区二区| 午夜精品国产一区二区电影| 深夜精品福利| 亚洲人成电影观看| 国产人伦9x9x在线观看| 亚洲专区中文字幕在线| 美女高潮到喷水免费观看| 久久久久九九精品影院| 国产aⅴ精品一区二区三区波| 一区二区三区激情视频| 深夜精品福利| 欧美乱妇无乱码| 色综合欧美亚洲国产小说| 国产精品久久久久成人av| 成人国产一区最新在线观看| 淫秽高清视频在线观看| 久久久久国内视频| 如日韩欧美国产精品一区二区三区| 1024视频免费在线观看| 久久精品91无色码中文字幕| 新久久久久国产一级毛片| 国产精品免费视频内射| 成人亚洲精品av一区二区 | 久久午夜综合久久蜜桃| √禁漫天堂资源中文www| 在线av久久热| 女人被狂操c到高潮| 国产成人欧美在线观看| 欧美成人免费av一区二区三区| 18禁黄网站禁片午夜丰满| 夜夜夜夜夜久久久久| 亚洲一区高清亚洲精品| √禁漫天堂资源中文www| 久久午夜综合久久蜜桃| 两个人看的免费小视频| 亚洲精品av麻豆狂野| 一本综合久久免费| 美国免费a级毛片| 午夜福利影视在线免费观看| 女性被躁到高潮视频| 国产精品一区二区三区四区久久 | 精品人妻在线不人妻| 妹子高潮喷水视频| 亚洲全国av大片| 一区福利在线观看| av视频免费观看在线观看| 久久国产精品男人的天堂亚洲| ponron亚洲| 日韩欧美国产一区二区入口| 欧美日韩亚洲高清精品| 精品少妇一区二区三区视频日本电影| 777久久人妻少妇嫩草av网站| 色婷婷久久久亚洲欧美| 亚洲精品成人av观看孕妇| 麻豆成人av在线观看| 黄色 视频免费看| 国产三级在线视频| 国产主播在线观看一区二区| 欧美老熟妇乱子伦牲交| 国产一卡二卡三卡精品| av有码第一页| 免费观看人在逋| 色精品久久人妻99蜜桃| 国产欧美日韩综合在线一区二区| 久久精品91无色码中文字幕| 成在线人永久免费视频| 香蕉丝袜av| 又大又爽又粗| 国产成人一区二区三区免费视频网站| 波多野结衣一区麻豆| 欧美乱妇无乱码| 国产成人av教育| 亚洲一区高清亚洲精品| 伦理电影免费视频| 高潮久久久久久久久久久不卡| 在线观看免费高清a一片| netflix在线观看网站| 精品久久久精品久久久| 国产精品1区2区在线观看.| 老汉色∧v一级毛片| 韩国精品一区二区三区| 亚洲精品久久成人aⅴ小说| 国产精品二区激情视频| 中文字幕另类日韩欧美亚洲嫩草| 视频在线观看一区二区三区| 国产一区二区在线av高清观看| 久久欧美精品欧美久久欧美| 亚洲三区欧美一区| 老汉色∧v一级毛片| 亚洲少妇的诱惑av| 国产精品国产av在线观看| 岛国视频午夜一区免费看| 国产精品日韩av在线免费观看 | 天天躁夜夜躁狠狠躁躁| 久久人人精品亚洲av| 久久天堂一区二区三区四区| 亚洲精品美女久久久久99蜜臀| 日韩视频一区二区在线观看| 久久久久久久久久久久大奶| 男人的好看免费观看在线视频 | av网站免费在线观看视频| 1024视频免费在线观看| 在线观看免费视频网站a站| 另类亚洲欧美激情| www.999成人在线观看| 黄片小视频在线播放| 淫秽高清视频在线观看| 最近最新免费中文字幕在线| 午夜老司机福利片| 91老司机精品| 91精品国产国语对白视频| 中文字幕高清在线视频| 一边摸一边抽搐一进一出视频| 亚洲成人免费av在线播放| 久久天堂一区二区三区四区| 亚洲性夜色夜夜综合| 一边摸一边抽搐一进一小说| 在线av久久热| 欧美中文综合在线视频| 国产在线精品亚洲第一网站| 成熟少妇高潮喷水视频| www.www免费av| 三级毛片av免费| 91大片在线观看| 色播在线永久视频| 国产无遮挡羞羞视频在线观看| 久久国产精品人妻蜜桃| 国产色视频综合| 视频区图区小说| 久久这里只有精品19| 91精品三级在线观看| 亚洲av熟女| 欧美日韩视频精品一区| 男女高潮啪啪啪动态图| 在线观看日韩欧美| 日韩大码丰满熟妇| 黑人欧美特级aaaaaa片| 精品少妇一区二区三区视频日本电影| 日本精品一区二区三区蜜桃| 91国产中文字幕| 在线观看免费午夜福利视频| 制服人妻中文乱码| 欧美日韩精品网址| 国产欧美日韩一区二区三区在线| 村上凉子中文字幕在线| 午夜福利,免费看| 欧美在线一区亚洲| av网站在线播放免费| 一级毛片女人18水好多| 麻豆成人av在线观看| 婷婷六月久久综合丁香| 久久精品国产亚洲av高清一级| www国产在线视频色| 91精品国产国语对白视频| 天堂俺去俺来也www色官网| av天堂在线播放| 90打野战视频偷拍视频| 亚洲人成电影观看| 亚洲国产中文字幕在线视频| 级片在线观看| 高清毛片免费观看视频网站 | 午夜免费成人在线视频| 亚洲视频免费观看视频| 动漫黄色视频在线观看| 激情在线观看视频在线高清| 日韩精品青青久久久久久| 人人妻人人爽人人添夜夜欢视频| 日日干狠狠操夜夜爽| av福利片在线| 黄色丝袜av网址大全| 亚洲va日本ⅴa欧美va伊人久久| 波多野结衣高清无吗| 黄色视频不卡| 啪啪无遮挡十八禁网站| 欧美人与性动交α欧美精品济南到| 免费不卡黄色视频| 多毛熟女@视频| 9色porny在线观看| 香蕉久久夜色| 国产亚洲精品久久久久久毛片| 精品一区二区三卡| 国产一区二区在线av高清观看| 一区二区三区精品91| 亚洲欧美激情综合另类| av天堂久久9| 咕卡用的链子| 黑人巨大精品欧美一区二区蜜桃| 啦啦啦 在线观看视频| av片东京热男人的天堂| 又紧又爽又黄一区二区| 久久香蕉国产精品| 午夜精品久久久久久毛片777| 夜夜爽天天搞| 免费观看人在逋| 日韩大码丰满熟妇| 成人永久免费在线观看视频| 国产主播在线观看一区二区| 一个人观看的视频www高清免费观看 | 成熟少妇高潮喷水视频| 久久久久久人人人人人| av在线天堂中文字幕 | 9191精品国产免费久久| 久久精品aⅴ一区二区三区四区| 欧美日韩视频精品一区| 两性午夜刺激爽爽歪歪视频在线观看 | 国产成人精品久久二区二区免费| 91九色精品人成在线观看| 女同久久另类99精品国产91| 日本 av在线| 中文字幕另类日韩欧美亚洲嫩草| av有码第一页| 1024视频免费在线观看| 人妻久久中文字幕网| 搡老熟女国产l中国老女人| 亚洲成人久久性| 亚洲成av片中文字幕在线观看| 18美女黄网站色大片免费观看| 狂野欧美激情性xxxx| 9191精品国产免费久久| 纯流量卡能插随身wifi吗| 91精品三级在线观看| 午夜亚洲福利在线播放| 久久精品国产99精品国产亚洲性色 | 最近最新中文字幕大全电影3 | 亚洲欧美日韩无卡精品| 久久精品国产亚洲av香蕉五月| 欧美黄色片欧美黄色片| 最近最新中文字幕大全免费视频| 久久久久久亚洲精品国产蜜桃av| 一区二区三区国产精品乱码| 国产乱人伦免费视频| 亚洲欧美日韩无卡精品| 嫩草影院精品99| 69精品国产乱码久久久| 国产激情欧美一区二区| 国产精品综合久久久久久久免费 | 国产一区在线观看成人免费| 90打野战视频偷拍视频| 国产精品美女特级片免费视频播放器 | 午夜久久久在线观看| 岛国在线观看网站| 在线观看一区二区三区激情| 99国产综合亚洲精品| 国产亚洲欧美98| 一本大道久久a久久精品| 成人三级黄色视频| 叶爱在线成人免费视频播放| 操美女的视频在线观看| 9191精品国产免费久久| 国产三级在线视频| 嫩草影院精品99| 免费在线观看黄色视频的| 50天的宝宝边吃奶边哭怎么回事| 欧美日韩国产mv在线观看视频| 亚洲专区中文字幕在线| 日韩欧美一区二区三区在线观看| 亚洲aⅴ乱码一区二区在线播放 | 黄色毛片三级朝国网站| 亚洲片人在线观看| 亚洲成a人片在线一区二区| 超碰97精品在线观看| 一夜夜www| 日日爽夜夜爽网站| 国产免费av片在线观看野外av| 99久久国产精品久久久| 欧美成人午夜精品| 国产精品自产拍在线观看55亚洲| 女人被狂操c到高潮| 岛国在线观看网站| 精品一区二区三卡| 在线观看午夜福利视频| 精品卡一卡二卡四卡免费| 国产精品久久久人人做人人爽| 久久这里只有精品19| 黑人巨大精品欧美一区二区mp4| av在线天堂中文字幕 | 欧美激情久久久久久爽电影 | 精品国产乱码久久久久久男人| 久久人人爽av亚洲精品天堂| 免费少妇av软件| 操出白浆在线播放| 精品国产超薄肉色丝袜足j| 久久人妻福利社区极品人妻图片| 国产成人免费无遮挡视频| 国产一区二区三区综合在线观看| 成人18禁高潮啪啪吃奶动态图| 欧美黑人精品巨大| 天堂影院成人在线观看| 黄色女人牲交| 丰满迷人的少妇在线观看| 亚洲精品一二三| 成人18禁高潮啪啪吃奶动态图| 一进一出好大好爽视频| 丰满迷人的少妇在线观看| 午夜福利,免费看| xxx96com| 亚洲熟妇熟女久久| 国产精品电影一区二区三区| videosex国产| 黄色毛片三级朝国网站| 国产av一区二区精品久久| 老司机午夜十八禁免费视频| 国产成人精品久久二区二区免费| 久久人人97超碰香蕉20202| 色综合站精品国产| 国产区一区二久久| 成人精品一区二区免费| 日本五十路高清| 18禁美女被吸乳视频| √禁漫天堂资源中文www| 在线观看免费视频日本深夜| 亚洲成av片中文字幕在线观看| 中文字幕人妻熟女乱码| 国产亚洲精品一区二区www| 91字幕亚洲| 亚洲七黄色美女视频| 99久久国产精品久久久| 欧美 亚洲 国产 日韩一| 国产高清激情床上av| 成人手机av| 国产成人精品久久二区二区免费| 丁香欧美五月| 丝袜美腿诱惑在线| 99久久国产精品久久久| 精品国内亚洲2022精品成人| 国产深夜福利视频在线观看| 久久精品国产亚洲av高清一级| 亚洲男人的天堂狠狠| 一二三四在线观看免费中文在| 久热这里只有精品99| 欧美成狂野欧美在线观看| 男男h啪啪无遮挡| 国产野战对白在线观看| 国产精品 国内视频| 可以在线观看毛片的网站| 国产精品影院久久| 人成视频在线观看免费观看| 国产日韩一区二区三区精品不卡| 亚洲全国av大片| 免费女性裸体啪啪无遮挡网站| 在线播放国产精品三级| 欧美一区二区精品小视频在线| 亚洲九九香蕉| 成熟少妇高潮喷水视频| 亚洲欧美激情在线| 欧美日本中文国产一区发布| 国产精品美女特级片免费视频播放器 | 一级毛片女人18水好多| 亚洲精品一区av在线观看| 交换朋友夫妻互换小说| 国产99久久九九免费精品| 久久人人精品亚洲av| 一边摸一边抽搐一进一小说| 日日夜夜操网爽| 日韩成人在线观看一区二区三区| 亚洲第一青青草原| 最近最新中文字幕大全免费视频| 久久午夜综合久久蜜桃| 久久久久亚洲av毛片大全| 69av精品久久久久久| 一级毛片女人18水好多| 日本免费一区二区三区高清不卡 | 麻豆成人av在线观看| 长腿黑丝高跟| 中文欧美无线码| 午夜日韩欧美国产| 亚洲国产看品久久| 日韩高清综合在线| 99国产精品99久久久久| 在线观看一区二区三区| 一区在线观看完整版| 久久久久国产精品人妻aⅴ院| 人人妻人人爽人人添夜夜欢视频| 午夜精品久久久久久毛片777| 日韩国内少妇激情av| 免费av毛片视频| aaaaa片日本免费| 一级a爱视频在线免费观看| 美女高潮到喷水免费观看| 一进一出抽搐动态| 欧美精品啪啪一区二区三区| 国产精品国产av在线观看| 三级毛片av免费| 精品久久久精品久久久| 1024香蕉在线观看| aaaaa片日本免费| 一级黄色大片毛片| 老汉色av国产亚洲站长工具| 国产区一区二久久| 成人特级黄色片久久久久久久| 一个人免费在线观看的高清视频| 国产精品永久免费网站| 12—13女人毛片做爰片一| 欧美在线一区亚洲| 精品高清国产在线一区| 午夜福利一区二区在线看| 一进一出抽搐动态| 国产精品1区2区在线观看.| 亚洲精品国产精品久久久不卡| 高清av免费在线| 女人被躁到高潮嗷嗷叫费观| 国产成人精品无人区| √禁漫天堂资源中文www| www.自偷自拍.com| av超薄肉色丝袜交足视频| 9色porny在线观看| 一级a爱片免费观看的视频| 亚洲aⅴ乱码一区二区在线播放 | 97碰自拍视频| 免费高清在线观看日韩| 高清在线国产一区| 欧美日本亚洲视频在线播放| 久久久久九九精品影院| 日韩国内少妇激情av| 老汉色av国产亚洲站长工具| 国产激情久久老熟女| 欧美+亚洲+日韩+国产| 亚洲一区二区三区欧美精品| 亚洲av片天天在线观看| 亚洲五月天丁香| 制服诱惑二区| 亚洲熟女毛片儿| 丝袜人妻中文字幕| 国产精品免费视频内射| 亚洲国产欧美一区二区综合| 热99国产精品久久久久久7| 亚洲欧美一区二区三区黑人| 久久精品国产综合久久久| 国产一区二区三区综合在线观看| xxx96com| 亚洲,欧美精品.| 欧美久久黑人一区二区| 久久中文看片网| 国产人伦9x9x在线观看| 一区二区日韩欧美中文字幕| 国产亚洲欧美精品永久| 精品一区二区三卡| 国产激情欧美一区二区| 亚洲精品中文字幕一二三四区| 成人特级黄色片久久久久久久| 亚洲成a人片在线一区二区| av视频免费观看在线观看| 看免费av毛片| 久久久久久久精品吃奶| 亚洲国产欧美日韩在线播放| 99久久综合精品五月天人人| 在线免费观看的www视频| 91在线观看av| 男人的好看免费观看在线视频 | 十分钟在线观看高清视频www| 黄色女人牲交| 9191精品国产免费久久| 中国美女看黄片| 日本五十路高清| 伦理电影免费视频| 国产一区二区三区在线臀色熟女 | 免费在线观看黄色视频的| 欧美在线黄色| 黄色毛片三级朝国网站| 最近最新免费中文字幕在线| 国产精品影院久久| 国产高清videossex| 精品久久久久久久毛片微露脸| av免费在线观看网站| bbb黄色大片| 精品人妻在线不人妻| 在线观看免费高清a一片| 国产精品久久视频播放| 大型黄色视频在线免费观看| 法律面前人人平等表现在哪些方面| 视频区欧美日本亚洲| 老熟妇乱子伦视频在线观看| 午夜老司机福利片| 黄色女人牲交| 国产亚洲精品一区二区www| 超色免费av| 亚洲国产精品999在线| 女人被狂操c到高潮| 国产av一区二区精品久久| 9色porny在线观看| 天堂动漫精品| 亚洲色图综合在线观看| 19禁男女啪啪无遮挡网站| 热re99久久国产66热| 国产一区二区三区在线臀色熟女 | 叶爱在线成人免费视频播放| 久久久久国产精品人妻aⅴ院| 亚洲国产欧美一区二区综合| 欧美成人午夜精品| 成人黄色视频免费在线看| 亚洲av成人不卡在线观看播放网| 很黄的视频免费| 精品一品国产午夜福利视频| 麻豆一二三区av精品| 18美女黄网站色大片免费观看| 日本五十路高清| xxx96com| 人成视频在线观看免费观看| 97碰自拍视频| 黑人欧美特级aaaaaa片| 亚洲欧美一区二区三区黑人| 好男人电影高清在线观看| 黄色丝袜av网址大全| 免费女性裸体啪啪无遮挡网站| 久久婷婷成人综合色麻豆| 91麻豆av在线| 久久久久久大精品| 午夜两性在线视频| 老司机福利观看| videosex国产| 精品一区二区三区视频在线观看免费 | 日日摸夜夜添夜夜添小说| 亚洲国产欧美一区二区综合| 欧美日本亚洲视频在线播放| 黄色a级毛片大全视频| 亚洲aⅴ乱码一区二区在线播放 | 中文欧美无线码| 啦啦啦免费观看视频1| 可以在线观看毛片的网站| 国产黄色免费在线视频| 日韩成人在线观看一区二区三区| 久久青草综合色| 这个男人来自地球电影免费观看|