• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    自動化行政的興起及其法律挑戰(zhàn)

    2021-01-28 13:42:03秦梅玉
    社會科學(xué)動態(tài) 2021年2期
    關(guān)鍵詞:程序人工智能法律

    秦梅玉

    近年來,隨著人工智能、大數(shù)據(jù)、區(qū)塊鏈等新興信息技術(shù)的快速發(fā)展及其場景化應(yīng)用的不斷拓展,人們的工作方式與生活方式發(fā)生了急劇變革,已經(jīng)別無選擇地走進了智能化、數(shù)字化或曰永遠在線的時代。有學(xué)者甚至認為,我們這一代人正在經(jīng)歷著從歷史時代向超歷史時代的轉(zhuǎn)變。①在行政法領(lǐng)域,新興信息技術(shù)所帶來的影響同樣廣泛和深刻,從政府信息公開到網(wǎng)絡(luò)問政,從電子政務(wù)的實踐探索到數(shù)字政府的頂層設(shè)計,莫不體現(xiàn)出行政法治在信息化時代的回應(yīng)性變遷。特別是在行政審批、行政處罰等問題上,人工智能所帶來的沖擊更為直接,所引發(fā)的法律爭議更為棘手,亟待立法回應(yīng)以及學(xué)界關(guān)注。

    一、自動化行政的興起及其問題面向

    作為備受關(guān)注的社會議題,自動化行政其實早已存在于現(xiàn)實生活中,最為常見的情形是利用電子監(jiān)控裝置進行的交通違規(guī)抓拍行為。近年來,各地為提高行政效率,優(yōu)化營商環(huán)境,競相通過智能設(shè)備來輔助行政決策或提高行政效能,如在政務(wù)服務(wù)中推行“無人工干預(yù)智能審批”,在行政處罰中引入聲吶“電子警察”等。②2017年10月10日,廣州市工商局正式啟動了“人工智能+機器人”(AIR) 全程電子化商事登記(簡稱智能全電登記),在全國首創(chuàng)工商登記“無人大廳”、“無人審批”新模式。2018年11月,深圳市發(fā)改委上線試行企業(yè)投資項目備案“秒批服務(wù)”,從事項申報到業(yè)務(wù)系統(tǒng)自動比對至備案證自動生成,全過程在網(wǎng)上實現(xiàn),全程無人工干預(yù),其被稱為“秒批”改革。這種“無人干預(yù)完全自動化”現(xiàn)象一時間蔚然成風(fēng),在引起巨大爭議的同時③,也預(yù)示著行政法即將迎來新的變革。

    自動化行政的技術(shù)原理并不難理解,無非是在行政程序中鍥入信息技術(shù),由人工智能代為處理相關(guān)行政活動。根據(jù)種屬關(guān)系,自動化行政無疑是行政的一種手段,由此我們可以借助于行政的通識性定義④,將自動化行政界定為國家行政機關(guān)或其他特定的社會公共組織為實現(xiàn)公共利益,借助于人工智能等信息技術(shù)來對公共事務(wù)進行組織、管理的活動及其過程。自動化行政是人工智能、大數(shù)據(jù)等信息技術(shù)在行政領(lǐng)域運用的產(chǎn)物,是技術(shù)進化的結(jié)果。由于技術(shù)進化的歷時性特征,其對行政程序的塑造不可能一蹴而就,必然會經(jīng)歷一個不斷試錯和調(diào)整的過程,因而也就有了半自動化行政和全自動化行政之分野。前者是指尚需要人工介入的自動化行政,對應(yīng)的行政行為類別包括電子溝通、電子告知或送達、電子申請或申報等,后者則是指智能互聯(lián)網(wǎng)時代無需人工介入便可完成的行政行為,如稅務(wù)行政中的“網(wǎng)上申報納稅”以及前文提及的“無人干預(yù)自動審批”。⑤隨著信息技術(shù)的升級換代特別是人工智能技術(shù)的日臻成熟,全自動化行政的覆蓋范圍必然會進一步拓展,行政程序的智能化水準也將不斷提升。人們在為行政便民以及營商環(huán)境優(yōu)化而欣喜的同時,也開始對自動化行政可能帶來的法律風(fēng)險感到憂思,包括信息收集與數(shù)據(jù)處理的錯誤風(fēng)險、個人隱私泄露和數(shù)據(jù)保護漏洞的風(fēng)險、算法霸權(quán)與算法不透明的風(fēng)險等。⑥借助于先進技術(shù),行政執(zhí)法的效率會明顯提高,但也會存在“機器執(zhí)法”所面臨的剛性有余而彈性不足問題,難以實現(xiàn)精細化治理。由于技術(shù)風(fēng)險的客觀存在,技術(shù)驅(qū)動下的自動化執(zhí)法難免產(chǎn)生偏差,形成某種歧視,“技術(shù)陷阱”甚至?xí)淌缮鐣姷臋?quán)利和自由。誠如有學(xué)者所言,數(shù)字革命更會使我們變得順從,讓我們自愿受其奴役,變得毫無隱私,最終結(jié)果就是我們喪失了私人生活,不可逆轉(zhuǎn)地放棄了自由。⑦此外,由于執(zhí)法密度過大,行政相對人的程序性權(quán)利難以得到保障等原因,自動化行政也受到指責(zé)。例如,目前不少地方均利用人臉識別技術(shù)進行交通自動化行政執(zhí)法,導(dǎo)致行政相對人說明理由的權(quán)利、陳述申辯的權(quán)利甚至被告知的權(quán)利受到侵犯。⑧事實上,自動化行政是存在正當性的法理前提的,包括公民“同意”、程序正義和行政便民。⑨但由于人們總是在“眾所周知”的預(yù)設(shè)前提下加以理解,自動化行政的制度漏洞被遮蔽在了技術(shù)進步的狂歡之中,以至于其實質(zhì)合理性和社會妥當性時常被疏忽。

    進步和發(fā)展是人類社會永恒的主題,技術(shù)進步不會因為法律的管制而停滯不前,制度創(chuàng)新也不會因為觀念的落伍而鳴金收兵。面對自動化行政這一信息技術(shù)的產(chǎn)物,我們需要權(quán)衡利弊,因勢利導(dǎo),將其風(fēng)險和負外部性控制在合理范圍之內(nèi),同時補強其法律制度供給,強化其合法性基礎(chǔ)。需要注意的是,自動化行政夾雜著技術(shù)與法律的雙重因子,對其進行有效的法律治理需要以精準的技術(shù)治理為前提。鑒于此,有必要厘清自動化行政的技術(shù)邏輯,明晰自動化行政帶給行政法治的具體挑戰(zhàn),進而尋求有針對性的因應(yīng)之策。

    二、自動化行政的技術(shù)變遷及其制度邏輯

    (一) 自動化行政的技術(shù)變遷史考察

    從世界范圍來看,自動化行政的發(fā)展歷史其實很短,但發(fā)展速度驚人,其始于1993年的美國,然后席卷全球。西方發(fā)達國家于上世紀90年代開始進入信息化社會,信息技術(shù)尤其是網(wǎng)絡(luò)技術(shù)發(fā)展迅猛,其確實推動了社會進步,但也對以工業(yè)社會為背景的傳統(tǒng)政府運作模式構(gòu)成挑戰(zhàn)。當時的美國總統(tǒng)克林頓提出了電子政府概念⑩,副總統(tǒng)戈爾所領(lǐng)導(dǎo)的全國績效評估委員會(NPR) 提出了“運用信息技術(shù)再造政府”的觀念,要求將信息技術(shù)運用至行政領(lǐng)域,此即為早期的自動化行政。此后,全世界被卷入自動化行政的改革浪潮,如隨后的英國為了促進現(xiàn)代信息技術(shù)的普及、日本與韓國為有效應(yīng)對信息時代的到來先后分別推進政府信息化,開始自動化行政實踐。?就我國而言,自動化行政起步較晚,其標準性事件是1999年宣布正式啟動“政府上網(wǎng)工程”,其后經(jīng)歷了實現(xiàn)辦公無紙化、政府透明化與高級行政自動化、高級智能電子政務(wù)階段。經(jīng)過電子政務(wù)的多年探索以及“互聯(lián)網(wǎng)+”的深入推進,我國各級政府的電子化和智能化水平明顯提高,目前正在向黨的十九屆四中全會提出的“推進數(shù)字政府建設(shè)”目標而邁進?,且正在人工智能的加持下向高級自動化行政躍遷。

    回望自動化行政的發(fā)展歷程,大體可分為三個階段。第一階段為初始階段,是自動化行政發(fā)展早期的較為普遍的一種形式,其主要表現(xiàn)為政府僅單方提供靜態(tài)信息,發(fā)布各種靜態(tài)咨詢。第二階段為發(fā)展階段,自動化行政呈現(xiàn)出從單向互動向雙向互動過渡的狀態(tài)。單項互動是政府主動向相對人提供某種范圍的服務(wù),但政府沒有被賦予與相對人互動的法定義務(wù),如對相對人的建議與詢問必須進行電子回復(fù);雙向互動是政府與行政相對人需在網(wǎng)上完成互動,政府不僅提供各種電子服務(wù)甚至可以直接進行電子審查,雙方可以直接借助電子手段進行溝通。第三階段則屬成熟階段,又被稱為“無縫隙政府階段”,政府與行政相對人在網(wǎng)上完成一切事務(wù)處理的全過程,可以跨越行政邊界完成一體化的操作。如果說第一階段和第二階段對應(yīng)著半自動行政行為,第三階段則對應(yīng)著全自動行政行為,其在某種程度上將公務(wù)員從繁瑣的行政程序中解放出來,開啟了一種由算法主導(dǎo)的“機器革命”。?從此,自動化行政進入到了一個全新的發(fā)展階段。

    (二) 自動化行政技術(shù)變遷的邏輯審視:以人工智能為中心

    自動化行政的技術(shù)原理并不復(fù)雜,大概的運作流程是將大量相同或相似的行政活動類型化,然后將行政活動所基于的事實要件、所適用的法律以及二者之間的結(jié)果對應(yīng)關(guān)系編寫成可識別的程序語言并事先設(shè)定、植入自動化行政設(shè)備,由自動化行政設(shè)備通過自行獲取或人工輸入的具體數(shù)據(jù)以自動控制的方式來批量處理行政事務(wù)。?自動化行政雖然是以大數(shù)據(jù)為基礎(chǔ)、以信息網(wǎng)絡(luò)為傳播媒介完成的行政行為,但核心要義在于人工智能的參與,以至于不少學(xué)者將自動化行政視為人工智能在行政領(lǐng)域運用的產(chǎn)物。當然,這一論斷在自動化輔助行政階段難言準確,只有在完全自動化行政的語境下才是成立的,因為在自動化輔助行政階段,“智能”的作用尚未充分體現(xiàn)出來,“人工”的色彩更為濃厚,而隨著人工智能技術(shù)的成熟,算法自動化決策深度嵌入行政程序,行政行為的“物化”色彩凸顯,傳統(tǒng)意義上由政府機關(guān)人為完成的行政活動逐漸被機器取代。這種變化對于行政法而言意味深長,誠如有學(xué)者所言,在人工智能時代,自動化決策借助深度學(xué)習(xí)、大數(shù)據(jù)等技術(shù),以輔助行政裁量、預(yù)測調(diào)配資源的方式,嵌入了政府的行政治理中,這從深層撼動了傳統(tǒng)行政活動的運行規(guī)律和基本范式。?

    人工智能無疑是當前最為炙手可熱的詞匯之一,同時也是一個容易被誤讀的概念。一般認為,人工智能是計算機科學(xué)的一個分支,主要研究并開發(fā)與“智能推理系統(tǒng)”的設(shè)計和構(gòu)建相關(guān)的理論、算法和方法論。1956年夏天,在美國新罕布什州達特茅斯學(xué)院召開的一次長達一個多月的會議上,組織者提出:“原則上,可以對人類智能的各方面的特點進行精準描述,這樣就可以制造一臺機器,對它們進行精確模仿?!?這次會議討論的議題包括:從硬件方面來講,具備模仿人類大腦之充足能力的自動計算機是否能夠被研發(fā)出來;基于人類大腦架構(gòu)的人工神經(jīng)網(wǎng)絡(luò)是否有可能被設(shè)計出來;一臺計算機被如何編程才能夠使用人類的語言;計算機如何才能玩諸如跳棋、國際象棋、圍棋等游戲;計算機是否有能力學(xué)習(xí)概念、形成抽象、提高自身性能、生成規(guī)劃、處理隨機性事件或變得具有創(chuàng)造性。?可以說,這次會議是人工智能發(fā)展中里程碑式的事件,奠定了人工智能研究的整體性框架。其后的幾十年中,人工智能的發(fā)展迎來過春天,也經(jīng)歷過寒冬,盡管在近十年來已經(jīng)進入飛速發(fā)展的快車道,但依然伴隨著質(zhì)疑和爭論。支持派認為人工智能是好事,會將人類從繁重單調(diào)的勞動中解放出來,會給人類社會帶來美好的未來,會使人類發(fā)展往前邁出一大步;反對派則質(zhì)疑人工智能是否具有真正的“理解力”,認為人工智能的錯誤不可避免,人工智能的自我進化不可控制。?爭論與質(zhì)疑其實與人工智能的進化程度相關(guān)聯(lián),人工智能越是先進和發(fā)達(比如所謂的超級人工智能),人們就越擔心其異化,害怕對其失去控制。誠如有學(xué)者所言,在這個為了機器而不斷優(yōu)化的世界中,我們長期以來一直擁有而且曾經(jīng)極其重要的能力將會貶值。?人工智能的強弱取決于能否多元思維以及在認知領(lǐng)域的認知表現(xiàn)程度。比如“智能機器人”只能掃地或下棋,只擅長一方面技能,無法進行多元思維,其屬于弱人工智能,目前市場常見的服務(wù)型機器人多屬此類;反之,若人工智能機器人能像人一樣進行多元化思維,掌握多方面的技能,綜合智能水平高,則屬于強人工智能。超級人工智能不僅能進行多元化思維,完成系統(tǒng)精密的精算超算,計算能力超越人類,而且在科學(xué)創(chuàng)新方面可能會突破人類的限制,甚至人類所能涉及的一切社會生活、社交能力技巧與藝術(shù)均可為其所掌握,其在認知領(lǐng)域的表現(xiàn)超越人類。在未來的幾十年里,以人工智能為代表的技術(shù)革命將會給人類帶來什么,我們很難預(yù)測,可能是最后政治活動被技術(shù)發(fā)展擊敗,也可能是國家分解為一種新的權(quán)威形式,甚至有可能出現(xiàn)無政府狀態(tài)。?更有學(xué)者擔心,人類在邏輯推理、信息處理和智能行為領(lǐng)域的主導(dǎo)地位已不復(fù)存在,人類已不再是信息圈毋庸置疑的主宰,數(shù)字設(shè)備代替人類執(zhí)行了越來越多的原本需要人的思想來解決的任務(wù),而這使得人類被迫一再地拋棄一個又一個自認為獨一無二的地位。?

    撇開爭議和歧見,人工智能正在勢不可擋地拓展自身的影響力邊界可謂鐵的事實。從“深藍”的嶄露頭角到“AlphaGo”的驚艷四座,從模式識別的初來乍到到深度學(xué)習(xí)的近乎大包大攬,從只有計算速度和存儲量方面占優(yōu)的“被動”機器轉(zhuǎn)變成可顛覆傳統(tǒng)行業(yè)局部領(lǐng)域的智能機器,人工智能正在促進社會發(fā)生巨大轉(zhuǎn)變。自動化行政只是人工智能影響行政法的一個縮影,但由于行政行為在行政法中的核心性地位?,這一影響可謂牽一發(fā)而動全身,關(guān)涉行政法治的整體性變動。例如,在行政處罰法領(lǐng)域,人工智能所帶來的證據(jù)形態(tài)的法律認可以及證明方式的公眾可接受度均面臨挑戰(zhàn),借助于人臉識別來進行的社會治安處罰更是備受指責(zé)與詬病。與我國公共領(lǐng)域人臉識別濫觴構(gòu)成對比的是,歐美對待人臉識別多采取嚴格規(guī)制的立場,舊金山市甚至在2019年出臺了《停止秘密監(jiān)控條例》,禁止該市所有行政部門(包括警察局) 使用人臉識別技術(shù)。?實踐中,人臉識別的出錯率居高不下,人工智能的光環(huán)難以掩蓋“算法黑箱”的陰霾。有學(xué)者就此指出,新技術(shù)使用所產(chǎn)生的黑箱問題,至少在行政處罰領(lǐng)域中存在巨大的正當程序問題。?當然,在不同的自動化行政演進階段,算法黑箱的存在狀態(tài)有別,法律介入的強度亦當有所區(qū)分。前文指出,自動化行政的發(fā)展經(jīng)歷了一個漸進式的演變過程,而根據(jù)人工智能介入程度的差異,我們可以對自動化行政進行分級。?第一級為零級,即行政活動中沒有人工智能技術(shù)介入或介入的人工智能技術(shù)只起輔助作用。此時,所有行政活動全部或主要由人工完成,其依賴于公務(wù)人員的執(zhí)法,屬于傳統(tǒng)行政活動。第二級為初級,即行政活動已經(jīng)介入人工智能技術(shù),但該介入尚未深入,此時的人工智能技術(shù)能獨立完成某一特定行政任務(wù)的部分,在該部分中不需要人工干預(yù),完全由智能系統(tǒng)完成。第三級為高級,即行政活動不再需要人工干預(yù),完全由人工智能技術(shù)完成,此時,人工智能具備了人的思維能力,能完成分析和決定。第四階段為成熟階段,可能出現(xiàn)“人機一體”,即“人類與機器結(jié)合有可能成為全新物種”,此時的行政活動也必將更智能,超乎我們大腦的想象。這種分級對于認知不同階段自動化行政的技術(shù)邏輯具有方法論意義,也為自動化行政的有效法律規(guī)制提供了觀念基礎(chǔ)。

    三、自動化行政對行政法的具體挑戰(zhàn)

    在智能化時代,具體行政行為不僅表現(xiàn)為以電子形式作出告知或進行電子申請,或借助于電子設(shè)備處理公務(wù),更意味著完全自動化的智能行政行為的出現(xiàn)。但目前無論是學(xué)界還是業(yè)界均未對此做好充分準備,在自動化行政設(shè)備的法律性質(zhì)、自動化行政行為的認定以及自動化行政對正當行政程序的影響等方面均不乏爭議。

    (一) 自動化行政設(shè)備的法律性質(zhì)之惑

    按照一般理解,由行政主體提供并加以控制的自動化行政設(shè)備是用于執(zhí)行公務(wù)的工具,具有“公物”的屬性。但當人工智能發(fā)展到一定階段,我們進入完全自動化行政時期,智能機器(包括電子設(shè)備與電腦程序) 可以排除人工干預(yù),獨立完成某項行政活動,其是否已經(jīng)有了意思表示行為,其法律性質(zhì)有待進一步厘清。

    自動化行政設(shè)備既可能表現(xiàn)為有形的電子設(shè)備,也可能表現(xiàn)為無形的程序軟件或數(shù)據(jù)代碼,但都可以歸入“物”的范疇。這是因為,隨著時代的發(fā)展,財產(chǎn)意義上的“物”不再局限于有體物,而是擴展至信息財產(chǎn)、證券權(quán)利等無體之物。準確地講,自動化行政設(shè)備應(yīng)當屬于“公物”。所謂公物,是指以實現(xiàn)和維護公共利益為目的,由行政主體支配或管領(lǐng)的物。?一項財產(chǎn)構(gòu)成公物必須具備實體要件和程序要件,實體要件是共同利益功能和適用公法規(guī)則,程序要件則是行政主體從形式上作出供公用的意思表示以及該財產(chǎn)實際被投入使用。?以此為判斷標準,將自動化行政設(shè)備視為公物是不存在疑問的,特別是在現(xiàn)階段,自動化行政設(shè)備更多是被行政主體利用的工具與手段,缺乏相對的獨立性,行政活動還需要必要的人工干預(yù),如實施對外行政管理的具體設(shè)施(以交通抓拍設(shè)備為典型),實質(zhì)仍具有“物”的屬性,法律地位只能是客體。

    隨著人工智能技術(shù)的日趨成熟和拓展適用,自動化行政設(shè)備的智能化水平不斷提高,甚至在某些領(lǐng)域完全排除人工干預(yù)、獨立完成某種行政活動。此時的自動化行政設(shè)備或人工智能機器似乎已經(jīng)具有了意思表示能力,具備了“公務(wù)員”的法律屬性與職能,我們可以稱之為“機器人公務(wù)員”。事實上,前文所提及的“無人干預(yù)自動審批”意味著機器人已經(jīng)替代了作為自然人的公務(wù)員,某種意義上就是“機器人公務(wù)員”,即使其不具備心性與靈性,但其完全可以完成公務(wù)員的角色任務(wù),也具備了具有公務(wù)員的屬性與職能。除此之外,還出現(xiàn)了“機器人法官”、“機器人律師”等概念,這些法律機器人正在給現(xiàn)有的法律秩序帶來沖擊。機器人是人還是物,這涉及對法律意義上“人”的概念的重新理解。傳統(tǒng)觀點認為,“人”是法律的主體,“物”是法律的客體,但自從人工智能伊始,就伴隨著對人工智能是“物”還是“人”的法律討論,學(xué)界有工具說、電子奴隸說、代理說等不同主張,后來歐盟又通過了有關(guān)機器人電子人格的法案,以至于在機器人法律屬性的學(xué)說中又增設(shè)了“電子人格”說。?問題的爭議焦點在于,人工智能不具有“意識”,機器人公務(wù)員、機器人法官、機器人律師因而不可能成為法律關(guān)系的主體。但如果隨著算法的提升,機器人最終被證明有意識,這對于法律上“人”的認識也將徹底改變,正如有學(xué)者所言,“當機器說出他們的感受和感知經(jīng)驗,而我們相信它們所說的是真的時,它們就真正成了有意識的人?!?基于上述分析,本文傾向于認為將來的機器人公務(wù)員可被視為具有抽象的法律人格,在個別的法律關(guān)系中可以視為抽象的變異主體。

    (二) 自動化行政行為認定的難題

    由于人工智能介入行政的廣度與深度不同,導(dǎo)致了自動化的程度差異即自動化行政出現(xiàn)分級,此時作為自動化行政的結(jié)果之行為是否屬于行政法意義上的行為,該如何進行相關(guān)行為的認定,這是目前擺在行政與司法實踐面前的一道難題。

    1.自動化行政行為是否屬于行政行為?

    行政行為是行政法學(xué)的核心概念,幾乎所有行政法學(xué)理論與知識均圍繞行政行為理論構(gòu)建,其不僅影響行政實體法,還涉及行政程序法。行政行為概念中主體要素主要圍繞行政主體展開,包括行政機關(guān)與法律法規(guī)授權(quán)的組織,但行政主體也僅僅是一個虛擬存在,其需要借助于具體的載體或手段才能進行行政活動,在傳統(tǒng)行政法學(xué)中可由公務(wù)員來充當。但公務(wù)員并不是唯一的這種載體,例如行政機關(guān)通過“集體決定”作出的行政行為,“集體決定”的主體并不是多個公務(wù)員這樣的自然人,而是具有特定程序與組織結(jié)構(gòu)的組織體,其不同于公務(wù)員。由此,行政主體的具體載體不一定是公務(wù)員,可以多元化。對此,有學(xué)者認為,行政機關(guān)的派出機構(gòu)、內(nèi)設(shè)機構(gòu)或臨時機構(gòu)以及公務(wù)員,作為行政機關(guān)的組成部分或組成分子,同樣具有行政權(quán)能。?

    前文述及,自動化行政設(shè)備或人工智能機器具有公務(wù)員的屬性與職能,可以作出意思表示行為,其行為最終可歸屬于相應(yīng)的行政主體,屬于行政法意義上的行政行為。但從另一方面而言,自動化行政設(shè)備或人工智能機器是由行政主體所采購,由其事先設(shè)計程序、輸入數(shù)據(jù)或提供表單,行政主體是設(shè)備或機器的管理者與設(shè)計者,設(shè)備或機器在尚未對外使用時,其只是行政主體的延長之手,其意思表達只是行政主體的意志,即機器“表達”的意思應(yīng)歸屬于行政主體;若一旦對外使用人工機器尤其有自行感知、思考、能進行自我學(xué)習(xí)的高級人工智能后,有可能出現(xiàn)行政主體無法預(yù)料的情形,但根據(jù)我們關(guān)于行政法上意思表示的客觀推定原理的解釋,可以將行政主體的意思表示推定為自動化設(shè)備或人工智能機器是否對相對人的權(quán)利義務(wù)直接產(chǎn)生實際影響。此時,無論自動化的程度如何,其行為均具有行政法意義,屬于行政行為范疇。

    2.自動化行政行為是行政法律行為還是事實行為?

    行政法律行為與事實行為最大的區(qū)別從法律關(guān)系上而言在于是否能設(shè)立、變更、消滅某種行政法律關(guān)系,產(chǎn)生行政法上的法律效果。從人工智能對自動化行政變遷的影響來看,自動化行政經(jīng)歷不同的發(fā)展階段,自動化程度正在由淺入深。當自動化設(shè)備或人工智能技術(shù)只是一種完成行政行為的輔助工具,即行政主體主要借用自動化設(shè)備或人工智能技術(shù)進行行政活動,整個行政行為還需人工干預(yù),比如電子溝通類行為、通過數(shù)據(jù)電文送達的行為、電子申請或申報類行為等,若其能獨立成為行政行為,它與建設(shè)街道、鋪設(shè)草地這樣的事實行為類似,屬于行政事實行為,其行為目的不在于設(shè)立、變更、消滅某種行政法律關(guān)系;若該類行為只是一個完整行政行為的階段過程,則其不具有獨立性,只是某行政行為的階段性行為。當自動化行政發(fā)展至完全自動化階段,整個行政行為已經(jīng)排除人工干預(yù),比如行政審批領(lǐng)域“秒批”行為、交通指揮燈的指揮行為,自動化設(shè)備或人工智能機器不再只是公務(wù)員作出行政行為的輔助工具,具有了公務(wù)員的屬性與職能,擺脫了客體的地位,它的運用已經(jīng)可以設(shè)立、變更、消滅某種行政法律關(guān)系,實質(zhì)影響相對人的權(quán)利義務(wù),諸如此類行為應(yīng)屬于行政法律行為。?

    3.自動化行政行為是具體行政行為還是抽象行政行為?

    具體行政行為與抽象行政行為是行政法律行為的下位概念,其不同之處在于行為所針對的對象與事件是否特定。這種分類標準被放在自動化設(shè)備作出的行政行為性質(zhì)討論上仍具有其意義。自動化設(shè)備作出行政行為的流程可分為兩個階段,一是自動化設(shè)備安裝與程式設(shè)計階段;二是自動化設(shè)備操作、實施階段。一般認為自動化設(shè)備安裝若能獨立成為一個行為,應(yīng)屬于行政事實行為,其與行政主體建設(shè)公共設(shè)施、鋪設(shè)草坪行為無實質(zhì)區(qū)別;若自動化設(shè)備安裝只是某一行政行為的前置行為或階段性行為,那么其應(yīng)當被定位為一個為具體行政行為而作的預(yù)備性行為,不適宜由相對人單獨就其提起行政訴訟。至于自動化設(shè)備程式設(shè)計是具體行政行為還是抽象行政行為的問題,由于自動化設(shè)備程式設(shè)計是針對特定的事項,但不針對特定的人,一個自動化系統(tǒng)設(shè)立后,將會針對該系統(tǒng)工作范圍內(nèi)的不特定相對人的設(shè)定事項反復(fù)適用。此時,根據(jù)具體行政行為與抽象行政行為的分類標準,自動化設(shè)備程式設(shè)計行為不屬于具體行政行為。其是否屬于抽象行政行為呢?答案是否定的,因為此時抽象行政行為已經(jīng)存在,即輸入系統(tǒng)的法律規(guī)范本身,程式設(shè)計只需要將法律規(guī)范分解為法律事實要件與法律效果要件。若自動化設(shè)備程式設(shè)計能獨立成為一個行為,其將非常特殊,既不屬于具體行政行為,也不屬于抽象行政行為;若程式設(shè)計行為尚不能成為一個成熟行為,其法律性質(zhì)與自動化設(shè)備安裝行為相同,只是為一個具體行政而作出的階段性行為或預(yù)備行為。自動化設(shè)備操作或?qū)嵤┬袨榈男再|(zhì)取決于該行為是否針對特定的人或特定事項,若是,則可將其可定性為具體行政行為。

    (三) 自動化行政對行政正當程序的挑戰(zhàn)

    站在法治的立場上,行政程序是規(guī)范或限制行政權(quán)力的利器,程序公正合法是行政行為合法的應(yīng)有之義,可以增強行政行為的可接受度,證明行政行為的正當性,具有獨立的價值。我國現(xiàn)行的行政程序制度是在傳統(tǒng)行政法的背景下制定,未將自動化行政尤其是全自動化行政考慮進去,但隨著人工智能技術(shù)的蓬勃發(fā)展,其在行政領(lǐng)域的運用已是大勢所趨,自動化行政成為不可回避的話題。自動化行政一方面確實提高了行政效率,但另一方由于排除了人工干預(yù),有可能強化了行政的秘密性,對現(xiàn)行的行政程序構(gòu)成挑戰(zhàn)。

    1.聽證程序

    聽證程序是行政主體將作出的行政行為涉及相對人的重大利益或符合法定情形時,相對人可以申請聽證程序或行政主體主動采取聽證程序。因此,聽證程序是相對人保障自己的重大合法權(quán)益、限制與約束行政權(quán)力的重要手段。為了提高行政效率,各國政府開始大量運用人工智能技術(shù),這標志著自動化行政時代的到來,相關(guān)國家開始進行相應(yīng)的立法,行政程序制度也隨之發(fā)生變化,例如德國《行政程序法》規(guī)定例外情況下可以免除行政主體給予相對人的聽證義務(wù)。?這意味著在某類行政行為中相對人將無法通過行政聽證程序保障自己的重大合法權(quán)益。

    2.調(diào)查程序

    在行政執(zhí)法領(lǐng)域,行政主體需要先核實法律事實后尋找法律準據(jù),最終依法做出一定行政行為。在核實法律事實環(huán)節(jié),需要運用調(diào)查程序收集能證明一定案件事實的證據(jù)。調(diào)查程序?qū)嶋H上是行政主體在做出行政行為的過程中需要調(diào)查一定案件事實所應(yīng)用的程序。自動化行政時代的到來意味著機器全自動化處理成為可能,一方面確實提高了行政效率、降低了成本,但另一方面也蘊含著行政主體調(diào)查義務(wù)的可能被免除。若行政主體完全依賴機器作業(yè)流水線式的做出行政行為,行政行為將可能面臨空心化風(fēng)險。

    3.說明理由與聽取陳述申辯程序

    行政主體說明理由與聽取相對人陳述申辯從程序分類上屬于一般行政程序,某種程度上也可以說是最低程度的行政程序正義。所有的行政行為在作出過程中都必須遵循的程序,除非法律法規(guī)對程序另有規(guī)定。說明理由與聽取陳述申辯程序在行政法領(lǐng)域有其獨特的程序價值,有助于保障實體正義的實現(xiàn)。技術(shù)邏輯主導(dǎo)下的自動化行政,不太可能給予行政相對人異議權(quán),也難以通過有效的程序設(shè)計讓相對人有陳述申辯的空間。這種程序的簡化,可能使行政相對人無法明了行政行為合法性理由和行政行為的正當性理由,從而使行政相對人對此種行政行為無從反駁。

    總之,蘊藏在自動化行政中的算法自動化決策的不透明性遮蔽了行政公開原則,算法設(shè)計運行的技術(shù)壟斷架空了公眾參與原則,算法決策黑箱無法為相對人提供理由說明,算法自動化決策與行政正當程序產(chǎn)生了嚴重沖突。?事實上,行政自動化所帶來的法律挑戰(zhàn)絕不僅止于此,人工智能的發(fā)展必然會使行政的范圍、內(nèi)容、方式等發(fā)生較大的變化,但行政主體致力于提高行政治理的效能,必然不斷借助科技發(fā)展,科技與行政治理的融合將會呈現(xiàn)常態(tài)化,其將不斷沖擊現(xiàn)有的行政法律制度,在提高行政效率的同時也會帶來不少法律挑戰(zhàn)。有學(xué)者指出,“技術(shù)理性”或“工具理性”像一個揮之不去的夢魘,正在成為一種“意識形態(tài)”統(tǒng)治著我們,我們甚至還茫然不覺。?這本是法蘭克福學(xué)派為人們描繪的工業(yè)社會的一幅可怕景象,沒想到在智能社會的今天卻一語成讖。因此,對于自動化行政的興起及其法律挑戰(zhàn),我們需要權(quán)衡利弊,加以預(yù)判,處理好技術(shù)治理與法律治理的關(guān)系,未雨綢繆地加以思考和應(yīng)對。

    四、結(jié)語

    我們處在一個急劇變革的時代,以人工智能為代表的現(xiàn)代信息技術(shù)對現(xiàn)有的法律秩序帶來了前所未有的沖擊,不僅重構(gòu)了法律關(guān)系下的權(quán)利義務(wù)模型,還給法律關(guān)系主體與客體之間的關(guān)系原理造成了困擾。在行政法視域內(nèi),隨著自動化行政的興起,人與人的關(guān)系將轉(zhuǎn)變?yōu)槿伺c機器的關(guān)系,行政法治即將迎來治道變革。作為回應(yīng)現(xiàn)代社會需求的行政法,需要認真對待人工智能,從行政實體法和行政程序法的雙重維度推進實質(zhì)性變革。比如,在行政實體法層面,應(yīng)當明確自動化行政設(shè)備的法律地位以及自動化行政行為的法律性質(zhì),建構(gòu)自動化行政的法律責(zé)任制度以補足自動化行政的責(zé)任規(guī)制缺失,完善數(shù)據(jù)保護制度以平衡公眾知情權(quán)與公民隱私權(quán)的沖突。與此同時,行政處罰法、行政許可法等制度規(guī)則需要因時而變。在行政程序法方面,應(yīng)當保障行政相對人的程序參與權(quán),建立自動化行政行為的程序補正措施,確定自動化行政的“送達”生效規(guī)則等,強化行政程序的透明和公正。因應(yīng)自動化行政的行政法治變革茲事體大,本文限于篇幅無法展開,筆者擬另行撰文探討。概言之,只有以適當擴權(quán)來推進治理,以規(guī)制緩和來實現(xiàn)善治、以多元行政來回應(yīng)實踐,處理好技術(shù)變革與行政法律秩序的雙向互動關(guān)系,才能確保行政法的時代適應(yīng)性品格。

    注釋:

    ①?[意]盧西亞諾·弗洛里迪:《第四次革命——人工智能如何重塑人類現(xiàn)實》,王文革譯,浙江人民出版社2016年版,第27、107頁。

    ②2018年5月12日,何先生駕車在上海某區(qū)十字路口等待紅燈時,被該路段電子監(jiān)控設(shè)備抓拍到有鳴喇叭的行為,交警支隊提供的關(guān)鍵證據(jù)為聲吶電子定位系統(tǒng)的定位和識別抓拍,這一證據(jù)在事后的行政訴訟中被法院認定有效。參見上海市第一中級人民法院(2018) 滬01 行初216 號行政判決書。

    ③?馬顏昕: 《自動化行政的分級與法律控制變革》,《行政法學(xué)研究》2019年第1期。

    ④章志遠: 《行政法學(xué)總論》,北京大學(xué)出版社2014年版,第4頁。

    ⑤?查云飛:《人工智能時代全自動具體行政行為研究》,《比較法研究》2018年第5期。

    ⑥胡敏潔:《自動化行政的法律控制》,《行政法學(xué)研究》2019年第2期。

    ⑦[法]馬爾克·杜甘:《赤裸裸的人——大數(shù)據(jù)、隱私與窺視》,杜燕譯,上海科學(xué)技術(shù)出版社2017年版,引言第1頁。

    ⑧沈楊: 《人臉識別交通自動化執(zhí)法問題研究》,《湖北經(jīng)濟學(xué)院學(xué)報》 (人文社會科學(xué)版) 2020年第12期。

    ⑨?敖雙紅、雷金晶:《論自動化行政及其法律規(guī)制》,《湖南警察學(xué)院學(xué)報》2017年第1期。

    ⑩所謂的電子政府,也可以稱為虛擬政府,是指政府利用現(xiàn)代信息和通訊技術(shù),透過不同的信息服務(wù)設(shè)施,為行政相對人提供政務(wù)信息服務(wù),從而構(gòu)建一個有回應(yīng)力和效率的政府。

    ?關(guān)于英國和日本的電子化政府實踐,可參見張成福:《電子化政府:發(fā)展及其前景》,《中國人民大學(xué)學(xué)報》2000年第3期。

    ?黃璜:《中國“數(shù)字政府”的政策演變——兼論“數(shù)字政府”與“電子政務(wù)”的關(guān)系》,《行政論壇》2020年第3期。

    ?有學(xué)者認為,無人駕駛汽車、多用途機器人、語言識別系統(tǒng)、3D 打印機、超級計算機只不過是第二次機器革命時代來臨的“熱身運動”,遠遠不能代表計算機時代的最高成就,指數(shù)式增長、數(shù)字化和組合式創(chuàng)新將會比工業(yè)革命以來的任何推動力都要強大,它們將永遠地改變這個物質(zhì)世界的的運轉(zhuǎn)方式。參見[美]埃里克·布萊恩約弗森、安德魯·麥卡菲:《第二次機器革命——數(shù)字化技術(shù)將如何改變我們的經(jīng)濟與社會》,蔣永軍譯,中信出版集團2016年版,第126頁以下。

    ??張凌寒:《算法自動化決策與行政正當程序制度的沖突與調(diào)和》,《東方法學(xué)》2020年第6期。

    ?[英]卡魯姆·蔡斯:《人工智能革命——超級智能時代的人類命運》,張堯然譯,機械工業(yè)出版社2017年版,第10頁。

    ?[美] 詹姆斯·亨德勒、愛麗斯M·穆維希爾:《社會機器——即將到來的人工智能、社會網(wǎng)絡(luò)與人類的碰撞》,王曉等譯,機械工業(yè)出版社2018年版,第8—9頁。

    ?徐恪、李沁:《算法統(tǒng)治世界——智能經(jīng)濟的隱形秩序》,清華大學(xué)出版社2017年版,第27—28頁。

    ?[德]克里斯多夫·庫克里克:《微粒社會——數(shù)字化時代的社會模式》,黃昆、夏柯譯,中信出版集團2018年版,第81頁。

    ?[美]德伯拉斯帕:《技術(shù)簡史——從海盜船到黑色直升機》,倪正東譯,中信出版集團2016年版,第416頁。

    ?余凌云:《行政法講義》 (第2 版),清華大學(xué)出版社2014年版,第214頁。

    ?邢會強:《人臉設(shè)別的法律規(guī)制》, 《比較法研究》2020年第5期。

    ?馬顏昕:《自動化行政方式下的行政處罰:挑戰(zhàn)與回應(yīng)》,《政治與法律》2020年第4期。

    ?學(xué)界對自動化行政的分級不盡一致。參見馬顏昕:《自動化行政的分級與法律控制變革》,《行政法學(xué)研究》2019年第1期;查云飛:《人工智能時代全自動具體行政行為研究》,《比較法研究》2018年第5期。

    ?冉克平:《論公物的概念、權(quán)利屬性及其適用》,《重慶大學(xué)學(xué)報》 (社會科學(xué)版) 2009年第5期。

    ?肖澤晟:《公物法研究》,法律出版社2009年版,第24頁。

    ?楊延超:《機器人法——構(gòu)建人類未來新秩序》,法律出版社2019年版,第49—51頁。

    ?[美]雷庫茲韋爾:《人工智能的未來:揭示人類思維的奧秘》,盛楊燕譯,浙江人民出版社2016年版,第203—205頁。

    ?葉必豐:《行政行為原理》,商務(wù)印書館2014年版,第132頁。

    ?易繼明:《技術(shù)理性、社會發(fā)展與自由——科技法學(xué)導(dǎo)論》,北京大學(xué)出版社2005年版,第34頁。

    猜你喜歡
    程序人工智能法律
    法律解釋與自然法
    法律方法(2021年3期)2021-03-16 05:57:02
    試論我國未決羈押程序的立法完善
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    “程序猿”的生活什么樣
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    英國與歐盟正式啟動“離婚”程序程序
    下一幕,人工智能!
    讓人死亡的法律
    山東青年(2016年1期)2016-02-28 14:25:30
    創(chuàng)衛(wèi)暗訪程序有待改進
    69av精品久久久久久| 成在线人永久免费视频| 亚洲欧洲精品一区二区精品久久久| 51午夜福利影视在线观看| 九色成人免费人妻av| av在线播放免费不卡| 五月伊人婷婷丁香| 国内揄拍国产精品人妻在线| 国产一区二区三区在线臀色熟女| 在线看三级毛片| 成人欧美大片| 免费在线观看影片大全网站| 美女大奶头视频| 黄片小视频在线播放| 久久久久国产精品人妻aⅴ院| 国产熟女xx| 国产亚洲精品久久久久久毛片| 亚洲自拍偷在线| 美女高潮喷水抽搐中文字幕| 亚洲精品色激情综合| 亚洲九九香蕉| 18美女黄网站色大片免费观看| 别揉我奶头~嗯~啊~动态视频| 免费看日本二区| 首页视频小说图片口味搜索| 最近最新中文字幕大全电影3| 精品国产乱子伦一区二区三区| 在线十欧美十亚洲十日本专区| 又粗又爽又猛毛片免费看| 一进一出抽搐gif免费好疼| 欧美日本亚洲视频在线播放| 国内揄拍国产精品人妻在线| 久久久精品欧美日韩精品| 最近视频中文字幕2019在线8| 天天添夜夜摸| 亚洲成a人片在线一区二区| 黄色毛片三级朝国网站| 悠悠久久av| 国产精品一区二区三区四区久久| 国产真实乱freesex| 精品久久久久久久久久免费视频| 亚洲中文字幕一区二区三区有码在线看 | 黄色片一级片一级黄色片| 国产成人av激情在线播放| 日韩中文字幕欧美一区二区| 哪里可以看免费的av片| 久久这里只有精品19| 国产激情偷乱视频一区二区| 久久国产乱子伦精品免费另类| 国产精品精品国产色婷婷| 免费在线观看成人毛片| 国产成人精品久久二区二区免费| 午夜影院日韩av| 成在线人永久免费视频| 成熟少妇高潮喷水视频| 小说图片视频综合网站| 亚洲熟妇熟女久久| 国内精品久久久久久久电影| 亚洲欧美日韩东京热| 精品久久久久久,| 制服丝袜大香蕉在线| 桃色一区二区三区在线观看| 国产成人精品久久二区二区免费| 欧美av亚洲av综合av国产av| av视频在线观看入口| 亚洲欧美精品综合久久99| 不卡av一区二区三区| 波多野结衣高清无吗| av天堂在线播放| av片东京热男人的天堂| 久久久久性生活片| 最新在线观看一区二区三区| 在线看三级毛片| 精品久久久久久成人av| 99热这里只有精品一区 | 欧美在线一区亚洲| a在线观看视频网站| 免费在线观看黄色视频的| 欧美丝袜亚洲另类 | 久久亚洲精品不卡| 久久天躁狠狠躁夜夜2o2o| 色尼玛亚洲综合影院| 又紧又爽又黄一区二区| АⅤ资源中文在线天堂| 国内精品久久久久久久电影| 婷婷亚洲欧美| 国产高清视频在线观看网站| 国内精品久久久久久久电影| 在线十欧美十亚洲十日本专区| 国内揄拍国产精品人妻在线| 久久久国产成人免费| 可以在线观看毛片的网站| 嫩草影视91久久| 国产精品爽爽va在线观看网站| 成人国语在线视频| 老熟妇乱子伦视频在线观看| 十八禁网站免费在线| 午夜精品久久久久久毛片777| 丁香六月欧美| 丁香欧美五月| 一本久久中文字幕| 免费一级毛片在线播放高清视频| 久久久国产欧美日韩av| 中国美女看黄片| 国产在线精品亚洲第一网站| 久久欧美精品欧美久久欧美| 久久亚洲真实| 久久热在线av| 人人妻人人澡欧美一区二区| 最近最新免费中文字幕在线| 最新美女视频免费是黄的| 国产99白浆流出| 久久精品综合一区二区三区| 欧美黄色淫秽网站| 欧美成人午夜精品| 午夜福利免费观看在线| 美女扒开内裤让男人捅视频| 久久久久久免费高清国产稀缺| 天堂√8在线中文| 欧美日韩福利视频一区二区| 国产伦一二天堂av在线观看| 久久亚洲精品不卡| 免费在线观看黄色视频的| 国内精品久久久久精免费| 亚洲国产高清在线一区二区三| 久久香蕉国产精品| 精品午夜福利视频在线观看一区| 成人特级黄色片久久久久久久| 久久精品影院6| 久久这里只有精品19| 99国产精品一区二区三区| 男女做爰动态图高潮gif福利片| 99riav亚洲国产免费| 91老司机精品| 成人三级黄色视频| 禁无遮挡网站| 欧美 亚洲 国产 日韩一| 国产主播在线观看一区二区| 一进一出抽搐动态| 国产黄片美女视频| 亚洲av日韩精品久久久久久密| 亚洲成a人片在线一区二区| 成人国产综合亚洲| 波多野结衣高清作品| 非洲黑人性xxxx精品又粗又长| 熟妇人妻久久中文字幕3abv| 国产精品一区二区三区四区久久| 亚洲成a人片在线一区二区| 老熟妇乱子伦视频在线观看| АⅤ资源中文在线天堂| 欧洲精品卡2卡3卡4卡5卡区| 久久久久亚洲av毛片大全| 男女之事视频高清在线观看| 啦啦啦观看免费观看视频高清| 午夜福利在线在线| 久久久久国内视频| 亚洲一区二区三区不卡视频| 欧美黑人欧美精品刺激| 狂野欧美激情性xxxx| 黄色成人免费大全| 欧美性猛交黑人性爽| 成熟少妇高潮喷水视频| 亚洲精品在线美女| 69av精品久久久久久| 国产成人av激情在线播放| 国产精品影院久久| 亚洲精品中文字幕一二三四区| 久久久久精品国产欧美久久久| 日韩欧美 国产精品| 国内毛片毛片毛片毛片毛片| 人妻丰满熟妇av一区二区三区| 国产野战对白在线观看| 日本 欧美在线| 精品国内亚洲2022精品成人| 亚洲精品久久成人aⅴ小说| 男人的好看免费观看在线视频 | 精品国产乱码久久久久久男人| 蜜桃久久精品国产亚洲av| 国产亚洲精品久久久久久毛片| 国产一区二区在线av高清观看| www国产在线视频色| 欧美成人午夜精品| 成在线人永久免费视频| 精品国产乱子伦一区二区三区| 色在线成人网| 91国产中文字幕| 黑人操中国人逼视频| 两个人免费观看高清视频| 久9热在线精品视频| 在线观看舔阴道视频| 少妇被粗大的猛进出69影院| 国产成人av教育| 国产精品99久久99久久久不卡| 久久香蕉国产精品| 成人18禁高潮啪啪吃奶动态图| 亚洲 国产 在线| 18禁美女被吸乳视频| 国产在线精品亚洲第一网站| av在线播放免费不卡| 国产精品免费一区二区三区在线| 国产69精品久久久久777片 | 国产午夜精品久久久久久| 国产v大片淫在线免费观看| 夜夜看夜夜爽夜夜摸| 91成年电影在线观看| 国产精品久久电影中文字幕| 身体一侧抽搐| 老汉色av国产亚洲站长工具| 真人一进一出gif抽搐免费| 午夜日韩欧美国产| 国产三级中文精品| 国产亚洲精品久久久久5区| xxxwww97欧美| 国产熟女xx| av在线播放免费不卡| 国模一区二区三区四区视频 | 亚洲专区字幕在线| 中文字幕人成人乱码亚洲影| 中文字幕人妻丝袜一区二区| 黄片大片在线免费观看| 人妻丰满熟妇av一区二区三区| 麻豆久久精品国产亚洲av| АⅤ资源中文在线天堂| 无人区码免费观看不卡| 黄色a级毛片大全视频| 久久婷婷成人综合色麻豆| 九色成人免费人妻av| 国产视频内射| 少妇熟女aⅴ在线视频| 少妇被粗大的猛进出69影院| 成人手机av| 中文字幕最新亚洲高清| av免费在线观看网站| 成人三级黄色视频| 岛国在线免费视频观看| 午夜老司机福利片| 天堂av国产一区二区熟女人妻 | 亚洲精品色激情综合| 亚洲成av人片免费观看| 观看免费一级毛片| 精品不卡国产一区二区三区| 国产免费av片在线观看野外av| 日本 欧美在线| 老司机福利观看| 免费在线观看视频国产中文字幕亚洲| 欧美又色又爽又黄视频| tocl精华| 婷婷亚洲欧美| 男女之事视频高清在线观看| 精品高清国产在线一区| 亚洲熟妇中文字幕五十中出| 成人18禁高潮啪啪吃奶动态图| 国产精品久久久av美女十八| 免费在线观看成人毛片| 人妻夜夜爽99麻豆av| 最近最新中文字幕大全免费视频| 在线观看舔阴道视频| 五月玫瑰六月丁香| 久久久久精品国产欧美久久久| 久久人人精品亚洲av| tocl精华| 精品国产超薄肉色丝袜足j| 国产成人精品无人区| 看片在线看免费视频| 国产私拍福利视频在线观看| 婷婷丁香在线五月| 日韩成人在线观看一区二区三区| 精品一区二区三区四区五区乱码| 久久久久久人人人人人| 91国产中文字幕| 亚洲一区中文字幕在线| 精品免费久久久久久久清纯| 中文字幕高清在线视频| 免费在线观看完整版高清| 久久久国产成人精品二区| 三级国产精品欧美在线观看 | 亚洲天堂国产精品一区在线| 99久久精品热视频| 99热这里只有精品一区 | 99久久精品热视频| 99热这里只有精品一区 | 少妇被粗大的猛进出69影院| 国产激情久久老熟女| 午夜福利18| 最近在线观看免费完整版| 三级男女做爰猛烈吃奶摸视频| 欧美日韩乱码在线| 亚洲国产欧美网| 老汉色av国产亚洲站长工具| 午夜精品一区二区三区免费看| 久久婷婷人人爽人人干人人爱| 又爽又黄无遮挡网站| 久久精品人妻少妇| 欧美人与性动交α欧美精品济南到| 小说图片视频综合网站| 欧美成人一区二区免费高清观看 | 五月伊人婷婷丁香| 99久久精品国产亚洲精品| 人妻夜夜爽99麻豆av| 99riav亚洲国产免费| 婷婷亚洲欧美| 免费搜索国产男女视频| 日韩国内少妇激情av| 五月玫瑰六月丁香| 性欧美人与动物交配| 狂野欧美白嫩少妇大欣赏| 俺也久久电影网| 高潮久久久久久久久久久不卡| 99久久久亚洲精品蜜臀av| 90打野战视频偷拍视频| 国产成人aa在线观看| 久久精品国产综合久久久| 搡老岳熟女国产| 少妇裸体淫交视频免费看高清 | netflix在线观看网站| 日本五十路高清| 亚洲狠狠婷婷综合久久图片| 99久久综合精品五月天人人| 亚洲专区国产一区二区| 长腿黑丝高跟| 国内精品久久久久久久电影| 日韩精品中文字幕看吧| 天堂√8在线中文| 中文在线观看免费www的网站 | 国产激情欧美一区二区| 亚洲熟妇中文字幕五十中出| 国产99久久九九免费精品| 亚洲av美国av| 精品一区二区三区av网在线观看| 99精品欧美一区二区三区四区| 久久午夜综合久久蜜桃| 宅男免费午夜| 国产在线精品亚洲第一网站| 一二三四社区在线视频社区8| 日韩欧美国产在线观看| 亚洲精品久久成人aⅴ小说| 欧美一级毛片孕妇| avwww免费| 欧美成人免费av一区二区三区| 日韩欧美精品v在线| 国产成人aa在线观看| 亚洲专区国产一区二区| 最近视频中文字幕2019在线8| 午夜福利视频1000在线观看| 国内精品久久久久久久电影| 免费在线观看视频国产中文字幕亚洲| 亚洲,欧美精品.| 成人国语在线视频| 波多野结衣高清无吗| 亚洲av熟女| 午夜精品一区二区三区免费看| 国产精品香港三级国产av潘金莲| 国产av又大| 老司机深夜福利视频在线观看| 波多野结衣高清作品| 一本精品99久久精品77| 亚洲美女黄片视频| 亚洲人成电影免费在线| 在线观看66精品国产| 天天添夜夜摸| 国产人伦9x9x在线观看| 男女午夜视频在线观看| 亚洲五月婷婷丁香| 欧美乱色亚洲激情| 麻豆国产97在线/欧美 | 九色国产91popny在线| 悠悠久久av| 免费搜索国产男女视频| 精品一区二区三区av网在线观看| 999久久久国产精品视频| 成人午夜高清在线视频| 怎么达到女性高潮| 国产在线观看jvid| 可以在线观看的亚洲视频| 免费在线观看视频国产中文字幕亚洲| 他把我摸到了高潮在线观看| 18禁黄网站禁片午夜丰满| 亚洲专区字幕在线| 美女黄网站色视频| 女人被狂操c到高潮| 欧美一级毛片孕妇| 99国产精品99久久久久| 国产爱豆传媒在线观看 | 一本一本综合久久| 国产午夜精品论理片| 他把我摸到了高潮在线观看| 国产精品一区二区精品视频观看| 免费在线观看完整版高清| 久久久久性生活片| 黄色成人免费大全| 亚洲精品久久成人aⅴ小说| 亚洲七黄色美女视频| 成年女人毛片免费观看观看9| 亚洲专区字幕在线| 欧美黄色片欧美黄色片| 少妇的丰满在线观看| 国产视频一区二区在线看| 国产一区二区三区在线臀色熟女| 在线播放国产精品三级| 日韩欧美一区二区三区在线观看| 色尼玛亚洲综合影院| 午夜a级毛片| 欧美极品一区二区三区四区| 18禁黄网站禁片免费观看直播| 国产区一区二久久| 日韩成人在线观看一区二区三区| 欧洲精品卡2卡3卡4卡5卡区| 亚洲国产精品999在线| 毛片女人毛片| 伊人久久大香线蕉亚洲五| 午夜老司机福利片| 午夜免费成人在线视频| 特大巨黑吊av在线直播| 亚洲片人在线观看| 中文在线观看免费www的网站 | 成年女人毛片免费观看观看9| 精品国产超薄肉色丝袜足j| 国产成人精品无人区| 亚洲国产日韩欧美精品在线观看 | 人妻夜夜爽99麻豆av| 午夜精品久久久久久毛片777| 男人舔女人的私密视频| e午夜精品久久久久久久| 美女免费视频网站| 精品久久久久久成人av| 国产精品免费一区二区三区在线| 国产精品野战在线观看| 精品久久久久久久毛片微露脸| 国产熟女xx| 欧美日韩亚洲综合一区二区三区_| 亚洲欧美精品综合久久99| 99国产精品一区二区三区| 91成年电影在线观看| 一级毛片女人18水好多| 国产私拍福利视频在线观看| 久久久久精品国产欧美久久久| www.自偷自拍.com| 免费在线观看黄色视频的| ponron亚洲| 国产精品久久视频播放| 婷婷精品国产亚洲av| 亚洲精华国产精华精| 亚洲最大成人中文| 亚洲欧美一区二区三区黑人| 黑人操中国人逼视频| 国产一区二区在线av高清观看| 男女那种视频在线观看| 亚洲美女视频黄频| 欧美黄色淫秽网站| 12—13女人毛片做爰片一| 91国产中文字幕| 一本综合久久免费| 亚洲中文av在线| 观看免费一级毛片| 午夜a级毛片| 最新在线观看一区二区三区| 久久精品91蜜桃| 母亲3免费完整高清在线观看| 欧美乱码精品一区二区三区| 老汉色av国产亚洲站长工具| 高清在线国产一区| 五月伊人婷婷丁香| 亚洲成a人片在线一区二区| 波多野结衣高清无吗| 日本一二三区视频观看| 国产精品综合久久久久久久免费| 亚洲免费av在线视频| 一区福利在线观看| 50天的宝宝边吃奶边哭怎么回事| 国产精品九九99| 好看av亚洲va欧美ⅴa在| 搡老妇女老女人老熟妇| 三级男女做爰猛烈吃奶摸视频| 欧美人与性动交α欧美精品济南到| 男人舔女人的私密视频| 老司机午夜福利在线观看视频| 欧美午夜高清在线| 国产探花在线观看一区二区| 国内毛片毛片毛片毛片毛片| 国产精品1区2区在线观看.| 久久久久九九精品影院| 999久久久国产精品视频| 性欧美人与动物交配| 国产av一区二区精品久久| 亚洲 欧美一区二区三区| 午夜福利免费观看在线| 欧美激情久久久久久爽电影| 好男人在线观看高清免费视频| 国产一级毛片七仙女欲春2| 久久天躁狠狠躁夜夜2o2o| 中文字幕av在线有码专区| 宅男免费午夜| 国产单亲对白刺激| 十八禁人妻一区二区| 好看av亚洲va欧美ⅴa在| 免费电影在线观看免费观看| 国产区一区二久久| 一区二区三区高清视频在线| 俺也久久电影网| 亚洲欧美日韩东京热| 天天添夜夜摸| 亚洲 欧美一区二区三区| 国产av一区二区精品久久| 中出人妻视频一区二区| av中文乱码字幕在线| 免费在线观看黄色视频的| 亚洲美女黄片视频| 久久热在线av| 91成年电影在线观看| 午夜激情av网站| 成年人黄色毛片网站| 亚洲真实伦在线观看| 国内久久婷婷六月综合欲色啪| www.999成人在线观看| 搡老熟女国产l中国老女人| a级毛片在线看网站| 少妇粗大呻吟视频| 老司机午夜十八禁免费视频| 男女下面进入的视频免费午夜| 91老司机精品| 精品免费久久久久久久清纯| 国产亚洲精品久久久久久毛片| aaaaa片日本免费| 国产又色又爽无遮挡免费看| 国产精品一区二区免费欧美| 听说在线观看完整版免费高清| 亚洲av五月六月丁香网| 真人一进一出gif抽搐免费| 亚洲乱码一区二区免费版| 欧美另类亚洲清纯唯美| av有码第一页| 亚洲国产精品合色在线| 午夜精品久久久久久毛片777| 亚洲国产精品sss在线观看| 最新美女视频免费是黄的| 久久中文字幕人妻熟女| 三级男女做爰猛烈吃奶摸视频| 非洲黑人性xxxx精品又粗又长| 美女午夜性视频免费| 91老司机精品| 最近最新中文字幕大全免费视频| 亚洲国产高清在线一区二区三| 国产亚洲欧美98| 亚洲精品久久成人aⅴ小说| 国产激情欧美一区二区| 一级片免费观看大全| 18禁观看日本| 国产久久久一区二区三区| 久久久水蜜桃国产精品网| 欧美精品啪啪一区二区三区| 1024手机看黄色片| 国产一区在线观看成人免费| 窝窝影院91人妻| cao死你这个sao货| 97碰自拍视频| √禁漫天堂资源中文www| 露出奶头的视频| 国产精品一区二区三区四区免费观看 | 成人欧美大片| av在线播放免费不卡| 国产精品日韩av在线免费观看| 成人18禁在线播放| 亚洲男人天堂网一区| 最新美女视频免费是黄的| 长腿黑丝高跟| 一级毛片高清免费大全| 丰满人妻一区二区三区视频av | 色av中文字幕| 少妇被粗大的猛进出69影院| 99精品在免费线老司机午夜| 中文字幕人妻丝袜一区二区| 最新美女视频免费是黄的| 岛国视频午夜一区免费看| 欧美一级a爱片免费观看看 | 人妻丰满熟妇av一区二区三区| 国产精品久久久人人做人人爽| 在线播放国产精品三级| 黄片小视频在线播放| 一级毛片精品| 欧美一区二区国产精品久久精品 | 亚洲精品在线美女| 亚洲成av人片免费观看| 免费在线观看影片大全网站| 可以在线观看的亚洲视频| 亚洲真实伦在线观看| 精品欧美一区二区三区在线| 国产又色又爽无遮挡免费看| 成人18禁在线播放| 岛国视频午夜一区免费看| 亚洲 欧美一区二区三区| 亚洲av成人av| 国产精品电影一区二区三区| 亚洲国产看品久久| or卡值多少钱| 男男h啪啪无遮挡| 亚洲av日韩精品久久久久久密| 国产aⅴ精品一区二区三区波| 中文字幕人成人乱码亚洲影| 熟女少妇亚洲综合色aaa.| 草草在线视频免费看| 亚洲国产精品久久男人天堂| 国产91精品成人一区二区三区| 高潮久久久久久久久久久不卡| 美女黄网站色视频| 国产成人av激情在线播放| 亚洲精品粉嫩美女一区| 91九色精品人成在线观看| 国产高清有码在线观看视频 | 身体一侧抽搐| 国产日本99.免费观看| 亚洲国产看品久久| 一本精品99久久精品77| 91成年电影在线观看| 亚洲一区中文字幕在线| 成年人黄色毛片网站|