• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    自動化國家的行政法

    2022-11-22 23:11:42卡里科利亞尼斯蘇苗罕王夢菲
    法治社會 2022年1期
    關鍵詞:同理行政法機器

    [美]卡里·科利亞尼斯 著 蘇苗罕 王夢菲 譯

    內容提要:行政機關將日益依賴機器學習算法驅動的數(shù)字自動化。美國行政法可以適應這樣的未來嗎?不僅高度自動化的國家完全可以符合存在已久的行政法原則,而且在實現(xiàn)行政法的專家決策和民主問責的核心價值方面,負責任地使用機器學習算法的效果可能更優(yōu)于現(xiàn)狀。顯然,算法治理有可能做出更為準確的、由數(shù)據(jù)驅動的決策。此外,由于其數(shù)學特性,算法很可能成為民主機構更為忠實的智能體(agent)。然而,即使自動化國家更為智能、具有更高問責度,它也可能存在缺乏同理心(empathy)的風險。盡管我們不應夸大人工驅動的官僚機構現(xiàn)在所具有的同理心程度,但是大規(guī)模轉向算法治理將給行政法帶來新的挑戰(zhàn),那就是如何確保自動化政府同時也是具有同理心的政府。

    未來無極限,行政法的前景很廣闊。在近期內,美國的行政法無疑關注的是最高法院如何裁決引發(fā)行政法核心問題的案件,這些問題的例子包括禁止權力授出(nondelegation)原則和法院對行政機關所作法律解釋的尊重。但從長遠來看,隨著政府和社會出現(xiàn)一些新的變化,行政法領域將面臨新的問題。即將出現(xiàn)的一項重大變化是行政國家自動化程度的日益加深,數(shù)字系統(tǒng),尤其是那些由機器學習算法驅動的系統(tǒng),將承擔政府的眾多任務。

    行政機關現(xiàn)在承擔著發(fā)放許可證、支付款項、裁決爭議和制定規(guī)則等一系列工作,這些在傳統(tǒng)上都是由政府官員執(zhí)行的。但是,既不難想象,也并非不切實際的是,未來在公眾與政府打交道時,他們會越來越多地發(fā)現(xiàn)自己主要是與數(shù)字系統(tǒng)而非人類官員打交道。即使在今天,計算機系統(tǒng)也越來越多地完成了長期以來一直由人類負責的傳統(tǒng)行政任務。如今,在美國很少有人在使用政府網(wǎng)站申請失業(yè)救濟、投訴或提交文件時猶豫再三,而選擇直接訪問或致電政府辦公室。聯(lián)邦政府甚至創(chuàng)建了一家在線門戶網(wǎng)站(USA.gov),為用戶訪問各種資源提供便利,現(xiàn)在公眾可以通過州和聯(lián)邦政府網(wǎng)站的廣泛網(wǎng)絡使用各種數(shù)字應用程序了。

    在過去的25年里,這種轉向與政府在線互動的發(fā)展預示著,在接下來的25年里,政府程序將經(jīng)歷更深入、更廣泛的技術變革。除了與政府前端的通信數(shù)字化之外,未來可能還會出現(xiàn)更廣泛的后端決策自動化,盡管后端決策如今仍然由行政官員裁量決定?;蛟S只需再過幾十年時間,我們就能實現(xiàn)在采用機器學習算法構建的自動化系統(tǒng)基礎上運行的行政國家,私營部門的重要方面很大程度上也是如此。這種行政國家具有的兩項特征是算法裁決(algorithmic adjudication)和自動化規(guī)則制定(robotic rulemaking)。①See Cary Coglianese and David Lehr,Regulating by Robot:Administrative Decision Making in the Machine-Learning Era,105 Georgetown Law Journal 1147,1171(2017).行政機關將不再由行政官員作出裁量性決定,而是能夠依靠自動化系統(tǒng)作出這些決定,例如判斷申領者個人是否有資格獲得殘疾人福利。例如,我們可以對福利申領處理系統(tǒng)進行設計以便自動從電子病歷中導入大量數(shù)據(jù),然后采用人工智能系統(tǒng)處理這些數(shù)據(jù),確定申領人是否達到特定的概率閾值從而具備福利申領的資格。②See Cary Coglianese and David Lehr,Transparency and Algorithmic Governance,71Administrative Law Review 1,9(2019).

    目前政府通過行政人員決策來完成的許多任務,如果完全交由自動化決策工具和計算機系統(tǒng)來執(zhí)行,行政法會如何應對這種邁向自動化國家的轉型?行政法應該怎樣應對呢?

    現(xiàn)有的行政法原則大多數(shù)已經(jīng)可以適應整個行政國家廣泛采用自動化的情況。不僅各行政機關已經(jīng)長期依賴各種有形機器來實現(xiàn)自動化,而且自動化國家,或者至少是負責任的自動化國家,可以被認為是行政法對政府基本愿景的頂點,即立法授權的中立的公共行政。我們不需要徹底改變行政法才能讓其在自動化程度越來越高的時代運作,因為如果我們能夠負責任地實施自動化,它將推進長期以來作為行政法基礎的民主原則和善治價值的實現(xiàn)。

    盡管如此,即使在負責任的自動化國家,也會存在善治的一項重要因素,而且這項因素越來越可能隨著自動化而消失,那就是人類的同理心。即使由官員組成的官僚機構也可能冷酷無情,但是極端自動化的時代可能會呈現(xiàn)出人類關懷的危機狀態(tài),或者更準確地說,是缺乏人類關懷的危機。在日益自動化的國家中,行政法需要尋找各種方法以鼓勵各機構確保公眾繼續(xù)有機會與人類接觸,表達他們的心聲,并讓人們了解其處境現(xiàn)狀。簡而言之,自動化國家也得是有同理心的國家。

    幾十年前發(fā)起的信息技術革命幾乎沒有消退的跡象。今天的技術人員通過使用人工智能、機器學習和預測分析等高級算法技術,揭示并觸及各種新領域。這些術語(有時互換使用)所包含的一系列工具,能夠快速處理大量數(shù)據(jù),產(chǎn)生高度準確的預測,從而促進許多不同任務的自動化。在私營部門,之前由經(jīng)過訓練的人類處理的大量任務,例如讀取胸部X光片、駕駛汽車和金融機構發(fā)放貸款,都通過算法創(chuàng)新實現(xiàn)了自動化處理。

    公共管理部門已經(jīng)注意到了私營部門的算法進展。商業(yè)世界的一些進展甚至與政府任務有異曲同工之處。例如,像eBay和PayPal等公司已經(jīng)開發(fā)了非常成功的自動化在線糾紛解決工具,在沒有員工直接參與的情況下也能處理投訴。③See Benjamin H.Barton and Stephanos Bibas,Rebooting Justice:More Technology,Fewer Lawyers,and the Future of Law(New York:Encounter Books,2017),pp.111-115.總的來說,政府官員在現(xiàn)代數(shù)據(jù)分析中看到了構建可以自動化處理各種政府任務的系統(tǒng)的可能性,所有這些都有可能提高行政效率、速度、一致性和準確性。

    自動化行政國家之愿景的最佳例證可能是在愛沙尼亞共和國,這個波羅的海小國已經(jīng)全面擁抱數(shù)字政府,并將其作為獨特的標志。愛沙尼亞的“e-Estonia”項目已經(jīng)將醫(yī)療記錄、就業(yè)信息、財務報表等大量個人信息加以數(shù)字化并安全存儲,從而改變了該國的行政管理。④See Nathan Heller,Estonia,the Digital Republic,The New Yorker,December 11,2017,(https://www.newyorker.com/magazine/2017/12/18/estonia-the-digital-republic);and Republic of Estonia,Ministry of Economic Affairs and Communications,Report of Estonia’s AI Taskforce(Tallinn:Republic of Estonia,Ministry of Economic Affairs and Communications,2019),(https://f98cc689-5814-47ec-86b3-db505a7c3978.filesusr.com/ugd/7df26f_486454c9f32340b28206e140350159cf.pdf).這些信息通過XRoad這一數(shù)字基礎設施實現(xiàn)交叉鏈接(cross-link),從而讓有需要的任何實體可以立即訪問個人記錄,同時遵守旨在防止不法行為的限制。廣泛數(shù)字化促進了一系列政府服務的自動化:個人可以在不與行政官員打交道的情況下,只需傳輸他們的數(shù)字信息以完成表格并提交請求,就能輕松完成投票、申請貸款、報稅等各種行政任務。通過眾多行政程序的自動化,愛沙尼亞每年大約節(jié)省了GDP的2%。該國甚至正在探索使用自動化的“法官”裁決小額索賠糾紛。⑤See Eric Niler,Can AI Be a Fair Judge?Estonia Thinks So,Wired,March 25,2019,(https://www.wired.com/story/can-ai-be-fairjudge-court-estonia-thinks-so/).

    丹麥和韓國等國在采用電子政務工具方面也處于世界領先地位。⑥See United Nations Department of Economic and Social Affairs,E-Government Survey 2020:Digital Government in the Decade of Action for Sustainable Development(New York:United Nations,2020),(https://publicadministration.un.org/egovkb/Portals/egovkb/Documents/un/2020-Survey/2020%20UN%20E-Government%20Survey%20(Full%20Report).pdf)美國可能還沒有實現(xiàn)相同水平的自動化政府,但是肯定也不會落后太多。美國的聯(lián)邦、州和地方機構不僅采用了網(wǎng)絡應用程序(如USA.gov網(wǎng)站上匯編的程序),而且開始用機器學習算法讓一系列行政決策過程實現(xiàn)自動化。在大多數(shù)情況下,行政官員仍然在一定程度上參與其中,但是大量的行政工作正越來越多地通過數(shù)字系統(tǒng)進行。

    自動化幫助美國聯(lián)邦、州和地方政府在公共項目管理過程中處理具有挑戰(zhàn)性的資源配置決策。美國多個州已經(jīng)實施了算法工具來幫助做出發(fā)放醫(yī)療補助和其他社會福利的決策,以便加快進度并提高福利申領程序處理的一致性。⑦See Cary Coglianese and Lavi M.Ben Dor,AI in Adjudication and Administration,86 Brooklyn Law Review 791(2021).同樣,聯(lián)邦社會保障局利用自動化工具來支持人類上訴法官個人的工作,對每年處理多達250萬份殘疾福利申請的行政裁決程序進行有效監(jiān)督。⑧See David Freeman Engstrom,Daniel E.Ho,Catherine M.Sharkey,and Mariano Florentino Cuéllar,Government by Algorithm:Artificial Intelligence in Federal Administrative Agencies(Washington,D.C.:The Administrative Conference of the United States,2020),(https://www-cdn.law.stanford.edu/wp-content/uploads/2020/02/ACUS-AI-Report.pdf).

    有的市政當局依靠自動化系統(tǒng)來決定將衛(wèi)生和建筑檢查員派往何處。⑨See Gabe Cherry,Google,U-M to Build Digital Tools for Flint Water Crisis,Universityof Michigan News,May 3,2016,(https://news.umich.edu/google-u-m-to-build-digital-tools-for-flint-water-crisis/);City of Chicago,Food Inspection Forecasting:Optimizing Inspections with Analytics,(https://chicago.github.io/food-inspections-evaluation/)(accessed November 21,2020);Robert Sullivan,Innovations in Identifying People Who Frequently Use Criminal Justice and Healthcare Systems,Policy Research Associates,May 16,2018,(https://www.prainc.com/innovations-identification-cj-healthcare/);Harvard Kennedy School,Data-Smart City Solutions,A Catalogue of Civic Data Use Cases:How Can Data and Analytics Be Used to Enhance City Operations?October 9,2019,(https://datasmart.ash.harvard.edu/news/article/how-can-data-and-analytics-be-used-to-enhance-city-operations-723);and University of Pennsylvania,Uses in Government,(https://www.law.upenn.edu/institutes/ppr/optimizing-government-project/government.php#municipal)(accessed November 21,2020).有的地方當局則使用這種系統(tǒng)決定在何時何地部署社會工作者跟進有關虐待和忽視(neglect)兒童的指控。⑩Dan Hurley,Can an Algorithm Tell When Kids Are in Danger?The New York Times Magazine,January 2,2018,(https://www.nytimes.com/2018/01/02/magazine/can-an-algorithm-tell-when-kids-are-in-danger.html).與此同時,聯(lián)邦機構已經(jīng)用算法系統(tǒng)來分析消費者投訴,處理工傷報告,并評估公眾對擬議規(guī)則提出的意見了。?See Coglianese and Ben Dor,supra note⑦.

    美國各地的刑事執(zhí)法機構也依賴各種自動化工具。他們采用了一些工具,根據(jù)對城市中最可能發(fā)生犯罪的地點的預測,自動部署巡邏警察。?See Tim Lau,Predicting Policing Explained,Brennan Center for Justice,April 1,2020,(https://www.brennancenter.org/our-work/research-reports/predictive-policing-explained).許多執(zhí)法機構還廣泛運用自動化的人臉識別工具來識別嫌疑人或進行安全檢查。?See Shirin Ghaffary and Rani Molla,Here’s Where the U.S.Government Is Using Facial Recognition Technology to Surveil Americans,Vox,December 10,2019,(https://www.vox.com/recode/2019/7/18/20698307/facial-recognition-technology-us-govern ment-fight-for-the-future).

    監(jiān)管機構同樣也使用了自動化工具來確定審計和執(zhí)法資源的使用對象。各州采用了數(shù)據(jù)分析技術來查找失業(yè)保險項目存在的欺詐和錯誤。?See Tod Newcombe,Aiming Analytics at Our $3.5 Billion Unemployment Insurance Problem,Government Technology,March 2017,(https://www.govtech.com/data/Aiming-Analytics-at-Our-35-Billion-Unemployment-Insurance-Problem.html).聯(lián)邦證券交易委員會(SEC)和國稅局(Internal Revenue Service)采用了算法工具來幫助發(fā)現(xiàn)欺詐和其他不當行為。?See David Freeman Engstrom and Daniel E.Ho,Algorithmic Accountability in the Administrative State,37 Yale Journal on Regulation 800,815-819(2020);and Richard Rubin,AI Comes to the Tax Code,The Wall Street Journal,February 26,2020,(https://www.wsj.com/articles/ai-comes-to-the-tax-code-11582713000).

    運用諸如此類的各種方式,美國公共當局已經(jīng)在朝向日益自動化的政府的方向上取得了長足進步。在接下來的幾十年里,由人工智能工具驅動的自動化在政府中的應用肯定會進一步擴大,并可能導致目前由政府雇員從事的許多工作轉型或被逐步淘汰。?Partnership for Public Service and IBM Center for the Business of Government,More Than Meets AI:Assessing the Impact of Artificial Intelligence on the Work of Government(Washington,D.C.:Partnership for Public Service and IBM Center for the Business of Government,2019),(https://ourpublicservice.org/wp/content/uploads/2019/02/More-Than-Meets-AI.pdf).行政法未來所要治理的國家將是行政自動化程度日益提高的政府。

    行政法可以適應自動化國家的發(fā)展嗎?乍一看,自動化國家的前景似乎需要對行政法進行根本性改寫。畢竟,行政法的出現(xiàn)是為了約束行政人員的裁量權,使其在法律范圍內工作,并防止人類決策者之間的聯(lián)系可能出現(xiàn)的委托-代理問題。此外,行政法的重要信條之一是行政程序應當是透明的,同時能夠說明理由;對于推動自動化之新興趨勢的機器學習算法來說,這一信條似乎會成為算法應用的障礙。?這種信條既反映在正當程序的概念中,也反映在行政行為不得武斷和恣意的一般性標準中。這是因為機器學習算法有時也被稱為“黑盒”算法,它所具有的一些特性使其晦澀難懂,難以解釋。在傳統(tǒng)算法中,變量是由人類選擇的,結果系數(shù)可以用來解釋因變量中特定數(shù)量的變化,而學習算法則有所不同,它能在數(shù)據(jù)中有效地發(fā)現(xiàn)其中存在的模式,并不產(chǎn)生將解釋力與特定變量相關聯(lián)的結果。數(shù)據(jù)科學家當然能夠理解并解釋機器學習算法的目標和一般屬性,但總的來說這些算法都有一定程度的自主性,也因此被冠以“學習”之名,而這可能會使人更難準確地解釋其做出任何特定預測的原因。它們通常無法為證明行政決策合理性的這類因果陳述提供任何依據(jù)(例如“因為X導致Y,所以X是正當?shù)摹保?/p>

    因此,考慮到自動化國家的未來是建立在機器學習系統(tǒng)基礎之上,對透明度的關切是合理的。但是,即使是輕微的額外反思,這些擔憂似乎既不會對依賴機器學習自動化構成內在障礙,也不一定需要對美國行政法進行根本性改革以適應自動化國家。即使根據(jù)《行政程序法》第706節(jié)規(guī)定的武斷恣意標準,行政法也從未苛求接近絕對的透明,或者要求一絲不茍或詳盡的推理。?See Cary Coglianese and David Lehr,supra note②,at 26-29.根據(jù)現(xiàn)有法律原則,行政機構依靠機器學習系統(tǒng)時,如果用一般性的術語解釋該算法是如何設計的,并將其結果與現(xiàn)有程序所產(chǎn)生的結果進行比較,以此證明其運作符合算法設計要求,應該能夠滿足任何說明理由義務的要求。充分的解釋可能只涉及描述所使用算法的類型,披露搭建算法所要滿足的目標,并顯示該算法是如何處理某類數(shù)據(jù)并生成結果,以及這些結果表明符合該算法所定義的目標與目前的程序一樣好甚至更好。

    這種解釋實際上與行政官員目前使用物理機器而非數(shù)字機器時的解釋類似。例如,為了證明對未在低溫下儲存易腐爛食品的食品加工者實施的行政處罰是合理的,行政官員不需要詳細解釋溫度計如何工作,只需要證明它準確讀取了溫度計顯示度數(shù)即可。長期以來,法院一直將物理機器的儀器有效性視為使用該儀器的行政行為的充分依據(jù)。此外,在行政官員依賴復雜儀器或數(shù)學分析的情況下,法院通常會尊重行政官員的專業(yè)知識。事實上,在Baltimore Gas & Electric Co.v.Natural Resources Defense Council中,美國最高法院呼吁法院在行政機構“在其特殊專業(yè)領域內,在科學前沿進行預測”的時候,保持“最大程度尊重”的態(tài)度。?462 U.S.87,103(1983).最近,在Marsh v.Oregon Natural Resource Council中,最高法院指出,只要行政決定“‘需要高度的技術性專業(yè)能力’,我們必須尊重‘負責行政機關的知情決定權’”。?490 U.S.360,371(2011),quoting Kleppe v.Sierra Club,427 U.S.390,412(1976).下級法院遵循這些指示,支持了行政機關在各種場景下依賴復雜算法(即使不是機器學習算法)作出的決定。

    當技術和統(tǒng)計技術在機器學習時代變得更加復雜時,很難看到最高法院對法官提供獨立技術評估的能力有更多信心。除非最高法院有新的來源獲得這種信心,并放棄它在Baltimore Gas &Electric Co.v.Natural Resources Defense Council和Marsh v.Oregon Natural Resource Council中采 取的立場,否則,行政法上的說明理由義務似乎并不能成為行政機構更廣泛地依賴基于機器學習或其他先進預測技術系統(tǒng)的任何不可逾越的障礙,即使今天人們可以合理地稱之為“黑箱算法”。將機器學習算法描述為黑箱,這種說法在未來幾十年似乎將不再合適,因為目前數(shù)據(jù)科學家正在進行大量工作以開發(fā)先進技術,試圖更好地解釋這種復雜算法的輸出。?See Cary Coglianese and David Lehr,supra note②,at 49-55.“可解釋的”人工智能技術的進步可能只會讓自動化與長期存在的行政法價值觀更加相容。

    當然,上述這一切并不是說,在設計或操作其系統(tǒng)的問題上,行政機關將會或者應當一直得到尊重。根據(jù)Motor Vehicle Manufacturers Association v.State Farm Insurance Co.提出的標準,行政機關仍然需要提供有關其自動化系統(tǒng)背后的目的及其通常如何運作的基本信息。?463 U.S.29(1983).他們需要表明他們已經(jīng)仔細考慮了關鍵的設計選項。他們也可能需要通過公認的審核和驗證工作來證明這些系統(tǒng)確實能夠運行并生成預期的結果。?在放棄以人為基礎的程序現(xiàn)狀之前,應進行驗證,包括在隨機選擇的案件上測試算法,這些案件也是由人類按照正常程序決定的。人類專家小組可以對數(shù)字系統(tǒng)的結果和最初人類決策者之間的差異進行更嚴格的審查。但是,這一切都意味著,幾乎可以肯定的是行政機關可以提供必要的信息以證明其系統(tǒng)產(chǎn)生的結果是合理的。換句話說,長期存在的行政法原則似乎已經(jīng)可以適應自動化時代。

    從一些重要的方面看,向自動化行政的轉變甚至可以說是對行政法背后原則的某種神化。許多行政法規(guī)范聚焦的是行政官員根據(jù)授權行使裁量權時所產(chǎn)生的潛在問題。通過行政的自動化,這些潛在問題可以得到緩解,而隨著某些政府任務的自動化,人類可能會強化對裁量權的控制。

    自動化可以推進長期以來構成美國行政法主要特征的兩大主題:一項主題關注的是確??梢詫π姓嗔Φ男惺惯M行民主問責;另一項主題是試圖確保這種權力是基于可靠專家判斷的。例如,《行政程序法》規(guī)定的武斷恣意標準背后的說明理由義務就反映了這兩項主題。行政決定的說明理由作為一個基礎,既可以有助于確保各行政機關忠實于其民主任務,又可以將其決定建立在合理的證據(jù)和分析基礎之上。類似地,白宮對未來規(guī)章的制度化審查,既有利于加強對民選總統(tǒng)的問責,又能通過要求行政機關開展利益成本分析來促進其專業(yè)決策。?這種規(guī)制審查制度的基本內容,參見Executive Order 12866 of September 30,1993 Regulatory Planning and Review,58 Federal Register 51735(1993).

    同樣,在Chevron v.Natural Resources Defense Council這一被廣泛引用的判決中,最高法院在支持司法尊重行政機關的法律解釋,同時強調了民主問責制和實質性專業(yè)知識這兩項理由,這么做絕不是偶然的。?467 U.S.837(1984).作為正式事項,最高法院認為雪佛龍尊重原則的基礎是國會明確或隱含地將澄清或填補空白的權力授予行政機關。See Cary Coglianese,Chevron’s Interstitial Steps,85 George Washington Law Review1339,1347-1351(2017).它強調了行政機關是如何位于“政府的政治分支”,以及他們如何同時擁有“豐富的專業(yè)知識”,從而比法院更適合對模棱兩可的法定術語之含義作出判斷。?467 U.S.837,865.盡管雪佛龍原則(the Chevron doctrine)本身的未來似乎是不確定的,但是最高法院對問責和專業(yè)知識的強調不太可能消失,因為它們是行政治理的固有品質。

    機器學習和自動化可以提高問責和專業(yè)知識這兩種品質。自動化最明顯的作用可能是有助于實現(xiàn)專家治理的目標。當自動化系統(tǒng)提高行政決策的準確性的同時,必然會促進行政法提高行政機關提高專業(yè)能力的目標,這也正是機器學習和其他數(shù)據(jù)分析技術看起來前景可期的原因。在專家治理方面,人工智能有望提供最先進的技術。例如,退伍軍人管理局(Veterans Administration)最近選擇用自動化算法系統(tǒng)來預測哪些退伍軍人自殺的風險更高(因此需要更緊急的關懷),因為這個分析系統(tǒng)甚至比經(jīng)驗豐富的精神科醫(yī)生更為智能。?Benedict Carey,Can an Algorithm Prevent Suicide?The New York Times,November 23,2020,(https://www.nytimes.com/2020/11/23/health/artificial-intelligence-veterans-suicide.html).退伍軍人管理局的一位精神病學家指出,“事實是,我們不能依靠經(jīng)過訓練的醫(yī)學專家來識別真正處于高風險的人,(因為他們)不擅長這一點?!?Id.

    類似地,當涉及到行政法的其他主要目標——民主問責時,自動化系統(tǒng)也能起到推動作用。自動化具有民主優(yōu)勢,這一點初看起來似乎與直覺相悖:基于機器的治理似乎很難與林肯提出的“民治”政府概念相一致。但是,現(xiàn)實是自動化系統(tǒng)本身仍然需要能夠設計、測試和審計這些系統(tǒng)的人。只要設計者和監(jiān)督者按照相關法律用與行政機關設定的參數(shù)相一致的方式操作系統(tǒng),自動化系統(tǒng)本身就可以預防由數(shù)以千計的行政官員實施重大國家項目和政策時可能會出現(xiàn)的偏離和推諉現(xiàn)象。即使是根據(jù)國會授權制定新的規(guī)則,行政機關也很可能會發(fā)現(xiàn),自動化促進而非削弱了民主問責制。機器學習算法本身的特性會要求一定程度的問責制。這些算法如果要發(fā)揮作用,不僅依賴“明確性原則(intelligible principle)”提供指引,還需要有可用數(shù)學術語精確說明的原理。?關于明確性原則學說的討論,參見Cary Coglianese,Dimensions of Delegation,167 University of Pennsylvania Law Review1849(2019).如此一來,自動化很可能推動在法律中對行政目標作出更明確的規(guī)定,甚至超過法院可能復興禁止權力授出原則時要求規(guī)定的明確性。

    雖然為了確保所創(chuàng)造的自動化系統(tǒng)符合以民主方式確認的價值觀,對自動化系統(tǒng)設計和開發(fā)過程的監(jiān)督仍然很重要,但是自動化系統(tǒng)一旦投入運行,它們就會大幅減少出現(xiàn)俘獲和腐敗的機會,而這些問題都是行政法長期以來試圖防止的。人類可能會追求自己的狹隘利益而非更廣泛的公眾利益,而算法編程則是為了優(yōu)化其設計者所定義的各項目標。只要這些設計者向公眾負責,只要系統(tǒng)目標是按照相關法律的規(guī)定,以非自利方式定義的,那么,算法本身就不會產(chǎn)生俘獲和腐敗的風險。重要的是,它們在實施法律時比行政官員更具有可問責性。

    自動化系統(tǒng)并非萬能靈藥,負責任地開發(fā)和使用自動化系統(tǒng)亦非易事。它們當然可以在法律和道德上有問題的情況下使用。此外,行政機關使用自動化系統(tǒng),依然要受到行政法以外的約束,例如,根據(jù)《憲法》第一修正案或平等保護條款(Equal Protection Clause)適用于所有政府行為的法律約束。事實上,算法偏見的可能性所引發(fā)的對平等的關切,很可能成為自動化系統(tǒng)在未來幾年內所面臨的最突出的法律問題。人類決策顯然存在偏見,但機器學習算法也存在偏見,尤其是當用于訓練這些算法的基礎數(shù)據(jù)已經(jīng)包含(人為制造的)偏見時。盡管如此,如果沒有獨立的敵意表現(xiàn),基于機器學習算法的自動化系統(tǒng)很可能會順利通過平等保護原則的審查,至少在平等保護原則沒有隨著時間推移而發(fā)生太大變化時是如此。?See Washington v.Davis,426 U.S.229,239(1976).

    即使行政官員選擇采用包括種族、性別或其他受保護的變量類型的數(shù)據(jù),政府使用機器學習算法也能夠避免根據(jù)平等保護條款的分析對其行為提起訴訟。只要算法編程時所要實現(xiàn)的目標不是以這種受保護的分類來表述的,我們就很難,甚至不可能證明算法將某類變量作為任何特定結果的決定性依據(jù)。這些算法生成的結果來自有效的自主數(shù)學過程,這些數(shù)學過程可以發(fā)現(xiàn)變量之間的模式和不同變量之間的關系??梢酝茢嗟氖?,在種族或其他受保護的階級在政府決策中被賦予了明確的甚至是決定性的權重時,機器學習算法將很少會支持根據(jù)已經(jīng)被最高法院否定的階級相關變量而做出的決定。?See Fisher v.University of Texas at Austin,133 S.Ct.2411(2013);Grutter v.Bollinger,539 U.S.306(2003);Gratz v.Bollinger,539 U.S.244(2003);and Cary Coglianese and David Lehr,supra note①,at 1147.即使在使用階級變量的數(shù)據(jù)時,機器學習算法的使用,整體上來說也可能會給受保護階級的成員帶來更好的結果。?對算法公平的技術問題所作的清晰解釋,參見Michael Kearns and Aaron Roth,The Ethical Algorithm:The Science of Socially Aware Algorithm Design(New York:Oxford University Press,2019),pp.57-93.圍繞數(shù)字算法如何產(chǎn)生比人類程序更公平的結果而展開的令人信服的討論,參見Sandra G.Mayson,Bias In,Bias Out,128 Yale Law Journal 2218,2277-2281(2019).

    此外,隨著對基于算法的自動化系統(tǒng)的依賴不斷加深,政府將獲得一種新的能力,即通過對其算法進行數(shù)學調整,減少不必要的偏見,有時對準確度并不會產(chǎn)生明顯影響。?例可參見Richard A.Berk and Arun Kumar Kuchibhotla,Improving Fairness in Criminal Justice Algorithmic Risk Assessments Using Conformal Prediction Sets(2021),arXiv:2008.11664[stat.AP];James E.Johndrow and Kristian Lum,An Algorithm for Removing Sensitive Information:Application to Race-Independent Recidivism Prediction,13 Annals of Applied Statistics 189(2019);Jon Kleinberg,Jens Ludwig,Sendhil Mullainathan,and Cass R.Sunstein,Discrimination in the Age of Algorithms,10 Journal of Legal Analysis 113(2018).以這種方式消除算法偏見肯定比目前消除人類隱性偏見更容易。在未來的自動化國家里,政府可能會發(fā)現(xiàn)自己不太會受到過度歧視的指控。

    基于上述理由,長期存在的行政法原則,甚至憲法原則,很可能將繼續(xù)在自動化國家中發(fā)揮效力,并鼓勵行政機構負責任地行事,既能保留民主問責制,又能做出更明智、更公平的決定。但是,這并不是說現(xiàn)有的原則將一成不變。誰都不應指望任何領域的法律始終一成不變。鑒于一些學者和觀察者已經(jīng)開始以批判的眼光審視政府對算法的使用,在具體針對未來行政國家的自動化特征方面,公眾態(tài)度的轉變也許將導致新的、可能更為苛刻的行政法原則。?例可參見,Danielle Keats Citron,Technological Due Process,85 Washington University Law Review1249(2008);Karen Yeung,Algorithmic Regulation:A Critical Interrogation,12 Regulation and Government 505(2018).

    盡管政府官員無疑將會繼續(xù)強化自動化系統(tǒng)相關的規(guī)范和實踐,正如為了利用收益-成本分析等其他分析工具而在過去多年里實現(xiàn)的發(fā)展一樣,但是行政法的基本原理是否會在算法治理的時代發(fā)生巨大變化,這一點還遠遠沒有達到明朗的程度。?例如,行政機關在設計算法系統(tǒng)時所作的選擇,對此如何記錄的規(guī)范肯定會發(fā)展起來。例可參見Timnit Gebru,Jamie Morgenstern,Briana Vecchione,et al.,Datasheets for Datasets(2020),(https://arxiv.org/abs/1803.09010).畢竟,法官們在審查機器學習算法時會遇到許多困難,就像他們過去在行政管理的其他統(tǒng)計和技術方面所遇到的困難一樣,這可能會導致Baltimore Gas & Electric案所體現(xiàn)的司法尊重繼續(xù)存在。?借用伏爾泰(Voltaire)的話來說,如果Baltimore Gas & Electric案沒有發(fā)生,聯(lián)邦各級法院仍會認為有必要給予尊重。See Adrian Vermeule,Law’s Abnegation:From Law’s Empire to the Administrative State(Cambridge,Mass.:Harvard University Press,2016).(伏爾泰曾經(jīng)說過,如果上帝不存在,就應該創(chuàng)造一個?!g者注)此外,與其說公眾的態(tài)度轉向反對政府使用算法工具,不如說公眾的期望將受到人工智能在生活其他方面被廣泛接受的影響,甚至可能導致其對政府使用算法工具的肯定,而不是繼續(xù)依賴與算法相比更慢而又更不可靠的程序。出于對算法治理陷入僵化的警惕,法官和行政法學者可能會克制對自動化增加設置學理障礙的沖動。?正如Steven M.Appel和我曾經(jīng)指出的,“不難想象,在不久的將來,公眾真的會期待他們的公務員依賴這些技術”。隨著復雜機器學習算法在私營部門的迅速推廣,公眾很可能會期望政府提供類似的準確性和自動化服務。Steven M.Appel and Cary Coglianese,Algorithmic Governance and Administrative Law,in Woodrow Barfield ed.,Cambridge Handbook on the Law of Algorithms:Human Rights,Intellectual Property,Government Regulation(Cambridge:Cambridge University Press,2021),pp.162,165.他們還可能會認定現(xiàn)有的行政法理論包含了確保政府機構負責任地使用自動化系統(tǒng)所需的內容,這也是言之成理的。

    因此,如果政府機構希望擴大負責任地使用經(jīng)過合理培訓、審計和驗證的自動化系統(tǒng),確保其符合法律要求,并提高行政機關實施關鍵任務的能力,他們幾乎不需要改變傳統(tǒng)的行政法原則就能適應這些創(chuàng)新。行政法也不需要做太多調整(如果有的話),以確保負責任地使用算法治理。總的來說,我們可以想見的是自動化的國家可以比以前更好地實現(xiàn)長期以來為行政法注入活力的善治愿景。

    盡管行政法的主流原則能夠充分應對公共部門對機器學習算法的使用,但是在自動化國家中有些重要的問題可能很容易陷入迷失。自動化國家中,政府可能會更智能,更具有民主可問責性,甚至更公平,但是它甚至可能比今天毫無生氣的官僚程序更缺乏感情。通過智能手機和自動聊天與政府進行互動,對于在國家公園預訂露營地,甚至報稅來講都是不錯的選擇,但是,當政府必須作出對于個人福利產(chǎn)生深遠影響的重大決策時,這些互動方式可能會忽略善治的一項重要因素,即同理心。在這些情況下,同理心要求行政機構提供人際互動、傾聽和表達關切的機會。未來幾十年,行政法面臨的一項重要挑戰(zhàn)將是尋求方法以推動自動化國家同時成為具有同理心的國家。

    當然,對同理心的渴求并不必然阻礙自動化的發(fā)展。?值得注意的是,技術人員甚至正在探索在自動化工具中構建同理心的可能性。例可參見,Pascale Fung,Dario Bertero,Yan Wan,et al.,Towards Empathetic Human-Robot Interactions,in Alexander Gelbukh ed.,Computational Linguistics and Intelligent Text Processing(New York:Springer International Publishing,2018).如果政府順利完成向自動化國家的轉型,那么自動化就有可能提高政府對公眾提供同理心的能力,但前提是政府官員充分意識到這樣做的需要。隨著整個經(jīng)濟體越來越依賴人工智能和其他自動化系統(tǒng),這種需求將會變得更大。社會需要重視并找到新的方法來完成那些人類擅長的涉及同理心的任務。正如技術專家李開復所指出的那樣,目標應該是確?!叭斯ぶ悄芴幚淼氖侨粘5膬?yōu)化任務,而人類……帶來個人的、創(chuàng)造性的和富有同情心的風格。?Kai-Fu Lee,AI Superpowers:China,Silicon Valley,and the New World Order(New York:Houghton Mifflin Harcourt,2018),p.210.

    公共管理專家認識到,這是遷移到自動化國家的巨大潛在優(yōu)勢之一。它可以把政府工作人員從繁重的工作和積壓的文件中解放出來,讓他們有更多的時間和機會去聯(lián)系那些受行政決定影響的人。?自動化國家的出現(xiàn)無疑將導致政府勞動力的變化,就像人工智能在私營部門的擴大使用將導致勞動力市場的變化一樣。David Autor and Anna M.Salomons,Is Automation Labor-Displacing?Productivity Growth,Employment,and the Labor Share,Brookings Papers on Economic Activity,March 8,2018;and David Autor,David Mindell,and Elisabeth Reynolds,The Work of the Future:Building Better Jobs in an Age of Intelligent Machines(Cambridge,Mass.:MIT Work of the Future,2020),(https://workofthefuture.mit.edu/wp-content/uploads/2021/01/2020-Final-Report4.pdf).政府工作人員越來越多地圍繞同理心組織起來,這與制造業(yè)經(jīng)濟向服務經(jīng)濟或進一步向“共享”經(jīng)濟的更廣泛轉變相符。See Cary Coglianese,Optimizing Regulation for an Optimizing Economy,4 University of Pennsylvania Journal of Law and Public Affairs 3-4(2018).公共服務伙伴關系(Partnership for Public Service)和IBM商業(yè)與政府中心(IBM Center for Business and Government)最近聯(lián)合發(fā)布的一份研究報告解釋了這種轉變對政府雇員工作的重要性:

    “許多展望人工智能在政府中更廣泛應用的觀察者認為,政府雇員和行政相對人之間將有更多面對面的互動,并有更多機會提供更多的個性化客戶服務。政府雇員與行政相對人開展更多接觸的轉變,預計將成為自動化行政任務若干可能的影響之一。擺脫了繁重的文書工作之后,移民官員可以花更多的時間與簽證申請人互動,或跟進處理個人移民案件。科學家可以把更多的時間分配給研究項目的參與者。政府撥款項目的經(jīng)理可以花更多的時間來了解和支持個別接受撥款者。一項研究表明,聯(lián)邦雇員現(xiàn)在平均只花2%或者每周不到一小時的時間與客戶和機構以外的其他人溝通。與此同時,公民希望政府做得更好。行政相對人與公司之間互動的體驗推動了他們對個性化政府服務的需求。在一項對美國等六個國家的6000多人的調查中,44%的受訪者優(yōu)先考慮個性化政府服務?!?Partnership for Public Service and IBM Center for Business and Government,supra note ?,at 8.

    不僅相當一部分公眾已經(jīng)認識到自己需要與政府有同理心、個性化的接觸機會,而且隨著私營部門各個組織在個性化服務方面加大投入,這也會提高和擴大對政府具有同理心的類似期望。根據(jù)對程序公正的大量研究,我們已經(jīng)知道,政府對待公眾的方式會影響他們對所獲得結果合法性的認知。?Allen E.Lind and Tom Tyler,The Social Psychology of Procedural Justice(New York:Springer International Publishing,1988).為了建立公眾對自動化國家的信任,政府機構需要確保公眾仍能感受到人與人之間的聯(lián)系。正如政治哲學家Amanda Greene所指出的,“政府必須讓人看到它在真誠地關心每個人的福利。?Amanda Greene,Competence,Fairness,and Caring:The Three Keys to Government Legitimacy,Centre for Public Impact,February 27,2018,(https://www.centreforpublicimpact.org/the-three-keys-government-legitimacy/).

    行政法能否有助于鼓勵有同理心的行政程序?有人可能會說,這已經(jīng)構成了行政法上正當程序原則的基礎目的。畢竟,Goldberg v.Kelly保證某些政府福利的領受人在福利被終止之前,有權在中立決策者面前舉行口頭聽證會,這一權利至少為受到影響的個人提供了與理論上有同理心的行政法官接觸的機會。?397 U.S.254(1970).See Lucie E.White,Subordination,Rhetorical Survival Skills,and Sunday Shoes:Notes on the Hearing of Mrs.G.,38 Buffalo Law Review 1(1990).但是,Mathews v.Eldridge所反映的如今成為經(jīng)典的程序性正當程序測試標準,幾乎完全沒有注意到在政府與公眾的互動中傾聽、關懷和關切的作用。?424 U.S.319(1976).Mathews案對程序性正當程序的定義是基于下列三項因素的平衡:(1)受影響的私人利益;(2)減少決策錯誤的可能性;(3)財政和行政負擔相關的政府利益。機器學習的自動化似乎很容易通過Mathews的權衡測試標準。其中,第一項因素即受影響的私人利益,與機器學習無關,而根據(jù)后兩項因素,機器學習系統(tǒng)似乎總是表現(xiàn)良好,因為自動化最大的優(yōu)勢就是可以減少錯誤和降低行政成本。

    這就是現(xiàn)有的行政法原則在自動化狀態(tài)下的不足之處,也是需要更多遠見的地方。聽證權和說明理由的需要不僅僅是為了實現(xiàn)準確的結果,這也正是Mathews原則的框架所暗示的。相反,聽證和說明理由并不總是擅長獲得準確結果,至少不像自動化系統(tǒng)那樣穩(wěn)定。2011年的一項研究表明,在社會安全保障局某辦公室15名最活躍的行政法官中,“不同法官批準福利的比例……從不到10%到90%以上不等”。?Social Security Awards Depend More on Judge Than Facts,TRAC Social Security Administration,July 4,2011,(https://trac.syr.edu/tracreports/ssa/254/).社會保障局對這項研究的某些方面提出了尖銳的異議。例如,該研究顯示,同一辦公室的三名法官批準不超過30%的申請人獲得福利,而另外三名法官則批準超過70%的申請人獲得福利。?Id.其他研究表明,社會保障殘疾福利裁決可能存在種族差異,某些黑人申請者往往比白人申請者獲得更不利的結果。?例可參見,U.S.General Accounting Office,Racial Difference in Disability Decisions Warrants Further Investigation,B-247327(Washington,D.C.:U.S.General Accounting Office,1992),(https://www.gao.gov/assets/160/151781.pdf);and Erin M.Godtland,Michele Grgich,Carol Dawn Petersen,et al.,Racial Disparities in Federal Disability Benefits,25 Contemporary Economic Policy 27(2007).與這樣的歷史記錄不同,自動化系統(tǒng)具有獨特的優(yōu)勢,能夠提供更公平、更一致、甚至更快速的決定。

    但是,對于那些向政府申請援助或其他決定的人,或者那些發(fā)現(xiàn)自己本身受到政府限制的人來說,人類仍然善于傾聽和同情他們的困境。?關于同理心在行使監(jiān)管權力中重要性的討論,see Cary Coglianese,Listening,Learning,and Leading:A Framework for Regulatory Excellence(Philadelphia:University of Pennsylvania Law School,2015),pp.23-25,(https://www.law.upenn.edu/live/files/4946-pprfinalconvenersreport.pdf).我們應當讓人類具有的同理心之品質引導程序性正當程序的行政法超越目前只強調減少錯誤和降低成本的做法。

    對一些法官來說,對具備同理心的行政法之需要,可能會讓他們發(fā)問,在自動化國家中公眾是否擁有“接受人類決策的權利”。?對該問題的完美處理,參見Aziz Z.Huq,A Right to a Human Decision,106 Virginia Law Review 611(2020).但是,并非所有的人類決策必然具有同理心。此外,接受人類決策的權利可能會帶來一種可能性,即只是為了保留人類參與的這一優(yōu)點,法律需要接受人類決策的所有缺陷。如果事實證明自動化決策越來越比人類決策更準確、更少偏見,那么接受人類決策的權利似乎會讓公眾失去因算法應用而帶來政府績效改善的機會。

    行政法不需要阻礙這些改進。它可以在使用機器學習算法的同時,推動政府尋求更多傾聽和同情回應的機會。有時,富有同情心的反應甚至可能要求推翻自動決策,即讓人類官員表現(xiàn)出仁慈,在個案基礎上做出不同的決定。畢竟,自動化系統(tǒng)本身仍然會導致錯誤,而聯(lián)合的人機系統(tǒng)在減少錯誤方面有時可能比單獨操作的人或機器做得更好。然而,挑戰(zhàn)在于要確保有足夠的裁量權結構來推翻自動化的結果,以免人類的例外情況吞噬了自動化規(guī)則。See Cary Coglianese,Gabriel Scheffler,and Daniel E.Walters,Unrules,73 Stanford Law Review 885(2021).一種解決方案可能是創(chuàng)建專門用于幫助解決這個問題的自動化系統(tǒng)。如果自動化系統(tǒng)不僅能生成結果,而且還生成對該結果的置信度預估值時,那么只在系統(tǒng)的置信度預估值足夠低的情況下,才能引導人類超越同情的傾聽,并提供仁慈的例外。正如最高法院在Goldberg v.Kelly中堅持對福利領受人終止福利前舉行聽證一樣,未來法院可以詢問特定利益是否具有足夠的品質和重要性,從而要求行政機關為受自動化程序影響的個人提供更多的接觸和援助。各級法院可以通過這種方式強化行政機關工作中的最佳實踐,以提供具有同理心的接觸和援助。

    最后,如果自動化國家的行政法要采用任何新權利,法院拒絕承認接受人類決策的權利,對社會更為有利。相反,法院可以考慮并嘗試界定獲得人類同理心的權利(right to human empathy)。

    猜你喜歡
    同理行政法機器
    同理不同徑的透鏡光路
    培養(yǎng)孩子,從“同理心”開始
    培養(yǎng)孩子,從“同理心”開始
    機器狗
    機器狗
    行政法上之不利類推禁止*——以一起登記收費案為例
    法律方法(2021年4期)2021-03-16 05:35:10
    未來機器城
    電影(2018年8期)2018-09-21 08:00:06
    班主任應該給學生一顆同理心
    新教育(2018年8期)2018-08-29 00:53:20
    行政法上的雙重尊重
    行政法論叢(2018年2期)2018-05-21 00:48:44
    《行政法論叢》稿約
    行政法論叢(2018年1期)2018-05-21 00:41:38
    亚洲色图av天堂| 免费高清在线观看日韩| 麻豆国产av国片精品| 欧美+亚洲+日韩+国产| 在线 av 中文字幕| 香蕉久久夜色| 日日摸夜夜添夜夜添小说| 午夜成年电影在线免费观看| 一本色道久久久久久精品综合| 欧美日韩福利视频一区二区| 18在线观看网站| 亚洲黑人精品在线| 岛国毛片在线播放| 人人妻人人爽人人添夜夜欢视频| 成人av一区二区三区在线看| 国产精品1区2区在线观看. | 欧美在线一区亚洲| 国产成人精品在线电影| 女性生殖器流出的白浆| 亚洲精品国产精品久久久不卡| 国产欧美日韩精品亚洲av| 另类亚洲欧美激情| 在线观看人妻少妇| 乱人伦中国视频| 午夜视频精品福利| 精品一区二区三区视频在线观看免费 | 日本av免费视频播放| 一级,二级,三级黄色视频| 69av精品久久久久久 | 亚洲国产欧美网| 国产av国产精品国产| 国产精品 欧美亚洲| svipshipincom国产片| 国产精品免费大片| 国产精品免费大片| 精品第一国产精品| av天堂久久9| 久久久久精品国产欧美久久久| 欧美大码av| 久久热在线av| 亚洲欧美日韩高清在线视频 | 精品国产一区二区三区四区第35| av线在线观看网站| 天天躁夜夜躁狠狠躁躁| 12—13女人毛片做爰片一| 999久久久精品免费观看国产| 老司机靠b影院| 国产无遮挡羞羞视频在线观看| 成人特级黄色片久久久久久久 | 女人被躁到高潮嗷嗷叫费观| av免费在线观看网站| 色婷婷久久久亚洲欧美| av电影中文网址| 99久久99久久久精品蜜桃| 搡老熟女国产l中国老女人| 一本大道久久a久久精品| 成人精品一区二区免费| 少妇猛男粗大的猛烈进出视频| 王馨瑶露胸无遮挡在线观看| 久久精品国产综合久久久| 午夜91福利影院| 一本综合久久免费| 日本av手机在线免费观看| 欧美久久黑人一区二区| 日韩一卡2卡3卡4卡2021年| 操美女的视频在线观看| 视频区图区小说| 首页视频小说图片口味搜索| 欧美国产精品一级二级三级| 国产成人免费无遮挡视频| 搡老熟女国产l中国老女人| 不卡av一区二区三区| 欧美日韩av久久| 国产精品国产高清国产av | 手机成人av网站| 岛国在线观看网站| 水蜜桃什么品种好| 亚洲专区国产一区二区| 久久久久久免费高清国产稀缺| 在线亚洲精品国产二区图片欧美| 99久久人妻综合| 国产无遮挡羞羞视频在线观看| 免费在线观看影片大全网站| 亚洲五月色婷婷综合| 亚洲精品一卡2卡三卡4卡5卡| 女人精品久久久久毛片| 中文欧美无线码| 国产欧美日韩综合在线一区二区| 成年女人毛片免费观看观看9 | a级毛片在线看网站| 久久天躁狠狠躁夜夜2o2o| 国产精品久久久久久人妻精品电影 | 制服诱惑二区| 国产熟女午夜一区二区三区| 亚洲成a人片在线一区二区| 人妻久久中文字幕网| 伦理电影免费视频| 人人澡人人妻人| 人人妻人人添人人爽欧美一区卜| 一级毛片精品| 99国产精品99久久久久| 一区二区三区乱码不卡18| 欧美性长视频在线观看| 色老头精品视频在线观看| 动漫黄色视频在线观看| 国产精品亚洲一级av第二区| 悠悠久久av| 欧美日韩亚洲高清精品| 国产男靠女视频免费网站| 女人高潮潮喷娇喘18禁视频| 无遮挡黄片免费观看| 国产精品香港三级国产av潘金莲| 一区二区日韩欧美中文字幕| 亚洲,欧美精品.| 久久久久精品人妻al黑| 精品国产乱码久久久久久男人| 视频在线观看一区二区三区| tocl精华| 操美女的视频在线观看| 在线av久久热| √禁漫天堂资源中文www| 丰满人妻熟妇乱又伦精品不卡| 成人影院久久| 亚洲 欧美一区二区三区| 大片免费播放器 马上看| 一本综合久久免费| 欧美成人午夜精品| 一级黄色大片毛片| 少妇粗大呻吟视频| 超碰97精品在线观看| 欧美 日韩 精品 国产| 亚洲成人免费av在线播放| 欧美黑人精品巨大| 国产av一区二区精品久久| 91麻豆精品激情在线观看国产 | 亚洲国产中文字幕在线视频| 精品午夜福利视频在线观看一区 | 丰满饥渴人妻一区二区三| 国产成人欧美| 亚洲五月色婷婷综合| 亚洲专区中文字幕在线| 久久精品国产a三级三级三级| 国产又爽黄色视频| 亚洲男人天堂网一区| 日韩三级视频一区二区三区| 大香蕉久久网| 精品福利永久在线观看| 国产av又大| 精品久久蜜臀av无| 久久久久精品国产欧美久久久| 久久 成人 亚洲| 黄色成人免费大全| 丰满饥渴人妻一区二区三| 十八禁高潮呻吟视频| 人成视频在线观看免费观看| 日韩制服丝袜自拍偷拍| 菩萨蛮人人尽说江南好唐韦庄| 欧美精品亚洲一区二区| 久久国产精品大桥未久av| 日日爽夜夜爽网站| 久久久久国内视频| 国产97色在线日韩免费| 视频区欧美日本亚洲| 在线观看舔阴道视频| 一级,二级,三级黄色视频| 男人舔女人的私密视频| 一级片'在线观看视频| 成人免费观看视频高清| 另类精品久久| 久久国产精品人妻蜜桃| 久久午夜亚洲精品久久| 久久中文看片网| 一二三四在线观看免费中文在| 欧美日韩亚洲国产一区二区在线观看 | 又黄又粗又硬又大视频| 9191精品国产免费久久| 老司机深夜福利视频在线观看| 免费在线观看视频国产中文字幕亚洲| 欧美精品亚洲一区二区| 婷婷成人精品国产| 999久久久国产精品视频| 午夜免费成人在线视频| 一个人免费看片子| 蜜桃在线观看..| 亚洲av美国av| 国产av精品麻豆| 国产免费福利视频在线观看| 十八禁人妻一区二区| 99久久国产精品久久久| 色综合欧美亚洲国产小说| 国产aⅴ精品一区二区三区波| 欧美久久黑人一区二区| 精品卡一卡二卡四卡免费| 欧美人与性动交α欧美软件| 麻豆成人av在线观看| 在线亚洲精品国产二区图片欧美| 国产成人系列免费观看| 国产91精品成人一区二区三区 | av福利片在线| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲情色 制服丝袜| av电影中文网址| 天堂俺去俺来也www色官网| 天天躁夜夜躁狠狠躁躁| 亚洲国产看品久久| 久久久水蜜桃国产精品网| 国产欧美日韩精品亚洲av| 国产三级黄色录像| 日本a在线网址| 国产黄色免费在线视频| 亚洲欧美一区二区三区黑人| 人妻一区二区av| 黄色视频,在线免费观看| 最新的欧美精品一区二区| 欧美人与性动交α欧美精品济南到| 一进一出抽搐动态| 精品熟女少妇八av免费久了| 色婷婷av一区二区三区视频| 国产精品欧美亚洲77777| 脱女人内裤的视频| 欧美精品啪啪一区二区三区| 免费在线观看影片大全网站| 亚洲第一av免费看| 深夜精品福利| 亚洲av日韩精品久久久久久密| 色精品久久人妻99蜜桃| 欧美日韩福利视频一区二区| 操美女的视频在线观看| 久久久久视频综合| 国产片内射在线| 咕卡用的链子| 久热爱精品视频在线9| 纯流量卡能插随身wifi吗| 国产野战对白在线观看| 日韩成人在线观看一区二区三区| 亚洲成人国产一区在线观看| 男女之事视频高清在线观看| 别揉我奶头~嗯~啊~动态视频| 色综合欧美亚洲国产小说| 窝窝影院91人妻| 曰老女人黄片| 国产精品亚洲一级av第二区| 国产日韩欧美视频二区| 天天躁夜夜躁狠狠躁躁| 久久天堂一区二区三区四区| 国产精品av久久久久免费| 久久免费观看电影| 最新在线观看一区二区三区| 一区二区三区乱码不卡18| 久久久久网色| 亚洲精品一卡2卡三卡4卡5卡| 日韩中文字幕欧美一区二区| 一边摸一边做爽爽视频免费| 亚洲免费av在线视频| 午夜免费鲁丝| 国产在视频线精品| 亚洲中文字幕日韩| 91成人精品电影| 久久久久精品人妻al黑| 久久免费观看电影| 久久久精品国产亚洲av高清涩受| 大片电影免费在线观看免费| 青青草视频在线视频观看| 精品卡一卡二卡四卡免费| 激情在线观看视频在线高清 | 国产在线精品亚洲第一网站| 亚洲 欧美一区二区三区| 一边摸一边抽搐一进一出视频| 午夜免费成人在线视频| 亚洲成av片中文字幕在线观看| 男女之事视频高清在线观看| 黄网站色视频无遮挡免费观看| 青青草视频在线视频观看| 操美女的视频在线观看| 免费av中文字幕在线| 日韩一卡2卡3卡4卡2021年| 男女免费视频国产| 十分钟在线观看高清视频www| 男女床上黄色一级片免费看| 最近最新中文字幕大全免费视频| 伦理电影免费视频| 美女视频免费永久观看网站| 亚洲人成77777在线视频| 亚洲综合色网址| 建设人人有责人人尽责人人享有的| 久久久久精品人妻al黑| 色婷婷av一区二区三区视频| 色老头精品视频在线观看| 国产精品免费一区二区三区在线 | 国产亚洲欧美在线一区二区| 一进一出抽搐动态| 午夜日韩欧美国产| 国产深夜福利视频在线观看| av有码第一页| 99久久精品国产亚洲精品| 国产成人精品久久二区二区免费| 午夜免费成人在线视频| 国产av精品麻豆| 18禁裸乳无遮挡动漫免费视频| 王馨瑶露胸无遮挡在线观看| 波多野结衣av一区二区av| 免费观看av网站的网址| 国产成人一区二区三区免费视频网站| 真人做人爱边吃奶动态| 99久久人妻综合| 免费女性裸体啪啪无遮挡网站| 一级毛片电影观看| 国产亚洲一区二区精品| 考比视频在线观看| 桃红色精品国产亚洲av| 欧美大码av| 少妇粗大呻吟视频| 国产亚洲欧美在线一区二区| 成人国语在线视频| 成年版毛片免费区| 亚洲精品一二三| 欧美日韩成人在线一区二区| 久久影院123| 国产精品亚洲一级av第二区| 一二三四社区在线视频社区8| 操出白浆在线播放| 亚洲中文日韩欧美视频| 午夜免费成人在线视频| 一夜夜www| 国产精品 欧美亚洲| 国产视频一区二区在线看| 黄色视频不卡| 久久这里只有精品19| 女人爽到高潮嗷嗷叫在线视频| 精品一区二区三卡| 国产色视频综合| av国产精品久久久久影院| 男女午夜视频在线观看| 国产免费福利视频在线观看| 夫妻午夜视频| 超碰97精品在线观看| 亚洲视频免费观看视频| a在线观看视频网站| 亚洲欧美日韩高清在线视频 | 最新的欧美精品一区二区| 黄色毛片三级朝国网站| 午夜免费成人在线视频| 免费看十八禁软件| 成人精品一区二区免费| 日韩欧美一区视频在线观看| 汤姆久久久久久久影院中文字幕| 国产精品一区二区免费欧美| 999精品在线视频| 成人亚洲精品一区在线观看| 午夜激情久久久久久久| 国产精品亚洲一级av第二区| 亚洲中文av在线| 免费观看a级毛片全部| 精品国内亚洲2022精品成人 | www日本在线高清视频| av欧美777| 久久久久国内视频| 国产99久久九九免费精品| av线在线观看网站| 亚洲av日韩在线播放| 国产精品久久电影中文字幕 | 热99re8久久精品国产| 欧美人与性动交α欧美软件| 丁香欧美五月| 19禁男女啪啪无遮挡网站| 女警被强在线播放| 精品久久久精品久久久| 亚洲国产看品久久| tocl精华| 9191精品国产免费久久| 亚洲欧美一区二区三区黑人| 国产日韩一区二区三区精品不卡| videos熟女内射| 69av精品久久久久久 | 亚洲第一青青草原| 中文字幕色久视频| 黄网站色视频无遮挡免费观看| 国产av精品麻豆| 国产日韩一区二区三区精品不卡| 欧美av亚洲av综合av国产av| 一边摸一边抽搐一进一小说 | 国精品久久久久久国模美| 国产日韩欧美亚洲二区| 老鸭窝网址在线观看| 日日夜夜操网爽| 18禁观看日本| 成人免费观看视频高清| www.精华液| 国产成人欧美| 国产精品av久久久久免费| 国产一区二区 视频在线| 18禁观看日本| 午夜福利在线观看吧| 黄色a级毛片大全视频| 久久国产精品男人的天堂亚洲| 久久久久国内视频| 午夜日韩欧美国产| 高清视频免费观看一区二区| 精品国产一区二区久久| 色播在线永久视频| 国产免费av片在线观看野外av| 色婷婷av一区二区三区视频| 亚洲中文字幕日韩| 欧美激情高清一区二区三区| 欧美大码av| 日本欧美视频一区| 国产精品偷伦视频观看了| 怎么达到女性高潮| 丝袜喷水一区| 在线观看免费日韩欧美大片| 中文字幕高清在线视频| 久久亚洲精品不卡| 国产国语露脸激情在线看| 欧美日韩av久久| 大香蕉久久网| 午夜成年电影在线免费观看| 亚洲专区中文字幕在线| 母亲3免费完整高清在线观看| 中文字幕av电影在线播放| 国产又爽黄色视频| 精品熟女少妇八av免费久了| 老司机在亚洲福利影院| 成年人免费黄色播放视频| 国产男女内射视频| 999久久久国产精品视频| 午夜福利在线观看吧| 久久精品亚洲精品国产色婷小说| 99国产精品免费福利视频| 精品午夜福利视频在线观看一区 | 一本一本久久a久久精品综合妖精| 久久这里只有精品19| 黄网站色视频无遮挡免费观看| 日韩欧美免费精品| 黄色a级毛片大全视频| 美女午夜性视频免费| 女警被强在线播放| 中文亚洲av片在线观看爽 | 狠狠婷婷综合久久久久久88av| 国产片内射在线| 啦啦啦免费观看视频1| 日韩有码中文字幕| 成年人午夜在线观看视频| 久久久水蜜桃国产精品网| 午夜激情久久久久久久| 老熟女久久久| 在线观看免费日韩欧美大片| 在线 av 中文字幕| 人人妻人人澡人人爽人人夜夜| 丰满迷人的少妇在线观看| 啦啦啦免费观看视频1| 亚洲伊人久久精品综合| 亚洲成人免费电影在线观看| 母亲3免费完整高清在线观看| 一区二区三区国产精品乱码| 久久久久久人人人人人| 人妻 亚洲 视频| 中文字幕色久视频| 丝瓜视频免费看黄片| 成人手机av| 亚洲三区欧美一区| 51午夜福利影视在线观看| 色视频在线一区二区三区| 两个人免费观看高清视频| 国产区一区二久久| 国产欧美日韩一区二区三区在线| a级毛片在线看网站| 一本久久精品| 捣出白浆h1v1| 亚洲精品国产一区二区精华液| 99国产极品粉嫩在线观看| 后天国语完整版免费观看| 97人妻天天添夜夜摸| 免费女性裸体啪啪无遮挡网站| 亚洲av成人一区二区三| 一二三四社区在线视频社区8| 欧美国产精品一级二级三级| 欧美精品高潮呻吟av久久| 欧美成狂野欧美在线观看| 国产精品一区二区精品视频观看| 一个人免费在线观看的高清视频| 在线播放国产精品三级| 欧美+亚洲+日韩+国产| 成人黄色视频免费在线看| 在线观看66精品国产| 天堂中文最新版在线下载| av不卡在线播放| 女性生殖器流出的白浆| 精品国产乱子伦一区二区三区| 欧美变态另类bdsm刘玥| 欧美中文综合在线视频| 久久狼人影院| 首页视频小说图片口味搜索| 亚洲av成人不卡在线观看播放网| 一区二区三区精品91| 午夜激情av网站| 免费女性裸体啪啪无遮挡网站| 丝袜美足系列| 国产精品二区激情视频| 自拍欧美九色日韩亚洲蝌蚪91| 久久精品国产99精品国产亚洲性色 | 亚洲国产欧美一区二区综合| 一区二区三区国产精品乱码| 亚洲精品粉嫩美女一区| 国产精品欧美亚洲77777| 国产xxxxx性猛交| 国产97色在线日韩免费| 成人国产一区最新在线观看| 国产成人影院久久av| 岛国在线观看网站| 亚洲七黄色美女视频| 又黄又粗又硬又大视频| 丝袜美腿诱惑在线| 亚洲国产欧美网| 人人妻人人澡人人爽人人夜夜| 亚洲色图综合在线观看| 欧美老熟妇乱子伦牲交| 成人18禁在线播放| 欧美在线黄色| 可以免费在线观看a视频的电影网站| 自线自在国产av| 一区二区av电影网| 免费在线观看影片大全网站| 亚洲人成电影观看| 亚洲熟女毛片儿| 一边摸一边抽搐一进一小说 | 九色亚洲精品在线播放| 久久精品国产亚洲av高清一级| 欧美精品啪啪一区二区三区| 51午夜福利影视在线观看| 一本大道久久a久久精品| 国内毛片毛片毛片毛片毛片| 国产高清videossex| 欧美在线黄色| 一级片'在线观看视频| 国产xxxxx性猛交| 久久久国产一区二区| av在线播放免费不卡| 熟女少妇亚洲综合色aaa.| tube8黄色片| 国产精品亚洲av一区麻豆| 精品亚洲成a人片在线观看| 无人区码免费观看不卡 | 黄片大片在线免费观看| 又紧又爽又黄一区二区| 久久精品国产亚洲av高清一级| 欧美 亚洲 国产 日韩一| 国产免费福利视频在线观看| 亚洲专区字幕在线| 捣出白浆h1v1| 中文字幕av电影在线播放| 亚洲av日韩精品久久久久久密| 精品高清国产在线一区| 俄罗斯特黄特色一大片| 欧美国产精品va在线观看不卡| 国产福利在线免费观看视频| 久久国产精品影院| 桃红色精品国产亚洲av| 国产成人欧美| 国产麻豆69| 中文字幕制服av| 欧美日韩福利视频一区二区| av线在线观看网站| 十分钟在线观看高清视频www| 在线观看一区二区三区激情| 国产精品亚洲av一区麻豆| 一个人免费看片子| 精品午夜福利视频在线观看一区 | 夜夜爽天天搞| 国产精品免费视频内射| 亚洲五月婷婷丁香| 婷婷成人精品国产| 操出白浆在线播放| 老熟女久久久| 99热国产这里只有精品6| 男女午夜视频在线观看| 大码成人一级视频| 国产av一区二区精品久久| 最近最新中文字幕大全电影3 | 欧美大码av| 国产精品二区激情视频| 久久 成人 亚洲| 美女高潮到喷水免费观看| 亚洲成人手机| 男女之事视频高清在线观看| 亚洲欧美精品综合一区二区三区| 青草久久国产| 在线亚洲精品国产二区图片欧美| 国产欧美日韩综合在线一区二区| 十八禁高潮呻吟视频| 人妻久久中文字幕网| 国产一卡二卡三卡精品| 日日爽夜夜爽网站| 极品教师在线免费播放| 激情在线观看视频在线高清 | 中国美女看黄片| 亚洲精品中文字幕在线视频| 精品久久久久久电影网| 男女边摸边吃奶| 女人高潮潮喷娇喘18禁视频| 精品人妻1区二区| 99久久人妻综合| 99精品久久久久人妻精品| 久久婷婷成人综合色麻豆| 1024视频免费在线观看| 激情在线观看视频在线高清 | 欧美+亚洲+日韩+国产| 国产黄频视频在线观看| 色婷婷久久久亚洲欧美| 黑人巨大精品欧美一区二区蜜桃| 精品少妇黑人巨大在线播放| 久久久久国产一级毛片高清牌| 在线亚洲精品国产二区图片欧美| 男女床上黄色一级片免费看| 一级,二级,三级黄色视频| 国产精品久久久久成人av|