• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    從外部治理到內(nèi)部運(yùn)行:自動化行政研究的轉(zhuǎn)向及其展望*

    2023-12-29 13:49:18韓萬渠王思雨
    上海行政學(xué)院學(xué)報 2023年5期
    關(guān)鍵詞:科層制智能算法官僚

    韓萬渠 王思雨

    (河南師范大學(xué),新鄉(xiāng) 453007)

    一、引言

    大數(shù)據(jù)、區(qū)塊鏈、算法等新技術(shù)在政府治理中的運(yùn)用,使得行政互動方式由人與人之間的互動逐漸轉(zhuǎn)化為人與機(jī)器之間的互動。自動化行政指通過算法技術(shù)、知識圖譜、專家系統(tǒng)等人工智能技術(shù)在行政體系中的運(yùn)用,實現(xiàn)行政活動無人工介入的完全自動化或人工個別介入的部分自動化[1]。自動化行政作為人工智能時代的新興產(chǎn)物,以其顯著的效能優(yōu)勢發(fā)展成為一種新型行政活動方式。傳統(tǒng)上依賴人力進(jìn)行驅(qū)動的行政運(yùn)轉(zhuǎn)方式,開始轉(zhuǎn)向以智能算法為引擎的自動化運(yùn)轉(zhuǎn),甚至在“自動化行政審批”“自動化工商登記”“自動化辦稅”等實踐場景下實現(xiàn)了機(jī)器替代人力的完全自動化行政運(yùn)作,進(jìn)一步推動了行政的自動化、信息化和智能化發(fā)展。自動化行政的具體應(yīng)用往往以“自動化決策”的形式呈現(xiàn)。算法作為自動化行政的主要技術(shù)路徑,在行政運(yùn)行過程中直接參與決策或輔助人工決策,帶來了行政運(yùn)行效率的提升,但也因算法偏見等問題引發(fā)了諸多有關(guān)自動化行政風(fēng)險及其規(guī)制的探討??傮w上,現(xiàn)有研究大多圍繞政府運(yùn)用人工智能技術(shù)與外部行動者互動和服務(wù)給付中的負(fù)外部性效應(yīng)展開,并將其治理之策集中于法律規(guī)制、倫理規(guī)制等,一定程度上忽略了自動化行政的內(nèi)部效應(yīng)及其與負(fù)外部效應(yīng)之間的關(guān)聯(lián)。尤其是ChatGPT等生成式人工智能技術(shù)的興起及其在行政體系中的運(yùn)用,將因其與行政體系的運(yùn)行規(guī)則、一線官僚行政經(jīng)驗的交互而產(chǎn)生新的不確定性,并延展至行政體系對于公共事務(wù)的治理?;诖?本文提出自動化行政研究應(yīng)從負(fù)外部性效應(yīng)治理,轉(zhuǎn)向挖掘人工智能技術(shù)對行政體系內(nèi)部運(yùn)行產(chǎn)生的影響,并進(jìn)一步探索內(nèi)外部之間的關(guān)聯(lián),以期從內(nèi)部探尋最小化自動化行政負(fù)外部效應(yīng)的治理之策。

    二、自動化行政的負(fù)外部效應(yīng)及其治理

    (一)自動化行政負(fù)外部效應(yīng)的來源

    自動化行政的本質(zhì)在于智能算法嵌入行政運(yùn)行過程。自動化行政因算法不透明、算法偏見等引發(fā)的有關(guān)自動化行政的法律地位、不公平等問題已經(jīng)引起學(xué)術(shù)界的廣泛關(guān)注[2]。從技術(shù)維度審視,自動化行政的負(fù)外部效應(yīng)來自智能算法的風(fēng)險屬性:機(jī)器學(xué)習(xí)、編碼知識缺口和算法“黑箱”。

    1.算法的“機(jī)器學(xué)習(xí)”性質(zhì)

    機(jī)器學(xué)習(xí)(Machine Learning)是人工智能技術(shù)的核心,主要研究計算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為,以獲取新的知識或技能,重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能[3]。機(jī)器模型的選擇需要先由算法設(shè)計者確定,之后再由機(jī)器自主學(xué)習(xí)完善。由于機(jī)器學(xué)習(xí)的數(shù)據(jù)本身就承載著算法設(shè)計者的價值判斷,進(jìn)而這些帶有社會偏見和算法設(shè)計者主觀偏見的數(shù)據(jù)可能會被機(jī)器帶入模型不斷訓(xùn)練,由此構(gòu)造新的編碼知識[4]。因此,“機(jī)器學(xué)習(xí)”的不確定性和動態(tài)演進(jìn)屬性使其可能偏離自動化行政所預(yù)設(shè)的、符合正當(dāng)性的行政程序。機(jī)器以無限的學(xué)習(xí)能力填補(bǔ)了人類有限認(rèn)知能力的缺陷,同時也潛在地消解了人的主體性和應(yīng)有的自由裁量權(quán)。同時,針對決策結(jié)果進(jìn)行問責(zé)也面臨著主體責(zé)任難以界定的困境。

    2.算法的編碼知識缺口

    編碼知識缺口是指算法系統(tǒng)中的編碼知識不足以覆蓋所有偶發(fā)事件,從而造成輸出上的知識缺口[5]。編碼知識缺口在自動化行政系統(tǒng)運(yùn)行中較為常見,輸入端的指令得不到回應(yīng)或者被提醒操作錯誤、輸出端的結(jié)果與輸入端的指令不相匹配都屬于編碼知識缺口的范疇。就自動化行政的運(yùn)行場景而言,在完全自動化行為下,行政相對人通過網(wǎng)絡(luò)平臺和聊天機(jī)器人交互[6],這種基于文本通信的交流方式通常會在機(jī)器人識別人類語言的時候出現(xiàn)故障,從而導(dǎo)致決策結(jié)果無法輸出。而在部分自動化行為下,自動化行政裁量在根據(jù)實際案例匹配法律、法規(guī)依據(jù)時,往往會超出系統(tǒng)中編碼知識的范圍,從而導(dǎo)致輸入和輸出的匹配偏差。這種算法失靈的內(nèi)在缺陷可以通過誤導(dǎo)判斷的形式,進(jìn)一步擴(kuò)大自動化行政負(fù)外部效應(yīng)的發(fā)生概率。

    3.算法的“黑箱”性質(zhì)

    算法運(yùn)行過程主要分為輸入階段、中間階段和輸出階段,“黑箱”可能存在于這三個階段中的任意一個或者多個階段[7]。輸入端由算法設(shè)定,數(shù)據(jù)采集和選擇實現(xiàn)自動化運(yùn)行,這一階段呈現(xiàn)出完全無人工干預(yù)的狀態(tài)且不具有透明性和可解釋性,使得有關(guān)個人隱私和集體隱私的采集和使用存在潛在的隱私安全威脅。中間階段是在算法特有的運(yùn)行規(guī)則下,通過識別輸入端的文本和語言,根據(jù)既定的語法和句法規(guī)則,自動生成的一套不易直接觀察和解釋的回應(yīng)邏輯。盡管輸出端的結(jié)果是可以預(yù)先設(shè)定的,但值得警惕的是,輸出端既包括顯示在終端的預(yù)先設(shè)定的結(jié)果,也包括在終端并未顯示的輸出結(jié)果。對前者的監(jiān)管相對容易,對后者的監(jiān)管會引起因算法不透明屬性而導(dǎo)致的監(jiān)管困境,并暴露出隱性操縱的風(fēng)險。

    (二)自動化行政負(fù)外部效應(yīng)的表征

    盡管自動化行政負(fù)外部效應(yīng)的來源主要表現(xiàn)為智能算法技術(shù)的不確定性,但具體表現(xiàn)形式有所不同,表現(xiàn)為損害社會公平正義、威脅集體和個人隱私安全、責(zé)任主體難以認(rèn)定等。

    1.損害社會公平正義

    智能算法可以對復(fù)雜的行政任務(wù)進(jìn)行高效處理,并能最大限度地減少人為偏差。但是由于算法本身不具備客觀性和中立性,所以并不能保證其決策結(jié)果的公平性。同時,如果算法設(shè)計者對智能算法訓(xùn)練所選的模型和模擬數(shù)據(jù)本身帶有偏見,將會產(chǎn)生算法行政的歧視模仿行為,導(dǎo)致自動化行政系統(tǒng)在真實運(yùn)行的過程中出現(xiàn)有偏向性的選擇[8]。因此,算法遵循何種規(guī)則以及在行政運(yùn)行作何選擇取決于算法設(shè)計者的價值選擇。而算法設(shè)計者的價值選擇除了來自自身的知識結(jié)構(gòu),更多來自委托方——政府的知識體系,其中既包括規(guī)范層面行政運(yùn)行的規(guī)則體系,也包括經(jīng)驗層面基于特定業(yè)務(wù)的“隱性知識”。生成式人工智能技術(shù)具有較強(qiáng)的機(jī)器學(xué)習(xí)功能,并通過與一線官僚的交互實現(xiàn)對特定行政業(yè)務(wù)“隱性知識”的習(xí)得。這些隱性知識既包括行政運(yùn)行應(yīng)有的自由裁量,也包括自由裁量中的結(jié)構(gòu)性偏差,通過算法的隱性篩選機(jī)制損害社會公平正義。

    2.威脅集體與個人的隱私安全

    智能算法時代的隱私安全問題更為復(fù)雜。自動化行政應(yīng)用場景中,算法技術(shù)對隱私安全的影響表現(xiàn)出由個人隱私發(fā)展為集體隱私的傾向。集體隱私不是指一個集體中所有人隱私的總和,而是指一個集體中的成員有一個或者多個共同屬性的隱私[9]。算法會將這些隱私作為數(shù)據(jù)按照不同的屬性進(jìn)行自動化的分類組別。但是,在算法分組的基礎(chǔ)上對這些隱私的利用會以集體特征的形式顯示出來,且目前在數(shù)據(jù)保護(hù)方面并未注意到集體隱私的問題[10]。此外,算法披露旨在對算法不透明導(dǎo)致的歧視等問題進(jìn)行規(guī)制,但也可能對數(shù)據(jù)安全產(chǎn)生威脅。算法披露是指針對算法“黑箱”中的程序不透明賦予行政相對人算法解釋權(quán),即要求行政機(jī)關(guān)對算法應(yīng)用的源代碼、輸入數(shù)據(jù)、輸出結(jié)果及推理過程予以解釋的權(quán)利[11]。按照算法披露的要求需要公開輸入數(shù)據(jù),這將和個人隱私權(quán)的保護(hù)產(chǎn)生沖突。因為行政相對人在對算法決策結(jié)果不滿意的情況下,可以行使自己的算法解釋權(quán),此時算法應(yīng)用中的輸入數(shù)據(jù)將會被公開,其中公開的數(shù)據(jù)不僅包括行政相對人的個人數(shù)據(jù),還包括所涉事件中其他人的數(shù)據(jù),后者如果被披露將涉及侵犯他人的個人隱私權(quán)。

    3.責(zé)任主體難以界定

    自動化行政帶來的責(zé)任主體界定模糊問題應(yīng)該予以重視。自動化行政的主體不僅包括科層體系中具體的行為人,還包括有待認(rèn)定的“算法官僚”屬性的行為人。行政場景的復(fù)雜性造就了行政主體的模糊性。在完全自動化行政場景下,算法自動化決策造成的后果由誰承擔(dān)、向誰問責(zé)存在難題。這一難題源于算法“機(jī)器學(xué)習(xí)”屬性,開發(fā)者預(yù)設(shè)的算法是否會隨著機(jī)器學(xué)習(xí)和迭代更新而偏離預(yù)設(shè)的軌道,尤其是這種偏離一旦因算法不透明而不易被監(jiān)控到,將導(dǎo)致開發(fā)者、使用者對自動化行政算法的失控,由此造成問責(zé)主體模糊的問題。另外,自動化行政系統(tǒng)的開發(fā)與維護(hù)大多依托于大型技術(shù)公司,通過公私合作的方式達(dá)成,由此形成自動化行政運(yùn)行的混合組織形態(tài)?;旌闲徒M織不僅存在不同類型組織的多重邏輯調(diào)適問題,也存在著責(zé)任分擔(dān)失衡的難題,即政府最終因為“無限責(zé)任”而無法形成對平臺企業(yè)、算法開發(fā)者的有效約束。

    (三)自動化行政負(fù)外部效應(yīng)的規(guī)制路徑

    針對自動化行政運(yùn)行出現(xiàn)的問題,實踐層面主要采取倫理規(guī)制與法律規(guī)制相結(jié)合、行業(yè)自我規(guī)制與政府規(guī)制監(jiān)管相結(jié)合、包容性審慎規(guī)制與敏捷性響應(yīng)規(guī)制相結(jié)合的原則,寄希望于多元規(guī)制力量的敏捷反應(yīng)和協(xié)同發(fā)力。

    1.倫理規(guī)制與法律規(guī)制相結(jié)合

    倫理規(guī)制主張建立一套政策框架以確保對自動化行政的信任,主要通過算法設(shè)計者遵循“倫理設(shè)計”原則進(jìn)行負(fù)責(zé)任開發(fā)[12],動員利益相關(guān)者進(jìn)行協(xié)商并制定政策行動,以促進(jìn)對自動化行政的信任。而法律規(guī)制主要強(qiáng)調(diào)對負(fù)外部效應(yīng)的懲戒性治理,側(cè)重于事后權(quán)益受損的保護(hù)。一般而言,自動化行政負(fù)外部效應(yīng)的直接作用對象是社會公眾,社會公眾的權(quán)益在受到損害時,最直接的回應(yīng)方式就是尋求法律援助。因此,倫理規(guī)制與法律規(guī)制路徑的結(jié)合,在確保多元利益相關(guān)者信任自動化行政的基礎(chǔ)上,盡可能地保護(hù)其權(quán)益不受損害。

    2.行業(yè)自我規(guī)制與政府規(guī)制相結(jié)合

    自動化行政往往伴隨著智能算法技術(shù)研發(fā)企業(yè)深度嵌入行政運(yùn)行之中。政府在其中處于技術(shù)劣勢地位。這一狀況意味著政府不得不依賴智能算法企業(yè)及所在行業(yè)的自我規(guī)制。同時,這也意味著政府規(guī)制不可以缺位,應(yīng)該加強(qiáng)政府規(guī)制與行業(yè)自我規(guī)制的合作。行業(yè)自我規(guī)制屬于源頭規(guī)制,一方面要強(qiáng)化行業(yè)自身倫理規(guī)范的建設(shè),另一方面則應(yīng)致力于推動智能算法企業(yè)加大對自動化行政缺陷“技術(shù)補(bǔ)丁”的研發(fā)力度。政府規(guī)制路徑則主張建立一套完善的監(jiān)管體系,通過數(shù)據(jù)接入和穿透式監(jiān)管對其進(jìn)行有效監(jiān)管。作為源頭的行業(yè)自我規(guī)制、強(qiáng)化過程監(jiān)管的政府規(guī)制以及底線防范的法律規(guī)制,共同構(gòu)成針對自動化行政風(fēng)險的協(xié)同規(guī)制體系。

    3.包容性審慎規(guī)制與敏捷性響應(yīng)規(guī)制相結(jié)合

    對自動化行政負(fù)外部效應(yīng)的規(guī)制,在方法論上強(qiáng)調(diào)包容性審慎規(guī)制和敏捷性響應(yīng)規(guī)制的結(jié)合。包容性審慎規(guī)制旨在搭建一個動態(tài)監(jiān)管框架,通過聯(lián)合各方利益相關(guān)者設(shè)計監(jiān)管沙盒,劃定風(fēng)險范圍并將自動化行政的外部治理問題及其衍生風(fēng)險限定在“盒子”內(nèi),同時保證“盒子”內(nèi)部的可控性。敏捷性響應(yīng)規(guī)制則主張建立一套完善的敏捷響應(yīng)機(jī)制,對自動化行政運(yùn)行中不確定性的外部治理問題,及時組織自動化行政系統(tǒng)設(shè)計者、倫理學(xué)專家、法律專家以及政策專家共同開展評估與研究,并提出應(yīng)對策略。包容性審慎規(guī)制強(qiáng)調(diào)要保證問題的“可控性”;敏捷性響應(yīng)規(guī)制則強(qiáng)調(diào)要承認(rèn)治理問題的“不確定性”以及問題解決的“快速迭代性”[13],兩者的結(jié)合有助于將自動化行政所帶來的負(fù)面影響降到最低。

    三、轉(zhuǎn)向科層體系內(nèi)部運(yùn)行:自動化行政研究的議題轉(zhuǎn)向

    貝克(Ulrich Beck)提出風(fēng)險社會的兩個特征:一是具有不斷擴(kuò)散的人為不確定性的邏輯;二是導(dǎo)致現(xiàn)有社會結(jié)構(gòu)、制度以及關(guān)系更加復(fù)雜[14]。這一推論同樣適用于自動化行政。前述分析主要圍繞自動化行政受算法不確定性帶來的負(fù)外部效應(yīng)。自動化行政對社會結(jié)構(gòu)、制度等的影響存在兩條路徑:直接路徑和間接路徑。既有研究主要關(guān)注直接路徑,即聚焦自動化行政的核心技術(shù)——算法,主要基于其他領(lǐng)域算法技術(shù)直接作用于行政客體、社會結(jié)構(gòu)所產(chǎn)生的影響,進(jìn)而提出治理算法負(fù)外部效應(yīng)的多元規(guī)制策略。這一路徑容易混淆一般意義上的算法對社會結(jié)構(gòu)、制度運(yùn)行產(chǎn)生的直接影響,和算法技術(shù)運(yùn)用于行政體系對社會結(jié)構(gòu)、制度運(yùn)行產(chǎn)生的間接影響。因此,未加區(qū)分、沒有細(xì)致考察自動化行政運(yùn)行具體場景,將一般意義上算法的負(fù)外部效應(yīng)“套用”到自動化行政場景存在邏輯推論偏誤。因此,學(xué)界更應(yīng)關(guān)注自動化行政對社會結(jié)構(gòu)和制度運(yùn)行的間接影響。即算法技術(shù)首先作用于行政體系自身,并通過行政體系在解決公共問題等職能履行中,引致社會結(jié)構(gòu)和制度運(yùn)行的變遷,進(jìn)而對社會運(yùn)行秩序和規(guī)則產(chǎn)生影響。

    (一)研究轉(zhuǎn)向的緣由:權(quán)力運(yùn)行邏輯的轉(zhuǎn)變

    韋伯認(rèn)為權(quán)力是一種力量,這種力量使得行動者在一定社會關(guān)系中,即便其意志遭到反對,但依舊能夠有效貫徹[15]。隨著算法在行政領(lǐng)域的滲透,算法顯示出作為新的權(quán)力形態(tài)的屬性,而不僅僅是一項新技術(shù)[16]。與傳統(tǒng)意義上的政治權(quán)力不同,自動化行政中的算法權(quán)力是一種建立在技術(shù)基礎(chǔ)上、依托并內(nèi)化于行政權(quán)力的“軟權(quán)力”。算法技術(shù)重新建構(gòu)了行政的運(yùn)行環(huán)境,利益相關(guān)者在新的運(yùn)行環(huán)境中享受到了算法帶來的福利,也逐漸自覺接受行政運(yùn)行模式轉(zhuǎn)型提出的新要求和新規(guī)范。此外,算法權(quán)力以其技術(shù)理性催生合作性的社會權(quán)力[17],在其自身權(quán)力屬性隱性化的基礎(chǔ)上,通過外顯化其內(nèi)在缺陷來凸顯負(fù)外部效應(yīng)產(chǎn)生的根源。但實際上,負(fù)外部效應(yīng)的產(chǎn)生也與行政內(nèi)部權(quán)力的運(yùn)行息息相關(guān)。

    算法權(quán)力介入政府治理引發(fā)的科層制數(shù)字化轉(zhuǎn)型是理解自動化行政體系內(nèi)部運(yùn)行的宏觀維度。科層制數(shù)字化轉(zhuǎn)型構(gòu)成對傳統(tǒng)科層制價值導(dǎo)向、組織結(jié)構(gòu)、工具方法層面的重塑。在此情境下,行政體系內(nèi)部控制機(jī)制的數(shù)字化轉(zhuǎn)型構(gòu)成理解自動化行政的中觀維度。行政體系內(nèi)部的績效監(jiān)測、考核評估、獎懲監(jiān)督等,深刻影響著行政體系中不同層級、不同部門、不同崗位的職責(zé)運(yùn)行及行政主體的行為選擇,進(jìn)而導(dǎo)致微觀層面基層行政管理者的自由裁量權(quán)面臨著與機(jī)器之間的張力關(guān)系及其調(diào)適和博弈。因此,本文提出自動化行政研究應(yīng)轉(zhuǎn)向行政體系內(nèi)部運(yùn)行的論斷,并從宏觀、中觀和微觀三個層面對此進(jìn)行分析,以期在避免算法權(quán)力異化的基礎(chǔ)上最小化自動化行政的負(fù)外部效應(yīng),為理解自動化行政的內(nèi)外部關(guān)聯(lián)提供分析理路。

    (二)自動化行政的內(nèi)部效應(yīng):基于結(jié)構(gòu)-過程-行動者的分析

    算法權(quán)力對行政體系內(nèi)部運(yùn)行三個層面的影響,按照“結(jié)構(gòu)-過程-行動者”的影響邏輯層層遞進(jìn),微觀層面的人機(jī)權(quán)力博弈發(fā)生于中觀層面行政內(nèi)部控制機(jī)制智能化的背景之下,同時中觀層面的內(nèi)部控制機(jī)制智能化又發(fā)生于宏觀層面的科層制數(shù)字化變革的結(jié)構(gòu)限定之中。

    1.宏觀結(jié)構(gòu)層面:科層制的數(shù)字化變革

    科層制的現(xiàn)實運(yùn)行存在組織體制僵化、層級信息傳達(dá)滯后、部門利益分割、去人格化難以實現(xiàn)等問題,制約了作為理想型組織的效率追求,引發(fā)了一輪又一輪的圍繞科層制改造的變革??茖又频臄?shù)字化變革作為新一輪的探索,通過運(yùn)用以互聯(lián)網(wǎng)為代表的信息通信技術(shù),提升行政運(yùn)行效率、強(qiáng)化政民互動,為應(yīng)對多元社會對行政的回應(yīng)性訴求壓力提供了制度變革的切入口,一度被稱為“后科層制”[18]。但是,這一判斷也引發(fā)諸多爭議。無論是理念層面還是技術(shù)層面引發(fā)的組織變革均未能觸動其底層邏輯?!靶姓x技術(shù)”等概念的提出,揭示出數(shù)字技術(shù)對科層制變革的努力與行政對技術(shù)的定義、吸納和塑造是并行的[19]。

    人工智能技術(shù)嵌入行政體系催生出算法官僚主義,將公共行政人員、算法、機(jī)器以及其他組織制度條件結(jié)合起來,以應(yīng)對復(fù)雜性并克服傳統(tǒng)官僚主義的一些局限性,同時還保留公共部門核心價值觀[20]。生成式人工智能技術(shù)的興起及其在行政領(lǐng)域的深入運(yùn)行具備了深層觸動科層制運(yùn)行邏輯的可能性[21]。生成式人工智能技術(shù)的交互性進(jìn)一步提升了人工智能技術(shù)對隱性社會技能的習(xí)得,降低了傳統(tǒng)科層制對人及其自由裁量能動性的依賴,在去人格化方面拓展出新的空間。算法運(yùn)行規(guī)則對傳統(tǒng)科層制運(yùn)行規(guī)則的置換,使得規(guī)則更多地以隱性的方式呈現(xiàn)出來,融入行為公共管理設(shè)計的運(yùn)行規(guī)則,更易于發(fā)揮出“潤物無聲”的控制力。

    2.中觀過程層面:行政體系內(nèi)部控制的智能化

    組織的有效運(yùn)行離不開控制職能的發(fā)揮。內(nèi)部控制機(jī)制通過一整套制度安排對組織行為進(jìn)行引導(dǎo)和糾偏,使其按照預(yù)定的路線實現(xiàn)組織預(yù)期目標(biāo)。行政體系內(nèi)部控制的智能化是指自動化行政內(nèi)部大到行政活動小到行政單位的日常管理都由智能算法控制,或者通過智能算法的運(yùn)行增強(qiáng)行政體系內(nèi)部的控制力。行政內(nèi)部的活動和日常管理也開始逐漸由人作為制度執(zhí)行者的控制體系,轉(zhuǎn)向算法介入的過程性自動控制。諸如預(yù)算審批、自助報銷等業(yè)務(wù)已經(jīng)基本實現(xiàn)完全自動化。這些領(lǐng)域業(yè)務(wù)的自動化轉(zhuǎn)型簡化了行政流程,提高了工作效率,增強(qiáng)了財務(wù)內(nèi)部控制體系的有效性。同時,算法輔助行政人員參與決策、執(zhí)行預(yù)測分析功能以及定制個性化服務(wù),在行政內(nèi)部控制的日常管理和業(yè)務(wù)活動中實現(xiàn)了部分自動化。算法輔助行政工作人員精準(zhǔn)化采集、分析和利用數(shù)據(jù),有效避免了人為帶來的誤差與風(fēng)險。以工作考核為例,量化管理下的工作考核可以依托智能算法技術(shù)獲取考核對象的所有數(shù)據(jù),基于工作細(xì)分,構(gòu)建實時、全流程的考核指標(biāo)評定,實現(xiàn)對行政人員工作績效的精準(zhǔn)量化,并形成對考核對象的“用戶畫像”[22]。

    受宏觀層面科層制數(shù)字化的結(jié)構(gòu)性重塑的影響,行政體系內(nèi)部控制的適用對象和驅(qū)動力均發(fā)生了根本變化。不同于傳統(tǒng)科層制以規(guī)則為導(dǎo)向的等級控制模式,行政體系內(nèi)部控制的智能化實現(xiàn)了精準(zhǔn)點(diǎn)控,但彌散于組織運(yùn)行全流程的控制力,也不可避免地約束了科層運(yùn)作應(yīng)對不確定性事務(wù)的自主性。與之相伴的是公共治理事務(wù)的復(fù)雜性和不確定性日益增強(qiáng)。事實上,這一復(fù)雜性和不確定性也來自自動化行政本身。因此,過密過細(xì)的智能化內(nèi)部控制機(jī)制的邊界值得關(guān)注,由此形成的對行政主體的全景式規(guī)訓(xùn),到底意味著什么,如何調(diào)適有效控制組織行為和有效適應(yīng)環(huán)境變化的關(guān)系成為自動化行政研究的關(guān)鍵。

    3.微觀行動者層面:人和機(jī)器自由裁量權(quán)的博弈

    自動化行政場景下科層制的運(yùn)行因為嵌入了作為等級規(guī)則的替代品的智能算法,使得技術(shù)樂觀主義者往往認(rèn)為智能算法包含的技術(shù)理性,實現(xiàn)了對自由裁量權(quán)的替代,其本質(zhì)轉(zhuǎn)為算法官僚和街頭官僚自由裁量的博弈[23]。技術(shù)中立主義者相對謹(jǐn)慎看待此問題,認(rèn)為算法官僚和街頭官僚之間形成了“人機(jī)協(xié)同”的狀態(tài),但也不否認(rèn)算法的確削弱了街頭官僚的自由裁量權(quán)[24]。曾經(jīng)被視為濫用自由裁量權(quán)的官僚弊病,在自由裁量權(quán)被壓縮的自動化行政場景下,又恢復(fù)了其克服科層制內(nèi)在缺陷的本性??茖右?guī)則的算法替代既有其合理性,也面臨著因規(guī)制鎖定而出現(xiàn)的僵化,同時還面臨著對算法機(jī)器學(xué)習(xí)和生成式人工智能技術(shù)導(dǎo)致的不確定性。

    因此,針對完全自動化場景中算法官僚與街頭官僚之間的自由裁量權(quán)博弈,構(gòu)成微觀層面考察自動化行政內(nèi)部效應(yīng)的關(guān)鍵。Hartzog等人認(rèn)為行政活動一般可以劃分為“預(yù)測—分析—行動”三個部分[25]。如果算法嵌入在這三個部分均實現(xiàn)了無人工干預(yù),則構(gòu)成了所謂的完全自動化行政。目前,完全自動化行政限定在一些重復(fù)性、技術(shù)性的工作范圍[26],例如,一些程序簡單、事實清晰、無須人工思考的交通抓拍處罰決定以及行政智能審批等。對于智能算法介入下的預(yù)測和分析結(jié)果的使用,學(xué)界提出“如你所想”的判定原則,即如果人工智能的建議能證實街頭官僚的專業(yè)判斷,就會得到采信,揭示了街頭官僚對算法決策的審慎態(tài)度[27]。但這一研究隨著生成式人工智能技術(shù)的大發(fā)展,尤其是適應(yīng)了生成式人工智能技術(shù)的新一代人類成為街頭官僚時,他們還會不會把算法決策視為“強(qiáng)化自身判斷”的一個輔助性驗證,有待進(jìn)一步追蹤考察。但從這一意義上,建立對自動化行政負(fù)外部性的協(xié)同規(guī)制體系,理應(yīng)有一個針對算法決策的快速的、必要的審核機(jī)制,通過敏捷規(guī)制實現(xiàn)對其可能偏誤的防范。

    (三)自動化行政中的算法權(quán)力異化:基于內(nèi)外部關(guān)聯(lián)的視角

    1.宏觀層面:自動化行政中的算法權(quán)力異化與自主性缺失

    自動化行政負(fù)外部效應(yīng)的產(chǎn)生除了源于算法“機(jī)器學(xué)習(xí)”的不確定性和算法“黑箱”的不透明性等算法內(nèi)在特性外,行政內(nèi)部的權(quán)力配置也是負(fù)外部效應(yīng)產(chǎn)生的重要來源。權(quán)力是行政體系運(yùn)行的基礎(chǔ)。傳統(tǒng)科層制的權(quán)力體系建立在現(xiàn)代理性權(quán)威和等級規(guī)則的基礎(chǔ)上。權(quán)力由科層體系中的各級官僚行使。自動化行政運(yùn)行過程中,算法的嵌入突破了傳統(tǒng)科層制的組織邊界,使得層級分明的有形組織朝邊界模糊的無形組織發(fā)展,進(jìn)而重塑了科層體系的權(quán)力結(jié)構(gòu)。算法技術(shù)具有了典型的權(quán)力支配屬性。自動化程度越高,算法權(quán)力的支配性越強(qiáng)。算法作為自動化行政體系中的隱性權(quán)力,因其不透明性和不可解釋性,為傳統(tǒng)科層制的權(quán)力體系制造出難以觸及的隱秘空間[28]。自動化行政中的隱私安全、主體責(zé)任界定等外部導(dǎo)向問題同樣構(gòu)成傳統(tǒng)科層制中權(quán)力體系無法觸及的盲區(qū)。權(quán)力異化的根源在于掌控權(quán)力者一旦缺少監(jiān)督就很容易突破權(quán)力應(yīng)有的邊界。算法權(quán)力作為一種新形態(tài)的支配力量,同樣難以擺脫這一根本屬性。尤其是,算法技術(shù)的機(jī)器學(xué)習(xí)屬性和不斷迭代中的自我強(qiáng)化效應(yīng),一旦缺少有效監(jiān)管,就會出現(xiàn)權(quán)力異化現(xiàn)象。

    這里強(qiáng)調(diào)的算法權(quán)力異化側(cè)重于內(nèi)部層面的異化,區(qū)別于算法直接作用于社會主體引致負(fù)外部效應(yīng)的權(quán)力異化。后者突出表現(xiàn)為算法技術(shù)本身的內(nèi)在缺陷,前者則突出表現(xiàn)為算法權(quán)力重塑科層權(quán)力結(jié)構(gòu)引致的“行政人”自主性的缺失。算法權(quán)力的內(nèi)部異化源于算法官僚主義的制度邏輯對技術(shù)理性的過度推崇,弱化了行政人的獨(dú)立性和自主性。算法技術(shù)對科層制中人的主體性的消解,使得基于理性自治的官僚結(jié)構(gòu)將從“人的組織”轉(zhuǎn)向“算法的組織”[29]。科層制中的公共行政人員則游離于算法規(guī)則之中,淪為算法的附庸。這一內(nèi)部行政規(guī)則的轉(zhuǎn)變將會誘發(fā)自動化行政的外部關(guān)聯(lián)效應(yīng),例如:強(qiáng)調(diào)利益、績效的算法規(guī)則,對傳統(tǒng)官僚科層體制下公平正義、自由平等的價值原則帶來威脅,使得自動化行政中算法偏見的負(fù)外部效應(yīng)顯露。綜上,為規(guī)避算法權(quán)力異化,并且減少觸發(fā)自動化行政負(fù)外部效應(yīng)產(chǎn)生的可能,需要更好地發(fā)揮技術(shù)與組織的互構(gòu)作用。技術(shù)治理不能脫離科層組織而單獨(dú)存在,否則算法權(quán)力就會脫離控制的范圍進(jìn)而觸發(fā)一系列的關(guān)聯(lián)效應(yīng)。科層制中權(quán)力結(jié)構(gòu)的失衡成為自動化行政負(fù)外部效應(yīng)產(chǎn)生的重要原因。負(fù)外部效應(yīng)是科層內(nèi)部權(quán)力結(jié)構(gòu)失衡的潛在性后果,并通過權(quán)力行使轉(zhuǎn)化為外部導(dǎo)向的現(xiàn)實性后果。

    2.中觀層面:自動化行政中的全景式規(guī)訓(xùn)與避責(zé)行為的加劇

    包括算法在內(nèi)的新興技術(shù)不管是在研發(fā)目的上,還是在應(yīng)用手段上似乎都可能會疏離“為了人”的現(xiàn)代目的,而走向“控制人”的超現(xiàn)代目的[30]。自動化行政強(qiáng)化了行政體系的內(nèi)部控制。行政內(nèi)部體系的設(shè)計、運(yùn)行、評價、獎懲由算法主導(dǎo),行政內(nèi)部體系的運(yùn)轉(zhuǎn)規(guī)則在算法控制的主導(dǎo)下也將被重新塑造。算法作為一種信息支配權(quán),通過嵌入內(nèi)部考核體系實現(xiàn)對不同層級、不同部門、不同崗位的控制,形成以智能算法支配科層體系運(yùn)行的新秩序[31]。這一新秩序的合理性在于改變了既有考核控制的模糊性,實現(xiàn)了精準(zhǔn)、全流程的控制體系,但也不可避免地出現(xiàn)了智能算法對“行政人”的全景式規(guī)訓(xùn)。福柯指出權(quán)力規(guī)訓(xùn)的三重實現(xiàn)機(jī)制:層級監(jiān)視、規(guī)范化裁決和檢查。其中,層級監(jiān)視通過各類技術(shù)裝置實現(xiàn)對行為的“觀察、記錄和訓(xùn)練”。規(guī)范化裁決主要通過儀式和符號將規(guī)訓(xùn)客體標(biāo)簽化[32]。支撐自動化行政的智能算法技術(shù)使得標(biāo)簽與“畫像”建立起更精準(zhǔn)的匹配關(guān)系,并衍伸至其他領(lǐng)域。檢查機(jī)制事實上通過層級監(jiān)視技術(shù)與規(guī)范化裁決技術(shù)的結(jié)合,將上述匹配關(guān)系制度化,完成了智能算法技術(shù)與科層制度規(guī)則的互嵌,構(gòu)成對行政主體的全景式規(guī)訓(xùn)。

    在此過程中,智能算法對“行政人”全流程的行為追蹤機(jī)制與“行政人”的隱私權(quán)之間存在模糊地帶。嵌入內(nèi)部控制體系的智能算法增強(qiáng)了內(nèi)控監(jiān)督機(jī)構(gòu)的權(quán)力運(yùn)行效率。行政體系內(nèi)部掌控考核權(quán)的機(jī)構(gòu)與智能算法開發(fā)機(jī)構(gòu)的合謀,將加劇行政體系內(nèi)部監(jiān)督體系的緊張性。在此情境下,科層體系中的“行政人”首要的是對智能算法內(nèi)控機(jī)制的遵從,而不是對外部主體訴求的回應(yīng)。避責(zé)而非擔(dān)當(dāng),成為科層體系運(yùn)行的第一準(zhǔn)則。自動化行政增強(qiáng)內(nèi)部控制機(jī)制主要以考核機(jī)制的智能化實現(xiàn)。除了前述過程考核性的全景規(guī)訓(xùn)產(chǎn)生的避責(zé)動機(jī),在考核內(nèi)容方面同樣產(chǎn)生了深刻影響。政府對負(fù)外部性的規(guī)制與治理是行政體系內(nèi)部考核內(nèi)容的主體。對政府治理任務(wù)完成程度的考核一旦實現(xiàn)了智能化,必將增加“行政人”的指標(biāo)投機(jī)主義行為,甚至對行政倫理產(chǎn)生影響。這將進(jìn)一步讓街頭官僚成為算法官僚的附庸,減少了行政人通過自主性對算法歧視進(jìn)行糾偏的可能性,同時也加劇了自動化行政情境性的繁文縟節(jié)的程序主義,降低了行政體系對環(huán)境變化的適應(yīng)性,進(jìn)而增加自動化行政算法異化產(chǎn)生負(fù)外部性的概率。

    3.微觀層面:人機(jī)協(xié)同自由裁量剩余控制權(quán)虛置與負(fù)外部性的出現(xiàn)

    自動化行政運(yùn)行中算法官僚和街頭官僚圍繞自由裁量權(quán)的博弈,本質(zhì)上取決于自由裁量剩余控制權(quán)在二者之間的配置。決策事務(wù)的結(jié)構(gòu)性良好時,自動化行政“人機(jī)協(xié)同”處理的是一些直觀的審批決定和數(shù)據(jù)、知識等決策支持,自由裁量剩余控制權(quán)的分配界限分明,街頭官僚或者科層體系的制度權(quán)威占主導(dǎo)地位。但是,在高度不確定性和復(fù)雜性的應(yīng)用場景下,算法官僚和街頭官僚之間的剩余控制權(quán)配置存在較大的模糊空間,增加了自動化行政內(nèi)部效應(yīng)的風(fēng)險屬性,并連鎖反應(yīng)至負(fù)外部效應(yīng)。剩余控制權(quán)來自經(jīng)濟(jì)學(xué)的不完全契約理論。決策事務(wù)的復(fù)雜性和不確定性導(dǎo)致契約的不完全性。人們無法在初始合同中對所有可能的狀況及其對策(權(quán)責(zé)分配)作出完備的規(guī)定。剩余控制權(quán)的配置旨在為出現(xiàn)初始合同未約定事件時作出相應(yīng)決策[33]。自動化行政中智能算法的機(jī)器學(xué)習(xí)屬性使其不斷迭代,并逐步偏離初始合同約定的剩余控制權(quán)介入的判斷規(guī)則。

    在當(dāng)下“人機(jī)協(xié)同”的場景中,算法官僚作為“輔助角色”所擁有的剩余控制權(quán)是不確定的。算法官僚作為輔助角色看似沒有被明確賦予自由裁量權(quán),但是它在行政裁量中發(fā)揮的真實作用往往會被其“輔助”外表所掩蓋[34]。前述“如你所想”的論斷是對當(dāng)下街頭官僚仍掌控自由裁量權(quán)的實證結(jié)果。但生成式人工智能技術(shù)的深度學(xué)習(xí)功能,對此論斷的學(xué)習(xí)將進(jìn)一步優(yōu)化算法官僚對特定領(lǐng)域街頭官僚決策偏好的學(xué)習(xí)。當(dāng)算法官僚越來越精準(zhǔn)地適應(yīng)并深諳街頭官僚的自由裁量偏好,甚至算法裁量已經(jīng)優(yōu)于街頭官僚裁量、并被街頭官僚自認(rèn)為“所見略同”時,街頭官僚事實上已經(jīng)不自覺地依賴算法裁量進(jìn)而誘發(fā)“自動化偏向”[35]。因此,算法輔助也有可能變?yōu)樗惴ㄖ鲗?dǎo),算法官僚將會削弱街頭官僚的自由裁量權(quán)。

    盡管已有研究針對自動化行政開發(fā)了風(fēng)險預(yù)測模型,即算法官僚與街頭官僚針對同一事務(wù)進(jìn)行的決策一旦存在差異極化,決策雙方將進(jìn)行二次博弈,并在第一次決策的基礎(chǔ)上陳述決策理由,由第三方確定決策結(jié)果[36]。但是,如果這一規(guī)則本身被利用了,則兩種決策方案的折中未必符合解決公共問題本身所需要的合理性。因此,智能算法機(jī)器學(xué)習(xí)屬性決定了第一選擇是識別出一個與街頭官僚選擇相對立的方案,并通過二次博弈實現(xiàn)真正的主張[37]。這一主張對于糾偏街頭官僚利益捆綁問題具有合理性,但一旦算法官僚被權(quán)力與技術(shù)合謀俘獲,則會產(chǎn)生帶有技術(shù)理性和制度防范雙重光環(huán)的決策,讓人們不自覺地接受有偏差的決策,導(dǎo)致負(fù)外部效應(yīng)的出現(xiàn)。

    四、結(jié)論、討論與不足

    智能算法技術(shù)嵌入行政體系運(yùn)行已經(jīng)成為數(shù)智時代政府治理變革的主要趨勢,由此引發(fā)學(xué)術(shù)界對自動化行政的廣泛關(guān)注,并集中于自動化行政負(fù)外部效應(yīng)及其治理的研究。既有研究認(rèn)為自動化行政負(fù)外部效應(yīng)源于智能算法技術(shù)的內(nèi)在缺陷與機(jī)器深度學(xué)習(xí)屬性研究,主要從倫理規(guī)制與法律規(guī)制、行業(yè)自我規(guī)制與政府規(guī)制、包容性審慎規(guī)制與敏捷性響應(yīng)規(guī)制相結(jié)合的維度,提出構(gòu)建多元協(xié)同規(guī)制體系的治理之策。事實上,這一分析理路將算法在不同領(lǐng)域應(yīng)用引致的風(fēng)險視為同質(zhì)性的,并未對自動化行政運(yùn)行的場域特征予以差別性處理,考察自動化行政的內(nèi)部效應(yīng)及其對負(fù)外部效應(yīng)的影響。自動化行政運(yùn)行中的算法風(fēng)險,一方面來自無差別的算法技術(shù)屬性的內(nèi)在缺陷和機(jī)器深度學(xué)習(xí)帶來的不確定性;另一方面來自算法嵌入科層體系對行政內(nèi)部運(yùn)行機(jī)制的影響,進(jìn)而延伸至自動化行政的負(fù)外部效應(yīng)。前者是算法引致負(fù)外部效應(yīng)的直接路徑,側(cè)重于技術(shù)路徑;后者是算法通過嵌入行政體系進(jìn)而引致負(fù)外部性的間接路徑,側(cè)重于技術(shù)與組織的互構(gòu)。智能算法技術(shù)與行政運(yùn)行體系的互構(gòu)是理解這一間接路徑的關(guān)鍵,由此引發(fā)宏觀結(jié)構(gòu)層面科層制的智能化變革,延伸至中觀過程層面行政體系內(nèi)部控制機(jī)制的智能化,進(jìn)而影響著微觀行動層面“人—機(jī)”自由裁量權(quán)的再生產(chǎn)和重新配置?;凇敖Y(jié)構(gòu)-過程-行動”的分析為自動化行政研究轉(zhuǎn)向行政體系內(nèi)部運(yùn)行提供了邏輯進(jìn)路。

    生成式人工智能技術(shù)的興起對科層制運(yùn)行產(chǎn)生的結(jié)構(gòu)性重塑,讓技術(shù)憂思的想象逐步變成現(xiàn)實。生成式人工智能技術(shù)的交互性,不僅習(xí)得了社會自身運(yùn)行的隱性技能,也將習(xí)得科層體系中各級官僚的隱性技能,進(jìn)而影響到科層體系運(yùn)行過程中的權(quán)力結(jié)構(gòu)和運(yùn)行過程。自動化行政對科層制運(yùn)行過程的影響集中于內(nèi)部控制機(jī)制的智能化,由此構(gòu)筑的全景式規(guī)訓(xùn)體系,加劇了科層體系中“行政人”的避責(zé)動機(jī)。政企合作格局下自動化行政的運(yùn)行,并在此過程中形成了依賴于算法官僚自由裁量的避責(zé)格局,使得“行政人”在人機(jī)協(xié)同中自由裁量剩余控制權(quán)的主導(dǎo)地位進(jìn)一步減損。科層制的數(shù)字化轉(zhuǎn)型是大勢所趨,但科層體系內(nèi)部控制機(jī)制的智能化則存在較大的自主空間。無論科層制的數(shù)字化轉(zhuǎn)型未來趨向何處,調(diào)適過程維度全景式規(guī)訓(xùn)與適應(yīng)性行政之間的張力關(guān)系成為關(guān)鍵。現(xiàn)有研究普遍對自動化行政外部效應(yīng)予以關(guān)注,本文嘗試通過“結(jié)構(gòu)-過程-行動”的分析框架,將研究視角轉(zhuǎn)向行政體系的內(nèi)部運(yùn)行。不足之處在于仍停留于規(guī)范性論述,并未對此進(jìn)行實證分析。因此,行政體系內(nèi)部控制機(jī)制的智能化影響“行政人”的避責(zé)動機(jī),并進(jìn)一步削弱自由裁量剩余控制權(quán)的主導(dǎo)地位的作用機(jī)理,亟待通過參與式觀察、追蹤調(diào)查、實驗法等研究方法開展實證研究。

    猜你喜歡
    科層制智能算法官僚
    鄉(xiāng)村不應(yīng)有“官僚”——關(guān)于“豐縣事件”的三點(diǎn)思考
    神經(jīng)網(wǎng)絡(luò)智能算法在發(fā)電機(jī)主絕緣狀態(tài)評估領(lǐng)域的應(yīng)用
    基于超像素的圖像智能算法在礦物顆粒分割中的應(yīng)用
    中國基層政府中的非正式官僚:歷史與現(xiàn)實
    狠剎“向下甩鍋”——治治各類“疲軟癥”“話癆癥”“官僚癥”
    從雞群算法看群體智能算法的發(fā)展趨勢
    改進(jìn)的多目標(biāo)快速群搜索算法的應(yīng)用
    價值工程(2016年32期)2016-12-20 20:30:37
    民主的技術(shù)化
    科層制與關(guān)系網(wǎng):民國時期世界書局和大東書局的發(fā)行管理制度述論
    現(xiàn)代科層制在中國:困境及其破解
    在线观看免费日韩欧美大片| 亚洲国产最新在线播放| 极品人妻少妇av视频| 精品福利永久在线观看| 亚洲成色77777| 日韩,欧美,国产一区二区三区| 成年女人在线观看亚洲视频| 日韩视频在线欧美| 天天躁夜夜躁狠狠躁躁| 中文乱码字字幕精品一区二区三区| 日日摸夜夜添夜夜爱| 两个人看的免费小视频| 欧美日韩亚洲国产一区二区在线观看 | 如日韩欧美国产精品一区二区三区| 交换朋友夫妻互换小说| 最新的欧美精品一区二区| 交换朋友夫妻互换小说| 人体艺术视频欧美日本| 伦精品一区二区三区| 久久精品熟女亚洲av麻豆精品| 亚洲精品国产av蜜桃| 亚洲成人一二三区av| 国产日韩欧美视频二区| 亚洲欧美清纯卡通| 精品国产国语对白av| 国产视频首页在线观看| 夫妻午夜视频| 色吧在线观看| 搡女人真爽免费视频火全软件| 日韩制服骚丝袜av| 日韩制服骚丝袜av| 久久久久精品久久久久真实原创| av免费观看日本| 免费人妻精品一区二区三区视频| 亚洲欧美精品自产自拍| 99国产综合亚洲精品| 成人亚洲精品一区在线观看| 久久亚洲国产成人精品v| 国产一区二区三区综合在线观看| 人妻 亚洲 视频| 亚洲国产毛片av蜜桃av| 91成人精品电影| 狂野欧美激情性bbbbbb| 亚洲精品日本国产第一区| 国语对白做爰xxxⅹ性视频网站| 亚洲综合精品二区| av电影中文网址| av国产久精品久网站免费入址| 日本爱情动作片www.在线观看| 国产精品 欧美亚洲| 中国国产av一级| 中文字幕最新亚洲高清| 国产亚洲最大av| 十分钟在线观看高清视频www| 亚洲欧洲日产国产| 亚洲国产精品一区三区| 女性被躁到高潮视频| 韩国av在线不卡| 欧美成人午夜精品| 狠狠精品人妻久久久久久综合| 999精品在线视频| 久久精品久久久久久久性| 99热全是精品| 人妻少妇偷人精品九色| 一级a爱视频在线免费观看| 日韩av在线免费看完整版不卡| 一个人免费看片子| 亚洲国产毛片av蜜桃av| 久久狼人影院| 伦精品一区二区三区| 亚洲第一青青草原| 亚洲,欧美,日韩| 亚洲欧美成人精品一区二区| 中文字幕人妻丝袜一区二区 | 亚洲精品一区蜜桃| 伊人久久国产一区二区| 精品99又大又爽又粗少妇毛片| 日韩制服丝袜自拍偷拍| 久久久久久人人人人人| 久久久久久人人人人人| 精品亚洲乱码少妇综合久久| 亚洲伊人色综图| 国产精品麻豆人妻色哟哟久久| videos熟女内射| 国产日韩欧美在线精品| 日韩欧美一区视频在线观看| 久久精品熟女亚洲av麻豆精品| 中文字幕制服av| 97在线人人人人妻| 9191精品国产免费久久| 免费观看无遮挡的男女| 最近中文字幕高清免费大全6| 啦啦啦在线免费观看视频4| 欧美日韩视频高清一区二区三区二| 色视频在线一区二区三区| 一区二区三区四区激情视频| av在线播放精品| 在线 av 中文字幕| 国产精品久久久久久精品电影小说| 国产成人aa在线观看| 建设人人有责人人尽责人人享有的| 韩国高清视频一区二区三区| 免费黄频网站在线观看国产| 天天影视国产精品| 人妻 亚洲 视频| 在线精品无人区一区二区三| 看免费成人av毛片| av有码第一页| 国产精品av久久久久免费| 最近最新中文字幕大全免费视频 | 亚洲av综合色区一区| 丰满饥渴人妻一区二区三| 国产成人欧美| 天天躁夜夜躁狠狠躁躁| av在线app专区| 宅男免费午夜| 国产白丝娇喘喷水9色精品| 精品国产露脸久久av麻豆| 国产高清不卡午夜福利| 一级毛片黄色毛片免费观看视频| 肉色欧美久久久久久久蜜桃| 亚洲一码二码三码区别大吗| av在线观看视频网站免费| 街头女战士在线观看网站| 搡女人真爽免费视频火全软件| 日韩三级伦理在线观看| 亚洲欧洲精品一区二区精品久久久 | 日韩精品免费视频一区二区三区| 日韩精品免费视频一区二区三区| 免费在线观看完整版高清| 久久精品国产亚洲av涩爱| 亚洲av电影在线进入| 中文字幕人妻丝袜制服| 在线天堂最新版资源| 久久精品国产亚洲av高清一级| 母亲3免费完整高清在线观看 | 免费av中文字幕在线| av天堂久久9| 午夜日韩欧美国产| 亚洲精品日本国产第一区| 日韩一区二区三区影片| 午夜精品国产一区二区电影| 成人午夜精彩视频在线观看| 蜜桃在线观看..| 日韩熟女老妇一区二区性免费视频| 美女脱内裤让男人舔精品视频| 国产成人精品无人区| 日本色播在线视频| 中文字幕人妻熟女乱码| 午夜激情久久久久久久| 9色porny在线观看| 国语对白做爰xxxⅹ性视频网站| 人妻少妇偷人精品九色| 如何舔出高潮| 国产精品久久久av美女十八| 精品一品国产午夜福利视频| 人妻一区二区av| 伦精品一区二区三区| 叶爱在线成人免费视频播放| 中文天堂在线官网| 少妇被粗大猛烈的视频| 国产精品免费大片| 天堂8中文在线网| 美女福利国产在线| 亚洲国产精品成人久久小说| 性高湖久久久久久久久免费观看| 天堂中文最新版在线下载| 最新的欧美精品一区二区| 久久久精品国产亚洲av高清涩受| 免费av中文字幕在线| 久久午夜福利片| 欧美日韩亚洲高清精品| 免费看不卡的av| 国产一区二区激情短视频 | 亚洲精品视频女| 99久久中文字幕三级久久日本| 久久久精品94久久精品| 一区二区三区乱码不卡18| 少妇人妻精品综合一区二区| 成年av动漫网址| 人妻 亚洲 视频| 看十八女毛片水多多多| 老鸭窝网址在线观看| 日韩不卡一区二区三区视频在线| 2018国产大陆天天弄谢| 综合色丁香网| 最近的中文字幕免费完整| 久久人人97超碰香蕉20202| 欧美97在线视频| 精品国产一区二区三区久久久樱花| 日韩一本色道免费dvd| 美女国产视频在线观看| 91久久精品国产一区二区三区| 热99国产精品久久久久久7| 激情视频va一区二区三区| 日韩在线高清观看一区二区三区| 人人妻人人澡人人爽人人夜夜| 亚洲精品自拍成人| 国产精品亚洲av一区麻豆 | 青青草视频在线视频观看| a级毛片黄视频| 新久久久久国产一级毛片| kizo精华| 一区二区三区精品91| 日日撸夜夜添| 人人妻人人添人人爽欧美一区卜| 亚洲av免费高清在线观看| 一级a爱视频在线免费观看| 伊人久久国产一区二区| 欧美人与善性xxx| 国产福利在线免费观看视频| 一区二区av电影网| 91久久精品国产一区二区三区| 午夜福利影视在线免费观看| 国产精品一二三区在线看| 秋霞伦理黄片| 国产男女超爽视频在线观看| 一区在线观看完整版| 中文字幕最新亚洲高清| 亚洲国产最新在线播放| 纯流量卡能插随身wifi吗| 男女无遮挡免费网站观看| 国产av精品麻豆| 制服诱惑二区| 国产人伦9x9x在线观看 | 性高湖久久久久久久久免费观看| 婷婷色麻豆天堂久久| 一级毛片 在线播放| xxxhd国产人妻xxx| 美女国产高潮福利片在线看| 99久久人妻综合| 中文字幕人妻丝袜一区二区 | 18在线观看网站| 97在线视频观看| 精品少妇内射三级| 性色av一级| 国产又爽黄色视频| 狠狠婷婷综合久久久久久88av| 免费在线观看黄色视频的| 亚洲欧洲精品一区二区精品久久久 | 久久久久久久久久人人人人人人| 免费观看a级毛片全部| 久久影院123| 日韩一区二区三区影片| 日韩电影二区| 国产免费福利视频在线观看| 精品久久久久久电影网| 国产精品久久久久久av不卡| 欧美日韩亚洲高清精品| 亚洲人成77777在线视频| 亚洲av福利一区| 老司机亚洲免费影院| 少妇被粗大的猛进出69影院| 夫妻性生交免费视频一级片| 亚洲美女黄色视频免费看| 亚洲欧洲日产国产| 色播在线永久视频| 亚洲av综合色区一区| 80岁老熟妇乱子伦牲交| 日本免费在线观看一区| 日韩精品有码人妻一区| 久久影院123| av女优亚洲男人天堂| 欧美av亚洲av综合av国产av | 一区二区三区激情视频| 日本欧美视频一区| 国产av精品麻豆| 久久这里只有精品19| 午夜91福利影院| 国产一级毛片在线| 国产午夜精品一二区理论片| 久久人妻熟女aⅴ| 亚洲国产av影院在线观看| 人人妻人人添人人爽欧美一区卜| 日韩中文字幕欧美一区二区 | 99久久综合免费| 如何舔出高潮| 欧美人与善性xxx| 超色免费av| 久久久国产一区二区| 不卡av一区二区三区| av在线老鸭窝| 老司机影院毛片| 性少妇av在线| 午夜福利视频精品| 999久久久国产精品视频| 亚洲男人天堂网一区| 在线观看免费日韩欧美大片| 国产高清国产精品国产三级| 亚洲欧美日韩另类电影网站| 久久这里有精品视频免费| 欧美精品人与动牲交sv欧美| 大码成人一级视频| 丝袜脚勾引网站| 在线观看一区二区三区激情| 日本-黄色视频高清免费观看| 美女国产视频在线观看| 丝袜美足系列| 午夜精品国产一区二区电影| 精品人妻熟女毛片av久久网站| 欧美日韩视频精品一区| av国产精品久久久久影院| 亚洲精品成人av观看孕妇| 免费看不卡的av| 亚洲精品视频女| 国产人伦9x9x在线观看 | av网站免费在线观看视频| 国产片内射在线| 中文乱码字字幕精品一区二区三区| tube8黄色片| 黄频高清免费视频| 日日撸夜夜添| 又黄又粗又硬又大视频| 国产精品久久久av美女十八| 欧美精品一区二区大全| 午夜激情久久久久久久| 秋霞在线观看毛片| 1024香蕉在线观看| 欧美日韩视频精品一区| 一区二区三区四区激情视频| 亚洲少妇的诱惑av| 国产av码专区亚洲av| xxx大片免费视频| 超碰成人久久| 在线观看免费视频网站a站| 亚洲精品久久久久久婷婷小说| 国产日韩一区二区三区精品不卡| 国产精品久久久久久久久免| 国产成人精品福利久久| 国产麻豆69| 人妻人人澡人人爽人人| 免费黄频网站在线观看国产| 国产免费福利视频在线观看| 国产成人精品婷婷| 欧美成人午夜精品| 午夜福利,免费看| 欧美日韩视频精品一区| 久久国产亚洲av麻豆专区| 丝瓜视频免费看黄片| 满18在线观看网站| 一级片'在线观看视频| 久久精品久久久久久久性| 亚洲成色77777| 又粗又硬又长又爽又黄的视频| 老汉色∧v一级毛片| 成人毛片60女人毛片免费| 国产麻豆69| 免费在线观看视频国产中文字幕亚洲 | 久久精品夜色国产| 蜜桃在线观看..| 日本wwww免费看| 婷婷色综合www| 赤兔流量卡办理| 街头女战士在线观看网站| 亚洲色图综合在线观看| 精品人妻一区二区三区麻豆| 久久人妻熟女aⅴ| 久久热在线av| 妹子高潮喷水视频| 国产白丝娇喘喷水9色精品| 99久久中文字幕三级久久日本| 侵犯人妻中文字幕一二三四区| 伦理电影大哥的女人| 视频区图区小说| 国产精品熟女久久久久浪| 国产伦理片在线播放av一区| 哪个播放器可以免费观看大片| 国产av国产精品国产| 日韩中文字幕欧美一区二区 | 精品卡一卡二卡四卡免费| 日本91视频免费播放| 久久99蜜桃精品久久| 午夜福利视频精品| av在线老鸭窝| 2022亚洲国产成人精品| 黄色毛片三级朝国网站| 国产又爽黄色视频| 亚洲人成电影观看| 国产亚洲最大av| 国产欧美日韩一区二区三区在线| 永久网站在线| 成年女人毛片免费观看观看9 | 啦啦啦啦在线视频资源| 国产一区二区三区综合在线观看| 女人精品久久久久毛片| 亚洲精品成人av观看孕妇| 老汉色av国产亚洲站长工具| 可以免费在线观看a视频的电影网站 | 国产97色在线日韩免费| 少妇人妻精品综合一区二区| 黄色配什么色好看| 日韩三级伦理在线观看| 999精品在线视频| 叶爱在线成人免费视频播放| 有码 亚洲区| 国产一级毛片在线| 狠狠婷婷综合久久久久久88av| 精品一区在线观看国产| 久久久久久人人人人人| 肉色欧美久久久久久久蜜桃| 一级片'在线观看视频| 在线观看www视频免费| 叶爱在线成人免费视频播放| 中文字幕人妻丝袜一区二区 | 大香蕉久久成人网| 亚洲婷婷狠狠爱综合网| 80岁老熟妇乱子伦牲交| 哪个播放器可以免费观看大片| 不卡av一区二区三区| 人妻一区二区av| 99久久中文字幕三级久久日本| 人妻系列 视频| 黑丝袜美女国产一区| 在线观看国产h片| 丝袜喷水一区| 一区在线观看完整版| 免费日韩欧美在线观看| 深夜精品福利| 欧美精品人与动牲交sv欧美| 天美传媒精品一区二区| 欧美在线黄色| 国产精品无大码| 日韩免费高清中文字幕av| 欧美激情 高清一区二区三区| 国产一区二区在线观看av| 秋霞在线观看毛片| 老司机影院毛片| 亚洲国产精品一区三区| 美女午夜性视频免费| 午夜av观看不卡| 亚洲精品日本国产第一区| av有码第一页| 国产精品免费大片| 免费黄网站久久成人精品| 午夜福利网站1000一区二区三区| 午夜免费鲁丝| 久久精品aⅴ一区二区三区四区 | 日日爽夜夜爽网站| 久久这里有精品视频免费| 国产麻豆69| 少妇 在线观看| 叶爱在线成人免费视频播放| 中文字幕最新亚洲高清| 国产日韩欧美亚洲二区| 久久99精品国语久久久| 国产精品熟女久久久久浪| 岛国毛片在线播放| 国产视频首页在线观看| 少妇精品久久久久久久| 最新的欧美精品一区二区| 亚洲av免费高清在线观看| 精品人妻熟女毛片av久久网站| 色哟哟·www| 丝袜喷水一区| 国产 一区精品| 男女午夜视频在线观看| 18禁观看日本| 美女大奶头黄色视频| 久久 成人 亚洲| 男女午夜视频在线观看| 看非洲黑人一级黄片| 日韩一区二区三区影片| 亚洲av日韩在线播放| 亚洲国产欧美在线一区| 狠狠精品人妻久久久久久综合| 天天躁夜夜躁狠狠久久av| 亚洲综合精品二区| 十八禁网站网址无遮挡| 又粗又硬又长又爽又黄的视频| 亚洲国产精品国产精品| 精品国产乱码久久久久久小说| 亚洲精品中文字幕在线视频| 伊人亚洲综合成人网| 午夜福利影视在线免费观看| 黄色一级大片看看| 亚洲av电影在线观看一区二区三区| 国产一区有黄有色的免费视频| 国产极品粉嫩免费观看在线| 欧美 日韩 精品 国产| 青草久久国产| 在线 av 中文字幕| 国产av精品麻豆| 毛片一级片免费看久久久久| 国产成人一区二区在线| 亚洲欧洲日产国产| 午夜福利视频在线观看免费| 精品国产乱码久久久久久小说| 三级国产精品片| 精品人妻偷拍中文字幕| 五月天丁香电影| 国产高清不卡午夜福利| 午夜福利视频精品| 国产欧美亚洲国产| av免费在线看不卡| 香蕉精品网在线| 哪个播放器可以免费观看大片| 久久久久久久国产电影| 亚洲av成人精品一二三区| 日韩制服丝袜自拍偷拍| 亚洲美女黄色视频免费看| 久久久久国产精品人妻一区二区| 久久精品国产亚洲av高清一级| 精品少妇内射三级| 久久久久国产网址| 久久人人爽av亚洲精品天堂| 精品人妻在线不人妻| av免费观看日本| 少妇熟女欧美另类| 欧美精品人与动牲交sv欧美| 在线 av 中文字幕| 日本免费在线观看一区| 精品卡一卡二卡四卡免费| 亚洲中文av在线| 黄片播放在线免费| 宅男免费午夜| 男女国产视频网站| 亚洲精品久久成人aⅴ小说| 亚洲综合色惰| 丝瓜视频免费看黄片| 成人国产麻豆网| 国产精品久久久久久久久免| 欧美日韩成人在线一区二区| 免费黄色在线免费观看| 久久精品国产亚洲av高清一级| 午夜老司机福利剧场| 免费大片黄手机在线观看| 国产精品 欧美亚洲| 国产日韩欧美在线精品| 各种免费的搞黄视频| 女人高潮潮喷娇喘18禁视频| 国产国语露脸激情在线看| 三上悠亚av全集在线观看| 69精品国产乱码久久久| 久久久久久免费高清国产稀缺| 久久99精品国语久久久| 日韩一区二区三区影片| 日韩av不卡免费在线播放| 国产成人aa在线观看| 永久免费av网站大全| 老司机影院成人| 成人毛片a级毛片在线播放| 欧美国产精品va在线观看不卡| 大陆偷拍与自拍| 99久久综合免费| 日韩一卡2卡3卡4卡2021年| 久久久久久人人人人人| 午夜av观看不卡| 久久久久久免费高清国产稀缺| 汤姆久久久久久久影院中文字幕| 麻豆乱淫一区二区| 午夜日本视频在线| 国产乱来视频区| 国产精品 国内视频| 午夜91福利影院| 亚洲av电影在线进入| 大片免费播放器 马上看| 久久精品人人爽人人爽视色| 国精品久久久久久国模美| 日本黄色日本黄色录像| 啦啦啦中文免费视频观看日本| 91精品三级在线观看| 最近中文字幕高清免费大全6| 女人久久www免费人成看片| 精品少妇内射三级| 国产精品一区二区在线观看99| 精品少妇内射三级| 国产熟女欧美一区二区| av在线播放精品| 亚洲经典国产精华液单| 美国免费a级毛片| 看免费成人av毛片| 日日摸夜夜添夜夜爱| 女人久久www免费人成看片| 久久国产亚洲av麻豆专区| 亚洲经典国产精华液单| 嫩草影院入口| 丝袜美腿诱惑在线| 中文字幕精品免费在线观看视频| 高清黄色对白视频在线免费看| 曰老女人黄片| 精品人妻偷拍中文字幕| 黄网站色视频无遮挡免费观看| av在线观看视频网站免费| 黄色 视频免费看| 免费在线观看黄色视频的| 久久精品国产亚洲av天美| 99热网站在线观看| 一个人免费看片子| 亚洲成国产人片在线观看| 亚洲第一av免费看| 国产精品免费大片| 国产不卡av网站在线观看| 亚洲av电影在线观看一区二区三区| 欧美日本中文国产一区发布| 国产成人免费无遮挡视频| 国产免费现黄频在线看| 午夜91福利影院| 天天操日日干夜夜撸| 97人妻天天添夜夜摸| 大香蕉久久成人网| 国产精品蜜桃在线观看| 26uuu在线亚洲综合色| 日日啪夜夜爽| 久久精品国产自在天天线| av在线app专区| 欧美日韩亚洲国产一区二区在线观看 | 国产精品一国产av| 欧美 日韩 精品 国产| 色婷婷av一区二区三区视频| 久久国产精品男人的天堂亚洲| 多毛熟女@视频| 高清视频免费观看一区二区| 久久国产亚洲av麻豆专区| 欧美激情高清一区二区三区 | 五月天丁香电影|