• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法嵌入政府治理的優(yōu)勢、挑戰(zhàn)與法律規(guī)制

    2021-12-07 22:08:53王文玉
    關鍵詞:決策政府算法

    □王文玉

    隨著大數據、云計算、深度學習等技術的迅速發(fā)展,算法決策已經被廣泛應用于行政執(zhí)法、商業(yè)競爭、司法審判、社會征信等領域,以大數據、算法決策為核心的算法信息社會正在到來。其中,政府運用算法這一新興的決策方式展開治理,為改良傳統政府治理模式,全面優(yōu)化政府的治理流程、治理精度、治理成效等提供了前所未有的機遇。但在具體實踐中,政府運用或依靠算法展開治理往往既需要面對數據污染、算法黑箱等技術上的難題,還需要面對算法歧視、算法權力濫用、算法責任分配不明等倫理、法治上的挑戰(zhàn)。通過梳理和總結,筆者發(fā)現,現有研究多從當前算法在政府治理的應用實踐中總結和分析諸如算法歧視[1]、算法黑箱[2]、算法權力異化[3]等某一具體問題,而較少從可信賴的角度系統審視我們?yōu)槭裁葱枰獙⑺惴ㄇ度胝卫硪约拔覀冃枰裁礃拥乃惴ㄕ归_治理的問題。這就導致現有研究所提出的應對算法嵌入政府治理風險的方案往往缺乏全面性、系統性以及可預見性。是否值得信賴,是我們享受科技帶來的便利的前提和基礎,因而本文將從可信賴的角度,對算法嵌入政府治理的意義及限度展開全面梳理和反思,并系統性地提出應對相關風險的規(guī)制方案,以期為化解政府應用算法展開治理的風險、全面提升政府治理能力提供完善的制度環(huán)境保障。

    一、算法嵌入政府治理的優(yōu)勢

    在人文社會科學領域,算法往往被定義為對相關技術的運用過程,也即側重于認為算法是一種決策產出方式或者建構社會秩序的模型。如布倫·米特斯塔特等學者就指出,“公共話語主要關注的是一類特定的決策算法,例如在特定情況下采取的最佳行動,對數據的最佳解釋,等等。這種算法往往起到增強或取代人類的分析和決策作用”[4]。因此,本文所指的算法是一種決策產出的過程,其通過輸出決策結論的方式實現對社會秩序的建構。將算法嵌入政府治理的進程,就是要發(fā)揮算法在幫助或替代政府做出決策過程中的優(yōu)勢,從而全面提升政府治理能力。算法嵌入政府治理對于發(fā)揮算法決策優(yōu)勢、提升政府治理能力有著良好的前景。

    其一,算法決策具有中立性,可以有效避免傳統政府治理模式下行政裁量的偏向性問題。決策者是否能夠基于當前事實展開客觀中立的決策,是保障決策公平性、正當性和可預測性的前提。實踐中,即便能夠排除個人私利以及人情關系等顯性因素的影響,個人決策還是難免會受到決策者原有的生活經驗、政治傾向、知識水平、個人情緒等隱性因素的侵蝕而做出具有偏見性的治理選擇。尤其是當面對不確定的治理決策時,個人直覺往往會起到決定性作用,在“信念固著”[5]和“錨定效應”[6]影響下,決策者個體很容易受到虛假或無效信息的影響而做出不公正的裁量。

    基于個人決策難以避免個體偏見的事實,“許多人實際上都希望讓機器人來決策,而且最好是那種不是由人來設計運行程序的機器人決策者。只要由人來擔任決策者,總會面臨人類大腦存在的各種局限”[7]。與傳統代碼編程不同的是,當下算法是一種建立在神經網絡上的最大似然應用程序,其主要運轉方式是對給定的數據集展開要素抽取、建構對應的相關關系,并通過反復學習和不斷自我完善,從而自主產生決策事項的最優(yōu)解決方案[8]。數據信息的客觀性、要素抽取標準的一致性、算法建模的統一性以及決策方式的標準化保障了算法決策的中立性、客觀性,從而可以有效避免人類決策的偏見性。如面對盧米斯對再犯風險評估系統COMPAS的評估方式是否符合程序正義的質疑時,威斯康星州最高法院法官就認為,“COMPAS系統的運行邏輯是參照獨立子項以及復雜化的算法而生成1~10級風險評估和量刑標準展開的,其內在具有中立性和客觀性,因而并不能推定出其決策違背程序正義”[9]。

    其二,算法決策具有高效性,可以減輕政府治理負擔,提升政府治理效率。治理成本始終是政府治理進程中需要著重考量的問題,由于需要付出高昂的人力、物力、財力等成本,如何以最小的投入獲得最大的治理成效是優(yōu)化政府治理的核心問題之一。這一問題在行政執(zhí)法領域尤為突出,如選擇性執(zhí)法就是行政機關為了節(jié)約長期、全面執(zhí)法的高昂成本而集中有限人力資源解決某些突出問題的方式之一。但選擇性執(zhí)法違背了法律普遍性和平等適用性的基本要求,同時它還是滋生執(zhí)法人員腐敗、不作為、亂作為的溫床,長此以往,會對政府執(zhí)法公信力造成不可逆轉的傷害[10]。

    算法則憑借其自動化、全天候運轉的特質,能夠通盤考量全局、科學調整資源配置以減少高昂的政府治理成本。一方面,機構和人員的投入是當前政府治理最繁重的開支之一,而運用算法展開治理則能夠有效減少治理人員數量和時間的投入,從而從源頭上降低治理成本。如深圳市將算法應用于人才引進落戶、企業(yè)投資備案等行政審批工作而推出的“秒批”服務系統,可在無人干預下展開材料的比對、核驗,從而瞬時完成審批并自動將結果反饋給申請人[11]。這一系統在全面提升行政審批工作高效性和精準性的同時,還能夠有效精簡審批人員和機構的設置。又如,英國政府將算法應用于政府購買家庭護理服務的管理中,從而降低了重復評估、信息收集等費用,在減少人員投入的同時有效提升了政府購買家庭護理服務的水平和效率[12]。另一方面,算法可以通過優(yōu)化資源配置的方式,化解“低質低效”“供需錯配”等政府治理困境。憑借信息收集、存儲以及算力優(yōu)勢,算法能動態(tài)監(jiān)測治理對象的需求,將處于閑置、分散、碎片化的公共資源進行合理的重組和分配,以最大限度發(fā)掘相關資源的內在潛力,從而減少治理成本投入,顯著提升治理成效。如杭州市的“城市數據大腦”系統能夠自動監(jiān)測交通實時信息,從而自主展開交通違法行為查處、信號燈時長調試等決策,在原有道路交通資源不變的情況下,有效緩解了城市擁堵的問題[13]。

    其三,算法決策具有針對性、精準性,可以做到因人施策、因地制宜、精準治理。社會轉型的加劇以及發(fā)展的高速化、動態(tài)化對當前政府治理提出了較高的機動性、精準性要求。囿于信息收集、處理能力,傳統政府治理往往只能以提出一些原則性方案的方式展開相對粗獷、簡約的治理,而算法則能憑借其存儲和算力優(yōu)勢,實現對數據的實時收集,并在短時間內完成數據分析和決策生成工作,從而及時滿足社會動態(tài)運轉過程中的精細化、時段化、區(qū)域化、個體化等的治理需求。

    算法精準治理的核心是精準識別和精準施策。一方面,對治理對象的精準識別和分類是展開精準治理的前提。由于傳統人工識別和分類的方式受到分類標準不統一、分類信息完整度要求過高、分類主觀化、分類成本高昂等因素的制約,政府不得不時常在宏觀層面上展開模糊治理,最終可能進一步加深發(fā)展不平衡、不充分的困境。如囿于貧困戶認定標準的不一致、貧困戶信息的不完善以及人為認定存在偏私等因素,傳統人工統計分類的貧困識別方式不但需要耗費大量的人力和時間,還會出現識別不準確、識別遺漏等問題,而研究人員開發(fā)的“隨機森林算法”就能夠較好地處理具有非平衡性、不完整性、多元線性的人口數據,從而較為精準地識別出貧困人口。在具體的應用中,羅麗提出的一種“隨機森林算法識別模型”能夠從繁雜的貧困數據中精準識別出貧困人口,其準確率高達95.02%[14]。另一方面 ,精準治理還意味著需要以治理對象的需求為靶向,依照需求和反饋而精準施策。由于個體、區(qū)域、行業(yè)等差異,治理對象的需求具有彌散性、差異性、多元性等特征,傳統政府治理往往只能參照大多數治理對象的需求展開模糊治理,而算法則能夠高效收集多元、復雜、連續(xù)的個體需求信息,并細致描繪出數據集中顆粒個體的數據紋理特征,從而通過這些紋理特征對多元個體實施個體化、細致化的單粒度治理[15]。如有學者建構的“政府精準購買公共服務的大數據應用模型”,就可以通過檢測數據的動態(tài)交換以及流動過程,精準獲得公共服務對象的實時服務需求以及服務質量反饋信息,從而幫政府完善新一輪購買計劃[16]。

    其四,算法還具有預測性,能夠對給定的已知數據樣本進行深度學習并精準畫像,從而獲得樣本數據中的相關關系函數,并將這一函數應用于預測諸如某地的犯罪、社會糾紛等治理風險發(fā)生的概率;同時,算法還能夠依照所預測的信息,提前做出治理決策以預防或者減少相關治理風險的發(fā)生,達到先發(fā)制人的效果。當前,科技進步帶來的現代化風險日益增多,而且這些風險開始逐漸脫離人類直接感知的能力,呈現出越來越不確定的趨勢。烏爾里?!へ惪酥赋?,現代化風險的不確定性既可能體現為其出現的地理區(qū)域的普遍而不確定,也可能表現為其加害路徑的飄忽不定和不可捉摸[17]。面對不確定的風險,危機的預防是危機管理的關鍵,其能夠最大限度地減少甚至避免危機帶來的損害[18]。基于對全量數據收集和分析能力的優(yōu)勢,算法能夠較為全面地對當前情勢展開理性、周全的評估,并做出具有前瞻性的規(guī)避或防范治理風險的決策,從而有助于克服傳統政府部門應對治理風險時被動、滯后且低效的困境。

    如美國PredPol公司開發(fā)的犯罪預測軟件,可以根據某一地區(qū)歷史中的犯罪數據記錄,預測出將來某一犯罪可能發(fā)生的時間、地點,從而幫助警局提前在這一地區(qū)部署更多的警力以預防犯罪。這一軟件在亞特蘭大、洛杉磯、雷丁等地應用后,當地的犯罪率都出現了明顯下降的趨勢[19]。又如輿情的預測與治理一直是政府治理工作的難點。盡早預測輿情走向,并提前采取應對措施是治理輿情的重要方式。對此,秦濤等就提出了一種“網絡輿情的無監(jiān)督演化趨勢評估方法”,經驗證和分析,其能夠在缺乏標注數據集的情形下,自動實現對輿情演化態(tài)勢的預測,從而為有效化解輿情風險提供決策支撐[20]。

    二、算法嵌入政府治理的挑戰(zhàn)

    隨著算法參與政府治理的廣度和深度不斷提升,一系列實踐經驗表明,算法并沒有理論預設的那么客觀和公正,其還面臨著諸多異化的風險,因而我們并不能對算法無條件信任,尤其是當前尚未形成技術鎖定效應之前,我們更有必要全面發(fā)掘算法參與政府治理的內在限度,從而幫助我們有針對性地提出風險預防方案,最大限度地發(fā)揮算法決策的優(yōu)勢。

    (一)技術上的難題

    其一,算法的運轉需要大數據支撐,而政府獲取的大數據的完整性和優(yōu)質性往往難以得到有效保障,這就使得算法決策的科學性、周全性和準確性面臨挑戰(zhàn)。算法決策的優(yōu)勢之一就在于其是通過對全量數據的挖掘和學習而建構的治理模型,因而數據的數量和質量關系到算法治理優(yōu)勢能否實現。然而對應用于政府治理的算法而言,可供其學習的數據集的全面性和優(yōu)質性面臨一定程度的考驗。一方面,受制于數據獲取方式以及條塊管理體制,政府往往難以獲得全量數據。對于數據獲取難易度而言,民眾的日常生活、行為習慣等是大數據的主要來源,而現實中,這些數據大多掌控在少數互聯網企業(yè)手中,由于數據資源的稀缺性,政府很難輕易從互聯網企業(yè)手中獲得這些數據。對于條塊管理體制而言,不同部門、地域之間的數據收集系統的研發(fā)、數據收集的標準、數據統計的方式等都存在較大差異,因而不同政府部門之間的數據統計和對接存在一定難度。此外,還存在一些政府部門出于自身利益考量而不愿公開數據、一些涉密數據無法公開以及一些政府部門怠于公開數據的情形[21]。這些因素導致政府難以獲得完整、全面的數據用于建構智能社會治理系統,進而算法決策的正當性和合理性會遭受質疑。另一方面,數據質量問題也困擾著算法的精準性和高效性。除去數據污染、數據失真、數據冗雜、數據價值密度不足等一些大數據共性困境之外,大數據樣本的不平衡問題也是困擾算法決策科學性的重要方面。由于數量上的差異,小樣本數據往往會被當做“噪聲”淹沒于大樣本數據之中,這就可能引發(fā)算法忽視少數族群利益,做出偏誤或不公正決策。

    其二,可信賴的算法決策應當是透明的、可被理解的,因而算法黑箱問題是困擾算法嵌入政府治理可信賴性的又一重要因素。詹娜·布瑞爾指出,算法黑箱的形成原因主要可以歸為以下三類:一是出于保護國家或商業(yè)秘密的目的而引發(fā)的“刻意的不透明”;二是因技術壁壘而出現的“專業(yè)技能上的不透明”;三是因算法本身的復雜性、自主學習性而造成的“運行方式的不透明”[22]。首先,由于算法本身往往蘊含極大的商業(yè)價值或關系一國的重大利益,因而為了防范數據和算法被惡意盜取、復制和篡改,無論是商業(yè)機構還是國家機關往往都傾向于對應用于政府治理的算法尤其是關鍵、核心算法予以保密。如2018年美國紐約就以出臺“自動化決策特別工作組法”的方式,賦權監(jiān)管部門以推動算法的透明化。但在商業(yè)利益的驅動下,諸多科技公司都表達了對這一方案的強烈不滿,并迫使相關機構取消了法案中有關披露算法的全部內容[23]。其次,“專業(yè)技能上的不透明”指的是由于算法技術的復雜性和專業(yè)性,非相關專業(yè)人員對算法有天然的認知鴻溝,即便相關代碼和運行邏輯被公開,普通人也很難理解其決策方式。最后,“運行方式的不透明”則是指由于擁有自主學習、自主革新、自主適應的能力,算法決策往往是一個動態(tài)變化的過程,這就使得獨立運行的算法甚至早已超出算法設計者的認知能力,即便是專業(yè)人員也很難對算法的運行邏輯做出清晰的解釋。算法的這一特性使得“開發(fā)這些應用的工程師即使對于那些表面上看起來相對簡單(諸如推薦廣告或歌曲)的應用程序,也無法完全解釋運行這些服務的計算機編程行為”[24]。與之相比,用于政府治理的算法的決策環(huán)境和決策方式要更加復雜,這無疑會進一步加劇理解算法運行方式的難度。

    (二)倫理上的困境

    其一,用于政府治理的算法看似中立客觀,但“算法技術并不是憑空而來的,而是建立在現有分類手段、思想和類別之上的”[25],因而人類主觀價值偏見難免會映射到算法決策之中,造成算法決策存在偏見、歧視的風險。例如,有研究表明,美國執(zhí)法部門所運用的面部識別工具就存在歧視非洲裔人種的情形,預測犯罪的警務軟件則對少數族裔存在歧視[26]。一般而言,以下三點是造成用于政府治理的算法歧視的主要原因:首先,作為人類社會鏡像的大數據往往會內含人類自身的偏見,因而依靠大數據“喂養(yǎng)”的人工智能決策系統便難免會從中“習得”人類原有的價值偏見。數據是現實世界的映射,現實世界中的歧視問題往往會根植于數據的基因之中。在“偏見進,則偏見出(Bias In,Bias Out)”[27]定律的影響下,人工智能算法做出治理決策時便會如實歸納和遵循這些數據集中的偏見。其次,當前主流的機器學習模型仍然是監(jiān)督式機器學習,其不但需要專家通過打標簽的方式選擇數據特征,還需要算法設計人員依照委托人員的構想設計初始的算法決策模型。而無論是數據標注人員、算法設計人員還是委托設計人員都有可能為了維護自身利益或基于其內在偏見而將歧視因子植入用于政府治理的算法模型之中。最后,為了保障治理成效,降低治理風險,算法會針對個體的數據身份特征展開精準治理。當決策的代價和回報被精準計算之后,社會弱勢群體獲得諸如貸款額度、政策偏向、發(fā)展機遇的概率也將隨之降低。個體不公正的“結構性鎖定效應”可能會進一步加劇貧富分化的馬太效應,而被囚困于“算法監(jiān)獄”之中的數字弱勢群體將陷入被反復歧視的系統性困境之中。

    其二,算法嵌入政府治理還可能造成民眾被算法馴服,無法理性地監(jiān)督治理方案、反思治理成效、參與制定治理方略。民眾既是政府治理的對象,也是政府治理的重要參與者和監(jiān)督者,而在算法參與治理決策的模式下,則可能出現民眾被算法引導和操控,進而參與社會治理的空間和判斷力被逐步侵蝕的風險。嵌入日常政府治理的算法一般會通過以下步驟塑造或整合民眾的判斷或選擇:首先,通過跟蹤、收集線上線下數據痕跡,刻畫不同用戶的主觀偏好并進行群組分類;其次,運用個性化推薦算法,針對不同類型用戶的偏好展開信息推送,從而營造“信息繭房”,進一步固化群體的先入之見;最后,偏見的固化會使得被情緒所裹挾的群體日益封閉,在群體極化效應下,民眾可能不再關注決策內容的正確與否,而更注重自身感受的表達和自我價值的實現。此時,操控者通過推送經過其精心選擇的、負載其意圖的內容,便可以輕易實現對偏向性群體的操控目的[28]。如在2016年美國大選中,特朗普競選團隊就通過定向推送“暗貼”——通過臉書向特定的非裔美國人推送“希拉里稱黑人為掠食者”的視頻的方式,引發(fā)特定群體對希拉里的排斥情緒,從而在一定程度上助力特朗普成功獲選[29]。

    其三,政府在治理的進程中難免需要面對價值選擇問題,而人工智能算法對于治理進程中的價值選擇難題往往無能為力。首先,價值爭論存在于政府治理的諸多方面,且始終沒有一個統一的價值排序 ,這就需要決策者依照治理決策做出時的社會環(huán)境而展開具體的價值判斷。由于價值判斷需要參照的社會環(huán)境(諸如糾紛當事人的心理活動、民眾的道德文化觀念等)難以采取數據化形式充分表征,交由算法展開價值衡量就可能引發(fā)決策片面、偏激等風險。其次,無論是預設價值規(guī)則的理論進路還是復制、學習人類價值決斷的實踐進路,當前主流算法都遵循了道德機器設計的計算主義這一基本方法[30]。這也就意味著人工智能的價值判斷是以計算方式展開的,其通過量化不同價值比重的方式模擬人類的倫理抉擇[31]。治理領域價值沖突的道德計算主義往往從增進整體福利的普惠角度,選擇投入更小、產出更多的治理方式。但在政府治理領域,高效性雖是重要的價值,卻不是唯一甚至不是最重要的價值,當出現價值沖突時,高效有時需要讓位于公平、正義等價值理念。最后,價值自決和價值選擇是人類個體保持獨立性、體現人類存在意義的重要方面,算法替代個體或群體做出價值選擇,幫助其選擇算法自認為更好的生活方式,無疑會危及個體的獨立地位,造成人類主體性的喪失。

    (三)法治上的風險

    其一,算法自動化以及不透明決策的特性會造成相對人不但無法參與決策過程,而且也無法獲得決策結論的合理解釋,因而政府運用算法展開治理面臨著程序正義的拷問。雖然算法決策具有中立性優(yōu)勢,但有學者通過對比研究發(fā)現,在判定決策是否符合程序正義方面,決策過程對于當事人的開放程度以及決策理由的充分程度所占的比重要大于決策者的中立性[32]。在政府治理過程中,被治理對象能否深度參與決策過程,能否獲得便捷的溝通機會,在遇到不合理對待時能否及時、有效進行申訴以及能否獲得合理的決策解釋和救濟是程序正義應當重點關注的。而技術鴻溝、算法黑箱以及算法自動化決策的特質,都決定了我們無法通過行使陳述、申辯、聽證等程序性權利深度參與決策過程,獲得決策理由,最終民眾的基本程序性權利可能會淪為無用的擺設。對此,伊恩·克爾、杰西卡·厄爾充滿擔憂地指出:“具有預測性的算法會在我們不知情的情況下做出對我們產生重要影響的決策,這是和無罪推定以及正當程序價值觀對立的。算法先發(fā)制人的策略,既損害了我們獲得聽證的權利和質疑那些試圖對你不利的人的能力,也削減了我們得到律師的幫助、獲得公開的決策理由以及在某些情況下對決策提出上訴或尋求司法審查的權利”[33]。

    其二,算法在政府治理領域的大規(guī)模應用會帶來公權力被商業(yè)技術公司俘獲的風險。由于算法技術壁壘的存在,缺乏技術手段和人才的政府部門,不得不將許多關涉公共利益決策的算法外包給相關技術公司開發(fā)。這樣,技術公司不但實質上獲得了政府掌握的相關基礎數據,而且還掌控了算法的設計、改良和操作權。如在對倫敦、紐約等城市的智能管理建設經驗分析之后,羅伯·基欽指出:“一些體量巨大的軟件服務和硬件公司正在積極謀求為新興以及老牌城市提供數字技術和數據方案,其目的在于通過提升城市對特定技術平臺和供應商的依賴性,從而形成壟斷地位。最終政府將逐漸被邊緣化,智能城市治理被企業(yè)利益俘獲和公然塑造,私人利益將成為城市管理的實質目的?!盵34]當公權力被商業(yè)利益俘獲后,相關算法決策的出發(fā)點將不再是以公共利益為主導,相應的算法決策結論也就失去了正當性和可靠性,進而可能引發(fā)公眾對政府治理的信任危機。

    其三,算法決策繞開了原有的法律規(guī)則體系,造成技術賦權與約束的非對稱性,隨之而來的行政權力擴張會引發(fā)公民個體權利空間被壓縮的風險。算法通過對海量數據的深度學習,建立數據模型,并不斷自我進化,以實現自動決策。在這一過程中,數據和算法邏輯取代了原有的法律規(guī)則,進而依法決策過程被算法自動決策過程取代。當顯性的法律規(guī)制被架空,原有權力制約機制也將面臨空轉的局面。在權力擴張以及簡約治理法則的驅動下,脫離了法律規(guī)約的治理主體往往會憑借數據壟斷、技術霸權優(yōu)勢,將原有的限制權力、保障權利的格局替換為“權力–支配”格局。因而,算法嵌入政府治理在為權力擴張和治理簡化帶來諸多誘惑的同時,也無形中減損著治理對象的自由。公民的個人權利諸如個人信息權、平等權以及教育、就業(yè)、獲得社會保障等權利均有可能遭到“新型機器官僚主義”的長期、連續(xù)、普遍擠壓和損害?!皵底旨夹g在推動社會進步的同時,也讓我們付出了犧牲自由、平等、隱私等權利空間的代價。隨著信息的成倍增長和廣泛共享,有關個人健康、位置和在線活動的信息都會被收集和分析,這不得不引起我們對隱私、歧視和失控的擔憂”[35]。如蘇州借鑒健康碼治理經驗推出的極具爭議性的“文明碼”,就存在政府部門通過數字治理技術過度擴張權力的延伸界限,收集個人信息或隱私,不合理介入個人私域的風險[36]。

    其四,政府運用算法展開治理還面臨諸多責任分配上的難題。由于相關法律規(guī)定的概括性、缺乏可操作性以及不一致性,我國行政追責制度一直面臨著責任認定標準模糊、責任形式繁雜、擔責主體難以確定等困境[37]。在傳統行政追責制模糊不清的背景下,如何建立與算法決策這一人機混合治理模式相配套的追責制度顯然更加棘手。例如,在追責啟動的標準問題上,由于算法決策的隱蔽性以及相關法律法規(guī)的缺失,傳統行政決策違法或者不當標準在算法決策領域將難以適用;對于擔責主體的認定上,“人工智能是否能夠作為獨立的法律主體”就存在很大爭議,因而傳統的“誰決策,誰負責”的基本追責原則可能失效。同時,如若需要人工智能擔責,其應當以何種方式、在什么范圍內承擔相應的責任?而若人工智能無法擔責,那么是由人工智能算法的設計者擔責還是由政府有關部門抑或商業(yè)保險機構承擔相應的責任?諸如此類的難題都是亟須我們進一步探索和明確的難題。

    三、算法嵌入政府治理的法律規(guī)制

    學者對于規(guī)制算法參與政府治理風險的路徑已經開展了諸多有益探索。一些學者從宏觀路徑設計的角度提出了應對算法決策風險的基本思路,如張欣從時間維度提出我們應當制定算法規(guī)制的長期、中期和短期方案,以穩(wěn)步推進的方式逐步實現智慧化治理目標[38]。丁曉東提出以場景化的方式對算法展開規(guī)制的路徑,認為應當依照不同的場景類型制定不同的規(guī)制方案,從而推動算法可信賴目標的實現[39]。還有學者則從具體制度建構的角度出發(fā),提出針對算法嵌入政府治理某一方面風險的規(guī)制方案。如張凌寒從行政正當程序的角度出發(fā),認為堅持和發(fā)展正當程序制度是解決運用算法展開治理中信息不對稱困境的主要方式[40]。孫慶春、賈煥銀則更強調算法的透明性和可問責性,認為建構以算法公開、算法解釋以及算法責任為框架的算法治理風險防范體系是治理算法的核心和關鍵[41]。通過對現有研究的反思和借鑒,本文認為,對于算法嵌入政府治理風險的法律規(guī)制方案,應當從宏觀的原則指引和微觀的制度建構兩個方面著手,建立完善的法律規(guī)制體系,這樣既能保障相關制度建構的包容性、全面性,又能提升具體制度建構的針對性和可行性。

    (一)算法嵌入政府治理法律規(guī)制的基本原則

    其一,政府運用算法展開治理風險的評價和規(guī)制應當遵循浮動的比例原則。比例原則是行政法的基本原則之一,指的是政府治理的手段和目的之間應當保持適當的比例,“不可用大炮打蚊子”便是對這一原則的形象描述。由于算法技術爆發(fā)期所帶來的成本與收益不斷發(fā)展變化以及算法參與政府治理領域的不斷擴展,單一的或固定的比例已經無法滿足應對算法決策風險的需求。對此,我們可以借鑒巴薩伊針對確定算法責任而提出的“浮動的比例原則”[42],并將其擴展應用于對算法參與政府治理的法律規(guī)制之中,從而根據算法決策的自動化程度、參與治理領域的不同特點以及算法決策技術發(fā)展的不同階段等設定不同強度的、可以適時變動和調整的彈性規(guī)制方案。例如,針對算法責任的分配問題,可以依照決策自動化程度而適用不同的責任分配方案。又如對于算法可以替代政府展開治理領域的劃定,可以依照行政自由裁量權的高低展開劃分。隨著技術的發(fā)展和完善,算法參與的治理領域以及參與程度也是可以不斷浮動變化的??傊@一原則的適用既強調了對算法決策風險的治理需要根據具體情況提出具有針對性、可行性的具體方案,又能為技術發(fā)展提供充足的空間和積極的引導,對于完善算法嵌入政府治理的法律規(guī)制方案具有積極意義。

    其二,算法嵌入政府治理的規(guī)制應當采取主體自覺和法律制度建構相結合的原則。主體自覺是我們理性看待技術發(fā)展,保持人對技術的控制而不是被技術所馴服的前提和基礎。美國《為人工智能的未來做好準備》第1條就指出:我們應當鼓勵公共機構以及私人強化自我審視,從而明確自己是否有能力以及應當通過何種方式,有擔當地利用和發(fā)展人工智能以及機器學習[43]。因此,對于算法的使用者而言,政府部門應當對算法參與治理的進程展開全方位監(jiān)管,努力防范權力轉移和異化。對于算法的開發(fā)者而言,其應當克服私利和偏見對算法設計過程的影響,還應當努力完善算法決策邏輯,保障算法決策的公平性和公正性。對于民眾而言,其不但需要主動了解算法決策的機理與風險,還應當在遭遇不公算法決策時,勇于并善于拿起法律的武器維護自身的公平待遇和合法權益。在提升主體自覺性的同時 ,對相關法律制度建構也是必不可少的。在數字技術飛速發(fā)展、政府治理權責格局被重塑的背景下,現有法律法規(guī)的覆蓋性、前瞻性、針對性不足,立法層級不高等造成算法參與治理的限度、程序、救濟方式等模糊不清的問題日益凸顯。實踐中,無論是對民眾數據權、隱私權等權益的保護,算法供應商權力的限制,政府權力轉移風險的防范,還是對算法黑箱、算法歧視等算法固有風險的規(guī)制,都亟待相關立法的進一步完善和明確。當然,完善相關法律制度的目的并不是要限制用于政府治理的算法技術的發(fā)展,其主要目的在于規(guī)范算法參與政府治理的邊界范圍,明確算法參與政府治理的發(fā)展目標,從而避免因技術野蠻生長而造成算法決策應用誤入歧途。

    其三,對于算法嵌入政府治理風險的規(guī)制應當遵循內部過程控制和外部結果控制相結合的原則。信息技術的發(fā)展使得虛擬空間逐步成為與自然物理空間并行的空間,傳統的對物理空間的規(guī)制方案往往無法內嵌于對虛擬空間的治理之中,因而我們應當轉變原有規(guī)制思路,將視角從單一的物理空間延伸至物理和虛擬的雙重空間,將規(guī)制路徑從單一的對算法的外部結果控制擴展為對算法的內部運行過程控制和外部結果控制相結合的雙重路徑?!爱敶鷮τ诩夹g的控制,更多的需要以代碼而不是法律的方式展開,或者可以說,法律本身也將更多的以代碼的形式表達”[44]。這就要求我們充分重視通過代碼而不單單是法律規(guī)則的方式對算法參與治理的風險展開規(guī)制。將法律規(guī)則轉譯為代碼,以代碼規(guī)制代碼以及轉變原有思維方式,樹立代碼即法律的觀念,能夠幫助我們建構適應雙重空間、人機協作的信息社會,以內嵌和過程控制的方式化解算法參與政府治理的決策風險,推動政府治理健康發(fā)展[45]。

    (二)算法嵌入政府治理法律規(guī)制的具體方案

    在確立算法決策風險法律規(guī)制原則之后,我們應當以這些原則為指引,針對算法嵌入政府治理所面臨的技術、倫理、法治風險提出具有針對性的法律規(guī)制方案,從而為最大限度發(fā)揮算法決策優(yōu)勢、提升算法決策的可信賴性做出努力。

    1.應當建立算法決策應用領域的清單制度

    算法決策并不是適用于政府治理所有領域的,在當前算法應用的初級探索階段,劃定算法決策的適用領域是我們應用和推動算法參與政府治理決策的核心和關鍵。算法決策的自動化程度以及政府在某一治理領域內自由裁量的限度是分別根據算法本身特性和政府治理領域的特征而劃定算法治理適用領域的兩個重要標準。一方面,機器學習算法存在無監(jiān)督學習以及有監(jiān)督學習兩種模式。無監(jiān)督學習算法的設計和運營者是無法預設和控制算法的學習方向以及決策結果的,而脫離了人為干預,人類便無法保障算法的決策是以契合法律法規(guī)以及倫理規(guī)范的方式做出的[46]。有鑒于此,歐盟《一般數據保護條例》第22條規(guī)定,如果某一決策對個人產生法律效力或與之類似的重大影響時,數據主體擁有免于受到完全自動化決策約束的權利。因而對于政府治理而言,算法決策的自動化程度越高,就意味著其參與政府治理的合規(guī)性和合倫理性越弱。另一方面,在政府治理裁量權限的維度上,對自由裁量權的限制越大,便意味著算法參與決策的程度就應當越低。這是因為在實踐中,如若裁量可能會造成更嚴重的后果,那么相應自由裁量的權限就會被控制得更嚴格,尤其在國家安全、限制公民權利、刑事執(zhí)法等涉及國計民生的重要領域的行政決策問題上,政府的行為往往會受到法律規(guī)則、法定程序和法治理念的嚴格控制,目的是加強決策的可預測性和對任意行使權力的限制,盡量降低裁量出錯的概率。此時,由算法展開決策所帶來的附加值,諸如效率的提升、控制個人因素對結論的影響等,便十分有限;而算法本身缺乏透明性,溝通–說理能力不足,以相關關系替代因果關系可能導致錯誤的任意性風險等方面的缺陷則可能被進一步放大。因此,當政府在決策中享有廣泛的自由裁量權時,他們應該利用機器學習的好處;而當政府自由裁量權受到高度限制時,他們應該避免使用機器決策工具[47]。

    但是,完全的自動化決策以及算法全面涉足政府治理領域是當前人工智能技術發(fā)展的大勢所趨,無論是限制自動化決策參與政府治理,還是嚴控低自由裁量領域運用算法決策,都可能和技術發(fā)展趨勢相抵觸,因而我們還需要建立相應的豁免機制,以契合算法決策的治理應用實踐。對此,我們有必要探索建立以自動化決策維度和裁量權限維度為基礎,以豁免機制為補充的算法決策應用領域清單制度。這一清單既要包含可以應用算法決策的正面領域清單,也要包含禁止或限制算法決策應用的負面領域清單。具體清單的制定可以考慮采取向社會公開征集意見、舉辦聽證會、專家論證會等方式,并建立適當的清單變動制度,從而有效保障清單的合理性和可行性。實踐中,中國電子技術標準化研究院發(fā)布的《人工智能深度學習算法評估規(guī)范》,以實際應用場景為基礎,建立算法可靠性評估指標體系,其對建構算法應用領域的清單具有積極的指導意義。今后我們應當在此基礎上進一步精細化算法決策應用領域的評估體系和應用清單,從而為用于政府治理的算法發(fā)展劃定適當的界限,指明努力的方向。

    2.完善算法解釋制度,提升算法的可解釋性

    算法決策的透明化是破解算法黑箱、防范算法歧視以及算法被商業(yè)公司俘獲等風險,保障算法決策公正性的重要方式。由于算法代碼的專業(yè)性、與商業(yè)秘密的強相關性以及算法的安全性需求,通過開放源代碼的方式并不能解決算法透明性不足的困境。實際上,公眾所關心的也不是算法代碼是否公開的問題,而是用于政府治理的算法決策目標以及實現這些目標的建構邏輯能否被公眾理解和接受的問題?!肮矊嶓w所應著重關注的是用于社會治理的算法的設計、采購和實施流程是否以深思熟慮和透明的方式進行。公共實體在采購算法的合同中并不一定需要供應商披露精確的算法代碼,而是應當要求供應商交付算法模型的生成記錄和運行邏輯,從而用來解釋關鍵的政策和幫助展開驗證工作?!盵48]因此,算法解釋制度的建構才是推動算法透明目標實現的可行路徑。

    鑒于用于政府治理的算法往往是通過對外采買的方式獲取的這一現狀,政府應當利用其買方優(yōu)勢,要求算法供應商提供包括用于算法學習的數據集、對數據集進行標注以及排除或加權某些數據的依據和標準、建構算法時做出的主要政策選擇、算法的缺陷以及相關防范措施、對算法的驗證和審核結果等在內的算法建構和測試記錄。這些記錄應當由算法供應商或者政府予以公布,以主動接受民眾和第三方機構的監(jiān)督和質詢。在政府運用算法治理的實踐中,相關部門還應當負有主動告知相對人“決策由算法做出”的義務,以便相對人行使其獲得算法解釋以及拒絕自動化決策的權利。當利益相關者提出合理質詢時,算法供應機構還有責任以通俗易懂的方式提供治理決策的解釋。實踐中,華盛頓州于2019年擬推出的有關算法問責法案,就提出公共事業(yè)部門決定采用算法決策系統之前,應當提前將系統的創(chuàng)建方案和數據報告提交給州隱私部門,并向公眾公開,征求公眾意見,從而幫助公眾理解以及監(jiān)督算法決策[49]。此外,我們還應當重視對相關算法解釋技術的應用。如有學者通過引入“概念激活向量測試(TCAV)”的方式,可以較為直觀地顯示用戶定義的概念對分類結果的重要性程度,從而以對人類友好的方式解釋神經網絡的內部狀態(tài)[50]。

    3.壓實與算法決策相關的溝通、監(jiān)管制度

    首先,我們應當探索設立獨立的人工智能監(jiān)管、協調、問責機構。由于現有監(jiān)管和協調體制的分散化、非專業(yè)化等原因,對算法發(fā)展的引導、支持、監(jiān)管等工作處于一種被動、松散、無序的狀態(tài)。在信息社會到來的背景下,人工智能的發(fā)展和應用呈現爆發(fā)性趨勢,因而提早籌劃建立統一的人工智能技術發(fā)展協調、監(jiān)管機構便十分必要。在機構設置上,可以采取設立獨立的監(jiān)管機構并配備專業(yè)技術人才的方式以統一協調、引導和監(jiān)管人工智能技術的發(fā)展。在機構職能上,除了對用于政府治理的算法行使監(jiān)管職責之外,這一監(jiān)管機構還應當擔負起制定相關規(guī)范標準、協調建立統一的數據開放平臺等協調溝通職能。如對于數據平臺的建設,由統一的監(jiān)管機構建立政府信息收集和公開平臺便能夠克服當前政府數據條塊分割的困境,同時還可由其審查數據的類型,決定數據是應當完全開放還是需要通過申請——許可的方式開放,從而既維護了數據的安全性,還能夠保障用于政府治理的算法所學習的數據的完整性。

    其次,建立和完善算法驗證評估許可制度以及針對投入使用的算法的審計制度。相關監(jiān)管制度的完善是保障監(jiān)管機構有效運轉、防范算法決策風險的另一重要方面。一方面,我們應當完善算法投入應用前的驗證評估許可制度建設,根據算法不同應用領域的重要性以及算法決策自動化程度,分別展開強制性的、抽樣性的或依申請的驗證評估。對于那些涉及國家重要事項、限縮公民權利等的算法應當在投入使用前,由專業(yè)機構對其展開全面的驗證評估,只有符合評估標準的算法才能投入到治理實踐中。另一方面,對于已經運行的算法,可以根據算法參與治理事項的重要程度,由獨立的監(jiān)督機構采取定期年檢、抽樣審計或者依申請審計等方式,重點對算法的運轉邏輯及決策結論是否存在歧視、漏洞、偏誤等展開事中和事后檢測。此外,如若算法決策相對人或利益相關者對算法決策提出異議,算法監(jiān)管機構還有義務對相關算法展開審查,并將審查結論及時告知異議提出者。

    最后,對于算法的監(jiān)管和協調工作,要善于運用現有技術手段,從而以代碼規(guī)制代碼,以技術治理技術。例如,對于統一數據平臺的建設,就可以充分發(fā)揮區(qū)塊鏈在整合信息以及保障數據全流程可追溯、公開透明、自動留痕、不可篡改等方面的優(yōu)勢,消解不同地區(qū)和政府部門之間的數據鴻溝、數據孤島,實現用于算法學習的數據的真實性、完整性和可信性[51]。又如,對于算法審計而言,日益成熟的“歧視感知數據挖掘”技術,能夠幫助我們自動識別算法是否存在歧視等偏離公正倫理的情形[52]。此外,通過預先埋入審計線索的方式,也可以全面記錄用于政府治理的算法決策過程,為審計人員審計工作的開展提供便利。

    4.積極引導并努力保障算法決策符合基本倫理要求

    面對算法嵌入政府治理存在算法歧視、算法霸權等倫理風險,通過立法和技術規(guī)制的方式提升算法決策的倫理正當性尤為必要。一方面,在人工智能時代,“代碼創(chuàng)作者開始越來越多地扮演立法者的角色”[53],因而我們應當通過立法的方式,劃定算法設計、開發(fā)者所應當遵循的倫理道德底線。立法是平衡效率與公平的重要方式,通過立法加權數字弱勢群體,為算法設計、開發(fā)者劃定倫理道德底線,可以有效避免小樣本數據被淹沒、弱勢群體被算法決策系統性歧視、算法決策忽視公共利益而被商業(yè)公司俘獲等諸多算法決策風險,從而保障算法決策符合基本倫理要求。

    另一方面,我們還可以通過代碼嵌入的方式將法律規(guī)定的基本倫理、正義理念植入算法模型之中。實現這一目標可以通過以下兩種路徑展開。一種路徑是依照政府治理的特點,參照現有法律基本規(guī)定,事先制定用于治理的算法所應當遵循的基本價值準則,然后通過法律代碼化的方式,將這些倫理要求編入算法決策的主要節(jié)點之中。當算法的決策過程偏離這些倫理要求時,便會因不符合相應的觸發(fā)條件而無法啟動代理節(jié)點,從而阻斷違背基本倫理準則的算法決策生成[54]。另一種路徑就是運用算法自身的學習能力,讓其自主學習治理先例中不同情境下各要素在價值衡量中所占的比重,并將當前治理事項與先例比對,對于二者交叉或重復的區(qū)間則采取與先例相同的價值選擇傾向,從而保障算法決策符合政府治理的基本價值判斷。匹茲堡大學的托馬斯·薩蒂依照這一進路開發(fā)了等級層次和網絡層次分析算法,其將定量分析和定性分析相結合,能夠有效緩解算法決策的倫理選擇困境[55]。

    5.建立合理的算法決策責任分配機制

    在當前技術發(fā)展背景下,將用于政府治理的算法決策責任分配給機器的做法不符合現實需求,因而算法決策違法或不當的主要責任應當在政府和第三方供應商之間分配。無論是由政府這一算法決策的目標設定者和最大受益者擔責,還是由作為算法具體設計者的第三方供應商擔責,都有一定道理,因而對于擔責問題的分配也存在諸多爭論。此時,我們認為可以從因治理決策違法或者不當而遭到損害的治理相對人的角度來對這一問題展開思考。首先,民眾將治理決策權交由政府掌管,是出于對政府決策能力和擔責能力的認可和信任,政府也以自身的公信力為算法決策做出相應的背書,因而從政治合法性的角度講,由政府擔責更為合理。其次,若由第三方供應商承擔責任,那么不但會增加算法決策相對人的維權成本,而且由于算法決策的專業(yè)性,對算法了解不足的相對人還要承擔更大的維權失敗風險。最后,還有學者提出了一些反對政府擔責的觀點,其認為“政府機構很少或根本沒有實際參與系統的設計、實施或測試。因而,國家只是一個容納違法行為的空殼,而不是實施違法行為的主要行為者。對政府機構追責可能會削弱軟件供應商投入更多成本以減少算法治理損害的動機”[56]。但筆者認為對于政府機構的追責恰恰是倒逼政府主動參與或監(jiān)督系統設計、實施和測試的有益嘗試,這對于提升算法決策的科學性和公正性具有積極意義;同時,由于政府屬于算法的購買方,其還可以通過事后追償或者更換供應商的方式激勵算法供應商提升算法決策的可靠性。

    四、結語

    隨著算法決策技術的日益成熟,將算法嵌入政府治理對于提升政府治理成效、降低政府治理成本具有根本性的變革意義,但這并不意味著我們應當無條件地對嵌入政府治理的算法予以信任。無論是理論預設還是實踐經驗都表明,算法決策會帶來諸多新的風險和挑戰(zhàn)。因而,面對算法決策,我們既不可盲目樂觀,也不可過度悲觀,我們應當做的是在參與政府治理的算法技術尚未完全定型的情況下,及時提出有效的法律規(guī)制方案,盡可能地保障算法決策在可信賴的軌道上行穩(wěn)致遠。當然,本文所提出的法律規(guī)制方案還存在諸多局限性,如:獨立的算法監(jiān)管機構與現有監(jiān)管機構之間的關系問題,如何判定算法決策是否違法或缺乏正當性問題,如何具體保障數字弱勢群體的權利問題,等等。因而對于算法嵌入政府治理法律規(guī)制方案的討論并不是一勞永逸的,我們應當依照實踐經驗不斷完善相關法律規(guī)制方案,從而努力推動政府治理現代化轉型目標的實現。

    猜你喜歡
    決策政府算法
    為可持續(xù)決策提供依據
    基于MapReduce的改進Eclat算法
    Travellng thg World Full—time for Rree
    決策為什么失誤了
    知法犯法的政府副秘書長
    支部建設(2019年36期)2019-02-20 13:21:22
    進位加法的兩種算法
    一種改進的整周模糊度去相關算法
    依靠政府,我們才能有所作為
    政府手里有三種工具
    完形填空三則
    a级毛片免费高清观看在线播放| 亚洲成人av在线免费| 欧美老熟妇乱子伦牲交| 国产一区有黄有色的免费视频| 久久精品久久久久久久性| 插阴视频在线观看视频| 亚洲最大成人av| 自拍欧美九色日韩亚洲蝌蚪91 | 久久精品国产a三级三级三级| 麻豆成人午夜福利视频| 午夜福利视频1000在线观看| 欧美性感艳星| 黑人高潮一二区| 色哟哟·www| 丰满人妻一区二区三区视频av| 各种免费的搞黄视频| 美女国产视频在线观看| freevideosex欧美| 午夜福利网站1000一区二区三区| 老司机影院毛片| 国产毛片在线视频| 18+在线观看网站| 男人添女人高潮全过程视频| 国产视频内射| 精品人妻熟女av久视频| 2021少妇久久久久久久久久久| 久久午夜福利片| 在线观看免费高清a一片| 成人漫画全彩无遮挡| 欧美另类一区| 一级片'在线观看视频| 国产伦精品一区二区三区视频9| 少妇人妻一区二区三区视频| 国产黄色免费在线视频| 久久精品人妻少妇| 国产精品一区二区性色av| 欧美最新免费一区二区三区| 黄色日韩在线| 99re6热这里在线精品视频| 少妇的逼水好多| 成人午夜精彩视频在线观看| 99热这里只有是精品50| 国产高清三级在线| av在线老鸭窝| 国产日韩欧美亚洲二区| 久久精品国产亚洲av天美| 亚洲精品乱码久久久v下载方式| 如何舔出高潮| 成人二区视频| 嘟嘟电影网在线观看| 欧美3d第一页| 免费在线观看成人毛片| 免费看av在线观看网站| 美女视频免费永久观看网站| 久久久久性生活片| 国产精品一二三区在线看| 乱系列少妇在线播放| 香蕉精品网在线| 晚上一个人看的免费电影| 狠狠精品人妻久久久久久综合| 中文字幕久久专区| 亚洲国产精品999| 久久久久久久久久久免费av| 三级经典国产精品| 人人妻人人澡人人爽人人夜夜| 亚洲电影在线观看av| 日本黄大片高清| 在线看a的网站| 神马国产精品三级电影在线观看| 国产精品福利在线免费观看| 国产精品女同一区二区软件| 精品一区在线观看国产| 少妇的逼好多水| 精品一区在线观看国产| 99九九线精品视频在线观看视频| 成人漫画全彩无遮挡| 亚洲色图综合在线观看| 性插视频无遮挡在线免费观看| 性插视频无遮挡在线免费观看| 久久久久九九精品影院| 毛片女人毛片| 国产69精品久久久久777片| 一级爰片在线观看| 人妻系列 视频| 亚洲国产欧美在线一区| 成人无遮挡网站| 久久韩国三级中文字幕| 18禁在线播放成人免费| 三级国产精品欧美在线观看| 少妇高潮的动态图| 你懂的网址亚洲精品在线观看| 久久热精品热| 亚洲av成人精品一二三区| 国产成年人精品一区二区| 国产亚洲午夜精品一区二区久久 | 久热这里只有精品99| 欧美老熟妇乱子伦牲交| 色综合色国产| 久久热精品热| 成人国产麻豆网| 色哟哟·www| 国产av国产精品国产| 国产免费一区二区三区四区乱码| 中文乱码字字幕精品一区二区三区| 建设人人有责人人尽责人人享有的 | 美女脱内裤让男人舔精品视频| 亚洲av日韩在线播放| 午夜福利在线在线| 精品一区二区免费观看| 亚洲av免费在线观看| 国产亚洲最大av| 国产av国产精品国产| 日韩三级伦理在线观看| 在线观看国产h片| 18禁裸乳无遮挡免费网站照片| 51国产日韩欧美| 日本欧美国产在线视频| 国产精品一二三区在线看| 亚洲图色成人| kizo精华| 欧美日韩综合久久久久久| 欧美精品人与动牲交sv欧美| 视频区图区小说| 91久久精品国产一区二区三区| 美女内射精品一级片tv| 热99国产精品久久久久久7| 天堂俺去俺来也www色官网| tube8黄色片| 高清视频免费观看一区二区| 高清午夜精品一区二区三区| 街头女战士在线观看网站| 日韩av免费高清视频| 亚洲欧美清纯卡通| 日本黄色片子视频| 老女人水多毛片| 欧美日本视频| 日本-黄色视频高清免费观看| 日本与韩国留学比较| 精品国产三级普通话版| 丰满人妻一区二区三区视频av| 日本av手机在线免费观看| 免费观看的影片在线观看| 最近的中文字幕免费完整| 香蕉精品网在线| 国产亚洲av片在线观看秒播厂| 久久久欧美国产精品| 三级经典国产精品| 亚洲精品aⅴ在线观看| 深夜a级毛片| 菩萨蛮人人尽说江南好唐韦庄| 大码成人一级视频| 在线观看国产h片| 精品久久久精品久久久| 51国产日韩欧美| 熟妇人妻不卡中文字幕| 男女无遮挡免费网站观看| 国产精品一区二区三区四区免费观看| av在线蜜桃| 久久国产乱子免费精品| 国产男人的电影天堂91| 一个人观看的视频www高清免费观看| 高清欧美精品videossex| 久久精品夜色国产| 亚洲不卡免费看| 少妇的逼水好多| 欧美日韩综合久久久久久| freevideosex欧美| 少妇人妻 视频| 精品久久久久久久久av| 国产成人a∨麻豆精品| 国产视频内射| 男女无遮挡免费网站观看| 黄色一级大片看看| 午夜福利高清视频| 自拍偷自拍亚洲精品老妇| www.色视频.com| 一级二级三级毛片免费看| 久久国内精品自在自线图片| 欧美 日韩 精品 国产| 久久这里有精品视频免费| 三级经典国产精品| 91aial.com中文字幕在线观看| 亚洲自偷自拍三级| 91在线精品国自产拍蜜月| 热99国产精品久久久久久7| 成年免费大片在线观看| 丝袜喷水一区| 国产毛片在线视频| 纵有疾风起免费观看全集完整版| 少妇被粗大猛烈的视频| 一级a做视频免费观看| 毛片一级片免费看久久久久| 国产精品国产三级国产专区5o| 天堂网av新在线| 欧美+日韩+精品| 永久网站在线| 日本与韩国留学比较| 青春草亚洲视频在线观看| 黄色视频在线播放观看不卡| 婷婷色av中文字幕| 免费人成在线观看视频色| 国产免费一级a男人的天堂| 亚洲av福利一区| 亚洲精品国产av成人精品| 午夜精品国产一区二区电影 | 寂寞人妻少妇视频99o| 免费不卡的大黄色大毛片视频在线观看| 91久久精品国产一区二区成人| 99热全是精品| 黄色欧美视频在线观看| 国产熟女欧美一区二区| 我的女老师完整版在线观看| 国语对白做爰xxxⅹ性视频网站| 中文字幕制服av| 色综合色国产| 日韩精品有码人妻一区| 欧美一区二区亚洲| 韩国高清视频一区二区三区| 亚洲人成网站在线观看播放| 国产黄色免费在线视频| 青青草视频在线视频观看| 国产精品99久久99久久久不卡 | 毛片女人毛片| 老师上课跳d突然被开到最大视频| 中文字幕久久专区| 三级男女做爰猛烈吃奶摸视频| 亚洲av欧美aⅴ国产| av免费在线看不卡| 欧美激情在线99| 成年免费大片在线观看| 欧美日本视频| 婷婷色麻豆天堂久久| 一级片'在线观看视频| 能在线免费看毛片的网站| 久久久久久久大尺度免费视频| 另类亚洲欧美激情| 国产高潮美女av| 一级a做视频免费观看| 51国产日韩欧美| 男人添女人高潮全过程视频| 亚洲成人av在线免费| 精品久久久久久电影网| 在线观看免费高清a一片| 亚洲精品国产av蜜桃| 成人高潮视频无遮挡免费网站| 免费高清在线观看视频在线观看| 久久久久久国产a免费观看| 高清欧美精品videossex| 别揉我奶头 嗯啊视频| 少妇高潮的动态图| av国产免费在线观看| 深爱激情五月婷婷| 在线免费观看不下载黄p国产| 可以在线观看毛片的网站| 91久久精品电影网| 日韩三级伦理在线观看| 日韩亚洲欧美综合| 丝袜喷水一区| 成年女人看的毛片在线观看| 国产精品人妻久久久影院| 亚洲av免费高清在线观看| 国产大屁股一区二区在线视频| 国产探花极品一区二区| 日日啪夜夜撸| 大片电影免费在线观看免费| 国产亚洲精品久久久com| 老女人水多毛片| 男人舔奶头视频| 激情五月婷婷亚洲| a级毛色黄片| 日日摸夜夜添夜夜添av毛片| 国产黄色免费在线视频| 欧美性感艳星| 欧美3d第一页| 色综合色国产| 亚洲天堂av无毛| 丝袜美腿在线中文| 又爽又黄a免费视频| 人体艺术视频欧美日本| 一级毛片 在线播放| 一区二区三区乱码不卡18| 成人亚洲精品av一区二区| 国产免费又黄又爽又色| 三级国产精品欧美在线观看| 男女啪啪激烈高潮av片| 国产国拍精品亚洲av在线观看| 水蜜桃什么品种好| 人妻 亚洲 视频| 日韩av不卡免费在线播放| 搡老乐熟女国产| 亚洲电影在线观看av| 99久久中文字幕三级久久日本| 在现免费观看毛片| 人妻 亚洲 视频| 亚洲自拍偷在线| 一区二区三区免费毛片| 国产成人精品一,二区| 麻豆久久精品国产亚洲av| 国产精品三级大全| a级毛色黄片| 岛国毛片在线播放| av免费在线看不卡| 国产精品嫩草影院av在线观看| 国产探花在线观看一区二区| 亚洲av中文av极速乱| 69av精品久久久久久| 男人添女人高潮全过程视频| 中文欧美无线码| 国模一区二区三区四区视频| 人人妻人人澡人人爽人人夜夜| 日韩成人av中文字幕在线观看| 小蜜桃在线观看免费完整版高清| 国产一区二区亚洲精品在线观看| 成人欧美大片| 国产精品三级大全| 国产伦精品一区二区三区四那| 国产一区亚洲一区在线观看| 99久久人妻综合| 成人黄色视频免费在线看| 亚洲精品第二区| 久久久久久九九精品二区国产| 99久国产av精品国产电影| 在线a可以看的网站| 久久6这里有精品| 欧美+日韩+精品| 嫩草影院精品99| 美女被艹到高潮喷水动态| av又黄又爽大尺度在线免费看| 新久久久久国产一级毛片| 亚洲欧美成人综合另类久久久| 性色av一级| freevideosex欧美| 99热这里只有是精品在线观看| 91午夜精品亚洲一区二区三区| 日本欧美国产在线视频| 我的老师免费观看完整版| 美女cb高潮喷水在线观看| 久久久久久久久久人人人人人人| 丰满少妇做爰视频| h日本视频在线播放| 久久6这里有精品| 亚洲在久久综合| 国产精品女同一区二区软件| 亚洲在久久综合| 超碰av人人做人人爽久久| 国产精品人妻久久久久久| 97在线视频观看| 免费人成在线观看视频色| xxx大片免费视频| 新久久久久国产一级毛片| 久久99热这里只有精品18| 久久久久久久大尺度免费视频| 欧美日韩视频精品一区| 欧美成人精品欧美一级黄| 成人黄色视频免费在线看| 又爽又黄无遮挡网站| 永久网站在线| 欧美日韩国产mv在线观看视频 | 精华霜和精华液先用哪个| 又爽又黄无遮挡网站| 国产午夜精品久久久久久一区二区三区| 久久久久国产精品人妻一区二区| 免费高清在线观看视频在线观看| 啦啦啦啦在线视频资源| 日本色播在线视频| 成人亚洲精品av一区二区| 精品久久久久久久久亚洲| 晚上一个人看的免费电影| 亚洲精品成人久久久久久| 国产精品久久久久久精品古装| 久久99蜜桃精品久久| 免费看av在线观看网站| 看非洲黑人一级黄片| 国产v大片淫在线免费观看| 日本色播在线视频| 成年av动漫网址| 国内揄拍国产精品人妻在线| 精品人妻一区二区三区麻豆| 久久久成人免费电影| 国产乱人偷精品视频| 国产成人91sexporn| 久久久久久久久久久丰满| 国产精品av视频在线免费观看| 日本三级黄在线观看| 精品久久久久久电影网| videos熟女内射| 亚洲av.av天堂| 97在线人人人人妻| xxx大片免费视频| 大又大粗又爽又黄少妇毛片口| 自拍欧美九色日韩亚洲蝌蚪91 | 伊人久久国产一区二区| 最近最新中文字幕免费大全7| 最近最新中文字幕大全电影3| 各种免费的搞黄视频| 黄色欧美视频在线观看| 激情五月婷婷亚洲| 内射极品少妇av片p| 啦啦啦中文免费视频观看日本| 亚洲国产日韩一区二区| 一区二区三区免费毛片| 大话2 男鬼变身卡| 亚洲精品第二区| 2021天堂中文幕一二区在线观| 亚洲成人一二三区av| 欧美日韩视频精品一区| 别揉我奶头 嗯啊视频| 亚洲av男天堂| 日韩电影二区| av在线天堂中文字幕| 亚洲在久久综合| 女人十人毛片免费观看3o分钟| 亚洲av二区三区四区| 午夜老司机福利剧场| 免费观看在线日韩| 狂野欧美白嫩少妇大欣赏| 久久99精品国语久久久| 晚上一个人看的免费电影| 少妇人妻 视频| 老师上课跳d突然被开到最大视频| 亚洲av免费在线观看| 日韩电影二区| 欧美性感艳星| 久久久久国产网址| 欧美日韩国产mv在线观看视频 | 中文欧美无线码| 在线免费观看不下载黄p国产| 日韩av不卡免费在线播放| 狂野欧美激情性bbbbbb| 黄片无遮挡物在线观看| 少妇熟女欧美另类| 国产午夜精品久久久久久一区二区三区| 国产精品久久久久久精品古装| 日韩欧美精品v在线| 国产69精品久久久久777片| 日韩人妻高清精品专区| 熟女人妻精品中文字幕| 日韩人妻高清精品专区| 韩国av在线不卡| 亚洲真实伦在线观看| 人妻系列 视频| 免费看a级黄色片| 国产乱来视频区| 99精国产麻豆久久婷婷| 国语对白做爰xxxⅹ性视频网站| 亚洲av二区三区四区| 六月丁香七月| 欧美最新免费一区二区三区| 亚洲精品国产av成人精品| 国产高清不卡午夜福利| 禁无遮挡网站| 一级毛片黄色毛片免费观看视频| 丝袜脚勾引网站| 国产永久视频网站| 建设人人有责人人尽责人人享有的 | 日本一二三区视频观看| 国产午夜福利久久久久久| 国产亚洲精品久久久com| 在线天堂最新版资源| 日韩欧美精品免费久久| 国产成人精品久久久久久| 色视频在线一区二区三区| 国产精品国产av在线观看| 亚洲精品国产成人久久av| 日韩一区二区视频免费看| 91久久精品国产一区二区三区| 亚洲精品一二三| 青青草视频在线视频观看| 色5月婷婷丁香| 日本爱情动作片www.在线观看| 国产成人freesex在线| 少妇猛男粗大的猛烈进出视频 | 久久午夜福利片| 黄色日韩在线| 99久国产av精品国产电影| av网站免费在线观看视频| 99热这里只有是精品在线观看| av在线观看视频网站免费| 晚上一个人看的免费电影| 精品久久久久久久久亚洲| videos熟女内射| 久久久久久久午夜电影| 九草在线视频观看| 日本欧美国产在线视频| 国产精品偷伦视频观看了| 99热这里只有精品一区| 国产男人的电影天堂91| 搞女人的毛片| 禁无遮挡网站| 一区二区三区精品91| 久久精品国产a三级三级三级| 午夜激情久久久久久久| 十八禁网站网址无遮挡 | 在线观看美女被高潮喷水网站| 人人妻人人澡人人爽人人夜夜| 在线 av 中文字幕| 精品人妻视频免费看| 亚洲精品一区蜜桃| 色哟哟·www| 日本熟妇午夜| 日韩亚洲欧美综合| 国产一区二区三区av在线| 久久久久久久久久久丰满| 国产精品三级大全| 欧美激情久久久久久爽电影| 2021少妇久久久久久久久久久| 免费高清在线观看视频在线观看| 亚洲国产精品国产精品| 国产一区二区亚洲精品在线观看| 色综合色国产| 黄色视频在线播放观看不卡| 欧美bdsm另类| 国产欧美日韩精品一区二区| 国产成人免费无遮挡视频| 在线看a的网站| 又爽又黄无遮挡网站| 色吧在线观看| 日日摸夜夜添夜夜添av毛片| 丰满少妇做爰视频| 免费高清在线观看视频在线观看| 极品少妇高潮喷水抽搐| 搡老乐熟女国产| 成人亚洲欧美一区二区av| 国产成人aa在线观看| 26uuu在线亚洲综合色| 夜夜爽夜夜爽视频| 嫩草影院新地址| 免费观看av网站的网址| 欧美丝袜亚洲另类| 国产成人免费观看mmmm| 日韩在线高清观看一区二区三区| 欧美日韩国产mv在线观看视频 | 激情 狠狠 欧美| 免费av不卡在线播放| 亚洲成人久久爱视频| 久久久久精品久久久久真实原创| 亚洲丝袜综合中文字幕| 啦啦啦中文免费视频观看日本| 在线看a的网站| 蜜桃亚洲精品一区二区三区| 久久久国产一区二区| 免费大片黄手机在线观看| 亚洲精品日本国产第一区| 日本午夜av视频| 国产色婷婷99| 色播亚洲综合网| 国产高潮美女av| 欧美极品一区二区三区四区| 亚洲欧洲日产国产| 三级经典国产精品| 亚洲欧美日韩另类电影网站 | 国国产精品蜜臀av免费| 亚洲av二区三区四区| 久久久久国产精品人妻一区二区| 99久久精品热视频| 欧美日本视频| 禁无遮挡网站| 五月伊人婷婷丁香| 联通29元200g的流量卡| 国精品久久久久久国模美| 国产精品一区二区性色av| 成人亚洲精品av一区二区| 国产成人福利小说| 波野结衣二区三区在线| 久久久久性生活片| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 国产伦精品一区二区三区视频9| 美女被艹到高潮喷水动态| 一个人观看的视频www高清免费观看| 91午夜精品亚洲一区二区三区| 久久久久久久大尺度免费视频| 色哟哟·www| h日本视频在线播放| 人妻系列 视频| 免费电影在线观看免费观看| 亚洲在久久综合| 好男人在线观看高清免费视频| 国产一区二区在线观看日韩| 中文字幕久久专区| 国产精品久久久久久av不卡| 久久久午夜欧美精品| 国产高清三级在线| 黄色怎么调成土黄色| 成人毛片a级毛片在线播放| 亚洲国产成人一精品久久久| a级毛片免费高清观看在线播放| 国产高清不卡午夜福利| 免费看av在线观看网站| 国产成人精品婷婷| 国产精品一区二区在线观看99| 亚洲精品成人av观看孕妇| 97超视频在线观看视频| 日韩国内少妇激情av| 国产美女午夜福利| 99久久精品热视频| 久久久久久久久久成人| 日本欧美国产在线视频| 免费播放大片免费观看视频在线观看| 午夜视频国产福利| 婷婷色综合www| av国产免费在线观看| 亚洲人成网站在线观看播放| 亚洲国产最新在线播放| 少妇人妻一区二区三区视频| 秋霞伦理黄片| 一区二区三区免费毛片| 91aial.com中文字幕在线观看| 精品视频人人做人人爽| 亚洲高清免费不卡视频| 国产亚洲5aaaaa淫片| 黄色欧美视频在线观看| 六月丁香七月| 精品人妻视频免费看| 成人欧美大片| 亚洲欧美清纯卡通|