• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    公共治理視域下自動化應用的法律規(guī)制

    2022-02-05 07:43:51唐林垚
    交大法學 2022年2期
    關鍵詞:維度法律

    唐林垚

    黨的十九屆五中全會提出,“十四五”時期經濟社會發(fā)展要以推動高質量發(fā)展為主題,這是根據(jù)我國發(fā)展階段、發(fā)展環(huán)境、發(fā)展條件變化做出的科學判斷。(1)王昌林: 《深入學習貫徹黨的十九屆五中全會精神 以推動高質量發(fā)展為主題》,載《人民日報》2020年11月17日,第9版。自動化應用能夠提高經濟社會的智能化水平,有效增強公共服務和城市管理能力,是提升現(xiàn)代化治理不可或缺的技術加持。在“黑天鵝”和“灰犀?!睙o處不在的風險社會,依靠大數(shù)據(jù)、云計算、機器學習以及各類算法工具營造的行政“社會共律”,是獨立個體普遍“自律不足”的必要補充;健康碼等自動化應用介入公共治理具有了充分的合法性根基。《法治中國建設規(guī)劃(2020—2025年)》要求在2022年年底前建成全國一體化的電子政務服務平臺,推動人民群眾參與社會治理,打造共建共治共享的社會治理格局;電子化審批、算法化決策、智能化評估和服務等,已在多個領域先行試點。

    自動化應用提升現(xiàn)代化治理,需要強大的經濟和法律制度作為后盾?!坝捎诩夹g變革帶來的‘外部性’不斷變化,行為主體難以就風險程度、治理事項的優(yōu)先排序、治理目標與手段的選擇等問題形成共識,這使得安全治理在起點的原則規(guī)范上就缺乏堅實基礎?!?2)劉楊鉞: 《技術變革與網(wǎng)絡空間安全治理: 擁抱“不確定的時代”》,載《社會科學》2020年第9期,第41頁。囿于對不斷涌現(xiàn)的新形勢、新業(yè)態(tài)、新模式的認知不足,當前個人信息保護法和數(shù)據(jù)安全法的立法和闡釋進路,正不可避免地步入過于關注隱私保護的歐盟《通用數(shù)據(jù)保護條例》、強化信息披露的法國《行政法典》以及確保責任主體鏈條可追蹤識別的美國《算法問責法案》等“問題驅動型立法”的路徑依賴,(3)參見蘇宇、高文英: 《個人信息的身份識別標準: 源流、實踐與反思》,載《交大法學》2019年第4期,第54—71頁?!邦^痛醫(yī)頭、腳痛醫(yī)腳”的立法范式,難以為自動化技術的跳躍式發(fā)展和管理部門的跨界式應用提供保障。研究表明,完全從信息保護入手建立規(guī)制體系的嘗試,已經被證明面臨加劇社會割裂的風險與徒增合規(guī)成本等流弊。(4)參見韓新遠: 《個人行為軌跡信息的法律屬性與分類保護研究》,載《交大法學》2021年第3期,第69—79頁。如何突破公私二元界限、掙脫傳統(tǒng)法律規(guī)制的制度慣性,采取整體化應對而非單純數(shù)據(jù)保護的思路,以期為自動化應用介入現(xiàn)代化治理保駕護航,無疑是邁向全面建設社會主義現(xiàn)代化國家新征程之時亟待思考的重要問題。

    一、 自動化應用介入公共治理領域的法律問題

    公共治理領域自動化應用的是非利弊之爭,由來已久、反復無常、難分伯仲,始見于1978年法國《數(shù)據(jù)處理、文件和個人自由法案》頒布前夕、興盛于1995年歐盟《數(shù)據(jù)保護指令》適用之后、延續(xù)至2018年歐盟《通用數(shù)據(jù)保護條例》的監(jiān)管實踐,與新公共治理理論的由盛轉衰、新公共服務理論的迅速迭代和公共價值管理理論的異軍突起相伴相隨。

    (一) 新公共治理語境下的自動化應用

    早在1971年,莫頓(Michael Morton)在《反思智能輔助系統(tǒng): 基于計算機的自動化決策》一書開頭就發(fā)出了“切勿盲目迷信機器自動化決策”的警告,(5)Morton M. S. S., Management Decision Systems: Computer-Based Support for Decision Making, Division of Research, Graduate School of Business Administration, Harvard University, 1971, p.1.并直接促成了法國《數(shù)據(jù)處理、文件和個人自由法案》對司法行政自動化應用的一概禁止。然而,計算機自動化的發(fā)展和應用契合了早期新公共治理理論為解決監(jiān)管機構資源匱乏而被迫演化出的“按需監(jiān)管”路徑,用清晰有序的風險評估框架取代了過去憑空想象的資源分配順序,實乃既定稟賦下公共治理能力提升之“自然選擇”,在法國之外的其他國家發(fā)展迅猛。彼時學界前瞻性地指出,自動化應用“人為打壓理性數(shù)據(jù)分析的地位,為獲得似是而非的簡化結果毫無原則、不計后果地對某些因素進行加權并賦予相對重要性”;(6)Christie G. C., An Essay on Discretion, 5 Duke Law Journal 747 (1986).對美國大型城市公共信息系統(tǒng)的早期實證研究也表明,鑒于某些公共任務本身所蘊含的政治屬性,不能一味地讓計算機系統(tǒng)在“涉及公共權利的事項上為所欲為”。(7)Northrop A., Kraemer K. L., Dunkle D. & King J. L., Payoffs from Computerization: Lessons over Time, 50th year Public Administration Review 505-514 (1990).

    不過,這些理性的呼聲幾乎完全淹沒在新公共治理理論學者對“解構”“非領地化”和“變樣”的狂熱之中,技術層面的高歌猛進與傳統(tǒng)古德諾行政二分論和韋伯科層制論的節(jié)節(jié)敗退形成鮮明對比,很大程度上滿足了激進派“掀起一場官僚制度革命”的主觀想象。即便是與新公共治理理論學者所倡導的“層層契約制”格格不入的新公共服務理論學者,也大多堅信技術進步將促進社會福利的雨露均沾——算力提升讓過去難以協(xié)同一致的計算機系統(tǒng)間可以合乎邏輯地彼此聯(lián)動,極大地消除了管理部門之間的隔閡,使得“系統(tǒng)遺留問題得以自然消解”。(8)Dunleavy P., Margetts H., Tinkler J. & Bastow S., Digital Era Governance: IT Corporations, the State, and e-Government, Oxford University Press, 2006, p.1-15.在技術裹挾治理的大趨勢下,公域軟法的必要性,日益凸顯。

    (二) 自動化應用的角色與功能變遷

    將集體協(xié)商和網(wǎng)絡治理貫穿于公共服務的獲取和傳遞之中、輕“個體偏好的簡單疊加”重“利益相關者的對話與參與”,新銳公共價值管理理論學者不約而同地主張應跟隨技術變革的腳步不斷修正民主與效率的關系,但他們對自動化應用的評價卻呈現(xiàn)出兩極化趨勢。萊頓·安德魯斯(Leighton Andrews)認為,技術進步促進了公共服務有效和規(guī)范地傳遞,是對缺乏專業(yè)決策、響應遲延和服務標準化匱乏的官僚主義的矯正,能夠有效促使“技術官僚的角色從管理者向公共利益共同創(chuàng)造者和維護者轉變”。(9)Andrews L., Public Administration, Public Leadership and the Construction of Public Value in the Age of the Algorithm and “Big Data”, 97 (2) Public Administration 296-310 (2019).對此,邁克爾·利普斯基(Michael Lipsky)針鋒相對地指出,“公共服務的核心,在于自然人可以而機器人卻難以實現(xiàn)的‘推理和決策’”,借此唱衰公共行政領域的自動化應用。(10)Lipsky M., Street-Level Bureaucracy: Dilemmas of the Individual in Public Service, Russell Sage Foundation, 2010, p.5-6.

    利普斯基的上述悲觀言論至今已經整整過去十一年,在公共治理領域,無論是行政部門、人事部門還是公共企業(yè)乃至司法部門的自動化應用不僅有增無減,還大有百花齊放之勢。2016年,美國威斯康星州最高法院在“州政府訴盧米思案”(Statev.Loomis)中正式認可法官借助自動化系統(tǒng)進行量刑裁判的合理性與正當性,意味著人工智能對司法的影響從輔助層面正式進入實質層面。長期引領工會斗爭之風的威斯康星州的這一舉動,旋即激發(fā)了學界對公共治理領域自動化濫用的擔憂。連司法量刑裁判都可以通過自動化系統(tǒng)完成,人工智能技術的應用是否還存在邊界?自動化帝國主義侵入傳統(tǒng)的司法審判領域引發(fā)了幾乎是規(guī)律性的部門法學者的反思和詰問,例如,人工智能能否真正模擬法律議論?(11)參見季衛(wèi)東: 《人工智能時代的法律議論》,載《法學研究》2019年第6期,第32頁。機器學習何以輔助事實認定?(12)參見栗崢: 《人工智能與事實認定》,載《法學研究》2020年第1期,第117頁。在管理部門“數(shù)字化”的大背景下,自動化應用做出價值判斷的合法性基礎何在?(13)See Veale M. & Brass I., Administration by Algorithm? Public Management Meets Public Sector Machine Learning, in Yeung K. ed., Algorithmic Regulation, Oxford University Press, 2019, p.121-149.如何針對平臺用工、電子交易等公共治理樣態(tài)引入新的類型化規(guī)則?(14)參見王天玉: 《互聯(lián)網(wǎng)平臺用工的“類雇員”解釋路徑及其規(guī)范體系》,載《環(huán)球法律評論》2020年第3期,第85頁。在智能社會中消除異化、促進人的自由全面發(fā)展所需要的法律保障是什么?(15)參見孫偉平: 《人工智能與人的“新異化”》,載《中國社會科學》2020年第12期,第119頁。上述法學論題在回應和補充公共治理學科相關研究的同時,也帶來了方法論上的啟示: 我們究竟應當如何定性公共治理領域的自動化應用?管理效率的提升能在多大程度上正當化自動化應用對公眾權利的侵蝕?

    (三) 自動化應用規(guī)制的法律聚焦

    推進國家治理體系和治理能力現(xiàn)代化,是我國全面深化改革的總目標。個人信息一直是一種非稀缺的公共物品,(16)參見劉迎霜: 《大數(shù)據(jù)時代個人信息保護再思考——以大數(shù)據(jù)產業(yè)發(fā)展之公共福利為視角》,載《社會科學》2019年第3期,第100頁。從效用增益的角度來看,公共治理領域的自動化應用符合從傳統(tǒng)社會治理體系向科技社會治理體系轉型的大趨勢,因為自動化系統(tǒng)能以更高效率和更低成本實現(xiàn)“溫故而知新”。在北京,城市管理綜合行政執(zhí)法局通過對海量投訴舉報電話的機器分析,得出每年夏季晚間某固定時段占道經營違法行為上升的結論,結合指揮系統(tǒng)的位置信息,集中調配執(zhí)法力量,實現(xiàn)科學執(zhí)法;在上海,政務服務“一網(wǎng)通辦”、城市運行“一網(wǎng)統(tǒng)管”,將“菜籃子、米袋子、水電煤氣”等基本民生保障類的“獲得感”數(shù)據(jù)作為治理數(shù)字化的重要抓手;在江蘇,公安部門的犯罪預測系統(tǒng)已覆蓋超過百種常見的違法犯罪行為,犯罪治理活動從事后打擊轉為事前預防;在河北,導訴機器人、手機立案平臺、多元解紛結果預測系統(tǒng)為群眾提供了像“新零售”“網(wǎng)絡店”一樣方便的糾紛解決服務渠道。

    需要特別強調的是,各類自動化系統(tǒng)遠非盡善盡美,也并非在所有領域都比自然人做得更好,甚至在多個應用場景中問題頻現(xiàn)。(17)參見袁康: 《可信算法的法律規(guī)制》,載《東方法學》2021年第3期,第5頁。例如,在缺乏科學論證的基礎上,紐約州曾率先利用預警保護系統(tǒng)來鑒別具有“嚴重家暴傾向”的父母,并對“高危兒童”進行隔離保護。該系統(tǒng)不僅沒有大幅降低虐童事件的發(fā)生概率,還造成了上萬正常父母同其子女的被迫分離,上線不到半年就引發(fā)眾怒。美國賓夕法尼亞州用于提供替代性制裁矯正犯罪管理畫像的坎帕斯風險評估系統(tǒng)(CAMPAS),被指控存在嚴重種族歧視的傾向: 在該系統(tǒng)做出的犯罪高風險判定中,黑人數(shù)量竟然占到白人數(shù)量的兩倍以上;在系統(tǒng)看來,即便是有多次前科和犯罪指控、經濟狀況欠佳的白人,也比接受過良好教育、無任何不良嗜好的黑人,犯罪風險更低。2019年4月,逾四萬居民對密歇根州政府提起了集團訴訟,起因是政府用于檢測騙補行為和欺詐行為的米達思預測系統(tǒng)(MIDAS)的出錯率高達93%,致使數(shù)萬申請人被無端懲戒。(18)參見唐林垚: 《算法應用的公共妨害及其治理路徑》,載《北方法學》2020年第3期,第51頁。

    從世界范圍來看,有關自動化應用的立法建議早已漸次成型,但多墨守自動化應用為自然人輔助之成規(guī),致使“組織性無序”和“程序性濫用”屢禁不止,“這是一種極為尋常的經驗,但也是全球化所指”。(19)[英] 盧恰諾·弗洛里迪: 《信息倫理學》,薛平譯,上海譯文出版社2018年版,第427頁。究其根源,碎片化的規(guī)則探尋容易缺乏對自動化應用特征共性的整體把握,造成個別小體制對抽象的大體制的掣肘和抵消?!肮彩聵I(yè)”已經成為自動化應用的核心領域的美國和加拿大,仍“屢敗屢戰(zhàn)”,積極探尋框架式治理和協(xié)同治理共存并行的全周期評估框架。(20)參見張欣: 《算法影響評估制度的構建機理與中國方案》,載《法商研究》2021年第2期,第102頁。即使試錯成本高昂、技術性矯正手段相對匱乏,公共治理也早已不可回頭地染上了數(shù)字時代的自動化底色,“人類正在從持續(xù)了千百年的物理實體社會跨入新興的虛擬數(shù)字社會”,(21)吳霽虹: 《眾創(chuàng)時代——互聯(lián)網(wǎng)+、物聯(lián)網(wǎng)時代企業(yè)創(chuàng)新完整解決方案》,中信出版社2015年版,第1頁。涵蓋法學理論、司法實踐和制度規(guī)范的法律轉型升級早已是“箭在弦上”。

    二、 自動化應用治理導向法律規(guī)則的構建機理

    長期以來,面對公共治理的數(shù)字化、公式化和模型化,新公共治理理論學者和新公共服務理論學者傾向于籠統(tǒng)地將技術進步視為官僚主義從韋伯式的公共利益行政廉潔和公正模式向新公共治理范式轉變的驅動力,而公共價值管理理論學者卻不由自主地沉浸在對技術變革遠期風險的悲觀情緒之中,此間的價值觀割裂,須在對日新月異不同類型的自動化技術區(qū)別對待的基礎上予以修復。

    (一) 自動化應用的三重維度區(qū)分

    以人工智能顛覆傳統(tǒng)公共治理手段為視角,自動化應用可以由遠及近、由淺入深地劃分為三個維度。第一維度是基于數(shù)據(jù)庫編碼的計算機自動化(1980年代開始),可以近乎完美地替代基層公務員實現(xiàn)“唯手熟爾”的重復性基礎工作和流程性工作,例如,將電話或通信分類到正確的聯(lián)系人、審閱數(shù)份公共文件后提煉出要點和關鍵詞、根據(jù)以往的公共文書來修改生成更新的交易文書等。(22)參見左衛(wèi)民: 《關于法律人工智能在中國運用前景的若干思考》,載《清華法學》2018年第2期,第104頁。重復、簡單的工作日益被高效、廉價的機器人逐步取代,大大提升了勞動生產率。在第一維度,自動化決策對自然人的取代在于計算機具有更高數(shù)據(jù)處理能力的事實。

    第二維度是基于機器學習的算法自動化(2010年代開始),其實質是作為編程理論典范的透過“規(guī)則本原的邏輯”,在范圍不確定的環(huán)境中進行邏輯推導或模式識別,替代自然人實現(xiàn)“溫故而知新”的基礎性預測工作與規(guī)范性鑒別工作,但常因系統(tǒng)失靈多次給社會帶來極高的“矯正成本”。在歐洲地區(qū)不止一次出現(xiàn)這樣的情況: 例如,法國銀行間通用的客戶資信考察系統(tǒng),曾一度拒絕為單親家庭成員提供住房貸款;英國鐵路部門的智能審核系統(tǒng)把關不嚴,超額濫發(fā)多張?zhí)卦S經營執(zhí)照。近年來,亞洲各國也相繼出現(xiàn)了“人工智能熱”,技術外部性效應日益凸顯,例如,超過1/4的韓國公共公司在人員招聘中使用智能面試系統(tǒng)。該系統(tǒng)可以檢測面試者恐懼、喜悅和回避的面部表情,并結合其措辭、眼神活動和聲調變化等細節(jié),對面試者進行抗壓能力高低以及是否具備職場靈活性的判斷。重壓之下,各類面試練習班層出不窮,求職者支付天價補習費用,只為學習如何在機器面前“用眼睛微笑”。在第二維度,自動化應用導致的公權力擴張在于管理部門對機器學習技術能夠做出準確而中立預測的不當信賴。

    第三維度是多個機器學習模型相互交織、基于神經網(wǎng)絡的超級自動化(2020年代開始),現(xiàn)已徹底突破利普斯基所認為的自動化決策系統(tǒng)的“智能上限”,(23)Lipsky, supra note 〔10〕, at 5-6.其獲得識辨特定時期的法律和社會運行宏觀規(guī)律、以超乎常人的洞察力來提供制度解決方案或進行價值判斷的能力的奇點臨近。在第三維度,自動化應用以管理部門為載體,表面上看起來是被公權力所“收編”,實則將“權威從個人轉向由算法構成的網(wǎng)絡”。(24)Harari Y. N., Homo Deus: A Brief History of Tomorrow, Random House, 2016, p.16.人類將不再是自主的個體,而是一種生化機制集合體的組成部分,逐漸由自動化決策系統(tǒng)實時評價、定義、監(jiān)測和指揮。

    (二) 公共治理理論的立場辨析

    以上述三個維度作為基本線索,交叉比對相關研究后不難發(fā)現(xiàn),新公共治理理論學者出于對第一維度機器自動化成功的認可、公共價值管理理論學者出于對第二維度算法自動化失靈的擔憂,對第三維度超級自動化崛起的判斷大異其趣——要么過于樂觀、要么過于悲觀。實際上,公共治理領域第二維度或第三維度的自動化應用,其前景定然介乎于二者之間;正如法學家們多倡導對技術變革的“理性冷漠”,跳出人工智能的應然與實然之爭,轉而就已經出現(xiàn)的問題和即將出現(xiàn)的問題尋求應對之策,提出了代碼正義觀和算法正義觀等新型法權理念。(25)參見馬長山: 《智能互聯(lián)網(wǎng)時代的法律變革》,載《法學研究》2018年第4期,第20頁。在智能社會語境下,需要密切關注的是公共治理領域自動化應用已經產生的第二維度困境和必然面對的第三維度風險,借此反思人工智能促進公共治理體系和治理能力現(xiàn)代化所需的必要法律保障,進而為公共治理領域自動化應用的制度設計明確方向。

    (三) 傳統(tǒng)法律應對的局限與失靈

    對于自動化決策崛起所帶來的法律挑戰(zhàn),世界各國主要采取了三種傳統(tǒng)方式加以應對: 以個人數(shù)據(jù)權為核心展開的隱私保護立法、以因果辨析和流程透明為導向的可解釋性合規(guī)要求,以及覆蓋數(shù)據(jù)處理全過程的完整履責鏈條。這種看似完備的“事前—事中—事后”的規(guī)制范式,在實踐中面臨可行性和可欲性難題: 一方面,法律規(guī)則之于技術嬗變的更高站位,源于立法者制定規(guī)則時運用的思維和智識合理性,即立法者是否可以突破當前自然科學以及宗教倫理所框定的籬藩,超前布局應對技術必然帶來的權力異化與權利式微;但就目前而言,立法者在自動化應用第一維度和第二維度已經完成的知識積累,還尚不足以應對第三維度自動化應用可能帶來的法律挑戰(zhàn)。另一方面,“問題驅動型”的立法應對模式并不自然催生令人向往的制度生態(tài),即便具備技術可行性的法律規(guī)則,也未必長期符合相關主體的合理利益訴求;大眾的狂熱和盲從常因理性的回歸得以修正,而追逐自身利益最大化導致的立場轉變,或讓原本就舉步維艱的立法回應不堪一擊。在這個意義上,既有“事前—事中—事后”規(guī)制范式的脆弱性顯而易見——“可欲性”淪為了為達到“可行性”而進行的說理手段,但“可行性”卻難以帶來“可欲性”的法律效果。具體而言,無論是以個人數(shù)據(jù)權為核心展開的隱私保護立法,以代碼公開和流程透明為導向的可解釋性合規(guī)要求,還是覆蓋數(shù)據(jù)處理全過程的完整履責鏈條,都不具備嚴格意義上的“規(guī)則圓滿性”,在實踐中屢被架空。

    其一,“告知—選擇框架”廣泛被各國立法者前置為數(shù)據(jù)處理全周期的“第一閘口”,使得隱私保護爭議在司法審判實踐中常以合同糾紛論處。在引人矚目的“刷臉第一案”中,杭州市人民法院判處動物園不當采集公民生物特征信息,但勝訴的原告郭兵僅就合同利益損失和交通費補償獲得了1038元的賠償。這樣的判決結果顯然無助于遏制被告動物園繼續(xù)“店大欺客”,強推其他“技術入園”的自動化應用嘗試。更重要的是,長篇累牘用戶協(xié)議下的“告知”實際上是毫無誠意的“告知”,授權俘獲機制下的“選擇”也未必就是真正意義上的“選擇”。(26)姚佳: 《知情同意原則抑或信賴授權原則——兼論數(shù)字時代的信用重建》,載《暨南學報(哲學社會科學版)》2020年第2期,第48—49頁。現(xiàn)行法判定數(shù)據(jù)主體是否因充分“被告知”而做出真實意思表示“選擇”的審查標準,只是技術方是否履行了最低信息披露要求,這實際上是以自動化應用技術主體的行為違法性評價取代了數(shù)據(jù)主體的法益保護評價,難以對數(shù)據(jù)主體的隱私侵害提供充分救濟。

    其二,強行代碼公開將必然導致知識產權保護和投機式對抗方方面面的阻力,可解釋性合規(guī)要求取代算法公開成為“退而求其次”的法律選擇。立法者看到的是一個規(guī)定可解釋性合規(guī)要求就足以讓自動化應用可解釋的世界,但正是這種不切實際的理想愿景導致了技術發(fā)展與法律滯后之間的巨大鴻溝。隨著自動化應用從第一維度和第二維度逐漸向第三維度轉換,機器學習模型和卷積神經網(wǎng)絡的復雜程度呈指數(shù)級遞變,就正如再強勢的父母也無法完全預設子女的人生選擇那般,一旦進入全自動更新?lián)Q代的狀態(tài),自動化應用的造物主也可能退居次席,成為僅僅掌握底層代碼的“局外人”,甚至對自動化應用的脫韁束手無策。(27)參見李晟: 《略論人工智能語境下的法律轉型》,載《法學評論》2018年第1期,第98頁。即便是在自動化應用復雜度相對有限的第一維度和第二維度,考慮到數(shù)據(jù)主體通常不具備相關理論知識背景,要就自動化應用的運作機理與決策方式做出準確且外行人也能理解的解釋,往往徒勞無功。更有可能的情況是,信息和技術的雙重優(yōu)勢地位必然帶來監(jiān)管套利的空間,解釋和說理的方式最終將完全取決于經濟和政治目標,致使數(shù)據(jù)主體在“半哄騙半威嚇”下掉入任人宰割的陷阱。

    其三,當自動化應用失靈損害當事人利益時,自動化應用的使用方未必是唯一應當承擔責任的主體,技術開發(fā)方、數(shù)據(jù)處理方乃至看似中立的平臺也是潛在的責任方。(28)參見胡凌: 《平臺視角中的人工智能法律責任》,載《交大法學》2019年第3期,第5頁。但是,在實踐中,每一層法律關系之間,可能存在著環(huán)環(huán)相扣的免責條款,出于對當事人意思自治的尊重,此類條款不宜隨意被強行法排除。此外,理想化的完全履責鏈條高度依賴侵權責任,其本質是基于合同相對性的信義義務約定,通常以具有直接近因的法律關系為限。況且,一旦自動化應用進入第三維度,自動化應用所依托的非自然人載體將取得獨立法律地位,(29)參見彭誠信、陳吉棟: 《論人工智能體法律人格的考量要素》,載《當代法學》2019年第2期,第52頁。此時,傳統(tǒng)的信義義務關系又可能陷入自指化悖論——依照數(shù)據(jù)主體要求提供專業(yè)化服務的自動化應用,究竟應當被視為對其載體享有支配權的運營方的代理人,還是為數(shù)據(jù)主體實現(xiàn)特定目的的代理人?在雙方代理絕對禁止的情況下,基于信息、知識和能力的不對等而產生的信義義務極有可能出現(xiàn)“指向劈叉”的情況。總而言之,功能主義的立法范式,長期落后于技術突飛猛進帶來的破壞式創(chuàng)新,夾雜著概念層面的模糊和失序,最終導致了個人權利的虛化。

    三、 公共治理領域自動化應用法律法規(guī)的全新面向

    以自動化應用的維度區(qū)分為基礎、以公共治理理論的立場辨析為坐標、以傳統(tǒng)法律應對的失靈為警醒,公共治理領域自動化應用法律規(guī)制的完善方向,可以從宏觀、中觀和微觀三個層面展開。

    (一) 宏觀技術共治: 以程序透明取代代碼透明

    由于缺乏數(shù)據(jù)積累,管理部門經常需要同掌握大數(shù)據(jù)的私營企業(yè)或者平臺合作,這種權力“外包”顛覆了傳統(tǒng)的權力專屬原則和正當程序原則。(30)參見張凌寒: 《風險防范下算法的監(jiān)管路徑研究》,載《交大法學》2018年第4期,第49—62頁。具有準公權力的企業(yè)和平臺橫亙在政府與市場之間,公權力、私權力(準公權力)和私權利的多方博弈不僅沒有給普羅大眾帶來實質性利好,反而極有可能造成高度技術化的管理部門和持“尚方寶劍”的平臺寡頭對身處信息弱勢地位的普通民眾的“輪番算計”。(31)參見黃尹旭、楊東: 《超越傳統(tǒng)市場力量: 超級平臺何以壟斷?——社交平臺的壟斷源泉》,載《社會科學》2021年第9期,第100頁。外溢出來的公權力難以監(jiān)管,卻迅速呈現(xiàn)出私有化、商品化和官僚化的異化趨勢;生產數(shù)據(jù)和積累行為剩余,或將成為個體受眾在“監(jiān)視資本主義”下的唯一價值。自動化應用構建于海量個人數(shù)據(jù)的處理之上,而個人數(shù)據(jù)處理活動包含了數(shù)據(jù)主體、數(shù)據(jù)處理主體以及社會公眾三重利益。從數(shù)據(jù)安全的角度來看,自動化應用規(guī)制的微妙性體現(xiàn)在,當數(shù)據(jù)處理主體以壓倒性的技術和信息優(yōu)勢侵蝕數(shù)據(jù)主體的合法利益時,政府不宜直接介入數(shù)據(jù)主體和數(shù)據(jù)處理主體之間的利益分配,而只能以社會公眾利益為導向對數(shù)據(jù)主體和數(shù)據(jù)處理主體之間的利益失衡進行力所能及的糾偏。依照計算風險規(guī)避效用的漢德公式,對管理部門“公共使命”和平臺企業(yè)“社會責任”的籠統(tǒng)強調,遠不如反其道而行之直接從代碼入手、從源頭解決問題具有更高法益。如何以權利保護和責任落實為核心、以“技術倒逼技術”為手段,讓國家公權力與社會私權力所形成的在一定程度上“去中心化”的共謀治理機制更加貼近人民群眾對技術變革的理想期盼,是未來立法工作的重中之重。

    無論是哪個維度的自動化應用,算法程序的運行皆以代碼為基礎,因此,通過代碼對自動化應用實施逆向管理在理論上可行。外觀上,代碼是具備技術中立性特征的系統(tǒng)語言,但這并不意味著代碼的組合就不能進行價值負載。實際上,基于代碼的自動化應用,或多或少包含了所有者、利用方、程序員以及數(shù)據(jù)集本身的私心與偏見?!胺ü賹τ诜捎谜Z不可附加任何意義,毋寧須以受法律及立法者拘束的方式,來發(fā)現(xiàn)法律的語義內容”,(32)[德] 卡爾·拉倫茨: 《法學方法論》,陳愛娥譯,商務印書館2003年版,第23頁。但是,自動化應用的創(chuàng)造者和改造者,是清一色未經過任何系統(tǒng)法律訓練的程序員,他們將鮮活的語義轉化為毫無情感的代碼,進一步完成機器模型的建立,使得自動化應用背后的計算機語言有時不能精確地轉譯規(guī)則的實際含義,甚至偶爾還會因為程序員的個人好惡、理解偏差使之與原本預期相去甚遠。以美國公共福利系統(tǒng)的失策為例,美國科羅拉多州公務員曾經將“無家可歸”錯誤解讀為“行乞為生”,使得本應獲得政府救濟的流浪漢們被自動化審核系統(tǒng)拒之門外。(33)Pasquale F., The Black Box Society, Harvard University Press, 2015, p.165.在代碼化過程中因語言理解和事實認定產生的巨大差異,以過失和疏忽為構成要件的一般侵權責任以及以信義義務為核心的事后審查機制都于事無補,只能通過更精確的代碼語言來減少轉譯過程中的偏差和耗散。在宏觀層面,與其讓算法“透明”,不如讓程序員的代碼寫作過程“透明化”;可以考慮以技術手段構建專屬于程序員群體的闡釋和說理場域,通過交流和相互探討的方式將模糊的概念精確化,使得自動化應用底層代碼中的邏輯連鎖推論,可以更好地適用于意義涵攝,并通過完善中間步驟的方式更為準確地定義終局概念。

    (二) 中觀價值位階: 場景理論助推技術性規(guī)制

    自動化應用對公共治理的介入,需要對各類信息進行數(shù)據(jù)化改造,在克服表達障礙后,主要依據(jù)概率計算而非演繹推理的基本邏輯來行使公共職權。在機器學習和神經網(wǎng)絡的加持下,第二維度的算法自動化已經可以熟練進行法律規(guī)則適用的三段論推理乃至辯證推理,但當下第三維度的超級自動化即便通過模型累積遞歸、交叉話語博弈也難以做出公正的價值判斷。理論上,價值判斷的命題群可被結構性改造以實現(xiàn)整體客觀性,但不同的應用場景和語境必然對應不同次序、不同權重的價值元規(guī)則。在技術共性規(guī)則之外,法律應就不同公共治理領域(例如衛(wèi)生、醫(yī)療、教育、司法、社會保障等)所面對的技術社會化應用場景,分門別類地填補具體的、顆粒度更細的法律規(guī)則以實現(xiàn)公共治理的提質增效,(34)參見唐林垚: 《公共衛(wèi)生領域算法治理的實現(xiàn)途徑及法律保障》,載《法學評論》2021年第3期,第95—107頁。場景理論介入自動化應用規(guī)制,具有了合理性基礎。

    場景理論提倡以情境為導向考察自動化應用的風險水平,相應制定與風險程度相一致的規(guī)制策略和規(guī)則,亦即“貼合現(xiàn)實的法律應對”,其理論根源是傳播學家梅羅維茨·約書亞(Meyrowitz Joshua)的情境理論(Contingency Theory)。(35)See Meyrowitz J., No Sense of Place: The Impact of Electronic Media on Social Behavior, Oxford University Press, 1986, p.1-12.海倫·尼森鮑姆(Helen Nissenbaum)等人將情境理論延伸至信息科學領域,發(fā)展出了基于“場景一貫性”的社群主義隱私產權理論。(36)See Nissenbaum H., Privacy as Contextual Integrity, 79 Washington Law Review 119, 119 (2004).其提倡結合參與者、數(shù)據(jù)類型和流動樣態(tài)三大關鍵要素,判斷自動化應用的風險是否超過數(shù)據(jù)主體的合理預期。美國《消費者隱私權利保護法》與歐盟《通用數(shù)據(jù)保護條例》是將場景理論引入立法的典型代表,前者對“場景自洽”進行了專章規(guī)定,認為個人隱私受侵害程度同因違反信息傳播規(guī)則導致的場景破壞程度息息相關;后者要求自動化應用的利用方在事前考察數(shù)據(jù)處理活動的“性質、范圍、語境與目的”,并主動向監(jiān)管者提交潛在風險的應對措施。近年來,場景理論還延伸到了人臉識別技術的法律規(guī)制當中,為網(wǎng)格和網(wǎng)絡作為治理之理想類型的二分提供了理論基礎。(37)參見胡凌: 《刷臉: 身份制度、個人信息與法律規(guī)制》,載《法學家》2021年第2期,第41頁。

    不過,上述立法實踐,均未跳脫出傳統(tǒng)的自動化應用的規(guī)制思維,不僅未能真正實現(xiàn)場景理論介入自動化應用規(guī)制本應帶來的監(jiān)管效率提升,甚至起到了同預期完全相反的效果?!断M者隱私權利保護法》所規(guī)定的“場景自洽”主要作用于傳統(tǒng)的“告知—選擇”框架,在實踐中反而導致了自動化應用“目的拘束原則”的擴大解釋,(38)參見郭春鎮(zhèn): 《對“數(shù)據(jù)治理”的治理——從“文明碼”治理現(xiàn)象談起》,載《法律科學》2021年第1期,第58頁。擴大了某些自動化應用和個人數(shù)據(jù)處理活動的合法性基礎,使得自動化應用的流弊變本加厲?!锻ㄓ脭?shù)據(jù)保護條例》的相關規(guī)定,本來旨在明確自動化應用利用方的風險管理責任,以區(qū)分情境適當增強或降低外部執(zhí)法威懾的手段,保障自動化應用的風險“可防可控”;但是,過于教條的法律規(guī)定帶來了“執(zhí)行難”的問題,歐盟各成員國依照《通用數(shù)據(jù)保護條例》制定本國信息保護法時,只能著眼于依照情境適當強化或削弱自動化應用利用方的信息披露義務,并同步賦予數(shù)據(jù)主體是否繼續(xù)授權的權利,這就又回到了毫無新意的“告知—選擇”框架上。

    回到自動化應用的本質,無論是第一維度的自然人決策輔助,第二維度的人機交互決策,還是第三維度的高等自動化,自動化應用必然會因為運用主體的不同、針對對象的不同以及所涉及問題的不同具有大相徑庭的性質,就此而論,場景理論介入自動化應用規(guī)制的根本目的,應當是根據(jù)不同場景確定不同的規(guī)制方式。由于自動化應用的風險與日俱增且難以被當事人察覺,不同的風險場景“依其位階衡量輕重”的規(guī)則設計需以系統(tǒng)化構筑技術風險管理體系為目標,將主要風險管理責任配置給自動化應用的使用方、次要風險管理責任配置給相關管理部門,實現(xiàn)齊心共治、多措并舉的合力局面。公共價值管理理論學者雖然對自動化應用的評價褒貶不一,但大多都認可辯證地看待自動化應用的社會效益。從場景理論的視角來看,不同的場景,一定對應著不同的自動化應用的“社會最佳活動水平”,場景化法律規(guī)則,正是以寬嚴相濟的動態(tài)規(guī)范方式,促使自動化應用無限趨近符合現(xiàn)實情況的“社會最佳活動水平”,借此來實現(xiàn)公共效益的“帕累托最優(yōu)”。在這個意義上,法律是技術領域國家宏觀調控的重要手段,動態(tài)的風險控制機制是確保自動化應用“技術向善”不可或缺的法律保障。

    (三) 微觀權利保障: 避免自然人決策名存實亡

    目前,公共治理領域的自動化應用處于從第二維度向第三維度的過渡階段,具體表現(xiàn)在: 自動化系統(tǒng)占有、處理承載著社會利益的大數(shù)據(jù),從單純的技術工具逐步升級為通過嵌入社會權力結構發(fā)揮作用的“準公權力”。隨之而來的格局很可能是,自動化系統(tǒng)的應用范圍越來越廣,專屬于人類的決策空間和社會溝通被漸次壓縮: 公共治理和服務中的各個環(huán)節(jié)越來越多地被算法事先預設,通過大數(shù)據(jù)反映出來的趨勢和評價會限制和迷惑自然人的推理和判斷,也必然會削弱管理部門的自由裁量權。本來希望通過技術來確保公共治理的中立和客觀,結果卻很可能完全抹除自然人獨有的通時合變的人情味,讓冷漠、機械、獨裁的自動化決策大行其道,(39)參見許中緣: 《論智能機器人的工具性人格》,載《法學評論》2018年第5期,第153頁。同新公共治理理論所倡導的“公民權理念觀”和公共價值管理理論所強調的“協(xié)商機制”都背道而馳。反過來,自動化系統(tǒng)的專斷又將逐漸影響大眾群體的行為規(guī)范,在人機相互適應的過程中不斷強化“算法絕對主義”。職是之故,法律首要任務,從社會整體利益的角度防范公共治理領域中的自動化霸權,亦即,從宏觀層面防止自然人決策名存實亡。

    早在自動化應用的第一維度時期,人們就已經意識到,只有在決定自身利益的關鍵事務上享有積極參與的權利,才能在知識、經驗和道德上維持一以貫之的卓越。(40)參見唐林垚: 《〈個人信息保護法〉語境下“免受算法支配權”的實現(xiàn)路徑與內涵辨析》,載《湖北社會科學》2021年第3期,第135頁。出于對機器超越人類的無形恐懼,歐盟立法者在1995年的歐盟《數(shù)據(jù)保護指令》第15條率先規(guī)定了“脫離自動化決策權”的雛形:“數(shù)據(jù)主體享有免受基于用戶側寫的完全自動化決策的權利。”在此后的20年中,雖然自動化應用已從第一維度向第二維度躍遷,但“脫離自動化決策權”在各成員國法院的審判實踐中幾乎從未發(fā)揮任何作用,(41)雖然“脫離自動化決策之訴”客觀存在,但是雙方的爭論焦點是決策是否完全由自動化應用做出,而非“脫離自動化決策權”的行權方式與行權效果。See Cour de Cassation, Chambre Criminelle, Audience publique No de pourvoi, Publié au bulletin, 1998, p.97.被戲稱為歐盟《數(shù)據(jù)保護指令》中的“二等權利”。即便如此,2018年的歐盟《通用數(shù)據(jù)保護條例》第22條概括繼承了《數(shù)據(jù)保護指令》第15條,還進一步拓展了“脫離自動化決策權”的行權對象和適用范圍,賦予相關人完全脫離自動化應用對其做出的具有法律后果的決策的權利,足見“脫離自動化決策權”在自動化應用從第二維度向第三維度躍遷時代背景下的特殊意義。

    為了使“脫離自動化決策權”脫離“二等權利”之稱謂,歐盟各成員國通常將《通用數(shù)據(jù)保護條例》第22條作為賦權性條款解讀,但由于普遍缺乏對第三維度自動化應用的準確理解,原本就過于抽象的“脫離自動化決策權”在實踐中廣泛存在與“更正權”競合之表象、與“獲解釋權”補強之曲解以及與“被遺忘權”混同之誤判。界定“脫離自動化決策權”的內涵應當回歸自動化應用的維度劃分,“在基于數(shù)據(jù)庫編碼的計算機自動化場景為脫離數(shù)據(jù)采集,在基于機器學習的算法自動化場景為脫離用戶側寫,在基于神經網(wǎng)絡的超級自動化場景為脫離平臺交互”。(42)唐林垚: 《“脫離算法自動化決策權”的虛幻承諾》,載《東方法學》2020年第6期,第18頁。在“更正權”“獲解釋權”和“被遺忘權”之外,公共治理學者還提出了“陳情權”“離線權”和“注意力保護權”等概念,這些形形色色的具體權利,既是“脫離自動化決策權”的細化表達,也是在自動化應用大行其道的背景下,以更高程度的人類干預取代較低程度的人工介入的理性呼吁??傊?,自動化應用的維度躍遷,亟需微觀層面的新型個體權利予以應對;堅持問題導向和目標導向、圍繞“促進人的全面發(fā)展”構建權利簇,正是“以良法促進發(fā)展、保障善治”的題中之意。

    四、 結 語

    公共治理領域的自動化應用,完全不同于私人部門的自動化應用。傳統(tǒng)侵權責任規(guī)定和信義義務創(chuàng)設,足以應對大多數(shù)私人領域的自動化妨害,基本能在合同相對方的信義義務框架內解決問題。但是,公共治理領域的自動化失控,卻極有可能給整個社會帶來類似環(huán)境污染一樣的“公共妨害”,其本質是技術外部性擴散所引發(fā)的社會成本向廣大弱勢群體的不合理轉嫁,若不加以控制,定然會隨著公共數(shù)據(jù)體系的污染日趨積重難返;以當代公共治理理論已確立的規(guī)范價值作為對標,跨學科對公共治理領域自動化應用的動態(tài)法律思考迫在眉睫。

    “法者,治之端也。”法律的終極原因是社會福利,技術亦然。自動化應用介入現(xiàn)代化治理的持續(xù)與有序,有待整合社會各方力量,形成跨領域的、立體的協(xié)同合作體系來推動技術和法律的共同演進。(43)參見彭中禮: 《智慧法治: 國家治理能力現(xiàn)代化的時代宣言》,載《法學論壇》2020年第3期,第29頁。在這個協(xié)同體系中,社會公眾利益擁有壓倒性考量,而權力制約和權利保護應共存并行,平衡自動化應用載體的內部治理系統(tǒng)和外部監(jiān)察制度,既是實現(xiàn)以“智”提“質”治理的重要基石,也是用新發(fā)展理念引領發(fā)展全局的內在要求。如此這般,方能真正促進全面依法治國的制度優(yōu)勢與勢在必行的技術治理之間的交流與相互增益。

    猜你喜歡
    維度法律
    法律推理與法律一體化
    法律方法(2022年1期)2022-07-21 09:17:10
    理解“第三次理論飛躍”的三個維度
    當代陜西(2022年4期)2022-04-19 12:09:18
    法律解釋與自然法
    法律方法(2021年3期)2021-03-16 05:57:02
    高效課堂構建的三個維度
    甘肅教育(2020年4期)2020-09-11 07:41:52
    淺論詩中“史”識的四個維度
    中華詩詞(2019年7期)2019-11-25 01:43:00
    法律適用中的邏輯思維
    法律方法(2019年3期)2019-09-11 06:27:06
    光的維度
    燈與照明(2016年4期)2016-06-05 09:01:45
    “五個維度”解有機化學推斷題
    讓人死亡的法律
    山東青年(2016年1期)2016-02-28 14:25:30
    “互助獻血”質疑聲背后的法律困惑
    在线免费观看不下载黄p国产| 精品久久久久久久久亚洲| 九色成人免费人妻av| videossex国产| 欧美 日韩 精品 国产| 国产精品国产av在线观看| 国产高清不卡午夜福利| 少妇丰满av| 日韩强制内射视频| 51国产日韩欧美| 免费少妇av软件| 免费高清在线观看日韩| 99久久中文字幕三级久久日本| 一二三四中文在线观看免费高清| 自线自在国产av| 在线精品无人区一区二区三| 久久精品国产自在天天线| 18禁在线播放成人免费| 最近2019中文字幕mv第一页| 国产成人午夜福利电影在线观看| 国产精品国产三级专区第一集| 五月玫瑰六月丁香| 国产亚洲精品久久久com| 成人二区视频| 熟妇人妻不卡中文字幕| 人人妻人人澡人人爽人人夜夜| 亚洲成色77777| 免费人妻精品一区二区三区视频| 亚洲情色 制服丝袜| 狂野欧美激情性bbbbbb| 91精品一卡2卡3卡4卡| 日韩人妻高清精品专区| 国产精品一区二区在线不卡| 韩国av在线不卡| 久久婷婷青草| 亚洲精品aⅴ在线观看| 大码成人一级视频| 一本大道久久a久久精品| 精品亚洲成a人片在线观看| 欧美最新免费一区二区三区| 日本vs欧美在线观看视频| 嫩草影院入口| 免费黄频网站在线观看国产| 大话2 男鬼变身卡| 亚洲欧洲日产国产| 国产乱来视频区| 91精品一卡2卡3卡4卡| 亚洲精品久久久久久婷婷小说| 我的老师免费观看完整版| 日韩大片免费观看网站| 大片免费播放器 马上看| 中文字幕免费在线视频6| 国产在线视频一区二区| 男人操女人黄网站| 在线观看美女被高潮喷水网站| 青春草国产在线视频| 国产成人午夜福利电影在线观看| av在线观看视频网站免费| 激情五月婷婷亚洲| 欧美日韩精品成人综合77777| 久久久精品94久久精品| 亚洲精品第二区| 在线观看免费视频网站a站| 寂寞人妻少妇视频99o| 爱豆传媒免费全集在线观看| 黄色视频在线播放观看不卡| 97超碰精品成人国产| 天天操日日干夜夜撸| 亚洲av福利一区| 成年人午夜在线观看视频| 日本欧美视频一区| 精品熟女少妇av免费看| 国国产精品蜜臀av免费| 亚洲av综合色区一区| 久久av网站| 大香蕉久久成人网| 精品少妇内射三级| 亚洲第一av免费看| 最新的欧美精品一区二区| 亚洲精品国产色婷婷电影| 少妇人妻精品综合一区二区| 国产在线免费精品| 成人手机av| 亚洲国产av新网站| 亚洲四区av| 一边摸一边做爽爽视频免费| 热99久久久久精品小说推荐| 午夜av观看不卡| 黄色怎么调成土黄色| 嘟嘟电影网在线观看| 国产成人freesex在线| 观看av在线不卡| 一区二区三区四区激情视频| 国产乱人偷精品视频| 欧美最新免费一区二区三区| 一本色道久久久久久精品综合| av电影中文网址| 在线观看人妻少妇| 欧美日韩一区二区视频在线观看视频在线| 有码 亚洲区| 97精品久久久久久久久久精品| 亚洲精华国产精华液的使用体验| 最新的欧美精品一区二区| 亚洲情色 制服丝袜| 特大巨黑吊av在线直播| 九九在线视频观看精品| 啦啦啦在线观看免费高清www| 成年人午夜在线观看视频| 人妻 亚洲 视频| 亚洲av中文av极速乱| 中国国产av一级| 妹子高潮喷水视频| 岛国毛片在线播放| 久久久久久伊人网av| 国产在视频线精品| 热99久久久久精品小说推荐| 亚洲美女视频黄频| 下体分泌物呈黄色| 欧美老熟妇乱子伦牲交| 亚洲av成人精品一二三区| 亚洲欧美清纯卡通| av专区在线播放| 国产黄频视频在线观看| 最后的刺客免费高清国语| 午夜影院在线不卡| 国产黄频视频在线观看| 亚洲高清免费不卡视频| 午夜免费男女啪啪视频观看| 国产精品一国产av| 亚洲成人手机| av专区在线播放| 大香蕉久久成人网| 最近手机中文字幕大全| 亚洲欧美成人精品一区二区| 亚洲欧美成人综合另类久久久| 一本久久精品| 日韩在线高清观看一区二区三区| 最黄视频免费看| 99九九在线精品视频| 在线观看一区二区三区激情| 欧美精品一区二区免费开放| 99久国产av精品国产电影| h视频一区二区三区| 国产极品天堂在线| 好男人视频免费观看在线| 久久久久久久亚洲中文字幕| 欧美精品一区二区免费开放| av不卡在线播放| 成人午夜精彩视频在线观看| 久久久久精品久久久久真实原创| 免费日韩欧美在线观看| 不卡视频在线观看欧美| 亚洲精品色激情综合| 国产 精品1| 色5月婷婷丁香| 国产极品粉嫩免费观看在线 | av不卡在线播放| 欧美变态另类bdsm刘玥| 亚洲欧美成人综合另类久久久| 免费日韩欧美在线观看| 免费大片黄手机在线观看| 女人精品久久久久毛片| 99热这里只有是精品在线观看| 国产白丝娇喘喷水9色精品| 在线观看三级黄色| 国产欧美日韩一区二区三区在线 | 亚洲五月色婷婷综合| 国产成人freesex在线| 我的女老师完整版在线观看| 亚洲五月色婷婷综合| 五月开心婷婷网| 黑人高潮一二区| 亚洲五月色婷婷综合| 女性生殖器流出的白浆| 自拍欧美九色日韩亚洲蝌蚪91| 一级黄片播放器| 岛国毛片在线播放| 伦理电影免费视频| videos熟女内射| 国产精品国产三级专区第一集| 精品少妇内射三级| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | a级片在线免费高清观看视频| 免费av不卡在线播放| 国产极品粉嫩免费观看在线 | 国产精品一区二区在线观看99| 亚洲内射少妇av| 日本黄色片子视频| 国产免费福利视频在线观看| 午夜福利视频精品| 国产又色又爽无遮挡免| 十分钟在线观看高清视频www| 国产日韩欧美视频二区| 你懂的网址亚洲精品在线观看| 中文字幕最新亚洲高清| 国产乱人偷精品视频| 视频在线观看一区二区三区| 午夜福利影视在线免费观看| 欧美+日韩+精品| 国产成人免费观看mmmm| 人妻系列 视频| 人人妻人人澡人人爽人人夜夜| 国产国拍精品亚洲av在线观看| 久久久精品区二区三区| 国产有黄有色有爽视频| 久久99热这里只频精品6学生| 久久久国产欧美日韩av| 欧美日韩在线观看h| 一区二区三区乱码不卡18| 久久亚洲国产成人精品v| 桃花免费在线播放| 飞空精品影院首页| 母亲3免费完整高清在线观看 | 精品国产一区二区久久| 少妇人妻精品综合一区二区| 永久网站在线| 美女福利国产在线| 久久精品熟女亚洲av麻豆精品| 美女主播在线视频| a级毛片黄视频| 国产成人freesex在线| 久久人人爽人人爽人人片va| 亚洲成人一二三区av| 男女免费视频国产| 大片免费播放器 马上看| 精品人妻在线不人妻| 最新中文字幕久久久久| 国产无遮挡羞羞视频在线观看| 全区人妻精品视频| 日日爽夜夜爽网站| kizo精华| 国产亚洲午夜精品一区二区久久| av在线app专区| 这个男人来自地球电影免费观看 | 久久久午夜欧美精品| 一本久久精品| 国产精品一区二区在线观看99| 搡老乐熟女国产| videos熟女内射| 中文字幕亚洲精品专区| 亚洲av中文av极速乱| 日韩免费高清中文字幕av| 欧美激情 高清一区二区三区| 国产伦精品一区二区三区视频9| 一边摸一边做爽爽视频免费| 母亲3免费完整高清在线观看 | 一本色道久久久久久精品综合| 亚洲av综合色区一区| 高清黄色对白视频在线免费看| 免费观看性生交大片5| 青春草视频在线免费观看| 3wmmmm亚洲av在线观看| 另类精品久久| av在线观看视频网站免费| 亚洲四区av| 日韩熟女老妇一区二区性免费视频| 精品一区在线观看国产| 秋霞伦理黄片| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲人成网站在线播| 国产精品国产三级专区第一集| 免费日韩欧美在线观看| 日本免费在线观看一区| 能在线免费看毛片的网站| 一个人看视频在线观看www免费| 久久久国产一区二区| av线在线观看网站| 免费观看a级毛片全部| 亚洲欧美一区二区三区国产| 亚洲欧美精品自产自拍| 亚洲欧美清纯卡通| 99国产综合亚洲精品| 午夜免费鲁丝| 国产av一区二区精品久久| 亚洲av男天堂| 亚洲精品乱码久久久v下载方式| 久久久午夜欧美精品| 国产精品嫩草影院av在线观看| 五月开心婷婷网| 美女xxoo啪啪120秒动态图| 男女无遮挡免费网站观看| 久久精品久久久久久噜噜老黄| 97精品久久久久久久久久精品| 免费观看在线日韩| 久久韩国三级中文字幕| 欧美激情 高清一区二区三区| 少妇的逼好多水| 极品少妇高潮喷水抽搐| 日本vs欧美在线观看视频| 如何舔出高潮| 一区在线观看完整版| 一级黄片播放器| 永久免费av网站大全| 国产欧美亚洲国产| 久久人人爽av亚洲精品天堂| 人妻 亚洲 视频| av又黄又爽大尺度在线免费看| 99热这里只有精品一区| av免费观看日本| 少妇人妻精品综合一区二区| 亚洲激情五月婷婷啪啪| 成年人午夜在线观看视频| 国产有黄有色有爽视频| 午夜福利影视在线免费观看| 熟女电影av网| 精品国产国语对白av| 亚洲久久久国产精品| 男女国产视频网站| 热99久久久久精品小说推荐| 激情五月婷婷亚洲| 午夜免费男女啪啪视频观看| 亚洲欧洲日产国产| 人妻 亚洲 视频| 自拍欧美九色日韩亚洲蝌蚪91| 国产日韩欧美亚洲二区| 成人国产麻豆网| 女的被弄到高潮叫床怎么办| 日本色播在线视频| 999精品在线视频| 亚洲激情五月婷婷啪啪| 少妇人妻精品综合一区二区| 亚洲精品日韩在线中文字幕| 亚洲人与动物交配视频| 美女大奶头黄色视频| 中文字幕精品免费在线观看视频 | 女人精品久久久久毛片| 欧美成人午夜免费资源| 日韩制服骚丝袜av| 久久精品国产亚洲av天美| 久久精品国产自在天天线| 超碰97精品在线观看| 亚洲av中文av极速乱| 人妻少妇偷人精品九色| 91午夜精品亚洲一区二区三区| av女优亚洲男人天堂| 你懂的网址亚洲精品在线观看| 王馨瑶露胸无遮挡在线观看| 美女脱内裤让男人舔精品视频| 嫩草影院入口| 人体艺术视频欧美日本| 插阴视频在线观看视频| 国产男女超爽视频在线观看| 插阴视频在线观看视频| 午夜福利在线观看免费完整高清在| av国产久精品久网站免费入址| www.av在线官网国产| 人人妻人人添人人爽欧美一区卜| 中国美白少妇内射xxxbb| 97在线视频观看| 夜夜爽夜夜爽视频| 国产亚洲午夜精品一区二区久久| 另类亚洲欧美激情| 狂野欧美激情性xxxx在线观看| 精品人妻在线不人妻| 有码 亚洲区| 一级毛片aaaaaa免费看小| 国产欧美另类精品又又久久亚洲欧美| 欧美成人午夜免费资源| 国产成人免费观看mmmm| 国产成人精品一,二区| 色吧在线观看| 亚洲欧美色中文字幕在线| 久久久久久久久大av| 亚洲少妇的诱惑av| 99久久中文字幕三级久久日本| 国产日韩欧美亚洲二区| 亚洲国产欧美在线一区| 午夜免费观看性视频| 多毛熟女@视频| 日韩精品免费视频一区二区三区 | 天堂8中文在线网| 久久久久久久久久成人| 日日摸夜夜添夜夜爱| www.av在线官网国产| 亚洲精品av麻豆狂野| 99国产精品免费福利视频| 久久久精品94久久精品| 午夜福利,免费看| 青春草亚洲视频在线观看| 精品一区二区三卡| 亚洲欧洲日产国产| 尾随美女入室| 日日爽夜夜爽网站| 亚洲经典国产精华液单| 亚洲国产最新在线播放| 肉色欧美久久久久久久蜜桃| 女性被躁到高潮视频| 日本黄大片高清| 精品一区二区三区视频在线| 亚洲一区二区三区欧美精品| 成人二区视频| 国产精品秋霞免费鲁丝片| 97在线人人人人妻| 久久久久视频综合| 国产淫语在线视频| 色哟哟·www| 午夜影院在线不卡| 男女高潮啪啪啪动态图| 日韩欧美一区视频在线观看| 久久ye,这里只有精品| 久久毛片免费看一区二区三区| 国产精品一区二区在线不卡| 国产在线视频一区二区| 精品国产国语对白av| 高清午夜精品一区二区三区| 日韩亚洲欧美综合| 久久久亚洲精品成人影院| 日韩一区二区三区影片| av福利片在线| 亚洲国产精品国产精品| 亚洲精品乱久久久久久| 热re99久久国产66热| videosex国产| av不卡在线播放| 男的添女的下面高潮视频| 在线免费观看不下载黄p国产| 免费人妻精品一区二区三区视频| 午夜精品国产一区二区电影| 成人国产av品久久久| 桃花免费在线播放| 国产淫语在线视频| 青春草亚洲视频在线观看| 91精品三级在线观看| 一二三四中文在线观看免费高清| 高清午夜精品一区二区三区| 国产 精品1| 免费高清在线观看视频在线观看| 999精品在线视频| 亚洲欧洲国产日韩| 国产日韩欧美在线精品| 狂野欧美激情性xxxx在线观看| 亚洲久久久国产精品| 91精品国产国语对白视频| 99国产综合亚洲精品| 热99国产精品久久久久久7| 午夜福利网站1000一区二区三区| 国产视频内射| 久久精品久久久久久噜噜老黄| 97在线人人人人妻| 精品久久国产蜜桃| 中国美白少妇内射xxxbb| 国产av国产精品国产| 99国产综合亚洲精品| 国产一区二区在线观看日韩| videossex国产| 精品国产露脸久久av麻豆| av女优亚洲男人天堂| 2022亚洲国产成人精品| 香蕉精品网在线| 国产精品秋霞免费鲁丝片| 国产精品麻豆人妻色哟哟久久| 少妇的逼好多水| 久久av网站| 午夜福利视频精品| 人妻夜夜爽99麻豆av| 51国产日韩欧美| 久久99蜜桃精品久久| 熟妇人妻不卡中文字幕| av网站免费在线观看视频| 女性被躁到高潮视频| 2022亚洲国产成人精品| 精品99又大又爽又粗少妇毛片| 美女国产视频在线观看| 一区二区日韩欧美中文字幕 | 一区二区三区免费毛片| 亚洲av欧美aⅴ国产| a级毛色黄片| 日韩精品有码人妻一区| 亚洲国产毛片av蜜桃av| 青春草亚洲视频在线观看| 伦理电影大哥的女人| 高清欧美精品videossex| 男女边摸边吃奶| 婷婷色av中文字幕| 成人国产av品久久久| 日韩强制内射视频| 伊人久久精品亚洲午夜| 精品久久久精品久久久| 亚洲一区二区三区欧美精品| 久久久久久人妻| 七月丁香在线播放| 99久久精品一区二区三区| 欧美日韩视频高清一区二区三区二| 波野结衣二区三区在线| 欧美精品亚洲一区二区| 日韩伦理黄色片| av黄色大香蕉| 亚洲精品国产色婷婷电影| 岛国毛片在线播放| 中文乱码字字幕精品一区二区三区| freevideosex欧美| 中文字幕制服av| 十分钟在线观看高清视频www| 成人综合一区亚洲| 黄色怎么调成土黄色| 国产熟女欧美一区二区| 久久精品夜色国产| 人人妻人人澡人人看| 国产成人精品一,二区| 一级二级三级毛片免费看| 看免费成人av毛片| 在线 av 中文字幕| 免费观看a级毛片全部| 免费黄频网站在线观看国产| 青春草亚洲视频在线观看| 欧美最新免费一区二区三区| a 毛片基地| 日韩中字成人| 午夜影院在线不卡| 99九九线精品视频在线观看视频| 免费av不卡在线播放| 国产成人aa在线观看| 国产精品一国产av| 久久久久久久国产电影| 又粗又硬又长又爽又黄的视频| 亚洲久久久国产精品| 一本大道久久a久久精品| 欧美亚洲 丝袜 人妻 在线| 久久久久久久久久久丰满| 多毛熟女@视频| 女人久久www免费人成看片| 久久国内精品自在自线图片| 久久99精品国语久久久| 精品亚洲乱码少妇综合久久| 成人影院久久| 人体艺术视频欧美日本| 国产精品一二三区在线看| 亚洲怡红院男人天堂| 一级毛片aaaaaa免费看小| 亚洲,一卡二卡三卡| 亚洲欧美一区二区三区黑人 | 最近的中文字幕免费完整| 又大又黄又爽视频免费| 99久久精品一区二区三区| 91精品国产国语对白视频| 久久久久久久久久久久大奶| 纯流量卡能插随身wifi吗| 亚洲av福利一区| 日韩,欧美,国产一区二区三区| 在线 av 中文字幕| 精品国产乱码久久久久久小说| 久久婷婷青草| 国内精品宾馆在线| 欧美人与性动交α欧美精品济南到 | √禁漫天堂资源中文www| 日韩熟女老妇一区二区性免费视频| 水蜜桃什么品种好| 最新中文字幕久久久久| 国产av一区二区精品久久| 大片免费播放器 马上看| 亚洲一区二区三区欧美精品| av在线app专区| 黑人欧美特级aaaaaa片| 全区人妻精品视频| 欧美亚洲日本最大视频资源| 国产国拍精品亚洲av在线观看| 国产在线视频一区二区| 欧美日韩av久久| 国产欧美日韩综合在线一区二区| 国产av一区二区精品久久| 99九九在线精品视频| 亚洲精品,欧美精品| 国产精品麻豆人妻色哟哟久久| 欧美性感艳星| av.在线天堂| 另类精品久久| 我的女老师完整版在线观看| 91精品三级在线观看| a级毛片黄视频| 亚洲美女视频黄频| 91精品一卡2卡3卡4卡| 我要看黄色一级片免费的| 午夜av观看不卡| 一级毛片aaaaaa免费看小| 亚洲成人手机| 大香蕉久久成人网| 日韩视频在线欧美| 国产成人a∨麻豆精品| 日韩av在线免费看完整版不卡| 亚洲图色成人| 丰满迷人的少妇在线观看| 永久网站在线| 熟妇人妻不卡中文字幕| 在线观看国产h片| 高清午夜精品一区二区三区| 国产精品久久久久久久久免| 国国产精品蜜臀av免费| 国产av码专区亚洲av| 丝袜在线中文字幕| 少妇的逼好多水| videosex国产| 丰满饥渴人妻一区二区三| 午夜激情久久久久久久| 亚洲av二区三区四区| 久久精品国产亚洲网站| 777米奇影视久久| 色94色欧美一区二区| 久久精品久久久久久久性| 一边亲一边摸免费视频| 久久精品人人爽人人爽视色| 天堂俺去俺来也www色官网| 国产欧美另类精品又又久久亚洲欧美| 国产成人精品福利久久| 日韩一区二区三区影片| 欧美精品国产亚洲| 亚洲人成77777在线视频| 亚洲av综合色区一区| 夫妻午夜视频| 免费观看av网站的网址| 国产爽快片一区二区三区| 亚洲欧洲精品一区二区精品久久久 | 美女国产视频在线观看| 精品少妇黑人巨大在线播放| 狂野欧美白嫩少妇大欣赏| 国产一区亚洲一区在线观看|