• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法治理:體系建構(gòu)與措施進路

    2022-07-13 21:30:54金雪濤
    人民論壇·學術(shù)前沿 2022年10期
    關鍵詞:治理體系治理措施

    【摘要】如果說數(shù)據(jù)是數(shù)字經(jīng)濟時代的核心生產(chǎn)要素,那么算法則是推進這一核心生產(chǎn)要素資產(chǎn)化和價值化的運行基礎。當數(shù)字技術(shù)賦能各個領域,催生了新產(chǎn)品、新組織模式、新商業(yè)模式和新產(chǎn)業(yè)業(yè)態(tài)的同時,也帶來了諸如算法歧視、算法操縱、算法協(xié)同、算法黑箱等潛在風險。不同類型的算法經(jīng)由設計和實施,其帶來的算法應用潛在風險不同,并可能導致政府失靈與市場失靈。圍繞“治理主體—治理對象—治理工具措施”探索算法治理的體系架構(gòu),可以融合多元主體協(xié)同、利益均衡和敏捷治理等三種機制,在元規(guī)制和全過程管理理念的基礎上優(yōu)化算法治理措施,推動三種機制并行。

    【關鍵詞】算法風險? 算法類型? 治理體系? 治理措施

    【中圖分類號】D630? ? ? ? ? ? ? ? ? ? ? ? ? ? ?【文獻標識碼】A

    【DOI】10.16619/j.cnki.rmltxsqy.2022.10.004

    引言

    從技術(shù)的角度看,算法是一個解決問題的計算過程,是一個包含算數(shù)運算、邏輯運算、關系運算的從輸入到輸出的程序;從社會學的角度看,算法是設計者與算法參數(shù)(運算過程)及算法對象之間的互動,這個互動過程也伴隨技術(shù)倫理問題的產(chǎn)生;從經(jīng)濟學的角度看,算法是完成對數(shù)據(jù)資源“輸入—輸出”的分析系統(tǒng),提高生產(chǎn)力的同時也會影響生產(chǎn)關系。伴隨數(shù)字技術(shù)的普及應用,社會體系中的微觀、中觀、宏觀等各層級無一不被嵌入算法的技術(shù)環(huán)境與契約環(huán)境之中。依靠機器學習的算法通過數(shù)據(jù)分析更精準地掌握了需求側(cè)的偏好,極大地促進了供給側(cè)的生產(chǎn)、管理與運營效率的提升。然而,算法在深度賦能社會經(jīng)濟生活方方面面的同時,也帶來了諸如算法歧視、算法操縱、算法共謀、算法黑箱等潛在風險。

    算法的技術(shù)中立性產(chǎn)品特點與算法應用后“技術(shù)權(quán)力”濫用及壟斷的矛盾,促使我們重新審視算法應用與潛在風險之間的關系。我們需要深入分析算法應用產(chǎn)生風險的特征以及風險產(chǎn)生的機理,本研究將從技術(shù)權(quán)力向資本權(quán)力和對公共資源控制轉(zhuǎn)化的角度闡釋算法應用所導致的市場失靈與政府失靈。進一步地,圍繞“治理主體—治理對象—治理工具措施”探索算法治理的體系架構(gòu),提出融合多元主體協(xié)同、利益均衡和敏捷治理等三種機制,在元規(guī)制和全過程管理理念的基礎上優(yōu)化算法治理措施。

    算法治理研究溯源

    算法研究的總體趨勢。早在公元前1世紀,我國《周髀算經(jīng)》就對四分歷法進行說明,同時用商高問答解釋了“勾三股四玄五”這一勾股定律的特例,已經(jīng)有了數(shù)學及算法的雛形。算法(Algorithm)一詞來自于波斯數(shù)學天才花剌子模(Mu?ammad ibn Mūsā al-Khwārizmī)名字的拉丁化,在他的書籍中不僅闡釋了如何將復雜的問題分解為更為簡單的部分并加以解決,也闡釋了沿用至今的“算數(shù)運算”“關系運算”等概念。此后在人類文明的進程中,推進幾何學系統(tǒng)化的歐幾里德算法、“軟件之母”Ada Byron的程序設計流程圖、抽象了數(shù)學計算過程的圖靈機,以及“Pascal創(chuàng)始者”Nicklaus Wirth提出的“算法+數(shù)據(jù)結(jié)構(gòu)=程序”等,每一次探索與進步都堅實了算法的應用基礎。當人類從工業(yè)社會、信息化社會步入數(shù)字經(jīng)濟時代之后,依托高速互聯(lián)的網(wǎng)絡、大數(shù)據(jù)存儲及計算能力,算法已融入個人的吃穿住行、企業(yè)的生產(chǎn)運營和政府的公共治理之中。

    筆者對2000年~2021年國內(nèi)外關于算法治理、算法規(guī)制的學術(shù)論文成果進行檢索分析。國外文獻數(shù)據(jù)來自Web of Science核心合集數(shù)據(jù)庫,為了保證數(shù)據(jù)的全面性,利用專業(yè)檢索,構(gòu)造檢索式“TS=(algorithm*)AND TS=(governance OR regulation)”、選擇語言“English”、選擇文獻類型“Article”,選擇時間截至“2021年”,最終獲取到828篇國外文獻。國內(nèi)文獻數(shù)據(jù)來自中國知網(wǎng),為了保證數(shù)據(jù)的全面性,利用專業(yè)檢索,構(gòu)造檢索式“SU='算法'*('治理'+'規(guī)制')”,選擇CSSCI期刊為檢索范圍,選擇時間截至“2021年”,最終獲取到526篇國內(nèi)文獻。每年中外發(fā)表的論文數(shù)量變化的整體趨勢如圖1所示。綜合來看,國外的研究起步早于國內(nèi),文章數(shù)量多于國內(nèi)。國內(nèi)外在算法治理領域的研究都是從2017年開始顯著增加,這與2016年是算法編輯超越人工編輯的拐點之年密切相關,更佐證了算法技術(shù)應用廣度與深度不斷拓展的現(xiàn)實。

    聚焦國內(nèi)算法治理問題,研究發(fā)現(xiàn),國內(nèi)相關研究中最熱關鍵詞是“人工智能”,該關鍵詞節(jié)點的“原點”最大,代表算法治理中與人工智能相關的研究最多。在國內(nèi)研究排名前20的關鍵詞中,有5個詞與“算法”關聯(lián),分別是算法歧視、算法風險、算法規(guī)制、算法權(quán)力和算法倫理,說明學術(shù)界非常關注算法風險的成因、算法風險的類型和治理措施探索;有6個詞與“治理”關聯(lián),分別是“治理”、“數(shù)據(jù)治理”、“社會治理”、“協(xié)同治理”、“技術(shù)治理”和“政治治理”,這說明當前針對算法應用的治理問題研究不是只停留在微觀層面,也在中觀和宏觀層面都有所涉及。

    算法治理的研究重點。國內(nèi)外關于算法治理的相關研究主要聚焦在傳播學、社會學、政治經(jīng)濟學、經(jīng)濟學和法學等領域,表1列示了代表性學者的研究觀點。

    從傳播學的視角看,算法的直接影響是產(chǎn)生信息繭房(Information Cocoons)、回聲室效應(Echo Chamber)和信息過濾泡(Filter Bubble)。這三個概念均指因算法支撐的數(shù)據(jù)分析及內(nèi)容精準推送,在無形的網(wǎng)絡空間中打造了相對封閉、高度同質(zhì)化的信息空間,人們的視界被熟悉的內(nèi)容和思維所限制并進一步固化,甚而這種固有之見會被推向極端形成群體極化(Group Polarization)。

    從社會學和政治經(jīng)濟學的視角看,盡管算法技術(shù)并非數(shù)字鴻溝、數(shù)字勞動、個人隱私保護等問題存在的唯一因素,但算法應用使得橫亙在互聯(lián)網(wǎng)觸達者和互聯(lián)網(wǎng)無法觸達者之間的橫向數(shù)字鴻溝,政府、企業(yè)、個人等在縱向管理關系上因?qū)?shù)據(jù)(信息)掌握程度和決策能力不同而導致的縱向數(shù)字鴻溝等更加顯著;算法應用也令有酬和無酬的數(shù)字勞動者的勞動付出被機器判斷與指令控制,從而數(shù)字勞動被進一步商品化和資本化;算法應用也會因隱私(數(shù)據(jù))主體喪失了控制權(quán)從而產(chǎn)生隱私泄漏等風險。

    從經(jīng)濟學的角度看,泛在的網(wǎng)絡平臺是數(shù)字經(jīng)濟的基礎設施,也是數(shù)字生產(chǎn)要素利用與配置的場域,更是算法得以應用產(chǎn)生價值增值的舞臺。傳統(tǒng)經(jīng)濟中企業(yè)通過協(xié)議或相互暗示可以形成策略行為的共謀,以限制競爭實現(xiàn)合作集團內(nèi)部利益最大化。數(shù)字經(jīng)濟和人工智能環(huán)境下,算法應用更有助于網(wǎng)絡平臺通過收集個人或企業(yè)的基礎信息及行為信息,通過加工分析而洞悉平臺上的價格趨勢、產(chǎn)品結(jié)構(gòu)以及各類參與方的行為特征,令共謀行為更易達成?;趥€人用戶基礎數(shù)據(jù)和行為數(shù)據(jù)分析的算法,還可以針對個人用戶的偏好實施動態(tài)的價格歧視或服務歧視,剝奪了更多的消費者剩余。

    從法學的角度看,中外學者對算法權(quán)力的形成及其對社會資源和數(shù)據(jù)的控制作用進行了分析,同時對算法權(quán)力嵌入商業(yè)領域、嵌入公權(quán)力程序所形成的異化風險提出了警示,從立法的角度考慮了治理的架構(gòu)與措施。

    伴隨大數(shù)據(jù)分析技術(shù)的升級與智能技術(shù)的普及,算法應用帶來的風險隱患受到了廣泛關注,很多國家政府通過立法和標準制定對算法應用的相關領域進行實質(zhì)維度的治理與監(jiān)管,不同行業(yè)、企業(yè)也通過建立算法應用的倫理指南來實現(xiàn)自我規(guī)制。

    算法應用的潛在風險及形成機理

    算法應用的潛在風險。1.算法歧視(Algorithmic Bias)。算法歧視是指通過數(shù)字自動化決策,特定條件的數(shù)據(jù)分析導致對特定數(shù)據(jù)主體產(chǎn)生基于性別、價格及其他條件的不公正對待,濫用排序、大數(shù)據(jù)殺熟等都是算法歧視的直接表現(xiàn)。算法歧視可能是源于算法設計者的文化差異、判斷差異、目的差異,也可能源于算法使用過程中意外出現(xiàn)的突發(fā)結(jié)果。不管是哪一種情況,算法歧視都會產(chǎn)生偏見強化、消費者剩余被蠶食、個人自主選擇被剝奪等不利影響。

    現(xiàn)實生活中,經(jīng)常使用打車APP的人和使用外賣平臺APP的會員,他們訂車或訂外賣支付的金額有時反而會比不經(jīng)常使用的人更高;又比如企業(yè)在專業(yè)招聘平臺上招人,會存在因算法歧視而導致選擇范圍過窄等問題。根據(jù)2019年北京消費者協(xié)會的社會調(diào)查數(shù)據(jù),有56.92%的被調(diào)查者有過被大數(shù)據(jù)“殺熟”的經(jīng)歷;調(diào)查還顯示購物類、旅游類、打車類等平臺APP均存在著大數(shù)據(jù)“殺熟”現(xiàn)象(劉朝,2022)。

    2.算法操縱(Algorithmic Manipulation)。算法操縱是指當算法部分(或全部)替代“人”成為發(fā)出指令和進行決策的主體時,數(shù)據(jù)(信息、隱私)的所有者、企業(yè)決策主體、勞動主體喪失了控制權(quán),會造成信息繭房、回音室效應、信息過濾泡以及隱私泄漏等問題。

    針對消費者的算法操縱包括新聞、文娛、廣告等推送主要依靠對用戶行為的數(shù)據(jù)分析,算法推斷用戶偏好并只呈現(xiàn)該種類內(nèi)容,比如Facebook的新聞投喂算法(News Feed Algorithm),這使得信息繭房、回音室效應、信息過濾泡等構(gòu)筑“信息隔離空間”的效能大大增強;與此同時,在算法操縱對個人用戶基本數(shù)據(jù)和行為數(shù)據(jù)的收集、分析、預測和使用過程中,因數(shù)據(jù)(信息、隱私)主體喪失了控制權(quán),有可能導致個人數(shù)據(jù)或隱私被泄漏和不當利用。

    針對勞動者的算法操控,最直接的表現(xiàn)就是對數(shù)字勞動的“剝削”。作為工具革命代表的算法能夠?qū)?shù)字勞動的價值精準計量和控制,比如外賣騎手走哪條線路能夠最有效率地送出外賣,粉絲收看視頻的完播率、轉(zhuǎn)發(fā)數(shù)量和評論數(shù)量能夠創(chuàng)造多少流量價值等。數(shù)字技術(shù)通過對數(shù)字勞動的屬性、行為計算出最佳方案,并以一種可見或不可見的方式推進各類數(shù)字勞動去“行動”,數(shù)字勞動所創(chuàng)造的信息內(nèi)容、流量以及生產(chǎn)效率,部分或全部地無償參與資本擴張與增值過程。

    針對同業(yè)競爭者的算法操縱集中地體現(xiàn)在網(wǎng)絡平臺通過算法設置條件,控制搜索結(jié)果或排名呈現(xiàn),構(gòu)筑了市場進入壁壘,當然算法操縱也會導致同業(yè)競爭企業(yè)的數(shù)據(jù)(信息)被泄漏或不當利用。算法操縱破壞了公平競爭,同時也給消費者帶來了不良體驗。比如韓國最大的搜索引擎Naver在2020年利用搜索服務禁止其內(nèi)容供應商與它的競爭對手合作,并將自己的產(chǎn)品設置在搜索結(jié)果的高排名中,將競爭對手的產(chǎn)品設置在低排名中,這種既欺騙消費者又阻礙公平競爭的行為被韓國公平貿(mào)易委員會(Korea Fair Trade Commission, KFTC)罰款280.2億韓元。

    3.算法協(xié)同(Algorithmic Collaboration)。協(xié)同行為(共謀行為)是在特定產(chǎn)業(yè)中多個企業(yè)通過協(xié)議或暗示,采取共同限制價格、限制產(chǎn)量、控制銷售渠道等一致性行為來壓制競爭,獲得超額壟斷利潤的策略。在數(shù)字經(jīng)濟時代,數(shù)據(jù)、算法、算力已經(jīng)貫穿了所有的生產(chǎn)要素和各類社會經(jīng)濟活動,基于互聯(lián)網(wǎng)平臺的運營企業(yè)和平臺內(nèi)參與企業(yè)均有能力對消費者、競爭同行的大數(shù)據(jù)進行收集與分析,并可自動地形成在價格、服務標準或產(chǎn)量上的共謀。

    英國學者阿里爾·扎拉奇(Ariel Ezrachi)和莫里斯·E·斯圖克(Maurice E. Stucke)將算法協(xié)同(共謀)分為四類:1)信使型共謀是通過分享算法傳遞的信息達成對價格或銷售條件等的共謀,算法的角色類似“信使”;2)軸輻型共謀最為常見,是指作為平臺的運營企業(yè)(平臺樞紐)利用算法形成價格指導(車軸),協(xié)同平臺其他參與企業(yè)(輻條)形成上下游縱向共謀,或作為平臺參與企業(yè)(輻條)之間在平臺樞紐的影響形成下游橫向的共謀,從而封閉市場成立,限制了競爭;3)預測型共謀需要依靠更智能的算法,由算法(特別是價格算法)充當企業(yè)高管的代理人角色,動態(tài)監(jiān)控市場價格的變化,通過信息差來獲得定價優(yōu)勢;4)自主型共謀是在機器學習不斷深化的過程中,算法可以完成自我學習與自我決策的不斷優(yōu)化,形成了自動探索優(yōu)化利潤的路徑,從而成為操縱市場的力量,盡管目前自主型共謀還處于概念和實驗階段,但其危害值得我們更多關注。

    在現(xiàn)實中,亞馬遜網(wǎng)站上的書商因定價算法設計上的漏洞,其銷售的書籍定價追隨用戶的留言與評價機械地發(fā)生并無限循環(huán),導致一本普通的生物遺傳學教科書的定價高達2000多萬美金,這是信使型共謀的典例;2016年歐盟法院審理的E-Turas案是E-Turas這家線上旅游預訂系統(tǒng)通過對所有會員單位的報價信息分析,自動將折扣限制在3%以內(nèi),而不論成員單位的自我價格折扣是多少,這是一種典型的軸輻型共謀。

    4.算法黑箱(Algorithmic Black Box)?!昂谙洹笔且环N隱喻,指存在于人工智能深度學習的輸入與輸出之間,難以為外界所觀察和理解的隱層。算法設計者和算法應用者作為專業(yè)人士對算法內(nèi)容和機制會有更多了解,但非專業(yè)人士只能觀察到算法系統(tǒng)的輸入與輸出,很難掌握算法的內(nèi)容與邏輯。算法“黑箱”對多數(shù)主體或個人是具有不透明性和不公開性的,這種不透明性和不公開性必然導致數(shù)據(jù)(信息)的不可控,而數(shù)據(jù)(信息)的不可控又加劇了輸出結(jié)果與事實相悖、或算法決策責任性缺失,關聯(lián)地或可能侵犯公眾知情權(quán)和自主決策權(quán),威脅個人信息安全,甚至可能引發(fā)公共數(shù)據(jù)資源的使用危機。算法黑箱也使算法歧視、算法操縱和算法共謀等以更隱蔽的狀態(tài)產(chǎn)生風險蔓延。

    算法應用存在風險的機理。OECD將算法分為四類:一是“監(jiān)控式算法”(Monitoring Algorithms),指按既定目標,利用數(shù)據(jù)(內(nèi)容信息)爬取技術(shù),通過數(shù)據(jù)收集完成監(jiān)控過程,在監(jiān)控式算法使用過程中,“人”是發(fā)出指令的控制主體和進行決策的主體,算法只是工具;二是“平行式算法”(Parallel Algorithms),依然是根據(jù)既定目標通過特定算法對數(shù)據(jù)進行收集、分析和監(jiān)控,“人”是發(fā)出指令的控制主體,但通過算法設計讓渡了部分“決策權(quán)”給算法;三是“信號式算法”(Signaling Algorithms),是在算法對數(shù)據(jù)收集、分析和預測的基礎上,按照設計程序可以自動發(fā)布信號和處理信號,此類算法已開始對“人發(fā)出指令和進行決策的功能”產(chǎn)生部分的替代;四是“自我學習式算法”(Self-learning Algorithms),是在人工智能的相關技術(shù)加持下,擁有智能認知的算法可以實現(xiàn)從發(fā)出指令到完成決策的全過程,具有了對“人發(fā)出指令和進行決策的功能”完全替代的可能性。

    不同類型的算法經(jīng)由設計和實施,對算法應用潛在風險影響不同(如圖2所示):監(jiān)控式算法不存在發(fā)出指令和完成決策的機器替代,主要功能是收集和分析數(shù)據(jù),并產(chǎn)生導向型的數(shù)據(jù)輸出,因此它是產(chǎn)生基于基礎數(shù)據(jù)和基于行為數(shù)據(jù)的算法歧視的主要助力,同時監(jiān)控式算法也會加劇信息繭房、回聲室效應、信息過濾泡和信使型共謀所產(chǎn)生的風險;平行式算法的指令發(fā)出主體仍然是人,但部分決策控制權(quán)出現(xiàn)向算法的轉(zhuǎn)移,這種算法的輸出背離事實的可能性會推動基于行為數(shù)據(jù)的算法歧視產(chǎn)生、信息過濾泡的構(gòu)建、個人隱私和公共數(shù)據(jù)的泄漏等,平行式算法的自動分析與決策過程也便利了軸輻型共謀的達成;信號式算法已開始對“人發(fā)出指令和進行決策的功能”產(chǎn)生部分的替代,因此與算法對象間的互動更為密切,對于具主動性的數(shù)字勞動進行控制、形成預測型共謀和算法黑箱,信號式算法更有效率;自我學習式算法更加智能,算法能夠獨立完成發(fā)出指令并優(yōu)化決策,因此基于機器學習的自主型共謀和更高難度的算法黑箱有了實施支撐。

    當作為技術(shù)的算法,通過數(shù)據(jù)分析和輸出結(jié)果導向?qū)?jīng)濟活動或社會活動主體的決策與行為產(chǎn)生了一定程度的支配力與控制力,特別是智能技術(shù)的深入融合不斷增強算法的自我學習能力,算法可以部分甚至完全替代人這個主體“發(fā)出指令”“完成決策”,進一步地算法對生產(chǎn)力和生產(chǎn)關系都會產(chǎn)生影響,從單純的技術(shù)工具逐漸轉(zhuǎn)變?yōu)榫哂兄黧w性的“技術(shù)權(quán)力者”。而當這種技術(shù)權(quán)力與商業(yè)程序相結(jié)合時,形成了“算法(技術(shù)權(quán)力)——數(shù)據(jù)收集、分析與結(jié)果輸出——經(jīng)濟資源控制+行為影響——社會利益分配重構(gòu)(資本權(quán)力)——市場失靈”的作用機制路徑;當這種技術(shù)權(quán)力與行政程序相結(jié)合時,則有可能導致“算法(技術(shù)權(quán)力)——數(shù)據(jù)收集、分析與結(jié)果輸出——公共資源(含數(shù)據(jù)/信息)控制——政府失靈”的作用機制路徑。

    算法應用治理體系構(gòu)建

    對算法應用進行治理的難點。算法其實是一種分析利用數(shù)據(jù)的智能手段,它將數(shù)據(jù)輸入(原因)通過既定的程序變?yōu)閿?shù)據(jù)輸出(結(jié)果)。首先,算法應用的過程中,人們知道“因和果”,卻難以了解過程,這種算法的不透明性源于數(shù)據(jù)安全性的考慮,也源于技術(shù)的專業(yè)性,更源于智能技術(shù)的應用實現(xiàn)了“機器自我學習”,可以說算法的不透明性與生俱來,這給治理帶來了難題。其次,算法的研發(fā)具有物理上的隱蔽性、算法的應用具有廣泛的分散性,當深度學習嵌入算法推動人的“決策”向機器讓渡,對算法潛在風險的評估和責任主體的確認就變得更為困難。最后,算法的應用基于各領域的平臺,平臺是聯(lián)接著不同主體的多邊市場,算法應用涉及的潛在風險既涉及個人用戶、平臺運營企業(yè)(平臺樞紐)和平臺參與企業(yè),也涉及平臺上的數(shù)字勞動者和政府管理部門,算法治理主體和算法治理對象都是多元的,相較于其他領域的治理問題,算法治理的難度更大。

    算法應用治理體系構(gòu)建。1.算法治理體系的構(gòu)成要件?;谒惴ㄖ卫碇黧w和對象的多元特點,算法治理的復雜性,算法治理需要構(gòu)建體系。這需要厘清治理主體與治理對象之間的關系和職責,同時考慮市場失靈和政府失靈的雙重影響,通過治理主體的一系列工具措施與治理對象之間形成有效的互動,實現(xiàn)治理目標。算法治理體系的構(gòu)成要件包含治理主體、治理對象、治理工具與措施。

    需要說明的是,算法治理的主體和治理對象并非截然分開的,算法治理主體有時與算法治理對象具有一致性。比如算法治理的主體包括相關政府部門、行業(yè)協(xié)會、第三方社會組織等,但這些主體也會使用算法進行數(shù)字資源的使用與控制,所以要接受公眾的監(jiān)督;算法治理的對象如算法設計開發(fā)方、使用算法的平臺運營企業(yè)、平臺參與企業(yè)、公共組織等,也會采取自我規(guī)制來實現(xiàn)技術(shù)倫理責任。傳統(tǒng)的治理工具主要依賴于政府干預(外部規(guī)制)和自我治理(自我規(guī)制)等具體措施工具,前者是治理主體通過治理工具與措施從外部設定標準等對治理對象進行引導和監(jiān)管,比如市場準入,技術(shù)標準,正面及負面清單等;后者是治理對象基于社會責任、倫理道德等對自身施以主動管理的行為,比如企業(yè)責任、技術(shù)和道德倫理原則等。算法治理主體通過外部治理、算法治理對象通過自我治理,以及近年來理論界與實踐界關注度不斷提高的對治理過程本身或治理主體的“元規(guī)制”,在明晰各類主體權(quán)責和應承擔技術(shù)倫理責任的基礎上,形成多元化主體協(xié)同機制、利益均衡機制和敏捷治理機制,實現(xiàn)算法治理體系的穩(wěn)健運行。

    2.算法治理體系的運行機制。一是多主體協(xié)同機制。算法治理首先需要相關政府部門采取由上而下的行政賦能,通過立法立規(guī)明晰不同算法應用所涉及的各類主體的權(quán)責,通過系列的工具和措施來實現(xiàn)對算法的評估、對算法的問責、對算法的審計,建立責罰相當?shù)闹卫砜蚣?。其次,厘清算法治理主體與治理對象間的關系,提高相關企業(yè)、社會組織和公眾對算法應用的技術(shù)及倫理的認知與理解,推動自下而上的多主體、多元化的參與進程。在這樣的機制下,可以充分調(diào)動算法所涉及的各類主體的積極性與能動性,形成對公共部門作為單一治理主體的有益補充。

    二是利益均衡機制。算法治理工作的目的是保障和實現(xiàn)公共利益,而公共利益意味著一定社會條件下或特定范圍內(nèi)不特定多數(shù)主體利益相一致。利益均衡首先要明確主體利益,然后建立主體利益規(guī)范機制。算法治理涉及的主體利益既包括用戶個體和數(shù)字勞動者的隱私權(quán)、他們對算法的知情權(quán)和要求解釋權(quán),也包括算法設計者或控制方應享有合法使用信息與數(shù)據(jù)的權(quán)利,以及在知識產(chǎn)權(quán)保護下獲得算法應用的收益權(quán),還包括公共部門合法使用算法的權(quán)利等。利益均衡機制需要依靠立法的權(quán)威和社會性的、經(jīng)濟性的規(guī)制手段來協(xié)調(diào)各方主體,在利益共存和相容的基礎上通過科學治理程序和具體治理工具解決制衡與保護等問題。

    三是敏捷治理(Agile Governance)機制。如果說多主體協(xié)同機制與利益均衡機制更多地是從算法涉及的治理主體與治理對象的復雜性出發(fā)構(gòu)建治理體系的原則與基礎,那么敏捷治理機制則是從算法治理的效率與效果出發(fā)推動算法治理體系可持續(xù)運行。當數(shù)字技術(shù)應用超越了傳統(tǒng)治理體系范疇,敏捷治理機制是為應對技術(shù)帶來的新風險和新挑戰(zhàn)而開展的新型治理。敏捷治理機制依托“政府為核心+多元參與主體”的模式,通過跨部門合作形成自上而下與自下而上相結(jié)合的治理程序;從對需求的被動響應轉(zhuǎn)向?qū)π枨蟮闹鲃禹憫?,從結(jié)果導向的治理轉(zhuǎn)向過程導向的治理,在不斷的自反性學習過程中,動態(tài)調(diào)整并優(yōu)化治理工具與措施。盡管敏捷治理在理論研究和實踐應用中仍存在目標與效果的差距,但不可否認的是,集合各方力量、以迅速響應和不斷自反性學習為原則的敏捷治理機制,可以有效地推進算法治理中多主體協(xié)同與利益均衡的實現(xiàn)。

    3.算法治理的措施優(yōu)化。推動以上三種機制并行,算法治理的措施優(yōu)化應堅持過程導向和主動響應需求的原則,引入“元規(guī)制”理念,強調(diào)多主體權(quán)責的明確和系統(tǒng)參與,加強事前、事中和事后全過程的管理。

    首先,算法治理的措施優(yōu)化體現(xiàn)在外部治理和自我治理基礎上元規(guī)制理念的引入?!霸?guī)制”是指規(guī)制本身成為被規(guī)制的對象(Bronwen Morgan, 2003)。顯然,元規(guī)制不僅對治理主體進行規(guī)制,也強調(diào)對治理過程的管控。實踐中元規(guī)制的主旨不在于對算法風險個案解決,而在于對算法應用進行整體的技術(shù)標準指引,并對“算法類型—算法風險”的生成機制予以過程性管理的回應。例如,國際標準化組織已于2018年開始制定針對消費者數(shù)據(jù)信息保護的標準,旨在改善算法帶來的“價格歧視”問題;2019年,德國數(shù)據(jù)倫理委員會發(fā)布“針對數(shù)據(jù)和算法的建議”,建立數(shù)字服務企業(yè)使用數(shù)據(jù)的5級風險評級制度,對不同風險類型的企業(yè)采取不同的監(jiān)管措施。目前,我國已出臺的《中華人民共和國個人信息保護法》《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》進一步明確算法推薦服務商在保護個人信息、防止過度消費、秉持道德倫理等方面的責任和算法需備案、定期審核等要求,對打破算法黑箱大有裨益。但目前我國尚缺乏對不同類型算法的技術(shù)標準和對算法風險分級分類管理的標準,從元規(guī)制視角出發(fā),這些標準應盡快出臺,以實現(xiàn)將治理原則和目標融入技術(shù)開發(fā)和應用中,推動治理對象的自我治理和治理過程的全覆蓋。

    其次,算法規(guī)制的措施優(yōu)化體現(xiàn)在對算法應用全過程的管理。在《中華人民共和國個人信息保護法》《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》頒布之前,我國對于算法的治理較明顯地體現(xiàn)為事后治理,比如2018年8月頒布的《電子商務法》第十九條規(guī)定“電子商務經(jīng)營者搭售商品或者服務,應當以顯著方式提醒消費者注意,不得將搭售商品或者服務作為默認同意的選項”,對這一條款的違規(guī)處罰上限為50萬元罰款。再比如2021年2月出臺的《國務院反壟斷委員會關于平臺經(jīng)濟領域的反壟斷指南》中明確指出“認定平臺經(jīng)濟領域的濫用市場支配地位行為,適用《反壟斷法》第三章和《禁止濫用市場支配地位行為暫行規(guī)定》”,認定過程及行政處罰等也是通過舉報、調(diào)查等事后追索。因為算法技術(shù)的迭代更新,事后治理或追責往往無法有效應對算法應用引致風險的廣泛性和破壞性,增強事中,特別是事前的治理才有利于前瞻性地防范算法風險的產(chǎn)生。2021年12月出臺的《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》強調(diào)“算法風險防控機制備案”“建立健全算法機制機理審核與評估”“驗證算法機制機理、模型、數(shù)據(jù)和應用結(jié)果”等,這已充分說明我國已逐漸實現(xiàn)算法問責前置,推進事前和事中治理工作。在此基礎上,需進一步探索算法內(nèi)容(原理)的備案路徑、拓展第三方算評估(審計)的范圍等,讓原則與要求具有落地基礎;同時要關注算法影響的平臺參與企業(yè)、消費者、數(shù)字勞動者等多重個體,可以通過分類別的負面清單方式,阻斷算法風險的產(chǎn)生。

    總體而言,算法應用產(chǎn)生的風險是多維度的,是算法應用中技術(shù)權(quán)力轉(zhuǎn)化為資本權(quán)力和對公共資源的控制,從而導致了市場失靈或政府失靈。技術(shù)本無善惡,是具有中立性的工具和手段。技術(shù)應用達到何種目的,產(chǎn)生何種影響,均有賴于使用和控制技術(shù)的主體。因此,發(fā)揮算法推動社會向善發(fā)展的作用,需要深入分析算法應用產(chǎn)生風險的特征以及風險產(chǎn)生的機理,并推進多元主體協(xié)同、利益均衡和敏捷治理機制,通過動態(tài)優(yōu)化治理工具與措施,構(gòu)筑“負責任的算法”的基石。

    參考文獻

    胡泳,2015,《新詞探討:回聲室效應》,《新聞與傳播研究》,第6期。

    陳昌鳳、霍婕,2018,《權(quán)力遷移與人本精神:算法式新聞分發(fā)的技術(shù)倫理》,《新聞與寫作》,第1期。

    [美]伊萊·帕里澤,2020,《過濾泡:互聯(lián)網(wǎng)對我們的隱秘操縱》,方師師、楊媛譯,北京:中國人民大學出版社。

    張愛軍、梁賽,2019,《網(wǎng)絡群體極化的負面影響和規(guī)避措施》,《學術(shù)界》,第4期。

    郭小平、秦藝軒,2019,《解構(gòu)智能傳播的數(shù)據(jù)神話:算法偏見的成因與風險治理路徑》,《現(xiàn)代傳播》,第9期。

    單勇,2019,《跨越“數(shù)字鴻溝”:技術(shù)治理的非均衡性社會參與應對》,《中國特色社會主義研究》,第5期。

    Brown B., 2014, "Will Work For Free: The Biopolitics of Unwaged Digital Labour", TripleC (Cognition, Communication, Co-Operation): Open Access Jo, 12(2).

    Nixon B., 2014, "Toward a Political Economy of 'Audience Labour' in the Digital Era", TripleC, 12(2), pp. 713-734.

    吳鼎銘,2017,《網(wǎng)絡“受眾”的勞工化:傳播政治經(jīng)濟學視角下網(wǎng)絡“受眾”的產(chǎn)業(yè)地位研究》,《國際新聞界》,第6期。

    郭春鎮(zhèn)、馬磊,2020,《大數(shù)據(jù)時代個人信息問題的回應型治理》,《法制與社會發(fā)展》,第2期。

    Ezrachi A.; Stucke M. E., 2016, Virtual Competition: The Promise and Perils of the Algorithm-Driven Economy, Cambridge MA: Harvard University Press, pp. 35-70.

    Kirsten M., 2018, "Ethical Implications and Accountability of Algorithms", Journal of Business Ethics, 3, pp. 1-16.

    黃曉偉,2019,《互聯(lián)網(wǎng)平臺壟斷問題的算法共謀根源及協(xié)同治理思路》,《中國科技論壇》,第2期。

    John Cheneyey-lippold, 2011, "A New Algorithmic Identity: Soft Biopolityics and the Modulation of Control", Theory, Culture & Society, 28, pp. 164-168.

    Zuboff S., 2015, "Big Other: Surveillance Capitalism and the Prospects of an Informal Civilization", Journal of Information Technology, 30, pp. 75-89.

    鄭戈,2018,《算法的法律與法律的算法》,《中國法律評論》,第2期。

    張凌寒,2019,《算法權(quán)力的興起、異化及法律規(guī)制》,《法商研究》,第6期。

    劉朝,2022,《算法歧視的表現(xiàn)、成因與治理策略》,《人民論壇》,第2期。

    [英]阿里爾·扎拉奇(Ariel Ezrachi)、[英]莫里斯·E·斯圖克(Maurice E. Stucke),2018,《算法的陷阱》,余瀟譯,北京:中信出版社,第130~155頁。

    Morgan B., 2003, Social Citizenship in the Shadow of Competition: The Bureaucratic Politics of Regulatory Justification, Aldershot, England: Ashgate Publishing Ltd, p. 2.

    責 編/張 曉

    金雪濤,中國傳媒大學國際傳媒教育學院院長,中國傳媒大學經(jīng)濟與管理學院教授、博導。研究方向為產(chǎn)業(yè)經(jīng)濟學,數(shù)字經(jīng)濟和傳媒經(jīng)濟。主要著作有《文化產(chǎn)業(yè)投融資:理論與案例》《數(shù)字媒體經(jīng)濟學》《中國電影產(chǎn)業(yè)國際競爭力測度研究》等。

    猜你喜歡
    治理體系治理措施
    新加坡法治反腐的實踐經(jīng)驗及啟示
    大數(shù)據(jù)視角下的國家治理現(xiàn)代化
    高校治理體系和治理能力探究
    高職院校學生管理問題現(xiàn)狀研究及對策初探
    基于換流站閥中問題的解決方法進行分析
    論路面平整度提高改進措施
    淺談城市交通擁堵困境的道路稅費治理措施
    關于大氣污染形成分析及治理探析
    東方教育(2016年3期)2016-12-14 20:16:43
    反洗錢法規(guī)體系問題及建議
    時代金融(2016年27期)2016-11-25 18:40:23
    紫色土水土流失區(qū)不同治理措施水土保持與土壤改良效果研究
    我的老师免费观看完整版| 淫秽高清视频在线观看| 麻豆av在线久日| 精品久久蜜臀av无| www日本在线高清视频| 91字幕亚洲| 天堂动漫精品| 这个男人来自地球电影免费观看| 国产精品永久免费网站| 曰老女人黄片| 色噜噜av男人的天堂激情| 久久中文字幕一级| 亚洲第一欧美日韩一区二区三区| 国产熟女xx| 精品少妇一区二区三区视频日本电影| 一二三四在线观看免费中文在| 婷婷亚洲欧美| 一二三四在线观看免费中文在| 动漫黄色视频在线观看| 在线观看www视频免费| 亚洲成人免费电影在线观看| 全区人妻精品视频| 久久久久久免费高清国产稀缺| 12—13女人毛片做爰片一| 欧美又色又爽又黄视频| 搡老岳熟女国产| 国产精品av视频在线免费观看| 一进一出好大好爽视频| 免费高清视频大片| 亚洲精品粉嫩美女一区| 亚洲狠狠婷婷综合久久图片| 俺也久久电影网| 很黄的视频免费| 97超级碰碰碰精品色视频在线观看| 亚洲成人久久爱视频| 国产一区二区激情短视频| 91麻豆精品激情在线观看国产| 国产欧美日韩精品亚洲av| videosex国产| 亚洲七黄色美女视频| 这个男人来自地球电影免费观看| 最近在线观看免费完整版| 中文字幕精品亚洲无线码一区| 欧美3d第一页| 国产人伦9x9x在线观看| 天堂av国产一区二区熟女人妻 | 在线播放国产精品三级| 天堂影院成人在线观看| 国产精品一区二区免费欧美| 丁香六月欧美| 特级一级黄色大片| 国产精品免费视频内射| 国内少妇人妻偷人精品xxx网站 | 亚洲国产看品久久| 日韩欧美三级三区| 露出奶头的视频| 最近视频中文字幕2019在线8| 亚洲一码二码三码区别大吗| 精品免费久久久久久久清纯| 中亚洲国语对白在线视频| 国产亚洲av嫩草精品影院| 久久性视频一级片| 免费看日本二区| 精品久久久久久久久久久久久| 正在播放国产对白刺激| 黄色毛片三级朝国网站| 成年版毛片免费区| 大型黄色视频在线免费观看| 精华霜和精华液先用哪个| 亚洲,欧美精品.| 99国产综合亚洲精品| 最近最新免费中文字幕在线| 成人av在线播放网站| 精品午夜福利视频在线观看一区| 中文字幕最新亚洲高清| 中文字幕av在线有码专区| 岛国在线观看网站| 身体一侧抽搐| 美女免费视频网站| 婷婷六月久久综合丁香| 国产精品一及| 一个人免费在线观看的高清视频| 免费观看人在逋| 成人手机av| 两人在一起打扑克的视频| 精品久久久久久久久久久久久| 久久久久久久久中文| 手机成人av网站| ponron亚洲| 中文字幕人成人乱码亚洲影| 久久久水蜜桃国产精品网| 搡老妇女老女人老熟妇| www.www免费av| 国产视频内射| 亚洲人成网站高清观看| 国产亚洲精品综合一区在线观看 | 免费av毛片视频| 黄色视频不卡| 最近最新中文字幕大全免费视频| 麻豆av在线久日| 黄色片一级片一级黄色片| www.熟女人妻精品国产| 亚洲精品av麻豆狂野| 在线观看66精品国产| 麻豆久久精品国产亚洲av| 美女大奶头视频| avwww免费| 天堂动漫精品| 男女之事视频高清在线观看| 青草久久国产| 国产精品亚洲av一区麻豆| 国产v大片淫在线免费观看| 九色国产91popny在线| www日本在线高清视频| 午夜影院日韩av| 亚洲18禁久久av| 国内揄拍国产精品人妻在线| 麻豆国产97在线/欧美 | 99热6这里只有精品| 国产久久久一区二区三区| 窝窝影院91人妻| 亚洲av五月六月丁香网| 一a级毛片在线观看| 极品教师在线免费播放| 一夜夜www| 一边摸一边抽搐一进一小说| 99精品久久久久人妻精品| 亚洲精品国产一区二区精华液| 人人妻人人看人人澡| 亚洲熟女毛片儿| 亚洲欧美日韩无卡精品| 波多野结衣高清作品| 亚洲黑人精品在线| 久久久精品国产亚洲av高清涩受| 成人av在线播放网站| 欧美3d第一页| 国产成人av激情在线播放| 国产精品乱码一区二三区的特点| 欧美三级亚洲精品| 搡老岳熟女国产| 亚洲性夜色夜夜综合| 在线观看日韩欧美| 在线观看舔阴道视频| 又黄又粗又硬又大视频| 老司机深夜福利视频在线观看| 精品国产亚洲在线| 亚洲自拍偷在线| 天堂动漫精品| 一边摸一边抽搐一进一小说| www国产在线视频色| 日本熟妇午夜| 亚洲熟妇中文字幕五十中出| a在线观看视频网站| 久久久国产成人免费| 特大巨黑吊av在线直播| 国产精品野战在线观看| 亚洲色图av天堂| 国产男靠女视频免费网站| 一二三四社区在线视频社区8| 99国产精品一区二区蜜桃av| av片东京热男人的天堂| 亚洲欧美日韩东京热| 国产真人三级小视频在线观看| 国产av不卡久久| 亚洲av熟女| 欧美日韩福利视频一区二区| 亚洲国产精品久久男人天堂| 91九色精品人成在线观看| 变态另类成人亚洲欧美熟女| 99re在线观看精品视频| 欧美日韩乱码在线| 看免费av毛片| 久久婷婷人人爽人人干人人爱| www.www免费av| 欧美日韩亚洲国产一区二区在线观看| 成人欧美大片| 老熟妇乱子伦视频在线观看| 欧美日本亚洲视频在线播放| 十八禁网站免费在线| 18美女黄网站色大片免费观看| 久久久国产成人精品二区| 久久久久久久久免费视频了| www日本在线高清视频| 久久久久久久久久黄片| 俺也久久电影网| 精品久久蜜臀av无| 人人妻人人看人人澡| 精品国产超薄肉色丝袜足j| 亚洲成人中文字幕在线播放| 亚洲性夜色夜夜综合| 三级毛片av免费| 一级毛片精品| 两个人的视频大全免费| 91av网站免费观看| 亚洲精品av麻豆狂野| 2021天堂中文幕一二区在线观| 一个人免费在线观看的高清视频| 国产精品 国内视频| 中出人妻视频一区二区| 亚洲国产日韩欧美精品在线观看 | 日韩有码中文字幕| 怎么达到女性高潮| 在线观看免费视频日本深夜| 男女做爰动态图高潮gif福利片| 老汉色av国产亚洲站长工具| 免费人成视频x8x8入口观看| aaaaa片日本免费| 国产成人av激情在线播放| 成人高潮视频无遮挡免费网站| 亚洲精品一区av在线观看| 国产精品日韩av在线免费观看| 国产成人一区二区三区免费视频网站| 成人特级黄色片久久久久久久| 老汉色av国产亚洲站长工具| 色精品久久人妻99蜜桃| 精品久久蜜臀av无| 中文字幕高清在线视频| 麻豆久久精品国产亚洲av| 国产成年人精品一区二区| 一级作爱视频免费观看| 麻豆成人av在线观看| 露出奶头的视频| 一本精品99久久精品77| 少妇人妻一区二区三区视频| 欧美日韩一级在线毛片| 日本熟妇午夜| 色噜噜av男人的天堂激情| 女生性感内裤真人,穿戴方法视频| 国产成人影院久久av| 91大片在线观看| 变态另类成人亚洲欧美熟女| 天天添夜夜摸| 国内精品久久久久精免费| 丁香欧美五月| 国产av又大| 亚洲最大成人中文| 久久中文字幕人妻熟女| 免费观看精品视频网站| 99国产极品粉嫩在线观看| 19禁男女啪啪无遮挡网站| 国产成人影院久久av| 狂野欧美激情性xxxx| 好看av亚洲va欧美ⅴa在| 99国产极品粉嫩在线观看| 久久中文字幕一级| 99国产精品99久久久久| 黄色女人牲交| 精品午夜福利视频在线观看一区| 男女午夜视频在线观看| 久久午夜亚洲精品久久| 欧美成人午夜精品| 麻豆国产97在线/欧美 | 狂野欧美激情性xxxx| 丁香六月欧美| 天天躁夜夜躁狠狠躁躁| 亚洲av日韩精品久久久久久密| 久久久久国产一级毛片高清牌| 老司机靠b影院| av超薄肉色丝袜交足视频| 亚洲av片天天在线观看| 亚洲国产欧美人成| 亚洲欧美日韩高清在线视频| 宅男免费午夜| 国产成人aa在线观看| 亚洲欧美日韩高清在线视频| 老熟妇乱子伦视频在线观看| 久久精品夜夜夜夜夜久久蜜豆 | 国产成人啪精品午夜网站| 国产精品影院久久| av福利片在线| 12—13女人毛片做爰片一| 久久天躁狠狠躁夜夜2o2o| 欧美日韩国产亚洲二区| av在线播放免费不卡| 亚洲欧美一区二区三区黑人| 国产精品久久久人人做人人爽| 两个人视频免费观看高清| 日本三级黄在线观看| 激情在线观看视频在线高清| 在线观看美女被高潮喷水网站 | 国产精品久久久久久精品电影| 欧美黄色淫秽网站| 男女午夜视频在线观看| 1024视频免费在线观看| 久久午夜综合久久蜜桃| 一级黄色大片毛片| 国产精品av视频在线免费观看| 十八禁人妻一区二区| 怎么达到女性高潮| 亚洲片人在线观看| 亚洲avbb在线观看| 18禁黄网站禁片免费观看直播| 久久香蕉激情| 久久婷婷成人综合色麻豆| 久久精品91无色码中文字幕| 国产精品一区二区精品视频观看| 亚洲黑人精品在线| 久久 成人 亚洲| 人人妻人人澡欧美一区二区| 国内毛片毛片毛片毛片毛片| 亚洲第一欧美日韩一区二区三区| 国产精品国产高清国产av| 国产一区在线观看成人免费| 国产熟女午夜一区二区三区| 欧美三级亚洲精品| 久久性视频一级片| 久久久久久免费高清国产稀缺| 亚洲五月天丁香| 欧美乱色亚洲激情| 一个人免费在线观看电影 | 中文亚洲av片在线观看爽| 男女床上黄色一级片免费看| 亚洲一卡2卡3卡4卡5卡精品中文| 国产99久久九九免费精品| 午夜福利在线在线| 日日干狠狠操夜夜爽| 可以在线观看毛片的网站| 深夜精品福利| 中文在线观看免费www的网站 | 怎么达到女性高潮| 亚洲国产欧洲综合997久久,| 午夜精品一区二区三区免费看| 午夜免费观看网址| 精品欧美一区二区三区在线| 我的老师免费观看完整版| a级毛片a级免费在线| 97超级碰碰碰精品色视频在线观看| 亚洲午夜理论影院| 搡老岳熟女国产| 中亚洲国语对白在线视频| 午夜日韩欧美国产| av在线天堂中文字幕| 人人妻人人看人人澡| 国产一区二区激情短视频| 啦啦啦观看免费观看视频高清| 丰满人妻一区二区三区视频av | 香蕉丝袜av| 亚洲avbb在线观看| 变态另类成人亚洲欧美熟女| 亚洲av美国av| 黄色片一级片一级黄色片| 亚洲一区二区三区不卡视频| 亚洲av电影在线进入| 日日爽夜夜爽网站| 老汉色av国产亚洲站长工具| 中出人妻视频一区二区| 全区人妻精品视频| 天堂动漫精品| 黄色片一级片一级黄色片| 激情在线观看视频在线高清| 亚洲狠狠婷婷综合久久图片| 女人爽到高潮嗷嗷叫在线视频| 九九热线精品视视频播放| 可以在线观看毛片的网站| 亚洲精品美女久久av网站| 午夜精品一区二区三区免费看| 亚洲男人天堂网一区| 九色国产91popny在线| 1024香蕉在线观看| 国产成人av激情在线播放| 欧美在线黄色| 禁无遮挡网站| 亚洲午夜理论影院| 一区福利在线观看| 一级作爱视频免费观看| 曰老女人黄片| 午夜福利在线观看吧| 变态另类成人亚洲欧美熟女| 禁无遮挡网站| 欧美一区二区精品小视频在线| 精品欧美国产一区二区三| 精品一区二区三区视频在线观看免费| 麻豆国产av国片精品| 99久久久亚洲精品蜜臀av| 1024手机看黄色片| 久久久久久免费高清国产稀缺| 性色av乱码一区二区三区2| 中文字幕最新亚洲高清| www.自偷自拍.com| cao死你这个sao货| 男男h啪啪无遮挡| 国产91精品成人一区二区三区| 伦理电影免费视频| 国产高清视频在线观看网站| 日日爽夜夜爽网站| 亚洲性夜色夜夜综合| 欧美日韩国产亚洲二区| 亚洲一码二码三码区别大吗| 在线a可以看的网站| 高清毛片免费观看视频网站| 每晚都被弄得嗷嗷叫到高潮| 午夜老司机福利片| 妹子高潮喷水视频| 久久亚洲真实| 人妻丰满熟妇av一区二区三区| 村上凉子中文字幕在线| 母亲3免费完整高清在线观看| 久久久久久久久中文| 亚洲,欧美精品.| 夜夜躁狠狠躁天天躁| 九色成人免费人妻av| 真人做人爱边吃奶动态| 91av网站免费观看| 国产精品99久久99久久久不卡| 精品久久久久久久末码| 亚洲电影在线观看av| 制服诱惑二区| 日韩精品青青久久久久久| 日本一区二区免费在线视频| 国产精品99久久99久久久不卡| 免费高清视频大片| 精品欧美一区二区三区在线| 国产一区二区三区视频了| 男女视频在线观看网站免费 | 精品免费久久久久久久清纯| 亚洲欧美精品综合一区二区三区| 两性夫妻黄色片| 人妻夜夜爽99麻豆av| 一进一出抽搐动态| 日韩欧美精品v在线| 国产v大片淫在线免费观看| 亚洲精品久久成人aⅴ小说| 精品久久久久久久久久久久久| 亚洲男人天堂网一区| 一本精品99久久精品77| 亚洲国产看品久久| 狂野欧美白嫩少妇大欣赏| 麻豆成人av在线观看| 黄色视频,在线免费观看| 淫妇啪啪啪对白视频| 国产高清视频在线观看网站| 午夜日韩欧美国产| 亚洲一码二码三码区别大吗| 国产精品久久久久久久电影 | 久久天躁狠狠躁夜夜2o2o| 婷婷精品国产亚洲av| 国产亚洲精品久久久久5区| 午夜精品一区二区三区免费看| 美女午夜性视频免费| 日韩有码中文字幕| 女同久久另类99精品国产91| 亚洲黑人精品在线| xxx96com| 亚洲熟妇中文字幕五十中出| 黑人操中国人逼视频| 18禁美女被吸乳视频| 久热爱精品视频在线9| 亚洲精品久久国产高清桃花| 成人永久免费在线观看视频| 国产一区二区在线av高清观看| 校园春色视频在线观看| 亚洲全国av大片| 久久天躁狠狠躁夜夜2o2o| 日韩国内少妇激情av| 我要搜黄色片| 小说图片视频综合网站| 别揉我奶头~嗯~啊~动态视频| 午夜福利高清视频| 99久久综合精品五月天人人| 国产蜜桃级精品一区二区三区| 国产精品 欧美亚洲| 亚洲精品色激情综合| 亚洲av中文字字幕乱码综合| 日本免费a在线| 操出白浆在线播放| 少妇粗大呻吟视频| 成人国语在线视频| 久久天堂一区二区三区四区| 久久午夜综合久久蜜桃| 两个人免费观看高清视频| 成年免费大片在线观看| 一区二区三区高清视频在线| 1024视频免费在线观看| www日本在线高清视频| 叶爱在线成人免费视频播放| 亚洲一区中文字幕在线| 一本一本综合久久| 亚洲美女黄片视频| 级片在线观看| 淫秽高清视频在线观看| 免费无遮挡裸体视频| 亚洲色图 男人天堂 中文字幕| 国产av在哪里看| www.精华液| 久久精品影院6| netflix在线观看网站| 免费搜索国产男女视频| 日本熟妇午夜| 精品国产乱码久久久久久男人| 50天的宝宝边吃奶边哭怎么回事| 黄色女人牲交| 欧美成人免费av一区二区三区| 午夜福利18| 成年女人毛片免费观看观看9| 亚洲激情在线av| 精品久久久久久久人妻蜜臀av| 国产伦人伦偷精品视频| 在线观看www视频免费| 欧美色欧美亚洲另类二区| 国产精品av视频在线免费观看| 国产探花在线观看一区二区| 男女之事视频高清在线观看| 欧美三级亚洲精品| 亚洲一区高清亚洲精品| 亚洲,欧美精品.| 精品高清国产在线一区| 精品久久久久久久毛片微露脸| 黄色毛片三级朝国网站| 日本精品一区二区三区蜜桃| 伦理电影免费视频| av欧美777| 高清在线国产一区| 亚洲精品色激情综合| 搡老熟女国产l中国老女人| 一边摸一边抽搐一进一小说| 日韩欧美国产一区二区入口| 国内久久婷婷六月综合欲色啪| av有码第一页| 国语自产精品视频在线第100页| 精品熟女少妇八av免费久了| 99re在线观看精品视频| 99精品在免费线老司机午夜| videosex国产| 91九色精品人成在线观看| 听说在线观看完整版免费高清| 精品国内亚洲2022精品成人| 天堂动漫精品| 99热这里只有是精品50| 五月玫瑰六月丁香| 成人欧美大片| 99久久无色码亚洲精品果冻| 大型黄色视频在线免费观看| 日本在线视频免费播放| 亚洲av电影在线进入| 一二三四在线观看免费中文在| 狂野欧美白嫩少妇大欣赏| 欧美黑人精品巨大| 看黄色毛片网站| 老鸭窝网址在线观看| 又粗又爽又猛毛片免费看| 蜜桃久久精品国产亚洲av| 国产一区二区激情短视频| 亚洲一区中文字幕在线| 亚洲五月天丁香| 亚洲人成网站在线播放欧美日韩| 一个人观看的视频www高清免费观看 | 黄片小视频在线播放| 女人爽到高潮嗷嗷叫在线视频| 桃红色精品国产亚洲av| 日韩成人在线观看一区二区三区| 亚洲欧美日韩高清在线视频| 亚洲一码二码三码区别大吗| 精品电影一区二区在线| www.精华液| a级毛片a级免费在线| 女同久久另类99精品国产91| 18禁黄网站禁片午夜丰满| 伊人久久大香线蕉亚洲五| 欧美色欧美亚洲另类二区| 少妇人妻一区二区三区视频| 欧美中文日本在线观看视频| 亚洲片人在线观看| 亚洲欧洲精品一区二区精品久久久| 一进一出好大好爽视频| 国产精品永久免费网站| 国产欧美日韩一区二区三| 国产又黄又爽又无遮挡在线| 一二三四社区在线视频社区8| 波多野结衣巨乳人妻| 麻豆av在线久日| 男女午夜视频在线观看| 50天的宝宝边吃奶边哭怎么回事| 亚洲一码二码三码区别大吗| 欧美+亚洲+日韩+国产| 一本精品99久久精品77| 男女之事视频高清在线观看| 午夜视频精品福利| www.熟女人妻精品国产| 亚洲九九香蕉| 亚洲中文字幕一区二区三区有码在线看 | 一本一本综合久久| 精品电影一区二区在线| 很黄的视频免费| 村上凉子中文字幕在线| 91麻豆av在线| 国产精品av视频在线免费观看| 最近最新中文字幕大全电影3| 变态另类丝袜制服| av福利片在线观看| 成年免费大片在线观看| 国产欧美日韩精品亚洲av| 777久久人妻少妇嫩草av网站| xxxwww97欧美| 长腿黑丝高跟| 国产乱人伦免费视频| 桃色一区二区三区在线观看| 一二三四社区在线视频社区8| 免费无遮挡裸体视频| 欧美色欧美亚洲另类二区| 国产精品一区二区三区四区久久| 成年版毛片免费区| 99久久精品国产亚洲精品| 黄色女人牲交| 国产探花在线观看一区二区| 久久久精品欧美日韩精品| 熟妇人妻久久中文字幕3abv| 色播亚洲综合网| 夜夜看夜夜爽夜夜摸| 成人av在线播放网站| 亚洲自拍偷在线| 亚洲第一电影网av| 在线观看美女被高潮喷水网站 | 桃红色精品国产亚洲av| 国产一区二区在线观看日韩 | 国产单亲对白刺激|