• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法治理的正義尺度

    2022-07-13 21:30:54馬長(zhǎng)山
    人民論壇·學(xué)術(shù)前沿 2022年10期

    【摘要】算法治理是數(shù)字時(shí)代的一個(gè)核心問題,它反映著數(shù)字社會(huì)的生活規(guī)律和運(yùn)行邏輯,已經(jīng)超出了工商社會(huì)的治理機(jī)制與體系框架,其價(jià)值尺度也突破了物理空間的正義范圍,新型的數(shù)字正義則應(yīng)運(yùn)而生。因此,在算法治理過程中,應(yīng)適時(shí)確立數(shù)字正義原則,框定數(shù)字正義領(lǐng)域,探索數(shù)字正義實(shí)現(xiàn)路徑,從而構(gòu)建科技向善、以人為本的算法治理秩序,促進(jìn)我國的數(shù)字法治建設(shè)。

    【關(guān)鍵詞】算法治理? 數(shù)字正義? 敏捷治理? 數(shù)字法治

    【中圖分類號(hào)】D90? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【文獻(xiàn)標(biāo)識(shí)碼】A

    【DOI】10.16619/j.cnki.rmltxsqy.2022.10.006

    在新興科技革命的推動(dòng)下,人類開始邁進(jìn)“萬物數(shù)字化、一切可計(jì)算”的新時(shí)代。算法不僅成為生產(chǎn)生活的重要組織者,還是社會(huì)秩序的重要建構(gòu)者,但它所帶來的問題和風(fēng)險(xiǎn)也日漸凸顯。為此,世界主要國家都在積極探索構(gòu)建算法治理體系,從而促進(jìn)科技向善,推動(dòng)數(shù)字化轉(zhuǎn)型和社會(huì)變革進(jìn)步。然而,算法治理帶有顯著的技術(shù)性、風(fēng)險(xiǎn)性、迭代性,使其難以套用傳統(tǒng)的治理模式與機(jī)制,信息技術(shù)倫理也突破了物理空間的正義視域和尺度,這樣,確立與之相應(yīng)的數(shù)字正義,就成為構(gòu)建算法秩序的方向指引和價(jià)值支撐。

    算法治理的正義原則

    在當(dāng)今數(shù)字社會(huì),人類的一切活動(dòng)都會(huì)生成數(shù)據(jù)、時(shí)刻都在交換信息,并通過數(shù)據(jù)分析、信息控制和建模計(jì)算來確保數(shù)字化生產(chǎn)生活的正常運(yùn)行。正是基于這一全新的數(shù)字生態(tài),多環(huán)信息圈開始在任何空間中彌散,[1]“不論是人的、動(dòng)物的或是機(jī)械的,都是信息論的組成部分”。[2]因此,數(shù)據(jù)信息就在物理世界(世界1)、精神世界(世界2)之外,形成了一個(gè)獨(dú)立平行的數(shù)據(jù)世界(世界3)。[3]這個(gè)數(shù)據(jù)世界固然是物理世界和精神世界的數(shù)字化呈現(xiàn),但又不是對(duì)它們的簡(jiǎn)單映射,而是以信息中樞地位來實(shí)現(xiàn)對(duì)物理世界和精神世界的無界鏈接、分享重構(gòu)和互動(dòng)控制。其中,數(shù)據(jù)信息的分享利用是基礎(chǔ),它并不會(huì)像面包那樣,你吃掉一半我就少了一半,恰恰是在不斷的流動(dòng)分享、復(fù)制挖掘和賦值利用中才能生成更多數(shù)據(jù),附加更多意義,創(chuàng)造更多價(jià)值;但同時(shí),如果這種分享利用不受節(jié)制,那也必然對(duì)數(shù)字人格、數(shù)字財(cái)產(chǎn)、數(shù)字交易、乃至分享利用本身帶來嚴(yán)重威脅。相對(duì)于分享利用,算法的建模計(jì)算則是數(shù)字引擎,它既是一個(gè)數(shù)據(jù)信息處理系統(tǒng),也是替代決策系統(tǒng)、透析評(píng)價(jià)系統(tǒng),一方面,憑借算法可以創(chuàng)造出智能化、自動(dòng)化的生產(chǎn)和服務(wù),讓全社會(huì)都能夠分享數(shù)字化的發(fā)展福利;另一方面,算法也會(huì)形成多重穿透、讓隱藏事物可視化、以及誘導(dǎo)操縱的能力,從而帶來令人不安的數(shù)字化控制。由此看來,數(shù)據(jù)信息和算法的背后,蘊(yùn)含著分享與控制的數(shù)字生活悖論。算法治理的核心就在于消解這一悖論,確立并遵循數(shù)字時(shí)代的正義原則。

    自主選擇原則。隨著數(shù)字化轉(zhuǎn)型的不斷加速和智能化水平的不斷提高,人們?cè)谌粘I钪斜厝粫?huì)面臨越來越多的算法推薦和算法決策,進(jìn)而享受智慧便捷的數(shù)字生活。但是,算法并不是無邊界的,用算法來處理人類特有的一些活動(dòng),植入太多的計(jì)算機(jī)邏輯,就“有可能使這些活動(dòng)喪失最根本的人性”;[4]而算法在生活中的泛化替代和誤用濫用,也很容易演化成一種“要么接受、要么離開”的數(shù)字化強(qiáng)迫。因此,在算法決策之外保留必要的平行選項(xiàng),維護(hù)人類的自主性、個(gè)人的選擇性,無疑是數(shù)字正義的根本要求。我國的相關(guān)法律、法規(guī)也有相應(yīng)規(guī)定,主要包括:一是關(guān)鍵領(lǐng)域的自主保留。即在涉及個(gè)人尊嚴(yán)和基本生存的服務(wù)領(lǐng)域,政府或者經(jīng)營者應(yīng)當(dāng)控制算法決策的范圍與功能,從而為公民(消費(fèi)者)保留是否接受自動(dòng)化決策的選擇空間,提供人類決策(人工服務(wù))的通道。二是個(gè)性服務(wù)的便捷拒絕。即在政府或者經(jīng)營者基于個(gè)人敏感信息、或者針對(duì)個(gè)人特征而進(jìn)行算法決策的情況下,應(yīng)尊重公民(消費(fèi)者)的同意權(quán)和拒絕權(quán),確保用戶有可以關(guān)閉這些算法的便捷渠道,并提供拒絕后的其他選項(xiàng)。三是通暢可靠的救濟(jì)保障。即當(dāng)公民(消費(fèi)者)對(duì)算法決策結(jié)果產(chǎn)生質(zhì)疑、并不能接受該結(jié)果時(shí),應(yīng)當(dāng)為公民(消費(fèi)者)提供人類決策的救濟(jì)渠道。這樣,才能有效制約算法決策可能產(chǎn)生的數(shù)字控制傾向,更好地發(fā)揮算法決策的積極效能、釋放數(shù)字福利、分享智慧生活,因此,自主選擇是算法治理必須遵循的重要價(jià)值原則。

    公開透明原則。算法推薦和算法決策之所以備受推崇,很重要的原因就在于它具有勝出人類決策的一些優(yōu)勢(shì),如基于大數(shù)據(jù)分析的科學(xué)性、沒有情感立場(chǎng)的客觀性、快速超能計(jì)算的高效率等。然而,算法并不是完美的,也不是萬能的,它并不能“解決”所有問題。更為重要的是,無論是在政務(wù)服務(wù)領(lǐng)域還是在商業(yè)交易領(lǐng)域,算法服務(wù)的提供方與接受方都在信息和技術(shù)上處于明顯的不對(duì)稱狀態(tài),彼此之間也沒有“面對(duì)面”的對(duì)話互動(dòng)。此時(shí),算法推薦和算法決策就猶如“盲盒”一樣,“用戶們無法看清其中的規(guī)則,無法提出不同意見,也不能參與決策過程,只能接受最終的結(jié)果”,[5]從而形成了眾所周知的算法黑箱,其中難免會(huì)蘊(yùn)含“不穩(wěn)定、不公平和不勞而獲的因素”。[6]為破解這一難題,世界各國的法律和倫理規(guī)范都要求算法具有可解釋性、公開性、可責(zé)性。我國《個(gè)人信息保護(hù)法》第七條、《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第四條、第十六條也規(guī)定:信息處理者應(yīng)當(dāng)公開個(gè)人信息處理規(guī)則,明示處理的目的、方式和范圍;提供算法推薦服務(wù),應(yīng)以適當(dāng)方式公示算法推薦服務(wù)的基本原理、目的意圖和主要運(yùn)行機(jī)制等。這樣才能大幅增強(qiáng)人們對(duì)算法服務(wù)的便利分享和理性監(jiān)督,有效抑制算法誤用與算法濫用,從而為強(qiáng)化算法治理、促進(jìn)其友好向善提供必要的價(jià)值基準(zhǔn)。

    公平合理原則。近代以來,在工商社會(huì)邏輯和啟蒙思想的基礎(chǔ)上,構(gòu)建了以人格權(quán)、物權(quán)、債權(quán)等為核心的現(xiàn)代法律制度,形成了私權(quán)神圣、契約自由、責(zé)任歸己的正義價(jià)值觀,并在公法和私法領(lǐng)域確立起相應(yīng)的公平合理原則。然而,隨著信息革命的到來,網(wǎng)絡(luò)化、數(shù)字化、智能化轉(zhuǎn)型顛覆了人類生活的慣常方式,“從開車到股票交易再到公司人員配置等一系列重大決策權(quán),從人手中轉(zhuǎn)移到算法手中”。[7]現(xiàn)代法律的正義價(jià)值觀和公平合理原則正在面臨嚴(yán)峻挑戰(zhàn),進(jìn)而發(fā)生根本性重塑和時(shí)代轉(zhuǎn)型。

    首先,維護(hù)交換平衡。在萬物互聯(lián)、數(shù)據(jù)說話的時(shí)代,每個(gè)人都既是信息生產(chǎn)者又是信息消費(fèi)者,數(shù)據(jù)信息也因此在生產(chǎn)生活中占據(jù)中樞地位。[8]人們面對(duì)網(wǎng)約租車、刷臉支付、個(gè)性化推薦、智能投顧、智慧醫(yī)療等數(shù)字化服務(wù)時(shí),都需要提供或分享必要的個(gè)人信息才能完成。也即在線生活和算法應(yīng)用提供了智慧便捷服務(wù),但同時(shí),人們也必須把一些必要信息交給平臺(tái)和算法,從而形成互惠交換、合理利用的數(shù)字生態(tài)。此刻,就難以僵化地堅(jiān)守個(gè)人隱私權(quán)利,也不能簡(jiǎn)單搬用“物理時(shí)代”的正義原則,而應(yīng)秉持開放包容的精神,一方面加強(qiáng)對(duì)個(gè)人敏感隱私信息的保護(hù),另一方面強(qiáng)化個(gè)人一般信息的商業(yè)利用和公共利用,[9]從而以算法服務(wù)提供方和接受方的互惠交換與利益平衡為基點(diǎn),確立起數(shù)據(jù)信息處理和算法規(guī)制的新型公平合理原則,實(shí)現(xiàn)數(shù)字正義,構(gòu)建數(shù)字法治秩序。

    其次,秉持正當(dāng)合理。算法無疑是人類的設(shè)計(jì)之物,無論是AI編寫AI代碼,還是復(fù)雜的神經(jīng)網(wǎng)絡(luò)算法,都是在人類的控制和教導(dǎo)下完成的。即便存在程序員也可能說不太清的算法黑箱,但算法也并沒有失控,仍在人類的掌控范圍內(nèi)。事實(shí)上,從數(shù)據(jù)清洗標(biāo)注、繪制知識(shí)圖譜、到算法建模、代碼編寫,都不可避免地嵌入了設(shè)計(jì)者、操作者的價(jià)值理念,都“吸收了設(shè)計(jì)師的社會(huì)觀念和社會(huì)目標(biāo),并試圖在未來重制它們”。[10]因此,如何限定算法的價(jià)值偏好,將其納入正當(dāng)合理的規(guī)范框架內(nèi),無疑是算法治理的根本任務(wù)和重要使命。我國《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》明確要求,“提供算法推薦服務(wù),應(yīng)當(dāng)遵守法律法規(guī),尊重社會(huì)公德和倫理,遵守商業(yè)道德和職業(yè)道德,遵循公正公平、公開透明、科學(xué)合理和誠實(shí)信用的原則”。具體包括:算法要堅(jiān)持主流價(jià)值導(dǎo)向,避免非法虛假信息傳播,不得利用算法實(shí)施屏蔽、操縱、誘導(dǎo)、歧視、不合理限制、不公平不公正對(duì)待、以及實(shí)施壟斷和不正當(dāng)競(jìng)爭(zhēng)等行為。這些都是確??萍枷蛏?、正當(dāng)合理的基本規(guī)范和價(jià)值尺度,需要基于不同的應(yīng)用場(chǎng)景、不同的權(quán)益屬性、不同的類別等級(jí)、不同的數(shù)字關(guān)系進(jìn)行厘定和確認(rèn)。

    再次,遵循比例原則。如前所述,算法是一個(gè)數(shù)據(jù)信息處理系統(tǒng),它必然以數(shù)據(jù)信息為基礎(chǔ),直接關(guān)乎用戶、企業(yè)和政府等多方的數(shù)據(jù)信息權(quán)益;同時(shí),算法又是一個(gè)決策系統(tǒng),其決策結(jié)果也會(huì)對(duì)用戶、企業(yè)和政府等多方權(quán)益產(chǎn)生重要影響。這樣,算法治理就包含了私權(quán)利、私權(quán)力和公權(quán)力之間的相互關(guān)系和權(quán)益邊界,也就應(yīng)遵循比例原則來加以權(quán)衡。我國《個(gè)人信息保護(hù)法》在涉及信息處理、合同訂立履行等方面的多個(gè)條款中,均有“不得過度”“影響最小”“最小范圍”“合理范圍”“所必需的范圍和限度”“所必要的最短時(shí)間”等規(guī)定,這些規(guī)定正是比例原則的基本要求,也是算法治理的重要支撐。與以往比例原則所不同的是,應(yīng)遵循以下衡量基準(zhǔn):一是立足數(shù)據(jù)信息的分享與控制屬性;二是堅(jiān)持算法服務(wù)于人、分享數(shù)字發(fā)展福利的主導(dǎo)方向;三是保護(hù)數(shù)字人格和數(shù)字生存發(fā)展等基本權(quán)利;四是對(duì)不對(duì)稱關(guān)系中處于弱勢(shì)地位的算法服務(wù)接受方提供必要的優(yōu)先保護(hù)。

    最后,避免誤用濫用。算法是一種數(shù)字技術(shù)應(yīng)用,在很多領(lǐng)域、很多方面的計(jì)算能力和處理能力都超過人類,但并“不是所有可以計(jì)算的東西都重要,也不是所有重要的東西都可以被計(jì)算”,[11]它也會(huì)有自身的局限,如算法錯(cuò)誤、算法黑箱、算法歧視、算法共謀、算法操控等,這些都會(huì)產(chǎn)生嚴(yán)重背離公平合理的不良后果。因此,避免算法誤用和濫用,是公平合理原則的底線要求,是維護(hù)算法治理秩序的重要保障。

    數(shù)字人權(quán)原則。在數(shù)字時(shí)代,個(gè)人信息已經(jīng)全方位覆蓋了從搖籃到墳?zāi)沟娜克饺松?,“直至在?jì)算機(jī)數(shù)據(jù)庫中形成一個(gè)‘人’?!盵12]因此,在日常生活中,每個(gè)人都既是自然人也是數(shù)字人;而在數(shù)字政府的制度框架下,人們則是數(shù)字公民。其中,無論商業(yè)交易中的算法還是自動(dòng)化行政中的算法,都有產(chǎn)生數(shù)字鴻溝、算法歧視、算法操控的可能,這就會(huì)給人們?cè)跀?shù)字社會(huì)的生存發(fā)展帶來嚴(yán)重障礙,從而出現(xiàn)數(shù)字人權(quán)問題。算法技術(shù)應(yīng)用應(yīng)堅(jiān)持以人為本,以提高人類的數(shù)字生活能力和生活質(zhì)量為標(biāo)準(zhǔn),而不能異化為限制人、操控人的自動(dòng)手段。聯(lián)合國教科文組織推出的《人工智能倫理問題建議書》就明確指出,人工智能這類技術(shù)極具侵入性,它們可能會(huì)侵犯人權(quán)和基本自由,且被廣泛使用。因此,應(yīng)明確禁止使用人工智能系統(tǒng)進(jìn)行社會(huì)評(píng)分和大規(guī)模監(jiān)控,個(gè)體也應(yīng)該有權(quán)訪問甚至刪除其個(gè)人數(shù)據(jù)記錄,各國應(yīng)采取改善數(shù)據(jù)保護(hù)和保障個(gè)體對(duì)自身數(shù)據(jù)的了解和控制權(quán)的行動(dòng)。[13]因此,維護(hù)和保障數(shù)字人權(quán),就成為算法治理不可或缺的重要準(zhǔn)則。

    算法治理的正義領(lǐng)域

    以往的正義觀念和理論,基本上都是圍繞身份、地位、財(cái)富、機(jī)會(huì)和條件的分配,以自由、平等和權(quán)利的形態(tài)來展開的。然而進(jìn)入數(shù)字時(shí)代后,萬事萬物都會(huì)通過網(wǎng)絡(luò)化、數(shù)字化、智能化方式加以表達(dá)、鏈接、交互和流轉(zhuǎn),數(shù)據(jù)信息與建模算法就擔(dān)負(fù)起重要的關(guān)系建構(gòu)和秩序塑造的功能。此時(shí),公平正義的領(lǐng)域和范圍就不再局限于物理方式的資源分配模式與機(jī)制,而是形成了數(shù)字方式的“分享/控制”模式與機(jī)制。它所產(chǎn)生的一個(gè)嚴(yán)重后果是,相當(dāng)一部分自由、平等、權(quán)利、公正的內(nèi)涵已被數(shù)字化掏空變現(xiàn),只?!巴鈿ぁ鄙性凇@?,外賣騎手的勞動(dòng)權(quán)利一直存在,但“逐低競(jìng)爭(zhēng)”的算法派單機(jī)制卻讓他們形成了難以自控的嚴(yán)重“內(nèi)卷”;商業(yè)交易中的合同權(quán)利依然如故,但大數(shù)據(jù)殺熟、算法歧視卻悄然“釜底抽薪”;同樣,老年人的各種權(quán)利都未改變,但數(shù)字鴻溝卻使他們失去了實(shí)現(xiàn)自己生活權(quán)利的能力。這表明,算法治理的重心是應(yīng)對(duì)數(shù)字控制、實(shí)現(xiàn)數(shù)字正義。這里的數(shù)字控制,并不是以實(shí)物流轉(zhuǎn)方式和人為手段來直接分配資源,而是通過數(shù)據(jù)信息處理和算法控制來隱性地匹配資源與調(diào)動(dòng)行為,于是就披上了技術(shù)的客觀外衣,建立了自動(dòng)實(shí)現(xiàn)的執(zhí)行機(jī)制。因此,抑制數(shù)字控制也就成為數(shù)字正義的主要領(lǐng)域。

    對(duì)數(shù)據(jù)信息的控制。對(duì)數(shù)據(jù)信息的控制,是指通過數(shù)據(jù)信息收集、存儲(chǔ)、加工、傳輸、提供、公開、刪除等方式,實(shí)現(xiàn)對(duì)相對(duì)方的數(shù)字錨定。它既是掌控目標(biāo)對(duì)象的前提,也是算法建模的基礎(chǔ)。眾所周知,隨著從商品經(jīng)濟(jì)向數(shù)字經(jīng)濟(jì)的迭代轉(zhuǎn)型,數(shù)據(jù)信息已成為關(guān)鍵的生產(chǎn)要素,算法也成為重要的生產(chǎn)力。為此,信息“與其說是旨在儲(chǔ)藏,不如說旨在流通”,[14]進(jìn)而把數(shù)字經(jīng)濟(jì)打造成一種“不求所有、但求所用”“可用不可見”的分享經(jīng)濟(jì)樣態(tài)。由于數(shù)字時(shí)代的一切社會(huì)行為都“圍繞著生產(chǎn)與信息控制”,[15]因此,在大量數(shù)據(jù)分享利用的同時(shí),對(duì)數(shù)據(jù)信息的控制就顯得十分關(guān)鍵。具言之,一方面,社會(huì)生活中個(gè)人的數(shù)據(jù)信息隨時(shí)會(huì)生產(chǎn)出來,也隨時(shí)會(huì)以提供、傳輸、抓取等方式被互聯(lián)網(wǎng)平臺(tái)、技術(shù)公司和政府機(jī)構(gòu)所收集存儲(chǔ)和挖掘使用,從而形成了信息優(yōu)勢(shì)方和信息弱勢(shì)方之間的明顯分野。另一方面,算法治理并不僅限于代碼編寫和計(jì)算過程本身,而是一個(gè)包括數(shù)據(jù)信息處理在內(nèi)的“數(shù)據(jù)輸入—建模計(jì)算—結(jié)果輸出”的系統(tǒng)化形態(tài)。收集、存儲(chǔ)、使用、加工、傳輸、提供等數(shù)據(jù)信息處理過程,反映著信息處理者的不同價(jià)值觀和利益偏好,而消費(fèi)者或公民往往對(duì)此難以察覺、也無策應(yīng)對(duì)。可見,數(shù)據(jù)信息控制上的不公平、不合理,實(shí)質(zhì)上是數(shù)據(jù)信息控制能力和數(shù)字行動(dòng)能力上的鴻溝,從而引發(fā)更嚴(yán)重、更廣泛的社會(huì)不公。這就要求在算法治理中貫徹?cái)?shù)字正義原則,設(shè)置合法、合理、安全的數(shù)據(jù)信息處理框架,強(qiáng)化消費(fèi)者或公民的數(shù)據(jù)信息控制能力,從而將分享與控制置于數(shù)字正義尺度之中。

    基于算法的控制?;谒惴ǖ目刂?,主要是指依托算法推薦或者算法服務(wù),向相對(duì)方施加或明或暗的影響,從而干預(yù)誘導(dǎo)相對(duì)方思想和行為的控制方式,它屬于一種由外及內(nèi)的間接干預(yù)策略。這種控制主要通過如下步驟來完成。首先,全景敞視。即通過大數(shù)據(jù)收集、分析而進(jìn)行數(shù)據(jù)畫像。如果說在1993年一只狗匿名上網(wǎng)發(fā)表言論,人們并不知道它是一只狗的話;那么到了2013年,“新版的互聯(lián)網(wǎng)不僅僅知道你是一只狗,它還了解你的品種,想賣給你一碗上等的粗粒狗糧?!盵16]這時(shí),每個(gè)人在大數(shù)據(jù)和算法面前,都只是一個(gè)全景敞視的“透明個(gè)體”,大數(shù)據(jù)和算法形成了一個(gè)“沒人能夠逃離的電子牢籠”。[17]其次,算法投喂。數(shù)字時(shí)代的一個(gè)重要特征是,“誰掌控?cái)?shù)據(jù)信息、處理數(shù)據(jù)信息,誰就擁有了控制他人行為和思想的能力?!盵18]曾經(jīng)的臉書新聞就設(shè)計(jì)了一種投喂算法,計(jì)算出用戶的個(gè)性特征喜好,然后通過“過濾泡”投其所好,定向推送信息。而在美國總統(tǒng)大選中,F(xiàn)acebook、Twitter、YouTube等平臺(tái)公司通過大量用戶信息分析,進(jìn)行數(shù)據(jù)畫像和個(gè)性化推送,從而操縱選民的意識(shí)和行為,“這種影響不會(huì)觸發(fā)用戶的意識(shí),而是一種潛意識(shí),使它們成為你思想的一部分,還讓你覺得這是自己的主見?!盵19]同樣,英國脫歐決策過程中,也顯示出一場(chǎng)“新型政治形態(tài)革命”——“未來操控政治的,將是數(shù)據(jù),而不是你的大腦”。[20]最后,歸納偏置。有研究者指出,自動(dòng)學(xué)習(xí)技術(shù)以及所有的人工智能技術(shù)幾乎都反映了其創(chuàng)立者的一種先驗(yàn)偏置,他們?cè)谒惴ㄖ薪o我們提供了一個(gè)預(yù)設(shè)性的、已經(jīng)解釋了的世界。這樣,我們所看到的世界“恰好只是我們期望看見的或我們從訓(xùn)練中看見的”。[21]這些帶有預(yù)設(shè)性的看法或者偏愛如果不受限制,將會(huì)“在更大程度上操控我們的生活”。[22]由上可見,基于算法的控制,會(huì)對(duì)人格尊嚴(yán)、自由選擇、平等參與、民主權(quán)利等產(chǎn)生深刻影響,這就需要按照數(shù)字正義原則,防范算法對(duì)人們的偏好誘導(dǎo)、思想控制和行為影響,從而維護(hù)數(shù)字人權(quán),實(shí)現(xiàn)算法治理的正義目標(biāo)。

    通過算法的控制。通過算法的控制,主要是指通過算法決策來預(yù)測(cè)、分類、調(diào)配或者判定某個(gè)事項(xiàng),進(jìn)而對(duì)相對(duì)方的權(quán)益和生活產(chǎn)生重要影響的控制方式,它屬于一種自動(dòng)執(zhí)行的直接干預(yù)策略,主要包括以下幾種類型。一是預(yù)測(cè)評(píng)估。近年來,國內(nèi)外一些金融、投資、警局等公私部門都在大量開發(fā)算法預(yù)測(cè)評(píng)估系統(tǒng),例如,2004年9月至2007年4月,美國科羅拉多的公共福利系統(tǒng)開發(fā)自動(dòng)化服務(wù)系統(tǒng);2013年1月,美國南加州阿罕布拉市警察局運(yùn)用“預(yù)測(cè)犯罪”系統(tǒng)(PredPol);其他國家也在開發(fā)金融風(fēng)險(xiǎn)評(píng)估系統(tǒng)、城市安全風(fēng)險(xiǎn)評(píng)估系統(tǒng);等等。然而,這些對(duì)個(gè)人的評(píng)分和評(píng)估——就業(yè)、貸款資格、危險(xiǎn)級(jí)別,其目的主要是目標(biāo)篩選,這就很可能形成一種有意或者無意的算法偏見。[23]更為重要的是,它將導(dǎo)致一種被重新分類、評(píng)價(jià)、比較、甚至被看透的“控制革命”,[24]平等、自由、公正和民主原則都將遭遇重大挑戰(zhàn)和貶損危險(xiǎn)。二是算法指令。例如,外賣騎手和網(wǎng)約車的算法派單、平臺(tái)的算法定價(jià)、算法成交單、智能合約等,它們都是由算法發(fā)出自動(dòng)化指令,進(jìn)而實(shí)現(xiàn)對(duì)人力物力資源的調(diào)配。在這里,算法系統(tǒng)已經(jīng)由簡(jiǎn)單工具變成了重要“決策者”和指令發(fā)布者,基于此,“依靠算法決定行動(dòng)方向的人,可能會(huì)被導(dǎo)向固定的路線,就像演員只能照著劇本表演一樣”。[25]一旦存在明顯的價(jià)值偏好或者出現(xiàn)錯(cuò)誤,就可能帶來嚴(yán)重的不良后果。三是算法裁決。2021年8月,俄羅斯在線支付服務(wù)公司Xsolla使用算法作出的“不敬業(yè)、效率低下”判斷,解雇了147名員工。無獨(dú)有偶,2019年美國亞馬遜內(nèi)部的AI系統(tǒng),就通過追蹤物流倉儲(chǔ)部門員工的工作效率,自動(dòng)生成解雇的指令。[26]這些無疑都是缺少溫度、漠視人性的算法濫用。在我國,自動(dòng)化判定、自動(dòng)化行政、智能裁判的情況也不斷增多,如自動(dòng)化招投標(biāo)系統(tǒng)、自動(dòng)化執(zhí)法系統(tǒng)、自動(dòng)化裁判系統(tǒng)(智能輔助裁判)等,這些系統(tǒng)都是通過算法決策,來對(duì)相應(yīng)事項(xiàng)做出裁決,經(jīng)由負(fù)責(zé)人員確認(rèn)后生效。這些算法決策在效率性、客觀性、一致性等方面固然能夠超過人類,但它也存在著出現(xiàn)算法錯(cuò)誤、算法偏見、算法歧視、算法黑箱、算法霸權(quán)等問題的可能,甚至?xí)a(chǎn)生“數(shù)字決策系統(tǒng)鎖定”的社會(huì)風(fēng)險(xiǎn)。美國的算法實(shí)踐表明,算法裁決也可能會(huì)“將原有的歧視予以自動(dòng)化,加劇了不平等”。[27]因此,需要按照自主選擇、公開透明、公平合理和數(shù)字人權(quán)原則,對(duì)通過算法的控制加以有效約束和規(guī)制,建立科技向善的算法治理秩序。

    算法治理的正義路徑

    算法治理是數(shù)字時(shí)代的全新課題,是一個(gè)融合技術(shù)、倫理和制度的高度復(fù)雜系統(tǒng),其治理方式、治理策略和治理導(dǎo)向均已超出了傳統(tǒng)治理范圍。因此,需要構(gòu)建新型的治理范式,踐行數(shù)字正義原則,立足數(shù)字正義領(lǐng)域,探索實(shí)現(xiàn)數(shù)字正義的新路徑、新策略。

    確立敏捷治理的監(jiān)管機(jī)制。敏捷治理是數(shù)字時(shí)代的新興治理理念,旨在形成快速靈活、包容平衡、共同參與、以人為本的治理模式和機(jī)制,從而應(yīng)對(duì)新興技術(shù)挑戰(zhàn)、解決創(chuàng)新發(fā)展難題和推進(jìn)構(gòu)建智慧治理體系。2022年3月,中共中央辦公廳、國務(wù)院辦公廳印發(fā)的《關(guān)于加強(qiáng)科技倫理治理的意見》就明確要求敏捷治理、倫理先行,“加強(qiáng)科技倫理風(fēng)險(xiǎn)預(yù)警與跟蹤研判,及時(shí)動(dòng)態(tài)調(diào)整治理方式和倫理規(guī)范,快速、靈活應(yīng)對(duì)科技創(chuàng)新帶來的倫理挑戰(zhàn)?!睘榇?,探索敏捷治理的算法監(jiān)管機(jī)制,已經(jīng)勢(shì)在必行。

    首先,秉持?jǐn)?shù)字法治立場(chǎng)。即擺脫傳統(tǒng)法治的慣性思維,從數(shù)字法治理念和立場(chǎng)出發(fā),按照數(shù)據(jù)信息的基本屬性、算法治理的基本規(guī)律、數(shù)字權(quán)益的基本邏輯,來制定監(jiān)管規(guī)則、設(shè)立監(jiān)管程序、實(shí)施合理規(guī)制策略,既要為創(chuàng)新“踩油門”,又要為秩序“踩剎車”,其標(biāo)準(zhǔn)就是算法“以人為本”、遵循數(shù)字正義,如國家七部委要求以“算法取中”來優(yōu)化外賣送餐的派單機(jī)制等,就是重要的嘗試和努力。

    其次,探索精細(xì)敏捷的治理策略。包括基于算法服務(wù)和算法決策的相關(guān)重要程度、用戶規(guī)模、動(dòng)員能力、干預(yù)強(qiáng)度等,依法建立精細(xì)化的分級(jí)分類監(jiān)管機(jī)制;建立網(wǎng)信、電信、公安、市場(chǎng)監(jiān)管等政府部門的快捷協(xié)同機(jī)制、安全評(píng)估和監(jiān)督檢查機(jī)制;完善科技倫理審查和監(jiān)管制度,建立及時(shí)高效的跟蹤、監(jiān)測(cè)、預(yù)警科技倫理風(fēng)險(xiǎn)機(jī)制;建立靈活多樣、包容審慎的算法合規(guī)機(jī)制,實(shí)施及時(shí)有效的正向激勵(lì)監(jiān)管;等等。

    再次,強(qiáng)化共同參與合作。針對(duì)算法的敏捷治理,技術(shù)性、復(fù)雜性、系統(tǒng)性、風(fēng)險(xiǎn)性都非常高,僅憑政府力量是難以做好的,因此,需要?jiǎng)訂T社會(huì)力量廣泛參與,包括科技公司、網(wǎng)絡(luò)平臺(tái)、行業(yè)組織、技術(shù)人員、消費(fèi)者、新聞媒體等,共同維護(hù)數(shù)字正義價(jià)值,創(chuàng)造遵規(guī)守法的算法治理環(huán)境。

    確立責(zé)任明確的自律機(jī)制。算法治理在很大程度上依賴于技術(shù)規(guī)程和操作控制,因此,基于主體責(zé)任的算法自律機(jī)制就十分關(guān)鍵了。目前,世界各國都在積極探索算法治理的自治模式,如微軟、谷歌、IBM等科技公司制定了人工智能開發(fā)的倫理原則。我國企業(yè)在《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》《新一代人工智能倫理規(guī)范》等政策規(guī)范的指引下,也正在積極行動(dòng),促進(jìn)可信AI的發(fā)展應(yīng)用。根據(jù)《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》和相應(yīng)倫理規(guī)范的要求,我國算法治理的自律機(jī)制主要包括以下四個(gè)方面。

    一是落實(shí)算法主體責(zé)任。算法服務(wù)或者算法決策提供者應(yīng)建立健全算法機(jī)制機(jī)理審核、數(shù)據(jù)安全和個(gè)人信息保護(hù)等管理制度和技術(shù)措施,進(jìn)行嚴(yán)密的自我規(guī)范;應(yīng)綜合運(yùn)用內(nèi)容去重、打散干預(yù)等策略,優(yōu)化檢索、排序、選擇、推送、展示等規(guī)則的透明度和可解釋性;建立完善的用戶自主選擇機(jī)制,充分尊重用戶的自主權(quán)、選擇權(quán)等。

    二是建立風(fēng)險(xiǎn)評(píng)估預(yù)警機(jī)制。定期審核、評(píng)估、驗(yàn)證算法機(jī)制機(jī)理、模型、數(shù)據(jù)和應(yīng)用結(jié)果,發(fā)現(xiàn)問題及時(shí)整改修正。同時(shí),可以借鑒美國推特2021年7月推出的“算法偏見賞金”,在社會(huì)上公開征求針對(duì)平臺(tái)“算法偏見”問題的舉措,以打造算法治理的“眾包模式”,[28]從而推進(jìn)算法自律的機(jī)制創(chuàng)新。

    三是積極研發(fā)倫理工具。通過科技研發(fā),推進(jìn)以技術(shù)規(guī)制技術(shù)的能力和水平,向市場(chǎng)需求方提供合適的風(fēng)險(xiǎn)評(píng)估工具和相應(yīng)的算法修復(fù)服務(wù),推動(dòng)倫理服務(wù)的精細(xì)化和專業(yè)化發(fā)展。[29]

    四是推進(jìn)AI倫理行業(yè)約束。這是一種全球趨勢(shì),聯(lián)合國教科文組織于2019年啟動(dòng)撰寫全球AI倫理建議書,于2021年11月在第41屆聯(lián)合國教科文組織大會(huì)上通過了全球首份《人工智能倫理問題建議書》。2019年歐盟委員會(huì)高級(jí)AI專家組(AI HLEG)發(fā)布了《可信賴AI倫理指南》,各主要國家也在積極響應(yīng)和推進(jìn)算法治理。在我國,2019年6月,國家新一代人工智能治理專業(yè)委員會(huì)發(fā)布了《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》;2019年5月,人工智能倫理與安全研究中心、新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟和其他學(xué)術(shù)機(jī)構(gòu)及產(chǎn)業(yè)組織共同發(fā)布《人工智能北京共識(shí)》;2019年8月,深圳人工智能行業(yè)協(xié)會(huì)與曠視科技、科大訊飛等數(shù)十家企業(yè)聯(lián)合發(fā)布《新一代人工智能行業(yè)自律公約》。此外,百度、騰訊等主要科技企業(yè)也提出了企業(yè)自身的AI倫理準(zhǔn)則;曠視科技還在制定準(zhǔn)則的基礎(chǔ)上,成立了人工智能道德委員會(huì),[30]進(jìn)而推動(dòng)人工智能安全可靠、可控可信和可持續(xù)發(fā)展。通過這些機(jī)制,就可以建立健全行業(yè)標(biāo)準(zhǔn)、行業(yè)準(zhǔn)則、自律管理制度和服務(wù)規(guī)范,從而更好地促進(jìn)算法治理,維護(hù)新時(shí)代的數(shù)字正義。

    建立健全有效的社會(huì)監(jiān)督機(jī)制。在數(shù)字時(shí)代,算法應(yīng)用改變著生產(chǎn)生活的一切,對(duì)每個(gè)人都會(huì)有切實(shí)的重要影響。但算法具有很強(qiáng)的技術(shù)性、隱形性、復(fù)雜性、自動(dòng)性特征,又讓人們對(duì)其難以接近、難以洞察、難以把握。因此,亟需建立健全有效的社會(huì)監(jiān)督機(jī)制。

    其一,暢通社會(huì)監(jiān)督渠道?!痘ヂ?lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》明確要求,算法推薦服務(wù)提供者應(yīng)制定完善服務(wù)規(guī)范、依法提供服務(wù)并接受社會(huì)監(jiān)督,設(shè)置便捷有效的用戶申訴和公眾投訴、舉報(bào)入口,明確處理流程和反饋時(shí)限,及時(shí)受理、處理并反饋處理結(jié)果。但這一規(guī)定要落到實(shí)處,尚需很多努力。而且,政府部門、行業(yè)組織等的監(jiān)督渠道也有待暢通和拓展。

    其二,激活監(jiān)督能力。其實(shí),我國的社會(huì)組織、基層組織、新聞媒體等并不少,但是并不都能發(fā)揮有效的監(jiān)督作用。因此,激活它們的監(jiān)督能力就至關(guān)重要。如2019年南京市建鄴區(qū)要求環(huán)衛(wèi)工人佩戴智能手環(huán)“監(jiān)工”,2020年蘇州推出“蘇城文明碼”等事件,受到社會(huì)的關(guān)注和質(zhì)疑,當(dāng)?shù)卣罱K在算法治理邊界的建議下回歸到審慎行政的策略上,社會(huì)監(jiān)督起到了良好效果。

    其三,強(qiáng)化數(shù)字能力。我們每個(gè)人都具有權(quán)利能力和行為能力,并藉此行使自己的權(quán)利、履行自己的義務(wù)。但進(jìn)入數(shù)字時(shí)代后,每個(gè)人不僅要有權(quán)利能力和行為能力,還需要有掌握、運(yùn)用、操作數(shù)字產(chǎn)品和在線處理事務(wù)的能力,這樣才能適應(yīng)和參與數(shù)字生活。因此,面對(duì)算法的社會(huì)監(jiān)督,就需要人們形成良好的數(shù)字素養(yǎng)和數(shù)字能力,更好地認(rèn)識(shí)算法、體驗(yàn)算法,并運(yùn)用數(shù)字能力來監(jiān)督算法,從而維護(hù)自身的合法權(quán)益。這無疑是推進(jìn)算法治理,實(shí)現(xiàn)數(shù)字正義的廣泛力量。

    確立公正可靠的司法保障機(jī)制。在法治社會(huì),司法救濟(jì)是最后的權(quán)益保護(hù)和公平獲得通道,也是社會(huì)治理的根本支撐。因此,算法治理也不例外。換言之,在算法治理過程中,司法救濟(jì)無疑設(shè)置了一道維護(hù)數(shù)字正義的重要屏障。

    由于算法推薦和算法決策帶有調(diào)配性和控制性,因此,算法治理中的司法救濟(jì)也會(huì)更為復(fù)雜,利益關(guān)系更加重要。其司法救濟(jì)方式主要包括:一是算法的司法審查機(jī)制,即一旦發(fā)生算法訴訟,司法機(jī)關(guān)應(yīng)啟動(dòng)司法程序上的算法審計(jì),并根據(jù)算法審計(jì)結(jié)果來進(jìn)行權(quán)益衡量和司法裁決;二是算法案件的公益訴訟機(jī)制,將涉及公共利益、弱勢(shì)群體權(quán)益的算法案件,納入公益訴訟來進(jìn)行維權(quán)保護(hù);三是重要領(lǐng)域、重要權(quán)益的重點(diǎn)保護(hù),如對(duì)算法訴訟中消費(fèi)者或數(shù)字公民的基本權(quán)益、反壟斷和反不正當(dāng)競(jìng)爭(zhēng)、老年人和未成年人的基本權(quán)利、關(guān)乎生存和發(fā)展的數(shù)字人權(quán)等,均需要重點(diǎn)保護(hù)。只有這樣,才能體現(xiàn)科技向善、以人為本的精神,也才能更好地實(shí)現(xiàn)數(shù)字正義原則,構(gòu)建良好的算法治理秩序。

    結(jié)語

    事實(shí)表明,新興技術(shù)應(yīng)用既具有創(chuàng)造性,也具有破壞性。為此,聯(lián)合國教科文組織發(fā)布的《人工智能倫理問題建議書》突破了“發(fā)展先行”抑或“治理先行”的兩難選擇,強(qiáng)調(diào)二者的協(xié)同共進(jìn)。我國需要秉持包容審慎的治理策略,積極構(gòu)建科技向善的算法治理制度。然而,科技向善的基準(zhǔn)已不再是以物質(zhì)分配為核心的“物理”正義;而是以信息分享/控制為核心的數(shù)字正義。這就需要基于數(shù)字生產(chǎn)生活方式和數(shù)字行為規(guī)律,有效探索并重建數(shù)字正義理念、數(shù)字正義原則、數(shù)字正義領(lǐng)域、數(shù)字正義程序等,從而為我國的數(shù)字法治建設(shè)提供核心動(dòng)力,奠定堅(jiān)實(shí)基礎(chǔ)。

    (本文系國家社科基金重大項(xiàng)目“數(shù)字社會(huì)的法律治理體系與立法變革”的前期成果之一,項(xiàng)目編號(hào):20&ZD177)

    注釋

    [1]參見[英]盧恰諾·弗洛里迪:《信息倫理學(xué)》,薛平譯,上海譯文出版社,2018年,第426頁。

    [2][14][美]維納:《人有人的用處——控制論與社會(huì)》,陳步譯,北京大學(xué)出版社,2010年,第12、109頁。

    [3]董春雨、薛永紅:《大數(shù)據(jù)哲學(xué)——從機(jī)器崛起到認(rèn)識(shí)論方法的變革》,北京:中國社會(huì)科學(xué)出版社,2021年,第37頁。

    [4][5][美]盧克·多梅爾:《算法時(shí)代:新經(jīng)濟(jì)的新引擎》,胡小銳等譯,北京:中信出版社,2016年,第223、139~140頁。

    [6][美]弗蘭克·帕斯奎爾:《黑箱社會(huì)——控制金錢和信息的數(shù)據(jù)法則》,趙亞男譯,北京:電子工業(yè)出版社,2015年,第294頁。

    [7][美]克里斯托弗·斯坦納:《算法帝國》,李筱瑩譯,北京:人民郵電出版社,2017年,第197頁。

    [8]參見馬長(zhǎng)山:《數(shù)字法學(xué)的理論表達(dá)》,《中國法學(xué)》,2022年第3期。

    [9]參見張新寶:《從隱私到個(gè)人信息:利益再衡量的理論與制度安排》,《中國法學(xué)》,2015年第3期。

    [10][11]Deakin, S. and Markou, C. (ed.), Is Law Computable? Critical Perspectives on Law and Artificial Intelligence, Oxford: Hart Publishing Bloomsbury Publishing Plc, 2020, pp. 135, 104.

    [12][英]約翰·帕克:《全民監(jiān)控——大數(shù)據(jù)時(shí)代的安全與隱私困境》,關(guān)立深譯,北京:金城出版社,2015年,第14頁。

    [13]《193個(gè)成員國簽署全球首份人工智能與倫理協(xié)議,應(yīng)對(duì)隱私相關(guān)等問題 》,https://www.sohu.com/a/505874289_120076174,2021年4月29日訪問。

    [15][荷蘭]約斯·德·穆爾:《賽博空間的奧德賽——走向虛擬本體論與人類學(xué)》,麥永雄譯,桂林:廣西師范大學(xué)出版社,2007年,第16頁。

    [16][美]伊萊·帕里澤:《過濾泡——互聯(lián)網(wǎng)對(duì)我們的隱秘操縱》,方師師等譯,北京:中國人民大學(xué)出版社,2020年,第6頁。

    [17][美]安德魯·基恩:《科技的狂歡》,趙旭譯,北京:中信出版集團(tuán),2018年,第177頁。

    [18][19]《算法操控大選,數(shù)據(jù)左右美國》,https://new.qq.com/rain/a/20201015a025hs00,2021年9月28日訪問。

    [20]《新型政治形態(tài)革命,用網(wǎng)絡(luò)操控你有多簡(jiǎn)單?》,https://www.sohu.com/a/300329750_488672,2021年3月3日訪問;《英國首相背后的男人:策劃脫歐、贏下大選、改寫歷史》,https://ishare.ifeng.com/c/s/7sp1UqmIVAe,2021年3月3日訪問。

    [21][美]George F. Luger:《人工智能——復(fù)雜問題求解的結(jié)構(gòu)和策略》,郭茂祖等譯,北京:機(jī)械工業(yè)出版社,2017年,第483頁。

    [22][美]凱西·奧尼爾:《算法霸權(quán)——數(shù)學(xué)殺傷性武器的威脅》,馬青玲譯,北京:中信出版集團(tuán),2018年,前言第V頁。

    [23]參見[英]凱倫·楊等編:《馴服算法——數(shù)字歧視與算法規(guī)制》,林少偉等譯,上海人民出版社,2020年,第232頁。

    [24][德]克里斯多夫·庫克里克:《微粒社會(huì)——數(shù)字化時(shí)代的社會(huì)模式》,黃昆等譯,北京:中信出版社,2018年,前言第VII~VIII頁。

    [25][美]盧克·多梅爾:《算法時(shí)代:新經(jīng)濟(jì)的新引擎》,第138、126、127頁。

    [26]《被算法“監(jiān)控”的打工人,這家公司150人被算法裁定為“不敬業(yè)”》,https://www.sohu.com/a/484291096_115128,2022年5月17日訪問。

    [27][美]弗吉尼亞·尤班克斯:《自動(dòng)不平等——高科技如何鎖定、管制和懲罰窮人》,李明倩譯,北京:商務(wù)印書館,2021年,第5、173~174頁。

    [28]佘宗明:《人,是算法的尺度》,https://www.163.com/dy/article/H7AP8V3Q0521N4E0.html,2022年5月18日訪問。

    [29]參見曹建峰、胡錦浩:《倫理即服務(wù):科技倫理與可信AI的下一個(gè)浪潮》,https://36kr.com/p/1358610582701448,2022年2月5日訪問。

    [30]孫明春:《人工智能技術(shù)發(fā)展中的倫理規(guī)范與行業(yè)自律》,https://finance.sina.com.cn/review/jcgc/2021-01-13/doc-ikftssan5687816.shtml,2022年5月18日訪問。

    責(zé) 編/陳璐穎

    馬長(zhǎng)山,華東政法大學(xué)法律學(xué)院教授、博導(dǎo),國家“萬人計(jì)劃”哲學(xué)社會(huì)科學(xué)領(lǐng)軍人才,教育部“長(zhǎng)江學(xué)者”特聘教授,華東政法大學(xué)數(shù)字法治研究院院長(zhǎng),《華東政法大學(xué)學(xué)報(bào)》主編。研究方向?yàn)榉▽W(xué)理論、數(shù)字法治、法社會(huì)學(xué)。主要著作有《邁向數(shù)字社會(huì)的法律》《國家、市民社會(huì)與法治》等。

    亚洲熟妇中文字幕五十中出| 91午夜精品亚洲一区二区三区 | 哪里可以看免费的av片| 午夜视频国产福利| 国产人妻一区二区三区在| 国产三级黄色录像| 我的老师免费观看完整版| 怎么达到女性高潮| 免费看日本二区| av视频在线观看入口| 久久亚洲精品不卡| 女同久久另类99精品国产91| 亚洲在线自拍视频| 美女cb高潮喷水在线观看| 长腿黑丝高跟| 少妇被粗大猛烈的视频| 九九久久精品国产亚洲av麻豆| 国产私拍福利视频在线观看| 黄色视频,在线免费观看| 高清毛片免费观看视频网站| 国产v大片淫在线免费观看| 怎么达到女性高潮| 午夜激情福利司机影院| 国产精品自产拍在线观看55亚洲| 亚洲精品成人久久久久久| 国产老妇女一区| 免费av观看视频| 一卡2卡三卡四卡精品乱码亚洲| 日本一二三区视频观看| 欧美性猛交╳xxx乱大交人| 久久婷婷人人爽人人干人人爱| 欧美三级亚洲精品| 看片在线看免费视频| 免费看日本二区| 久久九九热精品免费| av在线天堂中文字幕| 97超视频在线观看视频| 成人av一区二区三区在线看| 成人永久免费在线观看视频| 成熟少妇高潮喷水视频| 免费在线观看成人毛片| 久久久久国内视频| 一级毛片久久久久久久久女| 日韩欧美一区二区三区在线观看| 九九在线视频观看精品| 日日摸夜夜添夜夜添av毛片 | 美女 人体艺术 gogo| 欧美成人性av电影在线观看| 亚洲精品色激情综合| 欧美又色又爽又黄视频| 亚洲色图av天堂| 日韩大尺度精品在线看网址| 夜夜夜夜夜久久久久| 欧美黑人巨大hd| 变态另类丝袜制服| 亚洲片人在线观看| 村上凉子中文字幕在线| 在线观看66精品国产| 中文字幕av在线有码专区| 国产精品久久电影中文字幕| 免费观看的影片在线观看| 久久久久久大精品| 中文字幕人成人乱码亚洲影| 精品不卡国产一区二区三区| 国产在线男女| 色av中文字幕| 日本撒尿小便嘘嘘汇集6| 国产亚洲av嫩草精品影院| 免费人成视频x8x8入口观看| 精品久久久久久久久av| 他把我摸到了高潮在线观看| 日韩成人在线观看一区二区三区| 国产高清视频在线播放一区| 精品不卡国产一区二区三区| 老司机深夜福利视频在线观看| netflix在线观看网站| 国产探花在线观看一区二区| 国模一区二区三区四区视频| 长腿黑丝高跟| 婷婷亚洲欧美| 亚洲色图av天堂| 极品教师在线视频| av黄色大香蕉| 亚洲av免费高清在线观看| 91久久精品国产一区二区成人| 每晚都被弄得嗷嗷叫到高潮| 一个人看视频在线观看www免费| 国产精品野战在线观看| 国产在线精品亚洲第一网站| 亚洲欧美精品综合久久99| 成年免费大片在线观看| 在线免费观看不下载黄p国产 | 天堂√8在线中文| 国产主播在线观看一区二区| 亚洲国产精品sss在线观看| 中文字幕av成人在线电影| 亚洲精品在线美女| 三级男女做爰猛烈吃奶摸视频| 两性午夜刺激爽爽歪歪视频在线观看| 十八禁国产超污无遮挡网站| 午夜福利成人在线免费观看| 国产中年淑女户外野战色| 免费观看的影片在线观看| 国产成人影院久久av| 免费人成视频x8x8入口观看| 天美传媒精品一区二区| 亚洲性夜色夜夜综合| 成人特级av手机在线观看| 亚洲av.av天堂| 国产精品av视频在线免费观看| 国产男靠女视频免费网站| 欧美三级亚洲精品| 一级黄色大片毛片| 天天一区二区日本电影三级| 人人妻人人看人人澡| 亚洲国产精品久久男人天堂| 麻豆av噜噜一区二区三区| 好男人在线观看高清免费视频| 精品免费久久久久久久清纯| 超碰av人人做人人爽久久| 国产成人福利小说| 国产精品久久久久久精品电影| 婷婷色综合大香蕉| av天堂在线播放| 国内少妇人妻偷人精品xxx网站| 国产高潮美女av| 两个人的视频大全免费| 亚洲中文字幕日韩| 久久精品国产亚洲av涩爱 | 51国产日韩欧美| 午夜精品久久久久久毛片777| 性色avwww在线观看| 午夜福利在线观看吧| 天天躁日日操中文字幕| 亚洲av熟女| 精品免费久久久久久久清纯| 美女高潮喷水抽搐中文字幕| 日韩欧美一区二区三区在线观看| 国产蜜桃级精品一区二区三区| 搡老岳熟女国产| 国内精品美女久久久久久| 伦理电影大哥的女人| 亚洲成av人片在线播放无| 99热精品在线国产| 亚洲欧美日韩高清在线视频| 最近最新中文字幕大全电影3| 国产精品久久电影中文字幕| 久久久国产成人精品二区| 亚洲人与动物交配视频| 亚洲国产色片| 国产人妻一区二区三区在| 免费观看的影片在线观看| 在线观看午夜福利视频| 亚洲狠狠婷婷综合久久图片| 国产精品爽爽va在线观看网站| 色哟哟·www| 亚洲熟妇熟女久久| 亚洲性夜色夜夜综合| av在线天堂中文字幕| 一级毛片久久久久久久久女| 免费看美女性在线毛片视频| 亚洲欧美日韩卡通动漫| 成人无遮挡网站| 在现免费观看毛片| 国产成人aa在线观看| 亚洲成人久久爱视频| 熟女人妻精品中文字幕| 国产精品伦人一区二区| 级片在线观看| 久久99热6这里只有精品| 国产美女午夜福利| 97超级碰碰碰精品色视频在线观看| 国产单亲对白刺激| 国产久久久一区二区三区| 精品久久久久久成人av| 婷婷丁香在线五月| 直男gayav资源| 欧美3d第一页| 国内精品一区二区在线观看| 欧美最新免费一区二区三区 | 亚州av有码| 嫩草影院入口| 首页视频小说图片口味搜索| 日日摸夜夜添夜夜添小说| 免费av不卡在线播放| 亚洲精品一区av在线观看| 男女床上黄色一级片免费看| 日韩欧美免费精品| 国产美女午夜福利| 国产色爽女视频免费观看| 伦理电影大哥的女人| 无遮挡黄片免费观看| 一个人免费在线观看的高清视频| 天天躁日日操中文字幕| 成熟少妇高潮喷水视频| 成年版毛片免费区| 亚洲熟妇熟女久久| 色av中文字幕| 免费看a级黄色片| 99riav亚洲国产免费| 色综合婷婷激情| 色综合亚洲欧美另类图片| 美女 人体艺术 gogo| 国产乱人伦免费视频| 国产一区二区亚洲精品在线观看| 精品久久久久久久久久久久久| 精品人妻偷拍中文字幕| 午夜老司机福利剧场| 91在线观看av| 美女黄网站色视频| 蜜桃久久精品国产亚洲av| ponron亚洲| 亚洲欧美日韩卡通动漫| 午夜免费男女啪啪视频观看 | 搡老岳熟女国产| 男人和女人高潮做爰伦理| 国产精品乱码一区二三区的特点| 精品久久国产蜜桃| 欧美高清性xxxxhd video| 日韩免费av在线播放| 男女视频在线观看网站免费| 成人精品一区二区免费| 国产成年人精品一区二区| 欧美黄色淫秽网站| 中文字幕av成人在线电影| 最近最新免费中文字幕在线| 一本综合久久免费| 亚洲av日韩精品久久久久久密| 亚洲不卡免费看| 此物有八面人人有两片| 一本久久中文字幕| 757午夜福利合集在线观看| 女生性感内裤真人,穿戴方法视频| 欧美日韩亚洲国产一区二区在线观看| 免费看a级黄色片| 给我免费播放毛片高清在线观看| 激情在线观看视频在线高清| 国产精品女同一区二区软件 | 一进一出抽搐gif免费好疼| 免费搜索国产男女视频| 欧美+日韩+精品| 长腿黑丝高跟| 麻豆一二三区av精品| 欧美日韩黄片免| 波多野结衣高清作品| 非洲黑人性xxxx精品又粗又长| 午夜两性在线视频| 亚洲精品影视一区二区三区av| 9191精品国产免费久久| 九色成人免费人妻av| 蜜桃久久精品国产亚洲av| 99国产极品粉嫩在线观看| 18禁裸乳无遮挡免费网站照片| 欧美+日韩+精品| 少妇的逼好多水| 欧美高清性xxxxhd video| 国产av在哪里看| 真人一进一出gif抽搐免费| 白带黄色成豆腐渣| 69人妻影院| 亚洲中文日韩欧美视频| 亚洲精品粉嫩美女一区| 国内久久婷婷六月综合欲色啪| 国产男靠女视频免费网站| 久久午夜亚洲精品久久| 成人特级黄色片久久久久久久| 嫩草影院新地址| 波多野结衣巨乳人妻| 亚洲激情在线av| 久久精品国产99精品国产亚洲性色| 永久网站在线| 桃红色精品国产亚洲av| 精品不卡国产一区二区三区| 亚洲精华国产精华精| 国产熟女xx| 哪里可以看免费的av片| 国产色婷婷99| 精品乱码久久久久久99久播| www.熟女人妻精品国产| 久久亚洲精品不卡| 99久国产av精品| 午夜福利在线在线| 51国产日韩欧美| 国产一级毛片七仙女欲春2| 99久久无色码亚洲精品果冻| 久久久久国产精品人妻aⅴ院| 欧美性猛交黑人性爽| 精品一区二区三区av网在线观看| 一进一出好大好爽视频| 99久久成人亚洲精品观看| 婷婷色综合大香蕉| 亚洲精品456在线播放app | 亚洲av日韩精品久久久久久密| 又黄又爽又刺激的免费视频.| 国产主播在线观看一区二区| 精品99又大又爽又粗少妇毛片 | 性色av乱码一区二区三区2| 亚洲中文日韩欧美视频| 九九热线精品视视频播放| 夜夜躁狠狠躁天天躁| 国产免费av片在线观看野外av| 女人被狂操c到高潮| 日韩精品青青久久久久久| 欧美成狂野欧美在线观看| 三级男女做爰猛烈吃奶摸视频| 国产高清有码在线观看视频| 欧美+日韩+精品| 一个人免费在线观看的高清视频| 人人妻人人看人人澡| 少妇的逼好多水| 国产色爽女视频免费观看| 男女做爰动态图高潮gif福利片| 免费看日本二区| av中文乱码字幕在线| a在线观看视频网站| 成人高潮视频无遮挡免费网站| 国产精品精品国产色婷婷| 精品国内亚洲2022精品成人| 亚洲av成人av| 99热精品在线国产| 久久人人爽人人爽人人片va | av欧美777| 国产v大片淫在线免费观看| av中文乱码字幕在线| bbb黄色大片| 欧美日韩黄片免| 午夜免费激情av| 黄色日韩在线| 亚洲精华国产精华精| 日韩精品中文字幕看吧| 亚洲国产精品成人综合色| 好看av亚洲va欧美ⅴa在| 九九热线精品视视频播放| 可以在线观看毛片的网站| 国产精品久久久久久亚洲av鲁大| 最近中文字幕高清免费大全6 | 久久久久免费精品人妻一区二区| 亚洲性夜色夜夜综合| 中文字幕av在线有码专区| 色哟哟·www| 精品国内亚洲2022精品成人| 麻豆国产97在线/欧美| 脱女人内裤的视频| 有码 亚洲区| 国内精品久久久久精免费| 在线免费观看的www视频| 中文字幕人妻熟人妻熟丝袜美| 黄色女人牲交| 国产 一区 欧美 日韩| 香蕉av资源在线| 黄色丝袜av网址大全| 国产伦精品一区二区三区视频9| 色av中文字幕| 99久久精品热视频| 久久人妻av系列| 亚洲,欧美精品.| 亚洲天堂国产精品一区在线| 88av欧美| av专区在线播放| 麻豆国产97在线/欧美| 免费人成在线观看视频色| 久久精品影院6| 看免费av毛片| 九九热线精品视视频播放| 天堂av国产一区二区熟女人妻| 麻豆国产97在线/欧美| 美女被艹到高潮喷水动态| 国产成人福利小说| 欧美高清成人免费视频www| 琪琪午夜伦伦电影理论片6080| 成人欧美大片| 久久久精品欧美日韩精品| 成人精品一区二区免费| 欧美一区二区亚洲| 搞女人的毛片| 欧美激情在线99| 激情在线观看视频在线高清| 嫩草影院入口| 精品国产亚洲在线| 欧美日韩福利视频一区二区| 嫩草影视91久久| 老司机午夜十八禁免费视频| 欧美日本亚洲视频在线播放| 亚洲欧美精品综合久久99| eeuss影院久久| 精品久久久久久成人av| 国产91精品成人一区二区三区| 老女人水多毛片| 亚洲精品色激情综合| 精品一区二区三区av网在线观看| 国产一区二区激情短视频| 麻豆一二三区av精品| 亚洲av电影在线进入| 好看av亚洲va欧美ⅴa在| 一个人免费在线观看电影| 免费看光身美女| 亚洲aⅴ乱码一区二区在线播放| 国产乱人伦免费视频| 毛片一级片免费看久久久久 | 每晚都被弄得嗷嗷叫到高潮| av女优亚洲男人天堂| 日韩免费av在线播放| 一级黄片播放器| 亚洲美女黄片视频| 免费黄网站久久成人精品 | 免费在线观看日本一区| 欧美一区二区国产精品久久精品| 成人永久免费在线观看视频| 国产精品久久久久久人妻精品电影| 亚洲精品一卡2卡三卡4卡5卡| 久久午夜福利片| 久久香蕉精品热| 日本 欧美在线| 小说图片视频综合网站| 麻豆成人午夜福利视频| 亚洲真实伦在线观看| 免费在线观看亚洲国产| eeuss影院久久| 国产成人啪精品午夜网站| 91麻豆精品激情在线观看国产| 又黄又爽又刺激的免费视频.| 一二三四社区在线视频社区8| 看片在线看免费视频| 国产精品自产拍在线观看55亚洲| 老司机深夜福利视频在线观看| 一夜夜www| 久久久久国产精品人妻aⅴ院| 一个人观看的视频www高清免费观看| 又紧又爽又黄一区二区| 在现免费观看毛片| 午夜福利在线在线| 中文字幕免费在线视频6| 国产精品一及| 免费观看精品视频网站| 综合色av麻豆| 国产毛片a区久久久久| 中亚洲国语对白在线视频| 中文亚洲av片在线观看爽| 午夜精品久久久久久毛片777| 此物有八面人人有两片| 午夜福利成人在线免费观看| 欧美黄色片欧美黄色片| 中文字幕高清在线视频| 亚洲欧美日韩卡通动漫| 动漫黄色视频在线观看| 中文字幕人成人乱码亚洲影| 免费在线观看成人毛片| 久久精品夜夜夜夜夜久久蜜豆| 国产aⅴ精品一区二区三区波| 变态另类丝袜制服| 欧美激情国产日韩精品一区| 欧美成人一区二区免费高清观看| 国产高清视频在线播放一区| 女人被狂操c到高潮| 草草在线视频免费看| 久久久精品大字幕| 我要看日韩黄色一级片| 国产白丝娇喘喷水9色精品| 国产亚洲av嫩草精品影院| 91字幕亚洲| 蜜桃亚洲精品一区二区三区| 免费电影在线观看免费观看| 看片在线看免费视频| 国产黄色小视频在线观看| 亚洲经典国产精华液单 | 亚洲真实伦在线观看| 亚洲av电影不卡..在线观看| 久久中文看片网| 亚洲av中文字字幕乱码综合| 两个人视频免费观看高清| 国产精品亚洲一级av第二区| 欧美日韩福利视频一区二区| av国产免费在线观看| 国产大屁股一区二区在线视频| 国产精品三级大全| 日本熟妇午夜| 亚洲成av人片免费观看| 99国产极品粉嫩在线观看| 99热这里只有精品一区| 哪里可以看免费的av片| 国产探花极品一区二区| 国产精华一区二区三区| av在线观看视频网站免费| 欧洲精品卡2卡3卡4卡5卡区| 亚洲内射少妇av| 欧美激情国产日韩精品一区| 嫁个100分男人电影在线观看| 欧美+亚洲+日韩+国产| 成人亚洲精品av一区二区| 深夜精品福利| 欧美+日韩+精品| 日韩高清综合在线| 午夜免费成人在线视频| 尤物成人国产欧美一区二区三区| 欧美性猛交黑人性爽| 国产精品国产高清国产av| 欧美成狂野欧美在线观看| 2021天堂中文幕一二区在线观| 别揉我奶头 嗯啊视频| 99在线人妻在线中文字幕| 搡老熟女国产l中国老女人| 欧美xxxx黑人xx丫x性爽| 久久久久久九九精品二区国产| 国产精品亚洲av一区麻豆| 亚洲激情在线av| 久久久久久久久中文| 久久亚洲真实| 亚洲 国产 在线| 国产精品久久电影中文字幕| 国产三级黄色录像| 免费无遮挡裸体视频| 简卡轻食公司| avwww免费| 怎么达到女性高潮| 两个人视频免费观看高清| 国内精品美女久久久久久| 女人被狂操c到高潮| 日韩欧美三级三区| 国产成+人综合+亚洲专区| 亚洲精品久久国产高清桃花| 精品人妻1区二区| 精品久久久久久久久久久久久| 欧美性猛交黑人性爽| 亚洲av二区三区四区| 亚洲人与动物交配视频| 黄色女人牲交| 9191精品国产免费久久| a在线观看视频网站| av中文乱码字幕在线| 中文字幕人妻熟人妻熟丝袜美| or卡值多少钱| 99视频精品全部免费 在线| 99久久精品国产亚洲精品| 色综合亚洲欧美另类图片| 在线国产一区二区在线| 最后的刺客免费高清国语| av中文乱码字幕在线| 国产aⅴ精品一区二区三区波| 极品教师在线免费播放| 精品国产亚洲在线| 蜜桃亚洲精品一区二区三区| 亚洲av成人av| 国产不卡一卡二| 99精品在免费线老司机午夜| 欧美在线一区亚洲| 91久久精品电影网| 亚洲不卡免费看| a级毛片免费高清观看在线播放| 婷婷精品国产亚洲av| 国产成人av教育| 草草在线视频免费看| 午夜日韩欧美国产| 久久久久九九精品影院| 无遮挡黄片免费观看| 午夜精品一区二区三区免费看| 国产高清有码在线观看视频| 老熟妇仑乱视频hdxx| 欧洲精品卡2卡3卡4卡5卡区| 90打野战视频偷拍视频| 99视频精品全部免费 在线| 欧美丝袜亚洲另类 | 欧美成人一区二区免费高清观看| 午夜免费成人在线视频| 真实男女啪啪啪动态图| 我要搜黄色片| 亚洲中文字幕一区二区三区有码在线看| 亚洲第一欧美日韩一区二区三区| 国产黄a三级三级三级人| 看十八女毛片水多多多| x7x7x7水蜜桃| 久久精品国产清高在天天线| 欧美日韩国产亚洲二区| 1024手机看黄色片| 一a级毛片在线观看| 久久久久久久久中文| 久久久久九九精品影院| 97人妻精品一区二区三区麻豆| 免费人成在线观看视频色| 日本 欧美在线| 亚洲精品一区av在线观看| 精品一区二区三区av网在线观看| 欧美激情在线99| 此物有八面人人有两片| 老女人水多毛片| 欧美成人性av电影在线观看| 又粗又爽又猛毛片免费看| av黄色大香蕉| 51午夜福利影视在线观看| 国内少妇人妻偷人精品xxx网站| 国产av一区在线观看免费| 亚洲av一区综合| 91久久精品电影网| 尤物成人国产欧美一区二区三区| 日本免费a在线| 日本免费一区二区三区高清不卡| 日本在线视频免费播放| 超碰av人人做人人爽久久| 麻豆久久精品国产亚洲av| 国产久久久一区二区三区| 欧美一区二区亚洲| 日韩欧美 国产精品| 又爽又黄a免费视频| 一个人免费在线观看电影| 亚洲专区中文字幕在线| 久久人妻av系列| 欧美在线一区亚洲| av在线观看视频网站免费| 亚洲三级黄色毛片| 中国美女看黄片| 免费看a级黄色片| 国产精品电影一区二区三区| 国模一区二区三区四区视频| 亚洲欧美日韩无卡精品| 精品久久久久久久人妻蜜臀av| 午夜福利视频1000在线观看|