• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法歧視的緣起、挑戰(zhàn)與法律應(yīng)對(duì)

    2022-06-29 07:10:58
    關(guān)鍵詞:挑戰(zhàn)法律算法

    石 穎

    算法歧視是隨著人工智能、大數(shù)據(jù)、算法技術(shù)等新興技術(shù)的開發(fā)應(yīng)用而出現(xiàn)的新型歧視類型。算法并非技術(shù)中立,它無法將人類社會(huì)固有的某些偏見與歧視完全排除在外。相反,這種根植在算法程序中的歧視,會(huì)帶來比一般意義上的歧視更為嚴(yán)重的后果。受到算法歧視的群體會(huì)更普遍、更廣泛,且難以被察覺。作為數(shù)字社會(huì)的主要抓手,算法除了為人們提高運(yùn)行效率、減少?zèng)Q策成本以外,還增加了歧視風(fēng)險(xiǎn),嚴(yán)重侵害了公民平等和非歧視的基本權(quán)利,帶來了諸多社會(huì)和法律層面的挑戰(zhàn),需要我們予以應(yīng)對(duì)。那么,算法歧視這種新型歧視類型的緣起是什么?算法歧視為社會(huì)現(xiàn)實(shí)和法律帶來了哪些挑戰(zhàn)?以及如何去應(yīng)對(duì)這些挑戰(zhàn),實(shí)現(xiàn)算法歧視的法律治理?本文將對(duì)這些問題作以論述。

    一、算法歧視問題的緣起

    (一)算法與算法歧視的界定

    算法是數(shù)學(xué)與計(jì)算機(jī)科學(xué)領(lǐng)域中的運(yùn)算程序,是用以執(zhí)行計(jì)算、處理數(shù)據(jù),并進(jìn)行自動(dòng)推理的技術(shù)規(guī)范?,F(xiàn)代算法主要來自計(jì)算機(jī)科學(xué)領(lǐng)域,二十世紀(jì)英國數(shù)學(xué)家圖靈曾提出“圖靈機(jī)”這一假想的計(jì)算機(jī)抽象模型,并運(yùn)用算法作為該圖靈機(jī)解決不同問題的各種不同程序。(1)See Turing A M.I.Computing Machinery and Intelligence,Mind, vol.59:236,(1950).隨后則進(jìn)一步發(fā)展成為人工智能領(lǐng)域下的機(jī)器學(xué)習(xí)算法,是一種能夠通過設(shè)定相應(yīng)的參數(shù)而使計(jì)算機(jī)自動(dòng)生成并自動(dòng)改進(jìn)算法的程序。算法是憑借設(shè)計(jì)者或者開發(fā)者的主觀創(chuàng)造,以代碼的形式表達(dá)的一種設(shè)計(jì)者的需要,是大數(shù)據(jù)技術(shù)最重要的抓手之一,能夠深度挖掘大數(shù)據(jù)中隱藏的有用信息,繼而實(shí)現(xiàn)數(shù)據(jù)價(jià)值。算法和數(shù)據(jù)在機(jī)器學(xué)習(xí)的交互中,以“輸出預(yù)測(cè)”作為設(shè)定目標(biāo)的實(shí)現(xiàn)情況,“以當(dāng)前的運(yùn)行作為下一步指令的基礎(chǔ),根據(jù)實(shí)際的狀態(tài)而不是規(guī)范的預(yù)期作為策略選擇的依據(jù)?!?2)余成峰:《法律的“死亡”:人工智能時(shí)代的法律功能危機(jī)》,載《華東政法大學(xué)學(xué)報(bào)》2018年第2期。簡(jiǎn)單來說,算法即是一系列的指令或規(guī)則,是通過這些指令或規(guī)則來解決問題、實(shí)現(xiàn)目標(biāo)的。算法更多體現(xiàn)的是一種基于統(tǒng)計(jì)學(xué)的隨機(jī)性控制。從算法的運(yùn)行來看,在建構(gòu)起算法初始化模型之后,算法便會(huì)根據(jù)所輸入的訓(xùn)練數(shù)據(jù)進(jìn)行自主訓(xùn)練,之后則對(duì)驗(yàn)證數(shù)據(jù)進(jìn)行驗(yàn)證,以檢驗(yàn)算法的訓(xùn)練成果,從而完成算法訓(xùn)練,生成算法系統(tǒng)的模型。(3)參見孟令宇:《從算法偏見到算法歧視:算法歧視的責(zé)任問題探究》,載《東北大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)》2022年第1期。下圖展示了算法模型的基本運(yùn)行過程。

    人工智能、大數(shù)據(jù)以及算法技術(shù)在當(dāng)今時(shí)代得到了極大的發(fā)展,但是,隨之而來的不僅僅是更便利的生產(chǎn)、生活與工作方式,還帶來了更復(fù)雜的安全倫理挑戰(zhàn)與法律治理難題。諸如歧視這種產(chǎn)生于人腦的思維意識(shí)即在這一過程中轉(zhuǎn)化進(jìn)機(jī)器算法,演化為算法歧視。歧視是建立在同種或類似情勢(shì)下所作出的“不利對(duì)待”,然而其區(qū)別的依據(jù)并不是能力或貢獻(xiàn),而主要以性別、種族(民族)、基因攜帶狀況、天資等“天賦資源”的區(qū)別為依據(jù)。算法歧視源于大數(shù)據(jù)歧視,是由于算法內(nèi)部演算和數(shù)據(jù)分析所導(dǎo)致的對(duì)特定群體或個(gè)人的不公正對(duì)待,深度學(xué)習(xí)的算法具有“預(yù)測(cè)”的功能,這種預(yù)測(cè)功能在邏輯理路上類似于心理學(xué)上的“預(yù)判”,并且人們通常較難理解算法的運(yùn)行原理,因此也極易將歧視夾帶其中,形成算法歧視。算法歧視是一種自動(dòng)化歧視(Automated Discrimination)(4)See Laura Carmichael,Sophie Stalla,Steffen Staab.Data Mining and Automated Discrimination:A Mixed Legal / Technical Perspective,IEEE Intelligent Systems , vol.31:6,(2016).,由于涉及人工智能、大數(shù)據(jù)等一系列新興技術(shù)而變得難以判斷,因此已經(jīng)無法按照傳統(tǒng)的性別、種族等特征要素來界定受歧視群體。而且算法決策系統(tǒng)是一個(gè)非常復(fù)雜的決策體系,算法的某一環(huán)節(jié)出現(xiàn)的失誤往往會(huì)以隱蔽的方式呈現(xiàn),因此人們較難察覺因算法而受到的不合理的區(qū)別對(duì)待,這種未知性也加劇了人們對(duì)人工智能、算法等新興技術(shù)的不信任程度。(5)參見卜素:《人工智能中的“算法歧視”問題及其審查標(biāo)準(zhǔn)》,載《山西大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)》2019年第4期。

    (二)算法歧視的現(xiàn)實(shí)表現(xiàn)

    實(shí)踐中可以發(fā)現(xiàn)諸多涉及算法歧視的案件或事件,如2018年有媒體曝出滴滴網(wǎng)約車平臺(tái)存在利用大數(shù)據(jù)殺熟客的行為,即在相同時(shí)段相同始發(fā)地,使用不同品牌、不同型號(hào)的手機(jī)進(jìn)行約車時(shí),會(huì)得到不同的報(bào)價(jià)。又如2019年發(fā)生的被稱為“算法歧視第一案”的意大利戶戶送有限責(zé)任公司算法歧視案(Filt Cgil di Bologna、Filcams Cgil di Bologna 、Nidil Cgil Bologna v.Deliveroo Italia S.R.L.),即由于意大利戶戶送有限責(zé)任公司使用的數(shù)字送餐平臺(tái)系統(tǒng)對(duì)騎手實(shí)施了集體性的算法歧視,在對(duì)騎手進(jìn)行榮譽(yù)排名時(shí)并未考慮騎手因合法合理原因而導(dǎo)致的未按預(yù)定的時(shí)間和配送區(qū)域進(jìn)行送餐的情形,因此使騎手喪失了對(duì)工作條件優(yōu)先選擇的機(jī)會(huì),而被判定構(gòu)成算法歧視。(6)參見羅智敏:《算法歧視的司法審查——意大利戶戶送有限責(zé)任公司算法歧視案評(píng)析》,載《交大法學(xué)》2021年第2期。由此可見,算法自動(dòng)化決策過程并非中立的,算法決策結(jié)果的輸出會(huì)在實(shí)踐中產(chǎn)生對(duì)特定群體不合理的區(qū)別對(duì)待。以算法歧視所產(chǎn)生的不同層級(jí)的危害為標(biāo)準(zhǔn),可以將現(xiàn)實(shí)中的算法歧視劃分為擾亂市場(chǎng)經(jīng)濟(jì)秩序的算法歧視、危害社會(huì)公平正義的算法歧視以及侵害公民平等權(quán)利的算法歧視三種類型。

    1.擾亂市場(chǎng)經(jīng)濟(jì)秩序的算法歧視

    交易中不合理的區(qū)別定價(jià)往往構(gòu)成不正當(dāng)定價(jià),我國對(duì)于交易中的不正當(dāng)價(jià)格行為已作出了相關(guān)立法規(guī)定,如《中華人民共和國反壟斷法》第17條規(guī)定:“禁止具有市場(chǎng)支配地位的經(jīng)營者從事下列濫用市場(chǎng)支配地位的行為:……(六)沒有正當(dāng)理由,對(duì)條件相同的交易相對(duì)人在交易價(jià)格等交易條件上實(shí)行差別待遇;……”(7)《中華人民共和國反壟斷法》第17條第1款第6項(xiàng)?!吨腥A人民共和國價(jià)格法》第14條規(guī)定:“經(jīng)營者不得有下列不正當(dāng)價(jià)格行為:……(五)提供相同商品或者服務(wù),對(duì)具有同等交易條件的其他經(jīng)營者實(shí)行價(jià)格歧視;……”(8)《中華人民共和國價(jià)格法》第14條。隨著算法在商業(yè)領(lǐng)域中的廣泛應(yīng)用,算法平臺(tái)逐漸具備了技術(shù)優(yōu)勢(shì)和市場(chǎng)優(yōu)勢(shì),為了獲得更高的商業(yè)利益而開始運(yùn)用算法實(shí)施對(duì)消費(fèi)者的價(jià)格歧視,將線下的價(jià)格歧視帶至線上。即利用算法技術(shù)對(duì)不同消費(fèi)者的支付能力和支付意愿進(jìn)行評(píng)估后做出區(qū)別定價(jià)的銷售策略,從而形成算法價(jià)格歧視。算法價(jià)格歧視進(jìn)一步擴(kuò)大了線下價(jià)格歧視的影響力,嚴(yán)重違反了“明碼實(shí)價(jià)”的傳統(tǒng)商業(yè)道德標(biāo)準(zhǔn),改變了競(jìng)爭(zhēng)博弈的基本規(guī)則和市場(chǎng)運(yùn)行的基本結(jié)構(gòu),擾亂了市場(chǎng)經(jīng)濟(jì)秩序,未能充分尊重和平等保護(hù)消費(fèi)者的合法權(quán)益。對(duì)此,《中華人民共和國電子商務(wù)法》第18條第1款規(guī)定:“電子商務(wù)經(jīng)營者根據(jù)消費(fèi)者的興趣愛好、消費(fèi)習(xí)慣等特征向其提供商品或者服務(wù)的搜索結(jié)果的,應(yīng)當(dāng)同時(shí)向該消費(fèi)者提供不針對(duì)其個(gè)人特征的選項(xiàng),尊重和平等保護(hù)消費(fèi)者合法權(quán)益?!?9)《中華人民共和國電子商務(wù)法》第18條第1款。以維護(hù)市場(chǎng)經(jīng)濟(jì)秩序,保護(hù)消費(fèi)者合法權(quán)益。

    2.危害社會(huì)公平正義的算法歧視

    算法歧視的出現(xiàn),往往是算法在面對(duì)公平和效率的選擇時(shí),選擇了效率而忽視了公平。當(dāng)前社會(huì),算法自動(dòng)化決策涉及的領(lǐng)域已經(jīng)非常廣泛,不僅應(yīng)用在房屋租賃、融資信貸、保險(xiǎn)、招聘篩選等商業(yè)領(lǐng)域中,還應(yīng)用在公共政策的制定和執(zhí)行以及司法領(lǐng)域中。在這些領(lǐng)域中一旦使用了歧視性的數(shù)據(jù)或做出了歧視性的算法設(shè)計(jì),將會(huì)產(chǎn)生比商業(yè)領(lǐng)域更嚴(yán)重的歧視性后果。如在司法領(lǐng)域利用算法程序預(yù)測(cè)再犯概率,就很容易因?yàn)樗惴ㄔO(shè)計(jì)人員所帶有的歧視理念或因?yàn)椴粶?zhǔn)確的算法而產(chǎn)生歧視性的風(fēng)險(xiǎn)評(píng)估結(jié)果,嚴(yán)重危害公平正義,也有損于司法的公信力。

    一般而言,受歧視群體往往因“外團(tuán)體”(10)“外團(tuán)體”(out-group),指的是處于弱勢(shì)地位、背負(fù)污名、遭受排擠的群體,是平等與反歧視措施的主要適用對(duì)象。身份而遭受著“弱勢(shì)循環(huán)”,呈現(xiàn)出“強(qiáng)者越強(qiáng),弱者越弱”的生存狀態(tài)。從資源與利益分配的角度來看,算法歧視嚴(yán)重破壞了分配正義,不論是在物質(zhì)資料分配方面,還是在勞動(dòng)分工和社會(huì)制度分配方面,都承受著嚴(yán)重的歧視,對(duì)社會(huì)公平正義帶來了非常大的負(fù)面影響。因此,有待于分別從技術(shù)上和法律上做出應(yīng)對(duì)。

    3.侵害公民平等權(quán)利的算法歧視

    平等是一種價(jià)值目標(biāo),亦是法律的精神與生命。平等作為基本權(quán)利已經(jīng)被大多數(shù)國家以憲法或法律的形式予以確認(rèn)?!皯椃ㄉ系钠降?,是禁止在本質(zhì)相同的情況下基于對(duì)個(gè)人或群體的某些自然性、社會(huì)性的固有特征,作出任何旨在損害、克減、限制或剝奪他人合法權(quán)利的不合理的差別對(duì)待,或者任何基于不合理的區(qū)別措施具有損害特定群體或個(gè)人的法律效果?!?11)周偉:《禁止歧視:法理與立法》,法律出版社2020年版,第1頁。禁止歧視是平等權(quán)的主要內(nèi)容之一。受歧視者往往是在相同情況下受到了不合理的區(qū)別對(duì)待,這種不合理的區(qū)別對(duì)待嚴(yán)重侵害了公民的平等權(quán)利。而算法歧視則在一定程度上固化了社會(huì)中的歧視和不平等。如亞馬遜公司曾經(jīng)為了方便快捷而使用的簡(jiǎn)歷分析系統(tǒng),即自動(dòng)將女性求職者的排名后置于男性,這使得女性求職者在相同的求職條件下受到了區(qū)別對(duì)待,嚴(yán)重違反了男女平等的基本原則,形成算法性別歧視。

    二、算法歧視的挑戰(zhàn)

    通過對(duì)歷史數(shù)據(jù)的聚類和分析,實(shí)現(xiàn)對(duì)新數(shù)據(jù)的歸類和預(yù)測(cè)的算法運(yùn)行模式,似乎是按照孔德“社會(huì)物理學(xué)”的構(gòu)想而行進(jìn),即基于不斷推進(jìn)的理性科學(xué)認(rèn)知,人們將能夠根據(jù)現(xiàn)狀進(jìn)行統(tǒng)計(jì)分析,掌握社會(huì)規(guī)律,進(jìn)而實(shí)現(xiàn)社會(huì)預(yù)測(cè)。(12)See Comte A.“ System of positive philosophy”,R. Bierstedt ed.The making of society,New York: Random House Press,1959,p.192.然而實(shí)踐中,算法技術(shù)反而因這樣的技術(shù)理論邏輯引發(fā)各種歧視和不平等的挑戰(zhàn)。總之,算法歧視不僅帶來技術(shù)建構(gòu)上的結(jié)構(gòu)性挑戰(zhàn),還帶來算法運(yùn)行上的功能性挑戰(zhàn),更有平等權(quán)消解、算法權(quán)力擴(kuò)張以及法律功能異化等隱藏性挑戰(zhàn)。

    (一)技術(shù)建構(gòu)上的結(jié)構(gòu)性挑戰(zhàn)

    算法的結(jié)構(gòu)是以技術(shù)為依托而建立起來的,因此,算法歧視的結(jié)構(gòu)性挑戰(zhàn)主要體現(xiàn)在算法技術(shù)建構(gòu)方面,是基于算法技術(shù)本身的邏輯與技術(shù)的缺陷而引發(fā)的。算法主要是對(duì)既有的數(shù)據(jù)信息進(jìn)行改造和再生產(chǎn)而建構(gòu)起來的。在此過程中,算法的“技術(shù)邏輯”能夠使結(jié)構(gòu)化了的事實(shí)和規(guī)則“推理”出可重復(fù)的新的事實(shí)與規(guī)則,“在‘事實(shí)、規(guī)則——事實(shí)、規(guī)則——事實(shí)、規(guī)則’的螺旋上升過程中,既有的以及推導(dǎo)出的事實(shí)和規(guī)則成為下一次計(jì)算的基礎(chǔ),并且被不斷強(qiáng)化,最終印證系統(tǒng)設(shè)計(jì)的目的。”(13)李文靜、欒群:《人工智能時(shí)代算法的法律規(guī)制:現(xiàn)實(shí)、理論與進(jìn)路》,載《福建師范大學(xué)學(xué)報(bào)》2020年第4期。這一技術(shù)建構(gòu)過程符合人類思維方式與認(rèn)知規(guī)律,而且這樣的算法技術(shù)設(shè)計(jì)能極大地提高效率,減少運(yùn)行成本,但是技術(shù)的建構(gòu)邏輯是以既有知識(shí)作為算法運(yùn)行的前提性要素的,因此,算法技術(shù)的邏輯推論過程并不能做到全面而周延,所得出的結(jié)論也只能是既有知識(shí)范圍基礎(chǔ)上的經(jīng)驗(yàn)性結(jié)論,其存在技術(shù)建構(gòu)邏輯上的瑕疵,構(gòu)成技術(shù)建構(gòu)上的結(jié)構(gòu)性挑戰(zhàn)。

    (二)算法運(yùn)行上的功能性挑戰(zhàn)

    算法的功能主要是在算法運(yùn)行的過程中實(shí)現(xiàn)的,因此,算法歧視的功能性挑戰(zhàn)主要體現(xiàn)在算法運(yùn)行方面。在此,以算法運(yùn)行中的算法個(gè)性化推薦和冗余編碼為例,對(duì)算法運(yùn)行上的功能性挑戰(zhàn)加以論述。

    第一,算法個(gè)性化推薦產(chǎn)生的算法歧視挑戰(zhàn)。常見的“大數(shù)據(jù)殺熟”現(xiàn)象(即“動(dòng)態(tài)差異化定價(jià)”機(jī)制,又稱“區(qū)別定價(jià)”)即是商家利用與消費(fèi)者之間的信息不對(duì)稱,而將消費(fèi)者鎖定在一個(gè)封閉式的消費(fèi)空間中,其遵循的不再是以往那種公開透明的商業(yè)模式或消費(fèi)模式,而是通過系統(tǒng)評(píng)估用戶的心理承受價(jià)位,以一對(duì)一定價(jià)的方式推送給用戶相應(yīng)的商品,并提供不同的價(jià)格,形成了違反公平交易的算法價(jià)格歧視。這表明,“大數(shù)據(jù)殺熟”不再是僅僅涉及商業(yè)道德、商業(yè)倫理方面的問題,而已上升為一種涉嫌價(jià)格歧視的法律問題。這樣的算法運(yùn)行嚴(yán)重影響著市場(chǎng)經(jīng)濟(jì)的健康有序發(fā)展,侵害著公民的合法權(quán)益,不利于算法功能的實(shí)現(xiàn)。

    第二,“冗余編碼”產(chǎn)生的算法歧視挑戰(zhàn)?!叭哂嗑幋a”產(chǎn)生的算法歧視指的是將本應(yīng)受到保護(hù)的敏感性數(shù)據(jù),與其他可合法獲得的數(shù)據(jù)進(jìn)行編碼與關(guān)聯(lián)性應(yīng)用,從而產(chǎn)生的歧視性的決策結(jié)果。(14)See Solon Barocas & Andrew D.Selbst,Big Data's Disparate Impact,California Law Review,vol.104:671, (2016).如用人單位利用大數(shù)據(jù)算法從人才庫中選聘(或解雇)應(yīng)聘者本是常見的人才選拔與淘汰方式,但在此過程中,如果單純以通勤時(shí)長作為評(píng)價(jià)策略,做出拒絕錄用(或解聘)通勤時(shí)間過長員工的決策,那就有可能構(gòu)成對(duì)該群體的算法歧視。因?yàn)橐酝ㄇ跁r(shí)長作為評(píng)估和判斷員工勝任工作與否的標(biāo)準(zhǔn),實(shí)際是對(duì)員工進(jìn)行了不合理的區(qū)別對(duì)待。通常情況下,通勤時(shí)間過長往往是因?yàn)榻?jīng)濟(jì)條件等原因而居于遠(yuǎn)郊或交通不便的地方,如果以通勤時(shí)長作為員工勝任工作與否的標(biāo)準(zhǔn),會(huì)進(jìn)一步降低該群體的雇傭率,將現(xiàn)實(shí)社會(huì)中可能已經(jīng)存在的歧視轉(zhuǎn)化為算法歧視,強(qiáng)化歧視的作用力與覆蓋面。(15)參見張玉宏、秦志樂、肖樂:《大數(shù)據(jù)算法的歧視本質(zhì)》,載《自然辯證法研究》2017年第5期。

    (三)平等權(quán)消解、算法權(quán)力擴(kuò)張以及法律功能異化的隱藏性挑戰(zhàn)

    算法時(shí)代所帶來的各種社會(huì)問題,往往與技術(shù)要素、資本要素密切相連。算法歧視是算法技術(shù)的衍生物,是壟斷性的算法技術(shù)與營利性的資本深度結(jié)合而產(chǎn)生的,是一個(gè)相當(dāng)復(fù)雜的問題。因此,除了上述結(jié)構(gòu)性挑戰(zhàn)和功能性挑戰(zhàn)以外,還需格外注意隱藏在算法歧視背后的,基于平等權(quán)消解、算法權(quán)力擴(kuò)張以及法律功能異化所帶來的隱藏性挑戰(zhàn)。

    1.算法歧視隱藏著平等權(quán)消解的挑戰(zhàn)

    技術(shù)的發(fā)展進(jìn)步要始終以人為最終目的,堅(jiān)持以人為本,實(shí)現(xiàn)人的全面發(fā)展,避免發(fā)生人被智能技術(shù)排斥且無法得到救濟(jì)的情況。算法除了帶來外部法律治理的技術(shù)危機(jī)外,還對(duì)一些基本權(quán)利保護(hù)體系產(chǎn)生了極大的影響。算法歧視對(duì)公民基本權(quán)利的侵害正表現(xiàn)在權(quán)益侵害程度以及侵害后果的不確定性上,且受侵害個(gè)體較難獲得救濟(jì)。

    平等是一個(gè)具有多重含義的概念,其所指對(duì)象既可以是政治參與的權(quán)利、收入分配的制度,又可以是不得勢(shì)群體的社會(huì)地位和法律地位。(16)參見博登海默:《法理學(xué)——法律哲學(xué)與法律方法》,鄧正來譯,中國政法大學(xué)出版社2017年版,第310頁?!艾F(xiàn)實(shí)中產(chǎn)生不平等的原因在于人類社會(huì)普遍存在的歧視現(xiàn)象……每個(gè)期望實(shí)現(xiàn)社會(huì)正義和人權(quán)的社會(huì),都以平等為社會(huì)基石……‘免受歧視’是從平等權(quán)引申出來的一項(xiàng)權(quán)利……免受歧視,實(shí)現(xiàn)平等,也就成為實(shí)現(xiàn)弱勢(shì)群體人權(quán)首要的基本的要求,而平等和不歧視原則則成為弱勢(shì)群體人權(quán)保護(hù)制度的核心?!?17)張愛寧:《平等和不歧視——弱勢(shì)群體人權(quán)保護(hù)國際標(biāo)準(zhǔn)研究》,世界知識(shí)出版社2021年版,第27頁?!皺C(jī)會(huì)平等”和“消除歧視”已經(jīng)是各國反歧視法的目的條款。算法歧視既違反了“對(duì)相同的人給予相同待遇”的形式平等原則,又違反了以機(jī)會(huì)平等和結(jié)果平等為基礎(chǔ)的實(shí)質(zhì)平等。算法歧視不平等的來源:一方面,源自算法模型設(shè)計(jì)本身存在的歧視和不平等的技術(shù)規(guī)則體系;另一方面,源自數(shù)據(jù)收集利用時(shí),將具有歧視性的或敏感性的數(shù)據(jù)信息進(jìn)行了收集利用,從而將受歧視群體轉(zhuǎn)化成為潛在的歧視對(duì)象。

    2.算法歧視隱藏著算法權(quán)力擴(kuò)張的挑戰(zhàn)

    進(jìn)入信息化時(shí)代,算法在本質(zhì)上已經(jīng)不單單是一種數(shù)據(jù)計(jì)算程式,而日益成為一種“算法權(quán)力”,與社會(huì)化的知識(shí)、利益以及公共權(quán)力越來越密切地聯(lián)系在一起,深刻影響著社會(huì)生活中每個(gè)人的行為選擇。作為一種越來越重要的“非國家力量”,“算法權(quán)力”甚至演化為一種“準(zhǔn)公權(quán)力”,其利用自身在數(shù)據(jù)處理與算法上的技術(shù)優(yōu)勢(shì),產(chǎn)生對(duì)政府、公民、社會(huì)組織的影響和控制,造成傳統(tǒng)“權(quán)利——權(quán)力”格局的失衡。(18)參見鄭智航、徐昭曦:《大數(shù)據(jù)時(shí)代算法歧視的法律規(guī)制與司法審查——以美國法律實(shí)踐為例》,載《比較法研究》2019年第4期。尤其會(huì)在分析人類的各項(xiàng)主觀偏好的基礎(chǔ)上,將帶有該種偏好的信息推送給相應(yīng)個(gè)體,從而影響人們的判斷和決策。如愛彼迎民宿預(yù)訂平臺(tái)就在2017年時(shí)被曝出,使用歧視性算法優(yōu)先篩選或引導(dǎo)受歡迎的潛在租戶入住高質(zhì)量房間,為平臺(tái)創(chuàng)造最大化的經(jīng)濟(jì)利潤。(19)See Benjamin Edelman,Michael Luca,Dan Svirsky. Racial Discrimination in the Sharing Economy: Evidence from a Field Experiment,American Economic Journal: Applied Economics,vol.9:2,(2017).這種影響力和控制力其實(shí)是源于隱藏在算法權(quán)力背后的資本權(quán)力的崛起,而這樣的資本權(quán)力實(shí)際掌控著算法設(shè)計(jì)、研發(fā)及運(yùn)行的全過程。第一,算法具有高度的專業(yè)性,算法權(quán)力這種新型權(quán)力體系只被算法技術(shù)持有者這一少數(shù)群體所掌握。由于高度的專業(yè)性使得算法設(shè)計(jì)人員或算法平臺(tái)等算法技術(shù)持有者與普通用戶之間形成了巨大的“數(shù)字鴻溝”。普通用戶基本只能得到并被動(dòng)地接受最終的決策結(jié)果,根本無法追溯并理解以技術(shù)代碼的形式呈現(xiàn)的算法決策的過程、決策的依據(jù)、決策的結(jié)構(gòu),并發(fā)現(xiàn)其中所存在的算法歧視。第二,算法不再只具有傳統(tǒng)網(wǎng)絡(luò)平臺(tái)的工具性特征,而是作為具有信息配置主導(dǎo)權(quán)的規(guī)則本身而存在。無論是在社會(huì)治理當(dāng)中還是在商事交易當(dāng)中,算法技術(shù)已然成為基本的應(yīng)用工具。掌握著算法權(quán)力的資本,同時(shí)掌握著算法建構(gòu)的基礎(chǔ)——數(shù)據(jù)。海量數(shù)據(jù)的存儲(chǔ)、計(jì)算和運(yùn)用,使得資本在數(shù)據(jù)占有方面享有絕對(duì)優(yōu)勢(shì),甚至演化成數(shù)據(jù)霸權(quán),如阿里巴巴的網(wǎng)絡(luò)交易平臺(tái)就掌握著包括個(gè)人身份識(shí)別信息、金融信息、消費(fèi)信息等的海量個(gè)人數(shù)據(jù)信息,從而得以進(jìn)一步商業(yè)化地開發(fā)利用其所掌握的數(shù)據(jù)信息,發(fā)揮數(shù)據(jù)價(jià)值。第三,政府在數(shù)據(jù)信息挖掘方面需要加以改進(jìn)。除了存在因科層體制所產(chǎn)生的數(shù)據(jù)壁壘的原因以外,技術(shù)人員的欠缺、數(shù)據(jù)信息利用度低也是重要原因。而現(xiàn)代化國家治理對(duì)算法技術(shù)的運(yùn)用又具有極大的依賴性,因此政府需要與資本開展合作,以獲得算法技術(shù)和數(shù)據(jù)信息的開發(fā)共享。本該由政府監(jiān)管的算法平臺(tái)轉(zhuǎn)化成為政府的合作對(duì)象,又一次拓寬了自身的影響力。

    在技術(shù)視角下,算法權(quán)力對(duì)規(guī)制國家公權(quán)力起到了重要的作用;而在資本視角下,算法權(quán)力逐漸幫助擁有算法和數(shù)據(jù)技術(shù)優(yōu)勢(shì)的資本建立起相對(duì)于國家來說的優(yōu)勢(shì)地位。在數(shù)據(jù)優(yōu)勢(shì)、算法技術(shù)優(yōu)勢(shì)以及資本優(yōu)勢(shì)的疊加作用下,使得權(quán)力與社會(huì)秩序、資本與國家的關(guān)系逐漸發(fā)生異化。

    3.算法歧視隱藏著法律功能異化的挑戰(zhàn)

    作為智能科技,算法技術(shù)對(duì)現(xiàn)行法律制度和法律體系都帶來了極大的風(fēng)險(xiǎn)挑戰(zhàn),不僅為未來法律規(guī)范創(chuàng)造了新的規(guī)范對(duì)象,還深刻改變了現(xiàn)有法律實(shí)踐的運(yùn)行邏輯。算法歧視這一經(jīng)由數(shù)據(jù)收集與算法運(yùn)行而形成的技術(shù)秩序帶來了新的法律治理難題,引發(fā)法律功能的危機(jī)和異化。

    算法是基于統(tǒng)計(jì)學(xué)而建立起的具有描述性、學(xué)習(xí)性、動(dòng)態(tài)性的隨機(jī)性控制,在這樣的動(dòng)態(tài)隨機(jī)數(shù)據(jù)中不斷地進(jìn)行自我適應(yīng)和改進(jìn),據(jù)實(shí)際的狀態(tài)而非規(guī)范的預(yù)期來做出策略選擇。(20)參見余成峰:《法律的“死亡”:人工智能時(shí)代的法律功能危機(jī)》,載《華東政法大學(xué)學(xué)報(bào)》2018年第2期。常見的算法種族歧視、算法性別歧視以及算法價(jià)格歧視,就是在動(dòng)態(tài)數(shù)據(jù)的統(tǒng)計(jì)學(xué)習(xí)中所做出的策略選擇,這種歧視性選擇在技術(shù)領(lǐng)域是符合一定技術(shù)秩序的,在法律領(lǐng)域卻嚴(yán)重違反了法律規(guī)定。無論社會(huì)實(shí)際與現(xiàn)實(shí)法律狀況如何,法律總致力于實(shí)現(xiàn)從形式平等到實(shí)質(zhì)平等再到機(jī)會(huì)、能力和結(jié)果平等。而算法技術(shù)則是以效率為根本導(dǎo)向,這也決定了算法技術(shù)中對(duì)不同主體區(qū)別對(duì)待的特性,與法律所追求的平等對(duì)待相悖。因此,規(guī)范性的法律在認(rèn)知性的算法作用下,面臨著法律功能異化的挑戰(zhàn)。

    三、算法歧視的法律應(yīng)對(duì)

    良序社會(huì)是羅爾斯為論證正義原則而建構(gòu)出的社會(huì)形態(tài),其基本特征是社會(huì)成員具有普遍的正義感,并以追求社會(huì)成員的利益為社會(huì)主要目標(biāo),秉持著公平正義和自由平等的理念,充分保障了公民的平等權(quán)利,給予公民平等的尊重和保護(hù)。在這樣的社會(huì)中,人與人之間基于相互間的協(xié)作配合,形成了自由而平等、良序而正義的社會(huì)。(21)參見約翰·羅爾斯:《正義論》,何懷宏、何包鋼、廖申白譯,中國社會(huì)科學(xué)出版社2009年版,第359頁。以當(dāng)前社會(huì)視角來看,良序社會(huì)的實(shí)現(xiàn)需要將良序的技術(shù)與良序的法律相結(jié)合。既賦予算法技術(shù)發(fā)展進(jìn)步的需要,又通過建構(gòu)算法行業(yè)內(nèi)生型治理機(jī)制,妥善處理好技術(shù)治理與法律穩(wěn)定之間的關(guān)系,促進(jìn)算法技術(shù)的良性發(fā)展。具體而言:一方面,在算法設(shè)計(jì)的過程中,應(yīng)強(qiáng)化法律與技術(shù)的融合發(fā)展,推動(dòng)建立法律和科技共治的模式,將算法代碼與法律規(guī)則相結(jié)合,充分發(fā)揮技術(shù)優(yōu)勢(shì)和法律制度優(yōu)勢(shì),將技術(shù)規(guī)范的基礎(chǔ)性作用與法律規(guī)范的保障性作用相結(jié)合,即建立起由科技理性和法律理性共同支撐的社會(huì)秩序;另一方面,加強(qiáng)對(duì)算法技術(shù)的法律治理,以法律價(jià)值來影響算法,以強(qiáng)制性的法律規(guī)范來確保技術(shù)規(guī)范的正確實(shí)施。

    (一)強(qiáng)化內(nèi)生型治理,構(gòu)造技術(shù)良序

    內(nèi)生型治理,主要是從技術(shù)正義的角度出發(fā),形塑數(shù)據(jù)正義,并從技術(shù)正當(dāng)程序的角度出發(fā),建立起算法審查與監(jiān)管體系,以構(gòu)造技術(shù)良序。

    1.形塑數(shù)據(jù)正義,應(yīng)對(duì)技術(shù)建構(gòu)上的結(jié)構(gòu)性挑戰(zhàn)作為新時(shí)代經(jīng)濟(jì)社會(huì)發(fā)展的基本特征,數(shù)字化與數(shù)據(jù)化已經(jīng)是當(dāng)今時(shí)代不可阻擋的潮流和趨勢(shì),大數(shù)據(jù)更是基于傳統(tǒng)的“測(cè)量式的小數(shù)據(jù)”與現(xiàn)代的“大記錄”相結(jié)合而形成了新時(shí)代的生產(chǎn)資料。(22)參見張玉宏:《品味大數(shù)據(jù)》,北京大學(xué)出版社2016年版,第110-111頁。數(shù)據(jù)作為信息載體,只是一種可被編碼的符號(hào),其通過載體、編譯代碼、服務(wù)協(xié)議以及操作權(quán)限等才產(chǎn)生的實(shí)際法律關(guān)系,因此具有工具性、中立性的特色。而算法則依托數(shù)據(jù)建立起了自己的運(yùn)用程序,算法之所以會(huì)產(chǎn)生歧視,很大程度上是由于作為主體的人對(duì)數(shù)據(jù)進(jìn)行解讀與設(shè)計(jì)運(yùn)行時(shí),融入了自身的主觀認(rèn)識(shí),使得數(shù)據(jù)具有了非正義的屬性。在算法中,算法正義的實(shí)現(xiàn)基礎(chǔ)乃是“數(shù)據(jù)正義”(23)See Ethan Katsh&Orna Rabinovich-einy.Digital Justice: Technology and the Internet of Disputes, Oxford University Press, 2017,p3.,要通過形塑數(shù)據(jù)正義,應(yīng)對(duì)技術(shù)建構(gòu)上的結(jié)構(gòu)性挑戰(zhàn)。

    其一,要秉持平等、非歧視的數(shù)據(jù)價(jià)值觀。算法依托的是人與數(shù)據(jù),人是信息持有者,數(shù)據(jù)承擔(dān)著信息的傳遞任務(wù),算法則建立起運(yùn)算程序。為避免由于技術(shù)開發(fā)原因所導(dǎo)致的算法歧視,在數(shù)據(jù)收集之初即應(yīng)該秉持平等、非歧視的數(shù)據(jù)價(jià)值觀,遵循平等保護(hù)與“無害化”的基本原則,篩選掉非正常來源的、具有歧視性的或可能產(chǎn)生歧視后果的數(shù)據(jù)信息,以數(shù)據(jù)信息的最小化收集為基準(zhǔn),以個(gè)人數(shù)據(jù)信息處理的必要性為限度,從而起到必要的信息篩選與過濾作用,排除人類的偏見與歧視,形塑向善、無害化的數(shù)據(jù),以充分保障公民平等權(quán)。2019年4月8日歐盟委員會(huì)發(fā)布的《可信賴人工智能倫理指南》(Ethics Guidelines for Trustworthy AI),明確指出使用人工智能系統(tǒng)要堅(jiān)持“多樣性、非歧視性和公平性”原則。(24)參見《ADAS/AD相關(guān)標(biāo)準(zhǔn)翻譯04-人工智能倫理01歐洲篇》,載51fusa安全社區(qū),https://www.51fusa.com/client/knowledge/knowledgedetail/id/422.html,2022年4月9日訪問。我國國家新一代人工智能治理專業(yè)委員會(huì)在2019年6月印發(fā)的《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》,也確立了“公平公正、尊重隱私、安全可控”的人工智能發(fā)展原則。(25)參見《發(fā)展負(fù)責(zé)任的人工智能:新一代人工智能治理原則發(fā)布》,載中華人民共和國科技部網(wǎng)站,http://www.most.gov.cn/kjbgz/201906/t20190617_147107.html,2022年4月9日訪問。其二,要建立政府與企業(yè)聯(lián)動(dòng)的數(shù)據(jù)合規(guī)體系。技術(shù)良序的建立需要群策群力,形成政府、企業(yè)的聯(lián)動(dòng)體系。一方面,政府要建立統(tǒng)一的數(shù)據(jù)監(jiān)管機(jī)構(gòu),形成數(shù)據(jù)管理與數(shù)據(jù)保護(hù)相互配合的二元數(shù)據(jù)治理機(jī)制,保障數(shù)據(jù)真實(shí)、客觀。根據(jù)算法技術(shù)發(fā)展特征,因地制宜地頒布制定相應(yīng)的技術(shù)規(guī)則與標(biāo)準(zhǔn)。將企業(yè)與政府相連接,在規(guī)范數(shù)據(jù)、算法的同時(shí),也保障企業(yè)核心利益,實(shí)現(xiàn)數(shù)據(jù)正義。另一方面,企業(yè)要以數(shù)據(jù)合規(guī)作為企業(yè)合規(guī)的重點(diǎn),既要嚴(yán)格遵循現(xiàn)有法律法規(guī)、遵守公共秩序,又要從頂層設(shè)計(jì)出發(fā)實(shí)現(xiàn)綜合治理,明晰體系責(zé)任的問題。在收集數(shù)據(jù)時(shí),要征得本人同意,以做到民主化的數(shù)據(jù)收集和對(duì)公民個(gè)人數(shù)據(jù)信息安全的保護(hù)。

    2.建立算法的內(nèi)部審查和監(jiān)管體系,應(yīng)對(duì)算法運(yùn)行上的功能性挑戰(zhàn)

    在算法歧視的應(yīng)對(duì)和治理中,要建立算法的內(nèi)部審查和監(jiān)管體系,以應(yīng)對(duì)算法運(yùn)行上的功能性挑戰(zhàn)。第一,要做到將法律的反歧視目標(biāo)與強(qiáng)制性規(guī)定貫穿于算法當(dāng)中,積極引導(dǎo)算法設(shè)計(jì)人員嚴(yán)格遵從算法技術(shù)設(shè)計(jì)的非歧視標(biāo)準(zhǔn)。增強(qiáng)算法透明度,做到在技術(shù)層面上的算法合規(guī),獲取合法合理的算法利益,以自律性規(guī)范建構(gòu)自律性秩序。第二,以區(qū)塊鏈技術(shù)備份原始數(shù)據(jù)內(nèi)容,保證輸入數(shù)據(jù)的原始、真實(shí),并考核數(shù)據(jù)來源的合法性與合理性,將算法建立在數(shù)據(jù)資源正義、數(shù)據(jù)來源合理的基礎(chǔ)上。第三,在數(shù)據(jù)的中期處理應(yīng)用中,嚴(yán)格準(zhǔn)確記錄應(yīng)用過程、策略以及比例等,履行必要的注意義務(wù);建立相應(yīng)的周期復(fù)查機(jī)制,以應(yīng)對(duì)原始算法在不斷迭代更新中所產(chǎn)生的新變化。(26)參見王夙:《人工智能發(fā)展中的“算法公開”能否解決“算法歧視”?》,載《機(jī)器人產(chǎn)業(yè)》2019年第3期。

    (二)加強(qiáng)外部性治理,構(gòu)造法律良序

    法律是人類安全和發(fā)展的制度保障,要通過法律建立起相應(yīng)的秩序,以服務(wù)于本時(shí)代的經(jīng)濟(jì)社會(huì)發(fā)展。在算法時(shí)代,法律作用的場(chǎng)域發(fā)生了實(shí)質(zhì)性的變化。要理性審視科技發(fā)展所可能帶來的非理性后果以及如何通過法治來進(jìn)一步降低科技發(fā)展可能帶來的風(fēng)險(xiǎn)。(27)參見韓大元:《當(dāng)代科技發(fā)展的憲法界限》,載《法治現(xiàn)代化研究》2018年第5期。技術(shù)與法律是社會(huì)治理和風(fēng)險(xiǎn)防控中可以進(jìn)行相互轉(zhuǎn)換的兩種不同進(jìn)路。綜合來看,憑借社會(huì)共識(shí)而建構(gòu)起來的法律治理邏輯,不同于依賴自我偏好而建構(gòu)起來的技術(shù)治理邏輯,因此,在對(duì)算法歧視進(jìn)行法律治理時(shí),要將法律的知識(shí)體系與算法的技術(shù)(數(shù)理)邏輯體系相彌合,有效審視科技所可能帶來的非理性后果,充分遵循技術(shù)倫理,運(yùn)用法治來降低技術(shù)風(fēng)險(xiǎn),進(jìn)而達(dá)到防范風(fēng)險(xiǎn)的法律制度設(shè)計(jì)目標(biāo)。具體而言,可通過以下幾個(gè)方面來探究算法歧視的外部性治理的方案。

    1.以安全法治觀為基本價(jià)值取向

    當(dāng)今時(shí)代,如何引導(dǎo)法律與算法的對(duì)接,建立從“確權(quán)”“賦權(quán)”,到“限權(quán)”再到“權(quán)利救濟(jì)”的完整技術(shù)開發(fā)和法律治理的邏輯鏈條,是實(shí)現(xiàn)算法技術(shù)發(fā)展、算法歧視治理的關(guān)鍵所在。在此過程中要樹立安全法治觀,將算法歧視風(fēng)險(xiǎn)降到最低,更好地維護(hù)和促進(jìn)與數(shù)據(jù)相關(guān)的權(quán)利的設(shè)計(jì)與運(yùn)行。要在充分明晰算法的應(yīng)用范疇與算法規(guī)則的基礎(chǔ)上,強(qiáng)化對(duì)算法的審查,從而避免社會(huì)大眾受到算法權(quán)力的侵害,充分保障數(shù)據(jù)信息安全與算法技術(shù)發(fā)展,并保障數(shù)據(jù)存儲(chǔ)、利用、流通過程中的安全性。

    2.保障數(shù)字人權(quán),實(shí)現(xiàn)實(shí)質(zhì)平等,應(yīng)對(duì)平等權(quán)消解的挑戰(zhàn)

    數(shù)字人權(quán)是伴隨數(shù)字科技的發(fā)展而出現(xiàn)的新興權(quán)利。建構(gòu)法律治理體系,保護(hù)數(shù)據(jù)權(quán)與信息權(quán),并將其作為算法設(shè)計(jì)的理念指引,是科技與數(shù)據(jù)治理中的應(yīng)有之義。數(shù)字人權(quán)要求數(shù)字科技務(wù)必做到以人為本,以維護(hù)人的尊嚴(yán)和權(quán)利為出發(fā)點(diǎn)。具體而言,數(shù)字人權(quán)既要求對(duì)數(shù)字化生活中的數(shù)據(jù)權(quán)、隱私權(quán)、人格尊嚴(yán)權(quán)、平等與非歧視等權(quán)利予以尊重和保護(hù),又要求對(duì)弱勢(shì)群體面臨的“數(shù)字鴻溝”問題進(jìn)行填補(bǔ),以實(shí)現(xiàn)數(shù)字科技的善用善治。(28)參見張文顯:《新時(shí)代的人權(quán)法理》,載《人權(quán)》2019年第3期。一直以來,平等都是反歧視的理論基石,更是反歧視的正當(dāng)性基礎(chǔ)。對(duì)平等和反歧視目標(biāo)的實(shí)現(xiàn)要求逐步做到:從“法律面前人人平等”的形式平等;到對(duì)弱勢(shì)群體予以一定的合理的政策、制度傾斜(包括實(shí)施暫行特別措施)的實(shí)質(zhì)平等,保障每位公民都能平等享有法律賦予的基本權(quán)利;再到改變制度環(huán)境,理順社會(huì)分配機(jī)制,以盡可能地實(shí)現(xiàn)社會(huì)融入。還要充分尊重人性固有的尊嚴(yán),尊重人的價(jià)值和理性能力。這一點(diǎn)在算法中同樣適用。

    算法歧視作為數(shù)字科技發(fā)展中出現(xiàn)的侵害公民基本權(quán)利的典型表現(xiàn),在一定程度上也是基于算法權(quán)力擴(kuò)張而引發(fā)的對(duì)特定主體平等權(quán)的侵害。如算法個(gè)性化推薦服務(wù)即賦予了算法決策系統(tǒng)區(qū)別對(duì)待的權(quán)力,進(jìn)而產(chǎn)生了算法歧視。為避免算法歧視的發(fā)生,就需要將算法技術(shù)限定在平等、正義、安全的界限內(nèi),從權(quán)利視角來規(guī)范數(shù)據(jù)信息獲取與算法技術(shù)利用上的不平等,讓公民能夠真正依法平等地獲得私有財(cái)產(chǎn)的保護(hù)以及個(gè)人隱私、個(gè)人人格利益等基本權(quán)益的保障。因此,在治理算法個(gè)性化推薦服務(wù)所帶來的歧視時(shí),就需要平等看待數(shù)據(jù)系統(tǒng)中的各個(gè)主體,對(duì)可能影響到公民個(gè)人自由或個(gè)人基本權(quán)利行使的各類敏感數(shù)據(jù)信息等建立起特定的保護(hù)機(jī)制,限制或禁止企業(yè)過度采集與利用。既要做到嚴(yán)格審查這些數(shù)據(jù)信息的收集機(jī)制,又要對(duì)算法決策過程進(jìn)行定期檢查,做到及時(shí)有效防控。在允許的條件下,甚至可以禁止將這些敏感數(shù)據(jù)信息囊括進(jìn)算法區(qū)別對(duì)待的函數(shù)設(shè)計(jì)當(dāng)中,從根源上消除歧視。重塑法律對(duì)平等權(quán)的保護(hù)機(jī)制,避免算法權(quán)力的擴(kuò)張所帶來的對(duì)公民平等權(quán)的侵害,盡可能地實(shí)現(xiàn)對(duì)數(shù)字人權(quán)的保障。

    3.處理好公權(quán)力與算法權(quán)力的關(guān)系,應(yīng)對(duì)算法權(quán)力擴(kuò)張的挑戰(zhàn)

    算法權(quán)力的日益擴(kuò)張,除了帶來算法技術(shù)的突飛猛進(jìn),還帶來了對(duì)政府、公民、社會(huì)組織的影響和控制。作為算法權(quán)力背后的資本更是全面控制著公民的各項(xiàng)數(shù)據(jù)信息,并利用算法技術(shù)做出了諸多區(qū)別對(duì)待的歧視性決策。對(duì)此,需要我們切實(shí)處理好公權(quán)力與算法權(quán)力之間的關(guān)系。第一,政府等公權(quán)力主體要提高對(duì)算法技術(shù)的應(yīng)用能力,善于在工作中借助算法壟斷平臺(tái)的設(shè)備與技術(shù)來提高決策和執(zhí)行效率??梢钥吹?,在算法的幫助下,政府可以更輕松地實(shí)現(xiàn)對(duì)公民個(gè)人信息的采集,并進(jìn)行精準(zhǔn)監(jiān)控,如在新冠肺炎疫情期間,政府通過借助算法平臺(tái)記錄感染者的運(yùn)動(dòng)軌跡的方式來篩查隱患,極大地提高了篩查效率,也有利于疫情防控措施的有效推行。(29)參見郭哲:《反思算法權(quán)力》,載《法學(xué)評(píng)論》2020年第6期。第二,公權(quán)力在運(yùn)用算法決策時(shí),應(yīng)進(jìn)行審慎的考量并接受必要的監(jiān)督,防范公權(quán)力對(duì)公民權(quán)利的侵犯以及對(duì)算法技術(shù)創(chuàng)新的阻礙。第三,要始終將算法平臺(tái)置于被監(jiān)管的地位,強(qiáng)化公權(quán)力對(duì)算法平臺(tái)的監(jiān)管。

    4.重塑法律功能,健全法律問責(zé)機(jī)制,應(yīng)對(duì)法律功能異化的挑戰(zhàn)

    面對(duì)算法所帶來的法律功能異化的挑戰(zhàn),要重塑法律功能,發(fā)揮法律對(duì)算法歧視的治理作用。包括進(jìn)一步健全法律問責(zé)機(jī)制,重塑法律對(duì)算法平臺(tái)及算法設(shè)計(jì)者的約束和監(jiān)管功能。問責(zé)機(jī)制是對(duì)算法歧視法治化治理的保障。要分別對(duì)責(zé)任主體、責(zé)任范圍、追責(zé)標(biāo)準(zhǔn)與責(zé)任承擔(dān)方式等作出明確規(guī)定,以規(guī)范算法的運(yùn)行與決策。我國《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》即分別對(duì)算法推薦服務(wù)提供者的法律責(zé)任作出了規(guī)定:“法律、行政法規(guī)有規(guī)定的,依照其規(guī)定;法律、行政法規(guī)沒有規(guī)定的,由網(wǎng)信部門和電信、公安、市場(chǎng)監(jiān)管等有關(guān)部門依據(jù)職責(zé)給予警告、通報(bào)批評(píng),責(zé)令限期改正;拒不改正或者情節(jié)嚴(yán)重的,責(zé)令暫停信息更新,并處一萬元以上十萬元以下罰款。構(gòu)成違反治安管理行為的,依法給予治安管理處罰;構(gòu)成犯罪的,依法追究刑事責(zé)任?!?30)《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第31條。需要注意的是,通常我們將禁止歧視的理論基礎(chǔ)建立在對(duì)平等的追求上,禁止歧視的目的也是為了獲得法律的平等保護(hù)。而禁止算法歧視除了要實(shí)現(xiàn)法律意義上的平等保護(hù),還要避免對(duì)算法技術(shù)的發(fā)展造成阻礙。因此,要充分尊重和保障合理的市場(chǎng)自由競(jìng)爭(zhēng),要能看到數(shù)據(jù)與算法行為的“一體兩面”,不對(duì)算法技術(shù)進(jìn)行極端化治理。比如在市場(chǎng)充分競(jìng)爭(zhēng)、價(jià)格透明的基礎(chǔ)上,可允許進(jìn)行算法區(qū)別定價(jià)。

    此外,還可以通過反歧視訴訟來應(yīng)對(duì)算法歧視。反歧視訴訟是排除不恰當(dāng)?shù)馁Y源分配制度,消除自由市場(chǎng)在資源分配中存在的固有缺陷的重要手段,根本目的是“通過適度司法干預(yù)建立公正的社會(huì)資源分配機(jī)制,確保市場(chǎng)經(jīng)濟(jì)條件下機(jī)會(huì)平等的真正實(shí)現(xiàn)。”(31)李成:《平等權(quán)的司法保護(hù)——基于116件反歧視訴訟裁判文書的評(píng)析與總結(jié)》,載《華東政法大學(xué)學(xué)報(bào)》2013年第4期。反歧視訴訟是實(shí)現(xiàn)平等權(quán)的有效途徑,其通過禁止歧視的名義實(shí)現(xiàn)了對(duì)憲法平等權(quán)的保護(hù),從而可以逐步實(shí)現(xiàn)對(duì)算法歧視的法治化治理。其中,通過公益性的或有影響性的反歧視訴訟能夠有效推動(dòng)司法進(jìn)步,并且可以在具體糾紛的解決和在對(duì)受歧視者的救濟(jì)中,進(jìn)一步倒推立法的完善和制度的變革與進(jìn)步,從而為更廣泛的公民提供幫助和救濟(jì)。如意大利戶戶送有限責(zé)任公司算法歧視案(Filt Cgil di Bologna、Filcams Cgil di Bologna 、Nidil Cgil Bologna v. Deliveroo Italia S.R.L.)即以意大利總工會(huì)位于博洛尼亞的三個(gè)分工會(huì)——運(yùn)輸業(yè)勞動(dòng)者工會(huì)、旅游與服務(wù)業(yè)勞動(dòng)者工會(huì)、非典型勞動(dòng)者工會(huì)的名義提起訴訟,其既體現(xiàn)了公益性,又是有影響性的反歧視訴訟。畢竟公益訴訟要比個(gè)人維權(quán)擁有更多優(yōu)勢(shì),具有更大的影響范圍、更高的社會(huì)關(guān)注度和更小的維權(quán)成本,也具有較強(qiáng)示范意義,便于歧視糾紛的解決和受歧視者權(quán)益的保護(hù),在一定程度上也提高了司法的社會(huì)效用價(jià)值,實(shí)現(xiàn)了算法歧視的外部性治理。

    結(jié) 語

    算法的發(fā)展應(yīng)用不僅帶來了更便利、更高效的生產(chǎn)、生活與工作方式,還帶來了更大的安全倫理挑戰(zhàn)與法律治理難題。算法歧視就是算法所帶來的典型的安全倫理挑戰(zhàn)與法律治理難題。就算法歧視本身來說,其作為一種新型歧視類型所帶來的具體挑戰(zhàn)包括:技術(shù)建構(gòu)上的結(jié)構(gòu)性挑戰(zhàn)、算法運(yùn)行上的功能性挑戰(zhàn)、平等權(quán)消解、算法權(quán)力擴(kuò)張與法律功能異化等的隱藏性挑戰(zhàn)。對(duì)此,要積極通過內(nèi)生型治理和外部性治理來構(gòu)造技術(shù)良序和法律良序,最終形成技術(shù)和法律共同支撐的良序社會(huì)。具體而言,一方面要從技術(shù)正義的角度出發(fā),形塑數(shù)據(jù)正義,并從技術(shù)正當(dāng)程序的角度出發(fā),建立起算法審查與監(jiān)管體系,以構(gòu)造技術(shù)良序,應(yīng)對(duì)技術(shù)建構(gòu)上的結(jié)構(gòu)性挑戰(zhàn)和算法運(yùn)行上的功能性挑戰(zhàn)。另一方面,要從安全法治觀入手,積極保障數(shù)字人權(quán),實(shí)現(xiàn)實(shí)質(zhì)平等;處理好公權(quán)力與算法權(quán)力的關(guān)系;重塑法律功能,健全法律問責(zé)機(jī)制,以構(gòu)造法律良序,應(yīng)對(duì)算法歧視的隱藏性挑戰(zhàn)。盡可能地避免或減少算法歧視對(duì)于市場(chǎng)經(jīng)濟(jì)秩序、社會(huì)公平正義以及公民平等權(quán)利的侵害。

    綜之,算法表面上公正、平等的自動(dòng)化決策系統(tǒng),其實(shí)隱藏著不公正、不平等的算法歧視,所得出的預(yù)測(cè)結(jié)果也與現(xiàn)實(shí)情況發(fā)生了嚴(yán)重偏差,某些算法決策會(huì)延續(xù)或增強(qiáng)社會(huì)中的不平等,從而加重了特定弱勢(shì)群體的劣勢(shì)地位。因此,法律的積極有效應(yīng)對(duì)便是其中的應(yīng)有之義。不論是算法還是其他技術(shù),都要始終維護(hù)人的主體性,保障人的基本權(quán)利和尊嚴(yán)。當(dāng)下,迫切需要我們有效應(yīng)對(duì)算法帶來的科技風(fēng)險(xiǎn),積極治理已經(jīng)出現(xiàn)的算法歧視問題,促進(jìn)算法的健康有序發(fā)展。

    猜你喜歡
    挑戰(zhàn)法律算法
    法律解釋與自然法
    法律方法(2021年3期)2021-03-16 05:57:02
    基于MapReduce的改進(jìn)Eclat算法
    Travellng thg World Full—time for Rree
    進(jìn)位加法的兩種算法
    嘰咕樂挑戰(zhàn)
    嘰咕樂挑戰(zhàn)
    一種改進(jìn)的整周模糊度去相關(guān)算法
    嘰咕樂挑戰(zhàn)
    讓人死亡的法律
    山東青年(2016年1期)2016-02-28 14:25:30
    “互助獻(xiàn)血”質(zhì)疑聲背后的法律困惑
    法律面前人人平等表现在哪些方面| 久久欧美精品欧美久久欧美| 成人三级做爰电影| 国产精品日韩av在线免费观看| 免费看a级黄色片| www日本黄色视频网| 美女黄网站色视频| 两个人视频免费观看高清| 中亚洲国语对白在线视频| 99精品久久久久人妻精品| 亚洲avbb在线观看| 美女被艹到高潮喷水动态| 日韩有码中文字幕| 精品国产乱码久久久久久男人| 免费在线观看视频国产中文字幕亚洲| 久久久精品欧美日韩精品| 可以在线观看毛片的网站| 波多野结衣高清作品| 黄片小视频在线播放| 久久久久久大精品| 麻豆av在线久日| 久久草成人影院| 日日摸夜夜添夜夜添小说| 精品不卡国产一区二区三区| 亚洲美女视频黄频| 99国产精品一区二区蜜桃av| 免费看日本二区| 午夜精品一区二区三区免费看| 亚洲av成人一区二区三| 好男人电影高清在线观看| 免费电影在线观看免费观看| 久久久久九九精品影院| 亚洲欧洲精品一区二区精品久久久| 小蜜桃在线观看免费完整版高清| 久久久久久九九精品二区国产| 婷婷六月久久综合丁香| 日本黄色视频三级网站网址| 99久久国产精品久久久| 一区二区三区激情视频| 午夜福利在线观看免费完整高清在 | 国产一区二区激情短视频| 噜噜噜噜噜久久久久久91| 欧美成狂野欧美在线观看| www.精华液| 757午夜福利合集在线观看| 日本五十路高清| 久久久久久久午夜电影| 午夜激情福利司机影院| 亚洲国产欧美网| 男人舔女人的私密视频| 中文字幕熟女人妻在线| 首页视频小说图片口味搜索| 亚洲午夜理论影院| 天天躁狠狠躁夜夜躁狠狠躁| 国产高清有码在线观看视频| 99热这里只有精品一区 | 中文字幕人妻丝袜一区二区| 欧美日韩一级在线毛片| 亚洲av中文字字幕乱码综合| 亚洲成人久久性| 国产精品一区二区三区四区久久| 99在线视频只有这里精品首页| av黄色大香蕉| 成年女人看的毛片在线观看| 哪里可以看免费的av片| 国产麻豆成人av免费视频| 欧美最黄视频在线播放免费| 亚洲av成人不卡在线观看播放网| 久久中文字幕人妻熟女| www国产在线视频色| 成人永久免费在线观看视频| 亚洲成人中文字幕在线播放| 欧美成人一区二区免费高清观看 | 国产午夜精品久久久久久| 真人一进一出gif抽搐免费| 九色国产91popny在线| 亚洲人成网站在线播放欧美日韩| 丰满的人妻完整版| 午夜精品在线福利| 真人做人爱边吃奶动态| 村上凉子中文字幕在线| 欧美在线一区亚洲| 中文在线观看免费www的网站| 欧美日韩综合久久久久久 | 亚洲avbb在线观看| 亚洲国产高清在线一区二区三| 亚洲激情在线av| 亚洲aⅴ乱码一区二区在线播放| 成熟少妇高潮喷水视频| 熟女电影av网| 亚洲精品粉嫩美女一区| 桃色一区二区三区在线观看| 国语自产精品视频在线第100页| 久久精品aⅴ一区二区三区四区| 一个人观看的视频www高清免费观看 | 变态另类成人亚洲欧美熟女| 十八禁网站免费在线| 男人和女人高潮做爰伦理| 99热精品在线国产| 最好的美女福利视频网| 欧美在线一区亚洲| 天堂网av新在线| 1000部很黄的大片| av在线天堂中文字幕| 免费在线观看成人毛片| 少妇熟女aⅴ在线视频| 18禁黄网站禁片免费观看直播| 欧美成人性av电影在线观看| 最近最新中文字幕大全电影3| 一区二区三区激情视频| 九九热线精品视视频播放| 夜夜夜夜夜久久久久| 亚洲最大成人中文| 美女高潮喷水抽搐中文字幕| 精品无人区乱码1区二区| 好看av亚洲va欧美ⅴa在| 少妇人妻一区二区三区视频| 欧美xxxx黑人xx丫x性爽| 一本精品99久久精品77| 国产乱人视频| 男女之事视频高清在线观看| 国内久久婷婷六月综合欲色啪| h日本视频在线播放| 免费看a级黄色片| 国产91精品成人一区二区三区| 啦啦啦免费观看视频1| 国产精品久久久久久精品电影| 最近最新中文字幕大全免费视频| 观看免费一级毛片| 亚洲精品在线观看二区| 天天躁日日操中文字幕| 精品久久久久久久久久免费视频| 欧美又色又爽又黄视频| 免费搜索国产男女视频| 制服人妻中文乱码| 亚洲av成人不卡在线观看播放网| 一个人观看的视频www高清免费观看 | 亚洲成人久久性| 综合色av麻豆| svipshipincom国产片| 日本成人三级电影网站| 欧美日韩中文字幕国产精品一区二区三区| 精品日产1卡2卡| 亚洲精品一卡2卡三卡4卡5卡| 色综合亚洲欧美另类图片| 亚洲精品久久国产高清桃花| 9191精品国产免费久久| av欧美777| 十八禁人妻一区二区| 精品国内亚洲2022精品成人| 美女免费视频网站| 男人和女人高潮做爰伦理| 在线国产一区二区在线| 久久精品aⅴ一区二区三区四区| 给我免费播放毛片高清在线观看| 中文资源天堂在线| 亚洲激情在线av| 日韩有码中文字幕| 国产精品98久久久久久宅男小说| 午夜福利高清视频| 亚洲美女视频黄频| 欧美激情久久久久久爽电影| av天堂中文字幕网| 神马国产精品三级电影在线观看| 亚洲片人在线观看| 久久精品影院6| 欧美在线一区亚洲| 精品一区二区三区视频在线 | 国产精品永久免费网站| 在线观看舔阴道视频| 一区二区三区激情视频| 国产真人三级小视频在线观看| 久久精品综合一区二区三区| 俺也久久电影网| 国产69精品久久久久777片 | 视频区欧美日本亚洲| 欧美成狂野欧美在线观看| 日韩欧美国产在线观看| 免费在线观看视频国产中文字幕亚洲| 亚洲国产精品sss在线观看| 日韩高清综合在线| 国产精品亚洲美女久久久| 99久久精品热视频| 99久久精品国产亚洲精品| 757午夜福利合集在线观看| 美女高潮喷水抽搐中文字幕| 一卡2卡三卡四卡精品乱码亚洲| 精品国产亚洲在线| 18禁美女被吸乳视频| 一本精品99久久精品77| av国产免费在线观看| 性色avwww在线观看| 欧美高清成人免费视频www| 99久久精品热视频| 狂野欧美激情性xxxx| 精品国产亚洲在线| 91av网站免费观看| 中文字幕久久专区| 免费av毛片视频| 熟女人妻精品中文字幕| 女同久久另类99精品国产91| 性色av乱码一区二区三区2| 男女那种视频在线观看| 精品电影一区二区在线| 老鸭窝网址在线观看| 99精品在免费线老司机午夜| 他把我摸到了高潮在线观看| 欧美黄色淫秽网站| 久久精品人妻少妇| 一本久久中文字幕| 色老头精品视频在线观看| 99在线人妻在线中文字幕| 久久精品国产99精品国产亚洲性色| 熟女电影av网| 香蕉丝袜av| 最新美女视频免费是黄的| 日本五十路高清| 一本久久中文字幕| 欧美日韩国产亚洲二区| 嫩草影视91久久| 亚洲av免费在线观看| 久久九九热精品免费| 国产又黄又爽又无遮挡在线| 一区二区三区激情视频| 国产精品爽爽va在线观看网站| 日本黄色片子视频| 三级男女做爰猛烈吃奶摸视频| 岛国视频午夜一区免费看| 男插女下体视频免费在线播放| 老司机午夜福利在线观看视频| 99国产精品一区二区三区| 黄色女人牲交| 国产亚洲av嫩草精品影院| 国产精品野战在线观看| 欧美日本亚洲视频在线播放| 黄频高清免费视频| 成人18禁在线播放| 麻豆久久精品国产亚洲av| 欧美午夜高清在线| 亚洲精品中文字幕一二三四区| 精品日产1卡2卡| 国产精品1区2区在线观看.| 97超视频在线观看视频| 国产美女午夜福利| 久久精品国产综合久久久| 欧美在线黄色| 俺也久久电影网| 国产激情偷乱视频一区二区| 国产精品影院久久| 国产精品女同一区二区软件 | 欧美3d第一页| 欧美乱码精品一区二区三区| 欧美日本亚洲视频在线播放| 欧美激情在线99| 非洲黑人性xxxx精品又粗又长| 国产精品亚洲美女久久久| 色噜噜av男人的天堂激情| 免费看美女性在线毛片视频| 首页视频小说图片口味搜索| 欧美日韩国产亚洲二区| 不卡一级毛片| 99re在线观看精品视频| 亚洲七黄色美女视频| 久久久国产成人精品二区| 国产精品亚洲美女久久久| 少妇丰满av| 欧美成人一区二区免费高清观看 | 中文字幕人妻丝袜一区二区| 午夜激情福利司机影院| 黑人操中国人逼视频| 在线观看一区二区三区| 国产精品精品国产色婷婷| 真人一进一出gif抽搐免费| 欧洲精品卡2卡3卡4卡5卡区| 天天一区二区日本电影三级| 美女午夜性视频免费| 最近最新中文字幕大全免费视频| 精品久久蜜臀av无| 亚洲成av人片在线播放无| 小说图片视频综合网站| 国产免费av片在线观看野外av| 欧美激情在线99| 午夜久久久久精精品| 手机成人av网站| 最新中文字幕久久久久 | 最新在线观看一区二区三区| 特级一级黄色大片| 精华霜和精华液先用哪个| 欧美乱妇无乱码| 亚洲av五月六月丁香网| 在线观看美女被高潮喷水网站 | 亚洲精品色激情综合| 午夜福利视频1000在线观看| 免费看a级黄色片| 精品免费久久久久久久清纯| 国产精品久久电影中文字幕| 在线a可以看的网站| 精品乱码久久久久久99久播| 好男人在线观看高清免费视频| 久久久久久久久免费视频了| 大型黄色视频在线免费观看| 国内毛片毛片毛片毛片毛片| 老司机福利观看| 在线a可以看的网站| 国产精品,欧美在线| 黄色片一级片一级黄色片| 国产午夜精品论理片| 日韩 欧美 亚洲 中文字幕| 欧美激情在线99| 真实男女啪啪啪动态图| 国产乱人视频| 亚洲av第一区精品v没综合| 法律面前人人平等表现在哪些方面| 亚洲中文字幕一区二区三区有码在线看 | 亚洲精品久久国产高清桃花| 欧美最黄视频在线播放免费| 亚洲精品一区av在线观看| 精品国产乱码久久久久久男人| 日本三级黄在线观看| 男人舔女人的私密视频| 91av网站免费观看| 亚洲人成网站高清观看| 日韩免费av在线播放| 中亚洲国语对白在线视频| 国产精品野战在线观看| www.自偷自拍.com| 久久久久国内视频| 99精品在免费线老司机午夜| 少妇丰满av| 亚洲色图 男人天堂 中文字幕| 99久久99久久久精品蜜桃| 少妇人妻一区二区三区视频| 美女cb高潮喷水在线观看 | 日韩三级视频一区二区三区| 麻豆成人午夜福利视频| 搡老熟女国产l中国老女人| 天天躁狠狠躁夜夜躁狠狠躁| 母亲3免费完整高清在线观看| 在线播放国产精品三级| 国产精品综合久久久久久久免费| 免费大片18禁| 欧美国产日韩亚洲一区| 黄色 视频免费看| 久久香蕉国产精品| 久久久久国产一级毛片高清牌| 亚洲欧美精品综合一区二区三区| 国产精品,欧美在线| 美女 人体艺术 gogo| 日韩国内少妇激情av| 午夜免费观看网址| 国产精品永久免费网站| 18禁国产床啪视频网站| 国产成人av激情在线播放| 草草在线视频免费看| 可以在线观看的亚洲视频| av天堂中文字幕网| 免费看美女性在线毛片视频| 精品国内亚洲2022精品成人| 最新中文字幕久久久久 | 亚洲中文字幕一区二区三区有码在线看 | 不卡av一区二区三区| 日本免费a在线| 国产亚洲精品一区二区www| 噜噜噜噜噜久久久久久91| 亚洲午夜理论影院| 叶爱在线成人免费视频播放| 不卡av一区二区三区| 18禁美女被吸乳视频| 欧美绝顶高潮抽搐喷水| 91久久精品国产一区二区成人 | 亚洲中文日韩欧美视频| 亚洲国产精品999在线| 十八禁人妻一区二区| 国产欧美日韩精品一区二区| 女人高潮潮喷娇喘18禁视频| 亚洲国产欧美一区二区综合| 欧美中文综合在线视频| 免费在线观看视频国产中文字幕亚洲| 热99在线观看视频| 欧美色视频一区免费| 亚洲人成网站高清观看| 午夜福利18| 桃红色精品国产亚洲av| 国产激情偷乱视频一区二区| 18禁黄网站禁片免费观看直播| 欧美在线一区亚洲| 精品国内亚洲2022精品成人| 人人妻人人澡欧美一区二区| 日韩高清综合在线| 中文字幕久久专区| 国产伦精品一区二区三区视频9 | 亚洲性夜色夜夜综合| 亚洲av成人精品一区久久| 久久国产乱子伦精品免费另类| 噜噜噜噜噜久久久久久91| 欧美极品一区二区三区四区| 午夜视频精品福利| 精品免费久久久久久久清纯| 亚洲人成网站高清观看| 波多野结衣高清作品| 国产精品电影一区二区三区| 久久久精品欧美日韩精品| 国产午夜精品论理片| 搡老妇女老女人老熟妇| 黄色日韩在线| 给我免费播放毛片高清在线观看| 日韩人妻高清精品专区| 欧美丝袜亚洲另类 | 91麻豆av在线| 丰满的人妻完整版| 日韩大尺度精品在线看网址| 国产黄a三级三级三级人| 99热精品在线国产| 国产精品精品国产色婷婷| 又黄又粗又硬又大视频| 亚洲五月天丁香| 国产精品久久久久久久电影 | 看免费av毛片| 九九热线精品视视频播放| 香蕉久久夜色| 欧美黑人巨大hd| h日本视频在线播放| 十八禁人妻一区二区| 1000部很黄的大片| av片东京热男人的天堂| 五月伊人婷婷丁香| 精品久久久久久久久久久久久| 国产精品一及| 亚洲av中文字字幕乱码综合| 性色av乱码一区二区三区2| 欧美又色又爽又黄视频| 国产欧美日韩一区二区精品| 国产三级中文精品| 成年女人毛片免费观看观看9| 99re在线观看精品视频| 国产又黄又爽又无遮挡在线| 琪琪午夜伦伦电影理论片6080| 久久久久免费精品人妻一区二区| 色播亚洲综合网| 亚洲成人免费电影在线观看| 99久久国产精品久久久| 在线视频色国产色| 伦理电影免费视频| 久久久水蜜桃国产精品网| 成人精品一区二区免费| 性色av乱码一区二区三区2| 一区二区三区国产精品乱码| 99在线人妻在线中文字幕| 亚洲天堂国产精品一区在线| 少妇丰满av| 国产视频内射| 男人舔女人的私密视频| 女警被强在线播放| 人妻夜夜爽99麻豆av| 国产精品久久视频播放| 国产毛片a区久久久久| 日本免费a在线| 国产精品亚洲美女久久久| 舔av片在线| 午夜日韩欧美国产| 久久精品综合一区二区三区| 91老司机精品| 亚洲 国产 在线| 美女cb高潮喷水在线观看 | 一个人免费在线观看电影 | 久久久精品欧美日韩精品| 午夜久久久久精精品| 久久这里只有精品中国| 精品熟女少妇八av免费久了| 不卡一级毛片| 99riav亚洲国产免费| 久久久久免费精品人妻一区二区| 亚洲国产欧洲综合997久久,| 久久伊人香网站| 久久久国产欧美日韩av| 在线观看免费午夜福利视频| 亚洲精品在线美女| 国产成人影院久久av| 变态另类成人亚洲欧美熟女| 69av精品久久久久久| 成人高潮视频无遮挡免费网站| а√天堂www在线а√下载| 国产精品亚洲美女久久久| 最近视频中文字幕2019在线8| 99精品在免费线老司机午夜| 免费高清视频大片| 夜夜躁狠狠躁天天躁| 美女高潮喷水抽搐中文字幕| 国产在线精品亚洲第一网站| 97超视频在线观看视频| 久久久久久久久免费视频了| 欧美黑人欧美精品刺激| 久久午夜综合久久蜜桃| 一进一出好大好爽视频| av黄色大香蕉| 在线免费观看的www视频| 国产精品一区二区免费欧美| 99热只有精品国产| 亚洲人成网站高清观看| 久久久久久久久久黄片| 男女那种视频在线观看| 欧美黄色片欧美黄色片| 黑人欧美特级aaaaaa片| 黄片小视频在线播放| 精品久久久久久久久久久久久| avwww免费| 国产精品久久电影中文字幕| 国产一区二区在线观看日韩 | 男女视频在线观看网站免费| 又黄又粗又硬又大视频| 久久久精品欧美日韩精品| 日韩欧美在线乱码| 嫩草影院精品99| 在线观看舔阴道视频| 欧美性猛交╳xxx乱大交人| 久久精品国产综合久久久| 噜噜噜噜噜久久久久久91| 国产亚洲精品av在线| 俄罗斯特黄特色一大片| 亚洲一区二区三区不卡视频| 一个人免费在线观看电影 | 两个人视频免费观看高清| 天天一区二区日本电影三级| 免费人成视频x8x8入口观看| 国产精品国产高清国产av| 国产精品久久久久久人妻精品电影| 激情在线观看视频在线高清| 夜夜爽天天搞| 日本成人三级电影网站| 美女cb高潮喷水在线观看 | 后天国语完整版免费观看| 成人av一区二区三区在线看| 在线免费观看不下载黄p国产 | 久久中文字幕人妻熟女| 午夜日韩欧美国产| 在线观看午夜福利视频| 女人高潮潮喷娇喘18禁视频| 真实男女啪啪啪动态图| 日本免费a在线| 欧美日韩黄片免| 久久久久国产一级毛片高清牌| 天堂动漫精品| 国产毛片a区久久久久| 精品熟女少妇八av免费久了| 热99在线观看视频| 午夜日韩欧美国产| a在线观看视频网站| 久久人人精品亚洲av| 国产aⅴ精品一区二区三区波| 亚洲av电影在线进入| 国产视频一区二区在线看| 夜夜夜夜夜久久久久| 黄片小视频在线播放| 亚洲自偷自拍图片 自拍| 久久久色成人| 97人妻精品一区二区三区麻豆| 午夜精品一区二区三区免费看| 国产高清有码在线观看视频| 日本免费一区二区三区高清不卡| 99热这里只有精品一区 | 人妻丰满熟妇av一区二区三区| 观看美女的网站| 身体一侧抽搐| 亚洲av电影不卡..在线观看| 欧美日韩中文字幕国产精品一区二区三区| av天堂中文字幕网| xxxwww97欧美| 亚洲国产欧洲综合997久久,| 成人国产综合亚洲| 中文字幕精品亚洲无线码一区| 午夜影院日韩av| 亚洲国产精品久久男人天堂| 88av欧美| 色综合婷婷激情| 久久中文字幕一级| 不卡av一区二区三区| 最近最新免费中文字幕在线| 成年女人看的毛片在线观看| av女优亚洲男人天堂 | 亚洲色图 男人天堂 中文字幕| 日韩欧美 国产精品| 久99久视频精品免费| 久久久久亚洲av毛片大全| av片东京热男人的天堂| 国产真人三级小视频在线观看| av黄色大香蕉| 亚洲精品国产精品久久久不卡| 91九色精品人成在线观看| 亚洲aⅴ乱码一区二区在线播放| 中文亚洲av片在线观看爽| 中文字幕精品亚洲无线码一区| 国产精品香港三级国产av潘金莲| 最新美女视频免费是黄的| 成年女人永久免费观看视频| 99国产精品一区二区三区| 亚洲精品久久国产高清桃花| 99久久久亚洲精品蜜臀av| e午夜精品久久久久久久| 亚洲美女视频黄频| 人妻丰满熟妇av一区二区三区| 极品教师在线免费播放| 国产精品98久久久久久宅男小说| 国产欧美日韩一区二区精品| 国产野战对白在线观看| 国产精品 欧美亚洲| 九色成人免费人妻av| 久久精品亚洲精品国产色婷小说| 色播亚洲综合网| 12—13女人毛片做爰片一| 亚洲精品456在线播放app | 欧美色视频一区免费| 天天躁狠狠躁夜夜躁狠狠躁| 国产人伦9x9x在线观看| 淫秽高清视频在线观看| 亚洲中文字幕一区二区三区有码在线看 |