• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    論算法差異性影響及評(píng)價(jià)機(jī)制的構(gòu)建*

    2022-12-16 19:59:24錦,劉
    關(guān)鍵詞:區(qū)別對(duì)待決策算法

    李 錦,劉 雷

    (湘潭大學(xué) 法學(xué)院,湖南 湘潭 411105)

    隨著人工智能(AI)的再度復(fù)興與規(guī)模應(yīng)用,算法的觸須滲透到社會(huì)方方面面,成為一種新型社會(huì)權(quán)力支配形態(tài)。在算法社會(huì),公民的消費(fèi)記錄、信用狀況、衣食住行等時(shí)刻處于記錄和分析的狀態(tài),并經(jīng)由算法的運(yùn)行與決策,可能對(duì)公民的信貸消費(fèi)、求職應(yīng)聘、定罪量刑等產(chǎn)生潛在不利影響,如出現(xiàn)同物不同價(jià)、同罪不同刑等現(xiàn)象和問(wèn)題,進(jìn)而引發(fā)對(duì)算法權(quán)力之歧視風(fēng)險(xiǎn)及平等威脅的深刻擔(dān)憂[1]32。為克服算法引發(fā)的風(fēng)險(xiǎn)和治理問(wèn)題,研究者多從算法透明度、算法解釋、算法審查、算法監(jiān)管等方面開(kāi)展富有教益的探討,如聚焦“算法偏見(jiàn)”[2]55-66和“算法暴政”的問(wèn)題,針對(duì)性提出了算法解釋權(quán)的主張[3]51-60,嘗試構(gòu)建數(shù)據(jù)顧問(wèn)和制度監(jiān)測(cè)的二元算法監(jiān)管機(jī)制[4]47-55,以探尋公平、透明、可責(zé)的多主體規(guī)制路徑等[5]43-53。

    上述研究雖為應(yīng)對(duì)算法差異性影響及其風(fēng)險(xiǎn)規(guī)制奠定了基礎(chǔ),但其理論缺陷也較為明顯,因?yàn)樗鶚?gòu)想的法律規(guī)制前提是“算法差異性影響必將導(dǎo)致歧視風(fēng)險(xiǎn)發(fā)生”。而事實(shí)上,算法與歧視并無(wú)必然的內(nèi)在關(guān)聯(lián),算法決策的結(jié)果具有技術(shù)中立的特性,算法決策產(chǎn)生差異化影響或后果,不必然具有歧視性,應(yīng)視具體應(yīng)用場(chǎng)景而論。值是之故,合理區(qū)分算法的差別性待遇與算法歧視,厘清算法“歧視”的內(nèi)涵和認(rèn)定,有賴于確立相應(yīng)的算法影響評(píng)價(jià)機(jī)制,以準(zhǔn)確識(shí)別算法應(yīng)用所造成的差異影響并采取不同的法律規(guī)制措施。

    一、算法差異性影響的生成與爭(zhēng)議

    (一)算法權(quán)力與差異性影響的生成

    算法是計(jì)算科學(xué)概念,意指一種操作序列,通過(guò)向計(jì)算機(jī)系統(tǒng)提供分析輸入數(shù)據(jù)的指令促使自動(dòng)化決策的形成,具有邏輯、數(shù)學(xué)的特性[6]108。從發(fā)展歷程來(lái)看,最初的算法僅僅是程序員設(shè)定的解決特定問(wèn)題的運(yùn)算步驟,由輸入(lnput)和輸出(Output)構(gòu)成的運(yùn)算機(jī)理,目的是將一些需要重復(fù)運(yùn)用的問(wèn)題和計(jì)算進(jìn)行分類和編碼,以減少運(yùn)算的時(shí)間和人力成本,提升工作效率;最終,所有為提高效率,解決類問(wèn)題的模式化處理技術(shù)工具和計(jì)算機(jī)程序,均統(tǒng)稱為“算法”[7]78。

    在性質(zhì)上,算法具有科技的中立性,其符號(hào)系統(tǒng)只有“0”和“1”的區(qū)別,本身并無(wú)偏向性或歧視性。然而,隨著算法時(shí)代的降臨,人類的行為和決策開(kāi)始依賴算法對(duì)海量數(shù)據(jù)的分析和推薦,政府和社會(huì)逐步將自動(dòng)化決策程序應(yīng)用于行政決策和社會(huì)治理之中。與之相應(yīng),人們的求職和就業(yè)機(jī)會(huì)、征信資質(zhì)評(píng)價(jià)、消費(fèi)選擇等受到算法的影響和控制。例如,在生活消費(fèi)領(lǐng)域,互聯(lián)網(wǎng)平臺(tái)會(huì)根據(jù)用戶瀏覽痕跡和消費(fèi)記錄,利用算法對(duì)用戶的消費(fèi)偏好和消費(fèi)能力進(jìn)行評(píng)價(jià)和判斷,針對(duì)性向用戶智能推介商品和服務(wù);在金融服務(wù)領(lǐng)域,金融機(jī)構(gòu)可以程式化收集并分析信貸主體的資金狀況、信用記錄等信息,從而作出是否放貸和放貸數(shù)額、是否需要抵押和抵押方式等精準(zhǔn)金融服務(wù)決定[8]26。隨著算法決定的廣泛滲透,算法成為一種新型的社會(huì)治理權(quán)力,成為人類創(chuàng)造的用于規(guī)范并影響自身行為和社會(huì)秩序的手段[1]124。

    與此同時(shí),算法自動(dòng)化決策的深度融入和廣泛影響,出現(xiàn)了備受詬病的“差別定價(jià)”或“區(qū)別放貸”等現(xiàn)象。而且,這種區(qū)別性對(duì)待具有一定隱秘性,難以被用戶察覺(jué)。它以數(shù)據(jù)處理和程序推薦的客觀性為幌子,貌似過(guò)程和結(jié)果的中立性,實(shí)則可能產(chǎn)生不公正的區(qū)別對(duì)待。例如,在美團(tuán)會(huì)員歧視事件中,用戶根據(jù)平臺(tái)優(yōu)惠提示開(kāi)通會(huì)員資格,以期獲得相應(yīng)的會(huì)員優(yōu)惠,結(jié)果在開(kāi)通會(huì)員后,原本同一商戶的同一商品的配送費(fèi)用變相提高,因而用戶并未因購(gòu)買會(huì)員而享受實(shí)質(zhì)的優(yōu)惠待遇,反而因自身消費(fèi)行為遭遇到區(qū)別對(duì)待的不利后果。這種因算法系統(tǒng)所致的“同物不同價(jià)”差異性的市場(chǎng)行為,正是平臺(tái)逐利與算法合謀(collusion)的產(chǎn)物。

    因此,作為一種新興的社會(huì)權(quán)力形式,算法既能促進(jìn)人類社會(huì)的進(jìn)步發(fā)展,又會(huì)因技術(shù)缺陷、數(shù)據(jù)或信息偏見(jiàn)等因素而產(chǎn)生“大數(shù)據(jù)殺熟”、算法差異性影響等問(wèn)題和挑戰(zhàn)[9]111-122。很顯然,“大數(shù)據(jù)殺熟”的行為不僅背離社會(huì)公平正義的價(jià)值理念,而且涉嫌違反平臺(tái)壟斷和不正當(dāng)競(jìng)爭(zhēng)法的規(guī)范性要求。但是,算法決策的區(qū)別對(duì)待產(chǎn)生的差異性影響必然是算法歧視嗎?以區(qū)別對(duì)待為例,美國(guó)“巴克案”[10]447所確立的區(qū)別性錄取措施雖然涉嫌侵犯白人學(xué)生的平等受教育權(quán)利,但根據(jù)美國(guó)聯(lián)邦最高法院的認(rèn)定,優(yōu)待少數(shù)有色族裔學(xué)生的招生計(jì)劃或措施并不違反美國(guó)憲法所規(guī)定的平等保護(hù)條款。同樣地,如果算法自動(dòng)化決策或算法治理產(chǎn)生諸如巴克案所例證的特殊群體的優(yōu)待措施,顯然也會(huì)具有相應(yīng)的正當(dāng)性理由和抗辯[11]35-67。

    (二)算法差異性影響的歧視爭(zhēng)議

    算法歧視的實(shí)質(zhì)是,算法決策所造成的差異性對(duì)待,主觀上具有貶低人格尊嚴(yán)的意圖,客觀上造成不平等的處境。而且,這種不平等處境的理由不具有正當(dāng)性,損害了個(gè)人或者一定社群的平等權(quán)利和選擇機(jī)會(huì)[12]226-233。歧視的法律概念存在后果主義和意向主義兩種理解[13]117-124:后果主義(1)與后果主義模式試圖分離內(nèi)在偏好和歧視行為之關(guān)聯(lián)的做法不同,意向主義不僅承認(rèn)兩者的密切關(guān)系,而且意圖根據(jù)內(nèi)在偏好的不同性質(zhì)來(lái)界定歧視的概念。這一定義模式捕捉到一個(gè)廣泛接受的道德觀念,即歧視所賴以存在的偏好或偏見(jiàn),是與區(qū)別對(duì)待的道德理由不相關(guān)的。換句話說(shuō),如果一個(gè)行為是歧視性的,那么就有一個(gè)不得為之的道德責(zé)任。主要從客觀發(fā)生的后果出發(fā),將算法決策是否造成不公正的客觀結(jié)果作為歧視的考量標(biāo)準(zhǔn)。算法決策歧視與否的評(píng)價(jià)只運(yùn)用結(jié)果考量,會(huì)引發(fā)對(duì)算法決策者主觀意圖的重視度不足的問(wèn)題,即決策者的主觀偏見(jiàn)對(duì)算法決策所實(shí)際產(chǎn)生的后果不具決定性影響[9];意向主義側(cè)重于主觀偏見(jiàn)或歧視意圖,并認(rèn)為這種缺乏正當(dāng)性基礎(chǔ)的意圖和偏見(jiàn)本身令人反感和厭惡。后果主義缺乏對(duì)歧視主觀偏見(jiàn)的道德正當(dāng)性的關(guān)注,未能注意到差別對(duì)待對(duì)個(gè)體權(quán)益產(chǎn)生的正面意義,意向主義則未能充分重視造成差異性結(jié)果的場(chǎng)景性因素。

    基于整全性的理解,算法歧視的認(rèn)定應(yīng)當(dāng)綜合不同維度的考量:一方面,人們需要對(duì)區(qū)別對(duì)待的意圖進(jìn)行判斷,評(píng)價(jià)其主觀方面是否具有正當(dāng)性。根據(jù)形式正義的底線要求——等者等之,不等者不等之,如果兩者是典型的不等者,則區(qū)別對(duì)待不僅是可欲的,而且是正當(dāng)?shù)?;另一方面,則需要考察算法決策結(jié)果的實(shí)質(zhì)性差異影響,進(jìn)而判斷對(duì)不同群體的差異影響是否達(dá)到了不相干(disparate)的歧視性影響。也就是說(shuō),歧視性影響不應(yīng)簡(jiǎn)單理解為結(jié)果的差異性分布,還應(yīng)從社會(huì)公平視角廣泛審視差異性分布對(duì)不同群體所造成的客觀影響。

    在算法決策是否構(gòu)成歧視的認(rèn)定問(wèn)題上,還必須考慮算法時(shí)代所形成的獨(dú)特社會(huì)結(jié)構(gòu)和文化背景。在算法時(shí)代對(duì)算法歧視現(xiàn)象的質(zhì)疑和非議,主要源于公共行政決策、大數(shù)據(jù)分析、互聯(lián)網(wǎng)平臺(tái)等領(lǐng)域廣泛運(yùn)用算法所造成的社會(huì)不平等現(xiàn)象。而且,其所產(chǎn)生的差異性影響和結(jié)果由于算法決策的特性,呈現(xiàn)出可復(fù)制、擴(kuò)大化態(tài)勢(shì),具有重復(fù)性和系統(tǒng)性的特性。也就是說(shuō),算法決策一旦被認(rèn)定歧視性的,其結(jié)果將是普遍性的“系統(tǒng)”歧視。與此同時(shí),算法所固有的隱秘性特征,既讓人無(wú)法知曉開(kāi)發(fā)者在設(shè)計(jì)算法系統(tǒng)時(shí)是否具備歧視的主觀意圖,也難以窺測(cè)算法決策所造成的差異性結(jié)果是否算法自身的目的所在。

    總之,區(qū)別對(duì)待或差異性影響本身不等于歧視。人權(quán)保障所反對(duì)的歧視或不平等,主要是采取不合理的標(biāo)準(zhǔn)進(jìn)行區(qū)分[14]143-150。算法決策造成的差異性影響是否構(gòu)成歧視,應(yīng)根據(jù)合理或不合理的評(píng)價(jià)標(biāo)準(zhǔn),對(duì)算法所引發(fā)的爭(zhēng)議現(xiàn)象進(jìn)行場(chǎng)景化評(píng)價(jià),進(jìn)而可以區(qū)分為對(duì)弱勢(shì)群體不利影響、有利影響和對(duì)社會(huì)群體的合理差異性影響。

    二、算法差異性影響的區(qū)分與認(rèn)定

    (一)算法歧視:對(duì)弱勢(shì)群體的差異性不利影響

    歧視的表象是不平等,實(shí)質(zhì)是對(duì)特定弱勢(shì)群體的不公平對(duì)待。在人類社會(huì)的發(fā)展過(guò)程中,因?yàn)闅v史、文化等因素的影響,先后出現(xiàn)性別、種族、缺陷等區(qū)別對(duì)待的不良現(xiàn)象。隨著“法律面前人人平等”在近代上升為基本原則以來(lái),禁止恣意地區(qū)別對(duì)待成為當(dāng)代社會(huì)普遍的價(jià)值共識(shí)。算法決策所作出的區(qū)別對(duì)待,要構(gòu)成法律上的歧視類型,必然需要符合平等原則的實(shí)質(zhì)判斷。

    以網(wǎng)絡(luò)平臺(tái)的性別區(qū)別對(duì)待為例。根據(jù)卡內(nèi)基·梅隆大學(xué)的研究所示,互聯(lián)網(wǎng)平臺(tái)所發(fā)布的60萬(wàn)次招聘廣告,若以年收入20萬(wàn)美元的職位為搜索詞條,可以發(fā)現(xiàn)接受實(shí)驗(yàn)的男性用戶組共收到1852個(gè)崗位推薦,女性用戶組僅收到318個(gè)推薦[15]。網(wǎng)路平臺(tái)招聘的男女差異是一種典型的區(qū)別對(duì)待。從社會(huì)事實(shí)性的角度來(lái)看,這種男女求職時(shí)所存在的性別差異是特定社會(huì)偏見(jiàn)的產(chǎn)物和結(jié)果,它既是普遍存在的事實(shí),也是顯而易見(jiàn)的歧視,因?yàn)樗诓幌喔傻木S度上貶損女性勞動(dòng)者的價(jià)值,形成了對(duì)弱勢(shì)群體的差異性不利影響。由此,算法決策產(chǎn)生的性別區(qū)別對(duì)待可以歸屬于歧視的范疇,因?yàn)椴町悓?duì)待缺乏正當(dāng)性理由,且使得原本在社會(huì)就業(yè)方面處于相對(duì)弱勢(shì)地位的女性處于更加不利的職業(yè)競(jìng)爭(zhēng)處境,客觀上加深了就業(yè)機(jī)會(huì)的實(shí)質(zhì)不平等。

    某種程度上,算法歧視是既有社會(huì)歧視的時(shí)代投影,更是算法與社會(huì)共謀的產(chǎn)物,集中體現(xiàn)了社會(huì)關(guān)系數(shù)據(jù)化對(duì)人的價(jià)值的嚴(yán)重威脅。算法程序的運(yùn)行基礎(chǔ)是對(duì)數(shù)據(jù)的批量收集和處理,通過(guò)人為的程序設(shè)計(jì)和編碼,建立數(shù)據(jù)相關(guān)關(guān)系,以量化方式進(jìn)行定性決策。在算法權(quán)力時(shí)代,人的主體價(jià)值被數(shù)據(jù)化處理,算法能夠通過(guò)數(shù)據(jù)對(duì)人進(jìn)行透視,將鮮活的人通過(guò)編碼的手段以數(shù)據(jù)的形式分析、輸入輸出,“在物理和社會(huì)雙語(yǔ)境中消解人的概念”,侵犯作為人類主體的尊嚴(yán)和平等權(quán)利[16]18-24。

    (二)算法“反向歧視”:對(duì)弱勢(shì)群體的差異性有利影響

    盡管差別待遇有違平等的形式要求,但究其實(shí)質(zhì)是對(duì)弱勢(shì)群體的傾斜性保護(hù),仍然符合平等保護(hù)的要求,并構(gòu)成所謂的“反向歧視”。典型的反向歧視,如美國(guó)社會(huì)在招生就業(yè)領(lǐng)域所采用的優(yōu)待措施(affirmation action),意指控制重要社會(huì)資源的主體給需要特殊對(duì)待的特定群體以優(yōu)先待遇的行動(dòng)或政策[17]1-96。美國(guó)聯(lián)邦最高法院對(duì)此在1978年著名的“巴克案”裁定,考慮種族因素的招生優(yōu)待措施并不違反美國(guó)憲法的平等保護(hù)條款[10]447-450,甚或它正是憲法平等原則所要求的差別待遇。

    優(yōu)待措施或反向歧視之所以符合平等原則,是因?yàn)槠渚駥?shí)質(zhì)與社會(huì)公平正義的原則相一致。首先,依據(jù)羅爾斯正義諸原則,平等的觀念體現(xiàn)為:一是基本權(quán)利和自由的優(yōu)先性,二是公平的機(jī)會(huì)平等和差別原則[18]100-108。羅爾斯的差別原則主張通過(guò)再分配的方式補(bǔ)償社會(huì)上處境最差的群體,緩解因先天或者社會(huì)因素造成的不利地位帶來(lái)的不利影響。其次,它也符合德沃金所倡導(dǎo)的視人為平等者(to treatment as an equal),平等是減少不平等的政治目標(biāo)。雖然優(yōu)待或反向歧視在手段上是“差別”的,但其最終目標(biāo)是為了彌合因社會(huì)和文明發(fā)展所積蓄的歷史遺憾。例如,美國(guó)的種族歧視給黑人群體造成了系統(tǒng)性的不利后果,包括社會(huì)地位、享受教育資源等劣勢(shì)。因此,相關(guān)優(yōu)待措施給黑人學(xué)生帶來(lái)更好的教育機(jī)會(huì),讓不同群體獲得相應(yīng)的發(fā)展,體現(xiàn)了多元性和社會(huì)公正[10]477-495。

    算法決策所帶來(lái)的差別待遇,如果在性質(zhì)上對(duì)弱勢(shì)群體構(gòu)成合理的照顧,理應(yīng)成為平等原則所容忍的“反向歧視”。例如,部分高校利用算法的數(shù)據(jù)分析功能,對(duì)學(xué)生的日常消費(fèi)記錄進(jìn)行分析和處理,篩選出貧困學(xué)生并據(jù)此作出針對(duì)性的貧困生活補(bǔ)助措施。這一算法應(yīng)用不僅準(zhǔn)確識(shí)別被補(bǔ)助對(duì)象的實(shí)際處境,還有利于維護(hù)被補(bǔ)助對(duì)象的人格尊嚴(yán)。這種利用算法采取的針對(duì)性措施,實(shí)質(zhì)構(gòu)成了對(duì)大學(xué)生群體的差別對(duì)待,但它不應(yīng)當(dāng)視為不公平的區(qū)別對(duì)待,更不應(yīng)評(píng)價(jià)為“算法歧視”。

    (三)合理的差別對(duì)待:與算法合理關(guān)聯(lián)的差異性影響

    區(qū)別對(duì)待在兩個(gè)層面可能是合理的:一是根據(jù)形式平等的原則,不等者,不等之,即實(shí)質(zhì)上不同的群體,可以給予與之相關(guān)的不同處遇且不違反對(duì)弱勢(shì)群體的不公平對(duì)待;二是基于平等或公平審查標(biāo)準(zhǔn),區(qū)別對(duì)待在實(shí)踐中被認(rèn)定為相關(guān)的而非不相關(guān)的、合理而非恣意的,可據(jù)此而容忍相關(guān)的區(qū)別對(duì)待。例如,在當(dāng)代的政治實(shí)踐中,從法律上合理區(qū)分公民與非公民的地位,并賦予其不同的法律權(quán)利和義務(wù),正是第一種情形的顯著例證。此外,在招生和就業(yè)領(lǐng)域中,廣泛存在一種以身體健康為標(biāo)準(zhǔn)的區(qū)分標(biāo)準(zhǔn),倘若特定身體健康狀況確實(shí)不適于特定專業(yè)學(xué)習(xí)或從事特定行業(yè),則相關(guān)的區(qū)別對(duì)待不僅是必要的,而且是合理的。

    為此,算法決策所給出的區(qū)別對(duì)待可能是合理的。之所以如此,部分的區(qū)別對(duì)待是因?yàn)樗闲问狡降鹊囊?,而且不?huì)產(chǎn)生對(duì)相對(duì)弱勢(shì)群體的不公正。例如,在經(jīng)濟(jì)領(lǐng)域中,價(jià)格是由供求關(guān)系的市場(chǎng)規(guī)律所形成的,因此常易于變動(dòng),而且不同市場(chǎng)主體也會(huì)采用相對(duì)不同的定價(jià)策略,因此互聯(lián)網(wǎng)平臺(tái)在對(duì)不同主體采用的差別化定價(jià)在某種程度上是可以接受的,不能徑行認(rèn)定為價(jià)格歧視。實(shí)際上,目前大部分網(wǎng)絡(luò)平臺(tái)公司在會(huì)員和非會(huì)員的區(qū)分基礎(chǔ)上,往往會(huì)對(duì)平臺(tái)會(huì)員給予較多的價(jià)格折扣和優(yōu)惠。這種區(qū)別對(duì)待之所以是合理的,因?yàn)樗鲜袌?chǎng)經(jīng)濟(jì)的供求規(guī)律。即使常為人所詬病的大數(shù)據(jù)“殺熟”行為,也存在一定相對(duì)合理性,因?yàn)槠脚_(tái)為獲取新用戶而傾向于將獲客成本用于補(bǔ)貼新用戶,進(jìn)而導(dǎo)致對(duì)舊用戶的價(jià)格歧視。基于上述事實(shí),利用算法對(duì)消費(fèi)者群體進(jìn)行必要的群體劃分,進(jìn)而設(shè)置差異性的銷售價(jià)格或采取不同的銷售模式,在不違反強(qiáng)制性法律規(guī)定的前提下,并不必然屬于算法歧視的范疇。甚至,互聯(lián)網(wǎng)平臺(tái)利用算法所給出的區(qū)別定價(jià),一定程度上有助于平衡社會(huì)資源[19]83-99,利用再分配方式減少社會(huì)地位的不平等,彌補(bǔ)相對(duì)弱勢(shì)群體的不利地位。

    此外,在追求合法目標(biāo)的前提下,如果算法決策所給出的區(qū)別對(duì)待與合法目標(biāo)之間具有合理的關(guān)聯(lián)性,也可以認(rèn)為是合理的區(qū)別對(duì)待而非“歧視”。例如在美國(guó),算法數(shù)據(jù)分析系統(tǒng)越來(lái)越多地運(yùn)用于刑事司法領(lǐng)域,如用算法評(píng)估刑事被告成為累犯的可能性,或者預(yù)測(cè)刑事犯罪的發(fā)生概率和可能性等。一般認(rèn)為,如果犯罪風(fēng)險(xiǎn)識(shí)別、輔助量刑系統(tǒng)等算法系統(tǒng)未能充分考慮平等保護(hù)的原則要求,就有可能構(gòu)成濫用或歧視的法律風(fēng)險(xiǎn)[20]165-184。事實(shí)上,盡管諸如COMPAS等量刑輔助系統(tǒng)的運(yùn)用可能造成區(qū)別對(duì)待不同群體的效應(yīng),如對(duì)犯罪嫌疑人或被告的群體特征的畫(huà)像和描述,將帶來(lái)不一樣的后果,但并不必然構(gòu)成所謂“歧視”。以盧米斯案為例,盡管被告盧米斯認(rèn)為運(yùn)用COMPAS對(duì)其累犯的風(fēng)險(xiǎn)評(píng)估違反了正當(dāng)程序的保護(hù),但上訴法院均以COMPAS的判斷是“科學(xué)而有效的”,而駁回了被告上訴,因?yàn)镃OMPAS評(píng)估模型的實(shí)質(zhì)是在模擬司法實(shí)踐中法官斷案決策的基本過(guò)程[21],其相關(guān)考量具有合理性。

    三、算法影響評(píng)價(jià)機(jī)制的構(gòu)建

    (一)構(gòu)建算法影響評(píng)價(jià)機(jī)制的意義

    “智能社會(huì)本質(zhì)上是一個(gè)‘算法泛在’并由算法主導(dǎo)的社會(huì)。”[22]4-19算法以極快的發(fā)展速度滲透到社會(huì)發(fā)展各領(lǐng)域各方面,不僅成為智能社會(huì)的生產(chǎn)要素,而且對(duì)社會(huì)關(guān)系和國(guó)家治理產(chǎn)生重要影響??紤]到算法所產(chǎn)生的積極影響及其引發(fā)的質(zhì)疑和挑戰(zhàn),有必要引入并構(gòu)建算法影響評(píng)價(jià)機(jī)制[23]102-115。算法影響評(píng)價(jià)機(jī)制是指依據(jù)特定的評(píng)價(jià)標(biāo)準(zhǔn),為預(yù)防并減少算法的風(fēng)險(xiǎn)或危害,對(duì)與之相關(guān)的自動(dòng)化決策系統(tǒng)的內(nèi)容、過(guò)程和結(jié)果進(jìn)行系統(tǒng)評(píng)估的算法規(guī)制工具[24]。算法影響評(píng)價(jià)機(jī)制既是事前的預(yù)防機(jī)制,又是事后的規(guī)制手段,在智能社會(huì)的治理方面具有以下三個(gè)方面功用:

    1.增強(qiáng)算法的可解釋性,有助于強(qiáng)化算法監(jiān)測(cè)

    智能社會(huì)的突出問(wèn)題是算法應(yīng)用系統(tǒng)及權(quán)力支配的不透明性。算法作為一種新型治理工具,在公共領(lǐng)域逐漸具有社會(huì)法則的特征。只有讓社會(huì)主體對(duì)算法運(yùn)行機(jī)理及其實(shí)質(zhì)影響有所了解,方能重構(gòu)社會(huì)對(duì)算法系統(tǒng)的信任,讓全體社會(huì)成員接受算法決策的運(yùn)用。為此,算法的可透明性是負(fù)責(zé)任算法(accountable algorithms)的必然要求。然而囿于算法系統(tǒng)的復(fù)雜性和專業(yè)性,即使公開(kāi)算法的代碼及邏輯,除少數(shù)技術(shù)專家外,對(duì)算法一無(wú)所知的普通公眾甚或部分設(shè)計(jì)人員可能都無(wú)法真正理解算法系統(tǒng)的運(yùn)行原理及因果關(guān)系。

    算法影響評(píng)價(jià)機(jī)制包含一定評(píng)價(jià)手段和救濟(jì)方式,可以在算法系統(tǒng)設(shè)計(jì)及應(yīng)用的事前、事中、事后等階段要求設(shè)計(jì)和開(kāi)發(fā)利用主體采用更通俗易懂的語(yǔ)言,以闡述算法決策的原理、結(jié)果及其正當(dāng)性。為此,算法影響評(píng)價(jià)機(jī)制所確立的算法解釋權(quán),在解釋內(nèi)容上體現(xiàn)為實(shí)質(zhì)化的要求,在可解釋的維度上呈現(xiàn)出一體化、全過(guò)程和多層化優(yōu)勢(shì)。算法解釋內(nèi)容的實(shí)質(zhì)化,不僅要求公開(kāi)算法的技術(shù)性信息,對(duì)算法風(fēng)險(xiǎn)及影響進(jìn)行描述性說(shuō)明,而且強(qiáng)調(diào)對(duì)算法決策的合理性予以解釋與論證,即論證其法律的正當(dāng)性與合理性[25]4-17。算法影響評(píng)價(jià)機(jī)制具有一體化、全過(guò)程和多層化的優(yōu)勢(shì),不局限于事前的監(jiān)管,而是涵蓋了算法系統(tǒng)的開(kāi)發(fā)、設(shè)計(jì)、適用及其后續(xù)的監(jiān)測(cè),并包含“售后服務(wù)”“全周期監(jiān)測(cè)”的內(nèi)容。

    2.凸顯算法風(fēng)險(xiǎn)的可預(yù)防性,有利于增強(qiáng)算法規(guī)制

    以算法為核心的智能社會(huì)存在“倫理風(fēng)險(xiǎn)、數(shù)字化風(fēng)險(xiǎn)、工具異化風(fēng)險(xiǎn)和規(guī)制風(fēng)險(xiǎn)等社會(huì)風(fēng)險(xiǎn)”[26]155-168,突出表現(xiàn)為機(jī)器與人倫道德的沖突、人類價(jià)值的編碼化質(zhì)疑和算法權(quán)力的異化。為此,應(yīng)正視算法引發(fā)的社會(huì)風(fēng)險(xiǎn)事實(shí),不能以社會(huì)風(fēng)險(xiǎn)作為抑制科技進(jìn)步的理由,樹(shù)立風(fēng)險(xiǎn)意識(shí)、加強(qiáng)風(fēng)險(xiǎn)預(yù)防,理性看待技術(shù)風(fēng)險(xiǎn)與科技發(fā)展的張力,積極構(gòu)筑算法風(fēng)險(xiǎn)預(yù)防機(jī)制。

    算法影響評(píng)價(jià)機(jī)制是一種典型的風(fēng)險(xiǎn)預(yù)防機(jī)制,可以通過(guò)前置的評(píng)估程序和專業(yè)化的評(píng)估能力,最大限度將算法系統(tǒng)的社會(huì)風(fēng)險(xiǎn)予以事前披露與警示,并為事后的算法規(guī)制奠定基礎(chǔ)和前提,從而有效平衡算法治理與技術(shù)發(fā)展的關(guān)系。算法影響評(píng)價(jià)機(jī)制內(nèi)嵌有風(fēng)險(xiǎn)預(yù)防的算法規(guī)制原則,其目標(biāo)不是遏制算法的發(fā)展而是防患于未然,前提則是算法風(fēng)險(xiǎn)具有不確定性或蓋然性。在不確定性前景下,社會(huì)治理主體不能置算法風(fēng)險(xiǎn)于不顧、不履責(zé)不盡責(zé),更不能盲目阻滯技術(shù)發(fā)展和進(jìn)步的可能性。算法影響評(píng)估機(jī)制可以在算法系統(tǒng)投入運(yùn)營(yíng)之前,即對(duì)其開(kāi)發(fā)設(shè)計(jì)的理念、目的正當(dāng)性、價(jià)值契合性等社會(huì)和個(gè)體影響進(jìn)行風(fēng)險(xiǎn)評(píng)估[27]156-211,提供了算法負(fù)面影響的識(shí)別程序和信息。

    3.實(shí)現(xiàn)社會(huì)權(quán)益平衡的場(chǎng)景化,有利于發(fā)揮算法治理成效

    如前所述,算法決策造成差異性影響的認(rèn)定具有場(chǎng)景化、情景化特征。算法系統(tǒng)的開(kāi)發(fā)設(shè)計(jì)與數(shù)學(xué)、計(jì)算機(jī)專業(yè)領(lǐng)域緊密相連,依賴于計(jì)算模型的構(gòu)建。這些技術(shù)化模型一般具有場(chǎng)景化特性,即針對(duì)不同的情境,構(gòu)建特定的模型,隨著情境的變化,需要對(duì)技術(shù)模型的參數(shù)進(jìn)行調(diào)整[28]。傳統(tǒng)算法規(guī)制的困境在于忽視了算法治理的場(chǎng)景性特征和情景化應(yīng)用,因此算法公開(kāi)、數(shù)據(jù)賦權(quán)、反算法歧視等規(guī)制方式均不足以有效規(guī)制算法的合理運(yùn)用,預(yù)防和規(guī)制算法決策的社會(huì)風(fēng)險(xiǎn)。

    算法系統(tǒng)不是一個(gè)固化的決策工具,而是人機(jī)交互的動(dòng)態(tài)化技術(shù)系統(tǒng),其機(jī)理和構(gòu)造會(huì)隨著適用場(chǎng)景和對(duì)象的不同而存在差異,因此“算法法律規(guī)制的原理必須建立在場(chǎng)景化的基礎(chǔ)上”[29]138-159。在評(píng)判算法決策的歧視和偏見(jiàn)時(shí),必須全面衡量算法決策對(duì)不同社會(huì)主體的差異性影響,并基于社會(huì)公平正義和平等原則,對(duì)其差異性影響給出恰如其分的評(píng)價(jià)。算法影響評(píng)價(jià)機(jī)制正是算法規(guī)制場(chǎng)景化的最佳載體——它從算法設(shè)計(jì)開(kāi)發(fā)主體、自動(dòng)化決策適用對(duì)象、數(shù)據(jù)處理限度以及風(fēng)險(xiǎn)問(wèn)題等差異性面向出發(fā),基于算法應(yīng)用的具體場(chǎng)景和情境,實(shí)施“定制化”的影響評(píng)價(jià),有助于厘清和權(quán)衡算法背后的社會(huì)主體利益糾葛,增進(jìn)算法規(guī)制與社會(huì)治理的契合度,從而既能保障科技的發(fā)展和進(jìn)步,又能維護(hù)社會(huì)主體的價(jià)值和利益訴求。

    (二)算法影響評(píng)價(jià)機(jī)制的幾點(diǎn)構(gòu)想

    1.堅(jiān)持影響評(píng)價(jià)的全覆蓋,構(gòu)筑分類評(píng)價(jià)的程序設(shè)置

    開(kāi)展算法影響評(píng)價(jià)應(yīng)當(dāng)注重評(píng)價(jià)范圍的全覆蓋,并針對(duì)不同評(píng)價(jià)對(duì)象采取分級(jí)分類的評(píng)估方式(2)《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第二十三條規(guī)定:網(wǎng)信部門會(huì)同電信、公安、市場(chǎng)監(jiān)管等有關(guān)部門建立算法分級(jí)分類安全管理制度,根據(jù)算法推薦服務(wù)的輿論屬性或者社會(huì)動(dòng)員能力、內(nèi)容類別、用戶規(guī)模、算法推薦技術(shù)處理的數(shù)據(jù)重要程度、對(duì)用戶行為的干預(yù)程度等對(duì)算法推薦服務(wù)提供者實(shí)施分級(jí)分類管理。。部分觀點(diǎn)認(rèn)為,算法影響評(píng)價(jià)應(yīng)設(shè)置“豁免程序”,即主張?jiān)O(shè)立“影響評(píng)價(jià)門檻”——那些負(fù)面影響輕微或很小的算法應(yīng)用或算法決策項(xiàng)目無(wú)需開(kāi)展影響評(píng)價(jià)[30]146-152。然而,無(wú)論是“豁免”還是“門檻”均含蘊(yùn)了評(píng)價(jià)的意旨和精神,因此其結(jié)論的得出已經(jīng)是算法影響評(píng)價(jià)的某種替代形式;此外,即使算法決策的不利影響很小或者輕微,最好不要以事前的臆測(cè)來(lái)取代理性的分析和診斷。換言之,針對(duì)風(fēng)險(xiǎn)較小的算法應(yīng)用,可以采取相對(duì)簡(jiǎn)化的影響評(píng)價(jià)方式,以務(wù)求全面掌握算法應(yīng)用的影響與風(fēng)險(xiǎn)。

    在堅(jiān)持影響評(píng)價(jià)全覆蓋的同時(shí),有必要借鑒算法推薦管理的規(guī)定,設(shè)置分級(jí)分類的影響評(píng)價(jià)程序。首先,影響評(píng)價(jià)應(yīng)當(dāng)分級(jí)實(shí)施,即根據(jù)算法影響范圍的不同而分設(shè)中央和地方兩個(gè)層級(jí)的影響評(píng)價(jià)程序。原則上,影響評(píng)價(jià)主要實(shí)行屬地管理,即由負(fù)責(zé)算法管理的地方主管部門實(shí)施評(píng)價(jià);當(dāng)算法決策或應(yīng)用具有跨地域的影響范圍,且對(duì)社會(huì)利益或個(gè)人權(quán)益造成廣泛影響的情況下,則相關(guān)評(píng)價(jià)應(yīng)由中央主管部門所實(shí)施。其次,影響評(píng)價(jià)還應(yīng)根據(jù)算法的應(yīng)用領(lǐng)域及其對(duì)公民和社會(huì)的影響程度而采用不同的評(píng)價(jià)步驟和要求(3)See New Zealand Government,Algorithm charter for Aotearoa New Zealand,https://data.govt.nz/toolkit/data-ethics/government-algorithm-transparency-and-accountability/algorithm-charter/,2021-09-05.。算法影響越大、所涉領(lǐng)域越敏感、決策結(jié)果越不可逆,則應(yīng)采取嚴(yán)格的評(píng)價(jià)程序:如要求召開(kāi)必要的公眾聽(tīng)證或?qū)<艺撟C會(huì),必須編制算法影響評(píng)價(jià)報(bào)告書(shū)并向社會(huì)公開(kāi),強(qiáng)化影響評(píng)價(jià)報(bào)告書(shū)的社會(huì)約束力等。而至于影響較輕的,則只需要編制并提交算法影響報(bào)告表或者算法影響說(shuō)明性文件即可。最后,無(wú)論何種類型的算法影響評(píng)價(jià)應(yīng)是全過(guò)程的,即應(yīng)涵括算法開(kāi)發(fā)應(yīng)用的事前、事中和事后等階段,并成為算法歧視認(rèn)定的關(guān)鍵一環(huán)。

    2.保證評(píng)價(jià)機(jī)構(gòu)的中立性,強(qiáng)化影響評(píng)價(jià)的價(jià)值引領(lǐng)

    基于算法在智能社會(huì)的主導(dǎo)地位,為確保算法影響評(píng)價(jià)的公平公正,避免“球員兼任裁判”的法治悖論,有必要在評(píng)估管理主體之外,成立專門的影響評(píng)價(jià)機(jī)構(gòu)或委托相對(duì)獨(dú)立的第三方機(jī)構(gòu),具體負(fù)責(zé)影響評(píng)估的實(shí)施和評(píng)估報(bào)告的撰寫,從而保證評(píng)估結(jié)論的科學(xué)性和中立性。此外,考慮算法影響評(píng)價(jià)既涉及計(jì)算機(jī)技術(shù)的應(yīng)用,也牽扯社會(huì)利益的權(quán)衡,為充分實(shí)現(xiàn)評(píng)估的效能,應(yīng)遴選多學(xué)科領(lǐng)域的專家學(xué)者,包括并不限于數(shù)學(xué)、計(jì)算機(jī)科學(xué)、哲學(xué)、經(jīng)濟(jì)學(xué)、公共管理、法學(xué)等專業(yè),組建相應(yīng)的評(píng)估專家?guī)欤┰u(píng)估機(jī)構(gòu)隨機(jī)抽取并組建影響評(píng)價(jià)工作組,以實(shí)現(xiàn)評(píng)估主體的多元性和權(quán)威性。

    與此同時(shí),算法影響評(píng)價(jià)涉及對(duì)不同利益的權(quán)衡和考量,應(yīng)強(qiáng)化社會(huì)價(jià)值對(duì)算法權(quán)力的引領(lǐng)和塑造。不僅算法的開(kāi)發(fā)應(yīng)用由開(kāi)發(fā)設(shè)計(jì)者的價(jià)值觀念所主導(dǎo),而且算法影響本身取向于一定的評(píng)價(jià)標(biāo)準(zhǔn)。因此,包括法律價(jià)值在內(nèi)的社會(huì)價(jià)值將對(duì)算法應(yīng)用產(chǎn)生深層次的影響。例如,在是否構(gòu)成算法歧視的評(píng)價(jià)上,評(píng)估者依賴于自身對(duì)平等價(jià)值的認(rèn)知;而對(duì)算法應(yīng)用是否構(gòu)成不當(dāng)影響或不公平競(jìng)爭(zhēng),則須深入理解社會(huì)公平正義和經(jīng)濟(jì)效率等價(jià)值的意蘊(yùn)。為此,在構(gòu)建算法影響評(píng)價(jià)制度時(shí),應(yīng)當(dāng)強(qiáng)化公平、公正、公開(kāi)、平等、效率等價(jià)值在評(píng)價(jià)標(biāo)準(zhǔn)設(shè)定、評(píng)價(jià)程序建構(gòu)中的引領(lǐng)和導(dǎo)向作用。

    3.保障影響評(píng)價(jià)的公民參與,增強(qiáng)評(píng)價(jià)報(bào)告的規(guī)范效力

    算法影響評(píng)價(jià)應(yīng)堅(jiān)持以人民為中心的立場(chǎng),既賦予公民以一定的算法知情權(quán),又向其提供必要的參與途徑和便利條件,使之參與算法治理的全過(guò)程。知情和公開(kāi)是民主的要求和體現(xiàn)。雖然算法具有高度的專業(yè)性和復(fù)雜性,普通公民難以知曉其原理,但當(dāng)算法決策或應(yīng)用侵犯其合法權(quán)益時(shí),公民可以主張和要求相關(guān)主體對(duì)算法應(yīng)用及其影響做出“解釋”[31]64-70,即有權(quán)獲知是否存在自動(dòng)化決策、算法所涉邏輯原理和預(yù)期效果、是否構(gòu)成歧視或不當(dāng)影響等信息。在此,算法影響評(píng)價(jià)不僅應(yīng)充分保障公眾的知情權(quán)和參與權(quán)利,而且應(yīng)拓寬公民參與的渠道和方式。例如,在開(kāi)展事后的算法影響評(píng)價(jià)時(shí),應(yīng)當(dāng)允許利益受影響或權(quán)益受侵害的公民依法向主管部門提出評(píng)價(jià)申請(qǐng);或者在評(píng)價(jià)實(shí)施過(guò)程中,必須聽(tīng)取算法所針對(duì)社會(huì)群體的評(píng)測(cè)體驗(yàn)和意見(jiàn),并實(shí)現(xiàn)最終用戶與算法開(kāi)發(fā)應(yīng)用者的雙向反饋與互動(dòng)。

    算法影響評(píng)價(jià)要編制相應(yīng)的影響評(píng)價(jià)報(bào)告,其內(nèi)容應(yīng)包含一般性內(nèi)容和評(píng)價(jià)結(jié)論兩個(gè)部分:一般性內(nèi)容涵括影響評(píng)價(jià)的基本情況、算法的技術(shù)信息和應(yīng)用背景等,評(píng)價(jià)結(jié)論則應(yīng)闡明算法對(duì)不同群體的社會(huì)影響并給出算法是否構(gòu)成歧視或產(chǎn)生不當(dāng)影響的評(píng)價(jià)性結(jié)論,或給出算法優(yōu)化或矯正的法律措施或?qū)Σ呓ㄗh——例如,對(duì)算法可能產(chǎn)生的歧視風(fēng)險(xiǎn)提出相應(yīng)的監(jiān)測(cè)措施和解決方案;或分析算法基于數(shù)據(jù)整合功能所具有的輔助決策作用,利用算法的社會(huì)主體差異處境識(shí)別功能,進(jìn)而提出可能的區(qū)別對(duì)待措施[18]60-65。為增強(qiáng)算法治理的效能,提升算法影響評(píng)價(jià)的效果,還應(yīng)增強(qiáng)評(píng)估報(bào)告的規(guī)范效力。一方面,應(yīng)由有關(guān)主管部門對(duì)影響評(píng)估報(bào)告作出備案和審查,并通過(guò)相應(yīng)的程序設(shè)置使之具備規(guī)范性文件的法律地位;另一方面,則應(yīng)賦予評(píng)價(jià)結(jié)論以一定的法律效果——它既可以成為公民依法起訴并主張權(quán)益保障的合理基礎(chǔ),又可以成為執(zhí)法部門嚴(yán)格執(zhí)法和公正司法的事實(shí)依據(jù)。

    四、結(jié)語(yǔ)

    在算法為底層架構(gòu)的智能社會(huì),人人處于算法的治理和規(guī)訓(xùn)之下。算法的規(guī)?;瘧?yīng)用會(huì)造就產(chǎn)業(yè)升級(jí)、科技創(chuàng)新等益處,也可能造成技術(shù)、倫理和社會(huì)風(fēng)險(xiǎn),既不應(yīng)因眼前所見(jiàn)的好處和收益,就罔顧算法所潛在的危害;也不能因?yàn)樗惴L(fēng)險(xiǎn)的潛在性和現(xiàn)實(shí)性,就放棄它所帶來(lái)的技術(shù)和產(chǎn)業(yè)升級(jí)。算法的性質(zhì)是技術(shù)中立的,其影響和風(fēng)險(xiǎn)往往取向于使用者的意圖及其具體的應(yīng)用場(chǎng)景。因此,算法不是造成歧視的真正根源,算法歧視的認(rèn)定與否應(yīng)視差別性待遇的價(jià)值衡量而論?;谒惴ㄆ缫暤膱?chǎng)景認(rèn)定與評(píng)價(jià)性需求,有必要構(gòu)筑覆蓋全面的算法影響評(píng)價(jià)機(jī)制,設(shè)立分級(jí)分類的評(píng)價(jià)程序,保障評(píng)價(jià)機(jī)構(gòu)的獨(dú)立性和中立性,強(qiáng)化評(píng)價(jià)的價(jià)值引領(lǐng),賦予公民知情權(quán)和參與權(quán),以增強(qiáng)評(píng)價(jià)結(jié)論的權(quán)威性和規(guī)范效力。

    猜你喜歡
    區(qū)別對(duì)待決策算法
    為可持續(xù)決策提供依據(jù)
    基于MapReduce的改進(jìn)Eclat算法
    Travellng thg World Full—time for Rree
    決策為什么失誤了
    進(jìn)位加法的兩種算法
    學(xué)校教育中區(qū)別對(duì)待的分析
    “壞”水果也要區(qū)別對(duì)待
    一種改進(jìn)的整周模糊度去相關(guān)算法
    論中國(guó)古代小說(shuō)中的所謂“淫書(shū)”
    江漢論壇(2016年1期)2016-02-25 22:56:14
    合陽(yáng)處置不合格黨員“五個(gè)區(qū)別對(duì)待”
    人妻久久中文字幕网| 免费观看精品视频网站| 黄网站色视频无遮挡免费观看| 久久久精品国产亚洲av高清涩受| www.自偷自拍.com| 色婷婷久久久亚洲欧美| 成人三级做爰电影| 精品一区二区三区四区五区乱码| 国产精品久久视频播放| 午夜福利免费观看在线| 久久九九热精品免费| 俄罗斯特黄特色一大片| 麻豆av在线久日| а√天堂www在线а√下载| 日本黄色视频三级网站网址| 欧美日韩精品网址| netflix在线观看网站| 午夜成年电影在线免费观看| bbb黄色大片| 一级片免费观看大全| av在线天堂中文字幕 | 国产91精品成人一区二区三区| 久久人人精品亚洲av| 好男人电影高清在线观看| 日本黄色视频三级网站网址| 国产精品亚洲一级av第二区| 精品福利观看| av天堂久久9| 99久久精品国产亚洲精品| 国产熟女午夜一区二区三区| 一边摸一边抽搐一进一小说| 黄频高清免费视频| 中文字幕人妻丝袜一区二区| 国产精品久久久av美女十八| 国产精品综合久久久久久久免费 | 国产成人一区二区三区免费视频网站| videosex国产| av中文乱码字幕在线| 麻豆成人av在线观看| 色综合欧美亚洲国产小说| 久久亚洲真实| 午夜a级毛片| 天天躁夜夜躁狠狠躁躁| 黑人巨大精品欧美一区二区mp4| 美女福利国产在线| 国产成人免费无遮挡视频| 精品久久久久久久久久免费视频 | 日韩国内少妇激情av| 成人精品一区二区免费| 91大片在线观看| 国产高清国产精品国产三级| av网站在线播放免费| 国产区一区二久久| 黄片大片在线免费观看| 国产黄a三级三级三级人| 五月开心婷婷网| 国产主播在线观看一区二区| 18禁国产床啪视频网站| 在线视频色国产色| 无遮挡黄片免费观看| 免费在线观看影片大全网站| 国产精品野战在线观看 | 亚洲五月色婷婷综合| 免费日韩欧美在线观看| 男女高潮啪啪啪动态图| 级片在线观看| 精品第一国产精品| 成人18禁在线播放| 国产在线精品亚洲第一网站| 两个人看的免费小视频| 国产在线精品亚洲第一网站| xxxhd国产人妻xxx| 精品国内亚洲2022精品成人| 精品久久久久久久久久免费视频 | 一本综合久久免费| 在线国产一区二区在线| 色播在线永久视频| 久久精品国产综合久久久| 色播在线永久视频| 18美女黄网站色大片免费观看| 视频区欧美日本亚洲| 91成年电影在线观看| 成人亚洲精品一区在线观看| 99国产综合亚洲精品| 久久久久久久午夜电影 | 91大片在线观看| 黄色a级毛片大全视频| 亚洲精品国产色婷婷电影| 国产成人av激情在线播放| 精品国内亚洲2022精品成人| 亚洲精品久久午夜乱码| 免费在线观看日本一区| 国产激情欧美一区二区| 亚洲情色 制服丝袜| 夜夜躁狠狠躁天天躁| 久久青草综合色| 50天的宝宝边吃奶边哭怎么回事| 国产av一区在线观看免费| 中文字幕色久视频| 国产单亲对白刺激| 性欧美人与动物交配| 国产成人啪精品午夜网站| 黄色丝袜av网址大全| 制服人妻中文乱码| av国产精品久久久久影院| 午夜91福利影院| 久久精品亚洲熟妇少妇任你| 亚洲va日本ⅴa欧美va伊人久久| 欧美激情久久久久久爽电影 | 在线观看舔阴道视频| 欧美精品啪啪一区二区三区| 国产精品国产高清国产av| 欧美激情久久久久久爽电影 | 国产精品久久久久成人av| 久久精品亚洲熟妇少妇任你| 亚洲欧美日韩另类电影网站| 午夜视频精品福利| 亚洲成人精品中文字幕电影 | 在线天堂中文资源库| 色综合站精品国产| 99国产综合亚洲精品| 国产精品久久视频播放| 亚洲一卡2卡3卡4卡5卡精品中文| 成人黄色视频免费在线看| 国产亚洲欧美98| 国产精品永久免费网站| 日韩大尺度精品在线看网址 | 黄色a级毛片大全视频| 校园春色视频在线观看| 欧美黄色淫秽网站| 欧美另类亚洲清纯唯美| 精品国产乱子伦一区二区三区| 好看av亚洲va欧美ⅴa在| 亚洲自偷自拍图片 自拍| 国产视频一区二区在线看| 男人舔女人的私密视频| 亚洲国产看品久久| 五月开心婷婷网| 99国产综合亚洲精品| 18美女黄网站色大片免费观看| 麻豆国产av国片精品| 高清av免费在线| 国产99久久九九免费精品| 看黄色毛片网站| 国产精品电影一区二区三区| 香蕉久久夜色| 又黄又爽又免费观看的视频| 亚洲精品中文字幕在线视频| 亚洲av成人不卡在线观看播放网| 天天躁夜夜躁狠狠躁躁| 亚洲国产看品久久| 国产一区二区在线av高清观看| 精品久久久久久久毛片微露脸| 中亚洲国语对白在线视频| 日韩有码中文字幕| 成熟少妇高潮喷水视频| 正在播放国产对白刺激| 日日摸夜夜添夜夜添小说| 精品福利观看| 成人av一区二区三区在线看| 女人高潮潮喷娇喘18禁视频| 他把我摸到了高潮在线观看| 久久中文字幕人妻熟女| 一区二区三区精品91| 狂野欧美激情性xxxx| 精品高清国产在线一区| 夜夜看夜夜爽夜夜摸 | videosex国产| 一区在线观看完整版| 欧洲精品卡2卡3卡4卡5卡区| 色播在线永久视频| 亚洲人成网站在线播放欧美日韩| 色在线成人网| 国产91精品成人一区二区三区| 久久久久久大精品| 亚洲一码二码三码区别大吗| 日韩有码中文字幕| 搡老乐熟女国产| 一级毛片高清免费大全| 不卡一级毛片| 新久久久久国产一级毛片| 欧美日韩中文字幕国产精品一区二区三区 | 亚洲aⅴ乱码一区二区在线播放 | 18美女黄网站色大片免费观看| 精品国产一区二区久久| 黑人欧美特级aaaaaa片| 亚洲精品一卡2卡三卡4卡5卡| 色在线成人网| 亚洲精品美女久久av网站| 夜夜爽天天搞| 国产麻豆69| 黄色丝袜av网址大全| 老司机亚洲免费影院| 好男人电影高清在线观看| 免费av毛片视频| 大陆偷拍与自拍| 如日韩欧美国产精品一区二区三区| 精品久久久久久电影网| 我的亚洲天堂| 水蜜桃什么品种好| av天堂在线播放| 在线天堂中文资源库| 一级片免费观看大全| 99久久精品国产亚洲精品| 成熟少妇高潮喷水视频| 亚洲精品av麻豆狂野| 岛国在线观看网站| 日本免费一区二区三区高清不卡 | 欧美日本亚洲视频在线播放| 亚洲久久久国产精品| 国产成人精品久久二区二区91| 在线观看免费午夜福利视频| 制服人妻中文乱码| 久久精品亚洲熟妇少妇任你| 国产深夜福利视频在线观看| 国产精品久久久人人做人人爽| 国产精品自产拍在线观看55亚洲| 久久九九热精品免费| 多毛熟女@视频| 香蕉久久夜色| 婷婷精品国产亚洲av在线| 欧美老熟妇乱子伦牲交| 亚洲av第一区精品v没综合| 日本vs欧美在线观看视频| 精品一区二区三区av网在线观看| 韩国av一区二区三区四区| 超碰成人久久| 自线自在国产av| 啦啦啦 在线观看视频| 夜夜爽天天搞| 99久久综合精品五月天人人| 中文字幕av电影在线播放| 亚洲精品一卡2卡三卡4卡5卡| 91成人精品电影| 美女高潮喷水抽搐中文字幕| 午夜福利在线观看吧| 亚洲欧美精品综合久久99| 91在线观看av| 悠悠久久av| 欧美黑人欧美精品刺激| 久久天躁狠狠躁夜夜2o2o| 老司机午夜福利在线观看视频| 日韩免费高清中文字幕av| 亚洲美女黄片视频| 五月开心婷婷网| 日韩有码中文字幕| 黄色a级毛片大全视频| 精品国产超薄肉色丝袜足j| 天天影视国产精品| 日韩视频一区二区在线观看| 国产熟女午夜一区二区三区| 50天的宝宝边吃奶边哭怎么回事| 亚洲人成网站在线播放欧美日韩| 久久性视频一级片| 亚洲第一青青草原| 免费人成视频x8x8入口观看| 欧美日韩一级在线毛片| 搡老乐熟女国产| 亚洲成人免费电影在线观看| 欧美激情 高清一区二区三区| 在线看a的网站| 99久久综合精品五月天人人| 免费在线观看视频国产中文字幕亚洲| 精品电影一区二区在线| 美女高潮喷水抽搐中文字幕| 国产成人精品久久二区二区91| 精品久久蜜臀av无| 欧美国产精品va在线观看不卡| 午夜福利欧美成人| 久久亚洲真实| 国产精品 欧美亚洲| 老司机在亚洲福利影院| 国产男靠女视频免费网站| 大陆偷拍与自拍| 超色免费av| 亚洲黑人精品在线| 午夜成年电影在线免费观看| 久热爱精品视频在线9| av视频免费观看在线观看| 久久精品91无色码中文字幕| 欧美中文综合在线视频| 成年版毛片免费区| 在线观看一区二区三区| 欧美在线一区亚洲| 国产精品 欧美亚洲| 九色亚洲精品在线播放| 国产一卡二卡三卡精品| 午夜福利在线观看吧| 国产高清国产精品国产三级| 一级黄色大片毛片| 精品人妻在线不人妻| 免费看十八禁软件| 正在播放国产对白刺激| 欧美成人午夜精品| 亚洲精品一二三| 久久九九热精品免费| 精品国内亚洲2022精品成人| 男人舔女人的私密视频| av在线天堂中文字幕 | 免费久久久久久久精品成人欧美视频| 两性午夜刺激爽爽歪歪视频在线观看 | 午夜免费激情av| 中文字幕人妻熟女乱码| 看片在线看免费视频| av天堂在线播放| 免费观看人在逋| 成人三级做爰电影| 午夜激情av网站| 国产男靠女视频免费网站| 亚洲欧美一区二区三区黑人| 亚洲avbb在线观看| 亚洲欧美激情在线| 老汉色av国产亚洲站长工具| 欧美成狂野欧美在线观看| 精品一区二区三区av网在线观看| 超碰97精品在线观看| 国产黄a三级三级三级人| 黄色片一级片一级黄色片| 成人精品一区二区免费| 久久人人精品亚洲av| 亚洲精品中文字幕一二三四区| www.熟女人妻精品国产| 天堂俺去俺来也www色官网| 日本黄色日本黄色录像| 久久这里只有精品19| 日韩国内少妇激情av| 国产精品香港三级国产av潘金莲| 一级片免费观看大全| 精品第一国产精品| 精品国产亚洲在线| 亚洲精品一二三| 欧美人与性动交α欧美精品济南到| 久久人人爽av亚洲精品天堂| 精品一区二区三区视频在线观看免费 | 黑人巨大精品欧美一区二区mp4| 激情视频va一区二区三区| 精品国产美女av久久久久小说| 免费搜索国产男女视频| 国产在线精品亚洲第一网站| 久久久久久人人人人人| 成在线人永久免费视频| 久久精品国产99精品国产亚洲性色 | 日韩成人在线观看一区二区三区| 中文字幕人妻丝袜制服| 色尼玛亚洲综合影院| 老汉色∧v一级毛片| 琪琪午夜伦伦电影理论片6080| 桃色一区二区三区在线观看| 又黄又爽又免费观看的视频| 两个人免费观看高清视频| 亚洲人成电影观看| 免费一级毛片在线播放高清视频 | 动漫黄色视频在线观看| 久久精品影院6| 亚洲欧美激情综合另类| 亚洲色图av天堂| 亚洲,欧美精品.| 久9热在线精品视频| 日日爽夜夜爽网站| 国产三级在线视频| 人成视频在线观看免费观看| 夜夜躁狠狠躁天天躁| 久久人人精品亚洲av| 日韩高清综合在线| 亚洲精品av麻豆狂野| 久久国产精品男人的天堂亚洲| 色精品久久人妻99蜜桃| 黄色a级毛片大全视频| 亚洲 国产 在线| 日日干狠狠操夜夜爽| 国产在线精品亚洲第一网站| 国产亚洲精品第一综合不卡| 大陆偷拍与自拍| 久久久久久亚洲精品国产蜜桃av| 超碰成人久久| 国产一卡二卡三卡精品| 久99久视频精品免费| 欧美性长视频在线观看| 1024香蕉在线观看| 日本vs欧美在线观看视频| 精品福利观看| 国产精品九九99| 老司机福利观看| 国产成人欧美| 久久久精品欧美日韩精品| 久久伊人香网站| 久久人人97超碰香蕉20202| 日本a在线网址| 淫妇啪啪啪对白视频| 亚洲 国产 在线| 大型av网站在线播放| 久久青草综合色| 成人三级黄色视频| 国产精华一区二区三区| 一本大道久久a久久精品| 婷婷六月久久综合丁香| 午夜老司机福利片| 一边摸一边抽搐一进一出视频| 日韩欧美三级三区| 亚洲成国产人片在线观看| 国产亚洲av高清不卡| 俄罗斯特黄特色一大片| 久久热在线av| 老汉色av国产亚洲站长工具| 操美女的视频在线观看| 在线观看免费视频日本深夜| av有码第一页| 欧美成人免费av一区二区三区| 色哟哟哟哟哟哟| 日韩视频一区二区在线观看| 国产高清videossex| 天天躁夜夜躁狠狠躁躁| 国产精品 国内视频| 脱女人内裤的视频| 日韩精品免费视频一区二区三区| 一区在线观看完整版| 又黄又粗又硬又大视频| 精品乱码久久久久久99久播| 最新在线观看一区二区三区| 两性午夜刺激爽爽歪歪视频在线观看 | 精品国内亚洲2022精品成人| 国产精品久久久av美女十八| 成人手机av| 老司机亚洲免费影院| 国产一区二区在线av高清观看| 熟女少妇亚洲综合色aaa.| 纯流量卡能插随身wifi吗| a级毛片在线看网站| 91在线观看av| 岛国视频午夜一区免费看| 婷婷丁香在线五月| 日韩精品中文字幕看吧| 国产av在哪里看| 18禁裸乳无遮挡免费网站照片 | 欧美+亚洲+日韩+国产| 大型av网站在线播放| av国产精品久久久久影院| av在线播放免费不卡| 精品熟女少妇八av免费久了| 久久精品亚洲熟妇少妇任你| 国产精品二区激情视频| 国产精品亚洲av一区麻豆| 999久久久精品免费观看国产| 日韩视频一区二区在线观看| 久久影院123| 黄色 视频免费看| 亚洲精华国产精华精| 在线国产一区二区在线| 午夜福利一区二区在线看| 亚洲一区高清亚洲精品| 黄色 视频免费看| cao死你这个sao货| 91老司机精品| 村上凉子中文字幕在线| 一边摸一边抽搐一进一小说| 中文字幕高清在线视频| 亚洲伊人色综图| 中亚洲国语对白在线视频| 久久精品国产综合久久久| 日韩欧美一区二区三区在线观看| 99久久精品国产亚洲精品| 久久香蕉精品热| 满18在线观看网站| 国产精品电影一区二区三区| 在线观看一区二区三区| 国产极品粉嫩免费观看在线| 亚洲人成网站在线播放欧美日韩| 18禁美女被吸乳视频| 可以在线观看毛片的网站| 国产精品香港三级国产av潘金莲| 欧美日韩一级在线毛片| 曰老女人黄片| 丝袜美腿诱惑在线| 真人做人爱边吃奶动态| 宅男免费午夜| 一级片'在线观看视频| 国产野战对白在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 激情在线观看视频在线高清| 日韩欧美免费精品| 9191精品国产免费久久| 国产精品日韩av在线免费观看 | av天堂久久9| 国产真人三级小视频在线观看| 午夜老司机福利片| 每晚都被弄得嗷嗷叫到高潮| 免费看十八禁软件| 一边摸一边抽搐一进一出视频| 精品国产乱码久久久久久男人| 级片在线观看| 午夜福利欧美成人| 精品久久久久久电影网| 老熟妇乱子伦视频在线观看| 精品国产乱码久久久久久男人| 99精品在免费线老司机午夜| 国产精品久久久人人做人人爽| 最新在线观看一区二区三区| 精品电影一区二区在线| 欧美日韩视频精品一区| 黄网站色视频无遮挡免费观看| 满18在线观看网站| 99国产精品一区二区三区| 国产黄a三级三级三级人| 久久精品国产99精品国产亚洲性色 | 欧美黑人欧美精品刺激| √禁漫天堂资源中文www| 男人舔女人的私密视频| 如日韩欧美国产精品一区二区三区| 国产乱人伦免费视频| 欧美激情高清一区二区三区| 午夜日韩欧美国产| 中文字幕人妻丝袜一区二区| 国产片内射在线| 久久精品aⅴ一区二区三区四区| 十分钟在线观看高清视频www| 久久久久久人人人人人| 久久精品亚洲av国产电影网| 变态另类成人亚洲欧美熟女 | 亚洲精品国产精品久久久不卡| 成人影院久久| 午夜福利一区二区在线看| 中出人妻视频一区二区| 女人高潮潮喷娇喘18禁视频| 国产极品粉嫩免费观看在线| 丝袜在线中文字幕| 久久性视频一级片| 国产视频一区二区在线看| 69av精品久久久久久| 真人做人爱边吃奶动态| 女生性感内裤真人,穿戴方法视频| 日本撒尿小便嘘嘘汇集6| 又紧又爽又黄一区二区| 久久久久久久午夜电影 | 日韩精品中文字幕看吧| 久久人人97超碰香蕉20202| 亚洲成av片中文字幕在线观看| 国产成人精品无人区| 性少妇av在线| 精品国产国语对白av| 国产高清激情床上av| 校园春色视频在线观看| 亚洲国产精品sss在线观看 | 黑人操中国人逼视频| 午夜福利免费观看在线| 成人精品一区二区免费| 琪琪午夜伦伦电影理论片6080| 人妻丰满熟妇av一区二区三区| 男女床上黄色一级片免费看| 50天的宝宝边吃奶边哭怎么回事| 亚洲第一青青草原| 久久国产精品人妻蜜桃| 美女高潮喷水抽搐中文字幕| 久久人人爽av亚洲精品天堂| 免费高清视频大片| 免费观看精品视频网站| 免费高清视频大片| 国产aⅴ精品一区二区三区波| 久久精品aⅴ一区二区三区四区| 成人三级做爰电影| 免费少妇av软件| 一级片'在线观看视频| 国产不卡一卡二| 男女高潮啪啪啪动态图| a级片在线免费高清观看视频| 国产高清videossex| 国产欧美日韩一区二区三| 国产精品永久免费网站| 久久天堂一区二区三区四区| 制服人妻中文乱码| 88av欧美| 看免费av毛片| 视频区欧美日本亚洲| 好看av亚洲va欧美ⅴa在| 日韩视频一区二区在线观看| 久久久久久久久中文| 国产精品自产拍在线观看55亚洲| 精品卡一卡二卡四卡免费| 午夜福利在线免费观看网站| 亚洲欧美一区二区三区久久| 午夜福利免费观看在线| 国产熟女xx| а√天堂www在线а√下载| 日韩国内少妇激情av| 大型av网站在线播放| 免费日韩欧美在线观看| 精品免费久久久久久久清纯| 黄色毛片三级朝国网站| 极品教师在线免费播放| 欧美人与性动交α欧美软件| 免费人成视频x8x8入口观看| 亚洲专区国产一区二区| 亚洲五月婷婷丁香| 日本免费一区二区三区高清不卡 | 麻豆国产av国片精品| 三上悠亚av全集在线观看| 日本vs欧美在线观看视频| 在线观看一区二区三区激情| 一级片'在线观看视频| 91麻豆精品激情在线观看国产 | 亚洲第一青青草原| 可以在线观看毛片的网站| 大陆偷拍与自拍| 国产伦一二天堂av在线观看| 日韩av在线大香蕉| 欧美成人午夜精品| 99在线视频只有这里精品首页| 18禁观看日本| 久久精品国产99精品国产亚洲性色 | 久久精品91无色码中文字幕| 热re99久久精品国产66热6| 国产极品粉嫩免费观看在线| 村上凉子中文字幕在线| 日韩一卡2卡3卡4卡2021年| 91字幕亚洲| 很黄的视频免费|