• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    女性就業(yè)中的算法歧視:緣起、挑戰(zhàn)與應(yīng)對(duì)

    2021-12-07 05:47:16
    婦女研究論叢 2021年5期
    關(guān)鍵詞:婚育求職者生育

    閻 天

    (北京大學(xué) 法學(xué)院,北京100871)

    一、引言

    促進(jìn)女性公平就業(yè)、打擊就業(yè)性別歧視,既是男女平等的基本國(guó)策在勞動(dòng)領(lǐng)域的重要體現(xiàn),也是中國(guó)勞動(dòng)法長(zhǎng)期堅(jiān)持的重要政策目標(biāo)。近年來,隨著大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)的發(fā)展,算法自主獲取信息的能力大幅升級(jí);升級(jí)后的算法被運(yùn)用到招聘過程中,在簡(jiǎn)歷篩選、面試評(píng)價(jià)等環(huán)節(jié)補(bǔ)充乃至取代人工,就引發(fā)了算法歧視問題。2020年12月31日,意大利博洛尼亞法院判決:外賣平臺(tái)戶戶送(Deliveroo)在評(píng)價(jià)騎手時(shí)所使用的算法存在歧視[1](PP 183-195)。該案被普遍視作“算法歧視第一案”,獲得媒體的廣泛報(bào)道,也凸顯了算法歧視問題的現(xiàn)實(shí)性和緊迫性。算法的運(yùn)用是否及如何導(dǎo)致針對(duì)女性的就業(yè)歧視?算法歧視對(duì)現(xiàn)有的反就業(yè)歧視法構(gòu)成何種挑戰(zhàn)?從法律和技術(shù)的角度,應(yīng)當(dāng)怎樣應(yīng)對(duì)這種挑戰(zhàn)?為了解讀女性就業(yè)中的算法歧視,上述追問不容回避。

    本文將反就業(yè)歧視法的傳統(tǒng)研究進(jìn)路運(yùn)用到算法歧視的新場(chǎng)景之中,嘗試回應(yīng)上述追問。第二部分探討女性就業(yè)中算法歧視的緣起。廣義上的算法在招聘過程中早有運(yùn)用,而算法在當(dāng)代的發(fā)展則重新界定了算法歧視。這種新的歧視在海外已有實(shí)例,在中國(guó)可能發(fā)生的場(chǎng)景也不難設(shè)想。第三部分探討算法歧視對(duì)現(xiàn)有法律的挑戰(zhàn)。法律禁止用人單位詢問女性求職者的婚育狀況,禁止用人單位以性別為由拒絕錄用或者提高錄用標(biāo)準(zhǔn),還規(guī)定違法的用人單位要承擔(dān)侵權(quán)責(zé)任和行政責(zé)任。上述規(guī)則在算法歧視面前均告失效,這意味著算法歧視對(duì)職場(chǎng)性別平等構(gòu)成潛在的根本挑戰(zhàn)。第四部分探討應(yīng)對(duì)挑戰(zhàn)的路徑。勞動(dòng)法和網(wǎng)絡(luò)法上都提出了應(yīng)對(duì)挑戰(zhàn)的治標(biāo)之策,但是效果有限,并且可能抑制算法的開發(fā)和推廣。治本之道則在于由國(guó)家、用人單位、女性勞動(dòng)者及其伴侶公平分擔(dān)生育成本,消除歧視的經(jīng)濟(jì)根源,改變勞動(dòng)力過度商品化的局面。

    二、女性就業(yè)中算法歧視的緣起

    (一)算法歧視的含義

    1.傳統(tǒng)算法

    什么是女性就業(yè)中的算法歧視?為了回答這個(gè)問題,首先需要界定算法的概念。本文將算法區(qū)分為傳統(tǒng)算法和當(dāng)代算法,只有當(dāng)代算法才對(duì)女性的公平就業(yè)構(gòu)成了前所未有的新威脅?!恫涣蓄嵃倏迫珪穼⑺惴ǘx為“在有限步驟內(nèi)回答或解決問題的系統(tǒng)程序”(1)參見“The Editors of Encyclopaedia Britannica”,Algorithm,https://www.britannica.com/science/algorithm (last visited 6/22/2021)。。以這一定義來衡量,算法自從人類進(jìn)入計(jì)算機(jī)時(shí)代以后就被大量運(yùn)用于招聘過程中。最為常見的場(chǎng)景是:用人單位將求職者的信息輸入計(jì)算機(jī)并形成數(shù)據(jù),將對(duì)數(shù)據(jù)的評(píng)價(jià)規(guī)則編寫成算法程序,再用程序處理數(shù)據(jù),最終輸出結(jié)果,根據(jù)結(jié)果做出人事決策。上述場(chǎng)景中的算法雖然能夠以高于人工的效率來處理信息,但是缺乏自主獲取信息的能力。其一,算法基本沒有自主性,其內(nèi)容由程序員事先編定,除非程序員做出調(diào)整,否則不會(huì)發(fā)生變化。這也意味著算法的內(nèi)容是外界完全可以知曉和理解的,只需程序員將其公開并加以闡釋即可。其二,因?yàn)檩斎氲臄?shù)據(jù)規(guī)模非常有限,算法很難從已知數(shù)據(jù)中準(zhǔn)確推測(cè)未知信息。舉例來說,如果單位沒有采集求職者的婚育信息,那么算法就很難從工作經(jīng)歷、教育背景之類已知數(shù)據(jù)中準(zhǔn)確推測(cè)求職者的婚育狀況(2)粗糙的推測(cè)仍然可行,但是準(zhǔn)確率過低,通常不足以用作招聘決策的依據(jù)。,也就無法實(shí)施性別歧視。這種缺乏自主獲取信息能力的算法就是“傳統(tǒng)算法”。

    意大利的“算法歧視第一案”所涉及的就是傳統(tǒng)算法。該案中,戶戶送公司主要采集騎手不在預(yù)定時(shí)間工作的次數(shù),以及騎手在周末高峰時(shí)段送餐的次數(shù),據(jù)此評(píng)價(jià)騎手的可靠性和參與性并形成評(píng)分,按照分?jǐn)?shù)決定騎手是否有權(quán)在午餐時(shí)段接單[1](PP 183-195)。這一算法簡(jiǎn)明易懂、事先公開且保持不變,并不推測(cè)任何未知信息,因此屬于傳統(tǒng)算法。除了運(yùn)用計(jì)算機(jī)技術(shù)以外,使用傳統(tǒng)算法實(shí)施的性別歧視與不使用算法的歧視并無本質(zhì)差異。有學(xué)者認(rèn)為,現(xiàn)有的反歧視法的邏輯也可以運(yùn)用到算法歧視上[2](PP 183-1623),此處所指的就是傳統(tǒng)算法。

    2.當(dāng)代算法

    近年來,隨著大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用,算法的自主獲取信息能力獲得了極大的提升。能力提升后的算法就是“當(dāng)代算法”,它是算法歧視對(duì)于反歧視法構(gòu)成挑戰(zhàn)的原因所在。較之傳統(tǒng)算法,當(dāng)代算法的特點(diǎn)有二。

    其一,當(dāng)代算法具有較強(qiáng)的自主性。當(dāng)代算法仍然以回答或解決問題為目的,但是作為解決方案的內(nèi)容不再是程序員事先編定的,而是計(jì)算機(jī)自主生成的。運(yùn)用機(jī)器學(xué)習(xí)技術(shù),計(jì)算機(jī)可以首先根據(jù)部分?jǐn)?shù)據(jù)(訓(xùn)練數(shù)據(jù)集)建構(gòu)一個(gè)初步的統(tǒng)計(jì)模型(算法),再運(yùn)用新的數(shù)據(jù)來不斷調(diào)試模型,直至模型的調(diào)整不再能夠改善問題的解決為止。程序員的工作幾乎僅限于給輸入的數(shù)據(jù)設(shè)定特性,給輸出的數(shù)據(jù)打上標(biāo)記,而不干預(yù)算法的內(nèi)容本身。機(jī)器學(xué)習(xí)的前沿類型是深度學(xué)習(xí)(deep learning),其特點(diǎn)是無需程序員給數(shù)據(jù)設(shè)定特性,算法本身即可通過比較數(shù)據(jù)篩選出有意義的特性。這意味著算法不僅會(huì)在自學(xué)中不斷變化,而且其內(nèi)容也可能無法被程序員、更無法被公眾所理解,成為某種意義上的“黑箱”[3]。

    其二,憑借大數(shù)據(jù)的輸入,當(dāng)代算法有能力從已知數(shù)據(jù)準(zhǔn)確推測(cè)未知信息。大數(shù)據(jù)通常是指總量(volume)大、樣態(tài)(variety)多、變化(velocity)快,即具有所謂“3V”特征的數(shù)據(jù)集(3)參見Edd Wilder-James,What Is Big Data? An Introduction to the Big Data Landscape,https://www.oreilly.com/radar/what-is-big-data/ (last visited 6/22/2021)。,它能夠?yàn)樗惴ǖ耐茰y(cè)提供充分的線索。舉例來說,即使單位沒有采集求職者的婚育信息,如果大數(shù)據(jù)中包含了求職者的購物(是否購買女性用品等)、教育(是否報(bào)名參加早教培訓(xùn)班等)等信息,算法仍然能夠準(zhǔn)確判斷求職者是否已婚已育。這為算法實(shí)施性別歧視提供了可能。后文除非特別說明,使用“算法”一語時(shí)均指當(dāng)代算法。

    (二)算法歧視的場(chǎng)景

    實(shí)踐表明,所謂“技術(shù)中立”及由此衍生的“算法中立”只是一種幻想,算法完全可能充當(dāng)歧視的工具(4)關(guān)于算法歧視和偏見,參見鄭智航、徐昭曦:《大數(shù)據(jù)時(shí)代算法歧視的法律規(guī)制與司法審查——以美國(guó)法律實(shí)踐為例》,《比較法研究》2019年第4期;梁志文:《論算法排他權(quán):破除算法偏見的路徑選擇》,《政治與法律》2020年第8期;徐琳:《人工智能推算技術(shù)中的平等權(quán)問題之探討》,《法學(xué)評(píng)論》2019年第3期;劉友華:《算法偏見及其規(guī)制路徑研究》,《法學(xué)雜志》2019年第6期;伊衛(wèi)風(fēng):《算法自動(dòng)決策中的人為歧視及規(guī)制》,《南大法學(xué)》2021年第3期。值得一提的是,算法不僅可能充當(dāng)歧視的工具,而且具有消除歧視的潛力。參見Jon Kleinberg,Jens Ludwig,Sendhil Mullainathany,and Cass R.Sunstein,“Discrimination in the Age of Algorithms”,The Journal of Legal Analysis,2018,(10)。。算法歧視主要源自輸入的數(shù)據(jù):如果訓(xùn)練算法所使用的數(shù)據(jù)本身就是歧視性選擇的結(jié)果,那么算法就可能從中習(xí)得歧視;如果輸入的數(shù)據(jù)被設(shè)定了帶有歧視意味的特性(例如性別),那么算法考慮特性就可能構(gòu)成歧視。后一種情形下,如果特性是由程序員所設(shè)定,則歧視相對(duì)容易解決,只需要禁止程序員這樣做即可;而如果是在深度學(xué)習(xí)之中,特性是由算法自動(dòng)選取的,則歧視問題不易解決。

    目前,女性就業(yè)中的算法歧視已經(jīng)超越理論假設(shè),成為海外招聘活動(dòng)中的現(xiàn)實(shí)。最著名的實(shí)例發(fā)生在美國(guó)。2014年,亞馬遜公司開始開發(fā)一項(xiàng)用于篩選簡(jiǎn)歷的算法。程序員以過去10年公司的聘用記錄作為訓(xùn)練數(shù)據(jù)集,希望計(jì)算機(jī)從中習(xí)得篩選最佳候選人的算法。算法如愿生成,效果卻具有歧視性:程序員發(fā)現(xiàn),算法會(huì)懲罰女性求職者,如果求職者畢業(yè)于女?;蛘吆?jiǎn)歷中帶有“女性的”字樣,就會(huì)受到算法的負(fù)面評(píng)價(jià)。究其原因,公司在招聘中長(zhǎng)期存在重男輕女的現(xiàn)象,這種性別偏見寓于訓(xùn)練數(shù)據(jù)集之中,被計(jì)算機(jī)習(xí)得,就成為算法的一部分。上述歧視已經(jīng)顯現(xiàn),可以通過人工編程來消除,即所謂去偏見(de-biasing);但是程序員發(fā)現(xiàn),由于算法的內(nèi)容難以理解,他們無法確保偏見已經(jīng)去除干凈,算法仍然可能以難以察覺的方式進(jìn)行歧視。亞馬遜經(jīng)過評(píng)估,被迫于2017年初放棄了這一算法[4]。亞馬遜的案例反映了算法歧視的兩大特征:源自輸入的數(shù)據(jù),難以察知和消除。2019年,民間組織電子隱私信息中心向美國(guó)聯(lián)邦貿(mào)易委員會(huì)提起申訴,指責(zé)HireVue公司所開發(fā)的、用于企業(yè)招聘的算法可能存在性別歧視,其主要依據(jù)就是亞馬遜公司的先例(5)參見The Electronic Privacy Information Center (EPIC),In the Matter of HireVue,Inc.,Complaint and Request for Investigation,Injunction,and Other Relief,submitted to the Federal Trade Commission (November 6,2019),available at https://epic.org/privacy/ftc/hirevue/EPIC_FTC_HireVue_Complaint.pdf (last visited 6/23/2021)。。迫于壓力,HireVue公司于2021年初停用了其算法中最可能發(fā)生歧視的人臉識(shí)別功能(6)參見The Electronic Privacy Information Center (EPIC),HireVue,Facing FTC Complaint from EPIC,Halts Use of Facial Recognition,https://epic.org/2021/01/hirevue-facing-ftc-complaint-f.html (last visited 6/23/2021)。。

    民間組織的申訴并非危言聳聽。大型企業(yè)的求職者人數(shù)眾多,招聘任務(wù)繁重,亟需引進(jìn)第三方企業(yè)開發(fā)的算法來提高招聘效率,這是海外最可能發(fā)生針對(duì)婦女就業(yè)的算法歧視的場(chǎng)景(7)據(jù)普華永道統(tǒng)計(jì),早在2017年就有40%的國(guó)際企業(yè)在招聘中運(yùn)用了算法。例如,歐萊雅公司每年要新聘大約1.5萬名員工,而每個(gè)崗位平均對(duì)應(yīng)134名求職者。自從引進(jìn)耘智信息科技公司(Seedlink Technology)開發(fā)的算法以后,招聘速度提高了10倍之多。參見:PwC People & Organization,Artificial Intelligence in HR:A No-Brainer,https://www.pwc.at/de/publikationen/verschiedenes/artificial-intelligence-in-hr-a-no-brainer.pdf (last visited 6/23/2021)。。以此為參照,可以推測(cè)中國(guó)發(fā)生類似歧視的最可能場(chǎng)景:其一,算法的使用者最可能是大型企業(yè),使用目的主要是提高招聘效率,這與海外基本一致;其二,算法的開發(fā)者最可能是第三方,即《人力資源市場(chǎng)暫行條例》第18條規(guī)定的、有權(quán)開展人力資源測(cè)評(píng)的經(jīng)營(yíng)性人力資源服務(wù)機(jī)構(gòu);其三,開發(fā)算法所需的數(shù)據(jù)最可能來自掌握大數(shù)據(jù)的政府或平臺(tái)企業(yè),這是與海外存在顯著差別之處。雖然中國(guó)尚未報(bào)道算法在職場(chǎng)實(shí)施性別歧視的案例,但是上述場(chǎng)景很有可能變成現(xiàn)實(shí),對(duì)其展開前瞻性研究確有意義。

    三、女性就業(yè)中算法歧視的挑戰(zhàn)

    (一)中國(guó)現(xiàn)有反就業(yè)性別歧視法的邏輯

    面對(duì)招聘中可能發(fā)生的、針對(duì)女性的算法歧視,中國(guó)現(xiàn)有的法律有何應(yīng)對(duì)之方?從前用來規(guī)制不涉及算法的歧視的法律,是否有能力規(guī)制算法歧視?為了回答這些問題,首先要了解中國(guó)反就業(yè)性別歧視法的內(nèi)在邏輯。在中國(guó),所謂就業(yè)中的性別歧視,主要是指用人單位在招聘中將求職者的女性身份當(dāng)作消極因素,對(duì)其作出負(fù)面評(píng)價(jià)。為了阻止這種負(fù)面評(píng)價(jià),法律主要從招聘流程的三個(gè)環(huán)節(jié)加以規(guī)制,相應(yīng)形成了“不打探”“不考慮”和“不卸責(zé)”三項(xiàng)規(guī)則。

    第一,設(shè)定“不打探”規(guī)則,阻止用人單位獲知求職者的婚育狀況。用人單位之所以歧視女性,除了偏見之外,主要是顧慮女性在職期間可能選擇生育,給單位帶來部分生育成本。為此,單位在招聘時(shí)往往竭力打探女性求職者的婚育狀況。作為回應(yīng),法律規(guī)定用人單位在招聘階段僅有權(quán)要求勞動(dòng)者如實(shí)告知“與勞動(dòng)合同直接相關(guān)的基本情況”(《勞動(dòng)合同法》第8條),而婚育狀況不在此列。一些地方的法院還認(rèn)為,如果女性求職者就個(gè)人婚育狀況做出不實(shí)陳述,并不構(gòu)成欺詐,用人單位不能以此為由解除勞動(dòng)合同或者主張勞動(dòng)合同無效(8)例如,(2018)粵01民終12990號(hào)判決書,(2014)黃浦民一(民)初字第4034號(hào)判決書;牛元元:《法律辯弈:職場(chǎng)隱婚VS就業(yè)歧視——北京朝陽法院判決志榮維拓公司訴徐娜娜勞動(dòng)爭(zhēng)議案》,《人民法院報(bào)》2014年5月1日,第6版。。

    第二,設(shè)定“不考慮”規(guī)則,禁止用人單位將性別因素納入人事決策。“不打探”規(guī)則旨在防止信息的獲取,這是反歧視法的第一道防線;一旦失守,反歧視法就退到第二道防線,將重心轉(zhuǎn)向防止已獲取信息的不當(dāng)使用,這就是“不考慮”規(guī)則。具體而言,法律禁止用人單位以求職者是女性為由拒絕錄用或者提高錄用標(biāo)準(zhǔn)(《勞動(dòng)法》第13條),也不得在勞動(dòng)合同中規(guī)定限制女職工婚育的內(nèi)容(《就業(yè)促進(jìn)法》第27條)。通過這些規(guī)定,用人單位的招聘決策過程得到凈化,達(dá)到了“誠意正心”的效果。

    第三,設(shè)定“不卸責(zé)”規(guī)則,制裁實(shí)施就業(yè)性別歧視的用人單位等主體。如果第二道防線失守,法律就無法阻止歧視的發(fā)生,唯有通過事后的制裁來震懾用人單位,使其下不為例,這就是“不卸責(zé)”規(guī)則的原理。具體而言,遭受歧視的求職者有權(quán)起訴用人單位(《就業(yè)促進(jìn)法》第62條),其性質(zhì)通常為平等就業(yè)權(quán)糾紛(《最高人民法院民事案件案由規(guī)定》第11項(xiàng));用人單位發(fā)布包含性別歧視內(nèi)容的招聘信息,不僅要承擔(dān)行政責(zé)任,造成個(gè)人損害的還要承擔(dān)民事責(zé)任(《人力資源市場(chǎng)暫行條例》第43條);招聘廣告包含性別歧視內(nèi)容的,作為廣告主的用人單位和廣告經(jīng)營(yíng)者、廣告發(fā)布者都要承擔(dān)罰款等行政責(zé)任(《廣告法》第57條)。

    (二)中國(guó)現(xiàn)有反就業(yè)性別歧視法的不足

    針對(duì)就業(yè)中的性別歧視,“不打探”“不考慮”和“不卸責(zé)”三項(xiàng)規(guī)則層層設(shè)防,手段不可謂不多樣,力度不可謂不強(qiáng)大。然而,一旦將現(xiàn)有的法律置入算法歧視最可能發(fā)生的場(chǎng)景,就會(huì)發(fā)現(xiàn)三項(xiàng)規(guī)則均有失靈的可能,針對(duì)性別歧視的防御體系存在被洞穿的風(fēng)險(xiǎn)。歸根究底,這種風(fēng)險(xiǎn)源于當(dāng)代算法強(qiáng)大的自主獲取信息能力。

    第一,算法可以從已知數(shù)據(jù)中準(zhǔn)確推測(cè)求職者的婚育狀況,導(dǎo)致“不打探”規(guī)則失效。前文述及,在數(shù)據(jù)規(guī)模達(dá)到大數(shù)據(jù)量級(jí)且算力足夠強(qiáng)大的前提下,這種推測(cè)并非難事,且很少“失算”。值得一提的是,還有兩個(gè)因素提高了算法做推測(cè)的準(zhǔn)確性。一是,在大眾文化的規(guī)訓(xùn)下,人們?cè)诮Y(jié)婚和生育過程中的諸多行為逐漸趨同,呈現(xiàn)出模式化的特征(9)例如,研究表明,巴西的一些電視劇以反映小家庭生活為主,觀看了這些電視劇的婦女的生育水平較之其他婦女明顯偏低。參見Eliana La Ferrara,Alberto Chong,and Suzanne Duryea,“Soap Operas and Fertility:Evidence from Brazil”, American Economic Journal:Applied Economics,2012,4(4):1-31。。比如,婚姻登記前后要拍攝婚紗照,備孕時(shí)要服用葉酸,嬰兒要參加早教培訓(xùn)等。算法一旦從大數(shù)據(jù)中解算出這些行為模式,就不難“按圖索驥”,將符合模式的求職者推定為婚育之人。二是,求職者的網(wǎng)絡(luò)賬戶之中包含著大量線索,分析這些線索是推測(cè)求職者婚育狀況的捷徑;而用人單位可以以賬戶信息與履行勞動(dòng)合同直接相關(guān)為由,要求求職者告知(10)中國(guó)目前的司法實(shí)踐并未禁止用人單位的這種做法。參見王?。骸渡缃幻襟w中勞動(dòng)者隱私權(quán)的法律保護(hù)——基于歐盟與我國(guó)司法實(shí)踐的比較研究》,《華中科技大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)》2019年第4期。,這有利于算法聚焦關(guān)鍵數(shù)據(jù)、提高推測(cè)效率。例如,只要獲知了求職者在某購物平臺(tái)的賬戶昵稱,就可以檢索其在該平臺(tái)所留下的購物評(píng)價(jià),從而推測(cè)其購物是否出于婚育目的。

    第二,算法的自主性使得人類難以查明性別因素在算法決策中所扮演的角色,導(dǎo)致“不考慮”規(guī)則失效?!安豢紤]”規(guī)則對(duì)于算法的基本要求是:不能將性別設(shè)定為數(shù)據(jù)的特性,以之作為評(píng)價(jià)求職者的標(biāo)準(zhǔn)。這一要求的落實(shí)可分為三種情況。其一,在傳統(tǒng)算法中,數(shù)據(jù)特性完全由程序員設(shè)定,且算法保持不變。這時(shí)很容易查明和監(jiān)督特性的內(nèi)容,“不考慮”規(guī)則不難實(shí)施。前述戶戶送公司的案件就屬于這種情況。其二,在不運(yùn)用深度學(xué)習(xí)的當(dāng)代算法中,數(shù)據(jù)特性仍然由程序員設(shè)定,但是算法是自主生成的。此時(shí)雖然可以查明特性的內(nèi)容,但是算法可以運(yùn)用表面上與性別不相關(guān)的其他特性,獲得與性別特性相當(dāng)?shù)暮Y選效果。這種做法很難被查明,前述亞馬遜公司放棄開發(fā)算法的原因也在于此,“不考慮”規(guī)則難以完全落實(shí)。其三,在運(yùn)用深度學(xué)習(xí)的當(dāng)代算法中,數(shù)據(jù)特性是算法自主選擇的,且算法處于不斷迭代之中,程序員無法解讀其內(nèi)容,“不考慮”規(guī)則也就徹底失效了。

    第三,算法的自主性使得以算法為基礎(chǔ)的人工智能可以自行承擔(dān)法律責(zé)任,導(dǎo)致“不卸責(zé)”規(guī)則失效。根據(jù)中國(guó)民法學(xué)和刑法學(xué)的研究,人工智能可否成為法律責(zé)任的主體主要取決于三個(gè)因素。一是人工智能是否具有自由意志。傳統(tǒng)上認(rèn)為,追究法律責(zé)任是對(duì)責(zé)任人自由意志的尊重,而基于深度學(xué)習(xí)算法的人工智能在很大程度上不受開發(fā)者控制,至少部分地具有自由意志[5](PP 63-66)。二是人工智能承擔(dān)責(zé)任是否符合政策考量。比如有學(xué)者指出,平臺(tái)出于避免法律責(zé)任的目的,會(huì)要求賦予人工智能產(chǎn)品以人格,使其獨(dú)立承擔(dān)法律責(zé)任[6]。三是人工智能是否具有承擔(dān)責(zé)任的能力。盡管很難設(shè)想讓人工智能承擔(dān)名譽(yù)和金錢上的責(zé)任,但是其他責(zé)任形式并非全無現(xiàn)實(shí)可能。強(qiáng)形式的人工智能一旦獲得某種自由意志,就會(huì)產(chǎn)生需求,例如對(duì)于算力(以及背后的電力)的需求;而禁止這種需求的滿足就構(gòu)成處罰,讓人工智能接受處罰就是承擔(dān)責(zé)任[7](PP 111-127)。雖然基于深度學(xué)習(xí)的算法還很少應(yīng)用到人工智能上,但是假以時(shí)日,用人單位完全可能打著尊重自由意志的幌子,把歧視的責(zé)任推給不受其控制的算法,從而逃脫法律責(zé)任的追究。

    四、女性就業(yè)中算法歧視的應(yīng)對(duì)

    (一)治標(biāo)之策及其局限

    面對(duì)算法歧視對(duì)于女性公平就業(yè)的挑戰(zhàn),學(xué)界前瞻性地提出了一系列對(duì)策,部分對(duì)策已經(jīng)獲得了政府的初步采納。然而,這些對(duì)策或者效果有限,或者會(huì)抑制企業(yè)對(duì)于算法的開發(fā)和應(yīng)用,造成產(chǎn)業(yè)政策上的消極后果,因而均非治本之道,充其量可做治標(biāo)之策而已。

    第一,為了彌補(bǔ)“不打探”規(guī)則的不足,可以阻止算法獲取某些便于推測(cè)女性婚育狀況的數(shù)據(jù)。例如,可以將網(wǎng)絡(luò)賬戶信息設(shè)置為求職者的隱私[8](PP 25-39),或者出于保護(hù)求職者言論自由的目的[9](PP 170-185),禁止用人單位詢問或者網(wǎng)絡(luò)平臺(tái)向用人單位泄露這一信息。又如,歧視會(huì)造成人格尊嚴(yán)的貶損。根據(jù)《個(gè)人信息保護(hù)法》,求職者的婚育信息“一旦泄露或者非法使用,容易導(dǎo)致自然人的人格尊嚴(yán)受到侵害”,所以構(gòu)成“敏感個(gè)人信息”;作為個(gè)人信息處理者的用人單位在處理這類信息時(shí),必須“具有特定的目的和充分的必要性”,“取得個(gè)人的單獨(dú)同意”,“向個(gè)人告知處理敏感個(gè)人信息的必要性以及對(duì)個(gè)人的影響”,并且“取得相關(guān)行政許可”(第28條至第32條)。

    這些措施都會(huì)降低算法推測(cè)求職者婚育狀況的準(zhǔn)確性,導(dǎo)致“失算”增多,迫使用人單位放棄使用算法,從而杜絕算法歧視。“失算”意味著用人單位錯(cuò)估求職者給其帶來的生育成本,據(jù)此做出的招聘決策在經(jīng)濟(jì)上是不理性的:如果求職者沒有生育計(jì)劃,卻被誤判為即將生育,那么單位會(huì)將一個(gè)“負(fù)擔(dān)較輕”的員工拒之門外;反之,如果求職者確有生育計(jì)劃,卻被誤判為不會(huì)生育,那么單位會(huì)招錄一個(gè)“負(fù)擔(dān)較重”的員工。如果“失算”所導(dǎo)致的額外的生育成本超出了使用算法所帶來的決策效率方面的收益,算法就可能遭到用人單位的拋棄,歧視也就無從發(fā)生了。然而,雖然“失算”會(huì)帶來額外的成本,但是由于算法的算力強(qiáng)于人腦,在已知數(shù)據(jù)不變的前提下,算法“失算”的幾率仍然比人工推測(cè)更小。兩害相權(quán)取其輕,用人單位將會(huì)繼續(xù)使用算法,歧視也就會(huì)繼續(xù)發(fā)生。

    第二,為了彌補(bǔ)“不考慮”規(guī)則的不足,可以采取倒置舉證責(zé)任、強(qiáng)制算法透明、過濾訓(xùn)練數(shù)據(jù)等措施?!安豢紤]”規(guī)則是學(xué)界構(gòu)想的打擊算法歧視的主戰(zhàn)場(chǎng),學(xué)者建議的措施也尤其多。

    其一,在反歧視訴訟或類似的爭(zhēng)議解決程序中,可以倒置舉證責(zé)任(說服責(zé)任),要求用人單位證明其算法沒有實(shí)施歧視,否則就要承擔(dān)敗訴風(fēng)險(xiǎn)。具體來說,只要求職者能夠舉證錄用結(jié)果存在性別上的不平等,法律就推定這種不平等源自算法歧視,除非用人單位能夠證明不平等另有正當(dāng)原因。這種將結(jié)果不平等歸責(zé)于用人單位的制度,就是美國(guó)法上的差別影響(disparate impact)歧視和歐洲一些國(guó)家法律上的間接歧視(indirect discrimination)制度[10](PP 23-33)。該制度相當(dāng)于給用人單位設(shè)定了額外的注意義務(wù),禁止其任意拒絕錄用女性求職者,而是必須有正當(dāng)?shù)睦碛桑@在效果上與“不考慮”(非正當(dāng)理由)規(guī)則大致相當(dāng)(11)即使拒絕錄用女性求職者確有正當(dāng)理由,也無法排除性別因素在決策中仍然扮演了一定角色的可能,此時(shí)成立所謂“混合動(dòng)機(jī)”(mixed-motive)歧視。參見George Rutherglen,Employment Discrimination Law:Visions of Equality in Theory and Doctrine (3rd ed.),New York:Foundation Press,2010,PP.48-52。。問題在于,運(yùn)用深度學(xué)習(xí)技術(shù)的算法具有高度自主性,很難被人類所理解,程序員在技術(shù)上無法確定算法在做出決策時(shí)究竟考慮了什么因素。如此一來,將舉證責(zé)任歸于用人單位,就幾乎注定了用人單位敗訴的命運(yùn)。為了避免敗訴,用人單位可能采取兩種策略:一是反向歧視,給女性預(yù)留錄用名額,而這對(duì)于能力更優(yōu)的男性求職者并不公平(12)關(guān)于給弱勢(shì)群體預(yù)留名額構(gòu)成反向歧視的典型案件,參見Ricci v.DeStefano,557 U.S.557 (2009)。;二是放棄使用算法,而這不符合推廣算法、提高決策效率的產(chǎn)業(yè)政策??梢?,舉證責(zé)任倒置制度的效果有顯著的局限,是否引進(jìn)該制度應(yīng)當(dāng)慎重考量。

    其二,可以要求用人單位實(shí)施算法透明政策,公開其在招聘過程中所使用的算法,并由第三方對(duì)該算法是否實(shí)施歧視加以審計(jì)。算法透明曾經(jīng)是頗受研究者青睞的措施,畢竟,公開是監(jiān)督的第一步。然而,算法透明存在三個(gè)方面的缺陷:一是由于算法不斷自主學(xué)習(xí)和迭代,很難確定算法在做出招聘決策的一刻的狀態(tài),也就無法確定應(yīng)予公開的內(nèi)容;二是在運(yùn)用深度學(xué)習(xí)技術(shù)的情況下,算法即使實(shí)現(xiàn)了透明也難以解讀,更難以審計(jì)和評(píng)價(jià);三是算法透明還可能造成個(gè)人隱私和商業(yè)秘密的泄露等負(fù)面后果[11](PP 20-39)。這些缺陷削弱了算法透明措施的實(shí)效,使之無法有效矯正“不考慮”規(guī)則的失靈。

    其三,可以要求用人單位檢視用于訓(xùn)練算法的數(shù)據(jù),發(fā)現(xiàn)并糾正訓(xùn)練數(shù)據(jù)集中可能存在的偏見,從而防止算法習(xí)得這些偏見。科學(xué)界還設(shè)想開發(fā)幫助用人單位檢視算法的新算法,實(shí)現(xiàn)“用算法審計(jì)算法”[12]。這樣做會(huì)面臨兩個(gè)難處。一是現(xiàn)有的數(shù)據(jù)可能普遍包含偏見,不易找到“純凈”的數(shù)據(jù)集來訓(xùn)練算法。例如在前述亞馬遜公司的案例中,公司在招聘時(shí)長(zhǎng)期重男輕女,而且這并不僅僅是一家公司的問題,而是全行業(yè)的現(xiàn)象,所以很難尋得不帶有歧視烙印的數(shù)據(jù),這也是亞馬遜公司不得不放棄開發(fā)算法的部分原因。二是偏見的發(fā)現(xiàn)和糾正可能是一個(gè)浩大的工程。因?yàn)?,算法具備機(jī)器學(xué)習(xí)的能力,會(huì)不斷收集數(shù)據(jù)訓(xùn)練自己,直到更多的訓(xùn)練不再提高其預(yù)測(cè)的精確性;而這個(gè)學(xué)習(xí)過程可以相當(dāng)漫長(zhǎng),用于學(xué)習(xí)的數(shù)據(jù)更是規(guī)模龐大,對(duì)其加以檢視和糾正的成本將會(huì)很高。用人單位為了規(guī)避這一成本,很可能會(huì)傾向于放棄開發(fā)和使用算法,而這與產(chǎn)業(yè)政策背道而馳。

    第三,為了彌補(bǔ)“不卸責(zé)”規(guī)則的不足,可以采用否認(rèn)算法的責(zé)任能力、在算法與用人單位之間設(shè)定連帶責(zé)任等辦法,讓用人單位承擔(dān)算法歧視的法律責(zé)任。這樣做看似簡(jiǎn)單,只需法律作出規(guī)定即可,卻會(huì)嚴(yán)重挫傷用人單位開發(fā)和使用算法的積極性。在深度學(xué)習(xí)的場(chǎng)景下,用人單位根本無法控制,甚至無法理解算法的內(nèi)容,如果讓其對(duì)算法的歧視行為負(fù)責(zé),必然給用人單位帶來經(jīng)營(yíng)風(fēng)險(xiǎn),而且這種風(fēng)險(xiǎn)的暴發(fā)時(shí)間及后果大小都難以預(yù)測(cè)。出于避險(xiǎn)的考慮,用人單位放棄算法就是自然的選擇。

    (二)治本之道及其落實(shí)

    面對(duì)算法歧視的挑戰(zhàn),矯正反就業(yè)性別歧視法三大規(guī)則失靈的措施,均存在明顯的局限,至多“治標(biāo)”而難以“治本”。那么,治本之道何在?本文認(rèn)為,應(yīng)當(dāng)挖掘算法歧視的成因,在國(guó)家、用人單位、女性勞動(dòng)者及其伴侶之間公平分配生育成本,方能從根本上緩解算法歧視對(duì)職場(chǎng)性別平等所造成的沖擊。

    首先,女性就業(yè)中為什么會(huì)發(fā)生算法歧視?就業(yè)歧視的發(fā)生主要有兩種原因。一類歧視純粹源于偏見,用人單位瞧不起女性,高估女性勞動(dòng)者的費(fèi)效比。這些單位放著費(fèi)效比低的女性不用,卻聘用費(fèi)效比高的男性,其決策不符合經(jīng)濟(jì)理性,人力資源成本高于競(jìng)爭(zhēng)對(duì)手,長(zhǎng)此以往必然被市場(chǎng)淘汰。歧視經(jīng)濟(jì)學(xué)的主要?jiǎng)?chuàng)始人加里·貝克爾(Gary Becker)就持這種看法[13](PP 1-37)。雖然市場(chǎng)也會(huì)發(fā)生失靈現(xiàn)象,但是市場(chǎng)在總體上仍然是打擊歧視的可靠力量[14](PP 210-213)。對(duì)于出自偏見的歧視,國(guó)家出手規(guī)制的必要性不大,主要還是依靠市場(chǎng)自身來淘汰歧視者。而另一類歧視則符合經(jīng)濟(jì)理性,用人單位擔(dān)心招聘女性會(huì)給其帶來生育成本,導(dǎo)致其在競(jìng)爭(zhēng)中落后于沒有負(fù)擔(dān)的對(duì)手,所以不愿意招聘有生育可能的女性求職者。算法為了尋找費(fèi)效比最低的勞動(dòng)者,必須盡量準(zhǔn)確地預(yù)測(cè)女性求職者生育的可能性,突破“不打探”規(guī)則也就無可避免;由于生育狀況會(huì)顯著影響女性給用人單位所帶來的費(fèi)用和效用,所以算法必須將生育狀況納入考量,突破“不考慮”規(guī)則也就順理成章。中國(guó)反就業(yè)性別歧視法所建立的屏障,主要就是被這種符合經(jīng)濟(jì)理性的算法歧視所逐層洞穿的。

    那么,如何評(píng)價(jià)這種符合經(jīng)濟(jì)理性的算法歧視?一方面,經(jīng)濟(jì)理性并非用人單位正當(dāng)化其一切行為的口實(shí)。無論何種性質(zhì)的用人單位均應(yīng)在經(jīng)濟(jì)效益之外履行社會(huì)責(zé)任,這甚至已經(jīng)成為法律的要求(13)例如,《公司法》第5條規(guī)定:“公司從事經(jīng)營(yíng)活動(dòng),必須……承擔(dān)社會(huì)責(zé)任?!薄纳鐣?huì)責(zé)任的角度出發(fā),要求用人單位承擔(dān)一部分生育成本,不僅完全正當(dāng),而且是中國(guó)勞動(dòng)法上長(zhǎng)期堅(jiān)持的做法(14)例如,《女職工勞動(dòng)保護(hù)特別規(guī)定》要求,用人單位在女職工孕期應(yīng)當(dāng)減輕其勞動(dòng)量,不得延長(zhǎng)勞動(dòng)時(shí)間或安排夜間勞動(dòng);對(duì)于哺乳期內(nèi)的女職工,不但不得延長(zhǎng)勞動(dòng)時(shí)間或安排夜間勞動(dòng),還要安排哺乳時(shí)間;女職工懷孕、生育的,用人單位不得采取降低工資或單方面解除勞動(dòng)合同的措施等。。在勞動(dòng)法上,“勞動(dòng)”是“勞動(dòng)力”和“勞動(dòng)者”的統(tǒng)一體,用人單位不能單純注重“勞動(dòng)力”的側(cè)面而尋求最優(yōu)交易安排,而是也要承認(rèn)“勞動(dòng)者”的側(cè)面并保護(hù)勞動(dòng)者的利益。另一方面,生育成本應(yīng)當(dāng)本著“誰受益,誰負(fù)擔(dān)”的原則,在國(guó)家、用人單位、女性勞動(dòng)者及其伴侶之間公平分配[15]。就國(guó)家而言,面對(duì)老齡化的嚴(yán)重沖擊,適度放開甚至鼓勵(lì)生育乃是保障勞動(dòng)力供給、維持消費(fèi)規(guī)模、確保社會(huì)保險(xiǎn)基金不至枯竭的唯一途徑。實(shí)現(xiàn)上述目標(biāo)的需求越迫切,國(guó)家從生育中的受益就越多,應(yīng)當(dāng)負(fù)擔(dān)的生育成本就更多。就用人單位而言,女職工的生育很難為其帶來收益,其所分擔(dān)的生育成本就應(yīng)當(dāng)控制在合理限度。就女性勞動(dòng)者而言,生育可以帶來獲得子女贍養(yǎng)等收益,但是大部分生育成本均由其承擔(dān),存在收益與成本不匹配的現(xiàn)象。就女性勞動(dòng)者的伴侶而言,其從生育中獲得的子女贍養(yǎng)等收益與女性相當(dāng),而分擔(dān)的成本則顯著少于女性??傮w來看,國(guó)家和女性勞動(dòng)者的伴侶應(yīng)當(dāng)更多分擔(dān)生育成本,用人單位的成本份額可以大致不變,而女性勞動(dòng)者自擔(dān)的成本應(yīng)當(dāng)減輕。在生育成本獲得公平分擔(dān)的前提下,性別歧視將會(huì)喪失經(jīng)濟(jì)合理性;而算法作為勞動(dòng)力的一種精準(zhǔn)定價(jià)機(jī)制,實(shí)施歧視的概率也就大為降低。

    為了實(shí)現(xiàn)生育成本的公平分擔(dān),需要著重采取兩方面的措施。一方面,要加強(qiáng)生育中的國(guó)家責(zé)任。國(guó)家應(yīng)當(dāng)推進(jìn)育兒的社會(huì)化,興辦或鼓勵(lì)發(fā)展托幼事業(yè),減輕育兒對(duì)于女性工作的不利影響。國(guó)家也應(yīng)當(dāng)提供更為精準(zhǔn)有效的就業(yè)服務(wù),滿足用人單位由于女性休產(chǎn)假而產(chǎn)生的頂崗需求,控制乃至降低聘用女性給用人單位帶來的成本。國(guó)家還應(yīng)當(dāng)完善遠(yuǎn)程工作和靈活工時(shí)的相關(guān)制度[16],方便女性兼顧工作和家庭。另一方面,要加重生育中女性勞動(dòng)者伴侶的責(zé)任,改變“男主外,女主內(nèi)”的性別刻板印象。一些地方試行男性產(chǎn)假,應(yīng)當(dāng)注重讓男性在休假時(shí)切實(shí)投入到育兒事務(wù)中去,防止男性產(chǎn)假流于形式。今后還可以考慮采取措施,讓伴侶為生育的女性提供更可靠的經(jīng)濟(jì)保障,這對(duì)于未婚生育的女性尤為重要。上述措施在《人口和計(jì)劃生育法》于2021年修訂時(shí)皆有所體現(xiàn)。值得一提的是,生育成本的公平分擔(dān)不應(yīng)當(dāng)局限于生育政策,還應(yīng)當(dāng)是一項(xiàng)重要的勞動(dòng)政策,未來在制定《基本勞動(dòng)標(biāo)準(zhǔn)法》乃至編纂《勞動(dòng)法典》時(shí)均應(yīng)有所體現(xiàn);生育成本的分擔(dān)方式也不是簡(jiǎn)單地越分散越好,更不是讓特定主體承擔(dān)越多就越好,而是要遵循受益與負(fù)擔(dān)、權(quán)利與義務(wù)相統(tǒng)一的原則,使其公平性獲得社會(huì)的普遍認(rèn)可。

    五、結(jié)語

    本文可以看作對(duì)女性就業(yè)中的算法歧視這一社會(huì)疾病的診療報(bào)告。本著“治未病”的精神,本文展望了算法歧視在中國(guó)職場(chǎng)發(fā)生的前景。核心問題是:這場(chǎng)疾病對(duì)于現(xiàn)有的法律醫(yī)療體系將會(huì)構(gòu)成多大沖擊?一方面,不應(yīng)當(dāng)將具有強(qiáng)大自主獲取信息能力的當(dāng)代算法等同于傳統(tǒng)算法,寄望現(xiàn)有的反就業(yè)性別歧視法能夠“藥到病除”無異于刻舟求劍。另一方面,也無需夸大算法歧視造成法律醫(yī)療資源“穿底”的風(fēng)險(xiǎn),而是要深究這一疾病的發(fā)病機(jī)理,針對(duì)生育成本分擔(dān)不公的“病根”對(duì)癥施治。在國(guó)家調(diào)整生育政策、放開“三孩”的背景下,“病根”與算法歧視之間的因果聯(lián)系愈發(fā)凸顯,消除“病根”的時(shí)機(jī)也逐漸成熟。算法歧視的場(chǎng)景是全新的,而法律的治本之道卻似曾相識(shí),此中的反差充滿辯證法的意味,足可供研究者深思。

    猜你喜歡
    婚育求職者生育
    青年群體婚育意愿圖景勾勒及因應(yīng)策略
    起初為娛樂,現(xiàn)在做招聘:直播幫中國(guó)求職者找工作
    英語文摘(2022年9期)2022-10-26 06:58:38
    杜撰婚育史應(yīng)該被解雇嗎?
    公民與法治(2022年3期)2022-07-29 00:57:22
    未婚育女性也要防乳腺炎
    決不允許虐待不能生育的婦女
    紅土地(2018年12期)2018-04-29 09:16:40
    加納移民局招聘:有妊娠紋不行
    民生表情
    面試中的12個(gè)禁忌
    應(yīng)對(duì)生育潮需早做準(zhǔn)備
    不能生育導(dǎo)致家庭破裂
    熟妇人妻久久中文字幕3abv| 亚洲av第一区精品v没综合| 91精品一卡2卡3卡4卡| 最近视频中文字幕2019在线8| 美女脱内裤让男人舔精品视频 | 黑人高潮一二区| 白带黄色成豆腐渣| 中文字幕制服av| av视频在线观看入口| 91午夜精品亚洲一区二区三区| 中文字幕久久专区| 99久久无色码亚洲精品果冻| 成人毛片a级毛片在线播放| 美女被艹到高潮喷水动态| 午夜精品国产一区二区电影 | 午夜精品在线福利| 国产精品一区二区三区四区久久| 91久久精品电影网| 久久亚洲国产成人精品v| 免费看av在线观看网站| 夜夜爽天天搞| 在线免费观看的www视频| 午夜福利高清视频| 亚洲人成网站高清观看| 韩国av在线不卡| 最近的中文字幕免费完整| 嫩草影院精品99| 欧美bdsm另类| 久久人人精品亚洲av| 两性午夜刺激爽爽歪歪视频在线观看| 国产亚洲精品久久久com| 国产一区二区在线av高清观看| 亚洲成av人片在线播放无| 嫩草影院入口| 人体艺术视频欧美日本| 日韩亚洲欧美综合| 欧美bdsm另类| 特级一级黄色大片| 六月丁香七月| 中国国产av一级| 嫩草影院精品99| 又粗又硬又长又爽又黄的视频 | 国内精品美女久久久久久| 欧美潮喷喷水| 精品人妻一区二区三区麻豆| 成人亚洲精品av一区二区| 国产真实乱freesex| 变态另类丝袜制服| 91aial.com中文字幕在线观看| 一级黄色大片毛片| a级一级毛片免费在线观看| 蜜桃亚洲精品一区二区三区| 少妇的逼好多水| 在线观看免费视频日本深夜| 国产精品不卡视频一区二区| 中文字幕人妻熟人妻熟丝袜美| 成年免费大片在线观看| 午夜老司机福利剧场| 99久久中文字幕三级久久日本| 一级黄色大片毛片| 欧美高清成人免费视频www| 亚洲欧美日韩高清在线视频| 亚洲三级黄色毛片| av天堂在线播放| 久久久久久久久久久免费av| 免费av观看视频| 精品人妻熟女av久视频| 丰满的人妻完整版| 黄片无遮挡物在线观看| 非洲黑人性xxxx精品又粗又长| 亚洲欧美成人综合另类久久久 | 亚洲av成人精品一区久久| 国产精品久久久久久精品电影小说 | 99久久成人亚洲精品观看| 卡戴珊不雅视频在线播放| 青春草视频在线免费观看| 国产男人的电影天堂91| 男女下面进入的视频免费午夜| 国产高潮美女av| 精品人妻偷拍中文字幕| 1000部很黄的大片| 国产日本99.免费观看| 春色校园在线视频观看| 亚洲欧美清纯卡通| 一个人观看的视频www高清免费观看| 国产黄片美女视频| 欧美成人免费av一区二区三区| 好男人在线观看高清免费视频| 中国美女看黄片| 国产一区二区激情短视频| av.在线天堂| 你懂的网址亚洲精品在线观看 | 亚洲人成网站在线观看播放| 午夜福利视频1000在线观看| 一个人观看的视频www高清免费观看| 乱人视频在线观看| 欧美日韩精品成人综合77777| 亚洲一区二区三区色噜噜| 插逼视频在线观看| 悠悠久久av| 国内精品一区二区在线观看| 国产伦精品一区二区三区四那| 日本三级黄在线观看| 性欧美人与动物交配| 国产美女午夜福利| 国产亚洲av嫩草精品影院| 国产高清有码在线观看视频| 色综合站精品国产| 国产精品久久久久久精品电影| 国产精品电影一区二区三区| 午夜福利成人在线免费观看| 高清毛片免费看| 亚洲欧美日韩高清在线视频| 啦啦啦韩国在线观看视频| 亚洲人成网站在线观看播放| 成人一区二区视频在线观看| 国产色爽女视频免费观看| 午夜激情福利司机影院| 精品欧美国产一区二区三| 日韩欧美精品免费久久| 在线观看午夜福利视频| 久久久久久伊人网av| 一区福利在线观看| 日本色播在线视频| 国产极品天堂在线| 久久99精品国语久久久| 婷婷六月久久综合丁香| 亚洲国产欧洲综合997久久,| 色综合站精品国产| 国产极品天堂在线| 婷婷色综合大香蕉| 精品一区二区免费观看| 日本免费一区二区三区高清不卡| 国产老妇女一区| 悠悠久久av| av免费观看日本| 麻豆久久精品国产亚洲av| 亚洲色图av天堂| 成年版毛片免费区| 国产精品乱码一区二三区的特点| 成人特级黄色片久久久久久久| 国产在视频线在精品| 人妻少妇偷人精品九色| 成人无遮挡网站| 少妇熟女欧美另类| 亚洲天堂国产精品一区在线| 亚洲成人久久爱视频| 一夜夜www| 欧美一区二区亚洲| 中国美女看黄片| 欧美xxxx性猛交bbbb| 欧美另类亚洲清纯唯美| 精品久久久久久久久久久久久| 看黄色毛片网站| 国产精品久久久久久久电影| 午夜福利在线在线| 亚洲欧美日韩无卡精品| 国产精品免费一区二区三区在线| 激情 狠狠 欧美| 日韩av在线大香蕉| 国产真实乱freesex| 精品日产1卡2卡| 国产91av在线免费观看| 精品久久久久久成人av| 精品99又大又爽又粗少妇毛片| 国产精品久久电影中文字幕| 真实男女啪啪啪动态图| 别揉我奶头 嗯啊视频| 91精品国产九色| 成人一区二区视频在线观看| 一个人看视频在线观看www免费| 成人特级黄色片久久久久久久| 亚洲国产精品sss在线观看| www.色视频.com| 亚洲av成人av| 欧美精品国产亚洲| 精品午夜福利在线看| avwww免费| 国产精品免费一区二区三区在线| 国产av不卡久久| 欧美激情在线99| 国产真实乱freesex| 麻豆精品久久久久久蜜桃| 国产成人aa在线观看| 麻豆精品久久久久久蜜桃| 啦啦啦啦在线视频资源| 晚上一个人看的免费电影| 亚洲av电影不卡..在线观看| 晚上一个人看的免费电影| 日本黄色片子视频| 又爽又黄无遮挡网站| 亚洲精品456在线播放app| 老司机福利观看| 国内久久婷婷六月综合欲色啪| 日韩国内少妇激情av| 国产精品蜜桃在线观看 | 人妻系列 视频| 成人鲁丝片一二三区免费| 国产精品蜜桃在线观看 | 久久久久久久久久成人| 九草在线视频观看| 欧美区成人在线视频| 悠悠久久av| 久久欧美精品欧美久久欧美| 日韩中字成人| 国产视频首页在线观看| 99riav亚洲国产免费| 成人鲁丝片一二三区免费| 丝袜喷水一区| 人妻制服诱惑在线中文字幕| 国产乱人视频| 26uuu在线亚洲综合色| 亚洲熟妇中文字幕五十中出| 成人特级av手机在线观看| 最后的刺客免费高清国语| 国产69精品久久久久777片| 天堂影院成人在线观看| 国产大屁股一区二区在线视频| 国产成人精品一,二区 | 亚洲欧美成人综合另类久久久 | 草草在线视频免费看| 精品久久久久久久久av| 一本久久中文字幕| 精品日产1卡2卡| 亚洲天堂国产精品一区在线| 中文在线观看免费www的网站| 午夜久久久久精精品| 大又大粗又爽又黄少妇毛片口| 国产精品不卡视频一区二区| 欧美最新免费一区二区三区| 国产精品综合久久久久久久免费| 久久99热这里只有精品18| 一级毛片久久久久久久久女| 淫秽高清视频在线观看| 69人妻影院| 亚洲va在线va天堂va国产| 一进一出抽搐动态| 秋霞在线观看毛片| 国产精品一二三区在线看| 高清毛片免费看| 国产探花在线观看一区二区| 亚洲人成网站在线观看播放| 久久久久国产网址| 我的老师免费观看完整版| 麻豆久久精品国产亚洲av| 神马国产精品三级电影在线观看| 99久久精品热视频| 免费观看人在逋| 简卡轻食公司| 午夜精品一区二区三区免费看| 免费看光身美女| 中文欧美无线码| 激情 狠狠 欧美| 久久国内精品自在自线图片| 欧美另类亚洲清纯唯美| 成人午夜精彩视频在线观看| 国产伦一二天堂av在线观看| 欧美日韩综合久久久久久| 2022亚洲国产成人精品| 精品久久国产蜜桃| 97热精品久久久久久| 最近手机中文字幕大全| 亚洲va在线va天堂va国产| 给我免费播放毛片高清在线观看| 嫩草影院入口| 国产中年淑女户外野战色| 国产精品一区www在线观看| 久久久久久久亚洲中文字幕| 三级经典国产精品| 男女下面进入的视频免费午夜| 综合色av麻豆| av在线天堂中文字幕| 深爱激情五月婷婷| 国产精品久久久久久av不卡| 三级毛片av免费| 人妻久久中文字幕网| 日本欧美国产在线视频| 性欧美人与动物交配| 成人欧美大片| 日本黄大片高清| 亚洲自拍偷在线| 国产精品av视频在线免费观看| 精品午夜福利在线看| 一边亲一边摸免费视频| 日韩av在线大香蕉| 国产人妻一区二区三区在| 人妻久久中文字幕网| 国产色爽女视频免费观看| 亚洲精华国产精华液的使用体验 | 久久久久久伊人网av| 中文字幕熟女人妻在线| 两个人视频免费观看高清| 亚洲欧美中文字幕日韩二区| 亚洲欧美精品综合久久99| 亚洲av成人精品一区久久| 欧美激情国产日韩精品一区| av在线蜜桃| 少妇被粗大猛烈的视频| 亚洲欧洲日产国产| 卡戴珊不雅视频在线播放| 日本黄色视频三级网站网址| 欧美不卡视频在线免费观看| 午夜福利高清视频| 久久亚洲精品不卡| 国国产精品蜜臀av免费| 午夜福利在线观看吧| 免费在线观看成人毛片| 一本精品99久久精品77| 在线播放无遮挡| 亚洲精品自拍成人| 国产亚洲91精品色在线| 男女视频在线观看网站免费| 免费搜索国产男女视频| 国产69精品久久久久777片| 欧美变态另类bdsm刘玥| 熟女电影av网| 久久精品夜夜夜夜夜久久蜜豆| 一夜夜www| 亚洲一区高清亚洲精品| 欧美一级a爱片免费观看看| 精品不卡国产一区二区三区| 日本五十路高清| 美女xxoo啪啪120秒动态图| 国产麻豆成人av免费视频| 精品国内亚洲2022精品成人| 不卡视频在线观看欧美| 欧美区成人在线视频| 91av网一区二区| 亚洲国产欧洲综合997久久,| 久久九九热精品免费| 国产久久久一区二区三区| 在线国产一区二区在线| 亚洲中文字幕一区二区三区有码在线看| 国产精品国产三级国产av玫瑰| 亚洲高清免费不卡视频| 中文字幕精品亚洲无线码一区| 天堂影院成人在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 欧美一区二区精品小视频在线| 精品久久久久久久久亚洲| 狂野欧美激情性xxxx在线观看| 久久精品国产亚洲网站| 国产av麻豆久久久久久久| 26uuu在线亚洲综合色| 亚洲成人久久爱视频| 白带黄色成豆腐渣| or卡值多少钱| 午夜久久久久精精品| 成人高潮视频无遮挡免费网站| www日本黄色视频网| 又粗又硬又长又爽又黄的视频 | 成人无遮挡网站| 亚洲欧美精品综合久久99| 欧美激情国产日韩精品一区| 欧美+亚洲+日韩+国产| 在线免费观看的www视频| 国模一区二区三区四区视频| 国产v大片淫在线免费观看| 国产成人午夜福利电影在线观看| 亚洲第一区二区三区不卡| 亚洲av男天堂| 美女内射精品一级片tv| 性欧美人与动物交配| 尤物成人国产欧美一区二区三区| 少妇的逼水好多| 国产熟女欧美一区二区| 日韩三级伦理在线观看| 亚洲国产色片| 国产av麻豆久久久久久久| 日韩av不卡免费在线播放| 亚洲精品国产成人久久av| 午夜亚洲福利在线播放| 免费看av在线观看网站| 亚洲欧美成人精品一区二区| 国产精品久久久久久亚洲av鲁大| 久久久精品94久久精品| 亚洲一区高清亚洲精品| 国产精品久久久久久精品电影小说 | 麻豆精品久久久久久蜜桃| 中文字幕制服av| 欧美激情久久久久久爽电影| 黄片wwwwww| 亚洲国产精品成人综合色| 在线免费十八禁| 亚洲国产日韩欧美精品在线观看| 亚洲人成网站在线播放欧美日韩| 亚洲av.av天堂| 狠狠狠狠99中文字幕| 久久久色成人| 一级毛片aaaaaa免费看小| 麻豆久久精品国产亚洲av| 精品久久久久久久久av| 在线免费观看不下载黄p国产| 日韩,欧美,国产一区二区三区 | 黄色配什么色好看| 又粗又爽又猛毛片免费看| 国产成人福利小说| 国产老妇伦熟女老妇高清| 亚洲欧美日韩高清在线视频| av.在线天堂| 国产精品人妻久久久影院| 日本一二三区视频观看| 最近最新中文字幕大全电影3| 精品少妇黑人巨大在线播放 | 欧美一区二区精品小视频在线| 哪里可以看免费的av片| 狂野欧美白嫩少妇大欣赏| 久久久久免费精品人妻一区二区| 国产一区二区在线观看日韩| 欧美性猛交╳xxx乱大交人| 亚洲国产精品久久男人天堂| 亚洲经典国产精华液单| 国产精品一及| 可以在线观看的亚洲视频| 亚洲人成网站在线观看播放| 国产真实伦视频高清在线观看| 日韩欧美精品免费久久| 啦啦啦韩国在线观看视频| 精品人妻偷拍中文字幕| 欧美日韩乱码在线| 别揉我奶头 嗯啊视频| 欧美激情久久久久久爽电影| 亚洲成人中文字幕在线播放| 国产黄色小视频在线观看| 亚洲精品国产av成人精品| 精品久久久久久久久久久久久| 国产欧美日韩精品一区二区| 在线观看66精品国产| av免费在线看不卡| 午夜激情欧美在线| 久久久久久久久久成人| 免费av毛片视频| 国产人妻一区二区三区在| 一个人看视频在线观看www免费| 国产私拍福利视频在线观看| 日本黄色片子视频| 欧美区成人在线视频| 国产国拍精品亚洲av在线观看| 麻豆成人午夜福利视频| 日韩,欧美,国产一区二区三区 | 男女啪啪激烈高潮av片| 黄色视频,在线免费观看| 观看免费一级毛片| 深夜a级毛片| 一本久久精品| 尾随美女入室| 精华霜和精华液先用哪个| 欧美成人一区二区免费高清观看| 久久久a久久爽久久v久久| av免费在线看不卡| av卡一久久| 精品久久久噜噜| 久久欧美精品欧美久久欧美| 国产精品爽爽va在线观看网站| 99在线视频只有这里精品首页| 国产在视频线在精品| 亚洲成人av在线免费| 色综合亚洲欧美另类图片| 亚洲最大成人手机在线| 午夜精品一区二区三区免费看| 久久久久久久久久成人| 热99在线观看视频| 国产精品久久久久久精品电影小说 | 婷婷亚洲欧美| 免费不卡的大黄色大毛片视频在线观看 | 99热这里只有精品一区| 国内少妇人妻偷人精品xxx网站| 久久综合国产亚洲精品| 午夜精品一区二区三区免费看| 欧美+亚洲+日韩+国产| а√天堂www在线а√下载| 中国美女看黄片| 亚洲丝袜综合中文字幕| 男人舔女人下体高潮全视频| 久久久色成人| 少妇熟女aⅴ在线视频| 一边亲一边摸免费视频| 晚上一个人看的免费电影| 一级黄色大片毛片| 亚洲精品粉嫩美女一区| 久久久久性生活片| 亚洲电影在线观看av| 淫秽高清视频在线观看| 国产大屁股一区二区在线视频| 日本与韩国留学比较| 亚洲五月天丁香| 91精品一卡2卡3卡4卡| 99久久精品热视频| 99热6这里只有精品| 欧美日韩一区二区视频在线观看视频在线 | 久久久国产成人精品二区| 日本熟妇午夜| 久久中文看片网| 久久精品国产亚洲网站| 高清午夜精品一区二区三区 | 精品人妻一区二区三区麻豆| 久久久午夜欧美精品| 超碰av人人做人人爽久久| 男女那种视频在线观看| 一进一出抽搐gif免费好疼| 一区二区三区免费毛片| 精品久久久久久久久久久久久| 精品国产三级普通话版| 国产69精品久久久久777片| 亚洲激情五月婷婷啪啪| 国产黄片视频在线免费观看| 国产av麻豆久久久久久久| 热99在线观看视频| 内地一区二区视频在线| 国产成人freesex在线| 国产精品人妻久久久影院| 国产精品蜜桃在线观看 | 精华霜和精华液先用哪个| 禁无遮挡网站| 特级一级黄色大片| or卡值多少钱| 成熟少妇高潮喷水视频| 亚洲第一区二区三区不卡| 我要看日韩黄色一级片| 又黄又爽又刺激的免费视频.| 日韩精品有码人妻一区| 最近的中文字幕免费完整| 亚洲一区二区三区色噜噜| 亚洲婷婷狠狠爱综合网| 久久久久久久久久成人| 舔av片在线| 99热这里只有是精品50| 精品人妻视频免费看| 欧美3d第一页| 午夜福利在线在线| 男人的好看免费观看在线视频| 色综合色国产| 一级二级三级毛片免费看| 亚洲在线自拍视频| 国产高清激情床上av| 国产亚洲av片在线观看秒播厂 | 免费不卡的大黄色大毛片视频在线观看 | 亚洲人与动物交配视频| 日本成人三级电影网站| 国产黄色小视频在线观看| 亚洲人成网站在线观看播放| 长腿黑丝高跟| 国产精品麻豆人妻色哟哟久久 | 一本久久中文字幕| 欧美不卡视频在线免费观看| 成人漫画全彩无遮挡| 国产在线男女| 男人舔女人下体高潮全视频| 日本撒尿小便嘘嘘汇集6| 你懂的网址亚洲精品在线观看 | 长腿黑丝高跟| 久久精品国产鲁丝片午夜精品| 精品一区二区三区人妻视频| 丝袜美腿在线中文| 久久久久久久久久成人| 国产精品av视频在线免费观看| 性欧美人与动物交配| 免费一级毛片在线播放高清视频| 美女国产视频在线观看| 国产男人的电影天堂91| 国产久久久一区二区三区| 99国产极品粉嫩在线观看| 亚洲欧美日韩高清专用| 一个人看的www免费观看视频| 精品免费久久久久久久清纯| 国产av麻豆久久久久久久| 免费电影在线观看免费观看| 亚洲不卡免费看| 国产 一区精品| 久久精品国产亚洲网站| 午夜福利高清视频| 国内精品宾馆在线| 亚洲中文字幕日韩| 国产精品久久久久久av不卡| av专区在线播放| 国产黄a三级三级三级人| 国产 一区 欧美 日韩| 美女国产视频在线观看| 婷婷色av中文字幕| 亚洲成人精品中文字幕电影| 午夜激情福利司机影院| 成年女人看的毛片在线观看| 性插视频无遮挡在线免费观看| 日韩欧美在线乱码| 淫秽高清视频在线观看| 亚洲三级黄色毛片| 哪里可以看免费的av片| 国产高清三级在线| 久久久久久久久久黄片| 国产91av在线免费观看| 久久精品久久久久久噜噜老黄 | 欧美日韩乱码在线| 亚洲国产日韩欧美精品在线观看| 国产国拍精品亚洲av在线观看| 久久久a久久爽久久v久久| 久久精品人妻少妇| av在线播放精品| 一个人看视频在线观看www免费| 亚洲av一区综合| 国产毛片a区久久久久| 亚洲五月天丁香| .国产精品久久| 一本久久精品| 日本黄色视频三级网站网址| 欧美色视频一区免费| 日韩欧美 国产精品| 亚洲欧美中文字幕日韩二区| 国产成人精品久久久久久| 国产麻豆成人av免费视频| 日韩av不卡免费在线播放| 久99久视频精品免费| 欧美+亚洲+日韩+国产| 国产精华一区二区三区| 日韩欧美 国产精品| 午夜爱爱视频在线播放|