• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    預測算法與社會公平
    ——以“機會信息”訪問為視角

    2022-08-10 01:38:56戴藝晗
    圖書情報知識 2022年3期
    關鍵詞:用戶信息

    戴藝晗

    (華東政法大學國際法學院,上海,201620)

    1 引言

    新一輪科技革命的推動使得人類正加速邁向數(shù)字社會,手機支付、網(wǎng)上掛號、APP打車、在線學習、網(wǎng)絡訂餐、協(xié)同辦公逐漸成為人們生活、工作的常態(tài)[1]。“在線課堂、互聯(lián)網(wǎng)醫(yī)院、智慧圖書館、智能小區(qū)……從購物消費、居家生活、旅游休閑、交通出行等各類場景,到教育、醫(yī)療、養(yǎng)老、就業(yè)、助殘等重點領域,數(shù)字化服務迭代升級,數(shù)字生活新形態(tài)不斷涌現(xiàn),數(shù)字社會建設取得長足進展?!盵2]算法對社會資源和信息的分配機制有重要影響[3],私人生活和公共治理領域的數(shù)字化建立在對蘊含各種機會(如就業(yè)機會、教育機會等)的信息的訪問基礎上。因此,蘊含各種機會的信息的傳播方式至關重要,因其提供了獲取關乎人類生存和發(fā)展、繁榮和福祉至關重要資源的途徑。大型互聯(lián)網(wǎng)公司手握精確校準信息分布的巨大權利,控制著對各類機會信息的訪問機會。傳統(tǒng)印刷或廣播媒體即使針對特定受眾,也無法阻止任何特定個人訪問其發(fā)布的信息;相較之下,算法權力逐漸演變?yōu)椤皽使珯嗔Α盵4],大型互聯(lián)網(wǎng)公司有能力通過大數(shù)據(jù)和預測算法精確定位受眾,影響信息的傳遞,以不透明的方式?jīng)Q定哪些用戶能夠接收信息、哪些用戶被排除在外,從而危害社會公平。本文以臉書(Facebook)“納米定位”廣告為例,結(jié)合網(wǎng)上招聘的運作模式,闡明預測算法如何控制對以就業(yè)信息為代表的機會信息的訪問并可能會加劇甚至惡化現(xiàn)有的不平等模式,進而損害社會公平公正。要解決此類困境,需要明確以下三個問題:什么是機會信息?決定機會信息被誰看到的算法是如何運作的?如何從法律責任認定及追究層面規(guī)制預測算法對機會信息訪問的控制所導致的不公平不公正現(xiàn)象?

    2 機會信息定義

    數(shù)字化正成為一種全球趨勢,對社會的影響日益加深[5]。私人生活和公共治理變得越來越數(shù)字化,以海量數(shù)據(jù)為基礎的機器學習算法正在廣泛入侵私人生活和公共治理領域[6]。隨著日常生活的方方面面被捕捉為數(shù)據(jù)以及數(shù)字媒介交易的普及,獨特標識符和個人識別信息(如姓名、用戶名、地址、電子郵件、電話、信用卡號碼、身份證、車牌等)越來越多地被用于訪問服務,大量涉及城市及其公民實時和可操作的數(shù)據(jù)由一系列公共和私人組織定期生成。這些數(shù)據(jù)來源于公用事業(yè)公司(電、氣和水的使用),運輸供應商(位置/移動、旅行流),移動電話運營商(位置/移動、應用程序使用和行為),旅游和住宿網(wǎng)站(評論、地點/移動和消費),社交媒體網(wǎng)站(意見、照片、個人信息和位置/移動),政府和公共管理機構(gòu)(服務、績效和調(diào)查),金融機構(gòu)和零售連鎖(消費、地點),私人監(jiān)視和保安公司(位置、行為),應急服務(安全、犯罪、治安),家用電器和娛樂系統(tǒng)(行為、消費)等[7]。公民的社交活動被吸收為數(shù)據(jù)的同時被量化和分類[8]。數(shù)據(jù)被組織并存儲在數(shù)字數(shù)據(jù)庫中,很容易被連接和共享。

    當今社會呈現(xiàn)兩種日益發(fā)展并相互交集的趨勢:即在發(fā)展理論中強調(diào)公平公正理念和在發(fā)展實踐中由于大量使用數(shù)據(jù)而有可能導致的不平等不公正現(xiàn)象[9]。大量數(shù)據(jù)的累積使得我們的在線體驗越來越個性化,這種提高個性化的動力由復雜的機器學習算法驅(qū)動[10],技術和大數(shù)據(jù)分析能力、人工智能和機器學習的飛速發(fā)展為識別分析與自動化決策提供了溫床,對個人權利產(chǎn)生了潛在的重大影響。識別分析與自動化決策延續(xù)現(xiàn)有的刻板印象(stereotypes)和社會分化(social segregation)模式,決定了哪些信息能被哪些人看到,限制了個人對信息的自主選擇權,算法技術重新賦能與賦權原有傳播主體的同時也影響和解構(gòu)了傳統(tǒng)傳播生態(tài)[11]。

    算法對相關性而非因果性的追求以及由于決策過程不透明從而導致的黑箱效應使得算法有可能成為嚴重侵犯人格尊嚴或公民基本權利的“大規(guī)模數(shù)學殺傷性武器”[12]。鑒于此,我國《個人信息保護法》第二十四條規(guī)定“通過自動化決策方式作出對個人權益有重大影響的決定,個人有權要求個人信息處理者予以說明,并有權拒絕個人信息處理者僅通過自動化決策的方式作出決定?!?022年3月1日起施行的《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》(以下簡稱《算法管理規(guī)定》)第十七條也指明“算法推薦服務提供者應用算法對用戶權益造成重大影響的,應當依法予以說明并承擔相應責任?!庇纱丝梢姡斔惴▽€人權益造成重大影響時,尤其需要保障其透明度和計算結(jié)果的公平公正。算法的公正問題被視為當今人工智能領域的核心倫理問題之一[13]。某些信息的顯示與否會對社會公平產(chǎn)生重大影響,本文將此類信息概括為機會信息,即對個人權益有重大影響的信息。下段將結(jié)合相關域內(nèi)和域外規(guī)則界定“對個人權益有重大影響”的具體含義。

    我國《個人信息保護法》以及《算法管理規(guī)定》并未就“對用戶權益造成重大影響”進行詳細界定。國家標準《信息安全技術 個人信息安全規(guī)范》(GB/T 35273-2020)第7.7條也沒有具體定義“對個人信息主體權益造成顯著影響”,只是列舉了幾種具體情形,即自動決定個人征信及貸款額度、用于面試人員的自動化篩選等。我國《信息安全技術 個人信息安全影響評估指南》(GB/T 39335-2020)第5.5.1條從“限制個人自主決定權”“引發(fā)差別性待遇”“個人名譽受損或遭受精神壓力”“人身財產(chǎn)受損”四個維度對個人權益影響進行評估,未具體定義或明確什么情形構(gòu)成“重大影響”。從域外立法角度出發(fā),歐盟《通用數(shù)據(jù)保護條例》(General Data Protection Regulation,以下簡稱GDPR)第22條規(guī)定“數(shù)據(jù)主體應當有權不被僅僅靠自動化處理包括歸檔,來對其做出對數(shù)據(jù)主體產(chǎn)生法律影響或類似嚴重影響的決策”。然而GDPR在其文本中也未明確定義“法律影響或類似嚴重影響”或具體界定其范圍。歐盟WP29工作組制定的《關于自動化個人決策目的和識別分析目的準則》(Guidelines on Automated Individual Decision-making and Profiling for the Purposes of Regulation 2016/679)將“產(chǎn)生法律影響”定義為影響一個人的法律地位或合法權利的事情,如住房福利;同時將“具有類似重大影響的決定”定義為對個人的環(huán)境、行為或選擇產(chǎn)生同等法律影響的決定,如無需人工干預的電子招聘。

    結(jié)合上述規(guī)則,本文將對個人權益有重大影響的機會信息概括為:獲得與否會對數(shù)據(jù)主體的法律地位或基本法律權利產(chǎn)生影響或?qū)€人的環(huán)境、行為或選擇產(chǎn)生同等法律影響的信息,例如蘊含就業(yè)機會的信息、接受教育機會的信息等。

    3 預測算法對機會信息訪問的控制機制

    本章以臉書“納米定位”廣告為例來闡明預測算法如何影響用戶對機會信息的訪問。信息算法系統(tǒng)中存在三大主體:一是信息(廣告)發(fā)布主體,一般是以大型互聯(lián)網(wǎng)公司為首的網(wǎng)絡服務提供商,借助算法技術發(fā)布信息和廣告的平臺;二是信息(廣告)主體,即有需求發(fā)布信息和廣告的主體;三是信息(廣告)接受者,即信息算法技術及其產(chǎn)品的接受者。例如,字節(jié)跳動在臉書上發(fā)布招聘程序員的廣告,程序員A看到了這個信息,那么臉書是信息(廣告)發(fā)布主體,字節(jié)跳動是信息(廣告)主體,程序員A是信息(廣告)接受者。機會信息往往以廣告的形式呈現(xiàn),誰有權訪問這些廣告與社會平等和公平息息相關。大型互聯(lián)網(wǎng)公司通過預測算法控制對機會信息的訪問主要通過廣告定位以及廣告發(fā)布兩個過程完成。在廣告定位階段,廣告商提交構(gòu)成其廣告內(nèi)容的文本和圖像并選擇目標參數(shù);在廣告發(fā)布階段,平臺基于許多因素,如廣告商的預算、廣告效果以及廣告與用戶的預測相關性等將廣告投放給特定用戶[14]。以臉書為例,廣告商在廣告定位階段必須做出以下選擇:(1)廣告內(nèi)容:廣告商通常會提供廣告標題、文字、圖像以及視頻,這些統(tǒng)稱為廣告創(chuàng)意;(2)受眾選擇:廣告商需要選擇他們希望哪些平臺用戶,即受眾可以看到廣告;(3)出價策略:廣告商需要說明他們愿意為廣告展示支付多少費用[14]。廣告商輸入上述所有信息后,提交廣告平臺以供審核;一旦獲得批準,廣告將進入發(fā)布階段[14]。廣告發(fā)布是指廣告平臺向用戶展示廣告的過程,廣告平臺通過廣告拍賣確定向用戶展示廣告的機會(例如,當用戶使用瀏覽服務時廣告位可用),即從包含當前用戶的所有廣告中確定向哪個受眾展示哪個廣告[14]。

    3.1 廣告定位

    臉書是全球最大的社交媒體平臺以及美國和全球數(shù)字廣告行業(yè)的第二大參與者,廣告占公司收入的比重很大。臉書能夠成功發(fā)展其廣告業(yè)務的主要原因之一在于它收集了大量與其用戶相關的數(shù)據(jù)[15]。臉書能夠根據(jù)其廣告平臺附加的興趣來唯一識別用戶,即臉書的廣告管理工具可以使每個廣告都能精準投放給事先預定的一個臉書用戶[16],這一過程被稱為“納米定位”(nanotargeting)。廣告商通過將用戶個人身份信息(如姓名、地址、出生日期)和其他屬性信息(例如政治派別或是否訪問過公司的網(wǎng)站)上傳到臉書來指定他們想要定位的特定個人用戶。上傳此信息后,臉書基于這些信息來識別平臺上的相應用戶,并向他們投放廣告[17]。臉書為廣告商提供了廣泛的配置參數(shù),包括但不限于:位置(國家、地區(qū)等),人口統(tǒng)計參數(shù)(性別、年齡等),行為(移動設備、操作系統(tǒng)、使用的網(wǎng)絡瀏覽器等)和興趣(運動、食物等),進而為廣告商提供了“在正確的時間向正確的人展示正確的廣告的機會”[18]。臉書還鼓勵廣告商通過使用可用屬性在其目標受眾中包含或排除某些類型的用戶,以求縮小受眾范圍[19]。廣告商可用于定位的特定功能因平臺而異,但通常包括人口統(tǒng)計屬性、行為信息、用戶的個人身份信息(PII)、移動設備ID和網(wǎng)絡跟蹤像素[20]。由于定位功能的多樣性以及對敏感定位特征(如用戶人口統(tǒng)計和興趣)的使用,引發(fā)了歧視的擔憂。根據(jù)廣告商的定位,某些用戶群體可能被排除在某些廣告的顯示之外[14]。2018年3月,美國國家公平住房聯(lián)盟(National Fair Housing Alliance)及其三個成員組織對臉書提起訴訟,因為它允許廣告商基于種族、宗教、性別和殘疾等特征決定哪些受眾可以看到相關住房廣告[21]。

    3.2 廣告投放

    廣告定位階段主要涉及來自廣告商的輸入,而廣告投放階段很大程度上落在廣告平臺的控制之下,也會產(chǎn)生歧視性的后果。盡管廣告商可以通過多種方式定位(或排除)看到其廣告的特定用戶群體,但平臺廣告投放過程也會對誰最終看到廣告產(chǎn)生影響,當廣告商使用臉書提供的“相似受眾”工具功能時,臉書會使用其廣泛的數(shù)據(jù)來分析源受眾中用戶的屬性,并識別具有相似屬性的其他臉書用戶[14]。雖然雇主最初通過選擇源受眾來定義目標群體,但臉書的算法確定了定義此受眾的相關屬性以及哪些其他用戶將實際收到廣告[14]。一項研究表明當廣告商試圖向全社會無差別投放五個木材行業(yè)招聘廣告時,臉書的廣告投放算法并未聽從此指令而是將此廣告投放給了超過90%的男性用戶和超過70%的白人用戶;此外,當研究人員試圖向全社會無差別投放五個門衛(wèi)就業(yè)機會廣告時,廣告投放算法將廣告投放給超過65%的女性用戶和超過75%的黑人用戶[14]。之所以會出現(xiàn)這些廣告投放偏差,是因為臉書的廣告投放算法根據(jù)以往的用戶參與度和印象數(shù)據(jù)推斷出哪些類別的用戶更有可能參與廣告。盡管廣告商已經(jīng)明確表示希望無差別投放廣告,臉書仍然有可能做出有傾斜的投放[14]。用戶對廣告的參與與否可以反映與其種族、年齡等相關的個人偏見和經(jīng)歷。當算法識別出此類參與模式時,將尋求根據(jù)這些趨勢優(yōu)化廣告活動、以擴大投資回報,這意味著在某些情況下,算法可以基于歷史數(shù)據(jù)推斷將偏見永久化。在此過程中,算法可能會通過排除某些群體看到此類廣告的機會,阻礙平等的結(jié)果。因此,旨在最大化臉書點擊次數(shù)和利潤的廣告系統(tǒng)會成為機會平等的障礙。臉書的廣告投放算法決定了目標受眾中的哪些用戶實際收到了廣告,即使廣告商使用中性定位標準并打算覆蓋不同的受眾,廣告定位算法也可能以有偏見的方式分發(fā)有關機會的信息,如圖1所示。

    圖1 廣告定位算法分發(fā)機會信息流程Fig.1 The Process of How Advertising Targeting Algorithm Distributes Opportunity Information

    廣告最終展示給誰是廣告商和廣告平臺共同作用的結(jié)果,倘若廣告發(fā)布平臺只是將顧客最想購買產(chǎn)品的廣告精準展示給特定目標受眾,結(jié)果可能無傷大雅,但是倘若廣告發(fā)布平臺選擇展示的是機會信息,則有可能造成社會不公平。后文以就業(yè)信息為例,闡明預測算法對機會信息訪問控制的影響。

    4 預測算法對機會信息訪問控制的影響及規(guī)制困境

    4.1 以就業(yè)信息為例

    預測算法通過觀察過去的行為模式而構(gòu)建,旨在基于歷史數(shù)據(jù)、統(tǒng)計建模和機器學習等分析技術,對未來的結(jié)果做出預測。因此,這些系統(tǒng)可能會以反映現(xiàn)有不平等的方式分發(fā)有關未來機會的信息,并可能強化業(yè)已存在的劣勢模式[22]。以招聘廣告為例,《中華人民共和國勞動法》(2018年修正)第十二條、第十三條規(guī)定勞動者就業(yè),不因民族、種族、性別、宗教信仰不同而受歧視;婦女享有與男子平等的就業(yè)權利。在錄用職工時,除國家規(guī)定的不適合婦女的工種或者崗位外,不得以性別為由拒絕錄用婦女,因此在招聘廣告中,不得設置“民族、種族、性別、宗教信仰”等限制;不得對女性設置“性別”限制(國家規(guī)定的不適合女性的工種或崗位除外)提高對婦女的錄用標準?!吨腥A人民共和國就業(yè)促進法》(2015年修正)第三條、第二十九條、第三十條、第三十一條也都有錄用員工時禁止歧視的規(guī)定。如果企業(yè)在招聘廣告中含有上述歧視性信息,勞動者可以向法院提起訴訟,造成財產(chǎn)損失或者其他損害的可以要求賠償。然而,現(xiàn)如今“嵌入人工智能的歧視不再像過去一般露骨,而是隱匿到數(shù)字世界的角落悄無聲息地侵蝕社會公平正義,”[23]招聘廣告中的歧視由顯性的“只招男生”“男生優(yōu)先”的說明轉(zhuǎn)化為根據(jù)大數(shù)據(jù)算法精準投放招聘廣告,例如美國卡內(nèi)基梅隆大學的學者曾經(jīng)做過用一種名為ADFisher的釣魚軟件模擬普通用戶瀏覽求職網(wǎng)站的實驗,以統(tǒng)計谷歌(Google)推送“年薪20萬美元以上的職位”的廣告數(shù)據(jù),結(jié)果顯示男性收到1,852次推送,女性只收到318次,女性得到“高薪”職位推薦的機會僅為男性的1/6[24]。換言之,女性被排除在了高薪廣告的展示之外。

    現(xiàn)今的勞務市場中,求職者和雇主都傾向于在提供求職信息的平臺上注冊并提供有關可用機會和所需技能或經(jīng)驗的信息。提供求職信息的平臺并非被動地發(fā)布這些信息,而是通過推動求職者申請某些工作并向雇主推薦特定申請人來積極促進工作的匹配過程。推薦系統(tǒng)既依賴用戶提供的數(shù)據(jù),也依賴平臺收集的數(shù)據(jù),并基于內(nèi)容推薦和協(xié)同過濾[25]?;趦?nèi)容的推薦根據(jù)物品或內(nèi)容的元數(shù)據(jù),發(fā)現(xiàn)物品或內(nèi)容的相關性,接著基于用戶過往留下的數(shù)字痕跡對其偏好的展示或表達向其推薦類似的項目或物品,例如,通過挖掘用戶過往看過的電影向其推薦類似的電影[25]。協(xié)作過濾首先使用統(tǒng)計技術尋找與目標用戶有相同喜好的相似用戶,然后根據(jù)相似用戶的偏好或?qū)傩韵蚰繕擞脩敉扑],基本原理就是利用用戶訪問行為的相似性來互相推薦用戶可能感興趣的資源[25]。

    在雇主發(fā)布職位空缺后,算法會掃描數(shù)萬份求職者的簡歷,在其中尋找符合雇主指定要求的候選人,然后將職位空缺顯示給這些候選人,算法還會預測雇主最感興趣的候選人,將他們標記為“最佳匹配”,列在雇主可見隊列的頂部。提供求職信息的平臺還會決定鼓勵哪類求職者申請職位或者被推薦為合適的人選優(yōu)先向雇主展示,從而影響雇主看到哪些候選人。推薦系統(tǒng)每一次類似的干預必然會促進一些機會,同時掩蓋其他機會。提供求職信息的平臺最終控制了求職者和雇主潛在機會的可見性。盡管求職者可以選擇提供哪些個人信息或使用求職平臺上的廣告控制來刪除關于他們一些興趣推斷[26],但卻無法控制平臺對他們可能做出的負面推斷,提供求職信息的平臺最終決定了哪些因素用于預測可能的匹配項,例如,平臺可能會推斷出特定用戶“對在建筑工地工作不感興趣”,因此即使雇主試圖聯(lián)系這類特定用戶,平臺也不會向該用戶展示建筑工地工作的廣告,平臺會以求職者和雇主都不知道的方式將他們排除在機會信息之外。例如,亞馬遜開發(fā)了一個自動招聘系統(tǒng),以便人工智能系統(tǒng)可以查看簡歷并挑選出最佳候選人。為此,亞馬遜向系統(tǒng)提供了過去十年申請亞馬遜工作的人的簡歷,然而這些投簡歷的候選者,大部分都是男性,根據(jù)這些數(shù)據(jù),亞馬遜的系統(tǒng)通過學習將簡歷上的“女性”一詞降級,從而提高男性候選人的排名[27]。

    預測算法對就業(yè)機會信息訪問的控制提供了一個視角,看似中立的關聯(lián)數(shù)據(jù)可能已經(jīng)被身份化,基于集體認同的資源配置模式無形中限制了個體決策的空間,具有相同集體身份的個體擁有相似的資源,即使彼此無意接觸,也會自發(fā)地呈現(xiàn)出相似的決策偏好。集體認同在資源配置中的作用越明顯,個體決策的認同色彩越強,明顯中性的特征就越有可能充當集體身份(如性別和殘疾)的中介,誘導人工智能輸出歧視性結(jié)果[23]。歧視以及歧視所導致的社會不公等現(xiàn)象在日常生活中高頻發(fā)生,并“以產(chǎn)品工程設計的表象掩蓋了社會工程設計的實質(zhì)”[28]。在線優(yōu)化系統(tǒng)中對廣告結(jié)果的公共利益審查比傳統(tǒng)媒體要困難得多。對傳統(tǒng)媒體廣告中超出預期規(guī)范的定位和投放很容易被公眾發(fā)覺,監(jiān)督起來比較容易,相較之下,預測算法對機會信息訪問的控制很難審查[29]。在雇主或房東選擇屬性來定義其目標受眾后,其廣告不會簡單地顯示給符合所選標準的每個人,甚至有可能不會顯示給這些用戶的隨機樣本。相反,臉書等在線廣告平臺擁有確定符合條件的受眾中的哪些人將實際看到特定廣告的權利。

    現(xiàn)代社會公平主要表現(xiàn)在六個方面:權利公平、機會公平、規(guī)則公平、效率公平、分配公平和社會保障公平[30]。在現(xiàn)代社會中,社會公平首先意味著社會權利的公平,承認和保障社會主體享有平等的生存權和發(fā)展權,即要求社會制度安排和非制度安排給予每個社會主體生存和發(fā)展的平等機會[30],勞動權利、教育機會、職業(yè)選擇等不受家庭背景、種族、性別、資本占有狀況等因素的限制和影響[30]。機會公平是指社會主體參與社會活動要求社會保障機會均等,機會公平是實現(xiàn)權利公平的前提[30]。在信息社會中,公民權利的正常行使是基于信息多樣化的保障,而預測算法通過控制機會信息的獲取來損害社會公平,尤其是機會公平和權利公平。

    4.2 規(guī)制困境

    不僅僅局限于就業(yè)機會信息,預測算法控制對所有機會信息的訪問重點解決的是信息資源的最佳匹配問題,核心在于提高效率以及商業(yè)利益最大化,體現(xiàn)了“用戶”思維,忽略了著眼于社會公平正義、民生福祉的公眾思維[11]。在復雜的預測分析工具以及模型的幫助下,任何組織現(xiàn)如今都可以使用過去和當前的數(shù)據(jù)可靠地預測未來幾秒、幾分鐘、幾天甚至幾年的趨勢和行為。在數(shù)字應用中,用戶擁有一個看不見且多個維度的數(shù)字身份,這個身份包含了使用習慣、個人品味、偏好、個性特征和社交圖譜等組合。然而,這種數(shù)字身份的構(gòu)建并非直接基于用戶的人格或自我意識,而是基于可測量數(shù)據(jù)點的集合和算法對數(shù)據(jù)點的解釋。換言之,在人工智能眼中,無論多么復雜的用戶身份,都能被數(shù)字所取代。這些數(shù)據(jù)可以用于社會分類和區(qū)分人群,使某些類別的人群獲得優(yōu)先地位的同時邊緣化和排除其他類別的人。除了社會經(jīng)濟地位之外,性別、種族和原籍地還有助于確定我們屬于哪個數(shù)據(jù)庫、社交媒體平臺系統(tǒng)如何使用我們的數(shù)據(jù)以及可能對我們產(chǎn)生的影響[31]。社交媒體平臺現(xiàn)如今不僅僅是公共話語的居間商,它們構(gòu)成公共話語[32];他們不只是傳遞蘊含各種機會的信息(如就業(yè)機會、教育機會等)的平臺,他們借由分類、篩選和整理信息重新定義了勞動力、教育市場[10]。預測算法對機會信息訪問的控制所導致對社會公平正義的侵犯在法律責任認定及追究方面存在諸多問題。

    我國《算法管理規(guī)定》規(guī)制應用算法推薦技術提供互聯(lián)網(wǎng)信息服務(以下簡稱算法推薦服務),并將應用算法推薦技術定義為“利用生成合成類、個性化推送類、排序精選類、檢索過濾類、調(diào)度決策類等算法技術向用戶提供信息”(第二條),《算法管理規(guī)定》還在第四條明確指出提供算法推薦服務,應當遵循公正公平、公開透明、科學合理和誠實信用的原則,然而《算法管理規(guī)定》第五章法律責任中并無關于違反第四條的相關規(guī)定。此外,《算法管理規(guī)定》第十六條闡明算法推薦服務提供者應用算法對用戶權益造成重大影響的,應當依法予以說明并承擔相應責任,但是預測算法對機會信息訪問的控制很難察覺,“在數(shù)字場景中,歧視被重構(gòu)為0和1的組合,因果關系也隨之被封裝進算法鑄造的黑盒中,‘前因’與‘后果’更加晦暗不清。最直觀意義上,算法以代碼形式存在,首先形成感知維度上的黑盒。施害人的偏見由算法表達并執(zhí)行,即使是最赤裸裸的歧視亦披上數(shù)字隱身衣?!盵23]

    即使用戶能夠證明機會信息以歧視性方式分發(fā),損害賠償?shù)淖C明也并非易事,必須依賴一系列假設,即如果預測算法不存在歧視,招聘者A會看到招聘廣告;如果招聘者A看到招聘廣告,她會申請此職位;如果招聘者A申請此職位,她會被錄用。傳統(tǒng)責任計劃與預測算法造成的危害不匹配,反歧視法傾向于尋找特定的個體受害者,但算法驅(qū)動過程的歧視性影響是系統(tǒng)性的[33]。預測算法對機會信息訪問的控制損害的是不特定主體的基本權利,這些權利的享有人和利益侵害的力度具有不確定性,危害后果具有難以遏制性,且受到損害的個體難以獲得救濟[34],原因在于預測算法依賴于統(tǒng)計概括,具有集體維度,問題的系統(tǒng)性使得很難追蹤對特定人的確切影響。此外,預測算法通常使用動態(tài)機器學習技術來生成預測,并且不斷地結(jié)合新數(shù)據(jù)并實時更新,給追責帶來了挑戰(zhàn)[10]。

    5 預測算法控制對機會信息的訪問的規(guī)制路徑

    預測算法對機會信息訪問的規(guī)制離不開制度規(guī)則的建構(gòu)和對責任的明確。

    以大型互聯(lián)網(wǎng)公司為首的網(wǎng)絡服務提供者雖然本質(zhì)上還是社會商業(yè)力量,但因其擁有巨大的權力資源和能量,得以突破權利空間,進入權力領域[35],當網(wǎng)絡服務提供者濫用其擁有的巨大權力來影響互動從而造成歧視性影響時,他們應該承擔責任。個人將看到哪些信息和廣告最終取決于由網(wǎng)絡服務提供者即平臺所控制的算法。由于多種因素影響在線信息和廣告的投放,廣告商選擇的目標標準并不能確保其指定接收者一定能看到廣告,雇主可能試圖無差別地投放招聘廣告,然而即使選擇了中性的定位標準,由于平臺的協(xié)同過濾,接收廣告的實際受眾可能會沿著年齡、性別或其他可能導致歧視的特征傾斜。當今許多互聯(lián)網(wǎng)平臺服務提供商在分配機會信息的訪問方面發(fā)揮著重要作用,可能會產(chǎn)生重大的社會影響,應該對此負責,法律應該確保技術朝著更公平方向發(fā)展。如果用人單位在求職平臺發(fā)布的招聘廣告中規(guī)定只招男生,勞動者可以向人民法院提起訴訟。招聘平臺蓄意設計規(guī)則將招聘廣告只顯示給男性用戶或者利用大數(shù)據(jù)將女性求職者排除在外同樣違反了就業(yè)歧視的規(guī)定,也需要明確責任。

    為他人提供的內(nèi)容承擔責任可能會威脅到某些平臺運營商的生存能力,因此美國《通信規(guī)范法案》(Communications Decency Act)第230條(47 U.S.C.§230)為充當?shù)谌絻?nèi)容發(fā)布者的互聯(lián)網(wǎng)平臺提供了廣泛的法律豁免權①美國《通信規(guī)范法案》203條第(C)(1)款規(guī)定:交互式計算機服務的提供者或用戶不得被視為其他信息內(nèi)容提供者提供的任何信息的發(fā)布者或發(fā)言人。。這種豁免權最近解決了針對臉書訴訟的核心問題,臉書認為其廣告平臺應受到《通信規(guī)范法案》第230條的保護,部分原因在于其廣告商全權負責決定在何處、如何以及何時發(fā)布廣告[36]。然而,臉書在投放階段的獨立行動對于確定廣告展示的方式、時間和對象至關重要,并且可能產(chǎn)生非法結(jié)果,這些影響對于在臉書投放廣告的廣告商而言可能是不可見的,甚至可能導致廣告商的責任。在確定是否適用第230條保護措施時,法院會考慮互聯(lián)網(wǎng)平臺是否“實質(zhì)性地助長”了被指控的非法行為。

    我國《民法典》第1195條、1196條也為網(wǎng)絡服務提供者提供了“避風港原則”?!氨茱L港原則”適用的前提條件是:(1)網(wǎng)絡(技術)服務提供者僅僅提供互聯(lián)網(wǎng)技術服務,并沒有提供網(wǎng)絡內(nèi)容服務;(2)網(wǎng)絡(技術)服務提供者對第三方提供的互聯(lián)網(wǎng)信息的侵權與否并不知情。以上兩個條件必須同時具備,否則將不能適用“避風港原則”進行責任免除抗辯。

    平臺在什么情況下要為內(nèi)容負責,關鍵在于厘清責任。如果有證據(jù)證明作為招聘平臺用戶的用人單位利用大數(shù)據(jù)將女性求職者排除在外,那么用人單位可能要負責。如果有證據(jù)證明一個平臺蓄意設計規(guī)則將招聘廣告只顯示給男性用戶看,那么平臺也要負責。當互聯(lián)網(wǎng)平臺服務商設計定位算法來確定哪些廣告投放給哪些用戶時,它就已經(jīng)超越了網(wǎng)絡服務提供者的角色,其不只是網(wǎng)絡內(nèi)容提供者的簡單傳聲筒以及發(fā)布者,而是參與了某些編輯工作,正如前文所述,招聘網(wǎng)站通常會整理信息、添加上下文或評論,例如向求職者推薦機會、對申請人進行排名等,網(wǎng)絡服務提供者此時已經(jīng)轉(zhuǎn)變?yōu)榫W(wǎng)絡內(nèi)容提供者,不能適用“避風港原則”進行責任免除抗辯。對投放機會廣告算法的審查應該考慮廣告定位和廣告投放兩個階段,首先對廣告定位階段廣告商輸入的數(shù)據(jù)是否存在歧視進行審查,其次對廣告投放階段互聯(lián)網(wǎng)服務提供者運用的內(nèi)容過濾和協(xié)同過濾等算法是否存在歧視進行審查。

    明確平臺責任包括兩個方面:一是平臺的數(shù)據(jù)可查義務。為保證機會信息分發(fā)的透明性,平臺應當對數(shù)據(jù)的收集方式、來源、內(nèi)容、處理過程及依據(jù)進行詳細記載,并就訓練得到的算法進行真實詳細的闡釋,說明存在的缺陷與可能出現(xiàn)的風險。二是平臺的解釋性義務。對機會信息的訪問涉及當事人的切身利益?!八惴ǖ膮⑴c必須是可解釋的,而算法的不透明性與可解釋性之間存在沖突,如果算法無法解釋,則構(gòu)成對當事人的不公對待,且可能帶來系統(tǒng)性風險。”[37]政策制定者在尋求防止歧視方面,需要仔細考慮信息發(fā)布平臺本身運行的優(yōu)化作用,而非僅僅考慮信息商的目標選擇。首先,信息投放中的歧視可能與信息定位無關,因此對信息定位階段的限制可能無法解決信息投放階段引起的歧視。特定信息如廣告出現(xiàn)的位置受到廣告商(指定其目標受眾)、其他廣告商(競爭廣告空間)、用戶本身(選擇是否點擊特定廣告)以及協(xié)調(diào)廣告發(fā)布平臺的影響[10]。這些參與者之間的互動由平臺的專有算法進行調(diào)解,整個過程不透明。因此平臺的解釋性義務需要將信息定位和信息投放階段的解釋權皆考慮在內(nèi)。算法權力的規(guī)制和監(jiān)督需要從算法的設計源頭上構(gòu)建“技術性正當程序”,即通過程序的代碼化實現(xiàn)以下要求:算法公開透明,具有程序一致性;允許對決策結(jié)果產(chǎn)生懷疑,在專業(yè)人員的協(xié)助下審查算法,及時糾正錯誤[38];算法在信息定位以及信息投放階段都是可解釋的等。

    此外,平等權的現(xiàn)有法律保護模式采用行為主義邏輯和矯正正義的法律理念,這實際上是一種事后主義的處理方法,更注重對行為結(jié)果的控制,而單純的事后處理為時過晚且成本很高,效果不佳,并未使法律規(guī)制延伸至算法歧視的每個角落[39]。因此事后責任制度可能并非防止歧視性損害的最佳方式,應該研究監(jiān)管模型,以事前預防盡量減輕因使用預測算法而使某些個人和群體喪失接觸機會信息的權利以致危害社會平等公平的風險。

    6 結(jié)論

    人類生活對數(shù)據(jù)、信息和算法的依賴日益加深,邁入了所謂“數(shù)據(jù)說話、算法為王”的時代[35],在這個時代中,公民權利的正常行使建立在信息多元化能夠得到充分保障的基礎之上。預測算法影響人們接觸信息的方式,某些信息會對數(shù)據(jù)主體的基本權利產(chǎn)生法律影響或類似嚴重影響,本文將這類信息歸納為機會信息。預測算法通過控制社會不同個體或團體對機會信息的訪問,損害了數(shù)字時代的機會公平并有可能侵害勞動就業(yè)等各項基本人權。預測算法在信息定位和投放階段皆可決定與數(shù)據(jù)主體基本權利息息相關的招聘廣告等機會信息最終向誰展示,換言之,機會信息的最終展示是廣告商(互聯(lián)網(wǎng)內(nèi)容提供商)定位和網(wǎng)絡平臺(互聯(lián)網(wǎng)服務提供者)投放共同作用的結(jié)果。網(wǎng)絡平臺在控制對機會信息訪問上擁有巨大權利,由互聯(lián)網(wǎng)服務提供者變成了互聯(lián)網(wǎng)內(nèi)容提供商,需要對造成的歧視性后果承擔責任。明確互聯(lián)網(wǎng)服務提供者責任可以從規(guī)定平臺的數(shù)據(jù)可查義務以及平臺的解釋性義務出發(fā),建議以事前預防來盡量減少因使用預測算法限制機會信息展示從而導致社會不公平的風險。

    猜你喜歡
    用戶信息
    訂閱信息
    中華手工(2017年2期)2017-06-06 23:00:31
    關注用戶
    商用汽車(2016年11期)2016-12-19 01:20:16
    關注用戶
    商用汽車(2016年6期)2016-06-29 09:18:54
    關注用戶
    商用汽車(2016年4期)2016-05-09 01:23:12
    Camera360:拍出5億用戶
    100萬用戶
    如何獲取一億海外用戶
    展會信息
    中外會展(2014年4期)2014-11-27 07:46:46
    信息
    健康信息
    祝您健康(1987年3期)1987-12-30 09:52:32
    99香蕉大伊视频| 欧美日韩亚洲高清精品| 国产又色又爽无遮挡免| 亚洲精品日韩在线中文字幕| www.精华液| 欧美人与性动交α欧美软件| 日韩制服丝袜自拍偷拍| 国产高清不卡午夜福利| 日韩大片免费观看网站| 99久国产av精品国产电影| 亚洲精品国产av蜜桃| 久久久欧美国产精品| 人成视频在线观看免费观看| 久久久国产一区二区| 无限看片的www在线观看| 久久久久久久国产电影| 19禁男女啪啪无遮挡网站| 日本av免费视频播放| 国产人伦9x9x在线观看| 天堂俺去俺来也www色官网| 国产av一区二区精品久久| 纵有疾风起免费观看全集完整版| 2018国产大陆天天弄谢| av国产精品久久久久影院| 欧美另类一区| 成人免费观看视频高清| 一本一本久久a久久精品综合妖精| 亚洲第一青青草原| 看十八女毛片水多多多| 性高湖久久久久久久久免费观看| 99精国产麻豆久久婷婷| 成人手机av| 制服诱惑二区| 亚洲天堂av无毛| 亚洲国产av新网站| 国产成人啪精品午夜网站| 午夜免费鲁丝| 亚洲精品国产av成人精品| 亚洲欧美中文字幕日韩二区| 国产一级毛片在线| av在线app专区| 欧美变态另类bdsm刘玥| 黄色视频不卡| av网站免费在线观看视频| 免费观看a级毛片全部| 国产av码专区亚洲av| 看十八女毛片水多多多| 免费在线观看黄色视频的| 久久人人爽av亚洲精品天堂| 久久久久久久大尺度免费视频| 国产探花极品一区二区| 国产精品秋霞免费鲁丝片| 久久 成人 亚洲| 飞空精品影院首页| 久久女婷五月综合色啪小说| 久久久久视频综合| 日韩 亚洲 欧美在线| 日韩欧美一区视频在线观看| 最新的欧美精品一区二区| 丰满乱子伦码专区| 免费看av在线观看网站| 九草在线视频观看| 一级毛片 在线播放| 国语对白做爰xxxⅹ性视频网站| 高清在线视频一区二区三区| 国产精品av久久久久免费| av片东京热男人的天堂| 男人爽女人下面视频在线观看| 国产色婷婷99| 18在线观看网站| 久久久久人妻精品一区果冻| 久久久久久久大尺度免费视频| 大香蕉久久网| 亚洲成国产人片在线观看| 最近手机中文字幕大全| 欧美黑人精品巨大| 丝袜人妻中文字幕| 日本爱情动作片www.在线观看| 飞空精品影院首页| 中文字幕另类日韩欧美亚洲嫩草| 18禁裸乳无遮挡动漫免费视频| 亚洲欧美清纯卡通| 国产成人系列免费观看| 亚洲av国产av综合av卡| 国产成人av激情在线播放| 久久久久久免费高清国产稀缺| 精品少妇黑人巨大在线播放| 亚洲伊人久久精品综合| 下体分泌物呈黄色| 十八禁网站网址无遮挡| 中国三级夫妇交换| 欧美日韩精品网址| 乱人伦中国视频| 无遮挡黄片免费观看| 涩涩av久久男人的天堂| 欧美av亚洲av综合av国产av | 国产伦人伦偷精品视频| 亚洲精品久久久久久婷婷小说| bbb黄色大片| 丰满乱子伦码专区| 在现免费观看毛片| 丝瓜视频免费看黄片| 国产精品国产av在线观看| 叶爱在线成人免费视频播放| 制服诱惑二区| 一级毛片电影观看| 亚洲自偷自拍图片 自拍| 欧美日韩亚洲高清精品| 国产一卡二卡三卡精品 | 啦啦啦在线观看免费高清www| 午夜91福利影院| 午夜福利视频在线观看免费| 18在线观看网站| 人人妻人人添人人爽欧美一区卜| 中文字幕制服av| 国产高清不卡午夜福利| 国产片内射在线| 黄网站色视频无遮挡免费观看| 亚洲精品美女久久久久99蜜臀 | 青青草视频在线视频观看| 老司机在亚洲福利影院| 老司机靠b影院| 九九爱精品视频在线观看| av在线app专区| 国产淫语在线视频| 丝袜美腿诱惑在线| 欧美日韩视频精品一区| 国产亚洲欧美精品永久| 高清欧美精品videossex| 蜜桃国产av成人99| 成人午夜精彩视频在线观看| 人体艺术视频欧美日本| 别揉我奶头~嗯~啊~动态视频 | 精品国产乱码久久久久久男人| 国产欧美日韩综合在线一区二区| 久久影院123| 狂野欧美激情性bbbbbb| 中文字幕人妻丝袜一区二区 | 美女中出高潮动态图| 色精品久久人妻99蜜桃| 国产免费一区二区三区四区乱码| 久久毛片免费看一区二区三区| 波多野结衣一区麻豆| 丰满少妇做爰视频| 国产伦理片在线播放av一区| 成人国产av品久久久| 亚洲一码二码三码区别大吗| 男女国产视频网站| 国产精品蜜桃在线观看| 国产av精品麻豆| 美女扒开内裤让男人捅视频| 黄网站色视频无遮挡免费观看| 女人久久www免费人成看片| 各种免费的搞黄视频| 久热爱精品视频在线9| 中文字幕人妻丝袜一区二区 | 欧美变态另类bdsm刘玥| 亚洲一卡2卡3卡4卡5卡精品中文| av女优亚洲男人天堂| 欧美黄色片欧美黄色片| 国产精品亚洲av一区麻豆 | 亚洲美女视频黄频| 少妇人妻精品综合一区二区| 国产有黄有色有爽视频| xxxhd国产人妻xxx| 日韩电影二区| 精品一区二区三区四区五区乱码 | 国产精品久久久久久久久免| 国产av精品麻豆| 免费av中文字幕在线| 国产精品久久久久久久久免| 国产精品 国内视频| 免费看十八禁软件| 精品久久久精品久久久| 欧美黑人欧美精品刺激| 自拍欧美九色日韩亚洲蝌蚪91| 夜夜看夜夜爽夜夜摸| 成人亚洲精品一区在线观看| xxx96com| 国产精品香港三级国产av潘金莲| 午夜老司机福利片| 国产乱人伦免费视频| 十八禁网站免费在线| 美女 人体艺术 gogo| 美女国产高潮福利片在线看| 午夜福利免费观看在线| 高清在线国产一区| 午夜福利18| 亚洲精品久久国产高清桃花| 日韩国内少妇激情av| 久久中文看片网| 精品一区二区三区四区五区乱码| 精品国产亚洲在线| 免费搜索国产男女视频| 韩国av一区二区三区四区| 免费av毛片视频| 国产成人一区二区三区免费视频网站| 亚洲中文字幕日韩| 国产精品自产拍在线观看55亚洲| 国产片内射在线| 亚洲伊人色综图| 18美女黄网站色大片免费观看| 久久国产亚洲av麻豆专区| 在线观看一区二区三区| 操美女的视频在线观看| 黄色 视频免费看| 免费观看人在逋| www.熟女人妻精品国产| 免费看a级黄色片| 十八禁人妻一区二区| 国产亚洲精品av在线| 国产精品,欧美在线| 桃色一区二区三区在线观看| 女人被躁到高潮嗷嗷叫费观| 高清毛片免费观看视频网站| 久久久久国产精品人妻aⅴ院| 亚洲精品美女久久久久99蜜臀| 久久久久国产一级毛片高清牌| 在线观看www视频免费| 免费女性裸体啪啪无遮挡网站| 午夜免费鲁丝| 久久天堂一区二区三区四区| 午夜福利成人在线免费观看| 天天躁夜夜躁狠狠躁躁| 香蕉国产在线看| 色婷婷久久久亚洲欧美| 一个人免费在线观看的高清视频| 91老司机精品| 国产蜜桃级精品一区二区三区| 老司机午夜十八禁免费视频| 午夜视频精品福利| 日韩大码丰满熟妇| 亚洲一区二区三区不卡视频| 深夜精品福利| 欧美国产日韩亚洲一区| 亚洲美女黄片视频| 国产成人一区二区三区免费视频网站| 精品少妇一区二区三区视频日本电影| 日本a在线网址| 一级毛片精品| 国产精品免费一区二区三区在线| 午夜成年电影在线免费观看| 婷婷精品国产亚洲av在线| 亚洲人成电影观看| 国产精品98久久久久久宅男小说| 日日干狠狠操夜夜爽| 中文字幕久久专区| 久久人人97超碰香蕉20202| 91精品三级在线观看| 视频在线观看一区二区三区| 91大片在线观看| 大型黄色视频在线免费观看| 国产不卡一卡二| 欧美黄色片欧美黄色片| 黄频高清免费视频| 久久精品国产亚洲av高清一级| 很黄的视频免费| 欧美乱色亚洲激情| 日本欧美视频一区| 亚洲aⅴ乱码一区二区在线播放 | 国产三级黄色录像| 精品一区二区三区四区五区乱码| 国产成+人综合+亚洲专区| 中文字幕人成人乱码亚洲影| 欧美成人一区二区免费高清观看 | 女人被躁到高潮嗷嗷叫费观| 91国产中文字幕| 激情在线观看视频在线高清| 久久中文字幕一级| 9191精品国产免费久久| 亚洲av日韩精品久久久久久密| 国产日韩一区二区三区精品不卡| 亚洲精品久久成人aⅴ小说| 免费在线观看亚洲国产| 久久人人97超碰香蕉20202| 一本久久中文字幕| 亚洲专区国产一区二区| av网站免费在线观看视频| 女人爽到高潮嗷嗷叫在线视频| 亚洲熟妇中文字幕五十中出| 人人澡人人妻人| 久热这里只有精品99| 夜夜夜夜夜久久久久| 悠悠久久av| 中国美女看黄片| 国产精品乱码一区二三区的特点 | 午夜激情av网站| 亚洲性夜色夜夜综合| 国内精品久久久久精免费| 国产蜜桃级精品一区二区三区| 久久精品国产99精品国产亚洲性色 | 久久精品国产清高在天天线| 日本三级黄在线观看| 久久国产乱子伦精品免费另类| 在线观看日韩欧美| 丝袜在线中文字幕| 香蕉国产在线看| 侵犯人妻中文字幕一二三四区| 日本免费a在线| 真人做人爱边吃奶动态| 国产精品日韩av在线免费观看 | 99国产综合亚洲精品| 看片在线看免费视频| 日韩欧美三级三区| 黑人欧美特级aaaaaa片| 88av欧美| 淫妇啪啪啪对白视频| 他把我摸到了高潮在线观看| 国产精品久久电影中文字幕| 欧美黑人精品巨大| 欧美另类亚洲清纯唯美| avwww免费| 一卡2卡三卡四卡精品乱码亚洲| 天天一区二区日本电影三级 | 国产精品1区2区在线观看.| 亚洲av电影在线进入| 亚洲色图综合在线观看| 在线天堂中文资源库| 久久国产精品人妻蜜桃| 国产一卡二卡三卡精品| 欧美大码av| 黄色女人牲交| 国产片内射在线| 亚洲精品久久成人aⅴ小说| 老司机午夜福利在线观看视频| 亚洲少妇的诱惑av| 国产欧美日韩综合在线一区二区| 好男人电影高清在线观看| 久久久国产成人免费| 动漫黄色视频在线观看| 香蕉国产在线看| 亚洲一区高清亚洲精品| 一进一出抽搐gif免费好疼| 成年人黄色毛片网站| 一边摸一边做爽爽视频免费| 国产精华一区二区三区| 精品国产亚洲在线| 后天国语完整版免费观看| 亚洲 欧美 日韩 在线 免费| 如日韩欧美国产精品一区二区三区| 精品少妇一区二区三区视频日本电影| 18禁裸乳无遮挡免费网站照片 | 少妇粗大呻吟视频| 99香蕉大伊视频| 黄色 视频免费看| tocl精华| 日本免费一区二区三区高清不卡 | 国产一区在线观看成人免费| 国产亚洲欧美精品永久| 久热这里只有精品99| 欧美中文综合在线视频| 国产免费av片在线观看野外av| 亚洲国产精品久久男人天堂| 国产一卡二卡三卡精品| 黄色a级毛片大全视频| 99热只有精品国产| 自拍欧美九色日韩亚洲蝌蚪91| 久久久久久人人人人人| 国产高清有码在线观看视频 | 国产一区二区三区视频了| 91精品三级在线观看| 国内精品久久久久久久电影| av免费在线观看网站| 久久精品人人爽人人爽视色| 欧洲精品卡2卡3卡4卡5卡区| 日韩精品青青久久久久久| 久久久久九九精品影院| 国产成+人综合+亚洲专区| 免费高清视频大片| 一级作爱视频免费观看| 一边摸一边抽搐一进一小说| 亚洲精品国产色婷婷电影| 自线自在国产av| 夜夜爽天天搞| 50天的宝宝边吃奶边哭怎么回事| 自线自在国产av| 色精品久久人妻99蜜桃| 国产成人精品久久二区二区免费| 少妇被粗大的猛进出69影院| 国产精品秋霞免费鲁丝片| 亚洲人成网站在线播放欧美日韩| 一个人免费在线观看的高清视频| 正在播放国产对白刺激| 欧美av亚洲av综合av国产av| 一区在线观看完整版| 天天一区二区日本电影三级 | 精品午夜福利视频在线观看一区| 国产高清视频在线播放一区| 日韩av在线大香蕉| 真人做人爱边吃奶动态| 国产91精品成人一区二区三区| 美女 人体艺术 gogo| 亚洲人成网站在线播放欧美日韩| 国产伦人伦偷精品视频| 免费在线观看日本一区| 国产三级黄色录像| 午夜福利影视在线免费观看| 国产精品久久久久久人妻精品电影| av免费在线观看网站| 一边摸一边抽搐一进一小说| 黄色 视频免费看| 国产精品美女特级片免费视频播放器 | 人成视频在线观看免费观看| 亚洲精品一卡2卡三卡4卡5卡| 一边摸一边抽搐一进一小说| 丝袜在线中文字幕| 老司机午夜十八禁免费视频| 美女午夜性视频免费| www.精华液| 一区二区日韩欧美中文字幕| 淫妇啪啪啪对白视频| 女生性感内裤真人,穿戴方法视频| 丝袜美足系列| av视频在线观看入口| 老熟妇乱子伦视频在线观看| 国产精华一区二区三区| 91字幕亚洲| 日韩一卡2卡3卡4卡2021年| 欧美日本亚洲视频在线播放| 午夜久久久在线观看| 他把我摸到了高潮在线观看| 50天的宝宝边吃奶边哭怎么回事| av在线播放免费不卡| 高清在线国产一区| 天堂√8在线中文| 丝袜美足系列| 男女下面插进去视频免费观看| 欧美日韩精品网址| 制服诱惑二区| 免费看a级黄色片| 成人亚洲精品av一区二区| 在线永久观看黄色视频| 高潮久久久久久久久久久不卡| 亚洲中文av在线| 国产熟女xx| 男女下面插进去视频免费观看| 精品少妇一区二区三区视频日本电影| 69精品国产乱码久久久| 涩涩av久久男人的天堂| 日本三级黄在线观看| 88av欧美| 国产亚洲精品av在线| 最近最新中文字幕大全免费视频| 亚洲人成网站在线播放欧美日韩| 国产精品美女特级片免费视频播放器 | 亚洲成人久久性| 高清毛片免费观看视频网站| 91字幕亚洲| 成年女人毛片免费观看观看9| 日韩欧美一区视频在线观看| 一级毛片女人18水好多| 精品国产乱码久久久久久男人| 亚洲色图av天堂| 午夜福利视频1000在线观看 | 欧美成人免费av一区二区三区| 免费av毛片视频| 欧美最黄视频在线播放免费| 日本免费a在线| 亚洲专区国产一区二区| 久99久视频精品免费| 色在线成人网| 国内久久婷婷六月综合欲色啪| 99国产精品免费福利视频| 国产成人免费无遮挡视频| 免费女性裸体啪啪无遮挡网站| 一级a爱视频在线免费观看| 在线观看免费日韩欧美大片| 亚洲精品在线观看二区| 欧洲精品卡2卡3卡4卡5卡区| 变态另类丝袜制服| 亚洲va日本ⅴa欧美va伊人久久| 久久天躁狠狠躁夜夜2o2o| 色哟哟哟哟哟哟| 性少妇av在线| 国产精品久久久人人做人人爽| 50天的宝宝边吃奶边哭怎么回事| 国内毛片毛片毛片毛片毛片| 欧美精品亚洲一区二区| 欧美日韩福利视频一区二区| 国产一区在线观看成人免费| 午夜免费鲁丝| 久久人妻熟女aⅴ| 亚洲人成网站在线播放欧美日韩| 精品无人区乱码1区二区| 在线观看一区二区三区| 精品国内亚洲2022精品成人| 欧美激情高清一区二区三区| 黄网站色视频无遮挡免费观看| 国产精品秋霞免费鲁丝片| 在线观看一区二区三区| 国产99久久九九免费精品| 少妇裸体淫交视频免费看高清 | 50天的宝宝边吃奶边哭怎么回事| 久久人妻福利社区极品人妻图片| 黑人巨大精品欧美一区二区mp4| 国产麻豆成人av免费视频| 日韩 欧美 亚洲 中文字幕| 91老司机精品| 国产伦人伦偷精品视频| 久久久久久免费高清国产稀缺| 日本vs欧美在线观看视频| 久久精品国产亚洲av香蕉五月| 成人欧美大片| 两个人视频免费观看高清| 在线观看www视频免费| 免费不卡黄色视频| 1024香蕉在线观看| 91九色精品人成在线观看| 久久天躁狠狠躁夜夜2o2o| 精品电影一区二区在线| 国产激情久久老熟女| 亚洲精品粉嫩美女一区| 精品国产乱子伦一区二区三区| 大陆偷拍与自拍| 97人妻天天添夜夜摸| av福利片在线| 在线观看免费视频网站a站| 可以在线观看毛片的网站| 男女之事视频高清在线观看| 亚洲一区二区三区色噜噜| 欧美黄色淫秽网站| 亚洲,欧美精品.| 韩国av一区二区三区四区| 又大又爽又粗| 男女午夜视频在线观看| 久久热在线av| 国产伦人伦偷精品视频| 国产一区二区三区视频了| 少妇的丰满在线观看| 99精品欧美一区二区三区四区| 韩国av一区二区三区四区| 99riav亚洲国产免费| 最好的美女福利视频网| 国产片内射在线| 久久久精品欧美日韩精品| 国产精品免费视频内射| 老司机午夜十八禁免费视频| 91麻豆精品激情在线观看国产| 亚洲av成人一区二区三| 这个男人来自地球电影免费观看| 免费看a级黄色片| 最近最新中文字幕大全电影3 | 久久久久九九精品影院| 久久人人精品亚洲av| 久久人人爽av亚洲精品天堂| 搡老妇女老女人老熟妇| 老司机靠b影院| 一卡2卡三卡四卡精品乱码亚洲| 亚洲精品国产精品久久久不卡| 757午夜福利合集在线观看| 成熟少妇高潮喷水视频| 美女高潮喷水抽搐中文字幕| 亚洲va日本ⅴa欧美va伊人久久| 一区在线观看完整版| 男人舔女人下体高潮全视频| 精品久久久久久久人妻蜜臀av | 欧美性长视频在线观看| 99精品久久久久人妻精品| 亚洲精品久久成人aⅴ小说| 精品高清国产在线一区| 99riav亚洲国产免费| 波多野结衣av一区二区av| 国内精品久久久久精免费| 大型av网站在线播放| 大型黄色视频在线免费观看| 伦理电影免费视频| 国产精品av久久久久免费| 动漫黄色视频在线观看| 老司机福利观看| 成人免费观看视频高清| 欧美成人午夜精品| 国产成人欧美在线观看| 亚洲精品粉嫩美女一区| 变态另类成人亚洲欧美熟女 | av视频免费观看在线观看| 91在线观看av| 午夜精品在线福利| 午夜a级毛片| 久久精品国产综合久久久| 国产色视频综合| 亚洲第一av免费看| 精品久久久久久久人妻蜜臀av | 激情在线观看视频在线高清| 三级毛片av免费| 在线免费观看的www视频| 色婷婷久久久亚洲欧美| 无人区码免费观看不卡| 1024香蕉在线观看| 国产精品乱码一区二三区的特点 | 男女下面进入的视频免费午夜 | 成人国产综合亚洲| 非洲黑人性xxxx精品又粗又长| 日韩欧美三级三区| 色老头精品视频在线观看| 非洲黑人性xxxx精品又粗又长| 午夜福利,免费看| 亚洲午夜精品一区,二区,三区| 国内精品久久久久久久电影| 中文字幕人妻丝袜一区二区| 成年版毛片免费区| e午夜精品久久久久久久| 国产麻豆成人av免费视频| 亚洲片人在线观看| 美国免费a级毛片| 别揉我奶头~嗯~啊~动态视频| 丰满的人妻完整版| 超碰成人久久| 美女 人体艺术 gogo| 88av欧美| 国产精品一区二区精品视频观看| 亚洲成a人片在线一区二区| 亚洲精品美女久久av网站| 国产精品99久久99久久久不卡| 首页视频小说图片口味搜索| 亚洲中文av在线|