• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    個(gè)性化推薦算法的法律風(fēng)險(xiǎn)規(guī)制

    2024-02-17 05:13:11謝永江楊永興
    理論縱橫 2024年1期
    關(guān)鍵詞:個(gè)性化原則算法

    謝永江 楊永興 劉 濤

    (北京郵電大學(xué) 互聯(lián)網(wǎng)治理與法律研究中心,北京 100876)

    隨著大數(shù)據(jù)、人工智能等互聯(lián)網(wǎng)技術(shù)的深入發(fā)展,個(gè)性化推薦算法被廣泛應(yīng)用于電子商務(wù)、短視頻、新聞報(bào)道等各種互聯(lián)網(wǎng)信息服務(wù)交互場景中。所謂個(gè)性化推薦算法,是指一種基于用戶行為、興趣和偏好的推薦技術(shù),用于向用戶推薦相關(guān)的產(chǎn)品或服務(wù)信息。簡而言之,就是根據(jù)用戶的興趣特點(diǎn)推薦其感興趣的對象或活動(dòng)信息。早在1995 年美國的宇宙導(dǎo)航系統(tǒng)就應(yīng)用了個(gè)性化推薦;2009 年,我國電子商務(wù)平臺開始引入個(gè)性化推薦算法[1]。個(gè)性化推薦算法的出現(xiàn),不但解決了信息過載與長尾問題,而且促進(jìn)了信息內(nèi)容與網(wǎng)絡(luò)用戶需求的精準(zhǔn)匹配,在滿足用戶個(gè)性化需求的同時(shí),大大提升了互聯(lián)網(wǎng)信息服務(wù)的效率。然而個(gè)性化推薦算法并非有百利而無一害,它在應(yīng)用過程中產(chǎn)生了侵犯用戶隱私、妨礙用戶意思自治、制造信息繭房和算法歧視等法律風(fēng)險(xiǎn)。本文擬從個(gè)性化推薦算法技術(shù)本身著手,分析其應(yīng)用過程中產(chǎn)生的法律風(fēng)險(xiǎn),并嘗試提出規(guī)制個(gè)性化推薦算法的對策建議。

    一、個(gè)性化推薦算法的類型

    在大數(shù)據(jù)時(shí)代,如何從井噴式的數(shù)據(jù)信息中實(shí)現(xiàn)精準(zhǔn)檢索和推送,是互聯(lián)網(wǎng)信息服務(wù)業(yè)所面臨的主要挑戰(zhàn)。據(jù)亞馬遜公司調(diào)研,在其網(wǎng)站購物的客戶絕大多數(shù)具有不確定性的需求,而具有明確購買意向的用戶僅僅占比16%[2]。如果網(wǎng)站能夠?qū)M足用戶不確定需求的商品從海量的商品信息中精準(zhǔn)地推送至用戶,則可能會(huì)極大地促進(jìn)潛在用戶的消費(fèi),從而拉動(dòng)平臺的消費(fèi)增長。為了滿足用戶和平臺的上述需求,針對用戶特征的個(gè)性化推薦算法應(yīng)運(yùn)而生,并被廣泛應(yīng)用于電子商務(wù)、新聞媒體和娛樂等領(lǐng)域。

    根據(jù)個(gè)性化推薦算法技術(shù)路線的不同,可以將個(gè)性化推薦算法分為混合推薦(Hybird Recommendation)、基于社交網(wǎng)絡(luò)的推薦(Social networksbased Recommendation)、基于內(nèi)容的推薦(Content-based Recommendation)和協(xié)同過濾的推薦算法(Collaborative Filtering based Recommendation)四種類型。

    (一) 基于內(nèi)容的推薦算法

    基于內(nèi)容的推薦算法是最為基礎(chǔ)的一種推薦技術(shù),其運(yùn)行模式為:首先,需要收集用戶在平臺的歷史信息,并采用分類算法對用戶的偏好信息進(jìn)行分類,同時(shí)對用戶進(jìn)行心理畫像。其次,利用算法對目標(biāo)產(chǎn)品的特征進(jìn)行提取。最后,比較分析用戶的偏好模型與產(chǎn)品特征,將其中相似度最高的產(chǎn)品推薦給用戶[3]。

    (二) 協(xié)同過濾的推薦算法

    協(xié)同過濾的推薦算法是個(gè)性化推薦算法中應(yīng)用最廣泛、最成功的算法技術(shù)之一。該算法主要研究用戶與用戶之間的關(guān)系,其在程序中預(yù)設(shè)具有相似興趣愛好的用戶會(huì)偏好相似的物品,或者用戶對具有相似特征的物品表現(xiàn)出相似的喜好程度[4]。協(xié)同過濾推薦算法的運(yùn)行邏輯為:首先,推薦系統(tǒng)收集平臺內(nèi)多個(gè)用戶的數(shù)據(jù)信息,分析計(jì)算用戶的偏好,通過計(jì)算發(fā)現(xiàn):A 用戶偏好產(chǎn)品甲、乙和??;B 用戶偏好產(chǎn)品丙;C 用戶偏好產(chǎn)品甲和乙。其次,推薦系統(tǒng)通過算法計(jì)算分析產(chǎn)品對于用戶的功能性價(jià)值,發(fā)現(xiàn)A 用戶與C 用戶的偏好相似值更接近,然后A 用戶喜愛的產(chǎn)品比C 用戶多出個(gè)產(chǎn)品丁,進(jìn)而推薦系統(tǒng)估算C 用戶對產(chǎn)品丁的喜愛可能性更大,進(jìn)而將產(chǎn)品丁推薦給C 用戶[5]。

    (三) 基于社交網(wǎng)絡(luò)的推薦算法

    隨著虛擬現(xiàn)實(shí)技術(shù)的快速發(fā)展,諸多線下活動(dòng)出于成本等的考慮也逐漸轉(zhuǎn)移到線上開展,同時(shí)也促進(jìn)了各種社交軟件的廣泛應(yīng)用。不同地域、不同背景、不同行業(yè)的人們利用社交軟件形成強(qiáng)大的社交網(wǎng)絡(luò),使得社交網(wǎng)絡(luò)成為個(gè)性化推薦算法領(lǐng)域的應(yīng)用熱點(diǎn)?;谏缃痪W(wǎng)絡(luò)的推薦算法的運(yùn)行邏輯為:首先,將社交軟件用戶的信息搜集起來,包括用戶的通訊錄、軟件里的用戶朋友圈等好友信息;進(jìn)而分析計(jì)算用戶的興趣愛好;最后向用戶推薦產(chǎn)品,且所推薦的產(chǎn)品大多是自己好友所喜歡與關(guān)注的產(chǎn)品[6]??梢?,該算法的心理基礎(chǔ)是預(yù)設(shè)人們通常會(huì)根據(jù)好友的推薦來選購商品。

    (四) 混合推薦算法

    混合推薦算法主要對不同類型的推薦算法的結(jié)合使用。例如,有的平臺結(jié)合選用基于內(nèi)容和基于社交網(wǎng)絡(luò)的推薦算法,而有的平臺會(huì)綜合應(yīng)用協(xié)同過濾與基于內(nèi)容的推薦算法等?;旌贤扑]算法由于可以將不同類型的推薦算法結(jié)合在一塊,彌補(bǔ)彼此之間的缺點(diǎn),因而受到諸多平臺的喜愛。

    綜上可見,個(gè)性化推薦算法主要是通過兩個(gè)步驟來完成推薦任務(wù):第一步“挖掘行為”,即挖掘用戶信息并進(jìn)行心理畫像;第二步 “推薦行為”,即根據(jù)用戶心理畫像所體現(xiàn)出的偏好,從而實(shí)施個(gè)性化推薦。但無論是“挖掘行為”還是“推薦行為”均可能被濫用,產(chǎn)生各類法律風(fēng)險(xiǎn)。

    二、個(gè)性化推薦算法的法律風(fēng)險(xiǎn)

    (一) 侵犯隱私權(quán)

    個(gè)性化推薦算法需要大數(shù)據(jù)支持,特別是與特定個(gè)人偏好相關(guān)的數(shù)據(jù),個(gè)人偏好數(shù)據(jù)往往與個(gè)人隱私息息相關(guān),如果未經(jīng)用戶同意進(jìn)行搜集和使用,則可能侵犯個(gè)人隱私權(quán)。比如在“朱某訴百度隱私權(quán)糾紛案”中,原告朱某主張被告百度未經(jīng)其明確同意,擅自搜集其在百度搜索引擎中的歷史信息,并向其推送相關(guān)廣告,謀取商業(yè)利益,屬于隱私侵權(quán)行為,進(jìn)而主張損害賠償①參見江蘇省南京市中級人民法院(2014)寧民終5028 號判決書。該案一審判決認(rèn)為百度的個(gè)性化推薦行為構(gòu)成對原告隱私權(quán)的侵犯,而二審則推翻了一審判決,認(rèn)定被告的推薦行為不構(gòu)成隱私侵權(quán)。

    在訴訟中,百度主張其所搜集的僅是網(wǎng)絡(luò)碎片化信息,根本不可能直接識別原告;其搜集的信息并未向任何人公開,且用戶主動(dòng)登錄的網(wǎng)絡(luò)空間不屬于私人領(lǐng)域;百度提供了Cookies 選擇退出機(jī)制,并在“隱私權(quán)保護(hù)聲明”中作出說明,已經(jīng)保障了原告的知情權(quán)和選擇權(quán)。

    如果從個(gè)性化推薦的角度看,百度的上述理由恐難以成立。首先,個(gè)性化推薦服務(wù)是由一系列程序支持完成,而程序是由算法和數(shù)據(jù)構(gòu)成[7],僅僅憑借Cookies 技術(shù)搜集用戶信息,離開算法的計(jì)算分析、用戶畫像,則根本不可能完成個(gè)性化推薦服務(wù)。其次,即便用戶允許平臺使用Cookies 技術(shù)搜集個(gè)人信息,但并不意味著用戶允許平臺利用算法搜集、分析、計(jì)算用戶信息。第三,盡管用戶選擇刪除Cookies 技術(shù)所存儲的瀏覽記錄,或者用戶改用不同瀏覽器訪問相同的網(wǎng)站,而被訪問網(wǎng)站的算法仍然可以繼續(xù)追蹤和收集用戶的個(gè)人信息[8]。第四,雖然百度搜集的是用戶的碎片化信息,但是平臺通過算法將諸多碎片化信息進(jìn)行聚合形成用戶畫像,仍然可以識別到現(xiàn)實(shí)生活中的網(wǎng)絡(luò)用戶。最后,百度稱用戶主動(dòng)登錄的網(wǎng)絡(luò)空間不屬于私人領(lǐng)域,但在網(wǎng)絡(luò)公共空間中同樣需要保護(hù)個(gè)人信息和個(gè)人隱私。用戶進(jìn)入網(wǎng)絡(luò)空間并不意味著放棄個(gè)人信息權(quán)利和隱私權(quán),仍然有隱私保護(hù)期待,這也是國家出臺《個(gè)人信息保護(hù)法》(以下簡稱《個(gè)保法》)的意義所在。

    可見,傳統(tǒng)隱私權(quán)保護(hù)框架在算法時(shí)代面臨著巨大的挑戰(zhàn)。平臺利用個(gè)性化推薦算法大量搜集用戶的網(wǎng)絡(luò)歷史信息,而這些信息蘊(yùn)含著當(dāng)事人教育、家庭、職業(yè)、生活等諸多方面的豐富細(xì)節(jié)。例如,用戶在網(wǎng)絡(luò)平臺中搜索有關(guān)病例、藥品等信息,雖未直接暴露其私人健康、私人基因等私密信息,但是平臺利用算法全維度收集碎片化信息進(jìn)行用戶畫像,則可以在很大程度上還原出用戶的真實(shí)情況。如果對平臺收集用戶信息的行為不加以限制,個(gè)性化推薦算法將為信息監(jiān)控提供便利,甚至成為大規(guī)模遠(yuǎn)程監(jiān)控的工具[9],讓用戶深陷算法、數(shù)據(jù)、算力等數(shù)字力量構(gòu)架的數(shù)字“圓形監(jiān)獄”,個(gè)人隱私空間逐漸趨于透明[10],用戶對個(gè)人隱私的控制力被消解。

    (二) 干擾用戶意思自治

    個(gè)性化推薦算法正以潛移默化的方式影響用戶的選擇自由,干擾用戶意思自主的形成,妨礙用戶意思自治。積極強(qiáng)化和間接建議是影響個(gè)人或者群體行為和決策的有效方式。經(jīng)濟(jì)學(xué)者泰勒與法學(xué)者桑斯坦基于助推理論提出“Nudge(輕推)”概念,意即不妨礙用戶自由選擇的前提下,引導(dǎo)用戶選擇特定的選項(xiàng)。例如,盡管青少年更喜歡甜品、漢堡等高熱量食物,但當(dāng)學(xué)校食堂將蔬菜、水果等更健康的食物擺放在近前時(shí),學(xué)生也更傾向于拿取健康食物[11]。在算法時(shí)代,算法使用人借助HTTP Cookie、Flash Cookie、Ever Cookie、Fingerprinting 等技術(shù)以及智能語音助手等設(shè)備,大規(guī)模地收集用戶的個(gè)人信息,并基于這些信息進(jìn)行用戶心理畫像,通過算法計(jì)算分析出用戶的興趣愛好,進(jìn)而有針對性地精準(zhǔn)推送,誘導(dǎo)用戶做出選擇??梢?,個(gè)性化推薦算法在引誘用戶做出選擇方面與“輕推”相比,能獲得更好的效果,因而也被學(xué)者稱為“Hypernudge(超輕推)”[12]。實(shí)踐中,近期流行的微信小游戲“某羊”通過算法收集游戲玩家在微信上留存的信息,借此進(jìn)行用戶畫像,當(dāng)游戲玩家通關(guān)失敗需要復(fù)活時(shí),便向用戶推送個(gè)性化的廣告誘導(dǎo)用戶進(jìn)入其“金主”的領(lǐng)域內(nèi)購買商品或服務(wù),就是算法“助推”的典型應(yīng)用。

    助推理論揭示了一個(gè)真相,即可以通過塑造環(huán)境來影響個(gè)人選擇。由此可見,雖然平臺未直接迫使用戶做出選擇,但是個(gè)性化推薦算法已然干擾到用戶意思自主的形成。因?yàn)橛伤懔?、算法、?shù)據(jù)構(gòu)成的環(huán)境在網(wǎng)絡(luò)空間中具有很重要的規(guī)制作用,無論用戶是否意識到環(huán)境架構(gòu)的存在,均能發(fā)生作用[10]51,致使用戶最終做出的選擇并非出自其內(nèi)心的真實(shí)意思。

    (三) 信息繭房

    所謂信息繭房,是指人們只關(guān)注自己感興趣的或者令自己身心愉快的信息,長此以往將自己深陷信息孤島的現(xiàn)象[13]。個(gè)性化推薦算法是一種信息過濾與分發(fā)的工具。人們越是對某類觀點(diǎn)表示贊同、進(jìn)行收藏、點(diǎn)擊喜歡,個(gè)性化推薦算法便愈發(fā)向其推送同質(zhì)性的內(nèi)容,而與用戶觀點(diǎn)相左的聲音已被過濾掉,故帕利瑟在一次演講中稱其為“過濾泡泡”[14]。顯然,推薦算法正消融傳統(tǒng)的信息分發(fā)方式,通過算法賦權(quán)重塑了平臺和用戶之間的權(quán)力話語體系[15],使得信息繭房問題變得愈發(fā)嚴(yán)重,讓用戶深陷令其愉悅的信息繭房中。當(dāng)信息繭房一旦形成,便使用戶禁錮在閉環(huán)的信息視野里,極易造成認(rèn)知偏差、刻板印象、群體極化[16]。

    其實(shí),用戶的行為邏輯并非是一勞永逸地以線性方式遵循過去的行為方式一直走下去,有時(shí)用戶還會(huì)因?yàn)槭只鴮δ撤N內(nèi)容誤贊或收藏,而算法對此種并非用戶內(nèi)心真實(shí)意思的表示行為無從知曉或故意忽略,一味地依據(jù)用戶過去的興趣愛好進(jìn)行內(nèi)容分發(fā)。推薦算法之所以如此設(shè)計(jì),源于流量競爭和商業(yè)利益至上。然而,互聯(lián)網(wǎng)信息服務(wù)不應(yīng)以一味取悅用戶為目標(biāo),其本身還應(yīng)承載著啟發(fā)民智、保障公民知情權(quán)等價(jià)值期許。

    公眾有權(quán)利知悉與其切身利益密切相關(guān)的信息,上到國家政務(wù)下到街口小道,但基于用戶興趣愛好的單一推薦算法使得用戶深陷自己感興趣的信息繭房中,而對其他領(lǐng)域中關(guān)涉其利益的信息缺乏必要的了解,使其誤認(rèn)為現(xiàn)實(shí)世界的真相就是如此,從而間接地減損了其對外界事情的知情權(quán)[17]。因?yàn)樵诖蠖鄶?shù)情況下,用戶對于平臺何時(shí)、如何、怎樣收集其在網(wǎng)絡(luò)中留痕的個(gè)人信息處于一種“不知曉”的狀態(tài)。即便用戶知情允許平臺收集其個(gè)人信息,其對算法如何處理其個(gè)人信息,如何完成個(gè)性化推薦往往也是渾然不知?!八惴ê谙洹痹斐闪藝?yán)重的信息不對稱,干擾用戶對真實(shí)世界的認(rèn)知,不斷侵蝕用戶的知情權(quán)。

    (四) 算法歧視

    所謂歧視,意即沒有合理根據(jù)而實(shí)施區(qū)別對待,這意味著不平等和非正義。個(gè)性化推薦算法的邏輯會(huì)生成針對特殊個(gè)體的個(gè)性化規(guī)則,這種規(guī)則會(huì)突破一般的法律秩序,產(chǎn)生“馬太效應(yīng)”,進(jìn)而侵害個(gè)體的平等權(quán),應(yīng)當(dāng)引起法學(xué)界的關(guān)注[18]。學(xué)者[19]研究了個(gè)性化推薦廣告與求職者性別之間的關(guān)系,發(fā)現(xiàn)谷歌推薦算法推薦給男性求職者高薪職位的次數(shù)遠(yuǎn)遠(yuǎn)高于女性。還有些商家通過算法搜集、匯總、分析用戶的個(gè)人信息并進(jìn)行用戶畫像,從而得到消費(fèi)者最大支付意愿信息,以千人千價(jià)的方式向不同的用戶推送相同的產(chǎn)品,形成了違反公平交易原則的價(jià)格歧視。

    算法歧視的形成邏輯與傳統(tǒng)社會(huì)中的歧視具有高度同源性。任何一種社會(huì)均普遍存在歧視現(xiàn)象,歧視并非是算法技術(shù)應(yīng)用所帶來的“特產(chǎn)”。雖然個(gè)性化推薦由算法完成,然而算法卻是由人這個(gè)主體所設(shè)計(jì)。不同主體對相同事物會(huì)形成不同的看法,基于人的主觀性因素,算法設(shè)計(jì)者不可避免地會(huì)自覺不自覺將自身的主觀偏見帶入到算法設(shè)計(jì)過程中,從而導(dǎo)致歧視性結(jié)果的發(fā)生。

    如前所述,僅僅憑借算法而沒有數(shù)據(jù)的加持,平臺根本不可能完成個(gè)性化推薦。因?yàn)樗惴ㄊ菣C(jī)器學(xué)習(xí)的核心,而機(jī)器學(xué)習(xí)離不開對數(shù)據(jù)的收集、匯總與分析;如果將帶有歧視性的數(shù)據(jù)輸入算法模型中,那么同樣會(huì)導(dǎo)致“偏見進(jìn),偏見出”的現(xiàn)象。隨著人工智能神經(jīng)網(wǎng)絡(luò)、機(jī)器深度學(xué)習(xí)等技術(shù)的發(fā)展,算法正朝著自主化、脫離人控制的趨勢運(yùn)行。即便是算法模型的最初設(shè)計(jì)者,也很難預(yù)知算法會(huì)做出什么樣的決策。因此,機(jī)器學(xué)習(xí)很容易模仿人類偏見的生成邏輯,從而導(dǎo)致歧視的發(fā)生。算法歧視不僅侵害了公民平等權(quán)等基本權(quán)利,而且還導(dǎo)致不同群體間的信息資源分配不公,進(jìn)一步擴(kuò)大數(shù)字鴻溝,而深陷信息資源分配不公地帶的群體,在數(shù)字經(jīng)濟(jì)時(shí)代正逐漸陷入“數(shù)字貧困”狀態(tài),危及數(shù)字正義,故而亟需法律作出回應(yīng)。

    三、個(gè)性化推薦算法法律規(guī)制的原則

    在技術(shù)中立的語境下,個(gè)性化推薦算法產(chǎn)生的風(fēng)險(xiǎn)極易被忽略。對個(gè)性化推薦算法進(jìn)行規(guī)制也往往遭到“技術(shù)烏托邦”愛好者的反對。然而推薦算法帶來的個(gè)人信息濫用、信息繭房、算法歧視等風(fēng)險(xiǎn),的確會(huì)給用戶造成了實(shí)質(zhì)性的損害。筆者認(rèn)為,應(yīng)當(dāng)以誠信原則、自主原則、公正原則、比例原則為指導(dǎo),對個(gè)性化推薦算法帶來的法律風(fēng)險(xiǎn)進(jìn)行規(guī)制,以平衡算法開發(fā)者、應(yīng)用者、用戶等主體之間的利益關(guān)系。

    (一) 誠信原則

    所謂誠信原則,是指“一切法律關(guān)系,應(yīng)各就其具體的情形,依正義衡平之理念,加以調(diào)整,而求其具體的社會(huì)妥當(dāng)”[20]。換言之,誠信原則就是把雙方當(dāng)事人對立的利益加以公平的較量而求其中道。分開來說,誠實(shí)是尊重相對人的利益,信用是尊重交易的安全。

    個(gè)性化推薦算法的應(yīng)用體現(xiàn)了公民的個(gè)體權(quán)利與企業(yè)的商業(yè)利益二者之間的相互博弈。企業(yè)希望不斷收集用戶的信息以提高自己的服務(wù)效率,攫取更多的商業(yè)利益,而用戶則不希望個(gè)人信息被過分收集以便維護(hù)個(gè)體權(quán)益[21]。個(gè)性化推薦算法應(yīng)用之所以會(huì)產(chǎn)生前述種種風(fēng)險(xiǎn),根本原因在于當(dāng)事人之間法律關(guān)系的失衡。在二者博弈過程中,企業(yè)憑借技術(shù)的優(yōu)勢操縱算法,使利益的天平逐漸朝著資本傾斜,人似乎漸漸不再是算法的主體,反而成為算法下可被預(yù)測和計(jì)算的“客體”,人類的主體性地位在算法社會(huì)下正變得岌岌可危。這種法律利益的失衡與主客體倒置現(xiàn)象,違背了公平正義,損害了用戶的個(gè)人信息權(quán)利和隱私權(quán)等正當(dāng)權(quán)益,需要基于誠信原則予以矯正,對濫用個(gè)性化推薦算法的行為予以法律否定和制裁。

    (二) 自主原則

    自主原則是指個(gè)體按照自我意愿獨(dú)立做出決定并為自己負(fù)責(zé)的能力[22]。學(xué)界通說認(rèn)為,自主原則源于康德的自由理論。康德認(rèn)為人是自主且理性的人,人作為具有理性能力的存在者,能做出符合理性的選擇,并對自己的行動(dòng)負(fù)責(zé),故應(yīng)當(dāng)給予人類足夠的空間和自由去選擇,把人當(dāng)作目的而不是手段去尊重[23]。

    信息多樣性被認(rèn)為是實(shí)現(xiàn)個(gè)體自主的有利條件,然而個(gè)性化推薦算法導(dǎo)致的信息繭房將一些對個(gè)體重要但是其不感興趣的信息排除在外,嚴(yán)重地窄化了用戶的信息視野,進(jìn)而阻礙用戶進(jìn)行自主決策[24]。此外,隨著機(jī)器深度學(xué)習(xí)的縱向發(fā)展,算法只需借助初始模型而不需后期“投喂”,便可以自己學(xué)習(xí)進(jìn)行推薦、做出決策,這無疑會(huì)增強(qiáng)算法的自主性而削弱人的主體性地位。因此,有必要在算法的發(fā)展應(yīng)用過程中確立自主原則,充分尊重人的主體性地位,構(gòu)建以人為本的算法框架,以便算法更好地服務(wù)于人類社會(huì)。2019 年G20 部長級會(huì)議通過《G20貿(mào)易和數(shù)字經(jīng)濟(jì)聲明》,首創(chuàng)“G20 人工智能原則”,強(qiáng)調(diào)發(fā)展以人為本的人工智能,指出人工智能各參與方應(yīng)采取措施保留人類自主決定的能力[25]。2021年我國國家新一代人工智能治理專業(yè)委員會(huì)發(fā)布了《新一代人工智能倫理規(guī)范》,列出了人工智能各類活動(dòng)應(yīng)當(dāng)遵循的六種基本倫理規(guī)范,其中也包括“尊重與保障自主原則”,強(qiáng)調(diào)保障人類擁有充分自主決策權(quán),確保人工智能始終處于人類控制之下。

    (三) 公正原則

    公正作為人們被平等對待、各得其所的道德期許,是社會(huì)共同體長久維系的原因所在。羅爾斯認(rèn)為,社會(huì)公正是社會(huì)制度的首要價(jià)值,其在《正義論》中提出兩大正義原則:一為自由平等原則,即每個(gè)人對與所有人所擁有的最普遍的自由體系相容的類似自由體系都應(yīng)有一種平等的權(quán)利;二為差別原則,即社會(huì)及經(jīng)濟(jì)中的不平等應(yīng)妥善安排以使得有利于最少受惠者的最大利益且職務(wù)放開[26]。

    前文提及的商家利用算法分析用戶的支付意愿,進(jìn)而以千人千價(jià)的方式向用戶推送產(chǎn)品的“殺熟”做法即違反了羅爾斯的第一正義原則。按照正義的第一原則,個(gè)性化推薦算法應(yīng)當(dāng)平等地對待每一個(gè)人,不因用戶的性別、種族、教育背景、財(cái)富狀況等因素的不同而實(shí)施歧視性待遇。根據(jù)正義的第二原則,公正原則是一種實(shí)質(zhì)正義,其本身就蘊(yùn)含著一定的正當(dāng)性“偏見”,體現(xiàn)為使社會(huì)中處境最不利的成員獲得最大的利益,故公正原則并非絕對的平等,絕對地去“偏見化”,而是以實(shí)質(zhì)正義為價(jià)值導(dǎo)向[27]。實(shí)踐中,有的大學(xué)利用算法收集學(xué)生在食堂的消費(fèi)記錄,分析學(xué)生的消費(fèi)能力,從而以此為憑借發(fā)放助學(xué)金。這種算法使處于不利處境的學(xué)生獲得了資助,又避免了傷害貧困學(xué)生的自尊心,可謂是符合正義第二原則的做法。因此,對個(gè)性化推薦算法的治理,既要規(guī)制算法以防不公現(xiàn)象的發(fā)生,又要利用算法的技術(shù)優(yōu)勢,彌補(bǔ)社會(huì)裂痕,實(shí)現(xiàn)實(shí)質(zhì)正義。

    (四) 比例原則

    比例原則起源于德國,最初是對限制公民權(quán)利之國家權(quán)力的限制,即“權(quán)利限制的限制”,后來作為目的理性的集中體現(xiàn),貫穿于公法與私法之中,在私法中得到廣泛應(yīng)用[28]。在公法上,如我國《行政處罰法》規(guī)定,實(shí)施行政處罰應(yīng)當(dāng)與違法行為的事實(shí)、行為、危害程度等相當(dāng)。在私法上,如我國《民法典》規(guī)定,緊急避險(xiǎn)采取措施不應(yīng)超過必要的限度。此外,兼具公私法性質(zhì)的《個(gè)保法》也明確信息處理者要依據(jù)比例原則處理個(gè)人信息。當(dāng)個(gè)性化推薦算法導(dǎo)致公民個(gè)人權(quán)利與企業(yè)商業(yè)利益二者失衡時(shí),為再平衡二者之間的關(guān)系,需引入比例原則。我國目前有關(guān)算法的規(guī)范以行政規(guī)范為主,引入比例原則顯得尤為重要。

    比例原則由必要性、適當(dāng)性和均衡性三個(gè)子原則構(gòu)成。根據(jù)必要性原則,技術(shù)與經(jīng)濟(jì)的發(fā)展是絕對不能以剝奪個(gè)體權(quán)利為代價(jià),個(gè)性化推薦算法應(yīng)當(dāng)選取對用戶權(quán)益損害最小的方式完成推送。在能通過收集一般信息即可完成服務(wù)的情況下,就不能收集用戶的敏感信息。根據(jù)適當(dāng)性原則,在對個(gè)性化推薦算法進(jìn)行規(guī)制的同時(shí),應(yīng)當(dāng)有助于積極推動(dòng)人工智能的健康發(fā)展,促進(jìn)人工智能產(chǎn)業(yè)商業(yè)價(jià)值的實(shí)現(xiàn),主要體現(xiàn)在對公民個(gè)體權(quán)利的保護(hù)不能“畸形化”;人們在享受技術(shù)帶來的巨大紅利時(shí),應(yīng)當(dāng)承認(rèn)適當(dāng)?shù)娘L(fēng)險(xiǎn)存在。根據(jù)均衡性原則,個(gè)性化推薦算法消耗的成本與獲得的利益應(yīng)合乎比例。具體而言,在保障用戶正當(dāng)權(quán)益的前提下,可以運(yùn)用推薦算法謀求數(shù)據(jù)財(cái)產(chǎn)價(jià)值的最大化,破除資本利用技術(shù)優(yōu)勢所構(gòu)建起的數(shù)據(jù)壟斷屏障。

    四、個(gè)性化推薦算法法律風(fēng)險(xiǎn)規(guī)制的具體路徑

    算法技術(shù)的應(yīng)用在給人們帶來效益的同時(shí),也亟需法律對算法風(fēng)險(xiǎn)進(jìn)行必要的干預(yù)與規(guī)制,使其在法治的框架內(nèi)運(yùn)行。目前,推薦算法帶來的風(fēng)險(xiǎn)已引起世界各國的廣泛關(guān)注,一些國家和國際組織紛紛立法以引導(dǎo)算法的良性使用。例如,歐盟出臺《一般數(shù)據(jù)保護(hù)條例》(General Data Protection Regulation,GDPR),賦予公民個(gè)體數(shù)據(jù)權(quán)利束以對抗算法濫用。美國公布的《算法問責(zé)法》草案通過對算法使用者進(jìn)行問責(zé)的方式以規(guī)制算法的應(yīng)用。我國對個(gè)性化推薦算法的法律規(guī)制主要體現(xiàn)在個(gè)人信息保護(hù)、數(shù)據(jù)安全、廣告運(yùn)營等規(guī)范中。2022 年3 月1 日正式實(shí)施的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》(以下簡稱《算法推薦管理規(guī)定》)是我國首部以推薦算法服務(wù)為規(guī)制對象的規(guī)范性文件,但該規(guī)定的相關(guān)條款過于原則,缺乏可操作性。而其他法律文件中雖有涉及推薦算法的規(guī)定,但未觸碰到個(gè)性化推薦算法的核心。因此我國個(gè)性化推薦算法的治理有必要在借鑒域外經(jīng)驗(yàn)的基礎(chǔ)上,沿著更精細(xì)化的路徑前進(jìn)。

    (一) 基于開放的隱私觀強(qiáng)化網(wǎng)絡(luò)隱私保護(hù)

    通常認(rèn)為,隱私權(quán)以生活安寧和私人秘密為基本內(nèi)容[29]。隨著信息通信技術(shù)的發(fā)展,將隱私限于秘密或者獨(dú)處權(quán)利的傳統(tǒng)隱私權(quán)觀念,已不能適應(yīng)現(xiàn)實(shí)經(jīng)濟(jì)社會(huì)的需要,無法面對算法時(shí)代的挑戰(zhàn)。于是有學(xué)者[30]提出隱私“控制論”,強(qiáng)調(diào)個(gè)體對自我隱私擁有絕對的控制力。此種觀點(diǎn)可謂是自由主義的自主原則的延伸,但這些觀點(diǎn)均是建立在私人領(lǐng)域與公共領(lǐng)域之間具有明顯界分的基礎(chǔ)之上。然而在由代碼、數(shù)據(jù)等組成的數(shù)字空間中,傳統(tǒng)的私人領(lǐng)域與公共領(lǐng)域的二元界限變得更加模糊不清。例如,許多門戶網(wǎng)站既包括公眾參與政治的公共領(lǐng)域,也存在用戶分享個(gè)人生活動(dòng)態(tài)的私人領(lǐng)域。

    在開放的網(wǎng)絡(luò)環(huán)境下,公開信息與隱私信息的界限也更加模糊。用戶在網(wǎng)絡(luò)平臺上分享自己的觀點(diǎn)和個(gè)人生活動(dòng)態(tài)本屬于公開信息,但將用戶的觀點(diǎn)和個(gè)人生活動(dòng)態(tài)等收集起來利用算法進(jìn)行用戶畫像,則可能挖掘用戶隱私。某個(gè)人某日出現(xiàn)在飯館等公共場所不屬于私密信息,但攝像頭持續(xù)監(jiān)控下的個(gè)人行蹤則可能涉及個(gè)人隱私。為此,筆者建議將傳統(tǒng)的地緣隱私觀代之以開放的隱私觀。按照開放的隱私觀,雖然網(wǎng)絡(luò)用戶公開的觀點(diǎn)和個(gè)人生活動(dòng)態(tài)不屬于隱私,其網(wǎng)絡(luò)瀏覽記錄、電子商務(wù)消費(fèi)記錄也難與隱私等同,但是平臺利用算法將個(gè)人信息收集起來進(jìn)行畫像所形成的預(yù)測結(jié)論,如涉及用戶隱私,則應(yīng)納入到隱私權(quán)的保護(hù)范圍。換言之,在開放網(wǎng)絡(luò)環(huán)境下,對于公開的個(gè)人信息,人們同樣有合理的隱私期待。這正是誠信原則所要求的對當(dāng)事人利益的尊重和對交易安全的尊重。

    (二) 強(qiáng)化算法告知義務(wù)與用戶拒絕權(quán)利

    個(gè)性化推薦是一種個(gè)人信息處理活動(dòng),離不開算法與數(shù)據(jù)。平臺作為個(gè)人信息處理者,其與個(gè)人信息主體之間是一種信息不對稱、地位不對等的關(guān)系。為了平衡二者之間的利益關(guān)系,以實(shí)現(xiàn)信息處理過程中的實(shí)質(zhì)正義,需要強(qiáng)化平臺的義務(wù),賦予用戶相應(yīng)的權(quán)利,以矯正雙方主體之間不對等的地位,保障用戶的自主選擇權(quán)。

    首先,應(yīng)強(qiáng)化平臺的告知義務(wù)。既然個(gè)性化推薦算法作為一種個(gè)人信息處理方式,那么平臺自然應(yīng)當(dāng)遵守《個(gè)保法》第十七條所確立的個(gè)人信息處理者的告知義務(wù)。此外,《算法推薦管理規(guī)定》第十六條也明確規(guī)定,算法推薦服務(wù)提供者應(yīng)當(dāng)履行告知用戶算法推薦服務(wù)的義務(wù)。但是,為了保障用戶的知情權(quán),平臺的告知義務(wù)并非僅限于此。筆者認(rèn)為,平臺還應(yīng)當(dāng)履行告知用戶個(gè)性化推薦算法處理其個(gè)人信息可能對其造成的影響的義務(wù)。例如,歐盟GDPR 規(guī)定,平臺應(yīng)當(dāng)告知利用算法處理數(shù)據(jù)對數(shù)據(jù)主體造成的預(yù)期后果。

    其次,應(yīng)便利用戶行使算法應(yīng)用拒絕權(quán)。我國《個(gè)保法》第二十四條第二款規(guī)定了用戶的算法拒絕權(quán)。據(jù)此,當(dāng)用戶不愿意算法干擾自主選擇時(shí),應(yīng)當(dāng)允許用戶拒絕平臺的算法推薦;當(dāng)用戶不愿意身陷令其身心愉悅的信息繭房時(shí),也應(yīng)當(dāng)允許用戶行使算法拒絕權(quán),從而確保信息來源的多樣性;甚至,應(yīng)當(dāng)允許用戶設(shè)定算法應(yīng)用的時(shí)間段,如晚上10 點(diǎn)后自動(dòng)關(guān)閉算法應(yīng)用,以免刷屏上癮熬夜傷身??梢?,用戶的算法拒絕權(quán)是對平臺利用算法肆意地收集并濫用個(gè)人信息的限制,應(yīng)當(dāng)保障用戶能夠便捷地行使該權(quán)利。

    (三) 完善算法解釋權(quán)

    為了應(yīng)對算法歧視問題,不少國家立法規(guī)定了算法解釋條款。歐盟GDPR 第十三條至十五條規(guī)定數(shù)據(jù)控制者有義務(wù)提供給公民個(gè)人算法決策詳細(xì)的解釋。法國《數(shù)字共和國法》規(guī)定行政機(jī)關(guān)利用算法作出行政決定時(shí),相對人有權(quán)要求其對算法作出說明[31]。而我國《個(gè)保法》第二十四條與《算法推薦管理規(guī)定》第十二條也對算法解釋作出了規(guī)定。但是有關(guān)算法解釋權(quán)的構(gòu)成要件、內(nèi)容、方式等問題,無論是學(xué)術(shù)界還是實(shí)務(wù)界均存在較大爭議。

    根據(jù)我國《個(gè)保法》第二十四條第三款的規(guī)定,算法解釋權(quán)的構(gòu)成要件包括以下兩個(gè)方面:第一,通過自動(dòng)化決策方式作出決定;第二,該決定對個(gè)體權(quán)益造成重大影響。此處的爭議有二:(1)是否只有僅憑算法作出決策時(shí),用戶才能行使解釋權(quán)?(2)重大影響是否僅含不利影響?筆者對此均持否定態(tài)度,因?yàn)殡m然算法技術(shù)不斷迭代升級,但信息分發(fā)也并非完全僅憑算法完成。例如,一些頭部互聯(lián)網(wǎng)公司設(shè)有信息審核員職位,崗位職責(zé)就是在算法提供參考決策的前提下,人為審核并干預(yù)信息的分發(fā)。因此,即便用戶最終看到的是經(jīng)過人工干預(yù)的結(jié)果,但只要算法在最終的推薦決策中起到重要影響,就應(yīng)當(dāng)成為算法解釋權(quán)的適用對象。同時(shí),如果嚴(yán)格要求只有算法決策對用戶權(quán)益造成不利影響時(shí),用戶才能行使算法解釋權(quán),這無疑將會(huì)給用戶增加負(fù)擔(dān)。以信息繭房為例,很多用戶深陷令其愉悅的信息繭房之中,很難感受到信息繭房對其造成的不利影響,即便能感知到,而由于平臺與用戶之間的“信息鴻溝”,讓其承擔(dān)遭受不利影響的證明責(zé)任恐怕也難以實(shí)現(xiàn)。

    算法解釋權(quán)的目的在于保障用戶的知情權(quán)與救濟(jì)權(quán)。用戶行使算法解釋權(quán),是為了搞清楚個(gè)性化推薦算法產(chǎn)生信息繭房、隱私、歧視等風(fēng)險(xiǎn)的原因,以尋求損害救濟(jì),并無意于糾結(jié)算法技術(shù)的細(xì)枝末節(jié)。因此,筆者認(rèn)為,《算法推薦管理規(guī)定》第十六條關(guān)于公示算法推薦的基本原理、運(yùn)行機(jī)制等的規(guī)定不夠全面。公示算法的運(yùn)行機(jī)制可能會(huì)侵犯算法提供者的商業(yè)秘密,同時(shí)易滋生競爭對手以行使算法解釋權(quán)之名而為不正當(dāng)競爭之實(shí)的現(xiàn)象。對此,歐盟GDPR 基于誠信和公正原則,強(qiáng)調(diào)算法解釋權(quán)的行使不得侵害企業(yè)的知識產(chǎn)權(quán)與商業(yè)秘密。我國《最高人民法院關(guān)于審理侵犯商業(yè)秘密民事案件適用法律若干問題的規(guī)定》也將算法納入到商業(yè)秘密的保護(hù)范圍內(nèi)。因此,在允許用戶行使算法解釋權(quán)的前提下,應(yīng)當(dāng)對算法解釋權(quán)進(jìn)行一定的限制,允許平臺在面對用戶提出解釋算法核心代碼、主要運(yùn)行機(jī)制等涉及企業(yè)核心商業(yè)秘密時(shí),提出合理性抗辯。同時(shí)應(yīng)基于比例原則,允許采取對平臺商業(yè)秘密損害較小的方式向算法相對人解釋算法決策的依據(jù)、可能對其造成的影響等,以使用戶在遭受歧視性對待時(shí),獲得可救濟(jì)的機(jī)會(huì)。

    (四) 構(gòu)建算法審計(jì)制度

    近年來隨著算法尤其是深度學(xué)習(xí)算法的廣泛應(yīng)用,算法審計(jì)應(yīng)運(yùn)而生。所謂算法審計(jì),是指審計(jì)主體對被審計(jì)者所使用的算法模型、數(shù)據(jù)、算法研發(fā)等技術(shù)活動(dòng)的風(fēng)險(xiǎn)、合規(guī)進(jìn)行審核、評估,以監(jiān)督算法正當(dāng)使用的活動(dòng)。世界各國立法也多有提及算法審計(jì),如美國紐約州立法明文規(guī)定雇主在招聘過程中使用算法時(shí),必須進(jìn)行年度算法歧視審計(jì),否則不可在招聘過程中使用算法進(jìn)行簡歷評估[32]。遺憾的是,目前尚未形成一套完備的、體系化的算法審計(jì)制度。結(jié)合審計(jì)學(xué)領(lǐng)域的審計(jì)實(shí)踐經(jīng)驗(yàn),一套完備的算法審計(jì)制度應(yīng)由算法審計(jì)主體、審計(jì)對象、審計(jì)方法、審計(jì)后果四個(gè)要素組成。

    從算法審計(jì)的發(fā)展歷史來看,早期的算法審計(jì)主要關(guān)注算法模型、數(shù)據(jù),重點(diǎn)衡量算法的效率與運(yùn)行成本。伴隨著機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)算法的發(fā)展,愈發(fā)趨近自主化的算法帶來了諸多不確定的風(fēng)險(xiǎn),算法審計(jì)的關(guān)注點(diǎn)從早期的算法效能逐漸轉(zhuǎn)變至數(shù)據(jù)保護(hù)、數(shù)據(jù)信息來源多樣性、算法公平、算法可解釋性等內(nèi)容[33]。

    算法審計(jì)的目的就是為了審查算法應(yīng)用的合法性與合理性,保持算法的可問責(zé)性。當(dāng)算法審計(jì)主體檢測出個(gè)性化推薦算法存在導(dǎo)致或可能導(dǎo)致算法歧視、信息繭房等法律風(fēng)險(xiǎn)時(shí),有權(quán)要求算法服務(wù)提供者對此進(jìn)行陳述并進(jìn)行修改,要求算法服務(wù)提供者將尊重用戶主體地位的“自主原則”目標(biāo)嵌入到算法設(shè)計(jì)之中,如設(shè)計(jì)個(gè)性化推薦算法一鍵關(guān)閉裝置。同時(shí)可以要求算法應(yīng)用者在算法設(shè)計(jì)之時(shí),通過修改參數(shù)等方式貫徹“多樣性暴露原則”,確保用戶獲得的信息具有多樣來源性,從而戳破“過濾泡泡”。如果算法應(yīng)用者拒不改正,則出具否定的審計(jì)意見,并將審計(jì)結(jié)論上報(bào)給網(wǎng)信、公安、市場監(jiān)管等主管部門由其進(jìn)行處理。

    五、結(jié)語

    個(gè)性化推薦算法技術(shù)的更新迭代,極大地便利了人類的社會(huì)生活,也為互聯(lián)網(wǎng)經(jīng)濟(jì)的發(fā)展注入新的活力[34]。而技術(shù)的賦權(quán),使得擁有算法核心技術(shù)的資本操縱著算法時(shí)代的話語權(quán)體系。人們在接受個(gè)性化推薦服務(wù)的同時(shí),也被動(dòng)地成為了被算法規(guī)制的“客體”。隱私的侵犯、知情權(quán)的減損、平等與非歧視的落空等種種風(fēng)險(xiǎn),均體現(xiàn)了個(gè)性化推薦算法的兩面性。為了平衡算法服務(wù)提供者與用戶之間的利益關(guān)系,一種合乎邏輯的規(guī)制路徑是在誠信、自主、公正、比例原則的指引下,強(qiáng)化算法使用人的義務(wù)與用戶的權(quán)利,合理界定算法的權(quán)力邊界,防止個(gè)性化推薦算法被濫用,以便高效公正調(diào)配沖突各方利益,通過算法審計(jì)引導(dǎo)個(gè)性化推薦算法在法治的框架下被正確使用。

    猜你喜歡
    個(gè)性化原則算法
    堅(jiān)持個(gè)性化的寫作
    文苑(2020年4期)2020-05-30 12:35:12
    基于MapReduce的改進(jìn)Eclat算法
    Travellng thg World Full—time for Rree
    進(jìn)位加法的兩種算法
    新聞的個(gè)性化寫作
    新聞傳播(2018年12期)2018-09-19 06:27:10
    堅(jiān)守原則,逐浪前行
    上汽大通:C2B個(gè)性化定制未來
    一種改進(jìn)的整周模糊度去相關(guān)算法
    無罪推定原則的理解與完善
    滿足群眾的個(gè)性化需求
    巨乳人妻的诱惑在线观看| 亚洲国产中文字幕在线视频| 亚洲国产欧美网| 女人被躁到高潮嗷嗷叫费观| 人人妻人人爽人人添夜夜欢视频| 十八禁人妻一区二区| 国产激情久久老熟女| 国产在视频线精品| 老熟女久久久| 女性生殖器流出的白浆| bbb黄色大片| av一本久久久久| 色老头精品视频在线观看| 国产日韩欧美亚洲二区| 国产精品av久久久久免费| 欧美人与性动交α欧美精品济南到| 搡老乐熟女国产| 国产在视频线精品| 亚洲欧美色中文字幕在线| 老司机影院毛片| 69精品国产乱码久久久| 国产99久久九九免费精品| 一级a爱视频在线免费观看| 国产xxxxx性猛交| 欧美日韩亚洲综合一区二区三区_| 热99re8久久精品国产| 久久99热这里只频精品6学生| 国产亚洲av高清不卡| 亚洲国产看品久久| 亚洲精华国产精华精| 国产欧美日韩综合在线一区二区| 色尼玛亚洲综合影院| 99九九在线精品视频| 又黄又粗又硬又大视频| 国产不卡一卡二| 99国产综合亚洲精品| 热99re8久久精品国产| 欧美国产精品一级二级三级| a级毛片在线看网站| 99久久人妻综合| 精品视频人人做人人爽| 久久av网站| 精品一品国产午夜福利视频| 久热这里只有精品99| 人成视频在线观看免费观看| 欧美大码av| 国产精品免费视频内射| 国产av一区二区精品久久| 99国产精品一区二区蜜桃av | 91麻豆av在线| 亚洲va日本ⅴa欧美va伊人久久| 99国产极品粉嫩在线观看| 女性生殖器流出的白浆| 免费不卡黄色视频| 在线 av 中文字幕| 国产不卡av网站在线观看| 亚洲av国产av综合av卡| 人人妻人人添人人爽欧美一区卜| 老熟妇仑乱视频hdxx| 99在线人妻在线中文字幕 | 黄色a级毛片大全视频| 一区二区三区激情视频| 亚洲中文av在线| 99精品久久久久人妻精品| 亚洲精品av麻豆狂野| 欧美日韩亚洲高清精品| 大陆偷拍与自拍| e午夜精品久久久久久久| 亚洲成人手机| 啦啦啦免费观看视频1| 国产免费福利视频在线观看| 高清在线国产一区| 女人被躁到高潮嗷嗷叫费观| 91av网站免费观看| 午夜久久久在线观看| 国产精品一区二区精品视频观看| 亚洲国产看品久久| 汤姆久久久久久久影院中文字幕| 午夜免费鲁丝| av天堂在线播放| 亚洲精品国产精品久久久不卡| 午夜精品久久久久久毛片777| 99精品在免费线老司机午夜| 男人舔女人的私密视频| 亚洲七黄色美女视频| 亚洲精品乱久久久久久| 国产精品99久久99久久久不卡| av在线播放免费不卡| 99国产精品一区二区蜜桃av | 91九色精品人成在线观看| 亚洲精品在线观看二区| 69av精品久久久久久 | 亚洲成人国产一区在线观看| 国产精品偷伦视频观看了| 两个人看的免费小视频| 嫩草影视91久久| 俄罗斯特黄特色一大片| 一本色道久久久久久精品综合| 欧美人与性动交α欧美软件| 在线永久观看黄色视频| 操出白浆在线播放| 亚洲专区字幕在线| 久热这里只有精品99| 丝袜人妻中文字幕| 黄色毛片三级朝国网站| 十八禁高潮呻吟视频| 中文字幕人妻丝袜制服| 成人影院久久| 伊人久久大香线蕉亚洲五| 一个人免费在线观看的高清视频| 亚洲综合色网址| 老司机在亚洲福利影院| 男女床上黄色一级片免费看| 夜夜夜夜夜久久久久| 欧美人与性动交α欧美软件| 亚洲成人国产一区在线观看| 亚洲伊人久久精品综合| 国产精品免费视频内射| 中文字幕人妻丝袜一区二区| 中文字幕人妻熟女乱码| 欧美人与性动交α欧美软件| 亚洲av美国av| 日本一区二区免费在线视频| 女性被躁到高潮视频| 国产主播在线观看一区二区| tocl精华| 免费日韩欧美在线观看| 一二三四社区在线视频社区8| bbb黄色大片| 精品久久久精品久久久| 国产淫语在线视频| 一区在线观看完整版| 男男h啪啪无遮挡| 日韩欧美国产一区二区入口| av超薄肉色丝袜交足视频| 久久影院123| 老司机靠b影院| 久久精品人人爽人人爽视色| 亚洲免费av在线视频| 热99国产精品久久久久久7| 日韩精品免费视频一区二区三区| 午夜精品久久久久久毛片777| 精品卡一卡二卡四卡免费| 波多野结衣av一区二区av| 久久久久久久久久久久大奶| 午夜福利视频精品| 亚洲精品久久成人aⅴ小说| 最新的欧美精品一区二区| 午夜免费鲁丝| 国产不卡一卡二| 国产色视频综合| 美女福利国产在线| 天天躁狠狠躁夜夜躁狠狠躁| 久久久久国内视频| 一区二区三区国产精品乱码| 91成人精品电影| 精品福利永久在线观看| 中文字幕av电影在线播放| 精品亚洲乱码少妇综合久久| 1024视频免费在线观看| 国产成人精品久久二区二区免费| 欧美 日韩 精品 国产| 丝瓜视频免费看黄片| 嫩草影视91久久| 一区福利在线观看| 国产高清激情床上av| 一个人免费在线观看的高清视频| 国产精品成人在线| 色综合欧美亚洲国产小说| 咕卡用的链子| 男人舔女人的私密视频| 一进一出好大好爽视频| 日韩欧美免费精品| 69精品国产乱码久久久| 久久久精品94久久精品| 咕卡用的链子| 欧美亚洲日本最大视频资源| 国产xxxxx性猛交| 精品久久久久久久毛片微露脸| 亚洲精品自拍成人| 久久性视频一级片| 国产精品亚洲av一区麻豆| 不卡av一区二区三区| 欧美变态另类bdsm刘玥| 日韩大片免费观看网站| 丝袜在线中文字幕| 国产伦人伦偷精品视频| 亚洲情色 制服丝袜| 老熟女久久久| 最新的欧美精品一区二区| 大片免费播放器 马上看| 欧美黑人精品巨大| 国产麻豆69| 一边摸一边抽搐一进一出视频| 亚洲第一青青草原| 精品国产一区二区久久| 日韩一区二区三区影片| 国产男女超爽视频在线观看| 国产高清国产精品国产三级| 亚洲精品在线观看二区| 两性夫妻黄色片| 美国免费a级毛片| kizo精华| 国产单亲对白刺激| 老汉色∧v一级毛片| 久久人妻福利社区极品人妻图片| 黄色怎么调成土黄色| 国产日韩欧美亚洲二区| 最新的欧美精品一区二区| 亚洲成人手机| 美女高潮喷水抽搐中文字幕| 亚洲综合色网址| 蜜桃国产av成人99| 亚洲av欧美aⅴ国产| 我的亚洲天堂| av在线播放免费不卡| 亚洲一卡2卡3卡4卡5卡精品中文| 97人妻天天添夜夜摸| 搡老乐熟女国产| av天堂在线播放| 欧美日韩成人在线一区二区| 免费日韩欧美在线观看| 久久久水蜜桃国产精品网| aaaaa片日本免费| 亚洲精品成人av观看孕妇| 捣出白浆h1v1| 国产精品欧美亚洲77777| 亚洲国产成人一精品久久久| 久久精品成人免费网站| 搡老熟女国产l中国老女人| 国产欧美日韩一区二区三| 日韩一卡2卡3卡4卡2021年| 久久国产精品影院| 精品国产一区二区三区久久久樱花| 在线播放国产精品三级| 色在线成人网| 别揉我奶头~嗯~啊~动态视频| av不卡在线播放| 91精品三级在线观看| 午夜老司机福利片| 国产一区二区三区视频了| 一夜夜www| 黄色a级毛片大全视频| 国产成人系列免费观看| 无人区码免费观看不卡 | 99国产精品一区二区蜜桃av | 午夜精品国产一区二区电影| 欧美亚洲 丝袜 人妻 在线| 亚洲欧美日韩高清在线视频 | 中文字幕另类日韩欧美亚洲嫩草| 黄片大片在线免费观看| 99久久精品国产亚洲精品| 中文字幕精品免费在线观看视频| 国产成人系列免费观看| 欧美日韩中文字幕国产精品一区二区三区 | 午夜91福利影院| 天天躁夜夜躁狠狠躁躁| 精品国产一区二区三区久久久樱花| 国产精品亚洲av一区麻豆| 9191精品国产免费久久| 韩国精品一区二区三区| 国产男女超爽视频在线观看| 18禁裸乳无遮挡动漫免费视频| av电影中文网址| 丰满饥渴人妻一区二区三| 一区福利在线观看| 久久天躁狠狠躁夜夜2o2o| 成人18禁在线播放| 777久久人妻少妇嫩草av网站| 欧美黄色片欧美黄色片| 69精品国产乱码久久久| 午夜91福利影院| 国产在线观看jvid| 亚洲国产中文字幕在线视频| 亚洲精品乱久久久久久| 亚洲色图综合在线观看| 午夜视频精品福利| 黄色视频不卡| 日本一区二区免费在线视频| 亚洲国产欧美网| 国产日韩欧美在线精品| 亚洲av欧美aⅴ国产| av一本久久久久| 久久久精品区二区三区| 美女高潮到喷水免费观看| 久久久精品国产亚洲av高清涩受| 欧美乱码精品一区二区三区| 国产真人三级小视频在线观看| 最近最新免费中文字幕在线| 久久国产精品人妻蜜桃| 超碰97精品在线观看| 90打野战视频偷拍视频| 亚洲综合色网址| 一区二区三区激情视频| 国产欧美亚洲国产| www.熟女人妻精品国产| 丁香六月天网| 精品久久久久久电影网| 91字幕亚洲| 一区二区三区精品91| 99国产精品一区二区三区| 成年人免费黄色播放视频| 男女高潮啪啪啪动态图| 亚洲精品久久成人aⅴ小说| 99热网站在线观看| 丝瓜视频免费看黄片| 如日韩欧美国产精品一区二区三区| 欧美日韩精品网址| 人成视频在线观看免费观看| 欧美激情久久久久久爽电影 | 咕卡用的链子| 岛国毛片在线播放| 淫妇啪啪啪对白视频| 80岁老熟妇乱子伦牲交| 国产亚洲欧美精品永久| 国产一区有黄有色的免费视频| 黄色片一级片一级黄色片| 久久久久久免费高清国产稀缺| 亚洲国产精品一区二区三区在线| 免费在线观看视频国产中文字幕亚洲| 国产精品.久久久| 91大片在线观看| 亚洲国产看品久久| 久久久久视频综合| 久久久国产欧美日韩av| 日本wwww免费看| 精品国产超薄肉色丝袜足j| 久久久久久久久久久久大奶| 午夜激情av网站| 日本a在线网址| 女人爽到高潮嗷嗷叫在线视频| 亚洲熟妇熟女久久| 窝窝影院91人妻| 一二三四社区在线视频社区8| 久久午夜综合久久蜜桃| 国产91精品成人一区二区三区 | 国产午夜精品久久久久久| 青青草视频在线视频观看| 亚洲成人国产一区在线观看| 两个人看的免费小视频| 国产精品二区激情视频| 怎么达到女性高潮| 亚洲精品美女久久av网站| 国产一区二区 视频在线| 久久久欧美国产精品| 成人18禁在线播放| 亚洲视频免费观看视频| 久久热在线av| 精品人妻熟女毛片av久久网站| 久久热在线av| 一二三四社区在线视频社区8| 国产精品一区二区免费欧美| 欧美老熟妇乱子伦牲交| 久久久久久久久免费视频了| 老汉色av国产亚洲站长工具| 亚洲精品av麻豆狂野| 国产一区二区三区综合在线观看| 亚洲精品av麻豆狂野| 成年人免费黄色播放视频| 国产成人av激情在线播放| 蜜桃在线观看..| 一级毛片电影观看| 1024香蕉在线观看| 男女高潮啪啪啪动态图| 国产免费av片在线观看野外av| www.精华液| 精品视频人人做人人爽| 一级毛片电影观看| 人妻一区二区av| 在线播放国产精品三级| 淫妇啪啪啪对白视频| 亚洲,欧美精品.| 精品第一国产精品| 天堂动漫精品| 窝窝影院91人妻| 99在线人妻在线中文字幕 | 女人被躁到高潮嗷嗷叫费观| 国产成人av教育| 久久久久久人人人人人| 久久久精品国产亚洲av高清涩受| 蜜桃国产av成人99| 99热国产这里只有精品6| 欧美日韩亚洲高清精品| 中文字幕人妻熟女乱码| 丝瓜视频免费看黄片| 三级毛片av免费| 伊人久久大香线蕉亚洲五| 国产国语露脸激情在线看| 成人国产一区最新在线观看| 免费不卡黄色视频| 亚洲欧美色中文字幕在线| 精品午夜福利视频在线观看一区 | 精品久久久久久电影网| 丁香六月天网| 精品午夜福利视频在线观看一区 | 操美女的视频在线观看| 一个人免费看片子| 国产亚洲欧美精品永久| 国产xxxxx性猛交| 老司机午夜福利在线观看视频 | 无人区码免费观看不卡 | 国产精品 欧美亚洲| 久久精品熟女亚洲av麻豆精品| 大片电影免费在线观看免费| 久久精品aⅴ一区二区三区四区| 多毛熟女@视频| 精品人妻在线不人妻| svipshipincom国产片| 国产精品国产av在线观看| 欧美精品av麻豆av| 男女床上黄色一级片免费看| 久久国产亚洲av麻豆专区| 国产精品.久久久| 99九九在线精品视频| 国产亚洲精品久久久久5区| 欧美精品啪啪一区二区三区| 久久精品成人免费网站| 欧美亚洲日本最大视频资源| 国产成人一区二区三区免费视频网站| 色在线成人网| 午夜久久久在线观看| 国产免费av片在线观看野外av| 中文字幕最新亚洲高清| 国产精品二区激情视频| 午夜日韩欧美国产| 久久99一区二区三区| 成年版毛片免费区| 这个男人来自地球电影免费观看| 黄色 视频免费看| 三级毛片av免费| 免费看a级黄色片| 国产单亲对白刺激| 久久精品国产亚洲av香蕉五月 | 另类精品久久| 在线观看免费午夜福利视频| av天堂在线播放| 老司机午夜福利在线观看视频 | 十分钟在线观看高清视频www| 久久国产精品男人的天堂亚洲| 亚洲国产中文字幕在线视频| 精品乱码久久久久久99久播| 亚洲色图综合在线观看| 国产av精品麻豆| 欧美国产精品va在线观看不卡| 久久免费观看电影| 悠悠久久av| 亚洲伊人久久精品综合| 精品国产一区二区三区四区第35| 黑人猛操日本美女一级片| 亚洲,欧美精品.| 国精品久久久久久国模美| 国产av精品麻豆| 成年人午夜在线观看视频| 日韩大码丰满熟妇| 狠狠精品人妻久久久久久综合| 91麻豆精品激情在线观看国产 | 法律面前人人平等表现在哪些方面| av视频免费观看在线观看| 国产一区二区 视频在线| 国产在线免费精品| av电影中文网址| 人成视频在线观看免费观看| 建设人人有责人人尽责人人享有的| 美女主播在线视频| 欧美av亚洲av综合av国产av| 91大片在线观看| 亚洲精品国产精品久久久不卡| 午夜91福利影院| 国产成人精品无人区| 国产亚洲av高清不卡| 最黄视频免费看| 国产精品影院久久| 午夜激情久久久久久久| 人妻一区二区av| 大片免费播放器 马上看| 天堂中文最新版在线下载| 亚洲精品一卡2卡三卡4卡5卡| 亚洲天堂av无毛| 99国产极品粉嫩在线观看| 国产精品免费大片| 精品少妇黑人巨大在线播放| 精品久久久精品久久久| 麻豆av在线久日| 久久久久久久大尺度免费视频| 18禁裸乳无遮挡动漫免费视频| 久久精品aⅴ一区二区三区四区| 国产在线精品亚洲第一网站| 黑丝袜美女国产一区| www日本在线高清视频| a在线观看视频网站| www.自偷自拍.com| 成人三级做爰电影| 国产精品二区激情视频| 亚洲专区字幕在线| 国产黄频视频在线观看| 嫩草影视91久久| 国产亚洲欧美精品永久| 精品人妻熟女毛片av久久网站| 夜夜骑夜夜射夜夜干| 久久久久国内视频| 老熟女久久久| 多毛熟女@视频| 国产一区二区激情短视频| 久久精品亚洲精品国产色婷小说| 超色免费av| 丝瓜视频免费看黄片| 国产成人啪精品午夜网站| 在线天堂中文资源库| 久久精品亚洲熟妇少妇任你| 国产成人影院久久av| 乱人伦中国视频| 亚洲精品国产一区二区精华液| 国产欧美日韩精品亚洲av| 国产成+人综合+亚洲专区| 久久精品91无色码中文字幕| 嫩草影视91久久| 亚洲avbb在线观看| 国产欧美亚洲国产| 五月天丁香电影| 国产色视频综合| 国产亚洲精品第一综合不卡| 欧美精品av麻豆av| 午夜福利免费观看在线| 欧美日韩精品网址| 欧美日韩福利视频一区二区| av欧美777| 啦啦啦在线免费观看视频4| 精品久久久久久久毛片微露脸| 九色亚洲精品在线播放| 日韩有码中文字幕| 国产主播在线观看一区二区| 精品高清国产在线一区| 色精品久久人妻99蜜桃| 91字幕亚洲| 夫妻午夜视频| 性高湖久久久久久久久免费观看| av免费在线观看网站| av福利片在线| 日韩欧美一区视频在线观看| 久久 成人 亚洲| 欧美精品一区二区大全| 国产欧美日韩一区二区三区在线| 91麻豆av在线| 19禁男女啪啪无遮挡网站| 国产精品久久久久久精品电影小说| 久久香蕉激情| 精品一品国产午夜福利视频| 中文字幕高清在线视频| 亚洲国产欧美一区二区综合| 午夜精品国产一区二区电影| 亚洲国产中文字幕在线视频| 90打野战视频偷拍视频| 精品少妇一区二区三区视频日本电影| 夜夜夜夜夜久久久久| 国产伦理片在线播放av一区| 夜夜骑夜夜射夜夜干| 亚洲熟女精品中文字幕| 在线观看一区二区三区激情| 日本av手机在线免费观看| 狠狠狠狠99中文字幕| 在线亚洲精品国产二区图片欧美| 国产激情久久老熟女| 视频区欧美日本亚洲| 精品福利观看| 极品人妻少妇av视频| 亚洲成人国产一区在线观看| 老司机深夜福利视频在线观看| 制服诱惑二区| av在线播放免费不卡| 久久国产亚洲av麻豆专区| 1024视频免费在线观看| 丁香六月天网| 亚洲欧美日韩高清在线视频 | 免费在线观看影片大全网站| av网站在线播放免费| 大香蕉久久网| 久热爱精品视频在线9| 亚洲免费av在线视频| 亚洲精品美女久久久久99蜜臀| 欧美性长视频在线观看| 精品国产乱码久久久久久小说| 午夜福利一区二区在线看| 亚洲av成人一区二区三| 狠狠婷婷综合久久久久久88av| 久久久久网色| 亚洲欧美一区二区三区黑人| 精品熟女少妇八av免费久了| 国产精品免费一区二区三区在线 | 久久精品成人免费网站| 国产精品98久久久久久宅男小说| 亚洲精品自拍成人| 老司机靠b影院| bbb黄色大片| 丰满饥渴人妻一区二区三| 国产欧美日韩一区二区三| 青青草视频在线视频观看| 人妻一区二区av| 日日爽夜夜爽网站| 黑丝袜美女国产一区| 久久精品亚洲熟妇少妇任你| 电影成人av| 蜜桃国产av成人99| 99久久国产精品久久久| 天天影视国产精品| 国产片内射在线| 91精品三级在线观看| 精品卡一卡二卡四卡免费| 日本a在线网址| 侵犯人妻中文字幕一二三四区| 波多野结衣一区麻豆| 91成人精品电影| 国产精品 欧美亚洲| 一二三四社区在线视频社区8| 亚洲午夜理论影院| 男女免费视频国产|