• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)字時代下算法濫用法律治理之完善

    2021-04-15 03:03:10李牧翰
    云南社會科學(xué) 2021年3期
    關(guān)鍵詞:數(shù)據(jù)保護主體數(shù)字

    李牧翰

    一、問題的提出

    算法是數(shù)字社會發(fā)展的技術(shù)基石,社會生活數(shù)字化使個人信息數(shù)據(jù)納入算法過程成為必然現(xiàn)象,如果說個人信息采集是數(shù)字經(jīng)濟社會運行的“能源燃料”,那么算法對信息的篩選、分析及加工能力便是其發(fā)展的“動力引擎”。①Kumar,Christine,The Automated Tipster:How Implicit Bias Turns Suspicion Algorithms into BBQ Beckys,Federal Communications Law Journal,2020,pp.97-122.然而,在對個人信息數(shù)據(jù)進行價值提取的過程中,算法模型因其開發(fā)者或使用者所欲達成的特定目的、個體利益最大化的自利性考量以及因信息不對稱產(chǎn)生的優(yōu)勢地位等,極易產(chǎn)生具有法益侵犯性的負(fù)外部效應(yīng)。②孫清白:《人工智能算法的“公共性”應(yīng)用風(fēng)險及其二元規(guī)制》,《行政法學(xué)研究》2020年第4期。與此同時,側(cè)重于數(shù)據(jù)采集環(huán)節(jié)建立的現(xiàn)行個人信息數(shù)據(jù)保護制度面臨著難以消除算法濫用現(xiàn)象,其衍生的風(fēng)險將對數(shù)字主體權(quán)利保護帶來沖擊與挑戰(zhàn)。

    現(xiàn)行個人信息數(shù)據(jù)保護采用“人格權(quán)+隱私權(quán)+自決權(quán)”模式,其無法有效治理算法濫用。③蘇宇:《算法規(guī)制的譜系》,《中國法學(xué)》2020年第3期。其一,對算法濫用行為的治理缺乏整體性思維。現(xiàn)代社會人文社科制度通常因自然科學(xué)領(lǐng)域的技術(shù)創(chuàng)新而改變,為確保以算法技術(shù)為發(fā)展動力的數(shù)字經(jīng)濟社會秩序的穩(wěn)定,立法部門相繼出臺或公布了《中華人民共和國網(wǎng)絡(luò)安全法》(以下簡稱《網(wǎng)絡(luò)安全法》)、《中華人民共和國數(shù)據(jù)安全法(草案)》(以下簡稱《數(shù)據(jù)安全法》)、《中華人民共和國個人信息保護法(草案)》(以下簡稱《個人信息保護法》)。雖然眾多的規(guī)范性文件以及高度密集的出臺時間傳遞的信息是立法者對于該問題的重視程度,但是通過“以量取勝”的做法意圖編制一張嚴(yán)密的治理算法濫用的法律網(wǎng),不僅難以實現(xiàn)治理效力與效果的有機對稱,還有可能會導(dǎo)致數(shù)據(jù)主體面對算法濫用風(fēng)險失去預(yù)測和評價的能力。

    其二,有關(guān)算法濫用及相應(yīng)權(quán)利保護的法律規(guī)范存在概念界定不清晰、適用范圍模糊等缺陷。例如,依《網(wǎng)絡(luò)安全法》第41條,網(wǎng)絡(luò)運營者應(yīng)負(fù)何種程度的公開和明示義務(wù)?該公開和明示義務(wù)是否應(yīng)達到足以信息被收集者所了解的程度?再如,《中華人民共和國民法典》(以下簡稱《民法典》)第1032條所列舉的“刺探、侵?jǐn)_、泄露、公開等”侵害他人隱私權(quán)的方式是否涵蓋數(shù)字企業(yè)的算法行為?此外,如何理解《數(shù)據(jù)安全法》第29條所載“正當(dāng)?shù)姆绞健焙汀捌渌欠ǚ绞健保?/p>

    其三,算法濫用治理缺乏針對性的事前預(yù)防制度安排。相較于數(shù)字企業(yè),分散的數(shù)字用戶處于經(jīng)濟、技術(shù)和信息方面的弱勢地位,在遭遇算法濫用導(dǎo)致的權(quán)利侵害時,其往往止步于高昂的事后救濟成本,以致傳統(tǒng)的事后侵權(quán)救濟制度在一定程度上成為束之高閣的維權(quán)方案。①Ghatnekar,Seema,Injury by Algorithm,Loyola of Los Angeles Entertainment Law Review,2013,pp.171-204.此外,盡管出臺或公布的上述法律及草案規(guī)定了算法使用者若干義務(wù),但此類義務(wù)具有零散和缺乏針對性等特點,有礙算法侵權(quán)糾紛的法律解釋與適用,且有導(dǎo)致規(guī)范沖突等法律漏洞之嫌。針對算法濫用的事前預(yù)防制度,如歐盟的“數(shù)據(jù)保護官”制度,則具有社會成本與收益方面的合理性以及立法技術(shù)層面的優(yōu)越性。中國現(xiàn)行法律中算法濫用事前預(yù)防制度的缺失在一定程度上反映出在以算法為核心的數(shù)字時代下法律的滯后性。

    上述問題的根源可歸結(jié)為兩點:第一,在規(guī)范對象方面,現(xiàn)行法律對數(shù)字時代中算法濫用的本質(zhì)及其表現(xiàn)形式界定不清;第二,在規(guī)范方式方面,現(xiàn)行相關(guān)法律規(guī)則存在零散、滯后和不周延等漏洞。因此,對算法濫用進行類型化分析,并在此基礎(chǔ)上提出算法濫用法律治理之完善措施,是法律回應(yīng)數(shù)字時代需求、妥善處理算法濫用問題的首要任務(wù)。

    二、算法濫用的類型化分析

    (一)算法歧視:“個別規(guī)則”侵蝕數(shù)據(jù)主體平等

    算法在數(shù)字經(jīng)濟社會深入應(yīng)用所應(yīng)當(dāng)具備的品質(zhì),不局限于其經(jīng)濟效率性,更在于輻射公眾切身數(shù)據(jù)利益的算法過程擁有較強的客觀公正性,以及人們在該過程產(chǎn)生的不受歧視的信任與期待?,F(xiàn)代社會中,算法逐漸定義著人們的能力資質(zhì)、信用狀況等諸多方面,其還決定著人們購買商品和接受服務(wù)的價格、能夠獲得的貸款額度等,乃至在刑事領(lǐng)域中影響到犯罪嫌疑人的量刑。遺憾的是,算法決策的客觀公正性并非完全如人們所預(yù)期,其本身存在著天然的歧視性。美國白宮于2016年5月發(fā)布的《大數(shù)據(jù)報告:算法系統(tǒng)、機會和公民權(quán)利》指出,算法歧視性因素主要產(chǎn)生于兩個階段:一是其對數(shù)據(jù)主體個人信息進行篩選時,輸入算法的數(shù)據(jù)資質(zhì)階段;二是算法對個人信息數(shù)據(jù)的分析、加工時,算法自身的工作運行階段??偠灾?,算法歧視是人為因素下的算法模型設(shè)計、數(shù)據(jù)輸入偏差,或算法運行、優(yōu)化過程中產(chǎn)生的突發(fā)性偏見分別或排列組合所誘發(fā)的結(jié)果。②崔靖梓:《算法歧視挑戰(zhàn)下平等權(quán)保護的危機與應(yīng)對》,《法律科學(xué)(西北政法大學(xué)學(xué)報) 》2019年第3期。一旦算法用于定義人們的能力、信用,或當(dāng)算法對人們的行為進行預(yù)測、推斷之時,便具有歧視性,極易在數(shù)據(jù)主體平等方面產(chǎn)生侵害風(fēng)險。其原因包括:

    第一,算法產(chǎn)生的“個別規(guī)則”突破了法的一般性。法的一般性反對以個別化的方式進行規(guī)則建構(gòu),要求法律應(yīng)當(dāng)在各調(diào)整對象之間實現(xiàn)平等適用,而算法過程則表現(xiàn)為對部分?jǐn)?shù)據(jù)主體適用的“個別規(guī)則”。“個別規(guī)則”源于算法能夠?qū)⒚看谓邮盏某跏紨?shù)據(jù)作為其本身的學(xué)習(xí)資源,并可根據(jù)先前計算結(jié)果基于最新接收的數(shù)據(jù)隨時完成動態(tài)預(yù)測,而根據(jù)該預(yù)測結(jié)果用于定義人們行為的過程便可看作對“個別規(guī)則”的執(zhí)行。值得注意的是,法律確保平等的關(guān)鍵在于,“凡為法律視為相同的人,都應(yīng)當(dāng)以法律所確定的方式來對待”。換言之,傳統(tǒng)社會中相同數(shù)據(jù)主體在同等條件下,法律對其予以相同或相似對待,但在算法的動態(tài)預(yù)測前提下,其按照預(yù)先設(shè)定的目的、根據(jù)個人數(shù)據(jù)特征進行差異化甚至是歧視化的評價與安排。

    可見,算法區(qū)別對待數(shù)據(jù)信息是其固有的技術(shù)邏輯,由此引起的區(qū)別對待和個別規(guī)則與作為一般規(guī)則的法律規(guī)范之間存在天然沖突,經(jīng)法律評價為境況相同的數(shù)據(jù)主體因此面臨著因算法異質(zhì)評價遭受歧視性對待的風(fēng)險。③鄭智航、徐昭曦:《大數(shù)據(jù)時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例》,《比較法研究》2019年第4期。例如,在司法領(lǐng)域中,法官通過犯罪預(yù)測系統(tǒng)的再犯預(yù)測結(jié)果針對再犯者來量刑;互聯(lián)網(wǎng)金融平臺可能因某一數(shù)據(jù)主體近期的一次違約行為對其貸款設(shè)定較高的利率。①鄭曦:《人工智能技術(shù)在司法裁判中的運用及規(guī)制》,《中外法學(xué)》2020年第3期。此外,在傳統(tǒng)工農(nóng)業(yè)社會中,歧視具有較強的辨識性,而在現(xiàn)代數(shù)字經(jīng)濟社會,算法歧視高度隱秘,有時甚至難以察覺。②張恩典:《大數(shù)據(jù)時代的算法解釋權(quán):背景、邏輯與構(gòu)造》,《法學(xué)論壇》2019年第4期。算法模型設(shè)計的初衷便在于效率及利益最大化,從而忽略對平等價值的考量??偠灾?,算法通過其預(yù)設(shè)目的及復(fù)雜運行過程,進一步加大了對數(shù)據(jù)主體適用規(guī)則的個別性與歧視性,對法律規(guī)范的一般性特點及其所追求的平等價值提出挑戰(zhàn),使數(shù)字社會受制于一套額外的、非經(jīng)立法過程的且以實現(xiàn)私人利益最大化為目標(biāo)的規(guī)則體系。

    第二,算法產(chǎn)生的“個別規(guī)則”將加劇數(shù)據(jù)社會中的實質(zhì)不平等現(xiàn)象。法律對實質(zhì)平等追求的意義在于防止人與人因事實上的差別成為法律規(guī)定差別待遇之根據(jù),僅依賴于法律的一般性無法實現(xiàn)對弱勢地位群體差異性待遇的自治性糾正,難以確保社會弱勢群體的平等地位。其原因在于,法律的一般性忽略了不同社會主體在能力、智力、生活水準(zhǔn)等方面存在的差異,在同等社會環(huán)境下,弱勢群體具有的形式上的權(quán)利平等無法矯正或改善其實質(zhì)上的不利地位。隨著實質(zhì)不平等現(xiàn)象的加劇,社會貧富差距將過度加大進而引發(fā)社會的極度分化。③鄭玉雙:《人的尊嚴(yán)的價值證成與法理構(gòu)造》,《比較法研究》2019年第5期。

    因此,為了確保每一位公民平等地位最大程度的實現(xiàn),法律除要求符合一般性原則外,還應(yīng)將社會弱勢群體的差異性保護作為實現(xiàn)矯正正義的基本善以實現(xiàn)實質(zhì)平等。例如,多國政府頒布最低工資標(biāo)準(zhǔn)、建立福利制度等。然而,算法形成的“個別規(guī)則”將阻礙實質(zhì)平等的實現(xiàn)。數(shù)字經(jīng)濟社會中,數(shù)據(jù)主體所攜數(shù)據(jù)在質(zhì)量方面的優(yōu)質(zhì)程度與其社會地位緊密相連。一旦含有歧視性的算法規(guī)則定義于能力、智力或經(jīng)濟基礎(chǔ)等方面較弱的數(shù)據(jù)主體,其“個別規(guī)則”所引發(fā)的消極評價將極大影響處于社會弱勢地位的數(shù)據(jù)主體的實質(zhì)數(shù)據(jù)能力,最終形成強者愈強、弱者愈弱的馬太效應(yīng),造成數(shù)字經(jīng)濟下的新形態(tài)分化與實質(zhì)不平等。

    (二)算法自動關(guān)聯(lián):“監(jiān)控網(wǎng)絡(luò)”及“數(shù)據(jù)畫像”泄露數(shù)據(jù)主體隱私

    算法技術(shù)的迅猛發(fā)展及其在數(shù)字經(jīng)濟社會中的廣泛應(yīng)用極大推動著人們衣食住行各領(lǐng)域的線上數(shù)據(jù)化進程。數(shù)字經(jīng)濟帶來高效率社會生活的同時,也導(dǎo)致算法化的日常交往活動不斷瓦解著傳統(tǒng)私人與公共空間邊界的后果,形成數(shù)據(jù)主體的傳統(tǒng)私人領(lǐng)域遭受非自愿的“公共暴露”風(fēng)險。

    一方面,算法自動關(guān)聯(lián)形成“監(jiān)控網(wǎng)絡(luò)”,侵害用戶隱私。技術(shù)依社會需求得到革新與改善的同時,往往容易脫離現(xiàn)存法律制度的約束,對公民合法權(quán)益造成實質(zhì)性侵害。④楊東:《論反壟斷法的重構(gòu):應(yīng)對數(shù)字經(jīng)濟的挑戰(zhàn)》,《中國法學(xué)》2020年第3期。雖然《網(wǎng)絡(luò)安全法》第四十一條明確規(guī)定了網(wǎng)絡(luò)經(jīng)營者處理個人信息的基本原則:合法、正當(dāng)、必要性。但是,在算法自動關(guān)聯(lián)技術(shù)的運用下,上述規(guī)定無法防止數(shù)據(jù)主體的個人信息被片面收集以及對其隱私空間的入侵。原因在于,網(wǎng)絡(luò)應(yīng)用通常將用戶數(shù)據(jù)提供作為服務(wù)準(zhǔn)入門檻,如大部分手機APP,即使所提供的服務(wù)與用戶手機存儲的個人信息毫無關(guān)系,其仍要求用戶授權(quán)訪問聯(lián)系人、手機位置等信息,否則無法正常使用。⑤李延舜:《我國移動應(yīng)用軟件隱私政策的合規(guī)審查及完善——基于49例隱私政策的文本考察》,《法商研究》2019年第5期。更重要的是,即便網(wǎng)絡(luò)運營者按照《網(wǎng)絡(luò)安全法》的要求,不進行與其提供服務(wù)無關(guān)的信息收集活動,并將收集到的個人信息通過匿名化技術(shù)進行加密處理,但算法因其自動關(guān)聯(lián)性仍能夠規(guī)避上述規(guī)定,經(jīng)解析、演算等過程描繪出未經(jīng)用戶授權(quán)的個人隱私信息。可見,算法自動關(guān)聯(lián)大面積侵蝕數(shù)據(jù)主體個人隱私是個人排斥社會生活數(shù)字化、阻礙數(shù)字經(jīng)濟發(fā)展的主要原因。

    另一方面,算法自動關(guān)聯(lián)下的“數(shù)據(jù)畫像”泄露數(shù)據(jù)主體敏感信息。網(wǎng)絡(luò)服務(wù)者憑借算法自動關(guān)聯(lián)能力對數(shù)據(jù)主體提供的部分?jǐn)?shù)據(jù)信息進行深度挖掘,準(zhǔn)確刻畫出數(shù)據(jù)主體的整體形象,甚至能夠輕易地探知數(shù)據(jù)主體的偏好、習(xí)慣等尚未公開的敏感信息。《民法典》第1032條規(guī)定:“隱私是自然人的私人生活安寧和不愿為他人知曉的私密空間、私密活動、私密信息”,其在一定程度上標(biāo)志著立法在隱私權(quán)保護方面的突破性勝利,但遺憾的是,該條文并沒有對作為法律概念的“私密空間、私密活動、私密信息”做出應(yīng)有的界定。

    因此,在法律規(guī)范的內(nèi)涵與外延模糊的情況下,無所不在的算法“數(shù)據(jù)畫像”扯開了數(shù)據(jù)主體隱私空間的面紗,對該行為是否以及如何受到法律規(guī)制是一個懸而未決的難題。算法自動關(guān)聯(lián)下的數(shù)據(jù)精準(zhǔn)畫像可復(fù)原數(shù)據(jù)主體在特定空間與時間內(nèi)的所有行為,使個人成為透明個體,進而網(wǎng)絡(luò)服務(wù)者不僅可以獲取若用戶知情則不愿提供的敏感信息,還可以據(jù)此提供差異化乃至歧視化的產(chǎn)品推銷以及更為廣泛意義上的資質(zhì)定性。①沈偉偉:《算法透明原則的迷思——算法規(guī)制理論的批判》,《環(huán)球法律評論》2019年第6期。此外,與數(shù)字經(jīng)濟中強大的算法自動關(guān)聯(lián)功能相比,分散且相對孤立的數(shù)據(jù)主體在其對算法過程的認(rèn)知能力和對個人隱私信息的掌控能力方面處于相當(dāng)?shù)娜鮿莸匚唬谒痉ū旧韺沂茉嵅〉默F(xiàn)實下,遭受算法隱私侵犯的維權(quán)之路充滿著坎坷與變數(shù)。

    (三)算法自動決策:“算法權(quán)威”壓縮數(shù)據(jù)主體意思自治空間

    隨著人類攜帶數(shù)據(jù)量的幾何式增長趨勢,社會逐漸意識到數(shù)據(jù)所蘊含的重要經(jīng)濟價值。各行業(yè)借助算法在數(shù)據(jù)篩選、加工及分析方面的技術(shù)進步,尤其是愈加成熟的算法自動決策功能,使數(shù)據(jù)成為當(dāng)下社會中廣泛應(yīng)用的、人們競相追逐的基礎(chǔ)性生產(chǎn)要素。算法的自動決策性,一方面促使生產(chǎn)者形成優(yōu)先分配、勝者全得的經(jīng)濟思維,另一方面也對作為對象的數(shù)據(jù)主體造成法律和經(jīng)濟上的重大不利影響,使其面臨淪為算法支配的風(fēng)險。②江溯:《自動化決策、刑事司法與算法規(guī)制——由盧米斯案引發(fā)的思考》,《東方法學(xué)》2020年第3期。

    其原因在于,算法的自動決策過程具有單方強制性,在面臨不合理的算法決策時,數(shù)據(jù)主體或是被迫退出某一數(shù)字領(lǐng)域,或是忍受其自治空間遭受壓縮的窘境。如人工智能技術(shù)平臺或網(wǎng)絡(luò)運營商等對數(shù)據(jù)資源進行算法自動決策的本質(zhì),是數(shù)字經(jīng)濟時代下社會資源的分配與再分配,在該過程中隱藏在算法決策背后的是對數(shù)據(jù)主體而言具有數(shù)字強制力的行為規(guī)范,不論該規(guī)范是否具有合理性,亦不論其是否與現(xiàn)行法律規(guī)范相沖突,即所謂的“算法權(quán)威”③Crofts,Penny,Negotiating 'Evil':Google,Project Maven and the Corporate Form,Law,Technology and Humans,2020,pp.19-22.。

    事實上,算法規(guī)范與法律規(guī)范在調(diào)整社會關(guān)系和平衡社會利益方面存在本質(zhì)區(qū)別。法律規(guī)范由立法機關(guān)產(chǎn)生,記載和表達最為廣泛的社會共同意愿,其限制個人意思自治并非出于私利,而是為實現(xiàn)和增進社會公共利益,故其產(chǎn)生形式與規(guī)范目的具有法治基礎(chǔ)。相較而言,在以算法“黑箱”為基礎(chǔ)的算法自動決策過程中形成的行為規(guī)范并不具有社會共識性,其反映的是數(shù)字社會中個別優(yōu)勢地位者出于私利最大化目的而制定規(guī)則的“強者權(quán)利”。④[法]盧梭:《社會契約論》,何兆武譯,北京:商務(wù)印書館,2017年,第9頁。

    概言之,以數(shù)據(jù)統(tǒng)計為分析基礎(chǔ)和邏輯起點的算法自動決策僅關(guān)注事物之間的相關(guān)性和蓋然性,而非必然的因果關(guān)系。⑤林洹民:《個人對抗商業(yè)自動決策算法的私權(quán)設(shè)計》,《清華法學(xué)》2020年第4期。在算法系統(tǒng)當(dāng)中,數(shù)據(jù)主體的社會屬性被經(jīng)過算法篩選、加工和定義的虛擬數(shù)據(jù)所取代,那么算法自動決策的結(jié)果則無法避免地衍生偶然性和片面性,進而與初始之客觀公正目的相背離。此外,算法自動決策中體現(xiàn)的強制性行為規(guī)范源于數(shù)字服務(wù)者的社會優(yōu)勢地位及其優(yōu)先分配思維,在其以私利最大化為目的尋找與匹配數(shù)字用戶的過程中,數(shù)據(jù)主體處于被他人決定的意思自治限縮狀態(tài)。可見,在算法自動決策深入數(shù)字經(jīng)濟發(fā)展的現(xiàn)代社會中,規(guī)范算法自動決策、保障數(shù)據(jù)主體意思自治,是法律回應(yīng)時代需求的應(yīng)有之舉。

    三、數(shù)字時代下算法濫用法律治理的完善

    數(shù)字經(jīng)濟社會高度依賴的算法與數(shù)據(jù)主體保護實際上是互相掣肘又互相促進的一對范疇,體現(xiàn)了科技與法律的互動關(guān)系。中國還沒有針對算法本身的風(fēng)險規(guī)制立法,學(xué)術(shù)界對于其研究也并不深入,尤其是對作為科技的算法技術(shù)與作為法律調(diào)整對象的算法行為之間的互動關(guān)系缺乏清晰、合理的認(rèn)識,以致科技倫理在法律價值層面未受到應(yīng)有的重視。因此,中國法律在調(diào)整算法行為時,應(yīng)當(dāng)正視科技與法律的互動關(guān)系,從算法技術(shù)性檢測以及法律權(quán)利配置雙層次著手,轉(zhuǎn)換算法濫用行為規(guī)制理念,結(jié)合中國現(xiàn)有的管理規(guī)制機構(gòu)、傳統(tǒng)法律規(guī)制體系以及算法技術(shù)應(yīng)用發(fā)展現(xiàn)狀,探索獨具中國特色的算法行為法治化路徑。

    (一)算法濫用治理理念的厘清:規(guī)范算法行為以制約“強者之力”

    探究算法濫用及其法律治理的前提,是在法律視角下厘清算法的社會本質(zhì)及其特點,以及在此基礎(chǔ)上塑造合理的法治理念。

    其一,發(fā)展算法技術(shù),規(guī)范算法行為。依事實與規(guī)范相區(qū)分原則,算法技術(shù)本身是作為一種方法論之手段的客觀存在,即屬于事實范疇,該特征決定了其在規(guī)范世界中最初的倫理中性地位。①趙磊:《區(qū)塊鏈技術(shù)的算法規(guī)制》,《現(xiàn)代法學(xué)》2020年第2期。就算法應(yīng)用的價值判斷而言,一方面其在數(shù)字社會中極大提升了經(jīng)濟效率,具備時代主體所認(rèn)可的和追求的“善”的屬性,因此大力發(fā)展算法技術(shù)是促進社會發(fā)展的理性選擇。②王聰:《“共同善”維度下的算法規(guī)制》,《法學(xué)》2019年第12期。另一方面,算法技術(shù)并未脫離人的社會行為,即算法模型所附的主觀意圖、算法代碼編寫及其運行過程以及其作用并交織于社會關(guān)系的結(jié)果,盡管在數(shù)字社會中體現(xiàn)得更為隱蔽和間接,但其本質(zhì)仍是人的社會行為,也是算法領(lǐng)域中法律規(guī)制的對象,這為算法濫用治理提供了可能性。

    就算法濫用治理的必要性而言,技術(shù)的有利還是有害及其善惡完全取決于技術(shù)的應(yīng)用者③張吉豫:《認(rèn)真對待科技倫理和法理》,《法制與社會發(fā)展》2020年第3期。,一旦應(yīng)用者透過技術(shù)方式實施的社會行為具有法益侵害性,則法律應(yīng)當(dāng)對其進行治理,以協(xié)調(diào)技術(shù)應(yīng)用者的私利與其他社會利益的沖突。④唐林垚:《人工智能時代的算法規(guī)制:責(zé)任分層與義務(wù)合規(guī)》,《現(xiàn)代法學(xué)》2020年第1期。伴隨算法技術(shù)深入應(yīng)用而來的,是企業(yè)在算法過程中為實現(xiàn)個體利益最大化而引起的算法侵權(quán)現(xiàn)象,正如禁止傳統(tǒng)侵權(quán)行為那樣,法律亦有必要回應(yīng)時代需求規(guī)制算法行為。概言之,在發(fā)展算法技術(shù)、促進算法技術(shù)造福社會的同時,應(yīng)當(dāng)對其中體現(xiàn)為人的侵犯行為進行法律界定和規(guī)制,即算法行為的倫理價值非中立性證成算法規(guī)制的必要性。

    其二,規(guī)制算法侵權(quán)行為是約束數(shù)字時代下“強者之力”的必要措施。算法在現(xiàn)代社會中的廣泛應(yīng)用已使其逐漸脫離原本的數(shù)學(xué)工具角色。⑤張凌寒:《算法權(quán)力的興起、異化及法律規(guī)制》,《法商研究》2019年第4期。在萬事萬物均可數(shù)字化的時代中,數(shù)據(jù)成為社會利益的新載體與表現(xiàn)形式,而用于解析、整合和定義數(shù)據(jù)的算法模型,尤其在算力與日俱增的背景下,使算法設(shè)計者或應(yīng)用者擁有了社會資源的分配權(quán),該分配權(quán)具有單方?jīng)Q定、他方服從的特點,相對分散且處于弱勢地位的個人數(shù)據(jù)主體就其中規(guī)則而言處于或是接受或是出局的狀態(tài)。⑥Syllaba,Ondrej,Internet Smart Contracts:Are They Really Smart,Common Law Review,1982,pp.92-96.因此,從法律調(diào)整對象的特點來看,算法支配者所擁有的是一種數(shù)字時代下的“強者之力”,算法濫用行為則是該權(quán)利的具體社會表現(xiàn)形式。

    擁有算法“強者權(quán)利”者亦不能憑借該地位恣意行為,故法律對算法濫用具有治理的必要性,而治理的具體模式應(yīng)以對算法“強者之力”這一本質(zhì)的認(rèn)知為前提。具體說來,算法濫用的治理應(yīng)從以下兩個方面著手:一是在程序方面對算法行為給予規(guī)制,即建立與完善中國本土化的個人數(shù)據(jù)保護官制度,對算法運行進行合理限制;二是實體規(guī)則方面,根據(jù)實際狀況,通過調(diào)整中國現(xiàn)行法律制度框架,提高法律對算法濫用治理結(jié)果的有效性,實現(xiàn)依法治理。

    (二)算法運行的合理限制:建立與完善個人數(shù)據(jù)保護官制度

    在算法風(fēng)險治理方面,盡管各國相關(guān)法律制度內(nèi)容有所差異,但其總體目標(biāo)和方向基本一致。在推動算法技術(shù)進步的同時,回應(yīng)由此產(chǎn)生的社會價值問題以及規(guī)范隱含其中的社會關(guān)系,是數(shù)字社會發(fā)展和人工智能建設(shè)過程中的基本共識。⑦張凌寒:《算法規(guī)制的迭代與革新》,《法學(xué)論壇》2019年第2期。就具體法律制度而言,針對算法濫用引發(fā)的侵蝕數(shù)據(jù)主體機會平等、泄露數(shù)據(jù)主體隱私、壓縮數(shù)據(jù)主體意思自治空間等數(shù)字社會現(xiàn)象,歐盟的個人數(shù)據(jù)保護官(Data Protection Officer,DPO)制度是頗具啟發(fā)性的域外立法經(jīng)驗。

    歐盟《通用數(shù)據(jù)保護條例》(以下簡稱歐盟《條例》)于三十八至三十九條規(guī)定了個人數(shù)據(jù)保護官制度,其職責(zé)主要集中在三個方面:一是識別、分析和評估該企業(yè)隱私法律風(fēng)險,防止企業(yè)違反相應(yīng)的法律法規(guī)以及有效防止用戶的個人數(shù)據(jù)泄露。①Kraft,Mary,Big Data,Little Privacy:Protecting Consumers' Data While Promoting Economic Growth,University of Dayton Law Review,2020,pp.97-126.二是協(xié)助企業(yè)制定隱私保護目標(biāo),幫助企業(yè)回避隱私風(fēng)險。例如,個人數(shù)據(jù)保護官對企業(yè)是否利用個人數(shù)據(jù)獲得非法利益等違法行為進行持續(xù)性監(jiān)督。三是制定直接面向數(shù)據(jù)主體的隱私政策,政策條文用語應(yīng)當(dāng)清晰易懂、符合數(shù)據(jù)主體的通常認(rèn)知水平。在當(dāng)下算法深入應(yīng)用的數(shù)字社會中,歐盟個人數(shù)據(jù)保護官發(fā)揮著監(jiān)管企業(yè)數(shù)據(jù)活動的作用。

    但需明確的是,無論從個人數(shù)據(jù)保護官興起的歷史來看,還是依歐盟《條例》的規(guī)定,個人數(shù)據(jù)保護官的職責(zé)主要集中在防止算法濫用造成的數(shù)據(jù)隱私風(fēng)險方面,即數(shù)字企業(yè)的隱私政策合規(guī)和數(shù)據(jù)主體的隱私保護。該制度未將隱私風(fēng)險之外的其他算法濫用作為其主要調(diào)整內(nèi)容。②McGruer,Jonathan,Emerging Privacy Legislation in the International Landscape:Strategy and Analysis for Compliance,Washington Journal of Law,Technology &Arts,2020,pp.120-159.就中國而言,在借鑒歐盟個人數(shù)據(jù)保護官制度的同時,應(yīng)當(dāng)將算法濫用的整體風(fēng)險納入其調(diào)整范圍。

    首先,通過算法自動關(guān)聯(lián)挖掘、窺探隱私與較為傳統(tǒng)的個人隱私數(shù)據(jù)泄露,二者在侵害對象和主觀意圖方面沒有本質(zhì)區(qū)別。作為領(lǐng)域?qū)<业膫€人數(shù)據(jù)保護官對企業(yè)開發(fā)、應(yīng)用算法的目的及算法模型的技術(shù)內(nèi)容進行審查,能夠更為全面和深入地保護數(shù)據(jù)主體隱私,尤其是針對隱藏在代碼之中的、為普通個人和監(jiān)管機構(gòu)所難以認(rèn)知的隱私侵犯意圖。其次,無論是算法自動關(guān)聯(lián),還是算法歧視和算法自動決策,其所侵害的對象往往具有普遍性和分散性,單個數(shù)據(jù)主體的救濟尋求意愿和能力均處于薄弱狀態(tài),進而導(dǎo)致其或是忍受侵犯或是退出某一數(shù)字應(yīng)用,且不論其作何選擇,都將阻礙數(shù)字經(jīng)濟的發(fā)展。相較而言,事前規(guī)制注重于損害發(fā)生之前的防范,③徐鳳:《人工智能算法黑箱的法律規(guī)制——以智能投顧為例展開》,《東方法學(xué)》2019年第6期。個人數(shù)據(jù)保護官制度則強調(diào)專業(yè)知識的事前干預(yù),即在源頭上規(guī)范企業(yè)的數(shù)字行為,其對算法進行整體審查有助于進一步減少社會成本和提升數(shù)字經(jīng)濟效率。

    綜上所述,中國在構(gòu)建個人數(shù)據(jù)保護官制度時,應(yīng)當(dāng)將算法濫用的整體風(fēng)險作為其主要審查內(nèi)容。

    (三)算法濫用的依法治理:配置個人權(quán)利對抗算法濫用

    算法濫用的治理不僅需要從事前干預(yù)入手,更應(yīng)通過配置權(quán)利以遏制算法濫用的發(fā)生。由于算法形成的“強者權(quán)利”與數(shù)據(jù)主體力量對比懸殊,應(yīng)當(dāng)從法律制度設(shè)計上給予數(shù)據(jù)主體相應(yīng)的權(quán)利,以增加算法濫用的難度,使數(shù)據(jù)主體免受算法的侵害。

    首先,增設(shè)算法解釋請求權(quán),確保數(shù)據(jù)處理過程的平等。算法歧視對數(shù)據(jù)主體平等地位的侵害,在不同程度上共同指向算法模型的代碼組成,具有復(fù)雜性與專業(yè)性,及其難以被察覺的高度隱秘性。④解正山:《算法決策規(guī)制——以算法“解釋權(quán)”為中心》,《現(xiàn)代法學(xué)》2020年第1期。為克服算法歧視,為數(shù)據(jù)主體增設(shè)算法解釋請求權(quán)是眾多方案中最具有效性的一種。歐盟《條例》第十三條至第十五條指出:“算法控制者在篩選、分析、加工個人信息數(shù)據(jù)時,應(yīng)當(dāng)向數(shù)據(jù)主體提供算法處理數(shù)據(jù)的邏輯以及對其產(chǎn)生的預(yù)期影響?!雹軲erle,Temme,Algorithms and Transparency in View of the New General Data Protection Regulation,European data protection law review (EDPR), 2017,p.473.歐盟《條例》不僅明晰了算法解釋權(quán)的權(quán)利與義務(wù)主體、適用范圍,更明確提出該權(quán)利設(shè)定的目的,即旨在增強算法對數(shù)據(jù)處理過程的透明度。

    算法對數(shù)據(jù)處理過程透明程度的提升,成為消除算法歧視最好的防腐劑。其邏輯在于,一旦數(shù)據(jù)處理過程透明公開,數(shù)據(jù)主體便可知悉其數(shù)據(jù)是否遭遇到隱蔽算法模型所設(shè)定的不合理的分類標(biāo)準(zhǔn)。⑥劉友華:《算法偏見及其規(guī)制路徑研究》,《法學(xué)雜志》2019年第6期。此外,歐盟《條例》第二十二條第一款進一步對算法解釋權(quán)的權(quán)能進行補充:“若數(shù)據(jù)主體認(rèn)為算法決策對其產(chǎn)生法律效力或?qū)ζ湓斐深愃浦卮笥绊懀溆袡?quán)不受上述決策的限制”。當(dāng)數(shù)據(jù)主體認(rèn)為其遇到算法不平等的風(fēng)險時,便可拒絕算法決策帶來的影響。

    其次,設(shè)立個人數(shù)據(jù)被遺忘權(quán)和更改權(quán),劃定算法自動關(guān)聯(lián)的隱私邊界。數(shù)據(jù)被遺忘權(quán)和更改權(quán)使數(shù)據(jù)主體有權(quán)決定是否保留、刪除或更改在網(wǎng)絡(luò)上公開過的個人數(shù)據(jù)信息,以及是否排除他人的不合理利用行為,進而以主動且積極的方式界定和控制個人的隱私邊界。該權(quán)利所具有的積極性、主動性特征,可與傳統(tǒng)隱私權(quán)的消極性、防御性特征相結(jié)合,為個人數(shù)據(jù)主體構(gòu)筑數(shù)字時代下的隱私防護墻。①Lopes,Dulce,GDPR-Main International Implications,European Journal of Privacy Law &Technologies,2020,pp.9-31.值得強調(diào)的是,除傳統(tǒng)意義上針對特定公開信息的刪除或更改權(quán)之外,個人數(shù)據(jù)被遺忘權(quán)和更改權(quán)更應(yīng)當(dāng)對抗由算法自動關(guān)聯(lián)引起的隱私侵犯風(fēng)險。因后者所致的隱私侵犯更具源頭性、隱蔽性和普遍性,故從數(shù)字社會隱私保護的全面性、效率性和正當(dāng)性而言,劃定算法自動關(guān)聯(lián)的隱私邊界以及抵抗隱藏在算法之中的不當(dāng)隱私侵犯行為,是旨在保護數(shù)字時代下個人隱私自決的數(shù)據(jù)被遺忘權(quán)和更改權(quán)所應(yīng)有的內(nèi)涵。

    與此同時,《民法典》在第1032條中確立了數(shù)據(jù)主體享有數(shù)據(jù)隱私權(quán),并明確了相關(guān)數(shù)據(jù)信息的分類適用。但因法律概念模糊等原因,其無法有效規(guī)制如算法自動關(guān)聯(lián)通過個人公開數(shù)據(jù)“畫像”窺探個人隱私的現(xiàn)象,以致數(shù)據(jù)主體的敏感隱私信息仍處于隨時被揭露和被利用的風(fēng)險之中。②程瑩:《元規(guī)制模式下的數(shù)據(jù)保護與算法規(guī)制——以歐盟〈通用數(shù)據(jù)保護條例〉為研究樣本》,《法律科學(xué)(西北政法大學(xué)學(xué)報) 》2019年第4期。因此,除明晰相關(guān)信息分類適用的具體標(biāo)準(zhǔn)之外,中國立法應(yīng)當(dāng)進一步明確數(shù)據(jù)隱私權(quán)的內(nèi)涵及其權(quán)利范圍,尤其是界定算法過程中易受隱私侵犯的個人數(shù)據(jù)類型及其利用規(guī)則,并禁止算法自動關(guān)聯(lián)引起的“畫像”式隱私窺探行為。就國外立法例而言,依據(jù)歐盟《條例》第九條之規(guī)定,對于涉及個人敏感隱私數(shù)據(jù)確立了絕對禁止原則,對于社會信息中涉及民族、政治觀點、宗教信仰、性隱私的數(shù)據(jù),以及生物信息中的基因數(shù)據(jù)、生物數(shù)據(jù)都不允許納入數(shù)據(jù)處理范疇。該條對敏感隱私數(shù)據(jù)的列舉式規(guī)定確立了數(shù)據(jù)隱私權(quán)的內(nèi)涵,為算法自動關(guān)聯(lián)設(shè)定了明確的行為邊界。

    再次,賦予數(shù)據(jù)主體反對自動化決策權(quán),保障數(shù)據(jù)主體意思自治。與算法使用者在科技、信息及經(jīng)濟方面的優(yōu)勢地位相比,個人數(shù)據(jù)主體處于較之以往更為格式化的契約環(huán)境之中。③陳鵬:《算法的權(quán)力:應(yīng)用與規(guī)制》,《浙江社會科學(xué)》2019年第4期。面對算法自動化決策,尤其是在算法黑箱中進行的經(jīng)濟利益最大化決策,數(shù)字用戶缺乏基本的意思自治實現(xiàn)途徑,例如作為美團平臺用戶的騎手,在取餐送餐時間和路線規(guī)劃方面面對不合理算法決策時的無奈境地,以及為執(zhí)行決策而實施的危險行為和違法行為。④劉晗、葉開儒:《平臺視角中的社會信用治理及其法律規(guī)制》,《法學(xué)論壇》2020年第2期?;诖耍嫫胶馐欠醋詣踊瘺Q策權(quán)的立法重點,即在促進算法自動化決策產(chǎn)生的社會效率和保障數(shù)字企業(yè)的正常經(jīng)營決策權(quán)的同時,賦予數(shù)據(jù)主體反對未經(jīng)其明確同意或者剝奪其表達權(quán)利的,以及與法律規(guī)范相沖突的自動化決策的權(quán)利。⑤孫建麗:《算法自動化決策風(fēng)險的法律規(guī)制研究》,《法治研究》2019年第4期。具體而言,其一,數(shù)據(jù)主體自始不受自動化決策所做出的,會對數(shù)據(jù)主體本身產(chǎn)生法律影響或者類似重要影響的決定的制約;其二,該決定的例外情形為基于初始合同目的,或者自始經(jīng)過數(shù)據(jù)主體真實同意,或者法律法規(guī)所規(guī)范授權(quán)的自動化決定;其三,即使是經(jīng)過合同目的或者數(shù)據(jù)主體真實同意的自動化決定,數(shù)據(jù)主體自始也具有反對和質(zhì)疑的權(quán)利。

    最后,建立算法濫用的懲罰性賠償制度,保護弱勢個人數(shù)據(jù)主體并促進數(shù)字經(jīng)濟發(fā)展。一方面,經(jīng)濟性賠償制度加強了數(shù)字主體在遭受算法濫用時訴諸救濟的意愿,有利于進一步培育和鞏固個人的數(shù)字權(quán)利意識;另一方面,其提高了算法濫用行為的違法成本,使算法使用者更為警醒地意識到其在數(shù)字時代下所負(fù)有的特殊注意義務(wù),有助于降低數(shù)字經(jīng)營者濫用算法的概率,提高其在算法設(shè)計和運行過程中自我克制的動力,進而提高法律實施效率??梢?,算法濫用的懲罰性賠償制度有利于提升公眾的數(shù)字參與程度、建立良好的數(shù)字營商環(huán)境,并推動數(shù)字經(jīng)濟進一步發(fā)展。

    猜你喜歡
    數(shù)據(jù)保護主體數(shù)字
    論自然人破產(chǎn)法的適用主體
    答數(shù)字
    TPP生物藥品數(shù)據(jù)保護條款研究
    數(shù)字看G20
    歐盟數(shù)據(jù)保護立法改革之發(fā)展趨勢分析
    歐盟《一般數(shù)據(jù)保護條例》新規(guī)則評析
    關(guān)于遺產(chǎn)保護主體的思考
    藥品試驗數(shù)據(jù)保護對完善中藥品種保護制度的啟示
    論多元主體的生成
    成雙成對
    av天堂在线播放| 国产大屁股一区二区在线视频| 久9热在线精品视频| 亚洲黑人精品在线| 久久亚洲真实| 嫁个100分男人电影在线观看| 国产中年淑女户外野战色| 黄色丝袜av网址大全| 国产伦精品一区二区三区四那| 夜夜躁狠狠躁天天躁| 欧美日韩福利视频一区二区| 99久久精品国产亚洲精品| 亚洲精品456在线播放app | 99久国产av精品| 一本精品99久久精品77| 亚洲成av人片在线播放无| 国产精品不卡视频一区二区 | 性色avwww在线观看| 18美女黄网站色大片免费观看| 亚洲精华国产精华精| 中亚洲国语对白在线视频| 好男人在线观看高清免费视频| 美女高潮的动态| 亚洲天堂国产精品一区在线| 日韩大尺度精品在线看网址| 亚洲一区高清亚洲精品| 最新在线观看一区二区三区| 亚洲第一电影网av| 色综合婷婷激情| 精品不卡国产一区二区三区| 999久久久精品免费观看国产| 悠悠久久av| 神马国产精品三级电影在线观看| 久久中文看片网| 少妇裸体淫交视频免费看高清| 99久久无色码亚洲精品果冻| 久久6这里有精品| 中国美女看黄片| 国产美女午夜福利| 国产精品永久免费网站| 在线观看舔阴道视频| 不卡一级毛片| 麻豆久久精品国产亚洲av| 午夜福利在线在线| 午夜免费成人在线视频| 午夜福利18| 美女黄网站色视频| 免费av毛片视频| 一进一出好大好爽视频| 欧美精品国产亚洲| 亚洲七黄色美女视频| 在现免费观看毛片| 精品一区二区三区视频在线| 美女 人体艺术 gogo| 国产大屁股一区二区在线视频| 午夜日韩欧美国产| 亚洲色图av天堂| 欧美又色又爽又黄视频| 男女下面进入的视频免费午夜| 亚洲av.av天堂| 亚洲精品色激情综合| 亚洲精品色激情综合| 嫩草影院入口| 中国美女看黄片| 很黄的视频免费| 亚洲精品456在线播放app | 直男gayav资源| 欧美日韩亚洲国产一区二区在线观看| 99久久精品一区二区三区| 三级男女做爰猛烈吃奶摸视频| 免费看a级黄色片| 最新中文字幕久久久久| 丝袜美腿在线中文| 可以在线观看的亚洲视频| 国产精品永久免费网站| 午夜视频国产福利| 两性午夜刺激爽爽歪歪视频在线观看| 国产精品不卡视频一区二区 | 国产欧美日韩精品亚洲av| 国内毛片毛片毛片毛片毛片| 十八禁人妻一区二区| 亚洲精品456在线播放app | 精品国内亚洲2022精品成人| 国产探花在线观看一区二区| 真实男女啪啪啪动态图| 国产精品98久久久久久宅男小说| 日韩欧美 国产精品| 久久中文看片网| 男女视频在线观看网站免费| 两人在一起打扑克的视频| 久久久久精品国产欧美久久久| 久久久久久久久久成人| av福利片在线观看| 国产爱豆传媒在线观看| 国产淫片久久久久久久久 | 日韩大尺度精品在线看网址| 亚洲成人免费电影在线观看| 婷婷色综合大香蕉| 长腿黑丝高跟| 久久性视频一级片| 99热6这里只有精品| 免费看日本二区| 欧美高清性xxxxhd video| 国产aⅴ精品一区二区三区波| 欧美绝顶高潮抽搐喷水| 亚洲av成人不卡在线观看播放网| 午夜影院日韩av| 九九久久精品国产亚洲av麻豆| 亚洲熟妇熟女久久| 禁无遮挡网站| 亚洲精品乱码久久久v下载方式| 国产成+人综合+亚洲专区| 身体一侧抽搐| av国产免费在线观看| 国产主播在线观看一区二区| 成年女人永久免费观看视频| 老鸭窝网址在线观看| 一个人观看的视频www高清免费观看| 99在线视频只有这里精品首页| 美女高潮的动态| 国产亚洲精品综合一区在线观看| 国产精品亚洲一级av第二区| 精品人妻视频免费看| 制服丝袜大香蕉在线| 美女 人体艺术 gogo| 午夜视频国产福利| 国内精品美女久久久久久| 国产蜜桃级精品一区二区三区| 两个人视频免费观看高清| 高清毛片免费观看视频网站| 精品久久久久久成人av| 国产亚洲精品av在线| 人人妻人人澡欧美一区二区| 琪琪午夜伦伦电影理论片6080| 成人av在线播放网站| 亚洲天堂国产精品一区在线| 99久久99久久久精品蜜桃| 在线观看免费视频日本深夜| 久久精品国产自在天天线| 免费观看人在逋| 午夜老司机福利剧场| 国产av一区在线观看免费| 亚洲国产精品合色在线| 日本五十路高清| 欧美一区二区国产精品久久精品| 熟女人妻精品中文字幕| 啦啦啦观看免费观看视频高清| 国产视频一区二区在线看| 亚洲片人在线观看| 一个人观看的视频www高清免费观看| 首页视频小说图片口味搜索| 国产伦在线观看视频一区| 亚洲电影在线观看av| 久久精品人妻少妇| 高清日韩中文字幕在线| 久久久久久久精品吃奶| 亚洲avbb在线观看| 免费看光身美女| 久久国产乱子伦精品免费另类| 极品教师在线免费播放| 欧美丝袜亚洲另类 | 最近最新中文字幕大全电影3| 看黄色毛片网站| 国产精品综合久久久久久久免费| 91麻豆精品激情在线观看国产| 久久久久国内视频| 国产精品亚洲av一区麻豆| 脱女人内裤的视频| 国产一级毛片七仙女欲春2| 免费av毛片视频| 一边摸一边抽搐一进一小说| 国产精品永久免费网站| 两性午夜刺激爽爽歪歪视频在线观看| 午夜福利在线在线| 国产一区二区亚洲精品在线观看| 一进一出抽搐动态| 日本在线视频免费播放| 在线观看66精品国产| 久久精品夜夜夜夜夜久久蜜豆| 亚洲av第一区精品v没综合| 一进一出抽搐动态| 国产高清三级在线| 757午夜福利合集在线观看| 国产真实伦视频高清在线观看 | 美女xxoo啪啪120秒动态图 | 久久精品91蜜桃| 18禁黄网站禁片免费观看直播| 久久久久久久午夜电影| 性色avwww在线观看| 男人和女人高潮做爰伦理| 欧美日韩亚洲国产一区二区在线观看| 丁香六月欧美| 亚洲人成网站在线播放欧美日韩| 婷婷精品国产亚洲av在线| 久久久久久久久大av| 九九热线精品视视频播放| 可以在线观看的亚洲视频| 美女被艹到高潮喷水动态| www日本黄色视频网| 禁无遮挡网站| 欧美不卡视频在线免费观看| 色综合站精品国产| 亚洲人成网站高清观看| 亚洲片人在线观看| 99热这里只有是精品在线观看 | 非洲黑人性xxxx精品又粗又长| 国产精品国产高清国产av| 少妇的逼好多水| 国产v大片淫在线免费观看| 亚洲第一区二区三区不卡| 日本免费a在线| 淫妇啪啪啪对白视频| 村上凉子中文字幕在线| 久久久国产成人免费| 欧美精品啪啪一区二区三区| 成人毛片a级毛片在线播放| 极品教师在线免费播放| 可以在线观看毛片的网站| av国产免费在线观看| 国产淫片久久久久久久久 | 亚洲性夜色夜夜综合| 国产精品永久免费网站| 国产高潮美女av| 成人午夜高清在线视频| 亚洲成av人片在线播放无| 高清日韩中文字幕在线| 精品99又大又爽又粗少妇毛片 | a级毛片免费高清观看在线播放| 久久精品国产亚洲av天美| 日韩欧美国产一区二区入口| 真人一进一出gif抽搐免费| 欧美日韩瑟瑟在线播放| 噜噜噜噜噜久久久久久91| 精品人妻一区二区三区麻豆 | 欧美+日韩+精品| 亚洲精品色激情综合| 极品教师在线视频| 日本五十路高清| 日本一二三区视频观看| 国产白丝娇喘喷水9色精品| 琪琪午夜伦伦电影理论片6080| 国内久久婷婷六月综合欲色啪| 日韩精品青青久久久久久| 亚洲精品影视一区二区三区av| 国产在线男女| www.999成人在线观看| 99久国产av精品| 国内少妇人妻偷人精品xxx网站| 夜夜爽天天搞| 99国产精品一区二区三区| 亚洲精品粉嫩美女一区| 淫妇啪啪啪对白视频| 午夜a级毛片| 老司机午夜十八禁免费视频| 日韩免费av在线播放| 亚洲精品影视一区二区三区av| 韩国av一区二区三区四区| 亚洲国产欧洲综合997久久,| 小说图片视频综合网站| 亚洲七黄色美女视频| 亚洲av中文字字幕乱码综合| 亚洲av免费在线观看| 老司机午夜福利在线观看视频| 一进一出抽搐gif免费好疼| 免费人成视频x8x8入口观看| 亚洲午夜理论影院| 有码 亚洲区| 黄色丝袜av网址大全| 国产真实伦视频高清在线观看 | 人人妻人人看人人澡| 97超视频在线观看视频| 久久伊人香网站| 亚洲成人精品中文字幕电影| 成人av在线播放网站| 女同久久另类99精品国产91| 夜夜爽天天搞| 少妇高潮的动态图| 亚洲七黄色美女视频| 亚洲中文日韩欧美视频| 哪里可以看免费的av片| 九色国产91popny在线| 精品久久久久久久久亚洲 | 国产熟女xx| 床上黄色一级片| 国产大屁股一区二区在线视频| www日本黄色视频网| 国内精品久久久久久久电影| 大型黄色视频在线免费观看| 成人av在线播放网站| 中文亚洲av片在线观看爽| 69人妻影院| 成人精品一区二区免费| 国产一区二区激情短视频| 久久人妻av系列| 久久亚洲精品不卡| 午夜福利成人在线免费观看| www日本黄色视频网| 在线看三级毛片| 国产一区二区三区视频了| 午夜福利在线观看吧| 欧美乱色亚洲激情| 俄罗斯特黄特色一大片| 9191精品国产免费久久| 久久久精品欧美日韩精品| 国产精品电影一区二区三区| 国产91精品成人一区二区三区| 亚洲男人的天堂狠狠| 久久国产乱子免费精品| 欧美丝袜亚洲另类 | 久久久久久大精品| 国产在线男女| 一二三四社区在线视频社区8| 国产在视频线在精品| avwww免费| 国产69精品久久久久777片| 又粗又爽又猛毛片免费看| 好男人在线观看高清免费视频| 国产视频一区二区在线看| 毛片一级片免费看久久久久 | 国产极品精品免费视频能看的| 嫩草影院入口| 在线观看66精品国产| 亚洲aⅴ乱码一区二区在线播放| 欧美+日韩+精品| 亚洲狠狠婷婷综合久久图片| netflix在线观看网站| 国产一区二区激情短视频| 国产色婷婷99| 国产黄a三级三级三级人| 国产又黄又爽又无遮挡在线| 久久精品国产清高在天天线| 级片在线观看| 色吧在线观看| 国产在线精品亚洲第一网站| 亚洲av美国av| 十八禁国产超污无遮挡网站| 亚洲综合色惰| 最近最新中文字幕大全电影3| 日韩欧美一区二区三区在线观看| 级片在线观看| 欧美黄色片欧美黄色片| 十八禁国产超污无遮挡网站| 亚洲国产欧洲综合997久久,| 99热精品在线国产| 亚洲内射少妇av| 脱女人内裤的视频| 亚洲国产欧美人成| 午夜日韩欧美国产| 欧美性感艳星| 一本综合久久免费| 日本a在线网址| 搞女人的毛片| 亚洲av熟女| 国产精品乱码一区二三区的特点| 两个人视频免费观看高清| 99国产精品一区二区三区| 免费观看人在逋| 亚洲,欧美,日韩| 欧美性猛交╳xxx乱大交人| 在线国产一区二区在线| 久久久精品欧美日韩精品| 国产精品人妻久久久久久| 午夜福利免费观看在线| a级一级毛片免费在线观看| 一二三四社区在线视频社区8| 午夜精品一区二区三区免费看| 日本精品一区二区三区蜜桃| 九色国产91popny在线| 丰满人妻一区二区三区视频av| 又爽又黄a免费视频| 久久婷婷人人爽人人干人人爱| 亚洲人成网站在线播| avwww免费| 亚洲美女搞黄在线观看 | 久久国产乱子伦精品免费另类| 美女高潮的动态| 久久国产乱子伦精品免费另类| 首页视频小说图片口味搜索| 午夜福利欧美成人| 国内久久婷婷六月综合欲色啪| 丰满的人妻完整版| 淫妇啪啪啪对白视频| www.999成人在线观看| 日韩大尺度精品在线看网址| 久久精品综合一区二区三区| 亚洲成av人片在线播放无| 成年女人永久免费观看视频| 99热这里只有是精品50| 色哟哟·www| 日日摸夜夜添夜夜添小说| 国产三级黄色录像| 日韩欧美在线乱码| 免费大片18禁| 国内精品一区二区在线观看| 欧美成人一区二区免费高清观看| 夜夜看夜夜爽夜夜摸| 在现免费观看毛片| 亚洲精品亚洲一区二区| 久久99热6这里只有精品| 亚洲成人精品中文字幕电影| 精品99又大又爽又粗少妇毛片 | 成人无遮挡网站| 国产老妇女一区| 国产亚洲精品久久久com| 日本成人三级电影网站| 日韩亚洲欧美综合| 日韩人妻高清精品专区| 欧美3d第一页| 国产精品av视频在线免费观看| 校园春色视频在线观看| 久久久成人免费电影| 又爽又黄a免费视频| 亚州av有码| 可以在线观看毛片的网站| 露出奶头的视频| 久久久久免费精品人妻一区二区| 最近中文字幕高清免费大全6 | 不卡一级毛片| 午夜激情福利司机影院| 午夜福利18| 色av中文字幕| 久久中文看片网| 日韩大尺度精品在线看网址| 国产一区二区三区在线臀色熟女| 国产精品乱码一区二三区的特点| 在线观看午夜福利视频| 国产精品综合久久久久久久免费| 国产亚洲欧美98| 久久精品国产自在天天线| 欧洲精品卡2卡3卡4卡5卡区| 五月玫瑰六月丁香| 午夜免费男女啪啪视频观看 | 九九热线精品视视频播放| 亚洲国产日韩欧美精品在线观看| 欧美激情在线99| 欧美最新免费一区二区三区 | 国语自产精品视频在线第100页| www.www免费av| 国产午夜福利久久久久久| 国产成人aa在线观看| 午夜影院日韩av| 亚洲人成网站在线播| 免费电影在线观看免费观看| a级一级毛片免费在线观看| 欧美一区二区亚洲| 国产精品一区二区三区四区免费观看 | 精品久久久久久久久亚洲 | 亚洲专区国产一区二区| 久9热在线精品视频| 神马国产精品三级电影在线观看| 如何舔出高潮| 高清日韩中文字幕在线| 麻豆一二三区av精品| 深爱激情五月婷婷| 免费无遮挡裸体视频| 十八禁人妻一区二区| ponron亚洲| 女人被狂操c到高潮| 99久久精品热视频| 日日夜夜操网爽| 亚洲狠狠婷婷综合久久图片| 看十八女毛片水多多多| 1024手机看黄色片| 久久国产乱子伦精品免费另类| 亚洲国产精品久久男人天堂| 国产国拍精品亚洲av在线观看| 国产精品不卡视频一区二区 | 我的老师免费观看完整版| 美女 人体艺术 gogo| 欧美在线黄色| 亚洲美女搞黄在线观看 | a在线观看视频网站| 老司机福利观看| 亚洲成人中文字幕在线播放| 色av中文字幕| 日韩中文字幕欧美一区二区| av视频在线观看入口| 美女被艹到高潮喷水动态| 波多野结衣高清作品| 国内精品久久久久精免费| 欧美午夜高清在线| 亚洲久久久久久中文字幕| 在线观看一区二区三区| 桃色一区二区三区在线观看| av在线蜜桃| 久久九九热精品免费| 身体一侧抽搐| 国产亚洲精品久久久com| 久久精品91蜜桃| 亚洲成av人片免费观看| 亚洲 欧美 日韩 在线 免费| 亚洲精品影视一区二区三区av| 女同久久另类99精品国产91| 青草久久国产| 啦啦啦韩国在线观看视频| 欧美又色又爽又黄视频| xxxwww97欧美| 久久国产精品影院| 极品教师在线免费播放| 亚洲国产日韩欧美精品在线观看| 少妇裸体淫交视频免费看高清| 在线十欧美十亚洲十日本专区| 51午夜福利影视在线观看| 伊人久久精品亚洲午夜| 免费人成视频x8x8入口观看| 亚洲av二区三区四区| 俺也久久电影网| 欧美三级亚洲精品| 国产成人影院久久av| 国产精品1区2区在线观看.| 18禁裸乳无遮挡免费网站照片| 国产老妇女一区| 午夜精品在线福利| 免费在线观看影片大全网站| 日韩 亚洲 欧美在线| 国产男靠女视频免费网站| 久久久国产成人精品二区| 欧美不卡视频在线免费观看| 在线观看午夜福利视频| 午夜两性在线视频| 夜夜爽天天搞| 国产精品久久久久久久电影| 俺也久久电影网| 亚洲成人久久性| 午夜激情福利司机影院| 国产三级中文精品| 狂野欧美白嫩少妇大欣赏| 最好的美女福利视频网| 蜜桃亚洲精品一区二区三区| 一区福利在线观看| 国产精品永久免费网站| 男女床上黄色一级片免费看| 99久久精品一区二区三区| 国产精品精品国产色婷婷| 国产亚洲精品综合一区在线观看| 90打野战视频偷拍视频| 老司机深夜福利视频在线观看| 亚洲欧美日韩卡通动漫| 一级黄色大片毛片| 免费观看的影片在线观看| 两个人的视频大全免费| 亚洲成人久久爱视频| 国产野战对白在线观看| 老司机福利观看| www.色视频.com| 最近最新中文字幕大全电影3| 在线免费观看的www视频| 免费观看精品视频网站| 国产精品三级大全| 91在线观看av| 亚洲狠狠婷婷综合久久图片| 日本熟妇午夜| 久久天躁狠狠躁夜夜2o2o| 国产视频一区二区在线看| 青草久久国产| 国产精品综合久久久久久久免费| 午夜激情欧美在线| 日本与韩国留学比较| 又爽又黄无遮挡网站| 最新中文字幕久久久久| 精品人妻一区二区三区麻豆 | 性色av乱码一区二区三区2| 99久久九九国产精品国产免费| 欧美xxxx黑人xx丫x性爽| 少妇人妻一区二区三区视频| 亚洲欧美精品综合久久99| 国产精品av视频在线免费观看| 中文在线观看免费www的网站| 久久人人爽人人爽人人片va | 少妇人妻一区二区三区视频| 欧美高清性xxxxhd video| 在线免费观看的www视频| 国产伦精品一区二区三区四那| 乱人视频在线观看| 成人国产综合亚洲| 久久久色成人| 欧美日本亚洲视频在线播放| 成熟少妇高潮喷水视频| 91麻豆精品激情在线观看国产| 国产色爽女视频免费观看| 床上黄色一级片| 色5月婷婷丁香| 天天躁日日操中文字幕| 国产老妇女一区| 别揉我奶头~嗯~啊~动态视频| 亚洲真实伦在线观看| 国产精品久久电影中文字幕| 黄片小视频在线播放| 国产av麻豆久久久久久久| 欧美成人性av电影在线观看| 欧美一区二区精品小视频在线| 黄色丝袜av网址大全| 少妇裸体淫交视频免费看高清| 每晚都被弄得嗷嗷叫到高潮| 久久伊人香网站| 我要搜黄色片| 日韩免费av在线播放| 国产aⅴ精品一区二区三区波| 亚洲七黄色美女视频| 99久久久亚洲精品蜜臀av| 又爽又黄无遮挡网站| 国产蜜桃级精品一区二区三区| 一边摸一边抽搐一进一小说| 天堂av国产一区二区熟女人妻| 亚洲av日韩精品久久久久久密| 日日摸夜夜添夜夜添av毛片 | 成年女人永久免费观看视频| 亚洲一区二区三区不卡视频| 99久久无色码亚洲精品果冻| av在线蜜桃| 久久久国产成人精品二区| 国产精品久久久久久精品电影| 国产精品电影一区二区三区| 国产黄色小视频在线观看| 久久国产精品影院|