• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能應(yīng)用中數(shù)據(jù)安全的法律規(guī)制分析

    2023-08-09 17:38:18蔡秉坤徐小壘
    科技智囊 2023年7期
    關(guān)鍵詞:數(shù)據(jù)安全人工智能監(jiān)管

    蔡秉坤 徐小壘

    摘? 要:數(shù)據(jù)是驅(qū)動人工智能浪潮全面興起的基礎(chǔ)要素之一,數(shù)據(jù)安全是人工智能安全的核心。然而,人工智能的高速發(fā)展也帶來數(shù)據(jù)安全的風(fēng)險挑戰(zhàn)。文章從個人數(shù)據(jù)安全風(fēng)險、企業(yè)數(shù)據(jù)安全風(fēng)險等方面總結(jié)了人工智能應(yīng)用中存在的數(shù)據(jù)安全風(fēng)險,并分析了人工智能應(yīng)用中數(shù)據(jù)安全的法律規(guī)制,從加快數(shù)據(jù)安全立法和數(shù)據(jù)確權(quán)、數(shù)據(jù)安全的“穿透式”監(jiān)管、數(shù)據(jù)安全“監(jiān)管沙箱”、數(shù)據(jù)安全協(xié)同治理等方面提出相關(guān)建議。

    關(guān)鍵詞:人工智能;數(shù)據(jù)安全;數(shù)據(jù)確權(quán);“穿透式”監(jiān)管;監(jiān)管沙箱

    中圖分類號:TP309.2 文獻標(biāo)識碼:A DOI:10.19881/j.cnki.1006-3676.2023.07.07

    一、人工智能與數(shù)據(jù)安全

    人工智能技術(shù)已經(jīng)廣泛應(yīng)用到各個領(lǐng)域,深刻影響著國家政治、經(jīng)濟、社會、國防等各個領(lǐng)域的運行模式,已成為世界主要國家謀求新一輪國家科技競爭主導(dǎo)權(quán)的關(guān)鍵技術(shù)。我國非常重視人工智能發(fā)展和數(shù)據(jù)安全保護,二十屆中央國家安全委員會第一次會議強調(diào),要提升網(wǎng)絡(luò)數(shù)據(jù)人工智能安全治理水平、推進國家安全法治建設(shè)。對人工智能應(yīng)用中數(shù)據(jù)安全的法律規(guī)制進行分析,為人工智能技術(shù)健康發(fā)展和保障數(shù)據(jù)安全提供建議,符合國家安全形勢和戰(zhàn)略要求。

    數(shù)據(jù)、算法、算力是人工智能的驅(qū)動力,其中,數(shù)據(jù)是人工智能的核心,“數(shù)據(jù)為體,智能為用”。[1]一方面,數(shù)據(jù)為人工智能提供學(xué)習(xí)樣本,人工智能的工作原理是基于大數(shù)據(jù)集和統(tǒng)計數(shù)據(jù)驅(qū)動的模式匹配過程[2],用于人工智能機器學(xué)習(xí)的數(shù)據(jù)集越豐富,質(zhì)量越高,機器學(xué)習(xí)的效果就越好。另一方面,人工智能又提升了數(shù)據(jù)收集管理能力和數(shù)據(jù)挖掘利用水平,用戶在使用人工智能系統(tǒng)的過程中,通過端口將數(shù)據(jù)提供給人工智能服務(wù)系統(tǒng),人工智能就可以從龐大的數(shù)據(jù)集中精準(zhǔn)找到目標(biāo)數(shù)據(jù),并對其進行深度挖掘分析,進而從中挖掘出有利用價值的信息,以提供精準(zhǔn)服務(wù)。[3]

    數(shù)據(jù)安全是人工智能技術(shù)安全的關(guān)鍵。為人工智能提供學(xué)習(xí)樣本的數(shù)據(jù),可以稱為“訓(xùn)練數(shù)據(jù)”。這些數(shù)據(jù)是人工智能算法開發(fā)者在研發(fā)人工智能系統(tǒng)或產(chǎn)品時所賦予的樣本數(shù)據(jù),其可能存在數(shù)據(jù)質(zhì)量安全、數(shù)據(jù)投毒攻擊等風(fēng)險,從而導(dǎo)致人工智能學(xué)習(xí)到錯誤信息,以致人工智能在決策時作出錯誤判斷。[3]此類數(shù)據(jù)風(fēng)險主要源于人工智能內(nèi)在技術(shù)的局限性,具有技術(shù)復(fù)雜性,并非法律規(guī)制所能解決的問題,因此不在筆者的討論范圍之內(nèi)。人工智能技術(shù)濫用其強大的數(shù)據(jù)收集和數(shù)據(jù)分析利用能力導(dǎo)致的數(shù)據(jù)安全風(fēng)險,遠比人們想象的可怕。人工智能技術(shù)濫用或不當(dāng)應(yīng)用導(dǎo)致的數(shù)據(jù)安全風(fēng)險,如數(shù)據(jù)過度采集、數(shù)據(jù)歧視、數(shù)據(jù)濫用、數(shù)據(jù)壟斷等數(shù)據(jù)安全風(fēng)險及法律規(guī)制,是筆者討論的重點。

    二、人工智能應(yīng)用中存在的數(shù)據(jù)安全風(fēng)險

    人工智能被普遍認為是一個能夠自主學(xué)習(xí)的機器或系統(tǒng),其運行原理是從海量復(fù)雜且無序的數(shù)據(jù)集中,通過算法模型計算出一個結(jié)果,作為判斷和決策的依據(jù)。[3]數(shù)據(jù)在人工智能應(yīng)用中的生命周期,包括數(shù)據(jù)采集、傳輸、存儲、處理、銷毀等環(huán)節(jié),各個環(huán)節(jié)均隱藏了數(shù)據(jù)安全風(fēng)險。人工智能領(lǐng)域存在的數(shù)據(jù)安全風(fēng)險,主要有以下幾種:

    (一)個人數(shù)據(jù)安全風(fēng)險

    1.個人信息泄露風(fēng)險

    目前,人工智能主要應(yīng)用在智能系統(tǒng)和智能設(shè)備兩大模塊,智能系統(tǒng)包括生物特征識別、智慧城市系統(tǒng)、智能醫(yī)療系統(tǒng)等軟件系統(tǒng),智能設(shè)備包括智能手環(huán)、智能手機、智能掃地機器人等各類智能終端產(chǎn)品。在用戶使用這些智能系統(tǒng)和智能產(chǎn)品的同時,人工智能便采集了用戶的人臉、指紋、聲音、心跳、基因等具有強個人屬性的生物特征信息[4],甚至在用戶不知情的情況下在后臺偷偷運行,收集與其所提供的服務(wù)無關(guān)的數(shù)據(jù)。[3]此外,人工智能還可以通過計算、分析、處理收集到的數(shù)據(jù),分析用戶的心理活動,在用戶毫無意識時,獲取更多終端用戶不會隨意透露的隱私數(shù)據(jù),甚至還會通過其自帶的算法誘導(dǎo)終端用戶提供更多隱私數(shù)據(jù)。[5]個人數(shù)據(jù)在人工智能面前一覽無余,隨著機器學(xué)習(xí)的不斷深化,個人將再無任何隱私和秘密可言。

    2.數(shù)據(jù)濫用

    數(shù)據(jù)濫用風(fēng)險主要有兩種,其一,在社會消費領(lǐng)域可能會帶來差異化定價。其二,在信息傳播領(lǐng)域可能會帶來“信息繭房”效應(yīng)。[4]差異化定價,就是所謂的“大數(shù)據(jù)殺熟”,利用人工智能對用戶消費習(xí)慣、興趣偏好等數(shù)據(jù)的深度挖掘分析而進行差異化定價,侵害用戶的知情權(quán)和公平交易權(quán)。而“信息繭房”效應(yīng)是指用戶更多接受滿足自己偏好的信息和內(nèi)容,導(dǎo)致社會不同群體的認知鴻溝拉大,個人意志的自由選擇受到影響?;谶@種數(shù)據(jù)濫用的個性化內(nèi)容推薦,甚至?xí)扑吞摷僬螐V告,對選民意識形態(tài)和政治觀點進行干預(yù)和誘導(dǎo),從而影響政治選舉,給國家和社會安全帶來嚴峻挑戰(zhàn)。[6]

    此外,人工智能終端用戶并不能輕易地將操作記錄從人工智能設(shè)備中完全刪除,且大多數(shù)用戶對于刪除操作記錄數(shù)據(jù)并無意識。人工智能通過收集分析這些記錄,可以得出相對具體的個人數(shù)據(jù)信息,而這些個人數(shù)據(jù)會隨著人工智能所有權(quán)或使用權(quán)的流轉(zhuǎn)而不斷流轉(zhuǎn),其儲存的個人數(shù)據(jù)信息會繼續(xù)在網(wǎng)絡(luò)空間中傳播和共享。[5]個人數(shù)據(jù)如失去控制般在網(wǎng)絡(luò)中流動、共享,導(dǎo)致個人在網(wǎng)絡(luò)中處于沒有防護的狀態(tài)。智能系統(tǒng)通過收集個人數(shù)據(jù),再分析出有更大利用價值的信息,如購物軟件通過分析用戶瀏覽足跡、搜索記錄、加購記錄等數(shù)據(jù),可以得出用戶的喜好和消費傾向,進而進行相關(guān)產(chǎn)品推送,將用戶變成“待割的韭菜”。

    另外,人工智能終端用戶并不會考慮人工智能會將通過各種端口收集到的個人數(shù)據(jù)傳送到哪里。這些數(shù)據(jù)大多情況下會被傳輸?shù)皆贫?,從而進行大數(shù)據(jù)云計算,而不是存儲在本地設(shè)備中,至于數(shù)據(jù)上傳到云端后究竟去了哪里,便不得而知。

    由于個人數(shù)據(jù)被不斷收集、分析、流轉(zhuǎn),數(shù)據(jù)很有可能被不法分子攫取、利用,侵犯個人隱私權(quán)、人身權(quán)和財產(chǎn)權(quán)。個人數(shù)據(jù)信息被泄露后,侵權(quán)人利用人工智能系統(tǒng)可以輕易分析出特定自然人的畫像,甚至能夠?qū)μ囟ㄗ匀蝗说男睦砗托袨檫M行預(yù)判,進而實施犯罪活動。

    3.數(shù)據(jù)歧視和算法歧視

    人工智能深度學(xué)習(xí)的運行模式,是通過模擬人腦的神經(jīng)元建立神經(jīng)網(wǎng)絡(luò),數(shù)據(jù)輸入后經(jīng)過算法黑箱輸出算法結(jié)果,產(chǎn)生人工智能決策。[3]人工智能算法黑箱具有技術(shù)上的復(fù)雜性,人工智能算法的設(shè)計、開發(fā)、應(yīng)用由不同程序員完成,各個研發(fā)主體的工作是編寫源程序,即機器可識別的由“0”和“1”組成的代碼,而源程序和數(shù)據(jù)如何在機器內(nèi)部運算,這是賦予機器源代碼的程序員也無法解釋的問題。[5]因此,人工智能系統(tǒng)可能會因為人類無法解釋算法黑箱而造成更大的傷害。

    機器學(xué)習(xí)存在“算法黑箱”以及不可解釋性,導(dǎo)致人工智能技術(shù)天然存在內(nèi)在局限性,人工智能決策偏差難以消除。人工智能在選擇和分析數(shù)據(jù)時,具有特定的價值傾向和價值選擇性,其價值偏差可能是賦予其源代碼的程序員自身的價值選擇或價值偏差,也有可能是輸入數(shù)據(jù)偏差所致,如互聯(lián)網(wǎng)數(shù)據(jù)收集到的更多是我國經(jīng)濟發(fā)達地區(qū)、青年網(wǎng)民的數(shù)據(jù)特征,而邊遠地區(qū)和老年人群的數(shù)據(jù)特征無法全面覆蓋,最終導(dǎo)致人工智能決策缺乏公平性。

    (二)企業(yè)數(shù)據(jù)安全風(fēng)險

    1.數(shù)據(jù)壟斷

    存在于人工智能領(lǐng)域的企業(yè)數(shù)據(jù)安全風(fēng)險,最主要的是數(shù)據(jù)壟斷問題。隨著互聯(lián)網(wǎng)和人工智能的發(fā)展,數(shù)據(jù)逐漸資源化、商品化,成為企業(yè)重要的生產(chǎn)要素。數(shù)據(jù)具有巨大的潛力,可以觸發(fā)更高效的業(yè)務(wù)運營,現(xiàn)代經(jīng)濟活動、創(chuàng)新、增長都依賴于數(shù)據(jù)[7],企業(yè)數(shù)據(jù)權(quán)屬問題逐漸顯露。企業(yè)通過各種人工智能端口收集了大量個人數(shù)據(jù),部分企業(yè)通過“算法共謀”形成了事實上的壟斷狀態(tài),導(dǎo)致初創(chuàng)企業(yè)和研究機構(gòu)在算法設(shè)計和優(yōu)化過程中無數(shù)據(jù)可用,損害了人工智能行業(yè)整體的競爭、發(fā)展。

    2.數(shù)據(jù)利益沖突

    有學(xué)者認為,由于企業(yè)通過人工智能端口收集用戶個人數(shù)據(jù)幾乎沒有成本,卻能因此獲得巨大經(jīng)濟利益,因此導(dǎo)致了數(shù)據(jù)收集者和數(shù)據(jù)提供者之間的利益不平衡。[8]也有學(xué)者認為,企業(yè)收集數(shù)據(jù)并非沒有付出成本,數(shù)據(jù)企業(yè)本身收集、存儲個人數(shù)據(jù)也需要付出相應(yīng)的成本,其需要投入成本研發(fā)各種人工智能產(chǎn)品和系統(tǒng),并向用戶提供相應(yīng)的服務(wù),如百度地圖、滴滴等智能軟件系統(tǒng)。[9]因此,企業(yè)免費提供其投入大量成本研發(fā)的智能產(chǎn)品服務(wù),是其收集、利用個人數(shù)據(jù)所支付的合理對價,符合公平原則。[9]以上兩種觀點的對立,本質(zhì)是數(shù)據(jù)權(quán)屬不明所導(dǎo)致的數(shù)據(jù)產(chǎn)權(quán)爭議問題。個人數(shù)據(jù)商業(yè)化利用過程中造成了數(shù)據(jù)權(quán)力異化,企業(yè)與企業(yè)之間,企業(yè)與用戶之間的利益沖突無可避免。

    三、人工智能應(yīng)用中數(shù)據(jù)安全的法律規(guī)制分析

    人工智能應(yīng)用中,固然存在數(shù)據(jù)安全風(fēng)險問題,人工智能的發(fā)展必然會產(chǎn)生安全隱患,但是人們不能為了保護數(shù)據(jù)安全而因噎廢食,從而選擇不使用或者不發(fā)展人工智能,這并不能從根本上解決問題,并且誰都無法忽視人工智能創(chuàng)造的巨大經(jīng)濟價值和便利。為了從根本上解決人工智能創(chuàng)造的經(jīng)濟價值和數(shù)據(jù)安全風(fēng)險之間的矛盾,國內(nèi)外的法學(xué)家們試圖利用法律對其進行規(guī)制和平衡,但是這些法律路徑并不能完全適用人工智能領(lǐng)域的數(shù)據(jù)保護,都或多或少存在局限性。

    (一)個人數(shù)據(jù)安全的法律規(guī)制

    人工智能領(lǐng)域的個人數(shù)據(jù)保護沿襲了一般數(shù)據(jù)保護的路徑,即個人數(shù)據(jù)的私法保護,主要有隱私權(quán)路徑保護和財產(chǎn)權(quán)路徑保護。

    1.隱私權(quán)規(guī)制

    采用不同的法律保護路徑,那么其保護的方式也自然不同。個人數(shù)據(jù)隱私權(quán)保護路徑,主要是將個人數(shù)據(jù)納入民法侵權(quán)責(zé)任的保護范圍,通過侵權(quán)訴訟解決人工智能領(lǐng)域個人數(shù)據(jù)信息被侵犯的問題。1由于個人數(shù)據(jù)可以識別出特定自然人的身份信息,從而確定特定的自然人,并且人工智能可以通過個人數(shù)據(jù)窺探個人隱私。因此,人們自然而然想到通過隱私權(quán)這一絕對的人身權(quán)利保護個人數(shù)據(jù)這一法律路徑。[9]但是此路徑有其天然的弊端,并不適用于人工智能領(lǐng)域的個人數(shù)據(jù)保護。

    首先,我國《民法典》尚未將個人數(shù)據(jù)進行確權(quán),而是將其視為防御性利益予以保護[10],因為并沒有明確的侵權(quán)客體,因此難以將其納入侵權(quán)法的規(guī)制之中。如果將個人數(shù)據(jù)權(quán)益納入隱私權(quán)這一人身權(quán)利之中,有可能通過傳統(tǒng)的隱私權(quán)侵權(quán)進行法律規(guī)制,如將可以識別自然人身份信息的個人數(shù)據(jù)納入隱私權(quán)保護之中。但人工智能領(lǐng)域的有些數(shù)據(jù)并不涉及個人身份信息,如經(jīng)過脫敏處理的匿名化的大數(shù)據(jù),收集、分析、存儲、披露這些數(shù)據(jù),不會直接對個人隱私或其他相關(guān)權(quán)利造成侵害,因此并不完全適用隱私權(quán)的保護。[11]

    其次,侵權(quán)主體難以確認。在傳統(tǒng)的隱私權(quán)侵權(quán)中,侵犯隱私權(quán)的主體具有單一性或特定性,但是在人工智能的算法黑箱中,侵犯隱私權(quán)的過程具有復(fù)雜性、系統(tǒng)性,隱私權(quán)受侵害的威脅常常涉及多個主體[11],難以辨認真正的侵權(quán)主體,也就無法確認侵權(quán)行為與損害后果之間的因果關(guān)系,以及侵權(quán)主體的主觀過錯。因此,不滿足侵權(quán)責(zé)任的構(gòu)成要件,隱私權(quán)的保護路徑在人工智能領(lǐng)域難以適用。

    再次,歐盟《通用數(shù)據(jù)保護條例》認為,個人數(shù)據(jù)隱私權(quán)保護的重點是通過明確個人對數(shù)據(jù)信息擁有一定的權(quán)利(如收集數(shù)據(jù)的知情同意權(quán)、數(shù)據(jù)刪除權(quán)、限制處理權(quán)等),從而增強個人對其個人數(shù)據(jù)的控制能力,實現(xiàn)對個人隱私的保護。[12]個人數(shù)據(jù)隱私權(quán)保護,通過明確個人權(quán)利確實起到了保護個人數(shù)據(jù)隱私安全的作用,但是其對個人數(shù)據(jù)存在保護過度的風(fēng)險。有經(jīng)濟分析研究表明,《通用數(shù)據(jù)保護條例》并沒有充分實現(xiàn)個人隱私保護和數(shù)字經(jīng)濟發(fā)展之間的平衡,總體而言,該條例的實施對歐盟數(shù)字經(jīng)濟的影響是負面的。[12-13]

    最后,《中華人民共和國個人信息保護法》明確規(guī)定,處理個人信息應(yīng)當(dāng)取得個人同意,基于個人同意處理個人信息的,個人有權(quán)撤回其同意……意在賦予個人包括知情權(quán)、決定權(quán)、撤回權(quán)、更正權(quán)、刪除權(quán)等在內(nèi)的多項個人信息權(quán)。在一般的個人信息保護中,這些規(guī)定可能起到一定的規(guī)制作用,但在人工智能領(lǐng)域,實現(xiàn)以上個人信息權(quán)并不現(xiàn)實。以知情權(quán)為例,在使用人工智能時,不可能每一步操作都經(jīng)過個人的知情同意,即使有些人工智能系統(tǒng)在用戶使用前設(shè)有隱私聲明或用戶協(xié)議,那也只是高度格式化的隱私條款,“事實上幾乎沒有人有時間、能力或決心瀏覽一遍人工智能應(yīng)用中復(fù)雜的條款和知情同意的條件,更不用說要對每次給定的同意書都進行瀏覽?!盵14]用戶面臨要么選擇全部拒絕而無法使用人工智能,要么選擇全部同意以使用其提供的便利服務(wù)的抉擇。從這個角度上講,知情同意權(quán)和格式化的隱私條款對于個人來說,幾乎“形同虛設(shè)”,決定權(quán)、撤回權(quán)、更正權(quán)和刪除權(quán)同時也難以實現(xiàn)。

    2.財產(chǎn)權(quán)規(guī)制

    有學(xué)者提出,應(yīng)當(dāng)授予數(shù)據(jù)主體數(shù)據(jù)所有權(quán),通過確立個人擁有對個人數(shù)據(jù)的財產(chǎn)權(quán)利來保護數(shù)據(jù)利益。[15]個人數(shù)據(jù)財產(chǎn)權(quán)保護是將個人數(shù)據(jù)設(shè)想成一種對抗不特定第三人的個人數(shù)據(jù)自決權(quán)或財產(chǎn)權(quán),也就是說,一切獲得他人個人數(shù)據(jù)的行為,都必須事先征得數(shù)據(jù)主體的同意,未經(jīng)數(shù)據(jù)主體同意,一切獲取他人個人數(shù)據(jù)的行為都是違法行為。[11]這種觀點認為,數(shù)據(jù)是現(xiàn)代社會中的重要生產(chǎn)要素,數(shù)據(jù)蘊藏著巨大的經(jīng)濟價值,而數(shù)據(jù)本身來源于公民個人,數(shù)字企業(yè)獲得數(shù)據(jù)是由于公民個人的授權(quán),公民個人天然有權(quán)決定自己的個人數(shù)據(jù)能否以及如何被他人獲取和利用。個人數(shù)據(jù)財產(chǎn)化之后,公民個人可以自由選擇在數(shù)據(jù)市場中將自己的個人數(shù)據(jù)當(dāng)作商品進行交易,從而有利于數(shù)據(jù)流通,促進數(shù)據(jù)市場繁榮。然而,在人工智能領(lǐng)域和大數(shù)據(jù)技術(shù)下,以財產(chǎn)權(quán)保護個人數(shù)據(jù)和規(guī)范其使用,并不能實現(xiàn)其制度目的。理由如下:

    首先,個人數(shù)據(jù)并非所有權(quán)的客體—物。傳統(tǒng)民法中的“物”具有可控性,但是數(shù)據(jù)天然具有可獲得性、非排他性和流通性,無法為個人所獨占和控制。公民個人無時無刻不在產(chǎn)生個人數(shù)據(jù),包括出行軌跡、上網(wǎng)瀏覽記錄、網(wǎng)購記錄等各種數(shù)據(jù)信息,生活在大數(shù)據(jù)時代,公民個人不可能不產(chǎn)生數(shù)據(jù),而且也不可能時時刻刻都關(guān)注自己的個人數(shù)據(jù)信息的流轉(zhuǎn),因此根本不可能完全控制數(shù)據(jù)。此外,數(shù)據(jù)雖然具有無形性,但是并不構(gòu)成“無形物”,因為數(shù)據(jù)本身并不像智力成果那樣具有信息內(nèi)容的專屬性和壟斷性,數(shù)據(jù)必須要流通和共享。數(shù)據(jù)也不像電力、熱力等無形物一樣,本質(zhì)上是有體財產(chǎn)的延伸,屬于有體財產(chǎn)的范圍。[16]

    其次,個人數(shù)據(jù)并不具有財產(chǎn)性。在人工智能大數(shù)據(jù)領(lǐng)域,只有收集足夠多的數(shù)據(jù),并經(jīng)過深度分析處理才能產(chǎn)生價值,單獨交易個人數(shù)據(jù)幾乎沒有市場價值,也無法進行單獨的個人數(shù)據(jù)財產(chǎn)權(quán)交易。在經(jīng)濟學(xué)上,產(chǎn)權(quán)的概念僅僅針對有價值的稀缺物品而言,因為稀缺才有產(chǎn)權(quán)和交易的需要,而個人數(shù)據(jù)就像陽光和空氣一樣充足,沒有競爭性也不需要產(chǎn)權(quán)制度來規(guī)范其使用。[17]

    最后,在現(xiàn)代個人數(shù)據(jù)隱私泄露事件層出不窮的背景下,并非所有數(shù)據(jù)主體都愿意在公開的數(shù)據(jù)市場中交易其個人數(shù)據(jù),市場并不是萬能的,數(shù)據(jù)市場也一樣,如果數(shù)據(jù)主體不愿再交易其個人數(shù)據(jù),那么數(shù)據(jù)市場就會面臨失靈的危險。此外,賦予個人數(shù)據(jù)財產(chǎn)權(quán),也就是將數(shù)據(jù)的控制權(quán)交到數(shù)據(jù)主體(個人)手上,容易導(dǎo)致數(shù)據(jù)保護過度,人工智能等數(shù)字企業(yè)收集和使用個人數(shù)據(jù)的成本將會大幅提升,從而打擊數(shù)字企業(yè)乃至整個數(shù)據(jù)產(chǎn)業(yè)的積極性,不利于人工智能等數(shù)據(jù)企業(yè)的創(chuàng)新與發(fā)展。

    (二)企業(yè)數(shù)據(jù)安全的法律規(guī)制

    針對人工智能領(lǐng)域企業(yè)數(shù)據(jù)面臨的風(fēng)險,現(xiàn)階段主要有《中華人民共和國著作權(quán)法》(簡稱《著作權(quán)法》)和《中華人民共和國反不正當(dāng)競爭法》(簡稱《反不正當(dāng)競爭法》)兩種法律路徑保護。

    1.《著作權(quán)法》規(guī)制

    數(shù)據(jù)和知識產(chǎn)權(quán)所保護的智力成果都具有無形性的特點,數(shù)據(jù)與知識產(chǎn)權(quán)客體在性質(zhì)上具有內(nèi)在的相似性,知識產(chǎn)權(quán)的調(diào)整對象主要來自智力成果作為一種特定信息所具有的共享性[18],而數(shù)據(jù)也天然具有共享性?!吨鳈?quán)法》第二章第二節(jié)第十五條規(guī)定,“匯編若干作品、作品的片段或者不構(gòu)成作品的數(shù)據(jù)或者其他材料,對其內(nèi)容的選擇或者編排體現(xiàn)獨創(chuàng)性的作品,為匯編作品,其著作權(quán)由匯編人享有”。有學(xué)者提出,將企業(yè)數(shù)據(jù)納入《著作權(quán)法》關(guān)于匯編作品的保護范圍,該觀點認為,數(shù)字企業(yè)形成的數(shù)據(jù)合集屬于數(shù)據(jù)匯編作品而享有著作權(quán),但是匯編作品著作權(quán)保護并不完全適應(yīng)人工智能領(lǐng)域的企業(yè)大數(shù)據(jù)合集的保護。[19]

    匯編作品受著作權(quán)保護的前提首先必須是作品,而作品要求具有獨創(chuàng)性,法律保護的是獨創(chuàng)性而非數(shù)據(jù)和事實本身,因此匯編作品著作權(quán)并不能保護所有企業(yè)數(shù)據(jù)集合,而只能保護其中構(gòu)成作品且具有獨創(chuàng)性貢獻的部分。[19]在人工智能領(lǐng)域的大部分數(shù)據(jù),只是單純收集個人數(shù)據(jù)而形成數(shù)據(jù)合集,并不具有獨創(chuàng)性,不能為《著作權(quán)法》所保護。只有經(jīng)過人工智能對原始數(shù)據(jù)進行挑選和算法計算后,所產(chǎn)生的具有獨創(chuàng)性的選擇與編排的數(shù)據(jù),才符合著作權(quán)的匯編作品保護的要求。

    此外,著作權(quán)保護具有思想和表達二分的特點,著作權(quán)只保護具有獨創(chuàng)性的表達而不保護思想,為了促進社會進步和發(fā)展,思想由全人類共享。所以,著作權(quán)保護的是匯編時的獨創(chuàng)性而非數(shù)據(jù)本身,著作權(quán)并不能有效阻止數(shù)據(jù)本身被復(fù)制和使用,而其他數(shù)字企業(yè)通過爬蟲復(fù)制數(shù)據(jù)信息就能達到目的,其需要的往往是數(shù)據(jù)本身。在實踐中,《著作權(quán)法》對企業(yè)匯編數(shù)據(jù)的獨創(chuàng)性判斷缺乏統(tǒng)一的標(biāo)準(zhǔn)和依據(jù),企業(yè)匯編數(shù)據(jù)的獨創(chuàng)性難以認定[19],這也是《著作權(quán)法》在人工智能領(lǐng)域數(shù)據(jù)保護中的局限性。

    2.《反不正當(dāng)競爭法》規(guī)制

    針對《著作權(quán)法》對企業(yè)數(shù)據(jù)保護不足的問題,有學(xué)者提出通過《反不正當(dāng)競爭法》中的侵犯商業(yè)秘密的條款對其進行保護。[20]在司法實踐中也已經(jīng)出現(xiàn)侵犯數(shù)據(jù)商業(yè)秘密的不正當(dāng)競爭糾紛案例。根據(jù)《反不正當(dāng)競爭法》第九條規(guī)定:“商業(yè)秘密,是指不為公眾所知悉、具有商業(yè)價值并經(jīng)權(quán)利人采取相應(yīng)保密措施的技術(shù)信息、經(jīng)營信息等商業(yè)信息?!毙纬扇斯ぶ悄茴I(lǐng)域的數(shù)據(jù)集合,需要經(jīng)過數(shù)據(jù)篩選、補充、格式調(diào)整、數(shù)據(jù)刪減或加密等措施,并因此付出巨大成本,同時能為權(quán)利人帶來巨大經(jīng)濟利益,人工智能數(shù)據(jù)的原始收集者往往采取技術(shù)措施阻止他方獲取自身的數(shù)據(jù)。從整體上來看,人工智能領(lǐng)域的數(shù)據(jù)合集符合法律對商業(yè)秘密的界定,但是這并不能說明《反不正當(dāng)競爭法》的商業(yè)秘密保護條款是對數(shù)據(jù)的完美保護機制。

    是否能夠認定人工智能領(lǐng)域中的數(shù)據(jù)集合屬于商業(yè)秘密,這本身就具有一定的可探討性。反對觀點認為,數(shù)據(jù)集合中的數(shù)據(jù)大多來自公共領(lǐng)域,任何人均可從公開渠道直接獲取,所以將公眾所知的數(shù)據(jù)匯編后形成的數(shù)據(jù)集合認定為商業(yè)秘密是荒謬的。[21]支持觀點則認為,只要匯編數(shù)據(jù)作為一個整體無法輕易從公共領(lǐng)域中獲取,就依然具備商業(yè)秘密性,成為商業(yè)秘密。[22]學(xué)界通說認為,商業(yè)秘密屬于財產(chǎn)性權(quán)利[22],如果認定人工智能領(lǐng)域的數(shù)據(jù)集合屬于商業(yè)秘密,那就應(yīng)當(dāng)承認人工智能數(shù)字企業(yè)對數(shù)據(jù)集合享有財產(chǎn)性權(quán)利,主要是享有數(shù)據(jù)集合的所有權(quán),至于是否能夠認定數(shù)字企業(yè)享有數(shù)據(jù)集合的所有權(quán),也仍待探討。有觀點認為,數(shù)字企業(yè)對數(shù)據(jù)集合天然享有所有權(quán),就像因蓋房屋而原始獲得房屋的所有權(quán)一樣[9],但是這樣不可避免會導(dǎo)致很多數(shù)據(jù)集合無法被公眾獲取,從而加劇數(shù)據(jù)壟斷。

    四、人工智能應(yīng)用中數(shù)據(jù)安全的法律規(guī)制建議

    現(xiàn)有的數(shù)據(jù)保護的法律路徑,大都不是專為保護人工智能應(yīng)用中的數(shù)據(jù)安全而設(shè)定的,因此在適用過程中有些牽強。而且,現(xiàn)有數(shù)據(jù)隱私權(quán)、財產(chǎn)權(quán)和知識產(chǎn)權(quán)保護路徑的不適用,導(dǎo)致人工智能應(yīng)用中的數(shù)據(jù)安全面臨著保護不足和保護過度的兩難。因此,筆者認為,簡單將數(shù)據(jù)權(quán)益納入某一現(xiàn)行權(quán)利體系之中,并不能一勞永逸地解決人工智能數(shù)據(jù)安全問題,應(yīng)具體問題具體分析,對數(shù)據(jù)進行場景化保護?;谝陨戏治?,筆者提出以下4個方面的建議:

    (一)加快數(shù)據(jù)安全立法和數(shù)據(jù)確權(quán)

    首先,現(xiàn)有的法律制度并不能完美解決人工智能應(yīng)用數(shù)據(jù)安全規(guī)制的實踐問題,數(shù)據(jù)市場交易的穩(wěn)定性、匿名化處理的數(shù)據(jù)信息、非原創(chuàng)數(shù)據(jù)集合保護等問題仍處于法律制度真空狀態(tài)。且各種法律規(guī)制制度呈現(xiàn)碎片化、分散化的狀態(tài),缺少體系性。因此,應(yīng)加快數(shù)據(jù)安全立法,構(gòu)建新型的體系化的數(shù)據(jù)法才是破解問題的根本之道。

    其次,數(shù)據(jù)安全立法首要應(yīng)正視數(shù)據(jù)私法確權(quán)問題。數(shù)據(jù)權(quán)屬問題是制約人工智能等新興技術(shù)發(fā)展的難題,加快數(shù)據(jù)確權(quán)、厘清數(shù)據(jù)權(quán)屬關(guān)系對于保護人工智能應(yīng)用中的數(shù)據(jù)安全至關(guān)重要。我國已在數(shù)據(jù)安全、網(wǎng)絡(luò)安全和個人信息保護層面出臺了保護數(shù)據(jù)安全的相關(guān)法律法規(guī),但數(shù)據(jù)權(quán)屬界定問題尚不清晰[23],應(yīng)在立法層面分類確立個人數(shù)據(jù)權(quán)、企業(yè)數(shù)據(jù)權(quán)和公共數(shù)據(jù)權(quán)。數(shù)據(jù)是復(fù)合型權(quán)益,在立法確權(quán)過程中應(yīng)以人格權(quán)保護優(yōu)先、以價值貢獻為重要依據(jù)、個人權(quán)益保護和產(chǎn)業(yè)發(fā)展利益平衡為原則[24],以建立物權(quán)、知識產(chǎn)權(quán)之外的新型數(shù)據(jù)財產(chǎn)權(quán)為基礎(chǔ),其上設(shè)置數(shù)據(jù)來源者權(quán)、數(shù)據(jù)持有者權(quán)、數(shù)據(jù)生產(chǎn)者權(quán)等子權(quán)利,場景化分類確定數(shù)據(jù)權(quán)利,對數(shù)據(jù)資源進行統(tǒng)一規(guī)制,逐步形成數(shù)據(jù)權(quán)利基礎(chǔ)框架。

    (二)數(shù)據(jù)安全的“穿透式”監(jiān)管

    “穿透式”監(jiān)管是金融科技領(lǐng)域監(jiān)管的重要方式,可以借鑒“穿透式”監(jiān)管模式到一般性的人工智能應(yīng)用的數(shù)據(jù)安全規(guī)制中?!按┩浮笔侵复唐剖挛锏拿婕喴园l(fā)現(xiàn)其本質(zhì)的手段,通過對人工智能應(yīng)用的主體穿透、產(chǎn)品屬性穿透、嵌套層級穿透等技術(shù)手段,來分析人工智能應(yīng)用中數(shù)據(jù)安全風(fēng)險的法律本質(zhì)[25],找到數(shù)據(jù)安全風(fēng)險的本質(zhì)與法律規(guī)范之間的連接點,從而決定具體適用何種法律規(guī)范。例如,數(shù)字企業(yè)非法爬取其他企業(yè)的數(shù)據(jù),“穿透”其本質(zhì)構(gòu)成不正當(dāng)競爭,相應(yīng)地,則可利用《反不正當(dāng)競爭法》來維護數(shù)字市場的公平競爭環(huán)境。

    (三)數(shù)據(jù)安全“監(jiān)管沙箱”

    對人工智能應(yīng)用中的數(shù)據(jù)安全進行規(guī)制,往往面臨著發(fā)展與規(guī)范的價值平衡問題。對其規(guī)制過于嚴格,導(dǎo)致對數(shù)據(jù)過度保護,從而產(chǎn)生人工智能領(lǐng)域的“寒蟬效應(yīng)”,扭曲數(shù)據(jù)收集和數(shù)據(jù)驅(qū)動的創(chuàng)新,從長遠來看,會阻礙人工智能的發(fā)展,降低數(shù)據(jù)共享的社會效益。對其規(guī)制過于寬松,則會導(dǎo)致數(shù)據(jù)安全風(fēng)險泛濫,數(shù)據(jù)相關(guān)權(quán)益受到侵害,降低公眾對人工智能技術(shù)發(fā)展的信心。因此,不妨轉(zhuǎn)變?nèi)斯ぶ悄軕?yīng)用中數(shù)據(jù)安全的監(jiān)管理念,進行包容性監(jiān)管?!氨O(jiān)管沙箱”可以為新型的人工智能產(chǎn)品和技術(shù)提供一個暫不受法律規(guī)制的“安全區(qū)”,創(chuàng)造一個安全的測試環(huán)境,以便人工智能技術(shù)試錯和完善。[26]將數(shù)據(jù)安全風(fēng)險束縛在沙箱內(nèi),測試人工智能產(chǎn)品和服務(wù)中數(shù)據(jù)安全風(fēng)險和化解方案,若測試結(jié)果表明其數(shù)據(jù)安全風(fēng)險嚴重危害權(quán)利人的利益,且無法有效化解風(fēng)險,那么該人工智能產(chǎn)品或服務(wù)將無法投入市場。在沙箱測試過程中,對測試的客戶提供損失補償?shù)缺Wo性措施[27],保護權(quán)利人利益同時鼓勵人工智能行業(yè)大膽創(chuàng)新。

    (四)數(shù)據(jù)安全協(xié)同治理

    對人工智能應(yīng)用中數(shù)據(jù)安全的治理,并不是一蹴而就的,也并非單純依靠一方力量所能完成的,需要聚集多方治理力量,協(xié)同發(fā)揮作用,共同實現(xiàn)對人工智能應(yīng)用中數(shù)據(jù)安全的治理。應(yīng)構(gòu)建全國信息資源共享體系,實現(xiàn)不同法律部門間的協(xié)同治理,如私法規(guī)制協(xié)同經(jīng)濟法、行政法等公法規(guī)制,不同司法機關(guān)之間、不同行政部門之間協(xié)同治理,以及鼓勵社會公眾參與人工智能數(shù)據(jù)安全治理,鼓勵人工智能研發(fā)企業(yè)提升自治力度,承擔(dān)起社會責(zé)任。加強政企合作,加快公共服務(wù)領(lǐng)域數(shù)據(jù)集中和共享,與企業(yè)積累的社會數(shù)據(jù)進行平臺對接,提高社會協(xié)同治理水平。

    注釋:

    1. 《中華人民共和國民法典人格權(quán)編理解與適用》指出“《民法典》侵權(quán)責(zé)任編調(diào)整因侵害民事權(quán)益產(chǎn)生的民事關(guān)系,包括侵害人格權(quán)?!蓖趵鹘淌谥赋觯烁駲?quán)請求權(quán)適用于未構(gòu)成侵權(quán)的情形,如更正請求權(quán)、刪除請求權(quán)、回應(yīng)權(quán)(參見王利明:《論人格請求權(quán)與侵權(quán)損害賠償請求權(quán)的分離》,載《中國法學(xué)》2019年第1期,第224-225頁)。因此,筆者認為當(dāng)個人數(shù)據(jù)涉及個人隱私時,侵犯個人數(shù)據(jù)即侵犯個人隱私權(quán),符合侵權(quán)責(zé)任的構(gòu)成要件(過錯、侵權(quán)行為、因果關(guān)系、損害),因而適用侵權(quán)請求權(quán)要求侵權(quán)人承擔(dān)損害賠償責(zé)任。

    參考文獻:

    [1] 林梓瀚,郭豐.人工智能時代我國數(shù)據(jù)安全立法現(xiàn)狀與影響研究[J].互聯(lián)網(wǎng)天地,2020(09):20-25.

    [2] Thomas D G,Damon J W.Show Us the Data:Privacy,Explainability,and Why the Law Cant Have Both[J].George Washington Law Review,2020(06):1350.

    [3] 林偉.人工智能數(shù)據(jù)安全風(fēng)險及應(yīng)對[J].情報雜志,2022(10):88,105-111.

    [4] 中國信息通信研究院安全研究所.人工智能數(shù)據(jù)安全白皮書(2019)[R].北京:中國信息通信研究院安全研究所,2019.

    [5] 祝高峰.論人工智能領(lǐng)域個人信息安全法律保護[J].重慶大學(xué)學(xué)報(社會科學(xué)版),2020(04):150-160.

    [6] 楊洸.數(shù)字媒體時代的數(shù)據(jù)濫用:成因、影響與對策[J].中國出版,2020(12):3-8.

    [7] Burri M.Understanding the Implications of Big Data and Big Data Analytics for Competition Law:An Attempt for A Primer[J].New Developments in Competition Law and Economics,2019:241-263.

    [8] Malgieri G,Custers B.Prcing Privacy-the Right to Know the Value of Your Personal Data[J].Computer Law&Security Review,2018(02):289-303.

    [9] 程嘯.論大數(shù)據(jù)時代的個人數(shù)據(jù)權(quán)利[J].中國社會科學(xué),2018(03):102-122,207-208.

    [10] 李媛.民法典為個人信息保護確立方向[N].中國社會科學(xué)報,2020-07-22(A04).

    [11] 丁曉東.個人信息私法保護的困境與出路[J].法學(xué)研究,2018(06):194-206.

    [12] 唐要家.中國個人隱私數(shù)據(jù)保護的模式選擇與監(jiān)管體制[J].理論學(xué)刊,2021(01):69-77.

    [13] Chivot E,Castro D,Chivot E,et al.What the Evidence Shows about the Impact of the GDPR After One Year[EB/OL].(2019-06-17)[2023-07-02].https://www2.datainnovation.org/2019-gdpr-one-year.pdf.

    [14] Richards N M,King J H.Big Data Ethics[J].Wake Forest Law Review,2014(49):393.

    [15] 劉德良.個人信息的財產(chǎn)權(quán)保護[J].法學(xué)研究,2007(03):80-91.

    [16] 梅夏英.數(shù)據(jù)的法律屬性及其民法定位[J].中國社會科學(xué),2016(09):164-183,209.

    [17] 吳偉光.大數(shù)據(jù)技術(shù)下個人數(shù)據(jù)信息私權(quán)保護論批判[J].政治與法律,2016(07):116-132.

    [18] 郝思洋.知識產(chǎn)權(quán)視角下數(shù)據(jù)財產(chǎn)的制度選項[J].知識產(chǎn)權(quán),2019(09):45-60.

    [19] 徐實.企業(yè)數(shù)據(jù)保護的知識產(chǎn)權(quán)路徑及其突破[J].東方法學(xué),2018(05):55-62.

    [20] 楊雄文,黃苑輝.論大數(shù)據(jù)的商業(yè)秘密保護—以新浪微博訴脈脈不正當(dāng)競爭案為視角[J].重慶工商大學(xué)學(xué)報(社會科學(xué)版),2019(04):138-145.

    [21] 芮文彪,李國泉,楊馥宇.數(shù)據(jù)信息的知識產(chǎn)權(quán)保護模式探析[J].電子知識產(chǎn)權(quán),2015(04):97.

    [22] 崔國斌.大數(shù)據(jù)有限排他權(quán)的基礎(chǔ)理論[J].法學(xué)研究,2019(05):3-24.

    [23] 韋葦,任錦鸞,李文姬.基于國際比較的數(shù)據(jù)治理體系及優(yōu)化策略[J].科技智囊,2022(07):1-7.

    [24] 國務(wù)院發(fā)展研究中心創(chuàng)新發(fā)展研究部.數(shù)字化轉(zhuǎn)型:發(fā)展與政策[M].中國發(fā)展出版社,2022:111-130.

    [25] 葉林,吳燁.金融市場的“穿透式”監(jiān)管論綱[J].法學(xué),2017(12):12-21.

    [26] 郭金良.我國智能投資顧問發(fā)展的法律挑戰(zhàn)及其監(jiān)管應(yīng)對[J].江海學(xué)刊,2019(06):172-178,255.

    [27] 柴瑞娟.監(jiān)管沙箱的域外經(jīng)驗及其啟示[J].法學(xué),2017(08):27-40.

    Abstract:Data is one of the basic elements driving the full rise of artificial intelligence wave,and data security is the core of artificial intelligence security. However,the rapid development of artificial intelligence also brings the risk challenge of data security. The article summarizes the data security risks existing in the application of artificial intelligence from the aspects of personal data security risks and enterprise data security risks,and analyzes the legal regulations of data security in the application of artificial intelligence,and puts forward relevant suggestions from the aspects of accelerating data security legislation and validation,“penetrating”supervision of data security,“regulatory sandbox”of data security,and collaborative governance of data security.

    Key words:Artificial intelligence;Data security;Data validation;“Penetrating”supervision;Regulatory sandbox

    猜你喜歡
    數(shù)據(jù)安全人工智能監(jiān)管
    云計算中基于用戶隱私的數(shù)據(jù)安全保護方法
    電子制作(2019年14期)2019-08-20 05:43:42
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    建立激勵相容機制保護數(shù)據(jù)安全
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    大數(shù)據(jù)云計算環(huán)境下的數(shù)據(jù)安全
    電子制作(2017年20期)2017-04-26 06:57:48
    下一幕,人工智能!
    監(jiān)管
    監(jiān)管和扶持并行
    大數(shù)據(jù)安全搜索與共享
    男女视频在线观看网站免费 | 国产又黄又爽又无遮挡在线| 久久人妻av系列| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲人成伊人成综合网2020| 精品卡一卡二卡四卡免费| 夜夜看夜夜爽夜夜摸| 国产精品久久久av美女十八| 国内毛片毛片毛片毛片毛片| 欧美丝袜亚洲另类 | 亚洲av成人不卡在线观看播放网| 窝窝影院91人妻| 一进一出抽搐动态| 亚洲狠狠婷婷综合久久图片| 精品一区二区三区视频在线观看免费| 午夜视频精品福利| 欧美黑人欧美精品刺激| 美女午夜性视频免费| 免费无遮挡裸体视频| 久久久久精品国产欧美久久久| 亚洲在线自拍视频| 成年免费大片在线观看| 成年免费大片在线观看| 大香蕉久久成人网| 免费av毛片视频| 伊人久久大香线蕉亚洲五| 夜夜看夜夜爽夜夜摸| 亚洲电影在线观看av| 欧美+亚洲+日韩+国产| 久久国产精品男人的天堂亚洲| 叶爱在线成人免费视频播放| 无人区码免费观看不卡| 日本a在线网址| 久热这里只有精品99| 亚洲专区中文字幕在线| 好男人电影高清在线观看| 一进一出好大好爽视频| 国产成人影院久久av| 欧美国产日韩亚洲一区| 久久香蕉精品热| 欧美黑人精品巨大| a级毛片在线看网站| 亚洲黑人精品在线| 男女床上黄色一级片免费看| 777久久人妻少妇嫩草av网站| 在线观看www视频免费| 亚洲成人国产一区在线观看| 国产熟女午夜一区二区三区| 人人妻人人看人人澡| 成人国产一区最新在线观看| 丝袜美腿诱惑在线| 婷婷丁香在线五月| www.熟女人妻精品国产| 色综合欧美亚洲国产小说| 亚洲中文av在线| 亚洲人成77777在线视频| 热99re8久久精品国产| 黄色毛片三级朝国网站| 日韩欧美国产一区二区入口| 亚洲狠狠婷婷综合久久图片| 国产精品亚洲av一区麻豆| 亚洲av成人一区二区三| 亚洲精品在线观看二区| 亚洲狠狠婷婷综合久久图片| 成人三级做爰电影| 精品少妇一区二区三区视频日本电影| 99热只有精品国产| 国产成人av教育| 99国产精品99久久久久| 成人国产一区最新在线观看| 亚洲国产看品久久| 国产不卡一卡二| 精品国产超薄肉色丝袜足j| 亚洲国产高清在线一区二区三 | www日本在线高清视频| 欧美乱色亚洲激情| 精品国产一区二区三区四区第35| 久久精品国产亚洲av高清一级| 精品午夜福利视频在线观看一区| 欧美性长视频在线观看| 亚洲激情在线av| 久久性视频一级片| 老司机午夜十八禁免费视频| 禁无遮挡网站| 变态另类丝袜制服| 美女高潮到喷水免费观看| 日本一区二区免费在线视频| 亚洲中文日韩欧美视频| 亚洲第一av免费看| 禁无遮挡网站| 91九色精品人成在线观看| 久久人人精品亚洲av| 久久久精品欧美日韩精品| 99久久精品国产亚洲精品| 午夜日韩欧美国产| 亚洲一区二区三区色噜噜| 国产视频一区二区在线看| av免费在线观看网站| 99国产精品一区二区三区| 久久久国产欧美日韩av| 亚洲国产精品成人综合色| 亚洲精品国产一区二区精华液| 久热爱精品视频在线9| 精品国产美女av久久久久小说| 大香蕉久久成人网| 久久久久久亚洲精品国产蜜桃av| 熟女少妇亚洲综合色aaa.| 国产国语露脸激情在线看| 国产极品粉嫩免费观看在线| 人人妻人人澡人人看| 可以在线观看毛片的网站| 国产一级毛片七仙女欲春2 | 精品国产国语对白av| 无遮挡黄片免费观看| 亚洲狠狠婷婷综合久久图片| 久久久国产成人免费| 在线观看日韩欧美| 国产精品久久久久久人妻精品电影| 亚洲九九香蕉| 黄色视频,在线免费观看| 精品久久蜜臀av无| 夜夜看夜夜爽夜夜摸| 欧美黑人欧美精品刺激| 18禁黄网站禁片午夜丰满| 久久精品国产综合久久久| 欧美在线黄色| 国产精品久久视频播放| 免费在线观看亚洲国产| 精品欧美一区二区三区在线| 免费电影在线观看免费观看| avwww免费| 99riav亚洲国产免费| 啦啦啦观看免费观看视频高清| 伊人久久大香线蕉亚洲五| 欧美日韩亚洲综合一区二区三区_| 久久伊人香网站| 欧美激情高清一区二区三区| 女人被狂操c到高潮| 国语自产精品视频在线第100页| 亚洲成人国产一区在线观看| 欧美丝袜亚洲另类 | 欧美人与性动交α欧美精品济南到| 久久久久国内视频| 欧美成狂野欧美在线观看| 国产区一区二久久| 精品一区二区三区av网在线观看| 亚洲专区字幕在线| 亚洲国产欧美网| 久久久久免费精品人妻一区二区 | 国产色视频综合| 丁香六月欧美| 18禁黄网站禁片免费观看直播| 午夜亚洲福利在线播放| 精品久久久久久久久久久久久 | 久久亚洲真实| 最近在线观看免费完整版| 欧美中文日本在线观看视频| 高清毛片免费观看视频网站| 亚洲免费av在线视频| 在线十欧美十亚洲十日本专区| 国产免费av片在线观看野外av| 久久久国产成人免费| 色播在线永久视频| 18禁国产床啪视频网站| 首页视频小说图片口味搜索| 国产一区二区三区视频了| av有码第一页| 麻豆国产av国片精品| 欧美日韩一级在线毛片| 午夜精品久久久久久毛片777| 最近在线观看免费完整版| 久久久国产成人精品二区| 国产激情偷乱视频一区二区| 美女午夜性视频免费| 成年人黄色毛片网站| 美国免费a级毛片| 国产av一区二区精品久久| 麻豆成人午夜福利视频| 黄色成人免费大全| 国产精品精品国产色婷婷| 午夜久久久在线观看| 日韩欧美 国产精品| 久久中文字幕一级| 怎么达到女性高潮| 日韩欧美一区二区三区在线观看| 日本撒尿小便嘘嘘汇集6| 国产黄片美女视频| 19禁男女啪啪无遮挡网站| 狂野欧美激情性xxxx| 国产视频一区二区在线看| 日韩视频一区二区在线观看| 男女那种视频在线观看| av欧美777| 男人操女人黄网站| 成年版毛片免费区| 嫩草影院精品99| 日本三级黄在线观看| 精品电影一区二区在线| 69av精品久久久久久| 黄色a级毛片大全视频| 国产三级在线视频| 麻豆国产av国片精品| 欧美精品啪啪一区二区三区| 欧美日韩中文字幕国产精品一区二区三区| 国产又黄又爽又无遮挡在线| 一a级毛片在线观看| 麻豆国产av国片精品| 麻豆一二三区av精品| 99久久久亚洲精品蜜臀av| 草草在线视频免费看| 亚洲狠狠婷婷综合久久图片| 免费看日本二区| 可以在线观看毛片的网站| 亚洲电影在线观看av| 久久久久久久久久黄片| 国产av又大| 久久 成人 亚洲| 999久久久国产精品视频| 亚洲熟妇熟女久久| 国产极品粉嫩免费观看在线| 91在线观看av| 97人妻精品一区二区三区麻豆 | 久久性视频一级片| 亚洲国产中文字幕在线视频| 亚洲一区二区三区不卡视频| 波多野结衣av一区二区av| 啪啪无遮挡十八禁网站| 国内精品久久久久久久电影| xxx96com| 妹子高潮喷水视频| 国产午夜精品久久久久久| 欧美日韩一级在线毛片| 久久青草综合色| 欧美精品亚洲一区二区| 国产亚洲av高清不卡| 亚洲国产欧洲综合997久久, | 国产欧美日韩一区二区三| 日韩一卡2卡3卡4卡2021年| 黑人巨大精品欧美一区二区mp4| 久久久久久国产a免费观看| 久久香蕉激情| 男男h啪啪无遮挡| 国产爱豆传媒在线观看 | 国产精品日韩av在线免费观看| 给我免费播放毛片高清在线观看| 制服人妻中文乱码| 一本综合久久免费| 啦啦啦免费观看视频1| 亚洲av日韩精品久久久久久密| 午夜成年电影在线免费观看| 波多野结衣av一区二区av| 一级作爱视频免费观看| 国产午夜福利久久久久久| 成人午夜高清在线视频 | 欧美成人性av电影在线观看| 91九色精品人成在线观看| 亚洲av熟女| 亚洲国产欧美网| 亚洲男人天堂网一区| 一卡2卡三卡四卡精品乱码亚洲| 精品电影一区二区在线| 禁无遮挡网站| 一边摸一边做爽爽视频免费| 久久精品国产亚洲av高清一级| 一本精品99久久精品77| 免费在线观看影片大全网站| 视频区欧美日本亚洲| 午夜老司机福利片| 人妻丰满熟妇av一区二区三区| 国产精品亚洲美女久久久| 国内少妇人妻偷人精品xxx网站 | 日韩视频一区二区在线观看| 看片在线看免费视频| 男女做爰动态图高潮gif福利片| 桃色一区二区三区在线观看| 波多野结衣高清无吗| 欧美乱妇无乱码| 波多野结衣巨乳人妻| 亚洲精品一区av在线观看| 嫩草影院精品99| 国产成人欧美在线观看| 久久久久国产一级毛片高清牌| 超碰成人久久| 99re在线观看精品视频| 视频在线观看一区二区三区| 精品一区二区三区av网在线观看| 男人舔奶头视频| 国产黄色小视频在线观看| 精品午夜福利视频在线观看一区| 99精品在免费线老司机午夜| 午夜两性在线视频| 婷婷六月久久综合丁香| а√天堂www在线а√下载| 精品第一国产精品| 国产精品久久久久久精品电影 | 国产精品久久久久久精品电影 | 香蕉av资源在线| 午夜福利视频1000在线观看| 国产激情偷乱视频一区二区| 18禁观看日本| 男女床上黄色一级片免费看| 给我免费播放毛片高清在线观看| www.精华液| 日韩精品中文字幕看吧| av有码第一页| 久久国产亚洲av麻豆专区| 18禁国产床啪视频网站| 欧美大码av| 欧美黑人精品巨大| 法律面前人人平等表现在哪些方面| 天天躁狠狠躁夜夜躁狠狠躁| 国产亚洲欧美98| 男人舔女人的私密视频| 丝袜人妻中文字幕| 国产成人精品久久二区二区免费| 国产成人欧美| 一a级毛片在线观看| 黑丝袜美女国产一区| 国产视频内射| 久久久久久人人人人人| 久99久视频精品免费| 久久精品91蜜桃| www.www免费av| 欧美不卡视频在线免费观看 | 在线看三级毛片| 国内少妇人妻偷人精品xxx网站 | 少妇 在线观看| 神马国产精品三级电影在线观看 | 桃红色精品国产亚洲av| 成人特级黄色片久久久久久久| 日本 欧美在线| 无限看片的www在线观看| 成人亚洲精品一区在线观看| 国产亚洲精品综合一区在线观看 | 女警被强在线播放| 亚洲全国av大片| 日韩高清综合在线| 啦啦啦观看免费观看视频高清| 美女午夜性视频免费| 午夜精品久久久久久毛片777| xxxwww97欧美| 一个人观看的视频www高清免费观看 | 亚洲中文字幕日韩| 88av欧美| 少妇的丰满在线观看| 日韩精品中文字幕看吧| 日本精品一区二区三区蜜桃| 在线av久久热| 少妇 在线观看| 欧美激情高清一区二区三区| 成人18禁在线播放| 亚洲中文字幕一区二区三区有码在线看 | 国产国语露脸激情在线看| 国产精品99久久99久久久不卡| 欧美性猛交黑人性爽| aaaaa片日本免费| 免费在线观看视频国产中文字幕亚洲| 88av欧美| www国产在线视频色| 不卡一级毛片| 免费人成视频x8x8入口观看| 高清在线国产一区| 韩国精品一区二区三区| 一级片免费观看大全| 国产激情偷乱视频一区二区| 一区二区日韩欧美中文字幕| 给我免费播放毛片高清在线观看| 麻豆一二三区av精品| 婷婷六月久久综合丁香| 国产单亲对白刺激| 搡老岳熟女国产| 亚洲第一欧美日韩一区二区三区| 99re在线观看精品视频| 亚洲国产精品久久男人天堂| 18禁国产床啪视频网站| 91大片在线观看| 黄片小视频在线播放| 男女那种视频在线观看| 啦啦啦 在线观看视频| 国产激情欧美一区二区| 亚洲人成77777在线视频| 久久精品国产综合久久久| 成在线人永久免费视频| 美国免费a级毛片| 日本免费a在线| 欧美国产精品va在线观看不卡| 亚洲七黄色美女视频| 亚洲国产精品合色在线| 久久精品91无色码中文字幕| 夜夜看夜夜爽夜夜摸| 欧美成狂野欧美在线观看| 久久婷婷成人综合色麻豆| 亚洲色图 男人天堂 中文字幕| 国产99白浆流出| 亚洲一卡2卡3卡4卡5卡精品中文| 欧美又色又爽又黄视频| 亚洲一区高清亚洲精品| 国产在线观看jvid| 色尼玛亚洲综合影院| 国产91精品成人一区二区三区| 国产精品一区二区免费欧美| 久久国产精品影院| 亚洲五月天丁香| 日本成人三级电影网站| 青草久久国产| 一进一出抽搐gif免费好疼| 在线观看日韩欧美| 男女午夜视频在线观看| 一卡2卡三卡四卡精品乱码亚洲| 亚洲精品久久成人aⅴ小说| 国产片内射在线| 免费电影在线观看免费观看| 成人欧美大片| 亚洲性夜色夜夜综合| 免费在线观看视频国产中文字幕亚洲| 一级片免费观看大全| 熟女电影av网| 免费在线观看黄色视频的| 99国产极品粉嫩在线观看| 成年免费大片在线观看| 日本 av在线| 成人18禁高潮啪啪吃奶动态图| 岛国视频午夜一区免费看| 欧美最黄视频在线播放免费| 久久久精品欧美日韩精品| 亚洲自偷自拍图片 自拍| 夜夜爽天天搞| 久久久久久免费高清国产稀缺| 亚洲人成电影免费在线| 欧美日本亚洲视频在线播放| 日韩欧美在线二视频| 宅男免费午夜| 午夜免费鲁丝| 极品教师在线免费播放| 婷婷亚洲欧美| 成年人黄色毛片网站| 天天躁夜夜躁狠狠躁躁| www国产在线视频色| 久久精品aⅴ一区二区三区四区| 最近最新中文字幕大全电影3 | 亚洲第一电影网av| 老汉色av国产亚洲站长工具| 好看av亚洲va欧美ⅴa在| 亚洲aⅴ乱码一区二区在线播放 | 国产精品久久久人人做人人爽| 99热这里只有精品一区 | 精品福利观看| 一本一本综合久久| 免费看a级黄色片| 精品欧美一区二区三区在线| 国产蜜桃级精品一区二区三区| 50天的宝宝边吃奶边哭怎么回事| 久久久久久大精品| 757午夜福利合集在线观看| 欧美成人一区二区免费高清观看 | 成人欧美大片| 国产真人三级小视频在线观看| 国产亚洲精品第一综合不卡| 午夜精品久久久久久毛片777| 黄网站色视频无遮挡免费观看| 又大又爽又粗| 两性午夜刺激爽爽歪歪视频在线观看 | 级片在线观看| 国产三级在线视频| 国产精品亚洲av一区麻豆| 欧美黑人精品巨大| 亚洲 欧美一区二区三区| 亚洲性夜色夜夜综合| 老熟妇乱子伦视频在线观看| 亚洲成av人片免费观看| 国产男靠女视频免费网站| 亚洲精品国产一区二区精华液| 男女做爰动态图高潮gif福利片| 亚洲avbb在线观看| 啦啦啦免费观看视频1| 国产极品粉嫩免费观看在线| 夜夜看夜夜爽夜夜摸| 大型av网站在线播放| 欧美乱码精品一区二区三区| 琪琪午夜伦伦电影理论片6080| 我的亚洲天堂| 国产精品自产拍在线观看55亚洲| 欧美 亚洲 国产 日韩一| 亚洲国产欧美一区二区综合| 亚洲国产欧美日韩在线播放| 国产97色在线日韩免费| 亚洲激情在线av| 成人精品一区二区免费| 免费搜索国产男女视频| 国产高清视频在线播放一区| 欧美一级毛片孕妇| 天堂动漫精品| av电影中文网址| 久久中文字幕人妻熟女| 香蕉久久夜色| 国产精品自产拍在线观看55亚洲| 亚洲在线自拍视频| 久久99热这里只有精品18| 免费看日本二区| 亚洲成人精品中文字幕电影| 十分钟在线观看高清视频www| 久久精品国产亚洲av香蕉五月| 国产成人av激情在线播放| 99国产综合亚洲精品| 侵犯人妻中文字幕一二三四区| 国产极品粉嫩免费观看在线| avwww免费| 啦啦啦韩国在线观看视频| 少妇裸体淫交视频免费看高清 | 午夜视频精品福利| 国产亚洲欧美精品永久| 久热这里只有精品99| 国产av一区在线观看免费| 久久精品国产亚洲av香蕉五月| 久久久久国产一级毛片高清牌| 99国产极品粉嫩在线观看| 亚洲人成电影免费在线| 在线观看www视频免费| 一边摸一边抽搐一进一小说| 日韩免费av在线播放| 一卡2卡三卡四卡精品乱码亚洲| 长腿黑丝高跟| 不卡av一区二区三区| 久久午夜亚洲精品久久| 搡老岳熟女国产| 我的亚洲天堂| 国产高清有码在线观看视频 | 村上凉子中文字幕在线| 国产精品一区二区免费欧美| 亚洲av日韩精品久久久久久密| 精品久久久久久久人妻蜜臀av| 琪琪午夜伦伦电影理论片6080| 丁香六月欧美| 国产精品九九99| 国内精品久久久久精免费| 深夜精品福利| 91大片在线观看| 啦啦啦 在线观看视频| 超碰成人久久| 麻豆成人午夜福利视频| av欧美777| 波多野结衣巨乳人妻| 国产精品久久视频播放| 日本五十路高清| 国产aⅴ精品一区二区三区波| 90打野战视频偷拍视频| 国产亚洲av高清不卡| 久久久国产成人免费| 成人国产一区最新在线观看| 真人一进一出gif抽搐免费| www国产在线视频色| 亚洲真实伦在线观看| 国产av又大| 色哟哟哟哟哟哟| 国产av又大| 天天躁夜夜躁狠狠躁躁| 高清毛片免费观看视频网站| 国产精品亚洲美女久久久| 国产三级黄色录像| 成人一区二区视频在线观看| 日韩成人在线观看一区二区三区| 亚洲人成电影免费在线| 韩国精品一区二区三区| 亚洲一区高清亚洲精品| 亚洲成人精品中文字幕电影| 亚洲av电影不卡..在线观看| 亚洲精品久久成人aⅴ小说| 国产片内射在线| 黄色女人牲交| 国产精品一区二区免费欧美| 十八禁网站免费在线| 亚洲五月天丁香| 亚洲国产欧美日韩在线播放| 日本撒尿小便嘘嘘汇集6| 99re在线观看精品视频| 亚洲欧洲精品一区二区精品久久久| 1024香蕉在线观看| 日日爽夜夜爽网站| 中文字幕另类日韩欧美亚洲嫩草| 欧美激情久久久久久爽电影| 日日干狠狠操夜夜爽| 手机成人av网站| 丝袜人妻中文字幕| 午夜视频精品福利| 亚洲一区高清亚洲精品| 午夜福利一区二区在线看| 怎么达到女性高潮| 亚洲九九香蕉| 99国产精品一区二区三区| 国产成人精品无人区| 又黄又粗又硬又大视频| 国产成人精品无人区| 又紧又爽又黄一区二区| 久久香蕉激情| 日本五十路高清| 婷婷丁香在线五月| 免费av毛片视频| 欧美久久黑人一区二区| 久久精品影院6| 久久久久免费精品人妻一区二区 | 哪里可以看免费的av片| 午夜日韩欧美国产| 国产亚洲欧美在线一区二区| 无限看片的www在线观看| 1024视频免费在线观看| 国产高清视频在线播放一区| 亚洲人成伊人成综合网2020| 日本 av在线| 免费观看精品视频网站| 免费女性裸体啪啪无遮挡网站| 亚洲专区国产一区二区| 视频在线观看一区二区三区| 老汉色∧v一级毛片| 可以在线观看的亚洲视频| 日韩成人在线观看一区二区三区|