• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)據(jù)流通:人工智能產(chǎn)業(yè)發(fā)展的關(guān)鍵

    2024-02-08 00:00:00邰江麗
    數(shù)字法治 2024年6期
    關(guān)鍵詞:三權(quán)分置人工智能

    內(nèi)容提要:數(shù)據(jù)已成為數(shù)字經(jīng)濟(jì)時(shí)代和人工智能產(chǎn)業(yè)發(fā)展的重要生產(chǎn)要素。如何構(gòu)建數(shù)據(jù)產(chǎn)權(quán)在內(nèi)的數(shù)據(jù)基礎(chǔ)制度成為當(dāng)前的重要課題。中國(guó)“數(shù)據(jù)二十條”提出的“三權(quán)分置”數(shù)據(jù)產(chǎn)權(quán)理念和制度屬于重大理論創(chuàng)新,但面臨如何準(zhǔn)確界定“三權(quán)”各自客體內(nèi)容和權(quán)利邊界等問(wèn)題。相關(guān)司法實(shí)踐可以提供有效的借鑒,并已形成部分共識(shí)。當(dāng)前高質(zhì)量中文數(shù)據(jù)集短缺作為制約人工智能發(fā)展的主要因素,亟待通過(guò)法律規(guī)則的更新供給來(lái)激活數(shù)據(jù)要素的價(jià)值。未來(lái),應(yīng)堅(jiān)持以數(shù)據(jù)要素的高效流通利用為目標(biāo),并根據(jù)司法實(shí)踐總結(jié)的規(guī)則適配數(shù)據(jù)要素的特性對(duì)數(shù)據(jù)產(chǎn)權(quán)的權(quán)項(xiàng)內(nèi)容、權(quán)利邊界、權(quán)利有效期、權(quán)利限制等進(jìn)行審慎設(shè)置與平衡,確保數(shù)據(jù)資源的有效分配和利用,還應(yīng)加強(qiáng)對(duì)個(gè)人信息匿名化標(biāo)準(zhǔn)和公共數(shù)據(jù)授權(quán)運(yùn)營(yíng)實(shí)踐的探索,促進(jìn)數(shù)據(jù)流通,助力人工智能產(chǎn)業(yè)發(fā)展。

    關(guān)鍵詞:數(shù)據(jù)流通 數(shù)據(jù)產(chǎn)權(quán) 三權(quán)分置 人工智能

    一、引言

    隨著人工智能技術(shù)的發(fā)展,人類(lèi)社會(huì)生活方式與經(jīng)濟(jì)模式產(chǎn)生了根本性變革,數(shù)據(jù)不僅成為數(shù)字經(jīng)濟(jì)時(shí)代最重要的生產(chǎn)要素,也是數(shù)字經(jīng)濟(jì)發(fā)展的重要驅(qū)動(dòng)力。根據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)的預(yù)測(cè),到2025年,全球數(shù)據(jù)圈(global datasphere)將擴(kuò)展至163ZB,【1ZB約等于1萬(wàn)億GB?!肯喈?dāng)于2016年所產(chǎn)生的16.1ZB數(shù)據(jù)的十倍?!綝avid Reinsel、John Gantz和John Rydning:《數(shù)據(jù)時(shí)代2025》,載希捷網(wǎng),https://www.seagate.com/files/www-content/our-story/trends/files/data-age-2025-white-paper-simplified-chinese.pdf,2024年8月19日訪問(wèn)?!?/p>

    國(guó)家數(shù)據(jù)局2024年6月發(fā)布的《數(shù)字中國(guó)發(fā)展報(bào)告(2023年)》顯示,我國(guó)數(shù)據(jù)產(chǎn)量保持快速增長(zhǎng)態(tài)勢(shì),數(shù)字經(jīng)濟(jì)規(guī)模持續(xù)壯大。2023年,全國(guó)數(shù)據(jù)生產(chǎn)總量達(dá)32.85 ZB,同比增長(zhǎng)22.44%。截至2023年年底,全國(guó)數(shù)據(jù)存儲(chǔ)總量為1.73 ZB。2023年數(shù)字經(jīng)濟(jì)核心產(chǎn)業(yè)增加值估計(jì)超過(guò)12萬(wàn)億元,占GDP比重的10%左右。以云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等為代表的新興業(yè)務(wù)收入逐年攀升,信息通信產(chǎn)品生產(chǎn)和電子元器件生產(chǎn)領(lǐng)域發(fā)展較快,圍繞“數(shù)據(jù)資源、基礎(chǔ)硬件、通用軟件、行業(yè)應(yīng)用、安全保障”的數(shù)字產(chǎn)業(yè)基礎(chǔ)不斷夯實(shí),數(shù)字產(chǎn)業(yè)體系完備性、規(guī)模性?xún)?yōu)勢(shì)日益明顯。

    我國(guó)數(shù)據(jù)產(chǎn)量的顯著增長(zhǎng)和存儲(chǔ)量的擴(kuò)大,不僅反映了數(shù)據(jù)積累的規(guī)模,也顯示了數(shù)據(jù)潛力的深度,為數(shù)據(jù)的深度挖掘和應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)。2022年,ChatGPT的問(wèn)世標(biāo)志著人工智能從判別式發(fā)展到生成式的跨越。雖然目前的大模型只是針對(duì)特定任務(wù)和指定模態(tài),離通用人工智能還有不少距離,但語(yǔ)言大模型讓機(jī)器初步具有常識(shí),懂得推理,學(xué)會(huì)創(chuàng)作,讓人和機(jī)器能以較自然的方式互動(dòng),通過(guò)與周邊工具的結(jié)合,表現(xiàn)出擬人的智能?!緡?guó)家數(shù)據(jù)局:《AI時(shí)代的數(shù)據(jù)要素開(kāi)發(fā)與治理》,載國(guó)家數(shù)據(jù)局微信公眾號(hào)2023年11月3日,https://mp.weixin.qq.com/s/UW9tn28dN7ehThSRZ8S3sQ,2024年8月19日訪問(wèn)?!?/p>

    作為引領(lǐng)未來(lái)的通用技術(shù),人工智能的快速迭代和其在各領(lǐng)域的廣泛應(yīng)用正在引發(fā)一系列鏈?zhǔn)酵黄?,為?shù)字經(jīng)濟(jì)的發(fā)展提供了強(qiáng)勁的動(dòng)力支撐。如何通過(guò)法律制度和規(guī)則促進(jìn)人工智能產(chǎn)業(yè)、數(shù)字經(jīng)濟(jì)的發(fā)展,是當(dāng)前法律共同體面臨的重大議題。

    二、數(shù)據(jù)產(chǎn)權(quán)的構(gòu)建探索、理論爭(zhēng)議及比較法觀察

    2020年4月,中共中央、國(guó)務(wù)院發(fā)布的《關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見(jiàn)》首次明確將數(shù)據(jù)列為和土地、勞動(dòng)力、資本、技術(shù)并列的生產(chǎn)要素,如何激發(fā)數(shù)據(jù)這一生產(chǎn)要素的活力、實(shí)現(xiàn)生產(chǎn)要素創(chuàng)新性配置,成為培育數(shù)據(jù)要素市場(chǎng)的核心目標(biāo)?!把芯扛鶕?jù)數(shù)據(jù)性質(zhì)完善產(chǎn)權(quán)性質(zhì)”等關(guān)于數(shù)據(jù)基礎(chǔ)制度的探索由此拉開(kāi)了序幕。

    數(shù)據(jù)基礎(chǔ)制度是包含數(shù)據(jù)產(chǎn)權(quán)、數(shù)據(jù)要素流通和交易、收益分配、安全與治理等在內(nèi)的一系列制度安排,是充分發(fā)揮數(shù)據(jù)要素作用的根本性制度。發(fā)揮數(shù)據(jù)要素價(jià)值、對(duì)數(shù)據(jù)進(jìn)行充分開(kāi)發(fā)利用及市場(chǎng)化配置,是數(shù)據(jù)基礎(chǔ)制度的優(yōu)先目標(biāo)。然而,數(shù)據(jù)作為新興生產(chǎn)要素,其在一定程度上既遵循傳統(tǒng)生產(chǎn)要素市場(chǎng)化配置的一般規(guī)律,也呈現(xiàn)出許多新的特征。

    (一)數(shù)據(jù)要素的特征

    相較于土地、資本等生產(chǎn)要素而言,數(shù)據(jù)具有顯著的無(wú)形性、可復(fù)制性、共享性、非競(jìng)爭(zhēng)性、非消耗性特征,特別是從價(jià)值層面而言,數(shù)據(jù)具有場(chǎng)景化的價(jià)值潛力和不確定性,即相同數(shù)據(jù)在不同使用方或不同使用場(chǎng)景之下可發(fā)揮不同的價(jià)值,且數(shù)據(jù)復(fù)制和使用的邊際成本接近于零,意味著數(shù)據(jù)的使用可以大規(guī)模擴(kuò)展而不會(huì)帶來(lái)相應(yīng)的成本增加。就數(shù)據(jù)的上述特性而言,其在法律層面最接近知識(shí)產(chǎn)權(quán)的客體。特別是在無(wú)形性和排他性的問(wèn)題上,知識(shí)產(chǎn)權(quán)客體借助法律擬制實(shí)現(xiàn)了排他性,似乎也可以借鑒至數(shù)據(jù)產(chǎn)權(quán)的規(guī)則框架中。但是,數(shù)據(jù)在收集、流轉(zhuǎn)過(guò)程中承載了多方主體的參與和利益訴求,使得關(guān)于其排他性的規(guī)則設(shè)置遠(yuǎn)比知識(shí)產(chǎn)權(quán)客體復(fù)雜。數(shù)據(jù)的上述特性決定了在法律層面對(duì)其進(jìn)行權(quán)利化制度構(gòu)造,具有特殊性和復(fù)雜性。從立法依據(jù)看,雖然《民法總則》(草案)第108條曾將“數(shù)據(jù)信息”納入知識(shí)產(chǎn)權(quán)客體范疇,但最終未獲通過(guò)?!睹穹ǖ洹芬琅f將數(shù)據(jù)與知識(shí)產(chǎn)權(quán)的客體作了立法層面的區(qū)分。

    (二)數(shù)據(jù)確權(quán)與數(shù)據(jù)流通

    雖然數(shù)據(jù)權(quán)屬不明確導(dǎo)致的不確定性會(huì)增加數(shù)據(jù)流通難度,但實(shí)踐中,數(shù)據(jù)流通的場(chǎng)景遠(yuǎn)多于數(shù)據(jù)交易。數(shù)據(jù)在供應(yīng)鏈上下游的數(shù)據(jù)產(chǎn)品生成和服務(wù)流轉(zhuǎn)中發(fā)揮助推產(chǎn)業(yè)轉(zhuǎn)型升級(jí)、壯大經(jīng)濟(jì)發(fā)展新引擎的作用,并非只有通過(guò)數(shù)據(jù)確權(quán)后的產(chǎn)權(quán)交易形式才能實(shí)現(xiàn)流轉(zhuǎn)和價(jià)值的發(fā)揮。

    有觀點(diǎn)認(rèn)為,《個(gè)人信息保護(hù)法》《反不正當(dāng)競(jìng)爭(zhēng)法》和知識(shí)產(chǎn)權(quán)法在回應(yīng)數(shù)據(jù)權(quán)益主體的數(shù)據(jù)保護(hù)需求方面存在不足之處,數(shù)據(jù)確權(quán)立法才能有效實(shí)現(xiàn)對(duì)數(shù)據(jù)的保護(hù),進(jìn)而激勵(lì)數(shù)據(jù)相關(guān)的生產(chǎn)和投資。從實(shí)踐來(lái)看,上述觀點(diǎn)值得商榷。無(wú)論是個(gè)人作為數(shù)據(jù)來(lái)源者,還是企業(yè)作為數(shù)據(jù)的收集、加工、處理者,基于勞動(dòng)理論賦予其財(cái)產(chǎn)權(quán)進(jìn)行激勵(lì)固然有一定的理論正當(dāng)性,但也要警惕過(guò)度激勵(lì)或者超范圍激勵(lì)可能損害其他主體的利益,需要在激勵(lì)程度上予以權(quán)衡。此外,通過(guò)用戶(hù)協(xié)議、平臺(tái)規(guī)則、商事合同等市場(chǎng)自治手段,已經(jīng)完成了大量場(chǎng)景下的數(shù)據(jù)流通和交易,對(duì)于已經(jīng)產(chǎn)生的數(shù)據(jù)糾紛,《反不正當(dāng)競(jìng)爭(zhēng)法》以其彈性和靈活性也進(jìn)行了較好的應(yīng)對(duì),特別是最高人民法院和各知識(shí)產(chǎn)權(quán)法院、互聯(lián)網(wǎng)法院等通過(guò)發(fā)布典型案例的形式,以裁判促規(guī)則,以規(guī)則促治理,以治理促發(fā)展,在沒(méi)有數(shù)據(jù)確權(quán)的狀態(tài)下,已經(jīng)就部分?jǐn)?shù)據(jù)流通規(guī)則在司法實(shí)踐中達(dá)成了適應(yīng)產(chǎn)業(yè)發(fā)展的一定共識(shí)。

    從數(shù)據(jù)確權(quán)的實(shí)際效果而言,還需警惕“數(shù)據(jù)沼澤”現(xiàn)象。具言之,《民法典》《個(gè)人信息保護(hù)法》等法律法規(guī)已經(jīng)為個(gè)人信息的收集、存儲(chǔ)、使用等處理行為設(shè)定了規(guī)則,并賦予個(gè)人信息主體查閱、復(fù)制、刪除等權(quán)利,在此基礎(chǔ)之上從財(cái)產(chǎn)權(quán)角度賦予個(gè)人信息主體一項(xiàng)個(gè)人數(shù)據(jù)權(quán)利的必要性缺乏理論基礎(chǔ),且存在與已有權(quán)利的協(xié)調(diào)難題。此外,企業(yè)數(shù)據(jù)確權(quán)的規(guī)則更為復(fù)雜,不僅因?yàn)槠髽I(yè)數(shù)據(jù)存在公開(kāi)、半公開(kāi)、非公開(kāi),單一、集合,原始、衍生等不同數(shù)據(jù)樣態(tài),確權(quán)及配套的流通規(guī)則需要進(jìn)一步類(lèi)型化和場(chǎng)景化,方可促進(jìn)行業(yè)行穩(wěn)致遠(yuǎn)合法合規(guī)持續(xù)發(fā)展。在部分場(chǎng)景下,企業(yè)數(shù)據(jù)還不可避免地包含大量的個(gè)人數(shù)據(jù),面臨與個(gè)人信息主體相關(guān)權(quán)益的協(xié)調(diào)問(wèn)題,雖然“權(quán)利束”的理論構(gòu)建旨在對(duì)權(quán)利進(jìn)行分割配置,符合反公地悲劇設(shè)定的條件,但“在眾多權(quán)利交織的背景下,任何一項(xiàng)權(quán)利、任何一個(gè)權(quán)利主體都可以排除他人對(duì)于數(shù)據(jù)的使用,以至于出現(xiàn)比專(zhuān)利叢林更為復(fù)雜的‘?dāng)?shù)據(jù)沼澤’現(xiàn)象”?!局軡h華:《數(shù)據(jù)確權(quán)的誤區(qū)》,載《法學(xué)研究》2023年第2期。】

    (三)比較法觀察:從賦權(quán)到聚焦設(shè)定流通規(guī)則

    歐盟出于對(duì)數(shù)據(jù)庫(kù)投資進(jìn)行激勵(lì)的目的,于1996年通過(guò)了《歐洲共同體關(guān)于數(shù)據(jù)庫(kù)法律保護(hù)的指令》(以下簡(jiǎn)稱(chēng)“數(shù)據(jù)庫(kù)指令”),【See Directive 96/9/EC of the European Parliament and of the Council of 11 March 1996 on the legal protection of databases [1996] OJ L77/20.】對(duì)數(shù)據(jù)庫(kù)設(shè)定了特殊權(quán)利保護(hù)。歐盟委員會(huì)非常重視此種設(shè)置的實(shí)踐效果,因而在2005年和2018年先后兩次對(duì)其進(jìn)行了效果評(píng)估,但兩次評(píng)估結(jié)論均認(rèn)為特殊權(quán)利未能刺激歐洲數(shù)據(jù)庫(kù)產(chǎn)業(yè)投資,甚至產(chǎn)生了相反的效果?!究椎旅鳎骸稊?shù)據(jù)財(cái)產(chǎn)權(quán)到訪問(wèn)權(quán):歐盟數(shù)據(jù)設(shè)權(quán)立法轉(zhuǎn)型解析》,載《比較法研究》2023年第6期?!?017年,《構(gòu)建歐洲數(shù)據(jù)經(jīng)濟(jì)》(Building a European data economy)提出“數(shù)據(jù)生產(chǎn)者權(quán)利”(data producers right)的概念,目的是提高非個(gè)人或匿名化的機(jī)器生成數(shù)據(jù)作為經(jīng)濟(jì)商品的可交易性。就該權(quán)利的范圍,存在兩種設(shè)想:一種是將其設(shè)想為對(duì)物權(quán)利,即類(lèi)似“所有權(quán)”的概念,包括轉(zhuǎn)讓、許可使用數(shù)據(jù)的專(zhuān)有權(quán)利,以及防止他人未經(jīng)授權(quán)使用和獲取數(shù)據(jù)的權(quán)利;另一種是不設(shè)定所有權(quán),而是設(shè)定一套防御性的權(quán)利,保護(hù)對(duì)數(shù)據(jù)事實(shí)上的“占有”?!緟⒁?jiàn)COMMISSION STAFF WORKING DOCUMENT on the free flow of data and emerging issues of the European data economy Accompanying the document Communication Building a European data economy,載https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52017SC0002.】然而,上述設(shè)想遭到了學(xué)界和業(yè)界的強(qiáng)烈反對(duì),認(rèn)為“定義數(shù)據(jù)訪問(wèn)權(quán)比定義所有權(quán)更重要”的觀點(diǎn)逐漸占據(jù)上風(fēng)。此后,2018年歐盟《通用數(shù)據(jù)保護(hù)條例》和2019年歐盟《非個(gè)人數(shù)據(jù)自由流動(dòng)條例》從實(shí)現(xiàn)數(shù)據(jù)要素自由流動(dòng)和市場(chǎng)有效競(jìng)爭(zhēng)等目的出發(fā),轉(zhuǎn)向設(shè)定個(gè)人數(shù)據(jù)可攜權(quán)和非個(gè)人數(shù)據(jù)可遷移性相關(guān)規(guī)則。2023年11月,歐洲議會(huì)和歐洲理事會(huì)正式批準(zhǔn)了《歐盟數(shù)據(jù)法案》,不再?gòu)?qiáng)調(diào)個(gè)人數(shù)據(jù)與非個(gè)人數(shù)據(jù)的區(qū)分,“數(shù)據(jù)”在該法案下的定義廣泛,涵蓋“任何數(shù)字形式的行為、事實(shí)或信息”。法案要求數(shù)據(jù)處理服務(wù)供應(yīng)商需采取措施,消除影響切換服務(wù)商的商業(yè)、技術(shù)、合同或組織障礙,允許更廣泛地訪問(wèn)數(shù)據(jù)并消除更改數(shù)據(jù)服務(wù)供應(yīng)商的障礙來(lái)刺激競(jìng)爭(zhēng)激烈的數(shù)據(jù)市場(chǎng)。由此可見(jiàn),歐盟在促進(jìn)數(shù)據(jù)要素保護(hù)和流動(dòng)的制度探索上,經(jīng)歷了從構(gòu)建產(chǎn)權(quán)規(guī)則到聚焦設(shè)定流通規(guī)則的過(guò)程。

    美國(guó)曾在1996年和1999年分別提出《數(shù)據(jù)庫(kù)投資和知識(shí)產(chǎn)權(quán)反盜版法案》(Database Investment and Intellectual Property Antipiracy Act of 1996)和《信息收集反盜用法案》(Collections of Information Antipiracy Act),旨在對(duì)數(shù)據(jù)庫(kù)投資或投入大量資源收集、維護(hù)信息集合者的利益進(jìn)行保護(hù),防止他人未經(jīng)授權(quán)的復(fù)制、傳播等盜用行為?!緟⒁?jiàn)H.R.3531- Database Investment and Intellectual Property Antipiracy Act of 1996,載https://www.govinfo.gov/content/pkg/BILLS-104hr3531ih/pdf/BILLS-104hr3531ih.pdf,H.R.354 - Collections of Information Antipiracy Act,https://www.congress.gov/bill/106th-congress/house-bill/354.】然而,相關(guān)法案議案均因可能造成數(shù)據(jù)訪問(wèn)限制、數(shù)據(jù)壟斷而遭到多方強(qiáng)烈反對(duì),最終未能通過(guò)。關(guān)于個(gè)人數(shù)據(jù),美國(guó)立法始終將其置于消費(fèi)者權(quán)益保護(hù)的法律框架下,并未像歐盟一樣對(duì)個(gè)人信息數(shù)據(jù)設(shè)定較強(qiáng)的保護(hù)規(guī)則。直到2018年6月,美國(guó)加州才頒布首個(gè)關(guān)于個(gè)人數(shù)據(jù)隱私的專(zhuān)門(mén)立法——《加利福尼亞消費(fèi)者隱私法案》(California Consumer Privacy Act)。在法無(wú)禁止即自由的原則下,美國(guó)數(shù)據(jù)流通實(shí)踐高度奉行意思自治、自由交易原則,形成了較為悠久的數(shù)據(jù)交易市場(chǎng)。市場(chǎng)主體通過(guò)合同約定、行業(yè)慣例等實(shí)現(xiàn)了對(duì)各自權(quán)利義務(wù)的分配,再配合法院的裁判規(guī)則,共同構(gòu)筑了美國(guó)的數(shù)據(jù)流通規(guī)則。

    日本在2018年修改《不正當(dāng)競(jìng)爭(zhēng)防止法》時(shí)將對(duì)特定數(shù)據(jù)的不正當(dāng)獲取、使用、披露,以及顯著違反誠(chéng)信原則使用或者披露數(shù)據(jù)等行為納入其中進(jìn)行規(guī)制?!緟⒁?jiàn)日本經(jīng)濟(jì)產(chǎn)業(yè)?。骸赶薅ㄌ峁━签`タに関する指針」,載日本經(jīng)濟(jì)產(chǎn)業(yè)省官網(wǎng),https://www.meti.go.jp/policy/economy/chizai/chiteki/guideline/h31pd.pdf.】從保護(hù)范圍看,其將具有商業(yè)價(jià)值的、可供交易的數(shù)據(jù)集合(這種數(shù)據(jù)因?yàn)樘峁┙o特定人或多名特定人而并沒(méi)有進(jìn)行秘密管理)這一原本無(wú)法通過(guò)商業(yè)秘密路徑進(jìn)行保護(hù)的數(shù)據(jù)予以保護(hù),擴(kuò)張了反不正當(dāng)競(jìng)爭(zhēng)法保護(hù)的數(shù)據(jù)范圍和類(lèi)型,同時(shí)特別排除了免費(fèi)向一般公眾開(kāi)放使用的數(shù)據(jù)。日本采取的這種數(shù)據(jù)保護(hù)模式較好地處理了數(shù)據(jù)保護(hù)和數(shù)據(jù)利用之間的關(guān)系,但存在和商業(yè)秘密保護(hù)界限不清、保護(hù)客體要件設(shè)置模糊等問(wèn)題。

    韓國(guó)于2021年12月修訂了《反不正當(dāng)競(jìng)爭(zhēng)及保護(hù)商業(yè)秘密的相關(guān)法律》,吸收借鑒了日本的經(jīng)驗(yàn),采取了與日本類(lèi)似的反不正當(dāng)競(jìng)爭(zhēng)法弱保護(hù)模式?!緟⒁?jiàn)https://www.shinkim.com/attachment/25431;shinkimfront=CFBAC6F178EECFC74856A718DFB27A6A.】

    事實(shí)上,確保數(shù)據(jù)最大限度地流通和利用才是數(shù)據(jù)要素價(jià)值最大化和數(shù)據(jù)基礎(chǔ)制度構(gòu)建的基礎(chǔ)?;诖?,《中共中央、國(guó)務(wù)院關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見(jiàn)》(以下簡(jiǎn)稱(chēng)“數(shù)據(jù)二十條”)在關(guān)于數(shù)據(jù)權(quán)屬的建構(gòu)上淡化甚至放棄了“所有權(quán)”概念,轉(zhuǎn)而強(qiáng)調(diào)一種以“數(shù)據(jù)相關(guān)權(quán)利結(jié)構(gòu)性分置”為基本思路的數(shù)據(jù)產(chǎn)權(quán)觀念和產(chǎn)權(quán)制度,為科學(xué)地認(rèn)識(shí)和建構(gòu)數(shù)據(jù)產(chǎn)權(quán)制度提供了新的基礎(chǔ)?!拘鼙f(wàn):《數(shù)據(jù)產(chǎn)權(quán)制度的理論挑戰(zhàn)與現(xiàn)代回應(yīng)》,載國(guó)家發(fā)展和改革委員會(huì)網(wǎng)站,https://www.ndrc.gov.cn/xxgk/jd/jd/202212/t20221219_1343666.html.】

    三、以數(shù)據(jù)流通促進(jìn)人工智能產(chǎn)業(yè)發(fā)展

    (一)司法實(shí)踐有關(guān)企業(yè)數(shù)據(jù)權(quán)益糾紛規(guī)則的分析與借鑒

    “數(shù)據(jù)二十條”的“三權(quán)分置”產(chǎn)權(quán)結(jié)構(gòu)設(shè)計(jì)屬于我國(guó)數(shù)據(jù)基礎(chǔ)制度的重大理論創(chuàng)新。然而,數(shù)據(jù)資源持有權(quán)、數(shù)據(jù)加工使用權(quán)和數(shù)據(jù)產(chǎn)品經(jīng)營(yíng)權(quán)各自的客體內(nèi)容和權(quán)利邊界,仍需審慎研究。特別是不同數(shù)據(jù)主體權(quán)利的排他性邊界劃定,仍存在較大的理論難度。對(duì)此,可以通過(guò)分析有關(guān)企業(yè)數(shù)據(jù)權(quán)益糾紛的司法實(shí)踐借鑒相關(guān)規(guī)則。

    在司法實(shí)踐裁判規(guī)則中,對(duì)非公開(kāi)的數(shù)據(jù)集合或企業(yè)合法收集并深度加工形成的數(shù)據(jù)產(chǎn)品予以保護(hù)已基本達(dá)成共識(shí),理論分歧僅限于適用《反不正當(dāng)競(jìng)爭(zhēng)法》的商業(yè)秘密條款還是“互聯(lián)網(wǎng)專(zhuān)條”或者第2條基本原則條款進(jìn)行保護(hù)的具體法律適用問(wèn)題。在“三權(quán)分置”結(jié)構(gòu)中,數(shù)據(jù)加工使用權(quán)、數(shù)據(jù)產(chǎn)品經(jīng)營(yíng)權(quán)已經(jīng)具備了較為清晰的權(quán)利內(nèi)容和排他性邊界。具體而言,對(duì)于數(shù)據(jù)加工使用權(quán),由于其客體數(shù)據(jù)本身是可分享的,只要具有各自的價(jià)值基礎(chǔ),不同的使用者即可在相同或相似數(shù)據(jù)上形成各自獨(dú)立使用的數(shù)據(jù)權(quán)利?!靖吒黄剑骸墩摂?shù)據(jù)持有者權(quán)——構(gòu)建數(shù)據(jù)流通利用秩序的新范式》,載《中外法學(xué)》2023年第2期?!?/p>

    較多的司法糾紛集中在公開(kāi)狀態(tài)下,數(shù)據(jù)持有者從數(shù)據(jù)來(lái)源主體處依法收集后,按照產(chǎn)品邏輯簡(jiǎn)單聚合或初步加工的企業(yè)數(shù)據(jù)集合的保護(hù)或者排他性邊界問(wèn)題。對(duì)于此類(lèi)數(shù)據(jù)而言,企業(yè)的收集、存儲(chǔ)、展示、運(yùn)營(yíng)等行為都需付出相應(yīng)的成本和勞動(dòng),也實(shí)現(xiàn)了數(shù)據(jù)資源價(jià)值的部分提升與轉(zhuǎn)化。但其由于加工程度較低,甚至只是根據(jù)產(chǎn)品運(yùn)營(yíng)目的將海量原始數(shù)據(jù)予以聚合,并不足以使企業(yè)獲得對(duì)該等數(shù)據(jù)的絕對(duì)排他控制性權(quán)益,否則可能侵害數(shù)據(jù)來(lái)源者的合法數(shù)據(jù)權(quán)益。加之其公開(kāi)狀態(tài)之下,還承載了數(shù)據(jù)流通利用的公共利益。三者利益沖突時(shí),如何妥善地權(quán)衡,這是數(shù)據(jù)產(chǎn)權(quán)制度構(gòu)建的核心難點(diǎn)之一,具體表現(xiàn)為數(shù)據(jù)資源持有權(quán)的權(quán)利邊界設(shè)定。

    對(duì)此,部分司法案例進(jìn)行了有益探索,強(qiáng)調(diào)了“三重授權(quán)”【北京知產(chǎn)法院(2016)京73民終588號(hào)民事判決提到:在Open API開(kāi)發(fā)合作模式中,第三方通過(guò)Open APl獲取用戶(hù)信息時(shí)應(yīng)堅(jiān)持“用戶(hù)授權(quán)”+“平臺(tái)授權(quán)”+“用戶(hù)授權(quán)”的三重授權(quán)原則。】原則適用的局限性,防止對(duì)數(shù)據(jù)持有企業(yè)利益的保護(hù)異化為對(duì)數(shù)據(jù)要素流通的不當(dāng)阻礙。如認(rèn)為“如果數(shù)據(jù)是經(jīng)過(guò)用戶(hù)同意通過(guò)平臺(tái)公開(kāi)的,第三方可以不必遵守該原則直接爬取和使用平臺(tái)內(nèi)的公開(kāi)個(gè)人數(shù)據(jù)內(nèi)容。對(duì)于公開(kāi)數(shù)據(jù)的流動(dòng)一般不涉及‘三重授權(quán)’原則的適用”【北京互聯(lián)網(wǎng)法院課題組:《數(shù)據(jù)權(quán)益知識(shí)產(chǎn)權(quán)司法保護(hù)的體系協(xié)調(diào)與規(guī)則創(chuàng)新》,載《法律適用》2024年第4期。】。比如,強(qiáng)調(diào)平臺(tái)經(jīng)營(yíng)者應(yīng)當(dāng)在一定程度上容忍他人合法收集或利用其平臺(tái)中已公開(kāi)的數(shù)據(jù)?!颈本┦泻5韰^(qū)人民法院(2017)京0108民初24512號(hào)民事判決書(shū)?!繉?duì)于原始數(shù)據(jù),平臺(tái)作為數(shù)據(jù)控制主體只能依其與用戶(hù)的約定享有有限使用權(quán),單一用戶(hù)數(shù)據(jù)權(quán)益的歸屬并非“誰(shuí)控制,誰(shuí)享有”,使用他人控制的用戶(hù)數(shù)據(jù)只要不違反“合法、正當(dāng)、必要、不過(guò)度、征得用戶(hù)同意”的原則,一般不應(yīng)被認(rèn)定為侵權(quán)行為?!菊憬『贾菔兄屑?jí)人民法院(2020)浙01民終5889號(hào)民事判決書(shū)?!科髽I(yè)對(duì)涉案整體數(shù)據(jù)集合享有競(jìng)爭(zhēng)性權(quán)益,與用戶(hù)基于原始信息主張相關(guān)權(quán)利互不沖突、并行不悖?!菊憬「呒?jí)人民法院(2023)浙民終1113號(hào)民事判決書(shū)?!?/p>

    這些司法實(shí)踐與“數(shù)據(jù)二十條”強(qiáng)調(diào)“數(shù)據(jù)來(lái)源者獲取和復(fù)制由其促成產(chǎn)生數(shù)據(jù)的權(quán)益”的內(nèi)在邏輯是一致的,其背后的法律邏輯也不言自明。參與主體在數(shù)據(jù)價(jià)值衍化過(guò)程中的投入不同,權(quán)益分配比重及排他性程度亦應(yīng)有所差別。對(duì)于數(shù)據(jù)資源而言,收集和聚合的企業(yè)主體付出的勞動(dòng)和數(shù)據(jù)產(chǎn)生的價(jià)值增益尚不足以使其獲得與數(shù)據(jù)產(chǎn)品同等的排他控制力,更無(wú)法對(duì)抗數(shù)據(jù)來(lái)源主體合法獲取、復(fù)制、轉(zhuǎn)移的權(quán)利。否則,不僅與數(shù)據(jù)價(jià)值生成的分配邏輯和比例不相符,數(shù)據(jù)來(lái)源者對(duì)該等數(shù)據(jù)形成所作的貢獻(xiàn)和權(quán)益無(wú)法得到充分尊重,還會(huì)使先占數(shù)據(jù)資源的企業(yè)憑借數(shù)據(jù)控制的優(yōu)勢(shì)地位設(shè)置數(shù)據(jù)獲取障礙,阻礙數(shù)據(jù)合理傳播和要素價(jià)值的充分發(fā)揮。當(dāng)然,數(shù)據(jù)來(lái)源者的數(shù)據(jù)權(quán)益也并非凌駕于其他數(shù)據(jù)主體的權(quán)益之上,實(shí)踐中仍應(yīng)注意妥善平衡。比較法視野下,《歐盟數(shù)據(jù)法案》設(shè)定的用戶(hù)數(shù)據(jù)訪問(wèn)及使用權(quán)也有“相關(guān)”“適當(dāng)”“技術(shù)可行”等前提條件,并且對(duì)權(quán)利行使進(jìn)行了限制,要求用戶(hù)不得將請(qǐng)求獲得的數(shù)據(jù)用于開(kāi)發(fā)與數(shù)據(jù)來(lái)源產(chǎn)品競(jìng)爭(zhēng)的產(chǎn)品。

    綜上,盡管目前受限于數(shù)據(jù)產(chǎn)權(quán)相關(guān)法律法規(guī)供給不足,司法實(shí)踐圍繞數(shù)據(jù)權(quán)益糾紛均采取行為規(guī)制模式,即將企業(yè)數(shù)據(jù)權(quán)益的分配問(wèn)題置于反不正當(dāng)競(jìng)爭(zhēng)法下公共利益、經(jīng)營(yíng)者利益與消費(fèi)者利益的“三元疊加”利益格局之中進(jìn)行衡量。這與賦權(quán)模式下數(shù)據(jù)產(chǎn)權(quán)的構(gòu)建思路殊途同歸。故有學(xué)者認(rèn)為,關(guān)于數(shù)據(jù)糾紛的司法裁判已經(jīng)接近于為企業(yè)合法形成的數(shù)據(jù)確立一種新的排他性財(cái)產(chǎn)權(quán),只是沒(méi)有在名義上予以明確而已。【龍衛(wèi)球:《再論企業(yè)數(shù)據(jù)保護(hù)的財(cái)產(chǎn)權(quán)化路徑》,載《東方法學(xué)》2018年第3期?!啃枰獜?qiáng)調(diào)的是,無(wú)論是行為規(guī)制模式還是賦權(quán)模式,均考慮數(shù)據(jù)的非排他、非競(jìng)爭(zhēng)特性,以及數(shù)據(jù)的公共屬性和在先權(quán)利,對(duì)數(shù)據(jù)產(chǎn)權(quán)所具有的支配性、排他性進(jìn)行一定限制,特別是在數(shù)據(jù)權(quán)利的具體權(quán)能構(gòu)建方面,相較財(cái)產(chǎn)權(quán)而言進(jìn)行適度限縮。【何深睿:《數(shù)據(jù)流通利用 | 數(shù)據(jù)產(chǎn)權(quán)研究綜述》,載清華大學(xué)智能法治研究院微信公眾號(hào)2022年8月31日,https://mp.weixin.qq.com/s/ZNscyid0CEGU_piF4bFdag,2024年8月20日訪問(wèn)。】以上兩種規(guī)制模式并無(wú)優(yōu)劣之分,更重要的是探索出符合當(dāng)前經(jīng)濟(jì)、社會(huì)發(fā)展階段與特征的治理模式。

    (二)數(shù)據(jù)流通助力人工智能產(chǎn)業(yè)發(fā)展的思考與建議

    有鑒于此,應(yīng)始終堅(jiān)持以數(shù)據(jù)要素的高效流通利用為目標(biāo),并根據(jù)司法實(shí)踐總結(jié)的規(guī)則適配數(shù)據(jù)要素的特性對(duì)企業(yè)數(shù)據(jù)產(chǎn)權(quán)的權(quán)項(xiàng)內(nèi)容、控制范圍、權(quán)利有效期、權(quán)利限制等進(jìn)行審慎設(shè)置與平衡,在保護(hù)數(shù)據(jù)相關(guān)權(quán)利人合法權(quán)益的同時(shí)防止權(quán)利藩籬可能產(chǎn)生的阻礙數(shù)據(jù)流通后果。特別應(yīng)聚焦探討如何在促進(jìn)數(shù)據(jù)利用和保護(hù)公共利益之間找到平衡點(diǎn),確保數(shù)據(jù)資源的有效分配和利用,同時(shí)防止市場(chǎng)力量濫用和數(shù)據(jù)壟斷現(xiàn)象的出現(xiàn)。具體而言,在企業(yè)數(shù)據(jù)賦權(quán)的實(shí)踐中,必須審慎考量企業(yè)追求數(shù)據(jù)私利最大化的行為對(duì)數(shù)據(jù)流通及社會(huì)總體效益的潛在侵蝕效應(yīng)。與此同時(shí),需特別警惕數(shù)據(jù)權(quán)利泛化可能導(dǎo)致的新型市場(chǎng)壁壘的出現(xiàn),如數(shù)據(jù)企業(yè)在市場(chǎng)競(jìng)爭(zhēng)中利用其市場(chǎng)優(yōu)勢(shì)占據(jù)關(guān)鍵稀缺數(shù)據(jù)資源,并采取措施限制競(jìng)爭(zhēng)對(duì)手獲取相應(yīng)數(shù)據(jù)。高昂的數(shù)據(jù)收集成本將降低數(shù)據(jù)的可獲得性,從而限制大量的新進(jìn)入者和潛在的進(jìn)入者進(jìn)入數(shù)據(jù)市場(chǎng)。

    在個(gè)人信息流通方面,雖然《個(gè)人信息保護(hù)法》規(guī)定了匿名化處理后的信息不是個(gè)人信息,但匿名化的判斷標(biāo)準(zhǔn)以及重新識(shí)別的風(fēng)險(xiǎn)始終是高懸在個(gè)人信息數(shù)據(jù)處理者頭上的“達(dá)摩克利斯之劍”。為了確定一個(gè)自然人是否可識(shí)別,應(yīng)考慮到控制者或他人為直接或間接識(shí)別該自然人而合理地可能使用的所有手段。進(jìn)行識(shí)別程序所需要的成本、識(shí)別身份的目的、技術(shù)的現(xiàn)狀及處理數(shù)據(jù)期間技術(shù)的發(fā)展都是應(yīng)考慮的因素。當(dāng)識(shí)別的可能性不存在或可被忽略時(shí),不應(yīng)理解為身份可識(shí)別的情況,而有關(guān)數(shù)據(jù)亦不屬于個(gè)人信息?!続RTICLE 29 DATA PROTECTION WORKING PARTY,《Opinion 4/2007 on the concept of personal data》,https://ec.europa.eu/justice/article-29/documentation/opinion-recommendation/files/2007/wp136_en.pdf,2024年8月20日訪問(wèn)?!咳缬嘘P(guān)個(gè)人信息的相關(guān)司法解釋或國(guó)家標(biāo)準(zhǔn)可以將經(jīng)濟(jì)成本和技術(shù)可行等細(xì)化為匿名化的具體考量因素,則有望為企業(yè)匿名化處理個(gè)人信息數(shù)據(jù)提供評(píng)估方法和判斷標(biāo)準(zhǔn),實(shí)現(xiàn)個(gè)人信息保護(hù)和數(shù)據(jù)商業(yè)化利用流通的有效平衡。

    在公共數(shù)據(jù)的開(kāi)放共享方面,“數(shù)據(jù)二十條”提出對(duì)公共數(shù)據(jù)加強(qiáng)匯聚共享和開(kāi)放開(kāi)發(fā),推進(jìn)互聯(lián)互通,打破“數(shù)據(jù)孤島”,并區(qū)分了“有條件無(wú)償使用”和“有條件有償使用”兩種路徑。然而,目前公共數(shù)據(jù)還存在數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)更新不及時(shí)、監(jiān)督約束機(jī)制弱、開(kāi)放評(píng)價(jià)不到位等問(wèn)題,難以滿足數(shù)字經(jīng)濟(jì),特別是人工智能產(chǎn)業(yè)發(fā)展的現(xiàn)實(shí)需求。美國(guó)在聯(lián)邦層面設(shè)立了統(tǒng)一開(kāi)放平臺(tái)(data.gov),規(guī)范數(shù)據(jù)的標(biāo)準(zhǔn)和格式,整體數(shù)據(jù)開(kāi)放的體量大、種類(lèi)多、更新頻率高,AI數(shù)據(jù)訓(xùn)練的可用性較強(qiáng)。從高質(zhì)量數(shù)據(jù)集建設(shè)的需求而言,期待我國(guó)能進(jìn)一步加大公共數(shù)據(jù)的開(kāi)放力度和標(biāo)準(zhǔn)化形式,助力人工智能產(chǎn)業(yè)的高效發(fā)展。

    四、結(jié)語(yǔ)

    人工智能的發(fā)展和產(chǎn)業(yè)應(yīng)用,經(jīng)歷了從解決單一任務(wù)到生成通用大模型的發(fā)展歷程,其中關(guān)鍵即在于擴(kuò)展定律(Scaling Law)的成功驗(yàn)證,從GPT 1到GPT 3不斷嘗試,將參數(shù)規(guī)模提升100倍,訓(xùn)練數(shù)據(jù)量提升50倍,GPT 3.5(ChatGPT)出現(xiàn)了能力“涌現(xiàn)”?!景⒗镅芯吭海骸懂a(chǎn)業(yè)之聲 | 生成式AI在電商場(chǎng)景的應(yīng)用、前景與挑戰(zhàn)》,載阿里研究院微信公眾號(hào)2024年7月2日,https://mp.weixin.qq.com/s/piHq97-antGidwR--F-87g,2024年8月20日訪問(wèn)?!坑写竽P酮?dú)角獸企業(yè)創(chuàng)始人對(duì)未來(lái)人工智能的發(fā)展給出了更為直接的判斷:“AI研究了七八十年,唯一有效的東西其實(shí)是scaling law,就是不斷放大數(shù)據(jù)、算力和算法這幾樣生產(chǎn)要素。”【拾象:《專(zhuān)訪月之暗面楊植麟:lossless long context is everything》,載海外獨(dú)角獸微信公眾號(hào)2024年2月8日,https://mp.weixin.qq.com/s/UMY0qZsCGh87KnW4wjfvoA.2024年8月20日訪問(wèn)?!?/p>

    當(dāng)前高質(zhì)量中文數(shù)據(jù)集短缺作為制約人工智能,尤其是大模型發(fā)展的主要因素,亟待通過(guò)數(shù)據(jù)基礎(chǔ)制度的構(gòu)建促進(jìn)企業(yè)數(shù)據(jù)、個(gè)人數(shù)據(jù)、公共數(shù)據(jù)的流通,通過(guò)法律規(guī)則的更新供給來(lái)激活數(shù)據(jù)要素的價(jià)值。

    國(guó)家數(shù)據(jù)局等17部門(mén)聯(lián)合印發(fā)的《“數(shù)據(jù)要素 ×” 三年行動(dòng)計(jì)劃(2024—2026年)》要求,“建設(shè)高質(zhì)量語(yǔ)料庫(kù)和基礎(chǔ)科學(xué)數(shù)據(jù)集,支持開(kāi)展人工智能大模型開(kāi)發(fā)和訓(xùn)練”,并特別在“提升數(shù)據(jù)供給水平”部分專(zhuān)門(mén)強(qiáng)調(diào),完善數(shù)據(jù)資源體系,打造高質(zhì)量人工智能大模型訓(xùn)練數(shù)據(jù)集,加大公共數(shù)據(jù)資源供給,引導(dǎo)企業(yè)開(kāi)放數(shù)據(jù),加強(qiáng)供給激勵(lì),制定完善數(shù)據(jù)內(nèi)容采集、加工、流通、應(yīng)用等不同環(huán)節(jié)相關(guān)主體的權(quán)益保護(hù)規(guī)則,在保護(hù)個(gè)人隱私前提下促進(jìn)個(gè)人信息合理利用,進(jìn)一步為公共數(shù)據(jù)、企業(yè)數(shù)據(jù)、個(gè)人數(shù)據(jù)的保護(hù)和流通指明了方向。2023年12月,包括1億余條數(shù)據(jù)、500億個(gè)token、共計(jì)120G的首批中文基礎(chǔ)語(yǔ)料庫(kù)發(fā)布,但還遠(yuǎn)遠(yuǎn)不能滿足國(guó)內(nèi)大模型訓(xùn)練數(shù)據(jù)的要求。未來(lái)仍需進(jìn)一步通過(guò)數(shù)據(jù)產(chǎn)權(quán)規(guī)則激活數(shù)據(jù)要素價(jià)值,為人工智能產(chǎn)業(yè)發(fā)展增添動(dòng)力。

    數(shù)據(jù)生產(chǎn)要素的特性、數(shù)據(jù)類(lèi)型的復(fù)雜性和數(shù)據(jù)流通場(chǎng)景的多樣性,決定了數(shù)據(jù)產(chǎn)權(quán)規(guī)則構(gòu)建的理論和現(xiàn)實(shí)難度。盡管如此,仍可從廣闊的數(shù)據(jù)流通交易和司法實(shí)踐中歸納出共識(shí)的部分用以指導(dǎo)數(shù)據(jù)要素市場(chǎng)建設(shè)的具體規(guī)則,特別是在企業(yè)數(shù)據(jù)權(quán)益與數(shù)據(jù)來(lái)源者權(quán)益沖突的協(xié)調(diào)問(wèn)題上,堅(jiān)持企業(yè)數(shù)據(jù)資源持有權(quán)有限排他性的立場(chǎng),保障數(shù)據(jù)來(lái)源者對(duì)數(shù)據(jù)的獲取、復(fù)制或可攜權(quán)。同時(shí),通過(guò)對(duì)個(gè)人信息匿名化標(biāo)準(zhǔn)和公共數(shù)據(jù)授權(quán)運(yùn)營(yíng)實(shí)踐的探索,進(jìn)一步促進(jìn)數(shù)據(jù)流通,助力人工智能產(chǎn)業(yè)發(fā)展。

    Abstract:Data has become an important factor of production for the development of AI industry in the era of digital economy. Whether and how to construct the foundational system for data, including data property rights, has become an important issue. The concept and system of the “tripartite allocation” of data property rights proposed in China’s “Twenty Data Measures” is a major theoretical innovation, however, it needs to solve such issues as how to accurately define the content and boundary of each of the “three rights”. Relevant judicial practices can provide effective references and have formed some consensus on these issues.

    Currently, the shortage of high-quality Chinese datasets is the major factor restricting the development of AI, and it is urgent to activate the value of data element by providing and updating legal rules. In the future, we should aim for the efficient circulation and utilization of data element to establish and carefully balance the content, boundary, valid period, and the limitations of data property rights in accordance with the rules summarized in judicial practice as well as the characteristics of data element, so that the effective distribution and utilization of data resources can be realized. In addition, we should continue exploring the anonymization standard of personal information and public data authorization to facilitate data circulation and boost the development of AI industry.

    [責(zé)任編輯 邢峻彬]

    猜你喜歡
    三權(quán)分置人工智能
    我校新增“人工智能”本科專(zhuān)業(yè)
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    農(nóng)村土地“三權(quán)分置”重在保護(hù)農(nóng)民自主權(quán)
    從經(jīng)營(yíng)權(quán)看農(nóng)地“三權(quán)分置”
    農(nóng)地三權(quán)分置視域下新型農(nóng)業(yè)經(jīng)營(yíng)主體的素質(zhì)要求和培育途徑
    下一幕,人工智能!
    下一幕,人工智能!
    日韩三级伦理在线观看| 成人国产麻豆网| 99热网站在线观看| 日日撸夜夜添| 国产成人精品婷婷| 久久久久视频综合| 欧美人与性动交α欧美精品济南到 | 1024视频免费在线观看| 亚洲一码二码三码区别大吗| 天堂中文最新版在线下载| 熟女电影av网| 精品国产一区二区三区久久久樱花| 国产av码专区亚洲av| 国产高清不卡午夜福利| 夫妻性生交免费视频一级片| 男女免费视频国产| 91国产中文字幕| 十八禁网站网址无遮挡| 激情五月婷婷亚洲| 国产日韩一区二区三区精品不卡| 中文精品一卡2卡3卡4更新| 欧美国产精品一级二级三级| 精品第一国产精品| 久久热在线av| 国产精品欧美亚洲77777| 黑人猛操日本美女一级片| 亚洲av电影在线观看一区二区三区| 搡老乐熟女国产| 久久热在线av| 日本爱情动作片www.在线观看| 美女福利国产在线| 人妻人人澡人人爽人人| 曰老女人黄片| a级毛色黄片| 亚洲av在线观看美女高潮| 日韩精品免费视频一区二区三区 | 国产一区亚洲一区在线观看| 曰老女人黄片| 中国美白少妇内射xxxbb| 一级,二级,三级黄色视频| 亚洲av福利一区| 午夜福利影视在线免费观看| 欧美97在线视频| 国产av精品麻豆| 国产精品成人在线| 久久99热这里只频精品6学生| 黄网站色视频无遮挡免费观看| 午夜免费观看性视频| 久久影院123| 九色亚洲精品在线播放| 欧美老熟妇乱子伦牲交| 国产熟女午夜一区二区三区| 在线观看美女被高潮喷水网站| 韩国av在线不卡| 少妇的逼水好多| 日韩一本色道免费dvd| 免费久久久久久久精品成人欧美视频 | 国产精品一二三区在线看| 18禁国产床啪视频网站| 欧美人与性动交α欧美精品济南到 | 2018国产大陆天天弄谢| 成年人午夜在线观看视频| 国产日韩欧美在线精品| 亚洲精品视频女| 国产国拍精品亚洲av在线观看| 我要看黄色一级片免费的| 新久久久久国产一级毛片| 久久久久久久久久人人人人人人| 一本—道久久a久久精品蜜桃钙片| 亚洲国产最新在线播放| 青春草视频在线免费观看| 在线看a的网站| 亚洲av福利一区| 丝袜脚勾引网站| 国产又爽黄色视频| 亚洲精品aⅴ在线观看| 国产亚洲欧美精品永久| 国产乱来视频区| 欧美老熟妇乱子伦牲交| 日本wwww免费看| 王馨瑶露胸无遮挡在线观看| 国产在线一区二区三区精| 亚洲人成77777在线视频| 精品一区二区免费观看| 精品一区二区三区视频在线| 日韩成人伦理影院| 91国产中文字幕| 精品少妇久久久久久888优播| 狠狠精品人妻久久久久久综合| 久久久久久久久久久免费av| 精品久久蜜臀av无| 建设人人有责人人尽责人人享有的| 中国美白少妇内射xxxbb| 国产 一区精品| 欧美性感艳星| 精品亚洲成a人片在线观看| 九九在线视频观看精品| 男女边吃奶边做爰视频| 丝袜在线中文字幕| 肉色欧美久久久久久久蜜桃| 丰满乱子伦码专区| 香蕉精品网在线| 人人妻人人澡人人爽人人夜夜| 国产一区二区在线观看av| 性色avwww在线观看| 精品亚洲成国产av| 一级,二级,三级黄色视频| 人人澡人人妻人| 亚洲精品456在线播放app| 久久久久国产网址| 中国三级夫妇交换| 少妇人妻精品综合一区二区| 中国美白少妇内射xxxbb| 日本午夜av视频| 啦啦啦视频在线资源免费观看| 九九爱精品视频在线观看| 免费高清在线观看日韩| 男女国产视频网站| 女性被躁到高潮视频| 国产亚洲一区二区精品| 青春草亚洲视频在线观看| 最近手机中文字幕大全| 国产精品久久久久久精品古装| 亚洲三级黄色毛片| 免费女性裸体啪啪无遮挡网站| 七月丁香在线播放| 国产1区2区3区精品| 国产精品久久久久久精品古装| 午夜福利,免费看| 国产女主播在线喷水免费视频网站| 亚洲精品久久久久久婷婷小说| 观看av在线不卡| 又粗又硬又长又爽又黄的视频| 制服人妻中文乱码| 2021少妇久久久久久久久久久| 国产亚洲一区二区精品| 成人综合一区亚洲| 亚洲成av片中文字幕在线观看 | 丝瓜视频免费看黄片| 欧美97在线视频| 久久久久久久久久久免费av| av在线观看视频网站免费| 亚洲综合色网址| 99九九在线精品视频| 亚洲精品国产av蜜桃| 国产高清不卡午夜福利| 国产日韩一区二区三区精品不卡| 精品99又大又爽又粗少妇毛片| 精品国产一区二区三区久久久樱花| 一边亲一边摸免费视频| 久久久久久人妻| 国产免费福利视频在线观看| 两个人看的免费小视频| 免费黄网站久久成人精品| 久久久久久久久久人人人人人人| 中文字幕最新亚洲高清| 亚洲国产毛片av蜜桃av| 国产精品偷伦视频观看了| 99久久综合免费| 国产又爽黄色视频| 99热国产这里只有精品6| 日韩免费高清中文字幕av| 日韩精品免费视频一区二区三区 | 久久精品夜色国产| 九九在线视频观看精品| 午夜免费鲁丝| 在线观看一区二区三区激情| 在线观看免费日韩欧美大片| 热99国产精品久久久久久7| 国产精品国产av在线观看| 成人黄色视频免费在线看| videossex国产| 精品一品国产午夜福利视频| 精品久久久久久电影网| 国产乱来视频区| 国产精品一区二区在线观看99| 女人精品久久久久毛片| 午夜久久久在线观看| 欧美日韩国产mv在线观看视频| 亚洲情色 制服丝袜| 人妻人人澡人人爽人人| av黄色大香蕉| 色网站视频免费| 国产 一区精品| 久久ye,这里只有精品| 午夜激情av网站| 国产色爽女视频免费观看| 国产精品.久久久| 视频在线观看一区二区三区| 成人国语在线视频| 99久久综合免费| 高清在线视频一区二区三区| 国产成人精品在线电影| 亚洲国产精品专区欧美| 丰满少妇做爰视频| 亚洲图色成人| 国产精品一区二区在线观看99| 99热国产这里只有精品6| 91精品伊人久久大香线蕉| 如何舔出高潮| 亚洲人成网站在线观看播放| 男女边摸边吃奶| 夫妻午夜视频| 建设人人有责人人尽责人人享有的| 久久久久精品人妻al黑| 26uuu在线亚洲综合色| 少妇猛男粗大的猛烈进出视频| 丝袜在线中文字幕| 免费av不卡在线播放| 美女主播在线视频| 少妇猛男粗大的猛烈进出视频| 国产欧美日韩一区二区三区在线| 亚洲国产日韩一区二区| 丝袜人妻中文字幕| 多毛熟女@视频| 亚洲国产精品成人久久小说| 亚洲美女搞黄在线观看| 99国产精品免费福利视频| 亚洲精品视频女| 亚洲精品国产色婷婷电影| 黄网站色视频无遮挡免费观看| 热99久久久久精品小说推荐| 男女边摸边吃奶| 成人影院久久| 麻豆精品久久久久久蜜桃| 蜜桃在线观看..| 亚洲精品日韩在线中文字幕| 国产高清国产精品国产三级| 妹子高潮喷水视频| 亚洲,欧美,日韩| 国产极品粉嫩免费观看在线| 久久韩国三级中文字幕| 国产不卡av网站在线观看| 亚洲国产av新网站| 晚上一个人看的免费电影| 久久久久久久久久久久大奶| 午夜91福利影院| av视频免费观看在线观看| 久久久久久伊人网av| 韩国高清视频一区二区三区| 午夜福利在线观看免费完整高清在| 在线观看美女被高潮喷水网站| 国产色婷婷99| 日日撸夜夜添| 韩国精品一区二区三区 | 日韩成人av中文字幕在线观看| 亚洲第一av免费看| 极品人妻少妇av视频| 国产日韩欧美视频二区| 九九在线视频观看精品| 大片免费播放器 马上看| 亚洲国产精品999| 久久久久视频综合| 国产深夜福利视频在线观看| 中文字幕人妻熟女乱码| 成人二区视频| 午夜日本视频在线| 水蜜桃什么品种好| 边亲边吃奶的免费视频| 婷婷色综合www| 91精品三级在线观看| 一级片'在线观看视频| 久久久久久久国产电影| 香蕉国产在线看| 久久久久精品性色| 免费女性裸体啪啪无遮挡网站| 亚洲精品av麻豆狂野| 一区二区日韩欧美中文字幕 | 另类精品久久| 亚洲av中文av极速乱| 亚洲综合精品二区| 日韩熟女老妇一区二区性免费视频| √禁漫天堂资源中文www| 乱人伦中国视频| 大香蕉久久成人网| 99热全是精品| 男女下面插进去视频免费观看 | 男的添女的下面高潮视频| av国产久精品久网站免费入址| 欧美人与善性xxx| 九色成人免费人妻av| 乱人伦中国视频| 波多野结衣一区麻豆| 在现免费观看毛片| 人妻 亚洲 视频| 九九在线视频观看精品| 亚洲,欧美精品.| 蜜臀久久99精品久久宅男| 国产日韩一区二区三区精品不卡| 蜜桃国产av成人99| 国产白丝娇喘喷水9色精品| 1024视频免费在线观看| 中文字幕最新亚洲高清| 青春草国产在线视频| a级片在线免费高清观看视频| 国产一区二区三区av在线| 亚洲高清免费不卡视频| 国产又爽黄色视频| 2022亚洲国产成人精品| 啦啦啦视频在线资源免费观看| 老女人水多毛片| 人成视频在线观看免费观看| 青春草亚洲视频在线观看| 久久久久久人妻| 在线看a的网站| 综合色丁香网| 新久久久久国产一级毛片| 精品人妻偷拍中文字幕| 校园人妻丝袜中文字幕| 亚洲久久久国产精品| 欧美国产精品一级二级三级| 精品视频人人做人人爽| 欧美精品国产亚洲| 国产亚洲av片在线观看秒播厂| 视频区图区小说| 亚洲成人一二三区av| 男女啪啪激烈高潮av片| a 毛片基地| 亚洲国产精品一区二区三区在线| 亚洲欧美清纯卡通| 欧美xxⅹ黑人| 久久久久网色| 久久99一区二区三区| 一级毛片我不卡| 少妇高潮的动态图| 热re99久久国产66热| 黄色配什么色好看| 男男h啪啪无遮挡| 韩国精品一区二区三区 | 熟女人妻精品中文字幕| 边亲边吃奶的免费视频| 国产精品99久久99久久久不卡 | 人体艺术视频欧美日本| 日韩免费高清中文字幕av| 国产高清不卡午夜福利| 最后的刺客免费高清国语| 久久久国产精品麻豆| 日韩成人av中文字幕在线观看| 欧美老熟妇乱子伦牲交| 青青草视频在线视频观看| 18+在线观看网站| 国产亚洲午夜精品一区二区久久| 青春草视频在线免费观看| 精品久久蜜臀av无| 免费人成在线观看视频色| 久久人人爽人人爽人人片va| 国产成人精品一,二区| 女人精品久久久久毛片| 一级爰片在线观看| 少妇的逼好多水| 男女无遮挡免费网站观看| 国产男人的电影天堂91| 美女中出高潮动态图| 爱豆传媒免费全集在线观看| 精品一区二区三卡| 2018国产大陆天天弄谢| 少妇被粗大的猛进出69影院 | 国产成人精品一,二区| 亚洲成国产人片在线观看| 亚洲伊人色综图| 99热国产这里只有精品6| 国产欧美日韩一区二区三区在线| 国产精品秋霞免费鲁丝片| 中文字幕制服av| 亚洲天堂av无毛| 香蕉精品网在线| 美女主播在线视频| 久久精品国产a三级三级三级| 观看av在线不卡| 女人被躁到高潮嗷嗷叫费观| 国产精品秋霞免费鲁丝片| 高清毛片免费看| 亚洲国产av影院在线观看| 欧美 日韩 精品 国产| 美女主播在线视频| 国产在线一区二区三区精| www.色视频.com| 国产亚洲精品第一综合不卡 | 永久网站在线| videossex国产| 插逼视频在线观看| 国产片特级美女逼逼视频| 永久网站在线| 中文乱码字字幕精品一区二区三区| 久久久久久久久久人人人人人人| 亚洲欧美清纯卡通| 中文天堂在线官网| 99热6这里只有精品| 亚洲精品自拍成人| 蜜桃国产av成人99| 久久精品久久久久久噜噜老黄| 欧美成人午夜免费资源| 日本wwww免费看| 极品少妇高潮喷水抽搐| 亚洲综合色网址| 日韩精品免费视频一区二区三区 | 国产一区有黄有色的免费视频| 大码成人一级视频| 亚洲第一av免费看| 日韩精品有码人妻一区| 久久ye,这里只有精品| 久久影院123| 夜夜爽夜夜爽视频| 亚洲天堂av无毛| 国产精品国产三级国产专区5o| 欧美精品一区二区大全| 精品卡一卡二卡四卡免费| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 午夜视频国产福利| 国产成人91sexporn| 内地一区二区视频在线| 日本与韩国留学比较| 亚洲欧美日韩另类电影网站| 永久免费av网站大全| 国产精品久久久久久av不卡| 久久鲁丝午夜福利片| 欧美日韩视频高清一区二区三区二| 在线观看免费视频网站a站| 黑人高潮一二区| 十八禁高潮呻吟视频| 街头女战士在线观看网站| 熟女人妻精品中文字幕| av.在线天堂| 一本大道久久a久久精品| 国产白丝娇喘喷水9色精品| av国产精品久久久久影院| 国产精品不卡视频一区二区| 高清av免费在线| 亚洲第一av免费看| www.色视频.com| 纯流量卡能插随身wifi吗| 欧美人与性动交α欧美精品济南到 | 人体艺术视频欧美日本| videossex国产| 看十八女毛片水多多多| 久久 成人 亚洲| 熟女av电影| 日日撸夜夜添| 亚洲精品成人av观看孕妇| 国产熟女欧美一区二区| 黄色毛片三级朝国网站| 亚洲国产精品999| 免费av中文字幕在线| 精品亚洲成国产av| 国产熟女午夜一区二区三区| 三级国产精品片| 国产精品 国内视频| www日本在线高清视频| 国产男女超爽视频在线观看| 国产1区2区3区精品| 99re6热这里在线精品视频| 欧美少妇被猛烈插入视频| 国产色爽女视频免费观看| 免费播放大片免费观看视频在线观看| 在线免费观看不下载黄p国产| 日本-黄色视频高清免费观看| 卡戴珊不雅视频在线播放| 伦精品一区二区三区| 国产片内射在线| 久久久精品免费免费高清| 一级片'在线观看视频| 巨乳人妻的诱惑在线观看| 91久久精品国产一区二区三区| 99国产精品免费福利视频| 久久午夜福利片| 久久久久久久久久人人人人人人| 免费日韩欧美在线观看| 中文字幕另类日韩欧美亚洲嫩草| 51国产日韩欧美| 波多野结衣一区麻豆| 极品少妇高潮喷水抽搐| 丰满乱子伦码专区| av有码第一页| 国产片特级美女逼逼视频| 一区二区三区精品91| 97人妻天天添夜夜摸| 成人毛片60女人毛片免费| 人妻少妇偷人精品九色| 欧美精品一区二区免费开放| av黄色大香蕉| 91久久精品国产一区二区三区| 成年人免费黄色播放视频| 春色校园在线视频观看| 91午夜精品亚洲一区二区三区| 天堂俺去俺来也www色官网| 最黄视频免费看| 新久久久久国产一级毛片| 欧美少妇被猛烈插入视频| 久久久久国产网址| 五月天丁香电影| 欧美精品一区二区免费开放| 91成人精品电影| 激情五月婷婷亚洲| 久久精品人人爽人人爽视色| 欧美日韩av久久| av播播在线观看一区| 伊人久久国产一区二区| 国国产精品蜜臀av免费| 日本黄色日本黄色录像| 老司机亚洲免费影院| 欧美精品一区二区免费开放| 午夜福利视频在线观看免费| 成人18禁高潮啪啪吃奶动态图| 精品酒店卫生间| 欧美人与性动交α欧美软件 | 欧美日韩亚洲高清精品| 亚洲综合色网址| 91精品三级在线观看| 夜夜骑夜夜射夜夜干| 久久99精品国语久久久| 涩涩av久久男人的天堂| 丰满迷人的少妇在线观看| 少妇高潮的动态图| 黄色视频在线播放观看不卡| 久久久久精品久久久久真实原创| 亚洲欧美色中文字幕在线| 亚洲情色 制服丝袜| 九九在线视频观看精品| 黄网站色视频无遮挡免费观看| 日本vs欧美在线观看视频| 久久毛片免费看一区二区三区| 国产成人a∨麻豆精品| 国产成人精品无人区| 18禁在线无遮挡免费观看视频| 人成视频在线观看免费观看| 18禁观看日本| 夫妻午夜视频| 亚洲av电影在线进入| 9热在线视频观看99| 精品国产乱码久久久久久小说| 男女无遮挡免费网站观看| 一区二区三区四区激情视频| 日本黄大片高清| 激情视频va一区二区三区| 成人国语在线视频| 欧美激情国产日韩精品一区| 老司机亚洲免费影院| 69精品国产乱码久久久| av在线老鸭窝| 亚洲精品久久午夜乱码| 国产成人精品久久久久久| 久久久久国产精品人妻一区二区| 日韩精品有码人妻一区| 成人午夜精彩视频在线观看| 少妇猛男粗大的猛烈进出视频| 日韩一本色道免费dvd| 久久精品国产a三级三级三级| 国产片内射在线| 99精国产麻豆久久婷婷| 在线观看www视频免费| 国产一区亚洲一区在线观看| 人妻一区二区av| 99九九在线精品视频| 成人毛片60女人毛片免费| 中文字幕免费在线视频6| 国产精品欧美亚洲77777| 欧美最新免费一区二区三区| 水蜜桃什么品种好| av片东京热男人的天堂| 伦精品一区二区三区| 99久国产av精品国产电影| 制服诱惑二区| 成年女人在线观看亚洲视频| av卡一久久| 男女啪啪激烈高潮av片| 新久久久久国产一级毛片| 免费大片18禁| 永久免费av网站大全| 九九爱精品视频在线观看| 久久ye,这里只有精品| 你懂的网址亚洲精品在线观看| 欧美亚洲日本最大视频资源| 国产激情久久老熟女| 亚洲人成77777在线视频| 天堂俺去俺来也www色官网| 五月玫瑰六月丁香| 国产伦理片在线播放av一区| 亚洲欧美清纯卡通| av免费观看日本| 两个人免费观看高清视频| 久久久久人妻精品一区果冻| 精品熟女少妇av免费看| 久热久热在线精品观看| 多毛熟女@视频| 插逼视频在线观看| 欧美 日韩 精品 国产| 欧美少妇被猛烈插入视频| 熟女电影av网| 18禁动态无遮挡网站| 精品一区在线观看国产| 亚洲人成77777在线视频| 国产69精品久久久久777片| 一级片'在线观看视频| 90打野战视频偷拍视频| 在线观看www视频免费| 2018国产大陆天天弄谢| 久久国产精品大桥未久av| 啦啦啦啦在线视频资源| 国产一区亚洲一区在线观看| 日韩熟女老妇一区二区性免费视频| 人妻系列 视频| 大片电影免费在线观看免费| 免费高清在线观看日韩| 999精品在线视频| 久久久精品94久久精品| 肉色欧美久久久久久久蜜桃| 狠狠精品人妻久久久久久综合| 久久久久人妻精品一区果冻| 亚洲av日韩在线播放| 午夜精品国产一区二区电影| 国产亚洲午夜精品一区二区久久| 国产有黄有色有爽视频| 在线亚洲精品国产二区图片欧美| 中文字幕最新亚洲高清| 国产福利在线免费观看视频|