• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    生成式人工智能數(shù)據(jù)“投喂”的著作權(quán)侵權(quán)行為規(guī)制

    2025-03-25 00:00:00常燁
    科技與法律 2025年2期

    摘 "要:生成式人工智能在大模型訓(xùn)練中的數(shù)據(jù)“投喂”引發(fā)了內(nèi)容創(chuàng)作者對自身作品被違法使用的擔(dān)憂,生成式人工智能面對指控往往訴諸合理使用條款進(jìn)行抗辯。生成式人工智能的技術(shù)特性,使得對于“投喂”未獲許可作品行為的規(guī)制面臨事實(shí)查明、歸責(zé)、懲戒等多重困境。對于這種涉及新技術(shù)、新要素、新產(chǎn)業(yè)鏈的著作權(quán)侵權(quán)治理而言,必然對新制度有所訴求。因此,應(yīng)當(dāng)在生成式人工智能尚在自我探索的這一發(fā)展階段,明確這種著作權(quán)侵權(quán)的法律適用,從侵權(quán)責(zé)任認(rèn)定與舉證責(zé)任分配、技術(shù)性授權(quán)的行業(yè)自律規(guī)范、“機(jī)器遺忘”強(qiáng)制性規(guī)范等多個維度,構(gòu)建生成式人工智能輸入端對數(shù)據(jù)“投喂”著作權(quán)侵權(quán)行為的規(guī)制框架。

    關(guān)鍵詞:生成式人工智能;訓(xùn)練數(shù)據(jù)“投喂”;著作權(quán);侵權(quán)

    中圖分類號:D 923.41 " " " 文獻(xiàn)標(biāo)志碼:A " " 文章編號:2096-9783(2025)02?0031?11

    一、問題的提出

    2023年被譽(yù)為生成式人工智能爆發(fā)之年,ChatGPT等服務(wù)展示了生成式人工智能的突破性進(jìn)展與未來潛力[1]。但生成式人工智能需要鯨吞海量數(shù)據(jù)的“成長”之路也引發(fā)了不少的侵權(quán)爭議。網(wǎng)易LOFTER平臺于2023年3月上線生成式人工智能繪畫功能后,大量用戶因擔(dān)心自身原創(chuàng)作品被該平臺作為訓(xùn)練數(shù)據(jù)“投喂”給平臺的生成式人工智能工具而注銷[2],8月起小紅書平臺的生成式人工智能繪畫產(chǎn)品也受到相似的質(zhì)疑,導(dǎo)致大量原創(chuàng)畫師退出[3]。11月,辦公軟件WPS也被質(zhì)疑為訓(xùn)練其生成式人工智能產(chǎn)品而濫用用戶文檔[4]。2023年底,美國媒體《紐約時報》把OpenAI及其投資方微軟公司告上法庭,指控二者未經(jīng)授權(quán)就使用該媒體的數(shù)百萬篇文章來訓(xùn)練人工智能大模型,要求被告銷毀相關(guān)數(shù)據(jù)并對媒體損失負(fù)責(zé)[5]。推出ChatGPT的OpenAI在這之前就已經(jīng)受到多次類似的控告,相關(guān)權(quán)利人認(rèn)為生成式人工智能在大模型訓(xùn)練過程中的數(shù)據(jù)“投喂”存在侵犯其著作權(quán)的情形。不難發(fā)現(xiàn),生成式人工智能的成長過程,一直伴隨著大模型訓(xùn)練的數(shù)據(jù)“投喂”侵權(quán)的爭議,而內(nèi)容創(chuàng)作者權(quán)益保護(hù)與生成式人工智能技術(shù)發(fā)展促進(jìn)之間的沖突也隨著生成式人工智能應(yīng)用與服務(wù)的勃興而日漸激烈。目前關(guān)于生成式人工智能的法律回應(yīng),其討論焦點(diǎn)大多集中于生成式人工智能的輸出內(nèi)容權(quán)利歸屬、算法治理等基于生成式人工智能的輸出端或“算法黑箱”過程端層面的問題,對于輸入端權(quán)利沖突或侵權(quán)問題的關(guān)注相對較少。然而,無論是為了規(guī)范生成式人工智能大模型訓(xùn)練的數(shù)據(jù)“投喂”以促進(jìn)生成式人工智能的良性發(fā)展,還是為了保護(hù)傳統(tǒng)內(nèi)容創(chuàng)作者的著作權(quán)益以激勵更多樣作品的創(chuàng)作與傳播,都有待各方面及時作出有效的制度安排。

    二、訓(xùn)練數(shù)據(jù)“投喂”的著作權(quán)侵權(quán)風(fēng)險

    生成式人工智能的大模型訓(xùn)練過程中對數(shù)據(jù)的“投喂”,如若缺乏清晰的合規(guī)邊界,勢必引發(fā)相關(guān)權(quán)利人,尤其是著作權(quán)人的擔(dān)憂與抵制,進(jìn)而影響生成式人工智能生成能力的迭代進(jìn)程。因此,有必要對生成式人工智能大模型訓(xùn)練數(shù)據(jù)“投喂”行為進(jìn)行解析,并對其涉及的著作權(quán)侵權(quán)風(fēng)險進(jìn)行識別。

    (一)“投喂”行為的性質(zhì)界定

    以ChatGPT為代表的生成式人工智能應(yīng)用,以顛覆性的創(chuàng)新使得人工智能技術(shù)的發(fā)展來到了新的科技奇點(diǎn)。根據(jù)《生成式人工智能服務(wù)管理暫行辦法》(以下簡稱《暫行辦法》),生成式人工智能是指具有文本、圖片、音頻、視頻等內(nèi)容生成能力的模型及相關(guān)技術(shù)。在這一定義中,一個關(guān)鍵詞是內(nèi)容生成,另一個關(guān)鍵詞是模型。生成式人工智能的內(nèi)容生成,是不同于以往弱人工智能的可以從無到有的新內(nèi)容創(chuàng)建,而這一內(nèi)容生成的實(shí)現(xiàn)是通過大型語言模型(LLMs)實(shí)現(xiàn)的,即通常所說的大模型。所謂大型語言模型,是基于2017年谷歌提出的Transformer算法構(gòu)建的。Transformer算法依賴注意力機(jī)制來表征模型的輸入和輸出之間的全局依賴關(guān)系,使用神經(jīng)卷積網(wǎng)絡(luò)等進(jìn)行深度學(xué)習(xí),來模擬人腦的神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)對大規(guī)模數(shù)據(jù)的智能處理,生成有意義、有邏輯的內(nèi)容[6]。簡言之,大型語言模型,就是基于一系列編碼器—解碼器堆疊而成的序列到序列(Seq2Seq)的架構(gòu)建立的,模型的輸出,本質(zhì)上是通過編碼器將輸入轉(zhuǎn)化為特征,再由解碼器將特征轉(zhuǎn)化為輸出,而每一個內(nèi)容單元的輸出,是模型對內(nèi)容單元的概率計(jì)算后的選擇,由此生成一個“有邏輯”的全新內(nèi)容。也就是說,生成式人工智能所生成的一句話的邏輯與意義,是源于大模型基于計(jì)算“認(rèn)為”這樣生成一些字詞并如此排列這些字詞,大概率是符合人類語言邏輯的,而非生成式人工智能真的“理解”了字詞的意義。圖像、視頻等多模態(tài)生成式人工智能亦同理。

    由此可見,無論是大型語言模型的構(gòu)建、Transformer算法的優(yōu)化,還是為了避免生成內(nèi)容的過時或雷同,都需要“投喂”大量的數(shù)據(jù)來預(yù)訓(xùn)練或者訓(xùn)練??梢哉f,訓(xùn)練數(shù)據(jù)的質(zhì)量決定了生成式人工智能輸出內(nèi)容的質(zhì)量。Google的文本模型與訓(xùn)練時就用到了至少1 500億的詞匯[7]。2020年5月發(fā)布的ChatGPT3所用到的預(yù)訓(xùn)練數(shù)據(jù)規(guī)模以TB為單位,2023年3月發(fā)布的ChatGPT4的預(yù)訓(xùn)練數(shù)據(jù)規(guī)模雖然沒有公布,但僅憑其為多模態(tài)模型這一點(diǎn),就不難推測其預(yù)訓(xùn)練數(shù)據(jù)規(guī)模應(yīng)當(dāng)遠(yuǎn)遠(yuǎn)大于此前的單模態(tài)模型[8]。

    生成式人工智能的“創(chuàng)造力”,一方面來源于大模型的計(jì)算能力,另一方面來源于對大模型的數(shù)據(jù)“投喂”訓(xùn)練。鑒于生成式人工智能在大模型訓(xùn)練過程中“投喂”的數(shù)據(jù),被大模型轉(zhuǎn)化為生成式人工智能的生成能力,這種對數(shù)據(jù)的“投喂”行為,就是為了發(fā)展生成式人工智能的生成能力而對數(shù)據(jù)的規(guī)?;?,那么這種“投喂”行為當(dāng)然構(gòu)成對所“投喂”數(shù)據(jù)的使用。

    (二)“投喂”數(shù)據(jù)的類型分析

    根據(jù)《中華人民共和國數(shù)據(jù)安全法》(以下簡稱《數(shù)據(jù)安全法》)的定義,數(shù)據(jù)是指任何以電子或者其他方式對信息的記錄。在數(shù)字經(jīng)濟(jì)時代,數(shù)據(jù)已經(jīng)成為重要的生產(chǎn)要素,數(shù)據(jù)的使用是數(shù)據(jù)價值實(shí)現(xiàn)的具體路徑。生成式人工智能在大模型訓(xùn)練過程中所“投喂”的數(shù)據(jù),一方面規(guī)模龐大,另一方面也是稀缺資源[9]。對于稀缺的資源,其使用必然應(yīng)當(dāng)受到法律的規(guī)制,以避免對稀缺資源的濫用。

    現(xiàn)實(shí)中,這種用于“投喂”生成式人工智能大模型的稀缺資源的來源非常廣泛,而且主要來源于網(wǎng)絡(luò)。以ChatGPT?3為例,其訓(xùn)練數(shù)據(jù)集包括Common Crawl、WebText2、Books1、Books2、Wikipedia等[10]。這些來源或者是公開或私有的數(shù)據(jù)集,或者是來源于網(wǎng)絡(luò)圖書資源庫的圖書資料,或者是網(wǎng)絡(luò)上公開共享的知識信息。這些數(shù)據(jù)按照不同的維度可以有不同的劃分。例如,按照數(shù)據(jù)來源,可以劃分為自有數(shù)據(jù)與外來數(shù)據(jù)。按照獲取方式,可以劃分為購買的數(shù)據(jù)、網(wǎng)絡(luò)爬蟲爬取的數(shù)據(jù)、公開數(shù)據(jù)集下載的數(shù)據(jù)等。對于著作權(quán)侵權(quán)問題而言,有效的區(qū)分,是按照是否需要獲得授權(quán)以用于“投喂”的標(biāo)準(zhǔn)對數(shù)據(jù)進(jìn)行分類。

    對于需要獲得許可才能用于“投喂”的數(shù)據(jù),生成式人工智能在大模型訓(xùn)練過程中對這些數(shù)據(jù)的使用,會涉及不同的法律風(fēng)險。例如,將數(shù)據(jù)庫的數(shù)據(jù)、通過知識共享協(xié)議共享的數(shù)據(jù)用于“投喂”很可能超出數(shù)據(jù)庫許可使用范圍。將Wikipedia等知識共享平臺的公開數(shù)據(jù)用于“投喂”,也很可能超出面向非商業(yè)使用的知識共享協(xié)議的覆蓋范圍,這些數(shù)據(jù)“投喂”行為也就很可能侵害數(shù)據(jù)權(quán)利人的利益并構(gòu)成侵權(quán)[11]。其中,更為特殊的受到著作權(quán)保護(hù)的數(shù)據(jù),是數(shù)字形態(tài)的作品。

    這些作品以數(shù)據(jù)的物理形態(tài)存在于互聯(lián)網(wǎng)或特定的數(shù)據(jù)庫中,其以數(shù)據(jù)的形態(tài)被“投喂”給生成式人工智能大模型。其中對于著作權(quán)保護(hù)作品的“投喂”,當(dāng)然也構(gòu)成著作權(quán)法意義上的使用,只是這種使用的具體形態(tài)是因?yàn)榧夹g(shù)發(fā)展而帶來的新形態(tài)而已。

    (三)“投喂”未獲許可作品的侵權(quán)風(fēng)險分析

    如果說生成式人工智能大模型輸出端的著作權(quán)侵權(quán)問題,可能是個全新的問題,那么其輸入端的“投喂”未獲許可作品的問題,本質(zhì)上仍然可以歸為“未經(jīng)許可的使用”這一傳統(tǒng)問題的討論,并不涉及爭議更大而尚未形成一致結(jié)論的生成式人工智能的法律主體資格、生成式人工智能生成內(nèi)容的權(quán)利歸屬、生成式人工智能侵權(quán)責(zé)任的法律性質(zhì)等問題。根據(jù)《中華人民共和國著作權(quán)法》(以下簡稱《著作權(quán)法》)相關(guān)條款,使用他人作品的合法路徑只有兩條,或者通過與著作權(quán)人訂立許可使用合同的方式獲得使用許可,或者屬于法定許可或合理使用。

    生成式人工智能在訓(xùn)練大模型時對著作權(quán)人作品的使用,如果與著作權(quán)人進(jìn)行了一對一的授權(quán)許可約定,那自然不存在侵權(quán)風(fēng)險,但現(xiàn)實(shí)中,更多的使用情形并未取得事先許可,甚至著作權(quán)人在事后也并不知情。關(guān)于法定許可,我國《著作權(quán)法》相關(guān)條款明確了法定許可的適用,需要考察其使用目的、作品的使用主體等情形,但并未給生成式人工智能訓(xùn)練大模型留下適用空間。更何況,法定許可仍然需要向著作權(quán)人支付報酬,而生成式人工智能在訓(xùn)練大模型時對這些作品的使用,缺乏對著作權(quán)人的識別機(jī)制,也就難以履行報酬支付義務(wù)。

    實(shí)踐中,生成式人工智能一方為了抗辯自己面臨的著作權(quán)侵權(quán)指控,往往訴諸合理使用制度。例如,創(chuàng)制了ChatGPT的OpenAI在面臨了“投喂”數(shù)據(jù)侵權(quán)指控時,就以17 U.S.C. § 107下的合理使用(fair use)進(jìn)行抗辯[12-13]。鑒于生成式人工智能大模型訓(xùn)練的海量數(shù)據(jù)“投喂”需求,所“投喂”數(shù)據(jù)的授權(quán)如果采用傳統(tǒng)方式,當(dāng)然會存在極大的授權(quán)成本。為了低成本地解決這一問題,有研究者提出,將這種數(shù)據(jù)“投喂”納入著作權(quán)合理使用范疇[13]。

    向生成式人工智能的大模型“投喂”未獲授權(quán)數(shù)據(jù)進(jìn)行訓(xùn)練,能否構(gòu)成合理使用,需要根據(jù)合理使用的司法認(rèn)定標(biāo)準(zhǔn)予以解釋。合理使用制度的目的,就是為了協(xié)調(diào)著作權(quán)人的權(quán)益保護(hù)與后續(xù)創(chuàng)新成本的降低,將在特定情形下的不經(jīng)著作權(quán)人許可的使用合法化。我國《著作權(quán)法》第二十四條第一款明確列舉了可以不經(jīng)著作權(quán)人許可使用作品的情形,同時吸收了《中華人民共和國著作權(quán)法實(shí)施條例》第二十一條“不得影響該作品的正常使用,也不得不合理地?fù)p害著作權(quán)人的合法權(quán)益”的表述,由此形成了我國作為TRIPs成員國對《伯爾尼公約》關(guān)于合理使用“三步檢驗(yàn)法”的本土化表達(dá)[14]。

    首先,根據(jù)“三步檢驗(yàn)法”,應(yīng)當(dāng)考察著作權(quán)的使用行為是否屬于我國構(gòu)建著作權(quán)合理使用制度中所列舉的“特定且特殊情形”。這種意在開發(fā)“產(chǎn)品”的未獲授權(quán)“投喂”,既不屬于個人行為,也不屬于學(xué)校教學(xué)科研,也與評論、介紹、引用無關(guān),更非轉(zhuǎn)換性使用的“二次創(chuàng)作”,顯然難以直接歸入或者解釋為屬于其中任何一種法定情形。

    其次,即使能夠?qū)⑾蛏墒饺斯ぶ悄艿拇竽P汀巴段埂蔽传@許可作品解釋為我國著作權(quán)合理使用制度中所列舉的特定且特殊的情形之一,這種“投喂”也不符合不得影響作品正常使用、不得不合理地?fù)p害著作權(quán)人合法權(quán)益的判定要件。根據(jù)《伯爾尼公約》相關(guān)文獻(xiàn)、世貿(mào)組織爭議仲裁委員會的解釋以及相關(guān)判例,“不得影響作品的正常使用”意在從經(jīng)濟(jì)效果層面判定,考察“使用”是否在同一競爭領(lǐng)域、是否影響權(quán)利人經(jīng)濟(jì)利益,“不得不合理地?fù)p害著作權(quán)人合法權(quán)益”同樣是從經(jīng)濟(jì)效果層面進(jìn)行輔助判定[15]。鑒于生成式人工智能目前生成內(nèi)容的能力,其在許多領(lǐng)域都有了取代人類工作崗位的可能[16]。經(jīng)過“投喂”,生成式人工智能可以生成與被“投喂”作品水平接近甚至水平相仿的內(nèi)容。至少在一些特定的領(lǐng)域,生成式人工智能的生成內(nèi)容已經(jīng)與被“投喂”作品之間形成了競爭關(guān)系。Pixiv、Shutterstock等圖庫平臺已經(jīng)開始接受人工智能供稿。經(jīng)過“投喂”的生成式人工智能的生成能力提升之后,雖然可能促進(jìn)了整個社會的生產(chǎn)力的提升,但勢必也會影響被“投喂”作品的使用,尤其是被“投喂”作品的交易機(jī)會,進(jìn)而影響原創(chuàng)作者的作品權(quán)益。在生成式人工智能生成內(nèi)容的細(xì)分目標(biāo)市場,生成式人工智能甚至不需要達(dá)到和被“投喂”作品相仿的水平,就能夠以大模型的批量生產(chǎn)效率所帶來的低成本取代被“投喂”作品。起初這種對原創(chuàng)作者的影響,可能更多發(fā)生于下沉市場,但隨著生成式人工智能生成能力的提升,這種影響也將擴(kuò)大到更大的范圍,尤其是在插畫、廣告等投入產(chǎn)出比等難以衡量的藝術(shù)作品細(xì)分市場,更容易產(chǎn)生“劣幣驅(qū)逐良幣”的逆向淘汰。

    最后,生成式人工智能的未獲許可作品“投喂”并不符合適用合理使用的正當(dāng)性。從合理使用的經(jīng)濟(jì)學(xué)正當(dāng)性基礎(chǔ)來看,向生成式人工智能的大模型“投喂”未獲許可作品也不符合著作權(quán)合理使用的經(jīng)濟(jì)理性。著作權(quán)的合理使用,意在克服市場的失靈,因此,市場失靈應(yīng)當(dāng)是適用著作權(quán)合理使用制度以豁免責(zé)任的前提,也就是說,如果當(dāng)事人之間可以通過市場的方式實(shí)現(xiàn)合理使用,那么,就沒有必要適用著作權(quán)合理使用制度,因?yàn)橥ǔJ袌鍪侵鳈?quán)變動的更有效率的配置手段[17]。更何況,我國的部門規(guī)章,已經(jīng)規(guī)定了生成式人工智能服務(wù)提供者的訓(xùn)練數(shù)據(jù)合規(guī)性義務(wù),合法合規(guī)使用數(shù)據(jù)“投喂”訓(xùn)練大模型是生成式人工智能服務(wù)提供者所需要負(fù)擔(dān)的必要成本?!稌盒修k法》第七條明確規(guī)定了生成式人工智能服務(wù)提供者開展預(yù)訓(xùn)練、優(yōu)化訓(xùn)練等訓(xùn)練數(shù)據(jù)處理活動時所應(yīng)負(fù)擔(dān)的義務(wù),包括“使用具有合法來源的數(shù)據(jù)和基礎(chǔ)模型”“不得侵害他人依法享有的知識產(chǎn)權(quán)”等。生成式人工智能服務(wù)提供者完全可以通過正常的著作權(quán)市場交易獲取訓(xùn)練所需的“數(shù)據(jù)”,而不必借助合理使用損害授權(quán)交易模式下的經(jīng)濟(jì)利益。著作權(quán)的合理使用,意在平衡著作權(quán)人的個人利益與社會公共利益,從而對著作權(quán)人的權(quán)利進(jìn)行適當(dāng)限制。但至少目前的生成式人工智能服務(wù)提供者,幾乎無一例外都是商事主體,遵循的是市場規(guī)則,很難將生成式人工智能產(chǎn)業(yè)鏈的參與者的商業(yè)利益評價為社會公共利益。同樣,在財(cái)產(chǎn)權(quán)益這個維度,生成式人工智能的商業(yè)利益,沒有理由應(yīng)當(dāng)優(yōu)先于內(nèi)容創(chuàng)作者的著作權(quán)益。

    因此,生成式人工智能對大模型訓(xùn)練的數(shù)據(jù)“投喂”如果在未獲許可的情況下使用了著作權(quán)人的作品,按照我國現(xiàn)行的著作權(quán)保護(hù)規(guī)則,這種行為既不屬于法定許可情形,亦難構(gòu)成合理使用。

    三、“投喂”未獲許可作品的規(guī)制困境

    生成式人工智能在大模型訓(xùn)練過程中“投喂”未獲許可作品的著作權(quán)侵權(quán)風(fēng)險,已經(jīng)引起了一些研究者的關(guān)注,在世界范圍內(nèi)也已經(jīng)引發(fā)了一些著作權(quán)人提起相關(guān)訴訟。然而,即便在客觀事實(shí)層面,生成式人工智能的這種“投喂”的確存在對著作權(quán)人權(quán)益的侵害,但在我國現(xiàn)行的著作權(quán)保護(hù)制度之下,對于生成式人工智能的懲戒很可能面臨奈何不得的困境。

    (一)事實(shí)查明困境

    過去的“使用”,大多是保留作品原貌的使用。例如,最高人民法院發(fā)布的2022年中國法院十大知識產(chǎn)權(quán)案件中的“大頭兒子”著作權(quán)侵權(quán)糾紛案中,被告就是未經(jīng)授權(quán)使用了著作權(quán)歸原告所有的動漫人物形象[18]。這種侵權(quán)使用直觀易見,著作權(quán)人很容易發(fā)現(xiàn)侵權(quán)行為并固定相應(yīng)證據(jù)。對于改變了作品原貌的“洗稿”等侵權(quán)行為,權(quán)利人也能夠從中識別出相似性,并參照司法實(shí)踐中已經(jīng)形成了通過抽象觀察法和整體觀察法來評價是否構(gòu)成實(shí)質(zhì)性相似的認(rèn)定標(biāo)準(zhǔn)固定證據(jù)。

    但對于生成式人工智能在大模型訓(xùn)練時的數(shù)據(jù)“投喂”而言,著作權(quán)人首先就很難發(fā)現(xiàn)其作品是否被“投喂”。以ChatGPT為例,ChatGPT?3及其之前的訓(xùn)練數(shù)據(jù)集,部分能夠在公開網(wǎng)絡(luò)上獲取,但ChatGPT?4之后,這一應(yīng)用并未開源,其訓(xùn)練數(shù)據(jù)集亦未公開。隨著生成式人工智能商業(yè)價值的顯現(xiàn),越來越多的市場主體開始發(fā)力自家生成式人工智能產(chǎn)品與服務(wù)的訓(xùn)練以搶占市場領(lǐng)先者的地位。在這種激烈的市場競爭格局之下,各家生成式人工智能的訓(xùn)練數(shù)據(jù)集很難獲得公開。這就導(dǎo)致著作權(quán)人無法從數(shù)據(jù)源發(fā)現(xiàn)生成式人工智能在大模型訓(xùn)練的數(shù)據(jù)“投喂”時對其作品的使用。

    由此,著作權(quán)人對其作品未獲許可使用情況的發(fā)現(xiàn),也只能依賴于從生成式人工智能輸出內(nèi)容中進(jìn)行推測。例如,生成式人工智能所生成的內(nèi)容中,疑似有著作權(quán)人作品的原創(chuàng)性表達(dá)。過去的人工智能算法,可能還是基于特定的輸入,輸出確定的甚至唯一的結(jié)果,那么在無法查清輸入端侵權(quán)狀況的情況下,也依然有可能通過其輸出內(nèi)容證明其輸入端的數(shù)據(jù)使用情況。然而,對于生成式人工智能而言,其泛化能力讓其顯得更智能,卻也使得輸入輸出之間計(jì)算過程的可解釋性變得極為復(fù)雜。大模型對作品的使用之后呈現(xiàn)的結(jié)果,是這些作品經(jīng)過算法黑箱的輸出數(shù)據(jù)。生成式人工智能的算法會提取“投喂”數(shù)據(jù)的特征,但也會“隨機(jī)”改變其中的一些特征,生成新的特征。從算法層面來說,生成式人工智能最終的生成結(jié)果,很難評價為哪一個特征是出自哪一個“投喂”數(shù)據(jù)的訓(xùn)練。

    因此,如果只能通過輸出內(nèi)容去證明或者查明侵權(quán)事實(shí),那么生成式人工智能輸出端內(nèi)容的著作權(quán)侵權(quán)問題所涉及的窘困,也同樣會復(fù)現(xiàn)在生成式人工智能輸入端的數(shù)據(jù)“投喂”侵權(quán)問題上。就生成式人工智能輸出端內(nèi)容的著作權(quán)侵權(quán)問題而言,早在傳統(tǒng)人工智能時代,就已經(jīng)有研究者預(yù)見性地提出,應(yīng)當(dāng)放寬實(shí)質(zhì)性相似的認(rèn)定標(biāo)準(zhǔn)以約束人工智能技術(shù)規(guī)避其生成物的實(shí)質(zhì)性相似風(fēng)險[19]。然而,生成式人工智能這種輸入端到輸出端算法可解釋性的復(fù)雜性,不僅使得其輸出端輸出內(nèi)容是否存在著作權(quán)侵權(quán)問題,難以借助此前在實(shí)踐中發(fā)展出來的整體觀察法、抽象觀察法等實(shí)質(zhì)性相似的判斷標(biāo)準(zhǔn),也使得其輸入端的數(shù)據(jù)使用情況變得難以舉證、難以查明。

    (二)歸責(zé)困境

    即便能夠查明生成式人工智能在大模型訓(xùn)練的數(shù)據(jù)“投喂”中存在對未獲許可作品的使用,在責(zé)任主體確認(rèn)方面也依然存在新技術(shù)帶來的新問題?,F(xiàn)實(shí)中,無法完整獲取生成式人工智能大模型訓(xùn)練數(shù)據(jù)的著作權(quán)人,憑借生成式人工智能的輸出結(jié)果證明或查明生成式人工智能在訓(xùn)練數(shù)據(jù)“投喂”方面存在侵權(quán)可能是為數(shù)不多的現(xiàn)實(shí)路徑?;谶@一前提,生成式人工智能一方有充分的抗辯以擺脫己方法律責(zé)任。

    生成式人工智能的輸出內(nèi)容,一方面依賴于海量數(shù)據(jù)的訓(xùn)練,另一方面也是基于與用戶的互動。海量數(shù)據(jù)“投喂”的訓(xùn)練過程,使得生成式人工智能逐步形成生成特定內(nèi)容的能力,而生成式人工智能與用戶的互動過程,則使得生成式人工智能的輸出相對特定化。即便著作權(quán)人能夠證明生成式人工智能的輸入端必然存在對未獲許可作品的“投喂”,但由于在生成式人工智能的語境下,“投喂”的主體可能涉及用戶和生成式人工智能兩方,可能的侵權(quán)主體自然也并不具有唯一性。

    造成這一歸責(zé)困境的原因,同樣在于生成式人工智能輸入端到輸出端之間算法可解釋性的復(fù)雜性。換言之,即使明知存在過錯,著作權(quán)人也好,司法也罷,均很難在法律事實(shí)層面查明責(zé)任人到底是生成式人工智能的服務(wù)提供者一方,還是生成式人工智能的用戶一方。

    (三)懲戒困境

    令侵權(quán)人承擔(dān)責(zé)任,是對侵權(quán)行為予以懲戒的重要手段。根據(jù)我國《著作權(quán)法》第五十一條,如若生成式人工智能大模型的數(shù)據(jù)“投喂”的確存在侵權(quán),侵權(quán)人應(yīng)當(dāng)承擔(dān)的責(zé)任可能有停止侵害、消除影響、賠禮道歉、賠償損失等。

    如何確定賠償損失的數(shù)額這一問題本身,一直是知識產(chǎn)權(quán)研究領(lǐng)域的難點(diǎn)問題。在此前的著作權(quán)糾紛案件中,利潤損失、侵權(quán)所得等其他計(jì)算規(guī)則往往被束之高閣,而法定賠償?shù)倪m用比例則畸高,甚至被詬病存在濫用[20]。對于生成式人工智能的數(shù)據(jù)“投喂”侵權(quán)而言,這一賠償損失數(shù)額的確定,則因?yàn)樯墒饺斯ぶ悄艿纳商卣髋c盈利模式的復(fù)雜性而變得更加困難。如前所述,生成式人工智能對作品的使用,在多大程度上影響了生成式人工智能的生成結(jié)果,進(jìn)而又在多大程度上造成了著作權(quán)人的利潤損失或在多大程度上貢獻(xiàn)了侵權(quán)利潤,因?yàn)檩斎攵说捷敵龆怂惴山忉屝缘膹?fù)雜性而難以評估。生成式人工智能對未獲許可作品的使用結(jié)果,與其說是,生成了相似的內(nèi)容,不如說是通過對作品的使用而獲得了與作品作者相似的創(chuàng)作能力。在生成式人工智能的盈利模式尚未在行業(yè)內(nèi)形成穩(wěn)定規(guī)則的情況下,對于生成式人工智能的生成內(nèi)容的獲利情況本就難以計(jì)算,如果要通過評估生成式人工智能學(xué)習(xí)了被“投喂”的作品之后形成的生成能力的獲利情況,則更為抽象。

    更為棘手的是,停止侵害、消除影響等責(zé)任承擔(dān),很可能在生成式人工智能這一特殊對象上失效。目前,生成式人工智能的訓(xùn)練在實(shí)踐中一般是單向遞進(jìn),不可回撤的。許多研究表明,曾經(jīng)的侵權(quán)“投喂”訓(xùn)練的“貢獻(xiàn)”可能一直會持續(xù)在生成式人工智能后續(xù)的內(nèi)容生成中產(chǎn)生作用,生成式人工智能對著作權(quán)人的權(quán)利侵害可能會一直存在1。由于生成式人工智能算法的復(fù)雜性,如果已經(jīng)通過“投喂”特定的數(shù)據(jù),獲得了特定的內(nèi)容生成能力,如何停止對被“投喂”作品的侵權(quán)、消除侵權(quán)“投喂”的影響,就目前的客觀現(xiàn)實(shí)而言,仍然是掌握在生成式人工智能一方,無論是權(quán)利人還是法院執(zhí)行部門在現(xiàn)實(shí)中很可能因?yàn)槿狈I(yè)技術(shù)能力而無法確認(rèn)侵害是否停止、影響是否消除。換言之,此前的數(shù)據(jù)侵權(quán)還可以通過刪除數(shù)據(jù)的方式實(shí)現(xiàn)“停止侵害”的目的,但對生成式人工智能而言,停止侵害、消除影響實(shí)質(zhì)上很可能變得不可執(zhí)行或難以驗(yàn)證。

    因此,生成式人工智能的技術(shù)特性,很可能會架空現(xiàn)行著作權(quán)法體系中對侵權(quán)人所設(shè)定的責(zé)任,繼而也就虛化了可能的懲戒手段。

    四、訓(xùn)練數(shù)據(jù)“投喂”規(guī)制框架的應(yīng)然建構(gòu)

    在生成式人工智能大模型訓(xùn)練數(shù)據(jù)“投喂”侵權(quán)這一問題上可能面臨的懲戒困境,一定程度上反映了既有著作權(quán)保護(hù)制度供給的相對不足。如前所述,生成式人工智能的發(fā)展離不開高質(zhì)量的數(shù)據(jù)“投喂”,數(shù)據(jù)的“投喂”對于生成式人工智能而言不啻為基礎(chǔ)設(shè)施建設(shè)。生成式人工智能內(nèi)容輸出質(zhì)量的提升也能夠豐富審美情趣,提供創(chuàng)意靈感,反哺原創(chuàng)生態(tài)。但生成式人工智能的數(shù)據(jù)“投喂”不能以犧牲原創(chuàng)作者權(quán)益、打擊原創(chuàng)作者智力投入為代價。生成式人工智能的高質(zhì)量發(fā)展,也離不開良好的軟硬規(guī)范的設(shè)置。從更宏觀的維度上看,不只是數(shù)據(jù)的“投喂”,生成式人工智能的全供應(yīng)鏈生態(tài)也在催促新的規(guī)制模式。生成式人工智能相較于傳統(tǒng)的人工智能是一種典型的破壞性創(chuàng)新,這種破壞性創(chuàng)新必然帶來對舊技術(shù)的沖擊、競爭和替代,也當(dāng)然會倒逼人工智能規(guī)制范式的改革[21]。對于生成式人工智能大模型訓(xùn)練數(shù)據(jù)“投喂”行為的規(guī)制,應(yīng)當(dāng)兼顧生成式人工智能發(fā)展需要與內(nèi)容創(chuàng)作者權(quán)益保護(hù)需要,充分考慮作為破壞性創(chuàng)新的生成式人工智能的積極效果,平衡既有著作權(quán)人的利益保護(hù)與創(chuàng)新成本的降低之間的沖突與矛盾,針對生成式人工智能大模型訓(xùn)練數(shù)據(jù)“投喂”侵權(quán)的維權(quán)困境,探索破解工具,逐步完善規(guī)制路徑,最終促進(jìn)人機(jī)協(xié)同的內(nèi)容生產(chǎn)。

    (一)作品“投喂”的法律適用

    近年來,隨著經(jīng)濟(jì)發(fā)展模式的轉(zhuǎn)變,數(shù)據(jù)作為新型生產(chǎn)要素的價值日益凸顯,數(shù)據(jù)要素的合規(guī)流轉(zhuǎn)本就是當(dāng)下的立法熱點(diǎn)問題。2022年12月印發(fā)了《中共中央 國務(wù)院關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》(以下簡稱《數(shù)據(jù)二十條》),從產(chǎn)權(quán)、流通交易、收益分配與規(guī)制等方面提出了規(guī)范數(shù)據(jù)秩序的規(guī)則[22]。但《數(shù)據(jù)二十條》提出的數(shù)據(jù)產(chǎn)權(quán)結(jié)構(gòu)性分置制度等,更多的是基于數(shù)據(jù)財(cái)產(chǎn)權(quán)的設(shè)計(jì),主要針對的是也并不是具有獨(dú)創(chuàng)性的作品。其后,關(guān)于數(shù)據(jù)秩序的規(guī)則構(gòu)建,亦有大量研究。近年來,以《中華人民共和國個人信息保護(hù)法》《數(shù)據(jù)安全法》等多部專門法為代表的以數(shù)據(jù)財(cái)產(chǎn)權(quán)為核心的數(shù)據(jù)秩序建構(gòu),對于生成式人工智能大模型訓(xùn)練數(shù)據(jù)“投喂”的規(guī)制,當(dāng)然具有效用,訓(xùn)練“投喂”的數(shù)據(jù)當(dāng)然也可能涉及公共數(shù)據(jù)、企業(yè)數(shù)據(jù)、個人數(shù)據(jù)或者個人信息[23-24]。但這些數(shù)據(jù)秩序規(guī)則的對象同樣也主要是非獨(dú)創(chuàng)性、不納入著作權(quán)范疇予以保護(hù)的這部分?jǐn)?shù)據(jù)[24]。而本文重點(diǎn)討論的生成式人工智能大模型訓(xùn)練的這部分“投喂”數(shù)據(jù),是指那些作品或具有獨(dú)創(chuàng)性的智力成果,數(shù)據(jù)只是這些作品在生成式人工智能大模型訓(xùn)練輸入端的物理形態(tài)而已。

    因而,針對具有獨(dú)創(chuàng)性的這部分“數(shù)據(jù)”的“投喂”,其基礎(chǔ)制度構(gòu)建,需考慮保護(hù)的理念和權(quán)利客體要件等問題,應(yīng)當(dāng)仍然以著作權(quán)為核心,而不宜簡單地歸入公共數(shù)據(jù)、企業(yè)數(shù)據(jù)等數(shù)據(jù)要素的合規(guī)流轉(zhuǎn)。如前所述,鑒于生成式人工智能大模型訓(xùn)練過程中對于未獲許可作品的“投喂”,構(gòu)成對作品的使用,那么對于這一作品的使用所涉及的侵權(quán)問題應(yīng)當(dāng)適用著作權(quán)規(guī)則予以規(guī)制和懲戒。

    (二)歸責(zé)的特別規(guī)定

    針對生成式人工智能的大模型訓(xùn)練“投喂”未獲許可作品的侵權(quán)行為規(guī)制,可以考慮對侵權(quán)責(zé)任的認(rèn)定與舉證責(zé)任分配作出特別規(guī)定,以便在侵權(quán)行為發(fā)生后更高效地為權(quán)利人提供救濟(jì)。

    歸責(zé)原則,是確認(rèn)不同種類侵權(quán)行為所應(yīng)承擔(dān)民事責(zé)任的標(biāo)準(zhǔn)和原則,決定著一定侵權(quán)行為的責(zé)任構(gòu)成要件、舉證責(zé)任的負(fù)擔(dān)、免責(zé)條件、損害賠償?shù)脑瓌t和方法等[25]?!吨腥A人民共和國民法典》(以下簡稱《民法典》)第一千一百六十五條第一款明確了侵權(quán)責(zé)任承擔(dān)的前提是行為人存在過錯,并通過第二款明確了適用過錯責(zé)任推定的法定原則。在多元?dú)w責(zé)原則體系中,過錯責(zé)任是普遍適用于各種侵權(quán)行為的一般原則,有著悠久的歷史淵源[26]。過錯其實(shí)是對行為人注意義務(wù)的評價,在一些特殊的侵權(quán)場景中,被侵權(quán)人很難有能力對侵權(quán)人的注意義務(wù)作出評價。因而,過錯推定原則依附于過錯責(zé)任原則而產(chǎn)生。

    過錯推定原則是過錯責(zé)任原則的特殊表現(xiàn)形式。對于特殊知識產(chǎn)權(quán)侵權(quán),我國適用的就是過錯推定原則。我國相關(guān)研究人員于2023年8月起草的《人工智能法示范法1.0(專家建議稿)》在人工智能的民事侵權(quán)責(zé)任設(shè)定上,也采用了過錯推定原則。

    王利明教授將過錯推定責(zé)任的適用歸結(jié)為兩方面原因:一方面,由于科技的發(fā)展,新設(shè)備、新產(chǎn)品相繼問世,致?lián)p原因并不是通過一般常識就能判斷,而需要高度的科學(xué)知識才能識別;另一方面,由于加害人往往控制了致?lián)p原因,而受害人對此種原因又常常處于無證據(jù)狀態(tài)[27]。這兩方面的原因,歸結(jié)起來,其實(shí)就是舉證能力的問題。換言之,過錯推定原則的引入,在某種程度上就是源于消除當(dāng)事人雙方舉證能力的客觀差異的實(shí)體正義與程序公正維度的價值考量。這種差異在生成式人工智能領(lǐng)域的體現(xiàn)相對顯著。

    對于訓(xùn)練數(shù)據(jù)“投喂”侵權(quán)而言,作為侵權(quán)一方的向大模型“投喂”數(shù)據(jù)的生成式人工智能服務(wù)的提供者與作為被侵權(quán)一方的被“投喂”數(shù)據(jù)的著作權(quán)人,在證明能力方面存在顯而易見的強(qiáng)弱差異,證據(jù)也存在不言而喻的偏在情形。

    一方面,從獲取證據(jù)的可能性層面,被侵權(quán)人距離證據(jù)遠(yuǎn),而侵權(quán)人距離證據(jù)近。事實(shí)上,侵權(quán)人完全有能力掌控全部證據(jù),而被侵權(quán)人幾乎沒有取得侵權(quán)人“投喂”數(shù)據(jù)的可能性,在侵權(quán)事實(shí)證據(jù)方面存在明顯的證據(jù)偏在。事實(shí)上,不僅被侵權(quán)人可能很難獲取生成式人工智能輸入端的“投喂”數(shù)據(jù)集合,往往連輸出端的數(shù)據(jù)復(fù)制可能都存在障礙。例如,百度的文心一言、科大訊飛的SparkDesk等均通過用戶協(xié)議,明確將平臺及其服務(wù)輸出內(nèi)容的知識產(chǎn)權(quán),約定為己方所有,用戶對其服務(wù)輸出內(nèi)容的使用需要得到平臺的書面同意[28?29]。

    另一方面,從證據(jù)的專業(yè)性層面,被侵權(quán)人即便獲取了可能被“投喂”的數(shù)據(jù),也很難完善整個證據(jù)鏈證明對方的確“投喂”了未獲許可作品,而具有解釋能力的恰恰是侵權(quán)人本身。更何況,“投喂”的數(shù)據(jù)在生成式人工智能的訓(xùn)練過程中可能存在多次編輯,在此種情形下,試圖證明大型語言模型的訓(xùn)練者侵犯知識產(chǎn)權(quán)和數(shù)據(jù)權(quán)益就甚為困難[30]。對于舉證責(zé)任分配,舉證可能性本身就是重要的考量。一般而言,當(dāng)證據(jù)偏在造成雙方當(dāng)事人的證明能力明顯不對等時,引入舉證責(zé)任倒置的必要性就產(chǎn)生了[31]。

    對于在市場上具有領(lǐng)先地位的生成式人工智能服務(wù)的提供者,由于其從數(shù)據(jù)到算力的領(lǐng)先地位,事實(shí)上已經(jīng)嵌入當(dāng)今社會的公共生活。推出生成式人工智能服務(wù)的騰訊、阿里、百度等企業(yè),同時也接入大量的公共服務(wù),某種程度上也是我國數(shù)字化基礎(chǔ)設(shè)施的搭建者,理論上,完全可能存在“監(jiān)守自盜”的便利。因此,對于生成式人工智能服務(wù)的提供者,要求其負(fù)擔(dān)相較于普通的市場主體更多的義務(wù),也是符合《民法典》關(guān)于各方權(quán)利義務(wù)確定的公平原則的當(dāng)然之舉[32]?!稌盒修k法》第十九條也規(guī)定了,在接受監(jiān)督檢查時,生成式人工智能服務(wù)的提供者,有說明訓(xùn)練數(shù)據(jù)來源以及提供必要支持和協(xié)助的義務(wù)。這在某種程度上,其實(shí)也是在立法尚無法系統(tǒng)性地及時回應(yīng)生成式人工智能的特殊規(guī)制需求的情況下,行政管理分支的先行回應(yīng)。2023年,歐盟在《AI法案》中針對ChatGPT等生成式人工智能,設(shè)定了披露用于訓(xùn)練的受版權(quán)保護(hù)數(shù)據(jù)的摘要的義務(wù)[33]。

    需要補(bǔ)充的是,對于訓(xùn)練數(shù)據(jù)“投喂”著作權(quán)侵權(quán)的過錯推定,并不意味著作為被告一方的生成式人工智能服務(wù)的提供者在訴訟中需要對全部事由負(fù)擔(dān)完全的舉證責(zé)任,原告一方仍然需要對發(fā)動訴訟的特定事由承擔(dān)一定的舉證責(zé)任[34]。因此,對訓(xùn)練數(shù)據(jù)“投喂”著作權(quán)侵權(quán)的歸責(zé)作出特別推定,并不至于讓生成式人工智能服務(wù)的提供者陷入從原告角度而言幾乎無成本的惡意訴訟之中。

    (三)技術(shù)性授權(quán)機(jī)制的創(chuàng)設(shè)

    如前所述,生成式人工智能的訓(xùn)練數(shù)據(jù)大部分來源于網(wǎng)絡(luò)爬蟲的爬取。機(jī)器人協(xié)議(robots協(xié)議)已經(jīng)成為爬蟲在網(wǎng)絡(luò)上爬取數(shù)據(jù)的通用規(guī)則,也載入了我國《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》[35]。該協(xié)議在互聯(lián)網(wǎng)發(fā)展初期,事實(shí)上構(gòu)建了互聯(lián)網(wǎng)數(shù)據(jù)共享的基本秩序。但此前搜索引擎的爬蟲技術(shù)對數(shù)據(jù)的使用體現(xiàn)為網(wǎng)絡(luò)鏈接、快照,而生成式人工智能大模型訓(xùn)練所使用的爬蟲技術(shù)往往涉及一定時間內(nèi)、穩(wěn)定地存儲所爬取的數(shù)據(jù)。一方面,這種存儲行為會被認(rèn)為構(gòu)成了著作權(quán)法意義上的復(fù)制;另一方面,生成式人工智能大模型的訓(xùn)練還涉及對爬取數(shù)據(jù)的“使用”,這又與搜索引擎對爬取數(shù)據(jù)的“使用”有本質(zhì)區(qū)別[36]。因此,一般而言,搜索引擎對網(wǎng)絡(luò)數(shù)據(jù)的爬取,并不必然構(gòu)成著作權(quán)的侵權(quán),但生成式人工智能在大模型訓(xùn)練時的數(shù)據(jù)爬取因?yàn)樯婕按鎯?、使用而面臨更大的著作權(quán)侵權(quán)風(fēng)險。

    此前就有研究者指出,由于生成式人工智能使用網(wǎng)絡(luò)爬蟲技術(shù)獲取互聯(lián)網(wǎng)數(shù)據(jù)時,依照現(xiàn)有的技術(shù)方案,其實(shí)無法準(zhǔn)確判定所獲取數(shù)據(jù)的知識產(chǎn)權(quán)權(quán)利狀態(tài),相應(yīng)的著作權(quán)人其實(shí)也難以獲知其在網(wǎng)絡(luò)上發(fā)布的作品是否被爬取并被“投喂”給生成式人工智能的大模型,因此必然產(chǎn)生極大的規(guī)制空白[37]。簡言之,此前消除了內(nèi)容創(chuàng)作者對互聯(lián)網(wǎng)搜索引擎侵權(quán)擔(dān)心的機(jī)器人協(xié)議,無法覆蓋生成式人工智能在大模型訓(xùn)練時對作品的“投喂”行為,使其擺脫侵權(quán)風(fēng)險。

    為了消除這一規(guī)制空白,可以參照搜索引擎技術(shù)發(fā)展初期機(jī)器人協(xié)議的創(chuàng)設(shè),設(shè)置受著作權(quán)保護(hù)作品的爬取與使用的技術(shù)規(guī)則。具體而言,首先,可以構(gòu)建在網(wǎng)絡(luò)上發(fā)布、存儲作品的“投喂”授權(quán)技術(shù)規(guī)則,在是否允許網(wǎng)絡(luò)爬蟲爬取的基礎(chǔ)上,將是否允許用于生成式人工智能訓(xùn)練的規(guī)則語法設(shè)定為必要規(guī)則。其次,接受作品上傳、發(fā)布的網(wǎng)絡(luò)服務(wù)提供者,應(yīng)當(dāng)將上述規(guī)則的設(shè)定權(quán)限交于上傳、發(fā)布作品的用戶,并且上述規(guī)則的默認(rèn)設(shè)置應(yīng)當(dāng)是禁止生成式人工智能對用戶作品的使用,而不能通過用戶協(xié)議的方式強(qiáng)制獲取授權(quán)。目前內(nèi)容創(chuàng)作者反應(yīng)最激烈的部分,也在于開發(fā)生成式人工智能的互聯(lián)網(wǎng)公司,幾乎都在他們的服務(wù)協(xié)議中約定了對用戶上傳作品的使用權(quán),而將用戶作品“投喂”給他們開發(fā)的生成式人工智能也都被概括性條款所覆蓋[38]。為了更好保護(hù)這些用戶的權(quán)益,這一選擇權(quán)的設(shè)定,也可以作為對接受作品上傳、發(fā)布的網(wǎng)絡(luò)服務(wù)提供者的法定義務(wù)進(jìn)行設(shè)定。

    這種技術(shù)性授權(quán)機(jī)制的設(shè)定,雖然不能解決大量著作權(quán)人與生成式人工智能服務(wù)提供者之間關(guān)于訓(xùn)練“投喂”數(shù)據(jù)的一對一授權(quán)效率問題,但至少能夠從輸入端相對高效且經(jīng)濟(jì)地解決那些不愿用于生成式人工智能大模型訓(xùn)練的數(shù)據(jù)的排除問題,減少“投喂”數(shù)據(jù)的侵權(quán)風(fēng)險。由于網(wǎng)絡(luò)爬蟲技術(shù)和技術(shù)性授權(quán)識別的自動化,內(nèi)容創(chuàng)作者有理由相信遵從這一技術(shù)協(xié)議的生成式人工智能不至于再冒著更為明確的侵權(quán)風(fēng)險去“投喂”他們的作品,也不再僅僅因?yàn)閾?dān)憂網(wǎng)絡(luò)爬蟲對自己發(fā)布在網(wǎng)絡(luò)上作品的劫掠而不得不退出作品交流網(wǎng)絡(luò)社群。

    不難發(fā)現(xiàn),這一技術(shù)協(xié)議并不具有法律的強(qiáng)制性,更多的是行業(yè)自律規(guī)范發(fā)揮作用。但鑒于法律的保守性、剛性等特征難以跟上日新月異的科技發(fā)展的腳步,研究者們普遍認(rèn)為,對于人工智能的規(guī)制,應(yīng)當(dāng)重視多視角的、綜合性的、社群指向的“軟法”方式的價值[39]。國家標(biāo)準(zhǔn)化管理委員會等五部門2020年印發(fā)的《國家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》特別強(qiáng)調(diào)了國家、行業(yè)和團(tuán)體等不同層級人工智能產(chǎn)業(yè)標(biāo)準(zhǔn)的制定對產(chǎn)業(yè)規(guī)范化發(fā)展的引領(lǐng)作用[40]。2023年10月1日起施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》第五條,也提出鼓勵行業(yè)自律,明確肯定了行業(yè)標(biāo)準(zhǔn)、準(zhǔn)則以及自律管理制度對于規(guī)范相關(guān)服務(wù)的價值[41]。因此,作為可行且有效的事前預(yù)防手段,行業(yè)自律理應(yīng)成為生成式人工智能大模型訓(xùn)練“投喂”數(shù)據(jù)侵權(quán)規(guī)制框架構(gòu)建中不可或缺的部分。

    (四)“機(jī)器遺忘”強(qiáng)制性規(guī)范的引入

    對于生成式人工智能大模型訓(xùn)練數(shù)據(jù)“投喂”的規(guī)制,除了事中的糾紛解決機(jī)制的特別規(guī)定,技術(shù)層面的事前預(yù)防機(jī)制建立,還應(yīng)當(dāng)有技術(shù)層面的事后規(guī)制手段,這一規(guī)制鏈條方才基本完整。

    鑒于目前生成式人工智能的解碼能力,一旦獨(dú)創(chuàng)性作品的特征被生成式人工智能的Transformer算法解析,事實(shí)上就已經(jīng)內(nèi)化成為生成式人工智能后續(xù)輸出的能力。如果要為被侵權(quán)人提供理想的救濟(jì),移除被非法“投喂”作品對于生成式人工智能大模型的影響,是十分必要的。在美國《紐約時報》與OpenAI、微軟的侵權(quán)訴訟中,原告就要求被告銷毀使用《紐約時報》版權(quán)材料的所有AI模型和訓(xùn)練數(shù)據(jù)[42]?!稌盒修k法》第十四條也要求生成式人工智能服務(wù)的提供者在發(fā)現(xiàn)違法內(nèi)容后,除了采取停止生成等常規(guī)措施之外,還應(yīng)當(dāng)采取模型優(yōu)化訓(xùn)練等措施以消除違法內(nèi)容的影響。

    機(jī)器遺忘(Machine Unlearning)這一概念,正是隨著人工智能發(fā)展過程中機(jī)器學(xué)習(xí)(Machine Learning)這一概念的提出而提出的。機(jī)器遺忘的最初提出是為了消除機(jī)器學(xué)習(xí)過程中對于敏感個人信息的使用影響[43]。雖然生成式人工智能大模型的訓(xùn)練過程很難解釋,但機(jī)器遺忘在技術(shù)上已經(jīng)具有實(shí)現(xiàn)可能,目前已經(jīng)有SISA算法等多種方案實(shí)現(xiàn)數(shù)據(jù)對大模型影響的完全消除或近似消除[44]。機(jī)器遺忘不僅在技術(shù)上已經(jīng)具有可行性,在經(jīng)濟(jì)上,機(jī)器遺忘也是更具效率的解決消除特定數(shù)據(jù)對大模型影響的方式。機(jī)器遺忘能夠避免對整個大模型的重新訓(xùn)練,能夠在保留原來訓(xùn)練效果的基礎(chǔ)上實(shí)現(xiàn)對著作權(quán)的保護(hù),從而以較小的成本實(shí)現(xiàn)大模型的合規(guī)調(diào)整[45]。研究人員仍在持續(xù)改進(jìn)算法,以進(jìn)一步降低機(jī)器遺忘的學(xué)習(xí)成本。

    從侵權(quán)者的義務(wù)設(shè)定角度來看,生成式人工智能的服務(wù)提供者或者研發(fā)者也應(yīng)當(dāng)負(fù)擔(dān)避免其大模型持續(xù)享有被侵權(quán)“投喂”作品的貢獻(xiàn)的義務(wù)。從事實(shí)層面而言,生成式人工智能的服務(wù)提供者或研發(fā)者完全能夠基于行業(yè)的技術(shù)現(xiàn)狀以合理的成本承擔(dān)該義務(wù)。從價值層面而言,無論是從侵權(quán)過錯認(rèn)定的一般原理,還是從保護(hù)受害人權(quán)益,抑或從我國將通知—刪除規(guī)則一體適用于各種網(wǎng)絡(luò)服務(wù)提供者類型的傳統(tǒng)來看,也應(yīng)當(dāng)對生成式人工智能的服務(wù)提供者或研發(fā)者課以“機(jī)器遺忘”義務(wù)[46]。

    但目前的機(jī)器遺忘,既未成為生成式人工智能行業(yè)的自律準(zhǔn)則,亦未成為強(qiáng)制性技術(shù)規(guī)范,尤其是目前的機(jī)器遺忘解決方案更多的是生成式人工智能服務(wù)提供者的自我調(diào)整,而并未考慮向監(jiān)管或第三方審計(jì)開放的問題。因此,有必要通過立法的方式,確立生成式人工智能的“機(jī)器遺忘”強(qiáng)制性技術(shù)規(guī)范,確保在侵權(quán)發(fā)生后,“停止侵害”“消除影響”等救濟(jì)手段能夠從技術(shù)層面得到有效執(zhí)行和監(jiān)督。

    五、結(jié)語

    隨著生成式人工智能服務(wù)應(yīng)用的落地,世界各國關(guān)于人工智能立法的探索也開始加速,相關(guān)爭議也將持續(xù)成為相關(guān)各方熱議的焦點(diǎn)。生成式人工智能大模型的訓(xùn)練,在當(dāng)前的發(fā)展階段,理論上的確存在侵犯著作權(quán)人權(quán)益的風(fēng)險。

    在生成式人工智能的生成內(nèi)容的可版權(quán)性問題的討論中,支持者往往會強(qiáng)調(diào)生成式人工智能大模型的創(chuàng)作能力,而認(rèn)為人類在這一“生成”過程中缺乏強(qiáng)控制力,人類在這一“生成”過程中對生成式人工智能發(fā)出一系列指令的行為也不能被單獨(dú)評價為著作權(quán)法上的“創(chuàng)作”[47]。如果保護(hù)生成式人工智能輸出端的生成內(nèi)容的著作權(quán),卻不保護(hù)在輸入端被生成式人工智能的大模型“吞噬”的作品的著作權(quán),無異于區(qū)別對待生成式人工智能與對受保護(hù)作品的使用,其后果必然是默許甚至可以說是鼓勵生成式人工智能對現(xiàn)有原創(chuàng)作品的肆意“洗稿”。讓生成式人工智能,以技術(shù)中立等理由,架空著作權(quán)保護(hù)體系對著作權(quán)人進(jìn)行獨(dú)創(chuàng)性創(chuàng)作的激勵與保護(hù),對生成式人工智能的長遠(yuǎn)發(fā)展并無益處。

    即便是生成式人工智能可能會改變?nèi)祟惖闹R生產(chǎn)方式,甚至“涌現(xiàn)”人類自己都不曾發(fā)現(xiàn)的新知識,但人類在創(chuàng)造、批判思考和情感判斷上的獨(dú)特能力不會被生成式人工智能替代[48]。因此,生成式人工智能的未來發(fā)展,仍然依賴于人類的獨(dú)創(chuàng)性作品的持續(xù)“投喂”,而獨(dú)創(chuàng)性作品必然屬于著作權(quán)所保護(hù)的客體[49]?;诖龠M(jìn)生成式人工智能發(fā)展的立場,有研究者將生成式人工智能訓(xùn)練數(shù)據(jù)中對作品的使用,界定為“非特定性”的生產(chǎn)過程性使用,也就是“非作品性使用”,繼而將這種使用排除在著作權(quán)權(quán)利范圍之外[50]。但并非所有的作品,都被分解為碎片化的“語料”,一律將訓(xùn)練數(shù)據(jù)對所有作品的使用界定為“非作品性使用”,勢必將損害特定創(chuàng)作者的權(quán)益。為了激勵真正具有獨(dú)創(chuàng)性的作者持續(xù)產(chǎn)出,也為了生成式人工智能的長遠(yuǎn)發(fā)展,應(yīng)當(dāng)強(qiáng)化對生成式人工智能大模型訓(xùn)練數(shù)據(jù)“投喂”的規(guī)制。

    此前的生成式人工智能更多的是一種技術(shù)上的自我發(fā)展,此后生成式人工智能生態(tài)鏈中的各方參與者應(yīng)當(dāng)更多地參與到基礎(chǔ)制度構(gòu)建和行業(yè)自律規(guī)范完善中來,肩負(fù)起更多的社會責(zé)任,探索更有利于平衡不同利益的制度。例如,知名圖庫Shutterstock設(shè)立了“貢獻(xiàn)者基金”,對被用于“投喂”的作品的著作權(quán)人提供補(bǔ)償,這一制度可否上升為行業(yè)的自我約束,成為補(bǔ)償著作權(quán)人因作品“投喂”生成式人工智能后失去交易機(jī)會的常態(tài)機(jī)制,甚至成為未來修改著作權(quán)合理使用制度以免去“投喂”數(shù)據(jù)的授權(quán)的配套補(bǔ)償機(jī)制,都需要利益相關(guān)方形成共識。前述關(guān)于賠償損失數(shù)額司法標(biāo)準(zhǔn)的討論缺失,很大程度上也需要通過總結(jié)提煉實(shí)踐中糾紛各方的協(xié)商經(jīng)驗(yàn)來彌補(bǔ)。

    生成式人工智能的規(guī)制,其實(shí)是國際社會面臨的共同挑戰(zhàn)。生成式人工智能如若真正發(fā)展成為生產(chǎn)力工具,必然涉及跨國境的數(shù)據(jù)“投喂”。因此,生成式人工智能大模型訓(xùn)練中數(shù)據(jù)“投喂”的規(guī)制,還需要考慮國際協(xié)作或國際接軌等問題,在當(dāng)前的規(guī)制環(huán)境下,如何凝聚共識形成生成式人工智能大模型訓(xùn)練中數(shù)據(jù)“投喂”的著作權(quán)侵權(quán)風(fēng)險規(guī)制的通行規(guī)則,將是需要各國協(xié)作的現(xiàn)實(shí)問題。

    參考文獻(xiàn):

    [1] The state of AI in 2023: generative AI's breakout year[DB/OL]. (2023-08-01)[2024-04-20]. https: //www. mckinsey. com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2023-generative-AIs-breakout-year.

    [2] 李玉洋. AI治理迫在眉睫[N]. 中國經(jīng)營報, 2023-04-03(C03).

    [3] 停更、逃離、迷茫:原創(chuàng)畫師與AI繪畫的抗?fàn)帲跠B/OL].(2023-10-13)[2024-04-20]. https: //www. nfpeople. com/article/12597.

    [4] 逯海濤. 給AI投喂數(shù)據(jù)應(yīng)取之有道[N]. 浙江日報, 2023-11-22(007).

    [5] 'New York Times' sues ChatGPT creator OpenAI, Microsoft, for copyright infringement[DB/OL]. https: //www. npr. org/2023/12/27/1221821750/new-york-times-sues-chatgpt-openai-microsoft-for-copyright-infringement.

    [6] 梁宏濤, 劉碩, 杜軍威, 等. 深度學(xué)習(xí)應(yīng)用于時序預(yù)測研究綜述[J]. 計(jì)算機(jī)科學(xué)與探索, 2023, 17(6): 1285?1300.

    [7] Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus[DB/OL]. (2021-04-18)[2024-04-20]. https: //doi. org/10. 48550/arXiv. 2104. 08758.

    [8] 張熙, 楊小汕, 徐常勝. ChatGPT及生成式人工智能現(xiàn)狀及未來發(fā)展方向[J]. 中國科學(xué)基金, 2023, 37(5): 743?750.

    [9] 胡泳,劉純懿.大語言模型“數(shù)據(jù)為王”:訓(xùn)練數(shù)據(jù)的價值、迷思與數(shù)字傳播的未來挑戰(zhàn)[J].西北師大學(xué)報(社會科學(xué)版),2024,61(03):43?54.

    [10] TOM B. Brown, Benjamin Mann, Nick Ryder etc. Language Models are Few-Shot Learners[J/OL]. arXiv: 2005. 14165. https://doi.org/10.48550/arXiv.2005.14165.

    [11] 潘香軍. 論機(jī)器學(xué)習(xí)訓(xùn)練集的著作權(quán)風(fēng)險化解機(jī)制[C]. 《上海法學(xué)研究》集刊2023年第6卷——2023年世界人工智能大會青年論壇論文集. 《上海法學(xué)研究》集刊2023年第6卷——2023年世界人工智能大會青年論壇論文集. 上海市法學(xué)會, 2023: 165?176.

    [12] Authors Guild v. OpenAI Inc. (1: 23-cv-08292)[DB/OL]. (2023-09-19)[2024-04-20]. https: //www. courtlistener. com/docket/67810584/authors-guild-v-openai-inc/.

    [13] 劉友華, 魏遠(yuǎn)山. 機(jī)器學(xué)習(xí)的著作權(quán)侵權(quán)問題及其解決[J]. 華東政法大學(xué)學(xué)報, 2019, 22(2): 68?79.

    [14] 王遷. 《著作權(quán)法》修改:關(guān)鍵條款的解讀與分析(上)[J]. 知識產(chǎn)權(quán), 2021(1): 20?35.

    [15] 熊琦. 著作權(quán)合理使用司法認(rèn)定標(biāo)準(zhǔn)釋疑[J]. 法學(xué), 2018(1): 182?192.

    [16] 周子凡. 生成式人工智能對就業(yè)的影響及應(yīng)對之策[J]. 當(dāng)代經(jīng)濟(jì), 2023(10): 46?52。

    [17] 熊琦. 論著作權(quán)合理使用制度的適用范圍[J]. 法學(xué)家, 2011(1): 86?178.

    [18] 最高人民法院發(fā)布2022年中國法院十大知識產(chǎn)權(quán)案件[DB/OL]. (2023-04-20)[2024-04-20]. https: //www. chinacourt. org/article/detail/2023/04/id/7254550. shtml.

    [19] 劉強(qiáng), 孫青山. 人工智能創(chuàng)作物著作權(quán)侵權(quán)問題研究[J]. 湖南大學(xué)學(xué)報(社會科學(xué)版), 2020, 34(3): 140?146.

    [20] 朱瑪. 侵害知識產(chǎn)權(quán)損害賠償問題研究[D]. 重慶:西南政法大學(xué), 2015.

    [21] 畢文軒. 生成式人工智能的風(fēng)險規(guī)制困境及其化解:以ChatGPT的規(guī)制為視角[J]. 比較法研究, 2023(3): 155?172.

    [22] 中共中央 "國務(wù)院關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見[DB/OL]. (2022-12-19)[2024-04-20]. https: //www. gov. cn/zhengce/2022?12/19/content_5732695. htm.

    [23] 夏志強(qiáng), 閆星宇. 作為漂流資源的個人數(shù)據(jù)權(quán)屬分置設(shè)計(jì)[J]. 中國社會科學(xué), 2023(4): 164?208.

    [24] 王利明. 數(shù)據(jù)何以確權(quán)[J]. 法學(xué)研究, 2023, 45(4): 56?73.

    [25] 吳漢東. 知識產(chǎn)權(quán)保護(hù)論[J]. 法學(xué)研究, 2000(1): 68?79.

    [26] 王利明. 我國《侵權(quán)責(zé)任法》歸責(zé)原則體系的特色[J]. 法學(xué)論壇, 2010, 25(2): 7?10.

    [27] 吳漢東. 知識產(chǎn)權(quán)侵權(quán)訴訟中的過錯責(zé)任推定與賠償數(shù)額認(rèn)定——以舉證責(zé)任規(guī)則為視角[J]. 法學(xué)評論, 2014, 32(5): 124?130.

    [28] 文心一言用戶協(xié)議[DB/OL]. (2023-10-31)[2024-04-20]. https: //yiyan. baidu. com/infoUser.

    [29] SparkDesk用戶協(xié)議[DB/OL]. (2023-09-04)[2024-04-20]. https: //www. xfyun. cn/doc/spark/ExperienceRules. html.

    [30] 蘇宇. 大型語言模型的法律風(fēng)險與治理路徑[J]. 法律科學(xué)(西北政法大學(xué)學(xué)報, 2024(1): 76?88.

    [31] 李浩. 舉證責(zé)任倒置: 學(xué)理分析與問題研究[J]. 法商研究,2003(4): 87?94.

    [32] 丁曉東. 論算法的法律規(guī)制[J]. 中國社會科學(xué), 2020(12): 138?203.

    [33] 嚴(yán)格監(jiān)管ChatGPT,全球首個AI法案立法在歐盟內(nèi)部邁出第一步[DB/OL]. (2023-05-13)[2024-04-20]. https: //new. qq. com/rain/a/20230513A055CU00.

    [34] 王利明. 論舉證責(zé)任倒置的若干問題[J]. 廣東社會科學(xué). 2003(1): 150?158。

    [35] 互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約[DB/OL]. (2021-12-08)[2024-04-20]. https: //www. isc. org. cn/article/10677720886931456. html.

    [36] 李凡迪, 徐家力. 數(shù)據(jù)爬蟲侵權(quán)行為研究[J]. 汕頭大學(xué)學(xué)報(人文社會科學(xué)版), 2021, 37(8): 75?96.

    [37] 袁曾. 生成式人工智能治理的法律回應(yīng)[J]. 上海大學(xué)學(xué)報(社會科學(xué)版), 2024, 41(1): 28?39.

    [38] 劉友華, 魏遠(yuǎn)山. 機(jī)器學(xué)習(xí)的著作權(quán)侵權(quán)問題及其解決[J]. 華東政法大學(xué)學(xué)報, 2019, 22(2): 68?79.

    [39] 鄭志峰. 人工智能立法的一般范疇[J]. 數(shù)字法治, 2023(6): 55?75.

    [40] 國家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南[DB/OL]. (2020-07-27)[2024-04-20]. https: //www. gov. cn/zhengce/ zhengceku/2020?08/09/content_5533454. htm.

    [41] 互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定[DB/OL]. (2022-11-25)[2024-04-20]. https: //www. gov. cn/zhengce/zhengceku/2022?12/12/content_5731431. htm.

    [42] 李若一,李悅. 大模型時代的版權(quán)邊界在哪里[N]. 中國青年報, 2024-01-30(006).

    [43] SAI S, MITTAL U, CHAMOLA V, et al. Machine un-learning: An overview of techniques, applications, and future directions[J]. Cogn Comput 16, 482?506 (2024). https: //doi. org/10. 1007/s12559?023?10219?3.

    [44] Machine Unlearning: Solutions and Challengesar[J/OL]. Xiv: 2308. 07061v1 [cs. LG]. https://doi.org/10.48550/arXiv.2308.07061.

    [45] 郁建興, 劉宇軒, 吳超. 人工智能大模型的變革與治理[J]. 中國行政管理, 2023, 39(4): 6?13.

    [46] 徐偉. 論生成式人工智能服務(wù)提供者的法律地位及其責(zé)任——以ChatGPT為例[J]. 法律科學(xué)(西北政法大學(xué)學(xué)報), 2023, 41(4): 69?80.

    [47] 徐小奔. 論人工智能生成內(nèi)容的著作權(quán)法平等保護(hù)[J/OL]. 中國法學(xué): 166?185[2024-02-06]. https: //doi. org/10. 14111/j. cnki. zgfx. 2024. 01. 009. DOI: 10. 14111/j. cnki. zgfx. 2024. 01. 009.

    [48] 米加寧, 董昌其. 大模型時代:知識的生成式“涌現(xiàn)”[J]. 學(xué)海, 2024(1): 81?215.

    [49] 王國柱. 著作權(quán)法中作品獨(dú)創(chuàng)性的作品類型邏輯[J]. 法商研究, 2024, 41(1): 183?200.

    [50] 劉曉春. 生成式人工智能數(shù)據(jù)訓(xùn)練中的“非作品性使用”及其合法性證成[J]. 法學(xué)論壇, 2024, 39(3): 67?78.

    Copyright Infringement Regulation of Training Data \"Feeding\"

    by Generative AI

    Chang Ye

    (Southwest University of Political Science amp; Law, Research Base of Legal System for Market Transaction, Chonqing 401120, China)

    Abstract: The data \"feeding\" of generative AI in large model training has caused great concerns among content creators in illegal usage of their works, and generative AI often appeals to fair use terms to defend themselves against the charges. Due to the technical characteristics of generative AI, the regulation of \"feeding\" of unlicensed works faces multiple difficulties such as fact finding, imputation and punishment. As for this kind of copyright infringement regulation concerning new technology, new elements and new industrial chain, the demand for a new legal system will be inevitable. Therefore, at the stage of self-exploration of generative AI, the essence is to clarify the law application concerning this kind of copyright infringement, to build up an ideal regulating frame of copyright infringement risk in data \"feeding\" at the input end of generative AI, and from multiple perspectives such as legal responsibility for tort, distribution of proof burden, industrial self-discipline specification about technical authorization, mandatory norms about \"machine unlearning\".

    Keywords: generative AI; training data \"feeding\"; copyright; infringement

    少妇高潮的动态图| 亚洲最大成人av| 青青草视频在线视频观看| 亚洲欧美日韩卡通动漫| 国产成人aa在线观看| 久久精品久久久久久久性| videos熟女内射| 精品无人区乱码1区二区| 欧美3d第一页| 成人午夜精彩视频在线观看| 在线天堂最新版资源| 日产精品乱码卡一卡2卡三| 日本wwww免费看| 国产亚洲午夜精品一区二区久久 | 国产精品野战在线观看| av福利片在线观看| 亚洲精品成人久久久久久| 亚洲国产精品专区欧美| 99在线人妻在线中文字幕| 一二三四中文在线观看免费高清| 麻豆乱淫一区二区| av专区在线播放| 国产精品国产高清国产av| 全区人妻精品视频| 九九久久精品国产亚洲av麻豆| 91久久精品国产一区二区三区| 日韩av在线大香蕉| 午夜福利成人在线免费观看| 日日摸夜夜添夜夜添av毛片| 身体一侧抽搐| 国产精品一及| 两个人视频免费观看高清| 丰满少妇做爰视频| 麻豆av噜噜一区二区三区| 国产 一区 欧美 日韩| 丝袜喷水一区| 又黄又爽又刺激的免费视频.| 国产免费男女视频| 日本五十路高清| 爱豆传媒免费全集在线观看| 亚洲国产精品成人综合色| 国产69精品久久久久777片| 天堂网av新在线| 欧美+日韩+精品| 日本黄大片高清| 久久精品国产自在天天线| 亚洲av福利一区| 国内揄拍国产精品人妻在线| 欧美丝袜亚洲另类| 久久午夜福利片| 国产成人精品婷婷| 欧美xxxx黑人xx丫x性爽| 一区二区三区四区激情视频| 听说在线观看完整版免费高清| 日韩精品有码人妻一区| 亚洲欧美精品自产自拍| 丰满人妻一区二区三区视频av| av免费在线看不卡| 91午夜精品亚洲一区二区三区| 国产亚洲5aaaaa淫片| 亚洲精品久久久久久婷婷小说 | 日本黄色视频三级网站网址| 免费看光身美女| 特级一级黄色大片| 麻豆成人av视频| 欧美日本视频| 久久精品国产亚洲av涩爱| 少妇熟女aⅴ在线视频| 日韩,欧美,国产一区二区三区 | 少妇的逼好多水| a级毛片免费高清观看在线播放| 97人妻精品一区二区三区麻豆| 亚洲av日韩在线播放| 国产精品99久久久久久久久| 人体艺术视频欧美日本| 日日摸夜夜添夜夜添av毛片| 九九在线视频观看精品| 蜜臀久久99精品久久宅男| 午夜福利网站1000一区二区三区| av.在线天堂| 久久久久久九九精品二区国产| 最新中文字幕久久久久| 国产私拍福利视频在线观看| 欧美精品国产亚洲| 男女国产视频网站| 嫩草影院精品99| 好男人视频免费观看在线| 精品人妻熟女av久视频| 久久人人爽人人片av| 晚上一个人看的免费电影| 日本一本二区三区精品| 色5月婷婷丁香| 国产熟女欧美一区二区| 边亲边吃奶的免费视频| 只有这里有精品99| 日韩精品有码人妻一区| 男女边吃奶边做爰视频| 一区二区三区四区激情视频| 男女视频在线观看网站免费| 精品一区二区三区视频在线| 亚洲高清免费不卡视频| 女人十人毛片免费观看3o分钟| 69人妻影院| 性色avwww在线观看| 亚洲va在线va天堂va国产| 嫩草影院新地址| 久久综合国产亚洲精品| 日韩制服骚丝袜av| 黄片wwwwww| 中文欧美无线码| 日韩av在线免费看完整版不卡| 午夜免费男女啪啪视频观看| 亚洲无线观看免费| 久久久久久久国产电影| 蜜桃久久精品国产亚洲av| 精品久久久久久久久久久久久| 欧美高清性xxxxhd video| 亚洲不卡免费看| 欧美xxxx性猛交bbbb| 如何舔出高潮| 成人美女网站在线观看视频| 成人欧美大片| av专区在线播放| 亚洲,欧美,日韩| 日韩在线高清观看一区二区三区| 亚洲国产精品合色在线| 天堂网av新在线| 欧美丝袜亚洲另类| 免费看av在线观看网站| 又黄又爽又刺激的免费视频.| 国产日韩欧美在线精品| kizo精华| 国内精品一区二区在线观看| 日日摸夜夜添夜夜添av毛片| 天天一区二区日本电影三级| 女人久久www免费人成看片 | 国产三级中文精品| 18+在线观看网站| 久久久欧美国产精品| 九九爱精品视频在线观看| 国产大屁股一区二区在线视频| 男女那种视频在线观看| 尤物成人国产欧美一区二区三区| 欧美97在线视频| 看黄色毛片网站| 中文字幕人妻熟人妻熟丝袜美| 高清毛片免费看| 特大巨黑吊av在线直播| 久久99热这里只频精品6学生 | av免费观看日本| ponron亚洲| 国产午夜精品一二区理论片| 91精品国产九色| 毛片一级片免费看久久久久| 久久99热这里只频精品6学生 | 成人无遮挡网站| 国产老妇伦熟女老妇高清| 日韩 亚洲 欧美在线| 久久久久久久国产电影| 老女人水多毛片| 欧美97在线视频| 国产大屁股一区二区在线视频| 国产av一区在线观看免费| 亚洲丝袜综合中文字幕| 国产久久久一区二区三区| 成人av在线播放网站| 1024手机看黄色片| 麻豆乱淫一区二区| 久久久久性生活片| 国产精品久久久久久久久免| 99热这里只有精品一区| 99久久精品一区二区三区| 亚洲欧美精品综合久久99| 干丝袜人妻中文字幕| 啦啦啦啦在线视频资源| 在线免费十八禁| 亚洲欧美清纯卡通| 国产在视频线精品| 国产老妇伦熟女老妇高清| 久久99热6这里只有精品| 极品教师在线视频| 特大巨黑吊av在线直播| 国产精品伦人一区二区| 91精品国产九色| 国产美女午夜福利| 亚洲av免费高清在线观看| 精品欧美国产一区二区三| 一区二区三区免费毛片| 亚洲四区av| av女优亚洲男人天堂| 日本黄色片子视频| 午夜福利在线观看吧| 男人的好看免费观看在线视频| 大香蕉97超碰在线| 亚洲成人久久爱视频| 免费在线观看成人毛片| 国产亚洲av片在线观看秒播厂 | 成年版毛片免费区| 内地一区二区视频在线| 久热久热在线精品观看| 91精品国产九色| 欧美另类亚洲清纯唯美| 中文字幕制服av| 久久人妻av系列| 尾随美女入室| 午夜视频国产福利| kizo精华| 特级一级黄色大片| h日本视频在线播放| 久久久久久久久久成人| 国产色爽女视频免费观看| 一级黄片播放器| 国产69精品久久久久777片| 老司机福利观看| 99久久精品国产国产毛片| 水蜜桃什么品种好| 亚洲欧美一区二区三区国产| 婷婷色av中文字幕| 久久精品国产99精品国产亚洲性色| 少妇人妻精品综合一区二区| 国产单亲对白刺激| 一级av片app| 国产综合懂色| 久久久久久久亚洲中文字幕| 国产色爽女视频免费观看| 中国美白少妇内射xxxbb| 久久精品国产亚洲av涩爱| .国产精品久久| 国产成人精品久久久久久| 91aial.com中文字幕在线观看| 久久久久久久久大av| 国产成人精品婷婷| 日本av手机在线免费观看| 欧美成人a在线观看| 久久精品夜色国产| 国产av一区在线观看免费| 国产成人午夜福利电影在线观看| 99久久精品一区二区三区| 国产成人午夜福利电影在线观看| 小蜜桃在线观看免费完整版高清| 国产日韩欧美在线精品| 真实男女啪啪啪动态图| 成人鲁丝片一二三区免费| 麻豆成人午夜福利视频| 亚洲18禁久久av| 有码 亚洲区| 亚洲aⅴ乱码一区二区在线播放| 国语对白做爰xxxⅹ性视频网站| 噜噜噜噜噜久久久久久91| 中文字幕熟女人妻在线| av在线播放精品| 少妇裸体淫交视频免费看高清| 免费大片18禁| 欧美激情在线99| 美女内射精品一级片tv| 日日摸夜夜添夜夜爱| 51国产日韩欧美| 麻豆乱淫一区二区| av线在线观看网站| 国产成人午夜福利电影在线观看| 看免费成人av毛片| 精品不卡国产一区二区三区| 日韩欧美精品v在线| 亚洲熟妇中文字幕五十中出| 美女国产视频在线观看| 一级黄色大片毛片| 欧美丝袜亚洲另类| 午夜激情福利司机影院| 亚洲av不卡在线观看| 亚洲国产精品国产精品| 麻豆一二三区av精品| 国产精品一区二区在线观看99 | 成人毛片a级毛片在线播放| 丰满人妻一区二区三区视频av| 一级二级三级毛片免费看| 日韩高清综合在线| 热99re8久久精品国产| 精品久久久久久久久久久久久| 国产在线男女| 欧美日韩综合久久久久久| 久久99精品国语久久久| 国产欧美另类精品又又久久亚洲欧美| 偷拍熟女少妇极品色| 男插女下体视频免费在线播放| 超碰97精品在线观看| 亚洲不卡免费看| 美女被艹到高潮喷水动态| 网址你懂的国产日韩在线| 人妻夜夜爽99麻豆av| av免费观看日本| 噜噜噜噜噜久久久久久91| 免费黄色在线免费观看| 国产精品久久电影中文字幕| 中文字幕久久专区| 国内精品美女久久久久久| 精品国产三级普通话版| 我要搜黄色片| 久久久久网色| 精品人妻一区二区三区麻豆| 精品国产一区二区三区久久久樱花 | 免费一级毛片在线播放高清视频| 日本黄色视频三级网站网址| 久久精品国产自在天天线| 菩萨蛮人人尽说江南好唐韦庄 | 亚洲精品,欧美精品| 高清日韩中文字幕在线| 又粗又硬又长又爽又黄的视频| 免费观看人在逋| 国产亚洲精品久久久com| 久久久久久久国产电影| 联通29元200g的流量卡| 最近最新中文字幕大全电影3| 欧美变态另类bdsm刘玥| 日本黄大片高清| 免费播放大片免费观看视频在线观看 | 国产精品99久久久久久久久| 日韩一本色道免费dvd| 99在线人妻在线中文字幕| 18禁裸乳无遮挡免费网站照片| 精品久久久久久成人av| 欧美激情久久久久久爽电影| 亚洲精品,欧美精品| 青青草视频在线视频观看| 亚洲欧美日韩卡通动漫| 国产精品伦人一区二区| 亚洲图色成人| 亚洲成人av在线免费| 国产精品福利在线免费观看| 变态另类丝袜制服| 久久国内精品自在自线图片| 国产精品麻豆人妻色哟哟久久 | 欧美成人午夜免费资源| 伊人久久精品亚洲午夜| 神马国产精品三级电影在线观看| 欧美一区二区国产精品久久精品| 最近的中文字幕免费完整| 99热这里只有精品一区| 黄色配什么色好看| 久久精品久久久久久噜噜老黄 | 国产精品永久免费网站| 欧美不卡视频在线免费观看| www日本黄色视频网| 中国国产av一级| 美女cb高潮喷水在线观看| 一级爰片在线观看| 国产爱豆传媒在线观看| 综合色av麻豆| 久久久精品大字幕| 欧美又色又爽又黄视频| 久久国内精品自在自线图片| .国产精品久久| 亚洲欧美日韩卡通动漫| 日韩在线高清观看一区二区三区| 亚州av有码| 午夜福利成人在线免费观看| 午夜福利在线在线| 人妻少妇偷人精品九色| 亚洲经典国产精华液单| 我要搜黄色片| 国产亚洲精品av在线| 五月玫瑰六月丁香| 内地一区二区视频在线| 亚洲欧洲国产日韩| 啦啦啦啦在线视频资源| 又粗又爽又猛毛片免费看| 成人无遮挡网站| 搞女人的毛片| 综合色av麻豆| 国产成人午夜福利电影在线观看| 高清av免费在线| 色尼玛亚洲综合影院| 少妇人妻一区二区三区视频| 麻豆av噜噜一区二区三区| 国产高潮美女av| 欧美xxxx黑人xx丫x性爽| 三级经典国产精品| 六月丁香七月| 日本免费在线观看一区| 在现免费观看毛片| 国内少妇人妻偷人精品xxx网站| 国产真实乱freesex| 亚洲av日韩在线播放| 老司机影院成人| 国产免费一级a男人的天堂| 99久久精品国产国产毛片| 欧美日韩一区二区视频在线观看视频在线 | 看免费成人av毛片| 卡戴珊不雅视频在线播放| 成年版毛片免费区| 性色avwww在线观看| 精品国产露脸久久av麻豆 | 精品人妻熟女av久视频| 2022亚洲国产成人精品| 亚洲精品影视一区二区三区av| 人人妻人人澡人人爽人人夜夜 | 国产亚洲最大av| 十八禁国产超污无遮挡网站| 菩萨蛮人人尽说江南好唐韦庄 | 真实男女啪啪啪动态图| 日本熟妇午夜| 中文亚洲av片在线观看爽| 国产成人免费观看mmmm| 一区二区三区乱码不卡18| 尤物成人国产欧美一区二区三区| h日本视频在线播放| 亚洲伊人久久精品综合 | 久久精品影院6| 亚洲国产精品成人久久小说| 一级毛片aaaaaa免费看小| 插逼视频在线观看| 亚洲熟妇中文字幕五十中出| 色播亚洲综合网| 免费在线观看成人毛片| 亚洲精品乱码久久久v下载方式| 国产老妇女一区| 色吧在线观看| 国产精品熟女久久久久浪| 伦精品一区二区三区| 亚洲综合色惰| 亚洲欧美中文字幕日韩二区| 国产伦理片在线播放av一区| 成人国产麻豆网| 欧美色视频一区免费| 久久精品国产亚洲av涩爱| 国产 一区精品| 卡戴珊不雅视频在线播放| 国产色爽女视频免费观看| 国产精品久久久久久久电影| 26uuu在线亚洲综合色| 狠狠狠狠99中文字幕| 欧美成人精品欧美一级黄| 亚洲中文字幕日韩| 亚洲精品日韩av片在线观看| 亚洲国产欧美人成| 卡戴珊不雅视频在线播放| 久久久a久久爽久久v久久| av在线蜜桃| a级毛片免费高清观看在线播放| 99热这里只有是精品在线观看| 岛国毛片在线播放| 美女黄网站色视频| 老司机影院成人| 久久亚洲国产成人精品v| 国产免费福利视频在线观看| 色综合亚洲欧美另类图片| 日韩高清综合在线| 九九爱精品视频在线观看| 波野结衣二区三区在线| 97超视频在线观看视频| 一级毛片我不卡| 久久精品熟女亚洲av麻豆精品 | 噜噜噜噜噜久久久久久91| 久热久热在线精品观看| 中文在线观看免费www的网站| 国产av码专区亚洲av| 国产亚洲91精品色在线| 欧美成人一区二区免费高清观看| 成年av动漫网址| av.在线天堂| 高清日韩中文字幕在线| 精品人妻熟女av久视频| 日韩在线高清观看一区二区三区| 亚洲国产精品sss在线观看| 91精品伊人久久大香线蕉| 啦啦啦观看免费观看视频高清| 亚洲成人中文字幕在线播放| 亚洲最大成人手机在线| 夜夜爽夜夜爽视频| 日产精品乱码卡一卡2卡三| 国产成人91sexporn| 深爱激情五月婷婷| 欧美色视频一区免费| 国产亚洲精品久久久com| 精品久久久久久久人妻蜜臀av| 亚洲乱码一区二区免费版| 综合色丁香网| 91av网一区二区| a级毛片免费高清观看在线播放| 国产69精品久久久久777片| 老司机影院毛片| 国产成人福利小说| 男人狂女人下面高潮的视频| 亚洲最大成人中文| 成人三级黄色视频| 男人的好看免费观看在线视频| 老女人水多毛片| 免费看a级黄色片| 亚洲va在线va天堂va国产| 免费av观看视频| 黄色日韩在线| a级毛片免费高清观看在线播放| 欧美成人免费av一区二区三区| 亚洲经典国产精华液单| 国国产精品蜜臀av免费| 人妻少妇偷人精品九色| 九草在线视频观看| 欧美bdsm另类| 91精品伊人久久大香线蕉| 高清毛片免费看| 中文亚洲av片在线观看爽| 我的女老师完整版在线观看| 水蜜桃什么品种好| av福利片在线观看| 一边亲一边摸免费视频| 国产美女午夜福利| 亚洲av中文字字幕乱码综合| 三级经典国产精品| 长腿黑丝高跟| 国产精品久久久久久久久免| 久久精品91蜜桃| 久久精品综合一区二区三区| 水蜜桃什么品种好| 久久久久久久久中文| 亚洲av中文av极速乱| 日韩强制内射视频| 麻豆精品久久久久久蜜桃| 99久久九九国产精品国产免费| 国产精品,欧美在线| 免费观看的影片在线观看| 日韩一区二区视频免费看| 精品国产露脸久久av麻豆 | 99热6这里只有精品| 欧美高清成人免费视频www| 91av网一区二区| 最后的刺客免费高清国语| 可以在线观看毛片的网站| 日韩一本色道免费dvd| 国产亚洲最大av| 国产v大片淫在线免费观看| 特级一级黄色大片| 日韩av不卡免费在线播放| 欧美成人一区二区免费高清观看| 视频中文字幕在线观看| 色综合站精品国产| videos熟女内射| 日日撸夜夜添| 老女人水多毛片| 亚洲av成人av| 日韩视频在线欧美| 欧美一区二区国产精品久久精品| 看黄色毛片网站| 中国国产av一级| 亚洲,欧美,日韩| 日本爱情动作片www.在线观看| 亚洲丝袜综合中文字幕| 国产精品.久久久| 我要看日韩黄色一级片| 特级一级黄色大片| 日本免费a在线| 特级一级黄色大片| 我要搜黄色片| 亚洲最大成人中文| 亚洲国产最新在线播放| 麻豆久久精品国产亚洲av| 国产乱来视频区| 日韩欧美精品v在线| 国产精品国产三级国产专区5o | 亚洲激情五月婷婷啪啪| 麻豆乱淫一区二区| 久久国产乱子免费精品| av线在线观看网站| 97超视频在线观看视频| 国产伦精品一区二区三区四那| 一级毛片久久久久久久久女| 一个人看视频在线观看www免费| 亚洲国产精品成人综合色| 小说图片视频综合网站| 男人和女人高潮做爰伦理| 国产极品天堂在线| 51国产日韩欧美| 两个人的视频大全免费| 麻豆精品久久久久久蜜桃| 婷婷色综合大香蕉| 亚洲天堂国产精品一区在线| 欧美精品国产亚洲| 亚洲精华国产精华液的使用体验| 搡老妇女老女人老熟妇| 黄色日韩在线| 亚洲四区av| 久久热精品热| 一级av片app| 久久国产乱子免费精品| 极品教师在线视频| 久久亚洲精品不卡| 成人美女网站在线观看视频| 九色成人免费人妻av| 亚洲av中文字字幕乱码综合| 国产高清国产精品国产三级 | 在线天堂最新版资源| 狂野欧美白嫩少妇大欣赏| 国产 一区精品| 国产 一区 欧美 日韩| 国产精品国产高清国产av| 中国国产av一级| 国产精品.久久久| 男人和女人高潮做爰伦理| 欧美又色又爽又黄视频| 啦啦啦啦在线视频资源| 国产精品一及| 97超碰精品成人国产| 18禁在线无遮挡免费观看视频| 中文天堂在线官网| 极品教师在线视频| 五月玫瑰六月丁香| 高清视频免费观看一区二区 | 国产麻豆成人av免费视频| 亚洲av中文av极速乱| 三级毛片av免费| 日本免费一区二区三区高清不卡| 啦啦啦啦在线视频资源| 成人三级黄色视频| 国产一区二区三区av在线| 国产精品嫩草影院av在线观看| 亚洲精品乱码久久久久久按摩| 建设人人有责人人尽责人人享有的 |