• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多維度解讀與選擇:人工智能算法知識產(chǎn)權(quán)保護路徑探析

    2022-05-07 11:43:25姚葉
    科技與法律 2022年1期
    關(guān)鍵詞:反不正當競爭法專利法著作權(quán)法

    摘要:人工智能算法是人工智能快速進步的核心,雖然它的設(shè)計邏輯、運行過程、外觀樣態(tài)與傳統(tǒng)計算機程序算法具有區(qū)別,卻并未超出作為“知識產(chǎn)品”的本質(zhì)。人工智能算法可在著作權(quán)法、專利法、反不正當競爭法中獲得保護。其中,著作權(quán)法與專利法以保護人工智能算法表達為基本方式,商業(yè)秘密保護路徑則以保護人工智能算法內(nèi)核為根本訴求,三種規(guī)則利弊互現(xiàn)。人工智能算法的發(fā)展有賴于前人技術(shù)的公開,國際社會對人工智能算法的發(fā)展也提出了可解釋性、透明性、可問責制的倫理要求。專利法的“公開發(fā)明理論”與人工智能算法的需求相契合,將人工智能算法作為專利法中的技術(shù)方案進行保護,在一定程度上能平衡技術(shù)權(quán)利人與使用人的利益,防止算法黑箱的產(chǎn)生,維護社會的道德與秩序。同時,審查機關(guān)應(yīng)該對違背公共秩序、倫理道德的算法發(fā)明以及作為醫(yī)療方法的算法發(fā)明排除于專利客體之外。

    關(guān)鍵詞:人工智能算法;著作權(quán)法;反不正當競爭法;專利法;算法倫理

    中圖分類號:D 923文獻標志碼:A文章編號:2096-9783(2022)01-0053-09

    基金項目:高等學校學科創(chuàng)新引智計劃(111計劃)“新時代科技革命與知識產(chǎn)權(quán)學科創(chuàng)新”(B18058);中南財經(jīng)政法大學2021年度學科統(tǒng)籌項目“關(guān)鍵核心技術(shù)發(fā)展的知識產(chǎn)權(quán)支撐體系研究”

    引言

    近十年來,人工智能在電子商務(wù)、智能駕駛、智能醫(yī)療甚至文學創(chuàng)作等領(lǐng)域?qū)崿F(xiàn)跨越式發(fā)展。機械戰(zhàn)警、機器人女友等甚至被看來是近在咫尺。然而,在弱人工智能時代,人工智能仍然是“人類”智能。程序員設(shè)計智能原始算法,輸入數(shù)據(jù)。人工智能算法經(jīng)過數(shù)據(jù)的“喂養(yǎng)”愈加精準[1],最終實現(xiàn)預(yù)測功能。歸根結(jié)底,人工智能的發(fā)展歸因于算法的發(fā)展。然則,人工智能算法所為何物?縱觀我國現(xiàn)有制度,人工智能算法可由著作權(quán)法、專利法以及反不正當競爭法規(guī)制。2020年2月生效的《專利審查指南》在保留了計算機程序、商業(yè)模式兩種專利客體的基礎(chǔ)上,承認了“包含算法特征或商業(yè)規(guī)則和方法特征的技術(shù)方案”的專利客體地位[1],即增加了算法、商業(yè)方法兩種專利客體,明確了客體排除規(guī)則與審查規(guī)則[2]?!队嬎銠C軟件保護條例》明確對由開發(fā)者獨立開發(fā),并已固定在某種有形物體上的計算機軟件進行保護。在國外的法律中,算法可被認定是一種商業(yè)秘密或言論[3],美國、歐盟、日本也不排斥人工智能算法的專利客體地位[4]。在實踐中,諸多法律的綜合運用使得人工智能算法的保護出現(xiàn)問題。有眾多企業(yè)選擇將人工智能算法作為一種商業(yè)秘密,秘而不宣,人工智能算法的隱蔽性造成多重問題,如“信息繭房”、司法公正、被遺忘權(quán)失靈等[5]。Dropout專利的授予可能形成對人工智能算法基礎(chǔ)技術(shù)的不合理壟斷,人工智能算法已經(jīng)脫胎于計算機軟件而使得《計算機軟件保護條例》失靈??梢姡斯ぶ悄芩惴ǘ喾N保護路徑均有優(yōu)勢與不足,有必要通過分析人工智能算法的技術(shù)特征、法律特征,探究不同系統(tǒng)保護的優(yōu)劣,尋求多元發(fā)展、利弊互補的保護路徑。

    一、作為技術(shù)的人工智能算法與其保護的類型化

    在“劍橋分析”(Cambridge Analytica)事件中,人工智能算法體現(xiàn)為一種選舉權(quán);在State v. Loomis[6]一案中體現(xiàn)為一種司法權(quán);在政府等對人的信用能力進行評測的環(huán)節(jié)中,它體現(xiàn)為一種行政權(quán)。不僅如此,加拿大學者Veenu Goswami主張基于加拿大判例和加拿大人權(quán)憲章,應(yīng)當將基于算法產(chǎn)生的內(nèi)容置于言論的范疇之內(nèi),受憲法上的言論自由的保護[7]。美國也在司法判例中將算法定性成商業(yè)秘密,或者在關(guān)于搜索引擎算法的判決中,將它看成是言論[6]。大而化之地將人工智能算法等同于個人言論、權(quán)力的研究,僅僅關(guān)注于表象。算法的技術(shù)性是它的核心規(guī)制基礎(chǔ),算法的一切效用都以算法的技術(shù)性功用為根基。算法的本質(zhì)是信息時代的一項技術(shù)創(chuàng)新,自然適用保護創(chuàng)新之法,即知識產(chǎn)權(quán)法[8]。遵循人工智能算法所表現(xiàn)出的技術(shù)特征,將其置于知識產(chǎn)權(quán)法系統(tǒng)內(nèi)部進行保護,具有合理性。

    (一)作為代碼的人工智能算法

    人工智能算法被著作權(quán)保護已不罕見,在騰訊計算機系統(tǒng)有限公司訴上海盈某科技有限公司一案中,被告在其經(jīng)營的“網(wǎng)貸之家”上使用騰訊公司開發(fā)的人工智能寫作軟件Dreamwriter(夢幻寫手),Dream? writer是一種基于數(shù)據(jù)和算法的智能寫作輔助系統(tǒng),一旦運行,它能夠自主對股市信息、數(shù)據(jù)進行收集、選擇、分析、判斷,形成一篇邏輯清晰,結(jié)構(gòu)完整合理的報道。Dreamwriter這一軟件獲得了軟著登字第3868479號《計算機軟件著作權(quán)登記證書》①。無獨有偶,美聯(lián)社將人工智能用于棒球報道和新聞報道。美國主要的研究情況是將人工智能軟件分為人工智能平臺、聊天機器人、深度學習軟件、機器學習軟件②,也列出了排名前十的人工智能計算機軟件,其中包含Content DNA Platform、Google Cloud Machine Learning Engine、Cortana、Amazon Alexa、Google Assistant等③。

    在我國,著作權(quán)意義上計算機軟件的內(nèi)容包括計算機程序和文檔兩部分。文檔是由程序設(shè)計、編程和測試人員編輯的文字、符號或圖片所構(gòu)成。計算機程序又分為“源程序”與“目標程序”[9]?!澳繕顺绦颉笔恰霸闯绦颉蓖ㄟ^電腦轉(zhuǎn)譯而來,二者都是一種計算機可以理解的文字,也是同一作品,與人類可以理解的文字相同。目標程序以0/1的代碼顯現(xiàn),其與“文檔”均屬于作品之一種。與德國著作權(quán)法對于計算機軟件保護的條件相同,我國《計算機軟件保護條例》中并未對計算機軟件的“創(chuàng)造性”提出任何程度的要求,僅僅在第4條要求其“固定”在某種有形物體上。計算機軟件被置于《中華人民共和國著作權(quán)法》(以下簡稱《著作權(quán)法》)第2條第1款第1項的語言作品之中進行保護,“盡管計算機程序也必須具備體現(xiàn)創(chuàng)作人的智力勞動并且體現(xiàn)在計算機工業(yè)領(lǐng)域并不尋常的勞動”等方面的創(chuàng)造性,但是計算機軟件在創(chuàng)作水準說明方面的義務(wù)卻僅僅說明此軟件系獨創(chuàng)即可,而無須證明其創(chuàng)造性高度[10]。

    人工智能算法若具有“源程序”與“文檔”,則仍然是一種計算機軟件作品。人工智能算法與傳統(tǒng)算法的核心區(qū)別在于人工智能算法的原理。誠然,傳統(tǒng)算法由程序開發(fā)人員撰寫,是固定的代碼;而人工智能算法則從數(shù)據(jù)中進行學習,系不斷變化之代碼。換言之,前者具有固定的運行邏輯,后者的運行邏輯是輸入數(shù)據(jù)所反映出來的規(guī)律。然而,在最基礎(chǔ)的層面,人工智能算法最基礎(chǔ)算法的形成,如二分查找算法、DFS(深度優(yōu)先搜索)等,仍然有賴于“文檔”與“源程序”。不斷變化的人工智能算法能夠滿足作品“可復(fù)制性”要件。根據(jù)體系解釋,《計算機軟件保護條例》中“固定”一詞應(yīng)當與《著作權(quán)法》中“電影作品和以類似攝制電影的方法創(chuàng)作的作品”構(gòu)成要件中的“固定”一詞同義,是作品“可復(fù)制性”的要求。文學性藝術(shù)的“固定”有兩種不同含義:一種含義是指有形無體的作品“依附”于一定的物質(zhì)載體之上,從而能夠被感知和傳播,可簡稱為“感知、傳播型固定”;另一種含義是指作品被長期穩(wěn)定地“存儲”于一定的物質(zhì)載體之上,可簡稱為“存儲、保留型固定”[11]。計算機軟件作為一種實用性為主、藝術(shù)性為輔的作品,這兩種固定是一體的。盡管不斷變化,卻已經(jīng)為計算機所記錄,能夠達成法律規(guī)定的固定性要件。

    無論是在固定性還是獨創(chuàng)性層面,人工智能算法均能滿足計算機軟件的保護要求。在實踐中,人工智能算法獲得著作權(quán)法保護已有先例??梢?,人工智能算法作為計算機軟件保護確可作為保護路徑之一。

    (二)作為技術(shù)方案的人工智能算法

    根據(jù)世界知識產(chǎn)權(quán)組織發(fā)布的《人工智能技術(shù)趨勢(2019)》報告,中國在人工智能專利累計申請方面占據(jù)世界第二位,且具有趕超美國之趨勢[12]。2018年以后,美國的人工智能專利年申請量基本大于6萬件,人工智能專利申請量占專利申請量的比重從2002年的9%增長到2018年的近16%。智能算法與設(shè)備或非算法類技術(shù)方案相結(jié)合,已然成為專利權(quán)客體,且數(shù)量迅速遞增,在人工智能專利中占比顯著。在美國發(fā)布的《人工智能發(fā)明:追蹤美國人工智能專利擴散報告》[4]中將人工智能分為8個領(lǐng)域:知識處理技術(shù)、語言技術(shù)、人工智能硬件、進化計算技術(shù)、自然語言處理技術(shù)、機器學習技術(shù)、視覺技術(shù)、計劃和控制技術(shù)。人工智能算法已經(jīng)成為知識處理技術(shù)領(lǐng)域、機器學習領(lǐng)域、深度學習領(lǐng)域的關(guān)鍵技術(shù)。如在知識處理技術(shù)領(lǐng)域,最具有代表性的是專利號為7685082的自動檢測會計錯誤的算法專利[13],它被頒發(fā)給金融軟件公司Intuit Inc.。在機器學習領(lǐng)域,美國專利商標局將專利號為9390378的算法[14]頒發(fā)給零售商沃爾瑪百貨公司,此種算法能通過對產(chǎn)品描述、評論和其他產(chǎn)品特性進行分類,從而優(yōu)化電子商務(wù)平臺的服務(wù)[4]。我國專利審查部門也正在對上海數(shù)鳴人工智能科技有限公司申請?zhí)枮镃N202010705027.6的算法技術(shù)方案和大連中維世紀科技有限公司申請?zhí)枮镃N202010660533.8的基于人臉智能識別KNN算法的線下門店智能導(dǎo)購方法的技術(shù)方案進行審查。

    面對人工智能算法這一關(guān)鍵技術(shù),美國專利審查指南已經(jīng)隨著實踐進行了修改,防止因為審查指南過于嚴苛而對人工智能算法專利造成不合理的限制。美國《專利法》立法規(guī)定,“任何人發(fā)明或者發(fā)現(xiàn)任何新的且有用的方法、機器、制品或組合物,或其任何新的且有用的改進,均可在符合本法所規(guī)定的條件和要求的情況下獲得專利”,程序算法與商業(yè)方法均屬方法之類,無區(qū)分之必要。歷經(jīng)“State Street Bank&Trust Co. v. Signature Financial Group, Inc.、Gott? schalk v. Benson”案、“CLS Bank v. Alice”案[6]后,美國專利商標局確定了較為穩(wěn)定的“方法專利”審查立場,含有“司法例外”專利并不能排除其獲得專利權(quán)的可能性,并制定、完善了“Alice測試法”,用以對包含“司法例外”的專利客體進行審查。我國2017年修訂的《專利審查指南》中,在第9章規(guī)定了計算機程序的審查規(guī)則。2019年修訂的《專利審查指南》在此之外,將“包含算法特征”或“商業(yè)規(guī)則和方法特征”的技術(shù)方案列入專利客體中④。誠然,這一審查指南并未明確計算機程序與包含算法特征的技術(shù)方案之區(qū)分,卻仍然承認了“算法”專利的專利客體地位。更進一步地,審查指南在所舉實例中認定一種人工智能算法——一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓練方法之客體地位。對于此兩種新客體之審查規(guī)則仍然是考察他們是否是一種技術(shù)方案,包括解決技術(shù)問題、利用自然規(guī)律、產(chǎn)生技術(shù)效果等方面⑤。值得一提的是,《專利審查指南》明確規(guī)定“如果權(quán)利要求中除了算法特征或商業(yè)規(guī)則和方法特征,還包含技術(shù)特征,則不應(yīng)當排除其獲得專利的可能性?!睔W盟統(tǒng)一專利法也使用第52條,雖然排除了“抽象思想”獲得專利的可能性,但是歐洲專利局將向“應(yīng)用于特定技術(shù)應(yīng)用程序”和“針對特定技術(shù)實施進行了改進”的人工智能算法專利授予專利權(quán)。前者包括用于圖像處理、計算機視覺或起搏器或胰島素泵等醫(yī)療設(shè)備的機器學習算法,后者則可能包括“一種訓練神經(jīng)網(wǎng)絡(luò)的方法”。對于算法在非技術(shù)領(lǐng)域的應(yīng)用,尤其是在財務(wù)、管理方法、語言學領(lǐng)域,不在前述之列。除此之外,歐盟指出,將不會授予基礎(chǔ)的人工智能算法或機器學習算法以專利權(quán),因為二者是用于分類、聚類、回歸和降維的計算模型和算法,如神經(jīng)網(wǎng)絡(luò)、遺傳算法、支持向量機。

    由此可見,美國、歐盟及我國《專利審查指南》對人工智能算法專利之審查標準雖殊途卻同歸。純粹的人工智能算法屬于數(shù)學方法,被排除在專利權(quán)授權(quán)范圍之外,但如果人工智能算法被應(yīng)用在特定領(lǐng)域,對技術(shù)有了特定的改進,則被認為具有技術(shù)性,進而可成為一種專利權(quán)的客體。

    (三)作為技術(shù)秘密的人工智能算法

    對計算機軟件進行著作權(quán)保護并不阻礙將其作為商業(yè)秘密進行保護。即使登記的軟件,也并不必然排除構(gòu)成商業(yè)秘密。計算機軟件登記并不以公開為條件。如果經(jīng)登記的軟件處于保密狀態(tài),仍然可以構(gòu)成商業(yè)秘密[15]。根據(jù)《中華人民共和國反不正當競爭法》(以下簡稱《反不正當競爭法》),商業(yè)秘密是指具有非公知性、價值性的技術(shù)信息與經(jīng)營信息,并且應(yīng)當采取適當?shù)谋C苁侄蝃16]。換言之,受商業(yè)秘密保護的信息不必是新穎的或原創(chuàng)的,只要此信息“已盡合理的保密努力”,并且信息具有獨立的經(jīng)濟價值、實際價值或潛在價值且不為人知即可。商業(yè)秘密通常比其他知識產(chǎn)權(quán)保護的范圍更加廣泛,它可以保護技術(shù)和非技術(shù)信息及想法甚至事實,例如客戶清單上的姓名和電話號碼、公共數(shù)據(jù)、源代碼、示意圖、圖表和客戶列表的匯編以及許多其他信息。商業(yè)秘密權(quán)利的獲取也是及時的,能夠立即得到保護,而無須花費大量的申請費用或冗長的注冊時間。對于過程性的信息,如某些昂貴的研究結(jié)果,它們無法發(fā)揮作用,也無法申請專利,對于競爭者來說可能具有巨大的價值。從權(quán)利保護的強度看,一旦企業(yè)將其技術(shù)方案作為一種商業(yè)秘密,這種保護方式將絕對禁止其他人的接觸與剽竊,能夠最大限度地保護企業(yè)的智力成果。從權(quán)利取得方式看,我國對商業(yè)秘密的取得只要求其為企業(yè)在生產(chǎn)、研發(fā)過程中發(fā)現(xiàn)的具有經(jīng)濟利益的實用秘密信息[17],企業(yè)對于其技術(shù)方案的商業(yè)秘密保護完全取決于自身意愿與為保護此商業(yè)秘密的行為。從權(quán)利的行使方式看,企業(yè)的人工智能算法并不需要進行披露而直接能夠使用。為最大限度地防止技術(shù)方案的曝光,將其作為商業(yè)秘密是最為完滿的保護狀態(tài)。

    在法律系統(tǒng)內(nèi),人工智能算法理論上可由著作權(quán)法、專利法或商業(yè)秘密加以保護。在現(xiàn)實中,各公司也在這三種路徑中進行抉擇。上述三種保護路徑中,前兩者通過對算法的“外在表達”,如進行規(guī)制,進而對其思想進行保護,后者則直接采取封閉性措施防止信息的泄露,利弊互現(xiàn),以下詳述之。

    二、人工智能算法的法律屬性與保護路徑

    (一)著作權(quán)保護路徑的局限

    盡管將人工智能算法作為計算機保護符合我國《著作權(quán)法》以及《計算機軟件保護條例》的規(guī)定,但將其作為計算機軟件背離了著作權(quán)法保護文學藝術(shù)作品的法律價值,與人工智能算法所有人的訴求不符,諸多問題也會由此產(chǎn)生。計算機程序的實質(zhì)價值在于其程序所實現(xiàn)的功能性目的及技術(shù)背后的思想,而非在于外在的文本表達。發(fā)明人或者持有人的訴求并非阻止他人對計算機程序的代碼進行復(fù)制,而是阻止他們對代碼進行使用而達到替代自己程序的作用[18]。若僅僅保護人工智能算法軟件的代碼,那么便會催生諸多代碼不同而內(nèi)涵相似的軟件,這不僅會造成重復(fù)保護,更會造成權(quán)利主體的不明。

    “思想/表達二分法”有一定的模糊性,有時甚至無法區(qū)分涉案內(nèi)容是程序還是表達。在2005年審結(jié)的“長沙青果園科技開發(fā)有限公司訴長沙誠光科技開發(fā)有限公司等著作權(quán)侵權(quán)糾紛”案中,法院認為,如果一個計算機程序為達到一個固定目的可以使用多種方法,那么這些方法就屬于表現(xiàn)形式,而非思想概念。此時,計算機程序的結(jié)構(gòu)、順序等就被認為是程序的表現(xiàn),受著作權(quán)法保護[19]。

    著作權(quán)法對計算機軟件作品保護的手段僅限于復(fù)制等簡單的行為,與軟件設(shè)計人的需求相背離。著作權(quán)法對于計算機軟件作品的思想并不保護,故而若程序員采用與原軟件完全不同的編程語言而撰寫功能相似的程序,實現(xiàn)了對原程序的替代,但是著作權(quán)法卻并不認為這是一種侵權(quán)行為??梢姡鳈?quán)法保護模式僅僅能夠保護人工智能算法的外觀,而對于其本身的價值卻無法提供完滿的保護。

    計算機軟件的保護期與自動取得機制也容易招致風險。計算機軟件的保護期為最長不超過50年⑥。而計算機軟件的更新速度遠遠要小于50年,使用計算機軟件的保護機制容易造成資源的浪費。同時,著作權(quán)的自動取得制度無法規(guī)避普遍性的算法風險,算法有時基于某種違法或違背倫理之目的而被開發(fā),缺少事前的過濾以及預(yù)防機制會造成不必要的損害。換言之,某些算法雖然在開發(fā)時具有正當目的,但有時在訓練時基于某些瑕疵會構(gòu)成歧視、損害人格尊嚴的行為。故而,以著作權(quán)法對人工智能算法進行保護,在保護人工智能算法時具有突出的不可預(yù)測性,可能無法抑制算法的侵權(quán)風險。

    (二)專利法保護路徑的風險

    賦予人工智能算法專利地位會引發(fā)算法壟斷風險。賦予較為基礎(chǔ)的人工智能算法以專利權(quán),以及人工智能重組詞匯、替換定義、同義詞、反義詞等方式生成一系列人工智能算法技術(shù)方案[20]將會侵占公有領(lǐng)域,造成不合理的壟斷。Colem能夠自動生成專利文本,原理在于詞匯的替換功能,其本身并不對所生成方案的實用性、新穎性、創(chuàng)造性進行考量。如果生成的技術(shù)方案足夠多,最終生成具備可行性的人工智能算法專利只是概率問題,此所謂埃米爾·博雷爾之“無限猴子定理”。

    賦予過于基礎(chǔ)的人工智能算法以專利權(quán)會使得后續(xù)人工智能算法的產(chǎn)出“無力”,不斷被人工智能生成的人工智能算法技術(shù)方案如果不能夠被嚴格規(guī)制,將會過度侵占公有領(lǐng)域。這種問題已經(jīng)初露端倪。以Google為例,它將Dropout[21]這一基礎(chǔ)算法申請專利,為以后的算法鏈條與算法的商業(yè)化布局,而所有要用到Dropout的算法生產(chǎn)者、使用者都要面臨隨時侵權(quán)的困境。

    人工智能算法的技術(shù)復(fù)雜度往往阻礙算法的公開。人工智能算法的構(gòu)成極其復(fù)雜,它不斷地訓練數(shù)據(jù),從數(shù)據(jù)中學習,進而更新算法,這加劇了人工智能算法的描述性困難。即便是算法的設(shè)計師,也很難預(yù)測算法生成的結(jié)果。人工智能領(lǐng)域的發(fā)明可能包括大量的神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)和軟件算法,這些內(nèi)容使得人工智能算法的描述與“抽象思想”極為相似,很容易被排除于專利主題之外。

    根據(jù)各國的法律,盡管人工智能算法可能被授予專利權(quán),但有可能造成重復(fù)保護。進言之,法律保護技術(shù)的具體應(yīng)用和改進,而人工智能算法的發(fā)展方向反而是開發(fā)具有普遍性的、能替代人類在某些領(lǐng)域的決策的自動化算法。同一人工算法可以被應(yīng)用于醫(yī)學領(lǐng)域判斷病人的病癥,也可能被應(yīng)用于工業(yè)生產(chǎn)中,觀察材料的變化。如果授予上述兩者以專利權(quán),則在實質(zhì)上授予了同一種人工智能算法專利給不同的權(quán)利人。

    (三)商業(yè)秘密保護路徑的隱憂

    將人工智能算法作為商業(yè)秘密進行保護的最大問題是事關(guān)倫理于人類發(fā)展的人工智能算法“透明度”問題。使用商業(yè)秘密保護算法,會導(dǎo)致算法決策過程的不可知性,在某些事關(guān)人類自身自由、健康、隱私等層面,如果這一算法是不透明的,將會與私法自治的民法原則相沖突。以合法的外在形式對權(quán)利自決形成阻礙[22]。人工智能算法的不透明會加劇不正當競爭行為的違法性,一個網(wǎng)上商店可以識別網(wǎng)站訪問者,并將他們分類為價格敏感型或價格不敏感型。由于價格差異,商店的目標是收取每一個消費者愿意支付的最高價格。提供在線輔導(dǎo)服務(wù)的美國公司普林斯頓評論(Princeton Review)的收費就是如此,Ang? win等人發(fā)現(xiàn)該公司的價格差異化做法導(dǎo)致亞洲背景的人價格更高,因為具有亞洲背景的人的購買意愿是其他人的1.8倍[23]。算法可能被用于實施傳統(tǒng)的各類反競爭行為或“算法合謀”[24]。人工智能算法能夠支持或促進實施、監(jiān)測、執(zhí)行或隱瞞各自的反競爭行為,包括但不限于支持或促進橫向壟斷,還可以用于制定縱向壟斷協(xié)議、固定轉(zhuǎn)售價格等情況。除此之外,由于人工智能算法是基于數(shù)據(jù)訓練而獲得的,企業(yè)也可以通過共享數(shù)據(jù)、人工智能算法而與第三方勾結(jié),進而事實上達到合謀的目的。由于算法的不可解釋性特質(zhì),上述情況很難被監(jiān)管機關(guān)發(fā)現(xiàn),對市場秩序產(chǎn)生了極大影響,也在沖擊著法律的底線。

    人工智能算法的不可解釋性也可能產(chǎn)生歧視效應(yīng),因為基于有偏見的訓練數(shù)據(jù),算法也可能產(chǎn)生歧視性的結(jié)果。在美國的某些地區(qū),法院通過康斯威星州“Loomis v. Wisconsin”案中,Loomis認為,州法院使用COMPAS算法模型做出的決策缺乏公正性,遂向州最高法院上訴,而康斯威星州以COMPAS算法為一種商業(yè)秘密而拒絕提供[6]。據(jù)報道,亞馬遜已經(jīng)停止使用人工智能系統(tǒng)來篩選工作,因為人工智能算法對公司過去人員錄取數(shù)據(jù)進行學習后,對男性候選人更加青睞,而對女性更有偏見,并沒有以性別中立的方式挑選職位候選人[25]。人工智能算法歧視還表現(xiàn)在圖像搜索歧視、人臉識別歧視、翻譯工具歧視等方面[26]。

    三、路徑選擇:以專利權(quán)保護路徑為主的多元保護路徑

    (一)基本目標:發(fā)展與公開

    人工智能算法作為人工智能的“靈魂”,是人工智能發(fā)明的核心,也是企業(yè)提高競爭力而獲利的核心,同時亦是人工智能社會的進步所在。人工智能的快速發(fā)展有賴于前人無私的開源代碼以及信息共享。在人工智能初始發(fā)展階段,約翰·霍普菲爾德和大衛(wèi)·魯梅爾哈特普及了“深度學習”技術(shù),愛德華·費根鮑姆引入了專家系統(tǒng),該系統(tǒng)模仿了人類專家的決策過程。兩組不同的專家并沒有將所獲得的人工智能算法結(jié)構(gòu)私藏,而是分享給了本行業(yè)內(nèi)的研究人員。在他們的基礎(chǔ)上,大衛(wèi)·魯梅爾哈特、杰弗里·欣頓與羅納德·威廉姆斯發(fā)現(xiàn)了一種新的學習過程——反向傳播,將其運用于類似神經(jīng)元單位的網(wǎng)絡(luò),也成為人工智能飛速發(fā)展的重要技術(shù)。在算法發(fā)展的歷史上,真正做出突出貢獻的往往是本領(lǐng)域內(nèi)的研究人員,他們的研究基礎(chǔ)往往是上一代人的失敗或成功經(jīng)驗。將人工智能算法的代碼、結(jié)構(gòu)、思路等進行公開才是技術(shù)與社會進步的應(yīng)有之義。

    國際上對人工智能算法的“可解釋性”“問責制”“透明性”要求也促進了算法的公開與透明。電氣和電子工程師學會發(fā)布了《道德合規(guī)設(shè)計》,將“問責制”和“透明性”作為兩項基本原則,用以指導(dǎo)人工智能的發(fā)展?!兜赖潞弦?guī)設(shè)計》建議AI系統(tǒng)“為所有決策提供明確的理由”“應(yīng)始終可被理解”,否則人工智能系統(tǒng)的設(shè)計和開發(fā)將面臨倫理道德的監(jiān)督。但《道德合規(guī)設(shè)計》也指出,這種透明并不意味著對知識產(chǎn)權(quán)的侵犯,并建議以專業(yè)人員和非專業(yè)人員都能夠理解的清晰語言描述人工智能測試的過程和結(jié)果,如公布訓練用數(shù)據(jù)庫、選取“公共管理人”等方法[27]。國際技術(shù)法協(xié)會于2019年6月發(fā)布了對《負責任的人工智能:全球政策框架》中道德準則的深入審查,它指出要對人工智能算法施加“可解釋性”的要求,如人工智能算法的研發(fā)者應(yīng)該向社會提供有關(guān)如何準確輸出特定輸出的信息,但不要過分地限制人工智能開發(fā)人員和使用者保護其專有算法、商業(yè)機密和專有技術(shù),以及維護競爭優(yōu)勢的能力。經(jīng)濟合作與發(fā)展組織發(fā)布了一系列有關(guān)人工智能的政府間政策指南,將透明性、可解釋性以及問責制視為重要目標。從各個文件中可以看出,人工智能算法的問責制、透明性與可解釋性是人工智能發(fā)展的基本原則,是國際公認的倫理道德,也是知識產(chǎn)權(quán)法對人工智能算法進行保護的基本遵循。

    (二)制度選擇:以專利法為主的多元保護路徑

    倫理的規(guī)制并不能以犧牲權(quán)利人的專有權(quán)利為代價,即應(yīng)當在公開與保護之間做出平衡。這與專利法的“公開發(fā)明理論”的基本原理是一致的。換言之,基于產(chǎn)業(yè)政策思想,賦予發(fā)明人排他獨占權(quán)之專利權(quán),透過其技術(shù)之透露,有效散布技術(shù)資訊,以此為基礎(chǔ),促進產(chǎn)業(yè)技術(shù)之進一步發(fā)展[28]。在英國專利法發(fā)展的歷史中,專利法首先源于商人保障投資的需求和政府引入外國新式制造業(yè)的產(chǎn)業(yè)政策。在商人的獨占權(quán)利過于膨脹以致阻礙了技術(shù)進步時,政府為了平衡技術(shù)的發(fā)展與對發(fā)明的保障,要求申請人將其技術(shù)予以披露。18世紀以后,專利說明書逐漸成為一項專利申請的正式請求,從而要求專利人詳細描述并公開其發(fā)明的內(nèi)容,使公眾知曉,有利于發(fā)明作為知識和技藝的傳播,進而成為其獲取獨占權(quán)利的對價[29]。除卻產(chǎn)業(yè)政策的考量,專利公開能夠增加社會公共知識儲備,避免對同一技術(shù)的重復(fù)投資,又為后繼創(chuàng)新提供必要的知識基礎(chǔ)[30]。

    專利法對技術(shù)方案之“公開”要求無疑與人工智能算法的發(fā)展需求和限制相契合。一方面,人工智能算法的發(fā)明人企圖通過對市場的壟斷而獲得獨占的利益,進而擴大自己在人工智能行業(yè)的市場份額;另一方面,人工智能算法的隱蔽性需要人工智能算法的必要公開,可解釋、可控制、可問責的人工智能算法才是有益于社會福祉的技術(shù)。但以專利法保護人工智能算法仍存在問題,可專利主題的劃定標準,專利權(quán)的期限,專利審查中實用性、新穎性、創(chuàng)造性的標準,專利審查的披露流程,本領(lǐng)域內(nèi)技術(shù)人員的選擇都應(yīng)該依照技術(shù)發(fā)展的現(xiàn)實進行變化。

    政府應(yīng)通過規(guī)則的設(shè)置來引導(dǎo)申請人申請專利,而不應(yīng)剝奪技術(shù)開發(fā)人員應(yīng)擁有的自由選擇權(quán)。申請人可結(jié)合人工智能算法的性質(zhì)、技術(shù)原理、所屬領(lǐng)域等多方考量其保護模式。對于某些更新速度快、較為基礎(chǔ)的人工智能算法,為其申請專利權(quán)不僅耗時較長,也面臨無法獲權(quán)的風險。訓練算法所使用的材料及中間的失敗結(jié)果、錯誤算法等無法獲得專利權(quán)。二者都適宜在商業(yè)秘密法中進行保護。對于能夠以代碼為表達形式,且較難復(fù)制的人工智能算法,則可作為計算機軟件進行登記。

    (三)制度設(shè)計:人工智能算法的排除領(lǐng)域

    人工智能算法在與具體特征相結(jié)合時,使用領(lǐng)域十分寬泛,其作為專利客體的核心挑戰(zhàn)是其以合法技術(shù)外觀而非法獲得專利權(quán)?!吨腥A人民共和國專利法》(以下簡稱《專利法》)排除違背公序良俗、利用遺傳資源并依賴該遺傳資源完成的發(fā)明創(chuàng)造。因此,當人工智能算法在設(shè)計或應(yīng)用時會產(chǎn)生以上問題,應(yīng)當被排除于可專利客體之外。

    1.有悖公共秩序、倫理道德的算法發(fā)明

    TRIPS協(xié)定在對專利領(lǐng)域的及社會公德、公共利益進行開放式規(guī)定,允許各成員國依據(jù)本國國情而進行相應(yīng)規(guī)定,只要這一國內(nèi)規(guī)定并不違背TRIPS的相關(guān)要求。世界范圍內(nèi),公序良俗與倫理道德不僅是民法中的基本原則,也延續(xù)為知識產(chǎn)權(quán)法的基本原則,并在專利法中具化為具體的客體審查規(guī)則。以韓國、日本為例,二者均排除了違背公共秩序或者道德的發(fā)明,韓國進一步將有害于公共健康的發(fā)明進行排除。我國《專利法》在第5條明確排除授予違法、違背社會公德、違反公共利益的發(fā)明。《專利審查指南》列舉了因違反社會公德不被授予專利權(quán)的類型:如帶有暴力兇殺或者淫穢內(nèi)容的圖片或者照片的外觀設(shè)計不能被授予專利權(quán)⑦。

    首先,可能帶來倫理挑戰(zhàn)的人工智能算法不能獲得專利權(quán)[31]。從目前案例中反映出兩種倫理問題:一方面,人工智能系統(tǒng)可能具備人類本身的偏見而導(dǎo)致對不同種族、不同收入人群的歧視;另一方面,人工智能算法使用人類的社交數(shù)據(jù)進行學習,可能會將人類數(shù)據(jù)進行組合進而分析出已清洗過數(shù)據(jù)中的隱私或更甚者直接未經(jīng)授權(quán)而學習人類的隱私數(shù)據(jù)[32]。在萬物皆互聯(lián)之今日,用戶的身份信息、家庭住址、購物偏好信息、位置信息等均可被找到,加之互聯(lián)網(wǎng)企業(yè)對隱私保護的忽視及對數(shù)據(jù)的需求,人類的隱私被侵犯問題已經(jīng)十分嚴重。人工智能算法如果被設(shè)計為歧視的工具或有產(chǎn)生歧視問題的可能性,則應(yīng)當被禁止授予專利權(quán);如果人工智能算法蓄意搜集用戶數(shù)據(jù)并販賣或進行其他非法行為,有侵犯人類隱私之虞,則不應(yīng)當獲得專利權(quán)。

    其次,可能成為違法行為輔助工具的人工智能算法不能獲得專利權(quán)。人工智能存在威脅人類社會的可能性,對可能出現(xiàn)的技術(shù)風險有賴于法律制度來有效控制。危害公共秩序的人工智能產(chǎn)物,如智能賭博工具、隱匿盜竊工具等,都應(yīng)在專利排除的范圍之列[33]。

    最后,惡意制造并用于傷害人類健康的人工智能算法不應(yīng)當被授予專利權(quán)。例如,“防暴注射器”通過將劇痛藥水注射入人體的方式,產(chǎn)生劇痛的效果,達到迫使終止犯罪的目的。這種注射器所帶來的對人體健康的危害遠遠大于其遏制犯罪的效果

    ⑧。人工智能導(dǎo)彈檢測系統(tǒng)與人工智能發(fā)射系統(tǒng)已經(jīng)在英國與美國陸續(xù)研制出來,內(nèi)含人工智能算法的系統(tǒng)正逐漸成為人類和平與健康的威脅,一旦失去控制,用作武器的人工智能算法往往會對人類生命、健康造成直接的威脅。

    2.某些領(lǐng)域的算法發(fā)明

    我國專利法對專利客體排除只規(guī)定的邏輯是將“不視為發(fā)明的客體”與“不授予專利權(quán)的客體”放在同一條款內(nèi),不進行具體區(qū)分。我國將科學發(fā)現(xiàn)、智力活動的規(guī)則和方法作為“不視為發(fā)明的客體”,將疾病的診斷和治療方法、動物和植物品種、用原子核變換方法獲得的物質(zhì)、對平面印刷品的圖案、色彩或者二者的結(jié)合作出的主要起標識作用的設(shè)計是“不授予專利權(quán)的客體”。言及人工智能算法,它并非動物或植物品種,也不屬于用原子核變換方法得到的物質(zhì)。故而我們應(yīng)當將目光聚焦于醫(yī)療領(lǐng)域人工智能算法的可專利性問題。

    有關(guān)診斷和治療疾病的儀器設(shè)備可以申請專利,但疾病的診斷與治療方法一直被認為不具有“實用性”,原因在于醫(yī)療對象體質(zhì)差異與既往病史之區(qū)別,醫(yī)療方法無法在臨床實踐中標準化地大規(guī)模使用[33]。同時,出于人道主義考慮,醫(yī)生在診斷和治療過程中應(yīng)當有選擇各種方法和條件的自由,若某種在臨床中效用較大的治療方法被授予專利權(quán),則醫(yī)生在救治病人時的選擇性變少,便使得專利權(quán)凌駕于人類生命之上[34]。我國《專利審查指南》明確規(guī)定,疾病的診斷和治療方法不可以被授予專利。

    在醫(yī)療場景中,人工智能算法能夠?qū)Σ∪说慕】禂?shù)據(jù)進行學習,對醫(yī)生的診斷方案進行輸入,最終輔助醫(yī)生進行決策,甚至能夠獨立生成醫(yī)療方案并實施。這與以往醫(yī)生問診并開具處方并不相同。人工智能算法所做的是挑選特征數(shù)據(jù),匹配已經(jīng)設(shè)計好的醫(yī)療方案,輸出決策。這種判斷方法完全具有重復(fù)性。同時,如果人工智能算法僅僅具有輔助診斷治療的功效,或者能夠生成診斷方法,則并不實際影響病人的救治,這一算法作為一種方法本身具有可專利性的可能。

    專利法是技術(shù)之法、創(chuàng)新之法,是界定公共領(lǐng)域與私有權(quán)利的“界碑”,也是維護公共秩序的責任之法。人工智能技術(shù)的創(chuàng)新走在前頭,各國專利實踐與專利法的制度便緊隨其后。我們應(yīng)當秉持開放的價值觀,尊重技術(shù)發(fā)展的規(guī)律,適當放寬專利客體的范圍。但同時,也應(yīng)當以民法、專利法的基本原則為尺度,尊重人類的隱私和健康,尊重法律與社會公德,明確專利客體排除范圍。

    結(jié)語

    代碼變化性或非代碼表達性使得著作權(quán)法對人工智能算法的保護受限或?qū)r值連城的算法進行披露,商業(yè)秘密能夠不區(qū)分技術(shù)的外觀而對技術(shù)本身進行保護,卻對人工智能算法產(chǎn)生了過度保護,二者均無法解決權(quán)利人與使用人之間的矛盾。人工智能算法的發(fā)展需求與透明度、可問責制、可解釋性需求同專利法保護路徑相契合,應(yīng)當形成以人工智能算法技術(shù)的專利權(quán)保護為核心,以商業(yè)秘密和著作權(quán)保護為補充的復(fù)合性保護路徑,方能合理應(yīng)對算法保護的現(xiàn)實訴求。根據(jù)我國《專利法》與《專利審查指南》的要求,審查機關(guān)應(yīng)該對違背公共秩序、倫理道德的算法發(fā)明以及作為醫(yī)療方法的算法發(fā)明排除于專利客體之外。

    參考文獻:

    [1]姚葉.數(shù)據(jù)糾紛的法律規(guī)制:現(xiàn)狀、困境、對策[J].南海法學,2019,3(6):92?102.

    [2]寧立志,郭玉新.專利權(quán)權(quán)利客體例外制度研究[J].河南師范大學學報(哲學社會科學版),2020,47(1):31?45.

    [3]左亦魯.算法與言論——美國的理論與實踐[J].環(huán)球法律評論,2018,40(5):122?139.

    [4] USPTO. Inventing AI Tracing the diffusion of artificial in? telligence with U.S. patents[R/OL].(2020?10?5)[2020-12-21]. https://www. uspto. gov/sites/default/files/documents/ OCE-DH-AI.pdf.

    [5]姜野.算法的規(guī)訓與規(guī)訓的算法:人工智能時代算法的法律規(guī)制[J].河北法學,2018,36(12):142?153.

    [6]張韜略.美國《專利客體適格性審查指南》的最新修訂及評述[J].知識產(chǎn)權(quán),2020(4):84?96.

    [7] GOSWAMI V. Algorithms, expression and the charter[J]. A Way Forward for Canadian Courts.Western Journal of Le? gal Studies, 2017, 1(1): 3?17.

    [8]吳漢東.保護知識產(chǎn)權(quán)就是保護創(chuàng)新[J].理論導(dǎo)報,2020(12):61.

    [9]王德夫.對中國計算機軟件專利制度的審思[J].大連海事大學學報(社會科學版),2015,14(1):69?74

    [10] M·雷炳德.著作權(quán)法[M].張恩民,譯.北京:法律出版社,2015:129?131.

    [11]熊文聰.論“已經(jīng)固定”不是電影作品的可版權(quán)要件[J].山東科技大學學報(社會科學版),2019,21(2):52?56.

    [12] PANKAJ S. How is the patent world responding to the AI revolution? [J]. Managing Intellectual Property, 2019, 48:281.

    [13] Intuit Inc. (Mountain View, CA, US).System and method for identifying, prioritizing and encapsulating errors in ac? counting data:11/413308[P].2006-04-28.

    [14] Wal-Mart Stores, Inc. (Bentonville, AR, US).System and method for high accuracy product classification with lim? ited supervision:13/852884[P].2013-03-28.

    [15]孔祥俊.反不正當競爭法原理[M].北京:知識產(chǎn)權(quán)出版社,知識產(chǎn)權(quán)出版社,2005:399.

    [16]李揚.知識產(chǎn)權(quán)法基本原理[M].北京:中國社會科學出版社,2010:644?653.

    [17]游濤.計算機軟件商業(yè)秘密的法律保護[J].中國集成電路,2010(7):82.

    [18]李長健,徐麗峰.我國計算機軟件專利保護文獻綜述[J].重慶郵電大學學報(社會科學版),2010,22(3):20?30.

    [19]段志秀.計算機軟件的著作權(quán)保護研究[D].蘭州大學, 2019.

    [20]劉強,馬歡軍.人工智能專利侵權(quán)問題研究[J].福建江夏學院學報,2018,8(4):10?21.

    [21] Google Inc., Mountain View, CA (US) .System and method for addressing overfitting in a neural network:14/015768[P].2014-06-26.

    [22]蔡琳.智能算法專利保護的制度探索[J].西北工業(yè)大學學報(社會科學版),2019(3):3?111.

    [23] LARSON J, MATTU S, ANGWIN J. Unintended conse? quences of geographic targeting[EB/OL]. (2015-08-31)[2022-01-16]. https://link. springer. com/content/pdf/ 10.1007%2F978?3-030?12524?0.pdf.

    [24]韓偉.算法合謀反壟斷初探——OECD《算法與合謀》報告介評(上)[J].競爭政策研究,2017(5):112?121.

    [25] KIM P T. Big data and artificial intelligence: new chal? lenges for workplace equality[J]. U. Louisville L. Rev., 2018, 57(2): 313.

    [26] ZUIDERVEEN B F. Discrimination, artificial intelligence, and algorithmic cision-making[R]. Strasbourg: Director? ate General of Democracy at the Council of Europe, 2018: 16?17.

    [27] CHATILA R, HAVENS J C. The IEEE global initiative on ethics of autonomous and intelligent systems[M].Robotics and Well-Being. Switzerland: Springer, 2019: 11.

    [28]楊崇森著.專利法理論與應(yīng)用:第3版[M].臺北:三民書局,2013:14.

    [29]黃海峰.知識產(chǎn)權(quán)的話語與現(xiàn)實[M].武漢:華中科技大學出版社,2011:151?152.

    [30]李晨樂,葉靜怡.專利公開、技術(shù)溢出與專利私人價值[J].中央財經(jīng)大學學報,2016(9):112?121.

    [31]劉強.人工智能算法發(fā)明可專利性問題研究[J].時代法學,2019,17(4):17?26.

    [32]王利明.人工智能時代對民法學的新挑戰(zhàn)[J].東方法學, 2018(3) :4?9.

    [33]吳漢東.人工智能生成發(fā)明的專利法之問[J].當代法學,2019,33(4):24?38.

    [34]謝敏楠,Astrid YOUNG.歐洲及中國在醫(yī)藥、生物領(lǐng)域不可專利客體方面的比較[J].中國發(fā)明與專利,2019,16(6):92?99.

    Multidimensional Interpretation and Choice: Exploring the Path of Intellec? tual Property Protection for Artificial Intelligence Algorithms

    Yao Ye

    (Center for Study of Intellectual Property Rights, Zhongnan University of Economics and Law, Wuhan 430073, China; Max Planck Institute for Innovation and Competition, Munich 80539, Germany)

    Abstract: Artificial intelligence (AI) algorithmis the core of the rapid progress of AI, its design logic, operation process and appearance are different from traditional computer program algorithm, but it does not go beyond the essence of"knowledge products". AI algorithms can be protected under copyright law, patent law and unfair competition law, with copyright law and patent law protecting the expression of AI algorithms as the basic approach and trade secret protec? tion path protecting the core of AI algorithms. The above three rules have advantages and disadvantages respectively. The development of AI algorithms is dependent on the disclosure of previous technologies, and the international com? munity has put forward ethical requirements for the development of AI algorithms in terms of interpretability, transpar? ency and accountability. The "disclosure of invention theory" of patent law is in line with the needs of AI algorithms, and the protection of AI algorithms as technical solutions in patent law seems to balance the interests of technology rights holders and users, prevent the creation of algorithmic black boxes, and maintain social morality and order. At the same time, the algorithm invention that violates public order and ethics and morality, and the algorithm inventions as medical methods should be excluded from the patent object.

    Keywords: artificial intelligence algorithms; copyright law; anti-unfair competition law; patent law; algorithmic ethics

    ①參見深圳市南山區(qū)人民法院民事判決書(2019)粵0305民初14010號。

    ②參見https://www.g2.com/categories/artificial-intelligence,最后訪問日期:2021年3月17日。

    ③參見https://www.educba.com/artificial-intelligence-software/,最后訪問日期:2021年3月17日。

    ④參見2019年《專利審查指南》。

    ⑤參見2017年《專利審查指南》第9章。

    ⑥參見2013年《計算機軟件保護條例》第14條。

    ⑦參見2019年《專利審查指南》第2章6.1.2。

    ⑧參見(2017)京行終4293號周正樹與國家知識產(chǎn)權(quán)局專利復(fù)審委員會因發(fā)明專利申請駁回復(fù)審行政糾紛上訴案。

    猜你喜歡
    反不正當競爭法專利法著作權(quán)法
    美國新專利法下的“現(xiàn)有技術(shù)”(上)
    英語世界(2022年9期)2022-10-18 01:12:02
    新《著作權(quán)法》視域下視聽作品的界定
    Fintech可專利性初探——兼議《專利法》第2條修改
    法大研究生(2019年2期)2019-11-16 00:40:08
    專利侵權(quán)行政執(zhí)法的邊界——兼論《專利法》第四次修改
    論版權(quán)轉(zhuǎn)讓登記的對抗效力——評著作權(quán)法修改草案(送審稿)第59條
    專利法第四次修訂中的兩個重要問題
    論對“一臺戲”的法律保護——以《德國著作權(quán)法》為參照
    新聞聚合APP著作權(quán)侵權(quán)的行為規(guī)制
    今傳媒(2016年5期)2016-06-01 23:53:50
    《反不正當競爭法》草案的四大亮點
    論商業(yè)賄賂的反不正當競爭法規(guī)制
    国产成人aa在线观看| 99国产精品一区二区蜜桃av| 51国产日韩欧美| 99久久成人亚洲精品观看| 在线十欧美十亚洲十日本专区| 色哟哟哟哟哟哟| 色吧在线观看| 18美女黄网站色大片免费观看| 老司机福利观看| 国产在线男女| 亚洲专区中文字幕在线| 美女高潮喷水抽搐中文字幕| 好男人在线观看高清免费视频| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 每晚都被弄得嗷嗷叫到高潮| 床上黄色一级片| 欧美成狂野欧美在线观看| 高清在线国产一区| 国产白丝娇喘喷水9色精品| 精华霜和精华液先用哪个| 久久久久久国产a免费观看| 真人一进一出gif抽搐免费| 观看免费一级毛片| 精品一区二区三区人妻视频| 欧美精品国产亚洲| 精品一区二区三区视频在线| 窝窝影院91人妻| 不卡一级毛片| 成年女人永久免费观看视频| 国产麻豆成人av免费视频| 成人一区二区视频在线观看| 97碰自拍视频| 色综合站精品国产| 1024手机看黄色片| 精品久久久久久久人妻蜜臀av| 两个人的视频大全免费| 成人特级av手机在线观看| 精品熟女少妇八av免费久了| 亚洲午夜理论影院| 日韩欧美国产一区二区入口| 免费大片18禁| 欧美极品一区二区三区四区| 亚洲精品一卡2卡三卡4卡5卡| 午夜a级毛片| 久久6这里有精品| 国产v大片淫在线免费观看| 久久精品国产亚洲av涩爱 | 高清在线国产一区| 午夜两性在线视频| 国产精品一区二区三区四区久久| 熟女人妻精品中文字幕| 国产精品人妻久久久久久| 男人舔奶头视频| 丰满乱子伦码专区| 欧美中文日本在线观看视频| 国产白丝娇喘喷水9色精品| 久久亚洲精品不卡| 国产精华一区二区三区| 成人欧美大片| 亚洲精品在线观看二区| 免费黄网站久久成人精品 | 一区二区三区四区激情视频 | 五月玫瑰六月丁香| 男人的好看免费观看在线视频| 老女人水多毛片| 亚洲人成网站在线播放欧美日韩| 国产免费av片在线观看野外av| 成人无遮挡网站| 天堂影院成人在线观看| 不卡一级毛片| 99国产综合亚洲精品| 美女高潮的动态| 日本熟妇午夜| 最新中文字幕久久久久| 俺也久久电影网| 国产在线精品亚洲第一网站| 久久精品人妻少妇| 99国产综合亚洲精品| 一级av片app| 久久久久国产精品人妻aⅴ院| 少妇丰满av| 国产精品久久视频播放| 中文字幕久久专区| 久久久久亚洲av毛片大全| 国产一区二区亚洲精品在线观看| 日本黄色片子视频| 亚洲av二区三区四区| 欧美午夜高清在线| 国产美女午夜福利| 亚洲最大成人中文| 亚洲自偷自拍三级| 中文字幕精品亚洲无线码一区| 午夜免费男女啪啪视频观看 | 欧美一区二区精品小视频在线| 欧美日韩中文字幕国产精品一区二区三区| 亚洲一区高清亚洲精品| 亚洲欧美日韩东京热| 午夜福利欧美成人| 俄罗斯特黄特色一大片| 国产亚洲精品久久久com| 国产精品伦人一区二区| 99热精品在线国产| 午夜两性在线视频| 91av网一区二区| 黄色视频,在线免费观看| 在现免费观看毛片| 18禁黄网站禁片午夜丰满| 免费看日本二区| 一级作爱视频免费观看| 欧美国产日韩亚洲一区| 在线播放无遮挡| 欧美日韩黄片免| 国产高清激情床上av| 午夜亚洲福利在线播放| 久久久久性生活片| 国产黄片美女视频| 日韩欧美三级三区| 国产亚洲欧美98| 国产精品乱码一区二三区的特点| 五月玫瑰六月丁香| 亚洲第一欧美日韩一区二区三区| 国内精品美女久久久久久| 国产一区二区亚洲精品在线观看| 99热这里只有精品一区| 日韩欧美 国产精品| 亚洲av日韩精品久久久久久密| 欧美黄色淫秽网站| 老熟妇乱子伦视频在线观看| 精品久久久久久久久av| 成年免费大片在线观看| 日本成人三级电影网站| 亚洲国产欧洲综合997久久,| 老司机午夜福利在线观看视频| 婷婷精品国产亚洲av| 亚州av有码| 日韩 亚洲 欧美在线| 欧美乱色亚洲激情| 国产免费av片在线观看野外av| 久久久国产成人免费| 韩国av一区二区三区四区| 久久精品国产自在天天线| 桃红色精品国产亚洲av| 国产在线男女| 午夜福利欧美成人| 毛片女人毛片| 在线国产一区二区在线| 一级a爱片免费观看的视频| 亚洲五月天丁香| 亚洲三级黄色毛片| 亚洲片人在线观看| 很黄的视频免费| 国产精品一区二区三区四区免费观看 | 久久精品国产99精品国产亚洲性色| 国产黄片美女视频| 丰满乱子伦码专区| 国产大屁股一区二区在线视频| 日韩欧美 国产精品| 亚洲av一区综合| 国内久久婷婷六月综合欲色啪| av在线蜜桃| 99国产综合亚洲精品| 欧美国产日韩亚洲一区| 人人妻人人澡欧美一区二区| 一边摸一边抽搐一进一小说| 国产精品电影一区二区三区| 久久这里只有精品中国| 成人av在线播放网站| 欧美乱色亚洲激情| 精品久久久久久久久av| 直男gayav资源| 91久久精品电影网| 成人午夜高清在线视频| 国产伦精品一区二区三区四那| 91av网一区二区| 禁无遮挡网站| 人人妻人人看人人澡| 午夜a级毛片| 久9热在线精品视频| 欧美+日韩+精品| 国产精品一及| 极品教师在线视频| 亚洲精品在线美女| 亚洲欧美日韩卡通动漫| 小蜜桃在线观看免费完整版高清| 男人舔女人下体高潮全视频| 毛片女人毛片| 网址你懂的国产日韩在线| 亚洲内射少妇av| 亚洲精品456在线播放app | 天堂动漫精品| 欧美高清性xxxxhd video| 免费在线观看影片大全网站| 99国产精品一区二区蜜桃av| 国产精品不卡视频一区二区 | 免费一级毛片在线播放高清视频| 国产精品一及| 亚洲第一欧美日韩一区二区三区| 日韩精品青青久久久久久| 免费搜索国产男女视频| 国产伦一二天堂av在线观看| 国产三级黄色录像| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 桃红色精品国产亚洲av| 欧美激情久久久久久爽电影| 国产一区二区三区在线臀色熟女| 亚洲在线自拍视频| 国产免费av片在线观看野外av| 在现免费观看毛片| 成人高潮视频无遮挡免费网站| 精品午夜福利在线看| 久久精品国产99精品国产亚洲性色| 国产午夜福利久久久久久| 天美传媒精品一区二区| 国产在线男女| 亚洲自偷自拍三级| 国内久久婷婷六月综合欲色啪| 嫩草影视91久久| 色精品久久人妻99蜜桃| 91九色精品人成在线观看| 99久久精品热视频| 亚洲欧美日韩高清专用| 一个人看视频在线观看www免费| 欧美黑人欧美精品刺激| 亚洲美女搞黄在线观看 | 又紧又爽又黄一区二区| 中文字幕熟女人妻在线| 啦啦啦观看免费观看视频高清| 美女免费视频网站| 国内精品久久久久久久电影| 亚洲人成网站在线播放欧美日韩| 色播亚洲综合网| 国产精品野战在线观看| 亚洲av美国av| 国产精品久久久久久久久免 | 嫁个100分男人电影在线观看| 91狼人影院| 国产私拍福利视频在线观看| 欧美极品一区二区三区四区| 日韩成人在线观看一区二区三区| 国内精品久久久久久久电影| 日韩免费av在线播放| 亚洲精品影视一区二区三区av| 18+在线观看网站| 久久中文看片网| 成年女人毛片免费观看观看9| 我的老师免费观看完整版| 色播亚洲综合网| 脱女人内裤的视频| 久久中文看片网| 欧美成人免费av一区二区三区| 国产高清视频在线播放一区| 久久久久九九精品影院| 久久国产精品影院| 亚洲av一区综合| av专区在线播放| 我的女老师完整版在线观看| 日韩欧美在线二视频| 人人妻,人人澡人人爽秒播| 在线观看午夜福利视频| 国产伦一二天堂av在线观看| 国产一区二区三区在线臀色熟女| av在线老鸭窝| 91麻豆精品激情在线观看国产| 女人被狂操c到高潮| 日韩欧美 国产精品| 男女视频在线观看网站免费| 韩国av一区二区三区四区| 免费高清视频大片| 最近最新中文字幕大全电影3| 少妇人妻一区二区三区视频| 老司机午夜十八禁免费视频| 精品人妻偷拍中文字幕| 男人和女人高潮做爰伦理| 精品福利观看| 亚洲国产精品成人综合色| 18+在线观看网站| 亚洲av成人av| 亚洲在线自拍视频| 99热只有精品国产| 一本精品99久久精品77| 九九久久精品国产亚洲av麻豆| 欧美丝袜亚洲另类 | 亚洲国产欧洲综合997久久,| 日本一本二区三区精品| 在线免费观看的www视频| 欧美日韩亚洲国产一区二区在线观看| 精品久久久久久,| 日韩 亚洲 欧美在线| 欧美三级亚洲精品| 久久久久九九精品影院| 九九在线视频观看精品| 性色avwww在线观看| 久久久久国产精品人妻aⅴ院| 最近视频中文字幕2019在线8| 国产色婷婷99| 一二三四社区在线视频社区8| 亚洲精品乱码久久久v下载方式| 亚洲自拍偷在线| 中文字幕精品亚洲无线码一区| 国产精品一区二区性色av| 97热精品久久久久久| 成人高潮视频无遮挡免费网站| 极品教师在线免费播放| 99久久精品一区二区三区| 亚洲av美国av| 国产综合懂色| 日韩欧美三级三区| 国产精品一区二区免费欧美| 宅男免费午夜| 国产又黄又爽又无遮挡在线| 色综合亚洲欧美另类图片| 亚洲第一欧美日韩一区二区三区| 97人妻精品一区二区三区麻豆| aaaaa片日本免费| 1000部很黄的大片| 最近在线观看免费完整版| 99视频精品全部免费 在线| 嫩草影院新地址| 9191精品国产免费久久| 高清日韩中文字幕在线| 欧美中文日本在线观看视频| 亚洲国产精品sss在线观看| 午夜免费激情av| 国产探花在线观看一区二区| 变态另类丝袜制服| 免费在线观看日本一区| 有码 亚洲区| 国产色婷婷99| 亚洲精品粉嫩美女一区| 国产精品野战在线观看| a级毛片免费高清观看在线播放| 免费人成在线观看视频色| 亚州av有码| 国产又黄又爽又无遮挡在线| 深夜精品福利| 免费观看精品视频网站| 色哟哟·www| 啦啦啦观看免费观看视频高清| 香蕉av资源在线| 亚洲不卡免费看| 最新中文字幕久久久久| 丰满人妻熟妇乱又伦精品不卡| 91久久精品电影网| 嫩草影院新地址| 国产又黄又爽又无遮挡在线| 男女做爰动态图高潮gif福利片| 欧美极品一区二区三区四区| 搡女人真爽免费视频火全软件 | 嫩草影院入口| 99视频精品全部免费 在线| 久久天躁狠狠躁夜夜2o2o| 老熟妇乱子伦视频在线观看| 久久午夜福利片| 久久久久免费精品人妻一区二区| 我要搜黄色片| 在线十欧美十亚洲十日本专区| 一夜夜www| 国产精品99久久久久久久久| 狠狠狠狠99中文字幕| 国产免费男女视频| 69av精品久久久久久| 757午夜福利合集在线观看| 狠狠狠狠99中文字幕| 欧美日韩瑟瑟在线播放| 亚洲五月天丁香| .国产精品久久| 午夜福利在线观看吧| 黄色配什么色好看| 精品久久久久久久末码| 国产老妇女一区| 18禁裸乳无遮挡免费网站照片| 熟女电影av网| 一本一本综合久久| 91字幕亚洲| 三级毛片av免费| 男人舔奶头视频| aaaaa片日本免费| 自拍偷自拍亚洲精品老妇| 亚洲成a人片在线一区二区| 国产野战对白在线观看| 如何舔出高潮| 色综合亚洲欧美另类图片| 精品久久久久久久久久久久久| 久久婷婷人人爽人人干人人爱| 在线播放国产精品三级| 88av欧美| 波多野结衣巨乳人妻| 午夜福利免费观看在线| 内射极品少妇av片p| 精品免费久久久久久久清纯| 亚洲av二区三区四区| 在线观看午夜福利视频| av在线蜜桃| 日韩有码中文字幕| 人人妻人人澡欧美一区二区| 人妻久久中文字幕网| av欧美777| 99久久成人亚洲精品观看| 美女黄网站色视频| av专区在线播放| a级毛片a级免费在线| 在线播放无遮挡| 欧美日韩乱码在线| 看十八女毛片水多多多| 国产亚洲av嫩草精品影院| 999久久久精品免费观看国产| 1024手机看黄色片| 午夜福利在线在线| 特大巨黑吊av在线直播| 99久久精品热视频| 麻豆一二三区av精品| a级毛片免费高清观看在线播放| 9191精品国产免费久久| 成人午夜高清在线视频| 国产亚洲精品久久久久久毛片| 男人的好看免费观看在线视频| 色哟哟哟哟哟哟| 一进一出抽搐动态| 亚洲国产精品sss在线观看| 一卡2卡三卡四卡精品乱码亚洲| 国产伦精品一区二区三区视频9| 高清在线国产一区| 国产av不卡久久| 日韩欧美在线乱码| 黄色视频,在线免费观看| 两性午夜刺激爽爽歪歪视频在线观看| 国产精品久久视频播放| 免费在线观看影片大全网站| 国产视频内射| 亚洲美女视频黄频| 国产色婷婷99| 乱人视频在线观看| 国产白丝娇喘喷水9色精品| 性色avwww在线观看| 身体一侧抽搐| 亚洲欧美激情综合另类| 男女下面进入的视频免费午夜| 午夜久久久久精精品| 亚洲国产欧洲综合997久久,| 午夜免费男女啪啪视频观看 | 国产一区二区在线av高清观看| 日韩欧美在线乱码| 欧美在线一区亚洲| 亚洲第一区二区三区不卡| 日韩有码中文字幕| 久久国产乱子免费精品| 一本精品99久久精品77| 久久久久久国产a免费观看| 欧美+日韩+精品| 欧美黑人巨大hd| 国产精品久久久久久久电影| 日韩有码中文字幕| 一级a爱片免费观看的视频| 国产精品永久免费网站| 亚洲熟妇熟女久久| 好看av亚洲va欧美ⅴa在| 欧美在线一区亚洲| 国内精品美女久久久久久| 免费在线观看亚洲国产| avwww免费| 亚洲在线自拍视频| 偷拍熟女少妇极品色| 又黄又爽又免费观看的视频| 午夜精品在线福利| 久久人人精品亚洲av| 亚洲男人的天堂狠狠| 亚州av有码| 在线国产一区二区在线| 夜夜爽天天搞| 两个人的视频大全免费| 一级av片app| 一进一出好大好爽视频| 中文字幕高清在线视频| 国产精品久久久久久人妻精品电影| 女同久久另类99精品国产91| 欧美xxxx性猛交bbbb| 五月伊人婷婷丁香| 十八禁国产超污无遮挡网站| 国产精品精品国产色婷婷| 网址你懂的国产日韩在线| 好男人在线观看高清免费视频| av在线观看视频网站免费| 99久国产av精品| 国产伦精品一区二区三区视频9| 日韩大尺度精品在线看网址| 我要搜黄色片| 亚洲中文字幕日韩| aaaaa片日本免费| 搡女人真爽免费视频火全软件 | 简卡轻食公司| 一级a爱片免费观看的视频| 国产大屁股一区二区在线视频| 久久精品综合一区二区三区| 欧美激情久久久久久爽电影| 99在线视频只有这里精品首页| 亚洲自拍偷在线| 一本精品99久久精品77| 亚洲内射少妇av| 国产精品电影一区二区三区| 国产精品日韩av在线免费观看| 欧美精品啪啪一区二区三区| 日本 av在线| 欧美高清性xxxxhd video| 国产av不卡久久| 亚洲va日本ⅴa欧美va伊人久久| 俺也久久电影网| 婷婷精品国产亚洲av在线| 久久伊人香网站| 国产一区二区亚洲精品在线观看| 日韩精品中文字幕看吧| 别揉我奶头~嗯~啊~动态视频| 亚洲国产精品999在线| 丰满人妻熟妇乱又伦精品不卡| 国产亚洲欧美在线一区二区| 精品福利观看| 欧美xxxx性猛交bbbb| 午夜a级毛片| 国产欧美日韩精品一区二区| 岛国在线免费视频观看| 99久久久亚洲精品蜜臀av| 成年女人毛片免费观看观看9| 99热只有精品国产| 成人永久免费在线观看视频| 亚洲欧美清纯卡通| 欧美日本亚洲视频在线播放| 国产色爽女视频免费观看| 18禁在线播放成人免费| 日本黄色视频三级网站网址| 国产单亲对白刺激| 欧美黑人欧美精品刺激| 伊人久久精品亚洲午夜| 亚洲欧美日韩高清专用| 国产一区二区在线观看日韩| 窝窝影院91人妻| 亚洲黑人精品在线| 久久久久久九九精品二区国产| 亚洲av电影不卡..在线观看| 色哟哟·www| 白带黄色成豆腐渣| 午夜激情欧美在线| 久久久久久久久大av| 在线播放无遮挡| 十八禁人妻一区二区| 国产男靠女视频免费网站| 日韩欧美国产在线观看| 亚洲av电影在线进入| 九九在线视频观看精品| 首页视频小说图片口味搜索| 88av欧美| 黄色一级大片看看| 亚洲人与动物交配视频| 久久久成人免费电影| 国产亚洲精品av在线| 亚洲五月婷婷丁香| 少妇人妻一区二区三区视频| 免费观看精品视频网站| 免费搜索国产男女视频| 国产精品久久久久久亚洲av鲁大| 日韩欧美国产在线观看| 制服丝袜大香蕉在线| 国产精品一区二区性色av| 欧美另类亚洲清纯唯美| 国产亚洲欧美在线一区二区| 在线a可以看的网站| 日本撒尿小便嘘嘘汇集6| 日韩欧美三级三区| 欧美精品啪啪一区二区三区| 国产精品美女特级片免费视频播放器| 国产免费av片在线观看野外av| 日日摸夜夜添夜夜添av毛片 | 国产成人a区在线观看| 日本a在线网址| ponron亚洲| 国内久久婷婷六月综合欲色啪| 极品教师在线免费播放| 亚洲一区二区三区色噜噜| 欧美极品一区二区三区四区| 亚洲无线在线观看| 成人特级黄色片久久久久久久| 99久国产av精品| 琪琪午夜伦伦电影理论片6080| av天堂中文字幕网| 国产69精品久久久久777片| 国产欧美日韩精品亚洲av| 欧美乱色亚洲激情| www.www免费av| 精品人妻偷拍中文字幕| 国产精品亚洲av一区麻豆| 国产高清激情床上av| 久久久精品大字幕| 久久久久久大精品| 国产精品乱码一区二三区的特点| 国产精品美女特级片免费视频播放器| 香蕉av资源在线| 日本熟妇午夜| 少妇人妻精品综合一区二区 | 高清在线国产一区| 制服丝袜大香蕉在线| 国内少妇人妻偷人精品xxx网站| 国产在视频线在精品| 嫩草影院新地址| 欧美+亚洲+日韩+国产| 国产在线精品亚洲第一网站| 久久久久久久精品吃奶| 99国产极品粉嫩在线观看| 天堂网av新在线| 最近最新免费中文字幕在线| 日韩欧美精品v在线| 天堂av国产一区二区熟女人妻| 高清毛片免费观看视频网站| 亚洲真实伦在线观看| 欧美最黄视频在线播放免费| 久久久久国内视频| 精品久久久久久久久亚洲 | 午夜福利18|