有關(guān)爬蟲協(xié)議的國外案例評析

文 / 張金平

在我國3B 大戰(zhàn)中，爬蟲協(xié)議的法律性質(zhì)受到多方關(guān)注，且爭議頗多。本文從有關(guān)爬蟲協(xié)議的國外案例入手，分析不同國家法院對爬蟲協(xié)議的法律定性，發(fā)現(xiàn)這些國家對爬蟲協(xié)議案件的審理中，都審查了爬蟲協(xié)議與版權(quán)法規(guī)則的關(guān)系，或正面認(rèn)定特定爬蟲協(xié)議構(gòu)成版權(quán)法意義上的技術(shù)措施，或反面認(rèn)為數(shù)字環(huán)境下版權(quán)人不采取爬蟲協(xié)議可構(gòu)成默示（版權(quán)）許可，抑或認(rèn)為爬蟲協(xié)議不具備版權(quán)法意義。盡管這些國外案例的判決并不相同，但對于網(wǎng)絡(luò)市場和網(wǎng)絡(luò)法律秩序都在發(fā)展中的我國來說，仍具有重要的參考意義。

在最近的“3B 大戰(zhàn)”中，爬蟲協(xié)議的法律性質(zhì)成為重要焦點：它是搜索行業(yè)的技術(shù)標(biāo)準(zhǔn)？是合同法上的協(xié)議？還是具有其他法律意義？本文將分析國外有關(guān)爬蟲協(xié)議的案例，以期能夠為我們準(zhǔn)確定位爬蟲協(xié)議的法律性質(zhì)有所助益。

一、爬蟲協(xié)議概述

爬蟲協(xié)議的概念，源自于英文的“Robots.txt”或“Robot Exclusion Standard”，國內(nèi)又譯為“爬蟲規(guī)則”、“機器人協(xié)議”等【1】。爬蟲協(xié)議，最早由馬丁·科斯特于1994 年3 月6 日提出，其目的是控制爬蟲程序1.爬蟲是一個計算機術(shù)語，指代那些在英特網(wǎng)間爬動并從各種網(wǎng)頁中搜集信息的計算機程序和自動化腳本。搜索引擎商是爬蟲的主要使用者，黑客以及一些網(wǎng)頁信息搜集者也常常使用爬蟲。大量訪問網(wǎng)站，減少網(wǎng)絡(luò)堵車。按照馬丁·科斯特的設(shè)想，爬蟲協(xié)議本身并不是網(wǎng)站所有人與網(wǎng)站用戶之間達成的協(xié)議，而是網(wǎng)站所有人單方面采取的一種排除爬蟲訪問的標(biāo)準(zhǔn)（即Robot Exclusion Standard），而且他對Robots.txt 方案的更通俗的稱呼是爬蟲訪問控制政策（Access Policy）【2】。因此，把Robots.txt 或Robot Exclusion Standard 譯成“爬蟲協(xié)議”并不嚴(yán)謹(jǐn)，但國內(nèi)基本上已經(jīng)將之習(xí)慣性地稱為“爬蟲協(xié)議”，本文也沿用該說法。在1994 年6 月30 日舉行的爬蟲郵件組論壇（The Robots Mailing List）上，爬蟲協(xié)議得到了大部分爬蟲設(shè)計者和愛好者的認(rèn)可【2】。此以后，爬蟲協(xié)議被廣泛應(yīng)用，搜索引擎如最早的Altavista、Infoseek、Yahoo 以及后來的Google 都基本遵循這一協(xié)議【3】。

要想排除爬蟲，方法是在超文本傳送協(xié)議（HTTP）的本地網(wǎng)頁地址（URL，又稱“統(tǒng)一資源定位符”）中建立一個純文本的Robots.txt 文檔，如“http://www.example.com/robots.txt”，詳細(xì)寫明爬蟲的訪問政策。在內(nèi)容上，爬蟲協(xié)議的構(gòu)成一般分為兩個部分，一是User-agent 值，用于設(shè)置所要允許或禁止的搜索引擎；另一個是Allow 或Disallow 值，用于設(shè)置特定搜索引擎所能訪問或禁止訪問的哪些內(nèi)容。下面舉兩個例子[2]：

例1. 禁止所有搜索引擎訪問網(wǎng)站的任何部分

User-agent: *

Disallow: /

例2. 除了“cybermapper”的爬蟲外，任何其他爬蟲禁止訪問任何以“/cyberworld/map/”地址開始的網(wǎng)頁。

User-agent: *

Disallow: /cyberworld/map/

# Cybermapper knows where to go.

User-agent: cybermapper

Disallow:

按照上述方法設(shè)置后，爬蟲協(xié)議就可以在任何萬維網(wǎng)服務(wù)器中執(zhí)行，而且一旦設(shè)置，爬蟲要訪問該網(wǎng)站，首先需要檢索該爬蟲協(xié)議，以確定自己的訪問權(quán)限，據(jù)此進行下一步操作：或者停止訪問，或者按照協(xié)議要求進行全部或部分訪問。

不過，該設(shè)置也有一個缺點：只有網(wǎng)頁所有者才能設(shè)置爬蟲協(xié)議，使用該網(wǎng)頁的其他人并無法進行設(shè)置【2】。

然而，爬蟲協(xié)議并不是一個標(biāo)準(zhǔn)機構(gòu)指定的官方標(biāo)準(zhǔn)。因此，爬蟲協(xié)議沒有官方機構(gòu)進行強制執(zhí)行，也就無法保證現(xiàn)在和以后的爬蟲會遵守它。但是，爬蟲協(xié)議是大多數(shù)爬蟲設(shè)計者為萬維網(wǎng)社區(qū)提供的一個保護萬維網(wǎng)服務(wù)器免受爬蟲騷擾性訪問的通行做法【3】。2008年，美國印第安大學(xué)的兩個研究生曾經(jīng)就爬蟲協(xié)議的使用情況作了一個調(diào)查。根據(jù)他們的調(diào)查，在當(dāng)時萬維網(wǎng)上22%的網(wǎng)頁使用了爬蟲協(xié)議，而且以“.gov”為頂級域名的網(wǎng)頁基本上使用了爬蟲協(xié)議【4】。

二、國外爬蟲協(xié)議的法律性質(zhì)

到目前為止，還沒有哪個國家的法律規(guī)定爬蟲協(xié)議必須得到遵守，或者規(guī)定爬蟲協(xié)議構(gòu)成網(wǎng)頁所有者與爬蟲使用者之間達成的有法律效力的合同。不過，近幾年國外幾個案件涉及到了爬蟲協(xié)議的法律糾紛，不同國家的法院或者同一國家的不同法院對于爬蟲協(xié)議的法律性質(zhì)有不同的認(rèn)識。

從美國eBay v. Bidder's Edge 案判決看來，違反爬蟲協(xié)議的訪問行為是一種主觀上具有惡意和客觀上會造成不良影響的行為。

（一）美國法院判決：違反爬蟲協(xié)議是一種惡意行為，也可能構(gòu)成規(guī)避版權(quán)人采取的有效控制其版權(quán)作品訪問的技術(shù)措施 ，不采取爬蟲協(xié)議還可能構(gòu)成默示許可

據(jù)現(xiàn)有公開資料顯示，美國有兩起案例的判決直接涉及爬蟲協(xié)議，有兩起案件間接涉及爬蟲協(xié)議。

1．eBay v. Bidder's Edge 案【3】

在該案中，eBay 是電子交易網(wǎng)站，用戶使用該網(wǎng)站進行電子交易必須注冊，并且同意《eBay 用戶協(xié)議》。其中，該協(xié)議規(guī)定任何人在事前未經(jīng)eBay 的明確書面授權(quán)，不得使用爬蟲程序監(jiān)視和收集其網(wǎng)頁內(nèi)容。另外，eBay 網(wǎng)使用爬蟲協(xié)議，并通過IP 地址跟蹤技術(shù)來監(jiān)測爬蟲是否遵守該協(xié)議，如果未遵守則進行屏蔽。Bidder's Edge（下稱BE）是一個提供一站式拍賣搜索的服務(wù)提供商，其數(shù)據(jù)庫搜集包括eBay 在內(nèi)的電子交易網(wǎng)站大量的拍賣信息，從而使其用戶免于去不同電子交易網(wǎng)站進行單獨的搜索，但其本身并不提供電子交易服務(wù)。1999 年4 月24 日，eBay 口頭同意BE 在接下來的90 天內(nèi)使用爬蟲搜集其網(wǎng)頁信息，但雙方對搜索方法存有爭議而未達成書面協(xié)議。1999 年9 月，eBay 電話要求BE 停止提供其網(wǎng)站的交易信息，BE 也按要求停止了。但隨后，BE 發(fā)現(xiàn)其他從事相同業(yè)務(wù)的其他網(wǎng)站仍然可以提供eBay 的交易信息，因此BE 在1999 年11月2 日召開新聞發(fā)布會，聲明其恢復(fù)提供eBay 的交易信息。eBay 與 BE 協(xié)商未果2，遂提起訴訟，要求法院禁止BE 提供其交易信息。3. eBay 僅要求法院發(fā)出禁令，并未請求損害賠償。

加州北區(qū)法院羅納德·懷特法官在判斷是否發(fā)出臨時禁令時，主要審查BE 的強行訪問行為是否可能侵害eBay 的合法權(quán)益，以及如果不發(fā)出禁令是否會造成eBay 的不可挽回的損害。eBay 主張由于BE 的行為相當(dāng)于每天發(fā)出10 萬個爬蟲軍團搜查其網(wǎng)站的交易信息，造成其系統(tǒng)的超負(fù)荷。懷特法官認(rèn)為該主張還不足以認(rèn)定BE 的行為會造成不可挽回的損失，因為用戶還可正常訪問eBay 的網(wǎng)站并進行交易。繼而，eBay 主張，如果放任BE 的行為，將會慫恿其他與BE 從事同樣業(yè)務(wù)的公司肆無忌憚地搜索eBay 的交易系統(tǒng)，將致使eBay 因系統(tǒng)癱瘓或數(shù)據(jù)丟失而遭受不可挽回的損失。BE 并未強烈反對eBay 由于系統(tǒng)運行能力的下降和數(shù)據(jù)丟失會導(dǎo)致eBay 的經(jīng)濟利益損失和客戶聲譽損失，懷特法官認(rèn)為這些損失是不可挽回的，因為它們既難以估算，也難以彌補，故以此發(fā)出禁令救濟是恰當(dāng)?shù)摹?】。

另外，對于eBay 允許其他公司的爬蟲程序訪問其網(wǎng)站是否構(gòu)成歧視的問題，懷特法官指出：“eBay 主張的不可挽回的損失是假如允許被爬蟲程序繼續(xù)惡意訪問，將會鼓勵頻繁而無節(jié)制的爬蟲訪問直到造成其系統(tǒng)的不可挽回的損失。這里并沒有證據(jù)證明eBay 有歧視性地許可其訪問者。相反，eBay更像是在作謹(jǐn)慎的選擇，以選擇數(shù)量有限的遵守其許可協(xié)議的一站式網(wǎng)站（即與

2. 雖然eBay 可以通過IP 地址跟蹤技術(shù)來屏蔽來自BE 的爬蟲訪問，但BE 改用代理服務(wù)器的方式調(diào)用爬蟲訪問eBay 網(wǎng)站，由于代理服務(wù)器具有隱藏IP 地址等功能，此時再用IP 地址屏蔽，就容易擴大屏蔽的范圍。BE 從事同樣業(yè)務(wù)的網(wǎng)站）?！薄?】最后，懷特法官同意了原告的訴求，向BE 發(fā)出了臨時禁令。4. 該案后來以和解結(jié)案。據(jù)eBay 的代理律師透露，BE 同意停止使用爬蟲訪問eBay 網(wǎng)站并支付一定的補償金。

因此，至少從本案來看，違反爬蟲協(xié)議的訪問行為是一種主觀上具有惡意和客觀上會造成不良影響的行為。

2．Healthcare Advocates, Inc. v. Harding, Earley,Follmer&Frailey 案【5】

在該案中，原告Healthcare Advocates 公司是一個醫(yī)療咨詢機構(gòu)，協(xié)助其客戶處理就醫(yī)問題。被告Harding 是一家知識產(chǎn)權(quán)律師事務(wù)所。案件起因是原告Healthcare Advocates公司起訴其競爭對手侵犯其商標(biāo)權(quán)和商業(yè)秘密，而該競爭對手委托了被告Harding律所的律師作為代理律師，被告為了調(diào)查案件事實，在2003 年7 月9 日至14 日期間，使用網(wǎng)絡(luò)檔案網(wǎng)（www.archive.org）提供的工具“時光機”（Wayback Machine）來訪問原告的網(wǎng)站，截取網(wǎng)頁快照，并將這些快照打印出來用于商標(biāo)侵權(quán)訴訟中。在本案中，原告認(rèn)為被告使用時光機規(guī)避其技術(shù)措施（即爬蟲協(xié)議），違反了千禧年數(shù)字版權(quán)法（DMCA）。

值得注意的是，案外人網(wǎng)絡(luò)檔案網(wǎng)是一家非營利性機構(gòu)，它使用爬蟲在互聯(lián)網(wǎng)上收集各類信息，然后將收集到的網(wǎng)頁快照以時間先后制成檔案，并免費提供各大網(wǎng)站的網(wǎng)頁快照；對于不愿被收集的網(wǎng)站可用爬蟲協(xié)議等方法要求網(wǎng)絡(luò)檔案網(wǎng)不得收集。由于原告在2003年7 月7 日之前并未使用爬蟲協(xié)議，所以網(wǎng)絡(luò)檔案網(wǎng)保存了原告在此之前的網(wǎng)頁快照。按照網(wǎng)絡(luò)檔案網(wǎng)的政策，本來這些收集的網(wǎng)頁快照不得再向公眾提供，但由于網(wǎng)站系統(tǒng)故障的原因卻向被告予以提供。但原告認(rèn)為被告并沒有遵守爬蟲協(xié)議，規(guī)避了其技術(shù)措施。

2007 年7 月20 日，賓夕法尼亞東區(qū)法院法官羅伯特·凱利法官認(rèn)為：涉案的措施是爬蟲協(xié)議。目前還沒有法院確認(rèn)該協(xié)議通常構(gòu)成DMCA 意義上的、控制訪問的有效技術(shù)措施。該協(xié)議本身并不能等同于電子密碼保護或者加密密碼。然而，在本案中，當(dāng)所有通過時光機運行的系統(tǒng)正常運行時，Healthcare Advocate網(wǎng)站正確編寫的爬蟲協(xié)議的設(shè)置，就起到了阻止用戶訪問其網(wǎng)頁快照的作用。而能訪問的唯一途徑是Healthcare Advocate 從其網(wǎng)站上移除該爬蟲協(xié)議。因此，在這種情況下，爬蟲協(xié)議構(gòu)成一個有效控制Healthcare Advocate訪問的技術(shù)措施。這樣的認(rèn)定僅適用于本案，而不應(yīng)擴大解釋為爬蟲協(xié)議都可以構(gòu)成DMCA 意義上的控制版權(quán)作品訪問的技術(shù)措施【5】。

盡管凱利法官認(rèn)為該案中爬蟲協(xié)議構(gòu)成版權(quán)法意義上的有效控制版權(quán)作品訪問的技術(shù)措施，但是本案中被告之所以能夠訪問到原告網(wǎng)站上的內(nèi)容并不是因為被告繞過了該技術(shù)措施，而僅僅是因為網(wǎng)絡(luò)檔案網(wǎng)的系統(tǒng)故障造成的。故凱利法官駁回了原告有關(guān)被告繞過其技術(shù)措施的主張。無論如何，該判決首先確立了爬蟲協(xié)議有可能構(gòu)成版權(quán)法意義上的有效控制版權(quán)作品訪問的技術(shù)措施。

Healthcare Advocates, Inc. v. Harding, Earley, Follmer&Frailey 案 中，盡管凱利法官認(rèn)為爬蟲協(xié)議構(gòu)成版權(quán)法意義上的有效控制版權(quán)作品訪問的技術(shù)措施，但是本案中被告之所以能夠訪問到原告網(wǎng)站上的內(nèi)容并不是因為被告繞過了該技術(shù)措施，而僅僅是因為網(wǎng)絡(luò)檔案網(wǎng)的系統(tǒng)故障造成的。故凱利法官駁回了原告有關(guān)被告繞過其技術(shù)措施的主張。

3．Field v. Google等間接涉及爬蟲協(xié)議的案件【6】【7】

在美國，有幾起搜索引擎服務(wù)提供商版權(quán)侵權(quán)案件間接涉及爬蟲協(xié)議，法院對涉案的原告采取或未采取爬蟲協(xié)議也有一定的法律評價。在Field v. Google案中，原告菲爾德將其作品放置在自己開設(shè)的網(wǎng)站上，并使用爬蟲協(xié)議允許所有的搜索引擎進行訪問和檢索，而被告谷歌使用“網(wǎng)頁快照”（snapshot）5. 網(wǎng)頁快照與縮略圖在形成技術(shù)上基本相同，二者都是搜索引擎的爬蟲定期抓取的網(wǎng)頁內(nèi)容的檢索版本，用戶通過搜索引擎可以看到二者，但這些內(nèi)容并不是被檢索網(wǎng)頁的實時內(nèi)容；二者的不同點是前者主要針對文字性網(wǎng)頁內(nèi)容，后者主要針對圖像性網(wǎng)頁內(nèi)容。的形式將原告的網(wǎng)頁內(nèi)容緩存于系統(tǒng)并向公眾提供，原告主張被告的上述行為構(gòu)成版權(quán)侵權(quán)。內(nèi)華達地區(qū)法院注意到，原告主張谷歌版權(quán)直接侵權(quán)并不是因為其使用爬蟲抓取、復(fù)制并緩存，而是因為當(dāng)谷歌用戶點擊緩存鏈接時，用戶從谷歌電腦系統(tǒng)中下載了原告享有版權(quán)的作品的網(wǎng)頁快照。因此，法院認(rèn)為原告所主張的侵權(quán)復(fù)制行為并不是谷歌的行為，而是用戶的行為，谷歌在這個過程中是被動的，沒有用戶的請求，該侵權(quán)復(fù)制件并不會產(chǎn)生并發(fā)送給用戶，因此谷歌的這種行為并不構(gòu)成版權(quán)侵權(quán)。另外，在該案訴訟中，谷歌提出默示許可和違反禁止反言等抗辯。對于谷歌的默示許可抗辯，法院指出，原告在庭審中已經(jīng)承認(rèn)自己清楚搜索行業(yè)的標(biāo)準(zhǔn)機制，他可以使用“不得檢索”標(biāo)簽方法6. 但這里未明確列舉爬蟲協(xié)議。來告知谷歌不得使用網(wǎng)頁快照，盡管如此，原告還是選擇不使用上述方法，他這樣做，完全知道谷歌會據(jù)此認(rèn)為允許以網(wǎng)頁快照的形式向公眾提供。因此，法院認(rèn)為原告的上述行為可以合理地解釋為默示許可谷歌對原告作品以網(wǎng)頁快照的形式向公眾提供，故判決谷歌有資格（因為谷歌被訴行為已經(jīng)認(rèn)定不侵權(quán)）提出默示許可抗辯。對于禁止反言抗辯，法院指出谷歌應(yīng)該證明四點7. 法院指出，違反禁止反言是指原告如果曾幫助或引誘被告侵權(quán)，或者通過默示或不作為等行為給予支持，仍主張維權(quán)。法院要求谷歌證明四點：一是菲爾德知道谷歌涉嫌侵權(quán)；二是菲爾德希望谷歌信賴其（默示或不作為的）行為，或者致使谷歌有權(quán)利相信菲爾德是希望這樣的；三是谷歌忽視了事實的真相；四是谷歌不利地相信了菲爾德的行為。，對于第二點要求，法院認(rèn)為，菲爾德本可以通過“不得存檔”標(biāo)簽或設(shè)置適當(dāng)要求的爬蟲協(xié)議8. 不同于法院有關(guān)默示許可抗辯的判理，法院這里明確提出了爬蟲協(xié)議。但在技術(shù)上來看，設(shè)置恰當(dāng)?shù)呐老x協(xié)議或標(biāo)簽都可以告知搜索引擎不得對其網(wǎng)頁內(nèi)容進行存檔。來告知谷歌不得提供網(wǎng)頁快照；相反，他選擇了沉默，而且知道他的沉默會被谷歌自然而然地解釋為許可其使用網(wǎng)頁快照，因此菲爾德的默示，尤其是在他知道該模式的后果的情況下，滿足禁止反言的第二個因素【6】。綜合該案法院對谷歌默示許可和禁止反言兩大抗辯的認(rèn)定來看，內(nèi)華達地區(qū)法院雖然沒有直接去評價爬蟲協(xié)議的法律性質(zhì)，但明確認(rèn)為版權(quán)人可以采取適當(dāng)?shù)模ū景阜茽柕虏扇〉氖侨吭S可的）爬蟲協(xié)議或“不得存檔”的標(biāo)簽都能起到告知谷歌不得緩存其版權(quán)作品的效果，而如果版權(quán)人知道這兩個技術(shù)手段有這個效果仍不采取時，就可以構(gòu)成默示許可，或者綜合其他因素認(rèn)定版權(quán)人后續(xù)向搜索引擎服務(wù)提供商提出侵權(quán)主張時違反禁止反言規(guī)則。

另外，在同樣涉及網(wǎng)頁快照的Parker v. Yahoo,Microsoft 案中，賓夕法尼亞地區(qū)法院沿襲Field v.Google 案的判決，認(rèn)為版權(quán)人帕克未采取恰當(dāng)?shù)呐老x協(xié)議或標(biāo)簽來告知雅虎或微軟不得緩存其版權(quán)作品，據(jù)此兩被告可以推理出帕克知道并鼓勵其搜索引擎進行檢索和緩存，故帕克的行為構(gòu)成默示許可【7】。

Field v. Google 等間接涉及爬蟲協(xié)議的案件中，法院均認(rèn)為版權(quán)人可以采用適當(dāng)?shù)呐老x協(xié)議或者“不得存檔”標(biāo)簽從而起到告知谷歌不得緩存其版權(quán)作品的效果，而如果版權(quán)人知道這兩個技術(shù)手段有這個效果仍不采取時，就可以構(gòu)成默示許可。

（二）比利時法院判決：網(wǎng)絡(luò)環(huán)境下未使用爬蟲協(xié)議等技術(shù)措施不代表版權(quán)人的默示許可【8】【9】

2006 年1 月，谷歌在比利時開展了免費了“谷歌新聞”服務(wù)，這些新聞內(nèi)容是谷歌使用爬蟲程序從比利時各大網(wǎng)站抓取的內(nèi)容，并緩存于其服務(wù)器中。其中，這些內(nèi)容包括了比利時Copiepresse、SAJ 和 Assucopie三大機構(gòu)的版權(quán)作品。這三大機構(gòu)認(rèn)為谷歌新聞并不是一個簡單的新聞搜索服務(wù)，而是一個書面新聞門戶網(wǎng)站，而且谷歌在未獲得版權(quán)人許可的前提下復(fù)制并向公眾提供其版權(quán)作品，故起訴谷歌版權(quán)侵權(quán)。在訴訟過程中，谷歌提出了兩個重要的侵權(quán)抗辯：一是網(wǎng)絡(luò)環(huán)境下，出版商可以選擇采取全球通行的爬蟲協(xié)議等技術(shù)措施9. 谷歌還列出了另外一種與爬蟲協(xié)議產(chǎn)生同樣效果的技術(shù)措施，即meta-tags。來告知其訪問政策，然而其并未選擇這樣做，這說明他們明確，或者至少默示同意他們的網(wǎng)頁可以被索引并可通過緩存鏈接進行訪問；二是谷歌認(rèn)為一方面網(wǎng)絡(luò)環(huán)境下版權(quán)人可以非常簡單避免谷歌的爬蟲訪問其網(wǎng)站，從而阻止其搜索引擎緩存版權(quán)人的作品，也就不會造成其作品出現(xiàn)在谷歌新聞中；另一方面是谷歌不可能向所有其搜索引擎訪問的網(wǎng)頁所有人進行聯(lián)系并獲得授權(quán)，因此這三大機構(gòu)提供版權(quán)侵權(quán)訴訟構(gòu)成權(quán)利濫用【8】。

2007 年2 月15 日，布魯塞爾初審法院認(rèn)為，版權(quán)是一種排他性的專有權(quán)，在內(nèi)容上包括了復(fù)制權(quán)和傳播權(quán)，使用他人版權(quán)作品必須事先獲得版權(quán)人的同意，谷歌搜索引擎訪問他人作品后將其緩存，而且緩存的內(nèi)容在其服務(wù)器內(nèi)保存很長一段時間，該行為構(gòu)成版權(quán)法意義上的復(fù)制；另外，將其搜索引擎緩存的內(nèi)容繼而在谷歌新聞服務(wù)中向公眾提供構(gòu)成版權(quán)法意義上的傳播，這兩個行為都未得到版權(quán)人的許可，故構(gòu)成版權(quán)侵權(quán)。對于谷歌的默示許可抗辯，初審法院認(rèn)為有兩點理由可以反駁谷歌的抗辯，一是版權(quán)是排他性專有權(quán)，使用他人版權(quán)作品須事前獲得授權(quán)；二是谷歌新聞并不僅僅是援引他人作品，而是大量復(fù)制作品的標(biāo)題和摘要并向公眾提供。因此，谷歌的默示許可抗辯并不成立。至于谷歌的權(quán)利濫用抗辯，初審法院認(rèn)為，對于版權(quán)人是否構(gòu)成權(quán)利濫用，不僅要考慮版權(quán)人的行為，也要考慮侵權(quán)人谷歌自身的行為，如果不考慮谷歌必須事先獲得授權(quán)的行為，那至少要考慮谷歌有必要采取措施停止侵權(quán)、減少損失；因此，考慮到谷歌在三大機構(gòu)提起版權(quán)訴訟并要求停止侵權(quán)后，谷歌自行停止了繼續(xù)侵權(quán)的情況，作為版權(quán)人的三大機構(gòu)并沒有證據(jù)證明其濫用了權(quán)利【8】。綜合上述及其他原因，初審法院發(fā)出了停止侵權(quán)的禁令。谷歌不服，提起上訴。

德國有關(guān)爬蟲協(xié)議的案例也引起熱議，其訴訟歷經(jīng)一審、二審和再審，最后德國聯(lián)邦最高法院認(rèn)為，原告對其作品享有排他性專有權(quán)，谷歌未經(jīng)許可以縮略圖的形式使用其作品，并不屬于著作權(quán)法意義上的合理使用，侵犯了原告的著作權(quán)。而在網(wǎng)絡(luò)環(huán)境下，原告知道可以輕易采取卻不采用爬蟲協(xié)議，則可推定其默示許可谷歌以縮略圖形式使用其作品。

2011年5月5日，布魯塞爾上訴法院駁回谷歌上訴，基本維持了一審判決，但縮小了禁令的適用范圍（從停止所有谷歌網(wǎng)站使用限縮到停止谷歌的“google.be”和“google.com”網(wǎng)站）。對于谷歌的默示許可理由（即未采取爬蟲協(xié)議等技術(shù)措施），上訴法院仍然強調(diào)版權(quán)是排他性權(quán)利，版權(quán)的標(biāo)準(zhǔn)規(guī)則是使用須先獲得版權(quán)人授權(quán)，因此，正確的選擇與谷歌所謂的技術(shù)措施選擇恰恰相反，即應(yīng)當(dāng)遵守版權(quán)的標(biāo)準(zhǔn)規(guī)則【9】。換句話說，在比利時，法院并不反對版權(quán)人可以選擇采取爬蟲協(xié)議作為一種控制爬蟲訪問作品的技術(shù)措施，但是根據(jù)版權(quán)的標(biāo)準(zhǔn)規(guī)則，如果版權(quán)人不采取爬蟲協(xié)議，并不代表版權(quán)人明示，或至少默示許可他人使用其作品。

（三）德國法：網(wǎng)絡(luò)環(huán)境下著作權(quán)人不采取爬蟲協(xié)議技術(shù)措施可構(gòu)成默示許可【10】【11】

2005 年，德國一名視覺藝術(shù)家起訴谷歌著作權(quán)侵權(quán)，理由是谷歌未經(jīng)許可在其搜索引擎上提供她享有著作權(quán)的圖片的縮略圖（Thumbnail）。不過，原告將她的藝術(shù)品放到自己的網(wǎng)站上時，并未在其網(wǎng)站上設(shè)置爬蟲協(xié)議。

一審法院確認(rèn)了原告對其圖片的版權(quán)，但認(rèn)為谷歌使用縮略圖并非侵權(quán)行為，理由是原告將其圖片放在網(wǎng)頁上就可以推定其默示許可他人使用。法院的判決理由是：

一方面，網(wǎng)絡(luò)上充斥著各種信息，區(qū)分重要信息和不重要信息的問題是普遍存在的，為了解決這個問題，網(wǎng)民極度依賴搜索引擎提供的服務(wù)。另一方面，任何人在網(wǎng)絡(luò)上開設(shè)自己的網(wǎng)站，無非是要自己的網(wǎng)站受到他人的關(guān)注。由于縮略圖比言詞更為重要，它們在搜索引擎中的出現(xiàn)對于網(wǎng)站所有人而言也是具有重要意義的。法院因此認(rèn)同這樣的觀點：版權(quán)人將其作品在網(wǎng)絡(luò)環(huán)境下免費提供，就默許對其作品檢索時的必要復(fù)制。

著作權(quán)人沒有顯著的利益去禁止那些自己免費提供的圖片的縮略圖（使用）。由于網(wǎng)頁所有人固有的利益是吸引盡可能多的人關(guān)注其網(wǎng)站，那么，作為著作權(quán)人的網(wǎng)頁所有人必須默示許可后續(xù)的所有促進其網(wǎng)頁訪問的行為。如果不同意，他可以在其網(wǎng)頁的源程序中設(shè)置命令（即前面提到的爬蟲協(xié)議）來禁止他人訪問【10】。

然而，一審法院的上述判決引起了很大的爭議：一是在德國法下默示許可是非常罕見的著作權(quán)侵權(quán)例外；二是德國著作權(quán)法明確了在一定限度內(nèi)的著作權(quán)侵權(quán)例外，在適用例外的目的限度內(nèi)是可以自由使用作品，但超過該必要限度就屬于侵權(quán)。搜索引擎并不一定要使用縮略圖才能提供搜索服務(wù)，著作權(quán)人也就沒有必要默示許可搜索引擎使用其作品。基于上述原因，原告提起了上訴。

二審法院維持了一審判決，但其并不認(rèn)同一審法院的默示許可理由，而采用了禁止反言規(guī)則。二審法院認(rèn)為，原告主張其版權(quán)是構(gòu)成權(quán)利濫用，因為她曾（積極地）使用策略來優(yōu)化搜索引擎對其網(wǎng)頁的檢索，例如她不斷優(yōu)化其網(wǎng)頁的META 標(biāo)簽。10. META 標(biāo)簽用來描述一個HTML 網(wǎng)頁文檔的屬性，例如作者、日期和時間、網(wǎng)頁描述、關(guān)鍵詞、頁面刷新等。由于她通過自己的積極行為來吸引爬蟲程序，因此其主張谷歌侵犯其著作權(quán)構(gòu)成“反言”（venire contra factum proprium）。

盡管禁止反言的理由比默示許可好一點，但原告仍然不服，向德國聯(lián)邦最高法院提起再審。德國聯(lián)邦最高法院認(rèn)為，原告對其作品享有排他性專有權(quán)，谷歌未經(jīng)許可以縮略圖的形式使用其作品，并不屬于著作權(quán)法意義上的合理使用，侵犯了原告的著作權(quán)。但是原告作為著作權(quán)人，在網(wǎng)絡(luò)環(huán)境下，如果其不愿其網(wǎng)站上的作品被搜索引擎檢索到，那她可以很簡單地采取技術(shù)措施不讓爬蟲訪問，但她沒有這樣做，這就說明她已經(jīng)默示許可谷歌等搜索引擎可以縮略圖的形式使用其作品，故谷歌的行為并不侵權(quán)【11】。

三、結(jié)論

爬蟲協(xié)議是1994 年以來網(wǎng)站所有人一貫采取的爬蟲訪問控制政策。而且，從各國有關(guān)爬蟲協(xié)議的案件判決來看，網(wǎng)站所有人在作為版權(quán)人的情況下是否采取爬蟲協(xié)議具有重要的版權(quán)法意義：美國法院在eBay 案中雖然沒有明確認(rèn)定爬蟲協(xié)議是版權(quán)法中的技術(shù)措施，但指出違背爬蟲協(xié)議的訪問是一種可能導(dǎo)致“無節(jié)制”因而必須加以禁止的行為；美國法院在Healthcare 案中明確判決爬蟲協(xié)議在該案中構(gòu)成版權(quán)法中的有效控制作品訪問的技術(shù)措施；美國法院在Field 和Parker 案中認(rèn)為版權(quán)人在知道爬蟲協(xié)議作用的情況下不采取恰當(dāng)?shù)呐老x協(xié)議可認(rèn)定為默示許可搜索引擎服務(wù)提供商以網(wǎng)頁快照的形式使用其作品，甚至在Field 案法院認(rèn)為版權(quán)人后續(xù)提起版權(quán)侵權(quán)訴訟違反了禁止反言規(guī)則；比利時法院并不排斥版權(quán)人在網(wǎng)絡(luò)環(huán)境下采取爬蟲協(xié)議來控制爬蟲訪問其作品，但根據(jù)版權(quán)作品使用必先授權(quán)的標(biāo)準(zhǔn)規(guī)則，版權(quán)人可以選擇不采取爬蟲協(xié)議，且不采取該措施也不構(gòu)成默示許可，后續(xù)提起侵權(quán)訴訟也不構(gòu)成權(quán)利濫用；而德國法院認(rèn)為爬蟲協(xié)議是版權(quán)人在網(wǎng)絡(luò)環(huán)境下保護其版權(quán)的一個很簡單的措施，如果不采取該措施就意味著默示許可他人的訪問。盡管這些判決存在差別，但都明示或者至少暗示爬蟲協(xié)議構(gòu)成網(wǎng)絡(luò)環(huán)境下版權(quán)人可以采取的有效控制訪問的技術(shù)措施，或者至少肯定了設(shè)置恰當(dāng)?shù)呐老x協(xié)議可以向搜索引擎服務(wù)提供商起到告知（是否允許復(fù)制）的作用。因此，至少在上述幾個國家，網(wǎng)絡(luò)環(huán)境下爬蟲協(xié)議的版權(quán)法意義不得否認(rèn)，更不能無視。

【1】百度百科.爬蟲協(xié)議[G/OL][2012-12-16].http://baike.baidu.com/view/1280732.htm.

【2】Martijn Koster. A Standard for Robot Exclusion[C/OL](1994-06-30)[2012-12-16].http://www.robotstxt.org/orig.html.

【3】eBay, Inc. v. Bidder's Edge, Inc., 100 F. Supp. 2d 1058 (N.D. Cal. 2000).

【4】Smitha Ajay and JaliyaEkanayake, Analysis of the Usage Statistics of Robots Exclusion Standard[J/OL][2012-12-07].http://grids.ucs.indiana.edu/ptliupages/publications/IADISConferenceRobtoExclusion.pdf.

【5】Healthcare Advocates, Inc. v. Harding, Earley, Follmer&Frailey, 497 F. Supp. 2d 627 (E.D. Pa. 2007).

【6】Field v. Google, 412 F. Supp. 2d 1106 (D. Nev. 2006).

【7】Parker v. Yahoo!, Inc., 2008 U.S. Dist. LEXIS 74512 (E.D. Pa. Sep. 26, 2008).

【8】The Decision of the Court of First Instance in Brusselson Copiepresse v. Google[R/OL](2007-07-26)[2012-12-16].http://www.groklaw.net/articlebasic.php?story=20070726152837334.

【9】Philippe Laurent. Copiepresse SCRL & alii v. Google Inc. In its decision of 5 May 2011, the Brussels Court of Appeal confirms the prohibitory injunction order banning Google News and Google’s “in cache” function[J]. 542 Computer Law & Security Review, 27: 5.

【10】LG Erfurt. Urteil vom 15.03.2007 - Az. 3 O 1108/05 [R/OL][2012-12-16]. http://medien-internet-und-recht.de/volltext.php?mir_dok_id=615.

【11】BGH. Pressemitteilung Nr. 152/11 vom 29.9.2011[R/OL][2012-12-16].http://juris.bundesgerichtshof.de/cgi-bin/rechtsprechung/document.py?Gericht=bgh&Art=en&sid=63d8905a55b4685df3eb6eae67ba3e41&nr=59857&pos=0&anz=1.