互聯(lián)網(wǎng)競爭關(guān)系下的爬蟲協(xié)議研究

關(guān)鍵詞 行業(yè)慣例 競爭關(guān)系 一般條款 爬蟲協(xié)議

作者簡介：高祖瑞，武漢大學法學院經(jīng)濟法2015級研究生，研究方向：競爭法與知識產(chǎn)權(quán)法。

中圖分類號：D922.29 文獻標識碼：A DOI：10.19387/j.cnki.1009-0592.2018.03.038

互聯(lián)網(wǎng)行業(yè)是當代社會經(jīng)濟規(guī)模發(fā)展最為迅速的產(chǎn)業(yè)之一，競爭法律制度的構(gòu)建對于規(guī)范和促進互聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展具有重要的意義。對于正處于飛速發(fā)展的互聯(lián)網(wǎng)行業(yè)來講，傳統(tǒng)意義上的競爭法對于新型的競爭關(guān)系的規(guī)制已經(jīng)顯出自己的局限和不適。在技術(shù)更加復雜，法律尚未全面細致規(guī)定的行業(yè)背景下，競爭者采取爬蟲協(xié)議的行為往往會涉及到不正當競爭行為和壟斷行為。此外，知識產(chǎn)權(quán)的私有性與市場的自由競爭在爬蟲協(xié)議的適用中也存在相關(guān)的價值沖突。那么，爬蟲協(xié)議的行為到底如何界定？ 行業(yè)慣例能否為爬蟲協(xié)議提供價值沖突時的解決之道？如何確定在新型競爭關(guān)系下適用爬蟲協(xié)議的合理性標準？在此背景下，認真對待爬蟲協(xié)議行為背后的價值理念和運作邏輯，并深入發(fā)掘互聯(lián)網(wǎng)行業(yè)的競爭關(guān)系，無疑具有重要的意義。

一、爬蟲協(xié)議背景下的互聯(lián)網(wǎng)競爭

互聯(lián)網(wǎng)市場是典型的創(chuàng)新型市場。當前互聯(lián)網(wǎng)市場下競爭主體日益增多，市場競爭愈演愈烈，市場結(jié)構(gòu)在知識化浪潮的席卷下正逐步向更為“高精尖”的方向發(fā)展。同時，互聯(lián)網(wǎng)行業(yè)也正經(jīng)歷著從自由競爭時代向壟斷競爭時代的轉(zhuǎn)折，在某些領(lǐng)域已經(jīng)出現(xiàn)了寡頭壟斷，基于商業(yè)模式模仿的同質(zhì)化競爭助長了不正當競爭行為和濫用市場支配地位行為，損害了市場競爭秩序，破壞了市場競爭。 然而，由于互聯(lián)網(wǎng)市場與傳統(tǒng)市場有著更為顯著的差別，在互聯(lián)網(wǎng)競爭中出現(xiàn)了新的特征。

（一）法律規(guī)則的滯后性與互聯(lián)網(wǎng)經(jīng)濟的創(chuàng)新性

互聯(lián)網(wǎng)經(jīng)濟是速度型經(jīng)濟，借助于信息的快速傳輸，經(jīng)濟活動的節(jié)奏大大加快，產(chǎn)品與技術(shù)更新周期縮短，創(chuàng)新速度加快。 這也使得互聯(lián)網(wǎng)行業(yè)的競爭手段層出不窮，競爭內(nèi)容復雜多變。但是，法律作為規(guī)范，其內(nèi)容又是抽象的、概括的、定型的，制定出來之后有一定的穩(wěn)定性。 法律對于不斷變化的社會生活的涵蓋性和適應(yīng)性不可避免地存在一定限度。這就使得國家制定的法律難以規(guī)定互聯(lián)網(wǎng)競爭中的具體行為，因此就需要法律一定的一般條款對互聯(lián)網(wǎng)競爭進行一定的兜底保護。所以，我們可以發(fā)現(xiàn)在互聯(lián)網(wǎng)競爭中，行業(yè)慣例發(fā)揮著更加活躍的作用，法律往往在具體個案中對所適用的行業(yè)慣例加以確認。

（二）競爭行為的模糊性與技術(shù)手段的多樣性

在反壟斷案件中，對互聯(lián)網(wǎng)行業(yè)中的相關(guān)市場難以給出一個清晰的市場邊界。同樣，互聯(lián)網(wǎng)行業(yè)的競爭行為也難以給出一個清楚的界定。另外，互聯(lián)網(wǎng)行業(yè)中的競爭和傳統(tǒng)市場中的價格競爭相比，也更具有隱蔽性和復雜性。這使得各種保護手段層出不窮，保護的方式也更加多樣?；ヂ?lián)網(wǎng)行業(yè)中的限制交易、拒絕交易、競價排名、點擊欺詐等行為都比比傳統(tǒng)市場中要更難認定。而與之相關(guān)的經(jīng)營者和消費者所受到的損失也是并不明顯或現(xiàn)階段難以衡量的。所以，互聯(lián)網(wǎng)行業(yè)本身的諸多行業(yè)慣例也充當了保護措施的技術(shù)手段。那么，對于這些競爭行為和技術(shù)手段，法律都需要在具體個案中加以認定，并為整個互聯(lián)網(wǎng)行業(yè)監(jiān)管提供參考意見。

（三）網(wǎng)站內(nèi)容的安全性和網(wǎng)絡(luò)信息的流動性

在互聯(lián)網(wǎng)行業(yè)中，用戶的訪問點擊是衡量一個門戶網(wǎng)站是否成功的重要標志。一方面，網(wǎng)站所有者上傳自己獨創(chuàng)、歸納、收集、整合的信息資源來吸引用戶的訪問點擊并以此來擴大自己的市場。另外一方面，由于互聯(lián)網(wǎng)內(nèi)的信息資源是自由流通的，其它相關(guān)網(wǎng)站很容易對其內(nèi)容進行復制并提供鏈接，也可能導致網(wǎng)站系統(tǒng)難以承受大量的用戶人群造成嚴重后果。在網(wǎng)絡(luò)領(lǐng)域，公民自由獲取信息的利益與作者對作品廣泛傳播的利益在某些情況下會形成統(tǒng)一，但與作品傳播者有償傳播的利益卻背道而馳。 所以出于基于網(wǎng)站安全考慮所采取的技術(shù)措施使得網(wǎng)站的所有者決定了網(wǎng)站內(nèi)容信息的流動程度，在一定程度上是需要進行合理考量，來平衡作品傳播者與作者、公眾及搜索引擎商的利益沖突。

這些互聯(lián)網(wǎng)競爭中的新常態(tài)使得法院往往依據(jù)行業(yè)慣例或者商業(yè)道德來判斷行為的合理性。在百度訴奇虎360一案中，爭議的焦點就在于奇虎公司違反爬蟲協(xié)議的行為是否違反法律法規(guī)的相關(guān)規(guī)定。由于本案的行為明顯不屬于《反不正當競爭法》所規(guī)定的各類具體不正當競爭行為，所以要使得《反不正當競爭法》在本案中得以適用，只能根據(jù)其一般條款來進行考量，判斷奇虎公司違反爬蟲協(xié)議的抓取行為是否違反公認的商業(yè)道德，進而被認定為不正當競爭行為。那么，我們首先需要對爬蟲協(xié)議本身具有較為清晰的認識，并對其法律性質(zhì)進行認定和了解。

二、爬蟲協(xié)議的法律認定

爬蟲協(xié)議具體是指互聯(lián)網(wǎng)站的所有者根據(jù)該協(xié)議可以設(shè)置一個禁止其它搜索引擎對本網(wǎng)站信息抓取的一個指令。目前為止，在認定爬蟲行為的法律效力上還存在著一些爭議，在不同國家的案件中也有著不同的判決。在eBay案 中，法院是以網(wǎng)站可能遭受的超負荷損害的危險為依據(jù)責令禁止搜索。在Field訴Google一案 中，法院根據(jù)原告明知爬蟲協(xié)議可以有效控制訪問為依據(jù)推定原告進行了默示許可，但這種推定并不是法院本身賦予了爬蟲協(xié)議法律效力，而只是在該案中作為證明默示許可的一種證據(jù)。更為重要的是，在比利時Copiepress、SAJ、Assucopie三大機構(gòu)訴谷歌一案 ，法院以版權(quán)的排他性保護為依據(jù)認為爬蟲協(xié)議不代表默示許可。根據(jù)對這三個案件進行的梳理，筆者認為在爬蟲協(xié)議的法律適用中應(yīng)當包含以下幾個方面：

一是爬蟲協(xié)議構(gòu)成網(wǎng)絡(luò)環(huán)境下版權(quán)人可以采取有效控制訪問的技術(shù)措施，或者是對搜索引擎的告知行為。 由于該協(xié)議不是一個強制性標準，也不具有強制執(zhí)行力，所以違反爬蟲協(xié)議而強行提供被拒絕網(wǎng)頁內(nèi)容的行為只能在商業(yè)道德的范疇內(nèi)進行評價。

二是爬蟲協(xié)議本身不具有法律效力，但是法院可以將其作為一種證據(jù)來認定相關(guān)的行為。在雙方都明知的情況下，網(wǎng)站內(nèi)容提供者未設(shè)置爬蟲協(xié)議的行為可能會被推定為默示許可，搜索引擎商違反爬蟲協(xié)議的行為可能會被認定為惡意行為。

三是門戶網(wǎng)站對于爬蟲協(xié)議的設(shè)置應(yīng)當合理的標準進行，重點應(yīng)該放在網(wǎng)站的流量平衡和系統(tǒng)壓力之上。因為爬蟲抓取本身并不會給網(wǎng)站帶來危害，反而用戶對檢索到網(wǎng)站內(nèi)容越多，也將會為網(wǎng)站帶來更多的用戶。因此，在對適度的搜索引擎商開放以及更全面地被搜索引擎檢索存在著平衡。

四是具有市場支配地位的互聯(lián)網(wǎng)信息提供者設(shè)置爬蟲協(xié)議在一定程度上不利于互聯(lián)網(wǎng)信息的自由流動，也可能會導致其它依賴信息提供的競爭者難以進入相關(guān)市場。所以不合理的爬蟲協(xié)議在一定程度上也會構(gòu)成壟斷行為。

三、爬蟲協(xié)議對競爭關(guān)系的影響

（一）爬蟲協(xié)議在不正當競爭行為中的認定

在民商事關(guān)系中，“法無明文禁止即允許”是私法領(lǐng)域內(nèi)的一條重要的原則。而在百度訴奇虎360一案中，原告主張被告的不正當競爭行為正是依據(jù)《反不正當競爭法》第2條第1款中關(guān)于商業(yè)道德的規(guī)定。所以在缺乏法律對具體行為規(guī)定下，爬蟲協(xié)議能否通過法律對于商業(yè)道德的解釋來適用反不正當競爭法應(yīng)該是我們討論的重點。

通常，不正當競爭行為是指以違背誠實信用和公平競爭商業(yè)慣例的手段從事市場交易的行為?！侗Ｗo工業(yè)產(chǎn)權(quán)巴黎公約》第10條第2款規(guī)定，凡在工商業(yè)活動中違反誠實的習慣做法的競爭行為，構(gòu)成不正當競爭行為。在對該條款的解釋中，在認定某一行為是否構(gòu)成不正當競爭行為，不限于在請求被保護的成員國所存在的誠實的習慣做法，而且也必須考慮國際貿(mào)易中形成的誠實的習慣的做法。 在這一條款和其司法解釋中，認為一個國家公認的行業(yè)慣例構(gòu)成該國所習慣的商業(yè)道德。當然，這種行業(yè)慣例所適用為商業(yè)道德的前提在于其是在從事市場競爭所必須遵守的最近的行為規(guī)范。當然，如果僅僅是以行業(yè)慣例為理由，判斷具體行為是否違反了《不正當競爭法》也并不合理，法律對商業(yè)道德的認定也應(yīng)當有所限制。根據(jù)最高人民法院在審理“海帶配額”一案中指出反不正當競爭法意義上的誠實信用更多的是根據(jù)特定商業(yè)領(lǐng)域和個案情形來判斷是否屬于公認的商業(yè)道德。

根據(jù)以上資料，我們可以發(fā)現(xiàn)不能籠統(tǒng)地將行業(yè)慣例視為商業(yè)道德，因為市場上存在很多并不“良好”的行業(yè)規(guī)則。2005年歐盟《不正當商業(yè)行為指令》規(guī)定的就是需要考慮“良好的商業(yè)慣例。 同樣，巴黎公約和世界知識產(chǎn)權(quán)組織的《反不正當競爭示范法》也將不正當競爭界定為違反“誠實”慣例的行為。所以，筆者認為要使得行業(yè)慣例與公認的商業(yè)道德相契合，應(yīng)當包含以下幾個方面：

1. 行業(yè)慣例應(yīng)當首先符合商業(yè)道德的標準，屬于特定行業(yè)領(lǐng)域普遍認知和接受的標準，具有一般性和公認性。當然，這種一般和公認的程度應(yīng)當以該行業(yè)從業(yè)人員的普遍注意力為標準。

2. 行業(yè)慣例并不是認定不正當競爭行為的決定性標準，最終應(yīng)該還是最后落實到反不正當競爭法上進行判斷。正如同德國聯(lián)邦最高法院在處理FSA訴Kodex一案中指出：“違反行業(yè)自律規(guī)則可以作為認定不正當競爭行為的證據(jù)，但不具有決定意義，而應(yīng)該是作為法律的反不正當競爭法來判斷是否構(gòu)成不正當行為” 。

3.判斷是否屬于一個良好的行業(yè)慣例應(yīng)當從其處理不同利益訴求的沖突中入手。反不正當競爭法保護的是競爭者、消費者以及社會公益，競爭行為正當性的一個重要的標準就是行為本身是否符合反不正當競爭法所保護的利益。社會公共利益原則是競爭法的一項重要原則，要求參與競爭活動的個人、法人和其他組織不得違反社會公共利益。在立法目的上，公共利益原則意味著競爭法不僅僅處理競爭者之間的關(guān)系，維護競爭者的正當權(quán)益，還應(yīng)該考慮廣泛的利益關(guān)系，特別是保護消費者的利益。 所以，在確定行業(yè)慣例是否具有正當性的問題上，判斷行業(yè)慣例是否恰當?shù)奶幚砗酶偁幹黧w間的利益平衡是最重要的標準。

（二）爬蟲協(xié)議在壟斷行為中的認定

相關(guān)市場的界定是反壟斷法執(zhí)行的前提條件，并且直接影響到案件的最終結(jié)果。在反壟斷法中，判斷一個具體行為是否構(gòu)成壟斷行為應(yīng)當首先判斷其是否具有市場支配地位。因此，對于經(jīng)營者濫用市場支配地位行為的規(guī)制，應(yīng)當首先明確經(jīng)營者競爭的市場范圍，進行相關(guān)市場的界定。

根據(jù)《反壟斷法》第12條和國務(wù)院反壟斷委員會2009年發(fā)布的《關(guān)于相關(guān)市場界定的指南》的規(guī)定，“相關(guān)市場是指經(jīng)營者在一定時期內(nèi)就特定商品或者服務(wù)（以下統(tǒng)稱商品）進行競爭的商品范圍和地域范圍”。互聯(lián)網(wǎng)產(chǎn)業(yè)根據(jù)其行業(yè)特點大致可以分為兩種類型：一種是互聯(lián)網(wǎng)技術(shù)發(fā)展所產(chǎn)生的新興行業(yè)，例如搜索引擎、即時通訊等；另一種就是基于互聯(lián)網(wǎng)技術(shù)所拓展銷售渠道的傳統(tǒng)商品，例如電子商務(wù)。 本文所研究的對象爬蟲協(xié)議主要應(yīng)用于搜索引擎的領(lǐng)域之中，屬于互聯(lián)網(wǎng)科技發(fā)展所帶來的信息市場。由于，互聯(lián)網(wǎng)經(jīng)濟具有較強的網(wǎng)絡(luò)效應(yīng) ，而網(wǎng)絡(luò)效應(yīng)易導致正反饋的發(fā)生。當用戶對某類網(wǎng)站受歡迎的程度超過了一定程度，將會形成一定的粘著效應(yīng)，使得該網(wǎng)站的瀏覽人群進一步擴大并獨占市場。這使得一旦該網(wǎng)站進行排他性的設(shè)置，禁止相關(guān)搜索引擎提供鏈接訪問，將可能迅速的減少使用該搜索引擎的用戶，從而不利于市場的競爭。

根據(jù)《反壟斷法》第17條第2款的規(guī)定，“本法所稱市場支配地位，是指經(jīng)營者在相關(guān)市場內(nèi)具有能夠控制商品價格、數(shù)量或者其他交易條件，或者能夠阻礙、影響其他經(jīng)營者進入相關(guān)市場能力的市場地位”。在互聯(lián)網(wǎng)市場中，大型的門戶網(wǎng)站往往占據(jù)了大量的信息資訊，并依托客戶端等產(chǎn)品集聚了大量的用戶群體，導致在一定程度上影響了搜索引擎市場的準入。同時，這些企業(yè)也往往自身研發(fā)搜索引擎產(chǎn)品并投入使用，所以不能簡簡單單把互聯(lián)網(wǎng)服務(wù)商和搜索引擎商的相關(guān)市場給簡單割裂開來。在《反壟斷法》第17條中規(guī)定的幾類濫用市場支配行為中，“拒絕交易”與爬蟲協(xié)議的適用中密切相關(guān)，因此筆者重點討論這一行為。

拒絕交易又稱抵制行為，即在沒有正當理由的情況下拒絕出售商品或提供服務(wù)。 根據(jù)合同自由的原則，處于市場經(jīng)濟環(huán)境下的企業(yè)當然有權(quán)挑選與自己進行交易的對象。但是，具有市場支配地位的企業(yè)由于在一定程度上可以影響相關(guān)市場內(nèi)商品的價格、數(shù)量等其它交易條件，使得它的決定將會對相關(guān)市場內(nèi)的競爭狀態(tài)產(chǎn)生至關(guān)重要的作用。所以，法律賦予了具有市場支配地位的企業(yè)更為特殊的責任。在實踐中，具有市場支配地位的企業(yè)如果憑借自己壟斷經(jīng)營的地位在未經(jīng)消費者同意并且擅自中斷自己服務(wù)的情況下，將會損害其它經(jīng)營者的利益和市場競爭秩序，而且支配企業(yè)也可能將支配地位擴展到另一市場，鞏固和加強自己的壟斷地位。

一般而言，只有當市場主體濫用合同自由原則對競爭造成的損害超過合同自由本身受到限制的損害的程度時，法律才會對合同自由原則加以一定的限制。在判斷這一程度時，通常用“合理原則”來考察拒絕交易行為，即只有當拒絕交易造成的損害超過對市場的有利影響，反壟斷法才會對此加以限制。 在爬蟲協(xié)議的相關(guān)案例中，一些具有市場支配地位的企業(yè)在爬蟲協(xié)議中拒絕相關(guān)搜索引擎的抓取，例如百度這一類網(wǎng)站內(nèi)容數(shù)量和提供的總體服務(wù)可能超過我國所占比例的15%，如果百度拒絕某一搜索引擎進行訪問，意味著相當于中國互聯(lián)網(wǎng)內(nèi)容的15%為搜索盲區(qū)。如果百度拒絕訪問的這些內(nèi)容在短期內(nèi)無法尋找到替代性的商品，無疑會對市場競爭造成嚴重的打擊。同時，百度設(shè)置各個環(huán)節(jié)的robot文件明確排除360搜索，意味著百度明顯在打擊競爭對手，消滅競爭對手。

其次，在衡量拒絕理由的合理性時，除了需要分析支配企業(yè)的情況，也應(yīng)當判斷被許可方自身的情況，對于后者的認定更應(yīng)該從企業(yè)本身的信譽和業(yè)績?nèi)胧?。同樣在該案中，百度禁?60的抓取數(shù)量相較于百度每天訪問量無疑也是很小的，不會對其服務(wù)器本身帶來巨大的影響和故障。而且這些被禁止的內(nèi)容同樣也是在互聯(lián)網(wǎng)上公開發(fā)表的內(nèi)容，其它任何搜索引擎都可以公開的訪問，不涉及任何保密或隱私的信息。所以，360對百度網(wǎng)站訪問抓取并不會對網(wǎng)站造成嚴重的影響，還可以為其帶來客觀的訪問量。

四、結(jié)語

互聯(lián)網(wǎng)行業(yè)的新常態(tài)以及新型的競爭對我國競爭法的適用提出了新的挑戰(zhàn)，在法律對具體行為正式作出回應(yīng)之前，行業(yè)慣例充當了一定的作用，并依托法律的一般條款進行認定。當然，行業(yè)慣例可以與法律一樣作為平衡不同利益訴求的工具，但也只能夠作為一種參考性的標準，在具體的判決中，還是應(yīng)當引入到法律中，根據(jù)立法目的認定行業(yè)慣例是否為一個良好的行業(yè)慣例。此外，一個開放、自由、流通的信息網(wǎng)絡(luò)需要信息交流的便捷和暢通，一個創(chuàng)新、高速、專業(yè)的互聯(lián)網(wǎng)經(jīng)濟也更需要依托對科技的投入和知識產(chǎn)權(quán)的保護。所以，在互聯(lián)網(wǎng)新型競爭關(guān)系下，合理平衡各方利益的行業(yè)慣例才可以被稱為良好的行業(yè)慣例。

注釋：

中華人民共和國工業(yè)和信息化部發(fā)布的《我國互聯(lián)網(wǎng)市場競爭現(xiàn)狀與問題分析》.http：//www.miit.gov.cn/n11293472/n11293832/n15214847/n15218234/15475341.html.

王先林主編.中國反壟斷法實施熱點問題研究.法律出版社.2011.334，324.

張文顯主編.法理學.法律出版社.2007.300.

范長軍.行業(yè)慣例與不正當競爭.法學家.2015（5）.

eBay， Inc.v.Biddcr's Ed}；c，Inc.，100 F.Supp.2d 1058（N.D.Ca1.2000）.

張金平.有關(guān)爬蟲協(xié)議的國外案例評析.電子知識產(chǎn)權(quán).2012（12）.

此案一審判決書英文版.http：//www.groklaw.nct/articlcbasic.php？story=20070726 152837334.

楊華權(quán)、曲三強.論爬蟲協(xié)議的法律性質(zhì).法律適用.2013（4）.

博登浩森著.段瑞林、湯宗舜譯.保護工業(yè)產(chǎn)權(quán)巴黎公約指南（附英文譯本）.中國人民大學出版社.2003.97.

張平.違反爬蟲協(xié)議能否適用反不正當競爭法一般條款.人民法院報.2013年6月5日，第7版.

范長軍.行業(yè)慣例與不正當競爭行為.法學家.2015（5）.86.

德國聯(lián)邦最高法院.工業(yè)產(chǎn)權(quán)與著作權(quán)保護雜志.2011年合刊.431.

種明釗主編.競爭法學.法律出版社.2008.19.

網(wǎng)絡(luò)效應(yīng)是指消費者使用某產(chǎn)品的效用依賴于適用同類或兼容產(chǎn)品的其他消費者數(shù)量

種明釗主編.競爭法.法律出版社.2008.287.

楊華權(quán).論爬蟲協(xié)議對互聯(lián)網(wǎng)競爭關(guān)系的影響.知識產(chǎn)權(quán).2014（1）.