論爬蟲協(xié)議對互聯(lián)網(wǎng)競爭關(guān)系的影響

楊華權(quán)

論爬蟲協(xié)議對互聯(lián)網(wǎng)競爭關(guān)系的影響

楊華權(quán)

從爬蟲協(xié)議的法律性質(zhì)出發(fā)，研究了爬蟲協(xié)議的內(nèi)容，區(qū)分了爬蟲協(xié)議以及根據(jù)爬蟲協(xié)議制定的robots.txt。從反不正當(dāng)競爭法角度而言，設(shè)置排斥性條款的robots.txt可能違背爬蟲協(xié)議的自由和公平精神，從而違反公認(rèn)的商業(yè)道德和誠實信用原則。從反壟斷法角度而言，如果沒有合理理由，具有市場支配地位的服務(wù)商利用robots.txt進(jìn)行拒絕交易和歧視對待行為，可構(gòu)成壟斷行為。

搜索引擎爬蟲協(xié)議行業(yè)慣例競爭關(guān)系壟斷行為

互聯(lián)網(wǎng)經(jīng)濟(jì)是知識經(jīng)濟(jì)向縱深發(fā)展的高級階段。當(dāng)前，互聯(lián)網(wǎng)市場競爭主體日益增多，競爭日趨激烈，細(xì)分市場格局高度集中?；ヂ?lián)網(wǎng)行業(yè)正經(jīng)歷著從自由競爭時代向壟斷競爭時代的轉(zhuǎn)折，在某些領(lǐng)域已經(jīng)出現(xiàn)了寡頭壟斷，基于商業(yè)模式模仿的同質(zhì)化競爭助長了不正當(dāng)競爭行為和濫用市場支配地位行為，a朱乾 龍：《我國 互聯(lián)網(wǎng)市場 競爭現(xiàn)狀與問題 分析》，http ∶//www.miit.gov.cn/n11293472/n11293832/n15214847/ n15218234/15475341.html；丁道勤：《我國互聯(lián)網(wǎng)市場競爭對監(jiān)管的挑戰(zhàn)及應(yīng)對思考》，http∶//www.cttl.cn/tegd/flfg/201304/ t20130415_917440.html，最后訪問日期：2013年8月22日最后訪問。損害了市場秩序，破壞了正常競爭。因此，對互聯(lián)網(wǎng)行業(yè)壟斷行為和不正當(dāng)競爭行為要高度重視。

北京市第一中級人民法院于2013年2月8日正式受理，并于同年10月16日開庭審理了北京百度網(wǎng)訊科技有限公司、百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司（以下合稱“百度公司”）訴北京奇虎科技有限公司（以下簡稱“奇虎公司”）基于搜索引擎領(lǐng)域里robots協(xié)議（即Robots Exclusion Protocol，網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)，亦稱爬蟲協(xié)議、爬蟲規(guī)則、機(jī)器人協(xié)議、蜘蛛?yún)f(xié)議等）的不正當(dāng)競爭糾紛一案。b本案由百度公司在2012年10月16日向北京市第一中級人民法院提起訴訟而引發(fā)，訴由包括不正當(dāng)競爭及著作權(quán)侵權(quán)。起訴后，其間經(jīng)歷了庭前調(diào)解階段，百度公司后來放棄了著作權(quán)侵權(quán)的訴求。該案是百度公司與奇虎公司相互爭奪搜索引擎市場網(wǎng)絡(luò)資源的商業(yè)競爭c這場 競 爭 被 稱 為 “ 3B 大 戰(zhàn) ” ， 更 進(jìn)一 步的 介紹可 參 見 互 動 百 科 詞 條 “ 3B 大 戰(zhàn) ” ， http ∶//www.baike.com/ wiki/3B%E5%A4%A7%E6%88%98， 最后訪問日期：2013年6月28日。在訴訟領(lǐng)域的延續(xù)，引起了廣泛關(guān)注。此案一出，robots協(xié)議的法律性質(zhì)面臨正式的司法認(rèn)定，它對互聯(lián)網(wǎng)競爭關(guān)系的影響以及應(yīng)如何完善該協(xié)議迫切需要進(jìn)一步的研究。

在該案中，百度公司訴稱其依據(jù)國際互聯(lián)網(wǎng)行業(yè)規(guī)則即robots協(xié)議設(shè)置robots.txt文件，但奇虎公司違反該規(guī)則，其所推出的360搜索服務(wù)違規(guī)抓取百度公司經(jīng)營的百度網(wǎng)站（http:// www.baidu.com）及百度知道（http://zhidao.baidu. com）、百度百科（http://baike.baidu.com）、百度貼吧（http://tieba.baidu.com）等多個欄目的內(nèi)容，生成“網(wǎng)頁快照”復(fù)制件存儲于其自身服務(wù)器中，當(dāng)用戶點(diǎn)擊相應(yīng)搜索結(jié)果的鏈接時，直接向網(wǎng)民提供該“網(wǎng)頁快照”以替代百度公司向網(wǎng)民提供相應(yīng)服務(wù)。d楊華權(quán)、曲三強(qiáng)：《論爬蟲協(xié)議的法律性質(zhì)》，載《法律適用》2013年第4期，第30頁。奇虎公司則表示，robots.txt僅僅是指導(dǎo)和提示搜索引擎蜘蛛程序“善意的提示性txt文件”，既不是法規(guī)或標(biāo)準(zhǔn)，也不是合約，因而不存在違法與不違法的問題。e王 曉 雁 ： 《 百 度 訴 奇 虎 360 索 賠 一 億 元 法 院 立 案 》 ， 載 http ∶//www.legaldaily.com.cn/index/content/2013-02/21/ content_4215407.htm?node=20908，最后訪問日期：2013年2月28日。

從競爭法角度而言，此案對互聯(lián)網(wǎng)領(lǐng)域的競爭關(guān)系提出了新課題、新挑戰(zhàn)。為此，需要從robots.txt文本文件入手，研究robots協(xié)議的法律性質(zhì)，f本文作者已在另一篇論文中詳細(xì)論述了robots協(xié)議的法律性質(zhì)，部分觀點(diǎn)在本文中直接引述。具體參見楊華權(quán)、曲三強(qiáng)：《論爬蟲協(xié)議的法律性質(zhì)》，載《法律適用》2013年第4期。需要注意的是，本文對其中的觀點(diǎn)有進(jìn)一步的發(fā)展。明確與搜索引擎相關(guān)的不正當(dāng)競爭行為與壟斷行為，以期規(guī)范互聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展。

一、爬蟲協(xié)議對不正當(dāng)競爭認(rèn)定的影響

不管是國內(nèi)還是國外的法院，盡管判決結(jié)果存在差別，但對robots協(xié)議的性質(zhì)的認(rèn)識還比較一致，即：從權(quán)利人角度而言，robots.txt是網(wǎng)絡(luò)環(huán)境下權(quán)利人依據(jù)robots協(xié)議采取的控制訪問的技術(shù)手段，或者至少肯定了設(shè)置恰當(dāng)?shù)膔obots.txt可以向搜索引擎蜘蛛程序起到告知（是否允許復(fù)制）的作用；g張金平：《有關(guān)爬蟲協(xié)議的國外案例評析》，載《電子知識產(chǎn)權(quán)》2012年第12期，第84頁。從搜索引擎蜘蛛程序角度而言，公平、合理的robots.txt應(yīng)該得到尊重和遵守，忽略robots.txt的禁止性規(guī)定而抓取網(wǎng)站相關(guān)內(nèi)容，則可能構(gòu)成惡意行為。從這個意義上來講，中外法院認(rèn)定robots協(xié)議構(gòu)成搜索行業(yè)的慣例方面是比較一致的。不過，這些案例僅僅是認(rèn)定robots協(xié)議可以作為行業(yè)慣例，但是并沒有任何判例對根據(jù)robots協(xié)議設(shè)立的robots.txt的公平性、合理性進(jìn)行評定，也沒有任何案例對搜索引擎蜘蛛程序忽略不公平的robots.txt的禁止性規(guī)定而抓取網(wǎng)頁的行為性質(zhì)作出評定。如果僅僅是簡單認(rèn)定robots協(xié)議可以作為行業(yè)慣例，但罔顧設(shè)定robots.txt的不公平、不合理之處，從而對案件作出簡單的裁定，顯然過于武斷。

在認(rèn)定不正當(dāng)競爭案件時，當(dāng)事人之間是否具有競爭關(guān)系往往是構(gòu)成不正當(dāng)競爭行為的要件之一。當(dāng)事人之間如果不具有競爭關(guān)系，就不會構(gòu)成不正當(dāng)競爭行為。因此，首先確定當(dāng)事人之間是否具有競爭關(guān)系具有舉足輕重的作用。

（一）競爭關(guān)系

競爭將在競爭者之間產(chǎn)生一定的競爭關(guān)系，存在競爭關(guān)系是競爭法得以調(diào)整競爭者關(guān)系的前提和基礎(chǔ)?！案偁庩P(guān)系是取得經(jīng)營資格的平等市場主體之間在競爭過程中形成的社會關(guān)系。認(rèn)定不正當(dāng)競爭，除了要具備一般民事侵權(quán)行為的構(gòu)成要件以外，還要注意審查是否存在競爭關(guān)系。存在競爭關(guān)系是認(rèn)定構(gòu)成不正當(dāng)競爭的條件之一。”h曹建明：《加大知識產(chǎn)權(quán)司法保護(hù)力度 依法規(guī)范市場競爭秩序──在全國法院知識產(chǎn)權(quán)審判工作座談會上的講話》（2004年11月11日）。對于競爭關(guān)系，學(xué)界區(qū)分為廣義競爭關(guān)系和狹義競爭關(guān)系，認(rèn)為：“反壟斷法所要求的競爭關(guān)系是嚴(yán)格意義上的競爭關(guān)系，或者說狹義的競爭關(guān)系；反不正當(dāng)競爭法上的競爭關(guān)系是一種廣義的競爭關(guān)系?！眎孔祥俊：《反壟斷法原理》，中國法制出版社2001年版，第260頁。從狹義上而言，競爭關(guān)系的主體限于同一相關(guān)市場上的經(jīng)營者之間，非同一相關(guān)市場上的經(jīng)營者之間不存在競爭關(guān)系。從廣義上來說，競爭關(guān)系的主體還包括經(jīng)營不相同業(yè)務(wù)的經(jīng)營者，如果該經(jīng)營者的行為違背了《反不正當(dāng)競爭法》第2條規(guī)定的競爭原則，也可以認(rèn)定相互間存在競爭關(guān)系。j曹建明：《加大知識產(chǎn)權(quán)司法保護(hù)力度 依法規(guī)范市場競爭秩序──在全國法院知識產(chǎn)權(quán)審判工作座談會上的講話》（2004年11月11日）。

（二）與robots.txt相關(guān)的網(wǎng)絡(luò)環(huán)境下的競爭關(guān)系

robots.txt是存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴搜索引擎蜘蛛程序在此網(wǎng)站中可以抓取和禁止抓取的內(nèi)容。因此，與robots.txt最直接相關(guān)的網(wǎng)站，就是提供搜索引擎服務(wù)的網(wǎng)站以及提供內(nèi)容服務(wù)的網(wǎng)站。與此相關(guān)的競爭就是在它們之間展開，不過其中一方必定是搜索引擎服務(wù)提供者。

1.搜索引擎服務(wù)之間的競爭

搜索引擎是指“根據(jù)一定的策略、運(yùn)用特定的計算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)?！眐百度百科：“搜索引擎”，http∶//baike.baidu.com/view/1154.htm，最后訪問日期：2013年10月25日。如果沒有搜索引擎，就難以對無序的網(wǎng)絡(luò)信息資源進(jìn)行檢索、交接和共享乃至深層次的開發(fā)利用，形成信息孤島。搜索引擎技術(shù)的目的就是要消除信息孤島，實現(xiàn)互聯(lián)網(wǎng)上所有資源的全面連通。搜索引擎是用戶訪問互聯(lián)網(wǎng)的向?qū)?，搜索引擎能夠根?jù)用戶輸入的關(guān)鍵詞，全面、迅速地將用戶需要的信息從海量的互聯(lián)網(wǎng)信息中揀選出來并提供給用戶。

搜索引擎按其工作方式主要可分為三種：全文搜索引擎（Ful智庫百科：“互聯(lián)網(wǎng)內(nèi)容提供商”，http∶//wiki.mbalib.com/wiki/互聯(lián)網(wǎng)內(nèi)容提供商，最后訪問日期：2013年10月25日。l Text Search Engine）、目錄索引類搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。搜索引擎按照其搜索范圍又可分為站內(nèi)搜索、分類導(dǎo)航搜索和全網(wǎng)搜索。

按照狹義競爭關(guān)系的分析，同類產(chǎn)品極易產(chǎn)生競爭關(guān)系，尤其對于消費(fèi)者無需重復(fù)消費(fèi)的產(chǎn)品和服務(wù)，這樣的競爭是明顯的。在搜索引擎服務(wù)商之間，搜索服務(wù)本身具有同一性，即為用戶提供搜索結(jié)果的整合排序，不同搜索平臺在這個過程中是彼此獨(dú)立的，用戶選擇是排他的。因此，同類搜索引擎服務(wù)商之間的競爭關(guān)系明朗，例如全網(wǎng)全文搜索之間存在競爭關(guān)系的有百度（Baidu）、google、Bing、360搜索、搜狗搜索等。

另外，不同類型搜索引擎之間也具有競爭關(guān)系。不同類型的搜索引擎往往存在疊加使用的情況，用戶可能在全網(wǎng)搜索出相關(guān)網(wǎng)站后，并不能立刻鏈接到檢索的具體信息，而是需要再進(jìn)入網(wǎng)站進(jìn)行分類導(dǎo)航或者站內(nèi)搜索，以使搜索結(jié)果更準(zhǔn)確，這時候，不同類型的搜索引擎并不是排他的，相反，小范圍垂直搜索或站內(nèi)搜索反而成為通用搜索的推廣客戶，彼此合作關(guān)系勝過競爭關(guān)系。但隨著不同產(chǎn)品的革新和完善，各類搜索引擎將更加完善，垂直搜索引擎正在逐漸蠶食通用搜索的市場份額，競爭將日趨明顯。

2.搜索引擎服務(wù)與提供內(nèi)容服務(wù)之間的競爭

互聯(lián)網(wǎng)內(nèi)容提供商（Internet Content Provider, ICP）是向廣大用戶綜合提供互聯(lián)網(wǎng)信息業(yè)務(wù)和增值業(yè)務(wù)的運(yùn)營商，如新浪、搜狐、163等。按服務(wù)對象和提供的信息內(nèi)容等劃分，ICP主要包括網(wǎng)上媒體運(yùn)營商、數(shù)據(jù)庫運(yùn)營商、信息咨詢商和信息發(fā)布代理商。網(wǎng)上媒體運(yùn)營商主要通過免費(fèi)為上網(wǎng)用戶提供信息服務(wù)來聚集消費(fèi)者，普通用戶通過自己的瀏覽器輸入媒體運(yùn)營商Web網(wǎng)址，進(jìn)入其服務(wù)網(wǎng)站即可獲得媒體運(yùn)營商所提供的信息，這些免費(fèi)的信息服務(wù)包括新聞、Internet上的信息目錄分類、Internet上的網(wǎng)頁和網(wǎng)站搜索、個人的個性化信息服務(wù)配置、聊天室和分類廣告等。數(shù)據(jù)庫運(yùn)營商是通過互聯(lián)網(wǎng)將按專業(yè)領(lǐng)域分類的各種統(tǒng)計數(shù)據(jù)、文獻(xiàn)書目和論文期刊等提供給用戶，用戶在網(wǎng)上憑會員用戶名和密碼進(jìn)入數(shù)據(jù)庫運(yùn)營商的Web網(wǎng)站，提交自己要查詢信息的各種要求，數(shù)據(jù)庫運(yùn)營商將使用用戶指定的通信方式，將檢索信息結(jié)果返回給用戶。信息咨詢商主要是為企業(yè)提供戰(zhàn)略規(guī)劃和決策咨詢服務(wù)。信息發(fā)布代理商的業(yè)務(wù)是在傳統(tǒng)的信息中介代理在Internet上展開代理撮合的全新業(yè)務(wù)方式。l智庫百科：“互聯(lián)網(wǎng)內(nèi)容提供商”，http∶//wiki.mbalib.com/wiki/互聯(lián)網(wǎng)內(nèi)容提供商，最后訪問日期：2013年10月25日。

搜索引擎提供信息定位服務(wù)，達(dá)到互聯(lián)網(wǎng)的互聯(lián)互通。因此，搜索信息的全面性是搜索引擎應(yīng)當(dāng)滿足的最基本也最重要的要求，而搜索的快速、搜索結(jié)果順序編排合理以及盡量減少和屏蔽搜索結(jié)果中的垃圾信息及風(fēng)險網(wǎng)站等則是搜索引擎在全面性基礎(chǔ)之上需要達(dá)到的更高的要求?；ヂ?lián)網(wǎng)內(nèi)容服務(wù)就是為用戶提供各種信息，包括國內(nèi)外的政治、經(jīng)濟(jì)、文化、體育、生活、娛樂等信息，具體表現(xiàn)為文字、圖片、文檔、音頻、視頻等，不僅可以在線瀏覽，而且在一定條件下可以提供下載。有了搜索引擎服務(wù)，可以幫助用戶快速訪問互聯(lián)網(wǎng)內(nèi)容服務(wù)。從這個意義上說，搜索引擎服務(wù)商與互聯(lián)網(wǎng)內(nèi)容提供商并不是具有直接競爭關(guān)系的經(jīng)營者。

（三）基于robots.txt的不正當(dāng)競爭行為的認(rèn)定

競爭的本質(zhì)是市場主體爭取交易機(jī)會或者獲取交易上競爭優(yōu)勢的活動。所謂不正當(dāng)競爭行為，就是經(jīng)營者采取不正當(dāng)手段爭取交易機(jī)會的行為。

1.搜索引擎服務(wù)與提供內(nèi)容服務(wù)的競爭關(guān)系

在百度公司訴奇虎公司案件中，盡管雙方都是搜索引擎服務(wù)提供商，但該案爭議的焦點(diǎn)不在于百度搜索與360搜索兩種服務(wù)之爭，而在于百度公司提供的內(nèi)容服務(wù)與360搜索引擎服務(wù)之間的爭端。這是確定競爭關(guān)系時首先需要明確的。

如前所述，搜索引擎服務(wù)商與互聯(lián)網(wǎng)內(nèi)容提供商并不是具有直接競爭關(guān)系的經(jīng)營者。但是，反不正當(dāng)競爭法上的不正當(dāng)競爭行為不必是經(jīng)營同類或者替代商品的對方經(jīng)營者爭奪交易機(jī)會的行為，而是以不正當(dāng)手段謀取競爭優(yōu)勢或者破壞他人競爭優(yōu)勢的行為，也即是以不正當(dāng)方式與競爭對手或者其他經(jīng)營者直接或者間接爭奪交易機(jī)會的行為，競爭關(guān)系就是由此產(chǎn)生的損害與被損害的關(guān)系。mm孔祥俊：《反不正當(dāng)競爭法原理》，知識產(chǎn)權(quán)出版社2005年版，第76頁。據(jù)此，競爭關(guān)系可以歸為三種基本的類型：同業(yè)經(jīng)營者之間的競爭關(guān)系、為自己或者他人爭取交易機(jī)會而產(chǎn)生的競爭關(guān)系以及因破壞他人競爭優(yōu)勢而產(chǎn)生的競爭關(guān)系。第一種類型是狹義上的競爭關(guān)系；后兩種類型是廣義上的競爭關(guān)系。

從狹義上而言，從百度公司訴奇虎公司的案件事實和當(dāng)初發(fā)生的客觀情況來看，奇虎公司是作為搜索引擎服務(wù)商而不是作為內(nèi)容服務(wù)商出現(xiàn)的；百度公司盡管也是搜索引擎服務(wù)商，但在該案中，其主要作用在于提供內(nèi)容服務(wù)，如百度知道、百度百科、百度文庫、百度貼吧、百度旅游等，而不是提供搜索服務(wù)。這些內(nèi)容網(wǎng)站與百度自身的搜索服務(wù)無關(guān)。因此，在該案中，雙方提供的服務(wù)不同，二者之間不具有替代關(guān)系。

從廣義上說，盡管搜索引擎服務(wù)商與互聯(lián)網(wǎng)內(nèi)容提供商并不是同業(yè)經(jīng)營者，雙方之間不存在直接競爭關(guān)系，但如果存在謀取競爭機(jī)會、破壞對方競爭優(yōu)勢的行為，違反了商業(yè)道德和行業(yè)慣例，就可以認(rèn)為雙方之間存在競爭關(guān)系。這是從廣義角度來理解的。目前我國司法實踐也是從這個角度來理解不正當(dāng)競爭行為中的競爭關(guān)系。

2.區(qū)分作為商業(yè)慣例的爬蟲協(xié)議與具體的robots.txts.txt

在民商法領(lǐng)域，法律所未規(guī)定者，可依習(xí)慣處理。《保護(hù)工業(yè)產(chǎn)權(quán)巴黎公約》第10條之2款規(guī)定，凡在工商業(yè)活動中違反誠實的習(xí)慣做法的競爭行為，構(gòu)成不正當(dāng)競爭行為。在對該條款的權(quán)威解釋中，在認(rèn)定某一行為是否構(gòu)成不正當(dāng)競爭，不限于在請求保護(hù)的該成員國所存在的誠實的習(xí)慣做法，而且也必須考慮國際貿(mào)易中形成的誠實的習(xí)慣做法。n［ 奧地利］博登浩森：《保護(hù)工業(yè)產(chǎn)權(quán)巴黎公約指南（附英文文本）》，段瑞林、湯宗舜譯，中國人民大學(xué)出版社2003年版，第97頁。我國《反不正當(dāng)競爭法》第2條也要求經(jīng)營者在市場交易中，應(yīng)當(dāng)遵循自愿、平等、公平、誠實信用原則，遵守公認(rèn)的商業(yè)道德。已經(jīng)有學(xué)者指出，不管是國際通用的技術(shù)標(biāo)準(zhǔn)或行業(yè)慣例，還是自愿性的規(guī)范或者基于商業(yè)道德和行業(yè)慣例的自律規(guī)則，都應(yīng)當(dāng)?shù)玫椒傻闹С?，在不正?dāng)競爭案件中，可以適用反不正當(dāng)競爭法的一般條款。爬蟲協(xié)議就屬于上述的一種情形。o張平：《違反“爬蟲協(xié)議”能否適用反不正當(dāng)競爭法一般條款》，載《人民法院報》2013年6月5日第7版。爬蟲協(xié)議主要基于安全與隱私的原因而建立：“（1）搜索技術(shù)應(yīng)服務(wù)于人類，尊重信息提供者的意愿，并維護(hù)其隱私權(quán)；（2）網(wǎng)站有義務(wù)保護(hù)其使用者的個人信息和隱私權(quán)不被侵犯?！眕百度百科：robots協(xié)議，http∶//baike.baidu.com/view/9274458.htm， 最后訪問日期：2013年11月23日。作為一種行業(yè)慣例，在搜索行業(yè)中已得到經(jīng)常的遵循，從而使人有理由期望它在有爭議的交易中也將得到遵守。q參見美國《統(tǒng)一商法典》第1—205（2）條。

值得注意的是，作為行業(yè)慣例的爬蟲協(xié)議與具體的robots.txt并非同一概念，但將二者混淆的大有人在，如“Robots協(xié)定r是搜索引擎在抓取網(wǎng)站信息時要遵守的一個規(guī)則，是國際互聯(lián)網(wǎng)界通行的道德規(guī)范。網(wǎng)站主人通過Robots協(xié)議明示自動抓取程序，服務(wù)器上什么內(nèi)容可以被抓取，什么內(nèi)容不可以被抓取。”“如果不遵循Robots協(xié)議，將會破其業(yè)界信任，使得網(wǎng)站不愿意被抓取的內(nèi)容被搜索引擎索引，最終傷害用戶的利益。”s百度百科：robots協(xié)議，http∶//baike.baidu.com/view/9274458.htm，最后訪問日期：2013年11月23日。即使搜索引擎服務(wù)與內(nèi)容服務(wù)具有競爭關(guān)系，在不正當(dāng)競爭行為的認(rèn)定上，還需進(jìn)一步區(qū)分爬蟲協(xié)議以及具體的robots.txt文本本身?？梢哉f，網(wǎng)站是通過robots.txt文本文件實現(xiàn)爬蟲協(xié)議，爬蟲協(xié)議確定了robots.txt需要遵循的原則。作為一種行業(yè)慣例，爬蟲協(xié)議具體內(nèi)容應(yīng)該是：

（1）設(shè)置了robots.txt語法規(guī)則；

（2）確定蜘蛛程序訪問的范圍并置放于站點(diǎn)根目錄下，作為蜘蛛程序訪問該站點(diǎn)的第一個文件；

（3）確立了公平、開放和促進(jìn)信息自由流動的原則。

爬蟲協(xié)議作為一種行業(yè)慣例，體現(xiàn)了一定的商業(yè)道德，其被遵循的應(yīng)該是上述原則和精神。但是，如果將作為一種行業(yè)慣例的爬蟲協(xié)議混同于某一具體的robots.txt，則完全混淆了一般與個別的界限。不遵守爬蟲協(xié)議是一個概念，不遵守某一個具體的robots.txt又是另外一個概念，不能混同。

3. 含有拒絕交易、歧視對待內(nèi)容的 robots.bots. txt與商業(yè)道德的關(guān)系

某一具體的robots.txt如果完全符合爬蟲協(xié)議的精神，則要體現(xiàn)公平、開放和促進(jìn)信息自由流動的原則。對robots協(xié)議的尊重以及對robots. txt的遵守，體現(xiàn)了一種有序競爭的商業(yè)道德。從網(wǎng)站角度而言，網(wǎng)站有權(quán)根據(jù)爬蟲協(xié)議來設(shè)置robots.txt，從而控制蜘蛛程序訪問，防止未經(jīng)許可對網(wǎng)站內(nèi)容的使用，維護(hù)合法權(quán)益不受侵犯；從搜索引擎蜘蛛程序角度而言，robots.txt協(xié)議是訪問某一網(wǎng)站內(nèi)容的路徑指令，理應(yīng)得到尊重和遵守，忽略robots.txt而違規(guī)抓取網(wǎng)站內(nèi)容可能構(gòu)成惡意行為。t楊華權(quán)、曲三強(qiáng)：《論爬蟲協(xié)議的法律性質(zhì)》，載《法律適用》2013年第4期，第34頁。

但是，如果某一具體的robots.txt文本文件采取了拒絕交易、歧視規(guī)定的措施，是否違反誠實信用原則，是否違背商業(yè)道德？

以百度公司訴奇虎公司為例，百度公司設(shè)置的各種robots.txt具體如下：在百度網(wǎng)站的robots.txtu在http∶//www.baidu.com/robots.txt可以訪問。中，允許訪問的搜索引擎蜘蛛程序有Baiduspider、Googlebot、MSNBot、Baiduspiderimage、YoudaoBot、Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider、JikeSpider、Sosospider、PangusoSpider。禁止Baiduspider抓取網(wǎng)頁地址以“www.baidu.com/baidu”和“www. baidu.com/s?”開頭的所有網(wǎng)頁的內(nèi)容；對于其他搜索引擎，還有禁止訪問“www.baidu.com/ shifen”、“www.baidu.com/homepage”目錄及其中的所有內(nèi)容，以及網(wǎng)頁地址以“www. baidu.com/cpro”為開頭的所有網(wǎng)頁。除上述所列以外，禁止所有其他搜索引擎蜘蛛程序訪問“www.baidu.com”的所有內(nèi)容。在百度知道的robots.txtv在http∶//zhidao.baidu.com/robots.txt可以訪問。中，允許抓取的搜索引擎在百度網(wǎng)站允許范圍基礎(chǔ)上增加了Googlebot-Mobile。除了Baiduspider不得抓取網(wǎng)頁地址以“zhidao.baidu. com/w?” 開頭的所有網(wǎng)頁內(nèi)容外，允許前述所列其他搜索引擎抓取百度知道欄目的所有內(nèi)容。除上述所列以外，禁止所有其他搜索引擎抓取百度知道欄目的任何內(nèi)容。百度百科的robots.txtww在http∶//baike.baidu.com/robots.txt可以訪問。和百度貼吧的robots.txtx在http∶//tieba.baidu.com/robots.txt可以訪問。也有大致相似的規(guī)定。

在前述幾個robots.txt中，360搜索蜘蛛程序（360Spider）均被禁止訪問百度網(wǎng)站、百度知道、百度百科和百度貼吧的任何內(nèi)容，但其忽略上述robots.txt的禁止性規(guī)定，抓取相應(yīng)的內(nèi)容，從而引發(fā)訴訟。對此，百度公司的解釋是，“百度并沒有禁止所有爬蟲抓取問答、知道和貼吧的內(nèi)容，百度只是禁止了不規(guī)矩的、存在潛在安全風(fēng)險的爬蟲，這恰是保護(hù)市場秩序，保護(hù)用戶隱私權(quán)的合理舉措?！眣百度百科：“robots協(xié)議”，http∶//baike.baidu.com/view/9274458.htm， 最后訪問日期：2013年11月23日。這樣的解釋是否充分合理？

對于一個網(wǎng)站來說，設(shè)置robots.txt主要目的在于告訴搜索引擎蜘蛛程序的爬行路徑，保護(hù)網(wǎng)站內(nèi)部信息不被蜘蛛程序抓取，引導(dǎo)蜘蛛程序不要抓取對用戶沒有價值的信息，保護(hù)中小網(wǎng)站的流量平衡，避免爬蟲快速抓取給網(wǎng)站服務(wù)器帶來過大壓力。一般來說，用戶在利用搜索引擎檢索到內(nèi)容網(wǎng)站時，對內(nèi)容網(wǎng)站并不構(gòu)成傷害，反而會為內(nèi)容網(wǎng)站帶來更多用戶。如果某一搜索引擎蜘蛛程序“快速抓取導(dǎo)致網(wǎng)站過載，影響網(wǎng)站正常運(yùn)行；重復(fù)抓取相同的文件，抓取層級很深的虛擬樹狀目錄，浪費(fèi)服務(wù)器資源；抓取網(wǎng)站管理后臺等內(nèi)部敏感信息，或抓取臨時文件等對用戶沒有價值的信息；抓取會對投票等CGI腳本造成負(fù)面影響，可能出現(xiàn)虛假的投票結(jié)果”z360百科：《robots協(xié)議》，http∶//baike.so.com/doc/4854891.html，最后訪問日期：2013年11月23日。的時候，可能會被禁止抓取該網(wǎng)站的相關(guān)內(nèi)容。事實上，百度公司方面未曾有足夠的證據(jù)證明360搜索具有“不規(guī)矩的、存在潛在安全風(fēng)險”，也未曾證明其具有侵犯隱私方面的證據(jù)，因而其辯解的可信度遭到質(zhì)疑。相反，360搜索為百度公司帶來不小的流量。

有人可能會爭辯說，網(wǎng)站通過robots.txt限定允許他人訪問的范圍，是法律所允許的自由。即使這種限定是明顯針對某特定搜索引擎，在其資源不屬于公共資源或因其他原因法律要求必須對他人平等開放的資源之外，也很難有違法性或違反商業(yè)道德及誠信原則的問題可言。在網(wǎng)站已明確拒絕特定搜索引擎訪問的情況下，該搜索引擎的強(qiáng)行“訪問”構(gòu)成民法上的“侵入”（trepass）。有人還發(fā)表評論指出，robots. txt“就類似客人在酒店住宿時在門上掛了一塊‘請勿打擾’的牌子，但現(xiàn)在有服務(wù)員說要給客人提供貼心的服務(wù)，強(qiáng)行摘下牌子進(jìn)入房間?！边€有人指出“360通過隱蔽訪問來源等技術(shù)繞開了百度設(shè)置的保護(hù)措施，未經(jīng)許可加以抓取，則涉及不正當(dāng)競爭?！盄7敖 祥菲：《3B大戰(zhàn)起訴與反起訴：1億元 PK 4億元》，http∶//www.cq.xinhuanet.com/2013-10/17/c_117753344.htm，最后訪問日期：2013年10 月25日。實際上這樣的評論只是看到表面，并未了解進(jìn)一步的實質(zhì)。

由于爬蟲協(xié)議中不僅包括是否允許搜索引擎進(jìn)行抓取的內(nèi)容，還包括允許誰和不允許誰進(jìn)行搜索的內(nèi)容。這些排斥性條款可能會被具有市場支配地位的搜索引擎公司利用，用來強(qiáng)迫一些內(nèi)容網(wǎng)站訂立排他性協(xié)議。Google搜索在擁有壟斷地位之后，就曾利用這些排斥性規(guī)則阻礙后來的競爭者。因此，對于含有拒絕交易、歧視對待內(nèi)容的robots.txt，需要結(jié)合該網(wǎng)站是否具有市場支配地位進(jìn)行分析。如果該網(wǎng)站具有市場支配地位，則可能構(gòu)成拒絕交易、歧視對待的壟斷行為，本文將對此展開分析。如果該網(wǎng)站不具有市場支配地位，該搜索引擎的強(qiáng)行“訪問”未必構(gòu)成民法上的“侵入”（trepass）。

在eBay v. Bidder's Edge中，審理該案的Ronald M. Whyte法官指出，eBay的服務(wù)器是私有財產(chǎn)，eBay授予公眾可以有條件的訪問，并禁止包括BE在內(nèi)所采取的自動化式的訪問。Whyte法官認(rèn)為，超出同意的范圍，就構(gòu)成對他人財產(chǎn)的侵犯；而BE的行為明顯超越了eBay允許的使用范圍，構(gòu)成非授權(quán)的使用，是對eBay財產(chǎn)的侵犯。@8e Bay, Inc. v. Bidder's Edge, Inc., 100 F. Supp. 2d 1058 (N.D. Cal. 2000).但Whyte法官是基于滑坡謬誤（Slippery slope）理論，即如果BE的行為被允許繼續(xù)而不受限制，將會鼓勵其他拍賣門戶去使用蜘蛛程序參與到類似的查詢中來，最終將導(dǎo)致對eBay不可彌補(bǔ)的損害。這種理論通過對連串因果關(guān)系的不合理使用，將“可能性”轉(zhuǎn)化為“必然性”，得出錯誤的結(jié)論。2003年，在Intel Corp. v. Hamidi一案中，加利福尼亞州最高法院就暗示地推翻了Whyte法官的觀點(diǎn)。在Ticketmaster Corp. v. Tickets.Com, Inc.中，法院則強(qiáng)調(diào)“由于‘蜘蛛’并不會對動產(chǎn)造成實質(zhì)損害，必須存在證據(jù)證明使用或利用被‘蜘蛛化的’電腦（或網(wǎng)絡(luò)）時受到了‘蜘蛛’使用行為的不利影響。于此未見此種證據(jù)。不失尊敬地，本院不同意其他地區(qū)法院關(guān)于以下的認(rèn)定，即認(rèn)定僅僅是使用蜘蛛進(jìn)入一個對公眾開放的網(wǎng)頁來收集信息的行為就足以滿足侵害動產(chǎn)中損害的條件?！盄9“Since the spider does not cause physical injury to the chattel, there must be some evidence that the use or utilityof the computer (or computer network) being ‘spiderized’ is adversely affected by the use of the spider. No such evidence is presented here. This court respectfully disagrees with other district courts' finding that mere use of a spider to enter a publicly available web site to gather information, without more, is sufficient to fulfill the harm requirement for trespass to chattels.” See Ticketmaster Corp. v. Tickets.Com, Inc., 2003 WL 21406289 (C.D.Cal. Mar.7, 2003)。

相反，互聯(lián)網(wǎng)的本質(zhì)要求是“互聯(lián)互通”。誠然，互聯(lián)互通并不意味著網(wǎng)站必須允許所有人平等地訪問和利用網(wǎng)站，除非網(wǎng)站中的資源屬于公共資源或因其他原因法律要求必須對他人平等開放的資源，網(wǎng)站可以通過robots.txt設(shè)定授權(quán)性條款和排斥性條款，將訪問的范圍限制于特定的地域或特定的人，或者排除特定地域的訪問或特定人的訪問。但是，這應(yīng)該有一個界限，即該種設(shè)定不應(yīng)違背公平、開放和促進(jìn)信息自由流動的原則。搜索引擎的使命在于信息定位，為用戶提供訪問信息的路徑。百度公司允許Google等搜索引擎蜘蛛程序的訪問，卻排斥了360搜索引擎蜘蛛程序的訪問，如果僅僅以其網(wǎng)站不屬于“公共資源或因其他原因法律要求必須對他人平等開放的資源”，理由缺乏正當(dāng)性。

需要注意的是，最高人民法院在山東省食品進(jìn)出口公司、山東山孚集團(tuán)有限公司、山東山孚日水有限公司與馬達(dá)慶、青島圣克達(dá)誠貿(mào)易有限公司不正當(dāng)競爭糾紛案（“海帶配額”案）中指出：“在規(guī)范市場競爭秩序的反不正當(dāng)競爭法意義上，誠實信用原則更多的是以公認(rèn)的商業(yè)道德形式體現(xiàn)出來的。商業(yè)道德要按照特定商業(yè)領(lǐng)域中市場交易參與者即經(jīng)濟(jì)人的倫理標(biāo)準(zhǔn)來加以評判，它既不同于個人品德，也不能等同于一般的社會公德，所體現(xiàn)的是一種商業(yè)倫理。反不正當(dāng)競爭法所要求的商業(yè)道德必須是公認(rèn)的商業(yè)道德，是指特定商業(yè)領(lǐng)域普遍認(rèn)知和接受的行為標(biāo)準(zhǔn)，具有公認(rèn)性和一般性。即使在同一商業(yè)領(lǐng)域，由于是市場交易活動中的道德準(zhǔn)則，公認(rèn)的商業(yè)道德也應(yīng)當(dāng)是交易參與者共同并普遍認(rèn)可的行為標(biāo)準(zhǔn)，不能僅從買方或者賣方、企業(yè)或者職工的單方立場來判斷是否屬于公認(rèn)的商業(yè)道德。具體到個案中公認(rèn)的商業(yè)道德，應(yīng)當(dāng)根據(jù)特定商業(yè)領(lǐng)域和個案情形（如特定行業(yè)的一般實踐、行為后果、交易雙方的主觀狀態(tài)和交易相對人的自愿選擇等）具體分析確定?！?0#0 最高人民法院（2009）民申字第1065號民事裁定書。#1 孔祥?。骸斗床徽?dāng)競爭法原理》，知識產(chǎn)權(quán)出版社2005年版，第67頁。#2 王先林：《中國反壟斷法實施熱點(diǎn)問題研究》，法律出版社2011年版，第341頁。

在所有主流搜索引擎中，百度公司唯獨(dú)限制360搜索的蜘蛛程序，有違公平原則；百度公司的限制使得360搜索的用戶無法正常通過360搜索獲取百度網(wǎng)站的內(nèi)容，有違開放原則和促進(jìn)信息自由流動原則。在沒有正當(dāng)理由的前提下，百度公司設(shè)置的robots.txt嚴(yán)重違反了誠實信用原則和公認(rèn)的商業(yè)道德，從而具有不正當(dāng)性。如果要求其他搜索引擎服務(wù)商遵守這樣有失公平合理的文本文件，顯然會違背robots協(xié)議的精神，同時也與搜索引擎的信息定位服務(wù)以及互聯(lián)網(wǎng)的公平、開放和促進(jìn)信息自由流動的原則精神格格不入。違背了商業(yè)道德的robots.txt不應(yīng)被遵守。因此，即使從廣義上看，具體到該案，360搜索引擎忽略百度公司設(shè)置的各種robots.txt文本的禁止性規(guī)定而抓取相關(guān)內(nèi)容，并沒有違背誠實信用原則和公認(rèn)的商業(yè)道德。從而，在忽略robots.txt的禁止性規(guī)定而抓取相應(yīng)內(nèi)容時，需要首先明確robots. txt是否滿足公平、合理和促進(jìn)開放的原則，而不能泛泛地認(rèn)為“robots.txt”構(gòu)成商業(yè)慣例而要求搜索引擎一概無條件地遵守。

二、爬蟲協(xié)議對壟斷行為認(rèn)定的影響

如前所述，反壟斷法要求的競爭關(guān)系一般為狹義的競爭關(guān)系。反壟斷法如此嚴(yán)格界定競爭關(guān)系，是與其制止限制競爭行為、維護(hù)競爭自由的立法目的分不開的。不過，如果經(jīng)營者已經(jīng)取得了壟斷地位，特定的市場結(jié)構(gòu)已不具有競爭性或者競爭不充分，該經(jīng)營者的壟斷行為既可能損害競爭對手或者其他經(jīng)營者的利益，也可能損害消費(fèi)者的利益，在這種情況下，其壟斷行為的構(gòu)成并不必然以具有競爭關(guān)系為必要，但最終破壞的都是市場競爭的機(jī)制。因此，壟斷行為的構(gòu)成也并非一概要求具有競爭關(guān)系。#1#0 最高人民法院（2009）民申字第1065號民事裁定書。#1 孔祥?。骸斗床徽?dāng)競爭法原理》，知識產(chǎn)權(quán)出版社2005年版，第67頁。#2 王先林：《中國反壟斷法實施熱點(diǎn)問題研究》，法律出版社2011年版，第341頁。

在我國《反壟斷法》第17條規(guī)定的7種濫用市場支配地位的行為中，包含了拒絕交易和歧視交易兩種行為。拒絕交易是指“沒有正當(dāng)理由，拒絕與交易相對人進(jìn)行交易”；歧視交易是指“沒有正當(dāng)理由，對條件相同的交易相對人在交易價格等交易條件上實行差別待遇”。

（一）爬蟲協(xié)議對認(rèn)定拒絕交易的影響

拒絕交易是具有市場支配地位的經(jīng)營者拒絕向消費(fèi)者或者其他經(jīng)營者提供產(chǎn)品或服務(wù)的行為。拒絕交易行為往往是為了阻止經(jīng)營者提供同等服務(wù)或者以拒絕交易為要挾實現(xiàn)其他目的。#2#0 最高人民法院（2009）民申字第1065號民事裁定書。#1 孔祥?。骸斗床徽?dāng)競爭法原理》，知識產(chǎn)權(quán)出版社2005年版，第67頁。#2 王先林：《中國反壟斷法實施熱點(diǎn)問題研究》，法律出版社2011年版，第341頁。合同自由是市場經(jīng)濟(jì)的基本法律原則，反壟斷法并不一般性地給經(jīng)營者強(qiáng)加與其他市場主體交易的義務(wù)。只有當(dāng)市場主體濫用合同原則并對競爭的損害程度超過合同自由本身受到的限制的損害程度時，法律才對合同自由加以限制。受到反壟斷法規(guī)制的拒絕交易方擁有的產(chǎn)品或者服務(wù)往往是獨(dú)有的或者是進(jìn)入某一市場所必須事先購買的產(chǎn)品或者服務(wù)。拒絕許可的目的就是排除競爭，鞏固和加強(qiáng)自身壟斷地位。

反壟斷法審查知識產(chǎn)權(quán)拒絕許可行為時，通常需要考慮以下因素：具有市場支配地位的經(jīng)營者是否濫用該優(yōu)勢地位，對相關(guān)市場的損害以及拒絕許可的理由與動機(jī)，知識產(chǎn)權(quán)是否構(gòu)成關(guān)鍵設(shè)施和產(chǎn)生壟斷杠桿作用等。
1.拒絕許可的企業(yè)具有市場支配地位
英文中的“獨(dú)占（monopoly）”常被譯為“壟斷”。在反壟斷法上的，獨(dú)占泛指企業(yè)能夠?qū)r格提高到競爭水平以上而獲取利潤的所有情形或者狀態(tài)#3#3 孔祥?。骸斗磯艛喾ㄔ怼?，中國法制出版社2001年版，第494頁。#4《反壟斷法》第18條：認(rèn)定經(jīng)營者具有市場支配地位，應(yīng)當(dāng)依據(jù)下列因素：（一）該經(jīng)營者在相關(guān)市場的市場份額，以及相關(guān)市場的競爭狀況；（二）該經(jīng)營者控制銷售市場或者原材料采購市場的能力；（三）該經(jīng)營者的財力和技術(shù)條件；（四）其他經(jīng)營者對該經(jīng)營者在交易上的依賴程度；（五）其他經(jīng)營者進(jìn)入相關(guān)市場的難易程度；（六）與認(rèn)定該經(jīng)營者市場支配地位有關(guān)的其他因素。。獨(dú)占地位與市場力量的概念大體相當(dāng)，在我國，稱之為市場支配地位。我國《反壟斷法》第17條定義市場支配地位“是指經(jīng)營者在相關(guān)市場內(nèi)具有能夠控制商品價格、數(shù)量或者其他交易條件，或者能夠阻礙、影響其他經(jīng)營者進(jìn)入相關(guān)市場能力的市場地位。”各國對市場支配地位的表述略有不同，我國采取了與歐盟一致的表述，我國《反壟斷法》第18條#4#3 孔祥俊：《反壟斷法原理》，中國法制出版社2001年版，第494頁。#4《反壟斷法》第18條：認(rèn)定經(jīng)營者具有市場支配地位，應(yīng)當(dāng)依據(jù)下列因素：（一）該經(jīng)營者在相關(guān)市場的市場份額，以及相關(guān)市場的競爭狀況；（二）該經(jīng)營者控制銷售市場或者原材料采購市場的能力；（三）該經(jīng)營者的財力和技術(shù)條件；（四）其他經(jīng)營者對該經(jīng)營者在交易上的依賴程度；（五）其他經(jīng)營者進(jìn)入相關(guān)市場的難易程度；（六）與認(rèn)定該經(jīng)營者市場支配地位有關(guān)的其他因素。規(guī)定了認(rèn)定經(jīng)營者具有市場支配地位的必備因素，其列舉方面是較為完全的。然而，即使在必要因素列舉詳細(xì)的情況下，仍然很難認(rèn)定是否具有市場支配地位，因此，第19條規(guī)定了推定經(jīng)營者具有市場支配地位的情形，通過市場占有份額的劃定，判斷經(jīng)營者是否具有市場支配地位。這樣的推定排除了確有證據(jù)證明不具有市場支配地位的經(jīng)營者。不過，市場支配地位本身是一個復(fù)雜的經(jīng)濟(jì)學(xué)問題，根據(jù)不同的相關(guān)市場，其取得支配地位的標(biāo)準(zhǔn)也不盡相同，以市場份額這一標(biāo)準(zhǔn)判斷經(jīng)營者的地位具有一定的可行性。但進(jìn)一步，以什么數(shù)值判斷市場份額，又是一個值得探討的問題。
當(dāng)然，界定市場支配地位需要首先界定相關(guān)市場。界定相關(guān)市場是一個回溯過去的過程，是在找尋可以維持該行為的最小邊界，要判斷一個經(jīng)營者是否實施了壟斷行為，其前提就是相關(guān)市場的界定，只有對市場邊界進(jìn)行了科學(xué)劃分，才能有效判斷經(jīng)營者的行為是否對其他經(jīng)營者構(gòu)成限制競爭，是否侵害了消費(fèi)者的相關(guān)權(quán)益。相關(guān)市場是行為人開展競爭的區(qū)域或者范圍。從世界各國的規(guī)定來看，以產(chǎn)品和地域界定相關(guān)市場已經(jīng)成為國際共識。
具體到百度公司，百度網(wǎng)站對其提供的內(nèi)容服務(wù)都強(qiáng)調(diào)其是全球“最大”，如“百度百科—全球最大中文百科全書”、“百度知道——全球最大中文互動問答平臺”、“百度貼吧——全球最大中文社區(qū)”、“百度新聞——全球最大的中文新聞平臺”、“百度統(tǒng)計——最大中文網(wǎng)站分析工具”、“百度MP3——全球最大中文音樂搜索平臺”，“百度無線——全球最大的中文手機(jī)搜索引擎”等。從這些百度公司自己對相關(guān)網(wǎng)站的介紹亦可看出，百度公司經(jīng)營的內(nèi)容網(wǎng)站幾乎均是相關(guān)領(lǐng)域內(nèi)全球最大的中文網(wǎng)站，該等網(wǎng)站的內(nèi)容數(shù)量及其在中文互聯(lián)網(wǎng)中所占比例可見一斑。由上述可知，百度公司已經(jīng)成為我國最大的內(nèi)容網(wǎng)站提供商。在界定百度公司提供的上述服務(wù)的市場支配地位時，需要首先準(zhǔn)確界定相關(guān)市場的范圍，才能計算其占有的市場份額。例如，針對百度百科、百度貼吧、百度知道等欄目，不能采用都是“內(nèi)容服務(wù)”的標(biāo)準(zhǔn)，而應(yīng)根據(jù)不同內(nèi)容的特征、用途、品質(zhì)，細(xì)分相關(guān)市場。如百度公司自己所陳述的，可以考慮界定“全球中文百科市場”、“全球中文互動問答平臺市場”、“全球中文社區(qū)市場”等。根據(jù)最高人民法院《關(guān)于審理因壟斷行為引發(fā)的民事糾紛案件應(yīng)用法律若干問題的規(guī)定》第10條規(guī)定，經(jīng)營者對外發(fā)布的信息能夠證明其在相關(guān)市場內(nèi)具有支配地位的，人民法院可以據(jù)此作出認(rèn)定，但有相反證據(jù)足以推翻的除外。當(dāng)然，需要認(rèn)定百度公司分別在百度百科、百度貼吧、百度知道等欄目享有市場支配地位，還需要相關(guān)證據(jù)的支持。

2.拒絕許可損害了市場競爭

由式(22)即可得到優(yōu)化矢量選擇器所需要的參考電壓矢量,然后對所處的扇區(qū)進(jìn)行判斷,得到3個電壓矢量.最后由價值函數(shù)對所在扇區(qū)的3個電壓矢量進(jìn)行優(yōu)化評估,得到最接近的電壓矢量,即最優(yōu)電壓矢量.例如,當(dāng)位于第一個60°扇區(qū)中時,則選擇u0(000/111),u1(100)和u2(110)這3個電壓矢量用于價值函數(shù)的優(yōu)化求解.

考察拒絕許可對競爭造成的損害，主要是比較拒絕許可產(chǎn)生的競爭優(yōu)勢與反競爭的效果。如果被拒絕的企業(yè)可以在相關(guān)市場上尋找到替代性商品，在合理時間內(nèi)以合理的成本與第三方進(jìn)行了同樣的交易，那么就沒有造成限制競爭的效果。如果具有市場支配地位的經(jīng)營者拒絕將其知識產(chǎn)權(quán)許可給其他經(jīng)營者，包括潛在經(jīng)營者，會對其他經(jīng)營者構(gòu)成市場進(jìn)入障礙。尤其在互聯(lián)網(wǎng)領(lǐng)域，拒絕許可會導(dǎo)致其他經(jīng)營者完全無法與之競爭或完全無法進(jìn)入該相關(guān)市場，無法實現(xiàn)信息的互聯(lián)互通和開放流動。這不僅對公平的市場競爭秩序造成了破壞，而且剝奪了消費(fèi)者選擇的權(quán)利，將會或者可以合理預(yù)期會對相關(guān)市場的競爭有所削弱或消除，損害了市場競爭。

百度公司提供的內(nèi)容服務(wù)總體上在我國所占的比例可能高達(dá)15%甚至以上，而且每一個單一內(nèi)容服務(wù)市場所占的比例則更高。如果百度公司禁止某一個搜索引擎抓取其內(nèi)容，則該搜索引擎的搜索結(jié)果中有相當(dāng)于中國互聯(lián)網(wǎng)內(nèi)容的15%左右成為搜索盲區(qū)。可以說，百度公司拒絕360搜索引擎抓取的內(nèi)容構(gòu)成了360搜索引擎服務(wù)不可缺少的核心措施。這將導(dǎo)致兩個嚴(yán)重后果，一是作為搜索服務(wù)基本要求的搜索內(nèi)容的全面性無法實現(xiàn)，用戶無法在該搜索引擎中全面搜索信息；二是該搜索引擎無法在搜索引擎服務(wù)市場中生存。這無疑是對市場競爭的嚴(yán)重?fù)p害。百度公司設(shè)置的各個robots.txt明確排除360搜索蜘蛛程序抓取其內(nèi)容，而這些內(nèi)容顯然在短期內(nèi)無法尋找到替代性商品。如果認(rèn)定百度公司具有市場支配地位，百度公司的行為顯然是打擊競爭對手，消滅競爭。

3.拒絕許可缺乏合理的理由與動機(jī)

反壟斷法在審查權(quán)利人拒絕交易時，一般從合理分析原則出發(fā)，要求權(quán)利人提出合理的理由，以解釋其拒絕許可的動機(jī)不存在違法的故意。在衡量拒絕理由的合理性時，既需要分析具有市場支配地位的企業(yè)本身的情況，又需要分析被許可方自身的狀況。例如，對于前者，企業(yè)可以舉證說明拒絕交易是為了取得對其投資的適當(dāng)回報；對于后者，可以考慮被許可方的資信狀況不佳、瀕臨破產(chǎn)等。

從目前的情況來看，百度公司設(shè)置的robots. txt未遵循公平、開放和促進(jìn)信息自由流動的原則, 限制360搜索引擎的蜘蛛程序抓取沒有合理理由，更沒有行業(yè)公認(rèn)的合理及正當(dāng)?shù)睦碛伞Ｊ紫龋?60搜索蜘蛛程序?qū)Π俣葍?nèi)容網(wǎng)站的抓取相對于百度網(wǎng)站每天4～5億用戶的訪問量來講數(shù)量很小，不會對百度的服務(wù)器或帶寬造成任何影響，也不會給百度帶來任何技術(shù)上的問題或障礙；其次，360搜索蜘蛛程序?qū)Π俣葍?nèi)容網(wǎng)站的抓取完全遵循了百度設(shè)置的robots.txt對于其他搜索引擎蜘蛛程序抓取網(wǎng)頁內(nèi)容的指導(dǎo)，360搜索蜘蛛程序并未抓取百度不希望被其他搜索引擎蜘蛛程序抓取的內(nèi)容；再次，百度公司所控訴的360搜索蜘蛛程序抓取的內(nèi)容均是百度內(nèi)容網(wǎng)站在互聯(lián)網(wǎng)上公開發(fā)布的內(nèi)容，用戶可以直接訪問該等網(wǎng)頁，也可以通過百度搜索訪問，還可以通過其他搜索引擎訪問，該等網(wǎng)頁內(nèi)容既不涉及任何隱私或保密的信息，也不是收費(fèi)信息，360搜索蜘蛛程序抓取并在搜索結(jié)果中體現(xiàn)該等網(wǎng)頁的鏈接不但對該等百度內(nèi)容網(wǎng)站毫無影響，相反，還會給百度帶來可觀的訪問量。

（二）爬蟲協(xié)議對認(rèn)定歧視交易的影響#5#5 本部分內(nèi)容得到北京理工大學(xué)碩士研究生李婧同學(xué)的大力協(xié)助。#6 孔祥?。骸斗磯艛喾ㄔ怼罚袊ㄖ瞥霭嫔?001年版，第581頁。#7 在http∶//www.dianping.com/robots.txt可以訪問。

歧視交易，又稱歧視待遇，是指行為人沒有正當(dāng)理由而對條件相同的客戶（交易對方）提供不同的價格或者其他交易條件，致使有些客戶處于不利的競爭地位。#6#5 本部分內(nèi)容得到北京理工大學(xué)碩士研究生李婧同學(xué)的大力協(xié)助。#6 孔祥?。骸斗磯艛喾ㄔ怼罚袊ㄖ瞥霭嫔?001年版，第581頁。#7 在http∶//www.dianping.com/robots.txt可以訪問。歧視交易是典型的濫用市場支配地位的行為，在許多國家和地區(qū)以及國際組織的法律文件都對其進(jìn)行了規(guī)定，如美國《克萊頓法》第2條（a）、德國《反對限制競爭法》第20條、日本《禁止私人壟斷及確保公正交易法》第2條第9項。我國《反壟斷法》第17條第6項也規(guī)定，沒有正當(dāng)理由，對條件相同的交易相對人在交易價格等交易條件上實行差別待遇，是歧視交易行為。

根據(jù)robots協(xié)議的語法規(guī)則，網(wǎng)站可以自行設(shè)置以指示搜索引擎的訪問路徑，正如前面所述，不同的robots.txt被放置在不同層級的網(wǎng)站域名后，并有目的、有針對性地設(shè)置了不同限制，網(wǎng)站的設(shè)置決不是隨性為之，相反，這種設(shè)置直接關(guān)系到網(wǎng)站的競爭與合作關(guān)系。如：在上海漢濤信息咨詢有限公司（大眾點(diǎn)評網(wǎng)的經(jīng)營者）訴愛幫聚信（北京）科技有限公司、愛幫聚信（北京）信息技術(shù)有限公司（愛幫網(wǎng)的經(jīng)營者）不正當(dāng)競爭糾紛中，原告稱愛幫網(wǎng)與大眾點(diǎn)評網(wǎng)在受眾人群、盈利模式、經(jīng)營范圍、客戶群落等方面完全重合，被告通過愛幫網(wǎng)長期大量復(fù)制大眾點(diǎn)評網(wǎng)站內(nèi)容的“搭便車”行為，獲取不當(dāng)瀏覽量和競爭優(yōu)勢，構(gòu)成不正當(dāng)競爭。在該案中，原告提出大眾點(diǎn)評網(wǎng)的robots.txt中，明確禁止同行業(yè)搜索并復(fù)制其信息，但愛幫網(wǎng)并未遵守該文件。此后，大眾點(diǎn)評網(wǎng)的robots.txt 中，出現(xiàn)限制愛幫網(wǎng)蜘蛛程序抓取的指令，完全限制愛幫網(wǎng)搜索引擎訪問大眾點(diǎn)評網(wǎng)的內(nèi)容，#7#5 本部分內(nèi)容得到北京理工大學(xué)碩士研究生李婧同學(xué)的大力協(xié)助。#6 孔祥?。骸斗磯艛喾ㄔ怼?，中國法制出版社2001年版，第581頁。#7 在http∶//www.dianping.com/robots.txt可以訪問。從中我們不難看出大眾點(diǎn)評網(wǎng)與愛幫網(wǎng)明確且惡化的競爭關(guān)系。由此可見，robots.txt已經(jīng)不僅僅是網(wǎng)站維護(hù)其安全與隱私的協(xié)議，更是網(wǎng)站之間競爭的工具。

對于搜索引擎企業(yè)運(yùn)用robots.txt排除競爭者訪問的行為是否限制了競爭，是否構(gòu)成濫用市場支配地位，同樣需要首先確定相關(guān)市場的范圍，進(jìn)而界定該企業(yè)在相關(guān)市場具有市場支配地位。如果某robots.txt 通過設(shè)定訪問權(quán)限，使未被允許訪問的搜索引擎蜘蛛程序無法搜索并獲得網(wǎng)站資源，另一些企業(yè)則因具有訪問權(quán)限而獲得了競爭優(yōu)勢，而該網(wǎng)站資源在相關(guān)市場的地位很大程度上決定了這些企業(yè)的競爭地位，網(wǎng)站資源地位越重要，對于競爭的損害越大，一旦這些資源是不可或缺、難以重建的，那么無法取得這些資源的企業(yè)的競爭力將明顯降低，限制競爭效果顯而易見。例如，百度公司經(jīng)過多年經(jīng)營，已經(jīng)建立了自己的更大的、更全面的搜索數(shù)據(jù)庫，假設(shè)百度已經(jīng)具有在相關(guān)內(nèi)容服務(wù)市場具有市場支配地位，百度公司的robots.txt文件內(nèi)容就具有高于一般公司的義務(wù)，在沒有正當(dāng)理由的前提下，不得以交易自由為由，允許與其具有直接競爭關(guān)系的搜索引擎服務(wù)商訪問其相關(guān)欄目，而禁止360搜索訪問。這樣的限制有歧視交易之嫌。

三、結(jié) 語

互聯(lián)網(wǎng)的競爭紛紛擾擾，層出不窮。對爬蟲協(xié)議的理解以及因該協(xié)議而引起的紛爭，成為當(dāng)今我國互聯(lián)網(wǎng)競爭的主角，這不免讓人深思。本文的研究就是這方面的一種嘗試。

搜索引擎服務(wù)商與互聯(lián)網(wǎng)內(nèi)容提供商并不具有直接競爭關(guān)系。即使經(jīng)營業(yè)務(wù)不相同，但其行為違背了《反不正當(dāng)競爭法》第2條規(guī)定的競爭原則，也可以認(rèn)定具有競爭關(guān)系。換言之，如果存在謀取競爭機(jī)會、破壞對方競爭優(yōu)勢的行為，就可以認(rèn)為雙方之間存在競爭關(guān)系。

爬蟲協(xié)議作為一種行業(yè)慣例和事實標(biāo)準(zhǔn)，其具體內(nèi)容應(yīng)該是：（1）設(shè)置了robots.txt語法規(guī)則；（2）確定蜘蛛程序訪問的范圍并置放于站點(diǎn)根目錄下，作為蜘蛛程序訪問該站點(diǎn)的第一文件；（3）確立了公平、開放和促進(jìn)信息自由流動的原則。robots.txt則是根據(jù)爬蟲協(xié)議確定的原則而設(shè)置的具體文件，其設(shè)置應(yīng)遵循該原則。具有市場支配地位的企業(yè)不能濫用爬蟲協(xié)議，從而損害市場競爭。

從不正當(dāng)競爭角度而言，即使搜索引擎服務(wù)與內(nèi)容服務(wù)具有競爭關(guān)系，但在搜索引擎忽略內(nèi)容服務(wù)商在其robots.txt設(shè)置的禁止抓取條款的行為性質(zhì)上，如果robots.txt內(nèi)容嚴(yán)重違反了誠實信用原則和公認(rèn)的商業(yè)道德，限制某一搜索的蜘蛛程序，則違背了公平、合理和開放的原則。如果要求其他搜索引擎服務(wù)商遵守這樣有失公平合理的文本文件，顯然會違背robots協(xié)議的精神，同時也與搜索引擎的信息定位服務(wù)以及互聯(lián)網(wǎng)的公平、開放和促進(jìn)信息自由流動的原則精神格格不入。反之，如果認(rèn)定搜索引擎忽略不公平的robots.txt中禁止性規(guī)定而抓取相應(yīng)內(nèi)容構(gòu)成不正當(dāng)競爭，顯然也違背了爬蟲協(xié)議確立的公平、開放和促進(jìn)信息自由流動的原則。使用蜘蛛程序訪問一個對公眾開放的網(wǎng)頁收集信息的行為未必滿足侵害動產(chǎn)中損害的條件。

從壟斷行為角度而言，具有市場支配地位的網(wǎng)站通過其設(shè)置的robots.txt，拒絕某一搜索引擎蜘蛛程序抓取其內(nèi)容，可構(gòu)成拒絕許可，最終破壞市場競爭的機(jī)制；它對條件相同的蜘蛛程序同意抓取其網(wǎng)站內(nèi)容而拒絕某一搜索蜘蛛的抓取，實行差別待遇，可構(gòu)成歧視交易。

This paper starts from the legal nature of robots exclusion protolol, analyses its content and distinguishes it from a robots.txt which is set under the said protocol. From the perspective of antiunfair competition law, a robots.txt with exclusion clauses may go against to the free and open spirit of the said Protocol, and thereby violates the principle of good faith and the generally accepted business ethics. From the perspective of antitrust law, a service provider with a dominant market position may conduct monopolistic behaviors if they use a robots.txt with exclusion clauses to refuse to trade with others or apply discriminatory treatments to a trading party with equal standing without any justifi able reasons.

search engine; robots exclusion protocol; industry practice; competition relationship; monopolistic behavior

楊華權(quán)，法學(xué)博士，北京理工大學(xué)法學(xué)院碩士生導(dǎo)師，中關(guān)村知識產(chǎn)權(quán)法律保護(hù)研究院研究員