“Robots協(xié)議”與公平競(jìng)爭(zhēng)

2013年10月16日，百度起訴360不正當(dāng)競(jìng)爭(zhēng)案在北京一中院開(kāi)庭審理，百度稱(chēng)360違反“Robots協(xié)議”抓取其網(wǎng)站內(nèi)容，索賠金額1億元。同時(shí)，360對(duì)百度惡意“強(qiáng)制轉(zhuǎn)跳”等不正當(dāng)競(jìng)爭(zhēng)行為也提起了訴訟，北京高院已經(jīng)受理此案。此次雙方的訴訟是去年3B搜索大戰(zhàn)的延續(xù)，百度認(rèn)為360違反“Robots協(xié)議”抓取百度知道、貼吧、文庫(kù)、百科等站點(diǎn)的內(nèi)容，而360認(rèn)為這些內(nèi)容實(shí)際上由網(wǎng)友提供，相關(guān)權(quán)利屬于網(wǎng)友，360索引這些頁(yè)面的內(nèi)容并不涉及侵權(quán)。

交鋒“Robots協(xié)議”

“Robots”協(xié)議。也稱(chēng)為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等，其全稱(chēng)是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），內(nèi)容網(wǎng)站通過(guò)“Robots協(xié)議”告訴搜索引擎哪些內(nèi)容不應(yīng)該被抓取，哪些可以抓取?！癛obots協(xié)議”的本質(zhì)是網(wǎng)站和搜索引擎爬蟲(chóng)的溝通方式，用來(lái)指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，而非搜索引擎之間互相限制和不正當(dāng)競(jìng)爭(zhēng)的工具。

維基百科對(duì)“Robots協(xié)議”的解釋中稱(chēng)，Robots.txt協(xié)議并不是一個(gè)規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。百度百科的解釋中稱(chēng)，“Robots協(xié)議”是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范，本質(zhì)是網(wǎng)站和搜索引擎爬蟲(chóng)的溝通方式，用來(lái)指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，而不是作為搜索引擎之間互相限制和不正當(dāng)競(jìng)爭(zhēng)的工具。然而正是這一協(xié)議的“非規(guī)范”性成為了百度和360搜索攻防的爭(zhēng)議點(diǎn)。百度指出，360公司未經(jīng)許可，抓取百度網(wǎng)站頁(yè)面并生成“快照”復(fù)制件存儲(chǔ)于被告自身服務(wù)器中，并將快照內(nèi)容提供給網(wǎng)民，違反“Robots協(xié)議”的規(guī)則和百度權(quán)利聲明。

隨后百度通過(guò)“Robots協(xié)議”禁止360搜索的爬蟲(chóng)抓取其旗下百度知道、百科、貼吧、旅游等站點(diǎn)的內(nèi)容，而360認(rèn)為，“Robots協(xié)議”不是法規(guī)、不是標(biāo)準(zhǔn)，也不是合約，不存在違反與不違反的問(wèn)題，百度的“Robots協(xié)議”并沒(méi)有對(duì)谷歌、必應(yīng)、雅虎、搜狗、搜搜等搜索引擎進(jìn)行屏蔽，唯獨(dú)屏蔽了360搜索，完全違背了“Robots協(xié)議”的初衷，也違背了互聯(lián)網(wǎng)的開(kāi)放精神，以不正當(dāng)競(jìng)爭(zhēng)為由對(duì)百度發(fā)起了訴訟。

2012年11月1日，在工信部指導(dǎo)下，百度、360、搜狗、網(wǎng)易、即刻搜索等12家搜索引擎簽訂了《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》，公約規(guī)定，各簽約方遵循“Robots協(xié)議”，對(duì)于違反公約內(nèi)容的，相關(guān)網(wǎng)站應(yīng)及時(shí)刪除、斷開(kāi)鏈接，公約同時(shí)規(guī)定，限制搜索引擎抓取應(yīng)有行業(yè)公認(rèn)合理的正當(dāng)理由，不利用機(jī)器人協(xié)議進(jìn)行不正當(dāng)競(jìng)爭(zhēng)行為。

基于此，百度認(rèn)為360無(wú)視“Robots協(xié)議”違反公約，而360則認(rèn)為百度濫用“Robots協(xié)議”和“強(qiáng)制跳轉(zhuǎn)”的行為與公約相悖。

“Robots協(xié)議”的作用

“Robots協(xié)議”旨在推動(dòng)尊重信息提供者意愿，保護(hù)網(wǎng)站及其使用者的信息和隱私。百度以“Robots協(xié)議”白名單方式將360搜索引擎排除在百度知道、百度貼吧、百度文庫(kù)等訪問(wèn)權(quán)限之外，是否超出了合理限度？

對(duì)此，搜索引擎技術(shù)專(zhuān)家李哲表示，第一，“Robots協(xié)議”是一個(gè)網(wǎng)絡(luò)爬蟲(chóng)的排他協(xié)議。從其本身命名來(lái)看，協(xié)議是針對(duì)爬蟲(chóng)的。第二，協(xié)議是放在根目錄下使用的。以taobao為例，其表現(xiàn)形式就是taobao.com/robots.txt。協(xié)議編寫(xiě)好以后，就期待爬蟲(chóng)在抓取時(shí)先讀取該協(xié)議，以獲知哪些允許抓取哪些不允許抓取。

李哲舉例說(shuō)明，User-agent是指爬蟲(chóng)來(lái)源，或者是表明接下來(lái)的參數(shù)命令是指向誰(shuí)的。以京東為例，user-agent后有*，disallow后面有*，后面還有很多*。最后還有特別指向的etaospider。學(xué)知識(shí)產(chǎn)權(quán)的都知道，京東與一淘是有矛盾的。我分別解釋一下。第一個(gè)User-agent中*的意思是通用規(guī)則，針對(duì)所有爬蟲(chóng)。Disallow只限定什么不能抓取，除此以外都能拿。以第二行為例Disallow：/pop/*.html，這意味著京東不允許所有搜索引擎抓取jingdong.com/pop/目錄下所有以.html結(jié)尾的頁(yè)面，其后的*代表所有可能性。再以Disallow：/pinpai/*.html/*為例，這意味著不允許所有搜索引擎抓取pinpai后所有有問(wèn)號(hào)的，或是問(wèn)號(hào)后面有*的內(nèi)容。協(xié)議還可以針對(duì)特定來(lái)源的爬蟲(chóng)User-agent： EtaoSpider Disallow：/，其中disallow：/代表所有內(nèi)容一淘都不能抓取。除此以外，spider還分版本，由于robots協(xié)議分大小寫(xiě)，所以一個(gè)網(wǎng)站可能有幾個(gè)spider。

為什么要運(yùn)用“Robots協(xié)議”？除了保護(hù)隱私之外，是否還有其它目的？李哲解釋說(shuō)：我先對(duì)搜索引擎原理做個(gè)解釋。搜索引擎的工作分為三個(gè)階段：第一，釋放蜘蛛，將所有能抓取的網(wǎng)站內(nèi)容收集起來(lái)，其為信息收集階段；第二，入庫(kù)，分析，做詞表，建立索引；第三，響應(yīng)用戶(hù)請(qǐng)求。用戶(hù)通常只感知到第三個(gè)階段。耗時(shí)最長(zhǎng)的是第一個(gè)階段，占總耗時(shí)80%左右。另兩個(gè)階段主要在于技術(shù)高度，在競(jìng)爭(zhēng)中占有更重要的位置。如果競(jìng)爭(zhēng)對(duì)手直接抓取我的信息，他只要有足夠的財(cái)力和人力，前期可以把我的信息都爬完。

那么，從技術(shù)角度來(lái)看，如果不遵守“Robots 協(xié)議”會(huì)有什么后果？據(jù)了解，技術(shù)人員往往具有兩面性。一方面不愿意遵守“Robots協(xié)議”；另一方面不遵守協(xié)議可能造成以下危害：1、分流目標(biāo)網(wǎng)站流量。當(dāng)網(wǎng)站不夠大時(shí)，是歡迎爬蟲(chóng)的；但當(dāng)網(wǎng)站足夠大時(shí)，入口的重要性就顯現(xiàn)出來(lái)了。當(dāng)網(wǎng)站不是該網(wǎng)站所有信息的唯一入口時(shí)，會(huì)降低網(wǎng)站的展示率。以攜程網(wǎng)為例，訂酒店時(shí)，一般遵循“看評(píng)價(jià)，選擇區(qū)域，選擇酒店，下單”的順序。假如被spider抓取，那么攜程網(wǎng)就不是唯一入口，會(huì)對(duì)信息的展示幾率造成影響。再以Etao網(wǎng)為例，該網(wǎng)站會(huì)對(duì)消費(fèi)信息提供比較，從京東買(mǎi)8600，從其他網(wǎng)站買(mǎi)8200，這樣用戶(hù)就不會(huì)去點(diǎn)擊京東了。2、安全。“Robots協(xié)議”一般不允許索引管理者網(wǎng)頁(yè)，如果不遵守“Robots協(xié)議”，會(huì)危害網(wǎng)站安全。

“Robots協(xié)議”的法律定性

在百度訴360不正當(dāng)競(jìng)爭(zhēng)案中，360公司認(rèn)為，“Robots協(xié)議”不是法規(guī)、不是標(biāo)準(zhǔn)，也不是合約，不存在違反與不違反的問(wèn)題。相關(guān)資料也表示，“Robots協(xié)議”并不是一個(gè)規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。那么，“Robots協(xié)議”在法律上終究該如何定性？

華中科技大學(xué)法學(xué)院教授鄭友德：“Robots 協(xié)議”在法律上如何定性很重要。是自律性的公約，是行為準(zhǔn)則，是同業(yè)工會(huì)的規(guī)則。我國(guó)法律對(duì)此沒(méi)有規(guī)定，但德國(guó)競(jìng)爭(zhēng)法2008年修改時(shí)做了明確界定，專(zhuān)門(mén)納入規(guī)范范疇。自律公約是惡規(guī)還是良規(guī)，在德國(guó)法上，要以是否違反善良風(fēng)俗加以判斷。

北京理工大學(xué)法學(xué)院碩導(dǎo)楊華權(quán)：我們討論爬蟲(chóng)協(xié)議時(shí)，要區(qū)分1994年互聯(lián)網(wǎng)公開(kāi)郵件組里討論的爬蟲(chóng)協(xié)議，和依據(jù)爬蟲(chóng)協(xié)議制定具體的Robots.TXT文本文件。這是兩個(gè)不同層次的概念。首先，從1994年開(kāi)始為爬蟲(chóng)協(xié)議制定了強(qiáng)調(diào)搜索引擎需要遵循的規(guī)則。不管是稱(chēng)作習(xí)慣法還是什么法，或者叫做“慣例”。它是搜索引擎都要遵循的慣例。第二，爬蟲(chóng)協(xié)議確定了每一個(gè)網(wǎng)站要編寫(xiě)Robots.txt 的語(yǔ)法規(guī)則。就像我們看到GOOGLE.TXT 寫(xiě)的是“.”，對(duì)所有搜索引擎都是一樣的；第二種寫(xiě)法，百度是分別針對(duì)不同的搜索引擎，比如對(duì)百度對(duì)搜狗，對(duì)谷哥允許抓什么，不允許抓什么，其他都不允許抓，這也是黑白名單問(wèn)題。第三，爬蟲(chóng)協(xié)議要注意確定信息交流，信息溝通的原則。搜索引擎本身是促進(jìn)信息流動(dòng)。

中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)研究中心秘書(shū)長(zhǎng)胡鋼：中國(guó)有關(guān)“Robots協(xié)議”的法學(xué)文章、經(jīng)濟(jì)學(xué)、計(jì)算機(jī)學(xué)文章，都認(rèn)可這是一個(gè)行業(yè)慣例。2012年經(jīng)過(guò)多輪協(xié)商，達(dá)成了《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》。本案當(dāng)事人兩方都是互聯(lián)網(wǎng)協(xié)會(huì)的重要成員。在研究方面，中國(guó)司法判決對(duì)“Robots協(xié)議”比國(guó)外還早，國(guó)外法律對(duì)該協(xié)議的法律性質(zhì)認(rèn)定也比較一致。美國(guó)、歐洲設(shè)置的協(xié)議大多針對(duì)內(nèi)容，而中國(guó)則很多針對(duì)主體。這兩者有很大區(qū)別，無(wú)法說(shuō)哪個(gè)更合理，至少都是事實(shí)。去年8月份之前，中國(guó)這種情況普遍存在，業(yè)界也一般認(rèn)同?；ヂ?lián)網(wǎng)協(xié)會(huì)的立場(chǎng)是，協(xié)議的制定要經(jīng)過(guò)當(dāng)事人協(xié)商，協(xié)商不成的要進(jìn)行票決，但這個(gè)票決規(guī)定還沒(méi)有實(shí)施。

上海市協(xié)力律師事務(wù)所合伙人傅鋼：第一，“Robots協(xié)議”的地位。從根本上來(lái)說(shuō)，協(xié)議是基于經(jīng)濟(jì)學(xué)考慮而設(shè)定的，旨在加強(qiáng)信息快速流通，是促進(jìn)信息流通便利的協(xié)定。第二，具體到本案，百度針對(duì)部分搜索引擎實(shí)施了歧視性待遇，是出于限制競(jìng)爭(zhēng)目的，客觀上限制了競(jìng)爭(zhēng)、阻礙了信息傳播、妨礙了大眾自由獲取信息，因而不具有合理性。

百度“白名單”的競(jìng)爭(zhēng)法考量

“Robots協(xié)議”從1994年制定以來(lái)，設(shè)定了兩個(gè)原則。第一，搜索技術(shù)應(yīng)服務(wù)于人類(lèi)，同時(shí)應(yīng)尊重信息提供者的意愿，并維護(hù)其隱私。第二，網(wǎng)站有義務(wù)保護(hù)使用者個(gè)人信息及其隱私。搜索國(guó)內(nèi)和美國(guó)系列網(wǎng)站協(xié)議后發(fā)現(xiàn)，美國(guó)十大網(wǎng)站，極少禁止某個(gè)特定爬蟲(chóng)來(lái)爬行；絕大多數(shù)網(wǎng)站設(shè)置的協(xié)議只是禁止爬行一些可能涉及用戶(hù)隱私和網(wǎng)站經(jīng)營(yíng)者隱私的內(nèi)容。而中國(guó)的網(wǎng)站運(yùn)用“黑白名單”比例遠(yuǎn)遠(yuǎn)超過(guò)美國(guó)網(wǎng)站。競(jìng)爭(zhēng)法只保護(hù)競(jìng)爭(zhēng)而非競(jìng)爭(zhēng)者，規(guī)制不正當(dāng)競(jìng)爭(zhēng)行為而不限制競(jìng)爭(zhēng)者。那么，百度設(shè)計(jì)的針對(duì)特定競(jìng)爭(zhēng)者的“黑白名單”行為是否符合競(jìng)爭(zhēng)法基本理念？

華中科技大學(xué)法學(xué)院教授鄭友德：協(xié)議與協(xié)議禁止訪問(wèn)的內(nèi)容，是兩個(gè)概念。百度既然設(shè)計(jì)了白名單，就意味著有相應(yīng)黑名單，即把360排除出去。這一行為，是否涉及反法某個(gè)條文？我覺(jué)得很難說(shuō)。除非適用反法第二條的一般條款。這讓我聯(lián)想到傅鋼律師提出的歧視行為。這個(gè)行為是不是歧視行為呢？所謂歧視，是沒(méi)有正當(dāng)理由對(duì)條件相同的交易相對(duì)人在交易價(jià)格等交易條件上實(shí)行差別待遇。我認(rèn)為，這是一種單方拒絕交易的行為。白名單包含的都是我愿意與之交易的伙伴，黑名單屬于拒絕交易。

我看了《自律公約》第八條，限制搜索引擎抓取應(yīng)當(dāng)有合理的正當(dāng)理由，不得利用協(xié)議進(jìn)行不正當(dāng)競(jìng)爭(zhēng)。其行為是否是屬于拒絕交易呢？百度在搜索引擎市場(chǎng)上占有支配地位，壟斷法中規(guī)定沒(méi)有正當(dāng)理由不能拒絕與交易相對(duì)人交易。當(dāng)然，在適用該條款之前要特別研究，雙方之間是否具有交易關(guān)系。第二，1994年“Robots協(xié)議”一個(gè)原則是，要尊重內(nèi)容提供者的意愿。有的權(quán)利人沒(méi)有設(shè)置“Robots協(xié)議”，他希望自己的信息能夠自由傳播使用。設(shè)置“Robots協(xié)議”明顯違背信息提供者意愿，這一點(diǎn)違背了協(xié)議的基本原則。

中山大學(xué)法學(xué)院教授謝曉堯：第一，“Robots協(xié)議”的性質(zhì)必須從多個(gè)維度去考量。其一，協(xié)議是一種計(jì)算機(jī)語(yǔ)言；其二，一種自力性救濟(jì)手段；其三，是行業(yè)內(nèi)的經(jīng)驗(yàn)性做法。第二，使用協(xié)議本身并不違法，有其合理性。判斷不正當(dāng)競(jìng)爭(zhēng)，不以公民道德為標(biāo)準(zhǔn)，而以經(jīng)濟(jì)人為標(biāo)準(zhǔn)。反不正當(dāng)競(jìng)爭(zhēng)法一般條款判斷的主體是經(jīng)濟(jì)人。第三，具體到本案，盡管這個(gè)措施有其合理正當(dāng)性，也并不表示百度以不正當(dāng)競(jìng)爭(zhēng)一般條款進(jìn)行訴訟是正確的。一般條款尋求競(jìng)爭(zhēng)法的支持需要更多理由。從一般商業(yè)倫理規(guī)范走向一個(gè)具體判決，需要做的事情更多。剛才說(shuō)到繞開(kāi)協(xié)議可能只是侵犯一種技術(shù)措施，但如果要構(gòu)成不正當(dāng)競(jìng)爭(zhēng)行為，從目前我國(guó)法律來(lái)看，它所侵犯的法律必須危及公共競(jìng)爭(zhēng)秩序。這一點(diǎn)在我國(guó)司法實(shí)踐中一直被忽略。

中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)研究中心秘書(shū)長(zhǎng)胡鋼：在中國(guó)環(huán)境下來(lái)說(shuō)，我認(rèn)為白名單和黑名單都是合理的。我認(rèn)為，不能以歐美的標(biāo)準(zhǔn)為標(biāo)準(zhǔn)，中國(guó)有中國(guó)的做法。第二，互聯(lián)網(wǎng)精神是開(kāi)放自由流動(dòng)，黑名單制度是否符合開(kāi)放流動(dòng)原則應(yīng)該讓市場(chǎng)說(shuō)話。

上海市海華永泰律師事務(wù)所合伙人吳民平：白名單的設(shè)置是不合理的。首先，百度的內(nèi)容不涉及隱私與網(wǎng)絡(luò)安全。第二，其主張的內(nèi)容都來(lái)源于網(wǎng)民。從檢索到的用戶(hù)協(xié)議來(lái)看，用戶(hù)同意百度享有網(wǎng)民內(nèi)容的非排他性權(quán)利，并不限制他人的訪問(wèn)。

上海市協(xié)力律師事務(wù)所合伙人傅鋼：第一，“Robots協(xié)議”構(gòu)成了互聯(lián)網(wǎng)行業(yè)的商業(yè)道德。第二，“Robots協(xié)議”的適用是有條件的。我傾向針對(duì)內(nèi)容設(shè)定白名單。假如內(nèi)容具有強(qiáng)烈的私權(quán)性質(zhì)，協(xié)議應(yīng)當(dāng)認(rèn)可，但對(duì)本身就有公開(kāi)性質(zhì)的內(nèi)容來(lái)說(shuō)，要以同創(chuàng)共享原則為主。尤其UCG 網(wǎng)站，主要內(nèi)容源于網(wǎng)民或其他網(wǎng)站。百度的行為與同創(chuàng)共享的初衷相違背。除了“Robots協(xié)議”外，還有互聯(lián)網(wǎng)行業(yè)必須遵守的其它公序良俗。假如百度只是為了打擊競(jìng)爭(zhēng)對(duì)手，其效力不應(yīng)認(rèn)可。

（感謝華東政法大學(xué)知識(shí)產(chǎn)權(quán)研究中心對(duì)本文的支持）