Robots協(xié)議在中國實踐的思考

李延超+李民

2014年8月7日，北京市第一中級人民法院就百度訴奇虎360違反Robots協(xié)議、不正當(dāng)競爭糾紛一案做出一審判決。判決認(rèn)為，被告奇虎360的行為違反了《反不正當(dāng)競爭法》相關(guān)規(guī)定，應(yīng)賠償原告百度經(jīng)濟(jì)損失及合理支出共計70萬元，同時駁回百度其他訴訟請求。該案通過司法判決的方式確立了Robots協(xié)議這一技術(shù)協(xié)議、技術(shù)規(guī)范的法律效力，具有里程碑意義。

Robots協(xié)議在中國的實踐和發(fā)展

Robots協(xié)議是一個約定搜索引擎和內(nèi)容網(wǎng)站關(guān)系的協(xié)議，全稱為“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），也稱為爬蟲協(xié)議、爬蟲規(guī)則、機(jī)器人協(xié)議等，從技術(shù)實操來說，它是一種存放于網(wǎng)站根目錄下的編碼文本文件。

Robots協(xié)議不是國際標(biāo)準(zhǔn)，也不是行業(yè)規(guī)范，但因其符合了內(nèi)容網(wǎng)站、搜索引擎、網(wǎng)民等各方的利益，促進(jìn)了互聯(lián)網(wǎng)的有序發(fā)展，已成為國際互聯(lián)網(wǎng)界因共識形成的道德約束，可謂是“君子協(xié)定”。

筆者走訪了互聯(lián)網(wǎng)業(yè)界的資深人士和法律專家，在他們看來，自獨立搜索引擎技術(shù)產(chǎn)生至今，Robots協(xié)議在中國的實踐和發(fā)展大體經(jīng)歷了三個階段。

第一階段：門戶網(wǎng)站時期。業(yè)界也習(xí)慣將這一時期稱為Web1.0時期，這一時期是互聯(lián)網(wǎng)發(fā)展的初期，網(wǎng)上內(nèi)容整體較少，以人民網(wǎng)、新華網(wǎng)、千龍網(wǎng)、新浪、搜狐、網(wǎng)易、TOM網(wǎng)、中華網(wǎng)等新聞門戶網(wǎng)站為代表的內(nèi)容提供商占據(jù)著主導(dǎo)地位。當(dāng)時的大部分網(wǎng)站，特別是門戶網(wǎng)站，更愿意選擇站內(nèi)搜索來呈現(xiàn)自身海量信息中網(wǎng)民需要的內(nèi)容，搜索引擎運營商處于弱勢地位。

此時的Robots協(xié)議，更多是照顧內(nèi)容提供網(wǎng)站的利益，由內(nèi)容提供網(wǎng)站就哪些內(nèi)容可被抓取向搜索引擎運營商提要求。而搜索引擎網(wǎng)站為了能更多地抓取內(nèi)容網(wǎng)站的內(nèi)容，甚至提供免費站內(nèi)搜索技術(shù)和服務(wù)。

第二階段：搜索信息時期?；ヂ?lián)網(wǎng)的海量信息成就了搜索引擎。隨著互聯(lián)網(wǎng)的發(fā)展，搜索引擎逐步成為網(wǎng)民查詢信息的一個高效工具，同時也成為網(wǎng)站建設(shè)中針對“用戶使用網(wǎng)站的便利性”所提供的必要功能。毋庸置疑，無論是直接搜索還是站內(nèi)搜索，高效的檢索可以讓用戶更加快速準(zhǔn)確地找到目標(biāo)信息，從而更有效地促進(jìn)信息傳播，促進(jìn)產(chǎn)品（服務(wù)）銷售。

這一時期，可以說是搜索引擎和內(nèi)容提供網(wǎng)站之間的“蜜月期”，也是相互利用、相互促進(jìn)期，在世界網(wǎng)民人數(shù)高速增長和互聯(lián)網(wǎng)走出第一次泡沫期的背景下，雙方都得到了發(fā)展，各自都獲得了經(jīng)濟(jì)利益，自然鮮有矛盾和分歧。

在此期間，搜索引擎的話語權(quán)逐步建立。搜索引擎為了爬蟲省事，已可以向內(nèi)容網(wǎng)站提出要求，如把網(wǎng)站地圖通過Robots協(xié)議標(biāo)出來，以方便爬蟲抓取的時候通過地圖就知道哪個頻道、哪些內(nèi)容是最新最快的，就不會把網(wǎng)站內(nèi)容全部抓走，而只抓它認(rèn)為有價值的東西。同時，爬蟲通過Robots協(xié)議可以屏蔽一些網(wǎng)站中比較大的文件，如：圖片、音樂、視頻等，節(jié)省服務(wù)器帶寬，還可以屏蔽站點的一些死鏈接。

第三階段：搜索入口時期。以技術(shù)革命為代表的互聯(lián)網(wǎng)在信息傳播上不可逆轉(zhuǎn)地進(jìn)入Web2.0時代，信息爆炸和個性化需求使網(wǎng)民越來越依賴從搜索引擎開始互聯(lián)網(wǎng)之旅。特別是國外以Google為代表、國內(nèi)以百度為代表的搜索引擎服務(wù)商把搜索變成了一種成功的商業(yè)模式，搜索引擎不僅能提供信息檢索，同時也成為了互聯(lián)網(wǎng)入口和流量分發(fā)器。此外，互聯(lián)網(wǎng)企業(yè)還發(fā)現(xiàn)，對網(wǎng)民搜索行為的深度分析，對于進(jìn)一步制定更為有效的網(wǎng)絡(luò)營銷策略和產(chǎn)品的銷售具有十分重要的價值。

這一切，對于流量就是生命線的內(nèi)容網(wǎng)站來說，與搜索引擎的關(guān)系徹底產(chǎn)生逆轉(zhuǎn)：一是做內(nèi)容的網(wǎng)站多，同質(zhì)化情況嚴(yán)重，希望搜索引擎抓取；二是搜索成為重要入口，流量好處巨大。搜索引擎一定程度上決定了網(wǎng)民去哪看什么，內(nèi)容網(wǎng)站在形式上開始依賴于搜索引擎。搜索處于絕對強(qiáng)勢。搜索引擎不再那么顧慮內(nèi)容網(wǎng)站的想法，反正網(wǎng)上有那么多一樣的內(nèi)容，搜索引擎開始有了自己的爬蟲算法和排序，不是什么都抓，甚至產(chǎn)生了一些公司專門幫助內(nèi)容網(wǎng)站做SEO（搜索結(jié)果優(yōu)化），以便網(wǎng)站內(nèi)容和搜索引擎更友好，更容易被抓取、被推薦。

Robots協(xié)議的判例及爭議

由于Robots協(xié)議較好地規(guī)范了搜索引擎和內(nèi)容網(wǎng)站之間的利益和關(guān)系，在很長的時間里，世界范圍內(nèi)鮮有因Robots協(xié)議產(chǎn)生的訴訟及較大爭議。目前，能通過網(wǎng)上搜索查詢到的案例也只有以下不多的幾例：

BE違規(guī)抓取eBay案。2000年，美國加州北部的聯(lián)邦地方法院在著名的“eBay VS BE”案中，第一次引用Robots協(xié)議對案件進(jìn)行裁定。BE（Bidders Edge）成立于1997年，是專門提供拍賣信息的聚合網(wǎng)站，BE利用爬蟲抓取來自eBay等各個大型拍賣網(wǎng)站的商品信息，放在自己的網(wǎng)站上供用戶瀏覽，并獲得可觀的網(wǎng)站流量。雖然eBay早已設(shè)置了Robots協(xié)議，禁止BE爬蟲的抓取，但BE卻無視這個要求。原因很簡單，BE網(wǎng)站69%的拍賣信息均來自eBay， 如停止抓取eBay內(nèi)容，意味著BE將損失至少三分之一的用戶。

2000年2月，eBay一紙訴狀將BE告上聯(lián)邦法庭。三個月后，受理此案的美國聯(lián)邦法官裁定BE侵權(quán)成立。法官認(rèn)為：“eBay 的網(wǎng)站內(nèi)容屬于私有財產(chǎn)，eBay有權(quán)通過Robots協(xié)議對其進(jìn)行限制。違規(guī)抓取的行為無異于“對于動產(chǎn)的非法侵入”，并據(jù)此做出裁決。法官并沒有對Robots協(xié)議的效力做出認(rèn)定，而是將動產(chǎn)侵害原則適用到互聯(lián)網(wǎng)領(lǐng)域，這一案例在當(dāng)時引發(fā)了美國互聯(lián)網(wǎng)產(chǎn)業(yè)乃至社會的廣泛討論，成為當(dāng)時網(wǎng)絡(luò)侵權(quán)案的標(biāo)志性案例，也是與Robots協(xié)議有關(guān)的最著名案例。

淘寶禁止百度抓取爭議。2008年9月8日下午，針對百度即將推出與其競爭的C2C業(yè)務(wù)，淘寶網(wǎng)以杜絕不良商家欺詐為由，宣布屏蔽搜索引擎百度。淘寶表示，通過對不同搜索引擎進(jìn)行不同程度的屏蔽，可以杜絕不法商家利用競價排名、搜索優(yōu)化等手段騙取消費者信任，并對優(yōu)秀賣家進(jìn)行鼓勵。據(jù)淘寶網(wǎng)當(dāng)時提供的統(tǒng)計數(shù)據(jù)，80%以上的消費者投訴源于極少數(shù)不良商家。這些不良商家的主要手段之一就是：通過技術(shù)或商業(yè)手段，優(yōu)化通用搜索的頁面結(jié)果，獲得較高排名騙取消費者點擊。通過屏蔽部分搜索引擎，可以最大限度地避免消費者上當(dāng)受騙。百度遵守Robots協(xié)議，爬蟲不再抓取淘寶網(wǎng)數(shù)據(jù)。endprint

Twitter、Facebook禁止谷歌抓取實時信息?；ヂ?lián)網(wǎng)的本質(zhì)中即包含技術(shù)革命、自由精神及挑戰(zhàn)權(quán)威性，在搜索引擎贏得互聯(lián)網(wǎng)時代的同時，也埋下其被挑戰(zhàn)和顛覆的種子?；ヂ?lián)網(wǎng)Web2.0終于盼來了新時代，他們的代表就是微博和社交網(wǎng)站。以Twitter、Facebook為代表的新型內(nèi)容網(wǎng)站，在其發(fā)展初期自然也需要借力于搜索引擎，但當(dāng)其閉環(huán)內(nèi)容達(dá)到一個量級時，特別是網(wǎng)民在Twitter、Facebook中可以瀏覽到足夠需求的信息時，這時已不再需要搜索引擎網(wǎng)站作為入口，而只需站內(nèi)搜索即可。

2011年7月，Twitter不再允許Google抓取其實時信息，這甚至導(dǎo)致了Google的一款產(chǎn)品Google+的衰亡。表面原因很簡單，如Google聲明所說，“自從2009年10月起，我們就與Twitter達(dá)成協(xié)議，將在搜索中整合特殊內(nèi)容，這份協(xié)議7月2日將到期。盡管我們將無法獲得來自Twitter的特殊信息，不過公開抓取的Twitter信息還是可以搜索的，也可以在Google上找到。”而根本原因，正如筆者分析，Twitter已足夠強(qiáng)大，已無需搜索引擎為其提供信息入口和推廣，而搜索引擎仍需要內(nèi)容。如果Google還想抓取Twitter實時信息，恐怕必須付錢了。

無獨有偶，轉(zhuǎn)眼的2012年，社交網(wǎng)站巨頭Facebook也果斷禁止谷歌對其數(shù)據(jù)進(jìn)行抓取。谷歌CEO拉里·佩奇多次公開表達(dá)對Facebook的不滿，指責(zé)其拿用戶當(dāng)人質(zhì)。其實，谷歌CEO的惱羞成怒是有道理的，F(xiàn)acebook不允許谷歌抓取的理由——考慮用戶隱私權(quán)是不成立的。但卻允許雅虎納入來自Facebook的搜索結(jié)果。谷歌與Facebook競爭的優(yōu)勢是搜索引擎，一旦Facebook推出社交化的搜索引擎，谷歌在搜索引擎的霸主地位就將終結(jié)。這當(dāng)然也正是Facebook對谷歌封閉的考慮。如拉里·佩奇所說，“Facebook只是不愿意與我們合作?！?/p>

以上三個案例可以看出，在世界互聯(lián)網(wǎng)范圍內(nèi)，也存在大致的搜索引擎和內(nèi)容網(wǎng)站關(guān)系的三個時期，也可以說Robots協(xié)議的三個階段，與國內(nèi)的不同也只是所經(jīng)歷時間的長短和對規(guī)則的敬畏、誠信的自覺、利益的分配的微妙差別?？梢钥吹?，在第一階段和第二階段，Robots協(xié)議下的搜索引擎與內(nèi)容網(wǎng)站間的利益關(guān)系是完全正向的，本質(zhì)是互利的，所以搜索引擎間沒有因Robots協(xié)議產(chǎn)生任何官司。隨著搜索引擎逐漸具備內(nèi)容能力并最終占據(jù)絕對強(qiáng)勢地位，再到社交網(wǎng)站和微博的崛起，搜索引擎和內(nèi)容網(wǎng)站間利益分化，搜索引擎間的矛盾不可避免。

在以市場為主導(dǎo)的互聯(lián)網(wǎng)產(chǎn)品競爭中，只有真正符合網(wǎng)民需求，推動互聯(lián)網(wǎng)發(fā)展的應(yīng)用和服務(wù)才能最終獲得市場，實現(xiàn)企業(yè)的經(jīng)濟(jì)利益最大化。無論是靠Robots協(xié)議或者某一協(xié)調(diào)條款來維護(hù)既得利益，還是靠打擦邊球、利用灰色地帶，終將被市場所淘汰，被網(wǎng)民所拋棄。endprint