搜索引擎在信息搜集過程中的信息倫理問題研究

譚哲 李詣斐

關(guān)鍵詞 信息倫理 搜索引擎 研究

1引言

在搜索引擎企業(yè)高速發(fā)展、搜索引擎企業(yè)對社會影響越來越大的同時，搜索引擎企業(yè)所爆發(fā)出來的信息倫理問題也越來越多[1] ，與社會的矛盾也越來越尖銳。搜索引擎的信息行為主要包括信息搜集、信息加工、信息提供、信息使用四個流程。其中，信息搜索是第一步。2013 年，在百度與360 之間展開的3B 大戰(zhàn)中具有信息倫理內(nèi)核和行業(yè)倫理準(zhǔn)則性質(zhì)的Robots協(xié)議成為判決的關(guān)鍵。這對我們解決搜索引擎在信息搜集中的倫理問題起到了啟示作用。

2搜索引擎在信息搜索過程中的信息倫理問題案例

2.1案例選擇———3B 大戰(zhàn)案中對Robots 協(xié)議的使用

在搜索引擎的信息搜集中，盡管搜索引擎可以開發(fā)其他的產(chǎn)品，通過各種形式搜集信息，但采集網(wǎng)頁卻是搜索引擎的基礎(chǔ)和重點———哪些網(wǎng)頁應(yīng)該采集、哪些網(wǎng)頁不應(yīng)該采集、萬一有網(wǎng)頁不愿意被采集。Robots 協(xié)議是行業(yè)內(nèi)的軟協(xié)議，不具備法律效力，只具備倫理約束效力。Robots 協(xié)議到底存在怎樣的信息倫理內(nèi)涵？ 我們一探究竟。

3B 大戰(zhàn)是搜索引擎行業(yè)的著名案例，360 違背百度設(shè)置的Robots 協(xié)議、不遵守行業(yè)規(guī)范也是案件判決的依據(jù)，下文將通過這個案例進(jìn)行分析。

2.2案例回顧

2012 年年初，百度宣傳360 通過360 瀏覽器故意竄改、仿照百度搜索結(jié)果，進(jìn)行惡意、不良競爭。同年8 月，360 宣布推出“360 綜合搜索”，正式進(jìn)入搜索引擎市場，整個互聯(lián)網(wǎng)行業(yè)為之震驚，百度的市場壟斷地位或有望遭到動搖。360 將其瀏覽器的內(nèi)置搜索引擎改為自主的360 搜索，替換了原來的Google 內(nèi)核。

2012 年8 月28 日，百度又公開宣稱360 侵犯了其Robots 協(xié)議，違背行業(yè)道德倫理規(guī)范，除對百度數(shù)據(jù)庫進(jìn)行了未被允許的抓取外，還對包括百度百科、百度知道在內(nèi)的多項產(chǎn)品內(nèi)容進(jìn)行了抓取。360 的行為侵犯了百度的用戶隱私和知識產(chǎn)權(quán)，百度單方面宣布用重置盜鏈的方式對360 進(jìn)行反制：百度實行搜索結(jié)果中的跳轉(zhuǎn)URL 動態(tài)加密，在使用一些瀏覽器時，用戶搜索諸如關(guān)鍵詞等行為也不會被記錄。這樣的強(qiáng)制手段旨在對網(wǎng)站和用戶的信息進(jìn)行保護(hù)，阻止搜索引擎的爬蟲違背Robots 協(xié)議抓取本站數(shù)據(jù)，很多網(wǎng)站都曾采取這種方式，并非百度首創(chuàng)。

盡管這樣的方式能阻止360 違背Robots 協(xié)議抓取信息[2] ，但360 見招拆招，采用了網(wǎng)頁快照的方式進(jìn)行反擊。通過360 瀏覽器會被直接跳轉(zhuǎn)至載有提示用戶該頁面系360 儲存及具體儲存時間的網(wǎng)頁快照頁面。

2012 年9 月，雙方的惡意斗爭終于引起了相關(guān)部門的關(guān)注。相關(guān)部門為避免再次發(fā)生3Q 大戰(zhàn)中傷及用戶的“二選一”現(xiàn)象，要求雙方停止惡意斗爭，不要再炒作。然而，事件并沒有因此而平息，百度啟用釣魚策略，用“鬼節(jié)捉鬼”的手段證實了360 瀏覽器不僅抄襲其他瀏覽器的搜索結(jié)果，而且還用其360 瀏覽器記錄用戶的信息，嚴(yán)重侵犯用戶隱私，造成用戶的信息安全隱患。此外，百度還搜集證據(jù)，試圖通過法律途徑解決問題，同時呼吁用戶對360 軟件進(jìn)行卸載。

2013 年4 月，法院判決百度訴360 不正當(dāng)競爭和商標(biāo)侵權(quán)案中360 不正當(dāng)競爭行為成立。360 當(dāng)即上訴。2013 年11 月法院駁回了360 的上訴。2014 年8月，北京市中級人民法院就此案做出一審判決，認(rèn)為360 違反不正當(dāng)競爭法，判決360 賠償百度70 萬元，同時駁回了關(guān)于百度申請禁止360 抓取其網(wǎng)頁數(shù)據(jù)的行為。

法院認(rèn)為，Robots 協(xié)議是搜索引擎業(yè)內(nèi)的公認(rèn)規(guī)則，屬于倫理道德的范疇，行業(yè)企業(yè)需要遵守，360 搜索引擎沒有遵守百度設(shè)置的Robots 協(xié)議，構(gòu)成了不正當(dāng)競爭。同時，法院也認(rèn)為設(shè)置Robots 協(xié)議時要有充分的理由，百度對360 的針對性設(shè)置并不公平，因此駁回了百度的其他請求。

3案例分析———信息存取權(quán)問題

3.1 Robots 協(xié)議對搜索引擎信息存取權(quán)的影響

（1） 結(jié)果論分析：以上文案例為例，上述違反Robots 的情況將會導(dǎo)致搜索引擎企業(yè)為了獲取更大的商業(yè)利益和贏得競爭而抓取網(wǎng)站保護(hù)數(shù)據(jù)以優(yōu)化搜結(jié)果、抄襲同行對手的數(shù)據(jù)庫及產(chǎn)品[3] 、濫用Robots 協(xié)議排擠競爭者等現(xiàn)象日益增多。搜索引擎可以為了降低成本而抄襲其他搜索引擎的搜索結(jié)果，搜索引擎也可能會為了獲取更多的信息而侵犯一些網(wǎng)站不想被抓取的信息，這些信息可能對信息隱私和信息產(chǎn)權(quán)、信息安全有著極大的影響。

這樣的行為會侵害網(wǎng)站、用戶權(quán)益和公共利益。

最終打破搜索行業(yè)利益平衡，打亂行業(yè)秩序。從結(jié)果來說，違反Robots 協(xié)議是不利于結(jié)果論所追求“人類最大福祉”的。

（2）義務(wù)論分析：康德把義務(wù)理解為對普遍法則的尊重，就像網(wǎng)球俱樂部的會員需要遵守網(wǎng)球俱樂部的規(guī)則，而Robots 協(xié)議則可以看作是搜索引擎行業(yè)的普遍法則。Robots 協(xié)議是互聯(lián)網(wǎng)網(wǎng)站的站長和搜索引擎服務(wù)商兩者的共同協(xié)商之下于1994 年誕生的，其以Robots.txt 的形式實現(xiàn)，它可以引導(dǎo)搜索引擎的爬蟲如何抓取本網(wǎng)站的信息，也可以告訴爬蟲哪些信息可以抓取，哪些信息不能抓取，還能指定哪些搜索引擎可以抓取，哪些搜索引擎不可抓取。

Robots 協(xié)議的意義非凡，它的主要目的是保護(hù)網(wǎng)站中的敏感數(shù)據(jù)和信息，也可以保護(hù)網(wǎng)站用戶的隱私，同時對網(wǎng)站的服務(wù)器也有保護(hù)作用，因為過高頻率的抓取會給服務(wù)器帶來巨大的壓力。因此，Robots協(xié)議一經(jīng)發(fā)布便被大部分的搜索引擎遵守。

在國內(nèi)，《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》便有明文規(guī)定行業(yè)內(nèi)成員要自覺遵守Robots 協(xié)議[4] ，在搜索引擎企業(yè)簽署這一協(xié)議后，Robots 協(xié)議已上升為搜索引擎行業(yè)的信息倫理層面，應(yīng)當(dāng)普遍遵守。因此，違反Robots 協(xié)議是不符合義務(wù)論倫理的。

（3）美德論分析：Robots 協(xié)議并非命令，它是網(wǎng)站為防止被別人肆意抓取站內(nèi)數(shù)據(jù)信息的警告，依賴搜索引擎自覺遵守。尊重是傳統(tǒng)美德，同時中國儒家傳統(tǒng)美德中也有“ 己所不欲勿施于人” 一說。違反Robots 協(xié)議也會違反公平、平等、誠實信用等美德。從美德論的角度來說，作為搜索引擎企業(yè)也需遵守Robots 協(xié)議。

3.2前移動互聯(lián)網(wǎng)時代搜索引擎對信息的掌控

在國內(nèi)，曾經(jīng)很多人打開瀏覽器后的第一個步驟便是進(jìn)入百度頁面，以獲取網(wǎng)絡(luò)信息。

CNNIC 基于《2016.12～2017.06 中國網(wǎng)民各類互聯(lián)網(wǎng)應(yīng)用使用率》報告認(rèn)為搜索引擎位列中國網(wǎng)民互聯(lián)網(wǎng)應(yīng)用使用率的第二位（表一）。在一般人都是用電腦使用瀏覽器瀏覽互聯(lián)網(wǎng)信息的時候，搜索引擎對于網(wǎng)絡(luò)中的信息有著極大的控制權(quán)。這時搜索引擎就成為網(wǎng)絡(luò)世界的把關(guān)者，其可以決定讓用戶優(yōu)先看到哪些網(wǎng)站，對信息的獲取起到關(guān)鍵性影響。搜索引擎由此可以對信息資源進(jìn)行掌控，用戶想接觸網(wǎng)絡(luò)信息需要經(jīng)由搜索引擎這道門，網(wǎng)站想讓用戶被看到也要通過搜索引擎這道門。

百度一下和Google it 兩個搜索引擎的企業(yè)名直接成為搜索的代名詞，也成為獲得信息的代名詞。

3.3移動互聯(lián)網(wǎng)時代搜索引擎信息存取遭遇挑戰(zhàn)

在這個移動互聯(lián)網(wǎng)時代，更多的人選擇通過手機(jī)上網(wǎng)。第40 次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》就指出搜索引擎的營收遭到挑戰(zhàn)。

隨著互聯(lián)網(wǎng)的發(fā)展，越來越多的網(wǎng)站并不希望通過搜索引擎讓用戶找到，它們開始拒絕被搜索引擎抓取，搜索引擎也越來越難以存取、獲得所有信息[5] 。

雖然搜索引擎應(yīng)用在手機(jī)互聯(lián)網(wǎng)應(yīng)用中排名前三（表2），但搜索引擎這一產(chǎn)品似乎漸漸從底層瓦解，同時搜索引擎這門生意漸漸被分散，不再是一門集中網(wǎng)絡(luò)資源的好生意。

搜索引擎曾經(jīng)是互聯(lián)網(wǎng)最主要的入口，而在移動互聯(lián)網(wǎng)時代來臨后，手機(jī)APP 成為互聯(lián)網(wǎng)的又一大入口。原來的搜索引擎企業(yè)紛紛轉(zhuǎn)移重心開拓別的領(lǐng)域，這或許更能說明搜索引擎在公共領(lǐng)域和倫理領(lǐng)域具有更大的價值和挑戰(zhàn)。搜索引擎企業(yè)信息存取權(quán)的問題正遭到前所未有的挑戰(zhàn)，或許，未來會出現(xiàn)相關(guān)部門主導(dǎo)的搜索引擎企業(yè)，這樣的搜索引擎就會像現(xiàn)在的圖書館收藏書籍一樣———能夠搜集所有互聯(lián)網(wǎng)的信息以真正實現(xiàn)所有人對所有合法信息都有存取的權(quán)利，而屆時Robots 協(xié)議的內(nèi)容肯定也需要進(jìn)行相應(yīng)調(diào)整[6] 。