網絡爬蟲技術的理性思考及多元規(guī)制方法

李鳳霞 李晨曦

摘要： 大數(shù)據(jù)時代，惡意爬取數(shù)據(jù)的現(xiàn)象屢見不鮮。這使得網絡爬蟲行為的規(guī)制問題更具研究意義。然而，當前學界對爬蟲技術的應用存在一定的認知偏差，并過于夸大了法律規(guī)范的社會效果。對此，文章期望通過加強有關法律的體系整合、明確相關監(jiān)管機構的權限劃分、健全國家級數(shù)據(jù)中心群與數(shù)據(jù)共享網絡、以及加強數(shù)據(jù)行業(yè)協(xié)商性“立法”的多元規(guī)制方法，促進數(shù)據(jù)產業(yè)的健康發(fā)展。

關鍵詞： 大數(shù)據(jù); 網絡爬蟲; 數(shù)據(jù)爬取行為; 多元規(guī)制方法

中圖分類號：DF626? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2021）10-11-04

Rational thinking and multiple regulation approaches of Web crawler technology

Li Fengxia， Li Chenxi

（China University of Petroleum， Qingdao， Shandong 266000， China）

Abstract： In the era of big data， malicious crawling of data is common. This makes the regulation of web crawler behavior more meaningful. However， there are some cognitive biases to the application of crawler technology in the current academic circles， and the social effect of legal norms is too exaggerated. Therefore， this paper expects to promote the healthy development of the data industry with the multiple regulation approaches which includes the strengthening the system integration of relevant laws， clarifying the division of authority of relevant regulatory agencies， building a national data center group and data sharing network， and strengthening the negotiated "legislation" in the data industry.

Key words： big data; Web crawler; data crawling behavior; multiple regulation approaches

0 引言

大數(shù)據(jù)時代的到來使得數(shù)據(jù)成為企業(yè)經營與發(fā)展的重要資源，在商業(yè)競爭與戰(zhàn)略制定中起著愈發(fā)關鍵的作用。與此同時，利用網絡爬蟲技術惡意爬取數(shù)據(jù)的行為也屢見不鮮。惡意爬取數(shù)據(jù)的行為會很可能對網站服務器帶來極大的負載容易導致企業(yè)服務器的損害，影響企業(yè)經營。更有甚者會嚴重泄漏被爬取企業(yè)的信息及商業(yè)秘密，極大的影響企業(yè)經濟效益。

1 數(shù)據(jù)爬取行為的法律風險分析

網絡爬蟲技術在司法領域看來最可能存在法律風險的問題——不當獲取數(shù)據(jù)后經過數(shù)據(jù)處理后又不當使用。僅僅在數(shù)據(jù)獲取流程中有不法行為，只有在危及國家安全和嚴重侵害個人及企業(yè)利益時法律才會出動。這主要存在四種情況。①經營者非法獲取涉及國家秘密的有關數(shù)據(jù)信息，這會構成危害國家安全罪有關的犯罪。②使用數(shù)據(jù)采集技術給對方的計算機系統(tǒng)造成破壞，譬如惡意爬蟲可能會損壞服務器，倘若情節(jié)嚴重，將構成破壞計算機信息系統(tǒng)罪。③如果獲取個人或企業(yè)的信息并給對方造成嚴重損失，構成侵犯公民個人信息罪或非法獲取計算機信息系統(tǒng)數(shù)據(jù)罪。④如果非法獲取的信息涉及商業(yè)秘密與知識產權，那么將可能構成侵犯商業(yè)秘密罪及知識產權方面的有關罪名。

當數(shù)據(jù)獲取流程與數(shù)據(jù)應用流程中皆存在不正當性，且不正當行為具有關聯(lián)性時，將會使應用網絡爬蟲技術的法律問題再度擴大。如漢濤公司訴百度公司案件中，由于百度在其旗下產品中使用了大眾點評網的有關數(shù)據(jù)，違反商業(yè)道德以及市場秩序，最終被法院判定構成不正當競爭。就此案而言，百度公司的數(shù)據(jù)應用的不當性是法官事實認定的主要依據(jù)。而百度公司不當?shù)臄?shù)據(jù)獲取行為——擅自利用網絡爬蟲技術獲取大眾點評網的有關數(shù)據(jù)，是百度公司進行違法行為的技術支持及前提。上述裁判邏輯讓受侵害方能夠以更低的成本獲得有關的證據(jù)，也有利于法官在多種因果鏈條中選擇最為接近案件事實的情況。既能維護被侵害方的合法權益，又能給社會釋放正確的激勵信號，法律便有理由在面對不當?shù)臄?shù)據(jù)獲取行為時表現(xiàn)的更加積極。這也會激勵經營者規(guī)范自己的行為，且注重檢查數(shù)據(jù)收集行為的正當性與否。

2 當前網絡爬蟲技術的規(guī)制現(xiàn)狀與存在的問題

關于網絡爬蟲技術問題的討論，理論界主要結合現(xiàn)有案例來切入。從案件類型來看，主要為知識產權侵權、不正當競爭與刑事犯罪。李慧敏與孫家亮在其論文中的數(shù)據(jù)也證明了這一點：與網絡爬蟲技術相關的案件中，知識產權侵權案件數(shù)量為24件，占到總案件比例為75%;不正當競爭糾紛與刑事犯罪案件數(shù)據(jù)均為4件，其中構成刑事犯罪案件的罪名分別為，侵犯著作權罪、傳播淫穢物品牟利罪、破壞計算機信息系統(tǒng)罪、非法獲取計算機信息系統(tǒng)數(shù)據(jù)罪（截止于2018年8月8日）[1]。對此，有學者主張通過專門立法的舉措來豐富我國現(xiàn)有的法律體系，以針對性的法律文件對網絡爬蟲技術進行法律規(guī)制。有學者將著力點放在現(xiàn)有的法律體系上，尤其是期望明晰網絡爬蟲行為的刑事違法性，通過刑事規(guī)制的手段對不法爬取數(shù)據(jù)行為進行充分的威懾[2]。無論是專門性的法律規(guī)制還是刑事規(guī)制，本質上都是通過法律的手段來引導網絡爬蟲技術使用者的行為。然而，以上規(guī)制方式均存在不足之處，以下探討其四點不足之處。

2.1 對于網絡爬蟲技術應用的相關認知存在一定的偏差

在對網絡爬蟲的違法性進行理論分析時，通常是以“robots協(xié)議”、“反爬蟲措施”作為有關網絡爬蟲行為違法與否的衡量標準?！皉obots協(xié)議”如前文所述，是一份互聯(lián)網行業(yè)的“道德”，并不會對爬取數(shù)據(jù)的行為產生技術上的約束?！胺磁老x措施”是企業(yè)為保護自身數(shù)據(jù)不被爬取所采取的技術防御措施，能對爬取數(shù)據(jù)的行為產生技術上的約束。有的學者將違反“robots協(xié)議”的爬取數(shù)據(jù)行為、繞過或者破解“反爬蟲措施”爬取數(shù)據(jù)的行為視為違法性的體現(xiàn)。然而這只是在理論上成立的條件。在法律實踐中，網絡爬蟲的法律風險來源于技術使用者不當獲取數(shù)據(jù)后又不當使用的系列行為。同時，“robots協(xié)議”不具備法律的約束力，也存在一些濫用現(xiàn)象。諸多數(shù)據(jù)企業(yè)出于商業(yè)競爭的考慮，對其所有的數(shù)據(jù)都不愿予以開放。這使得“robots協(xié)議”在現(xiàn)實中的保護領域過大，該協(xié)議本身的公正性有時也存在一定的質疑。另一方面，繞過或者破解“反爬蟲措施”也并非是爬取數(shù)據(jù)的必要手段。爬取數(shù)據(jù)的行為與繞過或破解“反爬蟲措施”單純在技術角度上并無直接的關系。由此，將“robots協(xié)議”、“反爬蟲措施”作為有關網絡爬蟲行為性質定性的評判依據(jù)的觀點過于牽強。

2.2 忽視了該技術所處的行業(yè)背景

檢視我國當前的互聯(lián)網行業(yè)，企業(yè)間對數(shù)據(jù)開放問題基本持以排斥甚至拒絕的態(tài)度。從商業(yè)競爭的角度，倘若競爭者收集了與該企業(yè)相同的數(shù)據(jù)集，便有開發(fā)相同的產品，搶占該企業(yè)市場份額的可能性。同時，從技術的角度講，企業(yè)自身所構建的數(shù)據(jù)集是無法滿足精準大數(shù)據(jù)分析的要求，企業(yè)等數(shù)據(jù)應用者便會受此激勵利用網絡爬蟲技術等外部數(shù)據(jù)收集技術去收集其他數(shù)據(jù)所有者不愿意開放的數(shù)據(jù)。這種現(xiàn)象是極為常見的，甚至儼然成為一種隱性的商業(yè)慣例，這似乎違背法學者的經驗認知。但在事實上，諸多被法律工作者所知悉的爬取數(shù)據(jù)的有關案件并非是由單一的爬取數(shù)據(jù)行為所引起的。單純依靠法律規(guī)制網絡爬蟲技術，難以解決當前諸多的非法獲取數(shù)據(jù)問題。事實上，絕大多數(shù)爬取數(shù)據(jù)行為的“東窗事發(fā)”是由于該企業(yè)對所爬取數(shù)據(jù)的不當應用，即發(fā)生在數(shù)據(jù)應用環(huán)節(jié)。由此，對網絡爬蟲技術進行法學討論時，應結合當前我國信息技術企業(yè)的真實的運行情況進行分析。

2.3 對法律的實施效果過于樂觀

學者們公認的、目前中國法治建設中的最大難題，莫過于“有法不依、有令不行”。[3]現(xiàn)實中，法律的實施會受到一定條件的約束，良善的立法并非一定產生良好的法律效果。尤其在司法，數(shù)據(jù)權益侵害案件將會對司法機關的電子數(shù)據(jù)取證技術有著更高的要求。然而，目前中國從事電子數(shù)據(jù)取證工作的專業(yè)性人才數(shù)量較少，電子數(shù)據(jù)鑒定機構數(shù)量也較為不足。這也對電子數(shù)據(jù)取證人才的培養(yǎng)提出了更高的要求，導致專業(yè)性取證人才的培養(yǎng)更加困難。由此，以規(guī)制網絡爬蟲技術的法律文件在實踐中極有可能面臨相關執(zhí)法人員、司法人員的缺失問題，進一步影響法律實施的效果。在司法實踐中，倘若創(chuàng)設網絡爬蟲技術的專門性法律條款，容易出現(xiàn)諸多法條競合的現(xiàn)象。如漢濤公司訴百度案中，最后的裁定結果是百度公司構成不正當競爭。以數(shù)據(jù)工程的角度來看，這是對百度公司在數(shù)據(jù)應用環(huán)節(jié)中的行為進行法律評價。倘若增設針對網絡爬蟲技術的罪名等法律條款，并予以適用，則是對百度公司在數(shù)據(jù)收集與數(shù)據(jù)應用的違法行為進行了重復評價。司法人員在認定時需要對爬取數(shù)據(jù)行為的針對性評價與數(shù)據(jù)應用行為的針對性評價進行選擇，無疑提高了司法人員適用法律的難度。由此，對于司法人員來講，網絡爬蟲技術的專門性法律條款的實用價值并不理想。更困難的一點，是無法建立相應的執(zhí)法、檢察、司法的監(jiān)督機制。如果對爬取數(shù)據(jù)行為的法律適用問題進行監(jiān)督，同當前電子數(shù)據(jù)取證的困境一樣，中國缺少相應的專業(yè)性人才與鑒定機構，監(jiān)督效果也不容樂觀。

2.4 可能對社會產生不良激勵

當前的互聯(lián)網企業(yè)對數(shù)據(jù)信息皆有迫切的需求。多數(shù)企業(yè)面對隨之而來的法律風險，通常是支付一定的費用，建立風險預防機制或風險規(guī)避機制，然后將成本轉移給消費者。但不可否認，仍有部分企業(yè)面對創(chuàng)設針對性的法律以及擴大刑事規(guī)制范圍的規(guī)制方法將會采取法律風險轉移方式。即將數(shù)據(jù)收集這一高風險的環(huán)節(jié)外包出去，通過向其他企業(yè)組織及個人購買數(shù)據(jù)信息來滿足自家企業(yè)數(shù)據(jù)工程的使用。這種需求將促使相應的數(shù)據(jù)收集產業(yè)的產生。然而，考慮到當前公開性數(shù)據(jù)的缺少，數(shù)據(jù)收集產業(yè)的組織及個人仍會對網絡爬蟲技術有著極大地需求?；ヂ?lián)網公司同樣會因為法律風險的降低做出進一步擴大其數(shù)據(jù)集的策略，這將激勵數(shù)據(jù)收集產業(yè)更加的“繁榮”。在對網絡爬蟲技術有著極大限制的條件下，極有可能出現(xiàn)利用數(shù)據(jù)爬取、甚至數(shù)據(jù)庫入侵等手段收集數(shù)據(jù)的違法性質的數(shù)據(jù)收集組織，甚至可能為此出現(xiàn)“違法數(shù)據(jù)清洗”的組織及個人。這種灰色產業(yè)鏈的出現(xiàn)會更進一步地危害個人及公共的數(shù)據(jù)安全。

2.5 對以后立法策略產生不當影響

中國目前并未創(chuàng)設網絡爬蟲技術的專門性法律條款。關于網絡爬蟲技術的規(guī)制問題，法學界似乎秉持了同一條原則——技術中立，強調不應對網絡爬蟲技術創(chuàng)制過分針對的法律規(guī)定，即不能對該技術有著法律性的歧視。但是“技術中立”是一項原則，并未確立明晰的標準范式，這使得學者們對該原則有不同的解讀。創(chuàng)設針對性的法律以及擴大刑事規(guī)制范圍的方式，是對網絡爬蟲技術進行針對性的規(guī)制。該種規(guī)制方法的確立且進行實施，將會成為技術中立原則在立法方法上的一個論據(jù)，用以論證創(chuàng)設針對性的法律的方法并非對該技術有著法律性的歧視，即不違背技術中立原則。由此，將會在制定立法策略時釋放不利的激勵信號，導致技術針對性的罪名增加。同時在司法實踐方面容易出現(xiàn)與規(guī)制“數(shù)據(jù)應用環(huán)節(jié)”的罪名發(fā)生法律競合、不利于體現(xiàn)法的可預測性等相關問題。

3 網絡爬蟲技術的多元規(guī)制路徑

由于數(shù)據(jù)獲取與數(shù)據(jù)應用環(huán)節(jié)具有外部性，即能產生外部影響，因而可能產生復雜的社會糾紛以至于需要法律出動。本文便以網絡爬蟲技術的外部性作為進行規(guī)制路徑分析的切入點。具體來說，就需要討論網絡爬蟲技術的活動空間。從技術應用空間的角度來看，網絡爬蟲技術是以網絡空間的存在作為現(xiàn)實基礎。這意味著網絡爬蟲技術的可規(guī)制性能與網絡空間的可規(guī)制性進行連通。兩者的連通點便是爬蟲技術在網絡空間中的應用行為。是以，在對網絡爬蟲技術的規(guī)制問題進行探討時，應當考慮到網絡空間的規(guī)制問題。從技術作用對象來看，網絡爬蟲技術獲取對象—數(shù)據(jù)—在法學領域便涉及數(shù)據(jù)隱私等相關的機制設計問題。鑒于技術針對性立法這一規(guī)制方法對技術中立原則的破壞性，本文將以多元規(guī)制的方法對網絡空間安全與數(shù)據(jù)主體安全進行技術規(guī)制進路的探究，以此激勵爬蟲技術的正當應用。

3.1 加強相關法律的體系整合

中國目前并未創(chuàng)設網絡爬蟲技術的專門性法律條款。且根據(jù)前文的分析，創(chuàng)設針對性的法律極有可能違背技術中立原則，遏制爬蟲技術對數(shù)據(jù)行業(yè)的積極作用及帶來其他的負外部性。從控制社會成本與促進互聯(lián)網行業(yè)良性發(fā)展的角度，厘清現(xiàn)有的網絡法與數(shù)據(jù)保護相關法律的體系是更為合理的手段。

首先，應當通過完善破壞計算機信息系統(tǒng)罪、侵犯公民個人信息罪、非法獲取計算機信息系統(tǒng)數(shù)據(jù)罪各自的權責確定對爬蟲技術使用行為的刑事規(guī)制范圍，避免刑罰權的不當擴張。并以此厘清法學意義上的惡意爬蟲，為司法實踐提供理論上的支持。

其次，通過完善并厘清反不正當競爭法與知識產權法對數(shù)據(jù)應用行為做到良好的法律監(jiān)督，引導數(shù)據(jù)主體的數(shù)據(jù)使用行為合法、合理。最后，通過數(shù)據(jù)數(shù)據(jù)保護機制的設計與完善，對數(shù)據(jù)主體的整個數(shù)據(jù)工程行為做到引導與監(jiān)督。

3.2 明確監(jiān)管機構的權責劃分

中國對于網絡空間采取政府主導型的規(guī)制模式。其目的是為了實現(xiàn)對網絡空間的統(tǒng)籌規(guī)劃，增加國際競爭力。行政監(jiān)管是實施網絡管理的有效手段。公安部負責規(guī)制網絡安全問題，網絡新聞辦則負責對網絡內容進行管理，信息產業(yè)部規(guī)制互聯(lián)網運營及接入，新聞出版署監(jiān)管網絡出版、知識產權等問題。[4]然而，當前的各級行政機關及有關部門存在職責劃分不清這一問題，導致網絡空間中的信息分布在具有固定職能范圍的政府各部門和固定地域范圍的各地區(qū)機構中。各個部門和地區(qū)各自收集、發(fā)布信息，信息只是在各自的管轄范圍中使用，難以發(fā)揮信息綜合利用的功效，難以發(fā)揮出其應有的“整體效應”。[5]由此造成各個機構部門運行效率較低浪費行政資源等問題，使得行政機關網絡空間的監(jiān)管效果不佳。對此，應當明確各個網絡監(jiān)管機構的職責權限，對具有重合或相似職能權限的機構可以進行適當?shù)慕M織合并或權責再分，同時加強相關機構的組織協(xié)調并完善相應的監(jiān)督機制，避免出現(xiàn)相互推諉或競相負責的情況[6]。

3.3 建全國家級數(shù)據(jù)中心群與數(shù)據(jù)共享網絡

1990年，美國在國家層面上建設數(shù)據(jù)中心群與數(shù)據(jù)共享網絡，各國也相繼開展相關的數(shù)據(jù)共享計劃[7]。中國也開始重視國家級數(shù)據(jù)共享平臺的建立。然而，我國政府數(shù)據(jù)開放平臺的關聯(lián)數(shù)據(jù)與元數(shù)據(jù)研究還處于發(fā)展階段，數(shù)據(jù)描述過于簡單，數(shù)據(jù)質量較低，嚴重限制了我國數(shù)據(jù)開放平臺的發(fā)展。對此，應當確立一致的數(shù)據(jù)組織標準，使數(shù)據(jù)組織的格式趨于統(tǒng)一。同時，需要實現(xiàn)數(shù)據(jù)開放平臺與數(shù)據(jù)獲取用戶的雙向互動，即在做好用戶反饋的前提下，還應建立數(shù)據(jù)用戶向數(shù)據(jù)開放平臺提供數(shù)據(jù)的及時渠道，并建立相應審核監(jiān)督機制保證數(shù)據(jù)質量。此外，國內平臺大多缺乏數(shù)據(jù)開放的授權協(xié)定，出于商業(yè)競爭或便于監(jiān)管的角度，多數(shù)數(shù)據(jù)授權協(xié)定對數(shù)據(jù)獲取用戶有著各種數(shù)據(jù)使用上的限制[8]。因而，通過數(shù)據(jù)開放許可協(xié)議的支持從而保證用戶在數(shù)據(jù)開放和使用上的自由仍亟待解決。

3.4 加強數(shù)據(jù)行業(yè)協(xié)商性“立法”

在司法實踐中，違反機器人協(xié)議的行為可以作為辯護的論點甚至成為裁定書中的論據(jù)之一。然而，這是策略性的而非論證性的，中國并未在法律層面明確確認機器人協(xié)議的法律效力。出于沒有法律效力以及存在濫用的原因，機器人協(xié)議在面對惡意爬取數(shù)據(jù)的行為時，顯得極為尷尬。由此可以通過司法解釋的方式賦予機器人協(xié)議法律效力，并規(guī)范其使用范圍防止該協(xié)議的濫用。賦予機器人協(xié)議法律效力意味著行業(yè)協(xié)議的威懾力升級，同時也意味著與機器人協(xié)議銜接的行業(yè)規(guī)范也受到重視。博弈論中的重復博弈意味著有序的行業(yè)可以促進企業(yè)間的信任。數(shù)據(jù)受到惡意爬取時，被爬取方可通過向其他企業(yè)傳播該信息的方式破壞惡意數(shù)據(jù)爬取方的行業(yè)信譽，中斷與其他企業(yè)的未來交易。行業(yè)內部也會逐漸建立起一套違背行業(yè)規(guī)范的信息披露機制。在該種語境下，行業(yè)規(guī)范的救濟優(yōu)勢也極為凸顯。通過相互博弈，各企業(yè)將彼此溝通，通過完善行業(yè)規(guī)范的方式規(guī)制爬蟲技術的使用行為。然而，這也容易發(fā)生行業(yè)壟斷。由此，數(shù)據(jù)行業(yè)的協(xié)商性“立法”仍需受到權責明確的監(jiān)管機構進行監(jiān)督。

4 結束語

學界就網絡爬蟲技術的規(guī)制問題仍然是以相關立法研究為核心路徑。但是面對實踐中復雜的行為模式與行為主體，傳統(tǒng)法律規(guī)范為核心的規(guī)制方式難以有效解決日益增長的數(shù)據(jù)侵權案件。對此，構建網絡爬蟲技術的多元規(guī)制模式，更能充分的保護數(shù)據(jù)主體的合法權益，有效遏制網絡爬蟲技術的惡意使用，促進我國信息產業(yè)健康、有序的發(fā)展。

參考文獻（References）：

[1] 李慧敏孫佳亮.論爬蟲抓取數(shù)據(jù)行為的法律邊界[J].電子知識產權，2018.20（12）：58-67

[2] 劉艷紅.網絡爬蟲行為的刑事規(guī)制研究——以侵犯公民個人信息犯罪為視角[J].政治與法律，2019.38（11）：16-29

[3] 桑本謙.理論法學的迷霧[M].法律出版社，2015.

[4] 鐘瑛.我國互聯(lián)網管理模式及其特征[J].南京郵電大學學報（社會科學版），2006.8（2）：31-35

[5] 劉霞向良云.網絡政府建設中的問題探析[J].湖北大學學報（哲學社會科學版），2003.30（6）：20-23

[6] 黃志雄劉碧琦.英國互聯(lián)網監(jiān)管：模式、經驗與啟示[J].廣西社會科學，2016.32（3）：101-108

[7] 鄺瑜婷.政府數(shù)據(jù)開放下網絡爬蟲的法律規(guī)制[J].廈門特區(qū)黨校學報，2019.31（6）：73-77

[8] 東方.國內外政府數(shù)據(jù)開放平臺調查與分析[J].現(xiàn)代情報，2017.37（10）：93-98