網站數(shù)據(jù)采集原理及防范策略的研究

摘要：網站數(shù)據(jù)的采集對于一個網站的建設具有十分重要的作用，該文將針對網站數(shù)據(jù)采集的基本原理和常用的防范策略進行研究。首先，研究了網站數(shù)據(jù)采集的技術原理，接下來針對常用幾種網站數(shù)據(jù)防采集技術進行了簡要的介紹。

關鍵詞：網站；數(shù)據(jù)采集；防采集；網頁數(shù)據(jù)

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2014）05-0930-02

1 概述

隨著互聯(lián)網技術的不斷發(fā)展和普及，因特網已經成為人們日常生活和工作中獲取信息的重要來源。Internet中的數(shù)據(jù)通常以Web頁面的方式呈現(xiàn)給用戶，在建站的時候為了豐富網站的數(shù)據(jù)量，網站管理員通常使用網絡爬蟲等數(shù)據(jù)采集工具從其他網站采集數(shù)據(jù)。網站數(shù)據(jù)采集是指通過一定的技術手段將某一網站的所有網頁內容或部分網頁內容批量抓取到自己網站中[1]。然而，非法的網站數(shù)據(jù)采集將可能造成網站服務器承載過重的負荷進而崩潰，與此同時這一行為也違反了版權保護相關的法律。因此，了解網絡采集的基本原理和相關的防御措施在網站的建站和后期維護過程中具有極為重要的作用。

2 網站數(shù)據(jù)采集基本原理

在進行網站數(shù)據(jù)的采集時根據(jù)采集工具的種類和開發(fā)語言的不同，通常網站數(shù)據(jù)獲取的方式也是不同的。但它們的基本原理都是通過訪問被采集站點來提取被采集站點的相應數(shù)據(jù)[2]。通過制定適當?shù)臄?shù)據(jù)采集規(guī)則來判斷什么樣的網絡地址是有效的、那些數(shù)據(jù)需要被采集和如何提取這些有效的信息。網站數(shù)據(jù)采集的基本原理如圖1所示。

獲取待采集網站中分頁列表中的每一頁地址是網站數(shù)據(jù)采集的前置條件，一般情況下一個JSP語言編寫的Web頁面具有如下特征：動態(tài)頁面的第N頁為index.jsp？ page=N，它所對應的靜態(tài)頁面為page_N.html。因此，只需要使用變量替換代表每頁地址變化的字符即可獲得相應的頁面地址。目前，一個Web頁面的分頁頁面中內容的超鏈接一般表示如下：連接

，只需要編寫適當?shù)拇a既可以獲取該頁內容所對應的URL鏈接。在動態(tài)生成的頁面中大多數(shù)內容頁面中都包含相同的html標記，因此可以根據(jù)已定義規(guī)則的標記提取相關的需要部分的內容。例如：每個Web頁面都有相應的標題，代碼中呈現(xiàn)為，編寫相應的MID截取函數(shù)就可以獲得兩個title標簽之間標題，也可以用正則表達式來獲取，如：body（""，""）[3]。

圖1 網站數(shù)據(jù)采集基本原理圖

3 網站防采集策略

目前，常用的網站數(shù)據(jù)防采集策略包括以下幾種：

1）通過在單位時間內限制固定IP地址對同一個網站所有站點的訪問次數(shù)來避免網站數(shù)據(jù)采集。

一般情況下，用戶在正常訪問某一個網站時不會在極短的時間內多次訪問同一個網站，只有網絡引擎爬蟲和網站數(shù)據(jù)采集工具會造成這樣的現(xiàn)象。但是這種方法容易造成誤判，并且如何設計時間的閾值是這種方法的關鍵。

2）通過人工的方式屏蔽可疑的訪問源IP。

網站的管理人員通過在后臺設置計數(shù)器來記錄訪問的源IP及在單位時間內的訪問頻率，進而通過人工干預的方式判斷并屏蔽可疑的IP地址。這種方法適用于小型的網站，大型的網站可能需要大量的人力來進行，同時這種方法難以解決通過代理的方式進行數(shù)據(jù)采集的問題。

3）將網站的內容以flash動畫、圖片或者PDF文檔的格式進行呈現(xiàn)。

目前的搜索引擎爬蟲和網站數(shù)據(jù)采集工具還不具備對PDF文檔和圖片的識別和分析能力。這種方法能夠有效地避免網站數(shù)據(jù)被非法采集，但是它的適用面較窄，僅適用于一些用于多媒體視覺呈現(xiàn)的網站。

4）通過在網頁內嵌套藏網站的版權信息或者利用水印技術對Web頁面進行加密。

一般情況下，這些用于保護網站數(shù)據(jù)的信息被寫在了相應的CSS文件中。這種方法雖然不能阻止網站數(shù)據(jù)被非法采集，但它能夠使得被采集的數(shù)據(jù)無法完整的呈現(xiàn)在其他網站中。因為，網站數(shù)據(jù)采集工具或網絡爬蟲一般不會同時采集網站中的CSS文件，那些數(shù)據(jù)丟失了相應的格式化設置，就被顯示出來了。

5）通過在網站中對訪問者設置權限來保護數(shù)據(jù)。

這種方法要求用戶只有在登錄了系統(tǒng)后才能夠瀏覽網站的數(shù)據(jù)。自動化的數(shù)據(jù)采集工具和網絡爬蟲無法對每一個網站進行登錄，這種方法可極大程度上避免數(shù)據(jù)被采集，但同時網站的用戶友好性就降低了。

6）利用腳本語言對網站做隱藏分頁設置

由于網站數(shù)據(jù)采集工具和網絡爬蟲不會針對一個網站的隱藏分頁進行數(shù)據(jù)的分析，因此，這種方法能夠有效地阻止自動化工具對網站數(shù)據(jù)的采集。這種方法適用于對搜索引擎依賴度不高的網站，同時它無法阻止人工進行網站數(shù)據(jù)的采集。

7）對于動態(tài)的網站，可以采用隨機的模版避免非法數(shù)據(jù)采集。

由于網站數(shù)據(jù)采集工具是根據(jù)網頁特定的結構來定位所需要采集的數(shù)據(jù)，一旦網站的模版出現(xiàn)變更，采集工具中事前設定好的采集規(guī)則就會失效，這樣就可以避免網站的數(shù)據(jù)被非法地采集。這種方法造成的問題是破壞網站的用戶友好性。

8）在網頁中使用動態(tài)不規(guī)則的html標簽代替?zhèn)鹘y(tǒng)的靜態(tài)html標簽。

在html標簽中包含空格和不包含空格的效果是一樣的，因此包含和不包含