基于SOA架構(gòu)的惡意爬蟲DDoS攻擊檢測(cè)技術(shù)研究

劉書林++趙運(yùn)弢

摘要： 面向服務(wù)的體系架構(gòu)（SOA）作為一個(gè)全新的網(wǎng)絡(luò)架構(gòu)和組件模型，已經(jīng)逐漸成為中國(guó)IT系統(tǒng)架構(gòu)的主導(dǎo)思想。隨著該體系首選的Web服務(wù)發(fā)展與普及應(yīng)用，其安全問(wèn)題日益突出，特別是DDoS（分布式拒絕服務(wù)攻擊）因?yàn)槠漭^易實(shí)施和難以防范的特點(diǎn)，日益成為當(dāng)今網(wǎng)絡(luò)安全領(lǐng)域面臨的巨大威脅。本文主要針對(duì)近年來(lái)出現(xiàn)的利用搜索引擎爬蟲技術(shù)來(lái)實(shí)施的DDoS攻擊環(huán)境下，相應(yīng)的檢測(cè)防御技術(shù)研究。

關(guān)鍵詞：SOA DDoS 爬蟲技術(shù) 檢測(cè)技術(shù)

中圖分類號(hào)：TP393.08 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2016）10-0202-01

面向服務(wù)的體系架構(gòu)（Service-Oriented Architecture， SOA）作為一個(gè)全新的網(wǎng)絡(luò)架構(gòu)和組件模型，在提供便利的同時(shí)也面臨安全方面的挑戰(zhàn)。SOA系統(tǒng)不但會(huì)受到傳統(tǒng)的網(wǎng)絡(luò)攻擊，如重放攻擊、注入攻擊等，也會(huì)受到各種DDoS攻擊。近日有研究表明，假冒搜索引擎爬蟲已經(jīng)成為第三大DDoS攻擊工具。本文所介紹的基于SOA架構(gòu)下的DDoS攻擊檢測(cè)方法主要針對(duì)當(dāng)今比較流行的利用網(wǎng)絡(luò)爬蟲所發(fā)起的DDoS攻擊。

1 SOA安全問(wèn)題研究

SOA是一個(gè)組件模型，它將應(yīng)用程序的不同功能單元（即服務(wù)）通過(guò)這些服務(wù)之間定義良好的接口和契約聯(lián)系起來(lái)。SOA目前在很大程度上還是比較依賴Web服務(wù)，特別是一些面向服務(wù)技術(shù)在SOA架構(gòu)上的應(yīng)用，導(dǎo)致SOA在提供了良好的便捷的同時(shí)也避免不了一些安全隱患。而目前來(lái)看SOA往往大多應(yīng)用在企業(yè)級(jí)平臺(tái)之上，它所承擔(dān)的服務(wù)不再單純的是一種技術(shù)能力，而更多的是一種業(yè)務(wù)能力和IT資產(chǎn)。因此研究SOA架構(gòu)下安全問(wèn)題，特別是安全檢測(cè)技術(shù)，在風(fēng)險(xiǎn)到來(lái)之前提前預(yù)測(cè)、感知和及時(shí)響應(yīng)具有十分重要的意義。

2 網(wǎng)絡(luò)爬蟲技術(shù)

2.1 網(wǎng)絡(luò)爬蟲概述

網(wǎng)絡(luò)搜索引擎的主要數(shù)據(jù)來(lái)源就是互聯(lián)網(wǎng)網(wǎng)頁(yè)，通用搜索引擎的目標(biāo)就是盡可能的提高網(wǎng)絡(luò)覆蓋率，網(wǎng)絡(luò)爬蟲（又稱網(wǎng)頁(yè)蜘蛛或者網(wǎng)絡(luò)機(jī)器人），就是一種按照特定規(guī)則，自動(dòng)抓取互聯(lián)網(wǎng)信息的腳本或者程序。 搜索引擎利用網(wǎng)絡(luò)爬蟲技術(shù)爬取Web網(wǎng)頁(yè)、文件甚至圖片、音視頻等多媒體資源，通過(guò)相應(yīng)的索引技術(shù)處理這些信息后提供給用戶查詢。

2.2 網(wǎng)絡(luò)爬蟲的安全性問(wèn)題

網(wǎng)絡(luò)爬蟲策略就是盡可能多的抓取互聯(lián)網(wǎng)中的高價(jià)值信息，所以爬蟲程序會(huì)根據(jù)特定策略盡可能多的訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)站頁(yè)面，這毫無(wú)疑問(wèn)會(huì)占用目標(biāo)網(wǎng)站的網(wǎng)絡(luò)帶寬和Web服務(wù)器的處理開銷，特別是一些小型網(wǎng)站，僅僅處理各種搜索引擎公司的爬蟲引擎就會(huì)導(dǎo)致自身服務(wù)器“應(yīng)接不暇”。所以黑客可以假冒爬蟲程序?qū)eb站點(diǎn)發(fā)動(dòng)DDoS攻擊，使網(wǎng)站服務(wù)器在大量爬蟲程序的訪問(wèn)下，系統(tǒng)資源耗盡而不能及時(shí)響應(yīng)正常用戶的請(qǐng)求甚至徹底崩潰。不僅如此，黑客還可能利用網(wǎng)絡(luò)爬蟲抓取各種敏感資料用于不正當(dāng)用途。比如遍歷網(wǎng)站目錄列表；搜索測(cè)試頁(yè)面、手冊(cè)文檔、樣本程序以查找可能存在的缺陷程序；搜索網(wǎng)站管理員登錄頁(yè)面；搜索互聯(lián)網(wǎng)用戶的個(gè)人資料等等。

3 惡意爬蟲DDoS攻擊的防范和檢測(cè)

一般情況下，因?yàn)樘囟ňW(wǎng)站的特殊原因，比如有些網(wǎng)站不希望爬蟲白天抓取網(wǎng)頁(yè)，有些網(wǎng)站不希望爬蟲抓取敏感信息等，所以爬蟲程序默認(rèn)是需要遵守Robots協(xié)議，所以限制爬蟲最簡(jiǎn)單直接的方法就是設(shè)置robots.txt規(guī)則。然而并不是所有的搜索引擎爬蟲都會(huì)遵守robots規(guī)則，所以僅僅設(shè)置robots是遠(yuǎn)遠(yuǎn)不夠的。

3.1 日志分析來(lái)檢測(cè)惡意爬蟲攻擊

（1）分析服務(wù)器日志統(tǒng)計(jì)訪問(wèn)最多的IP地址段。

grep Processing production.log | awk {print $4} | awk -F. {print $1〃.〃$2〃.〃$3〃.0〃} | sort | uniq -c | sort -r -n | head -n 200 > stat_ip.log

（2）把統(tǒng)計(jì)結(jié)果和流量統(tǒng)計(jì)系統(tǒng)記錄的IP地址進(jìn)行對(duì)比，排除真實(shí)用戶訪問(wèn)IP，再排除正常的網(wǎng)頁(yè)爬蟲，如Google，百度，微軟爬蟲等。很容易得到可疑的IP地址。分析可疑ip 的請(qǐng)求時(shí)間、頻率、refer頭等，很容易檢測(cè)是否網(wǎng)絡(luò)爬蟲，類似如圖1所示日志信息明顯是一個(gè)網(wǎng)絡(luò)爬蟲。

3.2 基于訪問(wèn)行為特征檢測(cè)爬蟲DDoS

通過(guò)日志分析來(lái)檢測(cè)惡意爬蟲攻擊，無(wú)法及時(shí)檢測(cè)并屏蔽這些spider。所以面對(duì)分布式的爬蟲DDoS攻擊，網(wǎng)站很有可能無(wú)法訪問(wèn)，分析日志無(wú)法及時(shí)解決問(wèn)題。針對(duì)惡意爬蟲程序和正常用戶訪問(wèn)之間的行為特征不同，爬蟲DDoS程序?yàn)榱诉_(dá)到占用系統(tǒng)資源的目的，其訪問(wèn)往往是頻率很高而且呈明顯規(guī)律性，明顯區(qū)別于真實(shí)正常用戶瀏覽訪問(wèn)時(shí)的低頻率和隨機(jī)性，所以基于統(tǒng)計(jì)數(shù)據(jù)或者其他應(yīng)用識(shí)別或者IPS技術(shù)，可以較容易的生成正常情況下的行為模型，通過(guò)采集正常的流量行為可以構(gòu)造一個(gè)正常的網(wǎng)絡(luò)行為模型，我們可以把處于正常模型內(nèi)的流量行為認(rèn)定為正常行為，一旦和正常行為輪廓有了較大的偏離，可以認(rèn)定為異常或者攻擊行為。

4 結(jié)語(yǔ)

由于基于SOA的網(wǎng)絡(luò)系統(tǒng)下的DDoS攻擊的普遍性，以及網(wǎng)絡(luò)爬蟲及其對(duì)應(yīng)技術(shù)給現(xiàn)有Web系統(tǒng)帶來(lái)的安全威脅。本文提出了一些反惡意爬蟲攻擊的策略和思路，對(duì)網(wǎng)站管理及安全人員，有一定的參考意義。隨著基于網(wǎng)絡(luò)爬蟲和搜索引擎技術(shù)的互聯(lián)網(wǎng)應(yīng)用日益增多，我們有必要針對(duì)這些應(yīng)用帶來(lái)的安全問(wèn)題做更深入的研究。

參考文獻(xiàn)

[1]袁志勇.分布式拒絕服務(wù)攻擊的攻擊源追蹤技術(shù)研究[D].長(zhǎng)沙：中南大學(xué)，2009.

[2]何遠(yuǎn)超.基于Web的網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J].網(wǎng)微計(jì)算機(jī)信息，2007，23（21）：119-121.

[3]周偉，王麗娜，張煥國(guó)，傅建明.一種新的DDoS攻擊方法及對(duì)策[J].計(jì)算機(jī)應(yīng)用，2003.01：144.

[4]王希斌，廉龍穎.網(wǎng)絡(luò)安全實(shí)驗(yàn)中DDoS攻擊實(shí)驗(yàn)的實(shí)現(xiàn)[J].實(shí)驗(yàn)科學(xué)與技術(shù)，2016，14（1）：68-71.

收稿日期：2016-08-30

基金項(xiàng)目：國(guó)家863項(xiàng)目（863-2015-03F）

作者簡(jiǎn)介：劉書林（1991—），男，河南信陽(yáng)人，碩士研究生，研究方向：Web安全，DDoS攻擊檢測(cè)，無(wú)線網(wǎng)絡(luò)技術(shù)。