基于Hadoop集群的DDoS攻擊分布式檢測架構(gòu)設(shè)計

李合軍

（湖南環(huán)境生物職業(yè)技術(shù)學(xué)院，湖南 衡陽 421005）

0 引言

隨著惡意網(wǎng)絡(luò)入侵問題的不斷加劇，如何有效防范DDoS 攻擊已成為信息安全領(lǐng)域的重點問題。傳統(tǒng)檢測需要消耗過多本地防護資源，無法對海量數(shù)據(jù)進行實時監(jiān)測，單點故障也極易引發(fā)系統(tǒng)崩潰，因此其不適用于動態(tài)化的云環(huán)境。對日漸復(fù)雜的DDoS 攻擊來說，本地普通檢測防護設(shè)備已難以應(yīng)對，增加硬件又會增加成本，因此具有可擴展性的分布式技術(shù)就逐漸成為打造低成本DDoS 攻擊防御體系的最優(yōu)選擇。在分布式檢測系統(tǒng)（Hadoop Distributed File System，HDFS）中，各子節(jié)點（DataNode，DN）依靠網(wǎng)絡(luò)連接處于資源共享狀態(tài)，計算基礎(chǔ)良好，非常適合拓展性能。Hadoop非常適合用于處理海量數(shù)據(jù)，具有高效、可靠和容錯高的優(yōu)點，彌補了傳統(tǒng)檢測的不足。基于此，該文設(shè)計了一種基于Hadoop 集群的DDoS 攻擊檢測系統(tǒng)架構(gòu)，可融合多源數(shù)據(jù)，并能夠?qū)?shù)據(jù)進行統(tǒng)一分析與處理。該系統(tǒng)包括數(shù)據(jù)預(yù)處理、攻擊檢測以及效果評估等部分，各部分在功能上保持獨立。該系統(tǒng)能夠從數(shù)據(jù)中快速挖掘高價值信息，處理能力強且擴展性良好。

1 系統(tǒng)總體架構(gòu)

如圖1 所示，該文基于DDoS 攻擊檢測算法設(shè)計了針對Hadoop 集群的DDoS 攻擊檢測系統(tǒng)架構(gòu)，主要包括數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理以及數(shù)據(jù)分析3 個服務(wù)器。在分布式環(huán)境中，管理節(jié)點（NameNode，NN）的各檢測節(jié)點都要參與檢測，各檢測節(jié)點也由這些服務(wù)器組成，并且各檢測點具有獨立的DDoS 攻擊檢測功能。數(shù)據(jù)收集服務(wù)器負責收集原始異常流量數(shù)據(jù)，過濾集群內(nèi)控制信息和數(shù)據(jù)交換，收集可疑流量，利用Ibpcap 庫解析源數(shù)據(jù)包，并將數(shù)據(jù)存儲至HDFS內(nèi)；數(shù)據(jù)預(yù)處理服務(wù)器將收集到的流量數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)處理標準格式，完成特征輸入前的預(yù)處理工作，包括計算單位流量的特征熵值與歸一處理等；數(shù)據(jù)分析服務(wù)器負責完成數(shù)據(jù)分析工作，使用GA-SVM 模型對處理后的特征熵值進行預(yù)測，并對結(jié)果進行分析，檢測其是否存在DDoS 攻擊，并判斷攻擊類型。

圖1 Hadoop DDoS 攻擊檢測系統(tǒng)架構(gòu)

從攻擊形式上分析，如果NameNode 集群中多于半數(shù)的子節(jié)點出現(xiàn)宕機，那么就會產(chǎn)生嚴重的集群拒絕服務(wù)問題。所有檢測點運行攻擊檢測后，可在特點時間內(nèi)將各子節(jié)點的檢測情況上傳至匯總節(jié)點，匯總節(jié)點對其進行分析，判斷集群受到DDoS 攻擊的情況并做出響應(yīng)。當檢測系統(tǒng)開啟后，NameNode 集群中的各子節(jié)點開始檢測，檢測聯(lián)盟根據(jù)檢測結(jié)果調(diào)整頻率，再根據(jù)節(jié)點存活情況增添（刪除）節(jié)點。NameNode 檢測點主要負責本機流量檢測，具體流程如下：1） 可以將各檢測點的頻率設(shè)置為10 s～60 s，如果某子節(jié)點連續(xù)多次未能檢測到DDoS 攻擊，應(yīng)將間隔時間增加10 s。2）如果檢測到DDoS 攻擊，應(yīng)將間隔時間減少10 s。3） 按照間隔將結(jié)果持續(xù)發(fā)送給匯總節(jié)點，并每隔10 s 匯總最新結(jié)果。4） 集群中檢測到DDoS 攻擊的檢測點占總檢測點的比例為最終檢測結(jié)果，即正常（≤5%）、輕度（6%～25%）、中度（26%～45%）以及重度（≥46%）。

1.1 數(shù)據(jù)收集服務(wù)器

數(shù)據(jù)收集服務(wù)器是DDoS 攻擊檢測模型的基礎(chǔ)，負責收集Hadoop 中的異常流量信息，提取數(shù)據(jù)包中的有效信息，并將提取后的數(shù)據(jù)包信息存儲在HDFS 內(nèi)，以便后續(xù)有序地開展深入處理工作。

一般采用第三方庫Pcap4j 打開Pcap 文件獲取IP 包，對TCP/IP 四元組進行解析。Pcap4j 屬于Java 庫類型，一般用于調(diào)試Pcap本地方法，基于Windows的實現(xiàn)形式為Winpcap，基于Unix/Linux的實現(xiàn)形式為Libpcap。因為該文使用Ubuntu，所以通過Libpcap 獲取指定網(wǎng)卡（根據(jù)IP 情況），在應(yīng)用層捕獲各類網(wǎng)卡的數(shù)據(jù)包?；贚ibpcap 庫，Pcap4j 對Libpcap進行封裝，可讓其更易執(zhí)行底層監(jiān)控。

因為研究方向是Hadoop 集群，所以需要將解析完成后的IP 數(shù)據(jù)進行文本存儲。服務(wù)器根據(jù)特定時間調(diào)用寫文件API，把有效信息存儲進HDFS 內(nèi)。如圖2 所示，HDFS 寫流程的簡要步驟如下：1） 向NameNode 發(fā)送寫文件遠程調(diào)用指令。2） 檢查文件是否已存在，如果沒有問題，就可直接寫入Editlog。3） Client 將DataNode 與Data 發(fā)送至最近節(jié)點。4） 對DataNode 進行Pipeline 寫入，每當DataNode 寫完“塊”信息后就返回確認信息。5） 數(shù)據(jù)寫完后發(fā)送信號，數(shù)據(jù)收集程序在系統(tǒng)觸發(fā)后開始運行，并將之前解析完的IP 數(shù)據(jù)寫進HDFS（data/packet）目錄內(nèi)。

圖2 HDFS 寫流程概況

1.2 數(shù)據(jù)預(yù)處理服務(wù)器

數(shù)據(jù)預(yù)處理服務(wù)器對完成解析的流量數(shù)據(jù)進行預(yù)處理，一般使用Scala 語言完成預(yù)處理任務(wù)。預(yù)處理讀取解析完成后的數(shù)據(jù)包，將時間戳、TCP/IP 四元組合并在一起，重組成格式化的單位流量組。服務(wù)器通過Spark 平臺完成整個計算過程，具有分布、高速等特點。

雖然Hadoop 與Spark 同屬大數(shù)據(jù)框架體系，但是二者的實現(xiàn)目的卻不盡相同。嚴格來說，Hadoop 作為一個分布式數(shù)據(jù)框架，可構(gòu)建基于分布式存儲的管理、計算等部件，能夠?qū)⒕薮髷?shù)據(jù)集分散至多個子集中。一般來說，這些子集是由廉價設(shè)備組成，這樣既能減輕維護負擔，也讓數(shù)據(jù)存儲計算更便捷。Spark 則是一個分布式計算框架，如果要代替Hadoop 的MapReduce，那么Hadoop 生態(tài)依然占據(jù)核心地位。Spark 的核心是分布式數(shù)據(jù)集（Resilient Distributed Dataset，RDD），其屬于一種雖不可改變、但亦可分類的并行計算集合。RDD 包括Transformation 與Action。Transformation 將已存的RDD 生成為另一個RDD，當程序發(fā)現(xiàn)Action 時才可執(zhí)行代碼；Action 則是負責代碼觸發(fā)工作。在數(shù)據(jù)預(yù)處理服務(wù)器中，通過textfile()將文本轉(zhuǎn)換為RDD，在HDFS 中讀取完成解析后的數(shù)據(jù)包，Spark 封裝各類算子，并通過這些算子來處理RDD。

1.3 數(shù)據(jù)分析服務(wù)器

數(shù)據(jù)分析服務(wù)器的主要工作在于利用計算好的流量特征熵值與訓(xùn)練后的攻擊檢測模型對特征進行分析。該服務(wù)器主要具備數(shù)據(jù)分析與攻擊判斷2 個功能。

在訓(xùn)練過程中，指定一個支持向量，將訓(xùn)練數(shù)據(jù)轉(zhuǎn)換為RDD，并對該數(shù)據(jù)進行分“塊”化處理，同時擴展至多服務(wù)器并開始訓(xùn)練，結(jié)束后存儲模型。當SVM 算法模型訓(xùn)練結(jié)束后，應(yīng)將訓(xùn)練后的序列化文件存儲在HDFS 中。當進行檢測時，各子節(jié)點應(yīng)加載模型，將樣本特征值轉(zhuǎn)換為RDD，并通過DDoS 檢測在各子節(jié)點上開啟分布檢測。檢測流程如下：1） 加載訓(xùn)練后的GA-SVM 模型。2） 數(shù)據(jù)包在Spark 中加載完成后轉(zhuǎn)換為RDD 集合。3） 統(tǒng)一RDD 數(shù)據(jù)，對其進行格式化與熵值化處理，隨后將其轉(zhuǎn)換為攻擊檢測特征向量。4） 各子節(jié)點使用GA-SVM 模型預(yù)測攻擊檢測特征向量。5）Spark 匯總節(jié)點上的預(yù)測結(jié)果。

NameNode 節(jié)點能夠定量區(qū)分DDoS 攻擊，Hadoop 集群的攻擊判斷包括程度判斷與類型判斷。所有節(jié)點在DDoS 檢測完成之后，將檢測結(jié)果匯總到指定節(jié)點，并根據(jù)集群檢測結(jié)果來判斷攻擊程度。對攻擊類型來說，需要根據(jù)單節(jié)點的檢測類型進行明確分類，所有節(jié)點通過GA-SVM 模型來判斷攻擊類型。此后，匯總節(jié)點將這些攻擊類型消息分批發(fā)送至各子節(jié)點，子節(jié)點再將檢測到的類型集合發(fā)送至匯總節(jié)點，匯總節(jié)點將信息并集后作為Hadoop 集群捕獲的DDoS 攻擊流量類型。

2 系統(tǒng)評估

結(jié)果表明，該系統(tǒng)能夠?qū)崿F(xiàn)對DDoS 攻擊進行檢測的目標，并適用于大數(shù)據(jù)處理。采用基于互信量的并行DDoS 攻擊檢測，從節(jié)點數(shù)量與誤判率2 個方面對提高DDoS 攻擊檢測準確率進行科學(xué)驗證。同時，通過數(shù)據(jù)預(yù)處理及MapReduce框架對算法進行并行化處理，從而提高基于Hadoop 集群的DDoS 檢測效率。綜上所述，針對DDoS 攻擊檢測進行系統(tǒng)架構(gòu)設(shè)計，可以獲得良好的檢測結(jié)果，且具有較好的應(yīng)用性。最后分析哪些請求數(shù)據(jù)發(fā)生攻擊的可能性最高，從而預(yù)防系統(tǒng)安全，保障系統(tǒng)數(shù)據(jù)的安全性與完整性。

2.1 效率評估

使用Linux 進行入侵檢測分析，Linux 包括防火墻、Messages 以及Wtmp/utmp。防火墻記錄所有流入與流出的數(shù)據(jù)包，對檢測DDoS 入侵具有積極意義；Messages 包括系統(tǒng)啟動過程中的日志，可記錄系統(tǒng)整體信息。此外，Mail、Cron 及Auth 等都記錄在Messages 中；Wtmp/utmp 則記錄簽入與簽出系統(tǒng)的具體時間。該設(shè)計采用1 000 M 數(shù)據(jù)進行預(yù)處理，經(jīng)過預(yù)處理后，各項數(shù)據(jù)都得到一定精簡，防火墻日志、Message 日志以及 Wtmp/utmp 日志的數(shù)據(jù)總量減少了15%，能夠縮短之后DDoS 攻擊檢測分析的時間，提高系統(tǒng)效率。

使用Hadoop 集群將改進后的算法嵌入MapReduce，從運行時間與處理效率2 個方面對結(jié)果進行對比。該設(shè)計采用Nursery 數(shù)據(jù)集復(fù)制的手段分別產(chǎn)生了不同的數(shù)據(jù)集，并組成不同的集群運行。如圖3（a）所示，并行計算使運行時間縮短，運行時間與機器數(shù)成正比。如圖3（b）所示，當數(shù)量為100 M 時，效率沒有明顯提高，但隨著數(shù)據(jù)量的不斷增加，效率有明顯的上升趨勢。由此可知，在采用并行計算的基礎(chǔ)上，增加數(shù)量能夠有效提高計算效率。

圖3 不同數(shù)量的時間與效率

2.2 算法評估

如圖4 所示，比較2 種算法的節(jié)點數(shù)量，結(jié)果表明，針對DDoS 攻擊，改進后的算法生成節(jié)點數(shù)低于ID3 算法，由于ID3 算法均生成45 節(jié)點，因此該設(shè)計提出基于互信量的算法更接近最小規(guī)則庫的決策樹。同時，也表明該算法在屬性選擇時可以選擇更適宜的分割點。此外，訓(xùn)練時間與節(jié)點數(shù)也呈正比，節(jié)點數(shù)越少，訓(xùn)練時間也就越短。因此，改進算法后生成時間所消耗的時間也低于ID3 算法。

圖4 節(jié)點數(shù)量比較

如圖5 所示，比較2 種算法的誤判率，結(jié)果表明，針對DDoS 攻擊，改進后的算法誤判率顯著降低，保持在0.6%～1.9%。尤其是最常見的幾種DDoS攻擊的誤判率也大幅下降。由此可知，該設(shè)計提出的基于互信量的算法在DDoS攻擊檢測誤判率方面有較好的效果，可以在一定程度上提高準確率。

圖5 誤判率比較

3 結(jié)語

實驗研究發(fā)現(xiàn)，擴展Hadoop 集群可以提高集群整體性能，增加節(jié)點數(shù)量也可以提高集群工作效率。此外，HDFS“塊”信息的大小也與集群處理速度具有緊密的關(guān)系，增大“塊”信息可加快集群運行速度，集群處理大容量數(shù)據(jù)的效果明顯低于小容量數(shù)據(jù)。結(jié)果表明，該系統(tǒng)架構(gòu)設(shè)計中的檢測框架和算法對DDoS 攻擊的檢測效果良好，但也存在不少優(yōu)化空間。一方面，在檢測流量與DDoS 攻擊的過程中，因為受條件制約，測試方案缺少高流量環(huán)境，所以無法完全保證能夠在現(xiàn)實環(huán)境中有良好的表現(xiàn)，仍須對檢測結(jié)果進行驗證；另一方面，為了使檢測具有高效性，選取普遍化的IP與端口，雖然在算法提升方面排除了部分對結(jié)果影響不多的因素，但是還應(yīng)深挖DDoS 的攻擊特點，以便減少漏報率。綜上所述，針對基于hadoop 集群的分布式DDoS 攻擊檢測尚存在許多待研究的方向，希望借此為他人工作提供借鑒。