基于數(shù)據(jù)挖掘的混合型入侵檢測研究

［李俊濤］

1 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，人們可以利用互聯(lián)網(wǎng)獲得更多的資源，并實現(xiàn)相互之間的資源共享。為此互聯(lián)網(wǎng)中的任何終端都可能成為不法分子的攻擊對象，例如個人信息的泄露、病毒的傳播、合法信息篡改等。面對如此嚴峻的網(wǎng)絡安全問題，保護網(wǎng)絡安全以及完善網(wǎng)絡安全的防御機制刻不容緩。傳統(tǒng)的保護策略有：訪問認證、漏洞掃描、SSL 加密、數(shù)據(jù)驗證等。這些都是被動防御策略，不能主動去發(fā)現(xiàn)入侵，對網(wǎng)絡安全的保護遠遠不足。而入侵檢測系統(tǒng)能夠做到主動防御，對系統(tǒng)和網(wǎng)絡進行主動檢測，具備完善的安全保護策略，可以為系統(tǒng)數(shù)據(jù)提供實時有效的安全保障[1]。

2 入侵檢測系統(tǒng)

入侵檢測顧名思義就是對外部入侵行為的尋找與追蹤，是對計算機信息的識別與驗證[2]。在網(wǎng)絡安全防御機制中，入侵檢測系統(tǒng)對整個網(wǎng)絡活動進行實時監(jiān)控，為網(wǎng)絡環(huán)境提供保障。多數(shù)入侵檢測系統(tǒng)存在三方面的問題：一是缺乏適用性，網(wǎng)絡的發(fā)展瞬息萬變，目前現(xiàn)有檢測規(guī)則的更新速度，遠遠趕不上新型網(wǎng)絡攻擊出現(xiàn)的速度，因此編制完整的規(guī)則庫幾乎不可能實現(xiàn)；二是缺乏時效性，目前互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)等各種網(wǎng)絡交叉運行，網(wǎng)絡環(huán)境異常復雜，攻擊的手段和方式也不斷進步，僅憑現(xiàn)有經(jīng)驗編制的規(guī)則難以全面覆蓋；三是缺乏可移植性，目前大多的規(guī)則包都是在特定的網(wǎng)絡環(huán)境下編制的，改變網(wǎng)絡運行環(huán)境后，就難免出現(xiàn)各種問題。

2.1 入侵檢測的分類

根據(jù)系統(tǒng)部署實施的方式可分為：基于主機型（HIDS）和基于網(wǎng)絡型（NIDS）[3]。

HIDS 主要用于監(jiān)測主機的系統(tǒng)和事件，通過對主機系統(tǒng)上的審計記錄、日志文件等數(shù)據(jù)進行查看和分析，識別入侵者的入侵行為，并啟動相應程序來處理入侵行為，向管理員報警。檢測系統(tǒng)的響應速度，與定期對檢測數(shù)據(jù)進行校驗的頻率有直接的關系。HIDS 有以下幾方面的優(yōu)點：一是識別攻擊行為明晰，在目標主機遭受入侵時，系統(tǒng)數(shù)據(jù)會有明顯變化，檢測系統(tǒng)可以快速明確識別攻擊行為；二是檢測范圍明確，針對主機系統(tǒng)中的數(shù)據(jù)如：系統(tǒng)日志、安全審計等文件來驗證攻擊行為的發(fā)生；三是配置靈活，在具體的實際應用要求下，每臺主機上的檢測系統(tǒng)都可以按照自身要求進行配置；四是對網(wǎng)絡環(huán)境不敏感，數(shù)據(jù)的傳輸一般情況下都需要加密處理，HIDS 只對主機狀態(tài)和系統(tǒng)文件進行檢測，不受交換環(huán)境和網(wǎng)絡流量的影響。盡管HIDS 具有眾多優(yōu)點，但也有不足之處：一方面兼容性弱，挑剔運行環(huán)境，在很多平臺下無法正常有效運行。另一方面占用部署主機的資源，對主機系統(tǒng)本身的性能會產生影響。

NIDS 一般部署在網(wǎng)絡鏈路中的入口，實現(xiàn)對整個網(wǎng)絡入侵行為的有效檢測。在混雜的網(wǎng)絡模式下，通過抓取關鍵入口的數(shù)據(jù)，采集分析網(wǎng)絡中的通訊業(yè)務，辨別入侵行為。相比HIDS 優(yōu)點如下：一是檢測速度快，NIDS 只需對流入主機的網(wǎng)絡流量數(shù)據(jù)包進行排查，不需要排查主機的所有文件，檢測時間非常短；二是覆蓋范圍廣，一個局域網(wǎng)中只需部署一臺NIDS，就可以對多個主機起到保護作用；三是適用性強，NIDS 是基于網(wǎng)絡的，有自己特定的硬件設備，因此不受網(wǎng)絡中其他主機操作系統(tǒng)及硬件設備的影響。相比之下NIDS 也有許多不足例如：檢測區(qū)域僅限于局域網(wǎng)、檢測結果存在較大誤差、無法定位對外來入侵行為。

通過以上對比，我們將入侵檢測系統(tǒng)的功能歸納如下：

（1）可以對漏洞攻擊行為和用戶非法行為進行實時監(jiān)測。

（2）可以對入侵行為進行檢測和報警，并對受保護系統(tǒng)的異常事件進行統(tǒng)計和分析。

（3）可以對受保護文件的完整性進行審計和評估。

2.2 入侵檢測的技術

根據(jù)匹配數(shù)據(jù)規(guī)則特征庫的類型可分為：誤用檢測和異常檢測技術[4]。

誤用檢測技術，在檢測系統(tǒng)運行時，通過已知的攻擊特征庫，來和待檢行為進行匹配，這種技術稱作誤用檢測。檢測時先制定出非法行為的規(guī)則特征庫，將采集分析好的行為數(shù)據(jù)和該庫進行匹配，匹配則判定入侵，不匹配則判定正常。其主要的技術手段包括：表達式模式、語言分析和專家判斷等。誤用檢測技術在面對已知的入侵行為表現(xiàn)的較好，但面對未知的攻擊則表現(xiàn)出低效，易錯。

異常檢測技術，首先檢測前制定出用戶或系統(tǒng)正常行為的規(guī)則特征庫，將被檢測數(shù)據(jù)和該庫進行比較，并設立一個合適的閾值。如果偏高，則認定該行為偏離正常行為視為入侵。如果偏低，則認定該行為吻合正常行為模式，視為正常。其主要的技術手段有：神經(jīng)網(wǎng)絡、規(guī)則檢測等。異常入侵檢測系統(tǒng)中如何正確建立合適的檢測規(guī)則庫是核心所在[5]。為了確保異常檢測系統(tǒng)的有效運行，其檢測規(guī)則特征庫需要被不斷的修正和更新，判斷的閾值也需不斷的更改，只有這樣異常檢測系統(tǒng)的識別度和靈敏度才會不斷地提高。

通過以上兩種檢測技術的分析，我們得到它們的共同點，都需要通過已知數(shù)據(jù)類型，來構建檢測規(guī)則庫，不同點在于誤用檢測技術提取攻擊數(shù)據(jù)，而異常檢測技術提取正常行為數(shù)據(jù)。從效能來看，誤用檢測技術是參照已知的攻擊特征庫，所以漏報率高，誤報率低。而異常檢測技術則是參照正常的行為特征庫，所以漏報率和誤報率都高。

2.3 混合型入侵檢測模型

參考上文的介紹和分析，本文提出了一種新的混合型檢測的模型，這種模型融合了兩種技術優(yōu)點，最大限度地發(fā)揮了各自的特長，模型如圖1 所示。

圖1 混合型入侵檢測模型

檢測流程為：首先數(shù)據(jù)獲取部分，采集并分析原始數(shù)據(jù)，將數(shù)據(jù)加工和處理成能夠被混合系統(tǒng)識別的數(shù)據(jù)集。其次誤用檢測部分，根據(jù)已知的攻擊規(guī)則特征庫，對數(shù)據(jù)集進行模式匹配，如匹配則作出響應動作。再將剩下的和未檢出的數(shù)據(jù)集，流轉到異常檢測部分。最后由異常檢測部分，根據(jù)已知正常行為規(guī)則特征庫，對流轉來的數(shù)據(jù)集進行模式匹配，將匹配不成功的數(shù)據(jù)類型記錄到檢測系統(tǒng)中，并進行專家判斷。如果屬于攻擊數(shù)據(jù)，則將該特征更新到誤用檢測規(guī)則特征庫中，如果屬于正常數(shù)據(jù)，則將該特征更新到異常檢測規(guī)則特征庫中，以便下一次的檢測。

混合型模式的優(yōu)點在于，可以更多地檢測出攻擊類型，無論是已知的還為未知的，大大提高了檢測效果。在精確度方面，它比誤用檢測低，比異常檢測高。在誤報率方面，混合型檢測有效地降低了單一異常檢測的誤報率。

3 數(shù)據(jù)挖掘

3.1 數(shù)據(jù)挖掘技術

數(shù)據(jù)挖掘是在大量模糊的、有噪聲的、無規(guī)則的數(shù)據(jù)中，發(fā)掘潛在的、有關聯(lián)性的模式或規(guī)則。數(shù)據(jù)挖掘的實現(xiàn)主要由3 個階段構成：第一階段數(shù)據(jù)的籌備，包括數(shù)據(jù)目標獲取數(shù)據(jù)對象、不同類型數(shù)據(jù)的預處理和噪聲消除、數(shù)據(jù)的降維變換等；第二階段數(shù)據(jù)挖掘，根據(jù)不同的數(shù)據(jù)挖掘模型，確定與之匹配的挖掘算法，從大量不完整、無規(guī)則的數(shù)據(jù)中發(fā)現(xiàn)潛在有關聯(lián)性的數(shù)據(jù)，以便對結果進行預測；第三階段數(shù)據(jù)的表示和評估，對數(shù)據(jù)挖掘得到的信息進行關聯(lián)規(guī)則、分揀分類、聚類分析后得到挖掘數(shù)據(jù)的價值，再以明析的形式表現(xiàn)出來，實現(xiàn)數(shù)據(jù)的可視化。

3.2 基于入侵檢測的Apriori 算法

面向入侵檢測的數(shù)據(jù)挖掘算法是入該系統(tǒng)中最重要的一環(huán)，不同的數(shù)據(jù)挖掘算法針對不同的模型有不同的優(yōu)缺點。統(tǒng)計分析、特征分析、變化和偏差分析、聚類是數(shù)據(jù)挖掘的經(jīng)常使用的分析方法，而關聯(lián)規(guī)則是數(shù)據(jù)挖掘算法的重點，代表數(shù)據(jù)相互之間的關系。關聯(lián)規(guī)則的Apriori算法基本思路為：找出頻繁性滿足支持度閾值的所有數(shù)據(jù)，并建立數(shù)據(jù)集，然后由該數(shù)據(jù)集生成支持度和置信度都不小于最少支持度和最小置信度的強關聯(lián)規(guī)則[6]，算法過程如下：首先假設有一個由若干個不同項組成的頻繁項集的數(shù)據(jù)集K={K1，K2，…，KL}，其次掃描整個數(shù)據(jù)D，獲得候選項集的所有1 項集作為算法輸入的初始值，并計算候選項集L-1 的支持度，忽略支持度小于最小支持度的候選項集，得到項集KL。如果得該項集只有一項或者為空，則輸出L-1 個項集的K={K1，K2，…，KL-1}。反之則生成候選L+1 項集，并重復上述過程。

4 基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng)設計

4.1 設計思路

本文總體設計的核心為數(shù)據(jù)挖掘之間的關聯(lián)規(guī)則，實現(xiàn)對數(shù)據(jù)及時有效地分析。以前文提出的混合型入侵檢測模型為例，將其進行改進，改進后的系統(tǒng)如圖2 所示。

圖2 基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng)

總體設計思路如下：

（1）在混合型檢測系統(tǒng)里增加合法的行為模塊，通過關聯(lián)分析和聚類分析，將正常的網(wǎng)絡行為排除在外，得到異常數(shù)據(jù)。

（2）增添相應的規(guī)則匹配模塊，對異常數(shù)據(jù)進行匹配，減少系統(tǒng)的誤報漏報，提升檢測成效。

（3）增添動態(tài)規(guī)則生成模塊，及時有效的對現(xiàn)有規(guī)則庫進行迭代更新，提升規(guī)則庫的完備性。

4.2 系統(tǒng)實現(xiàn)

為了通過對大量已知網(wǎng)絡行為數(shù)據(jù)的數(shù)據(jù)挖掘和分析，找出其攻擊特征來作為本文入侵系統(tǒng)的檢測依據(jù)。我們采用了NSL-KDD 數(shù)據(jù)集，該數(shù)據(jù)集信息充足，包含多種未經(jīng)訓練的數(shù)據(jù)作為測試集，模擬真實的網(wǎng)絡攻擊環(huán)境[7]。為了能夠準確識別出各種攻擊類型，首先要對采集到的原始數(shù)據(jù)進行去噪音、去沉余等處理。然后將原始數(shù)據(jù)轉換成入侵測試系統(tǒng)可識別的標準數(shù)據(jù)。最后將標準化處理后的數(shù)據(jù)采用Apriori 決策樹算法得到關聯(lián)規(guī)則，進而實現(xiàn)數(shù)據(jù)挖掘。其算法流程為：

（1）對采集到的數(shù)據(jù)進行標準化處理，找尋出決策樹項集；

（2）往復循環(huán)處理，歸納出訓練集的決策樹K項集合；

（3）對每個待測數(shù)據(jù)進行遍歷，得出目標數(shù)據(jù)的決策樹項支持頻度；

（4）通過計算網(wǎng)絡數(shù)據(jù)包與決策樹正常選項集的支持頻度來確定是異常數(shù)據(jù)還是正常數(shù)據(jù)，進而實現(xiàn)入侵檢測。

4.3 仿真實驗

本文實驗驗證采用軟件環(huán)境windows7 操作系統(tǒng)，軟件開發(fā)語言為VC++6.0，實驗數(shù)據(jù)為NSL-KDD 數(shù)據(jù)集。通過對不同檢測方法入侵檢測系統(tǒng)的檢測率，誤報率及檢測時間進行驗證，來評價系統(tǒng)的有效性，實驗數(shù)據(jù)比較見表1。

表1 不同檢測方法的檢測性能比較

由表1 可知，采用同一個測試樣本，本文設計的檢測系統(tǒng)具有較高的準確率，同時誤報率、漏報率也低于其他測試系統(tǒng)，具有一定的優(yōu)勢。同時為了驗證系統(tǒng)的時效性，要對不同方法在檢測時間上進行對比，以驗證系統(tǒng)檢測效率，具體效果見表2。

表2 相同檢測樣本的檢測性能比較

由表2 可知，本文的檢測系統(tǒng)在保證準確率的同時，檢測時間也大大減少，具有一定的理論價值和應用價值。

5 結語

本文首先介紹了入侵檢測系統(tǒng)概念，詳細對比了它的分類和應用技術，并提出了一種新的混合檢測模型。在此基礎上，介紹了常用的數(shù)據(jù)挖掘算法，并將數(shù)據(jù)挖掘算法與混合檢測模型結合起來，通過Apriori算法得到關聯(lián)規(guī)則，進行數(shù)據(jù)挖掘，構建了基于數(shù)據(jù)挖掘的混合型入侵檢測系統(tǒng)。最后為了驗證該系統(tǒng)，通過實驗室數(shù)據(jù)對比，表明本系統(tǒng)和其他單一系統(tǒng)相比，無論是檢測效果，還是檢測時間上都有一定的優(yōu)勢，對今后構建多元化、多樣化的入侵檢測系統(tǒng)有一定的借鑒意義。