數(shù)據(jù)挖掘在IDS中的應用

入侵檢測系統(tǒng)是一種檢測網(wǎng)絡入侵行為的工具，然而現(xiàn)在的入侵檢測系統(tǒng)內(nèi)部的知識庫中的入侵模式正常模式和異常模式往往不能很好地反應入侵行為的特征，所以有時候經(jīng)常出現(xiàn)漏報或誤報的情況，另外系統(tǒng)提取的用戶行為特征有時候也不能正確地反映用戶的實際行為特征。針對這一情況詳細討論了數(shù)據(jù)挖掘技術(shù)在入侵檢測系統(tǒng)中的應用，提出了采用數(shù)據(jù)挖掘技術(shù)的入侵檢測系統(tǒng)的結(jié)構(gòu)模型。

目前，隨著互聯(lián)網(wǎng)的迅猛發(fā)展，構(gòu)成網(wǎng)絡和信息安全的主要威脅攻擊方式也越來越多，例如：數(shù)據(jù)和人為的攻擊，以及物理攻擊等。盡管針對這些攻擊的方式有提出一些防衛(wèi)性的技術(shù)，例如：防火墻技術(shù)和安全路由器技術(shù)等。但是無法從根本上對入侵進行完全的阻止。為了實現(xiàn)網(wǎng)絡中安全風險警告的及時響應，本文通過簡要介紹數(shù)據(jù)挖掘技術(shù)和網(wǎng)絡入侵檢測，對數(shù)據(jù)挖掘技術(shù)的入侵檢測系統(tǒng)模型進行詳細分析，并闡述了數(shù)據(jù)挖掘技術(shù)在網(wǎng)絡入侵檢測中的應用。

一.網(wǎng)絡入侵的常規(guī)模式和方法

針對當前網(wǎng)絡安全態(tài)勢分析與預測存在的上述問題，將數(shù)據(jù)挖掘方法引入到網(wǎng)絡安全態(tài)勢分析與預測中，以全面，客觀反映網(wǎng)絡安全態(tài)勢趨勢。鑒于大規(guī)模網(wǎng)絡安全事件（如DoS、DDoS、蠕蟲僵尸網(wǎng)絡）的爆發(fā)會在網(wǎng)絡流量上有所反映，本文的態(tài)勢分析與預測的數(shù)據(jù)來源為網(wǎng)絡流量，這與當前基于日志審計數(shù)據(jù)、網(wǎng)絡拓撲數(shù)據(jù)的評估與預測方法相比，具有較高的實時性。本文主要研究網(wǎng)絡安全態(tài)勢評估與預測方法。在網(wǎng)絡安全態(tài)勢評估方面，本文通過對網(wǎng)絡流量的頻繁模式挖掘，形成基于關(guān)聯(lián)規(guī)則的分類規(guī)則，依靠分類規(guī)則實現(xiàn)對網(wǎng)絡正常流量與異常流量的分類，通過對正常流量與異常流量的融合，形成對網(wǎng)絡安全態(tài)勢的評估值。

基于關(guān)聯(lián)分析的入侵檢測。通過挖掘事務集中滿足給定支持度和信任度的項集，產(chǎn)生關(guān)聯(lián)規(guī)則，找出隱藏在數(shù)據(jù)間的相互關(guān)系。對于網(wǎng)絡連接，關(guān)聯(lián)規(guī)則描述每個連接記錄中的特征屬性之間的關(guān)系，即一個事件中的屬性之間的關(guān)系。每條記錄包括：開始時間，連接時間長度，源II）地址，目的IP地址，源端口，目的端口，傳送字節(jié)數(shù)，TCP/IP連接狀態(tài)標志等，挖掘的任務是用關(guān)聯(lián)規(guī)則來描述系統(tǒng)的模式。同樣，對于主機的審計數(shù)據(jù)，也可使用關(guān)聯(lián)挖掘算法。

基于序列分析的入侵檢測。序列分析與關(guān)聯(lián)分析相似，但它側(cè)重于分析數(shù)據(jù)間的前后次序（因果）關(guān)系。序列挖掘的主要步驟包括：排序、大數(shù)據(jù)項生成、轉(zhuǎn)換、發(fā)掘序列模式等。序列模式挖掘在異常檢測中的應用，主要是通過對用戶命令序列分析，建立用戶行為概貌，任何對特定用戶行為模式的偏離，都被視為用戶行為異常。通過在大量的數(shù)據(jù)中進行序列分析，可以發(fā)現(xiàn)審計記錄之間的相關(guān)性，提取入侵行為之間的序列模式，也就是滿足指定的最小支持度要求的頻繁大序列，即該序列模式不被任何其它序列所包含。

基于數(shù)據(jù)分類的入侵檢測。在入侵檢測中，收集用戶或程序足夠正常的和異常的審計數(shù)據(jù)，然后應用一個分類算法訓練分類器，將一個數(shù)據(jù)項映射到給定的某一個類別中，從而可以標識或預測屬于正常類型或異常類型。Ripper是由W Cohen提出來的一種用于入侵檢測的分類規(guī)則生成算法，對于對包含大量噪聲數(shù)據(jù)的數(shù)據(jù)集具有很好的性能，而且其規(guī)則優(yōu)化模塊可以循環(huán)調(diào)用，從而進一步提高了分類的準確性。通常，數(shù)據(jù)分類用于輔助入侵檢測中的其它數(shù)據(jù)挖掘方法，進行預處理或后續(xù)處理。

4）基于聚類分析的入侵檢測

聚類分析是指對于物理或抽象對象，根據(jù)一定的分類規(guī)則進行合理地劃分，確定每個對象所在類別的過程。通過聚類分析，使得同一類內(nèi)的數(shù)據(jù)具有較高的相似性，而不同類之間的數(shù)據(jù)差別較大。該文原載于中國社會科學院文獻信息中心主辦的《環(huán)球市場信息導報》雜志http：//www.ems86.com總第526期2013年第43期-----轉(zhuǎn)載須注名來源與分類不同，聚類分析輸入的是一組未分類記錄，并且這些記錄應分成幾類事先也不知道。利用聚類算法檢測入侵不需要訓練數(shù)據(jù)，只需要帶有各種屬性的數(shù)據(jù)記錄。通過計算不同記錄的屬性差別，把類似的記錄聚集在一起，然后利用距離等來判斷哪些足異常記錄（攻擊數(shù)據(jù)）。高能等人提出了一種基于數(shù)據(jù)挖掘的拒絕服務攻擊檢測技術(shù)，先利用關(guān)聯(lián)算法從原始網(wǎng)絡數(shù)據(jù)中提取流量特征，然后利用K.means聚類算法自適應地產(chǎn)生檢測模型，依靠和兩種算法實現(xiàn)實時地、自動地、有效地檢測DoS攻擊口。

基于證據(jù)理論的異常檢測。一種網(wǎng)絡異常檢測方法。該方法能夠融合多個特征對網(wǎng)絡流量進行綜合評判，有效地降低了誤報率和漏報率，并引入自適應機制，以保證在實時動態(tài)變化的網(wǎng)絡中的檢測準確度。

數(shù)據(jù)挖掘的數(shù)據(jù)分析過程可以概括為3個步驟

數(shù)據(jù)準備 在這個階段 將從操作環(huán)境中提取并集成數(shù)據(jù)解決語義二義問題；消除臟數(shù)據(jù)等 然后對數(shù)據(jù)進行選擇和預分析 在IDS中將用戶的歷史行為數(shù)據(jù)和當前操作數(shù)據(jù)進行集成并刪除一些無用的數(shù)據(jù)和預處理以被用于數(shù)據(jù)挖掘；挖掘在這個階段里綜合利用前面提到的4數(shù)據(jù)挖掘方法分析經(jīng)過預處理的數(shù) 據(jù)從中提取有關(guān)特征和規(guī)則；表達數(shù)據(jù)挖掘?qū)@取的特征和規(guī)則以便于理解和觀察的方式反映給系統(tǒng)在入侵檢測系統(tǒng)中通過數(shù)據(jù)挖掘發(fā)現(xiàn)了有關(guān)的特征和規(guī)則后 再根據(jù)這些特征和規(guī)則將用戶的異常模式和正常模式定義出來然后存儲在知識庫中另外系統(tǒng)還對當前的用戶行為數(shù)據(jù)進行挖掘后找出特征和規(guī)則然后以一定的方式表達出來 系統(tǒng)將它與知識庫中的模式進行匹配檢測；評價可以對數(shù)據(jù)挖掘后所提取的網(wǎng)絡安全異常模式或正常模式進行評價如果能夠有效地檢測出入侵行為就說明它是成功的否則就可以重復執(zhí)行上述過程直至得出滿意的結(jié)果為止

二.數(shù)據(jù)樣本的獲取和特征研究的挖掘方法

數(shù)據(jù)采集： 收集用戶歷史行為數(shù)據(jù)進行特征提取，用于構(gòu)造入侵行為模式，知識庫收集系統(tǒng)中的各種審計數(shù)據(jù)或網(wǎng)絡數(shù)據(jù)用于被檢測；數(shù)據(jù)集成： 將采集到的數(shù)據(jù)進行集成與預處理，以便為下一步的數(shù)據(jù)挖掘準備數(shù)據(jù)；數(shù)據(jù)挖掘： 采用數(shù)據(jù)挖掘技術(shù)從系統(tǒng)有關(guān)數(shù)據(jù)中提取有關(guān)行為特征和規(guī)則，從而用于建立網(wǎng)絡安全異常模式或正常模式；知識庫： 知識庫中存有系統(tǒng)需要的異常模式或正常模式，入侵檢測系統(tǒng)將用戶的行為特征與其進行比較判斷，從而可以判斷出用戶的行為是否是入侵行為；特征提取： 采用類似于數(shù)據(jù)挖掘的技術(shù)從當前用戶的行為數(shù)據(jù)中提取當前用戶行為特征；入侵檢測：系統(tǒng)根據(jù)一定的算法從知識庫中提取出相關(guān)規(guī)則數(shù)據(jù)對當前用戶行為特征進行入侵檢測，根據(jù)檢測的結(jié)果作出相應的行動，如果屬于入侵行為，則系統(tǒng)作出報警并采取一定措施防止入侵留下入侵證據(jù)，如果屬于正常行為則系統(tǒng)繼續(xù)對用戶行為進行監(jiān)測。

本文根據(jù)數(shù)據(jù)挖掘和入侵檢測系統(tǒng)的特征將兩者結(jié)合在一起提出了應用數(shù)據(jù)挖掘技術(shù)的入侵檢測系統(tǒng)結(jié)構(gòu)模型，根據(jù)這一結(jié)構(gòu)模型設計的入侵檢測系統(tǒng)在提取入侵模式和用戶行為特征方面的準確性比不用數(shù)據(jù)挖掘技術(shù)的IDS有了一定的提高，從而提高了IDS檢測入侵行為的能力。

（作者單位：江蘇省南京郵電大學）