數(shù)據(jù)挖掘在網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)中的應(yīng)用

蔡 勇，鄢志輝

(重慶大學(xué) 軟件工程學(xué)院，重慶 400019)

數(shù)據(jù)挖掘在網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)中的應(yīng)用

蔡 勇，鄢志輝

(重慶大學(xué) 軟件工程學(xué)院，重慶 400019)

探討了網(wǎng)絡(luò)入侵檢測(cè)中應(yīng)用數(shù)據(jù)挖掘技術(shù)的可行性和必要性，提出一種基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)模型，并對(duì)該模型中數(shù)據(jù)挖掘算法進(jìn)行研究，提出該系統(tǒng)應(yīng)用Apriori算法的改進(jìn)思路，實(shí)現(xiàn)入侵檢測(cè)自動(dòng)化，提高檢測(cè)效率和檢測(cè)準(zhǔn)確度。

入侵檢測(cè)；數(shù)據(jù)挖掘；數(shù)據(jù)庫安全；Apriori算法

隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)不斷發(fā)展，對(duì)網(wǎng)絡(luò)上包含重要資料的數(shù)據(jù)庫服務(wù)器的各種入侵問題也隨之大量產(chǎn)生。常規(guī)防火墻只能通過限制數(shù)據(jù)庫服務(wù)器部分網(wǎng)絡(luò)功能的方法來保證安全，而對(duì)于在開放服務(wù)內(nèi)的入侵卻無能為力。傳統(tǒng)的入侵檢測(cè)技術(shù)有兩種，即濫用檢測(cè)和異常檢測(cè)。其中，濫用檢測(cè)是分析各種類型的攻擊手段，找出可能的“攻擊特征”集合，可有效檢測(cè)到已知攻擊，產(chǎn)生誤報(bào)較少，缺點(diǎn)是只能檢測(cè)到已知的入侵類型，而對(duì)未知的入侵類型無能為力，需要不斷更新攻擊特征庫；異常檢測(cè)的假設(shè)條件是通過觀察當(dāng)前活動(dòng)與系統(tǒng)歷史正?；顒?dòng)情況之間的差異來檢測(cè)攻擊行為，其優(yōu)點(diǎn)是可檢測(cè)到未知攻擊，缺點(diǎn)是誤報(bào)和漏報(bào)較多。針對(duì)現(xiàn)有網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)的一些不足，將數(shù)據(jù)挖掘技術(shù)應(yīng)用于網(wǎng)絡(luò)入侵檢測(cè)，可實(shí)現(xiàn)入侵檢測(cè)自動(dòng)化，提高檢測(cè)效率和檢測(cè)準(zhǔn)確度。

1 入侵檢測(cè)系統(tǒng)引入數(shù)據(jù)挖掘的好處

最早將數(shù)據(jù)挖掘技術(shù)應(yīng)用于入侵檢測(cè)領(lǐng)域的是Wenke Lee研究小組，他們?cè)?998年首次將數(shù)據(jù)挖掘技術(shù)應(yīng)用于入侵檢測(cè)系統(tǒng)。從他們提供的大量實(shí)驗(yàn)和測(cè)試結(jié)果表明，將通用的數(shù)據(jù)挖掘技術(shù)應(yīng)用于入侵檢測(cè)系統(tǒng)，在理論上和技術(shù)上是完全可行的。基于數(shù)據(jù)挖掘的入侵檢測(cè)分析技術(shù)與其他分析技術(shù)不同之處在于，該方法是以數(shù)據(jù)為中心，將入侵檢測(cè)看成一種海量安全審計(jì)記錄數(shù)據(jù)的分析與處理過程，即使根本不知道各種攻擊手段的作用機(jī)制，也可以從安全審計(jì)數(shù)據(jù)本身所隱藏的規(guī)律中發(fā)現(xiàn)異常行為，從而使入侵檢測(cè)系統(tǒng)具有更好的自學(xué)習(xí)、自適應(yīng)和自我擴(kuò)展的能力。與傳統(tǒng)入侵檢測(cè)力法相比，基于數(shù)據(jù)挖掘的入侵檢測(cè)分析技術(shù)有以下幾個(gè)特點(diǎn): (1)智能性好，自動(dòng)化程度高?；跀?shù)據(jù)挖掘的檢測(cè)方法采用了統(tǒng)計(jì)學(xué)、決策學(xué)以及神經(jīng)網(wǎng)絡(luò)等多種方法，自動(dòng)地從數(shù)據(jù)中提取手工難以發(fā)現(xiàn)的行為模式，從而減少人的參與，減輕入侵檢測(cè)分析員的負(fù)擔(dān)，同時(shí)也提高了檢測(cè)的準(zhǔn)確性。(2)檢測(cè)效率高。數(shù)據(jù)挖掘可以通過對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，抽取數(shù)據(jù)中的有用部分，有效的減少數(shù)據(jù)量，因而檢測(cè)效率較高，對(duì)于現(xiàn)在數(shù)據(jù)庫和網(wǎng)絡(luò)龐大數(shù)據(jù)量的入侵檢測(cè)系統(tǒng)來說，這一點(diǎn)在實(shí)際應(yīng)用中也是至關(guān)重要的。(3)自適應(yīng)能力強(qiáng)。應(yīng)用數(shù)據(jù)挖掘方法的檢測(cè)系統(tǒng)不是基于預(yù)定義的檢測(cè)模型，所以自適應(yīng)能力強(qiáng)，可以有效地檢測(cè)新型的攻擊以及已知攻擊類型的變種。

2 基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)模型構(gòu)思

針對(duì)現(xiàn)有入侵檢測(cè)系統(tǒng)挖掘速度慢和挖掘準(zhǔn)確度不高的缺點(diǎn)，利用Snort入侵檢測(cè)系統(tǒng)模型和Apriori算法為基礎(chǔ)，提出一種基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)模型，該模型的結(jié)構(gòu)如下圖1所示。

2.1 模塊功能簡(jiǎn)述

(1)嗅探器主要進(jìn)行數(shù)據(jù)收集，它是檢測(cè)系統(tǒng)中抓取信息的接口。

(2)解碼器解碼分析捕獲的數(shù)據(jù)包。并把分析結(jié)果存到一個(gè)指定的數(shù)據(jù)結(jié)構(gòu)中。

(3)數(shù)據(jù)預(yù)處理負(fù)責(zé)將網(wǎng)絡(luò)數(shù)據(jù)、連接數(shù)據(jù)轉(zhuǎn)換為挖掘方法所需的數(shù)據(jù)格式，包括：進(jìn)一步的過濾、噪聲的消除、第三方檢測(cè)工具檢測(cè)到的已知攻擊。利用誤用檢測(cè)方法對(duì)已知的入侵行為與規(guī)則庫的入侵規(guī)則進(jìn)行匹配，從而找到入侵行為，進(jìn)行報(bào)警。

(4)異常分析器通過使用關(guān)聯(lián)分析和序列分析找到新的攻擊，利用異常檢測(cè)方法將這些異常行為送往規(guī)則庫。

(5)日志記錄保存2種記錄：未知網(wǎng)絡(luò)正常行為產(chǎn)生的數(shù)據(jù)包信息和未知入侵行為產(chǎn)生的數(shù)據(jù)包信息。

(6)規(guī)則庫保存入侵檢測(cè)規(guī)則，為誤用檢測(cè)提供依據(jù)。

(7)當(dāng)偏離分析器報(bào)告有異常行為時(shí)，報(bào)警器通過人機(jī)界面向管理員發(fā)出通知，其形式可以是E-mail?？刂婆_(tái)報(bào)警、日志條目、可視化的工具。

(8)特征提取器對(duì)日志中的數(shù)據(jù)記錄進(jìn)行關(guān)聯(lián)分析，得出關(guān)聯(lián)規(guī)則，添加到規(guī)則庫中。

2.2 異常分析器簡(jiǎn)述

異常分析器使用聚類分析模型產(chǎn)生的網(wǎng)絡(luò)或主機(jī)正常模型檢測(cè)數(shù)據(jù)包。它采用K-Means算法作為聚類分析算法，其異常分析流程如圖2所示。

異常分析器的檢測(cè)過程為：(1)網(wǎng)絡(luò)或主機(jī)數(shù)據(jù)包標(biāo)準(zhǔn)化；(2)計(jì)算網(wǎng)絡(luò)數(shù)據(jù)包與主類鏈表中聚類中心的相似度：(3)若該網(wǎng)絡(luò)數(shù)據(jù)包與某一主類的相似度小于聚類半徑R，則表明其是正常的網(wǎng)絡(luò)數(shù)據(jù)包，將其丟棄；(4)若該網(wǎng)絡(luò)數(shù)據(jù)包與所有主類的相似度大于聚類半徑R，則表明其是異常的網(wǎng)絡(luò)數(shù)據(jù)包，發(fā)現(xiàn)異常。

2.3 特征提取器簡(jiǎn)述

特征提取器用于分析未知的異常數(shù)據(jù)包，挖掘網(wǎng)絡(luò)異常數(shù)據(jù)包中潛在的入侵行為模式，產(chǎn)生相應(yīng)的關(guān)聯(lián)規(guī)則集，添加到規(guī)則庫中。該模塊采用Apriori算法進(jìn)行關(guān)聯(lián)規(guī)則的挖掘，其工作流程下圖3所示。

特征提取器的工作過程可分為數(shù)據(jù)預(yù)處理和產(chǎn)生關(guān)聯(lián)規(guī)則。

(1)數(shù)據(jù)預(yù)處理特征提取器的輸入為日志記錄，包含很多字段，但并非所有字段都適用于關(guān)聯(lián)分析。在此僅選擇和Snort規(guī)則相關(guān)的字段，如SrcIP，SrcPort，DstIP，Dst-Port，Protocol，Dsize，F(xiàn)lags和CID等。

(2)產(chǎn)生關(guān)聯(lián)規(guī)則首先根據(jù)設(shè)定的支持度找出所有頻繁項(xiàng)集，一般支持度設(shè)置得越低，產(chǎn)生的頻繁項(xiàng)集就會(huì)越多；而設(shè)置得越高，產(chǎn)生的頻繁項(xiàng)集就越少。接著由頻繁項(xiàng)集產(chǎn)生關(guān)聯(lián)規(guī)則，一般置信度設(shè)置得越低，產(chǎn)生的關(guān)聯(lián)規(guī)則數(shù)目越多但準(zhǔn)確度不高；反之置信度設(shè)置得越高，產(chǎn)生的關(guān)聯(lián)規(guī)則數(shù)目越少但是準(zhǔn)確度較高。

2.4 系統(tǒng)模型特點(diǎn)

該系統(tǒng)在實(shí)際應(yīng)用時(shí)，既可以事先存入已知入侵規(guī)則，以降低在開始操作時(shí)期的漏報(bào)率，也可以不預(yù)先存入已知規(guī)則。雖然該系統(tǒng)有較強(qiáng)的自適應(yīng)性，但在操作初期會(huì)有較高的誤報(bào)率。因此該系統(tǒng)模型有如下特點(diǎn)：(1)利用數(shù)據(jù)挖掘技術(shù)進(jìn)行入侵檢測(cè)；(2)利用先進(jìn)的挖掘算法，使操作接近實(shí)時(shí)；(3)具有自適應(yīng)性，能根據(jù)當(dāng)前的環(huán)境更新規(guī)則庫；(4)不但可檢測(cè)到已知的攻擊，而且可檢測(cè)到未知的攻擊。

3 Apriori算法的基礎(chǔ)思想及改進(jìn)思路

關(guān)聯(lián)規(guī)則技術(shù)是最早應(yīng)用于入侵檢測(cè)中的數(shù)據(jù)挖掘技術(shù)，關(guān)聯(lián)規(guī)則技術(shù)用來獲得系統(tǒng)審計(jì)數(shù)據(jù)中各屬性之間的關(guān)系，確定構(gòu)造入侵檢測(cè)系統(tǒng)所需要的合適屬性，提出某種操作和入侵行為之間，或者是各種入侵行為之間的相互關(guān)系。作為分析數(shù)據(jù)間隱含的相互關(guān)聯(lián)關(guān)系的有力工具，關(guān)聯(lián)規(guī)則技術(shù)在入侵檢測(cè)領(lǐng)域中已顯現(xiàn)出極大的優(yōu)越性。在該入侵檢測(cè)模型中，就采用比較成熟的Apriori算法進(jìn)行運(yùn)算，運(yùn)用到實(shí)際中，可以將該算法進(jìn)行一些改進(jìn)。

3.1 算法思想

Apriori算法是一種最有影響的挖掘布爾型關(guān)聯(lián)規(guī)則的算法，其基本思想是將關(guān)聯(lián)規(guī)則的挖掘分為如下兩步:第一步，從事務(wù)數(shù)據(jù)庫D中找出所有支持度不小于用戶指定的最小支持度閥值的頻繁項(xiàng)目集；第二步，使用頻繁項(xiàng)目集產(chǎn)生所期望的關(guān)聯(lián)規(guī)則，產(chǎn)生關(guān)聯(lián)規(guī)則的基本原則是其置信度不小于用戶指定的最小置信度閥值。第一步挖掘出所有的頻繁項(xiàng)目集合是該算法的核心，占據(jù)整個(gè)計(jì)算量的大部分。在挖掘頻繁項(xiàng)目集的過程中主要利用了兩個(gè)性質(zhì):頻繁項(xiàng)目集的所有非空子集也是頻繁項(xiàng)目集；非頻繁項(xiàng)目集的任何超集都是非頻繁項(xiàng)目集。Apriori算法使用了一種逐層搜索的迭代方法，首先找出所有頻繁1-項(xiàng)目集L1,L1用來找頻繁2-項(xiàng)目集L2,L2用來找頻繁3-項(xiàng)目集L3，如此下去，直到不能找到頻繁項(xiàng)目集為止。具體來講，Apriori算法的第一步是簡(jiǎn)單統(tǒng)計(jì)所有含一個(gè)元素的項(xiàng)目集出現(xiàn)的頻率，來決定頻繁1-項(xiàng)目集；在第k步，分兩個(gè)階段，首先調(diào)用函數(shù)Apriori-Gen，通過第(k-1)步中生成的頻繁(k-1)-項(xiàng)目集Lk-1來生成候選頻繁k-項(xiàng)日集Ck，其次掃描事務(wù)數(shù)據(jù)庫D計(jì)算候選頻繁k-項(xiàng)日集Ck中各元素在D中的支持?jǐn)?shù)或支持度。

3.2 算法改進(jìn)

可以利用數(shù)據(jù)劃分技術(shù)來挖掘頻繁項(xiàng)目集，從而只需掃描整個(gè)數(shù)據(jù)庫兩次。包含兩個(gè)主要處理階段第一階段，算法將交易數(shù)據(jù)庫D分為n個(gè)互不相交的部分，若數(shù)據(jù)庫D中的最小支持閥值為min_sup，對(duì)于每個(gè)劃分(部分)，挖掘其中所有的頻繁項(xiàng)集，它們被稱為是局部頻繁項(xiàng)集?？梢岳靡粋€(gè)特別的數(shù)據(jù)結(jié)構(gòu)記錄包含這些頻繁項(xiàng)集的交易記錄的TID以便使得在一次數(shù)據(jù)庫掃描中就能夠發(fā)現(xiàn)所有的局部頻繁k-項(xiàng)集，k=1,2，…。就整個(gè)數(shù)據(jù)庫D而言，一個(gè)局部頻繁項(xiàng)集不一定就是個(gè)局頻繁項(xiàng)集，但是任何全局頻繁項(xiàng)集一定會(huì)出現(xiàn)在從所有劃分所獲得的這些局部頻繁項(xiàng)集中，這一點(diǎn)可通過反證獲得。因此可以將從n個(gè)劃分中所挖掘出的局部頻繁項(xiàng)集作為整個(gè)數(shù)據(jù)庫D中頻繁項(xiàng)集的候選項(xiàng)集。在第二階段中，再次掃描整個(gè)數(shù)據(jù)庫以獲得所有候選項(xiàng)集的支持頻度，以便最終確定各頻繁項(xiàng)目集各劃分大小和數(shù)目可以以每個(gè)劃分大小能夠整個(gè)放入內(nèi)存為準(zhǔn)，因此每個(gè)階段只需讀入一次數(shù)據(jù)庫內(nèi)容，而整個(gè)挖掘就需要兩次掃描整個(gè)數(shù)據(jù)庫。

4 結(jié) 語

借助數(shù)據(jù)挖掘技術(shù)在處理大量數(shù)據(jù)特征提取方面的優(yōu)勢(shì)，基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)模型可使入侵檢測(cè)更加自動(dòng)化，提高檢測(cè)效率和檢測(cè)準(zhǔn)確度。目前，基于數(shù)據(jù)挖掘的入侵檢測(cè)已得到快速發(fā)展，但仍未得到廣泛應(yīng)用，雖然已經(jīng)提出了基于Apriori算法的各種實(shí)施辦法，但尚未具備完善的理論體系。因此，解決數(shù)據(jù)挖掘的入侵檢測(cè)實(shí)時(shí)性、正確檢測(cè)率、誤警率等方面問題還有待大規(guī)模應(yīng)用后的實(shí)踐測(cè)評(píng)，通過測(cè)評(píng)數(shù)據(jù)來豐富和發(fā)展現(xiàn)有理論，完善入侵檢測(cè)系統(tǒng)使其全面投入實(shí)際應(yīng)用。

[1]徐興元，傅和平，熊中朝.基于數(shù)據(jù)挖掘的入侵檢測(cè)技術(shù)研究[J].微計(jì)算機(jī)信息,2007(9).

[2]朱海霞.數(shù)據(jù)挖掘在入侵檢測(cè)中的應(yīng)用[J].科技資訊，2009（25）.

[3]劉蔭銘,李金海,劉國(guó)麗.計(jì)算機(jī)安全技術(shù)[M].北京：清華大學(xué)出版社,2000.

責(zé)任編輯 王榮輝

Comment on the Application Technique of Date Mining in IDS

CAI Yong，YAN Zhihui
（School of Software Engineering,Chongqing University,Chongqing 400019,China）

The essay discussed the feasibility and necessity of applying Date Mining in intrusion detection,and advanced a IDS model basing on Date Mining,researching the basic algorithm of the model in Date Mining,putting forward the improvement approach of the system applying Apriori algorithm,which was in order to accomplish the automate of intrusion detection and improve the detective efficiency and detective accuracy.

intrusion detection;Date Mining;access security;Apriori algorithm

TP39

A

1674-5787（2010）03-0164-03

2010-03-10

蔡勇（1979—），男，重慶永川人，重慶大學(xué)軟件工程學(xué)院軟件工程專業(yè)2008級(jí)碩士研究生；鄢志輝（1982—），男，四川鄰水人，重慶大學(xué)軟件工程學(xué)院軟件工程專業(yè)2008級(jí)碩士研究生。