網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析系統(tǒng)設(shè)計(jì)
——基于布隆過濾器的

王 珂

網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析系統(tǒng)設(shè)計(jì)
——基于布隆過濾器的

王 珂

(鄭州旅游職業(yè)學(xué)院， 鄭州450000)

隨著Internet技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)結(jié)構(gòu)越來越復(fù)雜，網(wǎng)絡(luò)入侵技術(shù)也日趨多樣化、隱蔽化，使得識(shí)別入侵者的意圖日趨困難。因此，入侵檢測(cè)系統(tǒng)(IDS)等安全產(chǎn)品得到了廣泛的應(yīng)用，但是，現(xiàn)有的IDS并沒有達(dá)到人們期望的效果，為了解決IDS告警數(shù)據(jù)誤報(bào)和漏報(bào)的問題，并了解決在關(guān)聯(lián)過程中的大量數(shù)據(jù)查詢的問題;引入了布隆過濾器(Bloom Filter)，對(duì)其進(jìn)行了深入分析并提出了布隆過濾器的改進(jìn)算法,通過布隆過濾器將IDS與深度包檢測(cè)技術(shù)關(guān)聯(lián)的方法有效的降低了告警數(shù)據(jù)的誤報(bào)率，為后續(xù)的關(guān)聯(lián)分析提供了可靠的數(shù)據(jù)。

關(guān)聯(lián)分析； 入侵檢測(cè)系統(tǒng)； 網(wǎng)絡(luò)安全； 布隆過濾器

近年來，網(wǎng)絡(luò)結(jié)構(gòu)越來越復(fù)雜化，網(wǎng)絡(luò)規(guī)模也日益增大，因此，網(wǎng)絡(luò)安全事件對(duì)計(jì)算機(jī)系統(tǒng)和網(wǎng)絡(luò)的安全造成的危害也隨之增加[1]?，F(xiàn)有的關(guān)聯(lián)分析技術(shù)雖然不完全去除誤報(bào)、漏報(bào)和告警重復(fù)等問題，但它仍然可以有效的對(duì)付網(wǎng)絡(luò)安全事件，是解決網(wǎng)絡(luò)入侵問題最有效的辦法之一[2]。因此，對(duì)關(guān)聯(lián)分析技術(shù)進(jìn)行分析研究，使用提高報(bào)警的準(zhǔn)確性是非常有意義的。

1 關(guān)聯(lián)分析技術(shù)分類

1.1 告警聚合方法

聚合算法是現(xiàn)有網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析算法的主要算法之一，在網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析方面有的很重要的位置[3]。告警相似度閾值的確定是告警聚合方法的關(guān)鍵，當(dāng)兩條告警的相似度大于這個(gè)閾值時(shí)，就可以將這兩條告警聚合為一個(gè)超告警，因此，為了能夠得到一個(gè)合理的閾值，一般要通過實(shí)驗(yàn)訓(xùn)練的方法來獲得這個(gè)閾值[4]。

1.2 因果關(guān)系關(guān)聯(lián)方法

通過對(duì)大量入侵案例的分析可以發(fā)現(xiàn)，入侵一般分為收集目標(biāo)系統(tǒng)信息、提升權(quán)限、入侵和放置后門程序以及入侵后的現(xiàn)場(chǎng)處理4個(gè)階段[5]。

綜上所述，入侵攻擊的每一步必然不是孤立的，一個(gè)完整的攻擊步驟一定存在著因果關(guān)聯(lián)關(guān)系。因此，通過攻擊告警間的前因后果關(guān)系，可以進(jìn)行告警數(shù)據(jù)的關(guān)聯(lián)分析。

1.3 交叉關(guān)聯(lián)方法

交叉關(guān)聯(lián)方法是由O. Dain和R. Cunningham等人在2001時(shí)提出。它的主要原理是利用告警信息與網(wǎng)絡(luò)環(huán)境中的所有主機(jī)的漏洞掃描結(jié)果、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、網(wǎng)絡(luò)中所有的資產(chǎn)信息和安全策略等相結(jié)合，從而進(jìn)行關(guān)聯(lián)分析并分析告警的成功率和受到的影響程度，通過這一系列的操作來達(dá)到區(qū)分真實(shí)威脅，并最終去除誤報(bào)的目的[6]。

2 布隆過濾器及其改進(jìn)算法

2.1 布隆過濾器概述

布隆過濾器(Bloom Filter)主要用于檢測(cè)一個(gè)元素是否在一個(gè)集合中，要了解布隆過濾器就必須先介紹一下哈希表[7]。當(dāng)進(jìn)行數(shù)據(jù)的處理時(shí)，最關(guān)心的就是選取何種表示方式和查找方法。而這兩個(gè)問題又是緊密聯(lián)系的。因?yàn)椴捎檬裁礃拥牟樵兎椒?，直接取決于數(shù)據(jù)選用什么要的表示方式，即存儲(chǔ)方式。在所有存儲(chǔ)的方法內(nèi)，哈希表是較為高效的一種方式，他擁有其他的存儲(chǔ)方式所沒有的高效的平均查找性能。尤其是在分布式的系統(tǒng)中，由于海量的、分布式數(shù)據(jù)的存在，最主要的問題就是快速地對(duì)這些數(shù)據(jù)進(jìn)行查詢，而哈希表就可以高效、實(shí)時(shí)的完成這一任務(wù)。實(shí)現(xiàn)哈希表的主要方法是利用一個(gè)大容量的數(shù)據(jù)，將元素存放在該數(shù)組中。需要設(shè)定一個(gè)函數(shù)，使得每一個(gè)函數(shù)值都與一個(gè)元素的關(guān)鍵字一一對(duì)應(yīng)，從而將這個(gè)元素存放在這個(gè)數(shù)組單元中，這個(gè)函數(shù)就叫哈希函數(shù)[8]。但是，并不是所有的關(guān)鍵字和函數(shù)值都是一一對(duì)應(yīng)的，極有可能會(huì)發(fā)生一個(gè)函數(shù)值與多個(gè)不同的元素相對(duì)應(yīng)的現(xiàn)象，這樣就會(huì)產(chǎn)生了重復(fù)，引起沖突，換句話說，就是把不同的元素劃分到同一個(gè)類中了。

由于哈希表的結(jié)構(gòu)組織方式的特點(diǎn)，使得用其查找元素的過程比用其他數(shù)據(jù)結(jié)構(gòu)更為有效，即占用時(shí)間復(fù)雜度相對(duì)較小。哈希表最大的優(yōu)點(diǎn)就是查找速度快且查找定位準(zhǔn)確，只需要在線性復(fù)雜時(shí)間度內(nèi)就可以準(zhǔn)確查找到所要的元素。但是缺點(diǎn)也相對(duì)較為明顯，當(dāng)有大量數(shù)據(jù)存入哈希表中時(shí)，hash set存儲(chǔ)效率比較低的問題就很容易呈現(xiàn)出來。為了使得在盡量保持哈希表的性能前提條件下，還能占用較少的空間，需要找出一種新方法，而概率隨機(jī)化算法便是一種相對(duì)符合的這一要求的方法。在概率隨機(jī)化算法中有一種叫Bloom Filter的方法，如果想達(dá)到空間占用較少的要求，相對(duì)有效的方法就是隨機(jī)化哈希函數(shù)中的映射函數(shù)。簡(jiǎn)單的說，就是將每個(gè)輸入的數(shù)據(jù)利用一定的算法轉(zhuǎn)換為若干個(gè)數(shù)并對(duì)應(yīng)到位串中相應(yīng)的位置上，如圖1所示。

圖1 Bloom Filter示意圖

將輸入的數(shù)據(jù)信息通過若干個(gè)哈希函數(shù)進(jìn)行計(jì)算轉(zhuǎn)換，得出轉(zhuǎn)換后的數(shù)據(jù)，并根據(jù)轉(zhuǎn)換后的數(shù)據(jù)找到其對(duì)應(yīng)的位數(shù)組中的位置，并將其對(duì)應(yīng)的位置中的數(shù)值設(shè)為1，從而將該數(shù)據(jù)信息存放。按照上述過程，就可以建立起來一個(gè)簡(jiǎn)單但又高效的布隆過濾器(Bloom Filter)了。通過對(duì)布隆過濾器的簡(jiǎn)單描述，可以知道布隆過濾器是一個(gè)高效的用于查找的數(shù)據(jù)結(jié)構(gòu)，但其存在著幾個(gè)明顯的缺點(diǎn)，如可能存在一個(gè)未在集合中的數(shù)據(jù)被誤認(rèn)為在集合中，對(duì)集合中的數(shù)據(jù)進(jìn)行增加和刪除操作時(shí)很難實(shí)現(xiàn)。

2.2 布隆過濾器的性能分析

運(yùn)用布隆過濾器會(huì)有一定的誤報(bào)產(chǎn)生，在擁有一定的空間效率和查詢速度的同時(shí)，查找的準(zhǔn)確性就做出了一定的犧牲，為了在兩者之間能夠得出最佳方案，將對(duì)布隆過濾器的性能進(jìn)行深入的分析。

表1 布隆過濾器變量表

2.2.1 Bloom Filter的誤判率

由此，可以計(jì)算得出某一元素的誤判率為Perr=pd。

2.2.2 最優(yōu)的哈希函數(shù)的個(gè)數(shù)

布隆過濾器是利用多個(gè)哈希函數(shù)將一個(gè)集合中的所有元素映射到一個(gè)位數(shù)組中，因此，選擇幾個(gè)哈希函數(shù)才能使得布隆過濾器的誤判率降到最低是最主要的問題。

由上述分析可知，哈希函數(shù)存在著兩個(gè)互斥的規(guī)律：一是哈希函數(shù)的個(gè)數(shù)越多，在對(duì)一個(gè)未在集合中的元素進(jìn)行查詢時(shí)，得到0的概率就越大；二是哈希函數(shù)的個(gè)數(shù)越少，位數(shù)組中值為0的位數(shù)就越多。因此，一般情況下，為了使得誤判率較低，會(huì)將位數(shù)組中的一半空著，這樣便能夠得到最優(yōu)的哈希函數(shù)的個(gè)數(shù)。

3 網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析系統(tǒng)設(shè)計(jì)

3.1 系統(tǒng)的基本功能

3.1.1 支持入侵檢測(cè)和深度包檢測(cè)

由于在信息采集的過程中需要獲取入侵告警信息和深度包檢測(cè)結(jié)果信息，所以在系統(tǒng)中集成了入侵檢測(cè)系統(tǒng)和深度包檢測(cè)系統(tǒng)，從而使得本系統(tǒng)具備了入侵檢測(cè)和深度包檢測(cè)的功能。

3.1.2 支持網(wǎng)絡(luò)告警信息的誤報(bào)去除

為了能夠在關(guān)聯(lián)分析的過程中不受誤報(bào)信息的影響，本系統(tǒng)采用改進(jìn)過的Bloom Filter算法將告警信息進(jìn)行了誤報(bào)去除的工作，從而提供告警信息的準(zhǔn)確性。

3.1.3 支持網(wǎng)絡(luò)安全事件的關(guān)聯(lián)分析

經(jīng)過前期的信息收集和Bloom Filter過濾之后，利用現(xiàn)有的關(guān)聯(lián)分析算法將數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，并最終得出分析結(jié)果，在頁(yè)面中呈現(xiàn)出來。系統(tǒng)的后臺(tái)功能需求組織結(jié)構(gòu)圖如圖2所示。

圖2 系統(tǒng)后臺(tái)功能組織結(jié)構(gòu)圖

系統(tǒng)主要支持對(duì)告警數(shù)據(jù)的過濾，需要具有入侵檢測(cè)、深度包檢測(cè)能力，系統(tǒng)對(duì)網(wǎng)絡(luò)事件具有關(guān)聯(lián)分析的能力。

3.2 改進(jìn)后的Bloom Filter過濾模塊

Bloom Filter過濾模塊是本系統(tǒng)的核心部分，它的主要思想是以入侵檢測(cè)中得出的告警信息為基礎(chǔ)，將其與深度包檢測(cè)得出的結(jié)果信息利用改進(jìn)后的Bloom Filter算法進(jìn)行關(guān)聯(lián)分析，去除在入侵檢測(cè)中被認(rèn)為是告警而在深度包檢測(cè)中認(rèn)為是安全數(shù)據(jù)的告警信息，最終達(dá)到去除誤報(bào)的目的。Bloom Filter過濾模塊的主要工作流程如圖3所示。

圖3 Bloom Filter過濾模塊工作流程圖

4 系統(tǒng)實(shí)現(xiàn)

分析過濾是本系統(tǒng)的核心部分，也是創(chuàng)新之處，利用Bloom Filter的改進(jìn)算法對(duì)采集到的數(shù)據(jù)進(jìn)行過濾分析，刪除錯(cuò)誤的告警。分析過濾實(shí)現(xiàn)方式如下：

4.1 分析過濾代碼主要為Python

由于在利用改進(jìn)后的Bloom Filter算法進(jìn)行分析過濾時(shí)，整個(gè)過程中會(huì)有大量的查詢和計(jì)算，所以運(yùn)用Python可以在性能上有所提高。

4.2 通過正則表達(dá)式實(shí)現(xiàn)數(shù)據(jù)的格式化

通過入侵檢測(cè)和深度包檢測(cè)得到的數(shù)據(jù)均為日志文件格式，所以需要將這兩個(gè)文件統(tǒng)一格式化為一個(gè)標(biāo)準(zhǔn)的形式，這一過程需要利用正則表達(dá)式來實(shí)現(xiàn)。

4.3 通過多進(jìn)程方式實(shí)現(xiàn)入侵檢測(cè)數(shù)據(jù)和深度包檢測(cè)數(shù)據(jù)的并發(fā)讀取

由于入侵檢測(cè)和深度包分析是同時(shí)進(jìn)行的兩個(gè)過程，所以在分析過濾時(shí)需要同時(shí)讀取這兩個(gè)數(shù)據(jù)源，這就涉及到并發(fā)的過程，本系統(tǒng)利用Stackless Python來實(shí)現(xiàn)并發(fā)的操作，其性能不輸于同類C/C++實(shí)現(xiàn)的服務(wù)器，完全可以適應(yīng)高并發(fā)量的數(shù)據(jù)發(fā)送請(qǐng)求。

5 結(jié)語(yǔ)

本文提出了一種Bloom Filter的改進(jìn)算法，采用計(jì)數(shù)器和兩個(gè)Bloom Filter過濾器的方法來降低其誤判率以及使其擁有增加和刪除的操作屬性，并將其運(yùn)用在網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析系統(tǒng)中，不僅沒有影響到入侵檢測(cè)的效率，還有效的降低了告警事件誤報(bào)的概率。從而為后續(xù)關(guān)聯(lián)分析提供了可靠、準(zhǔn)確的數(shù)據(jù)。

[1] 葛?；?肖達(dá),陳天平,楊義先.基于動(dòng)態(tài)關(guān)聯(lián)分析的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)評(píng)估方法[J].電子與信息學(xué)報(bào),2013(11):2630-2636.

[2] 隋新,劉瑩.入侵檢測(cè)技術(shù)的研究[J].科技通報(bào),2014(11):.

[3] 戴明星,褚英國(guó),陳正奎.基于事件聚合和關(guān)聯(lián)分析技術(shù)的安全管理平臺(tái)應(yīng)用研究[J].信息網(wǎng)絡(luò)安全,2013(7):91-92.

[4] 曹天人,張穎.淺析入侵檢測(cè)系統(tǒng)在網(wǎng)絡(luò)安全中的利與弊[J].科學(xué)咨詢:科技·管理,2015(7):50-51.

[5] 邵燕.淺論入侵檢測(cè)系統(tǒng)在網(wǎng)絡(luò)安全中的應(yīng)用[J].數(shù)字化用戶,2014(1).

[6] 楊陽(yáng),趙洪宋,岳雨儉,杜源.基于協(xié)議分析的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)[J].計(jì)算機(jī)與現(xiàn)代化,2014(2):201-204.

[7] 紀(jì)祥敏,景林,舒兆港.下一代互連網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)研究[J].計(jì)算機(jī)仿真,2013(10):337-340.

[8] 萬盛,何媛媛,李鳳華,牛犇,李暉.基于布隆過濾器的輕量級(jí)隱私信息匹配方案[J].通信學(xué)報(bào),2015(12):151-162.

2017-03-20

王珂(1980-)，女，河南鄭州人，碩士，講師，研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò),電話：13513802107。

TM417

B

1671-4733(2017)03-0004-03