基于代價和性能的ROC曲線效能評價模型

程建

【摘要】 入侵檢測系統(tǒng)是一種常用的網(wǎng)絡(luò)安全防護(hù)系統(tǒng)，對其研究改進(jìn)也層出不窮。仿真是研究入侵檢測系統(tǒng)常用的方法，在仿真運(yùn)行中會產(chǎn)生大量的仿真結(jié)果數(shù)據(jù)，如何對這些數(shù)據(jù)進(jìn)行整合以對系統(tǒng)進(jìn)行更加全面的評價是需要考慮的問題。對此，本文基于一種典型的入侵檢測系統(tǒng)，給出了系統(tǒng)評價指標(biāo)集，提出了一種基于代價和性能的ROC曲線效能評價模型。

【關(guān)鍵詞】 人工免疫 入侵檢測系統(tǒng) 評價模型 ROC曲線

一、引言

1.1基于人工免疫的入侵檢測系統(tǒng)

人工免疫系統(tǒng)目前沒有統(tǒng)一定義，莫宏偉[1]給出的定義為：人工免疫系統(tǒng)是基于生物免疫系統(tǒng)機(jī)制和理論免疫學(xué)而發(fā)展的各種人工范例的統(tǒng)稱。人工免疫系統(tǒng)借鑒生物免疫系統(tǒng)相關(guān)特性來解決工程實踐中遇到的一些現(xiàn)實問題。將人工免疫系統(tǒng)特性應(yīng)用于入侵檢測系統(tǒng)便形成了基于人工免疫的入侵檢測系統(tǒng)。生物免疫系統(tǒng)與入侵檢測系統(tǒng)概念對比如表1所示。

1.2常用的入侵檢測效能評價方法

ROC曲線方法最初起源于二戰(zhàn)，主要用于信號檢測，目前在入侵檢測領(lǐng)域也取得了廣泛應(yīng)用[2]，主要用來分析誤檢率和檢測率的關(guān)系。ROC曲線將入侵檢測系統(tǒng)的誤檢率與檢測率作為橫縱坐標(biāo)（誤檢率，檢測率），多次調(diào)整參數(shù)并運(yùn)行仿真，便會得到多個結(jié)果坐標(biāo)點。將這些點連接起來，便形成了ROC曲線。典型的ROC曲線如圖1所示。

ROC曲線與橫坐標(biāo)所圍面積越大，則代表入侵檢測系統(tǒng)性能越好，上圖中系統(tǒng)一性能要好于系統(tǒng)二。此外從圖中可以簡單明了地選擇系統(tǒng)的最佳配置點。ROC曲線的缺點是僅考慮了檢測率和誤檢率兩個參數(shù)，評價不夠全面。

二、AIIDS評價指標(biāo)集

對入侵檢測系統(tǒng)進(jìn)行評價，需要相對全面的評價指標(biāo)集。以典型的入侵檢測系統(tǒng)為例，建立評價指標(biāo)集如圖2所示。

指標(biāo)集由兩個層次組成。一級指標(biāo)由性能和代價組成。性能指入侵檢測系統(tǒng)的功能特性，也即與檢測相關(guān)的一些指標(biāo)，其包括五個二級指標(biāo)：檢測范圍，指入侵檢測系統(tǒng)所能檢測到攻擊的種類；檢測時間，指從入侵開始到檢測到入侵所用時間；檢測率，指系統(tǒng)檢測到的入侵占總?cè)肭值陌俜直?；誤檢率，指系統(tǒng)將正常行為檢測為入侵行為的次數(shù)占正常行為次數(shù)的百分比；抗攻擊性指當(dāng)入侵檢測系統(tǒng)被攻擊或自身出現(xiàn)故障時系統(tǒng)能夠維持工作的能力。

三、基于代價和性能的ROC曲線效能評價模型

根據(jù)上小節(jié)的分析，本小節(jié)提出一種基于代價和性能的ROC曲線效能評價模型。該模型將入侵檢測系統(tǒng)效能評價分為性能和代價兩部分，并采用ROC曲線表示，能夠較全面直觀地反映入侵檢測系統(tǒng)的特性[2]。

性能指標(biāo)PE的五個二級指標(biāo)中檢測范圍指所能檢測到的入侵類型總數(shù)，檢測時間單位為秒，檢測率、誤檢率是小于1的數(shù)，抗攻擊性指當(dāng)系統(tǒng)受到攻擊或出現(xiàn)一定故障時系統(tǒng)能夠正常工作的能力。五個二級指標(biāo)量綱不同，與性能指標(biāo)PE的比例關(guān)系也不同（有的為正比例關(guān)系，有的則為反比例關(guān)系）。而幾個二級指標(biāo)對性能指標(biāo)的影響大小也會因為研究者的側(cè)重點不同而不同。因此可以采用賦權(quán)（權(quán)值取決于具體評價人員）并線性表示的方法，性能PE可表示為：

其中λW、λH、λA、λT、HFλ分別為各指標(biāo)的權(quán)重。

代價CO由兩個二級指標(biāo)組成，網(wǎng)絡(luò)交互量可由網(wǎng)絡(luò)中入侵檢測系統(tǒng)工作時所產(chǎn)生的數(shù)據(jù)包個數(shù)來表示，節(jié)點固定消耗則由系統(tǒng)中節(jié)點數(shù)量與節(jié)點平均開銷之積來表示，代價CO可表示為：

其中λθ、λα為各指標(biāo)的權(quán)重，用于表示二級指標(biāo)對一級指標(biāo)的貢獻(xiàn)大小。根據(jù)代價與性能指標(biāo)，改變微觀參數(shù)與宏觀部署，進(jìn)行一系列實驗得出相應(yīng)的代價與性能指標(biāo)值，采用ROC曲線原理，以代價（大于零）為橫坐標(biāo)，性能（大于零）為縱坐標(biāo)，便形成了ROC曲線，其示意如圖3所示。

從圖中可以清晰直觀地看出整個入侵檢測系統(tǒng)的綜合性能。用戶通過該圖能夠得出系統(tǒng)的最佳配置點。最佳配置點指系統(tǒng)綜合效能最好時所對應(yīng)的系統(tǒng)參數(shù)及配置，其中綜合效能的判斷與用戶對綜合效能的定義有關(guān)。例如當(dāng)用戶采用上述評價指標(biāo)，且認(rèn)為性能/代價比最大時綜合性能最優(yōu)，則圖中使曲線斜率最大的點為最佳配置點。.，

四、小結(jié)

如何對入侵檢測系統(tǒng)進(jìn)行效能評價是一個需要解決的問題。本文以常見的基于人工免疫的入侵檢測系統(tǒng)為例，構(gòu)建了入侵檢測系統(tǒng)評價集，并在分析幾種常見的評價模型的基礎(chǔ)上提出了基于代價和性能的ROC曲線效能評價模型，該評價模型能夠?qū)θ肭謾z測系統(tǒng)效能進(jìn)行有效評價，能夠為研究人員對入侵檢測系統(tǒng)改造提供參考。

參 考 文 獻(xiàn)

[1]莫宏偉，左興權(quán).人工免疫系統(tǒng)[M].北京：科學(xué)出版社，2009：28-74.

[2]高丹，彭新光.基于DET曲線的入侵檢測評估方法[J].微電子學(xué)與計算機(jī)，2008，15（8）：133-138.