基于貝葉斯優(yōu)化的CatBoost的網(wǎng)絡(luò)安全態(tài)勢評估方法

祝衛(wèi)軍，黎 琳

（北京交通大學(xué)計算機與信息技術(shù)學(xué)院，北京 100044）

0 引言

近些年來，伴隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的快速發(fā)展網(wǎng)絡(luò)安全開始進入人們的視野當中，它更是影響著國家的安全與穩(wěn)定，因此網(wǎng)絡(luò)安全也被抬升至國家安全的地位。習(xí)近平總書記發(fā)表了如下的講話，“沒有網(wǎng)絡(luò)安全就沒有國家安全”，這體現(xiàn)出我國對網(wǎng)絡(luò)安全領(lǐng)域的重視。2017年頒布實施的《中華人民共和國網(wǎng)絡(luò)安全法》，更是具有劃時代的意義，為我國網(wǎng)絡(luò)安全領(lǐng)域提供了法律條例，從此網(wǎng)絡(luò)安全問題便有法可依。隨后信息安全等級保護2.0標準在等級保護1.0標準的基礎(chǔ)上進行了修改，等級保護2.0標準采用“一個中心，三重防護”的理念，建立了主動防御和全面感知的網(wǎng)絡(luò)防護新思想?；ヂ?lián)網(wǎng)信息系統(tǒng)需要積極響應(yīng)等級保護標準的號召，轉(zhuǎn)變自身的防護理念，從過去的被動防御變?yōu)橹鲃臃烙?，?gòu)建新型的網(wǎng)絡(luò)安全防護體系。

過去傳統(tǒng)的防護手段多為被動防御，事后補救，這就會導(dǎo)致在整個網(wǎng)絡(luò)攻防的過程中防護系統(tǒng)完全處于被動的狀態(tài)，對于零日攻擊和新型攻擊方式無法發(fā)揮其作用。缺少態(tài)勢感知能力，無法從網(wǎng)絡(luò)環(huán)境的各個角度分析安全防護狀態(tài)，很難對當前網(wǎng)絡(luò)安全態(tài)勢進行準確地評估?，F(xiàn)有的網(wǎng)絡(luò)安全設(shè)備對網(wǎng)絡(luò)攻擊的防護僅停留在當前時刻，無法對未來的安全風(fēng)險進行預(yù)測。在安全人員的配備上，一方面安全人員的水平良莠不齊，很多安全問題需要依靠安全廠商進行解決；另一方面就是安全管理人員數(shù)量不足，無法滿足系統(tǒng)防護的需要。現(xiàn)在的網(wǎng)絡(luò)攻擊手段也越來越復(fù)雜，很少采用單一方式的攻擊，往往是多種攻擊方式相互組合，逐步對所要攻擊的網(wǎng)絡(luò)進行滲透，互聯(lián)網(wǎng)中的系統(tǒng)更是要在這種高級威脅的情況下進行安全防護。

綜上所述，作為網(wǎng)絡(luò)攻防中的防御方，現(xiàn)有的信息系統(tǒng)安全防護設(shè)備相對獨立，網(wǎng)絡(luò)中安全設(shè)備分布復(fù)雜，攻擊手段的提升要求安全設(shè)備具有更快的處理能力和響應(yīng)時間。網(wǎng)絡(luò)防護過程中產(chǎn)生越來越多的數(shù)據(jù)和信息，其中冗余和無效的信息交織其中，嚴重影響安全人員對當前網(wǎng)絡(luò)狀況的判斷。因此，要使用網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)解決上述問題，網(wǎng)絡(luò)安全態(tài)勢感知作為網(wǎng)絡(luò)安全領(lǐng)域新的研究方向，是主動防御和動態(tài)防御核心思想的體現(xiàn)；網(wǎng)絡(luò)安全態(tài)勢感知可以針對系統(tǒng)中的安全設(shè)備、流量信息等多方面的數(shù)據(jù)進行信息融合和情報共享，實現(xiàn)全面的態(tài)勢感知；網(wǎng)絡(luò)安全態(tài)勢感知可以滿足系統(tǒng)的全方位監(jiān)測，對攻擊實現(xiàn)快速準確的預(yù)警，對新型網(wǎng)絡(luò)攻擊的檢測能力、網(wǎng)絡(luò)狀況的感知能力、用戶行為的分析能力都有極大的提升。

1 相關(guān)研究

Endsley首次明確了態(tài)勢感知的定義，“態(tài)勢感知就是在一定的時間和空間范圍內(nèi)對環(huán)境中元素的感知，對其含義的理解以及對它們在不久將來的狀態(tài)的預(yù)測”。Bass創(chuàng)新性地將態(tài)勢感知這個概念用于網(wǎng)絡(luò)安全領(lǐng)域當中，首次提出了下一代網(wǎng)絡(luò)入侵檢測系統(tǒng)，系統(tǒng)中融合了來自異構(gòu)分布式網(wǎng)絡(luò)中傳感器的數(shù)據(jù)，通過融合后的信息判斷網(wǎng)絡(luò)中的入侵行為。針對網(wǎng)絡(luò)安全態(tài)勢感知評估模型的理論研究，Yang等人提出了基于對抗深度學(xué)習(xí)的網(wǎng)絡(luò)安全態(tài)勢評估模型。對深度自編碼器進行特征學(xué)習(xí)，并將深度神經(jīng)網(wǎng)絡(luò)用于網(wǎng)絡(luò)攻擊的分類，使用欠過采樣加權(quán)算法提高模型對小樣本網(wǎng)絡(luò)攻擊類型的分類性能，最后驗證了該模型對網(wǎng)絡(luò)態(tài)勢評估的準確性。陳森提出一種基于線性規(guī)劃的層次分析法結(jié)合改進的引力搜索算法優(yōu)化的模糊神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)安全態(tài)勢評估模型，利用改進的引力搜索優(yōu)化算法對模糊神經(jīng)網(wǎng)絡(luò)進行優(yōu)化，提高了模型收斂速度并解決算法陷入最優(yōu)的問題，最后驗證了該模型在網(wǎng)絡(luò)安全態(tài)勢評估上的優(yōu)越性。錢真坤采用了多層模型對指標體系進行分類，并將隨機森林模型應(yīng)用于網(wǎng)絡(luò)安全態(tài)勢感知的評估過程當中，驗證了該模型的可行性。單宇鋒對網(wǎng)絡(luò)安全態(tài)勢感知關(guān)鍵技術(shù)進行研究，在態(tài)勢評估模型中對貝葉斯網(wǎng)絡(luò)在其中的應(yīng)用進行了定量的研究，通過系統(tǒng)實現(xiàn)，驗證了貝葉斯網(wǎng)絡(luò)在網(wǎng)絡(luò)安全態(tài)勢感知評估過程中的可行性。何夢乙提出了基于融合批量規(guī)范化和深層神經(jīng)網(wǎng)絡(luò)的攻擊檢測模型。該模型在深層神經(jīng)網(wǎng)絡(luò)的隱藏層中添加了批量規(guī)范化層，優(yōu)化隱藏層的輸出結(jié)果，同時采用Adam自適應(yīng)梯度下降優(yōu)化算法對BNDNN參數(shù)進行自動優(yōu)化，以提高模型的異常檢測能力。在NSL-KDD數(shù)據(jù)集中對模型進行了驗證，最后證明了該方法下態(tài)勢評估當中的有效性和可行性。

2 基于貝葉斯優(yōu)化的CatBoost模型

2.1 貝葉斯優(yōu)化

很多的機器學(xué)習(xí)模型都有非常多的超參數(shù)，超參數(shù)的選定關(guān)系到模型最后成績的好壞，對超參數(shù)的自動化搜索通常有網(wǎng)格搜索、隨機搜索和貝葉斯優(yōu)化三種方法。貝葉斯優(yōu)化和網(wǎng)格搜索、隨機搜索一樣，也是一種自適應(yīng)的超參數(shù)搜索方法，主要思想是在給定的目標函數(shù)上通過不斷地添加樣本點來更新目標函數(shù)的后驗分布，總之就是考慮了上一次參數(shù)的信息，從而更好地調(diào)整當前的參數(shù)。

網(wǎng)格搜索是在超參數(shù)優(yōu)化模型中應(yīng)用最廣泛的一種，該模型是通過在給定的搜索區(qū)間當中，遍歷所有的可能組合，以此來查找搜索范圍內(nèi)的最佳性能的參數(shù)組合。一般情況下，先給較大區(qū)間和較大步長，然后一步步地縮減參數(shù)范圍，最終得到最優(yōu)結(jié)果。網(wǎng)格搜索的最大問題是，在超參數(shù)多的情況下，它的性能略差，非常消耗計算資源。隨機搜索則具有很大的隨機性，它并不嘗試所有參數(shù)值，而是從指定的區(qū)間中選擇固定數(shù)量的參數(shù)組合。通過對搜索范圍的隨機取樣，隨機搜索一般會比網(wǎng)格搜索要快一些，但是具有隨機性，結(jié)果無法保證。

貝葉斯優(yōu)化則采用高斯過程，考慮之前的參數(shù)信息，不斷地更新先驗，具有迭代次數(shù)少、速度快的優(yōu)點，并且針對非凸問題依然有較好的效果。對常用的機器學(xué)習(xí)算法，貝葉斯方法也可以得到最優(yōu)的結(jié)果。貝葉斯方法跟蹤過去的評估結(jié)果，會使用過去的結(jié)果形成概率模型，將超參數(shù)映射到目標函數(shù)的得分概率。核心算法是在更有可能得到更好結(jié)果的超參數(shù)范圍內(nèi)選擇新的超參數(shù)，算法的核心由兩部分構(gòu)成：使用高斯過程回歸實現(xiàn)對目標函數(shù)的建模，計算每一點處的函數(shù)值的均值和方差；構(gòu)造采集函數(shù)，用于決定本次迭代時在哪個點處進行采樣。貝葉斯優(yōu)化是一種為序列模式的模型提供的求全局優(yōu)化的方法，假設(shè)一組超參數(shù)組合是=,,…,x，其中x表示某一個超參數(shù)的值，在模型中不同的超參數(shù)會得到不同效果，貝葉斯優(yōu)化就是要在超參數(shù)與優(yōu)化的損失函數(shù)之間找到一個函數(shù)關(guān)系。如公式（1）所示，其中∈。

貝葉斯優(yōu)化的算法如下：

表示超參數(shù)和損失函數(shù)的關(guān)系；

表示超參數(shù)的搜索空間；

表示一組超參數(shù)和該組超參數(shù)對應(yīng)的函數(shù)結(jié)果的集合；

表示采集函數(shù)；

表示對數(shù)據(jù)集擬合得到的模型；

其中的采集函數(shù)在貝葉斯優(yōu)化中尤為重要，常用的有PI和EI。因為EI既考慮了提升的概率，也考慮了提升的幅度，因此貝葉斯優(yōu)化算法使用EI作為采集函數(shù)，并使用樹結(jié)構(gòu)Parzen估計方法模型（TPE）對采集函數(shù)EI進行優(yōu)化。TPE通過轉(zhuǎn)換生成過程來模擬(|)，用非參數(shù)密度替換先前配置的分布。TPE算法進行以下替換：均勻→截斷高斯混合，對數(shù)均勻→指數(shù)截斷高斯混合，分類→再加權(quán)分類。在非參數(shù)密度中使用不同的觀察值{,…,x}，，這些替換表示可以在配置空間上產(chǎn)生各種密度的學(xué)習(xí)算法。TPE使用如公式（2）所示的密度函數(shù)定義(|)。

其中，()是通過使用算法{,…,x}觀察形成的密度，使得相應(yīng)的損失(x)小于；()是通過使用剩余觀察值形成的密度。TPE算法取決于大于最佳觀察到的()的，因此可以使用某些點來形成()。

2.2 Cat Boost模型

CatBoost算法是一種改進的集成學(xué)習(xí)算法，它的根本原理是基于梯度提升決策樹算法。在訓(xùn)練過程中，連續(xù)地建立一組決策樹。與以前的樹相比，每一棵連續(xù)的樹都減少了損失。

CatBoost有如下優(yōu)點，CatBoost可以對類別型特征的數(shù)據(jù)進行處理，不需要對數(shù)據(jù)中的非數(shù)值型特征進行預(yù)處理。CatBoost還使用了組合類別特征，可以利用特征之間的聯(lián)系，這極大地豐富了特征維度。CatBoost的基模型采用的是對稱樹，計算葉子結(jié)點值的方式和傳統(tǒng)的Boosting算法也不一樣。傳統(tǒng)的Boosting算法計算的是平均數(shù)，而CatBoost在這方面采用了其他的算法做了一定程度的優(yōu)化，這些改進都能防止模型過擬合，也在一定程度上提升了模型的通用性。CatBoost還支持快速的GPU和多GPU訓(xùn)練，并且包含可視化工具。

CatBoost模型和所有其他的梯度提升模型的實現(xiàn)方式一樣，都是通過構(gòu)建新樹對當前模型的梯度進行近似處理。但是，以前所有的梯度提升模型都會出現(xiàn)過擬合的問題，這是由于梯度估計偏移造成的。在常用的梯度提升決策樹算法當中，將會按照如下方式構(gòu)建下一棵新樹，首先是對樹的結(jié)構(gòu)進行構(gòu)建并對構(gòu)建后的樹計算葉子節(jié)點的值。然后通過列舉不同方式的分割，選擇最佳的樹結(jié)構(gòu)，并對得到的葉子節(jié)點計算其值，其中計算葉子節(jié)點的值分別被當作梯度或牛頓步長的近似值。CatBoost和其他算法不同，在第一階段使用無偏估計，即改進梯度的步長，第二階段采取傳統(tǒng)的梯度提升決策樹策略。設(shè)構(gòu)建棵樹后的模型為F，構(gòu)建棵樹后第個訓(xùn)練樣本的梯度值為g(X,Y)。為了使模型F具有無偏的梯度估計，需要對模型F在無X的影響下進行訓(xùn)練。因此，需要計算所有訓(xùn)練樣本的梯度無偏估計，對于每一個樣本，需要單獨訓(xùn)練一個模型，并且不使用基于該樣本的梯度估計對該模型進行更新。使用M來估計X上的梯度，并使用這個估計對樹的結(jié)果進行評分。該算法的描述如下：

其中需要優(yōu)化的損失函數(shù)是(,)，是標簽值，是公式計算值。

CatBoost是使用完全二叉樹作為基學(xué)習(xí)器的，它的節(jié)點是鏡像的。因為對稱樹有利于避免過擬合，增加模型的可靠性，并且能大大加速模型的運算速度。可以將對稱樹中的每個葉子節(jié)點的索引編碼成為二進制向量，并且該向量的長度等于樹的深度。CatBoost使用上述方法對獲取到的特征進行二進制轉(zhuǎn)換操作，然后通過特征值的計算完成模型的評估。通過上述方法，對數(shù)據(jù)進行并行處理，可以將模型的評估速度提升三倍以上，超過很多現(xiàn)有的模型。

CatBoost模型的分類器存在著一百個參數(shù)，在模型的訓(xùn)練過程中使用不同的參數(shù)將對最后的分類效果產(chǎn)生很大的影響，但是如果對如此多的參數(shù)都進行最優(yōu)查找，這會嚴重影響模型的訓(xùn)練，將會耗費大量的時間。因此，需要從眾多的參數(shù)中選擇對模型影響較深的參數(shù)進行優(yōu)化，這樣才可以在模型的效率和準確性之間達到一個平衡。CatBoost中重要的參數(shù)，如表1所示。

表1 CatBoost的主要參數(shù)

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

首先是數(shù)據(jù)集方面的選取。過去的很多網(wǎng)絡(luò)安全態(tài)勢感知領(lǐng)域的論文在實驗過程中通常會采用KDD99數(shù)據(jù)集，該數(shù)據(jù)集對模擬的網(wǎng)絡(luò)收集了9周的網(wǎng)絡(luò)連接和系統(tǒng)審計數(shù)據(jù)，其中有7周的訓(xùn)練數(shù)據(jù)和2周的測試數(shù)據(jù)，包含了Probe、DoS、R2L、U2R四大類攻擊，并且將一些未在訓(xùn)練集中出現(xiàn)的攻擊類型加入到測試集當中。該數(shù)據(jù)集一直被應(yīng)用于網(wǎng)絡(luò)安全態(tài)勢感知領(lǐng)域的研究，其數(shù)據(jù)集的正確性已經(jīng)被驗證，但是該數(shù)據(jù)集從1999年創(chuàng)建到現(xiàn)在已經(jīng)有二十多年的歷史，屬于較老的數(shù)據(jù)集，這將存在如下問題。首先是當年的實驗條件放在當前已經(jīng)落后，不再具有現(xiàn)實意義，并且數(shù)據(jù)集中的攻擊手段也過于落后，現(xiàn)在已經(jīng)從原來的網(wǎng)絡(luò)層攻擊進化為針對應(yīng)用層的攻擊，例如跨站式腳本、數(shù)據(jù)庫注入等攻擊方式。為了追求最新的實驗環(huán)境和最新的攻擊方式，也為了提高訓(xùn)練結(jié)果的正確性，本文在使用KDD99數(shù)據(jù)集的情況下同時選用CICIDS2017數(shù)據(jù)集進行態(tài)勢評估模型的驗證。

CICIDS2017數(shù)據(jù)集來源于加拿大網(wǎng)絡(luò)安全研究所（CIC）的研究項目，使用新型的網(wǎng)絡(luò)攻擊手段對模擬網(wǎng)絡(luò)進行攻擊，獲取真實的網(wǎng)絡(luò)流量。其中包含了暴力破解攻擊、Heartbleed攻擊、僵尸網(wǎng)絡(luò)攻擊、拒絕服務(wù)攻擊、分布式拒絕服務(wù)、Web攻擊和滲透攻擊這七種攻擊，對這七種攻擊分為14類更加細化的攻擊方式。

通過對上述兩個數(shù)據(jù)集中特征的觀察，可知每個特征的性質(zhì)、量綱、數(shù)量級等特征均存在部分差異，這就會影響該數(shù)據(jù)集分析網(wǎng)絡(luò)的特征和規(guī)律產(chǎn)生的結(jié)果。當各屬性之間的數(shù)據(jù)量綱差距過大時，如果對數(shù)據(jù)的量綱不進行統(tǒng)一預(yù)處理，將會造成量綱級別高的屬性對模型的影響權(quán)重變大，相對地，量綱級別低的屬性將會對模型的訓(xùn)練造成較小的作用。因此需要對數(shù)據(jù)集進一步標準化處理，本文采用如公式（3）所示的方法進行預(yù)處理，為預(yù)處理后的樣本，為樣本均值，為樣本方差。最后得到的所有數(shù)據(jù)都聚集在0附近，期望為0，方差值為1。

CICIDS2017數(shù)據(jù)集共有85個特征值，經(jīng)過對無意義特征值的刪除，剩下78組特征，這些特征之間仍然存在著一定程度的冗余，這將會對模型的性能造成很大的影響。本文選用主成分分析方法對數(shù)據(jù)集進一步處理，對每一個特征所占的權(quán)重進行獲取，其中的部分特征已經(jīng)可以對整個數(shù)據(jù)集進行描述，本文選取所占比例大于0.001的特征，該部分特征共有32種，這32種特征即作為最終的數(shù)據(jù)集，用于進一步的研究。

3.2 實驗介紹

本文提出的基于貝葉斯優(yōu)化的CatBoost態(tài)勢評估模型是使用Python語言在Python 3.5開發(fā)環(huán)境下實現(xiàn)的，對比模型的來源是sklearn和xgboost工具包，貝葉斯優(yōu)化模型的來源是hyperopt工具包，CatBoost模型的來源是catboost工具包。使用預(yù)處理后的KDD99數(shù)據(jù)集和CICIDS2017數(shù)據(jù)集對基于貝葉斯優(yōu)化的CatBoost模型進行算法的評估與分析。

為了證明基于貝葉斯優(yōu)化的CatBoost模型的性能是更優(yōu)的，需要選取合適的度量指標對模型的泛化能力進行評估。對于常用的度量指標進行選取，選用macro度量方法，該方法對每個標簽計算對應(yīng)的得分，然后取不加權(quán)平均，得到最后的模型總分。使用macro度量方法的過程是先將多分類問題轉(zhuǎn)化為二分類混淆矩陣，計算出準確率、精確率、召回率和1值，之后對所有標簽進行平均，最后得到模型的總得分。

在模型對比階段，選取經(jīng)典的分類模型和貝葉斯優(yōu)化后的CatBoost模型進行對比，驗證基于貝葉斯優(yōu)化的CatBoost威脅評估模型的可行性。比如NB（樸素貝葉斯）、KNN（K近鄰）、XGBoost等算法在過去的研究當中均是被證明有效的評估方法，因此選用這些算法進行對比實驗的研究。

3.3 參數(shù)尋優(yōu)

使用貝葉斯優(yōu)化在上述預(yù)處理后的CICIDS2017數(shù)據(jù)集上對CatBoost模型的超參數(shù)進行自動尋優(yōu)。本文選用了參數(shù)表中的iterations、learning_rate、depth和l2_leaf_reg這四個參數(shù)進行尋優(yōu)，選擇這四個參數(shù)的原因是它們的選取對模型最終的準確率將會有很大影響。

首先對這四個參數(shù)的范圍進行選取。參數(shù)iterations，一般情況下隨著生成樹的數(shù)量增加模型的準確率將會提升，但是生成樹達到一定數(shù)目后，模型將會達到最優(yōu)，繼續(xù)增加生成樹的數(shù)量也不會提升模型的準確率。因此，在500和2000之間初步選取6個iterations值，分別是500、750、1000、1250、1500和2000。對參數(shù)learning_rate的取值進行選取，一般情況下隨著學(xué)習(xí)率的減小模型的準確率將會提升，然而學(xué)習(xí)率越低也就表示算法的學(xué)習(xí)速率越慢，影響學(xué)習(xí)的效率。因此在0和1之間初步選取6個learning_rate的值，分別是0.02、0.05、0.1、0.3、0.6和0.9。對參數(shù)depth的取值進行選取，選取2和10之間的9個整數(shù)作為參數(shù)depth的值。對參數(shù)l2_leaf_reg的取值進行選取，選取2和10之間的9個整數(shù)作為參數(shù)l2_leaf_reg的值。根據(jù)上述參數(shù)區(qū)間，對參數(shù)取值進行任意組合，共使用300組參數(shù)組合對模型進行訓(xùn)練。通過貝葉斯優(yōu)化算法，可以得到一組準確率最優(yōu)的參數(shù)組合，即當iterations為1000、learning_rate為0.3、depth為10、l2_leaf_reg為6時，該組參數(shù)的準確率為0.987。

從iterations和learn_rate參數(shù)區(qū)間的選取可以看出，區(qū)間選取的范圍和步長都較大，因此將其他參數(shù)確定，進一步對這兩個參數(shù)的選取進行精確。通過第一次優(yōu)化的參數(shù)組合，可以確定最優(yōu)的iterations值在1000附近，因此選取從（800，1200）區(qū)間內(nèi)的iterations進行隨機查找。最優(yōu)的learning_rate值在0.3附近，因此選?。?.15，0.55）區(qū)間內(nèi)的learning_rate進行隨機查找。根據(jù)上述參數(shù)區(qū)間，對這兩個參數(shù)取值進行任意組合，使用300組參數(shù)組合對模型進行訓(xùn)練，得到訓(xùn)練結(jié)果。

綜上所述，可以得到一組最優(yōu)的參數(shù)結(jié)果，當iterations參數(shù)值為1087；learning_rate參數(shù)值為0.339；depth參數(shù)值為10；l2_leaf_reg參數(shù)值為6時，得到模型的最優(yōu)參數(shù)組合，最優(yōu)結(jié)果的準確率為0.988。

3.4 實驗結(jié)果

如表2所示，在KDD99數(shù)據(jù)集上，優(yōu)化后的CatBoost算法相較于經(jīng)典的分類算法是更優(yōu)的，可以看到優(yōu)化CatBoost后的模型在所有指標上均是優(yōu)于其他經(jīng)典算法的，優(yōu)化后的CatBoost模型召回率高達0.998，提升顯著，未優(yōu)化的CatBoost模型相較于XGBoost等模型也有了一定程度的提升，而CatBoost模型優(yōu)化后的準確率相較于優(yōu)化前也提升了0.008。結(jié)果表明，針對KDD99數(shù)據(jù)集，基于貝葉斯優(yōu)化的CatBoost模型在準確率、精確率、召回率和1值這幾方面均優(yōu)于其他傳統(tǒng)模型，表明該模型對攻擊種類的分類效果更優(yōu)。

表2 基于KDD99數(shù)據(jù)集的評估模型比較

如表3所示，在CICIDS2017數(shù)據(jù)集上，優(yōu)化后的CatBoost算法相較于經(jīng)典的分類算法是更優(yōu)的，可以看到XGBoost和CatBoost這些屬于梯度提升決策樹模型的算法，在所有指標上均是優(yōu)于其他經(jīng)典算法的，原始的CatBoost已經(jīng)比KNN多了0.029的準確率，提升甚是明顯。在梯度提升決策樹類的算法模型當中，優(yōu)化后的CatBoost模型在各方面指標上都要比XGBoost模型更為優(yōu)秀。結(jié)果表明，針對CICIDS2017數(shù)據(jù)集，基于貝葉斯優(yōu)化的CatBoost模型在準確率、精確率、召回率和1值這幾方面均優(yōu)于其他傳統(tǒng)模型，表明該模型對攻擊種類的分類效果更優(yōu)。

表3 基于CICIDS2017數(shù)據(jù)集的評估模型比較

如圖1所示，針對KDD99數(shù)據(jù)集，使用貝葉斯優(yōu)化后的CatBoost模型相比于未優(yōu)化的模型在準確率上提高了0.8%。

圖1 KDD99數(shù)據(jù)集下CatBoost模型對比

如圖2所示，針對CICIDS2017數(shù)據(jù)集，使用貝葉斯優(yōu)化后的CatBoost模型相比于未優(yōu)化的在準確率上提高了1.5%。

圖2 CICIDS2017數(shù)據(jù)集下CatBoost模型對比

綜上所述，實驗結(jié)果表明，優(yōu)化后的模型相比于優(yōu)化前的模型在各個評估指標上都更為優(yōu)秀，驗證了基于貝葉斯優(yōu)化的CatBoost模型在網(wǎng)絡(luò)安全態(tài)勢評估方面的準確性和可行性。

4 結(jié)語

針對網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)，本文將基于貝葉斯優(yōu)化的CatBoost模型用于網(wǎng)絡(luò)安全態(tài)勢評估當中，針對KDD99和CICIDS2017數(shù)據(jù)集進行實驗分析，可以得到該模型在KDD99數(shù)據(jù)集上有著99.5%的準確率，在CICIDS2017數(shù)據(jù)集上有著98.8%的準確率，在其他各項評估指標上均是優(yōu)于其他常用的分類模型。因此該算法可用于提升網(wǎng)絡(luò)安全態(tài)勢感知中態(tài)勢評估的準確性，具有一定的理論意義和實用價值。