基于LightGBM的網(wǎng)絡(luò)入侵檢測(cè)研究

唐朝飛 努爾布力 艾 壯

1(新疆大學(xué)軟件學(xué)院 新疆 烏魯木齊 830046)2(新疆大學(xué)網(wǎng)絡(luò)中心 新疆 烏魯木齊 830046)3(新疆大學(xué)信息科學(xué)與工程學(xué)院 新疆 烏魯木齊 830046)

0 引 言

入侵檢測(cè)系統(tǒng)(IDS)[1]是一種主動(dòng)的網(wǎng)絡(luò)安全保護(hù)技術(shù)。入侵檢測(cè)系統(tǒng)的方法可以分為兩種類型，一種是基于異常的檢測(cè)，另一種是基于誤用的檢測(cè)[2]。目前以誤用檢測(cè)和異常檢測(cè)為代表的入侵檢測(cè)方法普遍存在檢測(cè)精度低和誤報(bào)率高等不足。由于大數(shù)據(jù)的不斷發(fā)展和變化，網(wǎng)絡(luò)系統(tǒng)的速度不斷提高以及入侵者的方法不斷變化或變通，IDS仍然是一個(gè)重要的研究課題[3]。近年來(lái)，由于網(wǎng)絡(luò)攻擊多發(fā)生于廣域網(wǎng)環(huán)境，導(dǎo)致入侵檢測(cè)工作面臨挑戰(zhàn)，因此要求研究人員必須結(jié)合大數(shù)據(jù)技術(shù)，研究新的攻擊檢測(cè)方法。

目前基于機(jī)器學(xué)習(xí)技術(shù)的入侵檢測(cè)方法普遍存在模型訓(xùn)練過(guò)程中易出現(xiàn)過(guò)擬合和泛化能力較差的情況，準(zhǔn)確率較低、誤報(bào)率較高。常用的特征選擇算法，如卡方檢驗(yàn)、隨機(jī)森林算法，在入侵檢測(cè)方面取得的效果不理想。為了更好地解決以上問(wèn)題，本文提出一種新的入侵檢測(cè)模型。該模型采用基于PCA的特征選擇方法，去除冗余特征，采用微軟開源的LightGBM算法[5]檢測(cè)網(wǎng)絡(luò)攻擊，并采用量子粒子群算法(Quantum-behaved Particle Swarm Optimization,QPSO)[6]對(duì)LightGBM算法參數(shù)進(jìn)行優(yōu)化，在NSL-KDD數(shù)據(jù)集[7]上進(jìn)行了分類訓(xùn)練和測(cè)試實(shí)驗(yàn)，并在Spark集群上運(yùn)行該實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明了該模型的有效性。使用本文提出的入侵檢測(cè)模型進(jìn)行預(yù)測(cè)，提高了準(zhǔn)確率、精準(zhǔn)率和召回率，縮短了訓(xùn)練時(shí)間和預(yù)測(cè)時(shí)間。

1 背景及相關(guān)工作

1.1 背 景

入侵檢測(cè)系統(tǒng)(IDS)被創(chuàng)建用來(lái)有效地防御各種類型的網(wǎng)絡(luò)攻擊，并進(jìn)一步保護(hù)網(wǎng)絡(luò)系統(tǒng)正常運(yùn)行。入侵檢測(cè)的目的是識(shí)別各種活動(dòng)，尤其是惡意活動(dòng)，它是目前保護(hù)計(jì)算機(jī)網(wǎng)絡(luò)和系統(tǒng)最重要的策略。過(guò)去的三十年中，對(duì)IDS的研究一直在積極進(jìn)行，很多研究利用機(jī)器學(xué)習(xí)算法來(lái)完成入侵檢測(cè)任務(wù)。

文獻(xiàn)[8]指出入侵檢測(cè)應(yīng)用中ID3和C4.5算法的重要性，并采用基于二分法的CART算法簡(jiǎn)化決策樹規(guī)模，達(dá)到分類的目的。為了提高入侵檢測(cè)的效果，采用主成分分析法(PCA)來(lái)進(jìn)行降維。文獻(xiàn)[9]提出了一種新型的混合模型。使用基尼系數(shù)進(jìn)行選擇特征以得到最佳特征子集，采用梯度提升決策樹(GBDT)算法檢測(cè)攻擊行為，并采用粒子群優(yōu)化算法(PSO)為GBDT算法尋找參數(shù)。但是PSO容易陷入局部最優(yōu)解。文獻(xiàn)[10]提出了一種基于分類和Boosting技術(shù)的基于混合異常的入侵檢測(cè)系統(tǒng)，比較了三種不同分類器的性能及提升情況，Boosting技術(shù)可最大程度地提高分類準(zhǔn)確性。文獻(xiàn)[11]使用Apache spark來(lái)進(jìn)行異常檢測(cè)，通過(guò)使用不同的機(jī)器學(xué)習(xí)算法(例如Logistic回歸、支持向量機(jī)、樸素貝葉斯、決策樹、隨機(jī)森林和K-Means)來(lái)進(jìn)行異常檢測(cè)，在異常檢測(cè)的背景下找到最有效的算法，并在Kddcup99數(shù)據(jù)集上比較它們的訓(xùn)練時(shí)間、預(yù)測(cè)時(shí)間和準(zhǔn)確率。

針對(duì)網(wǎng)絡(luò)入侵檢測(cè)的準(zhǔn)確率及效率不夠高的問(wèn)題，可通過(guò)特征選擇在減少運(yùn)算量的同時(shí)提高準(zhǔn)確率及效率，使用QPSO為待優(yōu)化模型尋找最優(yōu)參數(shù)，通過(guò)Apache spark集群進(jìn)行運(yùn)算可極大地提高運(yùn)行效率。

1.2 相關(guān)工作

Spark[12]是由伯克利AMP Lab開發(fā)的大數(shù)據(jù)分布式計(jì)算框架，是一個(gè)比mapreduce更加快速和通用的編程模型。MMLSpark(Microsoft Machine Learning for Apache Spark)[13]是一個(gè)增強(qiáng)的生態(tài)系統(tǒng)，擴(kuò)展了Apache Spark分布式計(jì)算庫(kù)，以解決深度學(xué)習(xí)、梯度增強(qiáng)、模型可解釋性和其他現(xiàn)代計(jì)算領(lǐng)域的問(wèn)題。MMLspark將LightGBM算法集成到Spark集群中，以實(shí)現(xiàn)大規(guī)模優(yōu)化的梯度增強(qiáng)。

HDFS(Hadoop Distributed File System)[14]用于大規(guī)模分布式存儲(chǔ)中，以構(gòu)建具有高容錯(cuò)性和高性能的可擴(kuò)展云存儲(chǔ)平臺(tái)。HDFS使用主從架構(gòu)，集群由一個(gè)名為Namenode的主節(jié)點(diǎn)和多個(gè)名為Datanode的從節(jié)點(diǎn)組成。YARN(Yet Another Resource Negotiator)[15]被引入作為Hadoop的資源管理層，被定義為大數(shù)據(jù)應(yīng)用程序的分布式操作系統(tǒng)。

2 入侵檢測(cè)系統(tǒng)理論分析

2.1 系統(tǒng)流程

圖1展示了本文所提出的入侵檢測(cè)系統(tǒng)的流程圖。使用KDDTrain+數(shù)據(jù)集來(lái)訓(xùn)練提出的入侵檢測(cè)系統(tǒng)，并使用KDDTest+數(shù)據(jù)集根據(jù)準(zhǔn)確率、精準(zhǔn)率、召回率和F1值進(jìn)行評(píng)估其性能，根據(jù)訓(xùn)練時(shí)間和預(yù)測(cè)時(shí)間來(lái)評(píng)估其效率，整個(gè)系統(tǒng)在Spark集群上運(yùn)行。具體步驟如下：

步驟1使用yarn-cluster模式啟動(dòng)Spark集群，從HDFS讀取數(shù)據(jù)集并創(chuàng)建DataFrame，由yarn進(jìn)行調(diào)度管理，將數(shù)據(jù)分發(fā)到各個(gè)節(jié)點(diǎn)；

步驟2對(duì)字符型數(shù)據(jù)進(jìn)行數(shù)值化轉(zhuǎn)換，并對(duì)所有數(shù)據(jù)進(jìn)行歸一化處理；

步驟3基于PCA進(jìn)行特征選擇，選出貢獻(xiàn)度最高的特征，組成新的特征子集；

步驟4使用MMLSpark中的classbalance方法對(duì)數(shù)據(jù)進(jìn)行類別不平衡處理，為不同類別的數(shù)據(jù)設(shè)置權(quán)重；

步驟5采用LightGBM算法訓(xùn)練模型，并采用QPSO為L(zhǎng)ightGBM算法選擇最優(yōu)參數(shù)；

步驟6根據(jù)評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行評(píng)估。

圖1 IDS模型

2.2 基于PCA的特征選擇

主成分分析方法是一種使用最廣泛的數(shù)據(jù)降維算法。 本文基于PCA的入侵檢測(cè)特征選擇方法的步驟如下：(1) 首先，從主成分中提取系數(shù)最大的特征；(2) 選擇前k個(gè)最大的特征值，并選擇相對(duì)應(yīng)的k個(gè)特征向量組成向量矩陣；(3) 用特征矩陣從原始數(shù)據(jù)集選出貢獻(xiàn)度高的特征，組成新的數(shù)據(jù)集。

2.3 基于LightGBM的檢測(cè)

LightGBM算法是微軟在2017年提出的基于GBDT的數(shù)據(jù)模型。盡管GBDT在許多機(jī)器學(xué)習(xí)任務(wù)上都取得了良好的學(xué)習(xí)效果，但是近年來(lái)，隨著數(shù)據(jù)量的幾何級(jí)增長(zhǎng)，GBDT面臨著準(zhǔn)確率和效率的問(wèn)題。此時(shí)LightGBM算法被提出，LightGBM算法可用于分類和回歸任務(wù)，在不降低預(yù)測(cè)準(zhǔn)確率的同時(shí)，它大大加快了預(yù)測(cè)速度，并降低了內(nèi)存消耗。

在減少訓(xùn)練數(shù)據(jù)方面，LightGBM算法使用leaf-wise生長(zhǎng)策略。與傳統(tǒng)的level-wise生長(zhǎng)策略相比，leaf-wise生長(zhǎng)策略則是一種更為高效的策略，每次從當(dāng)前所有葉子中，找到分裂增益最大的一個(gè)葉子，然后分裂，如此循環(huán)，如圖2所示。因此同level-wise生長(zhǎng)策略相比，在分裂次數(shù)相同的情況下，leaf-wise生長(zhǎng)策略可以降低更多的誤差，得到更好的精度。但是leaf-wise生長(zhǎng)策略的缺點(diǎn)是可能會(huì)長(zhǎng)出比較深的決策樹，產(chǎn)生過(guò)擬合。所以LightGBM算法在leaf-wise生長(zhǎng)策略之上增加了一個(gè)最大深度的限制，在保證高效率的同時(shí)防止過(guò)擬合。

圖2 Leaf-wise(LightGBM)和Level-wise(XGBoost)策略

2.4 基于QPSO的超參數(shù)尋優(yōu)算法

QPSO是對(duì)PSO的改進(jìn)，該算法中的粒子具有量子行為，可以在整個(gè)解空間當(dāng)中進(jìn)行搜索，能夠克服PSO易陷入局部最優(yōu)解的局限性[16]。在QPSO中，粒子被概率表示為一個(gè)量子向量，其中給定單位qubit的值(承載信息的最小單位)可以為0、1或兩者的疊加，量子粒子向量定義如下：

?s∈S,?j=1,2，…,n

(1)

?j=1,2，…,n

(2)

一旦知道了從量子中獲得離散粒子的規(guī)則，就可以描述QPSO的演化如下:

Qgbest=α×pgbest+β×(1-pgbest)

(3)

Qbest=α×pbest+β×(1-pbest)

(4)

Q′=c1×Q+c2×Qbest+c3×Qgbest

(5)

式(3)對(duì)應(yīng)于全局最佳量子粒子，符號(hào)pgbest表示全局最佳離散粒子。類似地，式(4)表示局部最佳量子粒子，pgbest表示局部最佳離散粒子，其中α和β表示控制參數(shù)且滿足0≤α，β≤1且α+β=1。

式(5)描述了量子粒子Q的演化，Q表示當(dāng)前迭代中的粒子和Q′表示Q在下一次迭代中的更新。系數(shù)(c1，c2，c3)滿足條件0≤c1，c2，c3≤1且c1+c2+c3=1。

QPSO的過(guò)程描述見(jiàn)算法1。

算法1QPSO

Data：An instance of the LightGBM

Result：The best solution of the LightGBM

initializeQ(t) andP(t);

EvalutateP(t);

Keep the best solution amongP(t);

while stopping condition is not reached do

t=t+1;

CalculateQ(t) using Equations(5-7);

GetP(t)fromQ(t) using Equation(4);

Apply the LightGBM repair operator;

EvaluateP(t);

Keep the best solution amongP(t);

end

Return the best solution of the swarm

3 實(shí)驗(yàn)評(píng)估

3.1 實(shí)驗(yàn)環(huán)境和NSL-KDD數(shù)據(jù)集

本文實(shí)驗(yàn)在Spark集群上運(yùn)行，該集群中含有3個(gè)節(jié)點(diǎn)，其中包含1個(gè)Namenode主節(jié)點(diǎn)、2個(gè)Datanode從節(jié)點(diǎn)。實(shí)驗(yàn)環(huán)境使用CentOS7系統(tǒng)，使用Python編寫的PySpark和MMLSpark算法包作為實(shí)驗(yàn)中的機(jī)器學(xué)習(xí)工具包。將程序打包并提交到Spark集群上，并采用yarn-cluster模式運(yùn)行程序。集群具體配置情況如表1所示。

表1 實(shí)驗(yàn)Spark集群配置狀況

本文采用NSL_KDD數(shù)據(jù)集，NSL-KDD數(shù)據(jù)集是KDD 99數(shù)據(jù)集的改進(jìn)，刪除了大量的重復(fù)記錄。如表2所示，NSL-KDD總共包含39種攻擊，其中每種攻擊都可分為四個(gè)類別(Probe、DoS、R2L和U2R)。此外，僅在測(cè)試集中引入了一組新型類攻擊，這些新攻擊以粗體顯示。表3展示了NSL-KDD訓(xùn)練集和測(cè)試集中的正常記錄和攻擊記錄的分布，可看出各類別分布極不均衡。

表2 NSL-KDD數(shù)據(jù)集中的攻擊類型

表3 NSL-KDD數(shù)據(jù)集中的四種攻擊和正常記錄的分布

3.2 實(shí)驗(yàn)設(shè)計(jì)

本文實(shí)驗(yàn)采用NSL_KDD數(shù)據(jù)集，與Razan Abdulhammed團(tuán)隊(duì)[17]使用PCA方法進(jìn)行特征提取不同，本文將使用PCA進(jìn)行特征選擇。為了更好地訓(xùn)練模型，克服PSO容易陷入局部最優(yōu)解的缺點(diǎn)，采用QPSO為L(zhǎng)ightGBM算法選擇最優(yōu)參數(shù)。為提高運(yùn)行效率，整個(gè)實(shí)驗(yàn)在Spark集群上運(yùn)行。

3.3 評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)采用6個(gè)評(píng)價(jià)指標(biāo)來(lái)評(píng)估模型，分別是準(zhǔn)確率(ACC)、精準(zhǔn)率(PRE)、召回率(REC)、F1值(F1-score)、訓(xùn)練時(shí)間和預(yù)測(cè)時(shí)間。分類結(jié)果混淆矩陣如表4所示。

表4 分類結(jié)果混淆矩陣

準(zhǔn)確率的計(jì)算公式為：

精準(zhǔn)率的計(jì)算公式為：

召回率的計(jì)算公式為：

F1值的計(jì)算公式為：

3.4 模型訓(xùn)練參數(shù)

將PCA用于特征提取，圖3展示了不同k取值的情況下準(zhǔn)確率的變化情況，最高準(zhǔn)確率僅為76%，其中k表示主成分的數(shù)量。

圖3 PCA取不同k值時(shí)的準(zhǔn)確率

NSL_KDD數(shù)據(jù)集共有41個(gè)特征，使用PCA進(jìn)行特征選擇，從中選擇貢獻(xiàn)度最高的特征。當(dāng)選擇前9個(gè)特征作為輸入時(shí)，入侵檢測(cè)性能最好。這9個(gè)選定的功能分別是F27、F30、F5、F23、F8、F1、F2、F39和F3，這些特征的簡(jiǎn)要說(shuō)明見(jiàn)表5。

表5 本文方法所選擇的最終9個(gè)特征

將原始數(shù)據(jù)集41個(gè)特征和基于PCA的特征選擇方法選出的9個(gè)特征分別作為入侵檢測(cè)系統(tǒng)的輸入，其結(jié)果進(jìn)行對(duì)比，如表6所示，同時(shí)與采用卡方檢驗(yàn)、隨機(jī)森林進(jìn)行特征選擇的結(jié)果進(jìn)行對(duì)比。可以看出，使用PCA進(jìn)行特征選擇取得了較好的結(jié)果。

表6 不同特征選擇算法下的檢測(cè)結(jié)果

為了使模型取得更好的效果，利用參數(shù)尋優(yōu)算法為L(zhǎng)ightGBM算法找到最優(yōu)參數(shù)。需為PSO設(shè)置如下9個(gè)參數(shù)：particle_num=20(粒子群數(shù)量)、iter_num=50(迭代次數(shù))、maxDepth(起始值,結(jié)束值)、learningRate(起始值,結(jié)束值)、numIterations(起始值,結(jié)束值)、w(慣性因子)、c1(局部學(xué)習(xí)因子)、c2(全局學(xué)習(xí)因子)、particle_dim=3(粒子維度)。經(jīng)過(guò)一定次數(shù)的迭代，PSO找到的最優(yōu)參數(shù)使準(zhǔn)確率達(dá)到79%左右，但是再經(jīng)過(guò)多次迭代，準(zhǔn)確率最高僅達(dá)到82%左右，無(wú)法繼續(xù)提高。

本文采用QPSO來(lái)尋找模型的最優(yōu)參數(shù)，僅需要設(shè)置四個(gè)參數(shù)，其中particle_dim(粒子維度)對(duì)應(yīng)待尋優(yōu)參數(shù)的個(gè)數(shù)。QPSO設(shè)置的參數(shù)如表7所示。

表7 QPSO算法參數(shù)

LightGBM算法的待尋優(yōu)參數(shù)有三個(gè)，分別為樹的最大深度maxDepth、學(xué)習(xí)率learningRate和迭代次數(shù)numIterations，其余參數(shù)使用默認(rèn)值。maxDepth是LightGBM中非常重要的一個(gè)參數(shù)，maxDepth過(guò)小，模型精度不夠，maxDepth過(guò)大，模型易過(guò)擬合。采用QPSO選擇出的LightGBM參數(shù)如表8所示。

表8 LightGBM算法參數(shù)

3.5 實(shí)驗(yàn)結(jié)果與分析

在本文提出的入侵檢測(cè)模型中，使用PCA進(jìn)行特征選擇，可取得更好的結(jié)果。圖3展示了使用PCA進(jìn)行特征提取時(shí)，不同k值所對(duì)應(yīng)的準(zhǔn)確率，整體準(zhǔn)確率不高，其中最高為75.839%。

從表6的結(jié)果可以看出，在使用基于PCA的特征選擇算法選出的9個(gè)特征作為輸入時(shí)，準(zhǔn)確率高于使用PCA進(jìn)行特征提取的結(jié)果，也取得了優(yōu)于其他特征選擇算法的效果。同時(shí)，與使用全部41個(gè)特征作為輸入相比，準(zhǔn)確率、精準(zhǔn)率、召回率和F1-score均有提升，同時(shí)由于特征數(shù)量減少，訓(xùn)練時(shí)間和預(yù)測(cè)時(shí)間均有減少。同時(shí)可以看出在Spark集群上進(jìn)行實(shí)驗(yàn)，訓(xùn)練時(shí)間大大減少，可以非常快速地進(jìn)行入侵檢測(cè)。由此可見(jiàn)，由于使用了基于PCA的特征選擇方法，僅使用了41個(gè)特征中的9個(gè)(21.95%)，就達(dá)到優(yōu)于使用全部特征訓(xùn)練模型的性能。使用參數(shù)尋優(yōu)算法是為了盡快找到待優(yōu)化模型最優(yōu)參數(shù)，但是PSO本身需要設(shè)置的參數(shù)過(guò)多，不利于最優(yōu)參數(shù)的尋找，且易陷入局部最優(yōu)解。因而采用QPSO進(jìn)行參數(shù)尋優(yōu)，算法中的粒子具有量子行為，可以在整個(gè)解空間當(dāng)中進(jìn)行搜索，實(shí)驗(yàn)證明QPSO取得了優(yōu)于PSO的結(jié)果。

表9將文獻(xiàn)[18]與本文提出的入侵檢測(cè)系統(tǒng)進(jìn)行了比較。文獻(xiàn)[18]采用K-Means聚類算法對(duì)數(shù)據(jù)集進(jìn)行聚類，然后使用XGBoost算法為每個(gè)簇訓(xùn)練不同的分類器，以取得更好的結(jié)果。從結(jié)果比對(duì)可以看出，經(jīng)過(guò)PCA特征選擇之后，再由LightGBM算法進(jìn)行訓(xùn)練的結(jié)果要優(yōu)于K-Means聚類算法和XGBoost算法的組合，本文提出的入侵檢測(cè)系統(tǒng)可有效地進(jìn)行檢測(cè)。

表9 在NSL-KDD訓(xùn)練集上的結(jié)果

4 結(jié) 語(yǔ)

利用PCA進(jìn)行特征選擇，以QPSO為L(zhǎng)ightGBM算法尋找最優(yōu)參數(shù)，并在Spark集群上進(jìn)行實(shí)驗(yàn)，可以有效、快速地進(jìn)行入侵檢測(cè)。從本文的實(shí)驗(yàn)結(jié)果可以看出，使用PCA進(jìn)行特征選擇，僅使用9個(gè)特征進(jìn)行訓(xùn)練得出的結(jié)果優(yōu)于原始數(shù)據(jù)集的41個(gè)特征。在入侵檢測(cè)方向，LightGBM算法也展現(xiàn)了良好的性能。

在未來(lái)的工作中，將計(jì)劃探索更多的特征預(yù)處理，以及更有效的分類算法，以更好地進(jìn)行入侵檢測(cè)。目前，還在研究設(shè)計(jì)更有效的方法以針對(duì)入侵檢測(cè)，以及使用分布式計(jì)算減少模型訓(xùn)練時(shí)間。