基于強(qiáng)化學(xué)習(xí)的特征提取方法在攻擊識(shí)別中的應(yīng)用

李曉明 王文暉 任琳琳 晏 涌 陳兆玉 沙 蕓 劉學(xué)君

1(中國航空油料集團(tuán)有限公司信息技術(shù)和網(wǎng)絡(luò)安全研發(fā)中心 北京 100089)

2(北京石油化工學(xué)院信息工程學(xué)院 北京 102600)

(lixm@cnaf.com)

伴隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)安全所面臨的挑戰(zhàn)愈發(fā)嚴(yán)峻，網(wǎng)絡(luò)攻擊逐漸呈現(xiàn)多階段、分布式和智能化的特性[1-3].雖然異常檢測系統(tǒng)(anomaaly detection system, ADS)能有效地對工控中的異常進(jìn)行檢測，但隨著攻擊技術(shù)的不斷發(fā)展，一些組合的逃逸技術(shù)仍可以逃脫檢測，從而對網(wǎng)絡(luò)發(fā)起攻擊[4].

神經(jīng)網(wǎng)絡(luò)( neural network, NN)具有檢測準(zhǔn)確度高且有良好的非線性映射和學(xué)習(xí)能力、建模簡單、容錯(cuò)性強(qiáng)等優(yōu)點(diǎn)[5].支持向量機(jī)(support vector machines, SVM)是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上提出的一種學(xué)習(xí)方法，其將輸入向量映射到一個(gè)高維空間，在這個(gè)高維空間中構(gòu)造最優(yōu)分類平面[6].神經(jīng)網(wǎng)絡(luò)和SVM在攻擊識(shí)別領(lǐng)域都有廣泛的應(yīng)用.但隨著工控?cái)?shù)據(jù)愈發(fā)龐大，使用神經(jīng)網(wǎng)絡(luò)和SVM來進(jìn)行訓(xùn)練時(shí)所需要的時(shí)間越來越長，準(zhǔn)確率也受到影響.Hotelling[7]提出了一種使用在維度間找到近似線性關(guān)系對高維特征進(jìn)行降維的方法，稱為主成分分析(principal component analysis, PCA).PCA通過析取主成分顯出最大的個(gè)別差異，用來減少樣本集中特征的數(shù)量.但噪聲對PCA的分析結(jié)果影響很大.

因此，在特征相對獨(dú)立的數(shù)據(jù)集上為了解決噪聲對特征提取的干擾，本文提出了一種使用強(qiáng)化學(xué)習(xí)進(jìn)行特征提取的方法.

1 算法實(shí)現(xiàn)

1.1 強(qiáng)化學(xué)習(xí)過程

強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的范式和方法論之一，用于描述和解決智能體在與環(huán)境的交互過程中通過學(xué)習(xí)策略以達(dá)成回報(bào)最大化或?qū)崿F(xiàn)特定目標(biāo)的問題[8].本算法中的強(qiáng)化學(xué)習(xí)過程如圖1所示.

圖1 強(qiáng)化學(xué)習(xí)流程圖

首先創(chuàng)建一個(gè)智能體模塊，其能夠讀取信息并作出動(dòng)作.之后將樣本輸入到智能體中，智能體首先計(jì)算出樣本維度(特征個(gè)數(shù))，再根據(jù)每一個(gè)特征，計(jì)算相應(yīng)的閾值.閾值為所有樣本該特征的均值.

計(jì)算完閾值后，智能體讀取第1個(gè)樣本的第1個(gè)特征，與前面計(jì)算出的該特征的閾值相比較，并按初始決策矩陣采取動(dòng)作.初始決策矩陣內(nèi)有2種動(dòng)作，分別是發(fā)出報(bào)警和不發(fā)出報(bào)警.2種動(dòng)作采取的概率均為50%.

采取動(dòng)作之后，即可依照獎(jiǎng)勵(lì)矩陣對動(dòng)作進(jìn)行獎(jiǎng)勵(lì).獎(jiǎng)勵(lì)矩陣的設(shè)定需視情形而定[9].在某些特定問題下，假陰性要比假陽性的危害大得多(例如疾病)，此時(shí)假陰性所得到的懲罰就要比假陽性大得多.在本算法中，為簡化計(jì)算過程，設(shè)定獎(jiǎng)勵(lì)矩陣如表1所示：

表1 獎(jiǎng)勵(lì)矩陣

智能體每次得到獎(jiǎng)勵(lì)，都會(huì)累積到一個(gè)過程矩陣Q中.矩陣Q為n行4列(列標(biāo)為0～3)，其中n為特征數(shù).Q[0]，Q[1]列為當(dāng)讀取特征大于閾值時(shí)智能體不發(fā)出和發(fā)出警報(bào)所累積的獎(jiǎng)勵(lì)矩陣數(shù)值；Q[2]，Q[3]列為當(dāng)讀取特征大于閾值時(shí)，智能體不發(fā)出或發(fā)出警報(bào)所累積的獎(jiǎng)勵(lì)矩陣數(shù)值.

對動(dòng)作進(jìn)行獎(jiǎng)勵(lì)并存儲(chǔ)之后，智能體讀取該樣本的下一個(gè)特征，并按照初始決策矩陣采取動(dòng)作，獲得獎(jiǎng)勵(lì).對每一個(gè)樣本的每一個(gè)特征執(zhí)行上述操作，最終得到了過程矩陣Q.

依照矩陣Q，可計(jì)算決策矩陣D.D為n行2列的矩陣，計(jì)算公式如下：

(1)

(2)

其中，D[0]，D[1]為決策矩陣的第1，2列.

按照決策矩陣對原數(shù)據(jù)集進(jìn)行特征提取，提取過程如圖2所示：

圖2 特征提取流程圖

決策矩陣共有n行，n為特征數(shù)量.其按行求和后，得到每一個(gè)特征所對應(yīng)的概率和.通過經(jīng)驗(yàn)設(shè)定一個(gè)概率閾值，概率和小于該閾值的特征被視為冗余特征.去除所有冗余特征后，得到新的數(shù)據(jù)集，即為原數(shù)據(jù)集經(jīng)過強(qiáng)化學(xué)習(xí)預(yù)處理后的數(shù)據(jù)集.

1.2 訓(xùn)練過程

將經(jīng)過強(qiáng)化學(xué)習(xí)修正后的數(shù)據(jù)集放入神經(jīng)網(wǎng)絡(luò)和SVM中進(jìn)行訓(xùn)練并分類.

1.2.1 神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程

將經(jīng)過強(qiáng)化學(xué)習(xí)修正后的樣本放入神經(jīng)網(wǎng)絡(luò)，訓(xùn)練網(wǎng)絡(luò)內(nèi)的參數(shù)，最終建立可以識(shí)別工控攻擊的神經(jīng)網(wǎng)絡(luò).本文采用了梯度下降法對神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行訓(xùn)練.

神經(jīng)網(wǎng)絡(luò)隱藏層和輸出層的公式如下：

y=WTx+b,

(3)

(4)

其中，x是經(jīng)過智能體優(yōu)化后，輸入到神經(jīng)網(wǎng)絡(luò)輸入層的值，y是輸出層的值，a是輸出值.

使用如下方法定義損失函數(shù)和每次迭代后權(quán)重矩陣的更新值：

(5)

(6)

其中，η為學(xué)習(xí)率.為保證算法能夠快速收斂，多次實(shí)驗(yàn)后取0.001.

1.2.2 SVM訓(xùn)練過程

利用SVM進(jìn)行分類時(shí)，決策函數(shù)為1對多，并且使用RBF函數(shù)作為核函數(shù)，公式如下：

(7)

其中，σ為徑向基寬度，經(jīng)過多次實(shí)驗(yàn)取0.2.

1.3 評價(jià)指標(biāo)

神經(jīng)網(wǎng)絡(luò)訓(xùn)練之后的分類評估可有以下幾個(gè)指標(biāo)，包括準(zhǔn)確率(accuracy)、精確率(precision)、召回率(recall)、F1值等[10].TP是原本為正判定為正的樣本數(shù)，F(xiàn)P代表原本為負(fù)判定為正的樣本數(shù)，F(xiàn)N代表原本為正判定為負(fù)的樣本數(shù)，TN代表原本為負(fù)被判定為負(fù)的樣本數(shù)，相應(yīng)的計(jì)算公式如下：

(8)

(9)

(10)

(11)

2 實(shí)驗(yàn)結(jié)果與分析

本算法的實(shí)驗(yàn)環(huán)境為Windows10，調(diào)試環(huán)境為python3.8.3，tensorflow2.3.0.

分別對NSL-KDD數(shù)據(jù)集、自建數(shù)據(jù)集、密西西比數(shù)據(jù)集的原始數(shù)據(jù)集、PCA以及強(qiáng)化學(xué)習(xí)處理后的數(shù)據(jù)集用神經(jīng)網(wǎng)絡(luò)和SVM進(jìn)行訓(xùn)練，比較訓(xùn)練結(jié)果及運(yùn)行時(shí)間.

2.1 NSL-KDD數(shù)據(jù)集

NSL-KDD數(shù)據(jù)集是從模擬的美國空軍局域網(wǎng)上采集的9個(gè)星期的網(wǎng)絡(luò)連接數(shù)據(jù)，分為訓(xùn)練集和測試集，訓(xùn)練集具有125 973條數(shù)據(jù)，其中有46.54%的正常樣本，其余為不同類型的攻擊樣本(標(biāo)簽均為“1”).訓(xùn)練集中有22 544條數(shù)據(jù).

對NSL-KDD數(shù)據(jù)集采用原始數(shù)據(jù)集和PCA、強(qiáng)化學(xué)習(xí)2種預(yù)處理方式處理后的數(shù)據(jù)集，用神經(jīng)網(wǎng)絡(luò)和SVM訓(xùn)練后的分類結(jié)果如表2、表3所示:

表2 NSL-KDD數(shù)據(jù)集3種預(yù)處理方式神經(jīng)網(wǎng)絡(luò)分類結(jié)果

表3 NSL-KDD數(shù)據(jù)集3種預(yù)處理方式SVM分類結(jié)果

由表2可以看出，在NSL-KDD數(shù)據(jù)集上，使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，強(qiáng)化學(xué)習(xí)預(yù)處理后的數(shù)據(jù)集準(zhǔn)確率相較于處理前提升了1.6%，運(yùn)行時(shí)間降低了0.3 s；相較于PCA方法，準(zhǔn)確率提升了0.6%，運(yùn)行時(shí)間大致不變.

由表3可以看出，在NSL-KDD數(shù)據(jù)集上，使用SVM訓(xùn)練時(shí)，強(qiáng)化學(xué)習(xí)預(yù)處理后的數(shù)據(jù)集準(zhǔn)確率相較于處理前略微降低，和PCA方法基本持平，但花費(fèi)時(shí)間更長.

2.2 自建數(shù)據(jù)集

該數(shù)據(jù)集是根據(jù)某油庫正常行為時(shí)的工控?cái)?shù)據(jù)，采用偏差攻擊得到的自建數(shù)據(jù)集.

該數(shù)據(jù)集為8 281行，132列，其中最后一列為標(biāo)簽(1為攻擊，0為正常)，其余列為特征(包括溫度、液位、壓力等數(shù)據(jù)).該數(shù)據(jù)集包括4 141個(gè)正常樣本和4 140個(gè)攻擊樣本.

對自建數(shù)據(jù)集也分別采用3種數(shù)據(jù)樣本以及2種處理方式，得到的分類結(jié)果如表4、表5所示：

表4 自建數(shù)據(jù)集3種預(yù)處理方式神經(jīng)網(wǎng)絡(luò)分類結(jié)果

表5 自建數(shù)據(jù)集3種預(yù)處理方式SVM分類結(jié)果

由表4可以看出，使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，在自建數(shù)據(jù)集上，準(zhǔn)確率相較于處理前提高了0.12%，這意味著判斷錯(cuò)誤的樣本個(gè)數(shù)從3個(gè)減少到了1個(gè)，同時(shí)訓(xùn)練時(shí)間幾乎不變；準(zhǔn)確率和運(yùn)行時(shí)間都優(yōu)于PCA方法.

由表5可以看出，在自建數(shù)據(jù)集上，使用SVM訓(xùn)練時(shí)，3種方法在準(zhǔn)確率上并無差別，0.03%的錯(cuò)誤率意味著每種方法都只有1個(gè)誤判.但在運(yùn)行時(shí)間上，PCA和強(qiáng)化學(xué)習(xí)預(yù)處理方法比處理前都提升了0.3 s.

2.3 密西西比數(shù)據(jù)集

密西西比數(shù)據(jù)集，是密西西比州立大學(xué)提出的用于工控系統(tǒng)入侵檢測評估的數(shù)據(jù)集，收集的信息是天然氣管道中遠(yuǎn)程終端單元與主控制單元之間的網(wǎng)絡(luò)事務(wù)，用于模擬天然氣管道上的實(shí)際攻擊和操作員活動(dòng)，包括了61 156個(gè)正常樣本和35 863個(gè)異常樣本[11].

對密西西比數(shù)據(jù)集也分別采用3種數(shù)據(jù)樣本以及2種處理方式得到的分類結(jié)果如表6、表7所示:

表6 密西西比數(shù)據(jù)集3種預(yù)處理方式神經(jīng)網(wǎng)絡(luò)分類結(jié)果

表7 密西西比數(shù)據(jù)集3種預(yù)處理方式SVM分類結(jié)果

由表6可以看出，在密西西比數(shù)據(jù)集上，使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，盡管運(yùn)行時(shí)間提高了0.1 s，但準(zhǔn)確率下降了10%，在運(yùn)行時(shí)間上也并無太大差別.這表明強(qiáng)化學(xué)習(xí)預(yù)處理方法依舊有其不足之處.

由表7可以看出，在密西西比數(shù)據(jù)集上，使用SVM訓(xùn)練時(shí)，從準(zhǔn)確率上看，強(qiáng)化學(xué)習(xí)預(yù)處理方法和處理前幾乎無差別，但PCA的準(zhǔn)確率大幅下降.從運(yùn)行時(shí)間上看，相較于處理前，PCA方法縮短了325 s，強(qiáng)化學(xué)習(xí)預(yù)處理方法縮短了258 s，效率提升了41%.

綜上所述，從神經(jīng)網(wǎng)絡(luò)的分類結(jié)果看，在NSL-KDD和自建數(shù)據(jù)集上，強(qiáng)化學(xué)習(xí)預(yù)處理后的數(shù)據(jù)集比其余2種方法的效果都有所提高，并且訓(xùn)練時(shí)間要快于處理前，但在密西西比數(shù)據(jù)集上強(qiáng)化學(xué)習(xí)預(yù)處理后的數(shù)據(jù)集準(zhǔn)確率遠(yuǎn)小于另外2種方式，并且運(yùn)行時(shí)間差別不大.從SVM的分類結(jié)果看，強(qiáng)化學(xué)習(xí)預(yù)處理的方法在NSL-KDD上的準(zhǔn)確率略微下降，其余2個(gè)數(shù)據(jù)集上的準(zhǔn)確率基本持平.從運(yùn)行時(shí)間上看，強(qiáng)化學(xué)習(xí)預(yù)處理的方法在密西西比數(shù)據(jù)集上較處理前有大幅提升，在其余2個(gè)數(shù)據(jù)集上差別不大.

從上述結(jié)果可以看出，強(qiáng)化學(xué)習(xí)的數(shù)據(jù)預(yù)處理方法對神經(jīng)網(wǎng)絡(luò)進(jìn)行分類時(shí)，效果有所提升，但采用SVM進(jìn)行分類時(shí)，效果不明顯.這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)的神經(jīng)元結(jié)構(gòu)意味著每一個(gè)輸入維度都對結(jié)果有影響，而SVM中少數(shù)支持向量決定了最終的分類結(jié)果，因此維度的增加對其準(zhǔn)確率影響很小，但由于其需要計(jì)算高維空間的歐氏距離，因此運(yùn)行時(shí)間大大增加.

為了探尋強(qiáng)化學(xué)習(xí)預(yù)處理方法的適用性，本文使用克魯斯卡爾[12]方法處理了3個(gè)數(shù)據(jù)集.克魯斯卡爾方法可以尋找數(shù)據(jù)集的最小生成樹，從而找出特征間的關(guān)聯(lián).在NSL-KDD和偏差攻擊數(shù)據(jù)集上，特征都被分為了多組；而在密西西比數(shù)據(jù)集上，特征僅被分為了1組.這代表著前兩者都具有多棵決策樹，而密西西比數(shù)據(jù)集只有1棵決策樹.對于只有1棵決策樹的數(shù)據(jù)集，可以認(rèn)為其沒有冗余特征，所有的特征都影響著最終的決策，此時(shí)去除特征就會(huì)降低準(zhǔn)確率.

2.4 概率閾值優(yōu)化

除了上述結(jié)果外，決策矩陣中概率閾值的選取也對結(jié)果有一定的影響.在丟棄特征時(shí)，需要設(shè)定一個(gè)概率閾值，丟棄概率和小于概率閾值的特征.概率閾值的設(shè)定可通過實(shí)驗(yàn)確定，概率閾值和準(zhǔn)確率間的關(guān)系如圖3所示：

圖3 不同概率閾值時(shí)樣本的準(zhǔn)確率

可以看出，隨著概率閾值的不斷提高，準(zhǔn)確率也在不斷提高.這是因?yàn)閬G棄了更多把握不大的特征之后，保留了有助于判斷結(jié)果的特征，從而減少了無效特征的干擾.

3 結(jié) 論

綜上研究表明，強(qiáng)化學(xué)習(xí)預(yù)處理方法在特征間關(guān)聯(lián)性較弱的數(shù)據(jù)集上表現(xiàn)很好，可以有效篩選出關(guān)鍵特征，減少無效特征的分類干擾.但在特征間關(guān)聯(lián)性很強(qiáng)的數(shù)據(jù)集上表現(xiàn)欠佳.因此，可以結(jié)合克魯斯卡爾方法，先找到最小生成樹，再判斷是否進(jìn)行提取.此外，下一步的工作中可以將多個(gè)特征視為一個(gè)特征，在強(qiáng)化學(xué)習(xí)時(shí)將多個(gè)特征視為一個(gè)整體進(jìn)行判斷，從而減少特征間關(guān)聯(lián)性強(qiáng)對強(qiáng)化學(xué)習(xí)預(yù)處理方法的影響.