基于特征選擇和時間卷積網(wǎng)絡(luò)的工業(yè)控制系統(tǒng)入侵檢測

石樂義，侯會文，徐興華，許翰林，陳鴻龍

(1.中國石油大學(xué)（華東） 計算機(jī)科學(xué)與技術(shù)學(xué)院，山東 青島 266580；2.中國石油大學(xué)（華東） 海洋與空間信息學(xué)院，山東 青島 266580；3.中國石油大學(xué)（華東） 控制科學(xué)與工程學(xué)院，山東 青島 266580）)

工業(yè)控制系統(tǒng)（industrial control system，ICS）是用于工業(yè)生產(chǎn)的控制系統(tǒng)的統(tǒng)稱[1]，由各種工業(yè)設(shè)備組件構(gòu)成，負(fù)責(zé)工業(yè)生產(chǎn)流程中的監(jiān)測控制和資源調(diào)度，實現(xiàn)設(shè)備的自動化運行，為現(xiàn)代化工業(yè)提供支撐，是國家基礎(chǔ)設(shè)施建設(shè)的重要組成部分。近年來，針對工業(yè)控制系統(tǒng)的安全事件頻發(fā)，如伊朗震網(wǎng)病毒、火焰病毒、WannaCry勒索病毒事件等，對國家經(jīng)濟(jì)和社會都帶來了嚴(yán)重的危害。

工業(yè)控制系統(tǒng)安全事件揭示了所面臨的安全問題，究其原因主要有以下幾個方面：首先，工業(yè)控制系統(tǒng)的軟硬件設(shè)備固有的安全漏洞和在更新迭代過程中產(chǎn)生的安全漏洞使黑客有可乘之機(jī)；其次，現(xiàn)代化的工業(yè)控制系統(tǒng)網(wǎng)絡(luò)環(huán)境日趨開放，更具有開放性和共享性，使入侵途徑增多，攻擊風(fēng)險大大增加；最后，工業(yè)控制系統(tǒng)的重要性日益顯現(xiàn)，也使其逐步成為網(wǎng)絡(luò)攻擊的首要目標(biāo)。

為應(yīng)對日益嚴(yán)峻的工業(yè)控制系統(tǒng)安全形勢，如何保護(hù)工業(yè)控制系統(tǒng)的安全已成為亟待解決的問題。安全領(lǐng)域研究人員已經(jīng)提出了防火墻、訪問控制、信息加密等防御策略，但以上安全方案因自身安全防御策略的不足，雖能抵御攻擊入侵，但不能快速、高效地實現(xiàn)安全防御。入侵檢測是一種對流量數(shù)據(jù)進(jìn)行檢測并異常報警的安全防護(hù)技術(shù)，能夠發(fā)現(xiàn)潛在的惡意活動或入侵，是對其他安全技術(shù)方案的升級，能夠有效地實現(xiàn)對工業(yè)控制系統(tǒng)的實時監(jiān)測，保證工業(yè)控制系統(tǒng)的安全運行。

深度學(xué)習(xí)技術(shù)作為機(jī)器學(xué)習(xí)領(lǐng)域的前沿技術(shù)，模型的學(xué)習(xí)能力會隨著模型深度的增加而呈指數(shù)增長，在計算機(jī)視覺[2]、自然語言處理[3]、語音識別[4]等領(lǐng)域得到廣泛的應(yīng)用。在入侵檢測領(lǐng)域，Liu等[5]提出一種新的兩級檢測框架，一級檢測采用CNN進(jìn)行特征提取，二級檢測提出狀態(tài)轉(zhuǎn)移算法，將CNN模型提取的特征作為算法的輸入，建立ICS的正常狀態(tài)的轉(zhuǎn)換方程，有效地實現(xiàn)了入侵檢測。Mirza等[6]使用LSTM處理計算機(jī)網(wǎng)絡(luò)數(shù)據(jù)，能夠同時處理固定長度和可變長度的數(shù)據(jù)序列。石樂義等[7]利用相關(guān)信息熵進(jìn)行特征選擇，運用CNN–BiLSTM并融合多頭注意力機(jī)制進(jìn)行入侵檢測，取得了較低的漏報率。Chawla等[8]提出一種基于遞歸神經(jīng)網(wǎng)絡(luò)的高效計算的入侵檢測系統(tǒng)，將堆疊CNN和GRU相結(jié)合以檢測異常。Yan等[9]構(gòu)建了一種基于自動編碼器和LSTM的入侵檢測模型，將深度學(xué)習(xí)方法用于特征提取。以上方法通過對大量流量數(shù)據(jù)進(jìn)行訓(xùn)練，能夠及時地發(fā)現(xiàn)入侵攻擊行為，大幅提升了模型的檢測效果，但這些方法也有一定的局限性，帶來了更大的系統(tǒng)開銷和更長的模型訓(xùn)練時間。同時，面對復(fù)雜多變的安全威脅，在收集到的攻擊流量數(shù)據(jù)不足、數(shù)據(jù)集規(guī)模小時，深度學(xué)習(xí)模型無法進(jìn)行有效的訓(xùn)練，使入侵檢測性能降低。

針對流量數(shù)據(jù)不足，數(shù)據(jù)集規(guī)模小等問題，Mathew等[10]結(jié)合遷移學(xué)習(xí)方法，使用Inception模型作為初始模型進(jìn)行微調(diào)，在專有的ATM監(jiān)控訓(xùn)練集上訓(xùn)練模型，獲得了更好的準(zhǔn)確率。遷移學(xué)習(xí)（transfer learning，TL）被設(shè)計成利用數(shù)據(jù)、模型和任務(wù)之間的相似性，將從源域中學(xué)習(xí)到的知識遷移到目標(biāo)域，來幫助目標(biāo)域訓(xùn)練，能夠有效地解決目標(biāo)域訓(xùn)練數(shù)據(jù)不足的問題，具有更廣泛的應(yīng)用前景[11]。然而，在工業(yè)控制系統(tǒng)入侵檢測領(lǐng)域，系統(tǒng)通過訪問時間戳順序收集流量數(shù)據(jù)信息，致使采集到的流量數(shù)據(jù)具有強烈的時間特性，僅將遷移學(xué)習(xí)引入到工業(yè)控制系統(tǒng)入侵檢測中不能充分利用工業(yè)控制系統(tǒng)流量數(shù)據(jù)的時間特性為入侵檢測帶來更好的效果。

針對時間序列檢測，循環(huán)神經(jīng)網(wǎng)絡(luò)獲得了廣泛的應(yīng)用，但大部分存在梯度消失、并行性差、模型難以收斂等問題，導(dǎo)致入侵檢測的精度較低。相比于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)，時間卷積網(wǎng)絡(luò)（temporal convolution network，TCN）被用于時間序列分析時，具有更好的性能表現(xiàn)[12]，可以為工業(yè)控制系統(tǒng)入侵檢測帶來更好的檢測效果。

由于工業(yè)控制系統(tǒng)需要處理大量的數(shù)據(jù)導(dǎo)致采集的流量數(shù)據(jù)具有特征冗余和特征不相關(guān)特性，不僅增加了模型的復(fù)雜度，降低了檢測速度，而且需要消耗大量的計算資源[13]。針對該問題，許多研究者采用特征選擇的方法實現(xiàn)數(shù)據(jù)降維并達(dá)到去除數(shù)據(jù)冗余的目的。利用特征選擇算法尋找最優(yōu)的特征子集以實現(xiàn)數(shù)據(jù)降維，不僅可以提高入侵檢測效率還可以降低系統(tǒng)的開銷，節(jié)約成本，這對工業(yè)控制系統(tǒng)入侵檢測至關(guān)重要。Chen等[14]提出一種基于主成分分析（PCA）、決策樹和樸素貝葉斯的自適應(yīng)網(wǎng)絡(luò)入侵檢測模型，使用PCA去除不重要信息，實現(xiàn)數(shù)據(jù)降維。唐成華等[15]通過FCM算法全局搜索，利用信息增益算法進(jìn)行特征排序，結(jié)合約登指數(shù)刪減冗余特征。Jadhav等[16]提出一種信息增益定向特征選擇算法（IGDF），利用信息增益執(zhí)行特征的排序篩選。上述方法由于僅采用單一的特征選擇方法，不能同時兼顧特征本身及特征之間的聯(lián)系導(dǎo)致特征選擇效果并沒有達(dá)到最優(yōu)。

針對上述工業(yè)控制系統(tǒng)流量數(shù)據(jù)不足、特征冗余等問題，為更好地處理工業(yè)控制系統(tǒng)數(shù)據(jù)流量，提高模型的檢測能力，本文結(jié)合遷移學(xué)習(xí)提出一種工業(yè)控制系統(tǒng)入侵檢測方法。首先，結(jié)合IGR–PCA特征選擇算法對數(shù)據(jù)進(jìn)行預(yù)處理，在降維的同時提高源域數(shù)據(jù)集質(zhì)量。其次，在較大規(guī)模數(shù)據(jù)集上利用時間卷積網(wǎng)絡(luò)搭建源域TCN預(yù)訓(xùn)練模型學(xué)習(xí)源域知識。最后，在源域TCN預(yù)訓(xùn)練模型的基礎(chǔ)上，引入遷移學(xué)習(xí)的思想，在較小規(guī)模數(shù)據(jù)集上對模型進(jìn)行微調(diào)，搭建目標(biāo)域TCN–TL入侵檢測模型，減少訓(xùn)練過程的時間消耗。

1 工業(yè)控制系統(tǒng)入侵檢測模型

為降低工業(yè)控制系統(tǒng)數(shù)據(jù)集的特征冗余，實現(xiàn)對流量數(shù)據(jù)的有效檢測，本文建立了工業(yè)控制系統(tǒng)入侵檢測模型，該模型整體流程如圖1所示。本文模型整體流程主要包含5個部分：數(shù)據(jù)預(yù)處理模塊、特征選擇模塊、源域TCN預(yù)訓(xùn)練模型、目標(biāo)域TCN–TL入侵檢測模型、入侵檢測結(jié)果輸出模塊。

圖1 本文模型整體流程Fig.1 Overall process of the proposed model

1.1 數(shù)據(jù)預(yù)處理

在工業(yè)控制系統(tǒng)中，數(shù)據(jù)采集與監(jiān)控系統(tǒng)（SCADA）負(fù)責(zé)對現(xiàn)場設(shè)備節(jié)點進(jìn)行集中監(jiān)測和遠(yuǎn)程控制，利用傳感器收集流量數(shù)據(jù)信息，其中，包括報警信息、過程狀態(tài)數(shù)據(jù)等，對數(shù)據(jù)的采集發(fā)揮著重要的作用。在工控系統(tǒng)中，網(wǎng)絡(luò)攻擊會使傳感器測量值嚴(yán)重越界，明顯超出警報點設(shè)置范圍的過程測量值，從而產(chǎn)生異常值；同時，SCADA通常用于監(jiān)測流量必經(jīng)的鏈路并進(jìn)行數(shù)據(jù)采集，因此獲得的數(shù)據(jù)流量中正常的樣本總是占多數(shù)，某些攻擊類型的樣本數(shù)量偏少，存在樣本不平衡問題；另外，采集到的數(shù)據(jù)參數(shù)數(shù)值范圍不同，存在數(shù)值量差異大的問題。因此，需要先對數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理。

1.1.1 異常值處理

在工控數(shù)據(jù)集中，“measurement”特征表示天然氣管道壓力，響應(yīng)注入攻擊（MRI）和偵察攻擊（RECO）會造成該特征異常，如該特征數(shù)值為8.66E+26，數(shù)值大小明顯異常。從工業(yè)控制系統(tǒng)實際情況出發(fā)，為特征“measurement”設(shè)定閾值，超出正常壓力范圍則重新賦值。數(shù)據(jù)流量二分類時, 可考慮將“measurement”數(shù)據(jù)異常直接判定為異常流量；數(shù)據(jù)流量多分類時，為該特征大小設(shè)定閾值，結(jié)合其他數(shù)據(jù)流量特征繼續(xù)細(xì)分攻擊類別，以便更好地進(jìn)行安全防護(hù)。

1.1.2 不平衡數(shù)據(jù)集處理

在工控數(shù)據(jù)集中存在著樣本不平衡問題，為解決數(shù)據(jù)樣本不平衡，本文使用SMOTE–Tomek Links方法[17]，先使用SMOTE方法對少數(shù)類樣本進(jìn)行過采樣處理，再結(jié)合數(shù)據(jù)清洗技術(shù)Tomek Links解決SMOTE方法在生成少數(shù)類樣本時容易產(chǎn)生樣本重疊的問題，使合成后的樣本數(shù)據(jù)更加合理。

SMOTE–Tomek Links的過程為：

1）首先，隨機(jī)選擇少數(shù)類樣本Vi；然后，從數(shù)據(jù)中設(shè)置K近鄰，在樣本Vi和隨機(jī)選擇的K近鄰之間生成合成數(shù)據(jù)，將合成樣本添加到少數(shù)類中，重復(fù)此步驟，直到達(dá)到所需的少數(shù)類樣本比例，新樣本合成如式（1）所示：

式中，Vj為選出的鄰近點，δ表示范圍為[0,1]的隨機(jī)數(shù)。

2）尋找并刪除Tomek Links對。

設(shè)d(Vm,Vn)表示Vm與Vn之間的歐幾里得距離，其中，Vm為少數(shù)類的樣本，Vn為多數(shù)類的樣本；如果沒有樣本Vk滿足d(Vm,Vk)d(Vm,Vn)或d(Vn,Vk)d(Vm,Vn)，則(Vm,Vn)對是Tomek Links對，應(yīng)刪除Tomek Links對。

1.1.3 歸一化處理

工控數(shù)據(jù)集在異常值處理后，還存在著數(shù)據(jù)差異大的問題，采用歸一化方法可以消除不同特征之間的差異，本文采用MinMax歸一化方法將特征值映射到區(qū)間[0,1]之間：

式中，x′為 經(jīng)過歸一化之后的數(shù)據(jù)，xmin為該特征數(shù)據(jù)的最小值，xmax為該特征數(shù)據(jù)的最大值。

1.2 基于IGR–PCA的特征選擇算法

工業(yè)控制系統(tǒng)數(shù)據(jù)維度更高，特征之間存在相關(guān)性且有冗余特征，會增加模型復(fù)雜度，降低分類精度?；诖吮尘?，為篩選出最優(yōu)特征子集，實現(xiàn)數(shù)據(jù)的降維，本文提出一種基于混合信息增益率（information gain ratio，IGR）和主成分分析（principal component analysis，PCA）的IGR–PCA特征選擇算法。

信息增益被廣泛用于特征選擇，信息增益率相比于信息增益，引入分裂信息能夠?qū)S度較高的特征進(jìn)行懲罰，減少對維度較高特征的傾向[18]。假設(shè)工控數(shù)據(jù)集X={x1,x2,x3,···,xn}，其中n為樣本總數(shù)；數(shù)據(jù)集特征集合F={f1,f2,f3,···,fm}，其中m為特征種類的數(shù)量，則信息熵的計算可表示為：

式中：k為根據(jù)特征f劃分子集數(shù)量的種類；fi為第i類子集的數(shù)量；SplitInfo(X,f)表示將數(shù)據(jù)按照特征f劃分為k個子集的分裂信息，其公式如下：

通過信息增益率去除冗余特征，篩選出對分類影響較大的特征，初步實現(xiàn)數(shù)據(jù)的降維，但在降維過程中忽略了特征之間的相關(guān)性。為保留數(shù)據(jù)的原始信息，減少特征相關(guān)性對流量數(shù)據(jù)分類的影響，接下來使用主成分分析進(jìn)行降維。主成分分析是有效的數(shù)據(jù)分析方法，能夠最大限度地在保留原始數(shù)據(jù)信息的基礎(chǔ)上，實現(xiàn)高維數(shù)據(jù)向低維數(shù)據(jù)的轉(zhuǎn)換[19]。主成分分析的主要步驟如下：

1）標(biāo)準(zhǔn)化樣本數(shù)據(jù)：

式中，xs為標(biāo)準(zhǔn)化后的樣本數(shù)據(jù)，μ為特征數(shù)據(jù)的均值，σ為特征數(shù)據(jù)的標(biāo)準(zhǔn)差。

2）計算協(xié)方差矩陣C：

式中，Xs為標(biāo)準(zhǔn)化后的樣本矩陣，N為變量的個數(shù)。

3）計算協(xié)方差矩陣C的特征值λj與特征向量ui，根據(jù)特征值計算主成分的貢獻(xiàn)率和累計貢獻(xiàn)率，選取前k個累計貢獻(xiàn)率達(dá)85%的特征值對應(yīng)的特征向量構(gòu)成特征變換矩陣T。

4）根據(jù)標(biāo)準(zhǔn)化后的樣本數(shù)據(jù)Xs和特征變換矩陣T計算獲得新的樣本矩陣Y。

IGR–PCA算法的基本思想：使用信息增益率從數(shù)據(jù)集特征中篩選出重要的特征，引入主成分分析法，去除重要特征之間的相關(guān)性，再次降低維度，實現(xiàn)特征選擇，從而提高模型的訓(xùn)練速度。IGR–PCA特征選擇算法的詳細(xì)內(nèi)容如下：

算 法基于IGR–PCA的特征選擇算法

輸入：工控數(shù)據(jù)集X，流量特征集合F

輸出：特征選擇后的特征矩陣Y

1. For eachfi∈F

2. 根據(jù)式（3）計算fi的信息熵；

3. 根據(jù)式（4）計算fi的信息增益率；

4. 數(shù)據(jù)按照IGR降序排列，篩選重要特征；

5. 得到新的樣本矩陣FIGR；

6. End For

7. 根據(jù)式（6）對FIGR進(jìn) 行標(biāo)準(zhǔn)化處理得到矩陣Xs；

8. 根據(jù)式（7）計算協(xié)方差矩陣C；

9. 計算C的特征值λj與特征向量ui，按照累計貢獻(xiàn)率選取前k個特征向量構(gòu)成特征變換矩陣T；

10. 獲得新的樣本矩陣Y；

11. 返回Y。

1.3 源域TCN預(yù)訓(xùn)練模型

為解決時間序列預(yù)測問題，TCN引入1維卷積、因果卷積、擴(kuò)張卷積和殘差塊等，在時間序列中表現(xiàn)優(yōu)異[20]。本文將依據(jù)工業(yè)控制系統(tǒng)數(shù)據(jù)流量的時間序列特性，構(gòu)建TCN入侵檢測模型，利用TCN對時間序列的優(yōu)異表現(xiàn)，將TCN模型作為源域預(yù)訓(xùn)練模型，TCN網(wǎng)絡(luò)模型圖如圖2所示。

圖2 TCN模型圖Fig.2 TCN model diagram

時間卷積網(wǎng)絡(luò)使用1維全卷積網(wǎng)絡(luò)（FCN）架構(gòu)，網(wǎng)絡(luò)產(chǎn)生與輸入相同長度的輸出；使用因果卷積，在t時刻的入侵檢測報警輸出只與時間t或者更早的時間序列進(jìn)行卷積，不會丟失歷史數(shù)據(jù)，能夠保存較長時間的數(shù)據(jù)流量信息，工業(yè)控制系統(tǒng)的數(shù)據(jù)流量相對固定，當(dāng)出現(xiàn)相同類型的攻擊流量時，能夠更好地進(jìn)行檢測。

TCN的體系結(jié)構(gòu)可以簡單描述為1維全卷積網(wǎng)絡(luò)和因果卷積網(wǎng)絡(luò)的組合，在處理時間序列時，期望獲得較長時間的數(shù)據(jù)流量信息，為使模型獲得更大范圍的感受野，引入擴(kuò)張卷積。對于1維序列x∈Rn，濾波器g:{0,1,···,w?1}→R，擴(kuò)張卷積運算G定義為：

式中，gd為帶有擴(kuò)張因子d的卷積操作，w為卷積核大小，s–d·i為過去的方向。

擴(kuò)張卷積通過擴(kuò)張因子大小來控制感受野的大小，當(dāng)擴(kuò)張因子d=1時，變成普通卷積。圖3描述了當(dāng)擴(kuò)張因子d=1,2,4和卷積核大小為3時的擴(kuò)張因果卷積。使用更大的擴(kuò)張因子可以增加感受野，也可以在參數(shù)量不變的情況下減少網(wǎng)絡(luò)深度。

圖3 擴(kuò)張因果卷積圖Fig.3 Diagram of dilated causal convolution

殘差塊使用跳躍連接，通過一系列變換φ，將輸出添加到輸入x中獲得最終的輸出結(jié)果o：

式中，Activation( )為激活函數(shù)。

使用殘差塊代替卷積層，以較少的層獲得較長的依賴關(guān)系，使網(wǎng)絡(luò)更加易于訓(xùn)練和收斂，避免了深度學(xué)習(xí)模型中梯度消失的問題。如圖2所示，本文提出的并行結(jié)構(gòu)殘差塊，殘差塊包含兩層擴(kuò)張的因果卷積和參數(shù)化線性修正單元（PReLU）。在擴(kuò)張卷積層后，使用正則化減少過擬合；同時為確保輸入和輸出具有相同的寬度，使用額外的1維卷積來確保輸出具有相同形狀的張量，增加系統(tǒng)的穩(wěn)定性。

1.4 目標(biāo)域TCN–TL入侵檢測模型

遷移學(xué)習(xí)通過遷移源域中的知識來提高目標(biāo)域的表現(xiàn)[21]，可以將訓(xùn)練好的模型參數(shù)遷移到新的模型來幫助新的模型訓(xùn)練，將遷移學(xué)習(xí)應(yīng)用于入侵檢測領(lǐng)域，可以減輕深度學(xué)習(xí)模型對大量數(shù)據(jù)的依賴，更好地實現(xiàn)檢測。

將源域（source domain）表示為DS，源域數(shù)據(jù)可表示為DS:(XS,YS)={(XS1,YS1),(XS2,YS2),···,(XSn,YSn)}；將目標(biāo)域（target domain）表示為DT，目標(biāo)域數(shù)據(jù)可表示為DT:(XT,YT)={(XT1,YT1),(XT2,YT2),···,(XTn,YTn)}。將TCN作為源域預(yù)訓(xùn)練模型，利用遷移學(xué)習(xí)微調(diào)策略，對源域預(yù)訓(xùn)練模型進(jìn)行微調(diào)，構(gòu)建目標(biāo)域TCN–TL模型，構(gòu)建過程如圖4所示。具體步驟為：1）以TCN模型當(dāng)作源域特征提取層，獲取TCN預(yù)訓(xùn)練模型的權(quán)值。2）對時間卷積網(wǎng)絡(luò)較淺的層數(shù)進(jìn)行凍結(jié)，不再參與后續(xù)模型的訓(xùn)練；在凍結(jié)部分網(wǎng)絡(luò)的基礎(chǔ)上微調(diào)網(wǎng)絡(luò)模型。3）使用目標(biāo)領(lǐng)域的數(shù)據(jù)集進(jìn)行訓(xùn)練，使用Adam算法進(jìn)行參數(shù)更新；當(dāng)模型精度不再變化，保留模型新的參數(shù)和結(jié)構(gòu)，模型訓(xùn)練完畢。

圖4 TCN–TL模型構(gòu)建過程Fig.4 TCN–TL model building process

2 實驗與結(jié)果

2.1 數(shù)據(jù)集與評價標(biāo)準(zhǔn)

實驗環(huán)境：Windows10操作系統(tǒng)、Intel(R) Core(TM)i7–7700 CPU、24 GB內(nèi)存，基于Tensorflow2.0和Python3.6實現(xiàn)。使用密西西比州立大學(xué)于2014年公開的工控入侵檢測數(shù)據(jù)集[22]，數(shù)據(jù)集中包含正常網(wǎng)絡(luò)流量和7種攻擊網(wǎng)絡(luò)流量，詳細(xì)類別描述如表1所示。

表1 數(shù)據(jù)集類別描述Tab.1 Dataset category description

該數(shù)據(jù)集總共包含4個數(shù)據(jù)集，為最大程度地減少內(nèi)存需求和處理時間，使用精簡的10%天然氣數(shù)據(jù)集。該天然氣數(shù)據(jù)集中包含10 619條樣本數(shù)據(jù)，每條樣本數(shù)據(jù)中包含26個流量特征和1個類別標(biāo)簽。為獲得較大規(guī)模的源域數(shù)據(jù)集和較小規(guī)模的目標(biāo)域數(shù)據(jù)集，以滿足實驗要求，對天然氣數(shù)據(jù)集進(jìn)行拆分，天然氣數(shù)據(jù)集劃分如表2所示。源域的數(shù)據(jù)集DS進(jìn)行了樣本不平衡處理，最終獲取9 320條數(shù)據(jù)；目標(biāo)域數(shù)據(jù)集DT未做樣本不平衡處理，最終獲取1 598條數(shù)據(jù)。

表2 天然氣數(shù)據(jù)集和劃分Tab.2 Gas Pipeline dataset and partition

為評估本文模型的檢測性能，使用準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1值（F1-measure）作為評價指標(biāo)，具體公式如下：

式中，Tp為 正確分類正常行為，Tn為正確分類攻擊行為，F(xiàn)p為 錯誤分類攻擊行為，F(xiàn)n為錯誤分類正常行為。

2.2 數(shù)據(jù)預(yù)處理分析

為了驗證數(shù)據(jù)處理的有效性，本文進(jìn)行多組對比實驗，包括異常值處理前后效果對比、使用SMOTE–Tomek Links方法處理樣本不平衡前后效果對比。

2.2.1 異常值處理前后效果

在工業(yè)控制系統(tǒng)中，惡意響應(yīng)注入攻擊會使傳感器測量值嚴(yán)重越界，明顯超出警報設(shè)置點范圍的過程測量值，因此產(chǎn)生了一些特征異常值。為說明數(shù)據(jù)異常值處理的必要性進(jìn)行了對比實驗，異常值處理前后的實驗結(jié)果如表3所示。

表3 異常值處理前后結(jié)果對比Tab.3 Comparison of results before and after outlier processing

由表3可知：對特征“measurement”進(jìn)行異常值處理后，在準(zhǔn)確率、精確率、召回率、F1值方面均獲得了明顯提升，大幅提高了檢測效果。這是因為：特征異常值未進(jìn)行處理時，特征數(shù)據(jù)之間差異極大，在對數(shù)據(jù)進(jìn)行歸一化，會造成正常流量樣本和攻擊流量樣本差異過小，使攻擊流量樣本被誤分類為正常流量樣本。

2.2.2 樣本不平衡處理效果對比

僅對源域數(shù)據(jù)集進(jìn)行樣本不平衡處理，采用SMOTE–Tomek Links方法對少數(shù)類攻擊樣本進(jìn)行過采樣并進(jìn)行數(shù)據(jù)清洗。僅對MSCI、MFCI、DoS這3類樣本進(jìn)行樣本不平衡處理。表4是利用初始配置的TCN模型對樣本不平衡處理前后的源域數(shù)據(jù)集進(jìn)行對比實驗的結(jié)果。

表4 樣本不平衡處理前后結(jié)果對比Tab.4 Comparison of results before and after sample imbalance handling

由表4可知：通過SMOTE–Tomek Links算法對數(shù)據(jù)集進(jìn)行處理后，提高了數(shù)據(jù)集的質(zhì)量；SMOTE–Tomek Links算法可以有效地提升召回率和F1值，準(zhǔn)確率和精確率也得到相應(yīng)提升。

2.3 IGR–PCA特征選擇算法實驗

利用信息增益率進(jìn)行初步的特征篩選，信息增益率越大表示該特征對分類的貢獻(xiàn)度越高，通過排序選取了18個特征構(gòu)成新的數(shù)據(jù)集X。在PCA降維階段，對數(shù)據(jù)集X的18維特征進(jìn)行分析，最終選取了貢獻(xiàn)度最高的14個主成分，即k=14，構(gòu)成最優(yōu)特征子集。本文采用基于IGR–PCA的特征選擇算法進(jìn)行特征選擇，并與其他特征選擇算法IGR、PCA、KPCA算法進(jìn)行對比實驗，結(jié)果如圖5所示。圖5中，None表示未采用任何特征選擇算法。

由圖5可知，數(shù)據(jù)經(jīng)本文提出的特征選擇算法處理后，其準(zhǔn)確率、召回率和F1值得到了明顯的提升，其中，對準(zhǔn)確率的提升最為明顯，其準(zhǔn)確率為98.55%，相較于僅經(jīng)過IGR處理的方法準(zhǔn)確率提升了1.38%。實驗結(jié)果表明，本文提出的基于IGR–PCA的特征選擇算法在降低數(shù)據(jù)維度減少模型計算量的同時仍能保持良好的檢測效果。

圖5 不同特征選擇算法實驗結(jié)果對比Fig.5 Comparison of experimental results of different feature selection algorithms

2.4 源域TCN預(yù)訓(xùn)練模型實驗分析

為了取得較好的模型參數(shù)配置，首先，進(jìn)行多組參數(shù)設(shè)置測試；其次，為了驗證本文提出的源域TCN預(yù)訓(xùn)練模型的有效性，與其他入侵檢測方法進(jìn)行檢測效果對比；最后，采用本文源域TCN模型進(jìn)行源域數(shù)據(jù)多分類測試。

2.4.1 參數(shù)設(shè)置測試

為獲得最佳的模型參數(shù)配置，對模型進(jìn)行了多組參數(shù)設(shè)置測試，主要影響參數(shù)包括擴(kuò)張因子d和卷積核大小w。實驗評價指標(biāo)包括準(zhǔn)確率、精確率、召回率和F1值，同時，考慮模型訓(xùn)練時間t，將其作為新的評價指標(biāo)。對參數(shù)d、w采用不同設(shè)置進(jìn)行測試的實驗結(jié)果如表5所示。

表5 參數(shù)d、w的不同設(shè)置的測試結(jié)果Tab.5 Test results for different setting of parameters d and w

由表5可知：當(dāng)本文源域TCN預(yù)訓(xùn)練模型的擴(kuò)張因子d取8，卷積核大小w取1時，準(zhǔn)確率、召回率、F1值的效果最好。隨著擴(kuò)張因子d的增加，模型的層數(shù)和參數(shù)量在遞增，造成訓(xùn)練時間變長。綜合考慮，本文選取了擴(kuò)張因子d=8，卷積核大小w=1的參數(shù)配置。

深度學(xué)習(xí)模型中良好的參數(shù)設(shè)置能夠有效提升檢測分類的性能，經(jīng)多組參數(shù)設(shè)置實驗，最終確立了源域TCN預(yù)訓(xùn)練模型的參數(shù)配置，模型參數(shù)設(shè)置如表6所示。

表6 源域TCN模型參數(shù)設(shè)置Tab.6 Parameter settings of source domain TCN model

2.4.2 源域的不同模型對比實驗分析

為了驗證本文提出的源域TCN預(yù)訓(xùn)練模型的檢測性能，將RNN、LSTM[23]、BiLSTM、OCC–eSNN[24]、CNN–LSTM[25]、PPO2[26]、HCIPSO–OCSVM[27]在入侵檢測中的相關(guān)方法及本文的源域TCN模型進(jìn)行檢測效果對比實驗，結(jié)果如表7所示。

表7 源域的不同深度學(xué)習(xí)模型檢測效果Tab.7 Detection effect of different deep learning models in source domain

從表7可知：本文的源域TCN模型在擁有較大規(guī)模數(shù)據(jù)集的源域上分類準(zhǔn)確度和精確度最高，分別達(dá)到99.25%和99.52%；對于時間序列數(shù)據(jù)，時間卷積網(wǎng)絡(luò)保存較長時間的數(shù)據(jù)信息，更好地進(jìn)行特征提取，能夠滿足工控系統(tǒng)的安全需求。從召回率和F1值看出，本文模型明顯優(yōu)于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)RNN和LSTM，因為RNN和LSTM在訓(xùn)練過程中容易出現(xiàn)梯度爆炸，降低了檢測性能。在訓(xùn)練時間消耗方面，本文模型具有更短的訓(xùn)練時間，能夠滿足工控系統(tǒng)對時間的需求。

2.4.3 源域數(shù)據(jù)多分類結(jié)果測試

為了說明本文源域TCN預(yù)訓(xùn)練模型對Normal（正常流量）及NMRI、CMRI、MSCI、MPCI、MFCI、DoS、RECO 7種攻擊類型的檢測效果，圖6展示了本文的源域TCN模型在源域數(shù)據(jù)集各類樣本上的檢測效果。

圖6 本文模型的源域多分類結(jié)果Fig.6 Source domain multiple classification results of the proposed model

從圖6可知：本文模型對MFCI和RECO兩種攻擊類型具有最好的檢測性能；對MSCI和DoS兩種攻擊類型檢測效果欠佳；對NMRI攻擊類型的召回率較低，召回率為90.74%。

2.5 目標(biāo)域TCN–TL實驗分析

本文使用源域的TCN預(yù)訓(xùn)練模型，結(jié)合遷移學(xué)習(xí)的微調(diào)策略，學(xué)習(xí)源域模型的權(quán)重，將源域?qū)W習(xí)到的知識遷移到目標(biāo)域。使用1 598條樣本數(shù)據(jù)進(jìn)行實驗，先對目標(biāo)域的不同模型的檢測效果進(jìn)行對比，再進(jìn)行目標(biāo)域數(shù)據(jù)多分類測試。

2.5.1 目標(biāo)域的不同模型對比實驗分析

參照源域?qū)嶒炘O(shè)置，在目標(biāo)域數(shù)據(jù)集上進(jìn)行檢測效果實驗，利用RNN、LSTM[23]、BiLSTM、CNN–LSTM[25]、未采用遷移學(xué)習(xí)的TCN模型與本文采用遷移學(xué)習(xí)的目標(biāo)域TCN–TL模型進(jìn)行檢測效果測試對比實驗，結(jié)果如表8所示。

表8 目標(biāo)域的不同深度學(xué)習(xí)模型檢測效果Tab.8 Detection effect of different deep learning models in target domain

由表8可知：本文的TCN–TL模型在較小規(guī)模的目標(biāo)域數(shù)據(jù)集上的檢測效果最好；RNN、LSTM等深度學(xué)習(xí)模型需要干凈的大規(guī)模數(shù)據(jù)集，在較小規(guī)模的目標(biāo)域數(shù)據(jù)集上表現(xiàn)差。其原因是：本文的TCN–TL模型使用遷移學(xué)習(xí)的方法，降低了深度學(xué)習(xí)模型對大規(guī)模數(shù)據(jù)集的要求，提升了模型的適應(yīng)性；同時，本文模型使用遷移學(xué)習(xí)微調(diào)策略，繼承了源域TCN模型參數(shù)，相比于原始的TCN模型，其訓(xùn)練時間節(jié)省7.1 s，在數(shù)據(jù)集訓(xùn)練階段的時間消耗上耗時最少，更加符合工業(yè)控制系統(tǒng)入侵檢測的要求。

2.5.2 目標(biāo)域數(shù)據(jù)多分類結(jié)果測試

為了驗證本文目標(biāo)域TCN–TL模型對Normal（正常流量）及NMRI、CMRI、MSCI、MPCI、MFCI、DoS、RECO 7種攻擊類型的檢測效果，對目標(biāo)域數(shù)據(jù)集各類樣本的精確率、召回率和F1值進(jìn)行了統(tǒng)計，目標(biāo)域模型的多分類結(jié)果如圖7所示。

圖7 本文模型的目標(biāo)域多分類結(jié)果Fig.7 Target domain multiple classification results of the proposed model

從圖7可以看出，本文的目標(biāo)域模型對MSCI、MPCI、MFCI和RECO 4種攻擊類型具有最好的檢測性能，對NMRI攻擊類型的檢測效果欠佳，對MFCI攻擊樣本的檢測效果最差。其原因是在目標(biāo)域測試階段，MFCI只有一個樣本用于測試集測試，本文目標(biāo)域TCN–TL模型對該樣本分類錯誤，導(dǎo)致精確率、召回率和F1值均為0。對多分類的實驗結(jié)果綜合考慮，本文模型取得了較好的分類效果，但對小樣本攻擊數(shù)據(jù)的檢測有待進(jìn)一步提升。

3 結(jié) 論

本文提出一種基于特征選擇和時間卷積網(wǎng)絡(luò)的工業(yè)控制系統(tǒng)入侵檢測方法。針對流量數(shù)據(jù)特征冗余，將IGR–PCA特征算法應(yīng)用于工控系統(tǒng)數(shù)據(jù)降維，篩選出最優(yōu)特征子集。針對工業(yè)控制系統(tǒng)的時間特性，為更好地實現(xiàn)對小規(guī)模數(shù)據(jù)集的檢測，結(jié)合遷移學(xué)習(xí)微調(diào)策略，依次構(gòu)建了源域TCN預(yù)訓(xùn)練模型和目標(biāo)域TCN–TL模型。實驗結(jié)果表明，本文模型在源域和目標(biāo)域上都具有較好的檢測效果，針對目標(biāo)域的小規(guī)模數(shù)據(jù)集，采用遷移學(xué)習(xí)方法，利用源域數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，能夠有效地降低對訓(xùn)練樣本數(shù)量的依賴，在提升模型檢測性能的同時減少訓(xùn)練時間的消耗。在未來的研究工作中，將考慮源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)的分布特征，構(gòu)建合適的遷移算法，提升模型的適應(yīng)性和泛化能力，更好地提高檢測性能；同時，對小樣本攻擊數(shù)據(jù)的檢測也需要進(jìn)一步研究。