融合注意力機(jī)制和BSRU的工業(yè)互聯(lián)網(wǎng)安全態(tài)勢預(yù)測方法

胡向東，田正國

融合注意力機(jī)制和BSRU的工業(yè)互聯(lián)網(wǎng)安全態(tài)勢預(yù)測方法

胡向東，田正國

（重慶郵電大學(xué)自動化學(xué)院/工業(yè)互聯(lián)網(wǎng)學(xué)院，重慶 400065）

安全態(tài)勢預(yù)測對確保工業(yè)互聯(lián)網(wǎng)平穩(wěn)可靠運(yùn)行至關(guān)重要。傳統(tǒng)的預(yù)測模型在面對工業(yè)生產(chǎn)過程中產(chǎn)生的海量、高維和時間序列數(shù)據(jù)時，難以準(zhǔn)確、高效地對網(wǎng)絡(luò)安全態(tài)勢進(jìn)行預(yù)測，因此提出一種融合注意力機(jī)制和雙向簡單循環(huán)單元（BSRU，bi-directional simple recurrent unit）的工業(yè)互聯(lián)網(wǎng)安全態(tài)勢預(yù)測方法，以滿足工業(yè)生產(chǎn)的實(shí)時性和準(zhǔn)確性要求。對各安全要素進(jìn)行分析和處理，使其能反映當(dāng)前網(wǎng)絡(luò)狀態(tài)，便于態(tài)勢值的求取。使用一維卷積網(wǎng)絡(luò)提取各安全要素之間的空間維度特征，保留特征間的時間相關(guān)性。利用BSRU網(wǎng)絡(luò)提取信息之間的時間維度特征，減少歷史信息的丟失，同時借助SRU網(wǎng)絡(luò)強(qiáng)大的并行能力，減少模型的訓(xùn)練時間。引入注意力機(jī)制優(yōu)化BSRU隱含狀態(tài)中的相關(guān)性權(quán)重，以突出強(qiáng)相關(guān)性因素，減少弱相關(guān)性因素的影響，實(shí)現(xiàn)融合注意力機(jī)制和BSRU的工業(yè)互聯(lián)網(wǎng)安全態(tài)勢預(yù)測。對比實(shí)驗(yàn)結(jié)果顯示，該模型較使用雙向長短期記憶網(wǎng)絡(luò)和雙向門控循環(huán)單元的預(yù)測模型，在訓(xùn)練時間和訓(xùn)練誤差上分別減少了13.1%和28.5%；相比于沒有使用注意力機(jī)制的卷積和BSRU網(wǎng)絡(luò)融合模型，訓(xùn)練時間雖增加了2%，但預(yù)測誤差降低了28.8%；在不同預(yù)測時長下該模型的預(yù)測效果優(yōu)于其他模型，實(shí)現(xiàn)了在時間性能上的優(yōu)化，使用注意力機(jī)制在增加少量時間成本的前提下，提升了模型的預(yù)測精度，能夠較好地?cái)M合網(wǎng)絡(luò)安全態(tài)勢發(fā)展，且模型在多步預(yù)測上存在一定的優(yōu)勢。

工業(yè)互聯(lián)網(wǎng)；注意力機(jī)制；簡單循環(huán)單元；安全態(tài)勢

0 引言

隨著一些低時延、高可靠的新型網(wǎng)絡(luò)基礎(chǔ)設(shè)施在工業(yè)領(lǐng)域的應(yīng)用，互聯(lián)網(wǎng)在工業(yè)領(lǐng)域迅速普及。高速、智能的工業(yè)互聯(lián)網(wǎng)給企業(yè)帶來便利的同時使原本與互聯(lián)網(wǎng)隔離的工控系統(tǒng)面臨復(fù)雜的網(wǎng)絡(luò)安全問題。因此，為了提前感知危險(xiǎn)，及時做出應(yīng)對措施，高效率、高穩(wěn)定、高智能的感知預(yù)測模型變得越來越重要。網(wǎng)絡(luò)安全態(tài)勢感知（NSSA，network security situation awareness）[1-2]技術(shù)可以用于收集工業(yè)互聯(lián)網(wǎng)環(huán)境下網(wǎng)絡(luò)安全威脅要素，進(jìn)行合理分析與評估，管理者基于獲得的安全態(tài)勢值判斷可能發(fā)生的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，做出安全決策，保證工控網(wǎng)絡(luò)的安全。

在工業(yè)互聯(lián)網(wǎng)領(lǐng)域，每天都會產(chǎn)生大量具有非線性和時變性的數(shù)據(jù)，傳統(tǒng)的預(yù)測方法，如基于隱馬爾可夫鏈[3]、支持向量機(jī)（SVM，support vector machine）[4]和反向傳播網(wǎng)絡(luò)（BP，back propagation）[5]等模型，由于容錯性、自學(xué)能力較差，已經(jīng)不適應(yīng)當(dāng)前網(wǎng)絡(luò)環(huán)境對安全態(tài)勢的預(yù)測。尋找一種泛化能力強(qiáng)、善于處理非線性問題的模型，正成為研究者促進(jìn)工業(yè)與互聯(lián)網(wǎng)安全態(tài)勢預(yù)測的研究重點(diǎn)。Zhang等[6]針對網(wǎng)絡(luò)安全威脅事件的不確定性和突發(fā)性，提出了一種優(yōu)化的小波神經(jīng)網(wǎng)絡(luò)預(yù)測模型。該模型通過動態(tài)模糊聚類和消除機(jī)制改進(jìn)后的遺傳算法優(yōu)化網(wǎng)絡(luò)參數(shù)，不僅提高了模型的收斂效率，同時預(yù)測精度得到了提升。Xiao等[7]針對網(wǎng)絡(luò)安全態(tài)勢數(shù)據(jù)具有的非線性、時間性等特點(diǎn)，提出一種基于改進(jìn)BP的網(wǎng)絡(luò)安全態(tài)勢預(yù)測算法。該算法通過思維進(jìn)化算法優(yōu)化BP網(wǎng)絡(luò)參數(shù)，提升了預(yù)測的準(zhǔn)確度和效率，但是對歷史數(shù)據(jù)的處理不夠完善。楊宏宇等[8]針對時間序列數(shù)據(jù)，提出一種基于自修正系數(shù)的預(yù)測模型，使用熵關(guān)聯(lián)度將數(shù)據(jù)信息轉(zhuǎn)換為時間樣本序列，采用時變加權(quán)馬爾可夫鏈對預(yù)測結(jié)果進(jìn)行修正，提高對時間序列數(shù)據(jù)的預(yù)測精度，但對線性數(shù)據(jù)的處理不夠完善。

雖然上述方法在預(yù)測精度和收斂速度等方面都取得了很好的效果，但只考慮了網(wǎng)絡(luò)安全態(tài)勢值，忽略了多屬性網(wǎng)絡(luò)安全態(tài)勢要素的重要性，參考因素相對片面，精確預(yù)測方面存在不足。為了改善這個問題，張任川等[9]針對網(wǎng)絡(luò)安全態(tài)勢要素和態(tài)勢值等問題，提出一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)（CNN，convolution neural network）。通過改進(jìn)卷積結(jié)構(gòu)，降低了模型的優(yōu)化難度，但沒有充分利用卷積網(wǎng)絡(luò)在特征提取上的優(yōu)勢，預(yù)測精度略有不足。Li等[10]針對訓(xùn)練時間長、各要素間存在時間相關(guān)性等問題，采用簡單循環(huán)單元與注意力機(jī)制相結(jié)合的方式，對影響要素進(jìn)行選擇性學(xué)習(xí)，提高了預(yù)測精度，縮短了訓(xùn)練時間。

為了區(qū)分不同工業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)安全態(tài)勢要素對安全態(tài)勢值的影響，同時避免模型產(chǎn)生較大的計(jì)算代價，本文提出了一種融合注意力機(jī)制和BSRU的工業(yè)互聯(lián)網(wǎng)安全態(tài)勢預(yù)測方法（Attention-BSRU），通過CNN和BSRU處理不同網(wǎng)絡(luò)安全態(tài)勢要素對未來網(wǎng)絡(luò)安全態(tài)勢值的影響，挖掘各要素之間的時間相關(guān)性；利用BSRU強(qiáng)大的并行能力，提高訓(xùn)練時間性能，滿足工控系統(tǒng)對實(shí)時性的要求；引入Attention機(jī)制[11]融合多屬性網(wǎng)絡(luò)安全數(shù)據(jù)，加強(qiáng)重要因素對安全態(tài)勢值的影響，從而達(dá)到提高預(yù)測精度和預(yù)測效率的目的。

1 工業(yè)互聯(lián)網(wǎng)安全態(tài)勢預(yù)測模型

采用Attention-BSRU模型對態(tài)勢值進(jìn)行預(yù)測的思路是先將獲取到的數(shù)據(jù)進(jìn)行預(yù)處理并經(jīng)過滑動窗口重構(gòu)后作為模型的輸入，利用CNN和BSRU提取各要素間的局部特征，捕獲時間相關(guān)性，利用注意力機(jī)制調(diào)整輸入特征的權(quán)重，使用Sigmoid函數(shù)對態(tài)勢值進(jìn)行預(yù)測。預(yù)測模型的流程如圖1所示。

1.1 數(shù)據(jù)預(yù)處理

1.1.1 工業(yè)互聯(lián)網(wǎng)安全態(tài)勢指標(biāo)選取

工業(yè)互聯(lián)網(wǎng)安全區(qū)別于通用信息網(wǎng)絡(luò)安全的特殊性主要表現(xiàn)為業(yè)務(wù)數(shù)據(jù)含義的不同及其影響程度的差異，指令數(shù)據(jù)錯誤不僅可能導(dǎo)致業(yè)務(wù)邏輯出錯，還可能造成物理上的財(cái)物損壞甚至人身安全事故發(fā)生；工業(yè)互聯(lián)網(wǎng)安全數(shù)據(jù)包含生產(chǎn)設(shè)備的詳細(xì)情況及運(yùn)行規(guī)律，也包含大量市場、客戶等信息，連接種類和數(shù)量更多，場景更復(fù)雜；為了滿足工業(yè)生產(chǎn)的需求，要求工業(yè)互聯(lián)網(wǎng)的性能更可靠和安全，因此對數(shù)據(jù)的真實(shí)性、完整性、時效性等要求更高；工業(yè)環(huán)境中的行業(yè)標(biāo)準(zhǔn)多，評價標(biāo)準(zhǔn)不一，選取不同的數(shù)據(jù)結(jié)果會不同；工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)具有更強(qiáng)的時間相關(guān)性，實(shí)時性要求更高。因此，工業(yè)互聯(lián)網(wǎng)安全影響更大，實(shí)效性要求更高，指標(biāo)選取和性能評估要考慮的因素更多。

圖1 預(yù)測模型的流程

Figure 1 Flow of prediction model

由于工業(yè)互聯(lián)網(wǎng)中數(shù)據(jù)種類繁多，在工業(yè)互聯(lián)網(wǎng)安全風(fēng)險(xiǎn)評估、識別可能的安全威脅和評估潛在損失的過程中，不能使用單一的指標(biāo)判斷網(wǎng)絡(luò)運(yùn)行狀態(tài)。參考文獻(xiàn)[12-13]對分層模型的研究并結(jié)合網(wǎng)絡(luò)信息安全風(fēng)險(xiǎn)評估規(guī)范GB/T 20984-2007，從威脅性、脆弱性、資產(chǎn)價值3個方面進(jìn)行要素選取。工業(yè)互聯(lián)網(wǎng)安全態(tài)勢評估指標(biāo)如表1所示。

根據(jù)漏洞類型、漏洞危害等級、網(wǎng)絡(luò)設(shè)備資產(chǎn)、攻擊數(shù)量和通用安全漏洞評分系統(tǒng)評分等構(gòu)造工業(yè)互聯(lián)網(wǎng)漏洞數(shù)據(jù)庫。本文參考文獻(xiàn)[14-15]對評估方法的研究，考慮以下要素評估安全態(tài)勢值。

1) 脆弱性指數(shù)：指對工控系統(tǒng)漏洞信息、設(shè)備補(bǔ)丁信息和設(shè)備安全漏洞等進(jìn)行量化評估后，能反映工控系統(tǒng)在遭受攻擊入侵時防御失敗的可能性，系統(tǒng)越脆弱，該指數(shù)越高。的計(jì)算式如(1)所示。

表1 工業(yè)互聯(lián)網(wǎng)安全態(tài)勢評估指標(biāo)

2) 威脅性指數(shù)：指利用脆弱性導(dǎo)致的攻擊事件，通過關(guān)聯(lián)分析得到的評估指數(shù)，反映工控系統(tǒng)受到威脅的程度，該指數(shù)越高表示威脅越大。的計(jì)算如式(3)所示。

3) 資產(chǎn)安全風(fēng)險(xiǎn)指數(shù)：指對工控系統(tǒng)中設(shè)備和網(wǎng)絡(luò)資產(chǎn)信息等進(jìn)行量化評估后，得到能夠反映網(wǎng)絡(luò)中資產(chǎn)價值的數(shù)值。資產(chǎn)價值越大，受到攻擊后，損失越大。的計(jì)算如式(4)所示。

表2 網(wǎng)絡(luò)安全態(tài)勢等級對照

1.1.2 數(shù)據(jù)歸一化

1.1.3 數(shù)據(jù)重構(gòu)

圖2 樣本構(gòu)造方法

Figure 2 Sample construction method

算法1 數(shù)據(jù)重構(gòu)算法

輸入 原始數(shù)據(jù)集，窗口大小size，特征列，目標(biāo)列target，預(yù)測時長。

1) 初始化,size,, target,。

1.2 Attention-BSRU預(yù)測方法

針對工業(yè)互聯(lián)網(wǎng)安全態(tài)勢的影響因素多、具有時序性等特點(diǎn)，本文使用BSRU為基礎(chǔ)架構(gòu)，利用CNN提取多屬性安全要素中的重要信息，引入注意力機(jī)制賦予各屬性不同的權(quán)重。Attention-BSRU預(yù)測模型結(jié)構(gòu)如圖3所示。

圖3 Attention-BSRU預(yù)測模型結(jié)構(gòu)

Figure 3 The structure of the Attention-BSRU prediction model

1.2.1 卷積層

1.2.2 雙向SRU層

雙向SRU層根據(jù)卷積層提取的數(shù)據(jù)捕獲數(shù)據(jù)間的時間相關(guān)特性，從正反兩個方向處理數(shù)據(jù)，提高預(yù)測的準(zhǔn)確度，通過并行化計(jì)算，提高訓(xùn)練時間性能。

為了加速循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN，recurrent neural network）的訓(xùn)練，本文選用SRU單元結(jié)構(gòu)。SRU是Lei等[16]為了解決RNN訓(xùn)練時間長的問題，基于長短期記憶（LSTM，long short-term memory）網(wǎng)絡(luò)提出的一種變體結(jié)構(gòu)。SRU單元丟棄了原有循環(huán)結(jié)構(gòu)中數(shù)據(jù)間的依賴關(guān)系，實(shí)現(xiàn)了并行化計(jì)算，減小了計(jì)算成本。SRU的結(jié)構(gòu)如圖4所示。

圖4 SRU結(jié)構(gòu)

Figure 4 SRU structure

單層SRU的計(jì)算可分為兩部分：輕度循環(huán)和高速網(wǎng)絡(luò)。計(jì)算過程如下。

1.2.3 注意力層

由于輸入是多屬性的安全要素，且不同安全要素間的重要性差異不同。本文通過注意力層調(diào)整輸入特征的權(quán)重，獲取序列的完整特征表示，計(jì)算預(yù)測數(shù)值。

Attention機(jī)制可以看作一個關(guān)鍵特征提取器，主要進(jìn)行加權(quán)求和操作，通過調(diào)整輸入特征的權(quán)重，改變不同特征對輸出的影響程度，提高預(yù)測能力。

4）將得到的網(wǎng)絡(luò)安全態(tài)勢值送入全連接層，使用Sigmoid函數(shù)進(jìn)行預(yù)測。

2 實(shí)驗(yàn)仿真

2.1 實(shí)驗(yàn)環(huán)境

國家互聯(lián)網(wǎng)應(yīng)急中心（CNCERT）發(fā)布的每周態(tài)勢報(bào)告依托公共互聯(lián)網(wǎng)網(wǎng)絡(luò)安全監(jiān)測平臺對安全事件自主監(jiān)測，其實(shí)驗(yàn)拓?fù)浣Y(jié)構(gòu)如圖5所示。

圖5 實(shí)驗(yàn)拓?fù)浣Y(jié)構(gòu)

Figure 5 Experimental topological structure

網(wǎng)絡(luò)結(jié)構(gòu)被分為兩部分：攻擊者網(wǎng)絡(luò)和受害者網(wǎng)絡(luò)，收集的數(shù)據(jù)中包含了典型的植入后門、網(wǎng)頁仿冒、惡意程序等網(wǎng)絡(luò)威脅的數(shù)量。

實(shí)驗(yàn)選取2017年第32期到2020年第41期共167期的每周態(tài)勢報(bào)告[18]作為實(shí)驗(yàn)數(shù)據(jù)，選取其中的5個安全要素：受感染主機(jī)數(shù)量、被篡改網(wǎng)站數(shù)量、被植入后門網(wǎng)站數(shù)量、仿冒頁面數(shù)量和新增安全漏洞數(shù)量，按照工業(yè)互聯(lián)網(wǎng)安全態(tài)勢評價指標(biāo)和相關(guān)性分析結(jié)果賦予安全要素不同的安全等級和權(quán)重指數(shù)，用于評估網(wǎng)絡(luò)安全態(tài)勢值。

由于數(shù)據(jù)集中沒有明確的資產(chǎn)信息，本文將數(shù)據(jù)中收錄的安全產(chǎn)品、操作系統(tǒng)、網(wǎng)絡(luò)設(shè)備、Web應(yīng)用和應(yīng)用程序5種受安全漏洞影響的對象作為資產(chǎn)模擬對象，將漏洞、惡意程序和網(wǎng)頁仿冒3種攻擊事件模擬威脅性，然后按式(3)～式(4)計(jì)算出威脅性指數(shù)和資產(chǎn)安全風(fēng)險(xiǎn)指數(shù)，最后通過式(5)得到167周的網(wǎng)絡(luò)安全態(tài)勢值。具體網(wǎng)絡(luò)安全態(tài)勢值量化模型如圖6所示。

圖6 態(tài)勢值量化模型

Figure 6 Quantification model of situation value

2.2 參數(shù)設(shè)置

2.3 評價指標(biāo)

為了能夠準(zhǔn)確地評估不同預(yù)測模型的性能，參考文獻(xiàn)[20-21]的研究，采用平均絕對誤差（MAE，mean absolute error）、平均絕對百分比誤差（MAPE，mean absolute percentage error）和均方根誤差（RMSE，root mean square error）作為評價指標(biāo)，分別表示如下。

其中的參數(shù)與式(17)一致，在安全態(tài)勢預(yù)測中，以上指標(biāo)的值越小，表明預(yù)測越準(zhǔn)確，模型 越好。

2.4 與單一網(wǎng)絡(luò)預(yù)測模型對比

為了驗(yàn)證融合網(wǎng)絡(luò)的優(yōu)越性，本文模型同單一的CNN、SRU、SVM、BP等傳統(tǒng)預(yù)測網(wǎng)絡(luò)模型進(jìn)行對比實(shí)驗(yàn)。考慮到神經(jīng)網(wǎng)絡(luò)權(quán)重初始化的隨機(jī)性會導(dǎo)致實(shí)驗(yàn)結(jié)果與真實(shí)結(jié)果存在一定偏差，實(shí)驗(yàn)過程中對所有預(yù)測模型進(jìn)行多次訓(xùn)練取平均值，以減小誤差。本文數(shù)據(jù)選取10次實(shí)驗(yàn)數(shù)據(jù)的平均值作為比較數(shù)據(jù)，同時使用本文提出的評價指標(biāo)和迭代時間作為性能評價標(biāo)準(zhǔn)，預(yù)測時長=10。結(jié)果如表3所示，相比單獨(dú)使用CNN、SRU的預(yù)測模型，本文所構(gòu)造的模型將預(yù)測誤差降低了43%、40.8%。

表3 單一網(wǎng)絡(luò)預(yù)測模型的預(yù)測結(jié)果

各預(yù)測模型的預(yù)測危險(xiǎn)級別與真實(shí)危險(xiǎn)級別的對比如圖7所示，可以看出SRU網(wǎng)絡(luò)不能很好地預(yù)測網(wǎng)絡(luò)危險(xiǎn)級別，如第13周就將危險(xiǎn)級別4誤報(bào)為危險(xiǎn)級別3，而增加了CNN對特征提取后的融合網(wǎng)絡(luò)，減小了誤報(bào)率。但是在第10個預(yù)測點(diǎn)處存在誤差，實(shí)際的危險(xiǎn)級別屬于5，而預(yù)測出的結(jié)果對應(yīng)的危險(xiǎn)級別是4，管理者采取的措施在面對大量網(wǎng)絡(luò)威脅時，防范不足，會導(dǎo)致重大危險(xiǎn)。比較所有預(yù)測模型，在該位置的預(yù)測都存在誤差，可能是評估模型在臨界點(diǎn)處存在誤差或者該點(diǎn)為異常點(diǎn)所致。

各預(yù)測模型的態(tài)勢值對比如圖8所示，從整體趨勢上分析，本文方法所得結(jié)果的擬合度最高，SVM預(yù)測模型的效果最差，只能預(yù)測大概的變化趨勢，而其余預(yù)測網(wǎng)絡(luò)可以很好地預(yù)測數(shù)據(jù)的變化趨勢，但擬合效果稍遜于融合網(wǎng)絡(luò)模型，這表明融合CNN和BSRU的網(wǎng)絡(luò)模型通過對多屬性安全要素來預(yù)測態(tài)勢值的有效性，既可以解決歷史數(shù)據(jù)的長期依賴問題，也可以更好地提取數(shù)據(jù)特征，提高了預(yù)測的準(zhǔn)確度。

時間序列預(yù)測的評判標(biāo)準(zhǔn)不僅要考慮預(yù)測的準(zhǔn)確度，還要考慮不同預(yù)測時長下的準(zhǔn)確度。本文針對不同預(yù)測模型在不同預(yù)測時長下的預(yù)測誤差進(jìn)行對比，取預(yù)測時長=1,5,10,15，結(jié)果如圖9所示。

從圖9可以看出，在相同的預(yù)測時長下，本文網(wǎng)絡(luò)模型比其他單一網(wǎng)絡(luò)預(yù)測模型具有更好的預(yù)測效果，而隨著預(yù)測時長的增加，預(yù)測效果有所改變，總體而言，本文模型在多步預(yù)測時優(yōu)于單步預(yù)測，預(yù)測效果優(yōu)于其他預(yù)測模型。但是預(yù)測時長過短或過長都會導(dǎo)致預(yù)測效果變差，所以模型的魯棒性略差。

圖7 預(yù)測危險(xiǎn)級別與真實(shí)危險(xiǎn)級別對比

Figure 7 Comparison of prediction level and danger level

圖8 預(yù)測模型的態(tài)勢值對比

Figure 8 Comparison of situation values of the prediction model

2.5 融合網(wǎng)絡(luò)預(yù)測模型對比

為了驗(yàn)證本文所使用的SRU單元在時間序列數(shù)據(jù)處理效率上的優(yōu)越性，將Attention-BSRU模型中的SRU單元替換為LSTM、GRU單元，其他參數(shù)不改變，得到Attention-BGRU和Attention-BLSTM模型并進(jìn)行對比實(shí)驗(yàn)，同時與不加注意力機(jī)制的CNN-BSRU模型和基于注意力機(jī)制的AIS-LSTM[22]模型預(yù)測值進(jìn)行對比實(shí)驗(yàn)。結(jié)果如表4所示，反映了Attention-BSRU模型相比其他融合網(wǎng)絡(luò)模型的突出優(yōu)勢。

圖9 不同預(yù)測時長下的平均絕對誤差對比

Figure 9 Comparison of MAE under different prediction duration

表4 融合網(wǎng)絡(luò)預(yù)測模型的預(yù)測結(jié)果

相比Attention-BLSTM、Attention-BGRU模型，本文將誤差分別降低了31.2%和28.5%，訓(xùn)練時間分別提高了21.4%和13.1%，表明SRU單元比LSTM、GRU單元在預(yù)測的準(zhǔn)確度和訓(xùn)練時間上都有較大提升；相比CNN-BSRU模型，本文模型的訓(xùn)練時間增加了2%，誤差降低了28.8%，這表明使用注意力機(jī)制可以降低模型的預(yù)測誤差，因此可以在損失少量時間的前提下，使用注意力機(jī)制提升預(yù)測的準(zhǔn)確度；AIS-LSTM模型的訓(xùn)練時間、預(yù)測絕對誤差都不及本文模型。

圖10反映了不同融合網(wǎng)絡(luò)預(yù)測模型訓(xùn)練損失隨迭代次數(shù)的變化規(guī)律，其中AIS-LSTM的損失下降速度最慢，Attention-BGRU的損失下降速度最快，Attention-BSRU的下降速度稍慢于Attention-BGRU模型；各模型都有一定限度的振蕩，但最后都趨于平穩(wěn)，表明各模型的收斂性、穩(wěn)定性相似；但是Attention-BSRU的初始損失值比其他模型的初始損失值都大。從穩(wěn)定性、收斂性和學(xué)習(xí)速率來看，Attention-BGRU表現(xiàn)最好，Attention-BSRU次之，AIS-LSTM最差。

圖10 融合網(wǎng)絡(luò)預(yù)測模型的訓(xùn)練損失曲線

Figure 10 Training loss curve of fusion network prediction mode

圖11反映了不同融合網(wǎng)絡(luò)預(yù)測模型的預(yù)測態(tài)勢值與實(shí)際值的對比情況，從圖中可以看出Attention-BSRU的擬合效果較好，AIS-LSTM的擬合效果較差。綜合分析，在犧牲少量穩(wěn)定性、收斂性和學(xué)習(xí)速率的代價下，可以換取訓(xùn)練時間性能和擬合效果的提升，在對時間要求較高的工控領(lǐng)域，本文所提的模型優(yōu)于其他模型。

圖11 融合網(wǎng)絡(luò)預(yù)測模型的預(yù)測態(tài)勢值與實(shí)際值對比

Figure 11 Comparison of predicted situation valueand actual value of the fusion network prediction model

3 結(jié)束語

針對存在時間相關(guān)性的工業(yè)互聯(lián)網(wǎng)安全態(tài)勢值受多種網(wǎng)絡(luò)安全態(tài)勢要素的影響，且廣泛應(yīng)用于時間序列處理的LSTM、GRU循環(huán)單元計(jì)算代價較大問題，本文提出一種融合注意力機(jī)制和BSRU的工業(yè)互聯(lián)網(wǎng)安全態(tài)勢值預(yù)測方法。該方法利用CNN提取網(wǎng)絡(luò)安全態(tài)勢要素，使用BSRU保存歷史信息，充分挖掘安全態(tài)勢要素之間的相互依賴關(guān)系，避免對評估態(tài)勢值的依賴，利用注意力機(jī)制調(diào)整輸入特征的權(quán)重，提高對重要特征的關(guān)注度，使預(yù)測更準(zhǔn)確。本文模型使用的SRU單元相比其他循環(huán)單元具有更好的預(yù)測效果，還能減少計(jì)算代價，時效性更好。相比傳統(tǒng)的單一網(wǎng)絡(luò)預(yù)測模型，該模型預(yù)測效果更好，在多步預(yù)測時優(yōu)勢更明顯，同時在相同預(yù)測時長下，本文預(yù)測模型略微優(yōu)于其他預(yù)測模型。通過實(shí)驗(yàn)數(shù)據(jù)和仿真驗(yàn)證了本文模型預(yù)測的準(zhǔn)確性和高效性。但是該方法還存在一些需要改進(jìn)的地方，下一步的研究方向?yàn)椋簶?gòu)建更加完善的工業(yè)互聯(lián)網(wǎng)安全態(tài)勢評估模型，使臨界點(diǎn)處的網(wǎng)絡(luò)安全態(tài)勢值具有很好的辨識度；采用一些優(yōu)化算法優(yōu)化網(wǎng)絡(luò)參數(shù)，進(jìn)一步提高模型的預(yù)測準(zhǔn)確度。

[1] LIU X, YU J, LV W, et al. Network security situation: from awareness to awareness-control[J]. Journal of Network and Computer Applications, 2019, 139: 15-30.

[2] WU J, OTA K, DONG M, et al. Big data analysis-based security situational awareness for smart grid[J], IEEE Transactions on Big Data, 2016, 4(3): 408-417.

[3] LIANG W , LONG J , CHEN Z , et al. A security situation prediction algorithm based on HMM in mobile network[J]. Wireless Communications & Mobile Computing, 2018, 2018: 1-11.

[4] HU J, Ma D, LIU C, et al. Network security situation prediction based on MR-SVM[J]. IEEE Access, 2019, 7: 130937-130945.

[5] 謝麗霞, 王亞超, 于巾博. 基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)安全態(tài)勢感知[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2013, 53(12): 1750-1760.

XIE L X, WANG Y C, YU J B. Network security situation awareness based on neural networks[J]. Journal of Tsinghua University(Science and Technology), 2013, 53(12): 1750-1760.

[6] ZHANG H, HUANG Q, LI F,. A network security situation prediction model based on wavelet neural network with optimized parameters[J]. Digital Communications and Networks, 2016, 2(3): 139-144.

[7] XIAO P, XIAN M, WANG H. Network security situation prediction method based on MEA-BP[C]//2017 3rd International Conference on Computational Intelligence & Communication Technology (CICT). IEEE, 2017: 1-5.

[8] 楊宏宇, 張旭高. 基于自修正系數(shù)修勻法的網(wǎng)絡(luò)安全態(tài)勢預(yù)測[J]. 通信學(xué)報(bào), 2020, 41(5): 196-204.

YANG H Y, ZHANG X G. Self-corrected coefficient smoothing method based network security situation prediction[J]. Journal on Communications, 2020, 41(5): 196-204.

[9] 張任川, 張玉臣, 劉璟, 等. 應(yīng)用改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)安全態(tài)勢預(yù)測方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2019, 55(6): 86-93.

ZHANG R C, ZHANG Y C, LIU J, et alNetwork security situation prediction method using improved convolution neural network[J]. Computer Engineering and Applications, 2019, 55(6): 86-93.

[10] LI Y, LIU B, ZHANG L, et al. Fast trajectory prediction method with attention enhanced SRU[J]. IEEE Access, 2020, 8: 206614-206621.

[11] LUONG M T, PHAM H, MANNING C D. Effective approaches to attention-based neural machine translation[J]. arXiv preprint arXiv:1508.04025, 2015.

[12] 丁華東, 許華虎, 段然, 等. 基于貝葉斯方法的網(wǎng)絡(luò)安全態(tài)勢感知模型[J]. 計(jì)算機(jī)工程, 2020, 46(6): 130-135.

DING H D, XU H H, DUAN R, et al. Network security situation awareness model based on bayesian method[J]. Computer Engineering, 2020, 46(6): 130-135.

[13] 程家根. 基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)安全態(tài)勢感知模型研究與實(shí)現(xiàn)[D].南京郵電大學(xué), 2020.

CHENG J G. Research and implementation of network security situation awareness model based on machine learning[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2020.

[14] CHERDANTSEVA Y, BURNAP P, BLYTH A,et al. A review of cyber security risk assessment methods for SCADA systems[J]. Computers & security, 2016, 56: 1-27.

[15] HUANG K, ZHOU C, TIAN Y C, et al. Assessing the physical impact of cyberattacks on industrial cyber-physical systems[J]. IEEE Transactions on Industrial Electronics, 2018, 65(10): 8153-8162.

[16] LEI T, ZHANG Y, WANG S I, et al. Simple recurrent units for highly parallelizable recurrence[J]. arXiv preprint arXiv:170- 9.02755, 2017.

[17] ZILLY J G, SRIVASTAVA R K, KOUTNIK J, et al. Recurrent highway networks[C]//International Conference on Machine Learning. 2017: 4189-4198.

[18] CNCERT. 2017年至2020年網(wǎng)絡(luò)安全信息與動態(tài)周報(bào)[EB].

CNCERT. Network security information and trends weekly report from 2017 to 2020[EB].

[19] BOCK S, WEI? M. A proof of local convergence for the Adam optimizer[C]//2019 International Joint Conference on Neural Networks (IJCNN). IEEE, 2019: 1-8.

[20] KHWAJA A, ZHANG X, ANPALAGAN A, et al. Boosted neural networks for improved short-term electric load forecasting[J]. Electric Power Systems Research, 2017, 143: 431-437.

[21] ZENG L, REN W, SHAN L J N. Attention-based bidirectional gated recurrent unit neural networks for well logs prediction and lithology identification[J]. Neuro Computing, 2020, 414: 153-171.

[22] MUNKHDALAI L, MUNKHDALAI T, PARK K H, et al. An end-to-end adaptive input selection with dynamic weights for forecasting multivariate time series[J]. IEEE Access, 2019, 7: 99099-99114.

Methods of security situation prediction for industrial internet fused attention mechanism and BSRU

HU Xiangdong, TIAN Zhengguo

College of Automation/Industrial Internet Institute, Chongqing University of Posts and Telecommunications, Chongqing 400065, China

The security situation prediction plays an important role in balanced and reliable work for industrial internet. In the face of massive, high-dimensional and time-series data generated in the industrial production process, traditional prediction models are difficult to accurately and efficiently predict the network security situation. Therefore, the methods of security situation prediction for industrial internet fused attention mechanism and bi-directional simple recurrent unit (BSRU) were proposed to meet the real-time and accuracy requirements of industrial production. Each security element was analyzed and processed, so that it could reflect the current network state and facilitate the calculation of the situation value. One-dimensional convolutional network was used to extract the spatial dimension features between each security element and preserve the temporal correlation between features. The BSRU network was used to extract the time dimension features between the data information and reduced the loss of historical information. Meanwhile, with the powerful parallel capability of SRU network, the training time of model was reduced. Attention mechanism was introduced to optimize the correlation weight of BSRU hidden state to highlight strong correlation factors, reduced the influence of weak correlation factors, and realized the prediction of industrial internet security situation combining attention mechanism and BSRU. The comparative experimental results show that the model reduces the training time and training error by 13.1% and 28.5% than the model using bidirectional long short-term memory network and bidirectional gated recurrent unit. Compared with the convolutional and BSRU network fusion model without attention mechanism, the prediction error is reduced by 28.8% despite the training time increased by 2%. The prediction effect under different prediction time is better than other models. Compared with other prediction network models, this model achieves the optimization of time performance and uses the attention mechanism to improve the prediction accuracy of the model under the premise of increasing a small amount of time cost. The proposed model can well fit the trend of network security situation, meanwhile, it has some advantages in multistep prediction.

industrial internet, attention mechanism, simple recurrent unit, security situation

TP391

A

2021?05?17；

2021?06?24

胡向東，huxd@cqupt.edu.cn

教育部?中國移動科研基金（MCM20150202，MCM20180404）

胡向東, 田正國. 融合注意力機(jī)制和BSRU的工業(yè)互聯(lián)網(wǎng)安全態(tài)勢預(yù)測方法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2022, 8(1): 41-51.

10.11959/j.issn.2096?109x.2021092

胡向東（1971? ），男，四川廣安人，博士，重慶郵電大學(xué)教授、博士生導(dǎo)師，主要研究方向?yàn)槲锫?lián)網(wǎng)安全智能理論與技術(shù)、智能感知、網(wǎng)絡(luò)化測量與工業(yè)大數(shù)據(jù)安全、復(fù)雜系統(tǒng)建模仿真與優(yōu)化。

田正國（1995? ），男，江蘇徐州人，重慶郵電大學(xué)碩士生，主要研究方向?yàn)楣I(yè)互聯(lián)網(wǎng)安全。

The Joint Research Foundation of the Ministry of Education of the People’s Republic of China and China Mobile (MCM20150202，MCM20180404)

Format: HU X D, TIAN Z G. Methods of security situation prediction for industrial internet fused attention mechanism and BSRU[J]. Chinese Journal of Network and Information Security, 2022, 8(1): 41-51.