基于MobileViT的輕量型入侵檢測(cè)模型研究

摘" 要： 為解決入侵檢測(cè)中數(shù)據(jù)不平衡對(duì)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的影響和模型參數(shù)量高的問(wèn)題，提出一種基于改進(jìn)MobileViT的入侵檢測(cè)模型。首先，使用方差分析提取對(duì)檢測(cè)結(jié)果影響較高的特征，將提取后的特征轉(zhuǎn)化為圖像型數(shù)據(jù)，將其輸入至MobileViT網(wǎng)絡(luò)；其次，針對(duì)占比較少的攻擊流量，采用焦點(diǎn)損失函數(shù)自適應(yīng)地調(diào)整攻擊流量的損失貢獻(xiàn)，使模型更加專(zhuān)注于不平衡的攻擊流量；最后，為解決神經(jīng)元死亡問(wèn)題，使用GeLU激活函數(shù)替換MobileViT網(wǎng)絡(luò)中MV2的ReLU6激活函數(shù)，加快模型收斂速度。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的MobileViT模型參數(shù)量?jī)H為5.67 MB，與Shufflenet、Mobilenet相比擁有最少的參數(shù)量，模型的準(zhǔn)確率、召回率以及[F1]分?jǐn)?shù)分別達(dá)到了98.40%、96.49%、95.17%。

關(guān)鍵詞： 入侵檢測(cè)； 焦點(diǎn)損失函數(shù)； 數(shù)據(jù)不平衡； MobileViT； GeLU； 方差分析

中圖分類(lèi)號(hào)： TN919?34； TP393.08" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " 文章編號(hào)： 1004?373X（2024）19?0033?07

Research on lightweight intrusion detection model based on MobileViT

YAO Jun， SUN Fangchao

（College of Communication and Information Engineering， Xi’an University of Science and Technology， Xi’an 710000， China）

Abstract： In view of the data imbalance on the training of neural network model and the large number of model parameters in intrusion detection， an intrusion detection model based on improved MobileViT is proposed. The ANOVA （analysis of variance） is used to extract the features with great impact on the detection results， and the extracted features are converted into image?based data and input into the MobileViT network. For the attack traffic with a small proportion， the focus loss function is used to adjust the loss contribution of the attack traffic adaptively， so that the model can focus more on the unbalanced attack traffic. In order to solve the problem of neuronal death， the GeLU activation function is used to replace the ReLU6 activation function of MV2 in the MobileViT network to accelerate the convergence speed of the model. The results of experiments show that the improved MobileViT model has only 5.67 MB of parameters. It has the least parameters in comparison with Shufflenet and Mobilenet. The accuracy rate， recall rate and [F1] score of the model reach 98.40%， 96.49% and 95.17%， respectively.

Keywords： intrusion detection; focus loss function; data imbalance; MobileViT; GeLU; ANOVA

0" 引" 言

隨著5G技術(shù)的推廣，物聯(lián)網(wǎng)技術(shù)得到了迅速的發(fā)展，萬(wàn)物互聯(lián)已成為未來(lái)信息化發(fā)展的必然趨勢(shì)。然而，物聯(lián)網(wǎng)設(shè)備的大規(guī)模普及增加了網(wǎng)絡(luò)攻擊的風(fēng)險(xiǎn)，網(wǎng)絡(luò)攻擊已成為國(guó)際互聯(lián)網(wǎng)的持續(xù)威脅[1]。近年來(lái)，隨著人工智能技術(shù)的不斷發(fā)展，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的攻擊檢測(cè)方法得到了廣泛應(yīng)用，為保護(hù)物聯(lián)網(wǎng)設(shè)備提供了一種有效的手段[2]。

機(jī)器學(xué)習(xí)方法較為依賴(lài)特征工程，因此使用機(jī)器學(xué)習(xí)方法進(jìn)行入侵檢測(cè)具有一定的局限性。而在深度學(xué)習(xí)領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)可以自動(dòng)學(xué)習(xí)特征，能夠獲取更豐富的信息和更高級(jí)別的特征表達(dá)，從而提升模型性能。文獻(xiàn)[3]設(shè)計(jì)了一種三層堆疊LSTM網(wǎng)絡(luò)用來(lái)進(jìn)行特征提取，并使用了帶跳躍連接線的改進(jìn)殘差網(wǎng)絡(luò)對(duì)LSTM進(jìn)行優(yōu)化。文獻(xiàn)[4]提出了一種基于Bi?LSTM（Bidirectional?Long Short Term Memory）的DDOS檢測(cè)方案，該方案主要使用了Bi?LSTM構(gòu)建神經(jīng)網(wǎng)絡(luò)模型來(lái)進(jìn)行預(yù)測(cè)。文獻(xiàn)[5]提出了一種新的基于CNN和LSTM的入侵檢測(cè)模型，該模型與經(jīng)典的LSTM相比表現(xiàn)更好。上述幾種方法并未考慮全局特征對(duì)于模型結(jié)果的影響，并且需要使用數(shù)據(jù)增強(qiáng)和正則化方法以防止過(guò)擬合。為解決上述問(wèn)題，可以使用融合了卷積神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制的MobileViT建立入侵檢測(cè)模型，用來(lái)提取局部和全局特征，提高模型的預(yù)測(cè)精度以及減少模型的參數(shù)量[6]。

入侵檢測(cè)數(shù)據(jù)屬于類(lèi)別失衡數(shù)據(jù)，其攻擊樣本通常較少，面臨攻擊類(lèi)樣本特征無(wú)法被準(zhǔn)確識(shí)別的問(wèn)題，針對(duì)該問(wèn)題，文獻(xiàn)[7]提出了結(jié)合SMOTE和GAN的數(shù)據(jù)預(yù)處理方法，并使用Wasserstein GAN學(xué)習(xí)少數(shù)類(lèi)數(shù)據(jù)分布情況，構(gòu)建平衡數(shù)據(jù)集。文獻(xiàn)[8]為解決入侵檢測(cè)正常流量與惡意流量的不平衡問(wèn)題，使用基于WGAN的方法對(duì)數(shù)據(jù)進(jìn)行平衡處理。文獻(xiàn)[9]提出一種基于自定進(jìn)度集成和輔助分類(lèi)器生成對(duì)抗網(wǎng)絡(luò)（SPE?ACGAN）的重采樣方法。上述的數(shù)據(jù)平衡方法對(duì)輸入數(shù)據(jù)進(jìn)行擴(kuò)張，容易放大數(shù)據(jù)集的噪聲，使得模型出現(xiàn)過(guò)擬合現(xiàn)象。而焦點(diǎn)損失函數(shù)能夠直接處理原始數(shù)據(jù)，動(dòng)態(tài)調(diào)節(jié)類(lèi)別權(quán)重，以此來(lái)解決不平衡數(shù)據(jù)所造成的模型檢測(cè)精度低等問(wèn)題[10]。因此，焦點(diǎn)損失函數(shù)可以融入到入侵檢測(cè)模型來(lái)進(jìn)行攻擊預(yù)測(cè)。

綜上所述，為解決入侵檢測(cè)的類(lèi)別不平衡和現(xiàn)有模型體量較大的問(wèn)題，本文提出了一種將焦點(diǎn)損失函數(shù)引入到MobileViT的入侵檢測(cè)模型。選取CICIDS2017數(shù)據(jù)集中涵蓋攻擊類(lèi)型較多的周三數(shù)據(jù)，以網(wǎng)絡(luò)流量特征為自變量，攻擊類(lèi)型為因變量；使用方差分析選擇關(guān)鍵特征，并將數(shù)值數(shù)據(jù)轉(zhuǎn)化為圖像數(shù)據(jù)作為模型輸入，基于改進(jìn)MobileViT網(wǎng)絡(luò)構(gòu)建預(yù)測(cè)模型，使用焦點(diǎn)損失函數(shù)自適應(yīng)調(diào)整占比較小的攻擊行為的損失貢獻(xiàn)。

1" 基于改進(jìn)MobileViT的入侵檢測(cè)模型

首先，使用方差分析方法篩選關(guān)鍵特征并轉(zhuǎn)化為圖像；其次，將其輸入到改進(jìn)MobileViT網(wǎng)絡(luò)進(jìn)行攻擊識(shí)別，使用焦點(diǎn)損失函數(shù)來(lái)自適應(yīng)調(diào)整占比少的攻擊樣本的損失貢獻(xiàn)；最后，使用準(zhǔn)確率、召回率和[F1]分?jǐn)?shù)來(lái)評(píng)價(jià)模型的識(shí)別性能，并計(jì)算該模型的參數(shù)量。

1.1" 模型輸入

使用方差對(duì)影響攻擊行為識(shí)別特征進(jìn)行重要性分析，利用sklearn庫(kù)進(jìn)行特征得分評(píng)估，并提取出得分高的部分特征。為保證原始特征的穩(wěn)定性，使用如圖1所示的數(shù)字轉(zhuǎn)圖像方法，將數(shù)值數(shù)據(jù)轉(zhuǎn)換為圖像數(shù)據(jù)作為改進(jìn)MobileViT的輸入。

[newvalue=x-minmax-min×255] （1）

首先使用公式（1）對(duì)原始特征數(shù)據(jù)進(jìn)行轉(zhuǎn)化，達(dá)到轉(zhuǎn)化灰度圖的數(shù)值標(biāo)準(zhǔn)。將轉(zhuǎn)化好的數(shù)據(jù)按照得分大小進(jìn)行排序，第一個(gè)特征[F1]對(duì)應(yīng)灰度圖的第一個(gè)像素點(diǎn)，按照此方法將剩余的其他特征依次填充至圖像對(duì)應(yīng)的像素點(diǎn)。

1.2" 改進(jìn)MobileViT網(wǎng)絡(luò)

MobileViT網(wǎng)絡(luò)融合了卷積神經(jīng)網(wǎng)絡(luò)和Transformer的自注意力機(jī)制的優(yōu)勢(shì)，既可以使用輕量卷積減少訓(xùn)練量，又可以通過(guò)自注意力機(jī)制提取全局特征，改進(jìn)了普通卷積只能提取局部特征和Transformer難以訓(xùn)練的缺點(diǎn)。同時(shí)，原始的MobileViT網(wǎng)絡(luò)的MV2模塊使用ReLU6作為激活函數(shù)，其形式如公式（2）所示：

[ReLU（x）=min（6，max（0，x））]" （2）

當(dāng)輸入小于0或者大于6時(shí)，該函數(shù)的輸出為0，當(dāng)且僅當(dāng)輸入數(shù)據(jù)在（0，6）之間時(shí)神經(jīng)元才能被激活，否則會(huì)造成神經(jīng)元死亡進(jìn)而影響模型效果。

高斯誤差線性單元（Gaussian Error Linear Unit，GeLU）是由Hendrycks和Gimpel提出的一種激活函數(shù)[11]，其具體形式如式（3）所示：

[xP（X≤x）=x-∞xe-（x-μ）22σ22πσdX]" （3）

最終可近似為式（4）：

[GeLU（x）=0.5x1+tanh2πx+0.044 715x3] （4）

GeLU對(duì)輸入[x]乘以[[0，1]]的乘數(shù)，由于神經(jīng)網(wǎng)絡(luò)通常使用BatchNorm處理數(shù)據(jù)，使得神經(jīng)元的輸入近似為正態(tài)分布。因此，當(dāng)輸入[x]減小時(shí)，神經(jīng)元被丟棄的可能性就會(huì)增加，當(dāng)[x]增大時(shí)其被保留的概率也會(huì)增加。這種激活變換就會(huì)隨機(jī)依賴(lài)輸入，不再對(duì)輸入數(shù)據(jù)符號(hào)和數(shù)值大小敏感，不易造成神經(jīng)元死亡，能有效避免梯度消失的問(wèn)題。通過(guò)以上分析，使用GeLU替換常規(guī)MV2模塊中ReLU6的激活函數(shù)，提出一種如圖2所示的基于改進(jìn)MobileViT的網(wǎng)絡(luò)入侵檢測(cè)模型。

使用上述圖像轉(zhuǎn)換方法將數(shù)據(jù)輸入到模型后，分別經(jīng)過(guò)普通卷積層、MV2模塊和MViT模塊進(jìn)行特征提取，最后使用全局平均池化后放入全連接層并通過(guò)Softmax層輸出每個(gè)樣本類(lèi)別的概率，以此來(lái)識(shí)別攻擊行為。

MViT模塊首先使用卷積操作對(duì)數(shù)據(jù)進(jìn)行下采樣提取其局部特征，然后將下采樣后的數(shù)據(jù)進(jìn)行分塊并將每塊數(shù)據(jù)進(jìn)行展平，之后使用Transformer進(jìn)行全局特征的提取，最后通過(guò)shortcut將輸出特征與原始輸入進(jìn)行拼接，實(shí)現(xiàn)特征融合，提高模型對(duì)于攻擊的識(shí)別能力。

MV2模塊使用逆操作。首先使用[1×1]的卷積核對(duì)數(shù)據(jù)進(jìn)行上采樣提高數(shù)據(jù)維度，然后使用[3×3]卷積進(jìn)行深度可分離卷積對(duì)輸入數(shù)據(jù)進(jìn)行特征提取，最后通過(guò)下采樣進(jìn)行降維輸出。傳統(tǒng)的卷積計(jì)算量如公式（5）所示，深度可分離卷積計(jì)算量如公式（6）所示。

[F0=K×K×M×N×H×W] （5）

[F1=K×K×M×N×H×W+M×N×H×W] （6）

[F1F0=1N+1K2]" " "（7）

式中：[F0]代表傳統(tǒng)卷積的計(jì)算量；[F1]代表深度可分離卷積的計(jì)算量；[H]為輸入特征矩陣的高；[W]為寬；[M]為通道數(shù)；[N]為輸出特征矩陣的通道數(shù)。

由公式（7）可知，理論上傳統(tǒng)卷積的計(jì)算量是深度可分離卷積的[K2]倍，因此使用深度可分離卷積可以極大減少模型計(jì)算量，從而減少模型占用空間。

1.3" 焦點(diǎn)損失函數(shù)

入侵檢測(cè)數(shù)據(jù)集中攻擊流量占比較少，常用的交叉熵?fù)p失函數(shù)難以處理數(shù)據(jù)不平衡問(wèn)題，焦點(diǎn)損失函數(shù)式應(yīng)用于處理類(lèi)別不平衡數(shù)據(jù)的損失函數(shù)。通過(guò)調(diào)整不平衡樣本之間的權(quán)重系數(shù)，減少易分類(lèi)樣本的損失貢獻(xiàn)，提高難分類(lèi)樣本的損失貢獻(xiàn)，其公式如下所示：

[FL（pt）=-αt（1-pt）γlog（pt）]" （8）

式中：[t]代表數(shù)據(jù)為攻擊流量還是正常流量；[pt]為模型預(yù)測(cè)出對(duì)應(yīng)樣本[t]的概率值；[αt]為類(lèi)別樣本對(duì)應(yīng)的權(quán)重；[γ]為調(diào)節(jié)因子，通常為2。如果預(yù)測(cè)攻擊類(lèi)型[pt]越小，說(shuō)明預(yù)測(cè)越不準(zhǔn)確，此時(shí)焦點(diǎn)損失函數(shù)會(huì)將其看作難分類(lèi)攻擊樣本。同時(shí)，[（1-pt）γ]值增大，難分類(lèi)攻擊行為對(duì)損失貢獻(xiàn)就會(huì)增大。在本文的入侵檢測(cè)模型中，[αt]是長(zhǎng)度為2的向量，用來(lái)存放是否為攻擊行為的權(quán)重，攻擊行為[αt]的權(quán)重要高于正常行為。

2" 數(shù)據(jù)預(yù)處理

2.1" 數(shù)據(jù)描述

CICIDS2017數(shù)據(jù)集包含了良性和最新的常見(jiàn)攻擊[12]，該數(shù)據(jù)集總共采集了5天的數(shù)據(jù)量，周一未產(chǎn)生攻擊只包含正常網(wǎng)絡(luò)流量，該數(shù)據(jù)集所采集的攻擊流量主要集中在周二至周五，采用的攻擊手段主要包括暴力FTP、暴力SSH、DDOS等常見(jiàn)攻擊手段。

由于周三采集的樣本種類(lèi)多，且攻擊樣本和正常樣本具有嚴(yán)重的類(lèi)不平衡性，因此在本次實(shí)驗(yàn)中本文采用了該數(shù)據(jù)集在周三攻擊所采集的數(shù)據(jù)，其所涵蓋的數(shù)據(jù)如表1所示。

周三的數(shù)據(jù)集主要包括了如表1所示的五種攻擊方式，其中正常流量樣本（BENIGN）占比63.52%，在攻擊流量中，類(lèi)型為DosHulk的流量為次數(shù)較多的攻擊方式，占比33.36%，其余攻擊類(lèi)型占比均較低。該數(shù)據(jù)集具有嚴(yán)重的不平衡性。

2.2" 數(shù)據(jù)預(yù)處理及特征篩選

上述數(shù)據(jù)中有部分特征為非數(shù)值型數(shù)據(jù)或者為空的情況。由于原始數(shù)據(jù)量足夠多，本文針對(duì)以上情況做剔除處理，在數(shù)據(jù)清洗完成之后，本文針對(duì)非數(shù)值型數(shù)據(jù)進(jìn)行預(yù)編碼，所有良性樣本編碼為0，攻擊樣本編碼為1。經(jīng)過(guò)數(shù)據(jù)清洗后的數(shù)據(jù)分布如表2所示。

在經(jīng)過(guò)數(shù)據(jù)清洗和預(yù)編碼后的相關(guān)數(shù)據(jù)被剔除，總樣本數(shù)量為447 819個(gè)。樣本數(shù)量仍然較高，原數(shù)據(jù)集特征數(shù)量由85個(gè)降為81個(gè)，經(jīng)過(guò)處理后的數(shù)據(jù)已全部為數(shù)值型數(shù)據(jù)，再對(duì)數(shù)據(jù)進(jìn)行歸一化。將81個(gè)特征使用方差分析方法計(jì)算特征和標(biāo)簽類(lèi)型之間的分?jǐn)?shù)，進(jìn)行重要性排序，如表3所示。

本文不考慮得分在3以下的特征，表3展示了在預(yù)處理之后數(shù)據(jù)集的特征經(jīng)過(guò)方差分析計(jì)算后得分最高的12個(gè)特征及其所對(duì)應(yīng)的得分，將該12個(gè)數(shù)值特征使用上文的圖像生成方法轉(zhuǎn)化為圖像數(shù)據(jù)。

3" 實(shí)驗(yàn)設(shè)置和評(píng)估

3.1" 實(shí)驗(yàn)設(shè)置

將數(shù)值數(shù)據(jù)轉(zhuǎn)化為圖像數(shù)據(jù)后，圖像的像素大小為3×4，將此圖像作為改進(jìn)MobileViT網(wǎng)絡(luò)的入侵檢測(cè)模型的輸入。該模型使用Python和PyTorch搭建，訓(xùn)練集和測(cè)試集比例為7∶3。模型epoch為100，學(xué)習(xí)率為0.000 2，batch_size設(shè)置為128，優(yōu)化器使用隨機(jī)梯度下降法。通過(guò)文獻(xiàn)[10]對(duì)焦點(diǎn)損失函數(shù)的研究，證明焦點(diǎn)損失函數(shù)中[γ]設(shè)置為2效果最好，因此本文將[γ]設(shè)置為2。針對(duì)正常樣本的調(diào)節(jié)因子[α正]和攻擊樣本的調(diào)節(jié)因子[α攻]，首先將其設(shè)置為0.46、0.54，其次逐漸減小正常樣本所對(duì)應(yīng)的調(diào)節(jié)因子[α正]，逐漸加大攻擊樣本的調(diào)節(jié)因子[α攻]。最后，通過(guò)多次實(shí)驗(yàn)驗(yàn)證表明，將正常樣本的調(diào)節(jié)因子[α正]和攻擊樣本的調(diào)節(jié)因子[α攻]對(duì)應(yīng)分別設(shè)置為0.26、0.74，模型表現(xiàn)最優(yōu)。焦點(diǎn)損失函數(shù)超參數(shù)敏感實(shí)驗(yàn)結(jié)果如表4所示。

由表4可知，當(dāng)正常樣本的調(diào)節(jié)因子[α正]與攻擊樣本的調(diào)節(jié)因子[α攻]分別為0.46、0.54時(shí)，模型的識(shí)別準(zhǔn)確率為91.82%，隨后逐漸減小[α正]并逐漸增大[α攻]。實(shí)驗(yàn)結(jié)果表明，將正常樣本的調(diào)節(jié)因子 [α正]與攻擊樣本的調(diào)節(jié)因子[α攻]分別設(shè)置為0.26、0.74時(shí)，模型對(duì)于攻擊識(shí)別的準(zhǔn)確率達(dá)到98.40%。

3.2" 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

本文通過(guò)以下指標(biāo)來(lái)測(cè)試和評(píng)估所提出模型的有效性和性能。

1） Accuracy（AC）：準(zhǔn)確預(yù)測(cè)數(shù)量占總流量的百分比，準(zhǔn)確率計(jì)算公式為：

[AC=TP+TNTP+TN+FP+FN×100%]" "（9）

2） Precision（[P]）：表示被分類(lèi)為攻擊流量數(shù)量占實(shí)際攻擊流量的百分比，精確率計(jì)算公式為：

[P=TPTP+FP×100%] （10）

3） Recall（[R]）：表示估計(jì)預(yù)測(cè)的攻擊數(shù)量占總攻擊數(shù)量的百分比，召回率計(jì)算公式為：

[R=TPTP+FN×100%]" （11）

4） [F1]_score（[F1]）：根據(jù)[P]和[R]返回對(duì)模型精度的更可靠度量，[F1]分?jǐn)?shù)計(jì)算公式為：

[F1=2PRP+R×100%]" （12）

式中：TP表示攻擊樣本被分類(lèi)器判別為攻擊的個(gè)數(shù)；TN表示正常樣本被分類(lèi)器判別為正常的個(gè)數(shù)；FP表示正常樣本被判別為攻擊樣本的個(gè)數(shù)；FN表示攻擊樣本被判別為正常樣本的個(gè)數(shù)。

3.3" 模型分類(lèi)性能比較

為驗(yàn)證本文所提模型的分類(lèi)效果，使用訓(xùn)練集數(shù)據(jù)作為輸入并使用PyTorch訓(xùn)練模型，在測(cè)試集上的二分類(lèi)混淆矩陣如圖3所示。

使用圖3所示的混淆矩陣計(jì)算其精確率、召回率和[F1]分?jǐn)?shù)。將本模型與現(xiàn)有研究相關(guān)SOTA模型進(jìn)行比較，其中包括WSDMO_DRN[13]、BWO?CONV?LSTM[14]，并對(duì)比了現(xiàn)有機(jī)器學(xué)習(xí)算法如GWO?SVM[15]、SSPAE?SVM[16]。進(jìn)行分類(lèi)時(shí)將所有的正常樣本標(biāo)記為0，所有的攻擊樣本標(biāo)記為1，使用轉(zhuǎn)化后的數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練。根據(jù)文獻(xiàn)中BWO?CONV?LSTM、GWO?SVM、MobileViT三種模型的算法描述，驗(yàn)證了其在CICIDS2017數(shù)據(jù)集的表現(xiàn)，直接引用了WSDMO_DRN、SSPAE?SVM兩種算法模型的結(jié)果。表5給出本文模型和5種對(duì)比模型的總體識(shí)別性能比較，精確率、召回率和[F1]計(jì)算方式為宏平均。

由表5可知，本文模型相對(duì)改進(jìn)的SVM算法，準(zhǔn)確率分別提高了8.74%、7.18%，相對(duì)于文獻(xiàn)[13]和文獻(xiàn)[14]提出的方法準(zhǔn)確率分別提高了7.8%和1.37%，精確率、召回率以及[F1]分?jǐn)?shù)相對(duì)以上幾種模型都較高。這是因?yàn)槿肭謾z測(cè)數(shù)據(jù)為不平衡數(shù)據(jù)，導(dǎo)致模型更加傾向于預(yù)測(cè)正常樣本，而忽略了攻擊樣本，所以導(dǎo)致對(duì)比模型的準(zhǔn)確率低。以上研究結(jié)果表明，在入侵檢測(cè)方面本文模型具有良好的識(shí)別能力。

3.4" 數(shù)據(jù)平衡方法實(shí)驗(yàn)對(duì)比

為進(jìn)一步證明使用焦點(diǎn)損失函數(shù)對(duì)MobileViT網(wǎng)絡(luò)改進(jìn)的有效性，將焦點(diǎn)損失函數(shù)與其他數(shù)據(jù)平衡方法應(yīng)用在MobileViT中，其中包括ACGAN數(shù)據(jù)增強(qiáng)、SMOTE過(guò)采樣、ADASYN欠采樣、VAE[17]。分別采用上述數(shù)據(jù)平衡方法對(duì)本文所使用的CICIDS2017數(shù)據(jù)集進(jìn)行數(shù)據(jù)平衡處理，使用平衡后的數(shù)據(jù)對(duì)改進(jìn)MobileViT進(jìn)行訓(xùn)練，其Epochs次數(shù)保持一致，使用測(cè)試集進(jìn)行評(píng)估，各數(shù)據(jù)平衡方法在改進(jìn)MoblieViT上的準(zhǔn)確率表現(xiàn)如圖4所示。

圖4評(píng)估了不同采樣方法在MobileViT上的表現(xiàn)。由圖4可知，本文所使用的數(shù)據(jù)平衡方法表現(xiàn)最好，這是因?yàn)槭褂媒裹c(diǎn)損失函數(shù)不會(huì)產(chǎn)生太多的輸入噪聲，模型不易過(guò)擬合。SMOTE過(guò)采樣和ADASYN過(guò)采樣方法通過(guò)合成樣本來(lái)增加少數(shù)攻擊樣本的數(shù)據(jù)量，使得模型過(guò)于依賴(lài)合成的數(shù)據(jù)，導(dǎo)致其在測(cè)試集上的準(zhǔn)確率不高。ACGAN方法存在訓(xùn)練難度大、超參數(shù)確定困難等問(wèn)題，使用不平衡數(shù)據(jù)訓(xùn)練會(huì)導(dǎo)致模型產(chǎn)生類(lèi)別不平衡現(xiàn)象，生成器會(huì)傾向于生成常見(jiàn)的樣本。VAE生成模型在學(xué)習(xí)過(guò)程中引入了隨機(jī)性，導(dǎo)致重構(gòu)樣本存在一定的模糊性，不能準(zhǔn)確地還原原始樣本。綜上所述，本文所提出的通過(guò)焦點(diǎn)損失函數(shù)改進(jìn)MobileViT的方法對(duì)攻擊行為具有良好的識(shí)別效果。

3.5" 模型輕量化對(duì)比

為驗(yàn)證改進(jìn)后的MovileViT模型具有輕量化的優(yōu)點(diǎn)，本文搭建了輕量級(jí)CNN模型Mobilenet[18]、Shufflenet[19]、MobileViT[6]，重量級(jí)CNN模型Resnet?18[20]以及文獻(xiàn)[13]中所提模型，并使用CICIDS2017數(shù)據(jù)集對(duì)其進(jìn)行訓(xùn)練，各個(gè)模型的參數(shù)量及準(zhǔn)確率如表6所示。

由表6可知，相對(duì)于以上幾種模型，本文所提出的改進(jìn)MobileViT模型的參數(shù)量達(dá)到最小。同時(shí)，本文模型對(duì)于攻擊識(shí)別的準(zhǔn)確率達(dá)到了98.40%。因此，本文所提出的模型要優(yōu)于其他入侵檢測(cè)模型。

3.6" 模型泛化能力驗(yàn)證

為驗(yàn)證本文所提模型的泛化能力，使用UNSW?NB15數(shù)據(jù)集對(duì)模型進(jìn)行驗(yàn)證。首先，對(duì)該數(shù)據(jù)集進(jìn)行預(yù)處理，剔除空數(shù)據(jù)并對(duì)其進(jìn)行歸一化；其次，使用方差分析對(duì)特征進(jìn)行評(píng)分并提取特征，特征提取原則與CICIDS2017數(shù)據(jù)集特征提取原則相同，特征及其得分如表7所示；最后，使用1.1節(jié)所示的圖像轉(zhuǎn)化方法將一維數(shù)據(jù)轉(zhuǎn)化為二維圖像數(shù)據(jù)。

在數(shù)據(jù)集UNSW?NB15上通過(guò)方差分析所提取的特征（見(jiàn)表7）。首先，通過(guò)特征提取將其對(duì)應(yīng)特征轉(zhuǎn)化為二維圖像數(shù)據(jù)；其次，將二維圖像數(shù)據(jù)作為本文模型的輸入進(jìn)行訓(xùn)練；最后，本文引用了使用UNSW?NB15數(shù)據(jù)集進(jìn)行訓(xùn)練的模型結(jié)果，例如ANN?CFS[21]、GA?CNN[22]、OCNN?HMLSTM[23]。結(jié)果表明，本文所提模型要優(yōu)于現(xiàn)有SOTA模型，證明了本文模型具有良好的泛化能力，具體結(jié)果如圖5所示。

由圖5可知，本文模型在UNSW?NB15數(shù)據(jù)集上的表現(xiàn)相對(duì)于其他SOTA模型而言，雖在精確率上稍低于其他三種模型，但在準(zhǔn)確率、召回率和[F1]分?jǐn)?shù)上要高于其他三種模型。綜上所述，本文模型在UNSW?NB15數(shù)據(jù)集的表現(xiàn)較好，該模型具有良好的泛化能力。

4" 結(jié)" 語(yǔ)

針對(duì)現(xiàn)有入侵檢測(cè)方法中存在數(shù)據(jù)不平衡、識(shí)別模型參數(shù)量高等問(wèn)題，本文提出了一種基于MobileViT的入侵檢測(cè)方法，該模型通過(guò)引入GeLU激活函數(shù)以及焦點(diǎn)損失函數(shù)對(duì)MobileViT進(jìn)行了改進(jìn)。首先，在同一個(gè)數(shù)據(jù)集與其他SOTA模型進(jìn)行比較；其次，使用不同的數(shù)據(jù)平衡方法對(duì)數(shù)據(jù)進(jìn)行處理并訓(xùn)練改進(jìn)的MobileViT網(wǎng)絡(luò)；最后，對(duì)比驗(yàn)證了模型的參數(shù)量以及模型的泛化能力。實(shí)驗(yàn)結(jié)果表明，本文模型在準(zhǔn)確率和其他分類(lèi)指標(biāo)上要優(yōu)于對(duì)比模型，采用焦點(diǎn)損失函數(shù)在不平衡數(shù)據(jù)預(yù)測(cè)上取得了較好的結(jié)果，本文模型在參數(shù)量上要少于其他對(duì)比模型，并且模型具有良好的泛化能力。未來(lái)的研究將識(shí)別具體的攻擊類(lèi)型，并將模型部署到便攜式設(shè)備以提高信息防護(hù)能力。

參考文獻(xiàn)

[1] KUMARI P， JAIN A K. A comprehensive study of DDoS attacks over IoT network and their countermeasures [J]. Computers amp; security， 2023， 127： 103096.

[2] 黃嶼璁，張潮，呂鑫，等.基于深度學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測(cè)研究綜述[J].信息安全研究，2022，8（12）：1163?1177.

[3] 麻文剛，張亞?wèn)|，郭進(jìn).基于LSTM與改進(jìn)殘差網(wǎng)絡(luò)優(yōu)化的異常流量檢測(cè)方法[J].通信學(xué)報(bào)，2021，42（5）：23?40.

[4] 白堅(jiān)鏡，顧瑞春，劉清河.SDN環(huán)境中基于Bi?LSTM的DDoS攻擊檢測(cè)方案[J].計(jì)算機(jī)工程與科學(xué)，2023，45（2）：277?285.

[5] DEY A. Deep IDS： A deep learning approach for intrusion detection based on IDS 2018 [C]// 2020 2nd International Conference on Sustainable Technologies for Industry 4.0 （STI）. New York： IEEE， 2020： 1?5.

[6] MEHTA S， RASTEGARI M. MobileViT： Light?weight， general?purpose， and mobile?friendly vision transformer [EB/OL]. [2021?10?05]. https：//arxiv.org/abs/2110.02178.

[7] 石磊，張吉濤，高宇飛，等.基于Transformer與BiLSTM的網(wǎng)絡(luò)流量入侵檢測(cè)[J].計(jì)算機(jī)工程，2023，49（3）：29?36.

[8] ZHANG L， JIANG S P， SHEN X J， et al. PWG?IDS： An intrusion detection model for solving class imbalance in IIoT networks using generative adversarial networks [EB/OL]. [2021?10?06]. https：//api.semanticscholar.org/CorpusID：238419301.

[9] YANG H， XU J Y， XIAO Y C， et al. SPE?ACGAN： A resampling approach for class imbalance problem in network intrusion detection systems [J]. Electronics， 2023， 12（15）： 3323.

[10] LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection [C]// Proceedings of the IEEE International Conference on Computer Vision. New York： IEEE， 2017： 2999?3007.

[11] HENDRYCKS D， GIMPEL K. Gaussian error linear units （GELUs） [EB/OL]. [2016?06?21]. https：//ui.adsabs.harvard.edu/abs/2016arXiv160608415H/abstract.

[12] SHARAFALDIN I， LASHKARI A H， GHORBANI A A. Toward generating a new intrusion detection dataset and intrusion traffic characterization [C]// Proceedings of the 4th International Conference on Information Systems Security and Privacy. Portugal： SciTePress， 2018： 108?116.

[13] RAJ M G， PANI S K. Intrusion detection system using combination of deep residual fuzzy network and white shark?dwarf mongoose optimization [EB/OL]. [2023?06?06]. https：//www.researchgate.net/publication/371346140.

[14] KANNA P R， SANTHI P. Hybrid intrusion detection using MapReduce based black widow optimized convolutional long short?term memory neural networks [J]. Expert systems with applications， 2022， 194： 116545.

[15] SAFALDIN M， OTAIR M， ABUALIGAN L. Improved binary gray wolf optimizer and SVM for intrusion detection system in wireless sensor networks [J]. Journal of ambient intelligence and humanized computing， 2021， 12（2）： 1559?1576.

[16] GHORBANI A， FAKHRAHMAD S M. A deep learning approach to network intrusion detection using a proposed supervised sparse auto?encoder and SVM [J]. Iranian journal of science and technology， transactions of electrical engineering， 2022， 46（3）： 829?846.

[17] 曹春明，何戡，宗學(xué)軍，等.基于VAE和DLIESN的工控系統(tǒng)入侵檢測(cè)方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2023，44（11）：3283?3289.

[18] HOWRAD A G， ZHU M L， CHEN B， et al. MobileNets： Efficient convolutional neural networks for mobile vision applications [EB/OL]. [2021?05?27]. http：//arxiv.org/abs/1704.04861.

[19] ZHANG X Y， ZHOU X Y， LIN M X， et al. ShuffleNet： An extremely efficient convolutional neural network for mobile devices [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 6848?6856.

[20] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition [C]// Proceedings of 2016 Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2016： 770?778.

[21] SUMAIYA THASEEN I， SAIRA BANU J， LAVANYA K， et al. An integrated intrusion detection system using correlation?based attribute selection and artificial neural network [J]. Transactions on emerging telecommunications technologies， 2021， 32（2）： e4014.

[22] NGUYEN M T， KIM K. Genetic convolutional neural network for intrusion detection systems [J]. Future generation computer systems， 2020， 113： 418?427.

[23] KANNA P R， SANTHI P. Unified deep learning approach for efficient intrusion detection system using integrated spatial?temporal features [J]. Knowledge?based systems， 2021， 226： 107132.

作者簡(jiǎn)介：姚" 軍（1972—），男，陜西西安人，碩士研究生，副教授，主要研究方向?yàn)榫W(wǎng)絡(luò)安全、寬帶數(shù)據(jù)網(wǎng)絡(luò)。

孫方超（2000—），男，陜西咸陽(yáng)人，在讀碩士研究生，主要研究方向?yàn)榫W(wǎng)絡(luò)安全、深度學(xué)習(xí)。

收稿日期：2024?03?25" " " " " "修回日期：2024?04?18