基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)流量分析與入侵檢測(cè)

張永東

（四川機(jī)電職業(yè)技術(shù)學(xué)院 四川 攀枝花 617000）

0 引言

隨著信息技術(shù)的飛速發(fā)展和網(wǎng)絡(luò)規(guī)模的迅速擴(kuò)張，網(wǎng)絡(luò)安全問題日益成為互聯(lián)網(wǎng)時(shí)代的焦點(diǎn)之一。惡意攻擊、網(wǎng)絡(luò)入侵等威脅不斷進(jìn)化，給網(wǎng)絡(luò)通信和信息系統(tǒng)的安全性帶來了更高的挑戰(zhàn)［1－2］。在這一背景下，基于強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)流量分析與入侵檢測(cè)引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注［3－4］。強(qiáng)化學(xué)習(xí)［5－6］作為一種能夠在未知環(huán)境中進(jìn)行學(xué)習(xí)和決策的算法，為網(wǎng)絡(luò)安全領(lǐng)域帶來了新的思路與方法。深度Q 網(wǎng)絡(luò)（deep Q network， DQN）［7－8］則作為強(qiáng)化學(xué)習(xí)的代表之一，通過深度學(xué)習(xí)技術(shù)在網(wǎng)絡(luò)流量分析中展現(xiàn)出卓越的性能。

本研究旨在探討一種創(chuàng)新性的網(wǎng)絡(luò)安全架構(gòu)，該架構(gòu)以深度強(qiáng)化學(xué)習(xí)為基礎(chǔ)，通過DQN 實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)入侵的檢測(cè)。本研究將詳細(xì)探討DQN 的結(jié)構(gòu)，深入研究該網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測(cè)中的應(yīng)用過程。通過對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)的智能學(xué)習(xí)和分析，DQN 能夠自動(dòng)識(shí)別潛在的入侵行為，提高網(wǎng)絡(luò)安全的主動(dòng)防御能力。為了驗(yàn)證所構(gòu)建架構(gòu)的有效性，本研究采用了NSL-KDD 數(shù)據(jù)集進(jìn)行了充分的模型訓(xùn)練與測(cè)試。通過實(shí)驗(yàn)結(jié)果的分析，評(píng)估了所提出方法在網(wǎng)絡(luò)入侵檢測(cè)中的性能，并為未來的研究和實(shí)際應(yīng)用提供有力的支持。

1 深度強(qiáng)化學(xué)習(xí)與網(wǎng)絡(luò)安全

在強(qiáng)化學(xué)習(xí)的基本架構(gòu)中，環(huán)境、智能系統(tǒng)、動(dòng)作、狀態(tài)和獎(jiǎng)勵(lì)是構(gòu)成強(qiáng)化學(xué)習(xí)過程的關(guān)鍵組成部分，如圖1所示。

圖1 強(qiáng)化學(xué)習(xí)中的環(huán)境和智能系統(tǒng)

環(huán)境是智能系統(tǒng)所處的外部環(huán)境，它包含了智能系統(tǒng)進(jìn)行學(xué)習(xí)和決策所需的一切信息。在網(wǎng)絡(luò)入侵檢測(cè)中，環(huán)境包括網(wǎng)絡(luò)流量、通信協(xié)議等各種元素。智能系統(tǒng)是強(qiáng)化學(xué)習(xí)的主體，它通過與環(huán)境的交互學(xué)習(xí)，并基于學(xué)到的知識(shí)做出決策。在網(wǎng)絡(luò)入侵檢測(cè)中，智能系統(tǒng)即是用于分析網(wǎng)絡(luò)流量和識(shí)別入侵行為的算法模型，如DQN。動(dòng)作是智能系統(tǒng)在特定狀態(tài)下可執(zhí)行的操作，它影響智能系統(tǒng)與環(huán)境的交互。在網(wǎng)絡(luò)入侵檢測(cè)中，動(dòng)作可以是調(diào)整模型參數(shù)、更新規(guī)則庫或者改變監(jiān)測(cè)策略等，以適應(yīng)不斷變化的網(wǎng)絡(luò)威脅。狀態(tài)是描述環(huán)境的一組變量，用于表示智能系統(tǒng)在決策過程中的信息。在網(wǎng)絡(luò)入侵檢測(cè)中，狀態(tài)可以包括當(dāng)前網(wǎng)絡(luò)流量的特征、歷史入侵記錄等，智能系統(tǒng)通過觀察狀態(tài)來做出決策實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)入侵的及時(shí)響應(yīng)。獎(jiǎng)勵(lì)是強(qiáng)化學(xué)習(xí)中用于評(píng)估智能系統(tǒng)行為優(yōu)劣的指標(biāo)。在網(wǎng)絡(luò)入侵檢測(cè)中，獎(jiǎng)勵(lì)是成功檢測(cè)到入侵行為的正向反饋，懲罰表示未能正確識(shí)別入侵或發(fā)生誤報(bào)的負(fù)向反饋。通過最大化累積獎(jiǎng)勵(lì)智能系統(tǒng)能夠?qū)W到更為有效的網(wǎng)絡(luò)安全策略。

2 基于深度強(qiáng)化學(xué)習(xí)的流量分析

2.1 深度Q 網(wǎng)絡(luò)

DQN 用于解決具有高維狀態(tài)空間的強(qiáng)化學(xué)習(xí)問題，其工作邏輯中通過巧妙地整合深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的方法實(shí)現(xiàn)了對(duì)復(fù)雜環(huán)境下智能系統(tǒng)的高效學(xué)習(xí)與決策。

如圖2 所示，DQN 的智能系統(tǒng)通過深度神經(jīng)網(wǎng)絡(luò)（deep neural network， DNN）［9－10］來逼近并學(xué)習(xí)一個(gè)狀態(tài)值函數(shù)Q（s，a），其中狀態(tài)s表示智能系統(tǒng)對(duì)環(huán)境的觀察，動(dòng)作a表示智能系統(tǒng)采取的行為。該函數(shù)估計(jì)了在給定狀態(tài)下采取某一動(dòng)作的長(zhǎng)期累積獎(jiǎng)勵(lì)，即Q 值。DQN 的目標(biāo)是通過學(xué)習(xí)Q 值函數(shù)，使得在特定狀態(tài)下選擇具有最大Q 值的動(dòng)作，以最大化系統(tǒng)的累積獎(jiǎng)勵(lì)。

圖2 深度Q 網(wǎng)絡(luò)基本結(jié)構(gòu)

環(huán)境是智能系統(tǒng)進(jìn)行學(xué)習(xí)和決策的外部條件，其動(dòng)態(tài)變化和復(fù)雜性對(duì)于智能系統(tǒng)的學(xué)習(xí)提出了挑戰(zhàn)。狀態(tài)s是智能系統(tǒng)對(duì)環(huán)境的抽象表示，通過觀察狀態(tài)，DQN 能夠判斷當(dāng)前環(huán)境的特征。動(dòng)作a是智能系統(tǒng)在特定狀態(tài)下可執(zhí)行的操作，通過選擇不同的動(dòng)作，智能系統(tǒng)影響環(huán)境的演變。

在DQN 中，為了實(shí)現(xiàn)對(duì)Q 值函數(shù)的學(xué)習(xí)，智能系統(tǒng)通過與環(huán)境的交互來收集經(jīng)驗(yàn)數(shù)據(jù)，其中包括狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)和下一個(gè)狀態(tài)。這些經(jīng)驗(yàn)數(shù)據(jù)用于訓(xùn)練DNN，通過最小化Q 值函數(shù)的預(yù)測(cè)誤差來不斷優(yōu)化模型參數(shù)。獎(jiǎng)勵(lì)R是智能系統(tǒng)在執(zhí)行動(dòng)作后從環(huán)境中獲得的即時(shí)獎(jiǎng)勵(lì)，這個(gè)獎(jiǎng)勵(lì)是智能系統(tǒng)優(yōu)化長(zhǎng)期累積獎(jiǎng)勵(lì)的關(guān)鍵因素。

2.2 網(wǎng)絡(luò)流量分析方法

使用DQN 進(jìn)行網(wǎng)絡(luò)入侵檢測(cè)時(shí)，首先定義網(wǎng)絡(luò)入侵檢測(cè)的狀態(tài)空間，S表示網(wǎng)絡(luò)流量特征的集合，其中st表示在時(shí)間進(jìn)一步t處的狀態(tài)：

然后，定義動(dòng)作空間A，包括了在給定狀態(tài)下可采取的所有可能動(dòng)作。對(duì)于網(wǎng)絡(luò)入侵檢測(cè)，動(dòng)作包括更新模型參數(shù)、調(diào)整規(guī)則庫等：

獎(jiǎng)勵(lì)函數(shù)R用于衡量智能系統(tǒng)在執(zhí)行動(dòng)作后從環(huán)境中獲得的即時(shí)獎(jiǎng)勵(lì)。在網(wǎng)絡(luò)入侵檢測(cè)中，獎(jiǎng)勵(lì)可以表示為成功檢測(cè)到入侵行為的獎(jiǎng)勵(lì)或未能正確識(shí)別入侵的懲罰R（st，at）。

Q 值函數(shù)Q（st，at） 用于估計(jì)在狀態(tài)st下采取動(dòng)作at后的長(zhǎng)期累積獎(jiǎng)勵(lì)，可以通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，即：

其中，E表示數(shù)學(xué)期望，θ是網(wǎng)絡(luò)參數(shù)，θ－表示目標(biāo)網(wǎng)絡(luò)參數(shù)，γ是折扣因子，Rt是在時(shí)刻t獲得的即時(shí)獎(jiǎng)勵(lì)。為了穩(wěn)定訓(xùn)練過程，引入經(jīng)驗(yàn)回放機(jī)制，通過存儲(chǔ)并從經(jīng)驗(yàn)池中隨機(jī)抽樣歷史經(jīng)驗(yàn)，減少樣本間的相關(guān)性，優(yōu)化目標(biāo)函數(shù)：

通過隨機(jī)梯度下降法最小化目標(biāo)函數(shù)L（θ），更新深度神經(jīng)網(wǎng)絡(luò)的參數(shù)：

式（5）中，α是學(xué)習(xí)率。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)配置

本研究使用NSL-KDD 數(shù)據(jù)集［11］進(jìn)行模型的訓(xùn)練與測(cè)試，該數(shù)據(jù)集是一個(gè)用于網(wǎng)絡(luò)入侵檢測(cè)研究的常用數(shù)據(jù)集，是對(duì)KDD Cup 1999 數(shù)據(jù)集的改進(jìn)版本。該數(shù)據(jù)集包含了模擬真實(shí)網(wǎng)絡(luò)環(huán)境中的正常流量和多種入侵行為，涵蓋了22 個(gè)不同類型的網(wǎng)絡(luò)攻擊。相對(duì)于原始KDD Cup 1999 數(shù)據(jù)集，NSL-KDD 數(shù)據(jù)集通過去除重復(fù)樣本和一些明顯的錯(cuò)誤，使得數(shù)據(jù)更具可靠性和一致性。

該數(shù)據(jù)集主要分為訓(xùn)練集和測(cè)試集兩部分，其中訓(xùn)練集用于模型的訓(xùn)練，測(cè)試集則用于評(píng)估模型的性能。每個(gè)樣本都包含了41 個(gè)特征，這些特征涵蓋了網(wǎng)絡(luò)連接的各個(gè)方面，如源IP 地址、目標(biāo)IP 地址、協(xié)議類型等，以及每個(gè)連接的類別標(biāo)簽，標(biāo)識(shí)了連接是正常還是包含某種入侵。

本實(shí)驗(yàn)使用的硬件和軟件的環(huán)境配置分別如表1 和表2 所示。

表1 實(shí)驗(yàn)環(huán)境硬件配置

表2 實(shí)驗(yàn)環(huán)境軟件配置

3.2 實(shí)驗(yàn)方案設(shè)計(jì)

本研究采用的實(shí)驗(yàn)方案包括：

（1）數(shù)據(jù)預(yù)處理。對(duì)NSL-KDD 數(shù)據(jù)集進(jìn)行預(yù)處理，包括數(shù)據(jù)清洗、特征選擇和標(biāo)簽編碼，確保數(shù)據(jù)集的質(zhì)量和適應(yīng)模型訓(xùn)練的要求。

（2）狀態(tài)和動(dòng)作定義。定義狀態(tài)空間S和動(dòng)作空間A，將網(wǎng)絡(luò)流量的特征作為狀態(tài)，定義可執(zhí)行的網(wǎng)絡(luò)安全操作為動(dòng)作。

（3）初始化DQN。使用深度神經(jīng)網(wǎng)絡(luò)初始化Q 值函數(shù)，網(wǎng)絡(luò)的輸出為每個(gè)動(dòng)作的Q 值。

（4）經(jīng)驗(yàn)回放機(jī)制。實(shí)施經(jīng)驗(yàn)回放機(jī)制，建立經(jīng)驗(yàn)池，存儲(chǔ)智能系統(tǒng)與環(huán)境交互的歷史經(jīng)驗(yàn)。

（5）目標(biāo)Q 值計(jì)算。計(jì)算目標(biāo)Q 值，用于更新網(wǎng)絡(luò)參數(shù)。

（6）目標(biāo)函數(shù)定義。定義DQN 的目標(biāo)函數(shù)，使用均方誤差損失函數(shù)來最小化目標(biāo)Q 值和當(dāng)前Q 值的差異。

（7）訓(xùn)練網(wǎng)絡(luò)。通過隨機(jī)梯度下降法，使用目標(biāo)函數(shù)來更新深度Q 網(wǎng)絡(luò)的參數(shù)，反復(fù)迭代該過程直至網(wǎng)絡(luò)收斂。

（8）模型測(cè)試。通過觀察模型在測(cè)試集上的表現(xiàn)，計(jì)算準(zhǔn)確率、精確度、召回率等指標(biāo)，評(píng)估網(wǎng)絡(luò)入侵檢測(cè)模型的有效性。

3.3 結(jié)果分析與討論

本實(shí)驗(yàn)使用準(zhǔn)確率、精確度、召回率等指標(biāo)對(duì)這個(gè)模型進(jìn)行了評(píng)估，并對(duì)比了DNN 與DQN 的模型性能，如表3所示。

表3 實(shí)驗(yàn)結(jié)果評(píng)估

由表2 可得，從準(zhǔn)確率來看，DQN 相較于DNN 實(shí)現(xiàn)了顯著的提升，達(dá)到了0.92，而DNN 的準(zhǔn)確率為0.85。這表明在模型訓(xùn)練和決策過程中，DQN 能夠更準(zhǔn)確地預(yù)測(cè)網(wǎng)絡(luò)入侵行為，提高了整體準(zhǔn)確性。進(jìn)一步觀察精確度和召回率兩個(gè)關(guān)鍵指標(biāo)，可以發(fā)現(xiàn)DQN 在精確度和召回率上也表現(xiàn)優(yōu)異。其精確度為0.94，相比DNN 的0.88 有明顯提高，這說明DQN 在預(yù)測(cè)正樣本時(shí)更為準(zhǔn)確。同時(shí)，DQN 的召回率為0.90，相對(duì)于DNN 的0.82 也有一定的提升，即DQN 更能有效地捕捉到真正的入侵事件。

實(shí)驗(yàn)結(jié)果的這些差異可能歸因于深度Q 網(wǎng)絡(luò)在強(qiáng)化學(xué)習(xí)框架下的特性，其能夠通過智能系統(tǒng)與環(huán)境的交互來學(xué)習(xí)復(fù)雜的網(wǎng)絡(luò)模式，從而提高網(wǎng)絡(luò)入侵檢測(cè)的性能。然而，也需要注意的是，實(shí)驗(yàn)結(jié)果可能受到數(shù)據(jù)集的影響，對(duì)于其他不同特性的數(shù)據(jù)集，模型性能可能會(huì)有所變化。

4 結(jié)語

本研究圍繞網(wǎng)絡(luò)入侵檢測(cè)，通過深度強(qiáng)化學(xué)習(xí)的引入，構(gòu)建了一種創(chuàng)新性的網(wǎng)絡(luò)安全架構(gòu)。深度Q 網(wǎng)絡(luò)（DQN）在網(wǎng)絡(luò)流量分析中的應(yīng)用，通過智能系統(tǒng)的學(xué)習(xí)與決策，顯著提高了網(wǎng)絡(luò)入侵檢測(cè)的性能［12］。實(shí)驗(yàn)中使用NSL-KDD 數(shù)據(jù)集對(duì)比DNN 與所用模型的性能，結(jié)果表明DQN 在準(zhǔn)確性和有效性上均表現(xiàn)出明顯優(yōu)勢(shì)。這為網(wǎng)絡(luò)安全領(lǐng)域提供了一種新的、高效的技術(shù)方案。然而，實(shí)驗(yàn)結(jié)果仍需在更廣泛的數(shù)據(jù)集和復(fù)雜網(wǎng)絡(luò)環(huán)境下進(jìn)行驗(yàn)證，以全面評(píng)估該方法的適用性?？傮w而言，本研究為網(wǎng)絡(luò)入侵檢測(cè)領(lǐng)域的研究和實(shí)踐提供了有益的啟示，為未來深度學(xué)習(xí)在網(wǎng)絡(luò)安全中的應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。