基于深度強化學(xué)習(xí)的智能網(wǎng)絡(luò)安全防護策略研究

作者簡介：任海娟（1986— ），女，山西太原人，實驗師，學(xué)士；研究方向：大數(shù)據(jù)和計算機網(wǎng)絡(luò)。

摘要：深度強化學(xué)習(xí)作為統(tǒng)計學(xué)習(xí)常見算法，將其應(yīng)用于智能網(wǎng)絡(luò)安全防護設(shè)計環(huán)節(jié)將取得顯著效果，以此規(guī)避智能網(wǎng)絡(luò)安全風(fēng)險。文章簡要分析智能網(wǎng)絡(luò)安全常見問題，根據(jù)對問題的分析研究，總結(jié)智能網(wǎng)絡(luò)安全防護優(yōu)化設(shè)計具體目標(biāo)，經(jīng)由設(shè)計網(wǎng)絡(luò)狀態(tài)集合、細(xì)化網(wǎng)絡(luò)動作集合、規(guī)范設(shè)計回報函數(shù)、強化數(shù)據(jù)分析功能等設(shè)計步驟的落實，智能網(wǎng)絡(luò)將充分發(fā)揮安全服務(wù)作用，由此維護網(wǎng)絡(luò)安全。本文提出了可行性措施，期待提升網(wǎng)絡(luò)安全防護的有效性。

關(guān)鍵詞：深度強化學(xué)習(xí)；智能網(wǎng)絡(luò)；安全防護

中圖分類號：TN325 文獻(xiàn)標(biāo)志碼：A

0 引言

深度強化學(xué)習(xí)的本質(zhì)是在分析中尋求最大化回報行為的綜合流程。此算法的實施，能為智能網(wǎng)絡(luò)安全防護系統(tǒng)的合理設(shè)計給出新指引。技術(shù)人員通過對智能網(wǎng)絡(luò)體系中交互環(huán)境、狀態(tài)信息以及智能動作關(guān)聯(lián)性的分析，促進(jìn)動作與狀態(tài)的科學(xué)匹配，以便提出合理的安全防護決策。未來，相關(guān)技術(shù)人員要加強對安全防護渠道的深入研究，從而讓人工智能網(wǎng)絡(luò)在智能制造等多行業(yè)中彰顯突出價值。

1 智能網(wǎng)絡(luò)安全常見問題

1.1 網(wǎng)絡(luò)攻擊

人工智能網(wǎng)絡(luò)是依托人工智能技術(shù)研發(fā)的網(wǎng)絡(luò)系統(tǒng)，其常見網(wǎng)絡(luò)安全問題包括網(wǎng)絡(luò)攻擊，即對抗性攻擊。技術(shù)人員對神經(jīng)網(wǎng)絡(luò)算法中對應(yīng)主體進(jìn)行修改，決策執(zhí)行過程將出現(xiàn)變化。如麻省理工學(xué)院曾修改玩具龜參數(shù)，而后在神經(jīng)網(wǎng)絡(luò)算法下將其納入集合中，從而引發(fā)了網(wǎng)絡(luò)出錯。人工智能網(wǎng)絡(luò)雖然在運行期間具有便捷性特征，但無法完全避免網(wǎng)絡(luò)攻擊的風(fēng)險。源于網(wǎng)絡(luò)攻擊背景，智能網(wǎng)絡(luò)視覺功能將減弱，從而無法在正常的網(wǎng)絡(luò)服務(wù)中表現(xiàn)出穩(wěn)定性、準(zhǔn)確性的優(yōu)勢。因此，參數(shù)的調(diào)整極易加劇對抗性網(wǎng)絡(luò)攻擊發(fā)生的風(fēng)險［1］ 。

1.2 軟件威脅

智能網(wǎng)絡(luò)平臺運行期間會形成具有威脅性的應(yīng)用軟件，此類軟件往往具有惡意負(fù)載隱匿性，這會導(dǎo)致軟件在啟動期間極易被竊取隱私信息，引發(fā)安全風(fēng)險事件。有研究表明，危及智能網(wǎng)絡(luò)安全的主要問題在于軟件程序安全等級偏低，在軟件攜帶病毒后，會影響軟件程序正常功能。因此，軟件威脅也是智能網(wǎng)絡(luò)安全常見問題，技術(shù)人員須從軟件安全監(jiān)測層面應(yīng)對不良風(fēng)險。

1.3 數(shù)據(jù)中毒

基于深度強化學(xué)習(xí)研發(fā)的智能網(wǎng)絡(luò)平臺，也會產(chǎn)生數(shù)據(jù)中毒問題。深度學(xué)習(xí)算法雖然能夠提供智能輔助服務(wù)，但在道德標(biāo)準(zhǔn)以及人類思維特征上未建立明確依據(jù)。這會致使智能網(wǎng)絡(luò)在交互服務(wù)中，無法參照用戶思維特征提供所需數(shù)據(jù)，甚至提出的交互語言違反既定條件。在智能網(wǎng)絡(luò)活動中，深度強化學(xué)習(xí)算法導(dǎo)向下也會形成帶有病毒的數(shù)據(jù)。此類數(shù)據(jù)在傳遞中將侵害平臺安全，尤其是往年在智能網(wǎng)絡(luò)服務(wù)中形成的面部識別功能，在遭受數(shù)據(jù)中毒風(fēng)險后，系統(tǒng)將無法順利識別人臉面部。鑒于此，智能網(wǎng)絡(luò)安全問題是現(xiàn)如今改進(jìn)智能網(wǎng)絡(luò)系統(tǒng)的重要要求。智能網(wǎng)絡(luò)安全防護決策既有著深刻的現(xiàn)實意義，也對我國網(wǎng)絡(luò)領(lǐng)域智能化發(fā)展具有促進(jìn)作用。

2 智能網(wǎng)絡(luò)安全問題防護目標(biāo)分析

2.1 完善網(wǎng)絡(luò)防護架構(gòu)

針對上述常見的智能網(wǎng)絡(luò)安全問題，技術(shù)人員提出安全防護措施。其中，對于網(wǎng)絡(luò)攻擊問題，技術(shù)人員需要從網(wǎng)絡(luò)防護架構(gòu)的有效完善層面阻斷攻擊動作。實際上，之所以智能網(wǎng)絡(luò)會形成對抗性攻擊，主要源于網(wǎng)絡(luò)系統(tǒng)架構(gòu)設(shè)計缺少合理性，進(jìn)而影響系統(tǒng)運行的安全性。技術(shù)人員在設(shè)計安全防護系統(tǒng)時，需要依據(jù)局域網(wǎng)，聯(lián)合路由器重新樹立網(wǎng)絡(luò)體系，促使網(wǎng)絡(luò)系統(tǒng)在信息傳播中能夠順利地將隱私信息與常規(guī)網(wǎng)絡(luò)資源區(qū)分開來，這樣也更為直接地應(yīng)用交換式集線器，自此消除網(wǎng)絡(luò)攻擊風(fēng)險。

2.2 強化計算機軟件監(jiān)測

要想保證智能網(wǎng)絡(luò)免遭軟件威脅，系統(tǒng)還需要針對計算機中安裝的軟件進(jìn)行有效監(jiān)測，以便從監(jiān)測方向上強化安全防護效果。關(guān)于計算機軟件監(jiān)測事項的落實，技術(shù)人員可以利用訪問控制、網(wǎng)絡(luò)權(quán)限控制、網(wǎng)絡(luò)服務(wù)器監(jiān)測等多種方法，嚴(yán)格篩選出帶有威脅性的惡意軟件，進(jìn)而確保智能網(wǎng)絡(luò)系統(tǒng)處于安全運行狀態(tài)。軟件威脅的形成與軟件運行動態(tài)有關(guān)，若能及早發(fā)現(xiàn)軟件風(fēng)險，便可以提早預(yù)防安全隱患。比如可以將智能網(wǎng)絡(luò)服務(wù)對象劃分為3類，即特殊用戶、普通用戶以及審計用戶，而后為其發(fā)放不同控制權(quán)限，以免因權(quán)限混亂而無法發(fā)揮軟件的實踐作用［2］。

2.3 啟動數(shù)據(jù)備份機制

在智能網(wǎng)絡(luò)安全防護過程中，若產(chǎn)生數(shù)據(jù)中毒問題，也會影響數(shù)據(jù)輸送質(zhì)量。因此，在確定安全防護目標(biāo)時，系統(tǒng)應(yīng)積極啟動數(shù)據(jù)備份機制，對智能網(wǎng)絡(luò)系統(tǒng)中的有用數(shù)據(jù)進(jìn)行備份處理。后期即使出現(xiàn)數(shù)據(jù)竊取或數(shù)據(jù)中毒情況，也能及時從備份數(shù)據(jù)中查詢，以免削弱數(shù)據(jù)應(yīng)用實效性。參照上述智能網(wǎng)絡(luò)安全問題，經(jīng)分析后確定安全防護目標(biāo)，以此利用深度強化學(xué)習(xí)算法建立新型智能網(wǎng)絡(luò)安全防護系統(tǒng)。

3 基于深度強化學(xué)習(xí)的智能網(wǎng)絡(luò)安全防護解決對策

3.1 設(shè)計網(wǎng)絡(luò)狀態(tài)集合

深度強化學(xué)習(xí)算法在實際應(yīng)用中，主要是從回報學(xué)習(xí)最優(yōu)求取過程中獲取最大期望回報值的行為，由此運用行動與狀態(tài)的相關(guān)性，促使智能網(wǎng)絡(luò)實現(xiàn)安全等級的合理提升。其中，深度強化學(xué)習(xí)算法具體包含動作（Action）、智能體（Agent）、回報、環(huán)境等元素，形成架構(gòu)流程。經(jīng)過對集合體元素的綜合分析，能夠順利獲取累計期望回報值（R），具體可以借鑒下述公式加以分析，即R=E（∑Tt=0γtrt），該公式對應(yīng)的E、r、γ分別表示的是數(shù)學(xué)期望、回報（獎勵、懲罰）、折扣因子（歸屬于0～1的范圍內(nèi)）。而T則屬于時間序列，t為現(xiàn)下記錄的具體時刻。在智能網(wǎng)絡(luò)安全防護中，智能體可以憑借環(huán)境狀態(tài)對動作給出新要求，使其在數(shù)學(xué)函數(shù)運算中出具全新的執(zhí)行指令，借此在智能體輸入后判定當(dāng)前狀態(tài)的匹配度。這類智能網(wǎng)絡(luò)安全防護系統(tǒng)的設(shè)計在應(yīng)用深度強化學(xué)習(xí)算法進(jìn)行改進(jìn)后，實際上是以云計算技術(shù)為主體，建立模擬仿真場景，然后將環(huán)境數(shù)據(jù)與現(xiàn)實網(wǎng)絡(luò)進(jìn)行連接，便于系統(tǒng)在真實的網(wǎng)絡(luò)服務(wù)中獲取最優(yōu)決策。在具體設(shè)計階段，技術(shù)人員需要先行設(shè)計網(wǎng)絡(luò)狀態(tài)集合，從而在智能體終止遷移學(xué)習(xí)時，尋求最佳網(wǎng)絡(luò)環(huán)境，預(yù)防網(wǎng)絡(luò)安全風(fēng)險［3］ 。

在設(shè)計智能網(wǎng)絡(luò)安全防護系統(tǒng)階段，技術(shù)人員應(yīng)當(dāng)注重狀態(tài)集合的優(yōu)化設(shè)計。作為涵蓋智能網(wǎng)絡(luò)狀態(tài)的集合體，系統(tǒng)應(yīng)參照狀態(tài)結(jié)合映射網(wǎng)絡(luò)動作，并從狀態(tài)識別中預(yù)估網(wǎng)絡(luò)安全風(fēng)險程度，繼而在攻守雙方建立對應(yīng)的對抗單元。關(guān)于狀態(tài)集合的有效設(shè)計，技術(shù)人員具體需要從智能網(wǎng)絡(luò)攻擊的“攻擊”“防守”兩個部分整理狀態(tài)元素。前者可以將網(wǎng)絡(luò)攻擊種類、攻擊范圍以及攻擊軌跡、攻擊來源、攻擊方法與攻擊速度納入攻擊單元集合中。后者以智能網(wǎng)絡(luò)安全服務(wù)等級、安全域、網(wǎng)絡(luò)應(yīng)用服務(wù)、結(jié)構(gòu)元素與網(wǎng)絡(luò)策略等多項元素為主［4］。根據(jù)有關(guān)狀態(tài)元素集合的分析，系統(tǒng)可從中全方位知曉安全風(fēng)險等級，之后以網(wǎng)絡(luò)動作的調(diào)整下達(dá)正確的網(wǎng)絡(luò)服務(wù)指令?？紤]到網(wǎng)絡(luò)狀態(tài)集合中的元素較為多樣，所以在設(shè)計狀態(tài)集合時，技術(shù)人員還要充分借助攻守單元的狀態(tài)信息，做好劃分歸類工作。如智能網(wǎng)絡(luò)系統(tǒng)連接的路由器、計算機設(shè)備遭受攻擊，系統(tǒng)可從狀態(tài)集合的防守單元中，查詢到適宜的對抗元素，以達(dá)成安全防護效果。

3.2 細(xì)化網(wǎng)絡(luò)動作集合

技術(shù)人員在設(shè)計智能網(wǎng)絡(luò)安全防護系統(tǒng)期間，還需要針對網(wǎng)絡(luò)動作集合進(jìn)行細(xì)化設(shè)計。因網(wǎng)絡(luò)狀態(tài)與網(wǎng)絡(luò)動作本身存在映射關(guān)系，根據(jù)上文提出的多項狀態(tài)元素，建立動作集合。系統(tǒng)按照動作集合中動作要素的類別向網(wǎng)絡(luò)空間傳輸有用信息。對應(yīng)的Action結(jié)構(gòu)包含4種類型的元素。在“what”中泛指網(wǎng)絡(luò)操作動作與網(wǎng)絡(luò)行動動作，“who”對應(yīng)網(wǎng)絡(luò)用戶與網(wǎng)絡(luò)服務(wù)機構(gòu)，“where”則以網(wǎng)絡(luò)服務(wù)、網(wǎng)絡(luò)設(shè)備、空間位置、地理位置為主?！皐hen”表示網(wǎng)絡(luò)動作相對應(yīng)的時間，此4項組合成動作集合。

此外，要想基于深度強化學(xué)習(xí)算法優(yōu)化網(wǎng)絡(luò)安全防護效果，技術(shù)人員還應(yīng)建立網(wǎng)絡(luò)安全態(tài)勢感知結(jié)構(gòu)。以金融領(lǐng)域應(yīng)用的智能網(wǎng)絡(luò)平臺為例，技術(shù)人員在安全防護設(shè)計中，可以打造集網(wǎng)絡(luò)安全檢測、智能防護、全面預(yù)警特征于一體的綜合防護機制。系統(tǒng)還可以聯(lián)合金融平臺，對平臺上展現(xiàn)的金融數(shù)據(jù)進(jìn)行追蹤記錄，并且排查可能存在的安全隱患，便于在增強金融智能網(wǎng)絡(luò)安全防護能力的基礎(chǔ)上，使金融機構(gòu)具備可靠且完善的安全保障。為保證智能網(wǎng)絡(luò)動作在安全防護中體現(xiàn)出實時防范價值，技術(shù)人員還應(yīng)充分利用大數(shù)據(jù)技術(shù)及時評估數(shù)據(jù)風(fēng)險性，以便在動作元素的遷移學(xué)習(xí)中維護智能網(wǎng)絡(luò)運行安全。

3.3 規(guī)范設(shè)計回報函數(shù)

基于深度強化學(xué)習(xí)的智能網(wǎng)絡(luò)安全防護系統(tǒng)的優(yōu)化設(shè)計，技術(shù)人員應(yīng)從函數(shù)設(shè)計方面提出可行性設(shè)計決策。此次研究依托深度強化學(xué)習(xí)算法中對應(yīng)的回報值，對交互場景中的參數(shù)進(jìn)行持續(xù)調(diào)整，確定高回報值動作。該函數(shù)在深度強化學(xué)習(xí)理論中扮演著導(dǎo)向角色，系統(tǒng)能在函數(shù)引領(lǐng)下求取最大回報值，然后獲取與之對應(yīng)的動作元素。在智能網(wǎng)絡(luò)運行中，智能體按照對應(yīng)網(wǎng)絡(luò)動作確定回報情況時，若某時刻下網(wǎng)絡(luò)攻擊遭受的威脅度超出閾值范圍，此時對照下回報動作以獎勵為主。若未至閾值范圍，以懲罰回報為最終結(jié)果。若某時刻下威脅度剛好與閾值相同，則不提出具體的回報指令，從而系統(tǒng)在回報函數(shù)計算引導(dǎo)下順利得出回報動作［5］ 。

根據(jù)相關(guān)研究，攻擊威脅度可以劃分為攻擊力度、攻擊行為以及攻擊能力3種類型。技術(shù)人員可以參照不同攻擊威脅度類別中的相關(guān)信息評估現(xiàn)有時刻下的智能網(wǎng)絡(luò)攻擊威脅度。比如在攻擊行為中涵蓋攻擊對象重要程度、攻擊位置以及攻擊目標(biāo)部分，系統(tǒng)從有方向性的判定網(wǎng)絡(luò)威脅度。以上述回報動作的歸屬范圍給出適合的網(wǎng)絡(luò)動作。在網(wǎng)絡(luò)動作下，還可以對網(wǎng)絡(luò)狀態(tài)風(fēng)險性的高低情況進(jìn)行預(yù)判。經(jīng)過此種系統(tǒng)的運行，智能網(wǎng)絡(luò)安全性將得以增強。據(jù)此，深度強化學(xué)習(xí)算法的引進(jìn)具有實踐應(yīng)用意義。

3.4 強化數(shù)據(jù)分析功能

在改進(jìn)智能網(wǎng)絡(luò)安全防護系統(tǒng)的環(huán)節(jié)，技術(shù)人員應(yīng)借助深度強化學(xué)習(xí)算法，有效強化系統(tǒng)的數(shù)據(jù)分析功能，從中精準(zhǔn)識別危險數(shù)據(jù)，剔除不安全數(shù)據(jù)，為用戶提供更優(yōu)質(zhì)的智能網(wǎng)絡(luò)服務(wù)［6］。為了提高智能網(wǎng)絡(luò)安全防護等級，系統(tǒng)應(yīng)在原有基礎(chǔ)上對數(shù)據(jù)分析功能進(jìn)行優(yōu)化處理?，F(xiàn)如今，智能網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)空間呈現(xiàn)增擴趨勢，對應(yīng)的網(wǎng)絡(luò)安全風(fēng)險也會有所升高。如果單純按照傳統(tǒng)算法處理網(wǎng)絡(luò)安全問題，顯然處理進(jìn)度與智能網(wǎng)絡(luò)適用性不符。而在深度強化學(xué)習(xí)算法指引下，系統(tǒng)可以利用既定安全防護目標(biāo)，結(jié)合狀態(tài)元素集合與動作狀態(tài)集合，快速識別可能引發(fā)安全后果的數(shù)據(jù)信息，之后按照回報值（獎勵、懲罰），對安全威脅度進(jìn)行評估，提出智能修復(fù)網(wǎng)絡(luò)系統(tǒng)的決策，保證經(jīng)過動作與狀態(tài)的雙向輔助，智能網(wǎng)絡(luò)安全防護作用將得以增強。在驗證智能網(wǎng)絡(luò)安全防護系統(tǒng)數(shù)據(jù)分析功能強度時，技術(shù)人員可以利用Agent訓(xùn)練程序予以評估。其中設(shè)定的循環(huán)結(jié)構(gòu)以判定樣本是否歸屬于構(gòu)造數(shù)據(jù)集為基礎(chǔ)，若顯示“是”，則進(jìn)入終止循環(huán)部分。若為“否”，則通過虛擬網(wǎng)絡(luò)空間環(huán)境，對其網(wǎng)絡(luò)安全態(tài)勢進(jìn)行測定，充分利用參數(shù)梯度調(diào)節(jié)方式獲取對應(yīng)的網(wǎng)絡(luò)動作，如若在程序運行中樣本數(shù)據(jù)存在攻擊威脅度，則進(jìn)行參數(shù)修正，最終保障智能網(wǎng)絡(luò)呈現(xiàn)較高的安全水平。

4 結(jié)語

筆者提出的問題多與網(wǎng)絡(luò)防護架構(gòu)、計算機軟件監(jiān)測質(zhì)量以及數(shù)據(jù)備份功能有關(guān)。要想達(dá)成智能網(wǎng)絡(luò)安全防護目標(biāo)，相關(guān)技術(shù)人員須充分利用深度強化學(xué)習(xí)算法，設(shè)計新系統(tǒng)，便于在此系統(tǒng)輔助下，可以全方位探尋智能網(wǎng)絡(luò)安全風(fēng)險，基于數(shù)據(jù)分析法，提高網(wǎng)絡(luò)服務(wù)質(zhì)量。

參考文獻(xiàn)

［1］陳洪超.大數(shù)據(jù)背景下計算機網(wǎng)絡(luò)安全防范策略研究［J］.機械設(shè)計，2021（12）：160.

［2］譚俊杰，梁應(yīng)敞.面向智能通信的深度強化學(xué)習(xí)方法［J］.電子科技大學(xué)學(xué)報，2020（2）：169-181.

［3］盧宛芝，丁要軍.基于半監(jiān)督多視圖特征協(xié)同訓(xùn)練的網(wǎng)絡(luò)惡意流量識別方法［J］.通信技術(shù)，2022（4）：513-518.

［4］潘曄，劉媛.基于防火墻技術(shù)的計算機網(wǎng)絡(luò)安全防護研究［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2022（8）：6-8.

［5］吉紅清.信息化時代計算機網(wǎng)絡(luò)安全防護技術(shù)［J］.數(shù)字技術(shù)與應(yīng)用，2022（6）234-236.

［6］劉曉影，王淮，烏吉斯古愣.基于復(fù)雜網(wǎng)絡(luò)的多維網(wǎng)絡(luò)安全威脅評估模型［J］.通信技術(shù)，2021（8）：1969-1974.

（編輯 王永超）

Abstract： As a common algorithm of statistical learning， deep reinforcement learning will achieve remarkable results when it is applied to the design of intelligent network security protection， so as to avoid the risk of intelligent network security. This paper briefly analyzes the common problems of intelligent network security. Based on the analysis and research of the problems， it summarizes the specific objectives of intelligent network security protection optimization design. Through the implementation of design steps such as designing network state sets， refining network action sets， standardizing design return functions， and strengthening data analysis functions， intelligent networks will give full play to the role of security services， thus maintaining network security. The feasibility measures proposed in this paper， expect to improve the effectiveness of network security protection.

Key words： intensive learning; intelligent network; safety protection