基于Markov微分博弈的移動目標(biāo)防御決策優(yōu)化

胡春嬌 陳瑛 王高才

摘 要：隨著網(wǎng)絡(luò)攻防向?qū)崟r連續(xù)和動態(tài)高頻變化的方向發(fā)展，傳統(tǒng)的離散多階段網(wǎng)絡(luò)攻防博弈模型已難以滿足實際需求，而且傳統(tǒng)網(wǎng)絡(luò)攻防模型中的節(jié)點狀態(tài)單一，難以準(zhǔn)確描述實際網(wǎng)絡(luò)對抗中節(jié)點類型的演化過程。將節(jié)點傳染病動力學(xué)模型加以改進并應(yīng)用到網(wǎng)絡(luò)攻防對抗中，用來描述攻防過程中不同狀態(tài)節(jié)點的演化過程及節(jié)點狀態(tài)間的遷移關(guān)系。在構(gòu)建移動目標(biāo)Markov微分博弈防御模型時，各階段內(nèi)運用微分博弈模型分析，階段間運用Markov決策過程描述狀態(tài)轉(zhuǎn)移，通過均衡分析和求解，設(shè)計防御決策優(yōu)化算法。最后，通過仿真實驗驗證該模型和優(yōu)化策略的可行性和有效性。

關(guān)鍵詞：移動目標(biāo)；防御決策優(yōu)化；Markov微分；博弈模型

中圖分類號：TP301?? 文獻標(biāo)志碼：A

文章編號：1001-3695（2023）09-043-2832-06

doi：10.19734/j.issn.1001-3695.2023.01.0011

Research on defense decision optimization of mobile targets based on Markov differential game

Hu Chunjiao1，Chen Ying2，Wang Gaocai2

（1.Educational Technology Center，Yulin Normal University，Yulin Guangxi 537000，China；2.School of Computer & Electronic Information，Guangxi University，Nanning 530004，China）

Abstract：With the development of network attack and defense towards real-time continuous，dynamic and high-frequency changes，the traditional discrete multi-stage network attack and defense game model has been difficult to meet the actual needs，and the node state in the traditional network is single，which is difficult to accurately describe the evolution process of the node type in the actual network confrontation.This paper improved the dynamics model of node infectious disease，and applied it to network attack and defense.The model described the evolution process of nodes in different states and the migration relationship between nodes in the process of attack and defense.When constructing the Markov differential game defense model for moving targets，the paper used the differential game model to analysis in each stage，and used the Markov decision process to describe the state transition between stages.Through equilibrium analysis and solution，the paper designed the defense decision optimization algorithm to analyze the node state evolution.Simulation results show that the feasibility and effectiveness of the proposed model and optimization strategy are efficient.

Key words：mobile target；defense decision optimization；Markov differential；game model

0 引言

移動目標(biāo)防御（moving target defense，MTD）是以挫敗攻擊者為目的，從而改變網(wǎng)絡(luò)安全中攻防雙方信息地位不對稱的攻防環(huán)境而產(chǎn)生的［1］。它通過構(gòu)建動態(tài)、異構(gòu)和不確定的網(wǎng)絡(luò)空間目標(biāo)環(huán)境來增加攻擊者的攻擊難度，以系統(tǒng)的隨機性和不可預(yù)測性來對抗網(wǎng)絡(luò)攻擊，減少漏洞的暴露和被利用的可能性，從而增強目標(biāo)系統(tǒng)的防御能力［2］。當(dāng)前，MTD已成為網(wǎng)絡(luò)安全領(lǐng)域的一個研究熱點。一方面，博弈論已廣泛應(yīng)用于解決具有競爭性質(zhì)現(xiàn)象的決策問題，其研究內(nèi)容的基本特征與網(wǎng)絡(luò)攻防對抗過程中攻防雙方的特點相吻合［3］，因此博弈論已成為研究MTD決策問題的有效方法。通常，傳統(tǒng)離散多階段攻防博弈模型只關(guān)注網(wǎng)絡(luò)攻防過程多階段的特點，而沒有考慮到攻防對抗實時連續(xù)性。另一方面，多階段攻防博弈更加適用于網(wǎng)絡(luò)動態(tài)變化的攻防過程，而事實上，由于受到攻防策略的持續(xù)作用，系統(tǒng)一直處于一個持續(xù)動態(tài)變化且時間連續(xù)的過程，即系統(tǒng)難以長時間保持在一個穩(wěn)定狀態(tài)，常常會因為受到外界因素的影響而從一個狀態(tài)隨機跳變到另一個狀態(tài)，并由此開始新一階段的攻防對抗，而不同階段的系統(tǒng)狀態(tài)和攻防策略也不盡相同。此外，在實際的網(wǎng)絡(luò)攻防對抗中，攻擊者與防御者并不是單一數(shù)量的。特別是對于由大量節(jié)點組成的網(wǎng)絡(luò)系統(tǒng)，因受到攻擊者不同程度的攻擊，節(jié)點會呈現(xiàn)出不同的狀態(tài)類型，而不同狀態(tài)類型的節(jié)點在攻防過程中的演化過程也不同，這就需要對網(wǎng)絡(luò)攻防對抗過程中不同類型的節(jié)點分別進行分析。

網(wǎng)絡(luò)攻擊過程通常不是單一階段的，攻擊者只有在執(zhí)行完一個完整的攻擊鏈之后才能實現(xiàn)一次有效的攻擊。為了方便研究，在文獻［4，5］的基礎(chǔ)上，本文將網(wǎng)絡(luò)攻擊鏈模型進行簡化，分為目標(biāo)偵察、漏洞利用、執(zhí)行攻擊和攻擊持續(xù)四個階段。其中，在目標(biāo)偵察階段，攻擊者通過收集系統(tǒng)信息確定攻擊目標(biāo)及目標(biāo)的映射關(guān)系，探尋系統(tǒng)安全漏洞；在漏洞利用階段，攻擊者根據(jù)獲得的信息，對漏洞進行研究和分析，從而達到獲取用戶資料、添加用戶、甚至非法入侵系統(tǒng)獲得管理權(quán)限進而控制系統(tǒng)等目的；在執(zhí)行攻擊階段，攻擊者進行直接的入侵攻擊行為，如竊取數(shù)據(jù)、破壞系統(tǒng)運行等；攻擊持續(xù)就是持續(xù)攻擊行為。針對這四個攻擊階段，防御者需要采取相應(yīng)的防御策略來對抗攻擊，如修復(fù)漏洞、入侵檢測等，同時結(jié)合移動目標(biāo)防御中的探測面擴展、攻擊面轉(zhuǎn)移和攻擊面變換等主動防御手段實施防御。

本文主要研究MTD決策優(yōu)化策略。針對傳統(tǒng)網(wǎng)絡(luò)中的節(jié)點狀態(tài)單一，難以準(zhǔn)確描述實際網(wǎng)絡(luò)對抗中節(jié)點類型的演化過程，本文將節(jié)點傳染病動力學(xué)模型SIR（susceptible，infective，recovered）加以改進并應(yīng)用到網(wǎng)絡(luò)攻防對抗中，用SIR來描述攻防過程中不同狀態(tài)節(jié)點的演化過程及節(jié)點狀態(tài)間的遷移關(guān)系。在分析網(wǎng)絡(luò)攻防對抗時考慮時間變量，采用多階段Markov微分博弈來描述實際網(wǎng)絡(luò)攻防對抗過程中的實時連續(xù)性、高頻動態(tài)性的特點，將一段連續(xù)時間內(nèi)的網(wǎng)絡(luò)攻防對抗過程分解為持續(xù)較短時間的連續(xù)多階段攻防博弈過程。其中，在每個連續(xù)時間的階段內(nèi)，采用微分博弈分析具體的攻防過程；在多階段間采用Markov狀態(tài)轉(zhuǎn)移概率模擬不同狀態(tài)間的跳轉(zhuǎn)。

1 相關(guān)概念和模型定義

近年來，微分博弈是一種用于描述時間連續(xù)變化情況下沖突對抗過程的理論方法［6］，具體是多個博弈局中人在一段連續(xù)的時間內(nèi)持續(xù)相互作用和對抗，以最優(yōu)化彼此獨立又互相沖突的目標(biāo)作為準(zhǔn)則，最終獲得所有局中人隨時間演變的策略，并獲得整個博弈過程的納什均衡［7］。本文利用微分博弈描述時間連續(xù)、動態(tài)變化的網(wǎng)絡(luò)攻防對抗過程，在文獻［6，8，9］的基礎(chǔ)上擴展節(jié)點傳染病動力學(xué)SIR模型為NLIRD模型，用于描述網(wǎng)絡(luò)中節(jié)點的安全狀態(tài)及狀態(tài)間的遷移過程。在NLIRD模型中，定義網(wǎng)絡(luò)節(jié)點的五種狀態(tài)，即易感狀態(tài)N（normal）、潛伏狀態(tài)L（latent）、感染狀態(tài)I（infected）、修復(fù)狀態(tài)R（restored）和受損狀態(tài)D（damaged）。其中，處于易感狀態(tài)N的網(wǎng)絡(luò)節(jié)點可以正常工作，但易被攻擊者作為目標(biāo)進行偵查；潛伏狀態(tài)L表示已經(jīng)被攻擊者探測到脆弱性的網(wǎng)絡(luò)節(jié)點，該狀態(tài)的節(jié)點具有潛伏性，若持續(xù)受到攻擊，則可變?yōu)楦腥竟?jié)點；處于感染狀態(tài)I的網(wǎng)絡(luò)節(jié)點表示已經(jīng)被攻擊策略滲透，但仍能提供正常服務(wù)，同時攻擊者也可利用該狀態(tài)的節(jié)點攻擊臨近節(jié)點；修復(fù)狀態(tài)R表示由于防御策略的成功實施，網(wǎng)絡(luò)節(jié)點會從I狀態(tài)切換并且對攻擊策略免疫；受損狀態(tài)D表示防御策略失敗，被感染的網(wǎng)絡(luò)節(jié)點喪失正常服務(wù)功能。不同狀態(tài)間的節(jié)點有六種遷移路徑，如圖1所示。

根據(jù)2.2節(jié)對算法均衡的分析可知，若攻防策略集合為|A|=m，|D|=n，則該算法的時間復(fù)雜度為O（2k（m+n）2）。將本文模型及算法與其他文獻進行對比，分析結(jié)果如表1所示。博弈過程是指網(wǎng)絡(luò)攻防對抗過程的階段性和時間連續(xù)性特點。博弈類型是指網(wǎng)絡(luò)攻防對抗過程中攻防雙方采取的博弈方式，考慮到實際網(wǎng)絡(luò)攻防是時間連續(xù)和多狀態(tài)變化的，所以采用Markov動態(tài)微分博弈更符合實際情況。節(jié)點分類是指攻防過程中是否根據(jù)攻防效果將節(jié)點狀態(tài)進行分類以及分類效果，因為在攻防對抗過程中防御者的狀態(tài)并不是一成不變的，將防御者的狀態(tài)按攻防效果進行分類可以更貼合實際情況。決策時效性是指攻防雙方選取最優(yōu)策略的有效時間，由于網(wǎng)絡(luò)攻防一直處于連續(xù)時間的動態(tài)變化中，所以決策也需要具有較好的時效性。均衡求解是指算法的均衡求解過程是否詳細，詳細與否的均衡求解直接關(guān)系到這個算法實用性的優(yōu)劣。

通過對比分析可知，文獻［8，10］采用單階段連續(xù)時間的微分博弈過程，忽視了實際網(wǎng)絡(luò)攻防對抗需要進行多個階段才會結(jié)束的特點，且均衡求解均不夠詳細，實用性較差。文獻［6］雖然采取了多階段連續(xù)時間的Markov微分博弈過程，但在模型構(gòu)建過程中節(jié)點分類較為簡單，沒有考慮到防御者因受到攻擊者不同程度的攻擊會出現(xiàn)不同類型的節(jié)點狀態(tài)，在此基礎(chǔ)上選取的防御策略與實際情況相比可能會有偏差。

與其他相關(guān)文獻對比來看，本文提出的移動目標(biāo)Markov微分博弈模型將一段連續(xù)時間的網(wǎng)絡(luò)攻防過程分解為有限個持續(xù)時間較短的階段，每個階段內(nèi)使用微分博弈進行分析求解，階段間使用Markov決策進行狀態(tài)跳變，同時將網(wǎng)絡(luò)攻防過程中的防御者按攻防效果進行狀態(tài)分類，更貼合網(wǎng)絡(luò)攻防實際，具有算法步驟詳細、實用性好的優(yōu)點。

3 仿真結(jié)果及分析

3.1 實驗環(huán)境描述

為驗證MTMDG模型及防御決策優(yōu)化算法的可行性和有效性，本文采用文獻［12］的方法搭建相應(yīng)的實驗環(huán)境，構(gòu)建由網(wǎng)絡(luò)防御設(shè)備、Web服務(wù)器、客戶端C1和C2、FTP服務(wù)器F1和F2與數(shù)據(jù)庫服務(wù)器DB1和DB2服務(wù)器組成的仿真系統(tǒng)，將多階段MTD攻防對抗過程分為8個階段，每個階段都包括初始狀態(tài)和相對穩(wěn)定狀態(tài)，共有16個狀態(tài)，各階段的狀態(tài)描述如表2所示。其中Sk0為第G（k）的初始狀態(tài)，Sk為該階段的結(jié)束狀態(tài)。

本文假定不同狀態(tài)間的狀態(tài)轉(zhuǎn)移概率固定不變，由歷史數(shù)據(jù)和專家經(jīng)驗給出［13］，如表3所示。

3.2 實驗結(jié)果分析

攻擊者的最終目的在于獲取目標(biāo)系統(tǒng)DB1和DB2服務(wù)器的特權(quán)，實施SQL注入和竊取備份等攻擊。攻擊者無法直接訪問數(shù)據(jù)庫服務(wù)器，但是可以通過一系列連續(xù)的攻擊策略逐步獲取Web服務(wù)器、客戶端和FTP服務(wù)器的相應(yīng)權(quán)限，最終獲得數(shù)據(jù)庫服務(wù)器的root權(quán)限，達到攻擊目的。

根據(jù)表2可知，該仿真實驗中主要存在兩條攻擊鏈，分別為S10→S1→S20→S2→S30→S3→S60→S6→S70→S7和S10→S1→S20→S2→S40→S4→S50→S5→S80→S8。在此基礎(chǔ)上，本節(jié)結(jié)合網(wǎng)絡(luò)攻防對抗實際過程，設(shè)定攻防連續(xù)時間為100 s，每條攻擊鏈的每個階段持續(xù)20 s。根據(jù)歷史數(shù)據(jù)和專家經(jīng)驗設(shè)定回報系數(shù)為r1=10，r2=6.7，r3=5，r4=9.5，cA=2，cD=4，設(shè)定折扣因子ξ=0.6，采用PyCharm2020.2.3工具計算各階段的目標(biāo)準(zhǔn)則函數(shù)，從而得到兩條攻擊鏈上各階段博弈的攻防收益，如表4所示。

從表4可以看出，攻擊鏈1的總攻擊收益要高于攻擊鏈2的總攻擊收益，而攻擊鏈2的總防御收益要高于攻擊鏈1的總防御收益，說明針對移動目標(biāo)防御的決策問題，攻防雙方在進行對抗時，攻擊鏈2更符合防御者的期望，所制定的防御策略能有效抵御攻擊，進而保護目標(biāo)系統(tǒng)。

進一步觀察攻防過程各階段，兩條攻擊鏈的第一階段和第二階段都為S10→S1和S20→S2，因為攻擊者要想獲取數(shù)據(jù)庫服務(wù)器的root權(quán)限，就必須先獲取網(wǎng)絡(luò)防御設(shè)備的root權(quán)限，所以兩條攻擊鏈都會經(jīng)歷狀態(tài)S1和S2。從第三階段開始，攻擊鏈1中攻擊者通過獲取到Web服務(wù)器F2的user權(quán)限和DB1的access權(quán)限，進而獲取F2的root權(quán)限和C2的root權(quán)限，最后獲取到DB1服務(wù)器的root權(quán)限并注入SQL，從而完成攻擊。而攻擊鏈2中攻擊者在第三階段通過獲取Web服務(wù)器F1的user權(quán)限和C2的user權(quán)限，進而獲取C1的root權(quán)限和DB2服務(wù)器的user權(quán)限，最后獲取到DB2服務(wù)器的root權(quán)限并竊取備份信息，從而完成攻擊。所以對比兩條攻擊鏈，研究者要想有效抵御攻擊，就要盡可能讓攻擊鏈2發(fā)生，即提高S2→S40的狀態(tài)轉(zhuǎn)移的可能性，或降低S2→S30的狀態(tài)轉(zhuǎn)移的可能性，從而提高攻擊鏈2發(fā)生的可能性或降低攻擊鏈1發(fā)生的可能性，具體措施可通過固定頻率調(diào)整IP地址、端口號、協(xié)議等探測面完成。

針對攻擊鏈1，本文通過仿真實驗得出了整個網(wǎng)絡(luò)攻防對抗過程中各節(jié)點狀態(tài)隨時間變化的演化過程，如圖2所示。通過觀察圖2，在t∈［0，40］時，由于攻擊者在執(zhí)行攻擊動作之前就已在探測目標(biāo)階段對目標(biāo)系統(tǒng)和防御者有了充分的了解，而防御者此時對攻擊者不太了解，所以在雙方攻防初期，攻擊者發(fā)動攻擊就占有優(yōu)勢，此時大量節(jié)點從易感狀態(tài)遷移到潛伏狀態(tài)，并且在t=40時刻處于潛伏狀態(tài)的節(jié)點數(shù)量達到峰值。隨著攻防博弈的持續(xù)進行，防御者逐漸對攻擊者有了一定的了解，因此開始采取中高強度的防御策略抵御攻擊，此時，處于潛伏狀態(tài)的節(jié)點數(shù)量開始減少，并且處于受損狀態(tài)的節(jié)點數(shù)量基本不再變化。同時，處于易感狀態(tài)的節(jié)點數(shù)量急劇下降并趨于零，處于修復(fù)狀態(tài)的節(jié)點數(shù)量大幅上升。總之，如果防御者繼續(xù)實施現(xiàn)有的防御策略，處于修復(fù)狀態(tài)的節(jié)點數(shù)量會逐漸接近節(jié)點總數(shù)。

下面具體對攻擊鏈1中各階段的攻防策略軌跡進行分析。針對第一階段S10→S1，攻擊者各等級策略軌跡如圖3所示，而防御者各等級策略軌跡如圖4所示。

通過圖3和4可知，該階段攻防開始時，攻擊者以（0.55，0.36，0.09）的概率進行決策，防御者以（0.25，0.4，0.35）的概率進行決策。因為初始時刻攻擊者已經(jīng)通過探測對目標(biāo)系統(tǒng)有所了解，所以決策時以高等級攻擊策略和中等級攻擊策略為主，而此時防御者對攻擊者的認(rèn)知還不夠全面，因此以中等級防御策略和低等級防御策略為主。隨著攻防對抗過程的進行，攻擊者在對目標(biāo)系統(tǒng)有了更多的了解后開始逐漸加大高強度策略的實施概率，并伴隨著中等級攻擊策略和低等級攻擊策略的交替配合使用。而此時隨著對攻擊者了解的逐漸深入，防御者決策開始以高等級防御策略為主，中等級防御策略和低等級防御策略的實施概率開始有所降低。在該階段攻防對抗的后期，隨著高強度防御策略的持續(xù)使用，攻擊者的攻擊行動逐漸被挫敗，因此高等級攻擊策略的實施概率逐漸降低，后期主要以中等級攻擊策略和低等級攻擊策略為主。而此時防御者為了保護目標(biāo)系統(tǒng)，持續(xù)實施高等級防御策略，中等級防御策略和低等級防御策略的實施概率有所降低。本階段結(jié)束時攻擊者的最優(yōu)決策為（0.31，0.55，0.14），防御者的最優(yōu)決策為（0.81，0.1，0.09）。其他階段的攻防策略演化過程與該階段同理。

通過對實驗結(jié)果的分析可以得出以下規(guī)律：

a）從節(jié)點狀態(tài)演化圖可以看出，對于多階段的網(wǎng)絡(luò)攻防對抗，每個階段的攻防過程并不是一成不變的，攻防雙方會根據(jù)當(dāng)前的攻防對抗形勢及時調(diào)整自己的決策，體現(xiàn)了網(wǎng)絡(luò)攻防對抗實際過程的動態(tài)變化性；其次，各狀態(tài)節(jié)點達到平衡的快慢與攻防雙方采取策略的強度有很大的關(guān)系，體現(xiàn)了網(wǎng)絡(luò)攻防對抗過程的策略依賴性。再者，處于修復(fù)狀態(tài)的節(jié)點數(shù)變化和處于易感、潛伏、感染狀態(tài)的節(jié)點數(shù)變化對比，體現(xiàn)了網(wǎng)絡(luò)攻防過程中攻防雙方的目標(biāo)對立性和關(guān)系非合作性。

b）在實際網(wǎng)絡(luò)攻防對抗過程中，對于以移動目標(biāo)防御為代表的主動防御，防御者應(yīng)該快速獲取關(guān)于攻擊者的信息，并注意隱藏自己的信息，同時在攻防過程中根據(jù)攻防局勢盡快調(diào)整自己的策略，爭取盡早抵御攻擊，保護目標(biāo)系統(tǒng)。

4 結(jié)束語

實際的網(wǎng)絡(luò)攻防對抗過程是一個時間連續(xù)、動態(tài)變化的過程，為了解決這種過程中移動目標(biāo)防御的決策優(yōu)化問題，本文主要研究了移動目標(biāo)Markov微分博弈的防御決策模型。在現(xiàn)有的關(guān)于網(wǎng)絡(luò)攻防微分博弈的基礎(chǔ)上，根據(jù)網(wǎng)絡(luò)攻防實際情況，通過改進節(jié)點傳染病模型，構(gòu)建NLIRD模型描述攻防過程中節(jié)點狀態(tài)的變化。同時采用Markov決策過程描述多階段網(wǎng)絡(luò)攻防的狀態(tài)轉(zhuǎn)移，并設(shè)計攻防雙方收益的目標(biāo)準(zhǔn)則函數(shù)，通過均衡分析和求解，設(shè)計防御決策優(yōu)化算法，對攻防過程中節(jié)點狀態(tài)演化和攻防決策軌跡進行分析，并通過仿真實驗驗證了模型和算法的可行性和有效性，對現(xiàn)實網(wǎng)絡(luò)攻防環(huán)境下的防御決策具有一定的理論價值。

進一步對攻防博弈模型的參數(shù)進行精確量化一直是網(wǎng)絡(luò)攻防博弈決策的研究重點，只有收益量化更加精確，構(gòu)建的攻防博弈模型才會更加貼合網(wǎng)絡(luò)攻防實際，根據(jù)模型所選取的策略才會更加有效可行，進而才能更好地指導(dǎo)網(wǎng)絡(luò)防御。

參考文獻：

［1］Yoon S H，Cho J H，Kim D S，et al.Attack graph-based moving target defense in software-defined networks［J］.IEEE Trans on Network and Service Management，2020，17（3）：1653-1668.

［2］Zhang Hengwei，Tan Jinglei，Liu Xiaohu，et al.Moving target defense decision-making method：a dynamic Markov differential game model［C］//Proc of the 7th ACM Workshop on Moving Target Defense.New York：ACM Press，2020：21-29.

［3］Huang Wanwei，Yuan Bo，Wang Sunan，et al.Research on simulation of network attack and defense situation based on evolutionary game［C］//Proc of the 9th International Conference on Networks，Communication and Computing.New York：ACM Press，2020：96-103.

［4］蔣侶，張恒巍，王晉東.基于多階段Markov信號博弈的移動目標(biāo)防御最優(yōu)決策方法［J］.電子學(xué)報，2021，49（3）：527-535.（Jiang Lyu，Zhang Hengwei，Wang Jindong.A Markov signaling game-theoretic approach to moving target defense strategy selection［J］.Acta Electronica Sinica，2021，49（3）：527-535.）

［5］劉文彥，霍樹民，陳揚，等.網(wǎng)絡(luò)攻擊鏈模型分析及研究［J］.通信學(xué)報，2018，39（Z2）：88-94.（Liu Wenyan，Huo Shumin，Chen Yang，et al.Analysis and study of cyber attack chain model［J］.Journal on Communications，2018，39（Z2）：88-94.）

［6］張恒巍，黃世銳.Markov微分博弈模型及其在網(wǎng)絡(luò)安全中的應(yīng)用［J］.電子學(xué)報，2019，47（3）：606-612.（Zhang Hengwei，Huang Shirui.Markov differential game model and its application in network security［J］.Acta Electronica Sinica，2019，47（3）：606-612.）

［7］Meyers R A.Computational complexity：theory，techniques and applications［M］.New York：Springer，2012：854-861.

［8］Mi Yan，Zhang Hengwei，Hu Hao，et al.Optimal network defense strategy selection method：a stochastic differential game model［J］.Security Communication Networks，2021，2021：article ID 5594697.

［9］黃世銳.基于微分博弈的網(wǎng)絡(luò)安全威脅預(yù)警與防御決策方法研究［D］.鄭州：戰(zhàn)略支援部隊信息工程大學(xué)，2018.（Huang Shirui.Research on network security threat early warning and defense decision-making method based on differential game model［D］.Zhengzhou：PLA Strategic Support Force Information Engineering University，2018.）

［10］Nilim A，Chaoui L E.Robust control of Markov decision processes with uncertain transition matrices［J］.Operations Research，2016，53（5）：780-798.

［11］Nilim A，Chaoui L E.Active defense strategy selection based on diffe-rential game［J］.Operations Research，2016，43（12）：163-169.

［12］劉江，張紅旗，劉藝.基于不完全信息動態(tài)博弈的動態(tài)目標(biāo)防御最優(yōu)策略選取研究［J］.電子學(xué)報，2018，46（1）：82-89.（Liu Jiang，Zhang Hongqi，Liu Yi.Research on optimal selection of moving target defense policy based on dynamic game with incomplete information［J］.Acta Electronica Sinica，2018，46（1）：82-89.）

［13］Zangeneh V，Shajari M.A cost-sensitive move selection strategy for moving target defense［J］.Computers & Security，2018，75：72-91.

收稿日期：2023-01-14；修回日期：2023-03-09? 基金項目：國家自然科學(xué)基金資助項目（62062007）；廣西高校中青年教師科研基礎(chǔ)能力提升項目（2020KY14020）；玉林師范學(xué)院高等教育本科教學(xué)改革工程項目（2022XJJGYB20）；玉林師范學(xué)院科研項目（2019YJKY15）

作者簡介：胡春嬌（1980-），女，廣西玉林人，工程師，學(xué)士，主要研究方向為網(wǎng)絡(luò)能耗優(yōu)化和網(wǎng)絡(luò)空間安全；陳瑛（1997-），女，山西臨汾人，碩士研究生，主要研究方向為網(wǎng)絡(luò)安全技術(shù)；王高才（1976-），男（通信作者），廣西灌陽人，教授，博導(dǎo)，博士，CCF高級會員，主要研究方向為計算機網(wǎng)絡(luò)、性能評估和網(wǎng)絡(luò)安全（wanggcgx@163.com）.