一種基于深度強(qiáng)化學(xué)習(xí)的協(xié)同通信干擾決策算法

宋佰霖，許 華，齊子森，饒 寧，彭 翔

（空軍工程大學(xué)信息與導(dǎo)航學(xué)院，陜西西安 710077）

1 引言

在通信對抗領(lǐng)域，體系對抗、協(xié)同干擾已成為主要作戰(zhàn)運用方式，如何調(diào)配干擾資源、在最大程度上提高資源利用率是當(dāng)前亟須解決的重要難題，給指揮決策帶來巨大挑戰(zhàn). 一些基于博弈論［1］、隨機(jī)理論［2］等方法的認(rèn)知無線電干擾［3］決策研究取得了一定進(jìn)展，這些研究通過設(shè)置干擾雙方對抗場景，推導(dǎo)博弈收益函數(shù)，計算干擾樣式、功率等干擾參數(shù)來得到最優(yōu)干擾策略. 此類方法雖能輸出較好結(jié)果，但適用場景較為簡單，無法滿足當(dāng)前多維協(xié)同的戰(zhàn)場環(huán)境，與實際作戰(zhàn)使用仍有較大差距.

近年來，基于人工智能技術(shù)的認(rèn)知電子戰(zhàn)相關(guān)研究取得了較大突破，智能干擾決策是其中關(guān)鍵一環(huán)，一般采用基于深度強(qiáng)化學(xué)習(xí)技術(shù)實現(xiàn)智能決策. 深度強(qiáng)化學(xué)習(xí)是一種通過智能體與環(huán)境交互、神經(jīng)網(wǎng)絡(luò)擬合輸出動作方案、環(huán)境反饋引導(dǎo)網(wǎng)絡(luò)訓(xùn)練更新、使評價收益值最大的一種機(jī)器學(xué)習(xí)方法，能夠在無先驗信息或先驗信息較少的情況下通過交互學(xué)習(xí)給出較優(yōu)的決策結(jié)果，廣泛應(yīng)用于戰(zhàn)場資源優(yōu)化［4］、指揮協(xié)同控制［5］等軍事智能領(lǐng)域. 在通信干擾決策方面，文獻(xiàn)［6］建立多臂賭博機(jī)模型，建立誤碼率曲線字典，通過字典采樣并經(jīng)過算法計算，干擾機(jī)可以構(gòu)造出與實際曲線相似的誤碼率曲線，在3 次交互作用下學(xué)習(xí)最優(yōu)干擾策略；文獻(xiàn)［7］同樣應(yīng)用多臂賭博機(jī)模型，通過決策干擾信號樣式、數(shù)據(jù)包發(fā)送指令以及功率等級等物理層參數(shù)，得到最高效功率分配的干擾方案；文獻(xiàn)［8］為解決強(qiáng)化學(xué)習(xí)算法在干擾決策中收斂速度慢的問題，通過等效參數(shù)建模，降維干擾參數(shù)選擇搜索空間，加入以往的干擾經(jīng)驗信息，在縮短系統(tǒng)學(xué)習(xí)時間的同時輸出最佳干擾策略；文獻(xiàn)［9］基于整體對抗思想提出基于自舉專家軌跡分層強(qiáng)化學(xué)習(xí)的干擾資源分配決策算法（Bootstrapped expert trajectory memory replay-Hierarchical reinforce?ment learning-Jamming resources distribution decision-Making algorithm，BHJM），能夠在干擾資源不足的條件下優(yōu)先干擾威脅等級較高的跳頻通信目標(biāo)，并輸出資源利用率最高的干擾方案. 然而以上研究都是針對某種信號體制或單個干擾站給出優(yōu)化后的干擾方案，無法解決協(xié)同干擾決策及資源分配問題.

本文為解決協(xié)同電子戰(zhàn)的干擾決策問題，首先構(gòu)建“整體優(yōu)化、逐站決策”的協(xié)同決策模型，為算法提供決策環(huán)境；而后基于深度強(qiáng)化學(xué)習(xí)，在Actor-Critic 算法架構(gòu)下提出一種融合優(yōu)勢函數(shù)的協(xié)同干擾決策算法（Advantage Function based Collaborative Jamming Decision-making algorithm，AFCJD），優(yōu)化干擾資源分配方案；此外，在獎勵函數(shù)中引入專家激勵機(jī)制［5］，提高算法的探索能力，使算法能夠更快收斂并輸出更優(yōu)的干擾方案；最后，仿真實驗結(jié)果表明，本文算法給出的干擾方案能夠?qū)崿F(xiàn)對干擾資源的最優(yōu)利用，并大幅提高決策效率.

2 系統(tǒng)模型

圖1 所示為一個典型地空通信對抗場景，敵方由一架預(yù)警機(jī)指揮多架殲擊機(jī)執(zhí)行突防任務(wù)，干擾方在多個陣地上分布式設(shè)置干擾站，意在通過協(xié)同配合破擊敵方通信體系. 跳頻通信作為抗干擾能力較強(qiáng)的通信手段，是干擾方實現(xiàn)較好干擾效果需要突破的重點和難點問題. 跳頻通信通常采用頻分方式進(jìn)行組網(wǎng)，通過在不同網(wǎng)間規(guī)劃多個跳頻頻率集以起到抗干擾通信的戰(zhàn)術(shù)目的. 干擾方通常采用攔阻干擾、梳狀譜干擾、靈巧干擾等手段壓制跳頻信號，其中梳狀譜干擾使用最為廣泛，通過將能量集中在多個干擾譜內(nèi)，實現(xiàn)對跳頻頻點的精準(zhǔn)壓制，同時達(dá)到對己方通信影響最小的目的. 假定在準(zhǔn)確偵察到敵通信信道頻率規(guī)劃和使用信息的情況下籌劃干擾方案，偵察分析已對偵收到的跳頻信號進(jìn)行分選，區(qū)分不同信道信號，提高干擾的精準(zhǔn)程度.

圖1 典型干擾場景

判斷跳頻信號是否被成功干擾，一般從空域、頻域、能量域3 個角度入手，假定當(dāng)干擾頻率覆蓋跳頻頻率集1/3 以上頻點，且干擾波束內(nèi)存在目標(biāo)、干擾功率滿足干信比壓制條件時，可認(rèn)為干擾有效. 忽略收發(fā)天線不同帶來的極化損失，干信比計算方法可用式（1）表示［9］.

其中，PJ為干擾機(jī)的發(fā)射功率；PS為信號發(fā)射機(jī)的發(fā)射功率；HJ為干擾機(jī)發(fā)射天線與接收天線增益之積；HS為信號發(fā)射機(jī)發(fā)射天線增益與接收天線增益之積；LJ和LS分別為干擾信號和通信信號傳輸?shù)目臻g損耗，用式（2）表示，R（km）為信號傳播距離.

將式（2）代入式（1）中，可得到干信比的一般計算表示方法，如式（3）所示.

當(dāng)使用梳狀譜干擾時，能量集中在各個干擾譜帶內(nèi)，不考慮帶外能量損失，干信比的計算方法如式（4）所示，當(dāng)干信比大于目標(biāo)壓制系數(shù)時，可認(rèn)為干擾有效.

在體系電子戰(zhàn)中，干擾資源的不同調(diào)配會對整個體系的干擾效果產(chǎn)生不同影響. 例如部署在不同位置的干擾站針對同一目標(biāo)的干擾可獲得不同干擾效果，或當(dāng)某一干擾站能同時干擾多個目標(biāo)時，干擾不同目標(biāo)也會對其余資源的任務(wù)分配產(chǎn)生影響，所以協(xié)同干擾的難點就在于如何將多個站的干擾資源合理調(diào)配，使其發(fā)揮最大干擾效能. 當(dāng)干擾站對準(zhǔn)多個目標(biāo)時，實際中通常按照目標(biāo)的威脅等級來分配干擾任務(wù)，為簡化場景，以站與目標(biāo)間距離遠(yuǎn)近來評判目標(biāo)的威脅等級，距離越近威脅越大，距離越遠(yuǎn)威脅越小，即在對準(zhǔn)多個目標(biāo)的情況下，干擾站優(yōu)先干擾距離最近的目標(biāo). 本文從干擾站的部署位置及干擾目標(biāo)入手，預(yù)先設(shè)置可選陣地，通過改變各干擾站的干擾方向角實現(xiàn)對目標(biāo)的選擇，每個干擾站的部署位置及干擾方向角可稱為其干擾方案，利用算法的訓(xùn)練優(yōu)化輸出資源利用率最高的干擾方案.

3 融合優(yōu)勢函數(shù)的協(xié)同干擾決策算法

3.1 算法模型構(gòu)建

深度強(qiáng)化學(xué)習(xí)通常研究智能體與環(huán)境交互輸出動作，得到環(huán)境反饋的獎勵值，進(jìn)而不斷優(yōu)化動作策略的過程，該過程是序貫決策的且具有馬爾可夫性，一般將其稱為馬爾可夫決策過程（Markov Decision Process，MDP）. 基于深度強(qiáng)化學(xué)習(xí)方法研究干擾決策問題，首先需要將干擾決策建模為MDP 模型. 干擾決策實質(zhì)上是針對當(dāng)前目標(biāo)信息給出最優(yōu)干擾方案，需把這一靜態(tài)優(yōu)化場景轉(zhuǎn)化為MDP 具有“交互-執(zhí)行-反饋-環(huán)境變化”特點的動態(tài)決策過程. 協(xié)同決策通常包括逐站決策和多站同時決策兩種模型，一方面逐站決策模型適用于強(qiáng)化學(xué)習(xí)交互、反饋的動態(tài)過程，每一個干擾站決策后，環(huán)境反饋的獎勵值直接反映出該站決策的效果；另一方面當(dāng)干擾站數(shù)量較多、決策維度較大時，多站同時決策模型會難以收斂，而逐站決策模型可通過基于全局最優(yōu)的獎勵函數(shù)設(shè)計實現(xiàn)整體優(yōu)化，受決策維度影響小，決策效率更高，因此在本文要解決的問題中，逐站決策模型更加適用. 模型工作流程如圖2所示.

圖2 模型工作流程

本文構(gòu)建“整體優(yōu)化、逐站決策”的協(xié)同決策模型，將每個干擾站都作為獨立的智能體，通過同一決策網(wǎng)絡(luò)分步、順次決策干擾動作，該動作包括干擾站的部署位置及干擾方向角；當(dāng)某個智能體決策完畢后，執(zhí)行其干擾動作，并將因執(zhí)行干擾動作而改變的目標(biāo)信息輸入下一個智能體；采用集中式訓(xùn)練的方法從整體優(yōu)化干擾方案，當(dāng)所有智能體決策完畢后，訓(xùn)練更新決策網(wǎng)絡(luò)的權(quán)值參數(shù)，直至收斂. 定義模型所需基本元素如下.

（1）狀態(tài)空間：假設(shè)某個目標(biāo)跳頻信號未被干擾的頻點數(shù)量為h，定義狀態(tài)空間S=[h1,h2,…,hn]，即表示所有目標(biāo)跳頻信號未被干擾的頻點數(shù).

（2）動作空間：定義決策網(wǎng)絡(luò)輸出動作為A，表示干擾站的布設(shè)陣地及干擾方向角對應(yīng)的干擾動作編碼，如表1 所示. 為降低算法的決策維度，在0°～180°范圍內(nèi)每15°可選擇一個角度作為干擾方向角，可選角度共有11個.

表1 干擾動作編碼表

部署陣地D和干擾方向角L可用式（6）和式（7）表示.

（3）獎勵函數(shù)：基于全局最優(yōu)思想設(shè)置獎勵函數(shù)，用于表示整體干擾方案的優(yōu)劣程度. 當(dāng)所有跳頻信號全部被干擾時，獎勵值r為80；當(dāng)干擾波束內(nèi)無任何目標(biāo)時，r為-15，否則r為0.

在強(qiáng)化學(xué)習(xí)問題中，一般只根據(jù)是否完成回合任務(wù)或回合輸贏來判定獎勵值，但這樣會產(chǎn)生稀疏獎勵問題［10］，導(dǎo)致決策算法難以收斂. 本文對獎勵函數(shù)進(jìn)行改進(jìn)，把專家激勵嵌入獎勵函數(shù)［5］中，在基礎(chǔ)獎勵值rbase（式（8））上加入一個額外的專家激勵值rexp（式（9）），使得rexp能夠不斷引導(dǎo)智能體朝著r累積值最大的方向更新策略；將rbase與rexp數(shù)值相加，即為嵌入專家激勵后的r值.rexp為后續(xù)決策形成專家式引導(dǎo)，并對當(dāng)前決策形成內(nèi)部激勵，Ncha表示已被干擾的目標(biāo)數(shù)量，Njam表示當(dāng)前干擾站成功干擾的目標(biāo)數(shù)量，Ncha值不同，得到的rexp值也不同，Ncha越大，表明其越接近干擾全部目標(biāo)，rexp值越大，獲得的r（式（10））值也越大. 由于獲得更大r值是智能體的學(xué)習(xí)目標(biāo)，所以當(dāng)越接近干擾全部目標(biāo)時，rexp值的激勵作用越強(qiáng)，從而形成對智能體決策的專家引導(dǎo).

每次決策網(wǎng)絡(luò)輸出干擾動作后，根據(jù)環(huán)境給出的反饋獎勵值訓(xùn)練更新網(wǎng)絡(luò)的權(quán)值參數(shù)，待當(dāng)前方案可將全部目標(biāo)干擾時或干擾資源用盡后該回合結(jié)束.

3.2 融合優(yōu)勢函數(shù)的協(xié)同干擾決策算法

本文提出融合優(yōu)勢函數(shù)的協(xié)同干擾決策算法（AFCJD），該算法采用Actor-Critic 架構(gòu)，包括策略執(zhí)行網(wǎng)絡(luò)即Actor 模塊、價值評估網(wǎng)絡(luò)即Critic 模塊、獎勵評估模塊、優(yōu)勢函數(shù)計算模塊和訓(xùn)練優(yōu)化模塊，具體計算流程如圖3所示.

圖3 AFCJD算法流程圖

策略執(zhí)行網(wǎng)絡(luò)感知環(huán)境狀態(tài)，獲取各目標(biāo)頻點數(shù)信息St，通過網(wǎng)絡(luò)的擬合運算輸出干擾站的干擾動作At，不同的網(wǎng)絡(luò)參數(shù)表示不同策略. 價值評估網(wǎng)絡(luò)估計當(dāng)前策略的優(yōu)劣程度，輸出狀態(tài)St下干擾動作At的價值V(St)和V(St+1)，代表策略執(zhí)行網(wǎng)絡(luò)的更新目標(biāo).

獎勵評估模塊內(nèi)嵌獎勵函數(shù)，針對執(zhí)行干擾動作引發(fā)的狀態(tài)改變給出評價，即計算輸出獎勵值r. 算法中引入優(yōu)勢函數(shù)A(St,At)［11］，用于表示狀態(tài)St下執(zhí)行某一動作對應(yīng)的價值V(St)相對于價值平均值的大小. 通過將價值歸一化到平均值上，將輸入策略執(zhí)行網(wǎng)絡(luò)的數(shù)據(jù)控制在一定范圍內(nèi)，有助于減小方差，提高學(xué)習(xí)效率. 計算式如下：

訓(xùn)練優(yōu)化模塊對策略執(zhí)行網(wǎng)絡(luò)和價值評估網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練優(yōu)化，定義損失函數(shù)如下：

式（12）中L(θV)表示價值評估網(wǎng)絡(luò)的損失函數(shù)，通過訓(xùn)練不斷提高網(wǎng)絡(luò)對價值評估的精準(zhǔn)程度，給策略執(zhí)行網(wǎng)絡(luò)更精確的訓(xùn)練目標(biāo)；式（13）中R(θ)表示策略執(zhí)行網(wǎng)絡(luò)的損失函數(shù)，根據(jù)價值評估網(wǎng)絡(luò)輸出的A(St,At；θV)優(yōu)化網(wǎng)絡(luò)參數(shù)，使網(wǎng)絡(luò)決策出更優(yōu)的干擾動作.

AFCJD 算法如算法1所示，算法中策略執(zhí)行網(wǎng)絡(luò)和價值評估網(wǎng)絡(luò)中的隱藏層均使用全連接神經(jīng)網(wǎng)絡(luò)，策略執(zhí)行網(wǎng)絡(luò)的輸出層使用Softmax函數(shù)以及價值評估網(wǎng)絡(luò)輸出層無激活函數(shù)外，其余激活函數(shù)均為ReLU函數(shù).

4 實驗與仿真

為評估本文所提AFCJD 算法的性能，將其與DQL（Double Q-Learning）算法［12］、DDNN（Deep Deconvolu?tional Neural Network）算法［13］進(jìn)行對比. DQL 算法、DDNN算法在文獻(xiàn)［12］用于抗干擾通信場景中，可將其類比轉(zhuǎn)化為協(xié)同干擾決策算法應(yīng)用在本文模型中. 同時，通過對比AFCJD 算法與無專家激勵獎勵機(jī)制算法的決策效果，來評估專家激勵獎勵機(jī)制對于算法決策性能提升的優(yōu)勢作用.

4.1 場景及參數(shù)設(shè)置

算法1 AFCJD算法(1)初始化策略執(zhí)行網(wǎng)絡(luò)和價值評估網(wǎng)絡(luò),權(quán)值參數(shù)分別為θ和θV;(2)設(shè)J為干擾站數(shù)量,W為仿真總回合數(shù);for k=1,2,3,…,W do:for k=1,2,3,…,J do:(3)獲取環(huán)境狀態(tài)St,即各個目標(biāo)信號的跳頻點數(shù);(4)策略執(zhí)行網(wǎng)絡(luò)給出干擾動作At,計算其陣地位置及干擾方向角;(5)執(zhí)行干擾動作,按式(4)計算干擾效果;(6)計算獎勵值r;(7)獲取環(huán)境狀態(tài)St+1;(8)價值評估網(wǎng)絡(luò)估計St的價值V(St)及St+1的價值V(St+1);(9)按式(14)更新價值評估網(wǎng)絡(luò)參數(shù);(10)按式(15)更新策略執(zhí)行網(wǎng)絡(luò)參數(shù);if 目標(biāo)全部被干擾或干擾資源用盡:(11)Break;(12)當(dāng)算法訓(xùn)練至最優(yōu)后,循環(huán)結(jié)束

根據(jù)通信偵察及各類情報，獲取當(dāng)前空域內(nèi)20 個待干擾目標(biāo)，用坐標(biāo)形式粗略表示其空域位置；共使用6個跳頻波道，跳頻點數(shù)分別為30，65，130，65，30，130，具體參數(shù)情況如表2 所示. 根據(jù)長期情報或偵察情報，干擾方已知每個通信目標(biāo)的信號發(fā)射功率為200 W.

表2 偵察目標(biāo)信息

現(xiàn)預(yù)設(shè)6 個陣地，其坐標(biāo)為［100，336］、［40，182］、［65，219］、［30，565］、［70，425］、［100，456］，共有30個干擾站可供使用，每個干擾站的最大干擾功率為50 kW，最多干擾20 個跳頻頻點，干擾站及待干擾目標(biāo)的位置分布如圖4所示.

圖4 干擾站及目標(biāo)位置示意圖

AFCJD 算法的參數(shù)設(shè)置如表3所示，為使算法更好收斂，將學(xué)習(xí)率設(shè)置成梯次變化的形式，表中JS為每300 回合的干擾成功率. 當(dāng)JS大于0.8 時，降低神經(jīng)網(wǎng)絡(luò)的訓(xùn)練頻率，每10 步訓(xùn)練1 次Actor 網(wǎng)絡(luò)，每50 步訓(xùn)練1次Critic網(wǎng)絡(luò)，降低算法收斂到局部最優(yōu)的概率.

表3 算法參數(shù)設(shè)置

4.2 干擾資源利用對比分析

若某一回合決策出的干擾方案可將全部目標(biāo)信號干擾，則認(rèn)為該方案干擾有效. 用每300 回合的平均方案有效率來表示干擾成功率，當(dāng)干擾成功率達(dá)到100%時認(rèn)為算法收斂至最優(yōu)，訓(xùn)練結(jié)束. 首先對比3 種算法的干擾成功率，為提高算法的探索利用效率，可將DQL算法和DDNN算法的可用干擾站數(shù)量提升至35個.

從圖5 中可以看出，本文提出的AFCJD 算法收斂最快，在14 000 回合左右平均成功率可達(dá)100%，而DDNN 算法和DQL 算法只能在30 000 回合左右收斂至接近100%的干擾成功率. 從干擾成功率的對比可以得出，本文提出的AFCJD 算法收斂最快，能夠在最少的仿真回合內(nèi)給出可用的干擾方案.

圖5 干擾成功率對比

取3 種算法每300 回合的平均獎勵值進(jìn)行對比，如圖6 所示，可以看出本文提出的AFCJD 算法從開始訓(xùn)練起獎勵值即較大，在不斷訓(xùn)練過程中逐漸增大至算法收斂停止訓(xùn)練，訓(xùn)練趨勢與干擾成功率的趨勢相似.而其他2 種算法訓(xùn)練初期的平均獎勵值較低，前1 000個回合的均小于0，說明在訓(xùn)練初期算法的性能較差，無法輸出有效方案；與干擾成功率的訓(xùn)練趨勢相似，隨著訓(xùn)練深入，2 種算法的平均獎勵值不斷增大，決策能力逐漸增強(qiáng)，直至算法收斂. 從平均獎勵值的對比可以看出，本文AFCJD 算法的決策能力提升較快，決策效率較高，較DDNN算法和DQL算法提高50%左右.

圖6 平均獎勵值對比

此處加入基于規(guī)則的決策算法進(jìn)行對比，該算法不依靠任何智能計算方法，按照干擾動作編號順次給干擾站分配干擾動作. 若該動作經(jīng)過計算滿足式（4）的條件，則動作有效并執(zhí)行；否則順次選擇下一動作，直至出現(xiàn)有效動作. 當(dāng)全部目標(biāo)可被干擾時，各站干擾動作的組合即為干擾方案.

計算每300 回合內(nèi)所有有效干擾方案所需干擾站數(shù)量的平均值，對比不同算法給出方案所需干擾站的數(shù)量如圖7 所示. 從圖7 中可以看出，基于規(guī)則的決策算法給出的干擾方案大約需要28個干擾站能夠?qū)⑺?0 個目標(biāo)全部壓制；而DDNN 算法和DQL 算法收斂后需要大約26 個干擾站可將20 個目標(biāo)全部壓制，本文提出的AFCJD 算法收斂后只需要大約25 個干擾站即可壓制全部目標(biāo). 可以看出，使用智能算法后可以得到節(jié)約干擾資源的干擾方案，且本文AFCJD 算法決策速度更快，決策效率遠(yuǎn)高于另外2種算法.

圖7 干擾站數(shù)量對比

隨著訓(xùn)練進(jìn)行，干擾方案也會不斷優(yōu)化，但干擾站數(shù)量的平均值無法體現(xiàn)最優(yōu)干擾方案的資源利用情況，圖8 反映了4 種算法決策出的最優(yōu)方案所需干擾站數(shù)量的對比情況. 其中，AFCJD 算法最少只需要24 個干擾站即可壓制全部目標(biāo)，相比于DDNN 算法和DQL算法能夠提高8%的資源利用率. 相比于基于規(guī)則的決策算法，AFCJD 算法能夠提高15%的資源利用率，由于基于規(guī)則的算法無智能計算環(huán)節(jié)，所以AFCJD 算法的優(yōu)勢更為明顯，這也說明基于智能算法的協(xié)同干擾決策方法能夠達(dá)到一般算法所達(dá)不到的決策效果.

圖8 最優(yōu)干擾方案對比

綜上所述，本文提出的AFCJD 算法相比于DDNN算法和DQL 算法更快收斂到最優(yōu)干擾方案，決策效率提高50%以上；且最優(yōu)方案的資源利用率更高，能夠節(jié)約8%的干擾資源，所以AFCJD 算法對于協(xié)同干擾決策的效果更好.

此外，本文提出的AFCJD 算法是一種on-policy 算法，能夠直接利用決策網(wǎng)絡(luò)的輸出動作及環(huán)境的反饋獎勵訓(xùn)練網(wǎng)絡(luò)；DDNN 算法和DQL 算法屬于DQN 一類的off-policy 算法，需要將每一次決策的狀態(tài)、動作等參數(shù)作為樣本存入經(jīng)驗池，再從經(jīng)驗池采樣訓(xùn)練決策網(wǎng)絡(luò)，off-policy一類算法的采樣效率直接決定了算法的有效性及訓(xùn)練效率. 通過上述對比還可以推斷出，AFCJD這種on-policy 算法在干擾決策背景下相比off-policy 一類算法具有更高的決策效率.

4.3 嵌入式專家激勵獎勵機(jī)制對決策結(jié)果的影響分析

嵌入式專家激勵獎勵機(jī)制本質(zhì)上也是一種獎勵工程，文獻(xiàn)［10］已經(jīng)證明過這種內(nèi)部激勵能夠突破算法本身的訓(xùn)練邊界，給智能體更多探索環(huán)境信息的空間，提高算法的決策效率. 本文通過對比AFCJD 算法與無專家激勵獎勵機(jī)制算法的決策效果，來說明專家激勵獎勵機(jī)制對于增強(qiáng)算法決策性能的優(yōu)勢作用. 無專家激勵獎勵機(jī)制算法的獎勵函數(shù)與式（8）相同，當(dāng)所有跳頻信號全部被干擾時，獎勵值r為80；當(dāng)干擾波束內(nèi)無任何目標(biāo)時，r為-15，否則r為0.

如圖9、圖10所示，在前6 000個回合兩種算法的訓(xùn)練趨勢相同，無論是平均干擾成功率還是平均干擾站數(shù)量均在不斷收斂且效果相當(dāng)，6 000 回合以后AFCJD算法繼續(xù)收斂直至平均干擾成功率達(dá)到100%. 無專家激勵獎勵機(jī)制的算法在6 000 回合以后收斂速度下降，在18 000 回合成功率達(dá)到90%并在較大范圍內(nèi)振動，無繼續(xù)收斂趨勢. 圖11 所示為無專家激勵獎勵機(jī)制算法的獎勵值變化情況，可以更清晰地看出算法的訓(xùn)練趨勢，在18 000 回合后算法由于探索能力相對較弱無法再決策出獎勵值更高的結(jié)果，并且出現(xiàn)了一小段過擬合現(xiàn)象.

圖9 干擾成功率對比

圖10 干擾站數(shù)量對比

圖11 獎勵值

綜上所述，相比無專家激勵獎勵機(jī)制的算法，AFCJD 算法具有更強(qiáng)的探索能力，能夠輸出更優(yōu)的決策結(jié)果，訓(xùn)練收斂較快且更穩(wěn)定. 同時可以得出，嵌入式專家激勵獎勵機(jī)制能夠提高算法的探索能力，提高算法的決策能力并提高算法的決策效率.

5 小結(jié)

本文針對協(xié)同電子戰(zhàn)中的跳頻通信干擾協(xié)同決策難題，通過構(gòu)建“整體優(yōu)化、逐站決策”的協(xié)同決策模型，基于深度強(qiáng)化學(xué)習(xí)提出一種融合優(yōu)勢函數(shù)的協(xié)同干擾決策算法（AFCJD），并在獎勵函數(shù)中引入專家激勵機(jī)制，進(jìn)一步提高算法性能，使算法能夠給出針對現(xiàn)有目標(biāo)資源利用率最高的干擾方案，并大幅提高決策效率. 仿真結(jié)果表明，AFCJD 算法能夠決策出干擾資源利用率最大的干擾方案，相比于現(xiàn)有智能決策算法，給出的干擾方案能夠節(jié)約8%干擾資源，決策效率提高50%以上；在引入專家激勵獎勵機(jī)制后，AFCJD 算法具有更強(qiáng)的探索能力，訓(xùn)練收斂較快且更穩(wěn)定.