基于ET-PPO的雙變跳頻圖案智能決策

陳一波，趙知?jiǎng)?/p>

基于ET-PPO的雙變跳頻圖案智能決策

陳一波，趙知?jiǎng)?/p>

（杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018）

為進(jìn)一步提高雙變跳頻系統(tǒng)在復(fù)雜電磁環(huán)境中的抗干擾能力，提出了一種基于資格跡的近端策略優(yōu)化（proximal policy optimization with eligibility traces，ET-PPO）算法。在傳統(tǒng)跳頻圖案的基礎(chǔ)上，引入時(shí)變參數(shù)，通過狀態(tài)－動(dòng)作－獎(jiǎng)勵(lì)三元組的構(gòu)造將“雙變”跳頻圖案決策問題建模為馬爾可夫決策問題。針對(duì)PPO算法“行動(dòng)器”網(wǎng)絡(luò)樣本更新方式的高方差問題，引入加權(quán)重要性采樣減小方差；采用Beta分布的動(dòng)作選擇策略，增強(qiáng)學(xué)習(xí)階段的穩(wěn)定性。針對(duì)“評(píng)判器”網(wǎng)絡(luò)收斂速度慢的問題，引入資格跡方法，較好地平衡了收斂速度和全局最優(yōu)解求解。在不同電磁干擾環(huán)境下的算法對(duì)比仿真結(jié)果表明，ET-PPO有更好的適應(yīng)性和穩(wěn)定性，對(duì)抗阻塞干擾和掃頻干擾表現(xiàn)較好。

復(fù)雜電磁環(huán)境；雙變跳頻圖案；近端策略優(yōu)化；資格跡

0 引言

深度強(qiáng)化學(xué)習(xí)（deep reinforcement learning，DRL）結(jié)合深度學(xué)習(xí)的表示能力和強(qiáng)化學(xué)習(xí)的推理能力，可以適應(yīng)時(shí)變的電磁環(huán)境。DRL根據(jù)學(xué)習(xí)目標(biāo)的不同可以分為基于價(jià)值和基于策略的兩類學(xué)習(xí)算法，基于價(jià)值的DRL有深度網(wǎng)絡(luò)（deep-network，DQN），基于策略的DRL有深度確定性策略梯度（deep deterministic policy gradient，DDPG）和近端策略優(yōu)化（proximal policy optimization，PPO）。文獻(xiàn)[8]應(yīng)用DQN進(jìn)行“雙變”跳頻圖案決策，對(duì)經(jīng)驗(yàn)回放DQN引入帕雷托（Pareto）樣本的概念，提出了基于帕雷托樣本的優(yōu)先經(jīng)驗(yàn)回放深度網(wǎng)絡(luò)（deep-network with priority experience replay based on Pareto samples，PPER-DQN）算法，提升了DQN的經(jīng)驗(yàn)池篩選性能，更好地適應(yīng)變化的電磁環(huán)境。但是其采用傳統(tǒng)優(yōu)先級(jí)定義和Pareto樣本，導(dǎo)致復(fù)雜度增大。文獻(xiàn)[9]將分類經(jīng)驗(yàn)回放引入DDPG，提出了采用分類經(jīng)驗(yàn)回放的深度確定性策略梯度（deep deterministic policy gradient with classified experience replay，CER-DDPG）方法，降低了傳統(tǒng)優(yōu)先級(jí)經(jīng)驗(yàn)回放機(jī)制的復(fù)雜度。但是DDPG缺少對(duì)狀態(tài)的“評(píng)判”，在不同環(huán)境中表現(xiàn)差異較大，穩(wěn)定性較差。PPO是DRL中基于“行動(dòng)器－評(píng)判器”的算法，并且適用于連續(xù)狀態(tài)－動(dòng)作空間，它具有信賴域策略優(yōu)化（trust region policy optimization，TRPO）的優(yōu)點(diǎn)，同時(shí)更易于實(shí)現(xiàn)，相比其他在線策略梯度方法，PPO還具有更好的穩(wěn)定性和可靠性[10]，已在機(jī)器人控制[11]、模塊化生產(chǎn)控制[12]和城市道路交通控制[13]等領(lǐng)域得到應(yīng)用。本文通過狀態(tài)－動(dòng)作－獎(jiǎng)勵(lì)三元組的構(gòu)造將“雙變”跳頻圖案決策問題轉(zhuǎn)化為一個(gè)序列優(yōu)化問題，并且“雙變”跳頻系統(tǒng)時(shí)域和頻域的連續(xù)性契合PPO算法中的連續(xù)狀態(tài)－動(dòng)作空間，因此本文研究復(fù)雜電磁干擾中應(yīng)用PPO的“雙變”跳頻圖案智能設(shè)計(jì)。

PPO算法性能和效率與其“行動(dòng)器”和“評(píng)判器”的策略有關(guān)。不同于傳統(tǒng)DRL，PPO產(chǎn)生的樣本數(shù)據(jù)與“行動(dòng)器”的策略有關(guān)，所以不能簡單地通過經(jīng)驗(yàn)池復(fù)用更新，而需要通過另外的途徑提高樣本數(shù)據(jù)利用率。文獻(xiàn)[14]利用以前學(xué)到的模型對(duì)“行動(dòng)器”網(wǎng)絡(luò)初始化，提出模型加速近端策略優(yōu)化（proximal policy optimization with model accelerate，MA-PPO），加速學(xué)習(xí)過程并提高運(yùn)算效率。文獻(xiàn)[15]將策略引入“評(píng)判器”價(jià)值函數(shù)的更新過程，提出具有策略反饋的PPO（proximal policy optimization with policy feedback，PF-PPO）算法，與PPO相比，PF-PPO具有更快的收斂速度、更高的獎(jiǎng)勵(lì)和更小的獎(jiǎng)勵(lì)方差。DRL的網(wǎng)絡(luò)更新梯度包含了偏差和方差信息，偏差反映了期望預(yù)測(cè)與真實(shí)結(jié)果的偏離程度，方差反映了樣本數(shù)據(jù)的變動(dòng)所導(dǎo)致的學(xué)習(xí)性能的變化，較低的偏差和方差可以保證算法的準(zhǔn)確性和穩(wěn)定性。文獻(xiàn)[16]將PPO“評(píng)判器”網(wǎng)絡(luò)的步回報(bào)估計(jì)改為廣義優(yōu)勢(shì)估計(jì)（generalized advantage estimation，GAE），較好地平衡了算法的偏差和方差；文獻(xiàn)[17]通過蒙特卡洛估計(jì)，在“行動(dòng)器”中為不同特征配置不同基線，降低了算法的方差，從而加快了學(xué)習(xí)速度；文獻(xiàn)[18]設(shè)計(jì)稀疏獎(jiǎng)勵(lì)，取代“執(zhí)行差額”獎(jiǎng)勵(lì)，降低了算法的偏差。

但文獻(xiàn)[14-18]方法仍存在方差較高和樣本利用較低的問題，對(duì)此本文提出了ET-PPO算法。針對(duì)PPO“行動(dòng)器”網(wǎng)絡(luò)樣本更新方式的高方差問題，本文引入加權(quán)重要度采樣（weighted importance sampling，WIS）減小方差，提高學(xué)習(xí)階段的穩(wěn)定性；針對(duì)“評(píng)判器”網(wǎng)絡(luò)收斂速度慢的問題，本文引入資格跡（eligibility trace，ET），在不陷入局部最優(yōu)解的前提下加速收斂。為了智能決策跳頻圖案，本文設(shè)計(jì)“行動(dòng)器”的動(dòng)作選擇策略為Beta分布策略，且在“行動(dòng)器”的目標(biāo)函數(shù)中添加策略的熵項(xiàng)以避免落入局部最優(yōu)解。仿真結(jié)果表明，相比于傳統(tǒng)PPO、PPER-DQN和CER-DDPG，ET-PPO具有更快的學(xué)習(xí)速度、更高的獎(jiǎng)勵(lì)和更好的平穩(wěn)性。

1 問題建模

本文主要研究“雙變”跳頻系統(tǒng)在面對(duì)阻塞干擾和多頻連續(xù)波干擾時(shí)的跳頻圖案智能決策，希望在干擾較強(qiáng)的頻段，“雙變”跳頻可以自適應(yīng)地提高跳速、增大信道劃分間隔以盡快跳出該頻段；在干擾較弱頻段，“雙變”跳頻可以自適應(yīng)地放慢跳速、減小信道劃分間隔以保持長時(shí)間低誤碼率的高質(zhì)量通信。

“雙變”跳頻系統(tǒng)可以在非連續(xù)頻帶靈活分配頻率，例如在常規(guī)跳頻系統(tǒng)中，本來不適用當(dāng)前非連續(xù)頻帶的跳頻序列，在“雙變”跳頻系統(tǒng)中通過可變的跳頻速度和信道劃分間隔則可將原本出現(xiàn)在不可用頻帶的跳頻信號(hào)轉(zhuǎn)移至可用頻帶上，提高了頻譜資源的利用率。由此降低跳頻序列設(shè)計(jì)難度，增加跳頻序列集合的跳頻序列數(shù)量，使以碼分多址為基礎(chǔ)的跳頻系統(tǒng)支持更大的用戶容量。

多級(jí)頻移鍵控（multiple-frequency-shift keying，MFSK）下的“雙變”跳頻信號(hào)可以表示為：

在加性白高斯噪聲背景下，二進(jìn)制頻移鍵控（frequency-shift keying，2FSK）相干解調(diào)總誤碼率為：

其中，erfc(·)表示補(bǔ)余誤差函數(shù)，為信噪比。由此可得，通過跳頻圖案智能決策增大解調(diào)器輸入端的平均信干噪比可以降低跳頻通信系統(tǒng)誤碼率，考慮到實(shí)際場景中電波傳輸?shù)膫鞑p耗和瑞利衰落，本文將決策目標(biāo)函數(shù)設(shè)計(jì)為最大化平均信干噪比（signal to interference plus noise ratio，SINR），即：

2 算法設(shè)計(jì)

2.1 改進(jìn)的近端策略優(yōu)化算法

PPO是DRL中一種基于行動(dòng)器－評(píng)判器（actor-critic，AC）的算法，結(jié)合了策略迭代法和價(jià)值迭代法。

圖1 序列

結(jié)合基線和重要性采樣，PG算法的離軌策略更新為：

2.2 加權(quán)重要度采樣和資格跡

PPO算法“行動(dòng)器”網(wǎng)絡(luò)進(jìn)行期望更新時(shí)，其重要度采樣通過簡單平均實(shí)現(xiàn)，被稱為普通重要度采樣（ordinary importance sampling，OIS），如式（10）所示。

由式（13）可知，資格跡追蹤參數(shù)向量的梯度，決定分量的更新。

圖2 價(jià)值梯度權(quán)重以速率衰減示意圖

2.3 狀態(tài)動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)及動(dòng)作選擇策略設(shè)計(jì)

在每一步中，智能體從環(huán)境得到一個(gè)獎(jiǎng)勵(lì)，強(qiáng)化學(xué)習(xí)算法的唯一目標(biāo)就是最大化長期總獎(jiǎng)勵(lì)。為了實(shí)現(xiàn)高質(zhì)量通信，通信系統(tǒng)需要一個(gè)高信干噪比的跳頻圖案，所以本文使用式（3）作為獎(jiǎng)勵(lì)函數(shù)。

針對(duì)本文所定義的有限范圍內(nèi)的動(dòng)作空間，本文采用如式（15）所示的Beta分布概率密度函數(shù)作為“行動(dòng)器”網(wǎng)絡(luò)輸出的動(dòng)作選擇策略。

其中，和為Beta分布參數(shù)。

2.4 算法步驟

綜上可得，本文基于改進(jìn)PPO的“雙變”跳頻圖案智能決策算法具體步驟如下。

步驟1 預(yù)測(cè)時(shí)間段內(nèi)的干擾環(huán)境，初始化信號(hào)功率、跳頻序列。

步驟8 如果，結(jié)束算法；否則跳轉(zhuǎn)至步驟4。

3 實(shí)驗(yàn)結(jié)果及性能分析

3.1 實(shí)驗(yàn)1 熵項(xiàng)系數(shù)η對(duì)算法性能的影響

干擾環(huán)境用頻譜瀑布圖表示，包含高斯白噪聲、阻塞干擾和掃頻干擾的干擾環(huán)境如圖3所示，顏色越深，干擾功率越大。

圖3 干擾環(huán)境

圖4 熵項(xiàng)系數(shù)η對(duì)算法性能的影響

3.2 實(shí)驗(yàn)2 加權(quán)重要度采樣和Beta分布策略的應(yīng)用

干擾環(huán)境同實(shí)驗(yàn)1，“行動(dòng)器”不同更新方式對(duì)應(yīng)性能曲線如圖5所示，是“行動(dòng)器”網(wǎng)絡(luò)分別采用高斯分布和Beta分布的動(dòng)作選擇策略及普通重要度采樣和加權(quán)重要度采樣的更新方法得到

圖5 “行動(dòng)器”不同更新方式對(duì)應(yīng)性能曲線

3.3 實(shí)驗(yàn)3 資格跡衰減率λ對(duì)ET-PPO算法的影響

圖6 不同資格跡衰減率和不同n取值對(duì)應(yīng)的性能曲線

3.4 實(shí)驗(yàn)4 不同干擾環(huán)境下算法對(duì)比分析

本節(jié)分析比較應(yīng)用PPER-DQN[8]、CER-DDPG[9]、傳統(tǒng)PPO[10]和本文ET-PPO的“雙變”跳頻圖案決策性能。為保證公平性，令所有算法具有相同的學(xué)習(xí)率、獎(jiǎng)勵(lì)設(shè)定和獎(jiǎng)勵(lì)折扣系數(shù)。本文“雙變”跳頻圖案決策屬于連續(xù)狀態(tài)?連續(xù)動(dòng)作問題，而PPER-DQN適用于連續(xù)狀態(tài)?離散動(dòng)作問題，所以PPER-DQN的仿真實(shí)驗(yàn)中，對(duì)動(dòng)作空間進(jìn)行離散化處理，設(shè)置跳頻速度集合為[125, 250, 500, 1 000, 2 000] hop/s，信道劃分間隔集合為[1, 2, 3, 4] MHz。另外PPER-DQN以時(shí)序差分誤差作為優(yōu)先經(jīng)驗(yàn)回放依據(jù)，CER- DDPG以立即獎(jiǎng)勵(lì)作為分類經(jīng)驗(yàn)回放依據(jù)。3種干擾環(huán)境及相應(yīng)性能曲線如圖7所示。

由圖7可知，ET-PPO在不同干擾環(huán)境中具有更快的收斂速度和更穩(wěn)定的性能，這說明ET-PPO對(duì)動(dòng)態(tài)變化干擾環(huán)境適應(yīng)性較強(qiáng)。ET-PPO通過加權(quán)重要性采樣提高了采樣數(shù)據(jù)利用率，降低了學(xué)習(xí)的方差，在不同干擾環(huán)境中算法都在第40輪采樣之前完成收斂；通過Beta分布的動(dòng)作選擇策略平衡了強(qiáng)化學(xué)習(xí)探索與利用的矛盾，在學(xué)習(xí)前期保證較高的探索度，在學(xué)習(xí)后期以利用為主，所以曲線振蕩幅度較小。PPER-DQN性能收斂在比較低的水平，這是因?yàn)殡x散化動(dòng)作空間尋找的最優(yōu)動(dòng)作不精細(xì)，而更精細(xì)的動(dòng)作空間離散化將增加訓(xùn)練成本。PPO和CER-DDPG性能受環(huán)境影響較大，CER-DDPG在環(huán)境2中陷入局部最優(yōu)解僅有50的總收益表現(xiàn)，PPO曲線振蕩幅度大，需要手動(dòng)設(shè)置參數(shù)以平衡算法的探索與利用。

4 結(jié)束語

針對(duì)PPO算法“行動(dòng)器”網(wǎng)絡(luò)更新方差大、“評(píng)判器”網(wǎng)絡(luò)更新收斂速度慢的問題，本文將加權(quán)重要性采樣和資格跡方法引入PPO算法；將Beta分布作為“行動(dòng)器”網(wǎng)絡(luò)輸出的動(dòng)作選擇策略，并將該策略的熵項(xiàng)添加到“行動(dòng)器”網(wǎng)絡(luò)的目標(biāo)函數(shù)上，使算法在學(xué)習(xí)初始階段充分學(xué)習(xí)參數(shù)以避免落入局部最優(yōu)解；將“雙變”跳頻圖案決策建模為序列優(yōu)化問題，設(shè)計(jì)了合適的獎(jiǎng)勵(lì)函數(shù)和策略函數(shù)。在不同電磁干擾環(huán)境中應(yīng)用本文算法的“雙變”跳頻圖案決策結(jié)果表明，相比于PPER-DQN、CER-DDPG和傳統(tǒng)PPO，本文所提出算法具有更快的收斂速度且不易落入局部最優(yōu)解，對(duì)環(huán)境適應(yīng)性強(qiáng)。本文針對(duì)的是連續(xù)狀態(tài)?動(dòng)作空間問題，相比于離散問題具有更復(fù)雜的隨機(jī)性，但是狀態(tài)?動(dòng)作維數(shù)不高，未來將研究強(qiáng)化學(xué)習(xí)在高維特征空間中的應(yīng)用。

圖7 3種干擾環(huán)境及相應(yīng)性能曲線

[1] 任興旌. 跳頻通信關(guān)鍵技術(shù)研究及系統(tǒng)設(shè)計(jì)[D]. 蘭州: 蘭州交通大學(xué), 2018. REN X J. Key technology research and system design of frequency hopping communication[D]. Lanzhou: Lanzhou Jiatong University, 2018.

[2] 柳永祥, 姚富強(qiáng), 梁濤. 變間隔、變跳速跳頻通信技術(shù)[C]//軍事電子信息學(xué)術(shù)會(huì)議. 2006:518-521. LIU Y X, YAO F Q, LIANG T. Bivariate frequency hopping communication technology[C]//Academic Conference on Military Electronic Information. 2006: 518-521.

[3] 嚴(yán)季, 梁濤, 祈竹. 變跳速、變間隔跳頻通信技術(shù)研究[J]. 無線通信技術(shù), 2012, 21(4): 25-29. YAN J, LIANG T, QI Z. Research on thefrequenct hopping communication technology of variable hopping rate and variable interval[J]. Wireless Communication Technology, 2012, 21(4): 25-29.

[4] 汪小林, 黎亮, 張抒. 基于均勻性補(bǔ)償?shù)奶l圖案生成方法[J]. 兵工自動(dòng)化, 2018, 37(9): 12-14. WANG X L, LI L, ZHANG S. Frequency hopping based on uniformity compensation[J]. Ordnance Industry Automation, 2018, 37(9): 12-14.

[5] 李金濤. 寬間隔跳頻序列設(shè)計(jì)與性能研究[D]. 成都: 西南交通大學(xué), 2007. LI J T. Study on frequency hopping sequences with givenminimumgap[D]. Chengdu: Southwest Jiaotong University, 2007.

[6] 陳剛, 黎福海. 變速跳頻通信抗跟蹤干擾性能的研究[J]. 火力與指揮控制, 2016, 41(7): 107-109. CHEN G, LI F H. Research on anti-follower jamming performance of variable rate frequency hopping communications[J]. Fire Control & Command Control, 2016, 41(7): 107-109.

[7] 王越超. 自適應(yīng)跳頻通信系統(tǒng)關(guān)鍵技術(shù)研究[D]. 南京: 東南大學(xué), 2018. WANG Y C. Research on key technology of adaptive frequency hopping communication system[D]. Nanjing: Southeast University, 2018.

[8] ZHU J S, ZHAO Z J, ZHENG S L. Intelligent anti-jamming decision algorithm of bivariate frequency hopping pattern based on DQN with PER and Pareto[J]. International Journal of Information Technology and Web Engineering, 2022, 17(1): 1-23.

[9] 時(shí)圣苗, 劉全. 采用分類經(jīng)驗(yàn)回放的深度確定性策略梯度方法[J]. 自動(dòng)化學(xué)報(bào), 2022, 48(7): 1816-1823. SHI S M, LIU Q. Deep deterministic policy gradient with classified experience replay[J]. Acta Automatica Sinica, 2022, 48(7): 1816-1823.

[10] CANO L G, FERREIRA M, DA S S A, et al. Intelligent control of a quadrotor with proximal policy optimization reinforcement learning[C]//Proceedings of 2018 Latin American Robotic Symposium, 2018 Brazilian Symposium on Robotics (SBR) and 2018 Workshop on Robotics in Education (WRE). Piscataway: IEEE Press, 2018: 503-508.

[11] 張浩昱, 熊凱. 基于近端策略優(yōu)化算法的四足機(jī)器人步態(tài)控制研究[J]. 空間控制技術(shù)與應(yīng)用, 2019, 45(3): 53-58. ZHANG H Y, XIONG K. On gait control of quadruped robot based on proximal policy optimization algorithm[J]. Aerospace Control and Application, 2019, 45(3): 53-58.

[12] MAYER S, CLASSEN T, ENDISCH C. Modular production control using deep reinforcement learning: proximal policy optimization[J]. Journal of Intelligent Manufacturing, 2021, 32(8): 2335-2351.

[13] 舒凌洲. 基于深度強(qiáng)化學(xué)習(xí)的城市道路交通控制算法研究[D]. 成都: 電子科技大學(xué), 2020. SHU L Z. Research on urban traffic control algorithm based on deep reinforcement learning[D]. Chengdu: University of Electronic Science and Technology of China, 2020.

[14] GUAN Y, REN Y G, LI S E, et al. Centralized cooperation for connected and automated vehicles at intersections by proximal policy optimization[J]. IEEE Transactions on Vehicular Technology, 2020, 69(11): 12597-12608.

[15] GU Y, CHENG Y H, CHEN C L P, et al. Proximal policy optimization with policy feedback[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2022, 52(7):4600-4610.

[16] 王鴻濤. 基于強(qiáng)化學(xué)習(xí)的機(jī)械臂自學(xué)習(xí)控制[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2019. WANG H T. Self learning control of mechanical arm based on reinforcement learning[D]. Harbin: Harbin Institute of Technology, 2019.

[17] ZHANG L, ZHANG Y S, ZHAO X, et al. Image captioning via proximal policy optimization[J]. Image and Vision Computing, 2021, 108: 104126.

[18] LIN S Y, BELING P A. An end-to-end optimal trade execution framework based on proximal policy optimization[C]//Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization, 2020: 4548-4554.

Intelligent anti-jamming decision algorithm of bivariate frequency hopping pattern based on ET-PPO

CHEN Yibo, ZHAO Zhijin

School of Communication Engineering, Hangzhou Dianzi University, Hangzhou 310018, China

In order to further improve its anti-interference ability in complex electromagnetic environment, a PPO algorithm based on weighted importance sampling and eligibility traces (ET-PPO) was proposed. On the basis of the traditional frequency hopping pattern, time-varying parameters were introduced, and the bivariate frequency hopping pattern decision problem was modeled as a Markov decision problem through the construction of the state-action-reward triple. Aiming at the high variance problem of the sample update method of an actor network of the PPO algorithm, weighted importance sampling was introduced to reduce the variance, and the action selection strategy of Beta distribution was used to enhance the stability of the learning stage. Aiming at the problem of slow convergence speed of the evaluator network, the eligibility trace method was introduced, which better balanced the convergence speed and the global optimal solution. The algorithm comparison simulation results in different electromagnetic interference environments show that ET-PPO has better adaptability and stability, and has better performance against obstruction interference and sweep frequency interference.

complex electromagnetic environment, bivariate frequency hopping pattern, proximal policy optimization, eligibility trace

TN914；TP181

A

10.11959/j.issn.1000–0801.2022264

2022?06?02；

2022?09?29

國家自然科學(xué)基金資助項(xiàng)目（No.U19B2016）

The National Natural Science Foundation of China (No.U19B2016)

陳一波（1998? ），男，杭州電子科技大學(xué)通信工程學(xué)院碩士生，主要研究方向?yàn)檎J(rèn)知無線電。

趙知?jiǎng)牛?959? ），女，博士，杭州電子科技大學(xué)通信工程學(xué)院教授、博士生導(dǎo)師，主要研究方向?yàn)樾盘?hào)處理、認(rèn)知無線電技術(shù)。