基于強(qiáng)化學(xué)習(xí)的雷達(dá)干擾決策技術(shù)綜述

朱霸坤， 朱衛(wèi)綱， 李 偉， 楊 瑩， 高天昊

(航天工程大學(xué),a.研究生院； b.電子與光學(xué)系，北京 101000)

0 引言

隨著數(shù)字波束成形技術(shù)、數(shù)字T/R組件技術(shù)等軟硬件的成熟，相控陣?yán)走_(dá)、數(shù)字陣列雷達(dá)相繼誕生，多功能雷達(dá)隨之出現(xiàn)。同時(shí)，脈沖壓縮、頻率捷變、脈沖多普勒等對(duì)抗干擾技術(shù)被運(yùn)用于雷達(dá)，增強(qiáng)了雷達(dá)的抗干擾性能。多功能雷達(dá)快速的天線波束掃描能力和靈活的多波束形成能力結(jié)合強(qiáng)大的人工智能技術(shù)使得多功能雷達(dá)的檢測(cè)、跟蹤和抗干擾能力進(jìn)一步提高,多功能雷達(dá)逐漸具備初步的智能性。面對(duì)抗干擾性能日益強(qiáng)大而且還具備一定智能性的多功能雷達(dá)，傳統(tǒng)的干擾措施越來(lái)越難以發(fā)揮作用。

在這種情況下，認(rèn)知電子戰(zhàn)出現(xiàn)并迅速發(fā)展。美國(guó)發(fā)布了一系列的認(rèn)知電子戰(zhàn)項(xiàng)目，典型的包括自適應(yīng)電子戰(zhàn)行為學(xué)習(xí)(BLADE)項(xiàng)目、自適應(yīng)雷達(dá)對(duì)抗 (ARC)項(xiàng)目和反應(yīng)式電子攻擊(REAM)項(xiàng)目等，旨在提升電子戰(zhàn)裝備的快速反應(yīng)能力和自適應(yīng)能力。認(rèn)知電子戰(zhàn)是“認(rèn)知”理念與電子對(duì)抗技術(shù)的結(jié)合，“認(rèn)知”即模仿人類進(jìn)行信息加工和知識(shí)應(yīng)用的過(guò)程。認(rèn)知電子戰(zhàn)涉及的關(guān)鍵技術(shù)包括認(rèn)知偵察技術(shù)、認(rèn)知干擾策略優(yōu)化和實(shí)時(shí)干擾效果評(píng)估技術(shù)[1]。其中，認(rèn)知偵察技術(shù)和實(shí)時(shí)干擾效果評(píng)估技術(shù)為認(rèn)知干擾策略優(yōu)化提供了數(shù)據(jù)支撐，而認(rèn)知干擾策略優(yōu)化是認(rèn)知電子戰(zhàn)系統(tǒng)進(jìn)行自適應(yīng)對(duì)抗的體現(xiàn)，也是認(rèn)知電子戰(zhàn)技術(shù)的核心優(yōu)勢(shì)[2]。認(rèn)知干擾策略優(yōu)化的一個(gè)重要內(nèi)容就是進(jìn)行干擾決策，即在雷達(dá)對(duì)抗系統(tǒng)中能夠通過(guò)威脅目標(biāo)感知建立雷達(dá)狀態(tài)與干擾樣式之間的最佳對(duì)應(yīng)關(guān)系。在認(rèn)知電子戰(zhàn)領(lǐng)域，利用強(qiáng)化學(xué)習(xí)算法進(jìn)行干擾決策是研究的熱點(diǎn)之一，強(qiáng)化學(xué)習(xí)通過(guò)“試錯(cuò)”不斷地與環(huán)境進(jìn)行交互，從環(huán)境中獲得反饋來(lái)修正決策的模型，進(jìn)而得到最優(yōu)的行為策略，這在某種程度上體現(xiàn)了“認(rèn)知”的思想。因此，將強(qiáng)化學(xué)習(xí)運(yùn)用于雷達(dá)干擾決策有望實(shí)現(xiàn)對(duì)多功能雷達(dá)的認(rèn)知干擾。

1 傳統(tǒng)的雷達(dá)干擾決策方法

根據(jù)干擾決策方法是否具有自適應(yīng)和自學(xué)習(xí)的能力，將雷達(dá)干擾決策方法分為傳統(tǒng)的干擾決策方法和基于強(qiáng)化學(xué)習(xí)的雷達(dá)干擾決策方法。傳統(tǒng)的干擾決策方法相比于基于強(qiáng)化學(xué)習(xí)的方法不具備自適應(yīng)和自學(xué)習(xí)的能力，更加依賴于先驗(yàn)的知識(shí)。更進(jìn)一步，根據(jù)具體決策原理的不同，將傳統(tǒng)的雷達(dá)干擾決策方法分為3類：基于模板匹配的干擾決策方法、基于博弈論的干擾決策方法和基于推理的干擾決策方法，本章的主要內(nèi)容就是分析討論這3類方法。

1.1 基于模板匹配的干擾決策方法

模板匹配是一種最基本的模式識(shí)別算法，通過(guò)比對(duì)待識(shí)別樣本與模板庫(kù)中樣本的相似性來(lái)進(jìn)行識(shí)別。在雷達(dá)輻射源信號(hào)識(shí)別中，常用樣本間的距離來(lái)衡量信號(hào)樣本間的相似性[3-4]，主要包括：

1) Minkowsky距離

(1)

2) Manhattan距離

(2)

3) Euclidean距離

(3)

4) Camberra距離

(4)

5) City Block距離

(5)

在基于模板匹配的干擾決策方法中，需要在實(shí)施干擾前構(gòu)建一個(gè)干擾知識(shí)庫(kù)，其中存儲(chǔ)了威脅對(duì)象信號(hào)樣本和每個(gè)樣本對(duì)應(yīng)的最佳干擾樣式。在進(jìn)行干擾決策時(shí)，將偵察到的雷達(dá)信號(hào)與干擾庫(kù)中的信號(hào)樣本進(jìn)行比對(duì)，進(jìn)而選擇與雷達(dá)信號(hào)相似度最高的信號(hào)樣本對(duì)應(yīng)的干擾樣式，基于模板匹配的方法操作流程簡(jiǎn)單，適用范圍廣。如圖1所示，基于模板匹配的干擾決策方法由基于模板匹配的信號(hào)識(shí)別和信號(hào)樣本到干擾樣式的映射兩部分組成，因此，該方法的干擾有效性主要受到兩方面因素影響，即信號(hào)識(shí)別的精度以及信號(hào)與干擾間的映射關(guān)系是否準(zhǔn)確。對(duì)雷達(dá)信號(hào)識(shí)別目前已有了較多的研究[5]，相關(guān)技術(shù)相對(duì)成熟，而信號(hào)與干擾樣式間映射關(guān)系的獲得則比較困難，需要長(zhǎng)時(shí)間、大量的先驗(yàn)數(shù)據(jù)積累，并且隨著電磁環(huán)境的日益復(fù)雜，新信號(hào)體制雷達(dá)的推陳出新，相關(guān)工作會(huì)變得更加困難。

圖1 基于模板匹配的雷達(dá)干擾決策Fig.1 Radar jamming decision-making based on template matching

1.2 基于博弈論的干擾決策方法

博弈論是研究對(duì)抗相關(guān)問(wèn)題的一種數(shù)學(xué)理論和方法。通常將雷達(dá)對(duì)抗的過(guò)程構(gòu)建為一個(gè)零和博弈的模型，然后通過(guò)博弈論的方法解決干擾決策的問(wèn)題。一個(gè)博弈論模型包括局中人、策略集、盈利函數(shù)(矩陣)3個(gè)要素。在雷達(dá)對(duì)抗中，局中人是對(duì)抗的雙方，即雷達(dá)和干擾機(jī)；策略集是對(duì)抗雙方可以采取的策略的集合；盈利函數(shù)，決定了對(duì)抗雙方在每一次博弈中獲得的收益。表1為干擾方選擇某一干擾樣式后，干擾方獲得的盈利值[6]。

表1 盈利矩陣Table 1 Profit matrix

基于博弈論的干擾決策方法直觀體現(xiàn)了雷達(dá)對(duì)抗中雙方的博弈過(guò)程，但也存在著3個(gè)不容易解決的問(wèn)題：1) 博弈論的目標(biāo)是博弈雙方達(dá)到納什均衡，但納什均衡下的干擾策略不一定是最優(yōu)的干擾策略；2) 博弈論的一個(gè)前提假設(shè)是博弈雙方都是絕對(duì)理性的，這個(gè)建模的前提在雷達(dá)對(duì)抗問(wèn)題中過(guò)于苛刻;3) 基于博弈論的干擾決策方法高度依賴于盈利函數(shù)(矩陣)的構(gòu)建，而盈利矩陣(函數(shù))的構(gòu)建缺乏相關(guān)理論的指導(dǎo)，目前主要是依靠專家經(jīng)驗(yàn)來(lái)獲得，這限制了博弈論方法的推行。前兩個(gè)問(wèn)題的解決有賴于對(duì)博弈論模型的進(jìn)一步研究和改進(jìn)。針對(duì)第三個(gè)問(wèn)題，文獻(xiàn)[7]提出了基于干擾效果和干擾效率的干擾效能評(píng)估方法，利用干擾效能函數(shù)構(gòu)建盈利矩陣；文獻(xiàn)[8]提出用經(jīng)驗(yàn)法和模糊函數(shù)兩種方法來(lái)獲取盈利矩陣，在一定程度上可以解決盈利矩陣(函數(shù))構(gòu)建的問(wèn)題，但這兩種方法的適用范圍是有限的，并且需要依賴于其他的先驗(yàn)信息。

1.3 基于推理的干擾決策方法

基于推理的干擾決策方法將雷達(dá)對(duì)抗的過(guò)程分解為離散的事件集，然后再利用D-S證據(jù)理論或者貝葉斯網(wǎng)絡(luò)從歷史事件中分析事件的相關(guān)性或者因果性，推理出未來(lái)在一定的條件下某個(gè)事件(如干擾成功)發(fā)生的概率，進(jìn)而進(jìn)行決策。根據(jù)推理方法的不同，分為基于D-S證據(jù)理論的干擾決策方法和基于貝葉斯網(wǎng)絡(luò)的干擾決策方法。

D-S證據(jù)理論可以直接處理不確定的信息，運(yùn)用融合算法處理不確定性，通過(guò)不確定性推理，從不確定信息和不完整信息中得到可能性最大的結(jié)論。對(duì)于一個(gè)決策問(wèn)題，結(jié)果中所有可能事件用有限集合Θ表示，稱Θ為一個(gè)識(shí)別框架。若有集函數(shù)m:2Θ→[0,1]滿足：m(φ)=0且∑m(A)=1，則m為Θ上基本概率分配函數(shù)，又稱mass函數(shù)，其中，A為事件或者事件的集合，稱為焦元，m(A)為A的基本可信度。對(duì)A的信任度用信任度函數(shù)表示，計(jì)算方法為：Bel(A)=∑m(B)。對(duì)于?A?Θ，識(shí)別框架Θ上的有限個(gè)mass函數(shù)m1,m2，…，mn的合成規(guī)則為

(m1⊕m2⊕…⊕mn)(A)=

(6)

實(shí)際戰(zhàn)場(chǎng)上的信息往往具有很大的不確定性，利用D-S證據(jù)理論合成能降低信息的不確定性，增加決策的準(zhǔn)確性[9]。但證據(jù)的合成計(jì)算量大，隨著事件數(shù)的增加，計(jì)算量呈指數(shù)級(jí)增加，在情況復(fù)雜的多功能雷達(dá)干擾決策問(wèn)題中不容易實(shí)現(xiàn)。

在基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的干擾決策方法中，雷達(dá)對(duì)抗過(guò)程被描述為一個(gè)隨時(shí)間變化的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)，通過(guò)一系列的轉(zhuǎn)移矩陣來(lái)描述雷達(dá)工作狀態(tài)、環(huán)境信息和干擾樣式間的相互作用關(guān)系，最后，利用從大量統(tǒng)計(jì)樣本中學(xué)習(xí)到的貝葉斯網(wǎng)絡(luò)模型計(jì)算干擾成功的概率，進(jìn)而做出決策。文獻(xiàn)[10]對(duì)飛行器自衛(wèi)干擾的過(guò)程進(jìn)行了基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的建模，仿真結(jié)果表明，飛行器能根據(jù)與雷達(dá)之間的距離推測(cè)雷達(dá)的工作狀態(tài)，進(jìn)而選擇合適的干擾樣式，但該方法要想成功運(yùn)用，需要構(gòu)建準(zhǔn)確的模型和大量先驗(yàn)的統(tǒng)計(jì)樣本。

上文討論的3類傳統(tǒng)的干擾決策方法雖然各具特點(diǎn)，但它們無(wú)一例外地都需要大量的先驗(yàn)數(shù)據(jù)作為決策的支撐。而多功能雷達(dá)的波形靈活多變，自適應(yīng)能力強(qiáng)，因此，依靠對(duì)大量先驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)或者分析進(jìn)而得到干擾策略的方法面臨著先驗(yàn)數(shù)據(jù)獲取困難、干擾決策的時(shí)效性和有效性低的問(wèn)題。而基于強(qiáng)化學(xué)習(xí)的干擾決策方法具備傳統(tǒng)方法所不具備的“認(rèn)知”能力，能夠在缺少先驗(yàn)數(shù)據(jù)的情況下，通過(guò)不斷的“試錯(cuò)”修正決策模型，進(jìn)而得到最佳的干擾策略。

2 基于強(qiáng)化學(xué)習(xí)的雷達(dá)干擾決策方法

基于強(qiáng)化學(xué)習(xí)的干擾決策方法所適用的威脅對(duì)象是具備一定智能性的多功能雷達(dá)，所以在本章中，先介紹了多功能雷達(dá)的信號(hào)模型和強(qiáng)化學(xué)習(xí)的基本原理，然后再對(duì)當(dāng)前基于強(qiáng)化學(xué)習(xí)的雷達(dá)干擾決策相關(guān)研究進(jìn)行綜述和分析。

2.1 多功能雷達(dá)的信號(hào)模型

多功能雷達(dá)多采用相控陣體制，通過(guò)計(jì)算機(jī)控制天線陣列單元[11]和雷達(dá)內(nèi)部的可編程器件[12]，可以生成各種樣式的波形，實(shí)現(xiàn)雷達(dá)的各種工作方式和搜索、跟蹤、制導(dǎo)等多種功能[13]。多功能雷達(dá)還能根據(jù)目標(biāo)和環(huán)境特性的變化自適應(yīng)地選擇合適的波形參數(shù)，提升雷達(dá)的工作效能。當(dāng)前在對(duì)多功能雷達(dá)信號(hào)的研究中，主要是參考VISNEVSKI等[14-15]提出的多層級(jí)的多功能雷達(dá)信號(hào)模型。如圖2所示，該模型分為3層，即雷達(dá)字層、雷達(dá)短語(yǔ)層和雷達(dá)句子層。其中：雷達(dá)字即有限數(shù)目雷達(dá)脈沖的固定排列，是最基本的信號(hào)單元；有限個(gè)雷達(dá)字的固定排列構(gòu)成了雷達(dá)短語(yǔ)，雷達(dá)短語(yǔ)反映了雷達(dá)的工作模式和雷達(dá)任務(wù)；雷達(dá)短語(yǔ)又構(gòu)成了雷達(dá)句子，雷達(dá)句子與雷達(dá)要實(shí)現(xiàn)的功能密切相關(guān)。多功能雷達(dá)自適應(yīng)、信號(hào)參數(shù)捷變的特點(diǎn)會(huì)使得多層級(jí)信號(hào)模型的層內(nèi)和層間的關(guān)系復(fù)雜多變。這種復(fù)雜多變的雷達(dá)信號(hào)結(jié)構(gòu)給傳統(tǒng)的雷達(dá)干擾決策方法帶來(lái)了巨大困難，促使學(xué)者們關(guān)注到一種全新的決策方法，即強(qiáng)化學(xué)習(xí)。

圖2 多層級(jí)的多功能雷達(dá)信號(hào)模型Fig.2 Multi-level multi-function radar signal model

2.2 強(qiáng)化學(xué)習(xí)基本原理

強(qiáng)化學(xué)習(xí)是研究智能體通過(guò)與環(huán)境的互動(dòng)學(xué)習(xí)最優(yōu)行為策略的機(jī)器學(xué)習(xí)方法，智能體與環(huán)境的交互過(guò)程為馬爾可夫決策過(guò)程(Markov Decision Process，MDP)，智能體能夠通過(guò)觀測(cè)與環(huán)境互動(dòng)得到的數(shù)據(jù)序列做出相應(yīng)的適應(yīng)環(huán)境的行動(dòng)，其本質(zhì)是學(xué)習(xí)最優(yōu)的序貫決策[16]。圖3以馬爾可夫決策過(guò)程的形式展現(xiàn)了強(qiáng)化學(xué)習(xí)中交互學(xué)習(xí)的過(guò)程。在每一次的交互中，智能體產(chǎn)生的一個(gè)動(dòng)作At作用于環(huán)境，環(huán)境在動(dòng)作的作用下發(fā)生狀態(tài)轉(zhuǎn)移，由St轉(zhuǎn)移到St+1。智能體觀察到環(huán)境狀態(tài)的變化并從中得到一個(gè)收益Rt，進(jìn)而根據(jù)收益調(diào)整決策模型。智能體經(jīng)過(guò)與環(huán)境大量的交互，逐漸學(xué)習(xí)到如何采取動(dòng)作才能使獲得的累計(jì)收益達(dá)到最大,累計(jì)收益表示為

圖3 強(qiáng)化學(xué)習(xí)的馬爾可夫決策過(guò)程Fig.3 Markov decision-making process of reinforcement learning

Gt=Rt+1+γRt+2+γ2Rt+3+…

(7)

式中，γ∈[0，1]，為折扣率，表示未來(lái)的收益在當(dāng)前時(shí)刻的現(xiàn)值。策略π，即智能體選擇動(dòng)作的方法，是狀態(tài)到動(dòng)作的映射,π:S→A。強(qiáng)化學(xué)習(xí)的目標(biāo)就是要學(xué)習(xí)到一個(gè)最佳策略π*，使智能體獲得的累計(jì)收益達(dá)到最大。

2.3 基于強(qiáng)化學(xué)習(xí)的雷達(dá)干擾決策研究

在多功能雷達(dá)的干擾決策中，決策的戰(zhàn)術(shù)目標(biāo)與傳統(tǒng)雷達(dá)的干擾決策不同，傳統(tǒng)雷達(dá)的干擾決策目標(biāo)是選擇一種干擾樣式，使其對(duì)當(dāng)前雷達(dá)狀態(tài)的干擾效果達(dá)到最好；而多功能雷達(dá)的干擾決策目標(biāo)則是根據(jù)一個(gè)策略，使雷達(dá)狀態(tài)盡快轉(zhuǎn)移到目標(biāo)的雷達(dá)狀態(tài)，這樣的決策目標(biāo)設(shè)置與決策中心戰(zhàn)[17]、馬賽克戰(zhàn)[18]的思想更加契合。將雷達(dá)對(duì)抗過(guò)程中雷達(dá)的行為過(guò)程分解為一個(gè)個(gè)離散的雷達(dá)狀態(tài)，干擾機(jī)采取某種干擾樣式Jt后，雷達(dá)的狀態(tài)發(fā)生轉(zhuǎn)移，干擾機(jī)偵察到雷達(dá)狀態(tài)的轉(zhuǎn)換并從中獲得收益，進(jìn)而調(diào)整干擾策略，這樣就可以將雷達(dá)對(duì)抗的過(guò)程構(gòu)建為一個(gè)馬爾可夫決策過(guò)程，該過(guò)程如圖4所示。

圖4 雷達(dá)對(duì)抗的馬爾可夫決策過(guò)程Fig.4 Markov decision-making process ofradar countermeasure

在一個(gè)馬爾可夫決策過(guò)程中，通過(guò)強(qiáng)化學(xué)習(xí)的相關(guān)算法就可以學(xué)習(xí)得到最佳的雷達(dá)干擾策略。利用強(qiáng)化學(xué)習(xí)進(jìn)行雷達(dá)干擾決策目前還是一個(gè)嶄新的領(lǐng)域，相關(guān)文獻(xiàn)相對(duì)較少，所以下文將從界定雷達(dá)狀態(tài)、設(shè)置收益函數(shù)以及選擇強(qiáng)化學(xué)習(xí)算法3個(gè)角度來(lái)對(duì)相關(guān)文獻(xiàn)展開(kāi)分析。

2.3.1 界定雷達(dá)狀態(tài)

將雷達(dá)對(duì)抗中雷達(dá)的一系列行為過(guò)程分解為離散的雷達(dá)狀態(tài)是進(jìn)行干擾決策的前提條件。文獻(xiàn)[19]將雷達(dá)狀態(tài)定義為：以干擾方所接收的信號(hào)參數(shù)為基本依據(jù)而界定的目標(biāo)雷達(dá)所處的情況，一方面，雷達(dá)狀態(tài)是干擾機(jī)選取干擾樣式的依據(jù),另一方面,雷達(dá)狀態(tài)的變化也是后續(xù)獲取收益的依據(jù)，雷達(dá)狀態(tài)的界定對(duì)于干擾決策具有重要意義。文獻(xiàn)[20]將多功能雷達(dá)的工作模式等價(jià)于雷達(dá)狀態(tài)，雖然簡(jiǎn)潔地解決了雷達(dá)狀態(tài)界定的問(wèn)題，也有現(xiàn)有的雷達(dá)工作模式識(shí)別的相關(guān)研究作為前提支撐，但將雷達(dá)工作模式作為雷達(dá)狀態(tài)不能很好地反映多功能雷達(dá)的自適應(yīng)、波形捷變的信號(hào)特點(diǎn)，也不利于提高干擾決策的有效性。在多功能雷達(dá)中，在同一種工作模式下，往往存在多套不同的波形參數(shù)，雷達(dá)會(huì)根據(jù)目標(biāo)和環(huán)境特性選擇不同的雷達(dá)波形參數(shù)，如果依據(jù)雷達(dá)工作模式來(lái)選擇干擾樣式，針對(duì)在同一工作模式下的不同波形參數(shù)，干擾機(jī)就會(huì)選擇同一種干擾樣式，這對(duì)于干擾決策是不利的。文獻(xiàn)[21-22]在已有的偵察測(cè)量技術(shù)及測(cè)量分選結(jié)果形成脈沖描述字(PDW)和輻射源描述字(EDW)的基礎(chǔ)上，引入抗干擾狀態(tài)描述字(EPDW)來(lái)表征雷達(dá)狀態(tài)，雷達(dá)狀態(tài)識(shí)別實(shí)現(xiàn)的流程[21]如圖5所示。

圖5 雷達(dá)狀態(tài)識(shí)別的流程Fig.5 Process of radar status identification

引入EPDW來(lái)表征雷達(dá)狀態(tài)很好地對(duì)接了現(xiàn)有的關(guān)于雷達(dá)輻射源識(shí)別的相關(guān)研究，但文獻(xiàn)[21-22]中沒(méi)有給出選取何種特征來(lái)表征EPDW，這將是一個(gè)值得研究的方向。文獻(xiàn)[23]將多功能雷達(dá)信號(hào)劃分為功能層、任務(wù)層、波形層，分別對(duì)應(yīng)多層級(jí)的多功能雷達(dá)信號(hào)模型中的雷達(dá)句子層、雷達(dá)短語(yǔ)層、雷達(dá)字層，并將雷達(dá)任務(wù)作為雷達(dá)狀態(tài)。從雷達(dá)的工作過(guò)程來(lái)看，雷達(dá)工作過(guò)程可以分解為雷達(dá)任務(wù)序列，將雷達(dá)任務(wù)作為雷達(dá)狀態(tài)可以達(dá)到分解雷達(dá)對(duì)抗過(guò)程中雷達(dá)行為過(guò)程的目的，但雷達(dá)任務(wù)與雷達(dá)短語(yǔ)并不是一一對(duì)應(yīng)的，如何界定雷達(dá)任務(wù)又成為一個(gè)新的問(wèn)題。如何從多層級(jí)的多功能雷達(dá)信號(hào)模型出發(fā)，更好地界定雷達(dá)狀態(tài)，也是一個(gè)值得研究的方向。

在雷達(dá)狀態(tài)識(shí)別算法方面，文獻(xiàn)[24]采用了有監(jiān)督和無(wú)監(jiān)督兩種機(jī)器學(xué)習(xí)方法來(lái)識(shí)別未知的雷達(dá)狀態(tài)，識(shí)別準(zhǔn)確率能分別達(dá)到90%和85%。仿真實(shí)驗(yàn)的數(shù)據(jù)采用的是某多功能雷達(dá)6種工作模式的參數(shù)，在實(shí)驗(yàn)過(guò)程中也發(fā)現(xiàn)了雷達(dá)狀態(tài)與雷達(dá)工作模式并非一一對(duì)應(yīng)的問(wèn)題，將雷達(dá)工作模式作為雷達(dá)狀態(tài)是不合理的。結(jié)合上述分析，界定雷達(dá)狀態(tài)存在兩種方法，一是從PDW和EDW中選取特征表征雷達(dá)狀態(tài)，二是基于多層級(jí)的多功能雷達(dá)信號(hào)模型定義雷達(dá)狀態(tài)。

2.3.2 設(shè)置收益函數(shù)

強(qiáng)化學(xué)習(xí)的目標(biāo)是學(xué)習(xí)一個(gè)最優(yōu)策略π*使得累計(jì)收益達(dá)到最大，因此，如何合理地設(shè)置收益函數(shù)引導(dǎo)智能體去學(xué)習(xí)到π*是強(qiáng)化學(xué)習(xí)中的一個(gè)重要問(wèn)題。文獻(xiàn)[21]中，雷達(dá)狀態(tài)轉(zhuǎn)換至目標(biāo)雷達(dá)狀態(tài)的收益為r=100，其他情況收益r=0。文獻(xiàn)[20,25-26]將雷達(dá)狀態(tài)分為不同的威脅等級(jí)，雷達(dá)狀態(tài)轉(zhuǎn)換至最低威脅等級(jí)的雷達(dá)狀態(tài)收益為r=100，除了轉(zhuǎn)換為最低威脅等級(jí)外的雷達(dá)狀態(tài)之間的轉(zhuǎn)換收益為r=0，雷達(dá)工作狀態(tài)之間無(wú)轉(zhuǎn)換收益為r=-1。文獻(xiàn)[20-21]同樣將雷達(dá)狀態(tài)分為不同的威脅等級(jí)，雷達(dá)狀態(tài)轉(zhuǎn)換至威脅等級(jí)最低的收益為r=100，除了轉(zhuǎn)換至最低威脅等級(jí)外的威脅等級(jí)降低為r=1，威脅等級(jí)不變或者升高為r=-1。以上文獻(xiàn)中，收益的設(shè)置主要是依據(jù)決策的目標(biāo)和一些收益函數(shù)設(shè)置的通用經(jīng)驗(yàn)，在接下來(lái)的第3章中，對(duì)不同的收益函數(shù)的設(shè)置方法進(jìn)行了對(duì)比，結(jié)果表明，收益函數(shù)的設(shè)置不僅會(huì)影響算法的收斂速度，還會(huì)影響決策的結(jié)果。

2.3.3 選擇強(qiáng)化學(xué)習(xí)算法

強(qiáng)化學(xué)習(xí)發(fā)展至今，已經(jīng)在機(jī)器人控制[27]、無(wú)人駕駛[28]和金融交易[29]等領(lǐng)域取得了廣泛的應(yīng)用。許多優(yōu)秀的強(qiáng)化學(xué)習(xí)算法被提出，如Q-Learning[30]，DQN[31](Deep Q-Learning)，DDQN[32](Double Deep Q-Learning)等，強(qiáng)化學(xué)習(xí)算法的數(shù)量眾多，不勝枚舉，本節(jié)主要討論已經(jīng)被用于干擾決策的強(qiáng)化學(xué)習(xí)算法。文獻(xiàn)[20-22,25-26]中采用Q-Learning作為干擾決策的算法。Q-Learning算法中，在狀態(tài)s下依據(jù)策略π選擇動(dòng)作a的累計(jì)收益期望被稱為動(dòng)作價(jià)值函數(shù)，記為Qπ(s,a)。Qπ(s,a)是策略π選擇動(dòng)作的依據(jù)，最佳策略π*滿足貝爾曼最優(yōu)方程

Qπ*(s,a)=∑p(s′,r|

s,a)[r(s,a)+
γmaxa′Qπ*+(s′,a′)]

(8)

式中：s′,a′表示下一時(shí)刻的狀態(tài)和動(dòng)作;動(dòng)態(tài)環(huán)境特性用p(s′,r|s,a)表示;收益被表示為關(guān)于狀態(tài)s和動(dòng)作a的函數(shù)，即r(s,a)。在Q-Learning算法中采用差分的方式對(duì)Q值進(jìn)行更新，不斷迭代直至Qπ(s,a)的值收斂就可以得到最佳策略，即

Q(s,a)←Q(s,a)+α[r(s,a)+
γmaxQ(s′,a′)-Q(s,a)]。

(9)

Q-Learning是一種簡(jiǎn)單的基于表格的強(qiáng)化學(xué)習(xí)算法，在雷達(dá)狀態(tài)數(shù)目比較少的情況下能夠通過(guò)學(xué)習(xí)尋找到最佳的干擾策略。

文獻(xiàn)[23]針對(duì)雷達(dá)狀態(tài)數(shù)量增加時(shí)決策效率降低的問(wèn)題，將DQN用于雷達(dá)干擾決策。DQN將Q-Learning與深度學(xué)習(xí)相結(jié)合[32]，在Q-Learning中采用表格的方式存儲(chǔ)Qπ(s,a)的值，而在DQN中通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)輸出Q值，節(jié)省了決策過(guò)程中查找Q表的時(shí)間，也節(jié)省了存儲(chǔ)Q值的空間。訓(xùn)練神經(jīng)網(wǎng)絡(luò)輸出Q值的原理如圖6所示，給神經(jīng)網(wǎng)絡(luò)輸入雷達(dá)狀態(tài)S，神經(jīng)網(wǎng)絡(luò)輸出該狀態(tài)下選擇每種干擾樣式Jt的Q值，然后干擾機(jī)根據(jù)Q值進(jìn)行決策。文獻(xiàn)[23]的實(shí)驗(yàn)表明，DQN能在雷達(dá)狀態(tài)數(shù)量增加時(shí)有效地降低決策時(shí)間，提升決策效率。但是由于使用到了深度學(xué)習(xí)，在DQN中將面臨更多的超參，調(diào)參的難度比Q-Learning更大。

圖6 基于DQN的雷達(dá)干擾決策Fig.6 Radar jamming decision-making based on DQN

目前在雷達(dá)干擾決策中用到的強(qiáng)化學(xué)習(xí)算法主要是Q-Learning和DQN，在現(xiàn)有的干擾決策模型中都能夠找到最佳的干擾策略，Q-Learning適用于雷達(dá)狀態(tài)數(shù)量較少的情況，而DQN適用于雷達(dá)狀態(tài)數(shù)量較多的情況。

3 基于強(qiáng)化學(xué)習(xí)的干擾決策方法性能分析

為了驗(yàn)證基于強(qiáng)化學(xué)習(xí)的干擾決策方法不依賴于先驗(yàn)數(shù)據(jù)的特性和具有自學(xué)習(xí)的能力，同時(shí)也為了比較不同的收益函數(shù)設(shè)置方式對(duì)強(qiáng)化學(xué)習(xí)算法的影響，設(shè)置以下仿真實(shí)驗(yàn)。

多功能雷達(dá)通常具有搜索、跟蹤、測(cè)距、非合作目標(biāo)識(shí)別等多種工作模式，在每種工作模式下，雷達(dá)根據(jù)目標(biāo)環(huán)境特性選擇不同的波形參數(shù)，因此同一種工作模式下通常包含多種不同雷達(dá)狀態(tài)。針對(duì)不同的雷達(dá)狀態(tài)，干擾機(jī)可以選擇不同的干擾樣式，包括射頻噪聲干擾、脈沖卷積干擾、間歇轉(zhuǎn)發(fā)干擾、距離波門拖引干擾等。現(xiàn)假設(shè)某多功能雷達(dá)具有9種狀態(tài)S1,S2,…,S9，威脅等級(jí)分別為1,1,2,2,2,3,3,4,5，S9是目標(biāo)雷達(dá)狀態(tài)，具有最低的威脅等級(jí)。同時(shí)，假設(shè)干擾機(jī)具有J1,J2,…,J55種干擾樣式，雷達(dá)的初始狀態(tài)為S1，強(qiáng)化學(xué)習(xí)智能體的目標(biāo)是學(xué)習(xí)一個(gè)策略選擇干擾樣式使得雷達(dá)狀態(tài)最快轉(zhuǎn)移至目標(biāo)雷達(dá)狀態(tài)，不同雷達(dá)狀態(tài)間的轉(zhuǎn)換關(guān)系如圖7所示，干擾機(jī)(智能體)在實(shí)施干擾前是無(wú)法得知雷達(dá)狀態(tài)間的轉(zhuǎn)換關(guān)系的。

圖7 雷達(dá)狀態(tài)轉(zhuǎn)換Fig.7 Diagram of radar state transition

采用Q-Learning作為本次仿真實(shí)驗(yàn)的算法，參數(shù)設(shè)置如下。學(xué)習(xí)率α=0.01，折扣率γ=0.9，采用ε貪心策略，ε隨迭代次數(shù)逐漸減小，ε最小為0.02，收益函數(shù)的設(shè)置同文獻(xiàn)[21]。實(shí)驗(yàn)結(jié)果如圖8所示，橫坐標(biāo)為回合數(shù)，多功能雷達(dá)的狀態(tài)轉(zhuǎn)移至目標(biāo)狀態(tài)稱為一個(gè)回合，縱坐標(biāo)為在一個(gè)回合中雷達(dá)狀態(tài)從初始狀態(tài)到目標(biāo)狀態(tài)所需的干擾次數(shù)。在對(duì)抗的開(kāi)始階段，干擾需要進(jìn)行大量的試探，才能使多功能雷達(dá)的狀態(tài)轉(zhuǎn)移到目標(biāo)雷達(dá)狀態(tài)；而隨著干擾機(jī)與多功能雷達(dá)之間交互的回合數(shù)不斷增加，干擾機(jī)學(xué)習(xí)到了越來(lái)越多有關(guān)干擾決策的知識(shí)，多功能雷達(dá)轉(zhuǎn)移到目標(biāo)雷達(dá)狀態(tài)所需的干擾次數(shù)在不斷減少，最后收斂至3附近。而從圖7中可以看出，干擾機(jī)的最佳干擾路徑為J1→J4→J2，與之對(duì)應(yīng)的雷達(dá)狀態(tài)轉(zhuǎn)移路徑為S1→S2→S5→S9，所需干擾次數(shù)剛好為3。這表明，干擾機(jī)在與多功能雷達(dá)不斷交互后最終學(xué)習(xí)到了最佳干擾策略，基于強(qiáng)化學(xué)習(xí)的干擾決策方法是一種具備“認(rèn)知”能力的方法。

圖8 強(qiáng)化學(xué)習(xí)的收斂過(guò)程Fig.8 Convergence process of reinforcement learning

為對(duì)比文獻(xiàn)[21](收益函數(shù)1)、文獻(xiàn)[20，25-26](收益函數(shù)2)和文獻(xiàn)[22-23](收益函數(shù)3)中不同的收益函數(shù)設(shè)置對(duì)干擾決策結(jié)果的影響，進(jìn)行100次獨(dú)立的蒙特卡羅實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果取平均值，可不為整數(shù)，如圖9所示。

從圖9中可以看出，收益函數(shù)1和收益函數(shù)2具有相似的性能，其收斂曲線基本重合，最終都收斂至3附近，這表明干擾機(jī)能夠?qū)W習(xí)到最佳的干擾策略。而收益函數(shù)3最終收斂至4附近，沒(méi)有學(xué)習(xí)到最佳的干擾策略，但其收斂速度快于收益函數(shù)1和收益函數(shù)2，收益函數(shù)3在回合數(shù)為100時(shí)已經(jīng)收斂，而收益函數(shù)1和收益函數(shù)2則需要125個(gè)回合才能收斂。仿真實(shí)驗(yàn)的結(jié)果表明,收益函數(shù)的設(shè)置會(huì)影響干擾決策算法的收斂速度和收斂結(jié)果，進(jìn)而影響干擾決策的實(shí)時(shí)性和有效性。

圖9 不同收益函數(shù)的對(duì)比Fig.9 Comparison of different revenue functions

4 總結(jié)與展望

新的雷達(dá)技術(shù)催生新的對(duì)抗手段，多功能雷達(dá)的出現(xiàn)催生新的對(duì)抗方法。多功能雷達(dá)不僅波形捷變，而且具備強(qiáng)大的自適應(yīng)能力，傳統(tǒng)的依靠統(tǒng)計(jì)和先驗(yàn)數(shù)據(jù)的干擾決策方法對(duì)此束手無(wú)策。強(qiáng)化學(xué)習(xí)可以不依賴于先驗(yàn)的數(shù)據(jù)，通過(guò)不斷地“試錯(cuò)”調(diào)整策略，進(jìn)而做出最優(yōu)的選擇，是一種具有自適應(yīng)和自學(xué)習(xí)能力的決策方法。基于強(qiáng)化學(xué)習(xí)的干擾決策方法或許就是實(shí)現(xiàn)真正的認(rèn)知電子戰(zhàn)的一個(gè)重要方法。但就目前而言，基于強(qiáng)化學(xué)習(xí)的干擾決策方法仍面臨一些挑戰(zhàn)，在未來(lái)還有很大的發(fā)展空間。

1) 如何界定雷達(dá)狀態(tài)，將雷達(dá)對(duì)抗中雷達(dá)的行為過(guò)程分解為離散的雷達(dá)狀態(tài)是使用強(qiáng)化學(xué)習(xí)方法進(jìn)行干擾決策的重要前提。目前相關(guān)的研究還比較少，可以在現(xiàn)有的PDW和EDW的基礎(chǔ)上選取特征表征雷達(dá)狀態(tài)，或者從多層級(jí)的多功能雷達(dá)輻射源模型出發(fā)，定義雷達(dá)狀態(tài)。

2) 收益函數(shù)的設(shè)置方法有待優(yōu)化。收益函數(shù)的設(shè)置會(huì)影響強(qiáng)化學(xué)習(xí)算法收斂的速度和最終的結(jié)果，現(xiàn)有的收益函數(shù)設(shè)置方法?；诮?jīng)驗(yàn)，缺乏系統(tǒng)性、理論性的研究。可以結(jié)合雷達(dá)干擾決策任務(wù)的特點(diǎn)優(yōu)化收益函數(shù)的設(shè)置。

3) 將性能更好的強(qiáng)化學(xué)習(xí)算法運(yùn)用于雷達(dá)的干擾決策。在當(dāng)前基于強(qiáng)化學(xué)習(xí)的雷達(dá)干擾決策研究中，主要是使用Q-Learning 和DQN兩種算法。而強(qiáng)化學(xué)習(xí)中有數(shù)量龐大的算法，可以探索其他強(qiáng)化學(xué)習(xí)算法在雷達(dá)干擾決策問(wèn)題中的適用性，在現(xiàn)有基礎(chǔ)上提升算法的收斂性能和決策性能。