基于強(qiáng)化學(xué)習(xí)的認(rèn)知雷達(dá)目標(biāo)跟蹤波形挑選方法

朱培坤 梁 菁 羅子涵 沈曉峰 (電子科技大學(xué)信息與通信工程學(xué)院 成都 611731)

1 引言

認(rèn)知雷達(dá)根據(jù)環(huán)境和目標(biāo)的變化情況調(diào)整其操作和處理策略，可實現(xiàn)比常規(guī)雷達(dá)更好的目標(biāo)檢測效果。這類雷達(dá)可以從自身經(jīng)驗中學(xué)習(xí)和進(jìn)化，是下一代目標(biāo)檢測的重要研究方向。隨著現(xiàn)代科學(xué)技術(shù)的不斷發(fā)展，機(jī)動性更高、雷達(dá)散射面更小的目標(biāo)越來越多，各種新的電磁干擾策略也應(yīng)運而生。此外，雷達(dá)所在的地理工作環(huán)境復(fù)雜多變，如何在有限的能量、時間和頻譜資源[1,2]內(nèi)根據(jù)目標(biāo)和環(huán)境的變化合理自適應(yīng)地設(shè)計發(fā)射波形、優(yōu)化資源分配[3]是現(xiàn)代雷達(dá)面臨的挑戰(zhàn)。Haykin[4]最先提出認(rèn)知雷達(dá)(Cognitive Radar,CR)的概念，與傳統(tǒng)的自適應(yīng)雷達(dá)相比，CR的發(fā)射機(jī)可以利用接收機(jī)反饋的環(huán)境信息、現(xiàn)有知識和合適的準(zhǔn)則自適應(yīng)地設(shè)計[5]和發(fā)射波形。因此，它可以最大限度地提取非均勻環(huán)境中感興趣目標(biāo)的信息，提高雷達(dá)在動態(tài)環(huán)境中的性能[6,7]。此后，各知名學(xué)者開始對認(rèn)知雷達(dá)進(jìn)行深入研究。Guerci[8]首先提出了認(rèn)知全自適應(yīng)雷達(dá)的理論框架，并結(jié)合知識輔助(Knowledge Aid,KA)和自適應(yīng)發(fā)射[9]對該框架進(jìn)行了改進(jìn)。他最近全面概述了采用KA全自適應(yīng)方法的認(rèn)知雷達(dá)領(lǐng)域的最新發(fā)展[10]。Bell等人[11]提出了適用于目標(biāo)探測和跟蹤場景的通用認(rèn)知雷達(dá)系統(tǒng)模型，Smith和Metron創(chuàng)新集團(tuán)聯(lián)合開發(fā)了認(rèn)知雷達(dá)實驗平臺[12]。這些工作在認(rèn)知雷達(dá)設(shè)計理論方面具有開創(chuàng)性和啟發(fā)性，而具體實用的認(rèn)知雷達(dá)系統(tǒng)仍在研發(fā)路上。

一般來說，認(rèn)知發(fā)射主要有兩個方式[13]來實現(xiàn)：最優(yōu)波形設(shè)計和最優(yōu)波形選擇。前者是基于雷達(dá)獲取的環(huán)境信息在線實時設(shè)計[14,15]，但求最優(yōu)解的過程往往比較復(fù)雜，計算復(fù)雜度難以滿足實時性要求。而最優(yōu)波形選擇[16,17]是預(yù)先設(shè)計一個波形庫，按照一定的準(zhǔn)則從中選擇一組最優(yōu)的波形或波形參數(shù)。如在文獻(xiàn)[18]中，為了最大限度地提高雷達(dá)在惡劣環(huán)境下的運行性能，Clemente使用分?jǐn)?shù)階傅里葉變換生成相位編碼庫波形，并分析它們的模糊度函數(shù)以量化所提出波形庫的有效性能。在頻譜擁擠的環(huán)境中，Zhao等人[19]提出了一種基于波形庫的方法來實現(xiàn)實時波形自適應(yīng)，結(jié)果表明，所提出的波形庫在小尺度上具有較高的量化精度，并且生成的波形具有令人滿意的頻譜兼容性。在文獻(xiàn)[20]中，Nguyen提出了一種自適應(yīng)波形選擇算法，通過最小化貝葉斯克拉美羅下界(Cramer-Rao Lower Bound,CRLB)獲得跟蹤成本函數(shù)，選擇最小化跟蹤均方誤差的波形進(jìn)行目標(biāo)跟蹤。針對機(jī)動目標(biāo)跟蹤問題，Roman等人[21]在自適應(yīng)雷達(dá)背景下，介紹了一種互信息準(zhǔn)則函數(shù)來選擇最優(yōu)波形參數(shù)，結(jié)果表明，該判據(jù)是自適應(yīng)SAR系統(tǒng)中波形選擇的有效手段。Cao等人[22]提出了一種基于間接強(qiáng)化學(xué)習(xí)的自適應(yīng)波形選擇算法，解決了目標(biāo)狀態(tài)空間的不確定性問題。結(jié)果表明自適應(yīng)波形選擇比傳統(tǒng)固定參數(shù)方法具有更好的計算效率和更小的狀態(tài)估計誤差，也提高了跟蹤精度。

現(xiàn)代目標(biāo)形狀各異、機(jī)動性強(qiáng)，雷達(dá)工作的電磁環(huán)境也越來越復(fù)雜。然而，傳統(tǒng)雷達(dá)發(fā)射波形只有單一的波形，無法有效應(yīng)對環(huán)境變化。此外，通過網(wǎng)格搜索最優(yōu)波形參數(shù)的計算成本較高，且無法保證最優(yōu)波形的實時性。鑒于此，我們采用IMM和自適應(yīng)波形選擇的思想作為基礎(chǔ)工作，提出了一種新穎的認(rèn)知雷達(dá)波形選擇框架，以改善高機(jī)動性目標(biāo)跟蹤，如圖1所示。該框架基于IMM場景結(jié)合恒定速度(Constant Velocity)，恒定加速度(Constant Acceleration)和協(xié)同轉(zhuǎn)彎(Coordinate Turn,CT)運動模型，將它們的濾波結(jié)果加權(quán)綜合得到近似預(yù)測誤差協(xié)方差?；谠摬ㄐ芜x擇框架，設(shè)計了準(zhǔn)則優(yōu)化(Criterion-Based Optimization,CBO)和熵獎勵Q學(xué)習(xí)(Entropy Reward Q-Learning,ERQL)方法分別從以高斯線性調(diào)頻信號為例的波形庫中挑選最優(yōu)發(fā)射波形參數(shù)，其中ERQL方法提出了一種基于行為獎懲的熵獎勵函數(shù)。發(fā)射器-目標(biāo)-接收器形成一個閉環(huán)，發(fā)射波形參數(shù)與目標(biāo)狀態(tài)變化實時迭代更新，以達(dá)到最佳目標(biāo)跟蹤性能。

圖1 認(rèn)知雷達(dá)波形選擇框架Fig.1 Cognitive radar waveform selection framework

2 系統(tǒng)模型

該部分描述了目標(biāo)運動模型的融合，并分析了波形對目標(biāo)跟蹤的影響。

2.1 目標(biāo)運動模型的融合

為簡單起見，本文研究了3種典型的機(jī)動目標(biāo)運動模型，包括CV,CA和CT運動模型[23,24]。

目標(biāo)模型是以下形式的離散時間動態(tài)運動模型：

其中，h(·)是量測函數(shù)，量測噪聲vk～N{vk;0,Rk}。各運動模型的狀態(tài)轉(zhuǎn)移矩陣Fk和高斯態(tài)噪聲wk將在附錄中展示。量測向量zk、量測函數(shù)h(·)和誤差協(xié)方差Rk將會各自展示在第4節(jié)和第2節(jié)。

對于加速度波動較大的目標(biāo)，單模型方法無法匹配目標(biāo)的實際運動狀態(tài)，跟蹤效果不理想。IMM作為一種多模型方法，可以同時使用多種不同形式的運動模型和噪聲來估計目標(biāo)狀態(tài)，然后自適應(yīng)地將各個模型的估計結(jié)果折衷，加權(quán)和作為最終的目標(biāo)跟蹤結(jié)果。目前，它已成功應(yīng)用于多個跟蹤系統(tǒng)[21]。本節(jié)采用CV,CA和CT模型作為IMM的模型集，算法流程如圖2所示。

圖2 以CV,CA和CT為模型的IMM流程圖Fig.2 IMM flow chart based on CV,CA and CT models

IMM目標(biāo)跟蹤算法假設(shè)模型集中的模型轉(zhuǎn)移為1階馬爾可夫過程，具體算法流程如下：

首先，根據(jù)轉(zhuǎn)移概率矩陣和模型的先驗概率計算每個模型的預(yù)測概率：

其次，經(jīng)過各運動模型的狀態(tài)輸入交互，即根據(jù)混合估計重新初始化目標(biāo)狀態(tài)和協(xié)方差矩陣，如下：

然后，每個濾波器分別根據(jù)接收到的測量值zk進(jìn)行卡爾曼濾波，更新各自對機(jī)動目標(biāo)狀態(tài)的估計。此步驟對應(yīng)于圖2中的CA,CV和CT模型濾波。

對于第i個模型，具體濾波過程如下：

(1) 根據(jù)k ?1時刻的狀態(tài)估計值和模型歸一化交互概率完成輸入交互，如式(5)和式(6)所示。

(2) 根據(jù)運動模型，單步預(yù)測目標(biāo)狀態(tài)和誤差協(xié)方差矩陣：

(3) 根據(jù)k時刻的量測值，更新目標(biāo)的狀態(tài)估計：

最后，融合濾波和交互輸出，假設(shè)新息服從正態(tài)分布，第i個模型的似然概率由式(14)給出：

結(jié)合式(3)的預(yù)測概率，更新模型i的有效概率：

因此，根據(jù)每個模型的概率，對目標(biāo)狀態(tài)估計和誤差協(xié)方差進(jìn)行加權(quán)融合，得到IMM濾波的最終估計結(jié)果：

2.2 波形對目標(biāo)跟蹤的影響

本文考慮以下的雷達(dá)窄帶脈沖發(fā)射信號[25]：

其中，Re(·)表示取實部操作，ET為發(fā)射信號的能量，fc為載頻，為單位能量復(fù)包絡(luò)信號，且滿足：

其中，T是脈沖重復(fù)周期，那么雷達(dá)接收的單個點目標(biāo)回波信號表示為

其中，ER表示接收信號的能量，φ為機(jī)動目標(biāo)反射導(dǎo)致的隨機(jī)相移，τ為目標(biāo)時延，v為機(jī)動目標(biāo)徑向運動導(dǎo)致的多普勒平移，為接收的高斯白噪聲。

在目標(biāo)跟蹤系統(tǒng)中，當(dāng)接收信號信噪比足夠大，信號模糊函數(shù)的旁瓣可忽略時，目標(biāo)時延-多普勒估計誤差可以達(dá)到CRLB，即CRLB量測噪聲協(xié)方差。該值與波形參數(shù)有關(guān)，從而建立了參數(shù)與跟蹤算法之間的聯(lián)系。

本文以高斯調(diào)頻信號[25]為例構(gòu)建波形參數(shù)庫，其復(fù)包絡(luò)的表達(dá)式為

最后可得到高斯調(diào)頻信號的量測噪聲協(xié)方差的CRLB為

其中，η是信噪比。從式(24)可以看出，測量噪聲協(xié)方差與脈沖持續(xù)時間λ和線性調(diào)頻頻率b有關(guān)。因此，可以按照一定準(zhǔn)則合理調(diào)整波形參數(shù)θk=[λ,b]T，有效提高跟蹤精度。

3 波形參數(shù)選擇準(zhǔn)則

本節(jié)給出了兩個波形選擇準(zhǔn)則：Max-MI和Min-MSE，如下所述。

3.1 最大互信息準(zhǔn)則

在雷達(dá)領(lǐng)域中，假設(shè)量測值z和目標(biāo)預(yù)測狀態(tài)x都是服從高斯分布的隨機(jī)變量，那么它們構(gòu)成的誤差協(xié)方差矩陣為[27]

量測與目標(biāo)預(yù)測狀態(tài)的互信息越大，雷達(dá)對目標(biāo)狀態(tài)估計性能就越好，x和z的互信息可表示為

由于目標(biāo)狀態(tài)的預(yù)測值與測量噪聲相互獨立，將Hk代入式(26)可得到zk和xk|k?1的互信息為

由于式(27)受到波形參數(shù)影響的僅有量測噪聲協(xié)方差矩陣Rk，且 log是單調(diào)遞增函數(shù)，所以基于最大互信息的波形參數(shù)選擇準(zhǔn)則等效為

其中，Θ為所有波形參數(shù)θ組成的集合。又因為目標(biāo)狀態(tài)的后驗協(xié)方差Pk|k的行列式可以表示為

其中，Pk|k?1與雷達(dá)發(fā)射波形參數(shù)θk無關(guān)，所以式(29)等價于：

式(27)和式(29)的詳細(xì)推導(dǎo)見附錄。因此，在最大互信息準(zhǔn)則下，可通過尋找使得后驗估計誤差協(xié)方差行列式最小的波形參數(shù)作為最優(yōu)參數(shù)。

3.2 最小均方差準(zhǔn)則

最小均方誤差準(zhǔn)則[28]是尋找使目標(biāo)狀態(tài)估計在每一時刻的均方根誤差最小化的波形參數(shù)。其表達(dá)式為

在貝葉斯框架下的濾波器，目標(biāo)狀態(tài)估計誤差協(xié)方差具有如下形式：

其中，εk|k(θk)=xk ?(θk)表示目標(biāo)真實狀態(tài)與估計狀態(tài)的差值，對式(31)兩邊取跡可得

其中，式(33)的詳細(xì)推導(dǎo)詳見附錄。

因此，在最小均方誤差準(zhǔn)則下的波形參數(shù)可以通過式(34)進(jìn)行選擇：

即通過尋找使得后驗估計誤差協(xié)方差的跡最小的波形參數(shù)作為最優(yōu)參數(shù)。

4 最優(yōu)波形參數(shù)選擇方法的設(shè)計

強(qiáng)化學(xué)習(xí)[29]和認(rèn)知雷達(dá)波形參數(shù)選擇具有相似的交互學(xué)習(xí)過程。因此，基于RL的雷達(dá)波形參數(shù)選擇是認(rèn)知雷達(dá)的研究熱點。然而，在目標(biāo)跟蹤場景中，很難獲得狀態(tài)轉(zhuǎn)移的先驗知識，因此我們使用無模型方法來解決這個問題，Q-Learning (QL)方法是無模型方法的典型代表。在QL中，狀態(tài)動作對(s,a)的Q值被定義為期望的累積折扣獎勵，Q值可以根據(jù)式(35)[30]更新獲得：

其中，s∈S表示agent狀態(tài)，a∈A表示agent行為，α為學(xué)習(xí)率，γ∈[0,1]是折扣因子，rk是及時獎勵，其具體形式稍后給出。

經(jīng)過足夠次數(shù)的迭代使Q表收斂，選擇最大Q值的行為作為最佳決策π?(s)：

在單一CV,CA或CT場景下，雷達(dá)接收機(jī)貝葉斯濾波器估計目標(biāo)狀態(tài)，將預(yù)測誤差協(xié)方差Pk+1|k+1反饋給雷達(dá)發(fā)射機(jī)，發(fā)射機(jī)根據(jù)指定的準(zhǔn)則函數(shù)選擇最優(yōu)波形參數(shù)。

但是這種單模型波形選擇策略在IMM算法中并不適用，主要原因有以下兩點：

(1) IMM模型集中單個模型的有效概率并不為1，而且會隨著濾波器的迭代而不斷更新，不能用單模型的預(yù)測誤差協(xié)方差替代目標(biāo)的預(yù)測誤差協(xié)方差。

(2) 在k時刻，k+1時刻目標(biāo)量測值zk+1無法預(yù)知，由式(17)可知，IMM算法的總體目標(biāo)狀態(tài)估計誤差協(xié)方差Pk+1|k+1無法獲取，進(jìn)而導(dǎo)致無法根據(jù)準(zhǔn)則函數(shù)實現(xiàn)波形參數(shù)的選擇。

其中，Γ表示使估計誤差協(xié)方差矩陣單位一致的加權(quán)矩陣。該方法考慮了IMM集中的所有目標(biāo)模型，將每個模型的預(yù)測誤差協(xié)方差與預(yù)測概率加權(quán)融合，得到IMM算法總體預(yù)測誤差協(xié)方差的近似，然后根據(jù)指定的判據(jù)函數(shù)完成波形參數(shù)的選取。

(1) 基于準(zhǔn)則優(yōu)化(CBO)方法

通過遍歷雷達(dá)波形庫的所有波形參數(shù)，根據(jù)CBO選取滿足準(zhǔn)則的波形參數(shù)作為最優(yōu)發(fā)射波形參數(shù)。例如，根據(jù)Min-MSE準(zhǔn)則，選取使跡最小的波形參數(shù)作為k+1時刻的最優(yōu)發(fā)射波形。

(2) 熵獎勵Q學(xué)習(xí)(ERQL)算法

在與目標(biāo)交互的過程中，借助Q學(xué)習(xí)試錯學(xué)習(xí)機(jī)制得到一個波形參數(shù)選擇決策器。實現(xiàn)步驟如下：

首先，根據(jù)k時刻的狀態(tài)估計誤差協(xié)方差Pk|k評估雷達(dá)的跟蹤性能。評價標(biāo)準(zhǔn)是熵態(tài)，即

其中，ESk表示k時刻的熵，通過比較k?1時刻的熵和k時刻的熵來獎勵k時刻發(fā)出的波形參數(shù)θk，設(shè)計的獎勵函數(shù)如下：

圖3 波形選擇框圖Fig.3 Waveform selection block diagram

表1 CBO/ERQL算法Tab.1 CBO/ERQL algorithm

其中，sign(·)是符號函數(shù)。當(dāng)熵在時間k小于時間k ?1時，波形導(dǎo)致估計不確定性減小，得到積極獎勵；否則，給予負(fù)懲罰。

然后，通過式(38)和式(39)計算實時獎勵rk，并根據(jù)式(35)更新Q表。

最后，選擇最大Q值的行為作為最佳決策，得到k+1時刻的最優(yōu)波形選擇策略

5 仿真結(jié)果

本節(jié)以一個IMM目標(biāo)跟蹤仿真實例為例，驗證所提方法的有效性。假設(shè)認(rèn)知雷達(dá)位于坐標(biāo)原點，機(jī)動目標(biāo)初始位置位于(3000,3000) m，初始速度大小為(0.1,0.1) m/s，其運動軌跡分為3個階段，如圖4所示。機(jī)動目標(biāo)運動總時長為 50 s，采樣間隔?t=0.1s。在0～20 s，目標(biāo)做 10 m/s2的勻加速運動；在21～40 s，目標(biāo)做轉(zhuǎn)彎率為?0.35 rad/s的恒轉(zhuǎn)彎率運動；在41～50 s，目標(biāo)做勻速運動。雷達(dá)載頻fc=10.4GHz，噪聲系數(shù)σCV=σCA=σCT=0.01。

圖4 機(jī)動目標(biāo)運動軌跡Fig.4 Trajectory of maneuvering target

分別表示徑向距離、徑向速度和徑向角度的量測值。其中，[xr,yr]代表雷達(dá)的位置。

其中，信噪比η被定義為

其中，RTx=RRx，R0是雷達(dá)接收目標(biāo)回波信噪比為0 dB時的距離，此時RTx=R0，仿真實驗設(shè)置R0為7000 m。

本文采用高斯調(diào)頻脈沖構(gòu)建的波形參數(shù)庫如下：

其中，波形參數(shù)取值的步長設(shè)置為：?λ=10?8s,?b=2×1011Hz/s。

IMM算法中各模型間的概率轉(zhuǎn)移矩陣設(shè)置為

本實驗在設(shè)定的情境下進(jìn)行了100次蒙特卡羅仿真，為了分析不同準(zhǔn)則函數(shù)基于IMM波形參數(shù)選擇算法的性能，制定了以下3個性能指標(biāo)：

(1) 目標(biāo)狀態(tài)估計均方根誤差(Root Means Square Error,RMSE)，以目標(biāo)位置為例：

(2) 目標(biāo)狀態(tài)估計均方根誤差的均值(Average Value of Root Means Square Error,ARMSE)，以目標(biāo)位置為例：

(3) 熵態(tài)(Entropic State,ES)，熵定義為目標(biāo)狀態(tài)估計誤差協(xié)方差的香農(nóng)熵，可以用來衡量目標(biāo)整體狀態(tài)估計的不確定性，其表達(dá)式為

由于 log函數(shù)為單調(diào)函數(shù)，所以熵態(tài)可簡化為

其中，n表示第n次蒙特卡羅仿真，N為蒙特卡羅仿真的次數(shù)，M為目標(biāo)跟蹤過程中的采樣點數(shù)。

仿真實驗對所提出的ERQL方法和CBO方法進(jìn)行了仿真，并采用固定波形參數(shù)(Fixed-P)方法作為跟蹤性能比較，固定波形的參數(shù)是從波形庫中選擇的一組最佳跟蹤性能參數(shù)。

在目標(biāo)跟蹤過程中，CA,CT和CV的有效概率變化曲線分別如圖5(a)、圖5(b)和圖5(c)所示。如3幅圖中紅色虛線框所示，分別對應(yīng)圖4中運動軌跡的3個階段。所提出的方法可以在目標(biāo)的3個運動階段中以最大概率選擇對應(yīng)的運動模型，圖中，曲線ERQL-10和ERQL-40分別表示使用ERQL方法單步預(yù)測10次和40次。所提出方法與Fixed-P方法相比，可以提高模型與目標(biāo)軌跡匹配的有效概率。其中，Min-MSE方法表現(xiàn)最好，在每個階段都能以最高的概率匹配到正確的目標(biāo)運動模型，這也是Min-MSE方法在目標(biāo)跟蹤中誤差最小的原因之一。

圖5 各運動模型在不同運動階段被選擇的概率Fig.5 Probability of each motion model being selected in different motion stages

限于篇幅，位置和速度的RMSE以X軸為例。圖6給出了波形參數(shù)選擇策略對目標(biāo)位置跟蹤的RMSE變化曲線?？梢钥闯?，與Fixed-P方法相比，所提出的Min-MSE,Max-MI和ERQL波形參數(shù)選擇方法可以有效提高雷達(dá)目標(biāo)位置的跟蹤精度；Min-MSE和Max-MI方法在目標(biāo)跟蹤中的RMSE幾乎相同。同時，還可以看到ERQL方法單步預(yù)測的次數(shù)越多，跟蹤性能越好，但隨著目標(biāo)距離的增加，CBO的跟蹤性能優(yōu)于ERQL方法。

圖6 目標(biāo)位置跟蹤RMSE曲線(X軸)Fig.6 Target position tracking RMSE curve (X axis)

5種波形參數(shù)選擇策略下目標(biāo)速度的RMSE曲線如圖7所示。從圖中可以看出，基于CBO和ERQL方法的波形參數(shù)動態(tài)調(diào)整可以有效提高雷達(dá)目標(biāo)速度估計精度。在21～40 s期間，機(jī)動目標(biāo)處于CT運動階段，速度變化較大，導(dǎo)致雷達(dá)目標(biāo)速度估計出現(xiàn)較大波動。而本文提出的方法對波形參數(shù)進(jìn)行動態(tài)調(diào)整，可以有效減小這種波動，提高系統(tǒng)跟蹤的穩(wěn)定性。當(dāng)目標(biāo)離雷達(dá)較近時，CBO和ERQL方法在目標(biāo)速度估計上的誤差相似，但隨著目標(biāo)的遠(yuǎn)離，CBO的跟蹤精度優(yōu)于ERQL方法。

圖7 目標(biāo)速度跟蹤RMSE曲線(X軸)Fig.7 Target velocity tracking RMSE curve (X axis)

表2顯示了各波形參數(shù)選擇方法的位置和速度ARMSE比較。其中，和分別表示X軸和Y軸的位置跟蹤ARMSE，和分別表示X軸和Y軸的速度跟蹤ARMSE?？梢钥闯觯珻BO和ERQL方法與Fixed-P方法相比，目標(biāo)跟蹤性能有了顯著提高。其中，Min-MSE的性能最好，Min-MSE與Fixed-P相比，X軸和Y軸位置跟蹤誤差分別降低了23.38%和24.04%，X軸和Y軸速度跟蹤誤差分別降低了47.92%和52.93%。ERQL-40與Fixed-P相比，X軸和Y軸位置跟蹤誤差分別降低了21.05%和22.08%，X軸和Y軸速度跟蹤誤差分別降低了40.63%和43.41%。表2也清楚地表明，CBO的跟蹤性能優(yōu)于ERQL方法，ERQL-40的跟蹤性能優(yōu)于ERQL-10。

表2 不同方法的ARMSE對比結(jié)果Tab.2 ARMSE comparison results of different methods

圖8和圖9是目標(biāo)跟蹤波形參數(shù)變化曲線結(jié)果。從圖8可以看出，CBO更愿意選擇較大的脈沖持續(xù)時間，在運動軌跡變換時，選擇較小的脈沖持續(xù)時間以提高雷達(dá)對目標(biāo)位置的估計精度。但是ERQL方法的脈沖持續(xù)時間在整個目標(biāo)跟蹤期間變化不大，只是在CT運動階段脈沖持續(xù)時間有較大的波動來應(yīng)對目標(biāo)的變化。對于調(diào)頻斜率的變化，從圖9可以看出，在整個運動過程中，Max-MI總是選擇較大的調(diào)頻斜率，而ERQL方法選擇較小的調(diào)頻斜率，兩種方法在整個目標(biāo)運動過程中調(diào)頻斜率變化不大。而Min-MSE方法在目標(biāo)改變運動軌跡時，線性調(diào)頻率有較大變化，其也是Min-MSE的跟蹤性能最好的原因。

圖8 目標(biāo)跟蹤脈沖持續(xù)時間變化曲線Fig.8 Target tracking pulse duration variation curve

圖9 目標(biāo)跟蹤調(diào)頻斜率變化曲線Fig.9 Target tracking frequency modulation slope variation curve

熵態(tài)變化曲線如圖10所示，從整體熵態(tài)變化的角度，比較了各種方法下的雷達(dá)目標(biāo)的跟蹤性能?？梢钥吹皆谧赃m應(yīng)調(diào)整波形參數(shù)后，CBO和ERQL方法與Fixed-P方法相比顯著降低了熵態(tài)大小。不同波形挑選方法的熵態(tài)變化規(guī)律類似于圖6，即在目標(biāo)距離雷達(dá)較近時，CBO和ERQL-40方法的熵態(tài)沒有明顯區(qū)別，但隨著目標(biāo)的遠(yuǎn)離，CBO方法的跟蹤性能更好。

圖10 目標(biāo)跟蹤熵態(tài)變化曲線Fig.10 Target tracking entropy state variation curve

由上面分析可知，CBO方法的目標(biāo)跟蹤精度最高，ERQL方法次之。但CBO方法是通過網(wǎng)格搜索實現(xiàn)的。它會遍歷波形庫中的所有參數(shù)來尋找最優(yōu)的波形參數(shù)，所以這種方法非常耗時。圖11顯示了各種波形參數(shù)選擇算法的平均耗時結(jié)果?？梢钥吹?，在相同的跟蹤條件下，CBO方法所需的CPU時間約為ERQL-10方法的22倍，ERQL-40方法的7倍，F(xiàn)ixed-P方法的84倍。

圖11 各波形參數(shù)選擇算法的平均耗時結(jié)果Fig.11 The average time-consuming results of each waveform parameter selection algorithm

為進(jìn)一步驗證ERQL方法的性能，又分別進(jìn)行了單步預(yù)測多次的ERQL實驗，實驗對比結(jié)果如表3所示。以X軸位置跟蹤為例，雖然Min-MSE方法相比Fixed-P方法的跟蹤精度更高，但是Min-MSE方法的CPU時間是Fixed-P方法的84倍，而ERQL-40方法僅為Fixed-P方法的11.8倍。為了獲得較高的跟蹤精度，CBO遍歷參數(shù)庫的時間成本是非常巨大的。然而，ERQL方法通過單步預(yù)測與更新，不僅保證了目標(biāo)跟蹤性能，而且顯著減少了波形參數(shù)選擇過程的計算時間。表3還列出了各種預(yù)測次數(shù)的ERQL方法對目標(biāo)跟蹤性能的改進(jìn)?？梢钥闯?，當(dāng)需要更高的跟蹤性能并考慮時間成本時，ERQL-40是最佳選擇。

表3 CBO和ERQL方法相比于Fixed-P方法的跟蹤性能改善與CPU時間比較(%)Tab.3 CBO and ERQL methods compared with Fixed-P methods for improved tracking performance and CPU time (%)

6 結(jié)語

為了提高機(jī)動目標(biāo)的跟蹤精度，本文提出了一種認(rèn)知雷達(dá)波形選擇框架。并基于該框架設(shè)計了基于準(zhǔn)則優(yōu)化(CBO)或熵獎勵Q學(xué)習(xí)(ERQL)方法以迭代智能地挑選波形參數(shù)，將雷達(dá)發(fā)射機(jī)-目標(biāo)-雷達(dá)接收機(jī)集合成一個閉環(huán)結(jié)構(gòu)。結(jié)果表明，CBO方法雖然具有較高的跟蹤精度，但其計算時間約為固定參數(shù)(Fixed-P)方法的84倍。當(dāng)對跟蹤性能和時間成本有更高要求時，單步預(yù)測40次的ERQL方法是最好的選擇。與Fixed-P方法相比，ERQL-40比CBO節(jié)省約71.8倍的時間，對目標(biāo)位置和速度的跟蹤精度分別提高了21.05%和40.63%。未來的工作將改進(jìn)強(qiáng)化學(xué)習(xí)和卡爾曼濾波器，以進(jìn)一步提高跟蹤性能。

附錄

CV,CA,CT的狀態(tài)轉(zhuǎn)移矩陣Fk分別為

其中，T為測量數(shù)據(jù)的采樣周期。

CV,CA,CT的高斯態(tài)噪聲wk的協(xié)方差Qk分 別為

式(27)的詳細(xì)推導(dǎo)為

式(29)的詳細(xì)推導(dǎo)為

式(33)的詳細(xì)推導(dǎo)為