基于LSTM 子網(wǎng)絡(luò)聚合的雷達(dá)TWS 跟蹤*

唐知行 劉華軍

（南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210094）

1 引言

多目標(biāo)跟蹤在雷達(dá)目標(biāo)探測和追蹤領(lǐng)域是至關(guān)重要的問題。隨著近年來電子通信和計(jì)算機(jī)技術(shù)的飛速發(fā)展，使得雷達(dá)多目標(biāo)跟蹤的應(yīng)用［1］更加廣泛。在民用領(lǐng)域，航空管制雷達(dá)可以標(biāo)識機(jī)場、航線上的飛機(jī)的高度、速度等運(yùn)動(dòng)屬性；交通管制雷達(dá)能對路面車流量進(jìn)行監(jiān)控，來實(shí)現(xiàn)智能交通管理。在軍事領(lǐng)域，火控雷達(dá)可以通過探測目標(biāo)在空中的位置來對目標(biāo)進(jìn)行精確打擊；指導(dǎo)雷達(dá)可以在探測的同時(shí)控制導(dǎo)彈對多個(gè)目標(biāo)進(jìn)行攻擊。

傳統(tǒng)的雷達(dá)多目標(biāo)跟蹤一般采用邊掃描邊跟蹤（Track-While-Scan，TWS）模型，核心技術(shù)是跟蹤濾波和數(shù)據(jù)關(guān)聯(lián)［2］。它通過掃描得到當(dāng)前幀含噪聲的量測，然后估計(jì)多個(gè)目標(biāo)的數(shù)量以及運(yùn)動(dòng)特征（如位置、速度、加速度等），來完成跟蹤任務(wù)［3］。在跟蹤濾波方面，20 世紀(jì)60 年代提出的卡爾曼濾波算法［4］能夠很好地適應(yīng)線性狀態(tài)空間系統(tǒng)。之后擴(kuò)展卡爾曼濾波算法（Extended Kalman Filtering，EKF）［5］的應(yīng)用在非線性系統(tǒng)上獲得突破。Juiler 等使用無跡卡爾曼濾波（Unscented Kalman Filering，UKF）［6］來解決濾波發(fā)散的問題。隨后粒子濾波等改進(jìn)算法［7］也被相繼提出。在數(shù)據(jù)關(guān)聯(lián)方面，最近鄰（Nearest Neighbor Data Association，NNDA）算法［8］通常適用于濾波對象較為稀散、雜波干擾少的環(huán)境。Bar-Shalom 等提出聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法（Joint Probability Data Association，JPDA）［9］，適用于中高密度雜波的多目標(biāo)場景，但只適用計(jì)算量小的場景。多假設(shè)跟蹤算法（Multiple Hypothesis Tracking，MHT）［10］使用多個(gè)測量周期的數(shù)據(jù)進(jìn)行持續(xù)跟蹤，但其過于依賴先驗(yàn)的知識，不適合實(shí)時(shí)性要求較高的跟蹤場景。在航跡管理方面，傳統(tǒng)方法使用順序航跡起始和批處理航跡起始方法。

在實(shí)際的應(yīng)用場景中，基于傳統(tǒng)方法的雷達(dá)多目標(biāo)跟蹤面臨諸多挑戰(zhàn)。為躲避敵方追蹤系統(tǒng)，目標(biāo)會廣泛采用基于電子波和紅外的隱身設(shè)計(jì)，其出現(xiàn)、消失引起的目標(biāo)數(shù)目變化都會使得多目標(biāo)跟蹤系統(tǒng)難以檢測或持續(xù)。同時(shí)由于敵方釋放假目標(biāo)進(jìn)行干擾，真實(shí)目標(biāo)往往淹沒在大量虛假量測中，使其難以被準(zhǔn)確跟蹤。在這種目標(biāo)機(jī)動(dòng)性強(qiáng)、檢測概率和觀測精度較低，且雜波密度高的環(huán)境下，目標(biāo)較精確的數(shù)學(xué)或物理模型難以建立，傳統(tǒng)的雷達(dá)多目標(biāo)跟蹤算法的濾波和數(shù)據(jù)關(guān)聯(lián)的性能往往大幅下降［11］。

隨著深度學(xué)習(xí)的發(fā)展，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的視覺跟蹤方法被廣泛研究，并且被廣泛地應(yīng)用于視頻監(jiān)控、自動(dòng)駕駛等領(lǐng)域。LTSM（Long Short-Term Memory）是在RNN（Recurrent Neural Network）的基礎(chǔ)上演變而來，具有由重復(fù)模塊組成的鏈?zhǔn)浇Y(jié)構(gòu)，一般適用于時(shí)間序列回歸或分類等問題。文獻(xiàn)［12］提出的基于LSTM 方法，可以預(yù)測交通系統(tǒng)中目標(biāo)的行為和運(yùn)動(dòng)軌跡。Milan等提出的基于RNN的在線端到端的多目標(biāo)跟蹤框架［13］，能夠執(zhí)行包括目標(biāo)跟蹤、數(shù)據(jù)關(guān)聯(lián)和跟蹤管理等多目標(biāo)跟蹤任務(wù)。Xu 等提出基于Bi-RNN 的DHN 網(wǎng)絡(luò)［14］，改進(jìn)傳統(tǒng)的匈牙利算法來得到目標(biāo)分配矩陣，從而解決數(shù)據(jù)關(guān)聯(lián)問題。但上述方法針對基于視覺的多目標(biāo)跟蹤，在雷達(dá)多目標(biāo)跟蹤中基于神經(jīng)網(wǎng)絡(luò)的方法的研究較少。

本文的主要貢獻(xiàn)在于提出了一種免模型、純數(shù)據(jù)驅(qū)動(dòng)、端到端學(xué)習(xí)的雷達(dá)多目標(biāo)跟蹤框架和基于LSTM 子網(wǎng)絡(luò)聚合的雷達(dá)TWS 跟蹤方法，并構(gòu)造數(shù)據(jù)集分別對三個(gè)子網(wǎng)絡(luò)進(jìn)行離線訓(xùn)練，然后加載預(yù)訓(xùn)練的checkpoint 后聚合成一個(gè)雷達(dá)TWS 跟蹤網(wǎng)絡(luò)。該網(wǎng)絡(luò)能夠?qū)崟r(shí)有效地完成高雜波背景下的雷達(dá)多目標(biāo)跟蹤任務(wù)。同時(shí)目前深度學(xué)習(xí)在非視覺的多目標(biāo)跟蹤場景下研究還比較少，本文所提出方法在實(shí)驗(yàn)中結(jié)果良好，具有廣闊的研究前景。

2 基于LSTM 子網(wǎng)絡(luò)聚合的雷達(dá)TWS跟蹤方法

本文提出的基于LSTM 子網(wǎng)絡(luò)聚合的雷達(dá)TWS跟蹤方法分為數(shù)據(jù)關(guān)聯(lián)、軌跡預(yù)測和航跡管理三個(gè)網(wǎng)絡(luò)模塊。每個(gè)模塊都可以單獨(dú)訓(xùn)練和調(diào)試，易于替換和修改。數(shù)據(jù)關(guān)聯(lián)網(wǎng)絡(luò)能夠?qū)⒑肼暤牧繙y，在多目標(biāo)、雜波和漏檢情況下正確輸出與已跟蹤目標(biāo)的關(guān)聯(lián)概率矩陣。軌跡預(yù)測模塊網(wǎng)絡(luò)能夠在不需要目標(biāo)先驗(yàn)運(yùn)動(dòng)學(xué)模型和雜波分布的情況下，預(yù)測和更新機(jī)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡。航跡管理網(wǎng)絡(luò)對目標(biāo)的存在概率進(jìn)行實(shí)時(shí)計(jì)算，并通過航跡管理決策能夠在目標(biāo)數(shù)目不確定，且目標(biāo)隨著時(shí)間消失或出現(xiàn)的場景下，對跟蹤過程中的目標(biāo)進(jìn)行航跡起始、維持和終結(jié)管理。該方法能夠在線地對時(shí)變目標(biāo)進(jìn)行跟蹤。其跟蹤框架示意圖如圖1 所示，輸入帶雜波的量測，輸出目標(biāo)的跟蹤軌跡。

圖1 雷達(dá)多目標(biāo)跟蹤框架示意圖

設(shè)定在時(shí)刻t 的觀測狀態(tài)為Zmt，mt代表觀測結(jié)果的個(gè)數(shù)；該時(shí)刻觀測目標(biāo)的實(shí)際狀態(tài)為Xnt，nt為觀測目標(biāo)的數(shù)量；βt+1為在該時(shí)刻目標(biāo)與觀測結(jié)果的關(guān)聯(lián)概率矩陣?；诒痉椒ǖ臄?shù)據(jù)關(guān)聯(lián)的計(jì)算表示為LSTM_DA(·)，基于本方法的軌跡預(yù)測的計(jì)算表示LSTM_Pre (·) ，航跡管理模塊中基于LSTM 的目標(biāo)存在概率的計(jì)算表示為LSTM_EX(·)。本方法的跟蹤實(shí)現(xiàn)步驟如下。

初始狀態(tài)：在開始跟蹤的第一幀，即t=1 的時(shí)刻，將量測Zmt都當(dāng)做可能的目標(biāo)，即nt=mt。為每個(gè)觀測目標(biāo)建立對應(yīng)的數(shù)據(jù)關(guān)聯(lián)模型、軌跡預(yù)測模型和航跡管理模型，將這nt個(gè)目標(biāo)的存在概率εt初始化為0.5。

步驟1：數(shù)據(jù)關(guān)聯(lián)，使用數(shù)據(jù)關(guān)聯(lián)模塊對t時(shí)刻的目標(biāo)Xnt與t+1 時(shí)刻的量測Zmt+1的關(guān)聯(lián)概率βt+1進(jìn)行計(jì)算。

步驟2：由βt+1與mt個(gè)觀測結(jié)果代入公式運(yùn)算得到，并輸入到下一幀的目標(biāo)軌跡預(yù)測模型。

步驟3：通過預(yù)測公式的計(jì)算估計(jì)所有潛在目標(biāo)對象在下一時(shí)刻的運(yùn)動(dòng)狀態(tài)。

步驟4：從βt+1中得到每個(gè)目標(biāo)的關(guān)聯(lián)概率和t時(shí)刻的存在概率εt，計(jì)算t+1 時(shí)刻各目標(biāo)的存在概率。

步驟5：由t+1 時(shí)刻的目標(biāo)存在概率εt+1和航跡管理模塊中的航跡決策變量，來判斷目標(biāo)是航跡起始、維持還是終結(jié)。

步驟6：根據(jù)t+1 時(shí)刻的航跡決策來更新當(dāng)前跟蹤對象的數(shù)量。

步驟7：重復(fù)上述步驟，直到觀測中不再出現(xiàn)新的觀測結(jié)果。

3 基于LSTM的子網(wǎng)絡(luò)模塊

本文的雷達(dá)TWS 跟蹤方法的子網(wǎng)絡(luò)以LSTM為基本網(wǎng)絡(luò)結(jié)構(gòu)。LSTM網(wǎng)絡(luò)是由循環(huán)神經(jīng)網(wǎng)絡(luò)演化而來，被廣泛運(yùn)用于序列數(shù)據(jù)建模。它采用以記憶單元來更新和丟棄神經(jīng)元的信息，解決了RNN網(wǎng)絡(luò)中存在的梯度爆炸問題，能夠有效地保存和傳遞序列數(shù)據(jù)中的歷史信息。LSTM的結(jié)構(gòu)圖［15］如圖2所示。

圖2 LSTM結(jié)構(gòu)示意圖

其中xt為t 時(shí)刻的輸入向量，ft為遺忘門，it為輸入門，ot為輸出門，Ct為細(xì)胞狀態(tài)，?t為t 時(shí)刻的輸出狀態(tài)。具體計(jì)算過程如下：

其中σ代表Sigmoid 激活函數(shù)，W和b代表各門限對應(yīng)連接層中的參數(shù)和偏置值。

3.1 基于LSTM的數(shù)據(jù)關(guān)聯(lián)網(wǎng)絡(luò)

在雷達(dá)的TWS 目標(biāo)追蹤過程中，數(shù)據(jù)關(guān)聯(lián)需要將帶雜波的量測和目標(biāo)進(jìn)行對應(yīng)，屬于組合分配優(yōu)化的問題。當(dāng)前目標(biāo)的分配會受到序列中其他目標(biāo)分配結(jié)果的影響。因此，LSTM 網(wǎng)絡(luò)的信息記憶能力［16］能夠很好地解決這個(gè)問題。該網(wǎng)絡(luò)能夠根據(jù)前一時(shí)刻的已存在的目標(biāo)狀態(tài)序列和當(dāng)前時(shí)刻的量測信息來輸出當(dāng)前時(shí)刻各個(gè)目標(biāo)與量測的關(guān)聯(lián)概率矩陣β∈[0,1]N×(M+1)，其中N和M分別為目標(biāo)和量測的個(gè)數(shù)。如βi·j表示觀測結(jié)果和實(shí)際目標(biāo)關(guān)聯(lián)的概率。βi·(M+1)這一列是第i 個(gè)目標(biāo)此時(shí)沒有觀測到結(jié)果的概率。同時(shí)根據(jù)關(guān)聯(lián)概率矩陣能夠得出來源自雜波或者虛警的量測。

圖3 是N=3，M=4 的場景下的數(shù)據(jù)關(guān)聯(lián)概率矩陣示意圖，miss 代表漏檢。βa=[0.1,0.1,0.8,0,0,0]表示第3 個(gè)量測來源于目標(biāo)a，βb=[0.5,0.4,0,0.1,0,0]表示目標(biāo)b可能由于檢測分辨問題而對應(yīng)第1 和2 個(gè)量測。βc=[0,0.1,0.1,0,0,0.8]表示由于信噪比或者遮擋的原因，在此時(shí)刻c目標(biāo)沒有對應(yīng)量測（即漏檢）。βd=[0,0,0.7,0.1,0.2,0]和βa表示由于分辨率問題，第3個(gè)量測可能同時(shí)來源于a和d兩個(gè)目標(biāo)。圖中第5 個(gè)量測沒有對應(yīng)的目標(biāo)，表示該量測來源于雜波，視為虛警。相比于傳統(tǒng)方法解決組合分配優(yōu)化問題需要滿足量測與目標(biāo)一一對應(yīng)的約束，本節(jié)提出的關(guān)聯(lián)概率矩陣能夠適用于目標(biāo)和量測對應(yīng)關(guān)系更為復(fù)雜的場景。

圖3 數(shù)據(jù)關(guān)聯(lián)概率矩陣示意圖

本網(wǎng)絡(luò)以LSTM 為基本網(wǎng)絡(luò)結(jié)構(gòu)。在每次掃描間隔把量測和目標(biāo)狀態(tài)生成一個(gè)成對距離矩陣，經(jīng)過預(yù)處理之后作為LSTM 單元的輸入，定義為Si，其計(jì)算公式如下：

本網(wǎng)絡(luò)模型將均方差（Mean Square Error，MSE）函數(shù)作為損失函數(shù)來進(jìn)行參數(shù)更新，具體定義如下：

其中βi表示第i 個(gè)目標(biāo)與所有量測的真實(shí)的關(guān)聯(lián)概率。

3.2 基于LSTM的軌跡預(yù)測網(wǎng)絡(luò)

軌跡預(yù)測是指對觀測到的量測進(jìn)行濾波來獲得目標(biāo)的運(yùn)動(dòng)狀態(tài)。當(dāng)前時(shí)刻目標(biāo)的運(yùn)動(dòng)狀態(tài)參數(shù)會受到歷史時(shí)刻的目標(biāo)狀態(tài)的影響。因此LSTM 可以很好地利用其信息記憶的特性解決濾波問題。本節(jié)提出了一種無需先驗(yàn)運(yùn)動(dòng)模型的自適應(yīng)雷達(dá)軌跡預(yù)測網(wǎng)絡(luò)，目的是輸入一段目標(biāo)的觀測軌跡信息，輸出對應(yīng)的真實(shí)軌跡。

本網(wǎng)絡(luò)的LSTM 單元結(jié)構(gòu)如圖2所示：把t時(shí)刻的目標(biāo)狀態(tài)xt和t+1 時(shí)刻的量測狀態(tài)zt+1通過全連接層進(jìn)行拼接作為單元的輸入xi。其計(jì)算過程如下所示：

其中W和b代表全連接層中的參數(shù)和偏置值。LSTM 單元輸出?t+1在通過全連接層計(jì)算出t+1 時(shí)刻目標(biāo)的狀態(tài)預(yù)測值xt+1。

本網(wǎng)絡(luò)模型采用均方差函數(shù)作為損失函數(shù)來進(jìn)行參數(shù)更新，具體定義如下：

其中，xt表示t 時(shí)刻目標(biāo)的真實(shí)狀態(tài)，D代表目標(biāo)狀態(tài)的維度數(shù)。

3.3 基于LSTM的航跡管理網(wǎng)絡(luò)

航跡起始的主要任務(wù)是對目標(biāo)是否新生的判斷和相關(guān)航跡的建立；航跡維持是對已有目標(biāo)的持續(xù)關(guān)聯(lián)與跟蹤；而當(dāng)這些目標(biāo)長時(shí)間沒有新的觀測結(jié)果時(shí)，就意味著航跡被終結(jié)。本節(jié)定義了變量ε∈(0,1)n，表示在某一時(shí)刻對已有的n個(gè)目標(biāo)的存在概率進(jìn)行模擬。同時(shí)基于3.1節(jié)中數(shù)據(jù)關(guān)聯(lián)概率矩陣考慮了漏檢的概率這一特點(diǎn)，本節(jié)提出了基于LSTM 和目標(biāo)與量測的關(guān)聯(lián)概率的航跡管理網(wǎng)絡(luò)，目的是輸入一個(gè)時(shí)間窗口的目標(biāo)存在概率和關(guān)聯(lián)概率信息來預(yù)測當(dāng)前時(shí)刻的目標(biāo)存在概率。

本網(wǎng)絡(luò)的LSTM 單元結(jié)構(gòu)如圖2所示，把t時(shí)刻的目標(biāo)存在概率εt和t+1 時(shí)刻的關(guān)聯(lián)概率βt+1進(jìn)行拼接作為單元的輸入Ei。其計(jì)算公式如下所示：

其中W和b代表全連接層中的參數(shù)和偏置。LSTM 單元輸出?t+1再通過全連接層計(jì)算出εt+1作為t+1時(shí)刻目標(biāo)的存在概率預(yù)測結(jié)果。

該網(wǎng)絡(luò)的參數(shù)通過均方差算法作為損失函數(shù)進(jìn)行更新：

其中存在概率的初始值ε0設(shè)定為0.5。當(dāng)某時(shí)刻的存在概率ε大于閾值上限εup時(shí)，判斷該目標(biāo)為航跡起始。當(dāng)ε小于閾值下限εlo時(shí)，判斷目標(biāo)為航跡終結(jié)。其余情況下目標(biāo)的航跡狀態(tài)與之前時(shí)刻保持不變。

4 仿真與實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文所提出的雷達(dá)TWS 跟蹤方法的可行性和性能，使用仿真數(shù)據(jù)來對密集雜波環(huán)境下的時(shí)變多目標(biāo)場景進(jìn)行模擬。實(shí)驗(yàn)環(huán)境如下：CPU：E2-2630；GPU：NVIDIA Tian Xp。利用Python語言和Keras 開源框架進(jìn)行編程實(shí)現(xiàn)。使用OSPA（Optimal Sub-pattern Assignment，最優(yōu)子模式分配）［17］來作用算法評價(jià)的指標(biāo)，通常用于分析目標(biāo)的預(yù)測航跡與實(shí)際航跡之間的差異程度。構(gòu)造500 條時(shí)間步長度為500 到2000 且運(yùn)動(dòng)模型各異的目標(biāo)軌跡，采樣生成訓(xùn)練數(shù)據(jù)，分別作為聚合網(wǎng)絡(luò)中子網(wǎng)絡(luò)的訓(xùn)練樣本。訓(xùn)練模型的學(xué)習(xí)率均為0.001，LSTM 層數(shù)為2 層，每層隱藏節(jié)點(diǎn)為64 個(gè)，訓(xùn)練迭代總數(shù)為50000 次，總的訓(xùn)練時(shí)間約為5 h。

測試場景設(shè)定為在一個(gè)大小為14km×10km的二維平面內(nèi)，有5 個(gè)目標(biāo)分別做勻加速或勻速、直線或轉(zhuǎn)彎等多種運(yùn)動(dòng)，速度范圍為50m/s～300m/s ，加速度范圍為5m/s2～10m/s2。每個(gè)目標(biāo)的出現(xiàn)、消失時(shí)間都不相同。

本方法和傳統(tǒng)的多目標(biāo)跟蹤方法進(jìn)行對比。其中傳統(tǒng)方法的數(shù)據(jù)關(guān)聯(lián)算法選擇最近鄰算法和JPDA 算法，目標(biāo)狀態(tài)預(yù)測使用卡爾曼濾波算法，即KF-NNDA 和KF-JPDA，航跡決策是用邏輯法。在表1 中，統(tǒng)計(jì)了OSPA 距離、標(biāo)記誤差（OSPA Card）和位置誤差（OSPA Loc）三個(gè)指標(biāo)。圖4 中統(tǒng)計(jì)了三種方法的OSPA 距離對比。由表1 和圖4 可以看出本文的方法在各項(xiàng)指標(biāo)上均優(yōu)于傳統(tǒng)算法。

表1 OSPA相關(guān)指標(biāo)統(tǒng)計(jì)

圖4 三種方法的OSPA距離對比圖

圖5 是不同的跟蹤方法在每個(gè)時(shí)間步上得到的目標(biāo)數(shù)量與真實(shí)目標(biāo)數(shù)量的對比，由于在初始時(shí)間段會將量測當(dāng)做目標(biāo)，所以目標(biāo)數(shù)目會多于真實(shí)值。在其他的時(shí)間段本方法相比傳統(tǒng)方法，與真實(shí)值誤差較小。同時(shí)由于在線跟蹤的特點(diǎn)，航跡起始和終結(jié)相比真實(shí)航跡在時(shí)間上會有一定的延遲。

圖5 三種方法預(yù)測的目標(biāo)數(shù)目對比圖

圖6 是仿真場景下本方法的跟蹤效果圖。圖中平滑曲線為真實(shí)軌跡，黑點(diǎn)代表雜波，其他顏色的點(diǎn)代表網(wǎng)絡(luò)輸出的跟蹤軌跡。結(jié)果展示了該方法可以在目標(biāo)運(yùn)動(dòng)模型不同、軌跡互有交叉的高密度雜波環(huán)境中，對多個(gè)目標(biāo)進(jìn)行身份識別和持續(xù)追蹤。

圖6 多目標(biāo)跟蹤效果圖

5 結(jié)語

本文利用LSTM 網(wǎng)絡(luò)強(qiáng)大的非線性轉(zhuǎn)化能力，提出了一種免模型、純數(shù)據(jù)驅(qū)動(dòng)、端到端學(xué)習(xí)的雷達(dá)多目標(biāo)跟蹤框架和基于LSTM 子網(wǎng)絡(luò)聚合的雷達(dá)TWS 跟蹤方法。能夠在高密度雜波、無目標(biāo)先驗(yàn)運(yùn)動(dòng)學(xué)模型的背景下，完成多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)、軌跡預(yù)測和航跡管理任務(wù)。

仿真實(shí)驗(yàn)結(jié)果表明，本文算法的跟蹤精度和關(guān)聯(lián)準(zhǔn)確率優(yōu)于傳統(tǒng)的多目標(biāo)跟蹤方法，在不需要復(fù)雜的先驗(yàn)運(yùn)動(dòng)模型的同時(shí)，具有更好的跟蹤性能，展示了神經(jīng)網(wǎng)絡(luò)在基于非視覺場景下的多目標(biāo)跟蹤上良好的應(yīng)用前景。