目標(biāo)協(xié)同跟蹤系統(tǒng)圖像監(jiān)控軟件流程設(shè)計*

徐 燕，任選宏，師靖鴻，宋 航，賈 婧

（北方自動控制技術(shù)研究所，太原030006）

0 引言

隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，目標(biāo)的機(jī)動性能不斷提高，單單依靠單傳感器實現(xiàn)對敵方目標(biāo)運(yùn)動狀態(tài)作出精確估計，并實施精確打擊已經(jīng)無法滿足現(xiàn)代化戰(zhàn)爭需求，必須應(yīng)用包括微波、毫米波、紅外電子援助設(shè)施（ESM）及電子情報技術(shù)（ELINT）等多傳感器系統(tǒng)提供的多種觀測數(shù)據(jù)。經(jīng)過對觀測數(shù)據(jù)進(jìn)行優(yōu)化綜合處理，獲取目標(biāo)運(yùn)動狀態(tài)估計、識別目標(biāo)屬性、分析目標(biāo)行為意圖，并對態(tài)勢和威脅進(jìn)行評估，以此提供精確制導(dǎo)、電子對抗、作戰(zhàn)模式和輔助決策等信息。

目前對多傳感器精確配準(zhǔn)算法、多傳感器圖像融合算法、多傳感器目標(biāo)識別算法、多傳感器目標(biāo)跟蹤算法的研究已經(jīng)很多，本文主要研究基于多傳感器的目標(biāo)協(xié)同跟蹤系統(tǒng)，詳細(xì)論述目標(biāo)協(xié)同跟蹤系統(tǒng)中圖像監(jiān)控軟件的流程設(shè)計。

1 基于多傳感器的目標(biāo)協(xié)同跟蹤系統(tǒng)設(shè)計方案

基于多傳感器的目標(biāo)協(xié)同跟蹤系統(tǒng)由無人傳感器平臺、指揮控制中心、傳輸設(shè)備組成，通過系統(tǒng)所組建的通信網(wǎng)絡(luò)進(jìn)行指揮和信息的交互，組成圖如圖1所示，系統(tǒng)連接關(guān)系如圖2所示。

圖1 目標(biāo)協(xié)同跟蹤系統(tǒng)組成圖

圖2 目標(biāo)協(xié)同跟蹤系統(tǒng)連接圖

無人傳感器平臺實物采用無人偵察車載平臺作為載體，加裝可見光傳感器云臺實現(xiàn)對戰(zhàn)場的實時偵查；加載陀螺儀、行動控制器和GPS模塊，實現(xiàn)對無人傳感器平臺的行動控制，以及對無人傳感器平臺的位置、運(yùn)動方向、運(yùn)動速度、車身俯仰角等狀態(tài)的獲??；加載圖傳設(shè)備和數(shù)傳設(shè)備，實現(xiàn)實時偵查視頻信息的傳輸和指控信息、狀態(tài)信息的交互。

指揮控制中心主要由無人傳感器平臺監(jiān)控席位、無人傳感器平臺控制席位、綜合態(tài)勢席位、圖像處理模塊組成，共同完成系統(tǒng)偵查視頻信息的收集、目標(biāo)圖像獲取、目標(biāo)識別與跟蹤、指令信息交互、狀態(tài)信息交互、目標(biāo)協(xié)調(diào)跟蹤等。

1）無人傳感器平臺監(jiān)控席位運(yùn)行圖像監(jiān)控軟件，主要接收、顯示無人傳感器平臺實時偵查視頻圖像，獲取目標(biāo)圖像信息發(fā)送給圖像處理模塊進(jìn)行目標(biāo)特征提取、目標(biāo)圖像匹配、識別與跟蹤，并通過局域網(wǎng)與無人傳感器平臺控制席位進(jìn)行信息交互，對無人傳感器平臺進(jìn)行作戰(zhàn)引導(dǎo)，指揮控制無人傳感器平臺進(jìn)行協(xié)同作業(yè)；

2）無人傳感器平臺控制席位運(yùn)行無人傳感器平臺控制軟件，主要顯示無人傳感器平臺實時狀態(tài)，對無人傳感器平臺進(jìn)行自動和人工兩種模式的遠(yuǎn)程操控；

3）綜合態(tài)勢席位運(yùn)行綜合態(tài)勢軟件，用于規(guī)劃無人傳感器平臺運(yùn)行軌跡，且實時標(biāo)繪顯示無人傳感器平臺當(dāng)前實際位置。本席位功能可擴(kuò)展，且將來可以與當(dāng)前陸軍作戰(zhàn)指揮控制系統(tǒng)對接；

4）圖像處理模塊的圖像處理板由兩片TI TMS320C6678八核DSP與一片Xilinx Virtex-6 FPGA構(gòu)成，F(xiàn)PGA負(fù)責(zé)前級多路圖像的整合拼接及緩存，DSP負(fù)責(zé)對圖像進(jìn)行算法處理，實現(xiàn)視頻圖像轉(zhuǎn)換、目標(biāo)圖像特征提取、目標(biāo)圖像匹配、識別與跟蹤。

傳輸設(shè)備由圖傳設(shè)備和數(shù)傳設(shè)備組成，分別實現(xiàn)模擬視頻圖像信息的傳輸和狀態(tài)信息、指令信息的交互。

基于多傳感器的目標(biāo)協(xié)同跟蹤系統(tǒng)流程圖如下頁圖3所示。獨立目標(biāo)跟蹤時，綜合態(tài)勢席規(guī)劃無人傳感器平臺運(yùn)行航跡，無人傳感器平臺根據(jù)所規(guī)劃的航跡信息實施偵查任務(wù)，并實時采集、傳輸偵查視頻圖像；圖像處理模塊接收到偵查視頻圖像后進(jìn)行圖像處理，然后發(fā)送給無人傳感器監(jiān)控席；無人傳感器監(jiān)控席接收、顯示偵查視頻圖像，如果發(fā)現(xiàn)目標(biāo)，則獲取目標(biāo)圖像，將目標(biāo)圖像信息發(fā)送給圖像處理模塊，圖像處理模塊根據(jù)目標(biāo)圖像信息進(jìn)行目標(biāo)特征提取、目標(biāo)識別、匹配與跟蹤，最后將跟蹤結(jié)果添加當(dāng)前實時視頻圖像中，發(fā)送給無人傳感器監(jiān)控席；無人傳感器控制席實時接收無人傳感器平臺狀態(tài)信息，實時接收無人傳感器平臺監(jiān)控席發(fā)出的實時目標(biāo)位置信息，控制無人傳感器平臺運(yùn)行姿態(tài)進(jìn)行連續(xù)目標(biāo)跟蹤。協(xié)同目標(biāo)跟蹤分為接替目標(biāo)跟蹤和聯(lián)合目標(biāo)跟蹤，是在獨立目標(biāo)跟蹤的基礎(chǔ)上，無人傳感器監(jiān)控席間進(jìn)行信息交互，實現(xiàn)目標(biāo)圖像信息自動共享，無人傳感器平臺自動進(jìn)行目標(biāo)跟蹤的過程。

2 圖像監(jiān)控軟件設(shè)計與實現(xiàn)

圖像監(jiān)控軟件組成如圖4，包括視頻圖像處理模塊、目標(biāo)圖像獲取模塊、工作模式轉(zhuǎn)換模塊。主要實現(xiàn)實時偵查視頻圖像的接收、顯示、錄制，與歷史視頻圖像回放，實現(xiàn)目標(biāo)圖像獲取、保存與發(fā)送，實現(xiàn)與無人傳感器平臺控制軟件進(jìn)行信息交互，實現(xiàn)與其他圖像監(jiān)控軟件進(jìn)行工作模式信息交互等。軟件流程設(shè)計如下頁圖5所示。

圖3 目標(biāo)協(xié)同跟蹤系統(tǒng)流程圖

圖4 圖像監(jiān)控軟件組成圖

其中，偵查視頻圖像要求實時性高，但允許一定丟包率，所以采用UDP傳輸協(xié)議進(jìn)行傳輸，圖像監(jiān)控軟件采用UDP傳輸協(xié)議進(jìn)行接收；且一幀圖像大小為1 280*1 024，數(shù)據(jù)量大，發(fā)送端采用分包發(fā)送方式發(fā)送幀圖像，圖像監(jiān)控軟件采用分包接收，再數(shù)據(jù)組合的方式進(jìn)行接收；為提高視頻播放速率及節(jié)約計算機(jī)資源，視頻圖像實時顯示采用微軟公司創(chuàng)建的多媒體編程接口DirectX技術(shù)；視頻記錄時，可根據(jù)用戶對視頻圖像信息的完整性的不同要求，采用分幀保存方式，即每幀圖像可以保存為原始圖像格式RAW格式，或采用AVI視頻流格式；獲取目標(biāo)圖像時，為保證目標(biāo)圖像數(shù)據(jù)的精確性，采用根據(jù)目標(biāo)圖像在原視頻圖像中的位置直接從內(nèi)存中獲取的方式。

基于多傳感器的目標(biāo)協(xié)同跟蹤系統(tǒng)有3種工作模式，分別是普通模式、接替模式和協(xié)同模式。普通模式指各無人傳感器平臺單獨進(jìn)行偵查行動，進(jìn)行目標(biāo)識別、匹配與跟蹤；接替模式指一臺無人傳感器平臺成功跟蹤目標(biāo)，其圖像監(jiān)控軟件發(fā)出接替指令后，另一臺無人傳感器平臺根據(jù)前一臺無人傳感器平臺跟蹤結(jié)果和目標(biāo)信息，繼續(xù)對原目標(biāo)進(jìn)行識別、匹配與跟蹤；協(xié)同模式指一臺無人傳感器平臺成功跟蹤目標(biāo)，其圖像監(jiān)控軟件發(fā)出協(xié)同指令后，所有無人傳感器平臺自動識別跟蹤同一目標(biāo)。

2.1 普通工作模式

各圖像監(jiān)控軟件間不進(jìn)行信息交互，實時接收、顯示各自所監(jiān)控的無人傳感器平臺采集的偵查視頻圖像，然后在偵查視頻圖像中獲取目標(biāo)圖像信息，并發(fā)送給相應(yīng)圖像處理板進(jìn)行目標(biāo)特征提取、目標(biāo)識別、匹配與跟蹤。如果匹配跟蹤成功，圖像監(jiān)控軟件顯示跟蹤結(jié)果，即在實時偵查視頻圖像中標(biāo)注目標(biāo)圖像，并將目標(biāo)位置信息發(fā)送給無人傳感器控制軟件，無人傳感器控制軟件根據(jù)目標(biāo)位置信息實時調(diào)整無人傳感器平臺運(yùn)行姿態(tài)，保持對目標(biāo)的持續(xù)跟蹤狀態(tài)。

圖5 圖像監(jiān)控軟件設(shè)計流程圖

2.2 接替工作模式

一臺無人傳感器平臺（被接替無人傳感器平臺）采用普通工作模式成功跟蹤目標(biāo)，其圖像監(jiān)控軟件實時顯示跟蹤結(jié)果。當(dāng)根據(jù)目標(biāo)運(yùn)動方向及在視場中的位置判斷目標(biāo)將離開此無人傳感器平臺跟蹤范圍時，圖像監(jiān)控軟件向在該目標(biāo)運(yùn)動方向的另一臺無人傳感器平臺（接替無人傳感器平臺）的圖像監(jiān)控軟件發(fā)送接替指令和當(dāng)前目標(biāo)圖像信息，向無人傳感器平臺控制軟件發(fā)送接替指令。接替無人傳感器平臺的圖像監(jiān)控軟件接收到接替指令和當(dāng)前目標(biāo)圖像后，向其圖像處理板發(fā)送目標(biāo)圖像，圖像處理板進(jìn)行目標(biāo)圖像特征提取、目標(biāo)識別、匹配與跟蹤。跟蹤成功，則圖像監(jiān)控軟件顯示目標(biāo)跟蹤結(jié)果，在偵查視頻圖像中標(biāo)注目標(biāo)圖像位置，即接替跟蹤成功，接替無人傳感器平臺持續(xù)跟蹤當(dāng)前目標(biāo)；匹配失敗，則在圖像監(jiān)控軟件當(dāng)前狀態(tài)中顯示目標(biāo)匹配失敗，即接替跟蹤失敗。

2.3 協(xié)同工作模式

一臺無人傳感器平臺采用普通工作模式成功跟蹤目標(biāo)，其圖像監(jiān)控軟件實時顯示偵查視頻圖像并在視頻圖像中標(biāo)注目標(biāo)圖像位置。當(dāng)根據(jù)目標(biāo)運(yùn)動速度、軌跡及在視場中的位置判斷目標(biāo)運(yùn)動速度快且運(yùn)動軌跡多變時，圖像監(jiān)控軟件通播協(xié)同跟蹤指令和當(dāng)前目標(biāo)圖像信息。各圖像處理板接收目標(biāo)圖像信息后進(jìn)行目標(biāo)特征提取、目標(biāo)識別、匹配與跟蹤，各圖像監(jiān)控軟件實時顯示跟蹤結(jié)果，各無人傳感器平臺開始實時跟蹤目標(biāo)。

3 實驗結(jié)果

實驗條件：3臺無人偵察車（無人偵察車1、無人偵察車2、無人偵察車3）、3塊圖像處理板（圖像處理板1、圖像處理板2、圖像處理板3），3個無人傳感器平臺監(jiān)控席（無人傳感器平臺監(jiān)控席1、無人傳感器平臺監(jiān)控席2、無人傳感器平臺監(jiān)控席3）、1個無人傳感器平臺控制席、1個綜合態(tài)勢席、1套圖傳設(shè)備、1套數(shù)傳設(shè)備、1個交換機(jī)、1輛銀灰色汽車、1輛白色汽車、1架無人機(jī)。

3.1 試驗1：普通工作模式

試驗過程：

1）銀灰色汽車以一定速度沿曲折小路行駛；

2）無人偵察車1采用普通工作模式進(jìn)行戰(zhàn)場偵查，無人傳感器平臺監(jiān)控席1顯示實時偵查視頻圖像；

3）當(dāng)銀灰色汽車行駛至無人偵察車1云臺視場內(nèi)，無人傳感器平臺監(jiān)控席1獲取目標(biāo)圖像，將目標(biāo)圖像發(fā)送給圖像處理板1；

4）圖像處理板1進(jìn)行目標(biāo)特征提取、目標(biāo)識別、匹配與跟蹤，并將跟蹤結(jié)果信息加入實時視頻圖像信息中，發(fā)送給無人傳感器平臺監(jiān)控席1；

5）無人傳感器平臺監(jiān)控席1顯示實時視頻及目標(biāo)位置，并將目標(biāo)位置信息發(fā)送給無人傳感器平臺控制席；

6）無人傳感器平臺控制席根據(jù)目標(biāo)位置信息實時調(diào)整無人偵察車1運(yùn)行姿態(tài)，保持對目標(biāo)的跟蹤狀態(tài)；

7）無人傳感器平臺監(jiān)控席1記錄實時視頻圖像，暫停跟蹤顯示歷史記錄圖像。

試驗結(jié)果：

試驗結(jié)果如圖6所示。當(dāng)銀灰色汽車運(yùn)動速度小于目標(biāo)協(xié)同跟蹤系統(tǒng)對目標(biāo)的反應(yīng)速度時，目標(biāo)協(xié)同跟蹤系統(tǒng)可以較好地實現(xiàn)普通工作模式下的目標(biāo)識別、匹配與跟蹤；圖像監(jiān)控軟件視頻圖像處理模塊、目標(biāo)圖像獲取模塊、工作模式轉(zhuǎn)換模塊運(yùn)行正確。

圖6 普通工作模式下的目標(biāo)跟蹤結(jié)果

3.2 試驗2：接替工作模式

試驗過程：

1）白色汽車以一定速度沿曲折小路行駛；

2）采用普通工作模式，無人偵察車1成功跟蹤目標(biāo)（白色汽車），無人傳感器平臺監(jiān)控席1實時顯示偵查視頻圖像及目標(biāo)圖像位置；

3）當(dāng)白色汽車可能脫離無人偵察車1跟蹤范圍時，無人傳感器平臺監(jiān)控席1向位于目標(biāo)行駛方向的無人傳感器平臺監(jiān)控席2發(fā)出接替工作模式指令，并將當(dāng)前目標(biāo)圖像發(fā)送給無人傳感器平臺監(jiān)控席2；

4）無人傳感器平臺監(jiān)控席2接收到接替工作模式指令后將轉(zhuǎn)換工作狀態(tài)，接收到目標(biāo)圖像信息立即轉(zhuǎn)發(fā)給圖像處理板2；

5）圖像處理板2進(jìn)行目標(biāo)特征提取、目標(biāo)識別、匹配與跟蹤，并將跟蹤結(jié)果信息加入實時視頻圖像信息中，發(fā)送給無人傳感器平臺監(jiān)控席2；

6）無人傳感器平臺監(jiān)控席2顯示實時視頻及目標(biāo)位置，并將目標(biāo)位置信息發(fā)送給無人傳感器平臺控制席；

7）無人傳感器平臺控制席根據(jù)目標(biāo)位置信息實時調(diào)整無人偵察車2運(yùn)行姿態(tài)，保持對目標(biāo)的實時跟蹤狀態(tài)；

8）無人傳感器平臺監(jiān)控席2可記錄實時視頻圖像，暫停跟蹤顯示歷史記錄圖像。

試驗結(jié)果：

試驗結(jié)果如圖7所示，無人偵察車2可以成功接替無人偵察車1，對無人偵察車1成功跟蹤的目標(biāo)進(jìn)行再次持續(xù)跟蹤；圖像監(jiān)控軟件視頻圖像處理模塊、目標(biāo)圖像獲取模塊、工作模式轉(zhuǎn)換模塊運(yùn)行正確。

圖7 接替工作模式下的目標(biāo)跟蹤結(jié)果

3.3 試驗3：協(xié)同工作模式

試驗過程：

1）無人機(jī)以一定速度飛行，且運(yùn)動軌跡多變；

2）采用普通工作模式，無人偵察車1成功跟蹤目標(biāo)（無人機(jī)），無人傳感器平臺監(jiān)控席1實時顯示偵查視頻圖像及目標(biāo)圖像位置；

3）當(dāng)根據(jù)目標(biāo)運(yùn)動速度、軌跡及在視場中的位置判斷目標(biāo)運(yùn)動速度快且運(yùn)動軌跡多變時，無人傳感器平臺監(jiān)控席1發(fā)出協(xié)同工作模式指令，通播當(dāng)前目標(biāo)圖像信息；

4）無人傳感器平臺監(jiān)控席2、無人傳感器平臺監(jiān)控席3接收到協(xié)同工作模式指令后，將轉(zhuǎn)換各自工作狀態(tài)；

5）圖像處理板2、圖像處理板3接收到目標(biāo)圖像信息后，進(jìn)行目標(biāo)特征提取、目標(biāo)識別、匹配與跟蹤，并將跟蹤結(jié)果信息加入實時視頻圖像信息中，發(fā)送給無人傳感器平臺監(jiān)控席2、無人傳感器平臺監(jiān)控席3；

6）無人傳感器平臺監(jiān)控席2、無人傳感器平臺監(jiān)控席3分別顯示各自實時視頻及目標(biāo)位置，并將目標(biāo)位置信息分別發(fā)送給無人傳感器平臺控制席；

7）無人傳感器平臺控制席根據(jù)各自目標(biāo)位置信息實時調(diào)整無人偵察車2、無人偵察車3運(yùn)行姿態(tài)，保持對目標(biāo)的實時跟蹤狀態(tài)；

8）無人傳感器平臺監(jiān)控席2、無人傳感器平臺監(jiān)控席3可分別記錄各自實時視頻圖像，暫停跟蹤顯示各自的歷史記錄圖像。

圖8 協(xié)同工作模式下的目標(biāo)跟蹤結(jié)果

試驗結(jié)果：

試驗結(jié)果如圖8所示，無人偵察車1、無人偵察車2、無人偵察車3可以很好地協(xié)同跟蹤運(yùn)動速度快且運(yùn)動軌跡多變的目標(biāo)。圖像監(jiān)控軟件的視頻圖像處理模塊、目標(biāo)圖像獲取模塊、工作模式轉(zhuǎn)換模塊在各無人傳感器平臺監(jiān)控席運(yùn)行正確。

4 結(jié)論

本文設(shè)計的基于多傳感器的目標(biāo)協(xié)同跟蹤系統(tǒng)，主要由無人傳感器平臺、指揮控制中心、傳輸設(shè)備組成。該系統(tǒng)能夠在復(fù)雜的戰(zhàn)場環(huán)境中實現(xiàn)對動態(tài)目標(biāo)的獨立或聯(lián)合監(jiān)控與跟蹤，為進(jìn)一步研究基于微波、毫米波、紅外、可見光等混合多源傳感器的目標(biāo)協(xié)同跟蹤系統(tǒng)提供一定的參考價值。設(shè)計的圖像監(jiān)控軟件經(jīng)實驗驗證，流程設(shè)計合理，功能完善，能夠很好地滿足基于多傳感器的目標(biāo)協(xié)同跟蹤系統(tǒng)需求，為后續(xù)系統(tǒng)研究奠定了基礎(chǔ)。