基于慣性測量與視頻圖像信息綜合的抗遮擋跟蹤策略在機(jī)載光電偵察瞄準(zhǔn)系統(tǒng)中的應(yīng)用研究

吉書鵬 劉志廣 渠繼峰 許建錚 李同海

摘要：????? ?目標(biāo)跟蹤是機(jī)載光電偵察瞄準(zhǔn)系統(tǒng)的一個(gè)重要工作模式， 其性能的優(yōu)劣直接決定著載機(jī)系統(tǒng)完成任務(wù)使命的效能。 針對(duì)機(jī)載光電偵察瞄準(zhǔn)系統(tǒng)目標(biāo)跟蹤應(yīng)用中存在的主要問題和技術(shù)難點(diǎn)， 本文基于系統(tǒng)多源傳感器構(gòu)型及應(yīng)用特點(diǎn)， 綜合組合慣導(dǎo)、 運(yùn)動(dòng)測量、 伺服控制、 地理坐標(biāo)及圖像信息等多維度參數(shù)， 提出了一種基于慣性測量與視頻圖像信息綜合的智能目標(biāo)跟蹤策略， 通過仿真分析與飛行測試表明， 該策略有效提高了目標(biāo)跟蹤抗遮擋性能， 實(shí)現(xiàn)了全動(dòng)態(tài)復(fù)雜場景下穩(wěn)健持久跟蹤， 提升了載機(jī)系統(tǒng)偵察監(jiān)視、 目標(biāo)定位、 瞄準(zhǔn)引導(dǎo)的作戰(zhàn)能力。

關(guān)鍵詞：???? 光電偵察瞄準(zhǔn)； 信息融合； 慣性測量； 視頻圖像； 深度學(xué)習(xí)； 目標(biāo)跟蹤; 抗遮擋; 智能化

中圖分類號(hào)：??? ???TJ760? ? ? ? ? ? ? ? ??文章編號(hào)：??? ?1673-5048（2023）04-0001-09

文獻(xiàn)標(biāo)識(shí)碼：??? A? ? ? ? ? ? ? ? ? ? ? ? ? ? ?DOI： 10.12132/ISSN.1673-5048.2022.0227

0引言

機(jī)載光電偵察瞄準(zhǔn)系統(tǒng)采用陀螺穩(wěn)定平臺(tái)及慣性導(dǎo)航技術(shù)， 裝載可見、 紅外和激光等光電傳感器， 遂行偵察監(jiān)視、 識(shí)別定位、 跟蹤瞄準(zhǔn)和武器引導(dǎo)等任務(wù)使命。 光電偵察瞄準(zhǔn)系統(tǒng)不僅要實(shí)現(xiàn)高分辨率目標(biāo)探測識(shí)別、 精準(zhǔn)測量定位， 而且要實(shí)現(xiàn)精確瞄準(zhǔn)和武器引導(dǎo)， 以上任務(wù)的完成都是建立在高性能目標(biāo)跟蹤基礎(chǔ)之上， 目標(biāo)跟蹤性能直接決定著載機(jī)系統(tǒng)完成任務(wù)使命的效能。

隨著計(jì)算機(jī)視覺、 圖像處理技術(shù)及應(yīng)用需求的發(fā)展， 視頻圖像目標(biāo)跟蹤（視覺跟蹤）技術(shù)取得了突破性進(jìn)展， 新算法眾多。 根據(jù)目標(biāo)模型構(gòu)建方式的差異， 視覺跟蹤算法通常分為生成類和判別類。 由于生成類算法忽略背景影響， 抗干擾能力較弱， 當(dāng)目標(biāo)被遮擋時(shí)易導(dǎo)致失跟， 該類算法主要包括均值漂移（Mean Shift）、 粒子濾波（Particle Filtering）和光流法（Lucas Kanade）等。 判別類跟蹤算法考慮背景建模， 具有更好的目標(biāo)跟蹤魯棒性， 目前已成為視覺跟蹤的主流算法， 該類算法主要包括相關(guān)濾波（Correlation Filter）和深度學(xué)習(xí)（Deep Learning）等。

基于最小化均方誤差（MOSSE）［1］濾波目標(biāo)跟蹤算法將時(shí)域計(jì)算轉(zhuǎn)換到頻域計(jì)算， 顯著提升了目標(biāo)跟蹤速度， 開創(chuàng)了視覺跟蹤的新時(shí)代。 為進(jìn)一步提升性能， 在MOSSE基礎(chǔ)上出現(xiàn)了很多改進(jìn)算法（CSK［2］， KCF［3］， BACF［4］， SAMF［5］等）， 成為目標(biāo)跟蹤算法的研究熱點(diǎn)［6-7］。 CSK通過樣本循環(huán)移位增加樣本數(shù)量， 利用循環(huán)結(jié)構(gòu)性質(zhì)和傅里葉變換快速計(jì)算， 使得訓(xùn)練出的濾波器更加穩(wěn)健。 文獻(xiàn)［8］在KCF算法框架下融合HOG特征和CN特征， 增強(qiáng)了對(duì)目標(biāo)外觀表征， 提升目標(biāo)跟蹤的精度和魯棒性。 文獻(xiàn)［9］提出依據(jù)多峰檢測與置信度（APCE）的目標(biāo)模型更新策略， 一定程度上解決了目標(biāo)被遮擋問題， 提高了目標(biāo)跟蹤效果。 SAMF和DSST在KCF算法的基礎(chǔ)上引入尺度估計(jì)， 改進(jìn)目標(biāo)尺度變化對(duì)跟蹤的影響。 在SRDCF的基礎(chǔ)上， 文獻(xiàn)［10］提出CCOT算法， 將時(shí)域離散位置估計(jì)轉(zhuǎn)換為時(shí)域連續(xù)位置估計(jì)， 提升目標(biāo)位置估計(jì)的精準(zhǔn)性。 文獻(xiàn)［11］從訓(xùn)練樣本、 濾波器系數(shù)和模板更新等方面對(duì)CCOT進(jìn)行改進(jìn)， 提出ECO算法， 顯著降低了計(jì)算復(fù)雜度。

近些年， 隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展， 深度學(xué)習(xí)算法憑借其優(yōu)秀的建模能力， 在目標(biāo)跟蹤領(lǐng)域取得了巨大的進(jìn)展， 涌現(xiàn)出大量算法， 提升了目標(biāo)跟蹤的精準(zhǔn)性和魯棒性。 基于深度學(xué)習(xí)的目標(biāo)跟蹤算法主要分為兩類， 即以相關(guān)濾波作為跟蹤框架的目標(biāo)跟蹤算法和完全基于神經(jīng)網(wǎng)絡(luò)框架的目標(biāo)跟蹤算法。 文獻(xiàn)［12］提出基于多層卷積特征的跟蹤算法（HCFT）， 結(jié)合多層深度網(wǎng)絡(luò)特征與相關(guān)濾波算法， 取得很好的效果。 文獻(xiàn)［13］提出循環(huán)目標(biāo)強(qiáng)化跟蹤算法（RTT）， 使用RNN網(wǎng)絡(luò)提取目標(biāo)顯著性特征， 將其加到相關(guān)濾波器系數(shù)上， 增強(qiáng)相關(guān)濾波器對(duì)于背景噪聲信息的抗干擾能力。 文獻(xiàn)［14］提出一種全卷積孿生網(wǎng)絡(luò)結(jié)構(gòu)， 通過一對(duì)在大型數(shù)據(jù)集上離線訓(xùn)練的通用孿生網(wǎng)絡(luò)框架提取目標(biāo)模板與候選區(qū)域特征， 然后將目標(biāo)模板與候選區(qū)域進(jìn)行卷積操作， 得到目標(biāo)響應(yīng)圖， 響應(yīng)最大候選區(qū)域位置即目標(biāo)位置。 該方法模型構(gòu)建簡單， 跟蹤速度可達(dá)到58幀/秒， 而且跟蹤精度高。 目前， 基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法普遍實(shí)時(shí)較差， 對(duì)硬件資源要求高， 而且需要大樣本量的訓(xùn)練數(shù)據(jù)支撐， 限制了其在視頻跟蹤中的應(yīng)用。

機(jī)載光電偵察瞄準(zhǔn)系統(tǒng)目標(biāo)跟蹤屬于動(dòng)基平臺(tái)上的全動(dòng)態(tài)場景目標(biāo)持久跟蹤， 由于跟蹤過程中目標(biāo)場景和環(huán)境的復(fù)雜多變性， 目標(biāo)跟蹤過程中會(huì)出現(xiàn)以下情況： （1）長時(shí)間跟蹤誤差累計(jì)、 瞄準(zhǔn)線漂移， 導(dǎo)致失跟； （2）相似目標(biāo)或強(qiáng)背景物體出現(xiàn)， 導(dǎo)致錯(cuò)跟； （3）目標(biāo)被煙、 云、 物等遮擋， 導(dǎo)致失跟； （4）目標(biāo)特征劇烈變化、 瞄準(zhǔn)線跳動(dòng)， 導(dǎo)致失跟。 通過應(yīng)用實(shí)踐證明， 僅采用視頻圖像跟蹤技術(shù)， 不能滿足機(jī)載光電偵察瞄準(zhǔn)系統(tǒng)對(duì)運(yùn)動(dòng)目標(biāo)長時(shí)間韌性跟蹤的要求， 不能有效解決運(yùn)動(dòng)目標(biāo)跟蹤抗遮擋等問題［15-16］。

為了提高光電偵察瞄準(zhǔn)系統(tǒng)目標(biāo)跟蹤對(duì)復(fù)雜環(huán)境的適應(yīng)能力， 本文通過對(duì)系統(tǒng)組合導(dǎo)航、 慣性測量和視頻圖像等多維度參數(shù)信息的綜合分析， 提出一種基于慣性測量與視頻圖像信息融合的智能目標(biāo)跟蹤策略， 提高目標(biāo)跟蹤的韌性和抗遮擋性能， 實(shí)現(xiàn)了全動(dòng)態(tài)復(fù)雜場景高精度穩(wěn)健自主跟蹤。

1機(jī)載目標(biāo)跟蹤策略原理分析

圖1為智能目標(biāo)跟蹤策略的原理框圖， 其主要由慣性測量、 運(yùn)動(dòng)補(bǔ)償、 視頻圖像目標(biāo)檢測跟蹤及伺服跟蹤控制等功能單元組成。 本文提出一種多算法協(xié)同目標(biāo)跟蹤策略： 基于深度學(xué)習(xí)的智能目標(biāo)檢測算法［17］， 實(shí)現(xiàn)多目標(biāo)快速檢測、 搜索區(qū)域目標(biāo)自動(dòng)捕獲及失跟目標(biāo)的搜索和再捕獲； 基于改進(jìn)型核相關(guān)濾波跟蹤算法， 實(shí)現(xiàn)全動(dòng)態(tài)復(fù)雜場景目標(biāo)穩(wěn)健跟蹤和狀態(tài)估計(jì)； 采用基于慣性測量的目標(biāo)運(yùn)動(dòng)描述與瞄準(zhǔn)線指向控制算法， 實(shí)現(xiàn)記憶跟蹤， 提升目標(biāo)跟蹤抗干擾能力。

導(dǎo)航與慣性測量傳感器獲取載機(jī)大地坐標(biāo)、 地理坐標(biāo)系下的航姿角及速度參數(shù)， 穩(wěn)定平臺(tái)速率傳感器獲取目標(biāo)跟蹤過程中視軸指向姿態(tài)角和速度參數(shù)， 激光傳感器獲取目標(biāo)距離。 綜合以上信息解算目標(biāo)在地理坐標(biāo)系下的運(yùn)動(dòng)速度和方向， 對(duì)目標(biāo)運(yùn)動(dòng)特性進(jìn)行學(xué)習(xí)及軌跡描述， 解算載機(jī)與目標(biāo)在視軸坐標(biāo)系下的方位/俯仰方向的角速度信息， 輸入伺服跟蹤控制回路進(jìn)行運(yùn)動(dòng)補(bǔ)償和視軸指向控制［18］。 系統(tǒng)進(jìn)入目標(biāo)跟蹤模式后， 智能目標(biāo)檢測算法進(jìn)入目標(biāo)檢測和自動(dòng)識(shí)別狀態(tài)， 并自主捕獲視場搜索區(qū)域目標(biāo)， 識(shí)別確認(rèn)目標(biāo)身份后實(shí)施自動(dòng)捕獲跟蹤。 視頻圖像跟蹤算法實(shí)時(shí)解算目標(biāo)圖像坐標(biāo)參數(shù)， 經(jīng)處理形成的脫靶量參數(shù)輸入伺服跟蹤回路控制瞄準(zhǔn)線隨目標(biāo)移動(dòng)。 當(dāng)遇到遮擋等干擾情況， 視頻圖像跟蹤算法對(duì)跟蹤狀態(tài)進(jìn)行評(píng)估并給出目標(biāo)失跟提示， 自主進(jìn)入記憶跟蹤狀態(tài)。 伺服跟蹤系統(tǒng)基于學(xué)習(xí)得到的目標(biāo)運(yùn)動(dòng)特性， 控制瞄準(zhǔn)線隨目標(biāo)運(yùn)動(dòng)， 保證目標(biāo)始終處于視場中心一定區(qū)域內(nèi)。 同時(shí)， 視頻圖像跟蹤算法轉(zhuǎn)入目標(biāo)搜索狀態(tài)， 待再次檢測捕獲目標(biāo)， 自主轉(zhuǎn)入視頻圖像跟蹤狀態(tài)， 實(shí)現(xiàn)持久目標(biāo)穩(wěn)定跟蹤。

1.1視頻圖像跟蹤

光電成像傳感器、 視頻跟蹤器及伺服控制器構(gòu)成視頻圖像跟蹤功能單元。 光電成像傳感器采集目標(biāo)區(qū)域圖像信息， 經(jīng)圖像預(yù)處理及格式變換， 形成動(dòng)態(tài)視頻圖像流輸入視頻圖像跟蹤器。 視頻圖像跟蹤器進(jìn)行目標(biāo)搜索檢測， 提取目標(biāo)偏離視場中心像素坐標(biāo)數(shù)據(jù)， 形成目標(biāo)的脫靶量信息， 經(jīng)圖像校正處理后輸出至伺服控制分系統(tǒng)， 驅(qū)動(dòng)穩(wěn)定平臺(tái)視軸轉(zhuǎn)動(dòng)減小脫靶量， 以一定的跟蹤控制率將目標(biāo)穩(wěn)定控制在視場中心， 實(shí)現(xiàn)目標(biāo)的自主跟蹤。

視頻圖像跟蹤是基于初始幀圖像目標(biāo)位置， 預(yù)測后續(xù)幀圖像中目標(biāo)位置的過程。 主要由四個(gè)功能模塊組成： 特征提取、 模型構(gòu)建、 搜索策略和模板更新。 特征提取是實(shí)現(xiàn)目標(biāo)跟蹤的基礎(chǔ)， 提取的目標(biāo)特征應(yīng)具有旋轉(zhuǎn)、 尺度、 光照、 顏色、 亮度及對(duì)比度等變化的魯棒性； 模型構(gòu)建是實(shí)現(xiàn)檢測跟蹤的關(guān)鍵、 學(xué)習(xí)能力的體現(xiàn)， 模板更新機(jī)制（模型參數(shù)學(xué)習(xí)優(yōu)化）是提高抗干擾的核心。

本文提出的視頻圖像跟蹤算法是對(duì)相關(guān)濾波（KCF）跟蹤算法［19］進(jìn)行改進(jìn)設(shè)計(jì)： （1）基于深度學(xué)習(xí)獲取目標(biāo)場景特征， 提高算法的魯棒性和場景適應(yīng)能力； （2）采用置信度和平均峰值能量比準(zhǔn)則進(jìn)行參數(shù)學(xué)習(xí)和模型優(yōu)化， 提高目標(biāo)跟蹤的抗干擾性能。

KCF算法將目標(biāo)跟蹤轉(zhuǎn)化為目標(biāo)檢測分類問題， 基于正則最小二乘分類器學(xué)習(xí)準(zhǔn)則辨識(shí)目標(biāo)， 基于循環(huán)移位采樣和快速傅里葉變換技術(shù)， 利用傅里葉空間中循環(huán)矩陣可對(duì)角化性質(zhì)， 解決稠密采樣計(jì)算量問題， 顯著降低樣本訓(xùn)練和目標(biāo)檢測的運(yùn)算復(fù)雜度。 通過核函數(shù)非線性映射， 將樣本向量映射到高維特征空間， 顯著提升分類器性能， 并且特征空間滿足線性回歸關(guān)系， 實(shí)現(xiàn)核空間的線性回歸。 算法具有計(jì)算量小、 實(shí)時(shí)性強(qiáng)、 跟蹤精度高， 以及復(fù)雜動(dòng)態(tài)場景適應(yīng)能力強(qiáng)等特點(diǎn)。

對(duì)于訓(xùn)練樣本（xi， yi）和線性分類函數(shù)f（xi）=wTxi， 基于正則化風(fēng)險(xiǎn)最小分類器的損失函數(shù)為

式中：

采用梯度下降法求解， 可得模型參數(shù)w=（XTX+λE）－1XTy；? 矩陣X=［x1，? x2， …， xn］， 每一列代表一個(gè)樣本特征向量； y為列向量， 每個(gè)元素代表一個(gè)樣本標(biāo)簽。 基于正則化線性模型表示定理， 并通過核函數(shù)非線性映射變換， 將樣本向量映射到高維特征空間φ（x）：

損失函數(shù)變換為

式中： 求偏導(dǎo)可得模型參數(shù)a=（K+λE）－1y;?? K=φ（X）φ（X）T， kij=φ（xi）Tφ（xj）為核函數(shù)矩陣； E表示單位矩陣； λ表示為正則化系數(shù)。

采用循環(huán)移位產(chǎn)生的目標(biāo)區(qū)域圖像作為分類器的訓(xùn)練樣本， 生成訓(xùn)練樣本矩陣。 對(duì)于測試樣本Z=（z1， z2， …， zn）， Kxz=φ（X）Tφ（Z）為循環(huán)矩陣， 降低計(jì)算復(fù)雜度， 利用其傅里葉變換可對(duì)角化的性質(zhì)， 則有

算法迭代優(yōu)化得到模型參數(shù)后， 對(duì)于輸入幀圖像， 利用已有的模型參數(shù)進(jìn)行目標(biāo)跟蹤， 以上一幀圖像中目標(biāo)的檢測位置為中心， 獲取待跟蹤圖像區(qū)域。 通過核函數(shù)計(jì)算出待跟蹤圖像區(qū)域的響應(yīng)圖， 根據(jù)響應(yīng)圖中最大值所在的位置得到目標(biāo)位置（如圖2所示）， 并更新模板參數(shù)。

當(dāng)出現(xiàn)目標(biāo)被遮擋等干擾場景時(shí)， 跟蹤算法的特征響應(yīng)圖會(huì)出現(xiàn)多峰現(xiàn)象， 如圖3所示。

針對(duì)多峰響應(yīng)情況， 算法基于置信度和平均峰值能量比準(zhǔn)則， 進(jìn)行參數(shù)學(xué)習(xí)和模型優(yōu)化， 提高目標(biāo)跟蹤的抗干擾性能和失鎖估計(jì)精準(zhǔn)度。 響應(yīng)的最大值計(jì)算：

Fmax=maxF（s， l， w）（5）

式中： s， l， w表示目標(biāo)圖像的尺度、 響應(yīng)圖的長和寬。 平均峰值方差比計(jì)算：

式中： Fmax， Fmin， Fh， v分別表示響應(yīng)圖F（s， l， w）中最大、 最小以及h行v列的的響應(yīng)值；? Apvr值反映響應(yīng)圖的波動(dòng)情況和檢測目標(biāo)的置信水平。 出現(xiàn)遮擋情況時(shí)， Apvr值會(huì)變小、 置信度下降。 采取的學(xué)習(xí)優(yōu)化： 如果Fmax和Apvr的計(jì)算值大于其前序計(jì)算均值的β1和β2倍， 則當(dāng)前的跟蹤結(jié)果置信水平高， 模型參數(shù)以更新率η更新。 否則， 給出目標(biāo)丟失標(biāo)識(shí)Lott， 系統(tǒng)轉(zhuǎn)入記憶跟蹤通道， 視頻跟蹤進(jìn)入目標(biāo)搜索捕獲狀態(tài)：

1.2慣性測量跟蹤

機(jī)載光電偵察瞄準(zhǔn)系統(tǒng)目標(biāo)跟蹤分為手動(dòng)跟蹤和自動(dòng)跟蹤工作模式。 手動(dòng)跟蹤模式由操作人員控制系統(tǒng)視軸移動(dòng)， 進(jìn)行目標(biāo)跟蹤或場景凝視觀測， 本文提出的智能目標(biāo)跟蹤策略引入基于慣性測量的運(yùn)動(dòng)補(bǔ)償跟蹤控制策略， 實(shí)現(xiàn)視軸指向穩(wěn)定控制。

自動(dòng)跟蹤模式采用基于深度學(xué)習(xí)的智能目標(biāo)檢測算法對(duì)搜索區(qū)域目標(biāo)進(jìn)行檢測和自主捕獲， 基于深度神經(jīng)網(wǎng)絡(luò)構(gòu)建目標(biāo)模型， 按照一定的搜索策略在當(dāng)前幀中進(jìn)行搜索評(píng)估， 確定目標(biāo)初始位置； 基于導(dǎo)航與慣性測量傳感器獲取的目標(biāo)位置與運(yùn)動(dòng)參數(shù)信息， 構(gòu)建目標(biāo)的運(yùn)動(dòng)模型， 融入目標(biāo)搜索策略， 輔助視軸指向控制， 實(shí)現(xiàn)高效目標(biāo)搜索。 視頻圖像跟蹤過程中， 出現(xiàn)目標(biāo)被遮擋等干擾場景時(shí)， 跟蹤控制系統(tǒng)收到視頻跟蹤算法給出的失跟信息后， 自主轉(zhuǎn)入基于目標(biāo)運(yùn)動(dòng)測量的記憶跟蹤狀態(tài)， 控制瞄準(zhǔn)線隨目標(biāo)運(yùn)動(dòng)， 直至目標(biāo)再次捕獲。

1.2.1基于載機(jī)運(yùn)動(dòng)補(bǔ)償?shù)囊曒S指向控制

載機(jī)飛行過程中， 光電偵察瞄準(zhǔn)系統(tǒng)穩(wěn)定平臺(tái)隔離載機(jī)振動(dòng)及姿態(tài)運(yùn)動(dòng)， 但載機(jī)飛行運(yùn)動(dòng)會(huì)引起視軸移動(dòng)導(dǎo)致目標(biāo)失跟， 同時(shí)視軸移動(dòng)也會(huì)影響目標(biāo)搜索與場景凝視偵測效能。 本文提出在跟蹤控制回路中增加視軸指向運(yùn)動(dòng)補(bǔ)償算法， 實(shí)現(xiàn)目標(biāo)跟蹤視軸指向穩(wěn)定。 如圖4所示。

算法基于導(dǎo)航與慣性測量傳感器獲得的載機(jī)飛行速度和航姿角信息， 通過坐標(biāo)變換解算視軸坐標(biāo)系下的速度， 基于激光傳感器獲取的目標(biāo)距離信息， 解算目標(biāo)相對(duì)穩(wěn)定平臺(tái)視軸的方位/俯仰角速度， 對(duì)場景運(yùn)動(dòng)進(jìn)行補(bǔ)償， 實(shí)現(xiàn)視軸指向穩(wěn)定。

式中： ωz為方位角速度; ωy為俯仰角速度。 以ωz和ωy分別作為穩(wěn)定平臺(tái)方位和俯仰控制回路的輸入， 實(shí)現(xiàn)載機(jī)的運(yùn)動(dòng)補(bǔ)償。

1.2.2基于目標(biāo)運(yùn)動(dòng)測量的記憶跟蹤

基于組合慣導(dǎo)傳感器和穩(wěn)定平臺(tái)姿態(tài)測量參數(shù)， 光電偵察瞄準(zhǔn)系統(tǒng)不僅能實(shí)現(xiàn)目標(biāo)定位和運(yùn)動(dòng)補(bǔ)償?shù)裙δ埽?還可以對(duì)目標(biāo)運(yùn)動(dòng)跟蹤測量， 獲取目標(biāo)速度、 運(yùn)動(dòng)方向和運(yùn)動(dòng)軌跡信息， 在跟蹤目標(biāo)遇到被遮擋等干擾狀況， 導(dǎo)致目標(biāo)跟蹤丟失時(shí)， 實(shí)施記憶跟蹤策略， 維持對(duì)目標(biāo)的跟蹤。 其工作原理如圖5所示。

基于目標(biāo)運(yùn)動(dòng)測量獲取的地理坐標(biāo)系下目標(biāo)運(yùn)動(dòng)速度， 解算出光軸坐標(biāo)系下目標(biāo)運(yùn)動(dòng)角速度。 以該角速度作為前饋輸入伺服跟蹤控制回路， 在視頻圖像跟蹤算法給出失跟信息后， 算法自主斷開視頻跟蹤通道， 進(jìn)入記憶跟蹤通道， 控制視軸指向隨預(yù)測的目標(biāo)運(yùn)動(dòng)軌跡轉(zhuǎn)動(dòng)， 實(shí)現(xiàn)被跟蹤運(yùn)動(dòng)和靜止目標(biāo)的記憶跟蹤， 如圖6所示。

激光測照器獲取目標(biāo)距離D， 則目標(biāo)相對(duì)平臺(tái)的角速度ω為

ω=ωzωy=Cωv·vot=01/D0001/Dvot （15）

式中： ωz為方位角速度估計(jì)； ωy為俯仰角速度估計(jì)。 在目標(biāo)被遮擋時(shí)， 以此角速度估計(jì)值作為平臺(tái)穩(wěn)定回路的角速度輸入， 實(shí)現(xiàn)對(duì)目標(biāo)的記憶跟蹤。

2仿真分析與飛行測試

由圖1可知， 本文提出的智能抗遮擋目標(biāo)跟蹤策略主要由載機(jī)運(yùn)動(dòng)補(bǔ)償、 記憶跟蹤、 智能目標(biāo)檢測與視頻跟蹤等多算法構(gòu)成。 本節(jié)對(duì)記憶跟蹤及運(yùn)動(dòng)補(bǔ)償性能、 目標(biāo)檢測與視頻跟蹤性能進(jìn)行仿真分析， 并給出飛行試驗(yàn)結(jié)果。

2.1記憶跟蹤及運(yùn)動(dòng)補(bǔ)償性能仿真分析

光電偵察瞄準(zhǔn)系統(tǒng)對(duì)目標(biāo)進(jìn)行記憶跟蹤的基本原理

其中， 組合慣導(dǎo)傳感器安裝偏差角（ε、? ψ、? θ）作為系統(tǒng)誤差可通過標(biāo)定進(jìn)行校準(zhǔn)補(bǔ)償。 由式（8）， （10）， （12）～（15）計(jì)算坐標(biāo)變換與誤差傳遞模型：

根據(jù)誤差函數(shù)傳遞理論［20］， 當(dāng)上述直接測量參數(shù)相互獨(dú)立時(shí)， 視軸指向轉(zhuǎn)動(dòng)角速率誤差可以表示為

如果抗遮擋時(shí)間為t， 則在遮擋時(shí)間內(nèi)產(chǎn)生的角度誤差Δθ為

式（16）～（19）給出了記憶跟蹤誤差的理論模型。

記憶跟蹤補(bǔ)償角速度用到的參數(shù)及誤差分布如表1所示， 這些參數(shù)的誤差決定了記憶跟蹤和運(yùn)動(dòng)補(bǔ)償精度。 在視頻跟蹤狀態(tài)下， 伺服控制系統(tǒng)工作在載機(jī)運(yùn)動(dòng)補(bǔ)償模式。

采用蒙特卡羅法進(jìn)行記憶跟蹤誤差仿真計(jì)算， 其原理是利用計(jì)算機(jī)產(chǎn)生同分布隨機(jī)數(shù)模擬表1中誤差量疊加到相應(yīng)測量值中， 以概率統(tǒng)計(jì)來模擬系統(tǒng)中的不確定因素進(jìn)行仿真計(jì)算。 設(shè)載機(jī)飛行高度為5 km， 飛行速度為200 km/h， 地面目標(biāo)運(yùn)動(dòng)速度為100 km/h， 目標(biāo)距離D≤10 km， 抗遮擋記憶跟蹤時(shí)間為5 s， 視軸方位角a在0°～360°內(nèi)， 俯仰角b在-60°～60°（向下為0°）內(nèi)， 目標(biāo)和載機(jī)相對(duì)位置在上述角度范圍內(nèi)隨機(jī)生成， 測量誤差根據(jù)表1用蒙特卡羅法生成隨機(jī)誤差序列后代入計(jì)算模型， 進(jìn)行記憶跟蹤仿真， 得到方位、 俯仰跟蹤誤差如圖7所示。

由圖7可知， 記憶跟蹤誤差的分布在接近零中心區(qū)域概率越大， 邊緣區(qū)域概率越小， 服從正態(tài)分布， 誤差的期望E（Δθy）， E（Δθz）和標(biāo)準(zhǔn)差σ（Δθy）， σ（Δθz）統(tǒng)計(jì)結(jié)果如下：

設(shè)成像系統(tǒng)視場角為（α， β）， 像素分辨率為（m， n）， 跟蹤搜索區(qū)大小為（p， q）， 則重捕獲時(shí)允許的最大記憶跟蹤誤差為Δθmax為

系統(tǒng)的可見光視場為1.1°×0.6°， 分辨率為1 920×1 080， 紅外視場為1.1°×0.88°， 分辨率為640×512， 跟蹤搜索區(qū)為288×228， 上述參數(shù)代入式（21）得到可見光重捕允許最大誤差為（0.17°， 0.13°）， 紅外重捕允許最大誤差為（0.5°， 0.39°）， 均大于記憶跟蹤誤差3σ（Δθy）和3σ（Δθz）值。 表明遮擋結(jié)束后， 目標(biāo)仍保持在視頻跟蹤算法的搜索區(qū)域內(nèi)， 能夠可靠重新捕獲目標(biāo)。

2.2視頻圖像跟蹤性能仿真分析

光電成像傳感器、 視頻跟蹤器、 伺服控制及穩(wěn)定平臺(tái)結(jié)構(gòu)構(gòu)成光電偵察瞄準(zhǔn)系統(tǒng)閉環(huán)跟蹤系統(tǒng)。 基于光電成像傳感器與視頻跟蹤器獲取的目標(biāo)脫靶量， 驅(qū)動(dòng)穩(wěn)定平臺(tái)以一定的角速度跟蹤系統(tǒng)瞄準(zhǔn)線， 并達(dá)到所要求的穩(wěn)態(tài)和動(dòng)態(tài)性能指標(biāo)。 影響伺服系統(tǒng)性能的主要因素是跟蹤回路系統(tǒng)的帶寬和開環(huán)增益等。

伺服跟蹤控制系統(tǒng)采用雙環(huán)設(shè)計(jì)， 內(nèi)環(huán)為角速率穩(wěn)定回路， 外環(huán)為角位置跟蹤回路。 采用誤差反饋+前饋速度補(bǔ)償控制算法［21］提高系統(tǒng)跟蹤精度， 如圖8所示。

由于圖像跟蹤器誤差信號(hào)輸出通常有至少一幀的延遲， 帶來開環(huán)放大系數(shù)下降， 開環(huán)截止頻率和系統(tǒng)帶寬變小， 導(dǎo)致跟蹤精度降低， 采用視頻延時(shí)自適應(yīng)補(bǔ)償及前饋補(bǔ)償技術(shù)， 提升控制系統(tǒng)帶寬。 設(shè)載機(jī)飛行高度為5 km， 飛行速度為200 km/h， 建立數(shù)學(xué)仿真模型如圖9所示， 方位和俯仰跟蹤誤差仿真結(jié)果如圖10所示。

在該飛行條件下， 方位跟蹤誤差小于74 μrad， 俯仰跟蹤誤差小于84 μrad， 可以滿足目標(biāo)測量定位和瞄準(zhǔn)引導(dǎo)的應(yīng)用需求。

2.3跟蹤抗干擾能力飛行測試

本文提出的智能目標(biāo)跟蹤策略裝載于某型機(jī)載光電偵察瞄準(zhǔn)系統(tǒng)， 對(duì)跟蹤策略的環(huán)境適應(yīng)性及抗干擾能力進(jìn)行了飛行試驗(yàn)測試。 載機(jī)飛行高度5 km， 飛行速度200 km/h， 對(duì)公路上行駛的車輛進(jìn)行自動(dòng)跟蹤能力測試， 車輛行駛速度為100 km/h。 選擇具有高架橋梁的公路區(qū)域， 并且在公路上相隔一定距離設(shè)置相似目標(biāo)（同型車輛）、 煙霧釋放裝置等干擾場景， 如圖11所示。

載機(jī)飛行到達(dá)A點(diǎn)（距目標(biāo)區(qū)域約10 km左右）前調(diào)節(jié)可見光或者紅外傳感器調(diào)整到合適的視場清晰成像， 并啟動(dòng)智能目標(biāo)檢測模式， 對(duì)公路上的車輛進(jìn)行智能檢測并自主捕獲目標(biāo)， 進(jìn)入自動(dòng)跟蹤模式。 跟蹤中的目標(biāo)車輛分別在C， E， F點(diǎn)開始行駛穿過煙霧遮擋區(qū)域、 相似目標(biāo)干擾區(qū)域和高架橋梁。

在車輛自動(dòng)跟蹤中， 智能跟蹤模塊實(shí)時(shí)獲取目標(biāo)距離參數(shù)、 載機(jī)位置、 航姿角及瞄準(zhǔn)線指向參數(shù)， 解算出車輛行駛速度和方向， 并對(duì)車輛運(yùn)動(dòng)特征進(jìn)行學(xué)習(xí)記憶。 當(dāng)車輛進(jìn)入干擾區(qū)域（穿越煙霧、 車輛和高架橋遮擋）時(shí)， 視頻跟蹤算法自主給出失跟標(biāo)識(shí)， 并轉(zhuǎn)入記憶跟蹤模式； 待車輛穿出干擾區(qū)域， 視頻跟蹤算法智能搜索檢測并自動(dòng)捕獲跟蹤車輛。

試驗(yàn)設(shè)置不同航線、 不同場景對(duì)可見光和紅外傳感器成像目標(biāo)進(jìn)行自動(dòng)跟蹤及抗干擾能力測試。 經(jīng)過多個(gè)飛行架次的試驗(yàn)結(jié)果表明， 基于本文提出的智能目標(biāo)跟蹤策略能夠有效對(duì)抗相似目標(biāo)、 煙霧及橋梁遮擋等干擾， 實(shí)現(xiàn)全動(dòng)態(tài)復(fù)雜環(huán)境條件下的目標(biāo)穩(wěn)健持久跟蹤。 圖12給出了車輛穿行、 煙霧及橋梁遮擋干擾情況下目標(biāo)跟蹤視頻截圖。

3結(jié)束語

“物競天擇、 適者生存”。 為了提高光電偵察瞄準(zhǔn)系統(tǒng)在復(fù)雜環(huán)境下自主目標(biāo)跟蹤能力， 提升光電偵察瞄準(zhǔn)系統(tǒng)對(duì)武器體系貢獻(xiàn)率和作戰(zhàn)效能， 必須提升系統(tǒng)的智能化， 智能化發(fā)展是光電偵察瞄準(zhǔn)系統(tǒng)的必然趨勢。

隨著任務(wù)需求發(fā)展、 技術(shù)進(jìn)步及小型化設(shè)計(jì)能力提高， 光電偵察瞄準(zhǔn)系統(tǒng)集成的傳感器種類和數(shù)量愈來愈多， 能夠獲取目標(biāo)場景及系統(tǒng)狀態(tài)信息的數(shù)據(jù)愈來愈豐富。 如何對(duì)獲取的異構(gòu)多源信息進(jìn)行有效的綜合處理和分析歸納， 形成對(duì)目標(biāo)場景變化規(guī)律及環(huán)境態(tài)勢的認(rèn)知， 進(jìn)而自主生成最佳目標(biāo)跟蹤策略， 是提升系統(tǒng)智能化的關(guān)鍵。 本文提出的基于多源信息綜合、 多算法協(xié)同的智能目標(biāo)跟蹤策略， 有效提升了系統(tǒng)在“全動(dòng)態(tài)場景運(yùn)動(dòng)目標(biāo)的快速檢測捕獲、 持久韌性跟蹤、 目標(biāo)被干擾遮斷時(shí)視軸指向穩(wěn)定及目標(biāo)出現(xiàn)后再捕獲”等方面的性能， 提升了系統(tǒng)使用效能。

圖12目標(biāo)跟蹤抗干擾飛行試驗(yàn)視頻截圖

Fig.12Antijamming flight test results of intelligent target tracking strategy

機(jī)器學(xué)習(xí)是指從有限的觀測數(shù)據(jù)中學(xué)習(xí)出具有一般性的規(guī)律， 并利用這些規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測的方法。 機(jī)器學(xué)習(xí)［22-23］已成為當(dāng)前系統(tǒng)智能化技術(shù)研究的主要方向， 其成功的先決條件是“大數(shù)據(jù)、 好算法、 強(qiáng)算力”。 對(duì)于機(jī)載光電偵察瞄準(zhǔn)系統(tǒng)應(yīng)用領(lǐng)域，? 存在“用于訓(xùn)練的樣本數(shù)據(jù)少、 算法實(shí)時(shí)性要求高、 系統(tǒng)尺寸重量小”等約束條件， 小樣本學(xué)習(xí)能力、 算法泛化遷移能力、 在線自主學(xué)習(xí)能力、 低復(fù)雜度高效算法、 超算力AI片上系統(tǒng)等已成為系統(tǒng)智能化發(fā)展的關(guān)鍵技術(shù)。

參考文獻(xiàn)：

［1］ Bolme D S， Beveridge J R， Draper B A， et al. Visual Object Tracking Using Adaptive Correlation Filters［C］∥ Computer Society Conference on Computer Vision and Pattern Recognition， 2010： 2544-2550.

［2］ Henriques J F， Caseiro R， Martins P， et al. Exploiting the Circulant Structure of TrackingbyDetection with Kernels［C］∥12th European Conference on Computer Vision， 2012： 702-715.

［3］ Henriques J F， Caseiro R， Martins P， et al. HighSpeed Tracking with Kernelized Correlation Filters［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596.

［4］ Galoogahi H K， Fagg A， Lucey S. Learning BackgroundAware Correlation Filters for Visual Tracking［C］∥International Conference on Computer Vision， 2017： 1144-1152.

［5］ Li Y， Zhu J K. A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration［C］∥European Conference on Computer Vision， 2014： 254-265.

［6］ 張微， 康寶生. 相關(guān)濾波目標(biāo)跟蹤進(jìn)展綜述［J］. 中國圖象圖形學(xué)報(bào)， 2017， 22（8）： 1017-1033.

Zhang Wei， Kang Baosheng. Recent Advances in Correlation FilterBased Object Tracking： A Review［J］. Journal of Image and Graphics， 2017， 22（8）： 1017-1033.（in Chinese）

［7］ 葛寶義， 左憲章， 胡永江. 視覺目標(biāo)跟蹤方法研究綜述［J］. 中國圖象圖形學(xué)報(bào)， 2018， 23（8）： 1091-1107.

Ge Baoyi， Zuo Xianzhang， Hu Yongjiang. Review of Visual Object Tracking Technology［J］. Journal of Image and Graphics， 2018， 23（8）： 1091-1107.（in Chinese）

［8］ 黃巍， 袁亮， 張建杰， 等. 抗遮擋與尺度自適應(yīng)的長時(shí)間目標(biāo)跟蹤算法［J］. 電光與控制， 2021， 28（10）： 44-48.

Huang Wei， Yuan Liang， Zhang Jianjie， et al. An AntiOcclusion and ScaleAdaptive LongTime Target Tracking Algorithm［J］. Electronics Optics ＆ Control， 2021， 28（10）： 44-48.（in Chinese）

［9］ Wang M M， Liu Y， Huang Z Y. Large Margin Object Tracking with Circulant Feature Maps［C］∥ IEEE Conference on Computer Vision and Pattern Recognition， 2017： 4800-4808.

［10］ Danelljan M， Robinson A， Shahbaz Khan F， et al. Beyond Correlation Filters： Learning Continuous Convolution Operators for Visual Tracking［C］∥European Conference on Computer Vision， 2016： 472-488.

［11］ Danelljan M， Bhat G， Khan F S， et al. ECO： Efficient Convolution Operators for Tracking ［C］∥ IEEE Conference on Computer Vision and Pattern Recognition， 2017： 6638-6646.

［12］ Ma C， Huang J B， Yang X K， et al. Hierarchical Convolutional Features for Visual Tracking［C］∥International Conference on Computer Vision， 2015： 3074-3082.

［13］ Cui Z， Xiao S T， Feng J S， et al. Recurrently TargetAttending Tracking［C］∥ IEEE Conference on Computer Vision and Pattern Recognition， 2016： 1449-1458.

［14］ Bertinetto L， Valmadre J， Henriques J F， et al. FullyConvolutional Siamese Networks for Object Tracking［C］∥European Conference on Computer Vision， 2016： 850-865.

［15］ 孟琭， 楊旭. 目標(biāo)跟蹤算法綜述［J］. 自動(dòng)化學(xué)報(bào)， 2019， 45（7）： 1244-1260.

Meng Lu， Yang Xu. A Survey of Object Tracking Algorithms［J］. Acta Automatica Sinica， 2019， 45（7）： 1244-1260.（in Chinese）

［16］ 陳旭， 孟朝暉. 基于深度學(xué)習(xí)的目標(biāo)視頻跟蹤算法綜述［J］. 計(jì)算機(jī)系統(tǒng)應(yīng)用， 2019， 28（1）： 1-9.

Chen Xu， Meng Zhaohui. Survey on Video Object Tracking Algorithms Based on Deep Learning［J］. Computer Systems ＆ Applications， 2019， 28（1）： 1-9.（in Chinese）

［17］ Ren S Q， He K M， Girshick R， et al. Object Detection Networks on Convolutional Feature Maps［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（7）： 1476-1481.

［18］ 羅勇. 基于信息融合的運(yùn)動(dòng)平臺(tái)光電跟蹤控制技術(shù)研究［D］. 成都： 中國科學(xué)院大學(xué)（中國科學(xué)院光電技術(shù)研究所）， 2019.

Luo Yong. Information Fusion Based Research on OptoElectronical Tracking Control on Moving Platform［D］. Chengdu： Institute of Optics and Electronics， Chinese Academy of Sciences， 2019. （in Chinese）

［19］ Yao R， Xia S X， Shen F M， et al. Exploiting Spatial Structure from Parts for Adaptive Kernelized Correlation Filter Tracker［J］. IEEE Signal Processing Letters， 2016， 23（5）： 658-662.

［20］ 袁峰， 李凱， 張曉琳. 誤差理論與數(shù)據(jù)處理［M］. 2版. 哈爾濱： 哈爾濱工業(yè)大學(xué)出版社， 2020： 77-85.

Yuan Feng， Li Kai， Zhang Xiaolin. Error Theory and Data Processing［M］. 2nd ed. Harbin： Harbin Institute of Technology Press， 2020： 77-85.（in Chinese）

［21］ 呂明明， 侯潤民， 柯于峰， 等. 光電跟蹤平臺(tái)脫靶量滯后補(bǔ)償方法［J］. 西安交通大學(xué)學(xué)報(bào)， 2019， 53（11）： 141-147.

Lü Mingming， Hou Runmin， Ke Yufeng， et al. Compensation Method for Miss Distance TimeDelay of ElectroOptical Tracking Platform［J］. Journal of Xian Jiaotong University， 2019， 53（11）： 141-147.（in Chinese）

［22］ 邱錫鵬. 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)［M］. 北京： 機(jī)械工業(yè)出版社， 2020： 171-175.

Qiu Xipeng. Neural Networks and Deep Learning［M］. Beijing： China Machine Press， 2020： 171-175.（in Chinese）

［23］ 張學(xué)工， 汪小我. 模式識(shí)別： 模式識(shí)別與機(jī)器學(xué)習(xí)［M］. 北京： 清華大學(xué)出版社， 2021.

Zhang Xuegong， Wang Xiaowo. Pattern Recognition： Pattern Recognition & Machine Learning［M］. Beijing： Tsinghua University Press， 2021.（in Chinese）

Application Research on AntiOcclusion Target Tracking Strategy Based on IMU and Video Image Information Synthesis in Airborne ElectroOptical Reconnaissance and Aiming System

Ji Shupeng1，2， Liu Zhiguang2*， Qu Jifeng2， Xu Jianzheng2， Li Tonghai2

（1. China Airborne Missile Academy， Luoyang 471009， China;2. CAMA （Luoyang） Measurements & Controls Co. Ltd， Luoyang 471009， China）

Abstract： Target tracking is a core working mode of airborne photoelectric reconnaissance and aiming system， and its performance directly determines the mission efficiency of the airborne system. Aiming at the outstanding problems and technical difficulties in the application of target tracking， according to the multisensor configuration and application characteristics of the system， an intelligent target tracking strategy based on inertial measurement and video image information fusion is proposed， which integrates multidimensional information such as inertial navigation， motion measurement， servo control， geography and image coordinates. Simulation analysis and flight test show that the strategy can effectively improve the antijamming performance of target tracking， realize the robust and persistent target tracking in full dynamic complex scenes， and improve the combat ability of reconnaissance and surveillance， target positioning， weapon guidance of the airborne system.

Key words： photoelectric reconnaissance and aiming system；? information fusion； inertial measurement； video image； deep learning；? target tracking;? antiocclusion; intelligent