基于ARM和DSP空中運動目標實時跟蹤系統(tǒng)研究

王 永，熊顯名，李小勇

(1.桂林電子科技大學(xué) 電子工程與自動化學(xué)院，廣西 桂林 541004；2.廣西交通科學(xué)研究院 研發(fā)部，廣西 南寧 530007)

基于ARM和DSP空中運動目標實時跟蹤系統(tǒng)研究

王 永1，熊顯名1，李小勇2

(1.桂林電子科技大學(xué) 電子工程與自動化學(xué)院，廣西 桂林 541004；2.廣西交通科學(xué)研究院 研發(fā)部，廣西 南寧 530007)

對空中目標物體實時跟蹤目前主要采用雷達探測的方法，但時常會受到電磁場與電磁波的干擾，降低了探測的準確性，為解決此類問題，提出了一種基于空中視覺實時跟蹤系統(tǒng)的解決方案。該方案適用于小范圍空中動態(tài)物體的跟蹤，包括動態(tài)目標的差值提取，二值圖像的濾波和模板圖像的實時更新，以及動態(tài)目標的特征提取、云臺控制。為提高系統(tǒng)的準確檢測性，提出了一種基于改進的動態(tài)模板匹配與幀間差分相結(jié)合的空中目標檢測方法。該方法有效地解決了電磁場干擾、環(huán)境變化使動態(tài)目標無法捕捉的問題，根據(jù)實驗表明，該系統(tǒng)能夠很好地檢測到空中動態(tài)物體，具有很好的魯棒性、實時性和清晰度。

空中視覺；云臺控制；動態(tài)模板匹配；幀間差分；目標檢測

目前，對空中目標動態(tài)物體的實時跟蹤主要采用雷達探測方法。本系統(tǒng)不同于常規(guī)的雷達監(jiān)測系統(tǒng)，空中視頻跟蹤系統(tǒng)具有高精度、隱蔽性、直觀性、抗電子干擾等優(yōu)點，使其在軍事上得到廣泛應(yīng)用。在對空中飛行目標如飛機和導(dǎo)彈的捕獲、跟蹤、打擊過程中，離不開具備高精度、高速度的圖像處理技術(shù)的探測跟蹤設(shè)備。

對空中動態(tài)目標的跟蹤可實時獲取目標的動態(tài)信息，目標在空中的相對位置和動態(tài)目標的相對面積以及目標的方位角等信息。對空中目標跟蹤的根本核心是對動態(tài)目標的提取[1-3]，根據(jù)提取的動態(tài)目標來確定目標的位置信息，求取目標物體與中心點的偏差值，作為云臺控制器的輸入?yún)?shù)控制云臺的轉(zhuǎn)動將動態(tài)物體處于視場的中心位置。對運動目標跟蹤的研究主要分為人工神經(jīng)網(wǎng)絡(luò)和圖像處理的方法，由于人工神經(jīng)網(wǎng)絡(luò)過于復(fù)雜，所以常用圖像處理的方法來對動態(tài)目標進行跟蹤，現(xiàn)有的比較流行的方法有光流法、背景差分法、幀間差分法、模板匹配法，但光流法[4]三維物理結(jié)構(gòu)信息量大，算法復(fù)雜，耗時太長，背景差分法和幀間差分法結(jié)構(gòu)簡單，程序計算量小，能夠快速得到目標物體的輪廓，但背景差分法[5]受光線強度，背景變化的影響比較大，由靜止到運動會出現(xiàn)“鬼影”現(xiàn)象。幀間差分法[6]不需要建模速度非?？?，能夠克服光線的影響，但是檢測閾值需要人工設(shè)定。動態(tài)模板匹配法[7]雖然能夠準確得到動態(tài)目標物體，但需要提前設(shè)置模板，為了快速得到精確的動態(tài)物體在空中的位置，克服光線對物體的影響，本系統(tǒng)將幀間差分法與動態(tài)模板匹配法有機地結(jié)合起來，實現(xiàn)它們各自的優(yōu)點，以實現(xiàn)精確捕捉。

1 系統(tǒng)的設(shè)計與實現(xiàn)

系統(tǒng)由CCD攝像機、圖像處理模塊(DM642)、控制模塊(STM32)、驅(qū)動模塊、云臺以及顯示模塊組成。系統(tǒng)整體結(jié)構(gòu)框圖如圖1所示。硬件實物如圖2所示。

圖1 系統(tǒng)整體結(jié)構(gòu)框圖

圖2 系統(tǒng)硬件實物圖(照片)

系統(tǒng)將CCD采集到的視頻序列經(jīng)過DSP(DM642視頻處理專用芯片具有極高的處理速度)[8-9]處理得到動態(tài)目標，完成目標檢測與識別，將目標在視場的二值圖像通過高速網(wǎng)絡(luò)實時傳輸給ARM(STM32具有網(wǎng)絡(luò)傳輸及顯示、控制能力強的特點)[10]，計算出目標在視場中形心坐標與視場中心坐標的偏差，輸出給控制云臺，以使目標始終保持在視場中心附近，同時將圖像信息通過顯示模塊進行顯示并進行存儲，本系統(tǒng)將DSP與ARM相結(jié)合，發(fā)揮它們各自的優(yōu)點，使系統(tǒng)整體處理速度更快，更加穩(wěn)定，達到實時性。

具體程序?qū)崿F(xiàn)分為兩部分，由DSP實現(xiàn)目標物體的動態(tài)檢測、識別與圖像的傳輸，另一部分由ARM實現(xiàn)，主要是對接收到的只含有目標物體的圖像進行分析，提取特征值，控制云臺與顯示存儲功能。

系統(tǒng)的程序流程圖如圖3所示。實現(xiàn)步驟如下：

1)首先系統(tǒng)進行初始化，系統(tǒng)將采集到的圖像幀與幀做差，根據(jù)最大類幀間方差求得閾值，從而得到二值圖像。

2)將得到的二值圖像進行濾波與開運算，去除噪聲帶來的亮點，經(jīng)過腐蝕和銳化算法，得到清晰的動態(tài)物體的輪廓。

3)計算出形心位置，以形心為中心選取合適的矩形區(qū)域作為下一幀模板匹配算法模板，而后續(xù)的目標檢測均采用模板匹配法，從而得到運動目標物體。再根據(jù)閾值得到二值圖像與幀間差分法相與開運算，得到清晰的二值圖像，判斷與之前的相似度，如果太小重新采集，這樣避免幀間錯位現(xiàn)象。

4)根據(jù)二值圖像運算得到形心與視場中心的距離，計算匹配區(qū)域，同時通過云臺控制算法，控制云臺的仰俯、旋轉(zhuǎn)，使得動態(tài)物體的形心在視場的中心附近。

圖3 程序流程圖

2 目標檢測與跟蹤的實現(xiàn)

2.1 目標檢測的實現(xiàn)

首先采用最大類間方差閾值分割法[11]，通過初始的閾值將圖像分割，然后計算出最佳的分割閾值T。用幀間差分法初步的找到動態(tài)目標物體，在檢測范圍內(nèi)出現(xiàn)動態(tài)物體時，幀與幀之間有很大的區(qū)別，做差后得到亮度差的絕對值，然后判斷是否大于閾值來分析動態(tài)物體的輪廓，第k幀圖像與k+1幀圖像變化表示如下

(1)

式中：T為二值化圖像的閾值，為“1”的部分是前后兩幀灰度值變化的部分，“0”的部分為兩幀圖像不變化的部分，根據(jù)閾值的不同得到的二值圖像不同，本系統(tǒng)采用了最大類間方差獲得閾值T，將獲得的B(i，j)作為模板圖像，模板圖像根據(jù)幀間差分不斷地進行更新，解決了模板更新實時性的問題，避免了目標姿態(tài)變化而帶來匹配失敗的問題，如圖4～圖5所示。

圖4 二值圖像

圖5 更新的二值圖

所得到的圖像B(i，j)，即匹配目標所在的圖像灰度，圖像大小為M×N，根據(jù)模板匹配算法，將模板圖像在需要匹配圖像中移動，求取當前圖像像素點與模板的絕對值[12]

(2)

(3)

這樣能夠大大減少匹配的運算量[13]，使檢測更加精準，避免了不必要的運算，根據(jù)匹配結(jié)果得到的圖像F(i，j)與B(i，j)相與再開運算，得到精確的運動目標，避免了當前幀不匹配的問題，表達式如下

DG(i,j)=F(i,j)&B(i,j)

(4)

(5)

得到的二值圖像BP(i,j)如圖6～圖7所示。

圖6 第245幀原圖及轉(zhuǎn)化的二值圖像

圖7 第263幀原圖及轉(zhuǎn)化的二值圖像

2.2 云臺跟蹤算法的實現(xiàn)

根據(jù)求得的動態(tài)目標物體的二值圖像，很容易確定形心做視場中的位置，由上可知為(Xc,Yc)視場中心點位置為(P,O)，可得到形心坐標與視場中心位置的偏差值，即Δx=Xc-O，Δy=Yc，假設(shè)本系統(tǒng)的云臺轉(zhuǎn)速和仰俯速度固定，設(shè)為k，v，則可得到

(6)

式中：tx和ty分別為云臺上下、左右移動Δx，Δy像素間距所用的時間。筆者將采集到的當前視場建立坐標系，由于視場是變動的，所以偏差是根據(jù)每幀圖像進行實時更新的。計算當前位置的圖像形心坐標與視場中心位置的偏差。根據(jù)偏差來計算移動的時間作為云臺的啟停信號。使形心始終向視場中心靠近。經(jīng)過反復(fù)試驗可知，能夠很好地實現(xiàn)跟蹤，試驗結(jié)果如圖8～圖9所示。

圖8 云臺移動前幀圖

圖9 云臺移動后幀圖

3 實驗結(jié)果分析

本實驗使用遙控飛機來模擬空中物體，系統(tǒng)對遙控飛機進行捕捉，圖10為強電磁場干擾時捕捉最終屏幕顯示圖所對應(yīng)的二值圖像如圖11所示。

圖10 強電磁場干擾時捕捉最終屏幕顯示圖

圖11 圖10所對應(yīng)的二值圖像

根據(jù)圖11a～11f可知，系統(tǒng)能夠很好地跟蹤捕捉遙控飛機，顏色變化淺的地方，稍微有點偏差，但是偏差很小，查看二值化圖像可知，系統(tǒng)能夠精確檢測到動態(tài)目標，動態(tài)模板更新比較精確，動態(tài)目標輪廓比較清晰，使后續(xù)圖像處理，特征值的提取更加精確，在存在強電磁場的情況下并沒有影響系統(tǒng)對空中目標的撲捉，很好地解決了雷達撲捉動態(tài)物體受強電磁場干擾的問題。

4 總結(jié)

本系統(tǒng)采用DM642與STM3為核心的系統(tǒng)硬件平臺，能夠滿足系統(tǒng)的實時性與穩(wěn)定性的要求。采用幀間差分圖像預(yù)處理，通過中值濾波消除噪聲對圖像的影響，為后續(xù)的模板匹配、特征提取、移動云臺做準備。利用幀間差分獲得的圖像對模板進行實時更新，提高了模板的匹配度，防止了目標姿態(tài)改變而帶來的匹配錯誤，提高了對目標檢測的準確性。根據(jù)反復(fù)試驗可知，系統(tǒng)能夠很好地捕捉并跟蹤動態(tài)目標物體，而且能夠抵抗干擾，如圖12所示。

圖12 跟蹤捕捉結(jié)果圖

[1] 劉宏鼎，秦世引.基于圖像特征的運動目標識別與伺服跟蹤[J].儀器儀表學(xué)報，2008，29(3)：644-648.

[2] 杜宇人，周愛軍.一種基于視頻圖像的運動車輛跟蹤方法[J].電子測量與儀器學(xué)報，2009，23(3)：45-48.

[3] 楊耿，和衛(wèi)星.運動目標圖像識別與跟蹤系統(tǒng)的研究[J].計算機測量與控制.2005，13(3)：267-269.

[4] 施家棟，王建中，王紅茹. 基于流光的人體運動實時檢測方法[J].北京理工大學(xué)學(xué)報報，2008，28(9)：794-797.

[5] 吳凌霄，林晨，徐福海等.基于背景差分的車輛計數(shù)方法的研究[J].自動化技術(shù)與應(yīng)用，2011(30)：72-75.

[6] 馮堯文. 基于幀間差分的運動目標穩(wěn)健檢測方法[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)，2011.

[7] 逯新華，史忠科.基于動態(tài)模板匹配的空中運動目標檢測與跟蹤控制[J].電子測量與儀器學(xué)報，2010，24(10)：935-941.

[8] 許永輝，楊京禮，林連雷. TMS320DM642 DSP原理與應(yīng)用實踐[M].北京：電子工業(yè)出版社，2012.

[9] 韋金辰，李剛，王臣業(yè)，等. 零點起步 TMS320C6000系列DSP原理與應(yīng)用系統(tǒng)設(shè)計[M]. 北京：機械工業(yè)出版社，2012.

[10] 廖義奎. Cortex-M3之STM32嵌入式系統(tǒng)[M].北京：中國電力出版社，2012.

[11] 李敏，羅紅艷，鄭小林，等. 一種改進的最大類間方差圖像分割法[J].南京理工大學(xué)學(xué)報，2012，36(2)：22-27.

[12] 劉正君，李琦，王騏. 基于特征選擇算法的相干激光雷達目標識別[J].中國激光，2013，40(8)：1-9.

[13] 王妍，王向軍.低對比度條件下的快速相關(guān)匹配算法[J].紅外與激光工程，2006，35(10)：89-92.

王 永(1986— )，碩士生，主研測試計量技術(shù)及儀器，為本文通訊作者；

熊顯名(1964— )，碩士生導(dǎo)師，研究員，主研光電檢測；

李小勇(1987— )，碩士生，主研圖像處理及嵌入式。

責(zé)任編輯：閆雯雯

首款全系統(tǒng)多核導(dǎo)航定位芯片面世

近日，“北斗星通”發(fā)布了全球首款全系統(tǒng)多核高精度導(dǎo)航定位系統(tǒng)級芯片“NebulasII”。該芯片率先在高精度領(lǐng)域采用55 nm低功耗工藝和完全自主知識產(chǎn)權(quán)技術(shù)，具有全系統(tǒng)、抗干擾、高輸出率等特性，可實現(xiàn)高精度全球衛(wèi)星導(dǎo)航系統(tǒng)(GNSS)測量儀器小型化。它集小面積、抗干擾、多頻點等優(yōu)點，能夠涵蓋北斗、GPS等四大導(dǎo)航系統(tǒng)的12個頻點，可對抗數(shù)十個單音干擾，支持毫米級測量精度。

Research on Aerial Object Dynamic Capture System Based on DSP and ARM

WANG Yong1，XIONG Xianming1，LI Xiaoyong2

(1.SchoolofElectricalEngineeringandAutomation，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004，China；2.DevelopmentDepartmentofGuangxiTransportationResearchInstitute，Nanning530007，China)

At present， the mainly method of real-time tracking to air targets is radar detection. But usually，this method will be affected by interference of electromagnetic field and electromagnetic. So the accuracy of the detection will be decrease. To solve such problems， a solution is put forward which based on air visual real-time tracking .The scheme is suitable for small range of air dynamic object tracking， including the extraction of dynamic target’s difference， the filtering of binary image， the real-time updates of template image， the feature extraction of dynamic target， and the cloud platform control. For increasing accuracy of the system’s detectability， an air target detection’s method is proposed what combine matching dynamic template which based on the improved one and difference between frames. This method will solve the electromagnetic interference effectively and the problem of dynamic target can’t be captured because of circumstances change. The experiment results show that the system can detect air dynamic object very well， and it possess good robustness， realtime performance and sharpness.

air visual； cloud platform control； matching dynamic template； difference between frames； air target detection

【本文獻信息】王永，熊顯名，李小勇.基于ARM和DSP空中運動目標實時跟蹤系統(tǒng)研究[J].電視技術(shù),2015，39(11).

廣西研究生教育創(chuàng)新計劃項目(2011105950804M30)；廣西自然科學(xué)基金項目(2013GXNSFDA019002；2014GXNSFGA118003)；廣西科學(xué)研究與技術(shù)開發(fā)項目(桂科合1346010-5)；桂林市科學(xué)研究與技術(shù)開發(fā)項目(20130122-1)；廣西教育廳重點項目(ZD2014057)

TN911.7

A

10.16280/j.videoe.2015.11.016

2014-10-18