一種實(shí)時(shí)圖像跟蹤處理系統(tǒng)實(shí)現(xiàn)技術(shù)研究

賀 瑩，王 闖

(中航工業(yè)西安航空計(jì)算技術(shù)研究所，陜西 西安，710065)

?

一種實(shí)時(shí)圖像跟蹤處理系統(tǒng)實(shí)現(xiàn)技術(shù)研究

賀 瑩，王 闖

(中航工業(yè)西安航空計(jì)算技術(shù)研究所，陜西 西安，710065)

實(shí)時(shí)圖像跟蹤處理能力是嵌入式系統(tǒng)中影響系統(tǒng)性能的核心因素。提出一種小型化低功耗的實(shí)時(shí)圖像跟蹤處理系統(tǒng)的設(shè)計(jì)方法，利用FPGA硬件化并行化處理的特性完成外部紅外及白光相機(jī)圖像采集控制及濾波預(yù)處理，利用DM648處理器實(shí)現(xiàn)了一種基于概率密度統(tǒng)計(jì)的目標(biāo)跟蹤算法實(shí)現(xiàn)對(duì)指定目標(biāo)的持續(xù)跟蹤，使用RS422串行總線接收主控端發(fā)送的控制指令并實(shí)時(shí)發(fā)送檢測(cè)出的目標(biāo)位置信息。系統(tǒng)采用多功能子模塊疊層的架構(gòu)保證系統(tǒng)具有較小的體積，并實(shí)現(xiàn)了50 f/s的圖像處理速度，保證了圖像跟蹤的實(shí)時(shí)性。

現(xiàn)場(chǎng)可編程門陣列；目標(biāo)跟蹤；實(shí)時(shí)圖像處理

0 引言

實(shí)時(shí)圖像跟蹤處理技術(shù)在導(dǎo)彈末端制導(dǎo)、火炮光瞄控制器、特種狙擊槍目標(biāo)自動(dòng)鎖定等領(lǐng)域中有著廣泛的應(yīng)用，但是視頻圖像由于信號(hào)維度高，對(duì)其處理所需要的計(jì)算復(fù)雜度高，故在目標(biāo)跟蹤系統(tǒng)，尤其是嵌入式實(shí)時(shí)目標(biāo)跟蹤系統(tǒng)中，對(duì)圖像序列的實(shí)時(shí)處理能力一直是影響系統(tǒng)性能的核心因素[1]。

本文提出一種小型化低功耗的實(shí)時(shí)圖像跟蹤處理系統(tǒng)的設(shè)計(jì)方法，利用FPGA硬件化并行化處理的特性[2]完成外部紅外及白光相機(jī)圖像采集控制及濾波預(yù)處理，利用DM648處理器實(shí)現(xiàn)了一種基于概率密度統(tǒng)計(jì)的對(duì)指定目標(biāo)進(jìn)行持續(xù)跟蹤的算法，使用RS422串行總線接收主控端發(fā)送的控制指令并實(shí)時(shí)發(fā)送檢測(cè)出的目標(biāo)位置信息。整個(gè)系統(tǒng)實(shí)現(xiàn)了50 f/s的圖像處理速度，保證了圖像跟蹤的實(shí)時(shí)性。同時(shí)，系統(tǒng)采用多功能模塊疊層的架構(gòu)保證系統(tǒng)具有較小的體積。

1 系統(tǒng)結(jié)構(gòu)

實(shí)時(shí)圖像跟蹤處理系統(tǒng)的輸入輸出接口如圖1所示。

圖1 圖像跟蹤處理系統(tǒng)結(jié)構(gòu)圖

系統(tǒng)主要完成以下功能：

(1)白光紅外切換功能：根據(jù)主控板控制指令，選擇白光相機(jī)或紅外相機(jī)的圖像進(jìn)行輸出顯示。

(2)觀察跟蹤切換功能：接收到主控板發(fā)送的鎖定信號(hào)離散量有效時(shí)，由觀察模式轉(zhuǎn)入跟蹤模式；當(dāng)目標(biāo)丟失，跟蹤模塊向主控板發(fā)送跟蹤觀察切換指令時(shí)，由跟蹤模式轉(zhuǎn)入觀察模式。

(3)白光及紅外相機(jī)控制功能：根據(jù)主控板控制指令，對(duì)白光及紅外相機(jī)進(jìn)行手動(dòng)背景校正、手動(dòng)快門校正、極性設(shè)置、圖像對(duì)比度調(diào)節(jié)、圖像亮度調(diào)節(jié)、圖像增強(qiáng)及系統(tǒng)參數(shù)復(fù)位等功能配置。

(4)彩色屏控制功能：根據(jù)主控板控制指令，對(duì)彩色屏進(jìn)行圖像上下翻轉(zhuǎn)、圖像左右翻轉(zhuǎn)、亮度調(diào)節(jié)等配置。

(5)目標(biāo)跟蹤能力：能夠追蹤簡(jiǎn)單或復(fù)雜背景下的運(yùn)動(dòng)目標(biāo)，目標(biāo)丟失后，跟蹤模塊向主控板發(fā)送目標(biāo)脫離指令，并回到觀察模式，重新等待用戶發(fā)送鎖定有效標(biāo)志。

(6)指示目標(biāo)方向功能：當(dāng)在白光相機(jī)2X模式下進(jìn)行跟蹤時(shí)，若指示標(biāo)志(“T”標(biāo))與鎖定標(biāo)志不在一個(gè)畫面上顯示，則顯示“T”標(biāo)所在位置的圖像，并給出鎖定目標(biāo)的位置指示(8個(gè)方向的箭頭)。

2 系統(tǒng)關(guān)鍵技術(shù)

2.1 視頻疊加及處理技術(shù)

系統(tǒng)接收外部?jī)陕芬曨l，1路為3G-SDI高清白光視頻，1路為PAL-D紅外視頻，內(nèi)部產(chǎn)生4路不同狀態(tài)的PAL-D字符疊加視頻，輸出1路PAL-D視頻。

輸出視頻要在紅外和白光源之間進(jìn)行切換，并與4種狀態(tài)的字符顯示模式進(jìn)行疊加；對(duì)于白光視頻，需要使用雙線性插值算法將其由逐行1 920×1 080@50 Hz縮小到720×576的分辨率大小，或根據(jù)指定的坐標(biāo)在其周圍裁剪720×576大小的圖像。

在模塊內(nèi)部根據(jù)BT.656協(xié)議產(chǎn)生四路字符疊加視頻，用以形成四種模式的字符顯示界面，根據(jù)控制指令選擇一路與外視頻采用α疊加算法處理形成輸出視頻。

系統(tǒng)對(duì)外部輸入PAL-D視頻及3G-SDI視頻均設(shè)計(jì)信號(hào)檢測(cè)電路，當(dāng)無(wú)視頻信號(hào)輸入時(shí)，在畫面上以藍(lán)色屏幕警示，以便調(diào)試和故障判斷。

2.2 基于概率密度統(tǒng)計(jì)的目標(biāo)跟蹤算法

根據(jù)設(shè)計(jì)要求，系統(tǒng)要能夠追蹤簡(jiǎn)單或復(fù)雜背景下的運(yùn)動(dòng)目標(biāo)。故需要首先分析并記錄目標(biāo)的特征信息，并對(duì)視頻中每一幀圖像進(jìn)行處理，檢測(cè)出目標(biāo)所在的特征區(qū)域[3-4]。

在圖像跟蹤中常用的算法是光流法和均值漂移算法，考慮算法的復(fù)雜度并根據(jù)本設(shè)計(jì)采用FPGA實(shí)現(xiàn)圖像處理的特點(diǎn)，以目標(biāo)中心周邊20×20矩形區(qū)域的統(tǒng)計(jì)直方圖概率分布為特征，對(duì)視頻中每一幀圖像進(jìn)行匹配運(yùn)算，概率統(tǒng)計(jì)特性最為一致的區(qū)域即為跟蹤目標(biāo)。設(shè)計(jì)出實(shí)時(shí)圖像跟蹤處理算法如下：

(1)利用手動(dòng)方式十字記號(hào)對(duì)準(zhǔn)目標(biāo)區(qū)域，得到當(dāng)前目標(biāo)中心。

(2)提取目標(biāo)感興趣區(qū)域(ROI)，利用該區(qū)域計(jì)算彩色圖像的直方圖函數(shù)。

(3)利用上一步得到的彩色圖像直方圖函數(shù)對(duì)目標(biāo)圖像整體區(qū)域進(jìn)行概率反向投影，得到反投影圖像。

圖2 實(shí)時(shí)圖像跟蹤算法流程

(4)計(jì)算當(dāng)前區(qū)域的概率均值，利用均值漂移的方式得到概率最大的中心區(qū)域，得到新的ROI區(qū)域。

(5)如果沒有得到ROI區(qū)域則認(rèn)為跟蹤失敗，返回步驟(1)重新對(duì)準(zhǔn)目標(biāo)。

(6)認(rèn)為當(dāng)前的ROI區(qū)域?yàn)槟繕?biāo)所在的區(qū)域，完成目標(biāo)跟蹤。

(7)對(duì)下一幀返回步驟(2)進(jìn)行跟蹤。

實(shí)時(shí)圖像跟蹤算法流程如圖2所示。

3 系統(tǒng)詳細(xì)設(shè)計(jì)

系統(tǒng)采用層疊結(jié)構(gòu)設(shè)計(jì)，包含四個(gè)子模塊，分別為圖像處理模塊(IPM)、電源模塊(PSM)、視頻處理模塊(VPM)和輸入輸出接口模塊(IOM)；四個(gè)子模塊之間采用板間連接器連接，生產(chǎn)無(wú)需導(dǎo)線焊接，符合小型化要求。系統(tǒng)結(jié)構(gòu)如圖3所示。

各模塊的簡(jiǎn)單功能介紹及接口關(guān)系如表1所示。

表1 系統(tǒng)子模塊組成及功能說明

3.2 系統(tǒng)工作模式設(shè)計(jì)

系統(tǒng)具有觀察模式和跟蹤模式兩種工作狀態(tài)。系統(tǒng)上電時(shí)，默認(rèn)處于觀察模式。

(1)觀察模式

上電，默認(rèn)白光1X模式輸出(可根據(jù)主控指令在白光1X顯示、白光2X顯示和紅外顯示之間切換)，圖像上疊加角度、方位、距離、氣象信息等字符，顯示鎖定標(biāo)志(符號(hào)為“+”，默認(rèn)為圖像中心，該位置可根據(jù)主控板指令進(jìn)行調(diào)節(jié))。

圖3 圖像跟蹤模塊系統(tǒng)結(jié)構(gòu)圖

(2)跟蹤模式

圖4 圖像跟蹤系統(tǒng)工作過程[4] 范志銘,蘇成悅,鄭俊波,等. FPGA圖像識(shí)別與目標(biāo)跟蹤系統(tǒng)[J]. 微型機(jī)與應(yīng)用, 2014,33(18): 45-47.

當(dāng)檢測(cè)到鎖定信號(hào)的下降沿后進(jìn)入跟蹤模式時(shí)，第一步，記錄鎖定目標(biāo)坐標(biāo)，并在目標(biāo)上將鎖定標(biāo)志變?yōu)?X8紅色“.”,此后，圖像跟蹤模塊要能夠一直跟蹤目標(biāo)，使得鎖定標(biāo)志始終壓住目標(biāo)，并轉(zhuǎn)入第二步；在跟蹤過程中若目標(biāo)脫離鎖定，則向主控板發(fā)送跟蹤觀察切換指令，并返回觀察模式。第二步：主控板發(fā)送指示標(biāo)志顯示指令，在指示坐標(biāo)位置顯示紅色“T”形標(biāo)志。第三步：當(dāng)“T”標(biāo)志與“.”標(biāo)志連續(xù)三幀圖像重合時(shí)，“T”標(biāo)變?yōu)樗{(lán)色，并向主控板發(fā)出目標(biāo)瞄準(zhǔn)信號(hào)(離散量，低有效)，若兩個(gè)標(biāo)志脫離重合但“.”標(biāo)未丟失，則瞄準(zhǔn)信號(hào)置無(wú)效，“T”標(biāo)變?yōu)榧t色，并返回第三步起始狀態(tài)；若目標(biāo)丟失，則置瞄準(zhǔn)信號(hào)無(wú)效，向主控板發(fā)送跟蹤觀察切換指令并返回觀察模式。

圖像跟蹤系統(tǒng)工作過程如圖4所示。

4 結(jié)束語(yǔ)

本文介紹了一種實(shí)時(shí)圖像跟蹤處理系統(tǒng)實(shí)現(xiàn)技術(shù)，充分利用FPGA硬件化并行處理的特性完成多路視頻的采集及預(yù)處理，利用DM648處理器實(shí)現(xiàn)了一種基于概率密度統(tǒng)計(jì)的目標(biāo)跟蹤算法，實(shí)現(xiàn)對(duì)指定目標(biāo)的持續(xù)跟蹤，并達(dá)到了實(shí)時(shí)的處理速度。該系統(tǒng)具有較小的體積和功耗，在安防監(jiān)控及軍工等領(lǐng)域具有廣闊的應(yīng)用前景。

[1] 王闖，史忠科. 實(shí)時(shí)車輛排隊(duì)長(zhǎng)度圖像檢測(cè)系統(tǒng)及FPGA硬件實(shí)現(xiàn)[J].交通運(yùn)輸系統(tǒng)工程與信息, 2012,12(3): 65-72.

[2] 楊欽, 周云飛, 胡永兵. 基于FPGA的視頻圖像采集與顯示系統(tǒng)設(shè)計(jì)[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2013,34(6): 1988-1992.

[3] 陳利杰. 光電成像跟蹤系統(tǒng)的緊密耦合信息處理平臺(tái)技術(shù)研究[D]. 北京: 中國(guó)科學(xué)院大學(xué), 2012.

A fast loading method of TigerSHARC DSP based on FPGA

He Ying, Wang Chuang

(Xi’an Aeronautics Computing Technique Research Institute, AVIC, Xi’an 710065, China)

Real-time image tracking ability is the key factor in the embedded system. This paper presents a method of designing miniaturized low-power real-time image tracking processing system, based on the hardware parallel characteristics of FPGA, which can complete external infrared and white camera image acquisition and filtering.The method adopts DM648 processor to implement a tracking algorithm based on probability density statistics to achieve continuous tracking of the target, receiving control instruction of master and sending the detected real-time position information of target through RS422 serial bus.The system has a small volume by the usage of multi-function structure, and realizes 50 f/s image processing speed and the real-time performance of image tracking.

field programmable gate array (FPGA); target tracking; real-time image processing

TP752.1

A

10.19358/j.issn.1674- 7720.2017.14.014

賀瑩，王闖.一種實(shí)時(shí)圖像跟蹤處理系統(tǒng)實(shí)現(xiàn)技術(shù)研究[J].微型機(jī)與應(yīng)用，2017,36(14)：43-45，48.

2017-02-16)

賀瑩(1986-)，女，碩士，工程師，主要研究方向：計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)、高速信號(hào)處理等。