目標(biāo)二次提取法在高幀頻視頻跟蹤器上的應(yīng)用

李 健,劉歆瀏

(中國(guó)兵器裝備集團(tuán)自動(dòng)化研究所， 四川 綿陽(yáng) 621000)

?

【裝備理論與裝備技術(shù)】

目標(biāo)二次提取法在高幀頻視頻跟蹤器上的應(yīng)用

李 健,劉歆瀏

(中國(guó)兵器裝備集團(tuán)自動(dòng)化研究所， 四川 綿陽(yáng) 621000)

為了提高光電跟蹤系統(tǒng)的目標(biāo)探測(cè)精度和系統(tǒng)響應(yīng)速度，采用基于Camera Link接口的高清高幀頻數(shù)字相機(jī)作為目標(biāo)傳感器，以DSP+FPGA作為核心處理器，采用目標(biāo)二次提取法設(shè)計(jì)出高幀頻視頻跟蹤器；此視頻跟蹤器結(jié)合DSP和FPGA在數(shù)據(jù)處理上的優(yōu)勢(shì),將圖像跟蹤算法進(jìn)行分解，F(xiàn)PGA通過(guò)硬件方式并行流水實(shí)現(xiàn)圖像采集、圖像預(yù)處理、圖像存儲(chǔ)、目標(biāo)一次提取粗定位、圖像疊加與顯示等功能，DSP完成對(duì)目標(biāo)二次準(zhǔn)確提?。唤?jīng)實(shí)驗(yàn)驗(yàn)證,各功能單元達(dá)到預(yù)期效果，所設(shè)計(jì)的視頻跟蹤器圖像處理能力強(qiáng)，滿足實(shí)時(shí)、高精度的要求。

Camera Link；FPGA；DSP；電視跟蹤器

視頻跟蹤器在高速導(dǎo)彈制導(dǎo)、機(jī)載武器系統(tǒng)、星體跟蹤以及工業(yè)自動(dòng)化等領(lǐng)域得到了廣泛的應(yīng)用[1]。視頻跟蹤器接收攝像機(jī)(可見(jiàn)光或紅外)的視頻信息，對(duì)輸入的視頻圖像進(jìn)行采集、存儲(chǔ)、顯示及目標(biāo)探測(cè)處理，實(shí)現(xiàn)對(duì)感興趣的目標(biāo)進(jìn)行識(shí)別及穩(wěn)定跟蹤。早期可見(jiàn)光攝像機(jī)輸出為標(biāo)清PAL制式模擬視頻格，分辨率為720×576。隨著傳感器技術(shù)的不斷發(fā)展，高清攝像機(jī)已很普遍，分辨率達(dá)到1 920×1 080，甚至更高[1]；在高清分辨率下幀頻也達(dá)到數(shù)百幀。此類相機(jī)多采用Camera Link作為輸出接口。攝像機(jī)分辨率和幀頻的提高提升了視頻跟蹤器的探測(cè)跟蹤能力，但更大圖像數(shù)據(jù)對(duì)視頻跟蹤器數(shù)據(jù)處理能力提出了更高的要求。

為了適應(yīng)高清高幀頻相機(jī)的大數(shù)據(jù)量圖像處理，設(shè)計(jì)了一款基于Camera Link接口的高幀頻視頻跟蹤器，此視頻跟蹤器的圖像輸入采用差分?jǐn)?shù)字接口，相比于模擬視頻，圖像數(shù)據(jù)不易受干擾，避免了AD轉(zhuǎn)換造成圖像數(shù)據(jù)損耗和傳輸延遲；同時(shí)，此視頻跟蹤器以FPGA+DSP為核心處理器，綜合FPGA和DSP在數(shù)據(jù)處理方面的優(yōu)勢(shì)，極大提高了跟蹤器的運(yùn)算能力，保證了目標(biāo)探測(cè)跟蹤的實(shí)時(shí)性。

1 Camera Link接口和相機(jī)

Camera Link是一個(gè)工業(yè)高速串口數(shù)據(jù)的連接協(xié)議，是在Channel Link技術(shù)標(biāo)準(zhǔn)的基礎(chǔ)上發(fā)展而來(lái)的，該接口具有開(kāi)放式的接口協(xié)議，使得不同廠家既能保持產(chǎn)品的差異性，又能互相兼容。它在傳統(tǒng)LVDS 傳輸數(shù)據(jù)的基礎(chǔ)上又加載了并轉(zhuǎn)串發(fā)送器和串轉(zhuǎn)并接收器，利用SER/DES(串行化/解串行化)技術(shù)以更高的速度發(fā)送數(shù)據(jù)。

Camera Link標(biāo)準(zhǔn)使用LVDS傳輸技術(shù)，每條鏈路需要2根導(dǎo)線。驅(qū)動(dòng)器接收28個(gè)單端TTL/COMS數(shù)據(jù)信號(hào)和1個(gè)時(shí)鐘信號(hào)，28個(gè)數(shù)據(jù)信號(hào)以7∶1的比值被串行發(fā)送，也就是5 對(duì)LVDS信號(hào)通道上分別傳輸4組LVDS數(shù)據(jù)流和1組LVDS時(shí)鐘信號(hào)，即完成28位數(shù)據(jù)的同步傳輸只需要5對(duì)線。

采用德國(guó)Basler公司生產(chǎn)的acA2000-340 km相機(jī)輸出作為視頻源，對(duì)其進(jìn)行圖像采集、處理、顯示等功能設(shè)計(jì)。相機(jī)參數(shù)：傳感器2 /3英寸，逐行掃描CMOS，有效像素2 048×1 088，像元尺寸5.5 μm×5.5 μm，幀頻配置為280 fps，支持外部電平觸發(fā)或軟件觸發(fā)，鏡頭接口C，供電電壓12 V，數(shù)字視頻輸出格式采用Camera Link Full X8-Y1模式。

2 視頻跟蹤器組成及工作原理

2.1 視頻跟蹤器組成

視頻跟蹤器硬件架構(gòu)如圖1所示，采用altera公司Stratix II系列FPGA及TI公司C6000系列芯片作為系統(tǒng)核心處理器，F(xiàn)PGA和DSP均外接DDR2 SDRAM存儲(chǔ)器用作圖像緩存，Camera Link接口為8tap Full模式，通過(guò)兩個(gè)MDR26連接器與相機(jī)連接，VGA模塊采用ADV7125視頻芯片，F(xiàn)PGA輸出的24位數(shù)字信號(hào)通過(guò)視頻D/A轉(zhuǎn)換成3路RGB模擬信號(hào)提供給VGA顯示終端，用于圖像的實(shí)時(shí)顯示。

2.2 視頻跟蹤器工作原理

視頻跟蹤器工作流程如圖2，高幀頻相機(jī)視頻流通過(guò)Camera Link接口進(jìn)入FPGA后，經(jīng)過(guò)圖像預(yù)處理模塊可抑制圖像噪聲、增強(qiáng)對(duì)比度，得到品質(zhì)較好的待處理圖像；視頻采集模塊一方面將原始高清視頻流進(jìn)行分辨率和幀頻轉(zhuǎn)換以滿足VGA顯示的要求，另一方面采集目標(biāo)跟蹤區(qū)域圖像傳送至DSP；DSP在基于FPGA目標(biāo)一次提取的基礎(chǔ)上進(jìn)行目標(biāo)的二次提取，完成目標(biāo)的二次提取后，DSP將目標(biāo)脫靶量傳回FPGA內(nèi)部的疊加控制器，疊加控制器根據(jù)目標(biāo)脫靶量信息顯示目標(biāo)跟蹤波門及相應(yīng)的字符疊加信息；VGA時(shí)序控制器產(chǎn)生VGA標(biāo)準(zhǔn)時(shí)序信號(hào)用于控制視頻顯示。

圖1 視頻跟蹤器硬件架構(gòu)

圖2 視頻跟蹤器工作流程

3 視頻跟蹤器邏輯及軟件設(shè)計(jì)

3.1 視頻采集與顯示

根據(jù)Camera Link協(xié)議，對(duì)8tap Full模式相機(jī)，LVDS視頻信號(hào)經(jīng)過(guò)轉(zhuǎn)換芯片DS90CR288A后輸出信號(hào)包括8通道并行視頻信號(hào)A、B、C、D、E、F、G、H；視頻同步信號(hào)：行同步信號(hào)LVAL、數(shù)據(jù)有效信號(hào)DVAL、幀同步信號(hào)FVAL以及像素時(shí)鐘PCLK。

FVAL為高電平表示當(dāng)前視頻幀有效，F(xiàn)VAL與LVAL同時(shí)為高電平表示當(dāng)前行輸入有效，F(xiàn)VAL與DVAL 同時(shí)為高電平表示當(dāng)前視頻數(shù)據(jù)有效，視頻數(shù)據(jù)和同步信號(hào)的關(guān)系如圖3所示。

圖3 Camera Link視頻流時(shí)序圖

前面已提到，攝像機(jī)視頻信號(hào)經(jīng)過(guò)轉(zhuǎn)換后，生成8通道并行視頻數(shù)據(jù)。從圖4可以看出，當(dāng)視頻分辨率為2 048×1 088 時(shí)，8個(gè)通道視頻數(shù)據(jù)按列方向依次分布，對(duì)任意一個(gè)視頻通道而言，其分辨率為256×1 088。因此，DVAL信號(hào)一個(gè)周期內(nèi)，其指示數(shù)據(jù)有效的高電平時(shí)間應(yīng)是256個(gè)像素時(shí)鐘周期。

圖4 多通道視頻流格式

視頻采集模塊主要完成兩個(gè)任務(wù)：一是采集跟蹤區(qū)域圖像數(shù)據(jù)存入FPGA片上存儲(chǔ)器并傳送給DSP；二是將原始視頻圖像經(jīng)過(guò)分辨率和幀率轉(zhuǎn)換以適配VGA顯示。不管哪種任務(wù)，采集模塊都應(yīng)先根據(jù)同步信號(hào)FVAL、LVAL、DVAL生成視頻有效行計(jì)數(shù)器、有效列計(jì)數(shù)器、幀計(jì)數(shù)器，其中，行計(jì)數(shù)器范圍為1～1 088，列計(jì)數(shù)器范圍為1～256，利用此計(jì)數(shù)器定位視頻圖像坐標(biāo)。Camera Link視頻數(shù)據(jù)是多通道并行輸出，其采集方式也有別于傳統(tǒng)的逐像素點(diǎn)輸出數(shù)據(jù)的視頻采集。

本設(shè)計(jì)中，攝像機(jī)輸出視頻分辨率為2 048×1 088，VGA顯示器分辨率為1 024×768，為了適配顯示器分辨率且不改變?cè)紙D像比值，對(duì)輸入視頻分別進(jìn)行隔行和隔列抽取得到分辨率為1 024×544的圖像分辨率，顯示端視頻上下用黑色填充，填充區(qū)域用于字符疊加顯示。顯示區(qū)域如圖5所示。

圖5 VGA顯示區(qū)域分配

3.2 目標(biāo)一次提取

目標(biāo)一次提取是基于FPGA完成的，充分利用FPGA處理時(shí)并行流水的特點(diǎn)，在目標(biāo)搜索階段進(jìn)行全幀圖像搜索，在目標(biāo)跟蹤階段對(duì)跟蹤框內(nèi)圖像進(jìn)行目標(biāo)搜索，跟蹤窗位置和大小根據(jù)當(dāng)前工作狀態(tài)通過(guò)DSP解算后自動(dòng)設(shè)定。

進(jìn)行空域目標(biāo)提取的一般思路是先對(duì)輸入圖像求閾值，按此閾值對(duì)圖像進(jìn)行二值化操作，最后對(duì)二值化圖像提取分割出的目標(biāo)并計(jì)算目標(biāo)位置及幾何尺寸。如果目標(biāo)提取算法在DSP上通過(guò)C語(yǔ)言編程實(shí)現(xiàn)，即便將算法優(yōu)化，至少也得緩存一幀圖像才能計(jì)算出目標(biāo)信息。在FPGA上自動(dòng)搜索目標(biāo)時(shí)，通常假設(shè)目標(biāo)一般都比較遠(yuǎn)，目標(biāo)能在視場(chǎng)內(nèi)完全成像，前后兩幀圖像灰度信息變化不大，因此常將當(dāng)前幀圖像求取的閾值用于下一幀圖像的分割，進(jìn)而實(shí)時(shí)地求取二值圖像并獲取目標(biāo)信息，避免了視頻處理中的圖像緩存過(guò)程，也滿足了實(shí)時(shí)性的需要。

基于FPGA的閾值提取基于前后兩幀視頻圖像灰度信息變化不大的假設(shè)，當(dāng)成像發(fā)生突變的時(shí)候，這種處理方式存在潛在隱患，因此，提出了一種改進(jìn)的目標(biāo)提取方法，動(dòng)態(tài)求取閾值，并利用此動(dòng)態(tài)閾值分割并刷新目標(biāo)信息。為簡(jiǎn)化描述，先假設(shè)：搜索窗內(nèi)背景相對(duì)比較單一，目標(biāo)X方向成像≥24像素，視頻信號(hào)目標(biāo)對(duì)比度≥10%，目標(biāo)灰度值>背景灰度值?；诖思僭O(shè)，本文的目標(biāo)提取算法實(shí)現(xiàn)流程如圖6所示。

圖6 動(dòng)態(tài)閾值目標(biāo)提取算法流程

圖6中，diffVal可根據(jù)經(jīng)驗(yàn)設(shè)定(與視頻信號(hào)目標(biāo)對(duì)比度有關(guān))，也可通過(guò)圖像灰度分布自動(dòng)求取，其取值大小代表了目標(biāo)與背景的灰度差值。實(shí)現(xiàn)目標(biāo)一次提取算法時(shí)作了以下假設(shè)，即“目標(biāo)灰度值>背景灰度值”，因此，為了使圖像跟蹤器自動(dòng)地搜索目標(biāo)，應(yīng)增加目標(biāo)與背景灰度統(tǒng)計(jì)模塊(本文不作敘述)，以判定目標(biāo)灰度值比背景灰度值的分布情況，若目標(biāo)灰度值低于背景灰度值，則在算法的輸入端將視頻做反相處理，從而實(shí)現(xiàn)對(duì)亮/暗目標(biāo)的自動(dòng)判斷。本文目標(biāo)提取算法將串行數(shù)據(jù)處理方式運(yùn)用到FPGA的流水處理過(guò)程中，在閾值的動(dòng)態(tài)更新基礎(chǔ)上實(shí)現(xiàn)了目標(biāo)的實(shí)時(shí)提取，省去了圖像二值化過(guò)程，整個(gè)處理過(guò)程與視頻流完全同步。

3.3 目標(biāo)二次提取

在3.2節(jié)中提到一個(gè)假設(shè)，即“目標(biāo)X方向成像≥24像素”。結(jié)合多通道數(shù)據(jù)的特點(diǎn)，當(dāng)滿足“目標(biāo)X方向成像≥24像素”的條件時(shí)，按照8通道計(jì)算，在單通道上X方向的目標(biāo)成像≥3像素，接近單通道目標(biāo)檢測(cè)的最小像素值。因此，在3.2節(jié)的假設(shè)條件下，F(xiàn)PGA對(duì)任意通道進(jìn)行目標(biāo)一次提取均可搜索到目標(biāo)位置，根據(jù)圖5所表示的視頻流數(shù)據(jù)格式很容易換算成全分辨率下的目標(biāo)位置，由于這種提取方式并未考慮到目標(biāo)的多通道邊界關(guān)系，導(dǎo)致目標(biāo)一次提取得到的目標(biāo)信息精度不高。因此，3.2節(jié)的方法只能實(shí)現(xiàn)對(duì)目標(biāo)的粗定位，要得到精度更高的目標(biāo)信息，有必要對(duì)目標(biāo)進(jìn)行二次提取。

在3.1節(jié)中提到，目標(biāo)采集的任務(wù)之一是“采集跟蹤區(qū)域圖像數(shù)據(jù)存入FPGA片上存儲(chǔ)器并傳送給DSP”，跟蹤區(qū)域即在跟蹤狀態(tài)下，目標(biāo)的搜索區(qū)域，此區(qū)域根據(jù)上一幀的目標(biāo)跟蹤位置外推而來(lái)。DSP獲取到全分辨率下的跟蹤區(qū)域的圖像，在3.2節(jié)的目標(biāo)位置引導(dǎo)區(qū)域搜索目標(biāo)，采用形心算法實(shí)現(xiàn)對(duì)目標(biāo)中心和邊界的精確定位。形心算法公式如下所示：

3.4 實(shí)驗(yàn)效果

經(jīng)試驗(yàn)驗(yàn)證，在相機(jī)配置為：分辨率2 048×1 088，幀頻200 Hz，在1.5 km處采用本文所設(shè)計(jì)視頻跟蹤器對(duì)大疆精靈3(尺寸≥50 cm)無(wú)人機(jī)進(jìn)行跟蹤時(shí)，滿足X方向≥24像素，Y方向≥2像素，目標(biāo)像素面積≤1/4視場(chǎng)且目標(biāo)在視場(chǎng)內(nèi)完全成像的條件，可實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的穩(wěn)定跟蹤，跟蹤精度高，實(shí)時(shí)性好，實(shí)驗(yàn)效果如圖7所示。當(dāng)目標(biāo)尺寸過(guò)小(目標(biāo)X方向像素?cái)?shù)≤視頻通道數(shù))時(shí)，目標(biāo)不能在每個(gè)數(shù)據(jù)通道上都能成像，導(dǎo)致目標(biāo)提取時(shí)可能存在信息缺失，目標(biāo)尺寸過(guò)大(目標(biāo)像素面積≥1/2視場(chǎng))時(shí)，目標(biāo)數(shù)據(jù)量過(guò)大，處理的實(shí)時(shí)性差。

圖7 視頻跟蹤器實(shí)驗(yàn)效果

4 結(jié)論

本文以Camera Link接口的高清高幀頻數(shù)字相機(jī)作為輸入，采用動(dòng)態(tài)閾值分割及目標(biāo)二次提取的方法，以DSP+FPGA作為核心處理器，設(shè)計(jì)出高幀頻電視跟蹤器。此電視跟蹤器結(jié)合DSP和FPGA在數(shù)據(jù)處理上的優(yōu)勢(shì)，實(shí)現(xiàn)了視頻采集、顯示及目標(biāo)的穩(wěn)定跟蹤。試驗(yàn)表明,各功能單元達(dá)到預(yù)期效果，所設(shè)計(jì)的視頻跟蹤器圖像處理能力強(qiáng)，滿足實(shí)時(shí)、高精度的要求。雖然該視頻跟蹤器已應(yīng)用于實(shí)際項(xiàng)目中，但仍是基于簡(jiǎn)單空域背景的目標(biāo)檢測(cè)跟蹤，下一步主要研究對(duì)復(fù)雜背景下運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤。

[1] 鄒春勇.基于CameraLink接口高清圖像跟蹤器設(shè)計(jì)[J].科學(xué)技術(shù)與工程，2012， 12(19)：4672-4675.

[2] 王鳴浩.基于Camera Link接口的高幀頻數(shù)字圖像采集顯示系統(tǒng)[J].微電子學(xué)與計(jì)算機(jī)，2011，28(3):149-152.

[3] 賈建祿.基于Camera Link的高速圖像采集處理器[J].液晶與顯示，2010，25(6):914-918.

[4] 孔令磊.高幀頻紅外目標(biāo)檢測(cè)跟蹤算法的研究與實(shí)現(xiàn)[D].成都:電子科技大學(xué),2010.

[5] 戴明.高幀頻電視跟蹤器[J].光學(xué)精密工程，1993，1(5):83-87.

[6] 彭先蓉.高幀頻電視跟蹤算法的研究[J].光電工程，1998，25(增刊):47-50.

[7] 朱江，李躍江，鄒 效. 一種車載光電平臺(tái)圖像跟蹤系統(tǒng)設(shè)計(jì)[J].兵工自動(dòng)化，2015(2):34-36.

[8] 王歡,白楊,江晟.某型導(dǎo)引頭半物理仿真系統(tǒng)設(shè)計(jì)[J].四川兵工學(xué)報(bào)，2015(5):24-27.

(責(zé)任編輯 周江川)

Application of Target Two-Time Extraction Method in High Frame Rate Video Tracker

LI Jian， LIU Xin-liu

(Automation Research Institute of China South Industries Group Corporation, Mianyang 621000, China)

In order to improve the target detection accuracy and system response speed, a high definition and high frame rate digital camera based on Camera Link interface is used as the target sensor, which uses the DSP+FPGA as the core processor, A high frame rate video tracker is designed by using the two-time extraction method. This video tracker combines the advantages of DSP and FPGA in data processing, decomposing the image tracking algorithm. FPGA, through the hardware parallel pipeline, achieves image acquisition, image preprocessing, image storage, first target extracting coarse positioning, image superposition and display functions, DSP is used to finish second time accurate extraction of the target. Experiment proves that the functional units can achieve the desired effect, and the designed video tracker has the strong image processing ability, and can achieve the trait of real time and high precision.

Camera Link; FPGA; DSP; TV tracker

2017-02-25；

2017-03-20

李健(1984—)，男，碩士，工程師，主要從事圖像處理研究。

10.11809/scbgxb2017.06.014

format:LI Jian，LIU Xin-liu.Application of Target Two-Time Extraction Method in High Frame Rate Video Tracker[J].Journal of Ordnance Equipment Engineering,2017(6):66-69.

TP491；TJ765

A

2096-2304(2017)06-0066-04

本文引用格式：李健,劉歆瀏.目標(biāo)二次提取法在高幀頻視頻跟蹤器上的應(yīng)用[J].兵器裝備工程學(xué)報(bào)，2017(6):66-69.