基于DSP+FPGA的紅外圖像小目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)

康令州，陳福深，黃自力，王德勝

（1.電子科技大學(xué)四川成都610054；2.西南技術(shù)物理研究所四川成都610041）

近年來(lái)，紅外探測(cè)系統(tǒng)因其具有隱蔽性，抗干擾性，全天候工作等特點(diǎn)，在現(xiàn)代戰(zhàn)爭(zhēng)中具有重要的作用，而紅外圖像中小目標(biāo)的檢測(cè)將直接影響制導(dǎo)系統(tǒng)的有效作用距離及設(shè)備的復(fù)雜程度，在紅外成像制導(dǎo)和預(yù)警系統(tǒng)中發(fā)揮著舉足輕重的作用。

一般說(shuō)來(lái)，由于小目標(biāo)距離較遠(yuǎn)，因而在成像系統(tǒng)中表現(xiàn)為微弱特性，并且沒(méi)有形狀和結(jié)構(gòu)特征或特征不明顯。同時(shí)，由于高于絕對(duì)零度的物體均有紅外輻射能力，所以自然界中的干擾源很多，很難準(zhǔn)確地檢測(cè)出真正的目標(biāo)。

本文在數(shù)學(xué)形態(tài)學(xué)Top-hat算子對(duì)于目標(biāo)檢測(cè)的基礎(chǔ)上，設(shè)計(jì)了一種基于DSP+FPGA的圖像實(shí)時(shí)處理系統(tǒng)，使其能夠滿足高速采樣數(shù)據(jù)流快速存取，快速運(yùn)算的要求。

1 算法基礎(chǔ)

1.1 形態(tài)學(xué)算法

數(shù)學(xué)形態(tài)學(xué)方法[1-2]是一種非線性濾波方法，它最先被用來(lái)處理二值圖像，后來(lái)被引用到灰度圖像處理?；舅枷胧牵河靡欢ǖ慕Y(jié)構(gòu)元素去度量和提取圖像中的對(duì)應(yīng)形狀，去除不相干的結(jié)構(gòu)，以達(dá)到圖像分析和目標(biāo)識(shí)別的目的。

灰度形態(tài)學(xué)的基本運(yùn)算有膨脹、腐蝕、開(kāi)運(yùn)算和閉運(yùn)算?；谶@些運(yùn)算，可以推導(dǎo)和組合各種數(shù)學(xué)形態(tài)學(xué)使用算法。

設(shè)f（x，y）為輸入圖像，b（x，y）為結(jié)構(gòu)元素，其中（x，y）為圖像平面空間的坐標(biāo)點(diǎn)，f為（x，y）點(diǎn)的灰度值，b為（x，y）點(diǎn)的結(jié)構(gòu)函數(shù)值，Df和Db分別是f和b的定義域，上述4種基本運(yùn)算的表達(dá)式為：

1）膨脹

其中［（s-x），（t-y）］∈Df；（x，y）∈Db

2）腐蝕

其中［（s+x），（t+y）］∈Df；（x，y）∈Db

3）開(kāi)運(yùn)算

4）閉運(yùn)算

其中，開(kāi)運(yùn)算有些像非線性低通濾波器，但是又與低通濾波器不同，開(kāi)運(yùn)算可以允許高頻部分中大于結(jié)構(gòu)元素的部分通過(guò)。Top-hat算子就是利用了開(kāi)運(yùn)算的上述性質(zhì)來(lái)進(jìn)行目標(biāo)檢測(cè)的。

Top-hat算子的定義為：

經(jīng)過(guò)Top-hat處理后的圖像，目標(biāo)和背景在能量上差別較大，大部分像素都集中在低灰度區(qū)，只有目標(biāo)和小部分噪聲分布在高亮度區(qū)，如圖1所示，圖1（a）為原始圖像，圖1（b）為經(jīng)過(guò)Top-hat處理的圖像及其直方圖統(tǒng)計(jì)結(jié)果。

圖1 原圖和Top-hat處理后圖像Fig.1 Original image and result of Top-hat processing

1.2 最大類間方差法求閾值[3-4]

設(shè)經(jīng)過(guò)處理后的圖像f2（x，y）的各灰度的集合為S={0，1，2，…，N}，Pi為此集合中i出現(xiàn)的概率，由于圖像是由小目標(biāo)和背景兩部分組成的，設(shè)這兩部分對(duì)應(yīng)的灰度子集分別為：紅外背景，C0={0，1，2，…，k}；目標(biāo)對(duì)象，C1={k+1，k+2，…，N}；則兩個(gè)類別的間方差為：

為節(jié)約程序運(yùn)行時(shí)間，選取k的取值范圍為［μ+5σ…N］，其中μ為整幅圖像的均值，σ為整幅圖像的平均差，直到找到使類間方差取最大值時(shí)的k值，即為最佳分割閾值th。

對(duì)經(jīng)過(guò)Top-hat處理后的圖像，利用上述的最大類間方差法獲取閾值，利用這個(gè)閾值對(duì)圖像進(jìn)行分割，最后通過(guò)判斷目標(biāo)的形狀大小，以達(dá)到提取目標(biāo)的效果，如圖2所示，圖2（a）為閾值分割的結(jié)果，圖2（b）為最終判斷結(jié)果。

圖2 閾值分割及檢測(cè)結(jié)果Fig.2 Result of threshold and detection

2 硬件系統(tǒng)結(jié)構(gòu)

在實(shí)時(shí)視頻處理系統(tǒng)中，底層算法的數(shù)據(jù)量大，運(yùn)算結(jié)構(gòu)相對(duì)比較簡(jiǎn)單，對(duì)速度有很高的要求，而高層處理算法控制結(jié)構(gòu)復(fù)雜，數(shù)據(jù)量較底層算法少，故本文采用FPGA+DSP的結(jié)構(gòu)[5-6]。利用DSP實(shí)現(xiàn)目標(biāo)檢測(cè)的算法，可以提高運(yùn)行速度及便于調(diào)試和修改，F(xiàn)PGA實(shí)現(xiàn)整個(gè)系統(tǒng)的控制和圖像的基本預(yù)處理功能。整個(gè)系統(tǒng)的硬件結(jié)構(gòu)如圖3所示。

圖3 系統(tǒng)硬件結(jié)構(gòu)Fig.3 Structure of systemic hardware

在系統(tǒng)設(shè)計(jì)中，DSP采用ADI公司通用浮點(diǎn)型TigerSHARC201，它擁有非常高的存儲(chǔ)寬度，支持32位和擴(kuò)展的40位浮點(diǎn)運(yùn)算，支持8、16、32、64位定點(diǎn)運(yùn)算。它擁有高達(dá)600 MHz的內(nèi)核時(shí)鐘速率，一個(gè)周期可以執(zhí)行4條指令，相當(dāng)于24次16 bit定點(diǎn)操作或者6次浮點(diǎn)操作。處理器的運(yùn)算流水是雙周期的，分支流水為2～6周期，鑒于此流水深度，它使用分支目標(biāo)緩沖（BTB）來(lái)減少分支延遲，其兩個(gè)相同的計(jì)算單元均支持浮點(diǎn)和定點(diǎn)運(yùn)算。每周期最多可執(zhí)行4個(gè)32-bit寬的指令，因此很容易實(shí)現(xiàn)高性能的應(yīng)用。

FPGA采用Altera公司的EP3C40F484C對(duì)視頻信號(hào)進(jìn)行預(yù)處理和整個(gè)系統(tǒng)的時(shí)序控制，它具有多達(dá)24 624個(gè)邏輯單元，具有129個(gè)兼容的LVDS通道，每個(gè)通道數(shù)據(jù)率高達(dá)640 Mb/s，還有4個(gè)可編程鎖相環(huán)和8個(gè)全局時(shí)鐘線。另外此芯片的功耗較低，全局運(yùn)行時(shí)總功耗為300 mW左右。除此之外，F(xiàn)PGA作為系統(tǒng)的控制芯片還要為DSP及主機(jī)控制雙口SRAM接口、外部存儲(chǔ)器、視頻編碼器編碼等單元提供準(zhǔn)確的邏輯時(shí)序和可靠的驅(qū)動(dòng)電路。

2.1 視頻輸入和輸出模塊

采用解碼器SAA7111將攝像頭輸出的模擬視頻信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。SAA7111是飛利浦公司推出的9位視頻解碼器，提供6路模擬輸入和2個(gè)增強(qiáng)型的模數(shù)轉(zhuǎn)換器。通過(guò)配置SAA7111將PAL制式的模擬基帶信號(hào)轉(zhuǎn)化為CCIR-656格式的UYVY信號(hào)，并將其送入FPGA中，進(jìn)行預(yù)處理。經(jīng)過(guò)預(yù)處理后的圖像數(shù)據(jù)再由FPGA重新打包成CCIR-656格式的數(shù)據(jù)送入到TS201的Link口。具體連接如圖4所示，VPO[0...7]沒(méi)有數(shù)據(jù)輸入，VPO[8...15]是數(shù)據(jù)輸出管腳與FPGA相連，時(shí)鐘同步信號(hào)TS201采用MDMA的方式將原始圖像信號(hào)存入SDRAM中，供目標(biāo)檢測(cè)算法使用。視頻輸出模塊采用視頻編碼器SAA7121，標(biāo)準(zhǔn)的UYVY數(shù)據(jù)從FPGA的引腳輸出，送到SAA7121的數(shù)據(jù)引腳，場(chǎng)、行同步信號(hào)分別接到FPGA的控制引腳上，通過(guò)行、場(chǎng)信號(hào)的控制，就能夠輸出顯示正確的視頻圖像。在SAA7111和SAA7121工作之前，都需要對(duì)這兩個(gè)芯片進(jìn)行配置，它們的配置的參數(shù)都是通過(guò)FPGA產(chǎn)生I2C總線來(lái)實(shí)現(xiàn)的。

圖4 視頻輸入與輸出模塊Fig.4 The module of video input and output

2.2 存儲(chǔ)模塊

TS201的片上存儲(chǔ)器分為兩個(gè)部分：每個(gè)內(nèi)核各使用100 KB的專用、高速L1存儲(chǔ)器；128 KB的大容量共享L2存儲(chǔ)器。通過(guò)EBIU接口外擴(kuò)SDRAM和Flash兩種存儲(chǔ)器。選取2片MT48L32M16A2來(lái)構(gòu)成SDRAM存儲(chǔ)器，圖像處理數(shù)據(jù)和圖像處理中間結(jié)果可存儲(chǔ)在SDRAM中。系統(tǒng)擴(kuò)展64 MB的Flash，選用S29GL064M90T，主要存放DSP內(nèi)核程序。

FPGA的存儲(chǔ)系統(tǒng)：選取2片IS61LV10248來(lái)構(gòu)成SRAM存儲(chǔ)器，主要用于存儲(chǔ)從SAA7111傳輸?shù)紽PGA的數(shù)據(jù)，根據(jù)視頻數(shù)據(jù)的奇偶場(chǎng)的關(guān)系，在數(shù)據(jù)的存取過(guò)程中采用乒乓存取方式，當(dāng)SRAM1存儲(chǔ)數(shù)據(jù)的時(shí)候，F(xiàn)PGA從SRAM2讀取數(shù)據(jù)，傳給SAA7121做為顯示使用，當(dāng)SRAM2存儲(chǔ)數(shù)據(jù)的時(shí)候，F(xiàn)PGA從SRAM1讀取數(shù)據(jù)，傳給SAA7121做為顯示使用，同時(shí)通過(guò)對(duì)讀時(shí)鐘和讀范圍的控制，可以控制圖像的現(xiàn)實(shí)范圍和現(xiàn)實(shí)方式。具體硬件連接結(jié)構(gòu)如圖5所示。

圖5 FPGA與SRAM之間的傳輸Fig.5 Transmission between FPGA and SRAM

2.3 DSP雙核以及FPGA之間的通信

在本系統(tǒng)中，涉及到TS201兩個(gè)核之間的通信以及TS201與FPGA之間的通信。FPGA給DSP提供預(yù)處理之后的圖像數(shù)據(jù)，DSP根據(jù)提供的圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)算法，并將檢測(cè)之后的坐標(biāo)數(shù)據(jù)傳輸?shù)紽PGA，F(xiàn)PGA將坐標(biāo)信息疊加到原始圖像后送給SAA7121顯示。常見(jiàn)的雙核通信主要采用中斷、輪詢兩種通信方式。中斷是利用兩個(gè)核的中斷機(jī)制來(lái)實(shí)現(xiàn)FPGA與DSP之間的通信；輪詢是通過(guò)在雙核的共享寄存器里設(shè)置一些信號(hào)量，供雙核通信與訪問(wèn)。考慮到本系統(tǒng)的應(yīng)用條件，采用輪詢的通信方式，DSP的異步存儲(chǔ)器的地址空間映射到FPGA，通過(guò)FPGA操作數(shù)據(jù)線和地址線，即可完成FPGA與DSP之間的數(shù)據(jù)交互。

2.4 系統(tǒng)工作流程

整個(gè)系統(tǒng)的工作流程為：由CCD采集視頻模擬信號(hào)，經(jīng)過(guò)可編程視頻解碼處理器SAA7111解碼后輸出場(chǎng)同步、行同步、像素時(shí)鐘和位寬為16 bit的數(shù)字圖像信號(hào)，并將信號(hào)送入FPGA中，在FPGA中對(duì)送來(lái)的數(shù)據(jù)做緩存，預(yù)處理，再通過(guò)與TS201連接的雙向LINKPORT，把圖像數(shù)據(jù)實(shí)時(shí)地導(dǎo)入DSP中，在DSP中運(yùn)行檢測(cè)算法，得到被檢測(cè)目標(biāo)的正確坐標(biāo)，DSP把目標(biāo)的坐標(biāo)信息返回到FPGA中，F(xiàn)PGA根據(jù)坐標(biāo)信息在原始圖像上標(biāo)示出目標(biāo)的位置，最后將處理后的圖像信號(hào)傳給可編程視頻編碼器SAA7121進(jìn)行編碼實(shí)現(xiàn)D/A轉(zhuǎn)換，輸出模擬視頻，并把檢測(cè)結(jié)果顯示在視頻顯示設(shè)備上。

3 結(jié)論

首先研究了形態(tài)學(xué)Top-hat算子，并利用Top-hat算子進(jìn)行背景抑制，同時(shí)，采用最大類間方差法獲得圖像的閾值，分割背景和目標(biāo)，實(shí)現(xiàn)小目標(biāo)檢測(cè)，通過(guò)仿真實(shí)驗(yàn)發(fā)現(xiàn)，這種方法能夠在一定程度上減少實(shí)際檢測(cè)中的虛警率，增加目標(biāo)檢測(cè)的準(zhǔn)確性。

利用DSP+FPGA的系統(tǒng)架構(gòu)設(shè)計(jì)了實(shí)現(xiàn)算法的硬件平臺(tái)，這種結(jié)構(gòu)在一定程度上可以滿足實(shí)時(shí)性和靈活性的要求，具有很強(qiáng)的通用性和可擴(kuò)展性。并在設(shè)計(jì)中采用了模塊化設(shè)計(jì)，這樣的設(shè)計(jì)便于集中控制，能夠節(jié)省程序運(yùn)行時(shí)間。

[1]岡薩雷斯.數(shù)字圖像處理[M].2版.北京：電子工業(yè)出版社，2003：445-453.

[2]徐江豐，張涌，湯心溢.紅外目標(biāo)檢測(cè)的形態(tài)濾波改進(jìn)算法及其DSP實(shí)現(xiàn)[J].激光與紅外，2006，36（8）：715-717.

XU Jiang-feng，ZHANG Yong，TANG Xin-yi.An improved morphology filtering algorithm for infrared target detection and realization on DSP[J].Laser and Infrared，2006，36（8）：715-717.

[3]楊磊.復(fù)雜背景條件下的紅外小目標(biāo)檢測(cè)與跟蹤算法研究[D].上海：上海交通大學(xué)，2006.

[4]周曉瑋.復(fù)雜背景下紅外小目標(biāo)實(shí)時(shí)檢測(cè)與跟蹤[D].武漢：華中科技大學(xué)，2007.

[5]朱明，魯劍鋒.基于DSP+FPGA結(jié)構(gòu)圖像處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)測(cè)量與控制，2004，12（9）:866-869.

ZHU Ming，LU Jian-feng.Design and implementation of digital image processing system based on DSP+FPGA architecture[J].Computer Measurement and Control，2004，12（9）:866-869.

[6]宋宜良.基于FPGA和DSP的實(shí)時(shí)圖像處理系統(tǒng)設(shè)計(jì)[D].大連：大連理工大學(xué)，2009.