一種基于DSP和FPGA的自適應(yīng)模版匹配跟蹤系統(tǒng)設(shè)計*

游培寒，胡 瑜，盛 平，2，王志民

(1 95856部隊，南京 210000;2 94921部隊，福建晉江 362200;3南京理工大學，南京 210094)

0 引言

模版匹配和目標跟蹤是視頻圖像實時處理中的難點問題，以往系統(tǒng)設(shè)計中，由于器件的運算速度有限，不能夠做到大規(guī)模的模版匹配和大范圍的搜索運算。而完全依賴金字塔等算法對模版進行壓縮又會丟失大量信息[1]，造成匹配精度不高和跟蹤不穩(wěn)定，多處理器工作方式是實時視頻處理系統(tǒng)設(shè)計的唯一解決方法。但是以往設(shè)計中，大量系統(tǒng)資源被用于總線控制和系統(tǒng)間數(shù)據(jù)傳輸，影響了系統(tǒng)性能的發(fā)揮[2]。文中設(shè)計了一套基于 DSP和 FPGA的圖像模版匹配和自動跟蹤系統(tǒng)。DSP主要負責圖像數(shù)據(jù)的傳輸和控制，并預處理匹配模板和匹配數(shù)據(jù);而FPGA完成模版匹配并將目標位置信息傳遞回DSP。由于模版匹配和圖像處理過程相對獨立，避免了圖像的遲滯。

1 硬件設(shè)計

硬件系統(tǒng)結(jié)構(gòu)如圖1所示，它主要由一枚TMS320DM642(簡稱 DM642)和一枚 EP3C25F324C7組成。DM642內(nèi)置有完整的視頻控制模塊，它通過I2C設(shè)置解碼芯片 TVP5150和編碼芯片 SAA7121，以27MHz的速度接收 TVP5150輸出的符合ITU656標準的數(shù)字視頻，并將其傳遞到HY57V28320中的采樣圖像內(nèi)存區(qū)，完成圖像處理過程后，采樣圖像被拷貝到顯示內(nèi)存區(qū)，以標準視頻方式傳遞給編碼芯片SAA7121。DSP在進行視頻流控制的同時，也將匹配區(qū)域數(shù)據(jù)和匹配模版進行預處理后通過EMIF端口傳遞給FPGA的內(nèi)存區(qū)域，匹配過程由FPGA內(nèi)部狀態(tài)機控制。

圖1 系統(tǒng)硬件結(jié)構(gòu)

2 接口設(shè)計

DSP與FPGA通信是系統(tǒng)設(shè)計的關(guān)鍵。首先將DSP的EMIF端口CE2尋址空間設(shè)置為8bit的同步讀寫接口，再利用IP核在FPGA內(nèi)部配置出匹配模板和匹配區(qū)域的雙端口存儲區(qū)域。其硬件連接關(guān)系如圖2所示。

圖2 硬件連接關(guān)系

在設(shè)計DSP和FPGA的通信接口時，應(yīng)注意以下幾點:

1)由于EMIF端口是64位的，它的位選信號應(yīng)取反后接入到FPGA雙端口存儲區(qū)相應(yīng)的位選端口上[3]。

2)EMIF端口的通信時鐘為133MHz，在 PCB布線時應(yīng)盡量滿足等長。

3)線路中的延遲時間不同，CLK接入FPGA后，應(yīng)利用片上的PLL模塊建立鎖相電路，調(diào)整時鐘相位避免通信誤碼。

4)利用CPLD建立正確的啟動和復位順序，避免DM642和FPGA之間的相互干擾。一般DM642先啟動，F(xiàn)PGA后啟動。

3 軟件設(shè)計

3.1 算法分工

雖然模版匹配是一種穩(wěn)定的圖像跟蹤算法，但它只能通過修正模板的方式實現(xiàn)圖像的旋轉(zhuǎn)、縮放，這耗費了大量的系統(tǒng)資源。文中將預處理模板數(shù)據(jù)和模板匹配分割為兩個過程，如圖3所示。

1)利用DSP預處理模板數(shù)據(jù):對目標區(qū)域進行濾波，去除噪聲[4]，然后計算目標區(qū)域的梯度圖像作為原始模板，再根據(jù)原始模板計算放大模版、右旋轉(zhuǎn)模版、左旋轉(zhuǎn)模版，并將生成的模板通過EMIF端口傳輸給FPGA。

2)利用FPGA進行模板匹配:由于FPGA的并行處理機制，可以同時對原始模板、放大和旋轉(zhuǎn)后的模版進行匹配，尋找最佳匹配結(jié)果，用來確定目標位置。當匹配最優(yōu)點產(chǎn)生在放大模板或左右旋轉(zhuǎn)模板中時，說明目標狀態(tài)發(fā)生了變化，需要重新定義，這時FPGA通過模板更新標志位給DSP一個信號，DSP將重新計算模板數(shù)據(jù)。

3.2 放大與旋轉(zhuǎn)

3.2.1 放大公式

圖像的放大和旋轉(zhuǎn)在DSP內(nèi)部完成。設(shè)放大后像素坐標為(xs，ys)，放大關(guān)系如下[5]:

式中:(xc，yc)是放大中心，floor[]是取整函數(shù)。放大倍數(shù)α選擇直接影響算法的穩(wěn)定性。放大倍數(shù)越大，放大的速度越快系統(tǒng)跟蹤越穩(wěn)定;放大倍數(shù)小則在放大速度慢時系統(tǒng)穩(wěn)定。由于文中設(shè)計的實際需要，這里設(shè) α =1.1。

雙線性插值是一種比較常見的圖像縮放計算公式，它既可以避免圖像的畸變，同時計算量又相對較少，比較適合本系統(tǒng)應(yīng)用。

圖3 軟件結(jié)構(gòu)

3.2.2 旋轉(zhuǎn)公式

設(shè)旋轉(zhuǎn)后的坐標為(xs，ys)，設(shè):要更新匹配模板，設(shè)置更新模板標志位。在復位狀態(tài)下，F(xiàn)PGA將清空全部匹配數(shù)據(jù)。

圖4 FPGA狀態(tài)機

3.3 FPGA的狀態(tài)機設(shè)計

FPGA的工作狀態(tài)可分為更新模板區(qū)域、更新匹配區(qū)域、匹配計算、更新目標位置、空閑和重啟6個狀態(tài)，其狀態(tài)機如圖4所示。系統(tǒng)處在空閑狀態(tài)時，根據(jù)DSP給FPGA的指令信號FPGA可以進入更新匹配區(qū)域或更新匹配模板狀態(tài)，更新匹配區(qū)域后FPGA自動進入匹配計算狀態(tài)，匹配計算主要完成(x，y)位置ρ(x，y)2的計算，更新目標位置狀態(tài)主要計算新的目標位置，同時根據(jù)最優(yōu)點所對應(yīng)的模板，判斷是否需

3.4 匹配計算及其優(yōu)化

文中采用的匹配準則如下[6]:

其中:(x，y)代表匹配位置，(x'，y')代表匹配區(qū)域N×M大小的鄰域坐標，p(x'，y')是匹配區(qū)域像素，t(x'，y')是模板像素，p－是匹配區(qū)域像素均值;式(4)對于圖像的灰度線性畸變具有不變性，穩(wěn)定性較好，但直接引用式(4)，無法在FPGA中實現(xiàn)，將式(4)做了如下調(diào)整:

在FPGA中的計算時序如圖5所示。

圖5 ρ(x，y)2的優(yōu)化前的計算時序

通過圖5可以發(fā)現(xiàn)，計算ρ(x，y)2需要14個乘法器，占用時間主要集中在第一步，需要 (N×M+6)個時鐘周期。第二步和第三步所需時鐘周期總共為16個，而第二步中3個乘法和減法器在結(jié)構(gòu)上有類似之處，可以簡化為一個乘法與減法器，適當增加第二步所耗費的時鐘周期對整個計算過程不會造成過高影響。利用一個時序狀態(tài)機優(yōu)化系統(tǒng)結(jié)構(gòu)如圖6所示。

圖6 ρ(x，y)2的優(yōu)化后的計算時序

優(yōu)化后的ρ(x，y)2的計算需要占用FPGA中11個乘法器，如果同時比較旋轉(zhuǎn)和縮放模板，需要44個乘法器，不到文中選用芯片內(nèi)部乘法器資源的一半。優(yōu)化后的 ρ(x，y)2計算需要 (N×M+38)個時鐘周期。

3.5 更新目標位置

單個ρ(x，y)2計算完成后將其存儲在FPGA制定緩存中，更新坐標(x，y)，得到匹配區(qū)域中所有子空間對應(yīng)的 ρ(x，y)2，最大 ρ(x，y)2所對應(yīng)位置就是目標新坐標，當其對應(yīng)的匹配模板不是原始模板，則設(shè)置更新匹配模板標志位為1。DSP的圖像處理周期與FPGA的計算周期存在時間差。為了避免DSP讀取非法數(shù)據(jù)，在FPGA中設(shè)置一個雙向目標位置地址，該地址內(nèi)數(shù)據(jù)保留了目標當前位置和模板更新標志位。FPGA匹配計算結(jié)束后，會更新地址內(nèi)的目標位置和模板更新標志。DSP在每個處理周期都會讀取該地址內(nèi)的目標位置和模板更新位。這樣做可以保證DSP每次讀取的都是最新的目標匹配計算結(jié)果。

4 實驗數(shù)據(jù)

文中設(shè)計的自適應(yīng)模版匹配跟蹤系統(tǒng)硬件平臺如圖7所示。利用SDZ310相機作為成像器件，對跟蹤系統(tǒng)性能進行了跟蹤能力和計算速度測試。

圖7 視頻跟蹤系統(tǒng)

4.1 跟蹤能力測試

利用SignalTAPII記錄FPGA部分數(shù)據(jù)，得到靜態(tài)圖像測試結(jié)果如表1、表2所示。

參考國內(nèi)某型紅外成像導引頭跟蹤器指標，對跟蹤器動態(tài)跟蹤性能進行了測試:將攝像機架設(shè)在云臺上，對不同灰度反差、放大倍數(shù)的移動平面目標進行旋轉(zhuǎn)跟蹤。試驗結(jié)果如表3～表7所示。表中√表示目標在視場移動速度小于8像素每秒時，跟蹤器能夠穩(wěn)定跟蹤目標，沒有丟失目標或跟蹤點大幅度抖動現(xiàn)象。通過表3～表7可以看出，跟蹤器能夠滿足目標視在灰度反差6%，旋轉(zhuǎn)速度小于20°/s，縮放速度小于2.0倍 /s的移動平面目標穩(wěn)定跟蹤要求。

4.2 計算速度測試

由于模版匹配計算與視頻通道隔離，系統(tǒng)跟蹤計算并不會遲滯視頻顯示時間，系統(tǒng)圖像處理速度可以穩(wěn)定在每秒25幀。同時由于采用FPGA完成并行計算，其可處理的模板面積較大，計算速度較快。跟蹤速度測算與實測結(jié)果如表8所示?？梢钥闯?，當模板面積為128×128像素時，系統(tǒng)每秒仍能跟蹤28幀圖像。

5 結(jié)束語

文中設(shè)計了一套基于模板匹配的視頻跟蹤系統(tǒng)。該系統(tǒng)硬件采用DSP+FPGA結(jié)構(gòu)，DSP負責圖像的緩存，并負責模板數(shù)據(jù)計算，F(xiàn)PGA負責匹配準則的計算和最佳匹配位置的確定等。文中給出的跟蹤系統(tǒng)的試驗測試結(jié)果表明，系統(tǒng)能夠滿足當目標旋轉(zhuǎn)、縮放等條件下的跟蹤要求，同時處理速度可以滿足128×128像素的大面積模板跟蹤需要。

表1 當匹配圖像發(fā)生6°偏轉(zhuǎn)時的部分計算結(jié)果

表2 當匹配區(qū)域發(fā)生放大1.1倍時的部分計算結(jié)果

表3 視在灰度反差不同目標跟蹤結(jié)果

表4 視在灰度反差為20%的目標縮放跟蹤結(jié)果(畫面從15倍放大到30倍)

表5 視在灰度反差為15%的目標縮放跟蹤結(jié)果(畫面從15倍放大到30倍)

表6 視在灰度反差為20%的目標旋轉(zhuǎn)跟蹤結(jié)果

表7 視在灰度反差為15%的目標旋轉(zhuǎn)跟蹤結(jié)果

表8 跟蹤速度測算與實測結(jié)果

[1]Luigi Di Stefano，Stefano Mattoccia. Fast template matching using bounded partial correlation[J]. Machine Vision and Applications，2003，13:213 －221.

[2]Xu Xiaoshen，Jiang Hongxu，Jin Liang，et al. A Multi-DSP system for high-performance video applications[C]//11th IEEE Singapore International Conference on Communication Systems，2008:778 － 782.

[3]Altera. Cyclone III handbook Volume 1，San Jose，CA 95134[M/OL]. 2003.

[4]McDonnell MJ. Box-filtering techniques[J]. Computer Graph Image Process，1981，17(1):65 －70.

[5]Aokage H，Wada K，Toraichi K.High quality conversion of image resolution using two-dimensional sampling function[C]//Communications，Computers and Signal Processing，2003.PACRIM. IEEE Pacific Rim Conference on，Vol.2，2003:720 －723.

[6]Zuxun Zhang，Jianqing Zhang. Digital Photogrammtry[M].Wuhan Publishing，1997.