基于仿射變換模型的圖像跟蹤系統(tǒng)的實(shí)現(xiàn)

翟春艷，陳文博

（中國(guó)電子科技集團(tuán)公司 第二十七研究所，河南 鄭州 450047）

隨著現(xiàn)代戰(zhàn)爭(zhēng)的發(fā)展，越來(lái)越需要對(duì)目標(biāo)進(jìn)行遠(yuǎn)距離的精確定位和跟蹤。傳統(tǒng)跟蹤以毫米波雷達(dá)為傳感器，具有探測(cè)距離遠(yuǎn)，不受氣象環(huán)境影響等優(yōu)點(diǎn)，但存在有源工作易暴露己方，角分辨精度較低，易受電磁干擾等缺點(diǎn)。由于圖像跟蹤充分利用了高分辨率的圖像信息，在近程（幾公里至幾十公里）具有無(wú)源工作隱蔽性好、抗電磁干擾、在海上應(yīng)用中可低角度工作、無(wú)多徑干擾、對(duì)小目標(biāo)分辨力強(qiáng)、跟蹤精度高、可選擇攻擊點(diǎn)和發(fā)射后不管等優(yōu)點(diǎn)，在現(xiàn)代武器系統(tǒng)中獲得了越來(lái)越多的應(yīng)用，成為警戒搜索、跟蹤和制導(dǎo)系統(tǒng)的重要組成部分。

但是，在武器系統(tǒng)中的圖像處理基本上都是針對(duì)連續(xù)的運(yùn)動(dòng)圖像，不論是目標(biāo)的運(yùn)動(dòng)，還是武器系統(tǒng)自身的運(yùn)動(dòng)，觀測(cè)到的圖像序列存在著目標(biāo)相對(duì)背景的運(yùn)動(dòng)、由傳感器運(yùn)動(dòng)造成的場(chǎng)景圖像的整體運(yùn)動(dòng)、以及由于視角變化使得目標(biāo)物體表現(xiàn)出圖像形態(tài)的不穩(wěn)定、目標(biāo)物體的平面旋轉(zhuǎn)、尺度變化、三維空間旋轉(zhuǎn)、照度變化、非線性幾何畸變、局部或整體遮擋、部分背景圖像變化等。所有這些因素都使得基于圖像信號(hào)處理的目標(biāo)檢測(cè)、識(shí)別、跟蹤處理系統(tǒng)的設(shè)計(jì)面臨挑戰(zhàn)，即需要努力提高算法與系統(tǒng)的魯棒性。

基于運(yùn)動(dòng)模型的跟蹤采取特定的目標(biāo)運(yùn)動(dòng)模型來(lái)實(shí)現(xiàn)跟蹤。運(yùn)動(dòng)模型越詳盡精確，對(duì)目標(biāo)物體之運(yùn)動(dòng)變化的描述能力就越強(qiáng)，以其為基礎(chǔ)的算法就能夠得到更高的定位精度，獲得更好的跟蹤效果。在目標(biāo)運(yùn)動(dòng)模型中，平移模型僅包含目標(biāo)在水平、垂直方向上的位移兩個(gè)參數(shù)，對(duì)目標(biāo)運(yùn)動(dòng)變化的刻畫(huà)能力過(guò)于簡(jiǎn)單，無(wú)法有效地適應(yīng)目標(biāo)在圖像中通常會(huì)發(fā)生的縮放、旋轉(zhuǎn)甚至錯(cuò)切等變化。另外，傳統(tǒng)的互相關(guān)匹配算法[1]采用固定尺寸的矩形跟蹤框，在目標(biāo)發(fā)生尺度變化時(shí)容易產(chǎn)生誤差。而且隨著模板的更新，誤差通常會(huì)不斷累加，導(dǎo)致跟蹤框逐漸飄移，最終很容易丟失目標(biāo)。六參數(shù)的仿射變換模型不僅包含了位移模型中的水平和豎直位移參數(shù)，還包含了描述目標(biāo)旋轉(zhuǎn)、比例放大等變化的參數(shù)，可以描述物體所發(fā)生的平移、縮放、二維旋轉(zhuǎn)、錯(cuò)切等運(yùn)動(dòng)變化。在實(shí)際應(yīng)用中，圖像目標(biāo)通常會(huì)發(fā)生尺度、旋轉(zhuǎn)等變化；另一方面，目標(biāo)與圖像采集設(shè)備之間的距離通常較遠(yuǎn)，其三維變化?？梢杂枚S變化來(lái)近似，所以，在兼顧跟蹤效果和計(jì)算效率的考量之下，本圖像跟蹤系統(tǒng)選擇使用了六參數(shù)的仿射變換運(yùn)動(dòng)模型。

1 仿射變換模型的建立

仿射變換是一種基本的幾何變換，可以用來(lái)描述圖像在二維空間中的旋轉(zhuǎn)、尺度變化和位移[2-3]。仿射變換共有6個(gè)自由度。仿射變換是一種線性變換，即具有將平行線變換成平行線、有限點(diǎn)映射到有限點(diǎn)的一般特性。它可以描述3D空間中的目標(biāo)到2D平面的成像過(guò)程，具體表現(xiàn)可以是各個(gè)方向尺度變換、系數(shù)一致的均勻尺度變換或變換系數(shù)不一致的非均勻尺度變換及剪切變換等。仿射變換具有平移、旋轉(zhuǎn)和縮放不變性。

以模板圖像中心為坐標(biāo)原點(diǎn)建立坐標(biāo)系，那么模板圖像（目標(biāo)圖像）表示為 I（X）。 模板圖像中的像素點(diǎn) X=（x，y）經(jīng)仿射變換后，變?yōu)檩斎雸D像中的點(diǎn)Y，其中X和Y之間存在仿射關(guān)系：Y=X+U。U 為 X 和仿射系數(shù) a=（a0，a1，a2，a3，a4，a5）的函數(shù)U（X，a）=（u，v）[4]。

其中x和y是相對(duì)于模板圖像中心的水平和垂直坐標(biāo)，u和v表示仿射變換后的圖像在水平和垂直方向的變化量。

若用 I（X+U（X，a））來(lái)表示模板圖像 I（X）經(jīng)過(guò)仿射變換后在輸入圖像中的對(duì)應(yīng)區(qū)域，則在灰度不變性前提下有公式成立：

上面的公式利用仿射變換關(guān)系將模板（目標(biāo)）圖像和輸入圖像之間建立起了關(guān)系。

2 圖像跟蹤系統(tǒng)組成及硬件設(shè)計(jì)

圖像跟蹤系統(tǒng)追求對(duì)目標(biāo)測(cè)量的精確性，對(duì)背景和干擾的抑制能力和數(shù)據(jù)處理的實(shí)時(shí)性，而這些性能都取決于處理算法的有效性和系統(tǒng)硬件設(shè)計(jì)。基于仿射變換模型的目標(biāo)跟蹤算法性能上優(yōu)于傳統(tǒng)的歸一化互相關(guān)和平均絕對(duì)差圖像跟蹤方法，但是這種性能的改進(jìn)是以增加數(shù)據(jù)處理的計(jì)算量為代價(jià)換的，而且許多計(jì)算是浮點(diǎn)運(yùn)算，并且算法運(yùn)算是迭代進(jìn)行，每次處理的時(shí)間是不盡相同的。因此在進(jìn)行系統(tǒng)硬件電路設(shè)計(jì)時(shí)，要根據(jù)系統(tǒng)要求的技術(shù)指標(biāo)在數(shù)據(jù)處理的實(shí)時(shí)性、硬件系統(tǒng)的規(guī)模、系統(tǒng)調(diào)試難度上進(jìn)行權(quán)衡，確定最佳方案。

圖像跟蹤系統(tǒng)硬件電路采用雙DSP+FPGA的結(jié)構(gòu)。硬件電路包含視頻采集轉(zhuǎn)換、數(shù)據(jù)處理、視頻輸出以及串口通信單元。其中DSP子系統(tǒng)是整個(gè)系統(tǒng)的核心，它承擔(dān)了整個(gè)圖像跟蹤系統(tǒng)的數(shù)據(jù)處理的任務(wù)，是跟蹤算法的實(shí)現(xiàn)環(huán)節(jié)。系統(tǒng)的硬件電路設(shè)計(jì)框圖如圖1所示。

圖1 系統(tǒng)硬件電路設(shè)計(jì)框圖Fig.1 Design diagram of system hardware circuit

基于仿射變換模型的跟蹤算法是一個(gè)復(fù)雜的浮點(diǎn)數(shù)據(jù)計(jì)算過(guò)程，將占用和耗費(fèi)大量的硬件資源和運(yùn)算時(shí)間，DSP采用TI公司最新的高速浮點(diǎn)數(shù)字信號(hào)處理器TMS320C6713?？紤]到DSP子系統(tǒng)在進(jìn)行數(shù)據(jù)運(yùn)算時(shí)，只依靠DSP內(nèi)部的數(shù)據(jù)存儲(chǔ)空間有可能不夠，DSP外掛兩片靜態(tài)存儲(chǔ)器（CY7C1041V33）作為擴(kuò)展存儲(chǔ)器，并掛接一片F(xiàn)LASH（AT29LV010A）作為DSP自舉時(shí)的程序存儲(chǔ)器。

系統(tǒng)從攝像機(jī)輸入PAL制式的視頻數(shù)據(jù)，利用EL4501進(jìn)行視頻的直流嵌位和同步分離，嵌位后的視頻通過(guò)TJ1031進(jìn)行A/D轉(zhuǎn)換。同步分離產(chǎn)生的同步信號(hào)作為系統(tǒng)的基準(zhǔn)時(shí)序信號(hào)，在FPGA時(shí)序電路中生成同步的系統(tǒng)時(shí)鐘，行列計(jì)數(shù)等信號(hào)。圖像數(shù)據(jù)是在電視信號(hào)的正程中采集，為了避免信號(hào)的沖突，本場(chǎng)的圖像數(shù)據(jù)只能從本場(chǎng)的場(chǎng)逆程起始點(diǎn)處開(kāi)始處理或者從下一場(chǎng)的正程起始點(diǎn)處開(kāi)始處理。然而電視信號(hào)的逆程十分短，根本不能完成數(shù)據(jù)運(yùn)算，因此即使是從本場(chǎng)的場(chǎng)逆程起始點(diǎn)處開(kāi)始處理，處理的時(shí)間仍然會(huì)跨越到下一場(chǎng)的正程中。為了滿足數(shù)據(jù)處理的需要，在圖像幀存方面，本設(shè)計(jì)采用了雙倍于圖像大?。?56×256，64 kB）的雙口RAM——IDT70V19（128 kB×9 bit）作為圖像存儲(chǔ)器。 這樣可以將相鄰兩場(chǎng)的圖像數(shù)據(jù)分別存儲(chǔ)在圖像存儲(chǔ)器的上下半?yún)^(qū)中，避免一旦處理速度跟不上導(dǎo)致的數(shù)據(jù)沖突問(wèn)題。同時(shí)為了使系統(tǒng)能夠適應(yīng)不同的處理速度的要求，系統(tǒng)還可以設(shè)置圖像存儲(chǔ)器的工作模式為按場(chǎng)采集或者按幀采集。圖像存儲(chǔ)器按場(chǎng)和按幀工作模式的示意圖如圖2所示。

2個(gè)DSP協(xié)同工作，可以并行工作，共同完成一個(gè)任務(wù)，也可以獨(dú)立工作，分別完成不同的任務(wù)。主DSP利用外部UART芯片作為接口，和操控系統(tǒng)通過(guò)RS422異步串口進(jìn)行通信。在本設(shè)計(jì)中計(jì)算機(jī)操控系統(tǒng)通過(guò)RS422串口來(lái)控制圖像跟蹤系統(tǒng)的工作，圖像跟蹤系統(tǒng)也通過(guò)串口輸出偏差信息。數(shù)據(jù)處理完成后，將原始電視視頻信號(hào)同代表數(shù)據(jù)處理結(jié)果的字符，圖形信號(hào)進(jìn)行疊加后輸出到監(jiān)視器顯示。系統(tǒng)的硬件電路結(jié)構(gòu)框圖如圖3所示。

3 系統(tǒng)軟件設(shè)計(jì)

圖2 存儲(chǔ)器工作模式示意圖Fig.2 Diagram of memory working model

圖3 硬件電路結(jié)構(gòu)框圖Fig.3 Structure of hardware circuit

本圖像跟蹤系統(tǒng)初始目標(biāo)捕獲由人工完成。操控人員在視場(chǎng)中選定目標(biāo)區(qū)域，并根據(jù)其圖像數(shù)據(jù)建立起初始模板。然后，依次讀入下一幀輸入圖像。對(duì)于當(dāng)前讀入的輸入圖像，在灰度不變性前提下，依仿射變換模型存在模板數(shù)據(jù)和輸入圖像之間的灰度分布等式關(guān)系，以該等式中的仿射變換參數(shù)為待定變量。在給定仿射參數(shù)初始估計(jì)值的基礎(chǔ)上，通過(guò)求解仿射參數(shù)增量的方式來(lái)求解最終仿射參數(shù)。以仿射參數(shù)增量為待定變量，按特定的相似性度量[5]和誤差映射準(zhǔn)則建立起模板和準(zhǔn)目標(biāo)之間的誤差評(píng)價(jià)函數(shù)，算法的目標(biāo)就在于使該誤差評(píng)價(jià)函數(shù)得到極小值。以該函數(shù)對(duì)仿射參數(shù)增量之各分量的偏導(dǎo)數(shù)為零建立起方程組，采用牛頓迭代最優(yōu)化方法求解該方程組，迭代收斂后得到仿射參數(shù)增量，也就得到了針對(duì)當(dāng)前幀輸入圖像的最終仿射參數(shù)。按該仿射參數(shù)到輸入圖像中截取相應(yīng)區(qū)域，得到當(dāng)前幀中的目標(biāo)位置和姿態(tài)。

最后，將上一幀的仿射變換參數(shù)值作為下一幀的仿射參數(shù)迭代初始值，并按照對(duì)舊模板數(shù)據(jù)和目標(biāo)數(shù)據(jù)作加權(quán)相加的方式對(duì)模板數(shù)據(jù)進(jìn)行更新，然后使用該仿射參數(shù)初始值和新模板數(shù)據(jù)進(jìn)行下一幀跟蹤。

在按照某組仿射參數(shù)到輸入圖像中截取相應(yīng)區(qū)域的過(guò)程中，原象素點(diǎn)坐標(biāo)值在經(jīng)仿射變換后得到的通常不是整數(shù)值，此時(shí)需要進(jìn)行插值處理。這里采用計(jì)算量合理同時(shí)插值效果也較為理想的雙線形插值方法來(lái)截取準(zhǔn)目標(biāo)數(shù)據(jù)。

算法中，在對(duì)模板圖像數(shù)據(jù)和準(zhǔn)目標(biāo)圖像數(shù)據(jù)作相似性度量時(shí)，出于加強(qiáng)抗光照變化魯棒性能的考慮，對(duì)模板數(shù)據(jù)和準(zhǔn)目標(biāo)數(shù)據(jù)進(jìn)行了去均值歸一化[6]的處理。在牛頓法迭代計(jì)算過(guò)程中，預(yù)先指定最大迭代次數(shù)。若迭代次數(shù)超過(guò)了該預(yù)設(shè)上限但是仍未能達(dá)到判斂精度要求，則認(rèn)為目標(biāo)在當(dāng)前幀中不存在或跟蹤失敗。

系統(tǒng)軟件流程圖如圖4所示。

4 實(shí)驗(yàn)結(jié)果

為了比較仿射變換跟蹤和互相關(guān)跟蹤兩種方法的優(yōu)劣，在序列圖像上進(jìn)行了兩種跟蹤算法的對(duì)比。這些序列圖像上包含了各種運(yùn)動(dòng)姿態(tài)的目標(biāo)。序列圖像中蘇30飛機(jī)經(jīng)過(guò)尺度放大、姿態(tài)調(diào)整等飛行狀態(tài)，之間經(jīng)過(guò)了315場(chǎng)。

下面給出平移模型的互相關(guān)跟蹤算法和仿射變換模型的跟蹤算法進(jìn)行跟蹤的一些實(shí)驗(yàn)結(jié)果，以進(jìn)行對(duì)照比較。兩種算法的跟蹤結(jié)果如圖5所示。

從圖5（a）可以看出，由于飛機(jī)目標(biāo)發(fā)生了平面旋轉(zhuǎn)，基于平移模型的互相關(guān)跟蹤算法無(wú)法自適應(yīng)調(diào)整跟蹤框以適應(yīng)目標(biāo)的姿態(tài)變化。隨著目標(biāo)旋轉(zhuǎn)角度的增大，跟蹤框所覆蓋的目標(biāo)區(qū)域變得越來(lái)越少，最終容易丟失目標(biāo)。

圖4 系統(tǒng)軟件流程圖Fig.4 Flow chart of system software

圖5 仿射變換跟蹤和互相關(guān)跟蹤比較的結(jié)果圖Fig.5 Comparison result of affine transform tracking and correlation tracking

圖5 （b）顯示，在同樣的初始條件下，當(dāng)飛機(jī)發(fā)生尺度、角度方面的變化時(shí)，基于仿射模型的跟蹤能動(dòng)態(tài)地調(diào)整跟蹤框的形狀和旋轉(zhuǎn)角度，從而有效地適應(yīng)著目標(biāo)的姿態(tài)變化，獲得了較好的跟蹤結(jié)果。同時(shí)從圖中可以看出，對(duì)應(yīng)于目標(biāo)的小幅度三維旋轉(zhuǎn)，跟蹤框從矩形變化成了平行四邊形，在一定程度上適應(yīng)了目標(biāo)的三維旋轉(zhuǎn)，從而較為理想地實(shí)現(xiàn)目標(biāo)發(fā)生復(fù)雜變化情況下的魯棒跟蹤。

5 結(jié)束語(yǔ)

文中從建立仿射變換模型出發(fā)，提出了跟蹤系統(tǒng)的設(shè)計(jì)方案，設(shè)計(jì)了一種基于仿射變換模型的實(shí)時(shí)圖像跟蹤系統(tǒng)。該系統(tǒng)易于硬件實(shí)現(xiàn)，實(shí)時(shí)性高，跟蹤效果良好，滿足工程應(yīng)用要求。并且在設(shè)計(jì)中考慮到了硬件電路的通用性，因此該硬件電路還可以作為一個(gè)通用的電視跟蹤算法的實(shí)驗(yàn)平臺(tái)。

[1]李尊民.電視圖像自動(dòng)跟蹤的基本原理[M].北京：國(guó)防工業(yè)出版社，1998.

[2]曾文峰，李樹(shù)山，王江安.基于仿射變換模型的圖像配準(zhǔn)中的平移，旋轉(zhuǎn)和縮放[J].紅外與激光工程，2001，30（1）：18-20.ZENG Wen-feng，LI Shu-shan，WANG Jiang-an.Translation，rotation and scaling changes in image registration based affine transformation model[J].Infrared and Laser Engineering，2001，30（1）:18-20.

[3]徐宏文，郭紹忠.投影理論基礎(chǔ)[M].天津：天津大學(xué)出版社，1991.

[4]王曉靜，王鐵軍，許高升.一種基于仿射變換模型的圖像自動(dòng)對(duì)準(zhǔn)方法[J].戰(zhàn)術(shù)導(dǎo)彈技術(shù)，2008（5）：73-77.WANG Xiao-jing，WANG Tie-jun，XU Gao-sheng.A new image registration approach based on affine transformation model[J].Tactical Missile Technology，2008（5）:73-77.

[5]王振華，董明利，祝連慶，等.一種基于極幾何和仿射變換的圖像匹配方法研究[J].工具技術(shù)，2007（12）：74-77.WANG Zhen-hua，DONG Ming-li，ZHU Lian-qingetal.Image matching method based on epipolar geometry and affine transformation[J].Tool Engineering，2007（12）:74-77.

[6]于晨，劉宇.基于模板匹配技術(shù)的運(yùn)動(dòng)物體跟蹤方法研究[J].自動(dòng)化技術(shù)與應(yīng)用，2007，26（8）： 68-70.YU Chen，LIU Yu.Visual tracking of a moving target based on template matching[J].Techniques of Automation and Applications，2007，26（8）:68-70.