檢測圖像角點自適應(yīng)確定跟蹤模板的方法

王德勝，吳鐘建，姚秀娟，金代中，盧宏超

?

檢測圖像角點自適應(yīng)確定跟蹤模板的方法

王德勝1，吳鐘建1，姚秀娟1，金代中1，盧宏超2

（1.西南技術(shù)物理研究所，四川 成都 610041；2. 駐209所軍代室，四川 成都 610041）

基于區(qū)域的跟蹤方法，其跟蹤模板的大小和位置對跟蹤結(jié)果的影響十分顯著，本文通過分析模板視覺顯著性特征，提出采用AGAST快速角點檢測方法，計算角點間相對距離，分析角點位置分布來自適應(yīng)確定模板大小和位置，從而提高相關(guān)匹配跟蹤算法的適應(yīng)能力。仿真試驗結(jié)果表明，該方法確定的模板能較好的包含目標顯著性視覺特征，并且具有計算速度快，穩(wěn)健性高，能有效提高采用區(qū)域模板匹配方法的跟蹤性能。

視覺特征；角點檢測；自適應(yīng)模板；圖像跟蹤

0 引言

基于區(qū)域的相關(guān)模板匹配跟蹤算法以其具有計算量較小、易于工程實現(xiàn)、可實時處理、能適應(yīng)于各類復(fù)雜地面及戰(zhàn)場環(huán)境等優(yōu)良特性而被大量地應(yīng)用于“射前鎖定、發(fā)射后不用管”等圖像制導(dǎo)跟蹤技術(shù)中。相關(guān)模板匹配跟蹤算法是將包含目標的模板圖像在實時圖像上以固定值位移，根據(jù)相關(guān)函數(shù)計算模板圖像和實時圖像間的相似程度，相關(guān)函數(shù)取得最大值的位置就是目標位置。相關(guān)跟蹤因無需對目標圖像進行分割，而只是在原始圖像數(shù)據(jù)上進行運算，從而保留了圖像的全部信息[1]。

相關(guān)匹配跟蹤其模板圖像的大小選擇對相關(guān)跟蹤性能的影響很大，文獻[2]分析了影響匹配算子統(tǒng)計特性的各種因素；并得出了重要結(jié)論：模板圖像的尺寸愈大，圖像的信噪比SNR愈高，匹配算子的各項統(tǒng)計性能就愈好；但是沒有給出確定模板尺寸具體的方法；文獻[3]針對裝甲目標圖像進行了模板圖像尺寸及其比例選擇的大量仿真，得到了合理的固定模板圖像尺寸和比例，文獻[4]采用拓展模板（固定模板＋近況模板）的方法確定模板，固定模板保持追蹤目標最初的圖像特征，防止錯誤的追蹤結(jié)果在模板更新時引入錯誤的特征，進而導(dǎo)致識別目標偏移．近況模板記錄目標的最新跟蹤結(jié)果，避免由于點模板的大量使用而造成遮擋的誤識別，但是文中并沒有解決模板累積誤差問題；文獻[5]提出了采用支持向量機和機器學(xué)習(xí)的方法來更新模板，文獻[6]提出了檢測顏色特征或紋理特征確定模板，這2類方法計算復(fù)雜，耗時多，在圖像制導(dǎo)領(lǐng)域應(yīng)用還有障礙。

歸納起來，現(xiàn)有各方法在某些情況下都可以部分解決模板自適應(yīng)問題，但是對于圖像制導(dǎo)目標跟蹤無法同時實現(xiàn)以下幾個目的：①計算速度快，滿足圖像導(dǎo)引頭產(chǎn)品的實時性要求；②能適應(yīng)圖像導(dǎo)引頭不斷逼近目標產(chǎn)生的圖像膨脹、旋轉(zhuǎn)、變形等變化；③能適應(yīng)跟蹤過程中圖像局部光照變化等干擾影響。

針對這個問題，本文通過分析跟蹤位置圖像內(nèi)容，提出了一種采用快速特征角點檢測，根據(jù)特征角點的分布情況來自適應(yīng)確定模板大小和位置，從而提高相關(guān)匹配跟蹤算法的適應(yīng)能力。該方法區(qū)別于一般的角點跟蹤方法在于，一般的角點檢測跟蹤方法是需要檢測目標自身的角點，通過目標角點的匹配來確定位置，例如王向軍等人[7]將目標特征角點用于空中目標跟蹤和識別。

1 采用角點自適應(yīng)確定跟蹤模板

1.1 模板內(nèi)容分析

模板圖像內(nèi)容首先是人在原始圖像關(guān)注和聚焦的區(qū)域，其圖像內(nèi)容一般具備視覺關(guān)注顯著特征。視覺關(guān)注顯著特征包括亮度對比度、目標形狀、圖像邊緣和角點等，相對圖像中的平坦區(qū)域和邊緣區(qū)域，角點是一種特殊的邊界點，它具有2個關(guān)鍵特征：即角點不僅位于圖像中物體的邊緣上，而且是邊緣上曲率較大的點，如圖1所示。

圖1 圖像不同位置點特征

不同視覺關(guān)注顯著特征其相關(guān)匹配結(jié)果不同，分別選取圖2中平坦區(qū)域、邊緣區(qū)域和含有角點區(qū)域3個場景作為圖像匹配模板，采用常用的誤差平方和算法（Sum of Squared Differences，簡稱SSD算法）測試匹配效果[8]，計算方法見公式(1)：

式中：(,)表示原始圖像坐標(,)處的SSD相關(guān)結(jié)果；(,)表示模板圖像坐標(,)的灰度。

匹配結(jié)果如圖2右邊相關(guān)曲面圖所示，可以看出，在角點區(qū)域，相關(guān)曲面具有很好的單峰特性，模板匹配結(jié)果具有唯一性，匹配結(jié)果準確；而直線邊緣位置呈現(xiàn)“帶狀”波峰，難以確定匹配的正確位置。所以我們選擇圖像模板，其內(nèi)容應(yīng)盡量包含適當?shù)慕屈c位置。

圖2 相關(guān)模板匹配（左：原始圖像；右：相關(guān)匹配結(jié)果）

1.2 角點檢測方法

角點檢測的方法很多，其中具有代表性的算法是Harris算法與FAST算法。

Harris角點檢測是一種基于圖像灰度的一階導(dǎo)數(shù)矩陣檢測方法。檢測器的主要思想是局部自相似性/自相關(guān)性，即在某個局部窗口內(nèi)圖像塊與在各個方向微小移動后的窗口內(nèi)圖像塊的相似性。在像素點的鄰域內(nèi)，導(dǎo)數(shù)矩陣描述了數(shù)據(jù)信號的變化情況。假設(shè)在像素點鄰域內(nèi)任意方向上移動塊區(qū)域，若強度發(fā)生了劇烈變化，則變化處的像素點為角點。

基于加速分割測試的FAST算法可以快速地提取出角點特征。該算法判斷一個候選點是否為角點，依據(jù)的是在一個以像素點為圓心，半徑為3個像素的離散化Bresenham圓周上，在給定閾值的條件下，如果在圓周上有個連續(xù)的像素灰度值大于()＋或小于()－，則該點為角點[9]。

Fast算法采用的是三叉樹角點決策，在部分實時系統(tǒng)中，仍然存在著使用障礙，為了進一步加快算法的檢測速度，Elmar Mair等人通過把FAST算法中三叉決策樹改造為二叉樹，并根據(jù)當前處理的圖像信息動態(tài)，高效地分配決策樹（最多只有一個像素延遲），因此，產(chǎn)生的算法速度更快，不通過訓(xùn)練也能達到保持一致的角反應(yīng)，以及如同F(xiàn)AST算法一樣的可重用性。改進后的算法稱為自適應(yīng)通用加速分割檢測（AGAST）算法[10-11]。

1.3 自適應(yīng)模板選擇方法

1）在初始圖像上人工選定跟蹤位置，記為(,)。

2）采用AGAST特征檢測的方法檢測角點[11-12]：

①以待檢測點為中心，對半徑為3個像素的Bresenham圓上的像素按順時針方向從1到16的順序?qū)A周像素點進行編號，如圖3所示。

②如果在圓周上有個連續(xù)的像素的亮度都比圓心像素的亮度p加上閾值還要亮，或者比圓心像素的亮度減去閾值還要暗，則圓心像素判斷為角點。

③利用非極大值抑制進行角點特征的驗證。

圖3 半徑等于3的Bresenham圓周像素編號

3）特征點相對距離計算：特征點坐標用(￠,￠)來表示，分別計算每個特征點相對跟蹤點的方向和方向距離：

4）角點位置分布統(tǒng)計：如圖4所示，以跟蹤點為中心，設(shè)最小矩形窗模板長為h1，寬為w1；最大矩形模板長度為h2，寬為w2，步進大小為d，統(tǒng)計每一個矩形框內(nèi)角點的數(shù)量，矩形框內(nèi)最小x坐標、最大x坐標、最小y坐標、最大y坐標，分別記為min_x、max_x、min_y、max_y；

5）模板大小確定：設(shè)定模板內(nèi)角點數(shù)量閾值為，當?shù)趥€矩形窗口內(nèi)的特征點數(shù)量為N，同時滿足下列條件：

則按以下方式確定模板長和寬分別按以下方式確定：

式中：為常量，取值范圍為4～8之間。

6）模板匹配：根據(jù)步驟1）～5）確定的模板采用減相關(guān)算法完成匹配和跟蹤。

2 試驗結(jié)果及分析

本算法在PC機上，使用MATLAB軟件編程實現(xiàn)；CPU性能為intel酷睿i5-4210，主頻2.6GHz。算法仿真軟件實現(xiàn)時，綜合考慮算法性能和計算速度，涉及到的各參數(shù)值分別為：連續(xù)點＝9，閾值＝5，矩形框初始大小長1＝16，寬1＝16，步進大小＝2。

測試數(shù)據(jù)為視覺跟蹤網(wǎng)站公開的標準視頻[13]car序列和RedTeam序列圖像，部分圖像如圖5和圖6所示，圖中細十字表示人工鎖定的跟蹤點，黑色矩形框表示本文算法自適應(yīng)確定的模板大小，從圖中可以看出，自適應(yīng)確定的模板大小較好的包含了目標顯著特征區(qū)域。

圖5 Car序列圖像模板檢測結(jié)果

從圖6中還可以看出，人工確定的跟蹤點不在目標顯著位置中心，本文算法仍能自動將模板位置進行偏移，使得模板包括了絕大部分目標顯著特征區(qū)域，非常有利于后續(xù)跟蹤匹配。

采用拓展模板的跟蹤方法和本文方法，對上述RedTeam視頻序列進行跟蹤對比，固定模板大小為48×28，近況模板取最近5幀的結(jié)果，對RedTeam序列圖像進行跟蹤，初始跟蹤點一致，將二種方法在對應(yīng)圖像幀中的跟蹤結(jié)果與標準目標位置的中心矩進行對比，跟蹤結(jié)果見圖7。

定義跟蹤目標區(qū)域與實際目標區(qū)域的交疊率[5]為：2區(qū)域之交的面積與2區(qū)域之并面積區(qū)域之比，選取區(qū)域交疊率來決定每一幀的追蹤結(jié)果是否可以接受，對RedTeam序列圖像計算結(jié)果見表1。

圖6 RedTeam圖像序列自適應(yīng)確定的模板

圖7 跟蹤結(jié)果對比

表1 RedTeam序列圖像兩種方法正確率對比

圖8為跟蹤圖像對比（第268幀），可以看出，采用固定模板＋近況模板的方法跟蹤位置已經(jīng)漂移，而本文方法確定的模板仍能較好地定位目標位置。

圖8 本文方法和原方法結(jié)果對比

3 結(jié)論

本文提出的采用AGAST圖像角點檢測算法來自適應(yīng)確定跟蹤模板大小的方法，計算速度快，且對硬件資源要求較低，試驗結(jié)果表明自適應(yīng)確定的模板對復(fù)雜地面環(huán)境下的目標跟蹤具有較好的適應(yīng)性、穩(wěn)健性高，能夠應(yīng)用于實時制導(dǎo)系統(tǒng)中。

[1] 黃飛, 李德華, 姚迅. 基于相關(guān)匹配及自適應(yīng)模板更新的目標跟蹤新方法[J]. 計算機工程, 2007, 33(16): 147-149

HUANG Fei, LI Dehua, Yao Xun. New Target Tracking Method Based on Correlation Matching and Adaptive Modal Modification[J]., 2007, 33(16): 147-149.

[2] 孫仲康, 沈振康. 數(shù)字圖象處理及其應(yīng)用[M]. 北京: 國防工業(yè)出版社, 1985．

SUN Zhongkang, SHEN Zhengkang.[M]. Beijing: National Defense Industry Press, 1985.

[3] 嚴國榮. 成像相關(guān)跟蹤算法的研究[D]. 西安: 西安電子科技大學(xué), 2003: 20-24.

YAN Guorong. Research on imaging correlation tracking algorithm[D]. Xi'an: Xi'an Electronic and Science University, 2003: 20-24．

[4] 張永強, 程丹松, 王君, 等. 拓展模板的視頻跟蹤技術(shù)[J]. 哈爾濱工業(yè)大學(xué)學(xué)報, 2016, 48(4): 66-72.

ZHANG Yongqiang, CHENG Dansong, WANG Jun, et al. Video tracking technology of extended template[J]., 2016, 48(4): 66-72.

[5] 郭敬明, 何昕, 楊杰, 等. 模板自適應(yīng)的mean shift 紅外目標跟蹤[J]. 紅外與激光工程, 2014, 43(4): 1087-1093

GUO Jingming，HE Xi, YANG Jie, et al. Template adaptive mean shift infrared target tracking[J]., 2014, 43(4): 1087-1093．

[6] 湯貝. 基于模板匹配的目標跟蹤算法研究[D]. 長沙: 長沙理工大學(xué), 2013: 14-22.

TANG Bei. Research on object tracking algorithm based on template matching[D]. Changsha: Changsha University of Science and Technology, 2013: 14-22.

[7] 王向軍, 王研, 李智. 基于特征角點的目標跟蹤和快速識別算法研究[J]. 光學(xué)學(xué)報, 2007, 27(2): 360-364.

WANG Xiangjun, WANG Yan, Li Zhi. Fast Target Recognition and Tracking Method Based on Characteristic Corner[J]., 2007, 27(2): 360-364.

[8] Siegwart R., Scaramuzza D., Chli M., et al. Image Keypoint Detection, Description, and Matching[EB/OL]. [2016-9-18]. https://www.ethz.ch.

[9] Edward Rosten. Tom Drummond. Machine learning for high-speed corner detection[C]//, 2006, 1: 430-443.

[10] Mair E, Hager G D, Burschka D, et al. Adaptive and Generic Corner Detection Based on the Accelerated Segment Test[C]//2010,, 2010: 183-196.

[11] V. Lepetit, P. Fua. Keypoint recognition using randomized trees[J].. 2006, 28(9): 1465-1479.

[12] Rosten E, Drummond T. Fusing points and lines for high performance tracking[C]//, 2005, 2:1508-1515.

[13] Data sets. Visual Tracker Benchmark[DB/OL]. [2016-10-26]. https:// www.visual-tracking.net.

Method for Detecting Image CornersUsingAdaptive Determining Tracking Template

WANG Desheng1，WU Zhongjian1，YAO Xiujuan1，JIN Daizhong1，LU Hongchao2

(1. Southwest Institute of Technical Physics, Chengdu 610041, China; 2. Military Representative Office of PLA in 209th Institute,Chengdu 610041, China)

Atracking method based on region, is significantly affected bythe size and position of the tracking template. Through the analysis of the template vision, which is a significant feature of the tracking template, the AGAST fast corner detection method is used, which calculates the angle between the relative distances andanalyzes the angle point distribution to determine the template size and position. The simulation and test results show that thismethod candetermine the template that contains the target withbetter significant visual features, has fast calculation speed withhigh robustness, and can effectively improve the tracking performance of the region template matching method.

vision feature，corner point detection，adaptive template，image tracking

TN911

A

1001-8891(2017)07-0638-04

2016-11-03；

2017-07-04.

王德勝（1979-），男，安徽省合肥市人，高工，碩士，主要研究工作是圖像制導(dǎo)、目標檢測與跟蹤。E-mail：wdshyxj@163.com。