基于窗口的Surf目標(biāo)跟蹤

倪郁東，王 晨

(1.合肥工業(yè)大學(xué)數(shù)學(xué)學(xué)院，安徽合肥 230009;2.合肥工業(yè)大學(xué)電氣工程與自動(dòng)化學(xué)院，安徽 合肥 230009)

由于尺度不變特征對旋轉(zhuǎn)、尺度縮放和亮度變化具有不變性，部分學(xué)者將其應(yīng)用到目標(biāo)跟蹤中.文獻(xiàn)［5］提出一個(gè)基于Surf特征表達(dá)的跟蹤算法，即通過建立一個(gè)表達(dá)局部特征與全局運(yùn)動(dòng)關(guān)系的生成模型.該算法對物體形變和光照變化都有較好的魯棒性.文獻(xiàn)［6］提出了將Meanshift與Sift相結(jié)合的跟蹤算法，該算法雖然能解決局部遮擋問題，但卻很難處理目標(biāo)外觀變化的情況.文獻(xiàn)［7］采用Surf特征匹配方法跟蹤目標(biāo)，使用模板更新方法解決物體形變問題，并在匹配特征點(diǎn)較少時(shí)以Meanshift算法代替特征匹配完成跟蹤.文獻(xiàn)［8］將Surf特征和顏色特征進(jìn)行融合，構(gòu)造了一種全局Surf特征.跟蹤中使用粒子濾波算法，并動(dòng)態(tài)更新目標(biāo)模板和特征點(diǎn)，實(shí)現(xiàn)了精確的跟蹤效果.

與以上跟蹤算法相比，論文提出的基于窗口的Surf特征提取方法在保持跟蹤精度的同時(shí)，兼顧了算法的實(shí)時(shí)性.

1 Surf

Surf算法的特點(diǎn)體現(xiàn)在以下3個(gè)方面:使用Hessian矩陣檢測特征值、以特征點(diǎn)鄰域Haar［9］小波值分布取代Sift中梯度值分布來描述特征點(diǎn)局部信息、使用積分圖完成圖像卷積操作.

1.1 Hessian矩陣

假設(shè)圖像函數(shù)為f(x，y)，則其Hessian矩陣如式(1)所示

為使特征點(diǎn)具有尺度不變的特性，在構(gòu)造Hessian矩陣前需要對圖像進(jìn)行高斯濾波.高斯核已被證明是唯一的線性核［10］，一幅圖像在不同尺度的表示如式(2)所示

其中:G(x，y，s)是二維高斯核函數(shù);方差s定義為尺度，尺度越大圖像越模糊，尺度越小圖像越清晰.

我開始忽悠，每個(gè)時(shí)代都有每個(gè)時(shí)代的困頓，也許在歷史的進(jìn)程里野蠻會(huì)戰(zhàn)勝文明，但是要相信，文明的種子在這些市井之輩、讀書之人甚至妓女乞丐的心中代代傳承，文明不會(huì)消亡，總有一天它會(huì)變得更有力量。

圖像在不同尺度的Hessian矩陣如式(3)所示

與使用高斯差分計(jì)算Lxx，Lxy和Lyy相比，積分圖與箱式濾波器相結(jié)合的方法在精度上只有微小的損失，但在效率上卻有相當(dāng)大的提升.

Surf尺度空間被劃分為不同的組，每一組內(nèi)有一定層數(shù)，不同組內(nèi)層數(shù)相同.每一組是用大小不斷增加的箱式濾波器對輸入圖像以一定采樣間隔卷積得到的一系列響應(yīng).采樣間隔在組內(nèi)保持不變，組間以兩倍速率遞增.

1.2 基于Haar小波響應(yīng)的描述子

為使特征點(diǎn)具有旋轉(zhuǎn)不變性，需要計(jì)算特征點(diǎn)的主方向.與Sift不同，Surf是統(tǒng)計(jì)特征點(diǎn)鄰域內(nèi)的Haar小波特征，將Haar特征總和最大的方向定為主方向，然后以特征點(diǎn)為中心，選取邊長為20s(s為特征點(diǎn)所處的尺度)的正方形區(qū)域，以5s×5s為單位計(jì)算16個(gè)子區(qū)域的水平和垂直方向Haar小波響應(yīng)d x，d y，最后計(jì)算每個(gè)子區(qū)域內(nèi)的向量.這樣每個(gè)特征點(diǎn)可以用一個(gè)64維的向量描述.相比Sift，Surf特征向量維數(shù)少了一半，使后期特征匹配中的速度大大加快.

2 跟蹤窗口信息濾波

跟蹤窗口中除了跟蹤目標(biāo)，還包含復(fù)雜的背景信息.經(jīng)過特征提取，背景中也會(huì)存在特征點(diǎn).由于背景中的特征點(diǎn)是靜止的，當(dāng)相對運(yùn)動(dòng)目標(biāo)上的特征點(diǎn)較多時(shí)，會(huì)減弱跟蹤窗口的運(yùn)動(dòng)趨勢，嚴(yán)重時(shí)導(dǎo)致跟蹤失敗.Kalman［11］濾波器不但能減小背景特征點(diǎn)的影響，還能預(yù)測目標(biāo)的運(yùn)動(dòng)趨勢.

Kalman濾波器的窗口位置系統(tǒng)狀態(tài)為(xk，yk，vxk，vyk)，狀態(tài)向量分別是第k幀圖像中跟蹤窗口中心位置的橫縱坐標(biāo)位置和速度.狀態(tài)轉(zhuǎn)移矩陣定義如式(4)所示

其中:Δt為相鄰兩幀圖像的時(shí)間差.

狀態(tài)方程為

觀測方程為

狀態(tài)觀測矩陣為

其中:wk和vk分別表示均值為零的白噪聲序列.跟蹤窗口大小濾波與窗口位置處理類似.

3 跟蹤算法

3.1 運(yùn)動(dòng)目標(biāo)檢測

運(yùn)動(dòng)目標(biāo)檢測旨在利用連續(xù)圖像信息，將運(yùn)動(dòng)的區(qū)域從背景圖像中提取出來.常用的目標(biāo)檢測方法有幀間差分法、光流法和背景差分法.由于論文跟蹤算法只需要檢測運(yùn)動(dòng)目標(biāo)在第一幀圖像中的位置便可完成后續(xù)的跟蹤任務(wù)，不必與實(shí)時(shí)圖像作背景差分來檢測運(yùn)動(dòng)區(qū)域，因此采用背景差分法.背景模型采用視頻前30幀圖像的像素的均值來生成.將得到的背景模型和第一幀圖像分別進(jìn)行濾波預(yù)處理，去除圖像中的隨機(jī)噪聲.然后將二者做差分運(yùn)算、二值化、去噪及形態(tài)學(xué)濾波處理得到完整的運(yùn)動(dòng)目標(biāo).最后通過最小外接矩陣框運(yùn)算得到初始目標(biāo)跟蹤窗口的大小和位置.

3.2 運(yùn)動(dòng)目標(biāo)跟蹤

目標(biāo)跟蹤是在連續(xù)視頻幀間建立目標(biāo)信息的對應(yīng)關(guān)系.首先對前兩幀圖像的初始跟蹤窗口內(nèi)的圖像分別作Surf特征提取，然后對兩組特征點(diǎn)進(jìn)行匹配.匹配采用最近鄰法匹配法，相似性度量采用歐式距離.由于目標(biāo)處于運(yùn)動(dòng)狀態(tài)則兩組特征點(diǎn)在同一跟蹤窗口中會(huì)產(chǎn)生一定的位移.因此可以通過計(jì)算位移變化量來確定下一幀跟蹤窗口的位置.

假定目標(biāo)運(yùn)動(dòng)為剛體變換，可以用仿射變換表示目標(biāo)的平移、縮放的變化.則前后幀跟蹤窗口中匹配的特征點(diǎn)應(yīng)滿足式(8)

為消除特征點(diǎn)錯(cuò)配的影響，使用隨機(jī)抽樣一致性算法(RANSAC)對上式擬合.

為減小復(fù)雜背景特征點(diǎn)的影響，需要Kalman濾波器對仿射變換得到的位置信息進(jìn)行濾波.首先利用第一幀圖像跟蹤窗口的位置對第2幀中跟蹤窗口位置進(jìn)行預(yù)測，然后用經(jīng)過仿射變換計(jì)算得到的第2幀跟蹤窗口的位置對預(yù)測位置進(jìn)行修正，得到第2幀中跟蹤窗口最終位置.循環(huán)往復(fù)，可以實(shí)現(xiàn)對跟蹤窗口位置信息的跟蹤，對跟蹤窗口大小的處理類似.跟蹤算法流程如圖1所示.

圖1 跟蹤算法流程圖Fig.1 The flow diagram of tracking algorithm

當(dāng)目標(biāo)被短暫遮擋，基于前后幀的特征匹配仍能對運(yùn)動(dòng)目標(biāo)準(zhǔn)確跟蹤.如果目標(biāo)位置和跟蹤窗口長時(shí)間未發(fā)生變化，可認(rèn)為目標(biāo)靜止不動(dòng)或者被長時(shí)間遮擋住.為準(zhǔn)確區(qū)分上述情況，需要建立目標(biāo)特征庫.如果當(dāng)前窗口和模板庫中特征點(diǎn)匹配數(shù)量較多，認(rèn)為已經(jīng)靜止不動(dòng)，較少則被認(rèn)定為被長時(shí)間遮住.隨后需要實(shí)時(shí)進(jìn)行運(yùn)動(dòng)目標(biāo)檢測，找到視頻圖像中的運(yùn)動(dòng)部分進(jìn)行跟蹤.

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用320×240的視頻序列，軟件開發(fā)工具為Matlab.下圖中，黑色邊框?yàn)閷?shí)時(shí)目標(biāo)跟蹤窗口，紅色的十字為對窗口內(nèi)圖像進(jìn)行特征提取并經(jīng)過匹配得到的特征點(diǎn).

4.1 跟蹤算法實(shí)驗(yàn)結(jié)果與分析

如圖2所示，在背景圖像特征點(diǎn)相對較少的情況下，基于窗口的Surf目標(biāo)跟蹤算法能對目標(biāo)進(jìn)行很好的跟蹤.

如圖3所示，若目標(biāo)所經(jīng)過的背景中含有相對較多的特征點(diǎn)時(shí)，根據(jù)這些靜止的背景特征點(diǎn)所計(jì)算的跟蹤目標(biāo)窗口的位置信息會(huì)趨于不變，窗口逐漸脫離目標(biāo)，導(dǎo)致跟蹤失敗.

如圖4所示，為減小背景特征點(diǎn)的影響，增強(qiáng)目標(biāo)動(dòng)態(tài)特征點(diǎn)的作用，論文采用Kalman濾波器對跟蹤窗口的位置信息進(jìn)行預(yù)測，通過實(shí)驗(yàn)，驗(yàn)證了此方法的有效性.

如圖5所示，利用前后兩幀圖像的特征點(diǎn)之間的相對信息，使用仿射變換準(zhǔn)確計(jì)算目標(biāo)窗口大小的變化量的方法對尺寸發(fā)生變化的目標(biāo)實(shí)現(xiàn)了準(zhǔn)確跟蹤.

圖2 背景特征點(diǎn)較少時(shí)跟蹤正常Fig.2 Tracking is normal with less background features

圖3 背景特征點(diǎn)較多時(shí)跟蹤失敗Fig.3 Tracking is unnormal with more background features

圖4 背景特征點(diǎn)較多，預(yù)測后跟蹤正常Fig.4 Tracking is normal after processing with kalman

圖5 縮放Fig.5 Scaling

4.2 與Meanshift+Kalman算法比較

圖6 中實(shí)線和點(diǎn)線分別代表采用論文跟蹤算法和Meanshift+Kalman算法得到的目標(biāo)運(yùn)動(dòng)軌跡.可以看出，當(dāng)幀數(shù)小于100時(shí)，目標(biāo)所經(jīng)過的背景與目標(biāo)本身的顏色差別較大，兩種算法均能準(zhǔn)確跟蹤目標(biāo)，論文跟蹤算法得到的運(yùn)動(dòng)軌跡更加平滑;當(dāng)幀數(shù)大于100時(shí)，雖然有Kalman的預(yù)測作用，但是MeanShift+Kalman算法仍然跟蹤失敗.由此得出，當(dāng)目標(biāo)與背景的顏色相似度極高時(shí)，基于特征點(diǎn)的跟蹤算法比基于顏色直方圖的跟蹤算法好.

圖6 算法比較Fig.6 Algorithm comparison

4.3 算法實(shí)時(shí)性分析

基于窗口的Surf跟蹤算法不需要對整幅圖像進(jìn)行特征變換，相比整幅圖像特征提取然后進(jìn)行特征匹配定位目標(biāo)位置，速度上有了一定的提高，如圖7所示.實(shí)驗(yàn)采用圖5縮放實(shí)例，隨著目標(biāo)區(qū)域放大，每幀圖像處理時(shí)間逐漸增加.

圖7 目標(biāo)縮放跟蹤時(shí)間Fig.7 The tracking time when scaling

5 結(jié)束語

提出基于窗口的Surf目標(biāo)跟蹤算法，避免了對整幅圖像進(jìn)行Surf變換，進(jìn)一步提高算法速度.采用Surf特征匹配進(jìn)行目標(biāo)跟蹤，并采用Ransac算法建立映射關(guān)系，最后使用Kalman對跟蹤窗口信息濾波，增強(qiáng)了對復(fù)雜背景的抗干擾能力，提高了算法的魯棒性.

［1］胡明昊，任明武，楊靜宇.一種基于直方圖模式的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤算法［J］.計(jì)算機(jī)工程與應(yīng)用，2004(3):71－74.

［2］Lowe D.Object recognition from local scale－invariant features［C］∥International Conference on Computer Vision，1999:1150－1157.

［3］Lowe D.Distinctive image features from scale invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91 －110.

［4］Herbert B，Andreas E T.Speed-up robust features(surf)［J］.Computer Vision and Image Understanding，2008(9):346－359.

［5］Wei H，Yamashita T，Lu H G，et al.Surf tracking［C］∥International Conference on Computer Vision，2009:145－151.

［6］Du K，Ju Y F，Jin Y L.Object tracking based on improved meanshift and sift［C］∥Ieee Conf on CECNet，2012:2716－2719.

［7］Zhou D，Hu D.A robust object tracking algorithm based on Surf［C］∥Wireless Communications＆ Signal Processing(WCSP)，2013.

［8］Li R，Liu CX，Nian F Z.An object tracking algorithm based on global Surf feature［J］.Journal of Information ＆Computational Science，2013，10(7):2159 －2167.

［9］黃帥，吳克偉，蘇菱.基于Harris尺度不變特征的圖像匹配方法［J］.合肥工業(yè)大學(xué)學(xué)報(bào):自然科學(xué)版，2011，34(3):379－382.

［10］Tony L.Scale-space theory:a basic tool for analyzing structures at different scales［J］.Journal of Applied Statistics，1994，21(2):224 －270.

［11］張江山，朱光喜.一種基于Kalman濾波的視頻對象跟蹤方法［J］.中國圖象圖形學(xué)報(bào)，2002，7(6):607－609.