基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)及跟蹤方法

康曉梅，穆柯楠，康 賢

（1.西安翻譯學(xué)院陜西西安710105；2.長(zhǎng)安大學(xué)陜西西安710064）

基于視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)及跟蹤是計(jì)算機(jī)視覺研究領(lǐng)域的研究熱點(diǎn)，在智能交通控制系統(tǒng)中的交通信息采集以及智能化視頻監(jiān)控系統(tǒng)中均有廣闊的應(yīng)用前景[1]。運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤通常被分為兩個(gè)獨(dú)立的部分，分別采用不同的算法機(jī)制來實(shí)現(xiàn)[2]。針對(duì)攝像機(jī)運(yùn)動(dòng)情況下的目標(biāo)檢測(cè)，文獻(xiàn)[3]采用基于光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，通過對(duì)獨(dú)立運(yùn)動(dòng)目標(biāo)進(jìn)行光流分析，以獲取運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)信息。然而光流法計(jì)算量較大，算法實(shí)時(shí)性差，且對(duì)噪聲較為敏感。文獻(xiàn)[4-5]提出基于homography變換的方法來建立自適應(yīng)背景模型，從而區(qū)分前景運(yùn)動(dòng)目標(biāo)和背景區(qū)域。文獻(xiàn)[6]基于背景建模的目標(biāo)檢測(cè)方法能夠提取出完整的目標(biāo)區(qū)域，然而背景建模過程計(jì)算量較大，不利于實(shí)時(shí)檢測(cè)。文獻(xiàn)[7]通過尋找兩幅圖像的SIFT特征匹配點(diǎn)對(duì)，利用一定的背景更新機(jī)制，用仿射變換后的背景圖像對(duì)當(dāng)前背景對(duì)應(yīng)區(qū)域進(jìn)行更新，然后利用背景差法檢測(cè)運(yùn)動(dòng)目標(biāo)。文獻(xiàn)[8]通過尋找相鄰兩幀圖像的匹配點(diǎn)對(duì)，計(jì)算幾何變換模型使兩幀圖像對(duì)齊，然后利用幀間差分法檢測(cè)運(yùn)動(dòng)目標(biāo)。

常用的目標(biāo)跟蹤算法有基于特征的跟蹤[9]、基于區(qū)域的跟蹤[10]和基于模型的跟蹤[11]。其中基于特征的目標(biāo)跟蹤方法主要優(yōu)點(diǎn)是對(duì)尺度、形變和亮度等變化不敏感，并且在目標(biāo)被部分遮擋的情況下，只要有一部分特征存在，仍然可以跟蹤運(yùn)動(dòng)目標(biāo)。然而該方法的缺點(diǎn)在于無法較好的確定并提取目標(biāo)特征，如果選擇的特征較少，容易丟失目標(biāo)；如果選擇的特征過多，則會(huì)增加算法的計(jì)算量，降低算法的實(shí)用性[12]。

論文提出一種基于SIFT[13]特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤算法，主要特點(diǎn)表現(xiàn)在：1）與傳統(tǒng)算法將目標(biāo)檢測(cè)和跟蹤采用不同算法分別實(shí)現(xiàn)不同，論文的目標(biāo)的檢測(cè)和跟蹤均基于SIFT特征匹配方法加以實(shí)現(xiàn)，算法復(fù)雜度低；2）論文基于SIFT特征匹配的目標(biāo)跟蹤算法，只選擇運(yùn)動(dòng)目標(biāo)區(qū)域中的特征點(diǎn)進(jìn)行匹配，在保證算法實(shí)用性的基礎(chǔ)上降低了算法計(jì)算量，有效解決了特征點(diǎn)數(shù)目選擇的問題；3）論文針對(duì)跟蹤樣本集退化問題，制定了相應(yīng)的樣本集更新機(jī)制。

1 基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)

1.1 SIFT特征點(diǎn)檢測(cè)及匹配

運(yùn)動(dòng)相機(jī)采集到的連續(xù)幀場(chǎng)景不同，但相鄰幀之間存在場(chǎng)景重疊區(qū)域。同時(shí)，視頻幀序列中也存在光照變化以及相機(jī)抖動(dòng)等干擾因素。通過求解相鄰幀之間的幾何變換模型，可以消除由于相機(jī)運(yùn)動(dòng)而產(chǎn)生的場(chǎng)景移動(dòng)，以及光照變化及相機(jī)抖動(dòng)而產(chǎn)生的差異。求解幾何變換模型參數(shù)需要尋提取相鄰幀圖像的特征點(diǎn)并且尋找這兩幅圖像之間的特征匹配點(diǎn)對(duì)。論文采用SIFT（Scale-invariant feature transform，SIFT）特征檢測(cè)器來提取圖像的特征點(diǎn)，采用K-D Tree最近鄰搜索算法進(jìn)行相鄰幀之間的特征點(diǎn)匹配。

1.2 圖像幾何對(duì)齊及運(yùn)動(dòng)目標(biāo)檢測(cè)

可以計(jì)算出相應(yīng)的幾何變換模型參數(shù)。考慮到由于相機(jī)抖動(dòng)而可能產(chǎn)生的旋轉(zhuǎn)、平移、縮放等變化，論文采用仿射變換模型來描述相鄰幀之間的幾何變換關(guān)系：

根據(jù)1.1節(jié)獲得的特征匹配點(diǎn)對(duì)，采用RANSAC算法可求解出變換矩陣[14]。

求解出代表兩幀圖像之間幾何變換的矩陣H后，對(duì)前一幀圖像進(jìn)行幾何變換，使其與后一幀圖像幾何對(duì)齊。然后將對(duì)齊后的兩幅圖像差分，從而得到候選運(yùn)動(dòng)目標(biāo)區(qū)域。進(jìn)一步地，為消除背景干擾，在差分圖像上計(jì)算Sum of Absolute Differences（SAD）值，高SAD值對(duì)應(yīng)的區(qū)域即為目標(biāo)區(qū)域，從而消除背景區(qū)域的干擾，確定運(yùn)動(dòng)目標(biāo)位置。實(shí)驗(yàn)結(jié)果如圖1所示。

圖1 兩幀圖像對(duì)齊與差分

2 基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)跟蹤

2.1 匹配度

為了判斷跟蹤樣本集中某樣本與當(dāng)前幀中檢測(cè)到的運(yùn)動(dòng)目標(biāo)是否為同一目標(biāo)，論文利用兩者的匹配程度來衡量，即匹配度。假設(shè)跟蹤樣本有N1個(gè)SIFT特征點(diǎn)，第k+1幀圖像檢測(cè)到的目標(biāo)有N2個(gè)SIFT特征點(diǎn)，兩者的SIFT特征匹配點(diǎn)對(duì)為N，則匹配度Rate按如下公式計(jì)算:

如圖2為樣本目標(biāo)與當(dāng)前檢測(cè)目標(biāo)的匹配結(jié)果。其中圖2（a）為匹配度大于匹配度閾值TR的情況，因此判斷當(dāng)前檢測(cè)目標(biāo)與對(duì)應(yīng)樣本為同一目標(biāo)而進(jìn)行跟蹤；圖2（b）為匹配度小于閾值的情況，雖然事實(shí)上該跟蹤樣本與當(dāng)前檢測(cè)目標(biāo)為同一車輛，但由于一段時(shí)間后車輛行駛姿態(tài)改變導(dǎo)致該檢測(cè)車輛與對(duì)應(yīng)樣本差異較大，導(dǎo)致匹配失敗。為了避免此類現(xiàn)象的發(fā)生，必須對(duì)跟蹤樣本進(jìn)行實(shí)時(shí)更新。

圖2 樣本目標(biāo)與檢測(cè)目標(biāo)的匹配結(jié)果

2.2 跟蹤樣本集更新

論文建立的跟蹤樣本集，是已標(biāo)記的所有運(yùn)動(dòng)目標(biāo)的集合。定義跟蹤樣本集：

對(duì)跟蹤樣本集進(jìn)行實(shí)時(shí)更新，可以避免樣本集發(fā)生退化現(xiàn)象。導(dǎo)致退化的因素有3種，分別對(duì)應(yīng)樣本集更新的3種情況：

1）對(duì)于第k幀檢測(cè)到的運(yùn)動(dòng)目標(biāo)，若跟蹤樣本集中存在與該目標(biāo)匹配度大于閾值TR的樣本，則用當(dāng)前檢測(cè)到的目標(biāo)對(duì)樣本集中對(duì)應(yīng)樣本進(jìn)行更新；

2）對(duì)于當(dāng)前幀圖像檢測(cè)到的某一運(yùn)動(dòng)目標(biāo)，若跟蹤樣本集中的所有跟蹤樣本與其匹配度均低于閾值TR，則認(rèn)為該目標(biāo)新進(jìn)入相機(jī)視野，并將其加入跟蹤樣本集中；

3）對(duì)于跟蹤樣本集中的某一樣本，若在第k幀及第k+1幀中均未檢測(cè)到與其匹配度高于閾值TR的目標(biāo)，則認(rèn)為該目標(biāo)離開相機(jī)視野，并將該目標(biāo)對(duì)應(yīng)樣本從樣本集中剔除。

論文通過大量測(cè)試發(fā)現(xiàn)，TR=80.31%時(shí)能得到理想的實(shí)驗(yàn)結(jié)果。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用PeopleImageAnalysisConsortium（PIAC）以及Change Detection.NET（CDNET）視頻圖像數(shù)據(jù)庫(kù)中的多組測(cè)試視頻，在Matlab2012a環(huán)境下對(duì)論文算法的有效性進(jìn)行驗(yàn)證。

如圖3（a）（b）為兩組視頻場(chǎng)景下的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果，其中攝像機(jī)為運(yùn)動(dòng)狀態(tài)（為保證運(yùn)動(dòng)目標(biāo)始終處于攝像機(jī)視野范圍內(nèi)）。表1所示為論文算法與文獻(xiàn)[3]基于光流法的檢測(cè)方法以及文獻(xiàn)[6]基于混合高斯背景建模的檢測(cè)方法檢測(cè)時(shí)間的對(duì)比結(jié)果。從表中可以看出，與其他兩種算法相比，論文基于SIFT特征匹配的目標(biāo)檢測(cè)方法耗時(shí)較短，有利于需要實(shí)時(shí)檢測(cè)的應(yīng)用場(chǎng)景（如視頻監(jiān)控系統(tǒng)）。如圖4所示為三組視頻序列下的運(yùn)動(dòng)目標(biāo)跟蹤結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出，論文所提的基于SIFT特征匹配的目標(biāo)檢測(cè)及跟蹤算法能夠?qū)崿F(xiàn)攝像機(jī)運(yùn)動(dòng)情況下不同場(chǎng)景中的目標(biāo)檢測(cè)及跟蹤。

圖3 運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果

4 結(jié)束語

文中提出一種基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤算法。對(duì)于兩幀待檢測(cè)圖像，首先采用SIFT算法提取特征點(diǎn)并尋找兩幀圖像的特征匹配點(diǎn)對(duì)，經(jīng)K-D Tree搜索算法進(jìn)行特征點(diǎn)初匹配后，再利用RANSAC算法求解兩幀圖像之間的幾何變換矩陣，實(shí)現(xiàn)圖像幾何對(duì)齊，從而消除相機(jī)運(yùn)動(dòng)、光照變化、背景干擾等因素。然后將兩幅對(duì)齊圖像差分，通過在差分區(qū)域?qū)ふ襍AD最大值區(qū)域來確定運(yùn)動(dòng)目標(biāo)區(qū)域。最后將已檢測(cè)到的目標(biāo)作為跟蹤樣本，與后檢測(cè)到的目標(biāo)區(qū)域進(jìn)行SIFT特征匹配，結(jié)合論文提出的跟蹤樣本集更新機(jī)制實(shí)現(xiàn)目標(biāo)跟蹤。實(shí)驗(yàn)結(jié)果證明論文算法復(fù)雜度低，檢測(cè)與跟蹤準(zhǔn)確度較高，適用于運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)。然而論文中只實(shí)現(xiàn)了單一運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤，后續(xù)研究工作中將針對(duì)多目標(biāo)的檢測(cè)及跟蹤此類復(fù)雜情況對(duì)算法進(jìn)行改進(jìn)。

表1 3種算法目標(biāo)檢測(cè)時(shí)間對(duì)比（單位：s）

圖4 運(yùn)動(dòng)目標(biāo)跟蹤結(jié)果

[1]劉定通.復(fù)雜背景下視頻運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[D].成都：電子科技大學(xué)，2015.

[2]Sayanan Sivaraman，Mohan Manubhai Trivedi.Looking at vehicles on the road:A survey of visionbased vehicle detection，tracking，and behavior analysis[J]. IEEE Transactions on Intelligent Transportation Systems，2013，14（4）:1773-1795.

[3]劉洪彬，常發(fā)亮.權(quán)重系數(shù)自適應(yīng)光流法運(yùn)動(dòng)目標(biāo)檢測(cè)[J].光學(xué)精密工程，2016，24（2）:460-468.

[4]姜明新，王洪玉，劉曉凱.基于多相機(jī)的多目標(biāo)跟蹤算法[J].自動(dòng)化學(xué)報(bào)，2012，38（4）:531-539.

[5]孟燦.基于全方位視覺的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[D].杭州:中國(guó)計(jì)量學(xué)院，2015.

[6]LING Qiang，YAN Jin-feng，LI Feng，et al.A background modeling and foreground segmentation approach based on the feedback of moving objects in traffic surveillance systems[J].Neurocomputing，2014（133）:32-45.

[7]王亮芬.基于SIFT特征匹配和動(dòng)態(tài)更新背景模型的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用與軟件，2010，27（2）:267-270.

[8] Jon Arróspide， Luis Salgado，Marcos Nieto.Vehicle detection and tracking using homographybased plane rectification and particle filtering[J].2010 IEEE IntelligentVehicles Symposium.University of California，San Diego，CA，USA.2010：150-155.

[9]Cao X，Gao C，Lan J，et al.Ego motion guided particle filter for vehicle tracking in airborne videos[J].Neurocomputing，2014，124（124）:168-177.

[10]Ding J，Lei B，Hong P，et al.Adaptive homochromous disturbance elimination and feature selection based mean-shift vehicle tracking method[J].Proceedings of SPIE-The International Society for Optical Engineering，2011，8200（10）:4869-4871.

[11]張煥龍，胡士強(qiáng)，楊國(guó)勝.基于外觀模型學(xué)習(xí)的視頻目標(biāo)跟蹤方法綜述[J].計(jì)算機(jī)研究與發(fā)展，2015，52（1）:177-190.

[12]龐國(guó)瑞.基于DSP的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤技術(shù)的應(yīng)用研究[D].聊城：聊城大學(xué)，2013.

[13]李明.基于SIFT特征點(diǎn)匹配的目標(biāo)跟蹤算法研究[D].合肥：合肥工業(yè)大學(xué)，2011.

[14]Xiangqian Wua，Qiushi Zhaoa，Wei Bub.A SIFT-based contactless palmprint verification approach usingiterativeRANSAC and localpalmprint descriptors[J].Pattern Recognition，2014，47（10）:3314-3326.