基于SIFT特征與預(yù)測(cè)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法

吳忠良　余升

摘 要： 為了在動(dòng)態(tài)場(chǎng)景下對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行快速檢測(cè)，提出一個(gè)改進(jìn)的SIFT特征匹配的檢測(cè)算法。首先采用SIFT方法提取匹配的特征點(diǎn)；然后為全局運(yùn)動(dòng)建立起旋轉(zhuǎn)參數(shù)模型，并使用RANSAC方法排除外點(diǎn)的影響，運(yùn)用最小二乘法求解全局運(yùn)動(dòng)參數(shù)；最后利用基于殘差圖像塊的更新策略對(duì)特征點(diǎn)進(jìn)行更新。該算法是基于預(yù)測(cè)的SIFT特征點(diǎn)匹配算法，不僅保持了SIFT方法的優(yōu)越性能，而且提高了檢測(cè)目標(biāo)的速度。與塊匹配算法的實(shí)驗(yàn)結(jié)果對(duì)比表明，該算法可以實(shí)時(shí)準(zhǔn)確地檢測(cè)出運(yùn)動(dòng)目標(biāo)。

關(guān)鍵詞： 目標(biāo)檢測(cè)； SIFT特征； 旋轉(zhuǎn)參數(shù)模型； 動(dòng)態(tài)場(chǎng)景

中圖分類號(hào)： TN911.73?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2015）19?0087?04

Abstract： An improved detection algorithm of SIFT feature marching is provided for rapid detection to moving object in dynamic scene. The matched feature points are extracted by SIFT method， and the rotation parameter model is established for global motion. The influence of exterior points is eliminated by RANSAC method. The global motion parameters are solved by the least square method， and the feature points are updated by the updating strategy based on residual image block. This matching algorithm is based on the predicted SIFT feature points， which can remain the high performance of SIFT method and improve the detection rate of the object. Compared with the experimental results of block matching algorithm， it demonstrates that this algorithm can detect moving object accurately and in real?time.

Keywords： object detection； SIFT feature； rotation parameter model； dynamic scene

0 引 言

現(xiàn)代監(jiān)控系統(tǒng)中，需要對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)快速的檢測(cè)，傳統(tǒng)的固定攝像機(jī)由于其監(jiān)控范圍有限，逐漸被可旋轉(zhuǎn)的攝像機(jī)代替。動(dòng)態(tài)場(chǎng)景下的圖像不斷變化，信息處理相對(duì)靜態(tài)場(chǎng)景更加復(fù)雜，因此動(dòng)態(tài)場(chǎng)景下目標(biāo)檢測(cè)的研究具有重要的意義。目前檢測(cè)運(yùn)動(dòng)目標(biāo)的方法主要有：時(shí)間差分法[1]、光流法[2]、背景減除法[3]、匹配的方法[4]等。時(shí)間差分法對(duì)環(huán)境有著較強(qiáng)的適應(yīng)性，但由于不能對(duì)檢測(cè)的所有特征進(jìn)行提取，無法全部的對(duì)目標(biāo)區(qū)域進(jìn)行檢測(cè)；光流法適用范圍較廣，但該算法較為復(fù)雜，運(yùn)算量很大，不適合實(shí)時(shí)的檢測(cè)動(dòng)態(tài)場(chǎng)景下的運(yùn)動(dòng)目標(biāo)；背景減除法可提供完整的目標(biāo)特征，但該方法容易產(chǎn)生離散噪聲點(diǎn)，并且容易受到光照和灰度等級(jí)變化的干擾，需要建立背景模型對(duì)背景圖像進(jìn)行實(shí)時(shí)更新；特征點(diǎn)匹配的方法，在相鄰幀中分別提取特征點(diǎn)，并匹配特征點(diǎn)，再利用匹配的特征點(diǎn)對(duì)求解全局運(yùn)動(dòng)參數(shù)。由于特征點(diǎn)匹配的方法適合攝像機(jī)隨意轉(zhuǎn)動(dòng)的情況，而且只需要對(duì)某些有特征的、穩(wěn)定的點(diǎn)進(jìn)行計(jì)算，大大提高了算法速度。所以本文采用特征點(diǎn)匹配的方法。

SIFT特征點(diǎn)由David Lowe于1999年首次提出[5?6]，此方法對(duì)檢測(cè)目標(biāo)的旋轉(zhuǎn)、尺度縮放、視角變化及亮度變化具有良好的不變性，并對(duì)遮擋和噪聲也有很好的魯棒性。匹配點(diǎn)多而且穩(wěn)定也是該算子的一個(gè)重要特點(diǎn)。由于SIFT在用于攝像機(jī)運(yùn)動(dòng)參數(shù)求解時(shí)運(yùn)算量較大，難以達(dá)到實(shí)時(shí)性的要求，因此，本文針對(duì)實(shí)時(shí)性檢測(cè)的需要，在SIFT算法的基礎(chǔ)上加以改進(jìn)，提出了基于預(yù)測(cè)的SIFT特征點(diǎn)匹配算法，可以實(shí)時(shí)快速地檢測(cè)出運(yùn)動(dòng)目標(biāo)。

1 SIFT特征點(diǎn)

SIFT算法是一種提取局部特征的算法，該算法的主要思想就是在圖像中提取出特征點(diǎn)，使圖像的匹配轉(zhuǎn)化為特征點(diǎn)向量的相似性度量。SIFT 特征匹配算法主要有三個(gè)步驟：SIFT特征點(diǎn)的檢測(cè)；SIFT特征描述符的生成；SIFT 特征向量的匹配。算法過程如圖1所示。

SIFT算法通過比較圖像灰度值得到特征向量，特征提取是SIFT算法的重點(diǎn)。特征的提取包括初步定位特征點(diǎn)，精確定位特征點(diǎn)，為每個(gè)特征點(diǎn)明確方向和生成關(guān)鍵點(diǎn)描述算子。一般提取越多的圖像特征，越能反映出圖像中目標(biāo)的真實(shí)特征，匹配的結(jié)果也會(huì)更加精確，但會(huì)增加算法的復(fù)雜性和運(yùn)算時(shí)間。為了達(dá)到實(shí)時(shí)性的效果，特征的提取并非越多越好，SIFT算法只需要很少的必要的特征匹配點(diǎn)，就可以很好地對(duì)特征進(jìn)行匹配。

2 快速檢測(cè)匹配算法

2.1 求解全局運(yùn)動(dòng)參數(shù)

對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)需要消除攝像機(jī)的移動(dòng)影響。攝像機(jī)的主要運(yùn)動(dòng)方式有平移、旋轉(zhuǎn)、縮放和俯仰，需要運(yùn)用合適的全局運(yùn)動(dòng)模型及運(yùn)動(dòng)參數(shù)，運(yùn)用比較廣泛的有仿射參數(shù)模型和旋轉(zhuǎn)參數(shù)模型[7?8]。仿射參數(shù)模型相對(duì)簡(jiǎn)單，適合攝像機(jī)旋轉(zhuǎn)運(yùn)動(dòng)較小時(shí)的情況；旋轉(zhuǎn)參數(shù)在攝像機(jī)旋轉(zhuǎn)角度較大時(shí)可以更好地描述攝像機(jī)的運(yùn)動(dòng)，因此采用8參數(shù)旋轉(zhuǎn)模型[9]，滿足攝像機(jī)的各種運(yùn)動(dòng)情況。endprint

式中：參數(shù)[A]為旋轉(zhuǎn)參數(shù)矩陣，主要由攝像機(jī)的旋轉(zhuǎn)和平移參數(shù)決定，同坐標(biāo)參數(shù)無關(guān)。實(shí)際中無法得知攝像機(jī)的旋轉(zhuǎn)角度和平移量，需要通過其他方法求解矩陣[A。]

使用特征點(diǎn)匹配全局運(yùn)動(dòng)參數(shù)的思想是：在相鄰兩幀中分別搜索特征點(diǎn)，再對(duì)特征點(diǎn)對(duì)匹配，得到[F=f1， f2，…， fn，…， fN，]表示匹配點(diǎn)對(duì)的集合，其中[fn=（Xt-1，n，Xt，n）]為第[n]對(duì)匹配點(diǎn)，并用最小二乘法求最優(yōu)解。

運(yùn)用特征點(diǎn)進(jìn)行運(yùn)動(dòng)補(bǔ)償時(shí)，匹配的結(jié)果可能是失真的，即發(fā)生誤匹配。失真的點(diǎn)又稱作外點(diǎn)。相對(duì)來說，產(chǎn)生外點(diǎn)的概率較小，但為了避免引入外點(diǎn)造成全局運(yùn)動(dòng)的估計(jì)發(fā)生較大偏差，需要采取方法將外點(diǎn)從數(shù)據(jù)點(diǎn)中去除。因此采用RANSAC[10?11]（隨機(jī)抽樣一致）的方法去除誤匹配點(diǎn)，使用該方法后再利用最小二乘法[12]便可求解出較為準(zhǔn)確的參數(shù)矩陣。

2.2 基于預(yù)測(cè)的特征點(diǎn)匹配算法

攝像機(jī)拍攝所得的圖像序列中，每?jī)蓚€(gè)幀之間的間隔時(shí)間很短，幀之間的變化很小，相差一般只有幾個(gè)像素。由于當(dāng)前幀包涵了下一幀的大量信息，據(jù)此提出基于預(yù)測(cè)的快速匹配方法，即根據(jù)當(dāng)前幀的特征點(diǎn)對(duì)下一幀的特征點(diǎn)進(jìn)行預(yù)測(cè)。該算法根據(jù)預(yù)測(cè)的特征點(diǎn)的位置，小范圍的搜索特征點(diǎn)，得到當(dāng)前幀的特征點(diǎn)。具體步驟如下：

（1） 設(shè)第[t-1]幀圖像的特征點(diǎn)集為[Pt-1={pt-1，1，pt-1，2，…，pt-1，m}]；

（2） 根據(jù)特征點(diǎn)[pt-1，m]和運(yùn)動(dòng)參數(shù)，預(yù)測(cè)[t]幀的特征點(diǎn)[pt，m；]

（3） 以特征點(diǎn)[pt，m]為圓心，在半徑為[N]個(gè)像素的圓內(nèi)搜索特征點(diǎn)[pt，n]。將[pt，n]與[pt-1，m]進(jìn)行匹配，若匹配成功，則建立匹配點(diǎn)對(duì)[ft，n=（pt-1，m，pt，n），]即可得到匹配點(diǎn)對(duì)的集合[Ft={ft，1， ft，2，…， ft，n，…， ft，N}]以及第[t]幀的特征點(diǎn)集[Pt={pt，1，pt，2，…，pt，n，…，pt，N}]。

這種預(yù)測(cè)下一幀的方法使匹配在限制的范圍內(nèi)進(jìn)行，縮小了搜索的范圍，減少了誤匹配的發(fā)生。其中[N]值的大小直接關(guān)系到運(yùn)算量的大小，通過在多組動(dòng)態(tài)場(chǎng)景下拍攝視頻的實(shí)驗(yàn)，確定[N=3]時(shí)效果最佳。

2.3 基于殘差塊的特征點(diǎn)更新

在動(dòng)態(tài)場(chǎng)景下，攝像機(jī)拍攝的視角會(huì)不斷變化，圖像的特征也隨之變動(dòng)，故此需要對(duì)特征點(diǎn)進(jìn)行及時(shí)更新?？梢栽O(shè)一個(gè)最低匹配值[Tf]，當(dāng)特征點(diǎn)的匹配數(shù)低于[Tf]時(shí)就立刻更新。[Tf]設(shè)置較大會(huì)造成運(yùn)算量過大，影響算法效率；設(shè)置較小會(huì)使平均匹配點(diǎn)數(shù)降低，造成最小二乘解不準(zhǔn)確。根據(jù)多組試驗(yàn)選取最佳[Tf=15]。

特征點(diǎn)的更新需要對(duì)圖上的點(diǎn)進(jìn)行搜索，由于特征點(diǎn)主要集中在檢測(cè)目標(biāo)中且在求解運(yùn)動(dòng)參數(shù)時(shí)，真正起作用的是背景點(diǎn)，所以需要將包括檢測(cè)目標(biāo)即前景的一塊區(qū)域排除。

如圖2所示，采用基于殘差圖像的方法將前景區(qū)域進(jìn)行快速標(biāo)記。將殘差圖像分成[m×n]個(gè)大小的塊，計(jì)算每個(gè)塊的SAD[13]，并按大小進(jìn)行排序。[SAD=i=0Mj=0Nψi，j，]其中[ψi，j]是[（i，j）]的殘差。圖2中，[B0]是當(dāng)前預(yù)選前景塊，若鄰域8個(gè)圖像塊的SAD值有超過一半排在總SAD值的前30%，則將當(dāng)前預(yù)選前景塊標(biāo)記為前景塊，將每個(gè)預(yù)選前景塊都依次進(jìn)行排查。塊參數(shù)[m]和[n]的取值決定了計(jì)算量的大小和前景塊標(biāo)記的準(zhǔn)確性，通過實(shí)驗(yàn)確定設(shè)為[16×16]最為合適。

2.4 算法實(shí)現(xiàn)的具體步驟

若已知[pt-1，1]為第[t-1]幀的特征點(diǎn)集，[At-1]為第[t-1]幀的仿射參數(shù)矩陣。對(duì)第[t]幀運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，其算法詳細(xì)步驟如下：

（1） 根據(jù)2.1節(jié)提出的方法搜索出第[t]幀所有特征點(diǎn)[pt，n]并保存在特征點(diǎn)集[Pt]中，并用[Pt-1]和[Pt]進(jìn)行匹配并建立匹配點(diǎn)對(duì)[Ft]。

（2） 用RANSAC去除[Ft]中可能存在的誤匹配點(diǎn)，再用最小二乘法求解出[t]幀的仿射參數(shù)矩陣[At]。

（3） 利用式（2）對(duì)[t-1]幀圖像[It-1]中攝像機(jī)旋轉(zhuǎn)導(dǎo)致的運(yùn)動(dòng)進(jìn)行補(bǔ)償，得到補(bǔ)償圖像[It]。再將補(bǔ)償圖像[It]和第[t+1]幀圖像[It]做背景差處理，得到殘差圖像[Iobj]。

（4） 判斷得到的[Pt]點(diǎn)集中的特征點(diǎn)數(shù)目是否小于[Nf]，若小于則用2.3節(jié)中的方法進(jìn)行更新。

（5） 將得到的[Iobj，][At，][Pt]進(jìn)行保存，并同時(shí)進(jìn)行背景的實(shí)時(shí)更新。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證算法的效果，將本文算法同塊匹配算法進(jìn)行實(shí)驗(yàn)對(duì)比。使用Visual Studio 2010在Intel i3 CPU內(nèi)存4 GB的PC機(jī)的實(shí)驗(yàn)平臺(tái)上進(jìn)行調(diào)試。通過視頻實(shí)驗(yàn)對(duì)結(jié)果進(jìn)行比較和分析。具體的實(shí)驗(yàn)結(jié)果如圖3和圖4所示。

圖3為分辨率為[320×240]的實(shí)拍圖像序列。圖3（a）為原圖像序列的第30幀和70幀，圖3（b）為塊匹配算法得到的實(shí)驗(yàn)結(jié)果，圖3（c）為本文算法的實(shí)驗(yàn)結(jié)果。通過對(duì)比可以看出，匹配算法檢測(cè)出的目標(biāo)圖像較為模糊，輪廓有殘缺，背景中有東西沒被除去。本文算法檢測(cè)的目標(biāo)圖像十分飽滿和清晰，完全排除了背景中的干擾。此實(shí)驗(yàn)結(jié)果說明，本文算法繼承了SIFT算法的優(yōu)越性，在攝像機(jī)快速旋轉(zhuǎn)時(shí)可以有效檢測(cè)運(yùn)動(dòng)目標(biāo)。

圖4是對(duì)分辨率為[352×288]的標(biāo)準(zhǔn)序列的測(cè)試結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出，兩種算法都能檢測(cè)出目標(biāo)。匹配算法檢測(cè)出的目標(biāo)比較模糊，背景中的觀眾并沒有完全去除。由于攝像機(jī)的運(yùn)動(dòng)不僅僅是平移，匹配算法不能良好適應(yīng)。本文算法測(cè)得的結(jié)果明顯較為清晰。通過此實(shí)驗(yàn)可以說明，本文算法對(duì)攝像機(jī)在復(fù)雜的運(yùn)動(dòng)下檢測(cè)運(yùn)動(dòng)目標(biāo)同樣適用。

表1是兩種算法的運(yùn)行時(shí)間比較，可以看出本文算法耗時(shí)要小于塊匹配法，運(yùn)行效率有了很大提高，說明本文算法十分適合實(shí)時(shí)檢測(cè)目標(biāo)。該算法采用旋轉(zhuǎn)模型得到全局運(yùn)動(dòng)參數(shù)，并使用基于預(yù)測(cè)的方法可以測(cè)出比較清晰的運(yùn)動(dòng)目標(biāo)，說明本文提出的算法具有很強(qiáng)的實(shí)用性。endprint

4 結(jié) 論

本文提出了一種基于預(yù)測(cè)的匹配算法，針對(duì)動(dòng)態(tài)場(chǎng)景下的目標(biāo)進(jìn)行檢測(cè)。首先利用SIFT 算法提取出特征點(diǎn)，再構(gòu)建全局運(yùn)動(dòng)模型來描述攝像機(jī)的運(yùn)動(dòng)，通過運(yùn)用最小二乘法求解運(yùn)動(dòng)參數(shù)，其中采用RANSAC方法去除外點(diǎn)；最后基于殘差圖像塊的特征點(diǎn)更新策略保證求解參數(shù)的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果證明，該算法可以準(zhǔn)確實(shí)時(shí)地檢測(cè)出移動(dòng)攝像機(jī)下的運(yùn)動(dòng)目標(biāo)。

參考文獻(xiàn)

[1] 周若谷.基于高斯背景建模和時(shí)間差分法的目標(biāo)檢測(cè)研究[J].電腦編程技巧與維護(hù)，2014（4）：28?29.

[2] 張瑜慧，沈洋.基于圖像融合的運(yùn)動(dòng)前景檢測(cè)方法[J].現(xiàn)代電子技術(shù)，2013，36（24）：67?69.

[3] 張?jiān)?，李太君，李枚?利用改進(jìn)的背景差法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)[J].現(xiàn)代電子技術(shù)，2012，35（8）：74?77.

[4] BOROS E， ROSCA G， IFTENE A. Using SIFT method for global topological localization for indoor environments [C]// Proceedings of 2010 the 10th IEEE Workshop of the Cross?Language Evaluation Forum. Corfu： IEEE， 2010： 277?282.

[5] LUO J， OUBONG G. A comparison of SIFT， PCA?SIFT and SURF [J]. International Journal of Image Processing， 2009， 3（4）： 143?152.

[6] 傅衛(wèi)平，秦川，劉佳，等.基于SIFT算法的圖像目標(biāo)匹配與定位[J].儀器儀表學(xué)報(bào)，2011，32（1）：163?169.

[7] 趙亞湘，樊曉平，劉少強(qiáng).基于運(yùn)動(dòng)矢量場(chǎng)的運(yùn)動(dòng)目標(biāo)區(qū)域檢測(cè)[J].光電子·激光，2014，25（12）：2387?2392.

[8] SU Y P， SUN M T， HSU V. Global motion estimation from coarsely sampled motion vector field and the applications [J]. IEEE Transactions on Circuits and Systems for Video Technology， 2005， 15（2）： 232?242.

[9] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International Journal of Computer Vision， 2004， 60（2）： 91?110.

[10] 郭紅玉，王鑒.一種基于RANSAC基本矩陣估計(jì)的圖像匹配方法[J].紅外，2008，29（2）：5?8.

[11] 曲天偉，安波，陳桂蘭.改進(jìn)的RANSAC算法在圖像配準(zhǔn)中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用，2010，30（7）：1849?1851.

[12] 魯鐵定，陶本藻，周世健.基于整體最小二乘法的線性回歸建模和解法[J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2008，33（5）：504?507.

[13] HE Y W， FENG B， YANG S Q， et al. Fast global motion estimation for global motion compensation coding [C]// 2001 IEEE International Symposium on Circuits and systems. Sydney： IEEE， 2001， 2： 233?236.endprint