非剛性運動目標識別跟蹤研究現(xiàn)狀

付秀明，嚴中紅

（重慶理工大學(xué)藥學(xué)與生物工程學(xué)院，重慶400054）

非剛性運動目標識別跟蹤研究現(xiàn)狀

付秀明，嚴中紅

（重慶理工大學(xué)藥學(xué)與生物工程學(xué)院，重慶400054）

基于非剛性目標運動跟蹤問題進行分析，針對運動過程中目標會出現(xiàn)旋轉(zhuǎn)、比例變化及形變等情況，在復(fù)雜的背景中通過特征識別匹配實現(xiàn)跟蹤。以運動目標的檢測識別方法及特征識別方法為出發(fā)點，對目前幾種經(jīng)典方法進行分析、比較。結(jié)果表明：與光流法及背景差分法相比，MHI在非剛性目標運動的檢測準確率、實時性以及魯棒性方面均占優(yōu)勢；特征匹配技術(shù)SURF則可更好地平衡處理速度和效果性能。以SIFT使用不同尺度確定穩(wěn)定特征點的思路為基礎(chǔ)，提出多小波變換圖像分析方法，用于實現(xiàn)對序列圖像運動目標的特征匹配。

非剛性目標；目標檢測；運動跟蹤；運動識別；多小波變換

非剛性物體運動分析被廣泛應(yīng)用于人臉識別、運動識別等，而機器人視覺也涉及非剛性物體形狀的處理，如工業(yè)設(shè)備中帶關(guān)節(jié)和可彎曲的部件。同時，虛擬現(xiàn)實技術(shù)要求同時對剛體和非剛性體進行重建和模擬［1］。利用序列圖像中非剛性目標在邊緣、輪廓、時空等方面的差異，檢測出感興趣的運動物體，提取目標輪廓形狀特征等信息，并獲取目標位置、尺寸、速度等運動狀態(tài)，從而進行目標識別跟蹤［2］。在非剛性運動研究領(lǐng)域，其分析方法可分為基于模型的方法和基于特征的方法［3］。由于前者不能進行精確的關(guān)鍵節(jié)點的識別跟蹤，故在現(xiàn)實應(yīng)用中多采用基于特征的方法，但是該方法實現(xiàn)自動跟蹤時對背景的要求很嚴格。本文從目標檢測與特征匹配兩個方面對這些方法進行分析比較。

1　非剛性運動目標檢測技術(shù)

對于復(fù)雜背景下運動目標的檢測，實現(xiàn)實時控制對算法的實時性和準確性都有較高的要求。目前對運動序列圖像的目標分割檢測的主流方法是背景差分法、光流場法和MHI等［4］。

1.1光流法

Optical Flow（光流）屬于較高層次的計算機視覺表述方式，這是因為圖像光流的計算不需要在圖像序列中建立對應(yīng)的特征關(guān)系［5］。Horn和Schunck［6］創(chuàng)造性地將二維速度場與灰度聯(lián)系，進而引入光流約束方程，得到光流計算的基本算法。其原理是利用圖像的時空亮度梯度計算出一個運動場估算，用這個估算來表達圖像中各個像素點的運動矢量。光流為一個瞬時速度場，由場景中運動物體被測表面上的像素運動而產(chǎn)生［7］。之后很多研究者基于不同的理論基礎(chǔ)提出各種光流計算方法，將光流算法優(yōu)化并廣泛應(yīng)用。Barron［8］對多種光流算法進行總結(jié)，將其按理論基礎(chǔ)和與數(shù)學(xué)方法的區(qū)別分為4種：基于梯度的方法（以Horn-Schunck為典型代表）、基于匹配的方法、基于能量的方法、基于相位的方法（以Fleet和Jepson為代表）。

在攝像機靜止的情況下，可以利用光流法計算運動物體的數(shù)目、速度、運動目標的距離等運動參數(shù)。光流法不需要預(yù)知圖像場景的任何先驗信息就能檢測到運動對象，并且在攝像機運動的情況下也能檢測到運動目標，但該方法計算復(fù)雜，光流場計算結(jié)果的精確性受高噪聲、陰影、遮擋等情況的干擾，抗噪性能差，計算量較大，這在一定程度上限制了光流法在實時監(jiān)控中的應(yīng)用［9］。對于光流計算的抗噪性和算法的實時性，目前很多研究者基于光流場對其進行改進。張澤旭等［10］針對攝像機運動過程中的目標提取問題提出了基于光流場分割和邊緣提取的方法，可在復(fù)雜場景的序列圖像中檢測出完整的運動目標。昌猛等［11］在Horm與Schunck算法的遞歸方程的基礎(chǔ)上添加一個慣性因子，在保證算法性能的同時加快了算法的收斂速度，極大提高了計算效率。Singh［12］中指出，現(xiàn)有各種光流估計方法基本是在一個框架中，光流信息被這個框架分為兩類：保持信息和領(lǐng)域信息，通過這兩種信息提取物和融合來實現(xiàn)光流場的恢復(fù)。該領(lǐng)域的研究趨勢是對光流計算的統(tǒng)一框架的研究。

1.2背景差分法

背景差分法通過序列圖像建立背景圖像的像素模型，并在此基礎(chǔ)上將每幀圖像與背景圖像進行對比運算得到運動目標［13］。這種方法一般涉及對兩個重要因素的考慮：一是背景模型的表示及初始化；二是背景更新的方法。背景差分法一般能提供完全的特征數(shù)據(jù)，但由于場景的復(fù)雜性、不可預(yù)知性以及環(huán)境噪聲的存在，其對天氣變化，光照變化，背景擾動及背景物移入、移出等情況非常敏感。例如在下雨的環(huán)境中檢測運動目標，那么其檢測結(jié)果的準確性及跟蹤的精確性會受到運動目標陰影的干擾［14］。背景差分法對運動目標的檢測效果直接受背景圖像建模準確程度等因素的影響，但檢測速度比較快，檢測結(jié)果也較準確。

Wren等提出了基于單個高斯模型的背景構(gòu)建方法，前提是假定連續(xù)圖像幀中每個像素均是獨立的，并且其灰度值遵循高斯分布。Koller等指出上述方法存在一定的欠缺，在此基礎(chǔ)上進行改進，使運動目標的像素點不會疊加到背景中，可以適當(dāng)?shù)馗卤尘?。Stauffer等提出了自適應(yīng)的混合高斯模型背景構(gòu)建方法，每個像素點的灰度值分布都由多個高斯分布混合表示，當(dāng)有重復(fù)運動的背景（比如樹枝的搖動、水面的波動等）時，這種背景通常表現(xiàn)為多峰，利用混合高斯模型可以很好地解決這個問題。Wu Yi-Ming等使用Kalman濾波器來對背景進行不斷更新，該方法的計算復(fù)雜度相對較低，但是目標緩慢運動時會導(dǎo)致背景模型出現(xiàn)拖影問題。許多學(xué)者在其基礎(chǔ)上進行改進。Elgammal等提出了基于和密度估計的非參數(shù)背景模型，該方法能解決樹葉晃動等背景變動對運動目標提取的影響，但其計算代價過高。近年來很多學(xué)者對該方法進行優(yōu)化，并取得了一定的效果。

1.3運動歷史圖像（MHI）

在運動歷史圖像的運動分割方法中，連續(xù)圖像中目標輪廓在空間上的連續(xù)性成為其研究的出發(fā)點，通過每幀圖像對應(yīng)的目標在不同時刻加權(quán)疊加形成目標的運動歷史圖像，然后進行分割得到最終目標［15］。MHI的關(guān)鍵思想是利用浮點數(shù)來表示運動歷史圖像，輪廓圖像通過當(dāng)前系統(tǒng)轉(zhuǎn)換為浮點矩陣后對MHI進行更新［16］。隨著時間的推進，當(dāng)前幀對應(yīng)輪廓總是具有最大灰度值（最亮），而過去的輪廓在當(dāng)前MHI中的影響會越來越?。ㄗ儼担?。當(dāng)過去幀與當(dāng)前幀的時間超過設(shè)置的時間區(qū)段時，其影響將被清零。

在MHI中，輪廓序列凝結(jié)成灰度圖像把需要的運動信息保存下來。因此，MHI能以緊湊的方式來描述運動序列，同時MHI模板對輪廓噪聲不會非常敏感，例如孔、陰影和不完整的目標等。這些優(yōu)勢使得MHI模板適合應(yīng)用于運動分析和步態(tài)分析中。MHI模板保持每個像素位置隨時間的變化運動歷史，并隨時間衰減，利用每個像素的亮度在時間方式上表達運動流和序列。該方法對光線的要求不是特別高，但不適用于動態(tài)背景的運動分析，而僅限于對特定目標的運動分析，無法得到目標其他的信息［13］。

2　非剛性目標的特征匹配技術(shù)

在運動序列圖像的目標跟蹤識別過程中，除了需要對運動目標進行檢測外，更重要的是對運動目標的識別。在對非剛性物體的跟蹤分析中，由于非剛性物體的特性，很多方法對運動目標的特征進行抽取，然后與后續(xù)圖像的特征進行匹配，以最后達到跟蹤的目的［17］。本文主要分析比較SIFT、SURF以及CenSurE在圖像特征匹配方面的區(qū)別。

2.1SIFT

David G.Lowez在不變量技術(shù)的特征檢測方法的基礎(chǔ)上提出了SIFT算法。該算法基于尺度空間，其SIFT描述算子對圖像的一些局部特征有很好的魯棒性，如圖像的收縮、旋轉(zhuǎn)、平移甚至仿射變換［18-19］。SIFT算法的特征檢測基于尺度空間，在同時確定關(guān)鍵點的位置和所處的尺度條件下，將關(guān)鍵點領(lǐng)域梯度的主方向作為該點的方向特征，實現(xiàn)了SFIT算子對尺度和方向的無關(guān)性［20］。

SIFT對圖像實現(xiàn)特征匹配的主要過程如下：①從需要處理的多張圖像中提取不變的關(guān)鍵特征點；②為初步確定關(guān)鍵點的位置和所在尺度，需要利用尺度空間極值來檢測特征點，但關(guān)鍵點的數(shù)目較多；③通過擬合三維二次函數(shù)更精確地確定關(guān)鍵點的位置和尺度，同時利用閾值去除對比度低的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點，增強匹配穩(wěn)定性和可靠性［21］；④對關(guān)鍵點領(lǐng)域像素的梯度方向分布特性進行統(tǒng)計，以此作為關(guān)鍵點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性；⑤對關(guān)鍵點的特征向量進行歐氏距離運算，以此作為多幀圖像中關(guān)鍵點的相似性判定度量來確定匹配點［22］。

該方法對圖像目標的方向和尺度有很好的魯棒性，在較復(fù)雜的情況下能實現(xiàn)特征匹配，但是計算量大，匹配不夠精確，并且處理速度較慢，難以實現(xiàn)實時特征匹配。

2.2SURF

基于SURF（speeded-up robust features）算法的圖像匹配方法由Bay在2006年［23］提出，它采用一種新的橫向擴展和旋轉(zhuǎn)不變的特征點檢測和描述符，在SIFT的基礎(chǔ)上將特征匹配的算法進行優(yōu)化，其核心是對整個圖像進行卷積。為了平衡處理速度與效果性能，SURF在發(fā)揮現(xiàn)有的檢測和描述算子優(yōu)勢的基礎(chǔ)上，構(gòu)建以Hessian矩陣為測量標準的檢測方法以及一種基于分布的描述算子。文獻［24］進一步完善了SURF算法，所構(gòu)建的USURF算子用于特征匹配時具有較好的尺度旋轉(zhuǎn)不變性。該算法由于不利用顏色進行檢測，所以對光照有很好的魯棒性，同時利用全仿射不變特征的穩(wěn)健性能可有效避免對旋轉(zhuǎn)不變性矯枉過正的情況。

SURF算法的檢測過程與SIFT算法類似，兩者的不同之處主要在于SURF算法將方框濾波近似代替二階高斯濾波以生成尺度空間，同時利用haar小波代替直方圖來統(tǒng)計特征點的主方向以及生成特征向量［25］。SURF算子在很多方面都優(yōu)于以往類似的方法，如重復(fù)性、獨特性、魯棒性，保持所提取的特征向量依然具有旋轉(zhuǎn)不變性以及尺度不變性。這不僅使得該方法在特征匹配中的精確度比較理想，同時在計算速度上也有所突破［26］。SURF算法與Harris角點檢測算法相比，精度有所提高；與SIFT算法相比，解決了運算量的問題，在一定程度上提高了實時檢測性能。

2.3CenSurE

Agrawal等在結(jié)合SIFT、SUFT性能的基礎(chǔ)上提出Center Surround Extremas方法。CenSurE是一種計算效率極高的局部不變特征［27］，其主要思路是首先利用雙層高斯拉普拉斯濾波器構(gòu)建尺度空間，用積分圖像加速計算每個像素點的中心環(huán)繞哈爾小波響應(yīng)值，然后采用非極大值抑制方法檢測局部極值，最后濾除響應(yīng)值較小和分布在圖像邊緣或線上的不穩(wěn)定點。

在實際工程中，相鄰兩幀之間通常只有幾個像素的小范圍距離變化，動態(tài)場景變化緩慢［28］，不會發(fā)生突變。因此，求解單應(yīng)性矩陣所需的特征點提取算法需要有較好的實時性，并且對小尺度平移、旋轉(zhuǎn)和縮放變化具有很好的不變性，對于光照、噪聲和一定程度的視角變化也具有適應(yīng)性。CenSurE算法可較好地滿足上述要求。

CenSurE特征具有計算效率高、特征點坐標精確等優(yōu)點，對小尺度的旋轉(zhuǎn)、縮放和平移具有很好的穩(wěn)定性，對光照和噪聲也具有較好的適應(yīng)性，目前已在目標跟蹤、識別等實時性要求較高的場合得到應(yīng)用。

2.4多小波變換

本文在結(jié)合SIFT與SURF算法的多尺度思想基礎(chǔ)上提出圖像的多小波變換分析法。多小波變換的本質(zhì)是利用多個不同的濾波器對圖像進行濾波處理，每個濾波器有不同的頻率響應(yīng)范圍，將原圖像變換成多個頻段上的圖像。在多小波變換中的多尺度就是圖像空間變化的多個頻率分段，與SIFT與SURF的多尺度基于空間尺度是相同的，只是分析的角度不同而已。多小波變換后多頻段上的圖像之間存在某種關(guān)系，本質(zhì)上也與SIFT在不同尺度上尋找圖像特征的機制是相同的。但是多小波變換計算更簡單、明確、直接，可以利用小波的各種特性如極值、局部特性等實現(xiàn)不同特征的檢測，同時小波理論有非常完善的理論分析框架，便于分析計算，甚至由小波特征點可以重建原始圖像，顯然這是SIFT與SURF無法達到的，這些也是筆者感興趣的研究問題。

3　結(jié)束語

在通過運動序列圖像對運動目標的跟蹤識別過程中，主要是對運動目標的識別操作以及利用特征匹配來實現(xiàn)目標跟蹤操作。在這些操作處理過程中會遇到以下主要問題：①有無遮擋。在圖像視場范圍內(nèi)，經(jīng)常遇到這樣的問題：運動目標在過程中會出現(xiàn)被遮擋的現(xiàn)象，在運動目標識別過程中如何將不完整的運動對象與完整運動對象匹配。②多目標識別問題。運動目標的數(shù)量對研究有一定的影響，單目標的識別跟蹤相對來說比較簡單，目前技術(shù)也較成熟，但是對于多個運動目標的識別則更具有挑戰(zhàn)性，同時多目標識別跟蹤還涉及多目標的重疊問題。

序列圖像的運動目標提取在實際應(yīng)用中很有價值，單一方法在運動目標檢測跟蹤中均存在一些問題，故研究中更多地是將不同的方法有效地融合在一起，在相互彌補不足的同時將重要的參數(shù)指標提高。目前在攝像頭運動時的多目標提取尤為困難，但其研究價值更高，亟待突破。

［1］李防震，胡匡祜.非剛性運動分析方法的現(xiàn)狀與展望［J］.中國圖象圖形學(xué)報：A輯，2005，10（1）：11-17.

［2］吳樂，黃東軍.基于視頻流的運動目標跟蹤技術(shù)的研究［J］.科技信息，2008（3）：76-77.

［3］胡海燕，黃文清，李文杰，等.基于MRF和神經(jīng)網(wǎng)絡(luò)的三維運動參數(shù)估計［J］.工業(yè)控制計算機，2012，25（4）：92-93.

［4］屠禮芬，仲思東，彭祺.基于混合差分法的運動目標檢測［J］.科學(xué)技術(shù)與工程，2012（2）：325-329.

［5］胡以靜，李政訪，胡躍明.基于光流的運動分析理論及應(yīng)用［J］.計算機測量與控制，2007，15（2）：219-221.

［6］Horn B K，Schunck B G.Determining optical flow［C］// 1981 Technical Symposium East.International Society for Optics and Photonics.［S.l.］：［s.n.］，1981：319-331.

［7］Royden C S，Holloway M A.Detecting moving objects in an optic flow field using direction-and speed-tuned operators［J］.Vision research，2014，98：14-25.

［8］Barron J L，F(xiàn)leet D J，Beauchemin S S.Performance of optical flow techniques［J］.International journal of computer vision，1994，12（1）：43-77.

［9］侯宏錄，李寧鳥，劉迪迪，等.智能視頻監(jiān)控中運動目標檢測的研究［J］.計算機技術(shù)與發(fā)展，2012，22（2）：49-52.

［10］張澤旭，李金宗，李寧寧.基于光流場分割和Canny邊緣提取融合算法的運動目標檢測［J］.電子學(xué)報，2003，31（9）：1299-1302.

［11］昌猛，吳新根.一種快速的光流場計算方法［J］.東南大學(xué)學(xué)報，1999，29（5）：101-104.

［12］Singh A.An estimation-theoretic framework for imageflow computation［C］//Computer Vision，1990.Proceedings，Third International Conference on.USA：IEEE，1990：168-177.

［13］王孝艷，張艷珠，董慧穎，等.運動目標檢測的三幀差法算法研究［J］.沈陽理工大學(xué)學(xué)報，2012，30（6）：82 -85.

［14］張娟，毛曉波，陳鐵軍.運動目標跟蹤算法研究綜述［J］.計算機應(yīng)用研究，2009（12）：4407-4410.

［15］屈楨深，于萌萌，姜永林，等.應(yīng)用小波模歷史圖像的運動車輛視頻檢測［J］.西南交通大學(xué)學(xué)報，2012，47（3）：439-445.

［16］Ahad M A R，Tan J K，Kim H，et al.Motion history image：its variants and applications［J］.Machine Vision and Applications，2012，23（2）：255-281.

［17］侯宏錄，李寧鳥.一種基于運動目標識別的智能視頻監(jiān)控系統(tǒng)［J］.兵工自動化，2012，31（3）：5-9.

［18］LOWEDG.Object recognition from local scale in variant features［C］//Proc.of the International Conference on Computer Vision.［S.l.］：［s.n.］，1999：1150-1157.

［19］LOWEDG.Distinctive image features from scale in variant key points［J］.International Journal of Computer Vision，2004（6）：91-110.

［20］藺海峰，宇峰，宋濤.基于SIFT特征目標跟蹤算法研究［J］.自動化學(xué)報，2010，36（8）：1204-1208.

［21］李二森，張保明，劉景正，等.SIFT特征匹配技術(shù)在自動相對定向中的應(yīng)用［J］.測繪科學(xué)，2008，33（5）：16 -18.

［22］張永宏，楊戈，郝培培，等.基于SURF特征的PCB圖像拼接算法研究［J］.制造業(yè)自動化，2013，35（7）：71 -74.

［23］Bay H，Tuytelaars T，Van Gool L.Surf：Speeded up robust features［M］//Computer Vision-ECCV 2006.Berlin：Springer Berlin Heidelberg，［S.l.］：［s.n.］，2006：404-417.

［24］Bay H，Ess A，Tuytelaars T，et al.Speeded-up robust features（SURF）［J］.Computer vision and image understanding，2008，110（3）：346-359.

［25］仝如強，黃玉清，田瑞娟.SURF算法及其對運動目標的檢測跟蹤效果［J］.西南科技大學(xué)學(xué)報，2011，26（3）：63-67.

［26］李秀艷，劉鐵根，鄧仕超，等.基于SURF算子的快速手背靜脈識別［J］.儀器儀表學(xué)報，2011，32（4）：831 -836.

［27］Agrawal M，Konolige K，Blas M R.Censure：Center surround extremas for realtime feature detection and matching［M］.Computer Vision-ECCV 2008，Berlin：Springer Berlin Heidelberg，2008：102-115.

（責(zé)任編輯楊黎麗）

Research Status of Target Identification and Tracking of Non-Rigid Motion

FU Xiu-ming，YAN Zhong-hong
（College of Pharmacy and Biological Engineering，Chongqing University of Technology，Chongqing 400054，China）

The analysis based on non-rigid object motion tracking.In a complex background by the feature，we identified the tracking match through the goal conditions of rotation，scaling and deformation changes in the campaign course.The starting point was to analyze the detection and identification method and feature recognition method of moving targets and to comparatively analyze on the current development of several classical methods.Compared with the optical flow method and background subtraction，MHI has advantages in non-rigid object motion detection accuracy，timeliness and robustness dominant.Feature matching technology，SURF can better balance processing speed and effectiveness of performance.Based on the idea of the SIFT of different scales to determine the stability feature points，we proposed multi-wavelet transform image analysis，which was used to implement the feature match of image sequences moving targets.

non-rigid target；target detection；motion tracking；motion recognition；multiwavelet transform

TP391.4

A

1674-8425（2015）04-0081-05

10.3969/j.issn.1674-8425（z）.2015.04.016

2014-12-20

重慶市教委科學(xué)技術(shù)研究項目（KJ120807）

付秀明（1991—），女，江西贛州人，碩士研究生，主要從事計算機醫(yī)學(xué)圖像與信號處理方面的研究；通訊作者嚴中紅（1964—），男，重慶墊江人，博士，教授，主要從事計算機醫(yī)學(xué)圖像與信號處理方面的研究。

付秀明，嚴中紅.非剛性運動目標識別跟蹤研究現(xiàn)狀［J］.重慶理工大學(xué)學(xué)報：自然科學(xué)版，2015（4）：81 -85.

format：FU Xiu-ming，YAN Zhong-hong.Research Status of Target Identification and Tracking of Non-Rigid Motion［J］.Journal of Chongqing University of Technology：Natural Science，2015（4）：81-85.