融合小波變換及SIFT算法的去抖動運動目標檢測

葛鶴銀， 孫建紅， 林 楠， 吳 凡

(南京理工大學 電子工程與光電技術學院， 江蘇 南京 210094)

?

融合小波變換及SIFT算法的去抖動運動目標檢測

葛鶴銀， 孫建紅， 林 楠， 吳 凡

(南京理工大學 電子工程與光電技術學院， 江蘇 南京 210094)

采集視頻信息時因攝像機抖動造成圖像不穩(wěn)定，將給后期運動目標檢測帶來嚴重的誤檢測問題。針對此問題提出一種融合小波變換及自適應SIFT算法的運動補償方案。首先引入基于閾值的小波變換對圖像進行去噪，然后設計變步長迭代準則自適應地搜索匹配的SIFT特征點，保證了高配準精度的特征點對的獲取，通過對比當前幀與參考幀匹配特征點的偏移量估計抖動參數(shù)，再利用改進的高斯混合模型對運動補償后的視頻幀進行運動目標檢測。實驗結果表明，與同類方法相比，能夠獲取具有更高配準度和穩(wěn)定性的匹配特征點對以有效地估計抖動參數(shù)，具有良好的去抖動效果和較高的運動目標檢測精度。

尺度不變特征變換； 小波變換； 去抖動； 運動目標檢測

0 引 言

在視頻監(jiān)控領域，運動目標檢測作為后續(xù)對運動物體歸類、跟蹤和識別的基礎，具有重要的意義，其基本要求是準確、快速地將已知視頻序列中的運動目標從場景中提取出來。然而受外界因素，尤其是自然因素的影響，安裝于戶外的監(jiān)控攝像機無法保證絕對靜止，風吹、震動等都將導致其抖動或移動，由此產(chǎn)生的視頻序列圖像幀背景的跳躍性變化將對運動目標檢測的準確性造成諸多不利影響[1-2]。為此，研究一套檢測精度高、魯棒性好的去抖動的運動目標檢測算法是本文的重點。

目前視頻去抖動方法主要分為3類：光流法、塊運動估計法和特征法。光流法主要根據(jù)光流信息，運動分析獲得圖像全局運動參數(shù)來補償原始序列。文獻[3]整合相鄰幀的光流來估計每個像素往同一方向運動的距離，但需要計算每一像素的瞬時光流場，實時性差，光流法固有的孔徑問題也會影響檢測效果。塊運動估計法是根據(jù)視頻序列中時間上相關信息估計場景或目標的運動向量場。文獻[4]提出一種基于運動矢量的抖動估計和校正方案，利用塊估計方法計算運動矢量，有良好的去抖動效果，但進行全局變換時會引入前面累積的誤差，限制了去抖動的效果。特征法在提取每幀圖像的特征點的基礎上，對相鄰幀進行特征匹配，根據(jù)匹配結果計算全局運動參數(shù)，該方法很大程度上取決于特征匹配的精度。

尺度不變特征變換(Scale Invariant Feature Transform，SIFT)[5]是由Lowe提出和完善總結的一種經(jīng)典的圖像特征提取與描述的算法，廣泛應用于圖像匹配領域。該算法檢測到的關鍵點對旋轉(zhuǎn)、尺度縮放、亮度變化具有不變性，對視角變化、仿射變換、噪聲也具有一定程度的穩(wěn)定性。近年來，不少學者提出了諸多基于SIFT的改進算法如SURF、PCA-SIFT、F-SIFT等[6-8]。傳統(tǒng)的SIFT匹配算法存在耗時較長，易引入誤匹配的問題。本文首先引入二維Mallat快速小波變換算法對視頻圖像幀進行分解，將低于閾值的高頻系數(shù)置零，再重建圖像，以提高圖像匹配的精度和速率。由于在相機抖動或自然環(huán)境變化的情況下圖像位置的微小偏移不會改變其局部特征，故接著在SIFT算法的基礎上設計變步長迭代算法搜索當前幀與參考幀之間的最佳匹配特征點，通過對比匹配點對的位置偏移估計視頻幀的抖動參數(shù)，再進行運動補償校正抖動的圖像幀。最后采用小波變換與高斯混合模型相結合的運動目標檢測算法[9]。該方案可有效抑制抖動造成的檢測誤差，分割出精度較高的運動目標。

1 融合小波變換及自適應SIFT算法的匹配方案

1.1 改進的快速小波算法

Mallat快速小波算法根據(jù)相鄰尺度離散小波變換(DWT)系數(shù)間的規(guī)律性，利用雙通道、子帶編碼迭代地自底向上建立小波變換，實現(xiàn)DWT的高效分析與計算[10]。采用小波濾波器對圖像數(shù)據(jù)進行反復低通和高通濾波迭代，更大尺度上實現(xiàn)高通和低通分量的分離。二維情況下，DWT需要1個二維尺度函數(shù)φ(x,y)和3個二維基本小波ψH(x,y) ,ψV(x,y)和ψD(x,y)。利用尺度函數(shù)和小波函數(shù)的正交性得到尺度系數(shù)：

(1)

(2)

(3)

對圖像進行二維小波變換，分解后的每一層按分辨率從高到低自底向上疊放，對應了圖像金字塔結構。小波變換中分解、重構的級數(shù)越多，劃分的頻帶越細，越有利于編碼。然而，級數(shù)的增加會導致級聯(lián)的濾波器增多，信號的移位變大，而伴隨著每一次分解、重構的延拓，邊界失真亦愈加嚴重。文獻[11]指出，小波變換進行多層分解時，二層以上低頻部分的能量會急劇減少，匹配點的數(shù)量也非常少。本文選用二尺度分解在確保精度的前提下有利于保證小波變換的實時性。同時針對圖像在小波變換域的能量主要集中在低頻部分、大部分噪聲主要集中于高頻部分中幅值較小的系數(shù)的特點，采用基于閾值的小波變換，將高頻子圖中低于閾值的高頻系數(shù)置零，高于閾值的系數(shù)保留，再與低頻子圖一起進行重構[12]。該方法能夠既保留圖像的細節(jié)，又達到了抑制噪聲的目的，有利于減少弱匹配點，提高特征匹配的準確性和魯棒性。

1.2 自適應SIFT算法

尺度不變特征變換(STFT)是圖像匹配領域的經(jīng)典算法，流程主要包括尺度空間極值點檢測、關鍵點定位、方向確定、關鍵點描述符生成和特征匹配。本文意在原始STFT算法的基礎上提出改進，以獲取精度高，實時性強的匹配特征點。

SIFT匹配算法采用歐氏距離度量兩幅圖像的相似度，利用優(yōu)先K-D樹近似BBF搜索算法處理128維的特征向量，獲取每個特征點的兩最近鄰特征點。為了排除因圖像遮擋和背景混亂而產(chǎn)生的無匹配關系的關鍵點，采用比較最近鄰距離與次近鄰距離的方法：在模板圖像中取一特征點，利用歐式距離區(qū)別最近鄰特征點和次近鄰特征點，若最近鄰特征點歐式距離除以次近鄰特征點歐式距離小于某一比例閾值，則接受為一對正確匹配點。

本文提出一種變步長迭代準則自適應地設定閾值，以取得具有高匹配率的特征點。取t1時刻當前幀圖像I1某一關鍵點A，利用優(yōu)先K-D樹近似BBF搜索算法處理t2時刻當前幀圖像I2的128維的特征向量，獲取每個特征點的兩最近鄰特征點B和C，則A與B、A與C之間的歐氏距離分別為dAB和dAC，設dAB

R=dAB/dAC

(4)

對比例閾值R進行迭代求取匹配對集V，R取值較高時，相似的距離可能使V中包含大量的誤匹配，故起初設定的閾值要較小。文獻[3]中比例閾值為0.8時，可以去除約90%的誤匹配對，但以丟失約5%的正確匹配對為代價；若設定比例閾值大于0.8，誤匹配對數(shù)會急劇上升，包含大量匹配信息的兩幅圖像不僅降低了算法的實時性，還使得攜帶的誤匹配影響了抖動參數(shù)的估計；若比例閾值小于0.8，正確匹配對數(shù)量加速流失，誤匹配對數(shù)量緩慢減少，但最近鄰特征點B相對于次近鄰特征點C離特征點A更近，最近鄰特征點更加穩(wěn)定。

由于提取的匹配特征點對將用于估計視頻圖像的抖動參數(shù)，故應盡可能保證匹配點對不包含誤匹配。本文通過自適應方法迭代搜索最佳閾值，在設計迭代搜索匹配點對過程中要合理設置閾值，應確保匹配對的個數(shù)適中，若少于100個將使得后期對抖動做運動補償時輸入?yún)?shù)不足，太多則會引入部分誤匹配，給抖動參數(shù)估計引入誤差。為了保證提取到的匹配特征點對達到要求，搜索過程細分為粗搜索和精確搜索。

設初始比例閾值為R0，為保證初始時刻匹配對的精確性，R0取值應較小，以減少誤匹配對。當初始匹配對個數(shù)為n0，視頻幀圖像大小為M×N時，匹配對個數(shù)n范圍在100～MN/200。因此若迭代過程中匹配對個數(shù)小于100，則需適當增加比例閾值R；當n大于MN/200時，則需適當減小R。本文采用變步長迭代，以Th為界，當比例閾值R>Th時，為精確搜索，采用小步長迭代；否則為粗搜索，采用大步長迭代。迭代步長分別為β=0.01，5β=0.05，迭代次數(shù)k不超過50次。自適應閾值迭代過程如圖1所示。

圖1 自適應閾值迭代過程

對比例閾值R進行縮放迭代，得到匹配對數(shù)為n的匹配對集V。然后利用匹配對集V計算兩幅視頻幀之間的對應關系。本算法利用自適應迭代實現(xiàn)最優(yōu)搜索，得到的匹配點抑制了誤匹配，穩(wěn)定性高。

1.3 穩(wěn)定匹配點的獲取

獲取穩(wěn)定的匹配特征點對抖動參數(shù)的估計意義重大。由變步長迭代準則獲取的閾值不同，對匹配點搜索的影響也較大。不同的閾值對匹配點的影響如表1所示。視頻1為戶外太陽光照射有陰影的視頻；視頻2是室內(nèi)有光照變化的視頻。

表1 視頻1、2的特征點數(shù)與匹配點數(shù)

分別采用SURF算法、SIFT與RANSAC結合的算法和本文小波變換與自適應SIFT結合的算法對視頻1、2進行特征點匹配運算，結果如圖2和圖3所示。

圖2 視頻1的第15和127幀的匹配結果

圖3 視頻2的第20和172幀的匹配結果

視頻拍攝未采用固定腳架，圖像幀之間因抖動會存在位置上的偏移。從圖2、3可以看出，SURF算法存在較多的誤匹配。視頻1實驗中，由于拍攝抖動，第127幀右下角拍攝到了第15幀中沒有的場景，而SIFT+RANSAC算法卻將其與第15幀的右下角進行了特征匹配，顯然存在較大誤差。本文算法去除了大部分的誤匹配，且數(shù)量明顯少于其他兩種算法。由表2可以看出，本文算法的誤匹配率明顯低于其他兩類算法，在去除大部分誤匹配的同時保留了穩(wěn)定的匹配對。

2 抖動校正與運動目標檢測

表2 3種算法的誤匹配率比較

(5)

本文采用文獻[9]將小波變換和高斯混合模型相結合的目標檢測算法。高斯混合背景模型針對每一個像素建立分布模型，并實時更新模型參數(shù)，但相鄰像素間的顏色信息是無相關性的，且各像素的高斯模型相互獨立，單一判斷方法容易造成運動目標的誤檢測[13-14]。結合Mallat小波提取圖像的紋理信息[15]，將亮度與紋理信息賦予不同的權值組成新的特征向量來更新高斯背景參數(shù)，經(jīng)小波分解后的紋理信息得到增強，而且高斯混合模型能夠很好地擬合背景顏色信息的變化，兩者相結合可以提高背景和目標顏色相近以及復雜背景環(huán)境下的目標分割精度。該目標檢測算法可以改善傳統(tǒng)高斯混合模型存在較多誤分割的現(xiàn)象，并且當目標與背景相接近時，仍能較好地分割運動目標。結合前期的去抖動處理算法，本算法針對穩(wěn)定性欠佳的視頻圖像有較好的運動目標檢測效果。

3 實驗結果及分析

本文的運動目標檢測方案主要針對視頻抖動問題，亦可用于自然環(huán)境下的運動目標分割。為驗證本文的算法，采用Matlab R2014a編寫實現(xiàn)相關算法。分別采用3段視頻對算法進行驗證。視頻1的拍攝環(huán)境為室內(nèi)光照微變的場景，視頻2為室外太陽光照射有陰影的場景，視頻3則為有風吹樹葉擺動的復雜場景，3類視頻均在拍攝過程引入了人為抖動，視頻分辨率為480×640。圖4為分別采用改進的高斯混合模型和本文算法對3段視頻進行運動目標檢測實驗結果。

圖4 實驗結果

由圖4可以看出，改進的高斯混合模型算法雖結合了圖像的紋理信息作為顏色信息的補償，取得了較好的檢測效果，但由于拍攝過程中的抖動，造成的背景偏移，使得部分背景尤其是運動目標周圍的背景會被誤檢測為前景。同時，圖像的偏移也會造成原本的目標檢測結果存在虛影現(xiàn)象。又如圖 4(c1)中，自然環(huán)境下風樹葉產(chǎn)生的抖動易造成背景誤判為前景，故在檢測結果中這些誤差的對應位置都可見較密集的噪點。應用本文算法，可以利用運動補償來校正視頻圖像因抖動而引入的偏移，抑制目標檢測的誤差，從而較好地分割出目標對象。

最后，采用IEEE Change Detection Workshop (CDW)評價檢測標準來定量地進行客觀評價分析。定義TP為檢測到的正確的目標點數(shù)，F(xiàn)P為錯誤目標點數(shù)，F(xiàn)N為錯誤背景點數(shù)，TN為正確背景點數(shù)。評價內(nèi)容包括：

Re(Recall)=TP/(TP+FN);

Sp (Specificity) : TN/(TN + FP);

FPR (False Positive Rate) : FP/(FP + TN);

FNR (False Negative Rate) : FN/(TP + FN);

PWC (Percentage of Wrong Classifications) :

100 * (FN + FP)/(TP + FN + FP + TN);

Precision : TP/(TP + FP);

F-Measure: (2 * Precision * Recall)/(Precision + Recall)。

對實驗采用的三段視頻分別統(tǒng)計上述參數(shù)值并取平均值，結果如表3所示。

在錯判率和誤判率方面，本算法的相關參數(shù)指標均較小，正確檢測率和精度也較高?？梢钥闯霰舅惴ㄅc改進的高斯混合模型對比具有明顯的先進性，故采用本文提出的方案對抖動視頻序列進行運動目標檢測具有理想的效果。

表3 評價參數(shù)比較

4 結 語

針對視頻序列抖動引起的運動目標誤檢測的問題，提出了一種融合小波變換及自適應SIFT算法的檢測方案。采用本算法，在拍攝過程存在抖動的視頻中亦可檢測到匹配精度高，穩(wěn)定性強的特征點對。同時，通過對比匹配特征點之間的位置偏移來估計視頻序列的抖動參數(shù)，以及通過運動補償來校正發(fā)生偏移的圖像。最后，利用改進的高斯混合模型算法來分割運動目標。實驗結果表明，通過引入小波變換，同時設計變步長迭代準則自適應獲取匹配特征點對，使得本文設計的去抖動方案能夠有效的抑制抖動誤差，提高了運動目標的檢測精度。

[1] Brahme Y B, Kulkarni P S. An implementation of moving object detection, tracking and counting objects for traffic surveillance system[C]∥International Conference on Computational Intelligence and Communication Systems, Gwalior, India, 2011: 143-148.

[2] Robert Fergus, Barun Singh, Aaron Hertzmann, Sam T. Roweis, William T. Freeman. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics,2006,25(3): 787-794.

[3] Tian Ying-li, Hampapur A. Robust salient motion detection with complex background for real-time video surveillance[C]∥Proceedings of IEEE Workshop on Motion and Video Computing, Breckenridge, CO, United states, 2005, (2): 30-35.

[4] 宋 利,周源華,周 軍. 基于運動矢量的視頻去抖動算法[J]. 上海交通大學學報, 2004,38(S1):63-66，72.

[5] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal Computer Vision, 2004, 60(2):91-110.

[6] Bay H, Ess A. Speeded-up robust features (SURF)[J]. International Journal on Computer Vision and Image Understanding, 2008, 110(3):346-359.

[7] Ke Y, Sukthankar R. PCA-SIFT: a more distinctive representation for local image descriptors[J]. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004,2(2): 506-513.

[8] Wan-Lei Zhao, Chong-Wah Ngo, Flip-Invariant SIFT for Copy and Object Detection[J]. IEEE Transactions Image Processing, 2013, 22(3), 980-991.

[9] 蔡 念,陳世文,郭文婷. 融合高斯混合模型和小波變換的運動目標檢測[J]. 中國圖象圖形學報, 2011, 16(9): 1716-1721.

[10] Mallat S. A theory for multiresolution signal decomposition: the wavelet representation [J], IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11(7): 674-693.

[11] VIOLA P, JONES M. Rapid object detection using boosted cascade of simple features[C]. IEEE Computer Society Conference, Computer Vision and Pattern Recognition, 2001(1):511-518.

[12] 馬 寧,周則明,羅立民. 基于方向小波變換的自適應圖像去噪方法[J].計算機工程, 2012, 38(14): 184-186.

[13] 崔文頻,沈繼忠. 基于改進高斯混合模型的運動物體的圖像檢測[J]. 光電工程, 2010, 37(4): 118-124.

[14] PENG Suo, WANG Yan-jiang. An improved adaptive background modeling algorithm based on Gaussian mixture model [C] //Proceedings of ICSP2008. Beijing: IEEE Press, 2008:1426-1439.

[15] Liyuan Li, Leung M K H. Integrating intensity and texture differences for robust change detection[J]. IEEE Transactions Image Processing,2002,11(2): 105-112.

A Moving Target Detection Approach to Remove Jitter by Fusing Wavelet Transform and SIFT Algorithm

GEHe-yin,SUNJian-hong,LINNan,WUFan

(School of Electronic and Optical Engineering, Nanjing University of Science and Technology, Nanjing 210094, China)

Unstable video images caused by camera jittering will lead to inaccurate or error detection results. Aiming at this problem, a motion compensation scheme is proposed by combining wavelet transform and adaptive SIFT algorithm. First, the wavelet transform based on threshold is applied to remove noise of the image, the iterative criterion of variable step is established to adaptively search the matched SIFT key points, the match of features obtained is much more precisely. Then the jitter parameter is estimated by analyzing offset of these matched points. Finally, the Gaussian mixture models combined with wavelet transform are employed to detect moving target. Compared with the similar algorithm, the proposed method can obtain more precise and stable matched feature points such that the effective estimation of jitter parameters is assured. It can solve the jitter effectively and detect the moving target precisely and efficiently.

scale invariant feature transform (SIFT); wavelet transform; remove jitter; moving target detection

2015-07-05

江蘇省產(chǎn)學研聯(lián)合創(chuàng)新基金(BY2014004)

葛鶴銀(1990- )，女，江蘇鹽城人，碩士在讀，主要研究方向為計算機視覺與模式識別。

Tel.：15720612865; E-mail: lycheery@126.com

孫建紅(1966- )，女，江蘇張家港人，副教授，主要從事電路與系統(tǒng)的研究與教學。

Tel.：025-84303086; E-mail: sunjh@njust.edu.cn

TP 391.4

A

1006-7167(2016)02-0119-05