利用尺度空間下特征點進行匹配的電子穩(wěn)像方法?

王雪靜， 王小鵬， 閆建偉， 魏沖沖

（蘭州交通大學(xué) 電子與信息工程學(xué)院， 蘭州 730070）

0 引言

電子穩(wěn)像旨在消除視頻序列中的各種抖動,為此諸多學(xué)者提出了各種解決方法。常見的穩(wěn)像方法有灰度投影法[1]、塊匹配法[2]、位平面匹配法[3]和特征點匹配法[4]?；叶确ㄋ惴ê唵嗡俣瓤?，但是要求圖像灰度變化豐富，不能處理具有旋轉(zhuǎn)的圖像。相位相關(guān)法可以匹配旋轉(zhuǎn)角度很大的圖像但是計算量大。位平面法計算量小但不穩(wěn)定。相對而言特征點匹配法即可以保證精度，同時計算量也較小，因此本文采用SIFT[5]特征匹配算法。

1 基于SIFT特征匹配的電子穩(wěn)像

電子穩(wěn)像算法有兩大基本步驟：運動估計和運動補償。運動估計就是找出當(dāng)前幀相對于參考幀的偏移量。運動補償就是估計出偏移量后對圖像進行補償。運動估計是穩(wěn)像算法中的最為關(guān)鍵的步驟。本文采用特征點匹配算法計算圖像的偏移量。

基于特征點的運動估計要盡可能準(zhǔn)確的提取出圖像的特征點并進行匹配，所以選擇高精度的方法十分重要。本文采用的SIFT算法是一種在的尺度空間下提取圖像特征點的方法，即尺度不變特征變換(Scale Invariant Feature Transform)，解決了不同尺度下圖像特征點提取問題。SIFT算法獨特性好，信息量豐富，精確率較高。

1.1 SIFT算法

SIFT算法是一種提取局部特征的算法，在尺度空間尋找極值，提取極值點位置，尺度，旋轉(zhuǎn)不變量。SIFT匹配算法分為以下幾個步驟。

1.1.1 特征點的檢測

1) 尺度空間建立

首先建立尺度空間，一幅二維圖像I(x,y)尺度空間定義為：

其中，G(x,y,)σ是尺度可變高斯核函數(shù)。(x,y)是空間坐標(biāo)，σ是尺度因子。

2)建立高斯金字塔和DOG金字塔。

為了得到在不同尺度空間下的穩(wěn)定特征點，將圖像I(x,y)與不同尺度因子下的高斯核進行卷積，得到不同的尺度空間，再用不同的尺度空間構(gòu)成高斯塔。通常在同一組中，如果一幅圖的尺度因子為σ，下一幅圖中的尺度因子為k×σ。

高斯金字塔可分為兩步：（1）對圖像做高斯平滑；（2）對圖像進行降采樣。

通常高斯金字塔為4組，每組有5層。第二組金字塔第一層圖像由第一組金字塔中間層尺度圖像進行降采樣得到，采樣因子為2，以后每組金字塔類似的由上一組金字塔得到。如圖1所示。

圖1 高斯金字塔構(gòu)造

現(xiàn)在使用這些圖像來生成另一類圖像組Differece of Gaussain(DOG)，即求高斯算子的差值。DOG(Difference of Gaussian)是相鄰的兩尺度空間函數(shù)之差，用公式表示為：

DOG金字塔通過高斯金字塔中相鄰尺度空間函數(shù)相減即可，如圖2所示。

圖2 DOG金字塔構(gòu)造

3） DOG空間極值點檢測

在尺度空間下尋找局部極值點。在DOG空間的金字塔中間層的每個像素需要和它周圍的8個點及上下層中相鄰的9個點共26個像素點進行比較，如果這個像素點是極值點則保存該點。如圖3所示，標(biāo)記為白色的點與周圍26個點進行比較。

圖3 尺度空間極值檢測

1.1.2 特征點定位

檢測出的這些極值點并非都是特征點，由于DOG函數(shù)對邊緣和噪聲比較敏感，這些極值點還需要進一步檢驗。

首先去除低對比度的極值點。用泰勒公式將D ( x,y,σ)在局部極值點 ( x0,y0,σ)處展開。

其中x= (x,y,σ)。

上式對x求偏導(dǎo)并令結(jié)果為0，得到精確的極大值點Xmax。

將（4）帶入（3）中，取前兩項得到下式。

計算出 D ( Xmax)，這里設(shè)定了一個閾值0.03。如果D ( Xmax)≥0.03，則保留該點，否則丟棄。

下一步是消除不穩(wěn)定的邊緣響應(yīng)點。DOG函數(shù)中定義不好的極值點在橫跨邊緣的方向有較大的主曲率，在垂直邊緣的方向有較小的主曲率。而主曲率通過計算在該點的2×2的Hessian矩陣H求出：

其中，

D的主曲率和H的特征值成正比，計算它們的比率。

令α為最大特征值，β為最小特征值，則：

令α=rβ，則：

1.1.3 特征向量生成

1)特征點方向確定

經(jīng)過上述步驟得到的點為特征點，然后為這些點指定方向和模值。利用特征點臨域像素的梯度方向分布特性為每個特征點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

式（8）分別為點(x,y)處的梯度模值和梯度方向公式。

L所用尺度為每個像素點各自所在的尺度。

在以特征點為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計鄰域像素的梯度方向。梯度直方圖的范圍是0°～360°，其中每10°一個方向，總共36個方向。

特征點的方位用梯度直方圖來決定。對直方圖進行兩次高斯平滑。直方圖峰值代表了該特征點處臨域梯度的主方向，即作為該特征點的方向。如果存在其他相當(dāng)于主峰值80%的峰值時，這個方向就認(rèn)為是該特征點的輔方向。所以一個特征點可能會有一個主方向，多個輔方向，可以增強匹配的魯棒性。

2)生成特征點描述子

通過以上步驟，每一個特征點都擁有3個信息：位置、尺度、方向。下面為每一個特征點建立一個描述子。

首先將坐標(biāo)軸旋轉(zhuǎn)為特征點的方向，以確保旋轉(zhuǎn)不變性。

以特征點為中心取8×8的窗口。圖 4(a)中的中央黑點為當(dāng)前特征點的位置，每個小格代表特征點鄰域所在尺度空間的一個像素，箭頭方向代表該像素的梯度方向，箭頭長度代表梯度模值，圖中黑色的圈代表高斯加權(quán)的范圍。然后在每4×4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點，如圖 4(b)所示。此圖中一個特征點4個種子點組成，每個種子點有8個方向向量信息。

圖4 圖像梯度信息及特征向量

實際計算過程中，為了增強匹配的穩(wěn)健性，對每個特征點使用 4×4共16個種子點來描述，這樣對于一個特征點就可以產(chǎn)生128個數(shù)據(jù)，即最終形成128維的SIFT特征向量。此時SIFT特征向量己經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特征向量的長度歸一化。

1.1.4 特征向量匹配

當(dāng)兩幅圖像的SIFT特征向量生成后，對其進行相似度判定，此處采用特征點特征向量的歐式距離作為兩幅圖像中特征點的相似性判定度量，即在圖像2中找到與圖像1中的特征點歐式距離最近的前兩個特征點，當(dāng)最近距離和次近距離的比值小于某個比例閾值r時，則接受這個匹配點對，r越小，匹配的精度越高。

1.2 運動補償

運動補償?shù)哪康氖切Ｕ?dāng)前幀，在只考慮攝像機平移運動的情況下，采用平移模型：

其中，(xk+1,yk+1)與( x k, yk )是參考幀和當(dāng)前幀的一對特征匹配點，(? x,? y)是當(dāng)前幀相對與參考幀的偏移量。根據(jù)式（8）計算出的偏移量，對每一幀進行補償。

2 實驗結(jié)果

實驗選取在鐵道路口拍攝的一組視頻，視頻因火車經(jīng)過時引起攝像機的震動導(dǎo)致視頻的抖動。在MATLAB環(huán)境下用本文方法進行穩(wěn)像實驗。實驗中，k取值為，閾值r≤0.4。最后采用RANSAC算法對匹配點進行檢驗，剔除錯誤匹配點。圖5(a)和圖5(b)為當(dāng)前幀與參考幀的特征點提取結(jié)果圖像，其中每個特征點使用 4×4共16個種子點來描述。圖5 (c)～(e)分別為參考幀、當(dāng)前幀及穩(wěn)像后的幀圖像。

圖5 實驗圖像

表1給出了在參考幀與當(dāng)前幀中提取的特征點數(shù)以及匹配點數(shù)及匹配準(zhǔn)確率，可以看出，SIFT算法可以提取大量的特征點，經(jīng)驗證后的匹配點準(zhǔn)確率也較高。

表1 特征點匹配結(jié)果

3 結(jié)束語

在分析SIFT算法基本原理的基礎(chǔ)上，將其應(yīng)用電子穩(wěn)像過程中的運動矢量估計。由于SIFT算法能夠在不同的尺度空間下提取圖像特征點，并采用多維向量描述SIFT特征信息，因此，獲得的特征點數(shù)量多且獨特性好，可以較準(zhǔn)確地對參考幀和當(dāng)前幀圖像進行特征匹配，從而得到較好的穩(wěn)像效果。

[1]汪小勇,李奇,徐之海,等.用于實時數(shù)字穩(wěn)像的灰度投影算法研究[J].光子學(xué)報,2006,9(8):1268-1271.

[2]余穎,胡繼承.基于預(yù)測搜索距的快速塊匹配運動估計算法[J].計算機工程與設(shè)計,2005,26(8):155-2157.

[3]張博,任廣輝.采用下采樣和位平面匹配的局部運動估計[J].光電工程,2005,32(2):75-79.

[4]朱娟娟,郭寶龍.一種魯棒的電子穩(wěn)像系統(tǒng)[J].西安電子科技大學(xué)學(xué)報:自然科學(xué)版,2007,34(3):418-422.

[5]Lowe, D.G. Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[6]Battiato, S.G.Gallo, G.Puglisi.SIFT Features Tracking for Video Stabilization[C].14th International Conference on Image Analysis and Processing (ICIAP 2007).

[7]徐曉鵬.基于改進sift算法的目標(biāo)識別研究[D].南京:南京理工大學(xué),2011.

[8]任苗苗.用于視頻監(jiān)控的電子穩(wěn)像算法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2010.

[9]于麗莉,戴青.一種改進的SIFT匹配算法[J].計算機工程,2011,37(2):210-212.