基于特征匹配的快速魯棒數(shù)字穩(wěn)像

謝 征，崔少輝，李金倫

(軍械工程學(xué)院 導(dǎo)彈工程系，河北 石家莊 050003)

?

基于特征匹配的快速魯棒數(shù)字穩(wěn)像

謝 征，崔少輝，李金倫

(軍械工程學(xué)院 導(dǎo)彈工程系，河北 石家莊 050003)

針對手持移動攝像裝置拍攝視頻序列相鄰幀間存在平移、小角度旋轉(zhuǎn)運動，而且易受噪聲、光照變化的影響等問題，提出一種基于優(yōu)化Oriented FAST and rotated BRIEF(ORB)特征匹配的實時魯棒電子穩(wěn)像算法。對相鄰幀預(yù)處理后用Oriented FAST算子檢測特征點，再用Rotated BRIEF描述提取的特征點并采用近鄰漢明距離匹配特征點對，然后采用級聯(lián)濾波去除誤匹配點對，最后使用迭代最小二乘法(ILSM)擬合模型參量進行運動補償實現(xiàn)穩(wěn)像。圖像匹配測試和穩(wěn)像實驗結(jié)果表明：基于改進的ORB算法的電子穩(wěn)像方法補償每一幀的時間均小于0.1 s，定位精度可達(dá)亞像素級，能有效補償幀間平移旋轉(zhuǎn)運動，而且對噪聲和光照變化有較強魯棒性。經(jīng)穩(wěn)像處理后，實拍視頻質(zhì)量明顯提高，峰值信噪比(PSNR)平均提高了10 db。

數(shù)字穩(wěn)像；ORB特征匹配；運動估計；級聯(lián)濾波；迭代最小二乘法

引言

手持移動成像設(shè)備，如手機、平板電腦等在獲取視頻的過程中，受人為因素影響，不可避免地存在抖動現(xiàn)象，導(dǎo)致輸出視頻圖像存在晃動、模糊現(xiàn)象，降低了視頻質(zhì)量，不易于觀察識別，影響觀察者心情，甚至帶來誤判，不利于后續(xù)視頻處理。而且手持成像設(shè)備存儲量低，計算能力有限，對速度要求較高，因此研究實時魯棒的數(shù)字穩(wěn)像技術(shù)具有極大的應(yīng)用價值。

數(shù)字穩(wěn)像技術(shù)[1]是基于硬件設(shè)備或者計算機，運用數(shù)字圖像處理技術(shù)計算視頻相鄰幀間變換關(guān)系，并通過運動補償輸出清晰平穩(wěn)的視頻序列的技術(shù)。目前應(yīng)用較多的數(shù)字穩(wěn)像算法如塊匹配法[2]、灰度投影法[3]、位平面匹配法[4]和相位相關(guān)法[5]，主要用于估計平移運動，對旋轉(zhuǎn)運動效果不佳；而基于特征匹配的電子穩(wěn)像算法，如Harris角點[6]、尺度不變特征(SIFT)[7]、加速魯棒特征(SURF)[8]等，均能有效估計平移和旋轉(zhuǎn)運動，而且具有較強的魯棒性，但是算法復(fù)雜，運算量大，難以應(yīng)用到手機、平板電腦等對實時性要求很高的手持移動成像設(shè)備上。

二進制ORB特征[9]是在FAST[10]角點和BRIEF[11]描述子基礎(chǔ)上發(fā)展而來的，不僅計算代價小、內(nèi)存要求低，性能十分優(yōu)秀，而且對平移、旋轉(zhuǎn)具有不變性。ORB相比于SURF算法快一個數(shù)量級，因而適于許多實時圖像匹配場合。例如，文獻[12]將ORB特征用于仿射不變圖像匹配，速度比ASIFT提高了6倍，文獻[13]利用ORB特征對航拍圖像進行快速拼接，能有效抵抗復(fù)雜噪聲干擾。

本文將ORB特征應(yīng)用于數(shù)字穩(wěn)像領(lǐng)域，首先對相鄰幀圖像提取ORB特征點進行匹配，然后依據(jù)匹配的特征點對建立平移旋轉(zhuǎn)矩陣，計算平移分量和抖動分量，從而進行補償，實現(xiàn)穩(wěn)像。

1 采用優(yōu)化ORB特征匹配數(shù)字穩(wěn)像原理

本文算法原理框圖如圖1所示。首先對輸入原始抖動視頻序列依次進行預(yù)處理并檢測ORB特征點，然后在相鄰幀間匹配特征點對并采用級聯(lián)濾波提高匹配精度，再采用迭代最小二乘法(ISLA)進行參數(shù)估計，獲取補償參數(shù)，實現(xiàn)穩(wěn)像，輸出穩(wěn)定的視頻序列。其中，ORB特征提取與匹配是運動估計的關(guān)鍵技術(shù)，決定了數(shù)字穩(wěn)像的精度與速度。

圖1 優(yōu)化ORB特征匹配數(shù)字穩(wěn)像系統(tǒng)原理圖Fig.1 Schematic diagram of optimized ORB feature matching digital image system

2 ORB算法原理

ORB算法是建立在FAST算法和BRIEF描述子基礎(chǔ)上的，在保留了這兩種算法的優(yōu)點的同時，還分別對其進行改進以克服其缺點。FAST檢測子的速度非常快，但它沒有旋轉(zhuǎn)不變性，對圖像旋轉(zhuǎn)比較敏感，而ORB算法采用灰度矩心將FAST改進為具有方向的Oriented FAST檢測子。下面簡要介紹其思想。

圖像某角點區(qū)域的灰度矩定義為

(1)

式中：I(x,y)為點(x,y)處的灰度值；p、q決定了灰度矩的階數(shù)。

于是該點灰度矩心可表示為

(2)

以角點O為中心，質(zhì)心C為終點構(gòu)造向量，此向量的方向即為此處角點的主方向θ：

θ=arctan(M01,M10)

(3)

這樣，就將FAST改進成了有方向的OrientedFAST檢測子，然后將OrientedFAST檢測子所提取的角點主方向應(yīng)用于BRIEF描述子，將其改進為旋轉(zhuǎn)不變的RotatedBRIEF描述子。BRIEF二進制描述子是在經(jīng)過平滑濾波后的角點的鄰域上，隨機選取若干點對進行二進制測試(binarytest)，并將binarytest值組合成一個二進制串，作為該角點的BRIEF描述子。binarytest定義為

(4)

式中：p(x)是圖像平滑濾波后的角點的鄰域P中點x=(μ,v)T處的像素灰度值。選擇n個二進制測試點對，則得到的BRIEF描述子為n維的二進制碼串，如下式所示：

(5)

式中：n可為128，256或512等，本文n=256。上述生成的BRIEF描述子沒有方向，不具備旋轉(zhuǎn)不變性，當(dāng)圖像的旋轉(zhuǎn)角度較大時，其性能急劇下降。因此，ORB將角點主方向θ作為BRIEF描述子的主方向，以此取得旋轉(zhuǎn)不變性。原理為在點對(xi,yi)處，對于任意具有n個二進制準(zhǔn)則集，可以定義一個2×n的矩陣：

(6)

利用角點主方向為θ的旋轉(zhuǎn)矩陣Rθ就可構(gòu)造S的有向形式Sθ=RθS。因此最終得到具備旋轉(zhuǎn)不變性的Rotated BRIEF為

gn(p,θ)=fn(p)|(xi,yi)∈Sθ

(7)

3 優(yōu)化的ORB算法

ORB算法采用FAST算法檢測角點，而FAST算子對光照亮度噪聲不敏感，魯棒性差，會引入一些不穩(wěn)定的邊緣點。另外，采用最近鄰漢明距離粗匹配時存在錯誤匹配的情況，需要進一步提高匹配精度。基于以上分析，本文提出一種優(yōu)化的ORB算法，它采用預(yù)處理增強魯棒性以及改進匹配策略剔除誤匹配的方法。

3.1 預(yù)處理

在角點檢測之前，考慮到光照變化和噪聲的影響，采用圖像增強技術(shù)和拉普拉斯-高斯算子對圖像序列進行預(yù)處理。首先對于光照變化和對比度大的序列采用直方圖均衡化技術(shù)進行預(yù)處理，可以增加圖像像素灰度值范圍，而且使圖像更清晰，角點分布更均勻，更穩(wěn)定，消除光照強度的影響。然后考慮到圖像采集中存在較多的高斯噪聲，先采用高斯濾波函數(shù)去除噪聲，再使用拉普拉斯算子銳化圖像。經(jīng)過拉普拉斯-高斯算子對圖像進行去噪處理后，增強圖像的邊緣及灰度變化大的部分，圖像更加清晰，更加有利于FAST算子檢測角點。高斯濾波函數(shù)如下：

(8)

對上式進行拉普拉斯變換可以得到拉普拉斯-高斯算子：

(9)

(10)

3.2 改進的特征匹配方法

傳統(tǒng)的ORB算法采用最近鄰漢明距離作為特征點相似性判定準(zhǔn)則，來獲得圖像間的匹配點對，但該方法保留了待匹配ORB點的最近鄰作為和它匹配的點，并且沒有對初匹配點對進行驗證和篩選，因而會引入大量的誤匹配點對，降低了求解仿射參數(shù)的精度和速度，導(dǎo)致穩(wěn)像結(jié)果存在較大的誤差，因而不適用本文移動平臺數(shù)字穩(wěn)像算法。

參考SURF算法特征匹配采用的近鄰歐式距離，本文中ORB特征向量的匹配采用近鄰漢明距離，首先找到目標(biāo)幀中與參考幀ORB特征點P漢明距離最近的關(guān)鍵點P1和次近的關(guān)鍵點P2，并將P1、P2與P的漢明距離分別記為d1和d2，d1

3.3 級聯(lián)濾波

由于局部運動物體的存在，以及噪聲等原因，造成粗匹配點存在部分誤匹配點，影響全局運動參數(shù)估計的速度與精度，故有必要在求解補償參數(shù)前剔除誤匹配點對。本文提出2個判斷誤匹配點對的準(zhǔn)則。

準(zhǔn)則一：提取的Rotated BRIEF描述子的主方向代表了該ORB特征點的方向，正確匹配的P與P′點的對應(yīng)的主方向應(yīng)該一致，若主方向角度差值過大可以予以剔除。

準(zhǔn)則二：正確匹配點對與各自鄰域內(nèi)角點的數(shù)量應(yīng)該相同，假如存在縮放運動則不可以使用固定的鄰域范圍。而相鄰幀圖像縮放可以忽略不計，主要考慮平移和旋轉(zhuǎn)運動，故可以選擇圓形鄰域，具體定義如下式：

(11)

式中：σ和σ′分別表示P和P′點的特征尺度；(t,s)和(t′,s′)表示滿足半徑為r的鄰域條件的角點坐標(biāo)；k為權(quán)值。

對通過鄰近漢明距離匹配得到的初步匹配點對進行級聯(lián)濾波處理，滿足準(zhǔn)則一和二的予以保留，反之剔除，直到保留的匹配結(jié)果小于設(shè)定的最小閾值時停止濾波，并進行下一步參數(shù)估計。

4 參數(shù)估計與補償

4.1 參數(shù)模型

本文同時考慮了模型參數(shù)的精度及速度需求，采用Similarity模型對造成幀間場景變化的攝像機運動進行建模。Similarity模型如下：

(12)

式中：s表示縮放因子；θ表示旋轉(zhuǎn)角度的大?。籘為平移矢量。

由于視頻序列幀間圖像尺度縮放變換可以忽略，而且旋轉(zhuǎn)角度一般小于5°，所以Similarity模型中可取s=1，cosθ≈1，sinθ≈θ，于是該模型簡化為如下形式：

(13)

設(shè)正確匹配點對總數(shù)為N，參考幀圖像中點(xi,yi)和目標(biāo)幀圖像中點(Xi,Yi)為第i對匹配點對，則由(13)式可得

(14)

進一步變形得

(15)

(15)式中含有3個未知參數(shù)，故最少需3對匹配點即可得到補償參數(shù)(dx,dy,θ)。當(dāng)N>2時，根據(jù)(15)式計算最小二乘解即可。(15)式可縮寫為

Ax=b

(16)

進一步變形得

x=[ATA]-1ATb

(17)

求解方程(17)的最小二乘解，即可得到相鄰兩幀的運動矢量(dx,dy,θ)。

4.2 運動補償

由于視頻幀中物體可能存在局部運動，雖然改進了匹配策略，但仍然會存在少量的錯誤匹配點對。如果直接使用最小二乘估計算法，可能得不到正確的補償參數(shù)。為了避免誤匹配數(shù)據(jù)對求解補償參數(shù)的影響，一般采用隨機抽樣一致算法[14](RANSAC)剔除外點(誤匹配點對)，計算仿射矩陣，但是該算法復(fù)雜，效率不高，不適合本文實時應(yīng)用的要求。

考慮到本文經(jīng)級聯(lián)濾波得到的粗匹配點對集合正確率較高，可采用迭代最小二乘估計算法(ILSA)求解運動估計參數(shù)。算法流程如下：

1) 將ORB特征匹配結(jié)果對代入Similarity模型，建立運動方程Ax=b；

5) 重復(fù)步驟1)～4)若干次，當(dāng)?shù)^程中某次匹配結(jié)果與前一次相同時或者參數(shù)x的變化量小于設(shè)定閾值時，迭代結(jié)束并得到最終補償參數(shù)x；

6) 對經(jīng)過迭代排除的ORB特征匹配內(nèi)點再進行LSA擬合，估計出高精度全局運動參數(shù)，對目標(biāo)幀圖像進行運動補償，消除抖動，最終實現(xiàn)穩(wěn)像。

采用ILSA估計運動參數(shù)，雖然比RANSAC精度有所降低，但是只需少數(shù)幾次迭代即可，運算速度較快，同時也滿足參數(shù)精度要求。

5 穩(wěn)像實驗與分析

為驗證文中改進ORB算法的魯棒性以及穩(wěn)像算法的有效性，分別從標(biāo)準(zhǔn)測試圖片(來自Corel5k數(shù)據(jù)集)特征匹配效果和實拍視頻(分辨率為856 pixel x 480 pixel)穩(wěn)像效果2個方面進行實驗說明。在PC機(Inter Core i7-4790，CPU 3.60 GHz，4.00 GB RAM)采用Matlab2011b編程進行實驗。

5.1 優(yōu)化ORB算法匹配性能測試

選擇Corel5k數(shù)據(jù)集中不同標(biāo)準(zhǔn)測試圖片用本文優(yōu)化ORB算法和傳統(tǒng)ORB算法進行匹配效果對比，如圖2所示，圖2(b)為光照變化情況，圖2(a)為添加0.02高斯噪聲實現(xiàn)目標(biāo)在平移、旋轉(zhuǎn)運動下的匹配。從圖2可以看出，本文優(yōu)化ORB算法匹配點對數(shù)明顯減少，但在保證足夠匹配點對數(shù)的情況下，同時也大大減少了誤匹配點對數(shù)，進一步提高了匹配精度，可以很好地滿足仿射參數(shù)求解的需要。

圖2 傳統(tǒng)ORB算法(左)與優(yōu)化ORB算法(右)匹配效果對比Fig.2 Matching effect comparison of traditional ORB algorithms(left) and optimized ORB algorithm (right)

為了體現(xiàn)本文算法在匹配速度和精度上的優(yōu)越性，將本文算法與傳統(tǒng)算法進行了對比，結(jié)果如表1所示。從表1中可以看出，本文優(yōu)化算法運算速度快，存在噪聲和光照變化情況下誤匹配點數(shù)明顯減少，匹配精度提高了20%以上，有很好的魯棒性。

表1 兩種算法匹配性能測試比較

5.2 優(yōu)化ORB特征匹配穩(wěn)像算法效果驗證

為了評估本文算法的穩(wěn)像效果，本文利用幀間逼真度，即峰值信噪比(peak signal to noise ratio，PSNR)作為客觀質(zhì)量評價標(biāo)準(zhǔn)。質(zhì)量良好的視頻的PSNR值一般在30 dB以上，PSNR值越大，視頻質(zhì)量越好。另以f(x,y)為參考圖像，f′(x,y)為重建圖像。則兩幅圖像(尺寸為M×N)f(x,y)和f′(x,y)之間均方根誤差為

(18)

則PSNR定義為

(19)

式中L為灰度級數(shù)。

分辨率為856pixelx480pixel實拍視頻序列的穩(wěn)像實驗結(jié)果如圖3所示。由于對視頻序列運動補償后沒有考慮無定義的邊緣區(qū)域，因此計算整幅圖像的峰值信噪比(PSNR)沒有意義，因此本文只計算中心區(qū)域的PSNR，并給出各自的補償參數(shù)，如表2所示。由補償參數(shù)可知，計算精度為浮點精度，故補償精度可達(dá)亞像素級。

圖3 實拍視頻穩(wěn)像結(jié)果(由左至右分別為參考幀、目標(biāo)幀、補償幀)Fig.3 Results of real video image stabilization (from left to right respectively reference frame, target frame, compensation frame)

視頻序列(dx，dy，θ)中心區(qū)域PSNR/dB補償前補償后穩(wěn)像時間/s圖2(a)(-6．4856，1．6356，-0．0342)24360．096圖2(b)(2．1831，-5．6724，0．0216)28400．093圖2(c)(-9．6241，2．4373，-0．0142)26370．095

由圖3、表2實驗結(jié)果可以看出，補償后的視頻序列不但主觀視覺感受良好，而且客觀的PSNR平均提高了10 dB以上，視頻質(zhì)量有顯著提高。另一方面，基于改進的ORB算法的電子穩(wěn)像方法補償每一幀的時間均小于0.1 s，可以滿足實時性要求。

6 結(jié)論

首先對ORB算法進行理論介紹與分析，然后提出一種優(yōu)化ORB算法用于特征匹配進行運動估計，采用預(yù)處理和級聯(lián)濾波增強圖像清晰度，減少誤匹配點，提高匹配精度與速度，最后采用迭代最小二乘估計進行運動補償實現(xiàn)穩(wěn)像。實驗結(jié)果表明，該數(shù)字穩(wěn)像方法對光照亮度、噪聲不敏感，而且速度快，穩(wěn)像效果良好，用專用硬件加速以后能夠滿足手持、車載、機器人等移動成像裝置的需求，可應(yīng)用于無人偵察、目標(biāo)識別與跟蹤等領(lǐng)域。但該算法也有一定的局限性，由于ORB算法不具備尺度不變性，因此對可能存在的輕微縮放運動不具備補償效果，限制了該算法的應(yīng)用范圍，這也是本文下一步需要研究的問題。

[1] Wang Zhimin, Xu Xiaogang. A survey on electronic image stabilization[J].Journal of Image and Graphics, 2010, 15(3): 470-480. 王志民，徐曉剛. 電子穩(wěn)像技術(shù)綜述[J]. 中國圖像圖形學(xué)報，2010，15(3)：470-479.

[2] Cuevas E，Zaldvara D, Pérez-Cisneros M，et.al. Block matching algorithm for motion estimation based on Artificial Bee Colony (ABC)[J].Applied Soft Computing，2013,13(6)：3047-3059.

[3] Gu Guohua,Gu Xuehai, Wang Liping. Electric image stabilization based on improved gray projection[J].Journal of Applied Optics，2013，34(6):867-963. 顧國華，顧學(xué)海，王利平. 基于灰度投影改進的電子穩(wěn)像[J]. 應(yīng)用光學(xué)，2013，34(6): 867-963.

[4] Luo Jun, Dong Hongyan, Shen Zhenkang. Video stabilization based on bit-plane registration and Kalman filter[J]. Infrared and Laser Engineering，2008, 37(2): 304-307. 羅軍，董鴻雁，沈振康. 基于位平面匹配和卡爾曼濾波的視頻穩(wěn)定[J]. 紅外與激光工程，2008, 37(2): 304-307.

[5] Xing Hui，Yan Jinglong，Zhang Shujiang. Digital image stabilization algorithm based on phase correlation[J]. Opto-Electronic Engineering，2007，34(3): 37-41. 邢慧，顏景龍，張樹江. 基于相位相關(guān)的數(shù)字穩(wěn)像算法研究[J]. 光電工程，2007，34(3): 37-41.

[6] Zhang Yanning,Zhang Xingong,Zhu Yu,et.al. A stabilized Harris confidence based 3SS of digital video stabilizing method[J]. Acta Photonica Sinica,2010,39(2)：364-368. 張艷寧,張新功,朱宇,等. 基于穩(wěn)定Harris置信度的三步搜索數(shù)字穩(wěn)像方法[J]. 光子學(xué)報,2010,39(2)：364-368.

[7] Chu Shouyan, Xi Zhihong. Digital image stabilization based on SURF[J].Journal of Computer-Aided Design & Computer Graphics，2014，26(2),242-247. 初守艷，席志紅. 結(jié)合SURF的數(shù)字穩(wěn)像技術(shù)[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報. 2014，26(2),242-247.

[8] Schulze C, Liwicki M. Optimized SIFT feature matching for image retrieval[J]. Lecture Notes in Computer Science，2014，1(1)：102-115.

[9] Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C]// ICCV.New York:IEEE, 2011: 2564-2571.

[10]Rosten E, Porter R,Drummond T. Faster and better: a machine learning approach to corner detection[J]. IEEE Trans. Pattern Analysis and Machine Intelligence，2010，32(1)：105-119.

[11]Calonder M, Lepetit V, Strecha C, et al. BRIEF: binary robust independent elementary features[C]//ECCV.Berlin:Springer Berlin Heidelberg,2010: 778-792.

[12]Hou Yi, Zhou Shilin, Lei Lin,et.al. Fast fully affine invariant image matching based on ORB[J].Computer Engineering & Science，2014，36(2)：303-310. 候毅，周石琳，雷琳,等. 基于ORB的快速完全仿射不變圖像匹配[J]. 計算機工程與科學(xué)，2014，36(2)：303-310.

[13]Wang Guodong， Wen Pengcheng， Chen Yue. A method for aerial image stitching using ORB feature points[J].Journal of Inner Mongolia University:Natural Science Edition，2014，43(4)：425-433. 王國東，文鵬程，程岳. 一種利用ORB特征進行航拍圖像拼接的方法[J]. 內(nèi)蒙古師范大學(xué)學(xué)報:自然科學(xué)漢文版，2014，43(4)：425-433.

[14]Chen Fuxin，Wang Runsheng. Fast RANSAC with preview model parameters evaluation[J]. Journal of Software,2005，16(8)：1431-1437. 陳付幸，王潤生. 基于預(yù)檢驗的快速隨機抽樣一致性算法[J].軟件學(xué)報，2005，16(8)：1431-1437.

Fast robust digital image stabilization based on feature matching

Xie Zheng, Cui Shaohui, Li Jinlun

(Ordnance Engineering College, Shijiazhuang 050003, China)

In view of the problems that the translation and small angle rotation motion always exist between adjacent frames when the handheld mobile camera is filming video sequence, and it is easily affected by noise and illumination changes,we put forward a kind of real-time robust digital image algorithm based on optimized oriented features from accelerated segment test (FAST) and rotated binary robust independent elementary features (BRIEF) (ORB) feature matching algorithm.Firstly the adjacent frame images were preprocessed to enhance image clarity and to avoid noise interference;secondly the oriented FAST operator was used to detect feature points and the rotated BRIEF was used to describe feature points, then the neighbor hamming distance was adopted to match the ORB feature point pairs; thirdly the cascaded filter was used to remove the false matching points; finally the iterative least squares method(ILSM) was used to fit model parameters,then the motion compensation was done to achieve digital image stabilization. Standard image matching test and digital image stabilization experimental results show that the run time of compensation for each frame by the electric image stabilization method based on improved ORB algorithm is faster than 0.1 s, the positioning accuracy can reach sub-pixel level, this method can effectively compensate the translation and rotation movement between the adjacent frames, and is not sensitive to noise and illumination changes, has strong robustness. After image stabilization processing,the real scene shooting video quality obviously improves and the peak signal-to-noise ratio (PSNR) increases by an average of 10 db.Key words:digital image stabilization; ORB feature matching; motion estimation; cascade filter; iterative least squares method

1002-2082(2015)06-0893-07

2015-04-28；

2015-08-10

軍內(nèi)科技創(chuàng)新項目(裝司字[2012]665)

謝征(1991-)，男，安徽亳州人，碩士研究生，主要從事捷聯(lián)圖像制導(dǎo)電子穩(wěn)像技術(shù)研究。

E-mail：xiezheng@mail.ustc.edu.cn 。

TN911.73;TP394.1

A

10.5768/JAO201536.0602003