基于特征匹配的視頻穩(wěn)像算法

吉淑嬌，朱 明，胡漢平，2，邢笑雪

(1.中國科學院長春光學精密機械與物理研究所，長春130033;2.中國科學院研究生院，北京100039;3.長春大學電子信息工程學院，長春130022)

機載成像設備安裝在軍用偵察系統(tǒng)，無人車輛導航系統(tǒng)以及一些民用的監(jiān)控系統(tǒng)上，由于工作環(huán)境惡劣使得這種攝像載體所攝取的視頻存在不確定的抖動，因此有必要采用電子穩(wěn)像技術去除抖動，獲得高質(zhì)量的穩(wěn)定視頻序列。

電子穏像技術關鍵是運動矢量的提取。精度高速度快的特征法是運動矢量估計算法中較常用的算法［1－2］。筆者采用基于特征點的匹配進行運動矢量估計。該算法主要采用分區(qū)Harris的特征點檢測方法，將檢測出的特征點利用距離準則剔除誤匹配點。將正確匹配的特征點代入仿射模型求解出運動矢量，再進行運動濾波，分離出抖動分量和有意運動分量。最后進行逐幀運動補償，實現(xiàn)圖像的平移、旋轉(zhuǎn)補償。算法流程如圖1所示。

圖1 電子穩(wěn)像系統(tǒng)的算法流程Fig.1 The algorithm process of Electronic stability system

1 運動矢量的提取

1.1 角點的提取和特征匹配

在基于特征的圖像配準過程中，角點提取具有非常重要的意義。角點或點特征是圖像的諸多特征如亮度、顏色信息、邊緣、直線以及輪廓等直接特征中較能代表圖像特點的特征。比較常用的角點提取算子有sift以及其升級的surf算子［2］、KLT算法［3］、Harris算子及其各種改進的算法［4－5］等。由于機載成像設備所攝取的視頻序列噪聲較多，因此筆者采用抗噪性能較強的Harris算子提取特征點。算子的核心為

當λ1，λ2都是較大的點時，該點視為特征點。為使特征點均勻分布，采用分區(qū)的角點檢測方法。

特征匹配采用基于模板的思想，以參考幀圖像的特征點為中心，構(gòu)造一個大小合適的模板圖像作為特征窗，利用SAD(最小像素差之和)準則，在當前幀中的一個較大搜索區(qū)域內(nèi)進行搜索，得到匹配圖像塊中心點即為對應匹配點，搜索區(qū)域及特征窗大小要根據(jù)圖像實際情況進行調(diào)整。

1.2 剔除誤匹配點

由于受噪聲干擾、被遮擋等原因，在特征點匹配過程中部分特征點不能正確匹配。隨機抽樣一次性RANSAC是較常用的剔除誤匹配點的算法，但由于其計算量稍大，采用文獻［1］的距離不變準則剔除誤匹配特征點。

圖2給出了一個距離準則的示意圖，圖2(a)在參考幀中選取6個特征點構(gòu)成的特征點集，以點1為例，其余5個點到它的距離構(gòu)成一個穩(wěn)定的結(jié)構(gòu)，在攝像機運動前后應該保持不變。圖2中除了d15和d'15的距離不等，其余大部分特征點都滿足距離準則，故可以判斷點1和1'是正確匹配點對;而對于點5，它到其余各點的距離都不相等，故可判斷5和5'為誤匹配點對.

描述算法時，可設定距離差的閾值，當穩(wěn)定結(jié)構(gòu)中有半數(shù)以上距離小于閾值，就可認為是正確匹配點對，閾值越小所提取特征點對越準確。

圖2 距離準則示意圖Fig.2 Distance criterion schematic diagram

1.3 實驗

實驗以30幀/s的幀率采集到的236×32像素0的80幀航拍圖像為研究對象，計算機采用酷睿2代E7500處理器，CPU主頻2.93 GByts，內(nèi)存2 GByts，Windows XP操作系統(tǒng)。首先對所采集圖像做剪切處理，以免特征點匹配移除場景，無法進行正確匹配。

圖3為該視頻序列的參考幀序列提取的特征點以及匹配的特征點顯示，正確匹配點標記“o”，錯誤匹配點標記“+”。

圖3 參考幀的特征點顯示Fig.3 Feature points of Reference frame

1.4 計算運動矢量

采用四參數(shù)仿射變換模型，對運動參數(shù)進行估計。確定參考幀和當前幀的正確匹配的特征點對的坐標后，分別代入如下仿射模型:

其中(Xi，Yi)和(Xi'，Yi')分別代表參考幀和當前幀的特征點坐標。參數(shù)s代表變焦系數(shù)，通常取1;θ為旋轉(zhuǎn)角度;Δx，Δy分別代表水平和垂直位移。

每對特征點都可得到2個線性方程，N個特征點就會有2N個線性方程，而未知量就3個即:θ，Δx，Δy。系統(tǒng)為超定方程組，采用最小二乘法即可求得運動矢量的值。實驗所求得的運動矢量為M1=［3.008 7;6.193 6;1.247 7］，通過以上方法，可求得該實驗的80幀圖片相鄰幀的運動矢量79個。

2 運動濾波

對所求得的運動矢量直接用于運動補償，會導致補償過度等問題，因此出現(xiàn)了很多對運動矢量進行處理的方法。文獻［6］采用一階線性回歸的方法分離出抖動矢量，文獻［7］采用支持向量機的方法，將運動矢量分為可靠的和不可靠矢量，然后對可靠運動矢量進行處理。更多的運動矢量處理方法是采用各種運動濾波的方式。

運動濾波的目的就是分離出有意運動和頻率較高的隨機抖動。運動濾波比較常用的方法有均值濾波、Kalman濾波和粒子濾波等。筆者采用基于統(tǒng)計的Kalman濾波方法。

2.1 Kalm an濾波

Kalman濾波是能從被提取信號有關的量，測量中通過算法估計出所需要的信號，估計過程用到了狀態(tài)方程、測量方程、系統(tǒng)噪聲和兩側(cè)噪聲的統(tǒng)計特性。這里，狀態(tài)矢量為

測量矢量為

對上面的狀態(tài)矢量和測量矢量列寫出下述3種方程。

狀態(tài)方程和量測方程:

預測方程:

A為狀態(tài)矩陣，H為觀測矩陣。其取值分別為

w(k)，v(k)都為均值為零、方差分別為Q和R的高斯噪聲。

2.2 實驗結(jié)果

該實驗結(jié)果為Q=0.01，R=1以及Q= 0.001，R=1時的結(jié)果。對濾波前后的運動矢量進行對比，結(jié)果如圖4所示:

圖4 取值不同的濾波曲線Fig.4 Curve of filter w ith difference value

所取Q值不同，即所取過程噪聲的方差不同，濾波效果有較大差別。Q值很大，會影響平滑運動矢量，補償效果會很差;Q較小，濾波結(jié)果平滑，但補償結(jié)果和真實掃描的結(jié)果之間存在差異。

3 運動補償

3.1 傳統(tǒng)補償算法

補償方法包括逐幀補償和固定幀補償。固定幀補償容易產(chǎn)生邊緣發(fā)散，因此采用逐幀補償。傳統(tǒng)的補償方式可用濾波后得到比較平滑的運動矢量MVS對參考幀所有坐標進行仿射變換。

3.2 優(yōu)化的運動補償算法

參考幀坐標點取值為X1到行高，為Y1到列寬，而對所有坐標都進行的是一樣的旋轉(zhuǎn)平移變換比較耗時。即:

因此只對圖像首行和首列的像素的旋轉(zhuǎn)結(jié)果計算出來，其余行列的像素進行簡單的加減運算就可以計算出運動矢量，節(jié)省了計算時間。

在補償過程中，由于運動矢量都為浮點類型數(shù)值，變換后的坐標值一般不在整數(shù)格上。因此采用插值法將當前坐標的像素值賦給變換之后的坐標點上。考慮浮點數(shù)的計算比較耗時，因此采用最近鄰域插值法。

對運動補償后出現(xiàn)的黑邊即“無定義區(qū)”，筆者采用簡單的圖像剪切方式。補償后的參考幀如圖5所示。

圖5 補償后的參考幀F(xiàn)ig.5 Compensation of reference frame

4 穏像效果評價

穏像效果可通過輸入輸出視頻序列的前后兩幀圖像差值或峰值信噪比等評價。采用圖像差值來驗證效果。差值如圖6所示。

圖6 視頻序列幀間差值Fig.6 Video sequence fidelity comparison between frames

5 結(jié)論

筆者采用基于特征匹配的視頻穩(wěn)像方法，通過分區(qū)的Harris算法提取特征點，并利用正確匹配的特征點坐標，求取幀間運動矢量。采用Kalman濾波方法對所提取的進行矢量進行濾波，去除了抖動分量。最后利用改進的逐幀補償方法實現(xiàn)運動補償。為了驗證穏像的效果，對輸入視頻及輸出視頻的前后兩幀進行減法運算，結(jié)果表明采用筆者算法所做的穩(wěn)像算法，取得了一定的效果。

［1］朱娟娟，郭寶龍.一種魯棒的電子穩(wěn)像系統(tǒng)［J］.西安電子科技大學學報:自然科學版，2007，34(3):418－422.

ZHU Juan－juan，GUO Bao－long.Electronic image stabilization system based on global features tracking［J］. Journal of Xidian University:Science and Technology，2007，34(3):418－422.

［2］Huang JC.Automatic feature－based globalmotion estimation in video sequences［J］.IEEE，2004，50(3): 911－915.

［3］Marius Tico，Vehvilainen M.Constraintmotion filtering for video stabilization［C］//IEEE International Conference on Image.2005:569－572.

［4］GAO Peng－qi，YAN Lei，ZHAO Hong－ying.A newmethod for stabilization of video images with large moving object［C］//Proc SPIE 6833，68330H.2007:476－490.

［5］彭健，汪佩，賈彥茹.一種用于電子穩(wěn)像的運動矢量處理方法［J］.電子測量與儀器學報，2010，24(6): 580－584.

PENG Jian，WANG Pei，JIA Yan－ru，Motion vector processing method for electronic image stabilization［J］. Journal of Electronic Measurement and Instrument，2010，24(6):580－584.

［6］陳正華，章毓晉.基于運動矢量可靠性分析的視頻全局運動估計［J］.清華大學學報:自然科學版，2010，50(4):623－627.

CHEN Zheng－h(huán)ua，ZHANG Yu－jin.Global motion estimation based on the reliability analysis ofmotion vectors［J］.Journal of Tsinghua University:Science and Technology，201050(4):623－627.

［7］王斌，趙躍進.基于電子穏像跟蹤技術的運動濾波算法［J］.光學精密工程，2009，17(1):202－206.

WANG Bin，ZHAO Yue－jin.Motion filtering algorithm for tracking technology based on image stabilization［J］.Optics and Precision Engineering，2009，17(1): 202－206.