改進的灰度投影電子穩(wěn)像算法

游春芝,陳光喜

(桂林電子科技大學數學與計算科學學院,廣西桂林 541004)

改進的灰度投影電子穩(wěn)像算法

游春芝,陳光喜

(桂林電子科技大學數學與計算科學學院,廣西桂林 541004)

針對灰度投影算法在穩(wěn)像時用時較長的問題,提出一種快速三點搜索算法。在不影響穩(wěn)像效果的前提下,對圖像進行分區(qū),用改進的算法進行灰度投影的矢量求解,并運用均值濾波得到全局運動矢量,實現運動補償。實驗結果表明,該算法計算的峰值信噪比(PSNR)與傳統的灰度投影算法比相差小于0.5 dB,但時間卻減少了21.8 ms。

灰度投影算法;運動估計;三點搜索

隨著監(jiān)控艦船攝影、攝像機等的廣泛應用,人們對于視頻圖像清晰度的要求也越來越高。然而,在相機對景物進行長時間的拍攝時,會出現一些意外的抖動,使圖像變得模糊不清,造成了觀察人員的不便,因此,對抖動視頻圖像進行穩(wěn)像處理十分重要。目前,常用的穩(wěn)像處理方法為電子穩(wěn)像技術[1-5],它是一種新型的穩(wěn)像技術,利用數學圖像處理方法直接對視頻圖像進行處理,從而確定圖像序列的幀間運動矢量并進行補償。電子穩(wěn)像算法眾多,如塊匹配算法[2-3]、位平面匹配算法[4-5]、投影算法[6-8]等。其中,投影算法直接利用圖像的灰度變化進行穩(wěn)像,具有精度高、性能穩(wěn)定等優(yōu)點,已廣泛應用于科研實踐。傳統的投影算法采用全局搜索算法尋找最佳匹配點,計算量大,耗時長。為了減少全局搜索帶來的巨大計算量,通過分析投影相關曲線的特點,提出一種在分區(qū)的基礎上,應用快速三點搜索算法尋找最佳的匹配點,達到快速穩(wěn)像的目的。

1 灰度投影算法

灰度投影算法利用圖像灰度變化的特征獲取幀間運動矢量,對投影曲線做一次相關運算,求得矢量后,再通過運動補償達到穩(wěn)像效果。其算法通?？煞譃?步:灰度映射、投影濾波、相關運算。

1.1 灰度映射

將參考幀與當前幀圖像經過直方圖均衡化預處理后,通過灰度映射投影為2個獨立的一維投影序列。參考幀的列投影和行投影公式分別為:

其中:fk-1(i,j)為第k-1幀圖像,即參考幀在(i,j)點處的灰度值;m為搜索范圍;fk-1()j、fk-1()i分別為第k-1幀圖像的第j列與第i行的灰度投影值。

1.2 投影濾波

圖像在發(fā)生偏移時,其邊緣信息存在一些小的變化,使得投影波形在邊緣處產生一定影響,導致互相關運算中的峰值發(fā)生偏移,因而采用余弦濾波解決這個問題。通過濾波器進行濾波,可去除圖像邊緣信息的影響,完整地保留中心區(qū)域信息,從而減小了邊界信息對互相關峰值的影響。

1.3 相關運算

將當前幀圖像行列投影與參考幀圖像的行列投影作相關運算,相關曲線的峰值即為偏移值。以列相關運算為例進行說明,

式中:fk(j)、fk-1(j)分別為第k幀、第k-1幀的第j列灰度投影值;c(i)為相關運算值,其最小值Imin即為最小投影相關值所對應的位置,故縱向偏移量為Imin。將抖動的圖像反向移動即可得到穩(wěn)定的圖像。同理,可得到行灰度投影曲線。

2 改進的灰度投影算法

傳統的灰度投影算法需對所有點進行搜索,從而導致計算量大,耗時較多。此外,該算法一般是對整幅圖像進行灰度投影運算,但當場景中存在局部的運動物體時,就會對算法精度產生很大影響。針對上述問題,提出一種基于分塊的灰度投影法,其算法流程如圖1所示。

圖1 快速三點算法流程圖Fig.1 Flow chart of fast three-point search

2.1 快速三點搜索法

通過分析投影相關曲線特點可知,相關曲線一般以單峰的光滑曲線呈現,且曲線相關值先單調下降,到達谷底時最小,然后相關函數值開始遞增?；诤瘮登髽O值的方法,只要求出函數在某點處導數符號發(fā)生變化,拐點即為所要找的點。在算法中,只要沿著相關值減少的方向搜索,當值突然變大時,此點就是極值點,即當前匹配點(match point current,簡稱MPC)。基于此,提出一種快速的三點搜索投影算法,此算法搜索MPC點的步驟如下:

1)以i=0為中心,計算該點與左右相隔2像素位置處的灰度投影相關值,比較并判斷,若MPC點在中心位置,則轉到3),否則,轉到2);

2)以MPC點為中心,繼續(xù)計算左右間隔2像素位置處的灰度投影相關值,比較并判斷,若新的MPC點在中心位置處,則轉到3),否則,繼續(xù)2);

3)以上次的MPC點為中心,計算左右間隔1像素位置的投影相關值。

在運算時間和運算量上,快速三點搜索具有很大優(yōu)勢。對于一個水平和垂直方向為40個像素的圖像,當運動偏移量較小時,如運動偏移量為2,其總搜索點數為6個點,而全搜索需要搜索80個點。當運動偏移適中時,如運動偏移量為10,只需搜索點數為10個點,比全搜索降低了87.5%。當運動偏移量較大時,運動偏移量為-28,總搜索點數為18個點,比全搜索降低了77.5%。從運算精度考慮,改進算法與傳統算法相差小于0.5 dB。

2.2 實驗結果及分析

為了測試改進算法的有效性,選取連續(xù)的2幀圖像為實驗對象,如圖2所示。圖2為一段手持攝像機拍攝視頻中選取的任意2幀相鄰圖像,其圖像大小為480×600像素。圖2(a)為前一時刻參考幀圖像,圖中框圖部分標注選取的4個子區(qū)域,大小為100× 150像素;圖2(b)為當前幀圖像。

圖2 改進的灰度投影穩(wěn)像方法Fig.2 Improved gray projection image stabilization method

圖3為行、列投影曲線。先對當前幀和參考幀進行直方圖均衡處理,然后對各子區(qū)域進行行列投影,并用快速三點搜索算法進行相關運算,求得各子區(qū)域的運動矢量,最后采用中值濾波,得到全局運動矢量。圖4為改進的快速搜索算法在4個區(qū)域求得的運動矢量。

對4個區(qū)域矢量求平均值,得全局運動矢量為(u=7,v=-10),表示當前幀相對于參考幀向上移動了10個像素,向右移動了7個像素。通過運動補償得到穩(wěn)像幀如圖5(a)所示,圖5(b)為未穩(wěn)像時的差值圖像,圖5(c)為穩(wěn)像后的差值圖。改進算法的全局運動矢量與全局搜索投影算法所得運動矢量基本保持一致。

圖3 行、列投影曲線Fig.3 Line and column projection curve

圖4 各區(qū)域運動矢量Fig.4 The regional motion vectors

為了進一步說明改進算法的準確性和實時性,選取連續(xù)20幀圖像進行幀間運動矢量檢測。其檢測范圍為±20像素,子區(qū)域尺寸均為100×150像素。分別采用傳統投影算法(PA)和改進的快速三點搜索算法,檢測幀間的運動偏移矢量。其檢測時間是平均每幀所需花費的時間,采用峰值信噪比準則衡量各算法檢測精度。

圖5 改進算法穩(wěn)定后的圖像Fig.5 The stabilized image used by improved method

測試的全局運動估計時間和精度結果如表1所示,改進的算法峰值信噪比相差小于0.5 dB,而時間上顯示出明顯的優(yōu)勢。可見,改進的快速搜索算法檢測視頻幀間的平移運動達到實時檢測的效果。

表1 全局運動估計時間和精度Tab.1 Global motion estimation time and accuracy

3 結束語

快速三點搜索算法雖然比傳統的灰度投影算法更能滿足實時處理,然而在使用時存在一定的局限性:1)拍攝圖像的灰度信息變化不明顯,圖像幀間運動局限于平移,而對于旋轉運動的效果不明顯;2)圖像4個角不能存在運動目標,否則4個區(qū)域的運動矢量均不準確,從而無法提取準確的全局運動矢量,影響穩(wěn)像效果。

[1] 趙紅穎,金宏,熊經武.電子穩(wěn)像技術概述[J].光學與精密工程,2001,8(4):353-359.

[2] 朱娟娟.電子穩(wěn)向理論及其應用研究[D].西安:西安電子科技大學,2009:55-62.

[3] 張怡.基于塊匹配的電子圖像穩(wěn)定系統[D].哈爾濱:哈爾濱工程大學,2004:21-23.

[4] 王旸.基于塊匹配的電子圖像穩(wěn)定算法[J].咸陽師范學院學報,2006,21(4):36-38.

[5] Erturk S.Digital image stabilization with subimage phase correlation based global motion estimation[J]. IEEE Transaction Consmuer Eeleortnics,2003,49(4): 1320-1325.

[6] 孫輝.快速灰度投影算法及其在電子穩(wěn)像中的應用[J].光學精密工程,2007,15(3):412-416.

[7] 張國棟,王明泉,郭棟.基于灰度投影算法的實時電子穩(wěn)像研究[J].微電子學與計算機,2010,27(10):53-56.

[8] 呂高杰,車宏,趙龍,等.一種魯棒性強的電子穩(wěn)像方法[J].電光與控制,2010,17(1):57-60.

編輯:梁王歡

An improved gray projection algorithm of electronic image stabilization

You Chunzhi,Chen Guangxi
(School of Mathematics and Computational Science,Guilin University of Electronic Technology,Guilin 541004,China)

Aiming at the gray projection algorithm for image stabilization with a relatively long time question,a new algorithm based on three-point search is proposed.The image is divided into several blocks without affecting the image stabilization effect,the algorithm is used for solving gray projection vector.Finally,the global motion vector is obtained by using the mean filter,the motion compensation is achieved.The experimental results show that the PSNR is less than 0.5 dB by the proposed algorithm than the traditional gray projection algorithm,however the time is reduce by 21.8 ms.

gray projection algorithm;motion estimation;three-point search

TP391.14

A

1673-808X(2015)02-0152-04

2014-11-03

廣西自然科學基金(2013GXNSFCAA019330);廣西可信軟件重點實驗室基金(kx201213);廣西教育廳科研項目(2013YB086)

陳光喜(1971—),男,四川金堂人,教授,博士,研究方向為信號安全、智能軟件與算法、符號計算。E-mail:123726408@qq.com

游春芝,陳光喜.改進的灰度投影電子穩(wěn)像算法[J].桂林電子科技大學學報,2015,35(2):152-155.