運(yùn)動(dòng)背景下的幀間穩(wěn)像技術(shù)

武治國，韓廣良，王明佳

(中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林長春130033)

1 引言

幀間穩(wěn)像技術(shù)的研究始于20世紀(jì)80年代中期。幀間穩(wěn)像是集電子學(xué)、計(jì)算機(jī)、圖像識別等技術(shù)于一體，直接確定圖像序列幀間映射關(guān)系的新一代序列圖像穩(wěn)定技術(shù)。在光電探測、目標(biāo)跟蹤、偵察等任務(wù)中，根據(jù)傳感器架設(shè)的平臺不同，目標(biāo)識別跟蹤所采集的實(shí)時(shí)圖像序列可分為2種類型:靜止背景和運(yùn)動(dòng)背景。靜止背景是當(dāng)傳感器處于相對靜止的狀態(tài)時(shí)采集的圖像，如攝像頭固定的視頻監(jiān)控。運(yùn)動(dòng)背景是當(dāng)傳感器處于運(yùn)動(dòng)的狀態(tài)時(shí)采集的圖像，如車載設(shè)備、轉(zhuǎn)臺掃描探測等［1-2］。對于靜止背景和簡單運(yùn)動(dòng)背景下的目標(biāo)檢測識別，可采用幀間差分或直接根據(jù)目標(biāo)特征計(jì)算。對于復(fù)雜運(yùn)動(dòng)背景下的變化目標(biāo)提取，則通常采用幀間穩(wěn)像和配準(zhǔn)，然后對處理后的圖像檢測不同幀間的目標(biāo)特征來識別目標(biāo)。

幀間穩(wěn)像是通過檢測并補(bǔ)償圖像幀間運(yùn)動(dòng)矢量來減緩甚至消除圖像序列的抖動(dòng)。幀間穩(wěn)像包括2 個(gè)步驟［3］:運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償［4］。運(yùn)動(dòng)估計(jì)是幀間穩(wěn)像的核心，其目的是檢測出由圖像運(yùn)動(dòng)導(dǎo)致的幀間全局運(yùn)動(dòng)矢量。目前有很多種運(yùn)動(dòng)矢量估計(jì)方法，如位平面法［5］、塊匹配法［6］和特征點(diǎn)法等。這些方法均不同程度地舍棄了一部分灰度信息。由于在精度、運(yùn)行速度、圖像特征位置選取等方面的原因，這些方法有其應(yīng)用的局限性［7，12-15］。本文提出了一種有效的帶運(yùn)動(dòng)矢量修正的灰度投影運(yùn)動(dòng)估計(jì)算法，該算法分塊計(jì)算當(dāng)前幀與參考幀之間的運(yùn)動(dòng)矢量，然后對各運(yùn)動(dòng)矢量根據(jù)分塊區(qū)域的相關(guān)性置信度求取加權(quán)幀間運(yùn)動(dòng)位移。實(shí)驗(yàn)表明:本文方法可實(shí)現(xiàn)更高的穩(wěn)定精度，有效提高了圖像補(bǔ)償質(zhì)量。

2 運(yùn)動(dòng)矢量估計(jì)

攝像機(jī)運(yùn)動(dòng)會使固定背景采集時(shí)視頻圖像序列產(chǎn)生全局運(yùn)動(dòng)，運(yùn)動(dòng)矢量估計(jì)就是要計(jì)算背景在圖像各幀中x、y方向的偏移量，其原理如圖1所示。其中圖1(a)為第k幀，圖1(b)為第k+1幀。

圖1 運(yùn)動(dòng)矢量估計(jì)原理圖Fig.1 Principle diagram of motion estimation

假設(shè)黑色圓形為圖像背景中的固定物體，在圖1(a)中第k幀物體以左上角為原點(diǎn)的坐標(biāo)是(x，y)，圖1(b)中第k+1幀物體的坐標(biāo)是(m，n)，則物體在第k+1幀中位置相對第k幀橫軸方向位移為m－x，縱軸方向?yàn)閚－y。

2.1 投影算法原理

灰度投影就是將輸入圖像序列中的每一幀圖像的二維灰度信息映射成2個(gè)獨(dú)立的一維投影序列，其行、列灰度投影可分別由下式表示［7-9］:

式中:m，n分別是圖像的寬度，高度;Gk(x)為第k幀圖像第x列所有像素灰度值之和;Gk(y)表示第k幀圖像第y行所有像素灰度值之和;Gk(x，y)為第k幀圖像上(x，y)處的像素灰度值。圖2(a)是分辨率為768 pixel×576 pixel的8 bit灰度圖像，圖2(b)、(c)為運(yùn)用式(1)對圖1(a)進(jìn)行行、列投影的曲線圖，其中橫坐標(biāo)為行/列號，縱坐標(biāo)為像素灰度值之和。

圖2 圖像灰度投影示意圖Fig.2 Projection schemes of image gray

2.2 投影相關(guān)計(jì)算

為了得到當(dāng)前幀相對于在x、y方向上的位移，分別對當(dāng)前幀和參考幀的行、列投影曲線計(jì)算相關(guān)度。由于幀間在某一方向的全局運(yùn)動(dòng)，當(dāng)前幀的邊沿圖像仍未移入?yún)⒖紟?，因此需要選擇合適的投影區(qū)域大小作為相關(guān)計(jì)算的參數(shù)。一方面，投影區(qū)域大小需要考慮幀間像素的運(yùn)動(dòng)速度，保證所選擇的區(qū)域在參考幀中存在對應(yīng)區(qū)域。另一方面，投影選擇區(qū)域應(yīng)足夠大，保證灰度變化等級以充分反映該區(qū)域與參考幀相應(yīng)位置的相關(guān)程度［10］。

設(shè)參考幀為m幀，當(dāng)前幀為m+k幀，m幀的第i行灰度投影為Gm(i)，m+k幀的第i行灰度投影為Gm+k(i)，進(jìn)行互相關(guān)運(yùn)算的計(jì)算公式為［11］:式中:j為位移矢量相對于參考幀在一側(cè)的搜索寬度，w的取值范圍為1到2j+1。令wmin為C(w)取得最小值時(shí)的w值，則第m+k幀圖像相對于m幀在垂直方向的位移矢量為:式中:dy為正時(shí)表示m+k幀相對于m幀向上運(yùn)動(dòng)了個(gè)像素，為負(fù)時(shí)則表明向下運(yùn)動(dòng)了個(gè)像素。同樣的方法可求得水平方向的位移矢量，根據(jù)得到的水平方向和垂直方向的位移矢量反向運(yùn)動(dòng)相應(yīng)大小的像素距離，便可得到穩(wěn)向后的圖像。

圖3(a)為參考幀圖像，(b)為當(dāng)前幀圖像。在列投影曲線中取中心位置左右各100 pixel做匹配量計(jì)算，圖像分辨率為768 pixel×576 pixel。圖3(d)為列投影相關(guān)曲線，(c)為穩(wěn)向后的結(jié)果圖像。

圖3(a)和(b)為相鄰兩幀圖像，以前一幀為參考圖像，下一幀為當(dāng)前圖像，計(jì)算列相關(guān)程度如圖3(d)所示，得到水平方向運(yùn)動(dòng)矢量dx=0。利用求出的運(yùn)動(dòng)矢量對當(dāng)前圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到配準(zhǔn)圖像如圖3(c)所示。

圖3 全局灰度投影穩(wěn)像處理Fig.3 Image stabilization processing of global gray projection

2.3 運(yùn)動(dòng)矢量分塊檢索

由于圖像相鄰幀中運(yùn)動(dòng)目標(biāo)可能造成圖像整體投影分布局部變動(dòng)，這種變動(dòng)會造成背景運(yùn)動(dòng)檢測誤差，導(dǎo)致穩(wěn)像失敗。因此，本文引入局部投影分布，采用分塊檢索策略。這種方法可以使運(yùn)動(dòng)目標(biāo)造成的影響只作用在其中的若干個(gè)局部分塊上，而其他分塊不受此影響，從而盡可能地保證穩(wěn)像的準(zhǔn)確性。

將當(dāng)前幀行、列投影曲線分成幾部分，分別將每一部分與參考幀行、列投影曲線進(jìn)行互相關(guān)計(jì)算，得到基于局部投影的運(yùn)動(dòng)矢量集合，然后從得到的運(yùn)動(dòng)矢量集合中選取有效像素偏移量。設(shè)計(jì)算得到的運(yùn)動(dòng)矢量集合為{L1…Ln}，平均運(yùn)動(dòng)矢量為，則有效像素偏移量滿足公式:其中，T為像素偏移量差異閾值，該值與圖像運(yùn)動(dòng)速度相關(guān)。

設(shè)得到m個(gè)有效像素偏移量，由于各分塊區(qū)域灰度變化差異及圖像曝光等原因，m個(gè)偏移量可能不相等。以分塊區(qū)域的相關(guān)置信度為權(quán)系數(shù)衡量參數(shù)，計(jì)算m個(gè)偏移量的加權(quán)運(yùn)動(dòng)矢量值作為最終的圖像偏移量。置信度越大，說明圖像對應(yīng)區(qū)域匹配程度越高，權(quán)值越大;相反，權(quán)值越小。置信度計(jì)算公式為:

式中:G(n)為參考幀圖像行或列灰度投影;G'(n+i)為當(dāng)前幀圖像偏移距離為i的行或列的灰度投影。

將各置信度與平均置信度差異程度的倒數(shù)作為加權(quán)運(yùn)動(dòng)矢量的權(quán)值，則第j塊權(quán)值求取公式為:

則某一方向的加權(quán)運(yùn)動(dòng)矢量d'為:

根據(jù)上述公式計(jì)算得到的每幀圖像水平方向的加權(quán)運(yùn)動(dòng)矢量結(jié)果如表1所示。

表1 加權(quán)運(yùn)動(dòng)矢量Tab.1 Weighted motion vectors

3 仿真實(shí)驗(yàn)結(jié)果

為驗(yàn)證算法的精度及穩(wěn)像效果，采用轉(zhuǎn)臺實(shí)時(shí)采集運(yùn)動(dòng)背景圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償處理。實(shí)驗(yàn)在雙核2.4 GHz，內(nèi)存2 G，帶有標(biāo)準(zhǔn)視頻采集卡的工控機(jī)上進(jìn)行，操作系統(tǒng)為 Windows XP，用VC 6.0實(shí)現(xiàn)。

以相鄰10幀圖像為例，采用上述算法實(shí)驗(yàn)。本文根據(jù)實(shí)際背景特點(diǎn)分別將行、列投影曲線分成7部分，由于第1、7部分為邊沿部分，取中間5部分計(jì)算相關(guān)性。參考幀為當(dāng)前幀的上一幀圖像，下表為分塊對列投影計(jì)算結(jié)果。

表2 分塊列投影計(jì)算結(jié)果Tab.2 Computational results of columns of blocks

采用均方根誤差(RMSE)衡量本文算法的性能。均方根誤差反映2幀圖像對應(yīng)位置的逼近程度，可以體現(xiàn)2幀圖像的相似程度。圖4表示全局運(yùn)動(dòng)矢量和分塊運(yùn)動(dòng)矢量計(jì)算后的RMSE比較結(jié)果，其中橫坐標(biāo)為幀號，縱坐標(biāo)為RMSE誤差。從圖中可以看出分塊檢測后的運(yùn)動(dòng)背景補(bǔ)償圖像RMSE有了明顯提高。

圖4 穩(wěn)像后圖像RMSEs的比較Fig.4 Comparison of RMSEs after image stabilization

實(shí)驗(yàn)驗(yàn)證表明:本文所采用技術(shù)相比于傳統(tǒng)的穩(wěn)像技術(shù)穩(wěn)像效果更好，是一種亞像素精度的穩(wěn)像技術(shù)。

4 結(jié)論

本文著重對幀間運(yùn)動(dòng)背景補(bǔ)償技術(shù)進(jìn)行了討論，提出了帶修正的運(yùn)動(dòng)矢量估計(jì)方法。通過局部灰度投影分布，采用分塊檢索策略計(jì)算像素偏移量。然后，以相似度作為權(quán)值系數(shù)，計(jì)算精確幀間圖像運(yùn)動(dòng)偏移量。實(shí)驗(yàn)證明:該方法有效提高了圖像運(yùn)動(dòng)補(bǔ)償精度，均方根誤差下降了31%，與參考幀相似性程度更加接近。

［1］趙紅穎，晏磊，熊經(jīng)武.艦船圖像序列電子穩(wěn)定算法的研究［J］.光學(xué) 精密工程，2003，11(6):602-606.ZHAO H Y，YAN L，XIONG J W.Image composition based on EIS model［J］.Opt.Precision Eng.，2003，11(6):602-606.(in Chinese)

［2］羅詩途，王艷玲，張玘，等.車載圖像跟蹤系統(tǒng)中電子穩(wěn)像算法的研究［J］.光學(xué) 精密工程，2003，13(1):95-103.LUO SH T，WANG Y L，ZHANG Q，et al.Electronic image stabilizing algorithm for image tracking system on vehicle［J］.Opt.Precision Eng.，2003，13(1):95-103.(in Chinese)

［3］彭健，賈彥茹，汪佩.基于電子穩(wěn)像的視頻序列抖動(dòng)處理技術(shù)［J］.現(xiàn)代顯示，2010，112(5):84-87.PENG J，JIA Y R，WANG P.Jitter processing of video sequence based on electronic image stabilization［J］.Advanced Display，2010，112(5):84-87.(in Chinese)

［4］朱娟娟，郭寶龍.一種運(yùn)動(dòng)載體攝像的自適應(yīng)穩(wěn)像系統(tǒng)［J］.光電子·激光，2007，18(1):108-112.ZHU J J，GUO B L.Adaptive video stabilization system for camera on moving vehicle［J］.J.Optoelectronics·Laser，2007，18(1):108-112.(in Chinese)

［5］KO S J，LEE S H，LEE K H.Digital image stabilizing algorithms based on bit-plane matching［J］.IEEE T.Consu.Electr.，1998，44(3):617-622.

［6］孫輝，李志強(qiáng)，孫麗娜，等.基于相位相關(guān)的亞像素配準(zhǔn)技術(shù)及其在電子穩(wěn)像中的應(yīng)用［J］.中國光學(xué)與應(yīng)用光學(xué)，2010，3(5):480-485.SUN H，LI ZH Q，SUN L N，et al..Sub-pixel registration based on phase correlation and its application to electronic image stabilization［J］.Chinese J.Opt.Appl.Opt.，2010，3(5):480-485.(in Chinese)

［7］王小鵬，成亮，晏鑫，等.基于灰度投影和宏塊線性搜索的電子穩(wěn)像［J］.蘭州交通大學(xué)學(xué)報(bào)，2009，28(4):90-93.WANG X P，CHENG L，YAN X，et al.Electronic image stabilization based on gray projection and block line searching［J］.J.Lanzhou Jiaotong University，2009，28(4):90-93.(in Chinese)

［8］任航，張濤.基于灰度投影法運(yùn)動(dòng)估計(jì)的成像CCD平移補(bǔ)償法［J］.激光與紅外，2009，39(6):665-668.REN H，ZHANG T.Motion compensation by moving the imaging CCD based on the gray projection algorithm estimation［J］.Laser＆Infrared，2009，39(6):665-668.(in Chinese)

［9］周亞軍，王翔，蘇享，等.快速灰度投影穩(wěn)像算法研究［J］.兵工自動(dòng)化，2009，28(8):88-90.ZH0U Y J，WANG X，SU X，et al..Research on fast gray projection algorithm for image stabilization［J］.Ordnance Industry Automation，2009，28(8):88-90.(in Chinese)

［10］李計(jì)添，何永強(qiáng)，陳財(cái)森，等.一種基于灰度投影算法的車載電子穩(wěn)像方法［J］.紅外技術(shù)，2010，32(6):328-332.LI J T，HE Y Q，CHEN C S，et al..A method of vehicle-bone electronic image stabilization based on gray projection algorithm［J］.Infrared Technol.，2010，32(6):328-332.(in Chinese)

［11］汪小勇，李奇，徐之海，等.用于實(shí)時(shí)數(shù)字穩(wěn)像的灰度投影算法研究［J］.光子學(xué)報(bào)，2006，35(8):1268-1271.WANG X Y，LI Q，XU ZH H，et al..Real-time digital linage stabilization system based on gray projection algorithm［J］.Acta Photonica Sinica，2006，35(8):1268-1271.(in Chinese)

［12］Zhang F，Wang X T，XU X G，et al..Electronic image stabilization algorithm based on fixed-lag smooth filtering［J］.Optoelectronics Lett.，2007，3(4):308-311.

［13］URHAN O，ERTTIRK S.Single sub-image matching based low complexity motion estimation for digital image stabilization using constrained one-bit transform［J］.IEEE T.Consu.Electr.，2006，52(4):1275-1279.

［14］XU L D，LIN X G.Digital image stabilization based on circular block matching［J］.IEEE T.Consu.Electr.，2006，52(2):566-574.

［15］OHYUN K，BYUNGDEOK N，JOONKI P.Binary edge based adaptive motion correction for accurate and robust digital image stabilization［J］.Lecture Notes in Computer Science，2006，4319(1):1142-1149.