一種空域和頻域相結(jié)合的運(yùn)動(dòng)圖像亞像素配準(zhǔn)技術(shù)

孫 輝，李志強(qiáng)，孫麗娜，郎小龍

（中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林長(zhǎng)春130033）

一種空域和頻域相結(jié)合的運(yùn)動(dòng)圖像亞像素配準(zhǔn)技術(shù)

孫 輝，李志強(qiáng)，孫麗娜，郎小龍

（中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林長(zhǎng)春130033）

針對(duì)視頻圖像運(yùn)動(dòng)檢測(cè)問(wèn)題，提出了一種結(jié)合空域灰度投影和頻域相位相關(guān)的亞像素圖像配準(zhǔn)方法。首先，采用灰度投影算法在空域?qū)\(yùn)動(dòng)圖像進(jìn)行粗配準(zhǔn)，即在圖像行和列方向上計(jì)算圖像灰度投影特征數(shù)據(jù)，根據(jù)灰度相關(guān)函數(shù)最小化準(zhǔn)則，估計(jì)像素級(jí)運(yùn)動(dòng)量；然后，在經(jīng)過(guò)粗配準(zhǔn)的兩幅圖像中心選取尺寸相同的區(qū)域，進(jìn)行快速傅里葉變換，在頻域采用擴(kuò)展的相位相關(guān)算法對(duì)圖像進(jìn)行精確配準(zhǔn)。該方法利用圖像的功率譜信息，減少對(duì)圖像內(nèi)容的依賴，運(yùn)用基于最小二乘的曲面擬合法，實(shí)現(xiàn)亞像素圖像配準(zhǔn)參數(shù)估計(jì)，具有從粗到精的特點(diǎn)，有效提高了圖像檢測(cè)精度。文中最后對(duì)樣本圖像進(jìn)行了圖像配準(zhǔn)對(duì)比實(shí)驗(yàn)，結(jié)果表明，該方法可以檢測(cè)0.01 pixel的運(yùn)動(dòng)量，最大配準(zhǔn)誤差為0.004 8 pixel。

灰度投影；相位相關(guān)；圖像配準(zhǔn)；亞像素；運(yùn)動(dòng)檢測(cè)

1 引 言

圖像配準(zhǔn)是對(duì)來(lái)自不同場(chǎng)景、不同視點(diǎn)、不同傳感器或不同時(shí)間的兩幅或多幅圖像進(jìn)行對(duì)準(zhǔn)的過(guò)程。近年來(lái)，隨著視頻技術(shù)、數(shù)字圖像技術(shù)的廣泛應(yīng)用，圖像配準(zhǔn)技術(shù)受到了廣大專家學(xué)者的高度重視，并在遙感圖像［1］、航空影像［2］、醫(yī)學(xué)影像［3～5］、運(yùn)動(dòng)檢測(cè)［6～8］等方面得到廣泛的應(yīng)用，目前已成為計(jì)算機(jī)視覺(jué)研究領(lǐng)域發(fā)展迅速的圖像處理技術(shù)之一。

圖像配準(zhǔn)算法有很多，如：基于插值法、擴(kuò)展的相位相關(guān)法、解最優(yōu)化問(wèn)題法等［9］。按配準(zhǔn)精度劃分，圖像配準(zhǔn)可分為像素級(jí)和亞像素級(jí)。典型的像素級(jí)配準(zhǔn)技術(shù)包括圖像匹配、灰度投影算法、梯度法［10］等，其優(yōu)點(diǎn)是算法簡(jiǎn)單，易于硬件實(shí)現(xiàn)，缺點(diǎn)是配準(zhǔn)精度較低，僅能檢測(cè)像素級(jí)或更低的精度。亞像素級(jí)配準(zhǔn)技術(shù)包括擴(kuò)展的相位相關(guān)法［11］、插值法［12］等，文獻(xiàn)［11］對(duì)基于傅里葉變換的相位相關(guān)法［13］進(jìn)行了改進(jìn)，提出了一種擴(kuò)展的相位相關(guān)算法，通過(guò)計(jì)算兩幅圖像的相位相關(guān)函數(shù)，實(shí)現(xiàn)圖像的精確配準(zhǔn)，精度可達(dá)1/100 pixel。雖然相位相關(guān)法在配準(zhǔn)精度上有明顯優(yōu)勢(shì)，但由于采用了頻域相關(guān)技術(shù)，當(dāng)待配準(zhǔn)的兩幅圖像確實(shí)相關(guān)時(shí)，相關(guān)函數(shù)存在一個(gè)尖銳的峰值，可以實(shí)現(xiàn)圖像的精確配準(zhǔn)；而當(dāng)兩幅圖像相關(guān)程度較差時(shí)，相關(guān)函數(shù)沒(méi)有尖銳的峰值特征，配準(zhǔn)誤差較大。在視頻圖像序列中，由于兩幅圖像之間的相對(duì)位移，其相關(guān)程度會(huì)隨著位移量的增大而減小，在這種情況下，直接使用擴(kuò)展的相位相關(guān)法會(huì)帶來(lái)較大的配準(zhǔn)誤差，直接影響運(yùn)動(dòng)檢測(cè)結(jié)果。

本文針對(duì)序列圖像的運(yùn)動(dòng)檢測(cè)問(wèn)題，提出一種在空域上的灰度投影算法和頻域上的相位相關(guān)算法相結(jié)合的配準(zhǔn)方法，即首先在空域使用灰度投影算法檢測(cè)像素級(jí)的運(yùn)動(dòng)量，根據(jù)檢測(cè)結(jié)果粗略配準(zhǔn)兩幅待配準(zhǔn)的圖像。然后在兩幅圖像中心選取相同尺寸的區(qū)域并進(jìn)行傅里葉變換，在頻域進(jìn)行相位相關(guān)運(yùn)算，進(jìn)而實(shí)現(xiàn)運(yùn)動(dòng)圖像亞像素級(jí)的精確配準(zhǔn)。本文方法具有從粗到精的特點(diǎn)，實(shí)現(xiàn)了空域和頻域算法的優(yōu)勢(shì)互補(bǔ)，有效提高了圖像檢測(cè)精度和效率。

2 二維平移運(yùn)動(dòng)模型

根據(jù)載體運(yùn)動(dòng)的復(fù)雜性不同，描述圖像二維運(yùn)動(dòng)模型通常包括平移、旋轉(zhuǎn)、比例縮放及仿射變換等，其中最簡(jiǎn)單同時(shí)也是最常用的是在x和y軸方向的平移運(yùn)動(dòng)。

二維平移運(yùn)動(dòng)模型是一種線性變換，可以表示為：

式中，（Xc，Yc），（Xr，Yr）分別表示位移圖像和參考圖像像素點(diǎn)坐標(biāo)，dx，dy表示位移圖像相對(duì)參考圖像的運(yùn)動(dòng)量，用來(lái)描述圖像在水平和垂直方向上的瞬時(shí)運(yùn)動(dòng)。圖像位移矢量定義為：

根據(jù)平移運(yùn)動(dòng)模型，本文通過(guò)灰度投影算法和相位相關(guān)算法相結(jié)合的平移運(yùn)動(dòng)復(fù)合配準(zhǔn)方法估計(jì)兩幅圖像之間的位移矢量V，配準(zhǔn)精度可實(shí)現(xiàn)亞像素，配準(zhǔn)流程如圖1所示。

圖1 亞像素配準(zhǔn)流程Fig.1 Basic flow chart for sub-pixel registration

3 亞像素圖像配準(zhǔn)

3.1 空域灰度投影技術(shù)：圖像粗配準(zhǔn)

灰度投影算法（Gray Projection Algorithm，GPA）是一種空域特征相關(guān)技術(shù)，其基本思想是將一幅M×N圖像的二維灰度信息｛f（x，y）}映射成兩個(gè)獨(dú)立的一維投影序列｛X（x）}和｛Y（y）}作為特征數(shù)據(jù)，通過(guò)兩幅圖像X（x）和Y（y）的相關(guān)計(jì)算估計(jì)位移量?；叶韧队皵?shù)據(jù)計(jì)算公式如下：

式中，Xκ（x），Yκ（y）分別表示第κ幀圖像｛fκ（x，y）}的第x列和第y行的灰度投影值。

圖2顯示了一幅原始圖像（Milkdrop）及其在行和列方向上的歸一化的灰度投影曲線。

圖2 原始圖像及其投影曲線Fig.2 Original image and its gray projection curves

將行和列方向上的投影數(shù)據(jù)作為特征，對(duì)參考圖像和位移圖像做互相關(guān)運(yùn)算，參考圖像可以是運(yùn)動(dòng)過(guò)程中某一時(shí)刻的圖像，也可以是前一幅圖像。根據(jù)最佳匹配準(zhǔn)則，采用全局搜索算法，即對(duì)搜索寬度范圍內(nèi)的所有點(diǎn)進(jìn)行一次相關(guān)運(yùn)算，根據(jù)相關(guān)曲線的峰值確定位移圖像相對(duì)參考圖像的運(yùn)動(dòng)量。

本文采用最小均方誤差（MSE）作為最佳匹配準(zhǔn)則，構(gòu)造相關(guān)函數(shù)如下：

式中（p，q）∈A，A表示全部投影矢量的集合。

根據(jù)上述定義，運(yùn)動(dòng)矢量估計(jì)變成在（p，q）∈A范圍內(nèi)，求R（p，q）的最小值問(wèn)題。即：

得到了水平和垂直方向的運(yùn)動(dòng)量后，將位移圖像向位移矢量相反的方向移動(dòng)，就可以粗略地補(bǔ)償圖像之間的運(yùn)動(dòng)，實(shí)現(xiàn)像素級(jí)的粗配準(zhǔn)，并為進(jìn)一步精確配準(zhǔn)做準(zhǔn)備。

灰度投影算法具有下述顯著特點(diǎn)：

（1）算法簡(jiǎn)單，運(yùn)算量小；

（2）對(duì)噪聲干擾不敏感；

（3）配準(zhǔn)精度低，只有一個(gè)像素或更低。

3.2 頻域相位相關(guān)技術(shù)：圖像精確配準(zhǔn)

相位相關(guān)配準(zhǔn)算法（Phase Correlation Algorithm，PCA）是一種非線性、基于傅里葉功率譜的頻域相關(guān)技術(shù)，由于該方法只取互功率譜中的相位信息，對(duì)噪聲有較好的容忍度，同時(shí)減少了對(duì)圖像內(nèi)容的依賴，具有較好的魯棒性。

設(shè)f1（x，y）和f2（x，y）是經(jīng)過(guò)上述粗配準(zhǔn)后的兩幅圖像，目的是精確地估計(jì) f2（x，y）相對(duì)于f1（x，y）的亞像素級(jí)平移運(yùn)動(dòng)矢量V0=［x0，y0］T。根據(jù)圖像運(yùn)動(dòng)模型，f2（x，y）和f1（x，y）滿足如下關(guān)系：

設(shè)F1（u，υ）和F2（u，υ）分別表示f1（x，y）和f2（x，y）的傅里葉變換，則有：

兩幅圖像之間歸一化的互功率譜可表示為：

將式（8）兩端進(jìn)行傅里葉逆變換，可得相位相關(guān)函數(shù)的表達(dá)式如下：

式（9）中：δ（x-x0，y-y0）為典型的Dirachlet函數(shù)，該函數(shù)在中心點(diǎn)（x0，y0）處不為零，在其它位置都是零，相關(guān)函數(shù)的峰值幅度反映了兩幅圖像匹配程度，理想狀態(tài)下，相關(guān)函數(shù)峰值為1。

圖3顯示了相位相關(guān)函數(shù)曲線圖，可以看出，隨著位移量的增加，相關(guān)函數(shù)曲線的尖峰越來(lái)越小。

圖3 相位相關(guān)函數(shù)p（x，y）的3D圖Fig.3 3D plots of phase correlation function p（x，y）

為獲取亞像素級(jí)運(yùn)動(dòng)量，采用基于最小二乘的二次曲面擬合方法，即通過(guò)在相關(guān)峰值坐標(biāo)點(diǎn)附近用曲面擬合相位相關(guān)值，擬合曲面的峰值坐標(biāo)即為位移矢量V0=［x0，y0］T。

4 實(shí)驗(yàn)結(jié)果

4.1 樣本圖像

樣本圖像選用標(biāo)準(zhǔn)樣本圖像庫(kù)中的lake圖像，圖像分辨率為512×512×8 bit，原始圖像作為參考圖像，如圖4（a）所示，位移圖像通過(guò)對(duì)原始圖像平移得到，不失一般性，本文只對(duì)原始圖像進(jìn)行水平方向的平移運(yùn)動(dòng)，即步長(zhǎng)為0.5 pixel的平移操作，一共生成30幅對(duì)比圖像，其中第15幀位移dx=7.5 pixel，第30幀位移dx=15 pixel，如圖4（b）、圖4（c）所示。位移圖像的亞像素位移曲線見(jiàn)圖5。

圖4 樣本圖像Fig.4 Sampling images

圖5 亞像素位移曲線Fig.5 Curve of sub-pixel displacement

4.2 圖像配準(zhǔn)實(shí)驗(yàn)

首先直接采用頻域相位相關(guān)配準(zhǔn)算法對(duì)樣本圖像進(jìn)行位移量檢測(cè)，計(jì)算從第1幀到第30幀位移圖像的亞像素級(jí)位移量。為客觀描述位移量的檢測(cè)能力，本文將檢測(cè)結(jié)果位移量與真實(shí)位移量的差值作為配準(zhǔn)誤差，即：

配準(zhǔn)誤差=檢測(cè)位移量-真實(shí)位移量

由于每幅位移圖像相對(duì)原始圖像的真實(shí)位移量已知，可以統(tǒng)計(jì)配準(zhǔn)結(jié)果與真實(shí)位移量的誤差。頻域相位相關(guān)配準(zhǔn)結(jié)果及配準(zhǔn)誤差統(tǒng)計(jì)結(jié)果分別如圖6（a）、圖6（b）所示，樣本配準(zhǔn)最大誤差為17.014 pixel，誤差均方值RMSE=5.79 pixel。

圖6 相位相關(guān)配準(zhǔn)結(jié)果及誤差曲線Fig.6 Experimental curves of registration with PCA

根據(jù)前文分析，當(dāng)兩幅圖像相關(guān)程度較差時(shí)，相位相關(guān)算法效果較差。從圖中的配準(zhǔn)結(jié)果和配準(zhǔn)誤差曲線也可以看出，在第18幅圖像以后（圖像位移量超過(guò)8 pixel）時(shí)，配準(zhǔn)誤差越來(lái)越大。

采用本文提出的空域灰度投影算法與頻域相位相關(guān)算法相結(jié)合的方法進(jìn)行配準(zhǔn)對(duì)比實(shí)驗(yàn)，配準(zhǔn)位移結(jié)果及配準(zhǔn)誤差統(tǒng)計(jì)結(jié)果分別如圖7（a）、圖7（b）所示。配準(zhǔn)結(jié)果顯示：在30個(gè)樣本圖像中，配準(zhǔn)誤差最大值為0.004 8 pixel，誤差均方值RMSE=0.001 2 pixel。從配準(zhǔn)結(jié)果可以看出，該方法具有較高的配準(zhǔn)精度。

圖7 本文方法配準(zhǔn)結(jié)果及誤差曲線Fig.7 Experimental curves of registration with GPA and PCA

5 結(jié) 論

域采用相位相關(guān)算法進(jìn)行精確配準(zhǔn)，得到高精度的位移參數(shù)。

實(shí)驗(yàn)結(jié)果表明，本文方法克服了灰度投影算法在配準(zhǔn)精度方面的不足，同時(shí)解決了直接使用相位相關(guān)配準(zhǔn)算法不能處理較大運(yùn)動(dòng)量的問(wèn)題，充分發(fā)揮了兩種算法的優(yōu)勢(shì)，有效提高了圖像檢測(cè)精度和效率。由于灰度投影算法的特征數(shù)據(jù)來(lái)自圖像的灰度統(tǒng)計(jì)數(shù)據(jù)，相位相關(guān)算法利用了圖像的互功率譜信息，兩種算法都減少了對(duì)圖像內(nèi)容的依賴，所以本文方法具有較強(qiáng)的抗噪能力，有較好的魯棒性和可行性。

本文針對(duì)視頻圖像運(yùn)動(dòng)檢測(cè)問(wèn)題，提出了一種結(jié)合空域灰度投影算法和頻域相位相關(guān)的圖像配準(zhǔn)方法，并將該方法應(yīng)用于視頻序列圖像的亞像素運(yùn)動(dòng)檢測(cè)。介紹了灰度投影算法和相位相關(guān)配準(zhǔn)方法的特點(diǎn)，分析了兩種算法在檢測(cè)圖像位移量方面的能力。首先采用灰度投影算法檢測(cè)兩幅圖像之間的運(yùn)動(dòng)量，對(duì)圖像進(jìn)行粗配準(zhǔn)。然后對(duì)經(jīng)過(guò)粗配準(zhǔn)的兩幅圖像進(jìn)行傅里葉變換，在頻

［1］強(qiáng)贊霞，彭嘉雄，王洪群.基于傅里葉變換的遙感圖像配準(zhǔn)方法［J］.紅外與激光工程，2004，33（4）：385-387.QIANG Z X，PENG J X，WANG H Q.Remote sensing image registration algorithm based on FFT［J］.Infrared and Laser Eng.，2004，33（4）：385-387.（in Chinese）

［2］王志強(qiáng)，程紅，孫文邦，等.基于改進(jìn)Harris算法的航空影像自動(dòng)配準(zhǔn)算法［J］.遙感信息，2008，（6）：18-21.WANG ZH Q，CHENG H，SUN W B，et al..Automatic registration algorithm of aerophotos based on improved harris operator［J］.Remote Sensing Information，2008，（6）：18-21.（in Chinese）

［3］馮林，管慧娟、藤弘飛.基于互信息的醫(yī)學(xué)圖像配準(zhǔn)技術(shù)研究進(jìn)展［J］.生物醫(yī)學(xué)工程學(xué)，2005，22（5）：1078-1081.FENG L，GUAN H J，TENG H F.Advances in medical image registration based on mutual information［J］.J.Biomedical Eng.Res.，2005，22（5）：1078-1081.（in Chinese）

［4］周永新，羅述謙.基于形狀特征點(diǎn)最大互信息的醫(yī)學(xué)圖像配準(zhǔn)［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2002，14（7）：654-658.ZHOU Y X，LUO SH Q.Medical image registration based on mutual information of feature points［J］.J.Computer-Aided Design＆amp;Computer Graphics，2002，14（7）：654-658.（in Chinese）

［5］張紅穎，張加萬(wàn)，孫濟(jì)洲.改進(jìn)Demons算法的非剛性醫(yī)學(xué)圖像配準(zhǔn)［J］.光學(xué) 精密工程，2007，15（1）：145-150.ZHANG H Y，ZHANG J W，SUN J ZH.Non-rigid medical image registration based on improved Demons algorithm［J］.Opt.Precision Eng.，2007，15（1）：145-150.（in Chinese）

［6］吳元昊，于前洋.基于傅里葉相位差的抗噪聲位移估計(jì)算法［J］.光學(xué)精密工程，2007，15（7）：1137-1142.WU Y H，YU Q Y.Denoising algorithm of displacement estimation based on phase difference of Fourier transform［J］.Opt.Precision Eng.，2007，15（7）：1137-1142.

［7］杜登崇，蔣曉瑜，姚軍.基于相位相關(guān)的電子穩(wěn)像算法研究［J］.激光與紅外，2009，39（1）：63-66.DU D CH，JIANG X Y，YAO J.Electronic image stabilization algorithm based on phase correlation［J］.Laser＆amp;Infrared，2009，39（1）：63-66.（in Chinese）

［8］李治國(guó)，安錦文，趙銀鈴.基于相位相關(guān)的全局運(yùn)動(dòng)估計(jì)算法［J］.計(jì)算機(jī)測(cè)量與控制，2008，16（4）：532-534.LI ZH G，AN J W，ZHAO Y L.Global motion estimation algorithm based on phase correlation［J］.Computer Measurement ＆amp;Control，2008，16（4）：532-534.（in Chinese）

［9］黎俊，彭啟民.范植華.亞像素級(jí)圖像配準(zhǔn)算法研究［J］.中國(guó)圖象圖形學(xué)報(bào)，2008，13（11）：2071-2075.LI J，PENG Q M，F(xiàn)AN ZH H.Asurvey of sub-pixel image registration methods［J］.J.Image and Graphics，2008，13（11）：2071-2075.（in Chinese）

［10］徐寶昌，陳哲，趙龍.一種改進(jìn)的最小二乘景象匹配算法［J］.北京航空航天大學(xué)學(xué)報(bào)，2005，31（8）：848-852.XU B CH，CHEN ZH，ZHAO L.Inproved least-squares acene matching algorithm［J］.J.Beijing Uniυersity of Aeronautics and Astronautics，2005，31（8）：848-52.（in Chinese）

［11］FOROOSH H，ZERUBIA J，BERTHOD M.Extension of phase correlation to sub-pixel registration［J］.IEEE Trans.Image Processing，2002，11（3）：188-200.

［12］SEITZ P.Optical superresolution using solid-state camera and digital signal processing［J］.Optical Eng.，1988，27（7）：535-540.

［13］KUGLIN C D，HINES D C.The phase correlation image alignment method［J］.Proc.IEEE 1975 Int.Conf.Cybernetics and Society，Sep.1975：163-165.

Sub-pixel registration of special and frequency domains for video sequences

SUN Hui，LI Zhi-qiang，SUN Li-na，LANG Xiao-long

（Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）

To resolve the problems existed in the estimation of motion in video sequences，a novel method combining the gray projection in a spatial domain and the phase correlation in a frequency domain was proposed.Firstly，the gray projection algorithm was adopted to coarsely register images to entire pixel accuracy，which calculates the gray correlation function for the spatial domain in row and column orientations and obtains the pixel-level motion vector between two sequential images by comparing correlation characters.Then，the phase correlation algorithm was adopted to refinedly register images to sub-pixel accuracy，which uses power spectrum information of images to decrease the image dependence.Furthermore，the fitting method of parabo-loid surface based on least-square was used to fulfill the estimation of image displacement parameters.To verify the algorithm experimentally，some samples were simulated.The results show that this method can detect the displacement parameters accurately and efficiently，and can offer the image displacement in a accuracy of 0.01 pixel and the maximum registration error less than 0.004 8 pixel.

gray projection；phase correlation；image registration；sub-pixel level；motion detection

TP391.4

A

1674-2915（2011）02-0154-07

2010-10-11；

2010-12-13

國(guó)家973重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃資助項(xiàng)目（No.2009CB72400607）

孫 輝（1963—），男，吉林柳河人，研究員，主要從事數(shù)字圖像處理及計(jì)算機(jī)仿真方面的研究。

E-mail：sunh@ciomp.ac.cn