改進(jìn)的頻域內(nèi)亞像素級(jí)旋轉(zhuǎn)角估計(jì)方法

張永亮，劉哲，郝珉慧，張鶴妮

西北工業(yè)大學(xué) 理學(xué)院，西安 710129

改進(jìn)的頻域內(nèi)亞像素級(jí)旋轉(zhuǎn)角估計(jì)方法

張永亮，劉哲，郝珉慧，張鶴妮

西北工業(yè)大學(xué) 理學(xué)院，西安 710129

1 引言

由于高分辨率具有更多關(guān)鍵的細(xì)節(jié)信息，因而人們期望獲得高分辨率圖像。依靠提高圖像傳感器分辨率的方法獲得高分辨率圖像，會(huì)受到硬件條件和經(jīng)濟(jì)成本的限制。一種具有應(yīng)用前景的解決方法是運(yùn)用超分辨率重構(gòu)技術(shù)。超分辨率重構(gòu)是指采用信號(hào)處理技術(shù)通過多幀低分辨率圖像（Low-Resolution，LR）獲得一幀高分辨率圖像（High-Resolution，HR），即將針對(duì)同一場(chǎng)景的、彼此含有不同信息的、多幀低分辨率圖像合成為一幀高分辨率圖像。Borman[1]和Park[2]等概述了超分辨率圖像重構(gòu)算法。

超分辨率重構(gòu)一般包括圖像配準(zhǔn)（參數(shù)估計(jì)）、圖像重構(gòu)兩個(gè)步驟。圖像配準(zhǔn)的精度一般要求到達(dá)亞像素級(jí)。其中運(yùn)動(dòng)參數(shù)估計(jì)一般包括平移參數(shù)估計(jì)（shift estimation）和旋轉(zhuǎn)角參數(shù)估計(jì)（rotation estimation）。如果運(yùn)動(dòng)參數(shù)估計(jì)誤差較大，重構(gòu)的高分辨率圖像的質(zhì)量會(huì)嚴(yán)重下降。因此，精確的亞像素級(jí)運(yùn)動(dòng)參數(shù)估計(jì)對(duì)于整個(gè)超分辨率重構(gòu)算法是至關(guān)重要的。

研究者在圖像亞像素配準(zhǔn)方面已經(jīng)做了很多工作，提出了很多配準(zhǔn)算法[3-5]。Keren等提出了空域內(nèi)亞像素級(jí)運(yùn)動(dòng)參數(shù)估計(jì)方法[6]；Reddy和Kim等提出了頻域內(nèi)亞像素級(jí)運(yùn)動(dòng)參數(shù)估計(jì)方法[7-9]；Vandewalle等提出了頻域內(nèi)運(yùn)動(dòng)參數(shù)估計(jì)的方法，配準(zhǔn)的精度和時(shí)間效率較空域內(nèi)的方法有明顯的提高[10]，并且驗(yàn)證了該方法的魯棒性。

但是，基于頻域的旋轉(zhuǎn)角估計(jì)的方法在旋轉(zhuǎn)角比較?。ū热缧∮?°）時(shí)，估計(jì)的誤差往往較大。這是由于傳統(tǒng)的方法主要利用了幅值很大的低頻部分來計(jì)算相關(guān)性，而當(dāng)旋轉(zhuǎn)角度較小時(shí)，參與運(yùn)算的低頻部分幅值近似相等，無(wú)法估計(jì)出其中的不同，造成了旋轉(zhuǎn)角估計(jì)的不準(zhǔn)確。已有的改進(jìn)算法由于低頻部分較高的幅值，干擾了旋轉(zhuǎn)角估計(jì)的準(zhǔn)確性；同時(shí)考慮到高頻部分的對(duì)噪聲敏感，也會(huì)干擾到配準(zhǔn)的準(zhǔn)確性。綜合考慮這兩方面，本文用介于高頻和低頻之間的部分參與運(yùn)算，提出了一種用局部頻域幅值計(jì)算的改進(jìn)方法。

2 頻域內(nèi)旋轉(zhuǎn)角估計(jì)理論基礎(chǔ)

用于超分辨率圖像重構(gòu)的低分辨率圖像之間會(huì)由于傳感器抖動(dòng)，焦距變化而存在偏移。這種偏移一般來說是微小的，且一般只考慮平移和旋轉(zhuǎn)兩種參數(shù)。為敘述方便，本文只討論兩幅圖像的旋轉(zhuǎn)角估計(jì)算法，多幅圖像的情況可類似得到。設(shè)圖像水平平移參數(shù)為Δx1，垂直方向平移參數(shù)為Δx2，旋轉(zhuǎn)角為?，則待配準(zhǔn)圖像f1(x)、 f2(x)之間存在以下關(guān)系：

上式表明，待配準(zhǔn)圖像f1(x)、 f2(x)之間的旋轉(zhuǎn)角與|F1(u)|、|F2(u)|之間的旋轉(zhuǎn)角相等。因此，問題轉(zhuǎn)化為如何準(zhǔn)確估計(jì)|F1(u)|與|F2(u)|之間的旋轉(zhuǎn)角，本文的旋轉(zhuǎn)角估計(jì)算法是基于該結(jié)論的。

3 改進(jìn)的頻域內(nèi)旋轉(zhuǎn)角估計(jì)算法

圖像配準(zhǔn)中一種常用的方法是計(jì)算兩幅圖像的相關(guān)性，相關(guān)性最大時(shí)的參數(shù)即為最佳估計(jì)。直接計(jì)算兩幅圖像的相關(guān)性是二維問題，計(jì)算量很大，導(dǎo)致算法的時(shí)間效率很低。文獻(xiàn)[10]提出了將二維問題轉(zhuǎn)化為一維問題的算法，算法如下。

對(duì)待配準(zhǔn)圖像f1(x)、 f2(x)做傅里葉變化，求出|F1(u)|、|F2(u)|之后，將其從直角坐標(biāo)系變化到極坐標(biāo)系下，記為|F1(r，θ)|，|F2(r，θ)|。那么|F1(u)|與|F2(u)|之間的旋轉(zhuǎn)角估計(jì)在極坐標(biāo)下表現(xiàn)為|F1(r，θ)|與|F2(r，θ)|關(guān)于參數(shù)θ的平移估計(jì)。

定義函數(shù)hi(α)：

由于|Fi(r，θ)| ( i=1，2)是離散的，因此上述積分在計(jì)算中表現(xiàn)為累加的和的形式。函數(shù)hi(α)的實(shí)質(zhì)是將|Fi(r，θ)|分為圓心角相等的若干個(gè)扇形，計(jì)算每個(gè)扇形區(qū)域內(nèi)|Fi(r，θ)|的所有值之和。每個(gè)扇形的圓心角取為0.1°。為保證每個(gè)扇形區(qū)域內(nèi)參與計(jì)算的點(diǎn)的個(gè)數(shù)相等，通常取r＜ρ（其中ρ是圖像大小的一半）。圖像的低頻部分相對(duì)其他部分的值非常大，但是在將圖像從直角坐標(biāo)系變化到極坐標(biāo)系下時(shí)，低頻部分坐標(biāo)的舍入誤差較大，因此，r的下限取為r＞0.1ρ。

當(dāng)計(jì)算出hi(α)之后，只要計(jì)算出一維序列h1(α)，h2(α)(α= 1,2,…，3 600)相關(guān)性最大的點(diǎn)，即可對(duì)應(yīng)的計(jì)算出旋轉(zhuǎn)角。

上述算法相對(duì)傳統(tǒng)的算法時(shí)間效率高，精確度高，是一種有效的算法，但是進(jìn)一步的實(shí)驗(yàn)結(jié)果表明，當(dāng)待配準(zhǔn)圖像f1(x)、 f2(x)之間的旋轉(zhuǎn)角較小時(shí)，上述算法往往不再有效，不能估計(jì)出準(zhǔn)確的旋轉(zhuǎn)角。分析其原因，是由于上述算法主要利用了圖像的低頻部分，但是低頻部分相對(duì)高頻部分的幅值很大，當(dāng)旋轉(zhuǎn)角過小的時(shí)候相鄰的兩個(gè)小扇形區(qū)域中的幅值之和近似相等，無(wú)法估計(jì)出其中的不同，因此當(dāng)旋轉(zhuǎn)角較小的時(shí)候，上述算法估計(jì)出的旋轉(zhuǎn)角總為0。

一種有效的改進(jìn)算法是只利用圖像幅值相對(duì)較小的部分進(jìn)行配準(zhǔn)。高頻部分相對(duì)低頻部分的幅值很小，即使在旋轉(zhuǎn)角較小時(shí)，也能估計(jì)出其中的不同，但是高頻部分對(duì)噪聲敏感，只用高頻部分進(jìn)行計(jì)算，算法的魯棒性差；幅值很大的低頻部分會(huì)干擾旋轉(zhuǎn)角估計(jì)的精度；綜合考慮這兩方面因素，將調(diào)整r的取值范圍為：aρ＜r＜bρ，求hi(α)時(shí)調(diào)整為計(jì)算α-Δα/2＜θ＜α+Δα/2，aρ＜r＜bρ區(qū)域內(nèi)的幅值之和。其中a，b∈(0，1)，a＜b，且a＞0.1。即只選取頻譜圖的中間部分（以頻譜圖中心為圓心，以aρ、bρ為半徑的兩個(gè)圓環(huán)所圍成的區(qū)域）參與運(yùn)算。a、b的選取要根據(jù)重構(gòu)的效果進(jìn)行合適的調(diào)整。這種改進(jìn)方法在保證算法魯棒性的同時(shí)，提高了算法的精度。

在對(duì)待配準(zhǔn)圖像進(jìn)行傅里葉變化之前，需要對(duì)其進(jìn)行預(yù)處理，圖像在進(jìn)行傅里葉變化時(shí)由于圖像邊界不連續(xù)性會(huì)導(dǎo)致頻譜中增加一個(gè)高幅值的“+”形特征。如圖1所示，此特征會(huì)干擾配準(zhǔn)結(jié)果，為此，在傅里葉變化之前，要用Tukey窗函數(shù)來消除該特征。

圖1 “+”形噪聲示意圖

改進(jìn)的旋轉(zhuǎn)角估計(jì)算法步驟如下：

（2）對(duì)f1(x)、f2(x)分別進(jìn)行傅里葉變化，并計(jì)算出

（3）將|F1(u)|和|F2(u)|變化到極坐標(biāo)下，得到|F1(r，θ)|和|F2(r，θ)|。

（4）取α=0，1，…，3 599，對(duì)于每一個(gè)α，利用式（4）計(jì)算aρ＜r＜bρ，α·0.1°＜θ＜(α+1)·0.1°區(qū)域內(nèi)的|F1(r，θ)|、|F2(r，θ)|之和，記為h1(α)、h2(α)，得到長(zhǎng)度為3 600的序列h1(α)、h2(α)。

（5）計(jì)算出序列h1(α)、h2(α)相關(guān)性最大時(shí)的α的值α0，那么兩幅圖像之間的旋轉(zhuǎn)角為0.1α0。

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證改進(jìn)算法的有效性，選取512×512的兩組圖像Boat和Lena進(jìn)行實(shí)驗(yàn)，并與傳統(tǒng)的頻域內(nèi)旋轉(zhuǎn)角估計(jì)算法進(jìn)行了比較。其中待配準(zhǔn)的圖像是在原圖像Boat和Lena的基礎(chǔ)上旋轉(zhuǎn)得到的。在用Boat圖像進(jìn)行實(shí)驗(yàn)時(shí)，選取參數(shù)a=0.6，b=0.8，實(shí)驗(yàn)結(jié)果見表1；用Lena圖像進(jìn)行實(shí)驗(yàn)時(shí)，選取參數(shù)a=0.3，b=0.8，實(shí)驗(yàn)結(jié)果見表2。

Boat圖像的頻譜圖在某幾個(gè)方向上能量比較高（頻譜圖中的亮線，見圖2），因此其對(duì)應(yīng)序列h1(α)和h2(α)有變化劇烈的局部峰值（見圖3）；而Lena圖像的能量在各個(gè)方向上分布相對(duì)均勻（見圖1），對(duì)應(yīng)的h1(α)和h2(α)序列的值變化緩慢。因此在選擇參數(shù)a、b時(shí)，對(duì)于Boat圖像，選取a=0.6，b=0.8的較小區(qū)間，即可估計(jì)出序列h1(α)和h2(α)相關(guān)性最大的點(diǎn)。而對(duì)于Lena圖像，要選取一個(gè)更大的區(qū)間a=0.3，b=0.8，獲取更多的信息，才能準(zhǔn)確估計(jì)序列h1(α)和h2(α)相關(guān)性最大的點(diǎn)。

圖2中，（a）、（c）之間的旋轉(zhuǎn)角為1.35°，（b）、（d）為Tukey窗函數(shù)作用后對(duì)應(yīng)圖像的頻譜圖。視覺上可以看出，兩者的頻譜圖之間存在一個(gè)旋轉(zhuǎn)角度的差別。圖3為從圖2（b）、（d）中計(jì)算得到的h1(α)和h2(α)序列。兩個(gè)序列之間存在14個(gè)單位的平移。因此，這種情況下，旋轉(zhuǎn)估計(jì)值為1.4°。

圖2 待配準(zhǔn)圖像及其頻譜圖

表1、表2的實(shí)驗(yàn)結(jié)果表明，對(duì)于小角度的旋轉(zhuǎn)角估計(jì)，本文改進(jìn)算法比傳統(tǒng)算法更為有效；對(duì)于較大角度的旋轉(zhuǎn)角估計(jì)，兩者的效果相當(dāng)。這就說明了本文算法的有效性。

5 總結(jié)與展望

亞像素級(jí)圖像配準(zhǔn)是超分辨率重構(gòu)的重要步驟，配準(zhǔn)的誤差大將影響重構(gòu)的效果。本文針對(duì)傳統(tǒng)算法中對(duì)小角度估計(jì)不準(zhǔn)確的缺點(diǎn)，提出了改進(jìn)算法，并通過數(shù)據(jù)實(shí)驗(yàn)證明了算法的有效性。

表1 Boat組圖像旋轉(zhuǎn)角估計(jì)結(jié)果（°）

表2 Lena組圖像旋轉(zhuǎn)角估計(jì)結(jié)果（°）

圖3 序列h1(α)和h2(α)

[1]Borman S，Stevenson R L.Spatial resolution enhancement of low-resolutionimagesequences—acomprehensivereview with directions for future research[R].Laboratory for Image andSignal Analysis（LISA），UniversityofNotreDame，Notre Dame，Ind，USA，1998.

[2]Park S C，Park M K，Kang M G.Super-resolution image reconstruction：a technical overview[J].IEEE Signal Processing Magazine，2003，20（3）：21-36.

[3]Schultz R R，Meng L，Stevenson R L.Subpixel motion estimation for super-resolution image sequence enhancement[J]. JournalofVisualCommunicationandImageRepresentation，1998，9（1）：38-50.

[4]Irani M，Peleg S.Improving resolution by image registration[J]. CVGIP：Graphical Models and Image Processing，1991，53（3）：231-239.

[5]Zitov′aB，F(xiàn)lusser J.Image registration methods：a survey[J]. Image and Vision Computing，2003，21（11）：977-1000.

[6]Keren D，Peleg S，Brada R.Image sequence enhancement using sub-pixel displacements[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，June 1988：742-746.

[7]Reddy B S，Chatterji B N.An FFT-based technique for translation，rotation，and scale-invariant image registration[J].IEEE Transactions on Image Processing，1996，5（8）：1266-1271.

[8]Kim S P，Su W Y.Subpixel accuracy image registration by spectrum cancellation[C]//Proceedings of IEEE International Conference Acoustics，Speech，Signal Processing（ICASSP’93），April 1993：153-156.

[9]Stone H S，Orchard M T，Chang E C.A fast direct Fourierbased algorithm for subpixel registration of images[J].IEEE Transactions on Geosciences and Remote Sensing，2001，39（10）：2235-2243.

[10]Vandewalle P，Süsstrunk S，Vetterli M.A frequency domain approach to registration of aliased images with application to super-resolution[J].EURASIP Journal on Applied Signal Processing，2005（5）：1-13.

ZHANG Yongliang,LIU Zhe,HAO Minhui,ZHANG Heni

School of Science,Northwestern Polytechnical University,Xi’an 710129,China

Sub-pixel image registration is an essential part of super-resolution image reconstruction algorithms.Unfortunately, when the rotation angel between input images is small,the conventional frequency domain algorithms cannot obtain an accurate estimation.Thus,an improved approach is proposed by taking into account both the high frequency and low frequency coefficients.The numerical results show that the proposed algorithm has a better performance in estimating the small rotation angles.

super resolution;frequency domain;rotation estimation;spectrogram

亞像素級(jí)配準(zhǔn)是超分辨率重構(gòu)的前提，其中旋轉(zhuǎn)角估計(jì)的準(zhǔn)確程度對(duì)重構(gòu)效果有直接影響。針對(duì)傳統(tǒng)的頻域內(nèi)旋轉(zhuǎn)角估計(jì)在小角度估計(jì)不精確的缺點(diǎn)，提出了用部分幅值進(jìn)行配準(zhǔn)的改進(jìn)算法。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法對(duì)小角度旋轉(zhuǎn)角估計(jì)比傳統(tǒng)算法效果好。

超分辨率重構(gòu)；頻域；旋轉(zhuǎn)角估計(jì)；頻譜圖

A

TP391

10.3778/j.issn.1002-8331.1111-0085

ZHANG Yongliang,LIU Zhe,HAO Minhui,et al.Improved frequency domain approach for rotation angle estimation. Computer Engineering and Applications,2013,49（13）：125-127.

國(guó)家自然科學(xué)基金（No.61071170）；教育部新世紀(jì)優(yōu)秀人才支持計(jì)劃。

張永亮（1988—），男，研究生，主要研究方向：圖像重構(gòu)，壓縮傳感；劉哲（1970—），女，博士，教授，主要研究方向：圖像處理，壓縮傳感，信息融合與計(jì)算智能等。E-mail：zz_master@163.com

2011-11-11

2012-01-02

1002-8331（2013）13-0125-03

CNKI出版日期：2012-04-25http://www.cnki.net/kcms/detail/11.2127.TP.20120425.1722.080.html