基于相位相關(guān)的勻速直線運動模糊圖像位移參數(shù)估計

孫 輝 ，李志強

(中國科學(xué)院 長春光學(xué)精密機械與物理研究所，吉林 長春130033)

1 引 言

機載、車載、船載等動載體成像系統(tǒng)工作時，由于載體與目標景物之間的相對運動，相機拍攝的視頻圖像會產(chǎn)生運動模糊效果，這對圖像觀察、目標識別造成了困難，同時也為圖像信息的處理與分析帶來了不利影響。根據(jù)圖像復(fù)原理論，圖像運動模糊是一種由成像系統(tǒng)光學(xué)模糊造成的視頻圖像退化現(xiàn)象［1］，結(jié)果導(dǎo)致圖像質(zhì)量下降和信息丟失。如何快速準確地從退化圖像中獲取目標圖像運動信息，是目標識別與跟蹤的關(guān)鍵技術(shù)之一。

圖像運動估計主要檢測成像系統(tǒng)拍攝的視頻圖像之間的位移量，目的是從中獲取感興趣區(qū)域的目標運動信息，如試驗靶場中的飛行目標、工業(yè)檢測中的零部件、公共交通中的行駛車輛等，同時也為圖像的進一步處理與分析( 如圖像運動補償、目標識別、目標跟蹤、目標檢測、圖像變換、圖像壓縮等) 提供準確參數(shù)。目前比較常用的時域空間運動檢測方法有圖像灰度信息算法［2］、目標特征信息法［3］、圖像梯度相關(guān)方法［4］等。在運動模糊圖像中，由于圖像信息的混迭現(xiàn)象，許多有用的特征信息無法從圖像中直接獲取，因此，上述基于目標特征信息的檢測效果會受到嚴重影響，往往需要通過對圖像進行復(fù)原處理，根據(jù)圖像退化模型和光學(xué)系統(tǒng)的先驗知識恢復(fù)原始圖像，從恢復(fù)圖像中獲取需要的圖像信息。

目前，針對由于運動造成的圖像退化方面的研究主要集中在像移補償［5］、圖像恢復(fù)或重建［6-7］、點擴散函數(shù)估計［8-9］等方面，關(guān)于如何從退化圖像中獲取圖像之間的位移參數(shù)少有報道。本文從實際需求出發(fā)，結(jié)合目前廣泛采用的相位相關(guān)圖像配準技術(shù)［10-13］和線性不變空間退化模型，通過理論分析和實驗驗證，討論了退化圖像對相位相關(guān)配準結(jié)果的影響，將相位相關(guān)配準方法應(yīng)用于勻速直線運動模糊圖像之間的運動參數(shù)估計，利用相位相關(guān)配準技術(shù)的高精度和魯棒性，探索出一條適合檢測勻速直線運動模糊圖像運動的有效技術(shù)途徑。

2 相位相關(guān)配準原理

相位相關(guān)算法最早由Kuglin 和Lines 在1975年提出［14］，它是一種非線性、基于傅里葉功率譜的頻域相關(guān)技術(shù)，具有亞像素級配準精度。該方法只提取兩幅圖像互功率譜中的相位信息，減少了對圖像內(nèi)容的依賴，具有較強的抗干擾能力，是目前廣泛使用的頻域配準方法。

根據(jù)傅里葉變換平移理論，當(dāng)圖像之間發(fā)生平移變化時，傅里葉變換幅值不變，互功率譜的相位等于兩個圖像的相位差，通過求解歸一化互功率譜的傅里葉逆變換，得到二維Dirachlet 沖激函數(shù)，其坐標位置給出了兩個圖像之間的位移量。

設(shè)圖像尺寸M×N，f1(x，y) 為基準圖像，f2(x，y) 為f1(x，y) 平移(x0，y0) 后的位移圖像，滿足如下關(guān)系:

式(1) 傅里葉變換可表示為:

式中，F(xiàn)1(u，v) 和F2(u，v) 分別表示f1(x，y) 和f2(x，y) 的傅里葉變換。因此，兩幅圖像之間歸一化的互功率譜表示為:

對式( 3) 兩端進行傅里葉逆變換，可得相位相關(guān)函數(shù)表達式如下:

式中:δ(x-x0，y-y0) 即典型的Dirac 沖激函數(shù)，該函數(shù)在中心點(x0，y0) 處不為零，在其它位置都是零。

為求解位移量(x0，y0) ，文獻［7］提出了一種用sinc 函數(shù)近似表示Dirac 函數(shù)的方法:

3 勻速直線運動模糊分析

3.1 線性不變空間模糊模型

在線性不變空間退化模型中，f(x，y) 表示物體的原始圖像，g(x，y) 表示實際得到的退化圖像，h(x，y) 表示點擴散函數(shù)( PSF) ，則退化模型可表示為［1］:

將式(7) 兩端進行傅里葉變換，有:

式中，F(xiàn)(u，v) ，G(u，v) ，H(u，v) 分別表示f(x，y) ，g(x，y) ，h(x，y) 的傅里葉變換，其中H(u，v) 在圖像處理學(xué)中通常稱之為轉(zhuǎn)移函數(shù)或傳遞函數(shù)。

從式(8) 可以看出，在線性不變空間退化模型中，如果已知點擴散函數(shù)或轉(zhuǎn)移函數(shù)，就可以通過圖像恢復(fù)算法求解F(u，v) ，如采用經(jīng)典的逆濾波、Wiener 濾波等方法，再進行傅里葉逆變換，得到原始圖像f(x，y)［5-6］，然后根據(jù)實際需要對恢復(fù)圖像做進一步處理。這種方法雖然有效，但由于在恢復(fù)過程中不可避免地會產(chǎn)生誤差，對后續(xù)的圖像處理工作造成一定影響。

本文從線性不變空間退化模型出發(fā)，結(jié)合相位相關(guān)配準算法，進一步研究退化圖像對相位相關(guān)配準精度的影響，從中找出適合線性不變空間退化圖像的運動檢測方法。

設(shè)g1(x，y) 和g2(x，y) 分別表示式( 1) 中f1(x，y) 和f2(x，y) 的退化圖像，則根據(jù)式(7) ，有:

將式(1) 代入式( 10) ，建立模糊圖像與基準 圖像的運動方程如下:

對式(11) 進行傅里葉變換并整理，有:

式中，G1(u，v) ，G2(u，v) 分別表示退化圖像g1(x，y) ，g2(x，y) 的傅里葉變換。

為進一步研究圖像退化對相位相關(guān)配準結(jié)果的影響，本文根據(jù)相位相關(guān)配準原理，計算退化圖像g1(x，y) 和g2(x，y) 之間歸一化的互功率譜。

根據(jù)式(12) ，歸一化的互功率譜可表示為:

比較式(3) 和式(13) 可知，在線性不變空間退化模型中，退化圖像之間歸一化的互功率譜與原始圖像完全一致，其結(jié)果只與圖像之間的位移量有關(guān)，與圖像退化程度無關(guān)。利用退化圖像的這一特性，可直接從退化圖像計算位移圖像之間的歸一化互功率譜中獲取需要的信息。

3.2 勻速直線運動模糊

在動載體成像系統(tǒng)中，由于成像系統(tǒng)與景物之間的相對運動，在相機曝光時間內(nèi)，目標影像在相機傳感器靶面上會產(chǎn)生相應(yīng)的像移。根據(jù)相對運動產(chǎn)生模糊的機理不同，可分為勻速直線運動模糊、斜視運動模糊及旋轉(zhuǎn)運動模糊等［15-16］。其中，勻速直線運動模糊現(xiàn)象在成像系統(tǒng)中比較常見，因此本節(jié)進行了相關(guān)研究，介紹如何構(gòu)建點擴散函數(shù)和轉(zhuǎn)移函數(shù)，進而討論由此造成的退化現(xiàn)象與線性不變空間退化的關(guān)系。

在勻速直線運動模糊中，圖像模糊效果與像移的大小和方向有關(guān)。在一般情況下，由于曝光時間較短，可以認為在曝光瞬間，載體速度、高度不變，這樣產(chǎn)生的圖像模糊在連續(xù)兩幅圖像內(nèi)的模糊程度相同。

設(shè)相機與景物之間的相對速度為v，距離( 高度) 為H，相機積分時間為t，相機焦距為f，則像移量δ 可表示為:

式(14) 表明，在成像系統(tǒng)焦距和積分時間一定的條件下，像移量與速-高比成正比。

進一步將δ 表示成像元形式:

式中，M和β 分別表示圖像模糊量和傳感器尺寸。

根據(jù)圖像復(fù)原理論，圖像復(fù)原的關(guān)鍵是正確估計成像系統(tǒng)的點擴散函數(shù)。在一般情況下，點擴散函數(shù)可根據(jù)先驗知識和實驗方法測量估計。本文根據(jù)勻速直線運動的特點，參照文獻［8］提出的5 種典型的點擴散函數(shù)，介紹了一種勻速直線運動點擴散函數(shù)及其轉(zhuǎn)移函數(shù)的數(shù)學(xué)描述。

設(shè)圖像模糊量為M，運動方向與傳感器靶面水平方向夾角為θ，則點擴散函數(shù)h(x，y) 可表示為:

從h(x，y) 定義可以看出，勻速直線運動模糊的點擴散函數(shù)是一個二維脈沖響應(yīng)函數(shù)。

根據(jù)傅里葉光學(xué)理論，成像系統(tǒng)光學(xué)傳遞函數(shù)( OTF) 可表示為:

根據(jù)運動方向不同，勻速直線運動模糊可分為水平、垂直和斜向3 種，圖1( a) ～( c) 分別顯示了3 個方向運動模糊的光學(xué)傳遞函數(shù)OTF(u，v)曲線。

根據(jù)圖像復(fù)原理論及勻速直線運動點擴散函數(shù)或轉(zhuǎn)移函數(shù)分析，勻速直線運動模糊符合線性不變空間退化模型要求。因此本文將相位相關(guān)配準方法用于解決勻速直線運動模糊圖像的運動估計問題具有合理性和可行性，同時可以實現(xiàn)較高的運動檢測精度。

圖1 光學(xué)傳遞函數(shù)OTF( u，v) 曲線Fig.1 Curves of optical transfer function

4 實驗結(jié)果

4.1 靜態(tài)仿真實驗－歸一化互功率譜一致性驗證

選用標準樣本圖像boats 進行位移圖像互功率譜一致性測試，原始圖像尺寸為512 ×512 ×8 bit，見圖2( a) 。首先對原始圖像在水平和垂直方向分別平移-20 和10 pixel，生成位移圖像，見圖2( b) ，然后根據(jù)式( 3) 計算兩幅圖像之間歸一化互功率譜，見圖2( c) 。

圖2 原始圖像及位移圖像Fig.2 Original image and displacement image

為驗證位移圖像之間歸一化互功率譜經(jīng)過勻速直線運動模糊前后的一致性，本文進行了對比實驗，首先使用式( 9) 和式( 10) 分別對圖3 顯示的原始圖像和位移圖像進行勻速直線運動模糊處理，點擴散函數(shù)選擇式( 16) 表示的方波函數(shù)，運動模糊量M=22 pixel，夾角θ=45°。模糊圖像見圖3( a) 、圖3( b) 。然后根據(jù)式( 13) 計算兩幅模糊圖像之間歸一化互功率譜，見圖3( c) 。

圖3 運動模糊圖像及位移圖像Fig.3 Motion-blurred image and displacement image

比較圖2( c) 和圖3( c) 可知，模糊圖像與原圖像的位移圖像之間歸一化互功率譜具有很好的一致性。

4.2 動態(tài)運動估計實驗－模糊圖像位移量檢測

為驗證本文方法，在實驗室進行了勻速直線運動模糊圖像的運動檢測實驗。實驗裝置包括光學(xué)成像系統(tǒng)、高速數(shù)字CMOS 相機，精密轉(zhuǎn)臺及計算機等。其中光學(xué)系統(tǒng)焦距為150 mm，數(shù)字相機傳感 器 像 元 尺 寸 為7 μm × 7 μm，幀 頻 為25 frame/s，圖像分辨率為2 350 ×1 720 ×10 bit，精密轉(zhuǎn)臺編碼器測角精度為1″。

圖像運動量與編碼器角度數(shù)據(jù)關(guān)系如下:

式中:d為位移量;f為光學(xué)系統(tǒng)焦距; β 為傳感器像元尺寸; ω 為轉(zhuǎn)臺角速率;T為視頻采樣周期。

采用標準差( Standard Deviation，SD) 客觀評價運動量計算誤差，計算公式如下:

式中:Ti為測試位移，di為根據(jù)編碼器角度解算的位移真值(i=1，2，…，N) 。

實驗采用動態(tài)成像方式，通過計算機控制精密轉(zhuǎn)臺勻速轉(zhuǎn)動，記錄編碼器角度數(shù)據(jù)，用于計算目標圖像位移真值。連續(xù)采集圖像并使用本文方法進行目標圖像配準，估計兩幅圖像之間的位移量。共計采集25 幀圖像，采集的序列圖像見圖4，圖像運動量檢測曲線見圖5，檢測誤差曲線見圖6。

圖4 序列圖像Fig.4 Sequence of image

從實驗結(jié)果可以看出，采用本文方法，最大配準誤差為0.489，標準差為0.16，配準精度優(yōu)于1/5 pixel。

圖5 圖像運動量曲線Fig.5 Curve of image displacement

圖6 配準誤差曲線Fig.6 Curve of registration error

5 結(jié) 論

由于載體運動造成的圖像退化嚴重影響目標識別、跟蹤及其它信息提取，目前普遍采用的解決方法是圖像復(fù)原，即通過退化模型和光學(xué)系統(tǒng)的先驗知識對退化圖像進行圖像恢復(fù)或重建。為進一步提供有用的圖像信息，本文通過分析動載體成像系統(tǒng)勻速直線運動模糊的特點，根據(jù)相位相關(guān)配準原理，結(jié)合線性不變空間退化模型，討論了退化圖像對圖像配準結(jié)果的影響，證明了位移圖像之間歸一化互功率譜具有運動模糊不變性，為相位相關(guān)算法應(yīng)用于運動模糊圖像的運動參數(shù)估計提供了理論依據(jù)，同時也進一步拓展了相位相關(guān)配準技術(shù)的適用范圍，為勻速直線運動模糊圖像的運動參數(shù)估計提供了新思路和有效的技術(shù)途徑。

理論分析和實驗結(jié)果表明: 相位相關(guān)算法在處理運動模糊圖像平移方面合理有效，利用圖像的互功率譜信息，減少了對圖像內(nèi)容的依賴，具有較強的抗噪能力，同時該算法具有優(yōu)于1/5 pixel級的配準精度，能有效地提高目標運動的檢測精度。

［1］ CASTLEMAN K R.數(shù)字圖像處理［M］.北京:電子工業(yè)出版社，2004.CASTLEMAN K R.Digital Image Processing［M］. Beijing:Publishing House of Electronics Industry，2004.

［2］ KO S J，LEE S H，JEON S W，et al.. Fast digital image stabilization based on gray-coded bit-plane matching［J］.IEEE T． Consum． Electr．，1999，45(3) :598-603.

［3］ 姚軍，蔣曉瑜，杜登崇，等.使用粒子濾波器實現(xiàn)電子穩(wěn)像［J］.光學(xué) 精密工程，2009，17(5) :1005-1110.YAO J，JIANG X Y，DU D CH，et al.. Digital image stabilization based on particle filter［J］.Opt． Precision Eng．，2009，17(5) :1005-1110.( in Chinese)

［4］ ARGYRIOU V，VLACHOS T. Sub-pixel motion estimation using gradient cross-correlation［C］//The 7th International Symposium on Signal Processing and its Applications( ISSPA) ，Paris，F(xiàn)rance，July 1-4，2003.

［5］ LIKHTERIV B，KOPEIKA N S. Motion-blurred image restoration using modified inverse all-pole filters［J］.J． Electronic Imaging，2004，3(2) :257-263.

［6］ 王曉紅，趙蓉椿.任意方向運動模糊的消除［J］.中國圖像圖形學(xué)報，2000，5(6) :525-529.WANG X H，ZHAO R CH. Restoration of arbitrary dirction motion-blurred images［J］.J． Image and Graphics，2000，5(6) :525-529( in Chinese) .

［7］ STERN A，INNA KRUCHAKOV，EITAN YOAVI，et al.. Recognition of motion blurred image by use of the method of moments［J］.Appl． Opt．，2002，41(11) :2164-2171.

［8］ STERN A，KOPEIKA N S. Analytical method to calculate optical transfer function for image motion and vibration using moments and its implementation in image restoration［J］.SPIE，1996，2827:191-202.

［9］ TAN K C，LIM H，TAN B T G. Restoration of real-world motion-blurred images［J］.CVGIP，1991，53:291-299.

［10］ FOROOSH H，ZERUBIA J，BERTHOD M. Extension of phase correlation to sub-pixel registration［J］.IEEE T． Image Process．，2002，11(3) :188-200.

［11］ 黎俊，彭啟民，范植華.亞像素級圖像配準算法研究［J］.中國圖象圖形學(xué)報，2008，13(11) :2071-2075.LI J，PENG Q M，F(xiàn)AN ZH H. Asurvey of sub-pixel image registration methods［J］.J． Image and Graphics，2008，13(11) :2071-2075.( in Chinese)

［12］ 馮林，管慧娟，藤弘飛.基于互信息的醫(yī)學(xué)圖像配準技術(shù)研究進展［J］.生物醫(yī)學(xué)工程學(xué)，2005，22(5) :1078-1081.FENG L，GUAN H J，TENG H F. Advances in medical image registration based on mutual information［J］.J． Biomedical Eng． Res．，2005，22(5) :1078-1081.( in Chinese)

［13］ 桂志國，韓焱.相位相關(guān)配準法及其在射線圖像數(shù)字減影中的應(yīng)用［J］.儀器儀表學(xué)報，2004，25(4) :520-522.GUI ZH G，HAN Y. Phase correlation technique for image registration and its application in DSA of radiographic image［J］.Chinese J． Sci． Instrum．，2004，25(4) :520-522.( in Chinese)

［14］ KULIN C D，HINES D C. The phase correlation image alignment method［C］//Proceedings of the IEEE International Conference on Cybernetics and Society，New York，USA，1975:163-165.

［15］ 李仕，張葆，孫輝.航空多重模糊圖像的恢復(fù)［J］.光學(xué) 精密工程，2009，17(5) :1162-1169.LI SH，ZHANG B，SUN H. Restoration of aerial multiple blurred images［J］.Opt． Precision Eng．，2009，17(5) :1162-1169.( in Chinese)

［16］ WEN C Y，LEE C H. Point spread functions and their applications to forensic image restoration［J］.Forensic Sci． J．，2002，1:15-26.