紅外與可見光圖像配準(zhǔn)的梯度相關(guān)法

胡修兵，閆 利，黃長(zhǎng)軍

(武漢大學(xué) 測(cè)繪學(xué)院，湖北 武漢 430079)

一、引 言

利用航空影像制作數(shù)字高程模型(DEM)和數(shù)字正射影像(DOM)是攝影測(cè)量領(lǐng)域已經(jīng)成熟的技術(shù)[1]，而機(jī)載中波紅外DOM的研究還處于起步階段。由于面陣中波紅外相機(jī)的分辨率還不高，紅外圖像的對(duì)比度噪聲比(CNR)較低[2]，因此目前無(wú)法直接利用中波紅外圖像進(jìn)行攝影測(cè)量作業(yè)。相對(duì)可行的方法是：同時(shí)獲取中波紅外與可見光圖像，利用傳統(tǒng)攝影測(cè)量結(jié)果輔助進(jìn)行紅外DOM制作。通過與可見光圖像配準(zhǔn)，解算紅外像點(diǎn)與地面點(diǎn)的精確對(duì)應(yīng)關(guān)系，是本文研究的起因。此外，圖像配準(zhǔn)也是后續(xù)將要開展的數(shù)據(jù)融合和溫度場(chǎng)建模等研究的前提。

圖像配準(zhǔn)主要分為基于區(qū)域的和基于特征的兩類方法[3]。包括紅外與可見光圖像在內(nèi)的多模態(tài)圖像之間的配準(zhǔn)一直是圖像配準(zhǔn)研究和應(yīng)用中的難題。由于灰度反差改變的不確定性，在兩種圖像區(qū)域或圖像特征之間確立有效的相似性測(cè)度都比較困難。在基于區(qū)域的方法中，傳統(tǒng)的灰度相關(guān)方法不適用于多模態(tài)圖像。源于醫(yī)學(xué)圖像處理的互信息方法，是有代表性的多模態(tài)圖像配準(zhǔn)技術(shù)[4-5]?；バ畔⒗昧藞D像全局的統(tǒng)計(jì)信息，但局部定位能力不足。SIFT是Lowe提出的具有里程碑意義的點(diǎn)特征探測(cè)、描述和匹配算子。針對(duì)多模態(tài)圖像，Kelman等提出了SIFT-GM和SIFT-GMEP兩種改進(jìn)算子，多組試驗(yàn)結(jié)果說明，當(dāng)前對(duì)于多模態(tài)圖像特征的一致描述和穩(wěn)定匹配問題，還有很多困難需要解決。

將梯度信息結(jié)合到互信息[6]或單獨(dú)利用梯度信息進(jìn)行圖像配準(zhǔn)已有研究[7]，但計(jì)算過于復(fù)雜，在遙感領(lǐng)域不便于應(yīng)用。本文將灰度圖像轉(zhuǎn)換到復(fù)數(shù)域的梯度圖像，借鑒SAR復(fù)數(shù)影像配準(zhǔn)的相干系數(shù)法，提出了一種基于梯度相關(guān)性的圖像配準(zhǔn)相似性測(cè)度。其意義明確且形式簡(jiǎn)單，對(duì)中波紅外與可見光圖像的配準(zhǔn)有較好的應(yīng)用針對(duì)性。

二、圖像的梯度相關(guān)性

如圖1所示，紅外與可見光圖像之間存在明顯的灰度特性差異。圖像之間的灰度相關(guān)性往往隨波段距離的增加而減小，灰度反差改變的不確定性也隨之增大。紅外與可見光圖像之間往往會(huì)出現(xiàn)不確定的對(duì)比度反轉(zhuǎn)，因而無(wú)法利用灰度相關(guān)方法進(jìn)行紅外與可見光圖像的配準(zhǔn)。

圖1 從相同位置拍攝的中波紅外與可見光圖像

1. 圖像的梯度一致性

圖像是物質(zhì)世界的空間分布在二維平面上的一種映射形式，邊緣輪廓的走向是不同模態(tài)圖像之間幾何對(duì)應(yīng)關(guān)系的重要線索。若有一對(duì)配準(zhǔn)的圖像，則任意一對(duì)同名像點(diǎn)的梯度是一致的，即兩梯度向量的無(wú)方向夾角為0，或至少有一個(gè)梯度的模值為0。

實(shí)際圖像存在噪聲和離散化等誤差，而且梯度值較大的位置(邊緣、輪廓顯著的位置)比梯度較小的位置(平坦區(qū)域)為配準(zhǔn)提供判據(jù)的置信度更高。統(tǒng)計(jì)意義上的梯度一致性(以梯度模為權(quán)重的梯度夾角平均值趨于0)可以作為多模態(tài)圖像配準(zhǔn)的相似性測(cè)度。如果分別計(jì)算對(duì)應(yīng)點(diǎn)的梯度夾角和梯度模值[6]，每對(duì)同名點(diǎn)都要使用反三角函數(shù)和三角函數(shù)，計(jì)算量太大，在遙感領(lǐng)域并不適用。

2. 復(fù)數(shù)域的向量相關(guān)

梯度向量可以用復(fù)數(shù)表示。圖像在實(shí)數(shù)域的各種灰度相關(guān)函數(shù)的意義已經(jīng)被闡明[1]，而復(fù)數(shù)域梯度相關(guān)的意義是本文要重點(diǎn)探究的問題。

(1) SAR圖像的復(fù)相關(guān)

SAR圖像是復(fù)數(shù)域的，像點(diǎn)的模值表示雷達(dá)回波的能量強(qiáng)度，輻角表示回波的相位。SAR圖像的配準(zhǔn)判據(jù)常采用相關(guān)系數(shù)[8]

(1)

式中，分子部分為兩個(gè)復(fù)向量組的內(nèi)積；結(jié)果γ為復(fù)數(shù)；復(fù)向量組U1到U2的相關(guān)系數(shù)與U2到U1的相關(guān)系數(shù)，互為一對(duì)共軛復(fù)數(shù)。若γ的模為1，表示完全相關(guān)，重復(fù)軌道的觀測(cè)期間目標(biāo)沒有任何變化，每對(duì)像點(diǎn)的相位差都等于γ的輻角。當(dāng)各點(diǎn)的相位差不完全相等，則γ的模將小于1，而γ的輻角(筆者認(rèn)為)即為各點(diǎn)(某種意義上)的平均相位差。

(2)

而各對(duì)應(yīng)點(diǎn)的相位差θk的正切值為

如圖2所示，式(2)的意義為：系數(shù)γ的輻角θ是每對(duì)同名點(diǎn)向量夾角的某種加權(quán)意義的平均值，兩向量的模乘積越大，這點(diǎn)上的夾角對(duì)這個(gè)平均值計(jì)算權(quán)重就越大。

(2) 梯度圖像的復(fù)相關(guān)

由于像點(diǎn)輻角的意義不同，用式(1)直接計(jì)算兩幅梯度圖像的復(fù)相關(guān)系數(shù)，對(duì)配準(zhǔn)判斷并沒有意義。理由是：① 配準(zhǔn)的多模態(tài)圖像在對(duì)應(yīng)點(diǎn)上的梯度模值一般并不相等，因此即使是理想配準(zhǔn)的多模態(tài)梯度圖像之間的相關(guān)系數(shù)模值也不等于1，相關(guān)系數(shù)的模值大小對(duì)梯度圖像的配準(zhǔn)判斷沒有意義。② 配準(zhǔn)的SAR圖像之間可以存在相位差，而理想配準(zhǔn)的梯度圖像是不應(yīng)該存在相位差的。如圖3所示，像點(diǎn)的梯度方向與像點(diǎn)之間的位置關(guān)系是綁定的，不可能出現(xiàn)像點(diǎn)梯度方向一致變化的同時(shí)而像點(diǎn)位置關(guān)系不變的情況。另外，相位差為0也不能說明兩幅梯度圖像是配準(zhǔn)的。因?yàn)槿绻麅煞鶊D像完全無(wú)關(guān)，則每組對(duì)應(yīng)點(diǎn)的梯度夾角的正負(fù)取值概率相等，其相關(guān)系數(shù)輻角的概率期望值等于0，因此相關(guān)系數(shù)的輻角也不能直接用于對(duì)圖像配準(zhǔn)的判斷。

圖2 模積加權(quán)意義上的輻角平均值

圖3 梯度與圖像結(jié)構(gòu)的綁定關(guān)系

(4)

三、試驗(yàn)與分析

1. 整體配準(zhǔn)試驗(yàn)

表1 圖像整體配準(zhǔn)結(jié)果

圖4 整體配準(zhǔn)的局部顯示效果

2. 分塊配準(zhǔn)試驗(yàn)

將圖像分成4塊(如圖5所示)，以兩個(gè)對(duì)角塊的中心坐標(biāo)為配準(zhǔn)參數(shù)，變換圖像的旋轉(zhuǎn)和縮放參數(shù)由此兩點(diǎn)坐標(biāo)解算。

圖5 對(duì)角分塊配準(zhǔn)示意圖

對(duì)a—b和c—d兩組分別優(yōu)化求解，以對(duì)角塊中心坐標(biāo)計(jì)算得到最終平移、縮放和旋轉(zhuǎn)參數(shù)，見表2。

表2 圖像分塊配準(zhǔn)結(jié)果

由于紅外相機(jī)的高精度幾何標(biāo)定場(chǎng)目前還處于籌建階段，試驗(yàn)用相機(jī)未經(jīng)標(biāo)定，以上配準(zhǔn)試驗(yàn)的精度還不能準(zhǔn)確評(píng)估。觀察表1、表2的結(jié)果可以發(fā)現(xiàn)，圖像之間存在平移量，說明兩次拍攝的方向不完全重合。由平移量及紅外相機(jī)的距焦(25 mm)和像元大小(15 um)，可以估算將紅外圖像糾正到可見光圖像相同投影面上時(shí)，a—b塊與c—d塊中心點(diǎn)距離之比約為1.001 2，而表2中縮放率之比為1.000 5。變形方向是符合的，但變形量縮小了。這是由于配準(zhǔn)時(shí)未考慮圖像變形，以整塊區(qū)域計(jì)算“中和”了圖像的實(shí)際變形量。

3. 配準(zhǔn)性能比較

為了檢驗(yàn)梯度相關(guān)法的局部定位性能，在配準(zhǔn)圖像中截取25像素×25像素大小的圖像塊，在配準(zhǔn)中心X、Y方向5個(gè)像素范圍內(nèi)，以0.1像素為步長(zhǎng)，分別按互信息和梯度相關(guān)法計(jì)算每個(gè)位置的配準(zhǔn)相似性測(cè)度值，測(cè)度值分布如圖6所示。從圖形可以看出，梯度相關(guān)法比互信息方法的函數(shù)圖形更加光順，有更好的穩(wěn)定性和局部定位能力。

圖6 互信息與梯度相關(guān)方法的匹配特性比較

四、結(jié)束語(yǔ)

利用復(fù)數(shù)域的圖像梯度信息，將傳統(tǒng)的圖像相關(guān)匹配問題從單模態(tài)圖像推廣到多模態(tài)圖像。由于采用了不同性質(zhì)的配準(zhǔn)相似性測(cè)度， 對(duì)于多模態(tài)圖

像的配準(zhǔn)問題，梯度相關(guān)法可與互信息法互補(bǔ)，或可能發(fā)展成為新的替代方法。圖像點(diǎn)的梯度具有尺度特性，在相近尺度下的梯度相關(guān)性對(duì)圖像配準(zhǔn)判據(jù)才更準(zhǔn)確。相應(yīng)尺度下梯度的準(zhǔn)確估計(jì)和快速計(jì)算，是本文方法應(yīng)用推廣的主要技術(shù)問題。

參考文獻(xiàn)：

[1] 張劍清，潘勵(lì)，王樹根. 攝影測(cè)量學(xué)[M].武漢: 武漢大學(xué)出版社，2009.

[2] LUCKE R L, KESSEL R A. Signal-to-noise Ratio, Contrast-to-noise Ratio, and Exposure Time for Imaging Systems with Photon-limited Noise[J]. Optical Engineering, 2006,45(5)：056403.

[3] ZITOVA B，F(xiàn)LUSSER J. Image Registration Methods: A Survey[J]. Image and Vision Computing, 2003，21(11):977-1000.

[4] COLLIGNON A, MAES F, DELAERE D,et al. Automated Multi-modality Image Registration Based on Information Theory[J].Computer and Information Science，1995(3)：263-274.

[5] VIOLA P, WELLS W M. Alignment by Maximization of Mutual Information[J]. International Journal of Computer Vision, 1997，24(2):137-154.

[6] ALUIM J P, MAINTZ J B, VIERGEVER M A. Image Registration by Maximization of Combined Mutual Information and Gradient Information[J].IEEE Transactions on Medical Imaging, 2000, 19(8):809-814.

[7] HABER E, MODERSITZKI J. Intensity Gradient Based Registration and Fusion of Multi-modal Images[J]. Methods of Information in Medicine, 2007，46(3):292-299.

[8] 舒寧.雷達(dá)影像干涉測(cè)量原理[M].武漢:武漢大學(xué)出版社，2003.