基于相位一致性的異源圖像匹配方法

趙春陽(yáng)，趙懷慈，趙 剛

基于相位一致性的異源圖像匹配方法

趙春陽(yáng)1，2，3，趙懷慈1，2，趙 剛1，2

（1.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所，遼寧沈陽(yáng)110016；2.中國(guó)科學(xué)院光電信息處理重點(diǎn)實(shí)驗(yàn)室，遼寧沈陽(yáng)110016；3.中國(guó)科學(xué)院大學(xué)，北京100049）

異源圖像由于亮度和對(duì)比度差異較大，采用基于灰度和梯度信息的局部特征匹配方法匹配正確率較低。針對(duì)該問(wèn)題，提出一種基于相位一致性和梯度方向直方圖的異源圖像匹配方法。該方法首先采用具有亮度和對(duì)比度不變性的相位一致性方法提取異源圖像特征點(diǎn)和邊緣圖像，并以特征點(diǎn)為中心，選取100×100的邊緣圖像作為特征區(qū)域，統(tǒng)計(jì)梯度方向直方圖，生成64維特征描述符；然后，選用歸一化相關(guān)函數(shù)作為匹配測(cè)度，采用雙點(diǎn)匹配方法選取一個(gè)特征點(diǎn)的兩個(gè)較優(yōu)的候選匹配點(diǎn)，并采用RANSAC方法進(jìn)行匹配點(diǎn)提純；最后，基于局部歸一化互信息方法和最優(yōu)化方法進(jìn)行匹配點(diǎn)精確定位，提高匹配精度。實(shí)驗(yàn)結(jié)果表明，該方法在可見(jiàn)光、近紅外、中波紅外和長(zhǎng)波紅外等異源圖像匹配中具有較好的匹配性能，平均匹配正確率高達(dá)88%，是SURF匹配方法的3.4倍。

異源圖像匹配；相位一致性；梯度方向直方圖；歸一化互相關(guān)；歸一化互信息

1 引 言

異源圖像匹配廣泛應(yīng)用于醫(yī)學(xué)、遙感［1］、圖像融合、景象匹配［2］等多個(gè)領(lǐng)域。由于異源圖像在亮度、對(duì)比度和紋理細(xì)節(jié)上差異顯著，因此，異源圖像匹配作為一個(gè)難題，一直以來(lái)沒(méi)有有效的解決方案。

常見(jiàn)的圖像匹配方法主要基于灰度、邊緣或梯度信息?；诨叶鹊钠ヅ浞椒ㄖ苯踊蜷g接利用灰度信息進(jìn)行匹配，如基于互信息［3］和基于自相似的匹配方法［4］?；谶吘壍姆椒ɡ肅anny等算法進(jìn)行邊緣提取，采用豪斯多夫距離等進(jìn)行圖像匹配［5］?；诰植刻卣鞯姆椒ńy(tǒng)計(jì)局部區(qū)域的梯度直方圖生成特征描述符，利用距離或相關(guān)函數(shù)作為匹配測(cè)度進(jìn)行特征匹配，主要包括：尺度不變特征描述符（SIFT，Scale Invariant Feature Transform）［6］、快速魯棒特征描述符（SURF，Speeded Up Robust Features）［7］和梯度位置方向直方圖（Gradient Location Orientation Histogram，GLOH）［8］等。

上述方法存在如下瓶頸：一方面，異源圖像的灰度和梯度信息差異顯著，難以適用于異源圖像匹配；另一方面，異源圖像對(duì)比度不同，采用相同閾值的Canny算法提取的邊緣圖像細(xì)節(jié)差異顯著，應(yīng)用于異源圖像匹配時(shí)性能下降明顯。

基于相位一致性邊緣提取算法［9－10］具有亮度和對(duì)比度不變性，對(duì)于異源圖像可采用同一閾值提取細(xì)節(jié)程度相同的邊緣，因此，本文采用該方法提取特征點(diǎn)和邊緣，利用邊緣圖像構(gòu)建特征描述符，并基于局部歸一化互信息和最優(yōu)化方法進(jìn)行匹配點(diǎn)精確定位，有效實(shí)現(xiàn)了異源圖像的精確匹配。

2 異源圖像匹配方法

如圖1所示，異源圖像匹配方法步驟如下：

圖1 異源圖像匹配算法框圖Fig.1 Block diagram ofmatching algorithm

1）基于相位一致性的特征點(diǎn)和邊緣提取。采用非最大抑制算法，選取部分角點(diǎn)作為特征點(diǎn)；采用非最大抑制方法和雙閾值遲滯算法，提取邊緣圖像；

2）基于梯度方向直方圖的描述符構(gòu)建。以特征點(diǎn)為中心，統(tǒng)計(jì)100×100圖像區(qū)域的梯度方向直方圖，生成特征描述符；

3）基于歸一化相關(guān)的雙點(diǎn)匹配。采用歸一化互相關(guān)函數(shù)作為匹配測(cè)度，結(jié)合雙點(diǎn)匹配方法獲取候選匹配點(diǎn)；

4）基于RANSAC的匹配提純。采用RANSAC方法對(duì)雙點(diǎn)匹配得到的候選匹配點(diǎn)進(jìn)行匹配提純。

5）基于歸一化互信息的匹配點(diǎn)精確定位。在以匹配點(diǎn)為中心的小區(qū)域內(nèi)，采用最優(yōu)化和歸一化互信息方法實(shí)現(xiàn)匹配點(diǎn)精確定位。

2.1 基于相位一致性的特征點(diǎn)和邊緣提取

Kevesi提出了基于相位一致性的角點(diǎn)和邊緣檢測(cè)算法［9－10］，該方法選取6個(gè)方向和4個(gè)度的Log－Gabor小波變換，計(jì)算相位一致性測(cè)度PC（θ），得到最大矩M和最小矩m：

其中，

若像素點(diǎn)（x，y）處的最大矩M＞T1，則該位置為邊緣點(diǎn)；若像素點(diǎn)（x，y）處的最小矩m＞T2，則該位置為角點(diǎn)。其中，T1為邊緣點(diǎn)檢測(cè)閾值；T2為角點(diǎn)檢測(cè)閾值。

與Canny算法等邊緣檢測(cè)方法相比，相位一致性方法具有亮度和對(duì)比度不變性，對(duì)于異源圖像，采用相同的閾值可得到同樣穩(wěn)定的角點(diǎn)和細(xì)節(jié)程度相當(dāng)?shù)倪吘増D像。因此，本文選取相位一致性方法進(jìn)行特征點(diǎn)和邊緣提取。

特征點(diǎn)提取算法步驟如下：

1）采用相位一致性方法計(jì)算最小距m，對(duì)于任意位置（x，y），若最小矩m＞T2，則該位置為候選特征點(diǎn)。其中，T2為特征點(diǎn)檢測(cè)閾值；

2）為了提高計(jì)算效率，需要減少特征點(diǎn)數(shù)目。以像素點(diǎn)（x，y）為中心，在3×3的像素區(qū)域內(nèi)，選用最小距m應(yīng)用非最大抑制方法，得到最終的特征點(diǎn)。

如圖2所示，基于相位一致性的特征點(diǎn)檢測(cè)方法是一種異源圖像特征點(diǎn)提取的有效方法，對(duì)于對(duì)比度差異較大的異源圖像，采用相同的閾值可提取出同樣穩(wěn)定的特征點(diǎn)。

圖2 相同閾值條件下，可見(jiàn)光和紅外圖像提取的特征點(diǎn)

如圖3所示，邊緣圖像提取具體步驟如下：

1）對(duì)于每個(gè)像素點(diǎn)（x，y），采用相位一致性方法計(jì)算最大矩M；

2）對(duì)于每個(gè)像素點(diǎn)（x，y）的最大矩M，采用非最大抑制算法與周?chē)?×3鄰域的最大矩M比較，保留局部最大值；

3）給定閾值T1和T2，T1＞T2，采用雙閾值遲滯算法提取邊緣。若像素點(diǎn)（x，y）的最大矩M＞T1，則標(biāo)記為邊緣；若像素點(diǎn)（x，y）標(biāo)記為邊緣點(diǎn)，并且其3×3鄰域內(nèi)任一像素點(diǎn)的最大矩M＞T2，則也標(biāo)記為邊緣點(diǎn)；

4）采用形態(tài)學(xué)方法提取邊緣骨架，得到邊緣圖像；

圖3 邊緣圖像生成框圖

2.2 基于梯度方向直方圖的描述符構(gòu)建

對(duì)異源圖像而言，由于采用相位一致性邊緣提取方法可提取細(xì)節(jié)程度相同的邊緣圖像，因此，基于該邊緣圖像，統(tǒng)計(jì)梯度方向直方圖可生成近似的特征描述符。

如圖4所示，特征描述符構(gòu)建具體步驟如下：

1）特征區(qū)域提取。以特征點(diǎn)為中心，選取100×100像素的邊緣圖像作為特征區(qū)域；

2）子區(qū)域劃分。將特征區(qū)域均分為4×4個(gè)，大小為25×25的特征子區(qū)域；

3）特征向量生成。每個(gè)子區(qū)域統(tǒng)計(jì)4個(gè)方向的梯度方向直方圖，16個(gè)子區(qū)域共得到64維的特征向量。

圖4 特征向量構(gòu)建原理框圖

2.3 基于歸一化相關(guān)的雙點(diǎn)匹配

異源圖像匹配選用歸一化相關(guān)函數(shù)作為匹配測(cè)度，采用雙點(diǎn)匹配法得到候選匹配點(diǎn)，最后采用RANSAC方法進(jìn)行匹配點(diǎn)提純。具體步驟：

1）雙點(diǎn)匹配法

匹配測(cè)度選用歸一化相關(guān)函數(shù)：

其中，ki和kj分別為圖像I1和I2中的2個(gè)特征向量。S（ki，kj）值越大，特征點(diǎn)相關(guān)程度越高。

由于異源圖像差異較大，因此，匹配測(cè)度的單一極值點(diǎn)不一定是正確的匹配點(diǎn)，造成誤匹配率提高。因此，選用雙點(diǎn)匹配法，即：對(duì)于圖像I1的任意一個(gè)特征點(diǎn)，選取圖像I2中的2個(gè)特征點(diǎn)作為候選匹配點(diǎn)。

2）匹配點(diǎn)提純

基于候選匹配點(diǎn)，采用RANSAC方法實(shí)現(xiàn)匹配提純，剔除外點(diǎn)，得到最終的匹配點(diǎn)對(duì)。

2.4 基于歸一化互信息的匹配點(diǎn)精確定位

由于邊緣提取存在一定的定位誤差，造成匹配點(diǎn)位置誤差。為了提高匹配點(diǎn)位置精度，采用在一定旋轉(zhuǎn)和平移變換參數(shù)θ范圍內(nèi)，搜索使歸一化互信息MI最大的變換參數(shù)＾θ，實(shí)現(xiàn)匹配點(diǎn)精確定位：

歸一化互信息MI定義為：

如圖5所示，經(jīng)過(guò)匹配點(diǎn)精定位后，匹配點(diǎn)位置精度得到明顯提高，通過(guò)實(shí)驗(yàn)對(duì)比，應(yīng)用匹配點(diǎn)精確定位算法后，匹配正確率從83%提高到94%（誤差＜3像素）。

圖5 精確定位算法效果

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文算法的有效性，選取CVC和DGP可見(jiàn)光－紅外圖像數(shù)據(jù)庫(kù)、LandSat7多光譜遙感數(shù)據(jù)庫(kù)進(jìn)行特征匹配實(shí)驗(yàn)，將本文方法與OpenSURF算法進(jìn)行比較，OpenSURF算法采用系數(shù)為0.8的比例提純法，匹配誤差＜3像素視為正確匹配。

（1）CVC數(shù)據(jù)庫(kù)匹配結(jié)果

如圖6所示，采用CVC數(shù)據(jù)庫(kù)圖像，SURF算法匹配7個(gè)特征點(diǎn)，無(wú)正確匹配點(diǎn)；本文算法匹配305個(gè)匹配點(diǎn)，匹配正確率約為94%。實(shí)驗(yàn)表明：對(duì)于CVC可見(jiàn)光－紅外數(shù)據(jù)庫(kù)，本文算法匹配性能顯著優(yōu)于SURF算法。

（2）DGP數(shù)據(jù)庫(kù)匹配結(jié)果

如圖7所示，采用DGP數(shù)據(jù)庫(kù)圖像，SURF算法匹配21個(gè)特征點(diǎn)，無(wú)正確匹配點(diǎn)；本文算法匹配139個(gè)匹配點(diǎn)，匹配正確率約為95%。實(shí)驗(yàn)表明：對(duì)于DGP可見(jiàn)光－紅外數(shù)據(jù)庫(kù)，本文算法匹配性能顯著優(yōu)于SURF算法。

圖6 SURF和本文算法匹配實(shí)驗(yàn)對(duì)比（CVC數(shù)據(jù)庫(kù)）

圖7 SURF和本文算法匹配實(shí)驗(yàn)對(duì)比（DGP數(shù)據(jù)庫(kù)）

（3）多譜段遙感圖像匹配

如圖8所示，選用Visible Blue波段與Thermal IR波段進(jìn)行匹配實(shí)驗(yàn)的結(jié)果。采用SURF算法，Visible Blue與Mid IR波段圖像匹配正確率為44%，Visible Blue與Thermal IR波段匹配正確率僅為5.9%；而采用本文算法，其匹配正確率分別為98.5%和92.6%。實(shí)驗(yàn)表明：對(duì)于多譜段遙感圖像，本文方法匹配性能顯著優(yōu)于SURF方法，另外，對(duì)于不同的異源圖像本文方法匹配性能穩(wěn)定，而對(duì)于SURF算法，當(dāng)對(duì)比度和亮度差異較大時(shí)，其匹配性能下降顯著。

圖8 本文算法匹配結(jié)果（LandSat7數(shù)據(jù)庫(kù)，Visible Blue與Thermal IR波段）

選取CVC可見(jiàn)光－紅外數(shù)據(jù)庫(kù)的32幅圖像、DGP可見(jiàn)光－紅外數(shù)據(jù)庫(kù)20幅圖像和8組Land-Sat7多光譜圖像進(jìn)行異源圖像匹配實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 平均匹配點(diǎn)數(shù)和匹配正確率Tab.1 Averagematching points and correct ratio

實(shí)驗(yàn)表明：

1）對(duì)于可將光－近紅外／中波紅外／長(zhǎng)波紅外的異源圖像匹配，本文算法的匹配性能顯著優(yōu)于SURF算法，本文算法平均匹配正確率高達(dá)88%，而SURF算法僅為26%，前者是后者的3.4倍；

2）對(duì)于不同的異源圖像之間的匹配，本文算法具有穩(wěn)定的、魯棒的匹配性能，而SURF算法在異源圖像對(duì)比度和亮度差異較大時(shí)（如可見(jiàn)光和長(zhǎng)波紅外），其匹配性能顯著下降，甚至失效。

4 結(jié) 論

針對(duì)異源圖像特征匹配應(yīng)用中，SURF等基于梯度信息的匹配方法性能較差的問(wèn)題，提出了一種基于相位一致性和梯度方向直方圖的異源圖像匹配方法。該方法采用相位一致性理論提取特征點(diǎn)和邊緣圖像，基于邊緣圖像統(tǒng)計(jì)梯度方向直方圖生成特征向量。選用歸一化相關(guān)函數(shù)作為匹配測(cè)度，采用雙點(diǎn)匹配方法進(jìn)行特征匹配，并使用RANSAC方法進(jìn)行匹配提純。為了提高匹配精度，采用局部歸一化互信息和最優(yōu)化方法進(jìn)行匹配點(diǎn)精確定位。由于相位一致性方法對(duì)亮度和對(duì)比度變化不敏感，因此，本文方法對(duì)于可將光、近紅外、中波紅外和長(zhǎng)波紅外之間的異源圖像匹配具有較好的匹配性能，平均匹配正確率高達(dá)88%，顯著優(yōu)于SURF算法，該方法在醫(yī)學(xué)、遙感、圖像融合和景象匹配等方面具有較高的應(yīng)用價(jià)值。

［1］ Bin Fan，Chunlei Huo，Chunhong Pan，et al.Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT［J］.IEEE Geoscience and Remote Sensing Letters，2013，10（4）：657－661.

［2］ CHEN Bing，ZHAO Yigong，LI Xin.A new approach to scene matching during electro-optical imaging terminal guidance［J］.Acta Optica Sinica，2010，30（1）：163－168.（in Chinese）

陳冰，趙亦工，李欣.一種新的光電成像末制導(dǎo)景象匹配方法［J］.光學(xué)學(xué)報(bào)，2010，30（1）：163－168.

［3］ HUANG Jiexian，YANG Dongtao，GONG Changlai.Research on imagematch based onmutual information entropy and regional feature［J］.Laser＆Infrared，2013，43（1）：98－103.（in Chinese）

黃杰賢，楊冬濤，龔昌來(lái).互信息熵與區(qū)域特征結(jié)合的圖像匹配研究［J］.激光與紅外，2013，43（1）：98－103.

［4］ C Bodensteiner，W Huebner，K Juengling，et al.Local multi-modal image matching based on self-similarity［C］／／Proceedings of 2010 IEEE 17th International Conference on Image Processing，2010：937－940.

［5］ YAN Junhua，ZHU Zhichao，SUN Sijia，et al.Research on infrared and visible image registration based on multiscale［J］.Laser＆Infrared，2013，43（3）：329－333.（in Chinese）

閆鈞華，朱智超，孫思佳，等.基于多尺度紅外與可見(jiàn)光圖像配準(zhǔn)研究［J］.激光與紅外，2013，43（3）：329－333.

［6］ D.Lowe.Distinctive Image Features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［7］ Bay H，Tuytelaars T.SURF：speeded up robust features［C］／／Proceeding of European Conference on Computer Vision，Berlin：Springer-Verlag，2006：404－417.

［8］ Mikolajczyk K，Schmid C.A performance evaluation of local descriptors［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615－1630.

［9］ P.Kovesi.Phase congruency：a low-level image invariant［J］.Psychological research，2000，64（2）：136－148.

［10］P.Kovesi.Phase congruency detects corners and edges［C］.The Australian Pattern Recognition Society Conference：DICTA，2003：309－318.

Heterogonous imagematching method based on phase congruency

ZHAO Chun-yang1，2，3，ZHAO Huai-ci1，2，ZHAO Gang1，2
（1.Shenyang Institute of Chinese Academy Of Sciences，Shenyang 110016，China；2.Key-Laboratory of Opto-Electronic Processing，CAS，Shenyang 110016，China；3.University of Chinese Academy of Sciences，Beijing 100049，China）

The common local featurematchingmethods based on gradienthistogram are difficult tomatch correctly due to the difference of contrast and luminance of heterogonous image.For solving this problem，the heterogonous image matchingmethod was proposed based on the phase congruency and histograms of oriented gradients.Firstly，feature points and edge image of heterogonous imageswere extracted by using phase congruencymethod which has invariance of luminance and contrast，and then the 64-dimensional feature descriptorwas generated by counting histograms of oriented gradients of squared feature areawhose size is 100×100.Secondly，formatching heterogonous image pair，normalized correlation function is selected as similaritymeasure，and two better candidatematching point pairs ofone feature pointwas first selected by using dual-point matching method，then matching point pair was purified by using RANSACmethod.Finally，the location ofmatching pointwas refined using optimization method and local normalized mutual information.The experimental results indicate that the proposed method can achieve higher performance in heterogonous imagematching，the average matching correct rate is up to 88%and is 3.4 times of SURF matching method.

heterogonous imagematching；phase congruency；histograms of oriented gradients；normalized correlation；normalized mutual information

TP391

A

10.3969／j.issn.1001-5078.2014.10.022

1001-5078（2014）10-1174-05

中國(guó)科學(xué)院光電信息處理重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金項(xiàng)目（No.OEIP－O－201203）資助。

趙春陽(yáng)（1980－），男，副研究員，博士研究生，主要從事目標(biāo)跟蹤方面的研究。E-mail：zcyneu＠sia.com

2013-03-04；

2013-03-19