角點和邊緣結(jié)合的紅外與可見光圖像匹配*

葛 雯，何 博

(沈陽航空航天大學 電子信息工程學院，遼寧沈陽 110136)

0 引言

目前，異源圖像的匹配問題一直是一個難點，紅外圖像與可見光圖像的匹配更是其中更難解決的一個問題。近年來，國內(nèi)外學者提出了許多關于圖像匹配的算法，大致可分為兩大類。一類是基于圖像區(qū)域的匹配，另一類是基于圖像特征的匹配。基于區(qū)域的匹配是將整幅圖或局部的灰度或者梯度信息加以統(tǒng)計作為匹配度量，例如改進的SIFT[1]匹配是先運用多尺度Harris提取特征點，再統(tǒng)計各特征點鄰域的梯度分布作為特征描述子，然后加以匹配。文獻[2]中改進的歸一化互相關(Normalized Cross Correlation，NCC)匹配利用了序貫相似性檢測技術與NCC匹配度量結(jié)合，實現(xiàn)基于區(qū)域的目標檢測。文獻[3]提出了一種基于互信息的匹配算法。由于紅外圖像與可見光灰度差異大，以灰度作為匹配因子往往不容易成功，紅外圖像在一定程度上近似等于可見光的負像，因此存在同一點像素的梯度方向相反的可能，導致以統(tǒng)計梯度為描述子的匹配算法失效，因此基于區(qū)域的匹配算法魯棒性差?；谔卣鞯钠ヅ渌惴ㄍㄟ^提取兩幅圖的特征然后加以匹配，特征有：點，線，邊緣，輪廓等。文獻[4]是利用物體的形狀上下文進行匹配。文獻[5]是利用局部二值模式(Local Binary Patterns，LBP)作為特征，再對圖像進行分塊處理得到LBP聯(lián)合直方圖，進而進行異源圖像的匹配。異源圖像匹配一直是圖像匹配領域的難題，提出一個魯棒性強的匹配算法意義重大。

本文對傳統(tǒng)的加權(quán)Hausdorff距離測度進行改進，并將邊緣細分為普通邊緣點以及角點，不舍棄任何邊緣點，分別推導各部分權(quán)值，最后將兩部分的Hausdorff距離相結(jié)合得到最終的改進Hausdorff距離匹配度量。相比于其他Hausdorff距離匹配算法該算法更為精確。

1 圖像增強

圖像增強[6]是圖像預處理中的一部分，是后續(xù)圖像處理必不可少的環(huán)節(jié)。圖像增強的主要目的是：改善圖像視覺效果，盡量提高清晰度，抑制一些無用信息，方便機器進行處理等。而圖像去噪是圖像增強的范疇，眾所周知，紅外圖像一直有背景復雜和噪聲嚴重的缺點，這給后續(xù)邊緣信息提取帶來很大的未知性，傳統(tǒng)的濾波算子例如中值濾波、高斯濾波雖然能濾去噪聲，但也容易濾去圖像的一些邊緣細節(jié)，這可能會使后續(xù)匹配誤差很大甚至失敗，如果直接對紅外圖像進行邊緣提取，則提取到的邊緣會摻雜很多噪聲，導致邊緣不完整甚至斷裂。

近年來，小波變換[7]不斷發(fā)展，在圖像處理方面，由于其不僅運算方便，對邊緣的保留能力強，而且具有多分辨率、速度快等優(yōu)點，不僅在圖像融合[8]中廣泛應用，還經(jīng)常被用來進行圖像去噪處理。這里用小波的軟閾值去噪[9]對原始紅外圖像進行處理。實驗中選用SYM4小波基作為小波分解的基函數(shù)，對原始紅外圖像進行2層小波分解，使用軟閾值函數(shù)進行圖像去噪，選擇小船船桿紅外圖像進行測試，紅外圖像與去噪后的紅外圖像如圖1所示，圖2給出了小波閾值去噪基本過程圖。

圖1 小波去噪

圖2 小波去噪過程圖

經(jīng)過小波去噪后，發(fā)現(xiàn)船體輪廓細節(jié)部分基本沒丟失，印證了此方法的有效性。

2 邊緣提取

圖像的邊緣一直是圖像處理的重要信息，更是異源圖像匹配所要用到的重要特征。由于異源圖像成像機理不同，同一幅圖的灰度信息會有很大差別，但邊緣特征經(jīng)過處理后卻有一定的相似性，如何提取到一個好的邊緣直接影響后續(xù)的圖像匹配效果。常用的邊緣檢測方法有Robert算子、Sobel算子、LOG算子、Prewitt算子、Canny算子等，具體介紹參見文獻[10]。邊緣檢測希望提取的邊緣盡可能細而且連續(xù)，而Canny算子提取的細節(jié)較多且自帶降噪預處理，因此選擇以此算子作為匹配圖和待匹配圖的邊緣檢測算子。圖3給出了直接用Canny算子檢測邊緣以及經(jīng)過小波去噪再用Canny檢測邊緣的兩種結(jié)果，再次驗證了紅外圖像增強的重要性。

圖3 直接Canny邊緣檢測和先去噪再Canny檢測

3 角點提取與混合Hausdorff匹配度量

Hausdorff距離主要用來衡量兩個點集的不匹配程度，在這里作為匹配度量，實質(zhì)上是求解Hausdorff距離最小的位置。傳統(tǒng)的Hausdorff距離只是利用了點集的位置信息，忽略了各點之間穩(wěn)定性和差異性。為了得到更精確的匹配效果，加權(quán)的Hausdorff距離(Weighted Hausdorff Distance，WHD)[11]應用廣泛，定義如下：

H(A,B)=max(hWHD(A,B),hWHD(B,A))

(1)

這里

(2)

(3)

A,B為點集，w(a)為權(quán)值，Na為點集A中點的個數(shù)，d(a,B)為點集A中一點到點集B的最短距離。

前面幾步已經(jīng)對模板圖像以及參考圖像提出了比較良好的邊緣輪廓，這里選擇在邊緣輪廓的基礎上進一步提取角點。角點[12]是邊緣輪廓上曲率極大值點，包含的信息比較豐富，相比其他的非角點類邊緣點魯棒性更好，通過自適應閾值的曲率尺度空間(Curvature Scale Space，CSS)角點[13]提取來提取角點，得到角點點集，記為C，由于篇幅有限，僅給出一組船只輪廓角點提取結(jié)果，結(jié)果見圖4。在SIFT算法提取特征點中，特征點方向的確定是基于鄰域的梯度統(tǒng)計得來的，由于角點也是特征點，映射到原圖中，也可以統(tǒng)計角點周圍鄰域的梯度分布來得到方向響應。但是，考慮到紅外圖像在一定程度上類似于可見光的負像[14]，同一特征點的鄰域梯度信息相差很大，甚至可能呈現(xiàn)180°的極端，這對基于鄰域梯度的方向統(tǒng)計將帶來很大的誤差，并且基于鄰域的梯度統(tǒng)計耗時很大，不利于實現(xiàn)快速匹配。在這里將邊緣輪廓上角點的切線方向作為角點的方向：設曲線上某一角點A(i)的坐標為(xi,yi)，距其距離為k(極小)的兩點分別為A(i-k)，A(i+k),坐標分別為(xi-k,yi-k)和(xi+k,yi+k)，角點A(i)切線方向角如下：

(4)

圖4 角點檢測結(jié)果

在模板圖像與參考圖像完全匹配時，匹配邊緣點之間不僅有最小的Haudorff距離，而且對應邊緣上的角點的方向角也應該有最小的方向差異響應，為此，定義參考圖與模板圖角點之間的方向差異響應如下：

ΔO=1-cos(Oa-Ob)+c

(5)

Oa，Ob分別為點集A與點集B中某角點的方向角，c為極小的常數(shù)，為防止△O過小，本文取c值為0.15，將邊緣角點的方向差異響應信息加入Hausdorff距離，則用d*(a,B)代替式(2)中的d(a,B)，d*(a,B)定義如下：

d*(a,B)=ΔO×d(a,B)

(6)

由式(6)可知，當d(a,B)值一定時，ΔO越小，d*(a,B)越小，匹配點之間相似性越大。

將邊緣點集A中的點分為三大類，普通邊緣點、邊緣上的角點、不匹配的邊緣點，設各自權(quán)值為w1、w2、w3，為消除一些無用噪聲點的干擾，將點集A中所有點到點集B的距離(邊緣點之間距離為d(a,B)，角點之間距離為d*(a,B))從小到大排列，距離比較大的點一般是噪聲點和漏檢點，取前面k(k=fxN,0

(7)

其中C為角點點集，在點集A中已經(jīng)排除了Na-k個點，經(jīng)過前面一系列的預處理，可以認為邊緣上提取出的角點基本不是噪聲點，角點包含在前k個匹配點之中，并且角點在三類點之中對匹配的貢獻最大，其對應的權(quán)值也應該大些，設檢測出的角點個數(shù)為N0，則可得如下角點權(quán)重的公式：

(8)

通過前面的角點權(quán)值公式可得出角點點集之間對應的Hausdorff距離，定義如下：

(9)

其中C為角點點集,結(jié)合式(7)、(9)得到混合加權(quán)Hausdorff距離CSS-EDGE-WHD，定義如下:

hausdorffCSS-EDGE-WHD=hausdorffedge+hausdorffCSS

(10)

CSS-EDGE-WHD方法充分考慮了邊緣點的位置信息以及兩幅匹配圖像邊緣點上角點的方向差異性，而且不舍棄邊緣點，并將兩者相結(jié)合得到新的高魯棒性的匹配度量，也能夠極大地消除噪聲和漏檢點所帶來的影響。

4 匹配算法仿真

為驗證本文匹配算法的有效性，圖5給出了兩組實驗圖像，編程工具選擇MATLAB2014a，在主頻為3.2 GHz、內(nèi)存為504 MB的PC上進行測試。在測試中，參考圖(可見光圖像)的參數(shù)fvs=0.85，模板圖(紅外圖像)的參數(shù)fIR=0.8，為了驗證本算法的準確性和魯棒性，在匹配之前，增加環(huán)境因素，對實測圖像添加不同大小零均值高斯噪聲的噪聲(信噪比依次為100,8,6,4單位：dB)以及將實測圖像變換不同的旋轉(zhuǎn)角度(2°、4°、6°、8°)，并與其他兩種不同的匹配方法作比較，實驗

圖5 兩組實驗圖像

一組模板圖像是106×119的紅外圖像，參考圖像是510×505的可見光圖像，實驗二組模板圖像是383×263的紅外圖像，參考圖像是800×533的可見光圖像，匹配仿真實驗結(jié)果數(shù)據(jù)統(tǒng)計見表1。這里把匹配區(qū)域中心點作為匹配點坐標，根據(jù)不同的算法以及不同的環(huán)境因素得到不同的匹配點坐標，與正確匹配點坐標相比，判斷各種算法的有效性和準確性。從表1看出，針對實驗圖像組Image1的匹配結(jié)果，在旋轉(zhuǎn)角度較小時，分支算法[15]和本文算法精確度都很高，在旋轉(zhuǎn)角度到達8°時,本文算法雖也有偏差，但明顯比其他兩種算法偏差小，當存在噪聲時，本文算法具有更好的魯棒性。在準確度方面，固定加權(quán)算法[16]，即傳統(tǒng)部分Hausdorff距離，由于它不需要更新權(quán)值，算法帶來的匹配偏差很大。由于本文算法結(jié)合了邊緣點與角點，并且聯(lián)合了兩種類型點的Hausdorff距離，魯棒性更好。由表1可以看出，在增加旋轉(zhuǎn)角度和信噪比因素時，本文算法匹配結(jié)果也較精準，這是由于CSS-EDGE-WHD不僅考慮了邊緣點的位置信息，還充分將邊緣角點的方向差異響應加入其中，在較大程度上克制了因旋轉(zhuǎn)角度以及噪聲對Hausdorff有向距離計算帶來的負面影響，從而確保算法具有一定的抗噪性以及小的抗旋轉(zhuǎn)性。

表1 三種匹配算法仿真數(shù)據(jù)

圖6 三種算法對不同實驗圖像組的匹配結(jié)果

為了進一步探究分支算法與本文算法的魯棒性優(yōu)異，選擇用圖像組Image2進行實驗，從表1匹配結(jié)果中看出，由于Image2圖像組背景復雜，本文算法在旋轉(zhuǎn)角度較小時偏差并不太大，而分支算法則偏差很大，這是因為分支算法僅僅利用圖像的邊緣分支點，可利用的信息太少，Image2圖像組背景復雜，匹配較容易出錯，特征信息越多越有利，不同源的圖像提取出的邊緣雖有差異，但本文算法并沒有舍棄非角點類的邊緣點，而是將其與角點結(jié)合起來一起當做匹配特征，進而增加了匹配成功率。圖6給出了三種算法分別對兩組實驗圖像得出的部分匹配結(jié)果圖。

5 結(jié)論

紅外圖像與可見光圖像匹配一直是難點，由于紅外圖像成像復雜，因此以往算法實現(xiàn)效果并不太好，本文提出的CSS-EDGE-WHD匹配算法，在實測圖存在零均值高斯噪聲和少量旋轉(zhuǎn)角度時依舊能得出較為準確的結(jié)果，并且在背景復雜的圖像中，匹配精度也很高，唯一不足是算法運行時間稍長，其他兩種算法抗噪性也不錯，傳統(tǒng)加權(quán)算法速度一般而且不適應背景復雜的圖像，分支算法提取特征少，速度快，但對于復雜圖像匹配精度也很低。如何充分結(jié)合幾種匹配算法的優(yōu)點正是今后需要研究的問題。

[1] 許佳佳,張葉,張赫.基于改進 Harris-SIFT 算子的快速圖像配準算法[J].電子測量與儀器學報,2015,29(1):48-54.

[2] 邢藏菊，溫蘭蘭，何蘇勤.基于序貫相似性檢測的NCC目標跟蹤快速匹配方法[J].電子設計工程,2015,23(3)：187-190.

[3] JOSIEN P W P, ANTOINE M J B, Max A V. Mutual-information-based registration of medical images: a survey[J].IEEE Transactions on Medical Imaging, 2003,22(8):986-1004.

[4] SERGE B, JITENRA M, JAN P,et al. Shape Matching and object Recognition using shape contexts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(24):509-522.

[5] 胡俊杰,雍揚,徐倩,等.改進型LBP在異源圖像匹配的應用[J].兵工自動化,2014,33(10):63-67.

[6] Zhang Linlin，Zhao Yuejin，Dong Liquan. Infrared image enhancement based on the edge detection and mathematical morphology[C].Proceedings of SPIE-The International Society, 2010,7854:785429-785429-8.

[7] Huang Kui. Overview of image processing based on wavelet transform[J]. Value Engineering, 2015,41(2):69-75.

[8] 陳樹越，劉金星，丁藝.基于小波變換的紅外與X光圖像融合[J].激光技術,2015,39(5):685-688.

[9] 李曉飛,邱曉暉.基于小波變換的改進軟閾值圖像去噪方法[J].計算機技術與發(fā)展,2016,26(5):76-78.

[10] GONZALEZ R C, WOODS R E. Digital image processing[M].北京：電子工業(yè)出版社,2010.

[11] DONG G, OH K K, RAE H P,et al.Object matching algorithms using robust hausdorff distance measures[C].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society,1999,8(3):425-429.

[12] 何凱.角點特征提取及匹配方法研究[D].南京：河海大學，2005.

[13] HE X C, YUNG N.Curvature scale space corner detector with adaptive threshold and dynamic region of support[C].Proceedings-Internation Conference on Pattern Recognition, 2004:791-794.

[14] 田裕鵬.紅外檢測與診斷技術[M].北京：化學工業(yè)出版社，2006.

[15] 冷雪飛,劉建業(yè),熊智. 基于分支特征點的導航用實時圖像匹配算法[J].自動化學報,2007,33(7):679-682.

[16] DANIEL P H, WILLIAM J R, GREGORY A K.Comparing images using the hausdorff distance under translation[J].IEEE Computer Society Conference on Computer Vision & Pattern Recognition, CVPR, 1992,15(9):654-656.