基于多尺度紅外與可見光圖像配準(zhǔn)研究

閆鈞華，朱智超，孫思佳，杭誼青

(南京航空航天大學(xué)航天學(xué)院，江蘇南京210016)

1 引言

紅外圖像具有很好的煙霧穿透能力及特殊識(shí)別偽裝能力;可見光圖像能提供背景信息，有較高的空間分辨率，獲取的圖像含有豐富的幾何與紋理細(xì)節(jié)信息，將二者融合后可以綜合利用兩種不同信息，定位目標(biāo)隱藏的位置。紅外與可見光傳感器的視場角、空間分辨率及空間成像位置差異使紅外圖像與可見光圖像間產(chǎn)生平移、旋轉(zhuǎn)、比例縮放等差異，因此紅外與可見光圖像不能直接進(jìn)行融合，在圖像融合之前必須對紅外與可見光圖像進(jìn)行幾何和灰度上的嚴(yán)格配準(zhǔn)?；谔卣鞯膱D像配準(zhǔn)方法計(jì)算量小、速度較快且精度較高［1］，本文對此展開深入的研究，提出利用多尺度分析的方法，對不同尺度下的紅外與可見光圖像進(jìn)行配準(zhǔn)。

2 紅外與可見光圖像配準(zhǔn)方法流程

紅外圖像分辨率低，整體圖像較為模糊，整體尺度較大，而同一區(qū)域的可見光圖像的高分辨率決定了其整體尺度較紅外圖像小。因此本文將尺度空間理論應(yīng)用于可見光與紅外圖像配準(zhǔn)中，采用多尺度分析對圖像的特征點(diǎn)和邊緣進(jìn)行處理，利用LTSHausdorff距離作為測度尋找空間變換的參數(shù)，利用RANSAC進(jìn)行參數(shù)的優(yōu)化。紅外與可見光圖像配準(zhǔn)方法流程圖如圖1所示。

圖1 紅外與可見光圖像配準(zhǔn)方法流程圖Fig．1 flow chart of infrared and visible image registration method

3 紅外與可見光圖像配準(zhǔn)方法

本文選取高斯尺度空間對紅外與可見光圖像進(jìn)行配準(zhǔn)。

3．1 多尺度Harris特征點(diǎn)提取

Harris角點(diǎn)［2］不具有尺度不變性。對于同一個(gè)角點(diǎn)，大尺度可能將該角點(diǎn)檢測為邊緣，在相同的閾值條件下，多尺度角點(diǎn)檢測方法［3］比單尺度角點(diǎn)檢測方法提取的角點(diǎn)更加全面。

二維高斯核函數(shù)定義如下:

令 σD=sσI，σI為積分尺度，σD為微分尺度，s為常量且s＞1，s為尺度因子。令t=σ2

I為方差，其沿x與y方向梯度為:

圖像上某點(diǎn)I沿x，y方向的一階偏導(dǎo)為:

則圖像位置空間的多尺度自相關(guān)函數(shù)為:

獲取 Cm的兩個(gè)特征值 λ1，λ2，并建立度量函數(shù):

其中，det(Cm)=λ1λ2，trace(Cm)=λ1+λ2，k為經(jīng)驗(yàn)常數(shù)且取值范圍為 0．04 ～0．06。

根據(jù)Rm的閾值判斷提取的是否為特征點(diǎn)，獲取多尺度下位置空間的特征點(diǎn)候選位置，然后在每個(gè)候選點(diǎn)的鄰域內(nèi)搜索響應(yīng)值最大的點(diǎn)(非最大抑制)，對每個(gè)尺度都進(jìn)行如上搜索。在位置空間中提取的多尺度Harris特征點(diǎn)在尺度空間中不一定仍然為候選特征點(diǎn)，同時(shí)在不同尺度下，同一個(gè)特征點(diǎn)可能有多個(gè)極值，因此需要在尺度空間上進(jìn)行篩選，獲取最穩(wěn)定的尺度不變特征點(diǎn)。對于二維高斯核函數(shù)，其LoG(高斯拉普拉斯)變換為:

根據(jù)其函數(shù)特性可知，函數(shù)值隨尺度的增加呈階梯衰減，因此，在進(jìn)行尺度空間篩選時(shí)應(yīng)對其進(jìn)行標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)化高斯拉普拉斯變換為:

通過比較位置空間中候選點(diǎn)在標(biāo)準(zhǔn)化LoG金字塔圖像中響應(yīng)的峰值及其上下尺度對應(yīng)位置的值，如果該候選點(diǎn)為局部極大值點(diǎn)，則選擇該點(diǎn)為尺度空間特征角點(diǎn)，否則，剔除該點(diǎn)。對于從i=1，2，…，N的尺度圖像分成三種情況討論:

(1)如果i=1，則分析所有分別在i=1與i=2尺度的候選特征點(diǎn)規(guī)范化LoG響應(yīng)，比較某點(diǎn)與其下層的鄰域內(nèi)17個(gè)點(diǎn)的響應(yīng)值，當(dāng)i=1時(shí)該點(diǎn)的響應(yīng)大于i=2時(shí)其響應(yīng)，則判斷該點(diǎn)為同時(shí)滿足位置空間及尺度空間的Harris特征點(diǎn)。

(2)如果2≤i≤N －1，則分析 i－1，i及 i+1 三個(gè)不同尺度圖像下的規(guī)范化LoG響應(yīng)，比較某點(diǎn)與其上下兩個(gè)尺度中鄰域內(nèi)26個(gè)點(diǎn)的響應(yīng)值，如果該點(diǎn)在尺度i的圖像取得極值，則判斷為滿足條件的特征點(diǎn)。

(3)如果i=N，則分析i=N－1與i=N尺度的候選特征點(diǎn)規(guī)范化LoG響應(yīng)，比較某點(diǎn)與其上層的鄰域內(nèi)17個(gè)點(diǎn)的響應(yīng)值，當(dāng)i=N時(shí)某個(gè)特征點(diǎn)的響應(yīng)大于i=N－1時(shí)其響應(yīng)，則判斷該點(diǎn)為滿足條件的特征點(diǎn)。

紅外與可見光圖像在單尺度下與多尺度下特征點(diǎn)提取效果圖如圖2和圖3所示。

圖2 原始紅外與多尺度紅外圖像特征點(diǎn)提取對比圖Fig．2 feature points detection images of original and multi-scale infrared image

圖3 原始可見光與多尺度可見光圖像特征點(diǎn)提取對比圖Fig．3 feature points detection images of original and multi-scale visible image

圖中黑色十字為特征點(diǎn)所在位置，白色圓圈為該特征點(diǎn)的特征尺度對應(yīng)區(qū)域。由圖2和圖3可以發(fā)現(xiàn)，相比單一尺度Harris特征點(diǎn)提取算法，多尺度特征點(diǎn)提取算法不僅提取的特征點(diǎn)更全，而且每個(gè)特征點(diǎn)對應(yīng)的特征尺度也能獲取，大尺度的特征點(diǎn)對應(yīng)的特征區(qū)域(白色圓域)覆蓋范圍大，小尺度特征點(diǎn)對應(yīng)特征區(qū)域覆蓋范圍小。每個(gè)特征點(diǎn)對應(yīng)的特征尺度將用于后續(xù)相似度檢測。

3．2 多尺度Canny邊緣提取

本文利用Canny算子［4］進(jìn)行多尺度邊緣檢測。首先采用多尺度Harris特征點(diǎn)提取獲取的特征尺度作為Canny邊緣提取算法第一步中的高斯模板的標(biāo)準(zhǔn)差，采用可變高斯模板對圖像進(jìn)行模糊濾波，然后再計(jì)算每個(gè)特征尺度圖像的梯度和幅角，根據(jù)梯度值與幅角的方向進(jìn)行非極大抑制，最后對可能為邊緣的點(diǎn)篩選，區(qū)分邊緣和非邊緣。基本步驟為:

(1)統(tǒng)計(jì)可見光與紅外圖像中每個(gè)特征點(diǎn)對應(yīng)的特征尺度，選擇出現(xiàn)次數(shù)最多的特征尺度對原始可見光與紅外圖像進(jìn)行高斯模糊處理，獲取可見光與紅外特征尺度圖像。

(2)選取可見光與紅外特征尺度圖像，計(jì)算梯度的大小M和方向O。使用2×2大小的模板作為x和y方向偏微分的一階近似。局部梯度M(x，y)=邊緣方向

(3)對梯度進(jìn)行非極大抑制:將每個(gè)像素點(diǎn)的8鄰域分為4個(gè)扇形區(qū)域，將梯度方向在－22．5°～22．5°和 － 157．5°～ 157．5°，22．5°～ 67．5°和－157．5°～ －112．5°，67．5°～112．5°和 － 112．5°～－67．5°，112．5°～157．5°和 － 67．5°～ －22．5°分成這四個(gè)扇區(qū)編號(hào)為0～3。設(shè)中心區(qū)域像素的灰度值為S［i，j］，將此像素梯度值與0～3號(hào)扇區(qū)內(nèi)的兩個(gè)像素的梯度值進(jìn)行比較，若此像素的梯度值不比這兩個(gè)像素的梯度值大，則令S［i，j］=0;否則，S［i，j］的值不變。將 S ［i，j］存儲(chǔ)于 N (i，j) 中，N(i，j)則為非極大抑制后的圖像。

(3)使用兩個(gè)閾值T1和T2對N(i，j)做閾值處理，其中T1＜T2，值大于T2的邊緣像素稱為強(qiáng)邊緣像素點(diǎn)，則該點(diǎn)為邊緣點(diǎn)，T1和T2之間的邊緣像素稱為弱邊緣像素點(diǎn)，再根據(jù)邊緣連通性進(jìn)一步判斷其是否為邊緣點(diǎn)。如果弱邊緣像素點(diǎn)的鄰接像素中有邊緣點(diǎn)，則認(rèn)為該弱邊緣像素點(diǎn)也為邊緣點(diǎn)，否則，認(rèn)為該點(diǎn)為非邊緣點(diǎn)。獲取到的可見光與紅外圖像的邊緣圖像點(diǎn)分別存入A，B兩個(gè)點(diǎn)集中。

原始紅外圖像單尺度Canny邊緣提取與本文特征尺度下Canny邊緣提取對比圖如圖4所示。由圖4可以發(fā)現(xiàn)，多尺度Canny邊緣提取出的邊緣相比單尺度下邊緣，噪聲更小，邊緣響應(yīng)更強(qiáng)。

圖4 原始紅外與特征尺度紅外圖像Canny邊緣提取對比圖Fig．4 Canny edge images of original and characteristic scale infrared image

3．3 相似性度量采用LTS-Hausdorff距離匹配方法

給定兩個(gè)有限集合 A={a1，a2，…，ap}與 B={b1，b2，…，bq}，則 A，B 之間的 Hausdorff距離定義為:

Hausdorff距離度量了兩個(gè)點(diǎn)集間的最大不相似程度，對遠(yuǎn)離中心的噪聲點(diǎn)、漏檢點(diǎn)都非常敏感。為了克服這一缺點(diǎn)，需要對Hausdorff距離基本形式進(jìn)行擴(kuò)展。Sim 等［5］結(jié)合 Huttenlocher［6］提出的PHD(partial hausdorff distance)與 Dubuisson［7］提出的MHD(modified hausdorff distance)提出了 LTSHausdorff距離。它是用距離序列線性組合定義的:

在進(jìn)行圖像特征點(diǎn)集匹配過程中，由于匹配的點(diǎn)集是變化的，因此不能采用固定的k值，而采用以下形式:

其中，＜·＞表示向下取整運(yùn)算;p表示計(jì)算距離點(diǎn)的總對數(shù)。

LTS-Hausdorff距離把點(diǎn)集A中所有點(diǎn)到點(diǎn)集B的距離按照由小到大的順序排序，將序號(hào)為1～k的k個(gè)距離求和，然后再求平均。因此，該算法不僅能消除遠(yuǎn)離中心的錯(cuò)誤匹配點(diǎn)影響，有效比較有嚴(yán)重遮掩或退化的圖像，而且對零均值高斯噪聲消除能力明顯。

3．4 隨機(jī)抽樣一致性法(RANSAC)求取空間變換的參數(shù)

RANSAC(random sample and consensus)算法是一種從一系列包含外點(diǎn)的數(shù)據(jù)集合中估計(jì)正確的數(shù)學(xué)模型的迭代算法。假設(shè)需要判斷模型參數(shù)的點(diǎn)集為P，其中所有的點(diǎn)稱為數(shù)據(jù)點(diǎn)，在這些數(shù)據(jù)點(diǎn)中，有一些滿足參數(shù)未知的模型的稱為內(nèi)點(diǎn)，剩下的不滿足的稱為外點(diǎn)。RANSAC的目的就是從參數(shù)空間中找出模型的參數(shù)，使得定義的代價(jià)函數(shù)取得最大值。通過迭代去除外點(diǎn)對解算模型的影響，僅僅使用內(nèi)點(diǎn)參與計(jì)算，可以得到更精確的估計(jì)結(jié)果。Ransac用于配準(zhǔn)的流程圖如圖5所示。其中，T為仿射變換參數(shù)矩陣;A為參考圖;B為浮動(dòng)圖;e為誤差值;Num為滿足‖BT－A‖＜e時(shí)匹配對的個(gè)數(shù);M為隨機(jī)抽樣的次數(shù);Nmax為所有滿足‖BT－A‖＜e最大匹配對的個(gè)數(shù)?！珺T－A‖＜e表示將浮動(dòng)圖像經(jīng)過仿射變換后與參考圖像進(jìn)行比較，匹配點(diǎn)的距離在誤差值范圍內(nèi)。

圖5 RANSAC算法流程圖Fig．5 flow chart of the RANSAC algorithm

如圖6所示，圖6(a)為紅外與可見光圖像中經(jīng)過Hausdorff距離篩選后，利用最小二乘法將所有對應(yīng)的點(diǎn)參與計(jì)算求出的仿射變換參數(shù)，通過變換后融合的效果圖，圖6(b)直接利用RANSAC算法求出其中三對點(diǎn)計(jì)算出仿射變換參數(shù)，變換后融合的效果圖。

圖6 不同的參數(shù)估計(jì)算法配準(zhǔn)融合圖Fig．6 registration and fusion images of different parameter estimation algorithm

從圖6可以發(fā)現(xiàn)，由于參與最小二乘法計(jì)算參數(shù)的點(diǎn)對中，有一些為錯(cuò)誤的匹配點(diǎn)，最小二乘法求出的參數(shù)會(huì)盡可能滿足所有參與計(jì)算的點(diǎn)對，錯(cuò)誤的匹配點(diǎn)對對計(jì)算結(jié)果造成很大影響，圖6(a)中上部窗戶配準(zhǔn)效果較差。RANSAC算法通過迭代，求出了最適合的三對點(diǎn)計(jì)算的參數(shù)，當(dāng)錯(cuò)誤的匹配點(diǎn)較多時(shí)，用RANSAC算法能獲取較好的配準(zhǔn)參數(shù)。

4 紅外與可見光圖像配準(zhǔn)實(shí)驗(yàn)結(jié)果

紅外與可見光圖像配準(zhǔn)算法的程序在VC6．0編譯環(huán)境下編寫，CPU是 pentium D 3．0 GHz，內(nèi)存為1 GB。紅外與可見光圖像源由克羅地亞薩格勒布大學(xué)Tomislav_Hrka提供。圖7為分辨率320×240的－36°～36°紅外熱像儀成像和原始分辨率為3264×2448，經(jīng)過采樣分辨率變?yōu)?20×240的普通相機(jī)圖像。原始紅外圖像由于對比度較低，為了更好提取特征點(diǎn)，需要對其進(jìn)行中值濾波及直方圖均衡處理。處理后的紅外圖像與可見光圖像由本算法進(jìn)行配準(zhǔn)的效果圖如圖8、圖9所示。

圖7 原始紅外與可見光圖像Fig．7 original infrared and visible images

圖8 紅外與可見光圖像特征點(diǎn)匹配點(diǎn)對Fig．8 infrared and visible images feature pointsmatching pairs

圖9 配準(zhǔn)后的紅外與可見光圖像融合圖Fig．9 infrared and visible image fusion image after registration

5 結(jié)束語

多尺度Harris特征點(diǎn)提取算法比單尺度算法提取出的正確的特征點(diǎn)數(shù)量更多，在配準(zhǔn)過程中能盡可能保證兩幅圖像中相對應(yīng)位置特征點(diǎn)都能提取出來。多尺度邊緣提取算法提取的邊緣相比單尺度邊緣，參與相似度計(jì)算時(shí)更加精確。RANSAC算法能濾除錯(cuò)誤的匹配點(diǎn)對。實(shí)驗(yàn)表明，基于多尺度的圖像配準(zhǔn)方法能有效對紅外與可見光圖像進(jìn)行配準(zhǔn)，配準(zhǔn)結(jié)果取決于紅外圖像預(yù)處理的結(jié)果與特征點(diǎn)位置的精度，后續(xù)可考慮利用頻域分析理論對紅外圖像濾波以及進(jìn)行亞像素特征點(diǎn)檢測。

［1］ Peng Yiyue，et al．Visible and infrared image registration algorithm based on feature points［J］．Laser ＆ Infrared，2012，42(6):713 －717．(in Chinese)

彭逸月，等．基于特征點(diǎn)的紅外與可見光圖像配準(zhǔn)研究［J］．激光與紅外，2012，42(6):713 －717．

［2］ Harris C，Stephens M．A combined corner and edge detector［C］．In Alvey Vision Conference，Manchester，1988:147－152．

［3］ Mikolajczyk K，Schmid C．Scale ＆ affine invatiant interest point detectors［J］．International Journal on Computer Vision，2004，60(1):63 －86．

［4］ Canny J．A computational approach to edge detection［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，PAMI－8(6):679 －698．

［5］ Sim D G，Kwon O K，Park R H．Object matching algorithms using robusthausdorff distancemeasures［J］．IEEE Transactions on Image Processing，1999，8(3):425－429．

［6］ Huttenlocher D P，Klandeman G，Rucklidge W J．Comparing images using the hausdorff distance［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1993，15(9):850 －863．

［7］ Dubuisson M P，Jain A K．A modified hausdorff distance for objectmatching［C］．Proceedings of 12thInternational Conference on Pattern Recognition，Jerusalem，Lsrael，1994:566－568．