紅外與可見光圖像自相似性特征的描述與匹配

李俊山，朱英宏，2朱藝娟，蘇光偉

(1．第二炮兵工程大學402室，陜西 西安710025;2．武警福建總隊廈門支隊，福建 廈門361000;3．武警福建總隊漳州支隊，福建漳州363100;4．武警工程大學電子技術系網絡與信息安全武警部隊重點實驗室，陜西西安710086)

1 引言

相對于單一傳感器，多傳感器采集的信息具有更高的冗余性、互補性、可靠性。因此，基于多傳感器的圖像匹配、配準、融合技術成為計算機視覺的研究熱點。作為常見的傳感器，可見光傳感器獲取的圖像具有高信噪比、細節(jié)信息豐富等優(yōu)點;由于紅外線具有穿透能力強、輻射吸收范圍大、低可視性的特點，紅外傳感器獲取的圖像具有抗干擾能力強、全天候工作的優(yōu)點。因此，基于紅外與可見光匹配技術具有重要意義，且被廣泛應用于計算機視覺、搶險救災、反恐安防、軍事應用等領域。

近年來，大量學者致力于圖像匹配技術的研究，提出了多種算法，文獻［1］～［3］均對此進行了詳細的分析和綜述。由于成像機制不同，紅外與可見光圖像存在的差異主要體現在:①相同場景的紅外與可見光圖像灰度差異較大;②紅外圖像表現紋理信息較可見光圖像弱;③紅外圖像較可見光圖像具有對比度低、圖像模糊的特點。因此，常見的基于特征點匹配算法，如尺度不變特征變換(scale invariant feature transform，SIFT)［4］、局部二值模式(local binary pattern，LBP)［5］、SURF(speeded-up robust features)［6］等算法在紅外與可見光圖像的表現也差強人意。

2007 年，Shechtman 和 Irani［7］提出了一種基于自相似性(Self-Similarities)的目標識別算法，該算法分別對模板和目標圖像進行平方差之和(sum of square differences，SSD)運算，并以此構造相關表面，再采用搜索策略實現目標識別。該算法能夠在背景和目標灰度出現較大差異、目標出現變形的情況下實現目標識別。該算法提出之后，很多學者對其進行研究與改進，提出一些基于Self-Similarities的目標識別算法［8－9］。

鑒于自相似性算法在背景和目標灰度與模板出現較大差異的情況下，仍然能夠實現目標識別的優(yōu)良特性。本文將對其進行改進，使其應用于基于特征點的紅外與可見光圖像匹配算法。

2 基于平方和的圖像預處理

由于成像機制不同，紅外與可見光圖像表現形式各有特點，紅外圖像具有對比度低、噪聲高的特點，而可見光圖像具有對比度高、細節(jié)表現能力強的特點。如何有效地提高兩種圖像的相似度，是基于特征匹配算法的重要基礎。因此，本文對圖像I(x，y)中的每個像素點pp構造一個5×5子區(qū)域。

通過計算pp與子區(qū)域中各像素點灰度值的平方和(sum of square，SS)可得pp的SS值，計算方法如下:

則圖像I(x，y)中各個像素點經過SS計算之后，可得最后的預處理結果SSI，如圖1所示。

由圖1可以看出，由于紅外圖像具有高噪聲、低對比度的特點，因此，本文采用的5×5子區(qū)域分別對紅外與可見光圖像進行平方和運算，可有效抑制噪聲且提高對比度;同時，本文進行的SS運算可弱化可見光圖像對細小紋理的表現能力，一定程度上提高兩種圖像的相似度。為從兩種圖像中提取具有較高可重復率的特征點提供了必要的前提。

3 基于多尺度FAST－9的特征點提取

在對紅外與可見光圖像進行SS預處理之后，需對兩種圖像進行特征點提取。2006年，Rasten等［10］人提出了一種FAST－9角點檢測算法，基本思想是通過對比中心點與其由16個像素點組成的Brenham圓環(huán)的灰度值，當中心點灰度值恒大于或恒小于圓環(huán)上連續(xù)的9個像素點灰度值時，該中心點即為角點。與上文提及的算法相比，FAST－9算法具有抗噪聲能力強、可重復率高、檢測速度快和檢測數量大的優(yōu)點［10］。然而，FAST－9為單尺度角點檢測算法。

因此，本文利用高斯函數G(x，y，σ)對預處理后的圖像SSI(x，y)進行卷積，建立高斯尺度空間，其計算如下:

其中，SSI，σ(x，y)為圖像 SSI(x，y)的尺度空間;×為卷積操作;σ為尺度因子，σ的取值定義如下:

其中，o為每組的標號，o={0，1，2};S為每一組中圖像的總層數;S=3，s為每一層的標號，s={1，2，3}。

由此構造了一個3組3層的高斯金字塔，并在每個高斯金字塔圖層進行FAST－9角點提取，使提取的角點具有尺度屬性。采用p(x，y，σp)表示角點，其中 x，y為角點坐標，σp為角點所在的尺度空間。

4 基于相關平面的特征點描述子

4．1 特征點主方向構成

經多尺度FAST－9算法提取的角點即為本文的特征點。為使所構造的描述子具有旋轉不變性，需為特征點確定主方向。在 SSI，σ(x，y)尺度空間上，選取給定特征點p(x，y，σp)的半徑為R=21個像素點的圓形鄰域，并將該圓形鄰域均分為36等份，統(tǒng)計36個扇形區(qū)域SS值的直方圖，該直方圖的峰值所在方向即為特征點的主方向。若存在大于該峰值80%的方向，則增加一個相同的特征點，將該方向定義為新增特征點的主方向，以此提高特征匹配時的魯棒性。

4．2 基于相關平面的特征點描述

在構造特征點描述子時，為保證生成的描述子具有旋轉不變性，對于任意給定特征點p(x，y，σp)選取相應的 41 ×41 矩形鄰域 SSp，σ(x，y)，假設特征點主方向為gL，沿gL方向順時針旋轉90°的方向為g⊥，建立新的坐標系，如圖2所示。

圖2 特征點主方向

在提取特征點鄰域之后，需對特征點鄰域進一步的處理，以構造特征點描述子。

首先，求取矩形鄰域各像素點與特征點p(x，y，σp)的SS值之差，即為求取原始圖像I(x，y)的平方差之和(sum of square differences，SSD)，可得 SSp，σ(x，y)的平方差之和的圖像 SSDp，σ(x，y)。

然后，將矩形鄰域 SSDp，σ(x，y)進行歸一化，通過公式(5)將其轉化為相關平面(Correlation Surface)CSp，σ(x，y):

其中，var(p)是以特征點為中心，半徑為1個像素點的鄰域中SSD最大值。特征點鄰域的相關平面如圖3(b)所示。

最后，以新建立的坐標系為基礎，將相關平面CSp，σ(x，y)劃分為 100 個部分，其中將角度均分為20部分，距離均分為5部分，如圖3(c)所示。然后選取相關平面在這每個部分的最大值作為該部分的特征值，以此構造出100維的特征點子鄰域的自相似性描述子。再將描述子進行歸一化得到最終描述子des(p)。

圖3給出了一組紅外與可見光圖像特征點鄰域的相關平面與自相似性描述子的對比圖。從圖中可以看出，雖然兩種圖像原圖的灰度差異較大，但是經過SSD運算之后，生成的相關平面已有一定的相似性，再通過特征統(tǒng)計、描述子歸一化處理之后，兩種圖像特征點鄰域生成的描述子具有更高的相似度。

4．3 剔除不良描述子

通過上述相關平面理論構造的描述子，可能存在不良描述子，需對不良描述子進行剔除，以增強匹配的穩(wěn)定性。本文將不良描述子定義為:不包含足夠的結構和紋理信息的描述子(即在100維的描述子中多數特征值都小于某個閾值)。因此，本文采用如下公式作為不良描述子的批判標準。

其中，num(des(p，i))為每個描述子中每一維的特征值小于閾值thre1的個數;num(des(p))為描述子的維數。thre是不良描述子的批判標準，當某描述子的比值大于thre時，即為不良描述子，將該描述子剔除。

4．4 描述子匹配

在剔除不良描述子之后，將采用匹配算法對描述子進行匹配?；邳c特征的圖像匹配方法已經有大量的研究，本文采用最近鄰算法(nearest neighbor，NN)進行配準，具體步驟為:計算描述子的歐式距離，最近鄰(NN)和第二近鄰(second-nearest neighbor，SCN)的距離之比(NN/SCN)作為相似性度量，設定閾值dist_rate，確定候選匹配點對。

5 實驗結果與分析

為了證明本文算法的有效性，本文仿真實驗的軟硬件環(huán)境為CPU Dual-Core 2．5 GHz，內存2 GB，WindowsXP+SP3，Matlab 2010，仿真實驗使用的圖像分辨率為320×240。

5．1 實驗閾值設置

在剔除不良描述子時，需對thre1和thre兩個參數進行設置，通過對這兩個參數數值的調整，對多組實驗結果進行統(tǒng)計，如圖4所示。從圖4可以看出，thre值在［0．05，0．5］區(qū)間由小變大的過程中，無論thre1的取值如何，正確匹配率隨之增長，在thre=0．3之后，正確匹配率增長幅度有所放緩。其中，當thre=0．3 時，thre1=0．07 和 thre1=0．08 時均能取得較高的正確匹配率，且thre1=0．08的正確匹配率略高于 thre1=0．07，但是從實驗結果可以看出，thre1=0．08具有較高正確匹配率的效果，是以犧牲正確匹配對數為前提的，因此，為了保持較高正確匹配率，保證較多的正確匹配對數，本文采用thre=0．3，thre1=0．07 來剔除不良描述子。

圖4 閾值設置

同時，通過對大量的對比實驗的結果進行分析，發(fā)現將最近鄰匹配算法的閾值dist_rate設置為0．65時，可得到較好的匹配效果。

5．2 實驗結果分析

為證明本文算法的有效性，通過大量對比實驗，圖5給出了一組對比實驗結果圖。本文將誤差在2個像素點以內的匹配點對認為是正確匹配點對。從圖5(a)可以看出，雖然存在個別誤匹配點，本文算法在相同尺度和相同視角的紅外與可見光圖像匹配中具有較多的匹配對數及較高的正確匹配率。由于本文在構造描述子時，將角度均分為20等份，距離均分為5等份，使得描述子提取的特征信息具有“中心密集，外圍稀疏”的特點，因此，從圖5(b)可以看出本文構造的描述子在視角變換下具有一定的魯棒性。同時，本文算法計算了每個特征點的主方向，并以主方向選取特征點鄰域，以此構造的描述子具有旋轉不變性，圖5(c)給出了本文算法在匹配圖像與待匹配圖像之間存在30°變換的實驗結果，可以看出本文算法具有一定的旋轉不變性。在圖5(d)中，待匹配圖像的分辨率為256×192，由于本文構造了3組3層的高斯金字塔對圖像進行特征點提取，使得提取的特征點具有尺度屬性，從實驗結果可以看出本文算法具有一定的尺度不變性。

圖5 本文算法的匹配結果

5．3 對比實驗

基于特征點匹配領域，尺度不變特征變換(scale invariant feature transform，SIFT)以其優(yōu)良的匹配效果，已廣泛應用于各個領域。Mikolajczyk［11］對10種基于特征點匹配算法的研究分析，指出SIFT算法的性能最為優(yōu)異。因此，本文通過SIFT算法對以上4組圖像進行匹配運算，結果如表1所示。由于采用的特征點提取算法及描述子構造方法的不同，兩種算法匹配對數有所差異，本文將誤差在2個像素點以內的匹配認定為正確匹配，采用正確匹配率作為最終評價標準，由表1可以看出，本文算法與SIFT算法相比，具有較高的正確匹配率。

表1 本文算法與SIFT算法的對比實驗

6 結論

針對紅外與可見光圖像匹配的難題，提出了一種基于自相似性的異源圖像點特征匹配算法。通過構造多尺度FAST－9角點檢測算法進行特征點提取;分析統(tǒng)計特征點鄰域的特征信息確定主方向;再對特征點鄰域進行相關表面計算，統(tǒng)計并構造自相似性描述子;最后采用最近鄰匹配算法進行特征匹配。實驗結果表明，本文算法可實現紅外與可見光圖像在視角、旋轉、尺度等變換的有效匹配。與SIFT算法相比，本文算法的正確匹配率較SIFT算法有明顯的提高。

［1］ Elizabeth A S．Matching methods for causal inference:A review and a look forward［J］．Pub Med Central，2010，25(1):1－21．

［2］ Stephen JC，Richard D T，Rade D P．Dental colormatching instruments and systems．Review of clinical and research aspects［J］．Journal of Dentistry，2010，38(2):2 －16．

［3］ Watson B，Yeo L，Friend J．A study on axial and torsional resonant mode matching for a mechanical system with complex non-linear geometries［J］．Review of Scientific Instruments，2010，81(6):1 －9．

［4］ Lowe D．Distinctive image features from scale-invariant keypoints［J］．International Journal of Computer Vision，2004，60(2):91 －110．

［5］ Ojala T P，Pietikainen M，Maenpaa T．Multiresolution gray-scale and rotation invariant texture classification with local binary patterns［J］．IEEE Trans on Pattern Analysis and Machine Intelligence，2002，24(7):971 －987．

［6］ Bay H，Tuytelaars T，Van Gool L．SURF:Speeded up robust features［C］//Proceedings of the 9thEuropean Conference on Computer Vision，Graz，Austria，ECCV，2006:404－417．

［7］ E Shechtman，M Irani．Matching local self-similarities across images and videos［C］//Proceedings of the Conference on Computer Vision and Pattern Recognition，Weizmann，IEEE，2007:1 －8．

［8］ Ken C，James P，Andrew Z．Efficient retrieval of deformable shape classes using local self-similarities［C］//Proceedings of the 12thInternational Conference on Computer Vision Workshops，Oxford，IEEE，2009:264 －271．

［9］ Selen A，et al．Wave interference for pattern description［J］．Lecture Notes in Computer Science，2011，6493:41－54．

［10］ Rosten E，Drummond T．Machine learning for high-speed corner detection［J］．Proceedings of the European Conference on Computer Vision，2006:430 －443．

［11］ Mikolajczyk K，Schmid C．A performance evaluation of local descriptors［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10):1615 －1630．