基于改進的SIFT算法的紅外圖像配準

蔡天旺， 付 勝

(1.北京工業(yè)大學(xué)，北京 100022； 2.三亞學(xué)院，海南 三亞 572022)

圖像配準是圖像處理領(lǐng)域中的重要環(huán)節(jié)[1-2]，基于特征點的圖像配準在圖像配準領(lǐng)域應(yīng)用最為廣泛[3-4]，而基于特征點的紅外圖像配準難以實現(xiàn)兩張?zhí)卣鞑幻黠@的紅外圖像的高精度配準[5-6]，目前用的最多的是紅外圖像與可見光圖像之間的配準[7-8]，因此迫切需要一種可以實現(xiàn)兩幅紅外圖像進行精確匹配的算法。主要針對電路板紅外圖像的低對比度等特點，對原有的SIFT算法進行了相應(yīng)的改進，改進的SIFT算法能夠很好地對電路板紅外圖像進行配準。選取了3對紅外圖像，經(jīng)過比對可以說明改進的SIFT算法具有很好的配準效果。

國內(nèi)外很多學(xué)者對此方向有一定的研究。王麗芳等[9]將腦部的醫(yī)學(xué)圖像進行配準，是將腦部的紅外圖像與已訓(xùn)練好的頭部圖像進行配準。秦杰等[10]提出一種基于角點幅值與方向的點特征描述HIOHC，用以改進Harris角點檢測器進行圖像配準。陳辰等[11]對圖像進行U-net分割，針對不同區(qū)域特征的誤差，將變量含異質(zhì)噪聲模型應(yīng)用于配準參數(shù)估計，提高目標區(qū)域的配準精度。陶謙等[12]對紋理影像序列進行融合預(yù)處理，利用共線方程實現(xiàn)多幅點云數(shù)據(jù)與多張紋理影像的配準。Lowe[13]提出了SIFT算法，但SIFT算法會產(chǎn)生許多誤匹配點，后來很多專家對其進行了深入研究。Chaturvedi 等[14]提出SURF改進法，明顯地提升了圖像匹配算法的準確率。Hossein-nejad 等[15]對SIFT算法中的冗余點進行了剔除，進一步增強了算法的運行速度和準確率。

綜上所述，可以看出大部分的研究都局限于紅外圖像與可見光圖像的配準，算法的魯棒性和準確率方面還有很大的提升，因此，針對電路板紅外圖像的配準開發(fā)了改進的SIFT算法，結(jié)果顯示能夠很好地適應(yīng)電路板紅外圖像的特點，算法的準確率和匹配速度有了很大的提升。

1 SIFT算法簡介

SIFT算法的運算過程可以分為以下幾步：構(gòu)建尺度空間，在尺度空間中提取特征點，對提取出的特征點進行描述，對兩幅圖像中的特征點描述子進行匹配。

1.1 特征點檢測

通過式(1)和式(2)構(gòu)建尺度空間。

L(x,y,σ)=G(x,y,σ)?I(x,y)

(1)

(2)

式中，I(x,y)為輸入的原圖像；G(x,y,σ)為可變高斯核函數(shù)；σ為尺度空間高斯模糊參數(shù)；(x,y)為圖像的像素位置；p,q為高斯模板的維度。

高斯差分尺度空間中差分算子為

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))?I(x,y)

=L(x,y,kσ)-L(x,y,σ)

(3)

構(gòu)建出圖1所示的高斯差分圖像，在圖1中進行特征點的提取，中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應(yīng)的9×2個點共26個點進行比較，以確保在尺度空間和二維圖像空間都檢測到極值點，求取出局部極大值點作為特征點。

圖1 高斯差分圖像

1.2 描述子的構(gòu)建

其描述子的構(gòu)建示意圖如圖2所示。通過在像素點周圍劃分成16方形子區(qū)域，能夠覆蓋圖像的大部分特征，在子區(qū)域中求取8個方向(等角度)的梯度和模值，這樣就構(gòu)成了128維的特征向量對特征點進行描述。其模值以及梯度的計算公式為

圖2 SIFT算法的描述子構(gòu)建

(4)

(5)

1.3 特征點的匹配

利用歐式距離進行特征點的匹配，通過計算最近歐氏距離與次最近歐氏距離的比值，如果比值在閾值范圍內(nèi)則匹配成功，否則匹配失敗。閾值的選取尤為重要，Lowe等[13]在多次實驗之后確定閾值在0.7附近的時候效果最好。歐氏距離的計算方程式為

(6)

式中，dis為兩個特征矢量的歐氏距離；P為描述子維數(shù)；m，n為兩張圖中特征點；Dm，Dn為特征描述子。

2 算法改進

2.1 特征點的提取

圖3為改進算法的特征提取方式示意圖，在像素點周圍畫一個直徑為6的圓，因為在尺度空間中，選取直徑為6，可以包含盡可能多的有效像素點，不遺失重要特征點，在圓周上選取16個像素點，分別與圓心處的像素點作差，當(dāng)圓周上16個像素點有13個像素點滿足閾值范圍的時候，則選取該像素點為特征點，否則，不是特征點。

圖3 改進算法的特征點提取

2.2 特征點的描述

圖4為改進算法的特征點的描述符，改進的特征點的描述是在特征點周圍子區(qū)域劃分為4個等梯度的同心圓區(qū)域，對于4個同心圓區(qū)域，分別求出其10個方向(0°、36°、72°、108°、144°、180°、216°、252°、288°、324°)的梯度累加值。由中心向外，取第一個圓環(huán)的10維向量作為特征向量的第1～10個元素，取第二個圓環(huán)的10維向量作為特征向量的第11～20個元素，以此類推。這樣，特征點描述子即為4×10=40維向量。

圖4 改進算法的特征點的描述符

2.3 特征點的匹配

在特征點匹配的時候不同于原始SIFT算法的是在同心圓每一層加入一個步長，使得每一層的閾值是不同的，由內(nèi)到外依次增大，因為靠近特征點的圖像信息較為重要。

定義最近歐氏距離與次最近歐氏距離的比值為R：

(7)

式中，mindis為最近歐氏距離；smindis為次最近歐氏距離。

通過比對每一層的R，當(dāng)R1,R2,R3,R4滿足閾值條件的時候，則匹配成功，經(jīng)多次實驗，R1的閾值為0.7，后面每一層增加一個0.05的步長效果最佳。

主要的改進就是特征點的提取方式，降低了計算的復(fù)雜度；改變了特征點的描述，將原來的SIFT算法描述符維數(shù)從128維降到40維。最后在特征點匹配的時候加入了分層閾值的概念，極大地提升了算法的匹配準確度。

3 實驗結(jié)果分析

為驗證改進SIFT算法的可行性和有效性，對兩幅電路板的紅外圖像進行了匹配測試，實驗平臺為Intel?CoreTMi3-7100 CPU@3.9 GHz，內(nèi)存1 TB，Windows 7系統(tǒng)，采用Python 3軟件。

在閾值的選取過程中做了以下測試,圖5為不同閾值和步長情況下的匹配準確率，可以看出閾值越高，匹配的準確率越高，但是閾值太高的話，容易丟失太多的特征點。步長越長，準確率越高，同樣的，步長太長的話，也會丟失很多特征點。所以需要一個適中的值，既不會丟失特征點，也能有很好的準確率。圖6為不同閾值和步長情況下的PSNR(峰值信噪比)，其中PSNR(峰值信噪比)的值越大表示圖像匹配的質(zhì)量越好，可以看出，閾值在0.7附近的時候PSNR(峰值信噪比)的值較大，步長在0.05附近的時候達到了最大值。

圖5 不同閾值和步長情況下的匹配準確率

圖6 不同閾值和步長情況下的PSNR

3對電路板紅外圖像如圖7所示。通過對圖7中的3對電路板紅外圖像進行多次圖像配準實驗，可得到表1～表3所示的數(shù)據(jù)，可以看出本算法運算結(jié)果的準確率明顯高于原始的SIFT算法，以及后來學(xué)者提出的PCA-SIFT[14]算法和GLOH[15]算法；運算時長明顯減少，極大地提升了算法的運算效率，幾乎實現(xiàn)了實時性；從PSNR的數(shù)值可以看出本算法處理過后的圖像質(zhì)量相比于SIFT算法、PCA-SIFT算法和GLOH算法均較高；在經(jīng)過誤匹配點剔除之后，可以看出本算法的準確率達到了100%，沒有誤匹配點，說明本算法在匹配的時候具有明顯的優(yōu)勢。綜上，本算法在實時性、準確性和質(zhì)量上都得到了很大的提升，可以很好地適應(yīng)電路板紅外圖像特征不明顯的特點。

表1 電路板1的紅外圖像配準結(jié)果

表2 電路板2的紅外圖像配準結(jié)果

表3 電路板3的紅外圖像配準結(jié)果

圖7為3對電路板紅外圖像，左圖為標準電路的圖像，右圖為待測電路板的圖像。圖8為原始的SIFT算法的匹配結(jié)果圖，可以看出誤匹配點較多，特征點的對數(shù)也較多，運算時間也較長。圖9為PCA-SIFT改進法的匹配結(jié)果圖，可以看出PCA-SIFT改進法匹配準確度得到了一定的提升，但是PSNR值提升不大。圖10為GLOH算法的匹配結(jié)果圖，可以看出GLOH算法的PSNR值得到了提升，但是匹配準確率比較低。圖11為改進的SIFT算法的匹配結(jié)果圖，可以看出匹配的準確率以及PSNR值都得到了提升，同時匹配對數(shù)降低，運算時間變短，幾乎實現(xiàn)了實時性。圖12為改進的SIFT算法剔除后的匹配結(jié)果圖，可以看出改進的SIFT算法剔除后的誤匹配率為0，匹配的準確率非常高。

圖8 原始的SIFT算法的匹配結(jié)果圖

圖9 PCA-SIFT改進法的匹配結(jié)果圖

圖10 GLOH改進法的匹配結(jié)果圖

圖11 改進的SIFT算法的匹配結(jié)果圖

圖12 改進的SIFT算法剔除后的匹配結(jié)果圖

通過以上結(jié)果可以看出，改進的SIFT算法對電路板的紅外圖像進行高質(zhì)量、高準確度的配準，能夠很好地克服紅外圖像分辨率低、對比度低、信噪比低、視覺效果模糊的缺點，改進的SIFT算法通過改進特征點的描述以及特征點的匹配方式能夠?qū)崿F(xiàn)紅外圖像高質(zhì)量的配準，因此改進的SIFT算法適用于低對比度的紅外圖像。

4 結(jié)束語

改進的SIFT算法在進行紅外圖像配準時的匹配準確率、匹配時間和PSNR值都得到了很大的提升，并針對電路板紅外圖像設(shè)置了一個分層閾值，使電路板紅外圖像特征點不明顯的缺陷得到了很好的彌補，極大地提升了算法的效率，幾乎實現(xiàn)了實時性，使電路板紅外圖像的配準更加容易。因此可以得出結(jié)論：改進的SIFT算法在進行電路板紅外圖像配準時，效果較好，優(yōu)于原來的SIFT算法以及后來的PCA-SIFT改進法和GLOH算法。