改進(jìn)配準(zhǔn)測(cè)度的SUFT紅外圖像快速配準(zhǔn)算法

魏 新， 馬麗華， 李云霞， 徐志燕， 李大為

(空軍工程大學(xué)信息與導(dǎo)航學(xué)院，西安 710077)

0 引言

目前，紅外檢測(cè)技術(shù)廣泛應(yīng)用于電氣設(shè)備和電路板卡的故障檢測(cè)。圖像配準(zhǔn)技術(shù)［1］是紅外圖像處理中最關(guān)鍵的技術(shù)之一，配準(zhǔn)的結(jié)果直接影響到故障的檢測(cè)與定位。圖像配準(zhǔn)可分為基于灰度的圖像配準(zhǔn)［2］和基于特征的圖像配準(zhǔn)［3］?；诨叶鹊膱D像配準(zhǔn)一般要求圖像的相關(guān)性強(qiáng)，而且計(jì)算量大，很難達(dá)到實(shí)時(shí)性的需求;基于特征的圖像配準(zhǔn)計(jì)算量小、運(yùn)算速度快，且具有較強(qiáng)的魯棒性，成為圖像配準(zhǔn)研究的主要方向。

常用的特征提取算法有 Harris［4］，SUSAN［5］，SIFT［6］(Scale Invariant Features Transform)和 SUFT［7］(Speeded－Up Robust Features)等。SIFT算子最早由Lowe David G提出，是建立在DoG(Difference of Gaussian)尺度空間理論基礎(chǔ)上的一種算法。該算法采取鄰域方向性信息聯(lián)合的思想，從空間域和尺度域兩個(gè)方面對(duì)圖像進(jìn)行特征分析，對(duì)檢測(cè)到的關(guān)鍵點(diǎn)用128維的特征向量表征，具有尺度不變性和較強(qiáng)的魯棒性。由文獻(xiàn)［8］的對(duì)比分析知，SIFT算法性能優(yōu)于Harris、SUSAN等角點(diǎn)算法，但SIFT算子比較耗時(shí)，不能滿足實(shí)時(shí)性的要求。因此，Bay等人提出了一種基于快速魯棒特征的SUFT算法，它在特征點(diǎn)檢測(cè)的準(zhǔn)確性、魯棒性以及實(shí)時(shí)性方面較其他算法［9－11］有很大優(yōu)勢(shì)。

本文利用SUFT算法進(jìn)行特征點(diǎn)檢測(cè)，采取粗匹配與精匹配［12］結(jié)合的匹配策略選取特征點(diǎn)對(duì)，設(shè)計(jì)了一種快速、有效、高精度的紅外圖像配準(zhǔn)算法。

1 特征點(diǎn)提取

1.1 尺度空間特征點(diǎn)檢測(cè)

SUFT特征點(diǎn)檢測(cè)是基于Hessian矩陣進(jìn)行的，給定圖像 I(x，y)中一點(diǎn) s=［x，y］，則在尺度 σ 的Hessian矩陣為

式中，Lxx(x，σ)為圖像 I(x，y)和高斯函數(shù) G(x，y，σ)在x方向上的二階導(dǎo)數(shù)在x的卷積。即

Lxy(x，σ)、Lyy(x，σ)與之類似。

高斯函數(shù)對(duì)尺度空間分析是最優(yōu)的，盒濾波器可近似為高斯函數(shù)二階導(dǎo)數(shù)，由式(2)易知SUFT算法可用盒濾波器近似Hessian矩陣。為了計(jì)算方便，采用盒濾波器與輸入圖像的卷積 Dxx、Dyy、Dxy代替 Lxx、Lyy、Lxy。把9×9的盒濾波器近似為σ=1.2的二階高斯導(dǎo)數(shù)Dxx、Dxy與 Lxx、Lxy之間關(guān)系為

使用了盒濾波器和積分圖像，不必迭代地應(yīng)用相同濾波器到前一個(gè)已濾層的輸出上，而是應(yīng)用不同大小的盒濾波器以相同的速度直接作用到原始圖像上，見(jiàn)圖1。

圖1 尺度空間的金字塔示意圖Fig.1 Pyramid sketch map of scale space

因此，對(duì)尺度空間的分析是通過(guò)增大濾波器的尺寸而不是迭代地降低圖像的尺寸，所需的計(jì)算時(shí)間是獨(dú)立于濾波器尺寸的，從而大大降低了運(yùn)算時(shí)間。

1.2 特征點(diǎn)描述子的生成

為保證特征點(diǎn)旋轉(zhuǎn)不變性，要確定特征點(diǎn)主方向并建立坐標(biāo)。以特征點(diǎn)為中心，計(jì)算半徑為6s(s為特征點(diǎn)所在尺度值)鄰域內(nèi)的點(diǎn)在x、y方向的哈爾小波響應(yīng)，響應(yīng)可表示為水平響應(yīng)和垂直響應(yīng)矢量和。按距離賦予響應(yīng)值不同的高斯權(quán)重系數(shù)，遠(yuǎn)離特征點(diǎn)的響應(yīng)貢獻(xiàn)小，靠近特征點(diǎn)的響應(yīng)貢獻(xiàn)大。通過(guò)計(jì)算π/3滑動(dòng)方向窗口內(nèi)所有響應(yīng)的和來(lái)估計(jì)主方向，窗口內(nèi)的水平響應(yīng)和垂直響應(yīng)分別被求和。兩個(gè)響應(yīng)的和產(chǎn)生一個(gè)局部方向向量，定義窗口中最長(zhǎng)的向量為特征點(diǎn)的主方向。

選定特征點(diǎn)主方向后，以特征點(diǎn)為中心，將坐標(biāo)軸旋轉(zhuǎn)到主方向上。選取周圍邊長(zhǎng)為20s×20s的正方形區(qū)域，并將該區(qū)域劃分為4×4共16個(gè)子區(qū)域。在子區(qū)域內(nèi)計(jì)算每個(gè)像素點(diǎn)x方向和y方向的哈爾小波響應(yīng)，記為dx、dy，為了增強(qiáng)特征點(diǎn)描述子對(duì)幾何變換及局部誤差的魯棒性，可對(duì)dx、dy進(jìn)行高斯權(quán)重系數(shù)賦值。然后對(duì)每個(gè)子區(qū)域的dx、dy響應(yīng)以及響應(yīng)的絕對(duì)值進(jìn)行求和計(jì)算，分別記為:這樣在每個(gè)子區(qū)域形成四維分量而對(duì)每個(gè)特征點(diǎn)就形成了4×4×4的64維描述子向量，進(jìn)行歸一化后形成特征點(diǎn)的描述子。

2 圖像配準(zhǔn)方法及流程

利用SUFT算法提取紅外圖像中的特征點(diǎn)并生成特征點(diǎn)描述子，采取歐氏距離最近鄰粗匹配和相似四邊形精匹配的方式提高配準(zhǔn)精度，然后使用8參數(shù)的平面透視變換模型描述匹配圖像序列間的相對(duì)變換關(guān)系，依據(jù)精匹配得到的匹配點(diǎn)對(duì)求解模型變換參數(shù)，從而實(shí)現(xiàn)紅外圖像的配準(zhǔn)。算法流程如圖2所示。

圖2 本文算法流程圖Fig.2 Flow chart of the algorithm proposed in the paper

算法具體實(shí)現(xiàn)過(guò)程如下。

1)利用SUFT算法分別檢測(cè)標(biāo)準(zhǔn)圖像F與待配準(zhǔn)圖像F'的特征點(diǎn)，形成64維的特征點(diǎn)描述子。

2)最近鄰匹配。以歐氏距離作為兩個(gè)特征點(diǎn)描述子的相似性度量進(jìn)行粗匹配，算式為

式中:Xik表示圖像F中第i個(gè)特征點(diǎn)對(duì)應(yīng)特征向量的第k個(gè)元素;Xjk表示圖像F'中第j個(gè)特征點(diǎn)對(duì)應(yīng)特征向量的第k個(gè)元素;n為特征向量的維數(shù)。計(jì)算每個(gè)特征點(diǎn)對(duì)應(yīng)特征向量的歐氏距離，按照從小到大的順序排列形成距離集合。設(shè)定閾值T1，當(dāng)特征點(diǎn)最小歐氏距離與次小歐氏距離的比值小于T1時(shí)，認(rèn)為這兩個(gè)特征點(diǎn)匹配。T1越小，匹配點(diǎn)對(duì)數(shù)目越少，但更加穩(wěn)定。

3)特征點(diǎn)精匹配。利用景物幾何結(jié)構(gòu)間的相似性，在粗匹配點(diǎn)對(duì)中尋找相似四邊形進(jìn)行精匹配，從而減少誤匹配的概率。選取粗匹配點(diǎn)對(duì)中的一對(duì)匹配點(diǎn)作為四邊形的一個(gè)固定頂點(diǎn)，在粗匹配點(diǎn)對(duì)中隨機(jī)選取三對(duì)匹配點(diǎn)組成兩對(duì)四邊形。由相似四邊形性質(zhì)可知，若兩四邊形相似，則對(duì)應(yīng)四條邊和兩條對(duì)角線互成比例，即滿足

依據(jù)四邊形相似的性質(zhì)構(gòu)造歸一化的均方誤差表達(dá)式e，設(shè)定閾值 T2，當(dāng) e小于T2時(shí)認(rèn)為兩四邊形相似。T2越小，匹配精度越高，由于SUFT提取特征點(diǎn)時(shí)存在誤差，故閾值不能設(shè)定太小，通常設(shè)定比計(jì)算精度高出2～3個(gè)數(shù)量級(jí)，本文T2設(shè)為0.05，

由圖像F和F'中固定頂點(diǎn)組成相似四邊形的數(shù)量判斷是否為匹配點(diǎn)對(duì)，剔除粗匹配點(diǎn)對(duì)中不能組成相似形的點(diǎn)對(duì)，從而實(shí)現(xiàn)精匹配。

4)求解變換模型參數(shù)。由于紅外熱像儀拍攝位置的不固定性，采用更加符合實(shí)際情況的8參數(shù)平面透視變換模型，則圖像F和F'對(duì)應(yīng)像素點(diǎn)的關(guān)系為:X'=HX，表示為

式中:X'=［xi'，yi'，1］T，X=［xi，yi，1］T，i=1，2，…，n，n為精匹配后點(diǎn)對(duì)個(gè)數(shù)，矩陣H為圖像間透視變換的齊次矩陣。根據(jù)n的取值分為以下3種情況:

①當(dāng)n＜4時(shí)，適度增大閾值T1、T2，重復(fù)步驟2)、3)以獲得更多的精匹配點(diǎn)對(duì);

② 當(dāng)n=4時(shí)，依據(jù)式(9)求解矩陣H;

③當(dāng)n＞4時(shí)，屬于過(guò)約束的情況，利用最小二乘法求解H，尋找一個(gè)最佳解使得每對(duì)匹配點(diǎn)的平面透視模型均方誤差最小，達(dá)到多個(gè)配準(zhǔn)點(diǎn)擬合最優(yōu)參數(shù)解的目的。

5)利用矩陣H對(duì)紅外圖像進(jìn)行模型變換，并通過(guò)線性插值得到變換后的圖像，從而實(shí)現(xiàn)圖像配準(zhǔn)。

3 實(shí)驗(yàn)結(jié)果及分析

利用本文提出的SUFT改進(jìn)算法對(duì)電路板卡的紅外圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境參數(shù):CPU為Intel Core i3，3.30 GHz，內(nèi)存大小為 2 GB，操作系統(tǒng)為Windows XP，仿真實(shí)驗(yàn)平臺(tái)為 Matlab7.10。

實(shí)驗(yàn)選取兩幅在相同環(huán)境下拍攝的電路板卡紅外圖像進(jìn)行驗(yàn)證，如圖3a、圖3b所示，兩幅紅外圖像大小均為240×320，室內(nèi)無(wú)風(fēng)條件下拍攝，距離0.2 m，環(huán)境溫度33.2℃。

圖3 電路板卡紅外圖像Fig.3 The infrared images of a circuit board

對(duì)圖像進(jìn)行灰度變換后，經(jīng)過(guò)SUFT算法檢測(cè)到特征點(diǎn)生成的描述子如圖4所示，圖5為粗匹配后的特征點(diǎn)對(duì)連線示意圖。

圖4 SUFT特征點(diǎn)描述子Fig.4 The SUFT feature point descriptor

圖5 粗匹配特征點(diǎn)對(duì)連線圖Fig.5 Link images of coarse matching feature points

從圖5中可以看出共40對(duì)粗匹配特征點(diǎn)對(duì)，5對(duì)誤配特征點(diǎn)對(duì)，可見(jiàn)誤配準(zhǔn)率較高。如果直接用粗匹配點(diǎn)對(duì)求平面透視變換模型參數(shù)，配準(zhǔn)結(jié)果如圖6所示，配準(zhǔn)效果不理想。

圖6 基于粗匹配點(diǎn)對(duì)的配準(zhǔn)圖像Fig.6 The registration image based on coarse matches

利用相似四邊形區(qū)域精匹配策略去除誤配點(diǎn)對(duì)后，結(jié)果如圖7、圖8所示，共13對(duì)匹配特征點(diǎn)對(duì)，全部配準(zhǔn)且誤配率為0，誤匹配的特征點(diǎn)對(duì)已經(jīng)成功去除。依據(jù)精匹配后的特征點(diǎn)對(duì)，利用最小二乘法由式(9)可求得平面透視變換模型的齊次矩陣H，對(duì)圖像進(jìn)行變換后的配準(zhǔn)結(jié)果如圖9所示，配準(zhǔn)效果較為理想。

圖7 SUFT特征點(diǎn)描述子Fig.7 The SUFT feature point descriptor

圖8 精匹配特征點(diǎn)對(duì)連線圖Fig.8 Link images of accurate matching feature points

圖9 基于精匹配點(diǎn)對(duì)的配準(zhǔn)圖像Fig.9 The registration image based on accurate matches

為了進(jìn)一步說(shuō)明本文算法的優(yōu)勢(shì)，現(xiàn)將基于SIFT算法，SUFT算法和本文算法的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果比較Table 1 Comparison of experimental results

從表1可以看出，本文算法在配準(zhǔn)精度和耗時(shí)方面均優(yōu)于SIFT和SUFT算法，達(dá)到了快速、高效的配準(zhǔn)目的。

4 結(jié)束語(yǔ)

本文提出的算法充分利用SUFT算法的快速性以及相似四邊形精匹配的穩(wěn)定性，彌補(bǔ)了SIFT算法耗時(shí)且誤配率較高的不足。通過(guò)實(shí)驗(yàn)證明，該算法經(jīng)過(guò)精匹配后具備高效、穩(wěn)定的特點(diǎn)，能夠有效地提取特征點(diǎn)對(duì)進(jìn)行匹配，配準(zhǔn)正確率高，針對(duì)電路板卡上的芯片配準(zhǔn)精度高，配準(zhǔn)結(jié)果較理想。如何利用配準(zhǔn)后的紅外圖像進(jìn)行電路板卡的故障分析與診斷是下一步研究的方向。

［1］ 苑津莎，趙振兵，高強(qiáng)，等.紅外與可見(jiàn)光圖像配準(zhǔn)研究現(xiàn)狀和展望［J］.激光與紅外，2009，39(7):693－699.

［2］ 李寒，王庫(kù)，劉韶軍.基于灰度冗余和SUFT算法的電氣設(shè)備紅外與可見(jiàn)光圖像配準(zhǔn)［J］.電力系統(tǒng)保護(hù)與控制，2011，39(11):111－115.

［3］ BROWN L G.A survey of image registration techniques［J］.ACM Computing Surveys，1992，24(4):325－376.

［4］ HARRIS C，STEPHENS M.A combined corner and edge detector［C］//Proc of 4 th Alvey Vision Conference，Manchester，1988:147－151.

［5］ SMITH S M，BRADY J M.SUSAN—A new approach to low level image processing［J］.International Journal of Computer Vision，1997，23(1):45－78.

［6］ LOWE D G.Distinctive image features from scale－invariant interest points［J］.International Journal of Computer Vision(S0920－5691)，2004，60(2):91－100.

［7］ BAY H，ESS A，TUYTELAARS T，et al.SURF:Speeded－Up Robust Features(SURF) ［J］.Computer Vision and Image Understandin，2008，10(3):346－359.

［8］ 趙明，林長(zhǎng)青.基于改進(jìn)SIFT特征的紅外與可見(jiàn)光圖像配準(zhǔn)方法［J］.光電工程，2011，38(9):130－136.

［9］ 聶宏賓，侯晴宇，趙明，等.基于似然函數(shù)EM迭代的紅外與可見(jiàn)光圖像配準(zhǔn)［J］.光學(xué)精密儀器，2011，19(3):657－663.

［10］ 韓靜，柏連發(fā)，張毅，等.基于改進(jìn)配準(zhǔn)測(cè)度的紅外與可見(jiàn)光圖像配準(zhǔn)［J］.紅外技術(shù)，2011，33(5):271－274.

［11］ 崔偉，劉圣霞，徐騫，等.基于互信息和梯度的紅外與可見(jiàn)光圖像配準(zhǔn)新方法［J］.激光與紅外，2011，41(2):224－228.

［12］ 陳潔，付冬梅，劉燕.基于相似三角形匹配的紅外與可見(jiàn)光圖像配準(zhǔn)方法［J］.激光與紅外，2010，40(2):215－218.