線特征和SIFT點(diǎn)特征結(jié)合的異源圖像匹配算法

張 姣，李俊山，張少華

(1．第二炮兵工程大學(xué)402室，陜西 西安710025;2．解放軍96531部隊(duì)，陜西 漢中723000)

1 引言

紅外和可見(jiàn)光圖像的匹配屬于異源圖像匹配范疇?，F(xiàn)有的異源圖像匹配算法以基于特征的匹配算法為主。根據(jù)匹配基元的不同，算法可以分為點(diǎn)、直線、輪廓和區(qū)域特征的匹配［1］。如何有效結(jié)合圖像不同特征信息進(jìn)行匹配，是當(dāng)前的一個(gè)熱點(diǎn)問(wèn)題。大量學(xué)者對(duì)此進(jìn)行了一系列的研究［2－4］。

在點(diǎn)匹配中，由Lowe提出的尺度不變特征變換［5］(scale invariant feature transform，SIFT)算法應(yīng)用最為廣泛，能解決存在尺度、旋轉(zhuǎn)、視點(diǎn)變化的圖像匹配問(wèn)題。相比點(diǎn)特征，直線匹配的研究長(zhǎng)期以來(lái)進(jìn)展緩慢。2010年，Wang等人［6］提出一種直線梯度均值－標(biāo)準(zhǔn)差描述子用于直線匹配，具有良好的匹配性能。針對(duì)具有明顯目標(biāo)輪廓的紅外和可見(jiàn)光圖像匹配問(wèn)題，本文通過(guò)改進(jìn)直線均值－標(biāo)準(zhǔn)差描述子，引入虛擬角點(diǎn)提出了一種基于直線和點(diǎn)特征結(jié)合的匹配算法。

2 直線的提取

在匹配算法中，特征提取的精度和質(zhì)量好壞直接影響匹配的結(jié)果。傳統(tǒng)的直線檢測(cè)以Hough變換［7］為代表。Hough變換魯棒性強(qiáng)，可解決共線短線連接問(wèn)題，但計(jì)算量大，實(shí)時(shí)性不高，人為設(shè)定閾值容易出現(xiàn)過(guò)連接錯(cuò)誤。為了提高直線檢測(cè)效率，Rafael等人提出了一種快速直線檢測(cè)算法［8］(Line segment detector，LSD)，算法具有魯棒性高、計(jì)算量低、檢測(cè)效果好的優(yōu)點(diǎn)，且速度明顯快于其他經(jīng)典算法。因此，本文采用LSD算法從兩幅圖像中提取直線。

LSD算法的基本思想是:擁有一致梯度方向的像素隊(duì)列很有可能是某物體的邊緣。算法通過(guò)梯度區(qū)域增長(zhǎng)得到若干直線段候選區(qū)域，用外接矩形描述得到線段結(jié)構(gòu)，算法在提取低對(duì)比度直線時(shí)有明顯優(yōu)勢(shì)。圖1是對(duì)一組紅外和可見(jiàn)光圖像直線檢測(cè)的結(jié)果，近乎是原圖像的直線輪廓，但其中存在部分直線斷裂。

圖1 圖像的LSD檢測(cè)結(jié)果示意

設(shè)定2個(gè)約束條件進(jìn)行直線連接［9］:①間隔約束，通過(guò)設(shè)置兩直線段端點(diǎn)的最小距離來(lái)判定;②角度約束:通過(guò)設(shè)定線段L1和線段L2之間的方向差來(lái)衡量。在直線描述前，除了遍歷直線進(jìn)行可能的連接外，還利用直線長(zhǎng)度大于20這一簡(jiǎn)單約束，去除邊緣轉(zhuǎn)彎等造成的散亂、干擾線段，保留目標(biāo)中的主要直線。圖2顯示了紅外和可見(jiàn)光圖像中最終保留的直線結(jié)果。

圖2 最終直線結(jié)果

經(jīng)過(guò)以上處理后，設(shè)紅外圖像中提取了N個(gè)直線特征，記作 P1={p1，p2，…，pN};可見(jiàn)光圖像中提取了 M 個(gè)直線特征，記作 P2={q1，q2，…，qM}。

3 特征的描述

3．1 直線描述子

對(duì)于直線特征，Wang等人［6］提出的均值和標(biāo)準(zhǔn)差描述子(mean-standard deviation line descriptor，MSLD)具有良好的匹配性能，但缺乏尺度不變性。因此本文通過(guò)引入高斯尺度空間［10］，構(gòu)造多尺度的MSLD描述子。具體步驟如下:

Step1:利用高斯卷積核對(duì)原始圖像進(jìn)行平滑，得到圖像多尺度下的尺度空間表示。對(duì)于每條直線，在尺度空間下每組中的每層圖像中構(gòu)造相應(yīng)直線支持域。

Step2:在高斯尺度空間中，計(jì)算直線L上每個(gè)像素點(diǎn)的梯度方向平均值，并把該值設(shè)置為直線L的方向d┴，沿d┴順時(shí)針轉(zhuǎn)90°設(shè)為方向dL。直線L沿dL方向的像素點(diǎn)依次定義為G1，G2，…，Gn;以每個(gè)像素點(diǎn)為中心，沿d┴方向構(gòu)造Q個(gè)互不重疊的矩形子區(qū)域Gi1，Gi2，…，GiQ作為直線的像素支持區(qū)。

Step3:在各子區(qū)域G內(nèi)提取4方向的梯度向量，即Vij=∈R4。對(duì)于直線L而言，得到一個(gè)大小為Q×N的梯度描述矩陣，記為:對(duì)距離直線為d的梯度信息進(jìn)行統(tǒng)計(jì)，使在直線像素區(qū)域中，離直線越近的子區(qū)域的梯度貢獻(xiàn)越大。

Step5:將直線L上N個(gè)像素點(diǎn)的Vij組合得到一個(gè)4Q×N的矩陣，利用矩陣行向量的均值和方差來(lái)構(gòu)造描述符，使矩陣大小與直線長(zhǎng)短無(wú)關(guān)。

Step6:直線描述子中的均值向量和標(biāo)準(zhǔn)差向量分別歸一化，級(jí)聯(lián)生成一個(gè)具有光照不變性的(xi，

Step4:利用高斯加權(quán)w=yi)維的直線描述子。本文采用Wang的建議，取Q=9計(jì)算直線描述子，則最終直線描述子為8×9=72維。

圖3 直線描述子示意圖(Q=3)

3．2 點(diǎn)描述子

由于在紅外和可見(jiàn)光圖像中提取的同名直線往往存在遮擋、斷裂、端點(diǎn)差異，單一直線匹配容易出錯(cuò)。為了提高直線描述的準(zhǔn)確性，考慮利用兩條直線交點(diǎn)來(lái)獲取虛擬角點(diǎn)［11］。虛擬角點(diǎn)不一定對(duì)應(yīng)圖像中某個(gè)實(shí)際存在的角點(diǎn)，但它能反映兩條相交直線的幾何特征。若兩條直線相互匹配，則它們的頂點(diǎn)也一定能滿足匹配要求。對(duì)特征點(diǎn)進(jìn)行SIFT描述，獲得一個(gè)128維的點(diǎn)特征描述子。

圖4 虛擬角點(diǎn)示意圖

4 特征匹配

直線匹配時(shí)，描述子的相似度度量和匹配策略也影響其匹配性能。根據(jù)Wang在直線描述子匹配的分析［12］，采用歐式距離和雙向匹配法能獲得較好的匹配結(jié)果。

具體步驟:

(1)采用歐式距離作為直線描述子的相似性度量，利用雙向匹配算法對(duì)直線進(jìn)行匹配。即對(duì)于待匹配圖像直線集合P1中的一條直線pi，在參考圖像的直線集合P2尋找與其描述子的歐式距離最小的直線，記為qj;再反向匹配一次，如果qj也是pi的最優(yōu)匹配特征，則認(rèn)為兩直線可能匹配，放入匹配集合中;

(2)利用匹配成功的同名直線在畫幅內(nèi)延長(zhǎng)，兩兩相交構(gòu)建虛擬角點(diǎn)，并計(jì)算該點(diǎn)坐標(biāo)。對(duì)特征點(diǎn)進(jìn)行SIFT描述，采用歐氏距離和最近鄰算法進(jìn)行匹配;

(3)當(dāng)且僅當(dāng)相應(yīng)的虛擬角點(diǎn)足匹配時(shí)，最終認(rèn)定兩條直線為正確的匹配對(duì)。

5 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文算法的有效性，在2 GHz CPU，2 GB內(nèi)存的PC機(jī)上，采用Matlab編程進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)圖像來(lái)源于紅外熱像儀拍攝，可見(jiàn)光圖像如圖5所示，均包括明顯的直線輪廓。其中前3組可見(jiàn)光圖像大小均為640×480，第4組可見(jiàn)光圖像大小480×480。待匹配圖像對(duì)由一幅原始大小的可見(jiàn)光圖像和4種對(duì)應(yīng)變換的紅外圖像組成，共4×4=16組圖像對(duì)。匹配的評(píng)價(jià)指標(biāo)采用正確匹配率，正確與否通過(guò)目視判定。4種對(duì)應(yīng)圖像包括:①同尺度視角;②尺度縮小;③仿射變換;④旋轉(zhuǎn)變換。

采用本文算法進(jìn)行圖像匹配時(shí)，首先需要提取有效的直線。在直線檢測(cè)時(shí)，程序以灰色圖像為輸入，不需要設(shè)定參數(shù)，運(yùn)行得直線結(jié)果。下一步就要指定直線最小長(zhǎng)度閾值以及線段合并的參數(shù)。通過(guò)實(shí)驗(yàn)分析，設(shè)定間隔小于最短直線長(zhǎng)度的10%，方向差小于5°的相鄰直線進(jìn)行連接，去除長(zhǎng)度小于20的線段，可以取得較好的結(jié)果。在特征匹配時(shí)，設(shè)誤差為5個(gè)像素內(nèi)的匹配直線對(duì)均為正確點(diǎn)對(duì)，經(jīng)過(guò)兩次匹配得到最終的匹配直線對(duì)結(jié)果。

本文對(duì)大量圖像進(jìn)行測(cè)試試驗(yàn)，實(shí)驗(yàn)結(jié)果如圖6所示。為了直觀表示算法的匹配結(jié)果，在提取的直線結(jié)果圖中用相同編號(hào)標(biāo)出最終匹配的同名直線，*號(hào)表示對(duì)應(yīng)的虛擬角點(diǎn)。

圖6(a)匹配對(duì)數(shù)為16，正確13對(duì)，正確率81．25%;圖6(b)匹配對(duì)數(shù)為20，正確17對(duì)，正確率85%;圖6(c)匹配對(duì)數(shù)為14，正確12對(duì)，正確率85．71%;圖6(d)匹配對(duì)數(shù)為25，正確21對(duì)，正確率84%?？梢钥闯?，本文算法在同條件以及存在尺度、微仿射和旋轉(zhuǎn)變換條件下均具有良好的匹配結(jié)果。表1還給出了4組圖像在4種情況下采用本文算法與文獻(xiàn)［6］算法的匹配實(shí)驗(yàn)結(jié)果對(duì)比。結(jié)果表明，相比于Wang的算法，在圖6(a)～圖6(d)的4種情況下，雖然本文算法最終的匹配總數(shù)減少，但平均正確率得到一定提高;兩種算法在仿射變換下平均正確率都略低于其他情況;對(duì)于圖6(d)所示建筑圖像中存在的部分相似結(jié)構(gòu)，本文算法通過(guò)虛擬角點(diǎn)的精匹配可以很大程度上剔除相似直線結(jié)構(gòu)之間的誤匹配?？傊?，本文算法能夠較好地匹配紅外和可見(jiàn)光圖像。

在算法速度上，整個(gè)實(shí)驗(yàn)過(guò)程中特征提取和直線描述階段的時(shí)間開(kāi)銷約占總時(shí)間的1/3，這是因?yàn)橹本€檢測(cè)的速度很快，且對(duì)結(jié)果進(jìn)行處理，減少了待匹配的直線數(shù)目。直線描述子的計(jì)算簡(jiǎn)單，構(gòu)造時(shí)間與直線長(zhǎng)度和數(shù)目成線性關(guān)系。但在特征匹配階段，本文算法不具優(yōu)勢(shì)，主要因?yàn)樗惴ㄐ枰獙?duì)特征進(jìn)行兩次匹配，且128維的SIFT描述子構(gòu)造也增加了時(shí)間開(kāi)銷。

表1 本文算法與文獻(xiàn)［6］算法的匹配結(jié)果比較

6 結(jié)束語(yǔ)

針對(duì)紅外和可見(jiàn)光圖像匹配的難題，本文提出一種基于直線和點(diǎn)特征結(jié)合的匹配算法。首先利用LSD算法提取直線，通過(guò)處理獲得目標(biāo)中的直線結(jié)構(gòu);然后，構(gòu)造多尺度的直線均值－標(biāo)準(zhǔn)差描述子進(jìn)行直線匹配;最后，再利用已匹配直線的交點(diǎn)特征進(jìn)行SIFT描述的點(diǎn)匹配，糾正直線匹配的結(jié)果。算法主要依據(jù)特征支持區(qū)域的梯度變化，因而不受直線長(zhǎng)度和點(diǎn)位置的影響。實(shí)驗(yàn)結(jié)果表明，算法較單一直線匹配的正確率有所提高。但對(duì)于復(fù)雜場(chǎng)景或者邊緣模糊不清的圖像，需要對(duì)圖像進(jìn)行預(yù)處理，提高同名直線提取的精度以保證匹配的準(zhǔn)確率。

［1］ Yuan JS，Zhao ZB，Gao Q．Review and prospecton infrared/visible image registration［J］．Laser ＆ Infrared，2009，39(7):693 －699．(in Chinese)苑津莎，趙振兵，高強(qiáng)．紅外與可見(jiàn)光圖像配準(zhǔn)研究現(xiàn)狀與展望［J］．激光與紅外，2009，39(7):693－699．

［2］ Gao F，Wen G J，Lu J．An optimal algorithm for IR/visual image registration based on main-line-pairs［J］．Chinese Journal of Computers，2007，30(6):1015 － 1023．(in Chinese)高峰，文貢堅(jiān)，呂金建．基于干線對(duì)的紅外與可見(jiàn)光最優(yōu)圖像配準(zhǔn)算法［J］．計(jì)算機(jī)學(xué)報(bào)，2007，30(6):1015－1023．

［3］ Lu H，Wu Q X，Jiang C S．A Two-step registration algorithm for multi-sensor images［J］．Electronics Optics ＆Control，2008，15(1):22 －25．(in Chinese)陸歡，吳慶憲，姜長(zhǎng)生．多傳感器圖像的二次匹配算法［J］．電光與控制，2008，15(1):22 －25．

［4］ Cao J，Yin D，Zhang R．An optical and SAR image registration algorithm based on virtual points［J］．Opto-Electronic Engineering，2009，36(11):79 －84．(in Chinese)曹俊，尹東，張榮．基于虛擬點(diǎn)的可見(jiàn)光和SAR圖像配準(zhǔn)研究［J］．光電工程，2009，36(11):79 －84．

［5］ Lowe D G．Distinctive image features from scale-invariant keypoints［J］．International Journal of Computer Vision，2004，60(2):91 －110．

［6］ Wang ZH，Wu F C，Hu Z Y．MSLD:A robust descriptor for linematching［J］．Pattern Recognition，2009，42(5):941－953．

［7］ Illingworth J，Kittler J．The adaptive hough transform［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1987，9(5):690 －698．

［8］ Rafael Grompone，Morel JM，Gregory R，etal．LSD:A fast line segment detector with a false detection control［J］．IEEE Trans．on Pattern Analysis and Machine Intelligence，2010，32(4):722 －732．

［9］ Qin X H，Ma R，F(xiàn)u W P．A line segments detection algorithm based on grad［J］．Acta Photonica Sinica，2012，41(2):205 －209．(in Chinese)覃勛輝，馬戎，付維平．一種基于梯度的直線段檢測(cè)算法［J］．光子學(xué)報(bào)，2012，41(2):205 －209．

［10］ Chen R J，Liu LG，Dong G C．Detection of principal lines in images［J］．Journal of Image and Graphics，2010，15(3):403 －408．(in Chinese)陳仁杰，劉利剛，董光昌．圖像主特征直線的檢測(cè)算法［J］．中國(guó)圖象圖形學(xué)報(bào)，2010，15(3):403 －408．

［11］ Su J，Lin X G，Liu D Z．A multi-sensor image registration algorithm based on structure feature edges［J］．Acta Automatica Sinica，2009，35(3):352 －357．(in Chinese)蘇娟，林行剛，劉代志．一種基于結(jié)構(gòu)特征邊緣的多傳感器圖像配準(zhǔn)方法［J］．自動(dòng)化學(xué)報(bào)，2009，35(3):251－257．

［12］ Wang Z H，Wu F C．Mean-standard deviation descriptor and linematching［J］．PR ＆ AI，2009，22(1):32 － 39．(in Chinese)王志衡，吳福朝．均值－標(biāo)準(zhǔn)差描述子與直線匹配［J］．模式識(shí)別和人工智能，2009，22(1):32 －39．