基于多特征融合的圖像匹配算法

董振鑫+廖仕榮+程慧+林夢(mèng)蘭+張澤均+詹仕華

摘 要：為解決SIFT算法在視角變換、對(duì)比度變換、尺度變換及旋轉(zhuǎn)變換混合復(fù)雜情況下匹配精準(zhǔn)度低的問(wèn)題，提出一種結(jié)合SIFT和RILBP（rotation invariant LBP）的特征匹配算法。首先在圖像SIFT特征點(diǎn)集上提取局部圖像區(qū)域的RILBP特征向量；然后將SIFT的特征向量和RILBP特征向量融合成一個(gè)新的特征向量；其次，利用高維可擴(kuò)展最近鄰匹配算法實(shí)現(xiàn)兩幅圖像特征向量集之間的匹配；最后，使用VFC算法的篩選匹配策略對(duì)特征向量集進(jìn)行篩選，找到兩個(gè)特征向量集中的匹配對(duì)。實(shí)驗(yàn)結(jié)果表明，在視角變換和對(duì)比度較大的復(fù)雜情況下，該算法匹配精準(zhǔn)度比SIFT算法提升了19.83%。

關(guān)鍵詞：圖像匹配；SIFT；視角變換；RILBP；特征融合

DOIDOI：10.11907/rjdk.171670

中圖分類號(hào)：TP312

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2017）007-0044-04

0 引言

圖像匹配作為圖像處理的關(guān)鍵技術(shù)被廣泛應(yīng)用于文字匹配、人臉識(shí)別、物象跟蹤、圖像拼接、生物特征識(shí)別及車牌識(shí)別等領(lǐng)域，一直是圖像處理的熱點(diǎn)研究方向。實(shí)踐中，圖像處理往往面臨著多種情況的結(jié)合，特別是在視角變換和光照對(duì)比度變換相結(jié)合的復(fù)雜情況下，匹配算法對(duì)物體圖像的匹配效率和精準(zhǔn)度明顯下降。

研究在視角、光照及對(duì)比度變換較大情況下圖像匹配算法具有重要的現(xiàn)實(shí)意義。

2004年，加拿大學(xué)者Lowe所提出的局部特征匹配算法SIFT（Scale Invariant Feature Transform）[1，2]，對(duì)于目標(biāo)圖像在平移、旋轉(zhuǎn)變換、光照強(qiáng)度變化較大等情況下有較好的匹配性能和魯棒性，并且具有較好的擴(kuò)展性和多量性等良好特性[1，2]。但是，SIFT算法效率較低，在應(yīng)用過(guò)程中導(dǎo)致無(wú)法進(jìn)行大量的實(shí)時(shí)匹配，并且SIFT在視角變換、旋轉(zhuǎn)變換相結(jié)合的復(fù)雜情況下匹配率和準(zhǔn)確率較低。因此，本文利用SIFT可擴(kuò)展性好的特點(diǎn)，提取SIFT和RILBP[3]特征向量，在高維可擴(kuò)展最近鄰算法[4]的基礎(chǔ)上，結(jié)合VFC算法[5]進(jìn)行篩選匹配，以增強(qiáng)SIFT在上述視角變換混合情況下的匹配精準(zhǔn)度。首先，對(duì)于兩張待匹配圖像作SIFT特征點(diǎn)檢測(cè)；然后，計(jì)算每個(gè)特征點(diǎn)鄰域的RILBP特征；其次，將SIFT的特征向量和RILBP的特征向量進(jìn)行線性融合；最后，在高維數(shù)據(jù)可擴(kuò)展最近鄰算法匹配的基礎(chǔ)上，使用VFC算法進(jìn)行匹配篩選。通過(guò)INRIA Data Sets & Images數(shù)據(jù)集測(cè)試，實(shí)驗(yàn)結(jié)果表明本文算法在視角、尺度、對(duì)比度及旋轉(zhuǎn)等混合的復(fù)雜情況下匹配準(zhǔn)確率比SIFT算法大為提升，在執(zhí)行效率上也有所提高。

1 基于多特征融合的算法設(shè)計(jì)

SIFT具有良好的可擴(kuò)展，且在光照、旋轉(zhuǎn)、對(duì)比度變換條件下具有良好的穩(wěn)定性[1，2]。LBP由Ojala[6]于1996年提出，此后改進(jìn)的RILBP對(duì)于視角變換和紋理變換具有較好的穩(wěn)定性[3]。本文結(jié)合兩者優(yōu)勢(shì)，在SIFT特征點(diǎn)下提取RILBP特征，并將其和SIFT進(jìn)行線性融合。

1.1 SIFT算法

采用SIFT算法檢測(cè)圖像局部特征[2]。首先，進(jìn)行圖像DoG尺度空間創(chuàng)建，利用高斯核函數(shù)[7]對(duì)圖像作模糊處理進(jìn)而得到DoG金字塔，高斯核函數(shù)如式（1）所示：

式（1）中，m和n代表高斯模板對(duì)應(yīng)的維度。為達(dá)到更好的穩(wěn)定性和獨(dú)特性，Lowe使用DoG算子[1，2]來(lái)創(chuàng)建圖像的尺度空間，并尋找尺度空間中的DoG極值點(diǎn)，將每個(gè)像素點(diǎn)與鄰域的26個(gè)點(diǎn)進(jìn)行對(duì)比，當(dāng)其高于（或低于）所有相鄰點(diǎn)的值時(shí)，即為極值點(diǎn)，并且利用2×2的 Hessian 矩陣剔除不穩(wěn)定的特征點(diǎn)。然后，實(shí)現(xiàn)特征點(diǎn)方向賦值。梯度的模值m（x，y）和方向θ（x，y）如分別式（2）和式（3）所示：

其中，x和y為圖像特征點(diǎn)坐標(biāo)。最后，完成對(duì)應(yīng)的特征點(diǎn)梯度運(yùn)算，利用直方圖方法計(jì)算出周圍的像素梯度方向。直方圖峰值走向?yàn)樘卣鼽c(diǎn)主方向，至此檢測(cè)出帶有位置、尺度和方向的SIFT特征點(diǎn)。將圖像確定區(qū)域分為16個(gè)小型區(qū)域，每個(gè)小型區(qū)域的梯度方向分為8個(gè)子部分，計(jì)算這8個(gè)子部分的梯度值，然后進(jìn)行累加，最終獲得一個(gè)4×4×8=128維的特征向量。

1.2 RILBP特征

原始LBP的策略是將圖像像素與其鄰域進(jìn)行比對(duì)，編制成二進(jìn)制后轉(zhuǎn)換為十進(jìn)制數(shù)。如圖1所示，在3×3像素區(qū)域中，比中心點(diǎn)大的標(biāo)記為1，比中心點(diǎn)數(shù)值低的標(biāo)記為0，對(duì)轉(zhuǎn)換后的數(shù)據(jù)表從第一列第一行的數(shù)開(kāi)始順時(shí)針排列，組成二進(jìn)制編碼即00011000，然后將二進(jìn)制編碼轉(zhuǎn)化為十進(jìn)制數(shù)即24，十進(jìn)制數(shù)值作為對(duì)應(yīng)特征點(diǎn)的特征值。

RILBP是基于原始LBP的改進(jìn)方案，即對(duì)轉(zhuǎn)換前像素點(diǎn)對(duì)應(yīng)的原始LBP二進(jìn)制編碼循環(huán)移位，一個(gè)像素點(diǎn)對(duì)應(yīng)8種二進(jìn)制編碼，然后將這8種二進(jìn)制編碼轉(zhuǎn)換為十進(jìn)制數(shù)值，找到其中最小數(shù)值作為像素點(diǎn)的特征值。

1.3 多特征融合

SIFT作為局部特征匹配算法對(duì)尺度縮放、旋轉(zhuǎn)變換具有較好的抗性[2]，但對(duì)視覺(jué)變換較為敏感。而RILBP對(duì)光照、對(duì)比度、視角變換等具有較強(qiáng)的抗性，且SIFT算法和RILBP都具有可擴(kuò)展性的優(yōu)點(diǎn)，本文將二者的特征向量矩陣作線性融合。

利用SIFT提取圖像特征向量，其中第i個(gè)特征點(diǎn)的特征向量記為Fi ，公式如下：

2 特征點(diǎn)匹配

在SIFT的特征點(diǎn)匹配中，David G Lowe于2009年提出了快速最近鄰搜索算法[9]，2014年提出了改進(jìn)高維可擴(kuò)展最近鄰算法[4]，其對(duì)高維度的特征向量具有良好的匹配性，且具有較好的可擴(kuò)展性。文獻(xiàn)[5]采用高效匹配算法VFC（Vector Field Consensus）對(duì)特征點(diǎn)集進(jìn)行篩選匹配，進(jìn)而得出匹配相似度較高的匹配對(duì)。

VFC用于在兩個(gè)點(diǎn)集中建立魯棒點(diǎn)的匹配[5]。VFC主要使用公認(rèn)集和幾何約束來(lái)建立對(duì)應(yīng)點(diǎn)，通過(guò)內(nèi)插兩個(gè)點(diǎn)集之間的矢量場(chǎng)來(lái)求解對(duì)應(yīng)關(guān)系[5]，然后使用Tikhonov正則化器計(jì)算圖像的Hilbert空間。在此基礎(chǔ)上，利用EM算法[5]計(jì)算所提取的貝葉斯模型方差，最后與預(yù)期值對(duì)比，剔除誤匹配點(diǎn)。

利用高維可擴(kuò)展最近鄰算法搜索圖像某特征點(diǎn)在對(duì)應(yīng)圖像中的歐式距離，即dist數(shù)值最小的原始匹配點(diǎn)對(duì)；然后在此基礎(chǔ)上利用VFC算法對(duì)原始匹配對(duì)的匹配進(jìn)行分類篩選，最終得到存有匹配關(guān)系的匹配對(duì)。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)在Intel HM86 + 酷睿i7 4710MQ 2.5GHZ CPU，8GB內(nèi)存，Windows 7 64位操作系統(tǒng)的環(huán)境下進(jìn)行，利用Visual Studio 2013（編譯語(yǔ)言為C++）和OPENCV庫(kù)實(shí)現(xiàn)。在INRIA Data Sets & Images圖像集和The Oxford Buildings Dataset中進(jìn)行了100張圖片（兩個(gè)數(shù)據(jù)集各50張）測(cè)試，由于篇幅有限，僅給出兩張圖在各種變化下的匹配效果，將SIFT與VFC結(jié)合算法作為對(duì)照組。

為檢驗(yàn)本文算法在旋轉(zhuǎn)變換方面的匹配精準(zhǔn)度，本文每張待匹配圖片作30～90°旋轉(zhuǎn)，旋轉(zhuǎn)40°匹配結(jié)果如圖3所示。為比對(duì)本文算法和SIFT在對(duì)比度變換上的匹配準(zhǔn)確性，本文將待匹配圖片對(duì)比度調(diào)為255∶1，并將亮度增強(qiáng)75%（見(jiàn)圖4）。在尺度變換方面，將待匹配圖像進(jìn)行2倍的尺度縮放（見(jiàn)圖5）。在以上匹配比對(duì)基礎(chǔ)上，本文對(duì)具有一定視角變換的圖像進(jìn)一步混合了對(duì)比度變換、尺度變換和旋轉(zhuǎn)變換，進(jìn)而比對(duì)本文算法和SIFT在此復(fù)雜情況下的匹配精準(zhǔn)度和執(zhí)行效率（見(jiàn)圖6）。

誤匹配率和Recall[10]作為常用的圖像處理評(píng)估標(biāo)準(zhǔn)具有較好的評(píng)判性。本文將Recall值和誤匹配率作為算法的性能評(píng)估指標(biāo)，3種算法的Recall值如表1所示，Recall計(jì)算公式如式（9）。

recall=圖像中匹配正確的匹配對(duì)[]兩張圖像中存在匹配關(guān)系的匹配對(duì)（9）

為避免匹配點(diǎn)數(shù)較少而引起數(shù)值偏差較大的問(wèn)題，在視角變換和對(duì)比度較大情況下，本文取兩組不同特征點(diǎn)數(shù)的匹配效果對(duì)本文算法和原SIFT進(jìn)行執(zhí)行效率及誤匹配點(diǎn)、準(zhǔn)確度的統(tǒng)計(jì)對(duì)比，如表2、表3所示。

初次提取特征點(diǎn)數(shù)指目標(biāo)圖所提取的特征點(diǎn)數(shù)；匹配后點(diǎn)數(shù)指目標(biāo)圖與待匹配圖在運(yùn)用對(duì)應(yīng)匹配算法進(jìn)行匹配后取得的匹配點(diǎn)個(gè)數(shù)；匹配條件皆為原圖及經(jīng)過(guò)較大視角變換、對(duì)比度變換和旋轉(zhuǎn)變換后的待匹配圖，本文算法對(duì)應(yīng)的匹配算法為高維數(shù)據(jù)可擴(kuò)展最近鄰算法與VFC結(jié)合后的匹配算法，SIFT算法對(duì)應(yīng)的匹配算法為快速最近鄰算法。誤匹配點(diǎn)指在匹配結(jié)果圖上出現(xiàn)的錯(cuò)誤匹配點(diǎn)數(shù)。匹配準(zhǔn)確率為正確匹配對(duì)除以匹配后點(diǎn)數(shù)得到的商。

由實(shí)驗(yàn)結(jié)果可知，在旋轉(zhuǎn)變換情況下，本文算法召回率比SIFT算法提高了2.94%；在對(duì)比度上本文算法的recall值比SIFT提高了3.92%，表明本文算法在旋轉(zhuǎn)角度較大和對(duì)比度變換的情況下比SIFT有更強(qiáng)的抗性；在尺度變換情況下，本文算法和SIFT抗性相近；在視覺(jué)變換和對(duì)比度變換較大的情況下，本文算法準(zhǔn)確率比原SIFT提高了19.83%，比SIFT+vfc提高了12.80%；對(duì)于相同特征點(diǎn)和匹配對(duì)，本文算法比SIFT算法在視覺(jué)變換較大和對(duì)比度變換較大的情況下召回率提高了30%，表明本文算法對(duì)于較大的視角變換和對(duì)比度的復(fù)雜情況下物象具有較強(qiáng)的魯棒性和匹配性能；在執(zhí)行效率上，本文算法為SIFT的1.22倍。

4 結(jié)語(yǔ)

本文基于SIFT特征算法和RILBP特征描述，在利用RILBP特征描述SIFT特征點(diǎn)周圍鄰域的基礎(chǔ)上，將原有SIFT特征描述算子和LBP描述子結(jié)合生成更高維的特征描述子，并在高維可擴(kuò)展最近鄰搜索算法的基礎(chǔ)上結(jié)合VFC算法進(jìn)行了匹配篩選。實(shí)驗(yàn)結(jié)果表明，本文算法在視角變換、旋轉(zhuǎn)變換、尺度變換的混合情況下準(zhǔn)確率比SIFT算法提升了19.83%。本文算法對(duì)視角變換和對(duì)比度變換有較好抗性，適用于人臉識(shí)別、物象跟蹤、字跡辨識(shí)、建筑物匹配等具有較大視角變換、尺度變換與對(duì)比度變換的圖像匹配。后續(xù)研究將結(jié)合其它算法特點(diǎn)進(jìn)一步提高算法效率。

參考文獻(xiàn)：

[1] DG.Lowe distinctive image features from scale-invariant keypoints[J].International Journal of Computer vision，2004，60（2）：91-110.

[2] DG LOWE.Object recognition from local scale-invariant features[C].IEEE International Conference on Computer Vision，1999：1150-1157 .

[3] T OJALA M，PIETIKAINEN T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[4] M MUJA ，D G LOWE.Scalable nearest neighbor algorithms for high dimensional data[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014（36）：2227-2240.

[5] J MA，Y MA J，ZHAO J.Image feature matching via progressive vector field consensus[J].IEEE Signal Processing Letters，2015（22）：767-771.

[6] T OJALA M，PIETIKINEN D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996（29）：51-59 .

[7] LINDEBERG T.Scale-space theory：a basic tool for analyzing structures at different scales[J].Journal of applied statistics，1994，21（1-2）：225-270.

[8] 鄭永斌，黃新生，豐松江.SIFT和RILBP相結(jié)合的圖像匹配算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22（2）：287-293.

[9] MUJA M，LOWE D G.Fast approximate nearest neighbors with automatic algorithm configuration[C].UISAPP 2009：331-340 .

[10] MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors[J].IEEE transactions on pattern analysis and machine intelligence，2005，27（10）：1615-1630.