基于改進(jìn)SIFT 的室內(nèi)全景圖像配準(zhǔn)算法研究

王 博，管永紅，劉 洋

（1.中國(guó)工程物理研究院流體物理研究所，四川綿陽 621900；2.中國(guó)工程物理研究院研究生院，四川綿陽 621900）

圖像配準(zhǔn)作為圖像處理中的一項(xiàng)基本問題，用于求解在不同時(shí)間、不同探測(cè)器、不同角度等所獲取的多幅圖像的最佳的幾何變換，主要應(yīng)用于圖像拼接、圖像檢索、圖像融合等領(lǐng)域[1-3]。在圖像配準(zhǔn)中，圖像特征點(diǎn)提取與匹配又是關(guān)鍵的步驟。2004 年Lowe 提出了的SIFT 算法，因其尺度、旋轉(zhuǎn)等的不變性而被廣泛應(yīng)用于圖像配準(zhǔn)領(lǐng)域[4-5]。但SIFT 算法仍存在一些缺點(diǎn)，研究人員也提出了諸多改進(jìn)。Bay提出的SUFT 算法通過引入Hessian 矩陣和對(duì)積分圖像進(jìn)行操作來提高速度，但對(duì)于邊緣光滑的特征點(diǎn)提取能力較弱[6-7]。韓宇等人提出簡(jiǎn)化的SIFT 特征描述子，將矩形區(qū)域改為圓形區(qū)域來降低描述子的維度[8]。陳抒瑢等人提出Contourlet-SIFT 算法，該算法對(duì)尺度不變的特征進(jìn)行Contourlet 變換，并建立全局紋理描述子，適用于尺度和方向等變換比較明顯的場(chǎng)景[9]。李欽等提出PCA-SIFT 特征匹配算法，對(duì)SIFT 特征描述子進(jìn)行主成分分析,降低了SIFT 特征描述子的維度，從而提高配準(zhǔn)速度，但是PCA 算法的引入也增加了計(jì)算量[10]。許佳佳等提出基于Harris的SIFT 算法，該算法通過構(gòu)建尺度空間使得Harris角點(diǎn)具有尺度不變性，并借鑒Forsnters 算子的思想進(jìn)行角點(diǎn)的精確定位[11]。目前室內(nèi)全景圖像在室內(nèi)設(shè)計(jì)、全景建模等領(lǐng)域有重要應(yīng)用，而構(gòu)建室內(nèi)全景圖像需要對(duì)采集到的圖像進(jìn)行配準(zhǔn)。在采集過程中相鄰兩幀圖像較為連續(xù)，旋轉(zhuǎn)角較小，但SIFT 算法的特征點(diǎn)檢測(cè)和描述過程較為復(fù)雜，計(jì)算量較大[12]。為了提高配準(zhǔn)效率，文中提出了一種改進(jìn)的SIFT 算法，通過優(yōu)化尺度空間的構(gòu)建過程，引入BRIEF 特征描述子[13]，替換SIFT 特征描述子完成特征點(diǎn)的檢測(cè)和描述。實(shí)驗(yàn)證明，改進(jìn)的SIFT 算法在運(yùn)算速度和準(zhǔn)確率上較原始SIFT 算法都有提高。

1 改進(jìn)SIFT算法流程

1.1 特征點(diǎn)檢測(cè)

圖像的特征點(diǎn)檢測(cè)主要包括：尺度空間生成、DOG 圖像生成、尺度空間極值點(diǎn)檢測(cè)和定位等步驟[14]。

特征點(diǎn)的檢測(cè)需要構(gòu)建高斯金字塔，SIFT 算法中的高斯金字塔區(qū)別于多分辨金字塔。為了體現(xiàn)尺度的連續(xù)性，在SIFT 算法中，高斯金字塔不僅需要簡(jiǎn)單的下采樣，高斯濾波也用于生成多尺度圖像。最后，一幅圖像可以產(chǎn)生若干組圖像，而一組圖像包括多層圖像。

高斯拉普拉斯(LOG) 算子是一種二階導(dǎo)數(shù)算子，在特征檢測(cè)中有廣泛的應(yīng)用[15]。LOG 算子首先計(jì)算圖像的二階微分，后通過檢測(cè)二階微分的零點(diǎn)來識(shí)別目標(biāo)邊緣。LOG 算子的表達(dá)式如式（1）所示：

通過在相鄰的高斯空間中對(duì)一定尺度的圖像進(jìn)行特征相減，可以獲得DOG 響應(yīng)值圖像D(x,y,σ)，DOG 的表達(dá)式計(jì)算公式如式（2）所示：為了在尺度空間中完成極值點(diǎn)的搜索，需要將每個(gè)采樣點(diǎn)與周圍的8 個(gè)點(diǎn)、上下尺度的9 個(gè)點(diǎn)，一共是26 個(gè)點(diǎn)進(jìn)行比較[16]。

上述極值點(diǎn)的檢測(cè)過程是在離散空間中完成的，因此檢測(cè)到的有可能并不是真正的極值點(diǎn)，為了使得到的極值點(diǎn)更加精確，通常會(huì)使用子像元插值法得到連續(xù)空間的極值點(diǎn)[17]。

因DOG 對(duì)圖像的邊緣有很強(qiáng)的響應(yīng)，如果特征點(diǎn)落在了邊緣點(diǎn)上就會(huì)變成一個(gè)不穩(wěn)定的點(diǎn)，為了獲得穩(wěn)定的點(diǎn)，需要對(duì)落在邊緣上的特征點(diǎn)進(jìn)行剔除。邊緣點(diǎn)的剔除需要計(jì)算局部極值點(diǎn)所在位置和尺度的Hessian 矩陣。Hessian 矩陣可表示為：

計(jì)算得到Hessian 矩陣的兩個(gè)特征值λ1和λ2(假設(shè)λ1＞λ2)，如果λ1?λ2，則說明該特征點(diǎn)為邊緣點(diǎn)。Hessian 矩陣的跡和行列式表達(dá)式如式（4）～（5）所示：

因?yàn)橛?jì)算特征值的過程比較耗時(shí)，為了規(guī)避該過程，根據(jù)Hessian 矩陣的跡等于Hessian 矩陣的兩個(gè)特征值的和，Hessian 矩陣的行列式等于兩個(gè)特征值的乘積這兩個(gè)結(jié)論，令r=λ1/λ2，則有：

由式（6）可知，結(jié)果只與兩個(gè)特征值的比值r有關(guān)系，當(dāng)式（6）的比值比較大的時(shí)候，說明該點(diǎn)為邊緣點(diǎn)。因此，只需要設(shè)置閾值與式（6）的結(jié)果進(jìn)行比較即可篩選出邊緣點(diǎn)。

在SIFT 算法中，構(gòu)造了4 層Octave 來進(jìn)行特征點(diǎn)的檢測(cè)以適應(yīng)更大的尺度變化。雖然4 層Octave可以適應(yīng)更大的尺度變換，但在提高算法魯棒性的同時(shí)也增加了構(gòu)建尺度空間和檢測(cè)特征點(diǎn)的時(shí)間。在室內(nèi)全景圖像配準(zhǔn)的場(chǎng)景中，相鄰幀圖像的尺度變化、旋轉(zhuǎn)、縮放等較小，為了提高配準(zhǔn)效率，文中統(tǒng)計(jì)了室內(nèi)圖像不同尺度的特征點(diǎn)數(shù)目和提取這些特征點(diǎn)需要的時(shí)間，統(tǒng)計(jì)結(jié)果如表1、表2 所示。

其中，測(cè)試的數(shù)據(jù)來自用于評(píng)估圖像對(duì)齊方法的PASSTA 數(shù)據(jù)集。通過表1 和表2 可知，在室內(nèi)圖像構(gòu)建的第3、4 個(gè)Octave 中僅僅提取出少量特征點(diǎn)，但是卻造成了極大的時(shí)間損耗。為了提高室內(nèi)全景圖像配準(zhǔn)效率，文中拋棄提取特征點(diǎn)較少的最后兩個(gè)Octave，僅利用提取特征點(diǎn)較多的前兩個(gè)Octave 完成特征點(diǎn)的檢測(cè)，改進(jìn)的圖像Octave 如圖1所示。

表1 不同Octave提取特征點(diǎn)個(gè)數(shù)統(tǒng)計(jì)

表2 不同Octave提取特征點(diǎn)和計(jì)算描述子時(shí)間統(tǒng)計(jì)

圖1 改進(jìn)的圖像Octave

1.2 特征點(diǎn)描述

在原始SIFT 算法中得到特征點(diǎn)之后，應(yīng)當(dāng)對(duì)特征點(diǎn)進(jìn)行描述。首先，需要對(duì)特征點(diǎn)的鄰域做直方圖統(tǒng)計(jì)[18]，直方圖的橫坐標(biāo)將0°到360°以10°為間隔平均分成36 份，直方圖的列代表梯度方向的累加值。為了使特征點(diǎn)具有旋轉(zhuǎn)不變性，計(jì)算SIFT 特征描述子時(shí)需要將區(qū)域旋轉(zhuǎn)至主方向，而主方向即直方圖峰值對(duì)應(yīng)的角度。將區(qū)域劃分成4 × 4 個(gè)子區(qū)域，在每個(gè)子區(qū)域內(nèi)使用8 方向的梯度直方圖進(jìn)行統(tǒng)計(jì)[16,19]，圖2 所示為特征點(diǎn)描述的示意圖。因此，形成了128 個(gè)的描述子，這128 個(gè)特征描述子就是SIFT 描述子。最后，再進(jìn)行歸一化以消除光照的影響，得到了最終的SIFT 特征描述子。

SIFT 特征描述子具有較高的抽象特征能力，因此，對(duì)圖像旋轉(zhuǎn)有很強(qiáng)的適應(yīng)性，但這也提高了特征點(diǎn)描述子的計(jì)算復(fù)雜度和匹配的復(fù)雜度。在室內(nèi)全景圖像的配準(zhǔn)中，由于圖像拍攝較連續(xù)，旋轉(zhuǎn)角度較小，不需要用較為復(fù)雜的特征描述子描述，因此，采用較為簡(jiǎn)潔的BRIEF 特征描述子來代替SIFT 的特征描述子。

圖2 SIFT特征描述子

BRIEF 特征描述子提供了一種計(jì)算二值化特征描述子的方法，如圖3 所示。BRIEF 特征描述子在特征點(diǎn)周圍選擇一個(gè)區(qū)域，在區(qū)域中挑選出來n個(gè)點(diǎn)對(duì)，對(duì)于每一個(gè)點(diǎn)對(duì)(p,q)，比較這兩個(gè)點(diǎn)的亮度值，如果I(p)＞I(q)，則這個(gè)點(diǎn)對(duì)生成的描述符中的值為1，否則為0。完成n個(gè)點(diǎn)對(duì)的計(jì)算之后，就會(huì)生成一個(gè)二進(jìn)制串的特征描述子。BRIEF 特征描述子相對(duì)于SIFT 特征描述子而言，只有0 和1 兩個(gè)值，不僅簡(jiǎn)化了特征描述子的計(jì)算過程，同時(shí)也簡(jiǎn)化了后續(xù)特征點(diǎn)的匹配計(jì)算流程。

圖3 BRIEF特征描述子

為了證明改進(jìn)特征描述子的有效性，文中針對(duì)3 幅室內(nèi)圖像的前兩個(gè)Octave，統(tǒng)計(jì)SIFT 特征描述子和BRIEF 特征描述子所耗費(fèi)的時(shí)間，統(tǒng)計(jì)結(jié)果如表3 所示。

表3 SIFT和BRIEF計(jì)算耗時(shí)統(tǒng)計(jì)

1.3 特征點(diǎn)匹配

完成了對(duì)室內(nèi)圖像的特征點(diǎn)檢測(cè)和描述之后，首先，需要對(duì)兩幅室內(nèi)圖像生成的特征點(diǎn)進(jìn)行匹配，從左室內(nèi)圖像中循環(huán)獲取特征點(diǎn)，針對(duì)左圖中的每一個(gè)特征點(diǎn)，在右圖中匹配與之對(duì)應(yīng)的特征點(diǎn)。匹配過程使用KNN 算法，為每個(gè)特征點(diǎn)返回匹配的兩個(gè)點(diǎn)，在這兩個(gè)特征點(diǎn)中，當(dāng)最近的距離與次近的距離的比率小于0.75 時(shí)，認(rèn)為這兩個(gè)點(diǎn)是一對(duì)匹配點(diǎn)。

2 實(shí)驗(yàn)結(jié)果分析

為了證明改進(jìn)SIFT 算法的有效性，文中進(jìn)行了必要的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)均在MacBook Pro (13-inch,2018,Four Thunderbolt 3 Ports)上進(jìn)行。處理器為2.3 GHz Intel Core i5,內(nèi) 存8 GB。編 程 環(huán) 境 為Python3.6。采用PASSTA 數(shù)據(jù)集作為原始數(shù)據(jù)來檢驗(yàn)圖像配準(zhǔn)效果。通過實(shí)驗(yàn)，對(duì)比改進(jìn)SIFT 算法與原始SIFT 算法在配準(zhǔn)準(zhǔn)確率、配準(zhǔn)點(diǎn)對(duì)個(gè)數(shù)和配準(zhǔn)時(shí)間上區(qū)別。其中，配準(zhǔn)精度計(jì)算公式如式（7）所示：

其中，TP表示正確配準(zhǔn)的點(diǎn)對(duì)數(shù)，F(xiàn)P表示錯(cuò)誤被匹配到的點(diǎn)對(duì)數(shù)，P表示配準(zhǔn)精度。配準(zhǔn)時(shí)間是兩幅圖像從特征點(diǎn)檢測(cè)到完成最終的圖像配準(zhǔn)所消耗的總時(shí)間。

圖4 為從數(shù)據(jù)集中挑選的待配準(zhǔn)的兩幅室內(nèi)圖像，圖像大小為456*684。圖5 為使用原始SIFT 算法后得到的配準(zhǔn)圖像，圖6 為使用改進(jìn)的SIFT 算法得到的配準(zhǔn)圖像。

圖4 待配準(zhǔn)圖像

圖5 SIFT算法配準(zhǔn)結(jié)果

圖6 改進(jìn)SIFT算法配準(zhǔn)結(jié)果

統(tǒng)計(jì)配準(zhǔn)精度、配準(zhǔn)點(diǎn)個(gè)數(shù)以及配準(zhǔn)時(shí)間如表4所示。

表4 實(shí)驗(yàn)結(jié)果對(duì)比

3 結(jié)論

文中提出了一種改進(jìn)SIFT 的室內(nèi)全景圖像配準(zhǔn)算法，提取特征點(diǎn)的過程中通過改變高斯金字塔的結(jié)構(gòu)進(jìn)行快速特征點(diǎn)提取。此外，在特征點(diǎn)描述時(shí)使用了BRIEF 特征描述子來代替SIFT 特征描述子，并使用KNN 算法完成特征點(diǎn)的匹配，最終高效的完成了室內(nèi)全景圖像配準(zhǔn)工作。實(shí)驗(yàn)結(jié)果表明，在室內(nèi)全景圖像的配準(zhǔn)任務(wù)中，該算法較原始SIFT算法，大大縮短了配準(zhǔn)時(shí)間，并提高了配準(zhǔn)準(zhǔn)確率，可以高效的完成室內(nèi)全景圖像的配準(zhǔn)任務(wù)。