丁 輝,李麗宏*,原 鋼
(1. 太原理工大學(xué)電氣與動(dòng)力工程學(xué)院,太原030000; 2. 中國(guó)煤炭科工集團(tuán)太原研究院,太原030000)
(?通信作者電子郵箱ya721@163.com)
圖像拼接和圖像配準(zhǔn)是圖像處理中十分重要的部分。其中圖像配準(zhǔn)是圖像拼接的基礎(chǔ),也是圖像拼接最重要的一個(gè)環(huán)節(jié)。圖像配準(zhǔn)在醫(yī)療衛(wèi)生[1]、機(jī)器人[2]、自動(dòng)駕駛[3]、人臉識(shí)別[4]、圖像檢索[5]、目標(biāo)跟蹤等領(lǐng)域都有廣泛的應(yīng)用。圖像配準(zhǔn)大致可分為灰度分析和基于特征分析兩種方法[6-7]?;叶确治鲋饕且活?lèi)特定模板對(duì)目標(biāo)圖像基于灰度評(píng)價(jià)函數(shù)的滑動(dòng)匹配,受光照、角度和尺度變換影響較大;而基于特征分析的配準(zhǔn)方法由于對(duì)光照等魯棒性較好,現(xiàn)已成為該領(lǐng)域主流的分析方法。
基于特征的圖像配準(zhǔn)分析方法大致可分為三個(gè)步驟:特征點(diǎn)提取、特征點(diǎn)匹配、計(jì)算空間變換模型。對(duì)于特征點(diǎn)提取算法,有經(jīng)典的尺度不變特征轉(zhuǎn)換(Scale-Invariant Feature Transform,SIFT)[8],還有在其基礎(chǔ)上基于速度和精度方面的優(yōu)化;在提取速度優(yōu)化方面有SURF(Speeded Up Robust Features)[9]、ORB(Oriented FAST and Rotated BRIEF)[10]、AKAZE(Accelerated-KAZE)[11]等算法;在提取精度優(yōu)化方面有PCA-SIFT(Principal Component Analysis-SIFT)[12]、ASIFT(Affine-SIFT)[13]等。特征點(diǎn)描述子粗匹配通常采用暴力匹配原則(Brute-Force)與快速最近鄰搜索庫(kù)(Fast Library for Approximate Nearest Neighbors,F(xiàn)LANN)[14];而在特征點(diǎn)精匹配步驟中,普遍使用隨機(jī)抽樣一致性(RANDom SAmple Consensus,RANSAC)算法[15]進(jìn)行錯(cuò)誤點(diǎn)剔除。但當(dāng)樣本數(shù)據(jù)繁多且模型外干擾點(diǎn)數(shù)量大時(shí),算法局部最優(yōu)模型收斂時(shí)間會(huì)呈指數(shù)型增長(zhǎng);同時(shí)剔除后也會(huì)存在一些明顯的錯(cuò)誤匹配點(diǎn)。為了兼顧配準(zhǔn)速度和精度,Bian 等[16]提出一種基于網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì)(Grid-based Motion Statistics,GMS)的算法,該算法利用網(wǎng)格將粗匹配點(diǎn)區(qū)域化,統(tǒng)計(jì)各小區(qū)域中匹配關(guān)系的特征點(diǎn)數(shù)量,以此進(jìn)行錯(cuò)誤匹配剔除。該算法運(yùn)行速度能達(dá)到實(shí)時(shí)效果,缺點(diǎn)是會(huì)有明顯的匹配錯(cuò)誤沒(méi)有剔除。朱成德等[17]提出一種通過(guò)根據(jù)左右圖匹配對(duì)距離相近原理改進(jìn)的RANSAC 算法,算法原理簡(jiǎn)單易懂,運(yùn)行速度快;但該算法通過(guò)一個(gè)距離范圍進(jìn)行錯(cuò)誤點(diǎn)剔除,當(dāng)配準(zhǔn)圖像是大視角旋轉(zhuǎn)縮放時(shí),正確匹配對(duì)也會(huì)有極大的距離,這種情況下算法會(huì)把大量正確匹配點(diǎn)進(jìn)行剔除,故對(duì)于有縮放和旋轉(zhuǎn)的圖像配準(zhǔn)效果并不好。Barath 等[18]提出圖割隨機(jī)抽樣一致性(Graph-Cut RANSAC,GC-RANSAC)算法,該算法通過(guò)在RANSAC 的局部?jī)?yōu)化環(huán)節(jié)利用圖割算法(能量函數(shù))區(qū)分內(nèi)野點(diǎn),優(yōu)化效果和全局最優(yōu)模型都極佳,缺點(diǎn)就是當(dāng)野點(diǎn)較多時(shí),算法的運(yùn)行速度受到極大限制。
針對(duì)以上各算法缺陷,本文提出一種融合GMS 與VCS+GC-RANSAC 圖像配準(zhǔn)算法:首先通過(guò)ORB 對(duì)圖像進(jìn)行特征點(diǎn)提取并對(duì)特征點(diǎn)進(jìn)行暴力匹配;之后通過(guò)GMS 算法對(duì)圖像做網(wǎng)格劃分,利用網(wǎng)格中正確匹配點(diǎn)具有一定的特征支持量原理對(duì)粗匹配對(duì)進(jìn)行第一次剔除;接著利用圖像特征點(diǎn)與正確匹配點(diǎn)構(gòu)成的向量可由指定向量相加而成,應(yīng)用矢量系數(shù)相似性(Vector Coefficient Similarity,VCS)原理對(duì)匹配對(duì)進(jìn)行進(jìn)一步剔除、整理,減小錯(cuò)誤匹配所占比例,以利于后面算法減少迭代次數(shù)與運(yùn)行時(shí)間;最后利用GC-RANSAC 算法建立局部最優(yōu)模型,得到高精度配準(zhǔn)圖像。
網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì)(GMS)算法[16]是一種基于匹配對(duì)鄰域特征點(diǎn)支持量的評(píng)價(jià)方法。它主要是對(duì)經(jīng)過(guò)ORB 特征提取以及暴力粗匹配后的特征匹配進(jìn)行過(guò)濾。圖1為GMS鄰域特征點(diǎn)支持量原理示意圖。以圖1 為例,正確匹配對(duì)鄰域內(nèi)有兩個(gè)正確匹配支持量,而錯(cuò)誤匹配對(duì)鄰域內(nèi)沒(méi)有正確匹配對(duì)對(duì)其支持。具體算法原理如下:假定標(biāo)準(zhǔn)圖和待匹配圖分別為Ia、Ib,其上有兩個(gè)已匹配完成的粗匹配區(qū)域Ra、Rb。假定Ra中含有n 個(gè)特征點(diǎn)集合{a1,a2,…,an},Rb中含有相對(duì)應(yīng)的n 個(gè)特征點(diǎn)集合{b1,b2,…,bn}。Ra、Rb區(qū)域的n 個(gè)匹配對(duì)集合為{x1,x2,…,xn},其中xi=(ai,bi)表示一對(duì)特征點(diǎn)匹配對(duì)。設(shè)Si為xi匹配正確時(shí),其鄰域Ra中特征點(diǎn)支持量,則
圖1 GMS鄰域特征點(diǎn)支持量原理示意圖Fig. 1 Schematic diagram of GMS neighborhood feature point support principle
由式(5)可知,當(dāng)Ra、Rb匹配錯(cuò)誤時(shí),Ra中一個(gè)特征點(diǎn)恰好還匹配到Rb區(qū)域的一個(gè)特征點(diǎn)幾率近乎為0,至此便證明錯(cuò)誤特征匹配對(duì)鄰域內(nèi)近乎沒(méi)有特征匹配對(duì)支持的理論。
由式(3)、(4)可知,特征匹配鄰域內(nèi)特征點(diǎn)支持量符合二項(xiàng)分布,即:
為了提高匹配速度,將標(biāo)準(zhǔn)圖與配準(zhǔn)圖像網(wǎng)格化;同時(shí),為了將正確匹配時(shí)特征點(diǎn)支持量與錯(cuò)誤匹配時(shí)特征點(diǎn)支持量差距拉大,統(tǒng)計(jì)目標(biāo)網(wǎng)格及其周?chē)? 個(gè)網(wǎng)格的特征點(diǎn)支持量作為目標(biāo)網(wǎng)格區(qū)域某一特征匹配的支持量。因此,鄰域特征點(diǎn)支持量變?yōu)?
其中:K 代表與所在網(wǎng)格區(qū)域相鄰不相交的網(wǎng)格數(shù)。由式(7)可得Si標(biāo)準(zhǔn)差與均值:
根據(jù)Si的標(biāo)準(zhǔn)差與均值設(shè)定區(qū)分正確與錯(cuò)誤匹配鄰域特征點(diǎn)支持量閾值:
在實(shí)驗(yàn)中發(fā)現(xiàn)mf通常極小,而Sf較大,同時(shí)α較大可以有極高的置信度拒絕大量錯(cuò)誤匹配對(duì),所以mf可以忽略,即:
對(duì)于一個(gè)網(wǎng)格區(qū)分正確與錯(cuò)誤匹配鄰域特征點(diǎn)支持量閾值
其中:na表示9個(gè)網(wǎng)格中特征總數(shù)的平均值。
通過(guò)式(11),將待配準(zhǔn)網(wǎng)格中粗匹配對(duì)鄰域特征點(diǎn)支持量大于τi保留,將小于τi的粗匹配點(diǎn)剔除,即完成了GMS算法對(duì)粗匹配對(duì)的篩選。
圖2 匹配過(guò)程中各事件的相互關(guān)系Fig.2 Relationship between events in matching process
圖割隨機(jī)抽樣一致性(GC-RANSAC)[18]于2018 年被提出,旨在克服一些傳統(tǒng)RANSAC算法不足。通過(guò)實(shí)驗(yàn)和仿真,其在一系列問(wèn)題上(直線擬合、仿射矩陣、基本矩陣的估計(jì))的結(jié)果比傳統(tǒng)RANSAC算法更加精確。
傳統(tǒng)RANSAC主要算法步驟為:
1)隨機(jī)挑選計(jì)算模型所需最小點(diǎn)數(shù)子集;
2)計(jì)算模型相關(guān)參數(shù);
3)計(jì)算所建立模型與所有點(diǎn)的距離,根據(jù)距離閾值將點(diǎn)集內(nèi)點(diǎn)分為內(nèi)點(diǎn)與野點(diǎn);
4)保存內(nèi)點(diǎn)個(gè)數(shù)和模型對(duì)應(yīng)的基礎(chǔ)矩陣;
5)重復(fù)以上步驟,迭代k次得到k個(gè)模型及其對(duì)應(yīng)的內(nèi)點(diǎn)與基礎(chǔ)矩陣;
6)通過(guò)評(píng)價(jià)函數(shù)比較k個(gè)模型,最后輸出最好模型。
GC-RANSAC 主要對(duì)傳統(tǒng)RANSAC 算法的步驟3)(局部最優(yōu))進(jìn)行優(yōu)化改進(jìn),傳統(tǒng)RANSAC算法對(duì)于模型內(nèi)點(diǎn)和野點(diǎn)的區(qū)分僅僅依靠一個(gè)閾值,沒(méi)有考慮數(shù)據(jù)的空間結(jié)構(gòu)。傳統(tǒng)RANSAC根據(jù)式(12)區(qū)分內(nèi)野點(diǎn):
其中:P 為點(diǎn)集中一點(diǎn);θ代表模型;φ 為距離函數(shù);ε 代表點(diǎn)距模型距離的閾值。
GC-RANSAC 算法提出運(yùn)用一元能量函數(shù)對(duì)內(nèi)野點(diǎn)區(qū)分進(jìn)行改進(jìn):
式(13)中:一元能量函數(shù)Ek(L)表示對(duì)點(diǎn)集Ω中單個(gè)點(diǎn)P與模型距離進(jìn)行懲罰。由式(14)、(15)可知,當(dāng)標(biāo)簽為1(內(nèi)點(diǎn))距離模型越近懲罰越小,當(dāng)標(biāo)簽為0(野點(diǎn))距離模型越近懲罰力度越大。將所有點(diǎn)懲罰值相加便得到一元能量函數(shù)。
當(dāng)數(shù)據(jù)包含很多野點(diǎn),且這些野點(diǎn)與模型距離也比較近,在這種情況下,對(duì)不同標(biāo)記的鄰近點(diǎn)使用相同懲罰會(huì)導(dǎo)致野點(diǎn)的主導(dǎo)優(yōu)勢(shì),這樣會(huì)使所有內(nèi)點(diǎn)被標(biāo)記為野點(diǎn)。針對(duì)這一問(wèn)題,GC-RANSAC算法通過(guò)考慮點(diǎn)與點(diǎn)之間的空間結(jié)構(gòu)一致性,提出基于空間一致性的能量函數(shù)Es(L):
將兩個(gè)能量函數(shù)結(jié)合成一個(gè)多項(xiàng)式,該多項(xiàng)式既考慮點(diǎn)對(duì)模型的匹配度又考慮空間結(jié)構(gòu)一致性,即
其中:λ是一個(gè)平衡參數(shù)。
全局最佳標(biāo)記L*= min E(L),利用圖割算法可計(jì)算得到E(L)的最小值時(shí)點(diǎn)集標(biāo)記。
盡管GC-RANSAC 較之前RANSAC 和LO-RANSAC 算法,大幅提高了精度,但當(dāng)野點(diǎn)(在圖像配準(zhǔn)中即為錯(cuò)誤匹配點(diǎn))比例占點(diǎn)集數(shù)量(匹配集)較大時(shí),算法可能會(huì)迭代很多次才能找到局部最優(yōu)模型,這樣算法的運(yùn)行速度和效率就會(huì)受到極大影響。
在圖像配準(zhǔn)中,即使圖像經(jīng)過(guò)縮放、旋轉(zhuǎn)、平移,但其各個(gè)特征點(diǎn)與特定的穩(wěn)定特征點(diǎn)之間位置相對(duì)關(guān)系并不會(huì)有很大改變(穩(wěn)定特征點(diǎn)與各個(gè)特征點(diǎn)構(gòu)成一個(gè)整體),即由基向量運(yùn)算得到的特征點(diǎn)矢量系數(shù)不會(huì)有太大的突變。
由此本文提出一種基于矢量系數(shù)相似性(VCS)原理對(duì)錯(cuò)誤匹配特征點(diǎn)進(jìn)行部分剔除的方法。以下為原理詳解。
根據(jù)平面向量基本原理提出假設(shè):任一平面內(nèi)任一向量均可以由兩不共線的向量相加得到,經(jīng)基本仿射變換后,該向量表示形式不變。
由式(20)可得:
將式(18)代入式(21),可得
合并其他項(xiàng)整理得:
同理可證:
對(duì)比式(19)、(22)可證向量經(jīng)仿射變換后由兩向量相加的系數(shù)不變性??紤]到一些客觀問(wèn)題,本文算法將通過(guò)一個(gè)系數(shù)相似性閾值進(jìn)行錯(cuò)誤匹配剔除。
綜上,基于VCS的GC-RANSAC算法步驟如下:
1)挑選3 組穩(wěn)定、正確且不共線的匹配對(duì),將匹配圖與待匹配圖的3個(gè)特征點(diǎn)組成兩特征基向量;
2)將待評(píng)價(jià)的匹配對(duì)分別與穩(wěn)定匹配對(duì)之一組成向量,并求得它們?cè)谔卣骰蛄肯碌南禂?shù)值;
3)將對(duì)應(yīng)的系數(shù)值做相似度對(duì)比,判斷相似度值是否大于給定相似閾值T,符合條件的匹配對(duì)即組成樣本集S;
4)將樣本集S作為GC-RANSAC 算法待檢測(cè)樣本,求出局部最優(yōu)模型。
為了驗(yàn)證本文所提改進(jìn)算法運(yùn)行速度與匹配精度的優(yōu)異性,將本文算法與SIFT+RANSAC、ASIFT+RANSAC、GMS+GCRANSAC、AKAZE+RANSAC、GMS 進(jìn)行比較,測(cè)試平臺(tái)為個(gè)人筆記本:其中操作系統(tǒng)Windows 7,Intel core i5-4210M CPU@2.6 GHz 內(nèi)存為4 GB,算法通過(guò)Visual Studio 2015 編譯平臺(tái)編寫(xiě)C++代碼進(jìn)行實(shí)現(xiàn),測(cè)試數(shù)據(jù)集為Oxford 標(biāo)準(zhǔn)仿射變換圖集及現(xiàn)實(shí)拍攝圖集。
采用匹配正確率(Correct Matching Rate,CMR)[20]與匹配時(shí)間兩個(gè)指標(biāo)對(duì)算法進(jìn)行綜合評(píng)價(jià),其中CMR 評(píng)價(jià)指標(biāo)的定義為:
其中:nc為特征點(diǎn)對(duì)匹配正確的數(shù)目;nt為算法得到的總的匹配對(duì)數(shù)目。nc可由Oxford 圖集所提供的仿射變換矩陣真值獲得。
圖3 展現(xiàn)了本文算法與SIFT+RANSAC、AKAZE+RANSAC、GMS 算法在Oxford 圖集的6 個(gè)子數(shù)據(jù)集的CMR 對(duì)比。實(shí)驗(yàn)序號(hào)1~5 是各個(gè)算法在測(cè)試數(shù)據(jù)集序號(hào)2~6 的圖像與標(biāo)準(zhǔn)圖1 配準(zhǔn)結(jié)果。數(shù)據(jù)集中包含了光照明暗對(duì)比(Leuven),視角尺度對(duì)比(Wall、Graf、Boat)以及模糊度對(duì)比(Trees、Bikes)三類(lèi)配準(zhǔn)測(cè)試圖像。由圖3(a)、(b)可以看出本文算法在處理模糊配準(zhǔn)方面相較于其他三種算法更加穩(wěn)定,匹配精度平均可達(dá)92%以上;四種算法在光照強(qiáng)度對(duì)比方面(圖3(f))匹配準(zhǔn)確率相差不多,但本文算法仍具有些許優(yōu)勢(shì)。在視角尺度變化方面(圖3(c)~(e))可以看出所有算法在實(shí)驗(yàn)5 匹配精度近乎為0,這是因?yàn)橐暯亲儞Q太大時(shí),匹配難度呈指數(shù)型增長(zhǎng),而本文算法也因GMS 算法所提鄰域特征點(diǎn)支持量急劇下降,導(dǎo)致正確匹配率驟跌。但本文算法相較于其他三種算法在前4 次實(shí)驗(yàn)仍有較大優(yōu)勢(shì)。而且本文算法相較于文獻(xiàn)[17]算法在視角尺度方面(圖3(c)實(shí)驗(yàn)5 以及圖3(e)實(shí)驗(yàn)4)也具有一定優(yōu)勢(shì),這主要是由于GC-RANSAC 相比RANSAC有更強(qiáng)的局部最優(yōu)模型的刻畫(huà)。
圖3 不同算法在Oxford數(shù)據(jù)集上的CMR實(shí)驗(yàn)Fig.3 CMR experiment for different algorithms on Oxford dataset
為了展示本文算法與其他算法的不同,下面將對(duì)算法綜合指標(biāo)進(jìn)行評(píng)價(jià)。圖4(b)~(f)展示了以O(shè)xford 圖集中bark子數(shù)據(jù)集實(shí)驗(yàn)5 為例(原圖為圖4(a)),應(yīng)用本文算法與ASIFT+RANSAC、AKAZE+RANSAC、GMS、GMS+GC-RANSAC 算法進(jìn)行圖像配準(zhǔn)的結(jié)果。Bark子數(shù)據(jù)集是Oxford數(shù)據(jù)集中配準(zhǔn)難度最大的數(shù)據(jù)集,包含了極大角度的視角轉(zhuǎn)變和尺寸縮放,這對(duì)配準(zhǔn)提出了極大挑戰(zhàn),表1 是本文算法在Bark 子數(shù)據(jù)集實(shí)驗(yàn)的量化展現(xiàn)。由圖4配準(zhǔn)圖可以看出,ASIFT等算法較本文算法有更多特征匹配對(duì),但本文算法匹配對(duì)平順且無(wú)明顯的錯(cuò)誤匹配對(duì),ASIFT 算法雖然有很多特征對(duì)匹配出現(xiàn),但匹配雜亂無(wú)章,有許多可見(jiàn)錯(cuò)誤匹配對(duì)。AKAZE+RANSAC 與GMS 匹配雖然較本文算法運(yùn)行速度較快,但在配準(zhǔn)圖示中可以清晰可見(jiàn)有錯(cuò)誤匹配對(duì)。GMS+GC-RANSAC算法匹配圖也有可見(jiàn)的錯(cuò)誤匹配對(duì)。遵循配準(zhǔn)中正確率首要的準(zhǔn)則,雖配準(zhǔn)數(shù)量較少但匹配平順且無(wú)明顯的錯(cuò)誤匹配對(duì)的本文算法,相對(duì)于其他4個(gè)算法具有一定優(yōu)勢(shì)。
表1 不同算法在Bark數(shù)據(jù)集實(shí)驗(yàn)5的運(yùn)行結(jié)果比較Tab. 1 Comparison of running results of different algorithms in Bark dataset experiment 5
圖4 Bark數(shù)據(jù)集上實(shí)驗(yàn)5原圖及不同算法的配準(zhǔn)結(jié)果Fig.4 Original image and registration results of different algorithms of experiment 5 in Bark dataset
通過(guò)表1 各算法表現(xiàn)分析在全局表現(xiàn)中,本文算法在平均匹配精度上提高了30.34%,平均匹配時(shí)間縮短了0.54 s。在局部對(duì)比方面,本文算法雖然比ASIFT 算法最后得到的匹配對(duì)數(shù)量少,但匹配正確率比ASIFT 高3.465 個(gè)百分點(diǎn),且運(yùn)行時(shí)間幾乎僅是ASIFT 的一半,這對(duì)實(shí)時(shí)性要求高的情況是非常重要的。本文算法較AKAZE、GMS 的運(yùn)行時(shí)間分別多了0.734 s、0.503 s,這是由于GC-RANSAC 算法比RANSAC 尋找局內(nèi)最優(yōu)模型需要更多時(shí)間,而且GMS 的算法鄰域特征點(diǎn)支持量也需要比其他暴力匹配算法需要更多的時(shí)間;但匹配精度比兩種算法分別提高了62.12%、52.03%。這種在大視角變換情況下的配準(zhǔn)正確率提高是十分重要的,是求取配準(zhǔn)圖與待配準(zhǔn)圖之間的仿射變換矩陣真值,進(jìn)行真實(shí)圖像拼接的十分重要一步。本文算法由于在GC-RANSAC 之前對(duì)樣本進(jìn)行了一次篩選,故而比GMS+GC-RANSAC 擬合最優(yōu)模型迭代次數(shù)更少,運(yùn)行時(shí)間更短,同時(shí)正確率也有提高。綜上所述,考慮配準(zhǔn)確率及運(yùn)行時(shí)間兩個(gè)評(píng)價(jià)指標(biāo),本文算法優(yōu)于其他4種算法。
為進(jìn)一步展示本文算法的實(shí)用性,對(duì)現(xiàn)實(shí)所拍實(shí)物圖集進(jìn)行配準(zhǔn),該圖集包含了煤礦巷道所用液壓支架的大角度視角變換和重復(fù)性紋理物體在暗光嚴(yán)峻條件的大角度視角變換。從如圖5 所示的配準(zhǔn)效果中可以看出,配準(zhǔn)平順無(wú)明顯錯(cuò)誤對(duì),本文算法在實(shí)用性方面有很好表現(xiàn)。
圖5 本文算法在現(xiàn)實(shí)所拍數(shù)據(jù)集上的配準(zhǔn)效果Fig.5 Registration results of the proposed algorithm on real dataset
本文針對(duì)現(xiàn)有配準(zhǔn)算法在復(fù)雜環(huán)境中配準(zhǔn)正確率較低、配準(zhǔn)時(shí)間較長(zhǎng)的問(wèn)題,提出融合GMS 與VCS+GC-RANSAC 的配準(zhǔn)算法,經(jīng)權(quán)威數(shù)據(jù)集以及現(xiàn)實(shí)所拍圖集的測(cè)試對(duì)比與驗(yàn)證,說(shuō)明了本文算法的魯棒性和高效性均有提高。但算法在大角度視角轉(zhuǎn)變環(huán)境下的一些配準(zhǔn)仍存在欠缺,改進(jìn)本文算法以期在復(fù)雜視角下的配準(zhǔn)取得更好效果是下一步研究的方向。