融入曲率尺度空間算法的圖像配準(zhǔn)方法

章 盛,李培華,錢名思,劉玉莉

(1.中航華東光電有限公司,安徽 蕪湖 241002；2.安徽省現(xiàn)代顯示技術(shù)重點(diǎn)實(shí)驗(yàn)室,安徽 蕪湖 241002；3.國(guó)家特種顯示工程技術(shù)研究中心,安徽 蕪湖 241002；4.特種顯示國(guó)家工程實(shí)驗(yàn)室,安徽 蕪湖 241002)

1 引 言

圖像配準(zhǔn)普遍應(yīng)用在遙感圖像配準(zhǔn)[1]、醫(yī)學(xué)圖像配準(zhǔn)[2]和全景顯示[3]等領(lǐng)域,其中2006年Herbert Bay等人提出的加速穩(wěn)健特征(Speeded Up Robust Features,SURF)算法[4]是經(jīng)典的圖像配準(zhǔn)算法,其以尺度不變特征變換(Scale Invariant Feature Transform,SIFT)算法[5-6]為基礎(chǔ)對(duì)圖像特征的提取和描述進(jìn)行了優(yōu)化,結(jié)果是在保持了平移、旋轉(zhuǎn)與尺度等變化不變性的前提下提升了執(zhí)行效率。近年來(lái),科研者根據(jù)SURF算法存在實(shí)時(shí)性問(wèn)題,提出了將角點(diǎn)提取算法融入傳統(tǒng)SURF算法的想法,互取優(yōu)勢(shì),例如葛盼盼等人于2014年提出的Harris-SURF算法[7],彭勃宇等人于2015年提出的SUSAN-SURF算法[8],張敬麗等人于2016年提出的MIC-SURF算法[9],產(chǎn)葉林等人于2019年提出的FAST-SURF算法[10],四種改進(jìn)算法最終得到的結(jié)論是在圖像配準(zhǔn)實(shí)時(shí)性方面得到了改善；同時(shí)由于SURF算法具備很好的穩(wěn)健性,許金鑫等人于2017年使用形態(tài)學(xué)邊緣檢測(cè)算法對(duì)待配準(zhǔn)圖像進(jìn)行預(yù)處理,然后利用SURF算法進(jìn)行異源圖像的配準(zhǔn),并將優(yōu)化SURF算法應(yīng)用于電氣設(shè)備圖像的配準(zhǔn),為異源圖像的配準(zhǔn)提供了一種途徑[11]；2018年,王民等人利用壓縮感知原理[12]對(duì)SURF算法生成的描述子向量進(jìn)行降維處理,提升了實(shí)時(shí)性并應(yīng)用于手語(yǔ)關(guān)鍵幀的配準(zhǔn)[13]。

針對(duì)實(shí)時(shí)性要求比較高的應(yīng)用場(chǎng)景,傳統(tǒng)SURF算法表現(xiàn)出其在實(shí)時(shí)性方面的不足,本文首先針對(duì)圖像角點(diǎn)特征提取耗時(shí)長(zhǎng)的問(wèn)題,使用曲率尺度空間(Curvature Scale Space,CSS)算法[14]提取圖像角點(diǎn)特征,然后針對(duì)圖像角點(diǎn)特征匹配耗時(shí)長(zhǎng)的問(wèn)題,使用改進(jìn)SURF描述子、改進(jìn)相似性距離算法和隨機(jī)采樣一致性((Random Sample Consensus,RANSAC)[15]算法對(duì)圖像角點(diǎn)特征描述子的形成和匹配進(jìn)行改進(jìn),最終得到CSS-SPP-SURF算法。

2 CSS-SPP-SURF算法

CSS-SPP-SURF算法按照實(shí)現(xiàn)流程分成三個(gè)步驟:①圖像角點(diǎn)特征的提??；②圖像角點(diǎn)特征描述子向量的生成和降維；③圖像角點(diǎn)特征的匹配。CSS-SPP-SURF算法的實(shí)現(xiàn)流程框圖如圖1所示。

2.1 圖像角點(diǎn)特征的提取

Mokhtarian和Suomela團(tuán)隊(duì)于1998年提出的一種基于曲線曲率的圖像角點(diǎn)特征提取算法,即CSS算法,其是在Canny算法[16]的基礎(chǔ)上延伸的算法,該算法提取圖像角點(diǎn)特征分為三步:

圖1 CSS-SPP-SURF算法的實(shí)現(xiàn)流程框圖

①采用Canny算法生成邊緣輪廓圖像；②在尺度空間的低尺度上使用局部曲率極大值提取圖像角點(diǎn)特征,并向高尺度跟蹤定位這個(gè)圖像角點(diǎn)特征；③與T型角點(diǎn)特征作比較剔除相近的角點(diǎn)特征中一個(gè)。曲線的曲率κ的函數(shù)表達(dá)式的如式(1)所示:

κ(μ,σ)=

(1)

其中,κ(μ,σ)表示曲線的曲率；Xμ(μ,σ),Xμμ(μ,σ)分別表示X(μ,σ)的一階、二階導(dǎo)數(shù)；Yμ(μ,σ),Yμμ(μ,σ)分別表示Y(μ,σ)的一階、二階導(dǎo)數(shù)；μ表示弧長(zhǎng)參數(shù)；σ表示尺度因子。

針對(duì)公式(1),X(μ,σ)和Y(μ,σ)的一階、二階導(dǎo)數(shù)的表達(dá)式分別如式(2)～(5)所示:

=x(μ)?gμ(μ,σ)

(2)

=x(μ)?gμμ(μ,σ)

(3)

=y(μ)?gμ(μ,σ)

(4)

=y(μ)?gμμ(μ,σ)

(5)

其中,Xμ(μ,σ),Xμμ(μ,σ)分別表示X(μ,σ)的一階、二階導(dǎo)數(shù)；Yμ(μ,σ),Yμμ(μ,σ)分別表示Y(μ,σ)的一階、二階導(dǎo)數(shù)；x(μ)和y(μ)分別表示曲線上點(diǎn)的橫坐標(biāo)和縱坐標(biāo)；g(μ,σ)表示以尺度因子σ為參數(shù)的高斯函數(shù);μ表示弧長(zhǎng)參數(shù);σ表示尺度因子;?表示卷積運(yùn)算;gu(μ,σ),guu(μ,σ)分別表示g(μ,σ)的一階、二階導(dǎo)數(shù)。

2.2 改進(jìn)SURF描述子

CSS-SPP-SURF算法生成圖像角點(diǎn)特征描述子向量分為兩個(gè)階段,階段一是利用Haar小波生成64維圖像角點(diǎn)特征描述子向量,階段二是利用稀疏投影原理將64維圖像角點(diǎn)特征描述子向量降維到24維,仿真實(shí)驗(yàn)中發(fā)現(xiàn)降維到12維,圖像角度特征的匹配速度有一定提升,但匹配效果不太理想,綜合考慮選擇降維到24維。

針對(duì)階段一得到64維圖像角點(diǎn)特征描述子向量,假定其為K,首先利用小波變換基矩陣Ψ將64維描述子向量轉(zhuǎn)換為64維稀疏矩陣Y,然后利用稀疏投影矩陣R∈R24×64將64維稀疏矩陣Y轉(zhuǎn)換為24維測(cè)量向量K′,最后將得到的24維測(cè)量向量K′作為圖像角點(diǎn)特征描述子向量,如式(6)所示:

K′=RY=RΨK

(6)

其中,K′表示24維測(cè)量向量;R表示24×64維的稀疏投影矩陣;Y表示64維的稀疏向量;Ψ表示64×64維的小波變換基矩陣;K表示64維的圖像角點(diǎn)特征描述子向量。

2.3 圖像角點(diǎn)特征的匹配

圖像角點(diǎn)特征的匹配分為兩個(gè)階段,階段一使用改進(jìn)的相似性距離算法進(jìn)行粗匹配；階段二使用RANSAC算法進(jìn)行精匹配。

階段一假設(shè)對(duì)圖像L與圖像R的圖像角點(diǎn)特征進(jìn)行粗匹配實(shí)驗(yàn),設(shè)定圖像L的圖像角點(diǎn)特征描述子向量為Ui(x1,x2,x3,…,x22,x23,x24),圖像R的圖像角點(diǎn)特征描述子向量為Vj(y1,y2,y3,…,y22,y23,y24),整個(gè)匹配實(shí)驗(yàn)過(guò)程分為三個(gè)步驟:

步驟1:圖像L到圖像R采用曼哈頓距離進(jìn)行相似性距離度量,曼哈頓距離定義式如式(7)所示,同時(shí)相似性距離的最小值和次最小值的比值滿足公式(8),遍歷圖像L的圖像角點(diǎn)特征集U,得到匹配圖像角點(diǎn)特征集A。

(7)

其中,d(Ui,Vj)表示圖像角點(diǎn)特征之間的相似性距離;xm表示圖像L中圖像角點(diǎn)特征描述子向量的元素;ym表示圖像R中圖像角點(diǎn)特征描述子向量的元素。

(8)

其中,d(Ui,V1j)、d(Ui,V2j)分別表示特征集U中的特征Ui與特征集V中的最近鄰特征V1j、次最近鄰特征V2j的相似性距離;Th1表示閾值,本文設(shè)定Th1的值為0.75。

步驟2:圖像R到圖像L采用歐式距離進(jìn)行相似性距離度量,歐式距離定義式如式(9)所示,同時(shí)相似性距離的最小值和次最小值的比值滿足式(10)所示,遍歷圖像R的圖像角點(diǎn)特征集V,得到匹配圖像角點(diǎn)特征集B。

(9)

其中,d(Vj,Ui)表示圖像角點(diǎn)特征之間的相似性距離;ym表示圖像R中圖像角點(diǎn)特征描述子向量的元素;xm表示圖像L中圖像角點(diǎn)特征描述子向量的元素。

(10)

其中,d(Vj,U1i)、d(Vj,U2i)分別表示特征集V中的特征Vj與特征集U中的最近鄰特征U1i、次最近鄰特征U2i的相似性距離;Th2表示閾值,本文設(shè)定Th2的值為0.75。

步驟3:比較匹配圖像角點(diǎn)特征集A與B,選取完全相同的匹配圖像角點(diǎn)特征組成備用的匹配圖像角點(diǎn)特征集M。

階段二采用RANSAC算法對(duì)階段一得到的備用匹配圖像角點(diǎn)特征集M進(jìn)行進(jìn)一步提純,得到最終的匹配圖像角點(diǎn)特征集F。

3 仿真實(shí)驗(yàn)

實(shí)驗(yàn)仿真軟件為MATLAB R2014a,實(shí)驗(yàn)仿真硬件為計(jì)算機(jī),計(jì)算機(jī)的中央處理器配置是Intel Core i3-3240 CPU @ 3.40GHz (4 CPUs)、內(nèi)存配置是4096MB RAM、操作系統(tǒng)配置是Windows 7 旗艦版32位。

仿真實(shí)驗(yàn)分為兩個(gè)階段,第一階段選用立體匹配庫(kù)中的Venus可見光圖像、異源融合庫(kù)中的Jeep_in_Smoke紅外圖像和Normal Medical Database庫(kù)中的手部CT醫(yī)學(xué)圖像作為仿真實(shí)驗(yàn)一圖像,其中圖2(a) ～ (d)是立體匹配庫(kù)中的Venus源、右視、形變和旋轉(zhuǎn)圖像,像素大小為434×383；圖2 (a2) ～ (d2)是異源融合庫(kù)中Jeep_in_Smoke紅外源、右視、形變和旋轉(zhuǎn)圖像,像素大小為580×450；圖2 (a3) ～(d3)是Normal Medical Database庫(kù)中的手部CT醫(yī)學(xué)源、右視、形變和旋轉(zhuǎn)圖像,像素大小為240×256；以驗(yàn)證CSS-SPP-SURF算法對(duì)不同源圖像的可行性。第二階段選用立體匹配庫(kù)中不同規(guī)模的圖像庫(kù)作為仿真實(shí)驗(yàn)二圖像,立體匹配庫(kù)中每對(duì)待配準(zhǔn)圖像僅有源、右視兩張圖像,以驗(yàn)證CSS-SPP-SURF算法的普遍適應(yīng)性。

圖2 實(shí)驗(yàn)一的待配準(zhǔn)圖像

仿真實(shí)驗(yàn)一使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法對(duì)實(shí)驗(yàn)一圖像進(jìn)行圖像配準(zhǔn)實(shí)驗(yàn),實(shí)驗(yàn)步驟分為三步:①圖2(a)分別與圖2(b)～(d)進(jìn)行圖像配準(zhǔn)實(shí)驗(yàn)；②圖2(a2)分別圖2(b2)～(d2)進(jìn)行圖像配準(zhǔn)實(shí)驗(yàn)；③圖2(a3)分別與圖2(b3)～(d3)進(jìn)行圖像配準(zhǔn)實(shí)驗(yàn),最終得到圖像角點(diǎn)特征的檢測(cè)結(jié)果圖如圖3(a)～(r4)所示,圖像角點(diǎn)特征的匹配結(jié)果圖如圖4(a)～(i6)所示。

仿真實(shí)驗(yàn)一為了比較CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法之間的效率,選取待配準(zhǔn)圖像的角點(diǎn)特征數(shù)目、角點(diǎn)特征匹配數(shù)目、角點(diǎn)特征正確匹配數(shù)目、圖像配準(zhǔn)準(zhǔn)確率、圖像配準(zhǔn)時(shí)間與圖像配準(zhǔn)時(shí)間下降率共六個(gè)指標(biāo)作為評(píng)價(jià)依據(jù),其中圖像配準(zhǔn)準(zhǔn)確率和圖像配準(zhǔn)時(shí)間下降率的計(jì)算公式如式(11)、(12)所示,仿真實(shí)驗(yàn)數(shù)據(jù)對(duì)比分析圖如圖5(a)～(f)所示,通過(guò)圖5(d)可知,CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法相比,在圖像配準(zhǔn)的準(zhǔn)確率方面相當(dāng)。通過(guò)圖5(f)可知,CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法相比,在圖像配準(zhǔn)的速度方面具有一定的優(yōu)勢(shì)。

(11)

(12)

圖3 圖像角點(diǎn)特征的提取結(jié)果圖

其中,圖3(a)～(r)、(a2)～(r2)、(a3)～(r3)、(a4)～(r4)表示使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法分別對(duì)實(shí)驗(yàn)一待配準(zhǔn)圖像中源圖像、右視圖像、形變圖像、旋轉(zhuǎn)圖像的角點(diǎn)特征提取結(jié)果圖。

圖4 圖像角點(diǎn)特征的匹配結(jié)果圖

其中,圖4(a)～(i)、(a2)～(i2)、(a3)～(i3)、(a4)～(i4)、 (a5)～(i5)、(a6)～(i6)分別表示使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法對(duì)實(shí)驗(yàn)一待配準(zhǔn)圖像的角點(diǎn)特征匹配結(jié)果圖。源-右視表示源圖像和右視圖像之間的配準(zhǔn)、源-形變表示源圖像和形變圖像之間的配準(zhǔn)和源-旋轉(zhuǎn)表示源圖像和旋轉(zhuǎn)圖像之間的配準(zhǔn)。

圖5 圖像配準(zhǔn)的對(duì)比分析圖

圖5中，V表示Venus可見光圖像；J表示Jeep_in_Smoke紅外圖像；H表示手部CT醫(yī)學(xué)圖像；SIFT表示傳統(tǒng)SIFT算法；SURF表示傳統(tǒng)SURF算法；F-SURF表示Forstern-SURF算法；H-SURF表示Harris-SURF算法；T-SURF表示Trajkovic-SURF算法；CSS-SPP-SURF表示CSS-SPP-SURF算法。其中，圖5(a)～(f)表示使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS- SPP-SURF算法對(duì)實(shí)驗(yàn)一圖像的特征提取數(shù)目、特征匹配數(shù)目、正確特征匹配數(shù)目、配準(zhǔn)準(zhǔn)確率、配準(zhǔn)時(shí)間和配準(zhǔn)時(shí)間下降率的對(duì)比分析圖。

仿真實(shí)驗(yàn)二首先從立體匹配庫(kù)中分別選擇100、200、300、400對(duì)圖像作為四種不同規(guī)模待配準(zhǔn)圖像庫(kù),然后使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法對(duì)四種不同規(guī)模待配準(zhǔn)圖像庫(kù)進(jìn)行配準(zhǔn),并對(duì)評(píng)價(jià)指標(biāo)進(jìn)行記錄并統(tǒng)計(jì),統(tǒng)計(jì)結(jié)果如表1所示,最后對(duì)表1的仿真實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析得到兩點(diǎn)結(jié)論:①CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法相比,圖像配準(zhǔn)準(zhǔn)確率相當(dāng)；②圖像配準(zhǔn)時(shí)間分別降低了73.61%、43.27%、44.54%、34.31%與8.05%。

表1 不同規(guī)模圖像集的圖像配準(zhǔn)時(shí)間、準(zhǔn)確率比較

表1中，SIFT代表傳統(tǒng)SIFT算法；SURF代表傳統(tǒng)SURF算法；F-SURF代表Forstner-SURF算法；H-SURF代表Harris-SURF算法；T-SURF代表Trajkovic-SURF算法；C-SURF代表CSS-SPP-SURF算法；時(shí)間指圖像配準(zhǔn)時(shí)間,單位是秒,準(zhǔn)確率指圖像配準(zhǔn)準(zhǔn)確率,單位是%。

4 結(jié) 論

本文提出了CSS-SPP-SURF算法,該算法使用CSS算法、改進(jìn)SURF描述子、改進(jìn)相似性距離算法和RANSAC算法對(duì)傳統(tǒng)SURF算法進(jìn)行改進(jìn),解決了其圖像特征檢測(cè)和匹配耗時(shí)長(zhǎng)的問(wèn)題。通過(guò)仿真實(shí)驗(yàn)發(fā)現(xiàn)兩點(diǎn):①CSS-SPP-SURF算法對(duì)可見光、紅外與醫(yī)學(xué)圖像同樣有效；②通過(guò)對(duì)立體匹配庫(kù)實(shí)驗(yàn)說(shuō)明了該算法對(duì)于實(shí)時(shí)性要求比較高的應(yīng)用場(chǎng)景具有普遍有效性。