高斯二階差分特征算子在圖像拼接中的應(yīng)用①

徐敏,莫東鳴,張禎(重慶工業(yè)職業(yè)技術(shù)學(xué)院,機(jī)械工程學(xué)院,重慶 400)(重慶工業(yè)職業(yè)技術(shù)學(xué)院,管理工程學(xué)院,重慶 400)

?

高斯二階差分特征算子在圖像拼接中的應(yīng)用①

徐敏1,莫東鳴1,張禎2
1(重慶工業(yè)職業(yè)技術(shù)學(xué)院,機(jī)械工程學(xué)院,重慶 401120)
2(重慶工業(yè)職業(yè)技術(shù)學(xué)院,管理工程學(xué)院,重慶 401120)

摘 要:為了將同一場(chǎng)景中具有重疊區(qū)域序列的圖像快速準(zhǔn)確合成一幅具有寬視角、高分辨率的圖像,提出了基于高斯二階差分(D2oG)特征檢測(cè)算子的SIFT算法.采用高斯二階差分(D2oG)金字塔的過零點(diǎn)檢測(cè)提取圖像尺度不變特征點(diǎn),并選用RANSAC算法對(duì)特征點(diǎn)匹配對(duì)進(jìn)行提純,在此基礎(chǔ)上計(jì)算不變換矩陣H,最后,用漸進(jìn)漸出平滑算法完成圖像的無(wú)縫拼接.實(shí)驗(yàn)中分別采用所提方法和SIFT算法對(duì)具有典型變換的4種圖像進(jìn)行拼接與測(cè)試,結(jié)果表明: 所提方法提取的匹配點(diǎn)數(shù)、拼接所消耗時(shí)間明顯低于采用SIFT算法,同時(shí)匹配效率也高于后者.此方法降低了運(yùn)算復(fù)雜度的同時(shí),圖像拼接實(shí)時(shí)性也得到提高.

關(guān)鍵詞:序列圖像; 圖像配準(zhǔn); SIFT算法; 高斯一階差分金字塔; 高斯二階差分金字塔

圖像采集設(shè)備獲得的單幅圖像的視角有限,在一些應(yīng)用場(chǎng)合需要把多幅有重疊區(qū)域的圖像拼接成一幅寬視覺、高分辨率的圖像.圖像拼接技術(shù)即是將一系列相互存在重疊部分的圖像序列先進(jìn)行空間配準(zhǔn),再經(jīng)過圖像變換、重采樣和圖像融合后形成一幅包含每個(gè)圖像序列的寬視角圖像或360度的全景圖像[1].隨著計(jì)算機(jī)和圖像處理技術(shù)的發(fā)展,圖像拼接技術(shù)在空間探索、遙感圖像處理、醫(yī)學(xué)圖像分析及視頻檢索等領(lǐng)域得到了廣泛的應(yīng)用.

圖像拼接的關(guān)鍵技術(shù)在于圖像配準(zhǔn),其方法主要包括基于面積和基于特征的方法[2].基于面積的方法中,較為經(jīng)典的算法為基于模板的配準(zhǔn)算法,文獻(xiàn)[2]提出了基于灰度相關(guān)的方法,由于受耗時(shí)局限性影響,且算法實(shí)用性受到制約,誤差較大; 基于特征的方法則通過像素值導(dǎo)出的特征進(jìn)行匹配,如SUSAN角點(diǎn)檢測(cè)算法無(wú)需梯度運(yùn)算,提高了算法的效率,同時(shí)又具有積分特性,使得SUSAN算法在抗噪和計(jì)算速度方面有了較大的改進(jìn),但角點(diǎn)數(shù)量過多,不利于角點(diǎn)匹配; 文獻(xiàn)[3]給出Moravec角點(diǎn)檢測(cè)方法,其計(jì)算量小,但對(duì)噪聲的影響十分敏感; Harris算子用到灰度的一階差分以及濾波,提取的角點(diǎn)特征均勻、合理,但該算法只能在單一尺度下檢測(cè)角點(diǎn),檢測(cè)的定位精度較差[4]; Mikolajczyk等[5]針對(duì)不同的場(chǎng)景,就多種最具代表性的描述子進(jìn)行了試驗(yàn),SIFT描述子性能較好,但算法復(fù)雜度高,計(jì)算量增大.

針對(duì)上述問題,本文在研究SIFT算法[6]中的高斯差分 (DoG)特征檢測(cè)算子基礎(chǔ)上,提出利用高斯二階差分 (D2oG)特征檢測(cè)算子的零點(diǎn)檢測(cè)來(lái)提取圖像的特征點(diǎn),通過實(shí)驗(yàn)驗(yàn)證,所提出的方法加快了在多尺度下特征提取的速度,同時(shí)也提高了SIFT的匹配效率.

1　多尺度下特征點(diǎn)提取

特征點(diǎn)是指與周圍有著顏色和灰度差別的區(qū)域.SIFT特征點(diǎn)是在空間尺度中尋找極值點(diǎn),并提取出其位置、尺度和旋轉(zhuǎn)不變量[7].

SIFT特征提取主要分為三個(gè)步驟:

①建立尺度不變空間;

②特征點(diǎn)定位;

③生成特征點(diǎn)描述符[8].

SIFT特征點(diǎn)定位如圖1所示,在DoG空間中,以第一階為例,上、下尺度各9個(gè)領(lǐng)域,其本尺度8個(gè)領(lǐng)域的極值點(diǎn)作為候選特征點(diǎn)[9,10].然后對(duì)特征點(diǎn)進(jìn)一步特征描述,形成128維的特征向量,最后對(duì)求出的特征描述符進(jìn)行后續(xù)的特征匹配,得到圖像中相對(duì)應(yīng)的特征匹配點(diǎn)對(duì).

圖1　DoG金字塔局部極值檢測(cè)

在SIFT特征提取的三個(gè)步驟中,需要分別構(gòu)建較多層數(shù)的LoG金字塔和DoG金字塔,并且在定位特征點(diǎn)時(shí),要利用DoG金字塔中三層圖像的局部信息,因此特征檢測(cè)占據(jù)了SIFT算法80%左右的時(shí)間[11],拼接耗時(shí)多,實(shí)時(shí)性難已實(shí)現(xiàn).本文從簡(jiǎn)化金字塔的結(jié)構(gòu),改變特征點(diǎn)定位方法來(lái)降低運(yùn)算復(fù)雜度.由此提出基于D2oG提取SIFT特征的算法.

2　D2oG提取SIFT特征原理

2.1D2oG特征檢測(cè)算子

本文對(duì)高斯差分(DoG)函數(shù)進(jìn)行一次差分運(yùn)算得到高斯二階差分(D2oG)函數(shù)如式(1)所示,并用高斯二階差分函數(shù)的過零點(diǎn)檢測(cè)來(lái)代替高斯差分函數(shù)的極值點(diǎn)檢測(cè),由此來(lái)確定特征尺度和檢測(cè)特征點(diǎn).

式中D2(x,y,σ)為高斯二階差分函數(shù),D(x,y,σ)為高斯一階差分函數(shù),(x,y)為空間坐標(biāo),σ為尺度坐標(biāo),k為尺度系數(shù).

由于

則:

根據(jù)式(3)可知,kσ-σ≠0,得:

由式(2)、(3)和(4)的推導(dǎo)可知D2oG函數(shù)的過零點(diǎn)即為DoG函數(shù)一階導(dǎo)數(shù)為零的點(diǎn),即DoG函數(shù)的局部極值點(diǎn).因此可以用D2oG金字塔的零點(diǎn)檢測(cè)來(lái)代替DoG金字塔的局部極值點(diǎn)檢測(cè)實(shí)現(xiàn)特征點(diǎn)提取.

2.2D2oG特征檢測(cè)步驟

(1)建立D2oG金字塔

首先,通過高斯核函數(shù)對(duì)圖像進(jìn)行卷積得到不同尺度的高斯圖像; 然后,將高斯金字塔同一階內(nèi)相鄰兩層相減得到DoG金字塔; 最后,將DoG金字塔同一階內(nèi)相鄰兩層相減,作為D2oG金字塔的一層.以第一、二階高斯二階差分金字塔的建立為例如圖2所示,建立了5層的高斯金字塔,通過相鄰兩層相減得到4層高斯差分金字塔,進(jìn)而采用4層高斯差分金字塔的相鄰兩層相減得到最終的3層高斯二階差分金字塔.

圖2　D2oG金字塔的建造

(2)檢測(cè)D2oG金字塔每層中的零點(diǎn).在D2oG金字塔每層中檢測(cè)高斯二階差分絕對(duì)值接近零的像素點(diǎn),通過設(shè)置零點(diǎn)檢測(cè)閾值T,如果小于等于T則認(rèn)為該像素點(diǎn)為一特征點(diǎn),并記錄下該點(diǎn)的位置和尺度(xi,yi,σi).通過實(shí)驗(yàn)統(tǒng)計(jì),綜合考慮算法精度和速度兩方面的因素,本文設(shè)定閾值T為0.000099.

(3)特征點(diǎn)精確定位.將D2oG空間中的特征點(diǎn)映射回DoG空間,即: 位于D2oG金字塔中第i階j層的特征點(diǎn)(xm,ym,σm)對(duì)應(yīng)于DoG空間中第i階j層參數(shù)相同的(xm,ym,sm)的像素點(diǎn).這樣D2oG空間中特征點(diǎn)精確定位可以轉(zhuǎn)化為在DoG金字塔中的精確定位.

(4)提取邊緣特征點(diǎn).利用Hessian矩陣的特征值和高斯差分函數(shù)D的主曲率值成比例這一特征來(lái)判斷處于邊緣的特征點(diǎn).Hessian矩陣如式(5)所示:

式中Dxx,Dxy,Dyy分別表示對(duì)高斯差分函數(shù)進(jìn)行x方向上的二次求導(dǎo),依次對(duì)x方向和y方向進(jìn)行求導(dǎo)以及對(duì)y方向上的二次求導(dǎo).

式中,Tr(H)為H矩陣的跡,Det(H)為H矩陣的行列式,α為較大特征值,β為較小特征值,α=kβ.通過設(shè)定k的大小來(lái)判斷是否為邊緣點(diǎn),式(8)大于這個(gè)閾值,則將此點(diǎn)作為邊緣點(diǎn)提出,文中k=10.

由于特征描述符維數(shù)過低會(huì)造成匹配精度下降;如果維數(shù)過高會(huì)造成匹配計(jì)算量增加耗時(shí)多,最初的128維描述符是折中值.在精度要求不太高耗時(shí)少的情況下,可以降低描述符維數(shù)來(lái)提高拼接的速度.所提方法在提取出特征點(diǎn)后,仍選用128維特征描述符對(duì)其進(jìn)行表達(dá)及后續(xù)的配準(zhǔn)操作.

3　特征點(diǎn)匹配與融合

3.1變換矩陣H的確定

利用上述方法計(jì)算出來(lái)的特征點(diǎn),以一幅圖像的坐標(biāo)為參考,采用式(9)求解出兩幅圖像間透視變換矩陣H的參數(shù),將待拼接圖像歸一化到以參考圖像的坐標(biāo)系中.

我們利用4對(duì)匹配點(diǎn)可得到8個(gè)獨(dú)立的線性方程,通過方程組解得的h0…h(huán)8,即確定了式(9)透視變換矩陣.為了避免隨機(jī)選取的4對(duì)特征點(diǎn)位于同一平面構(gòu)成方程組無(wú)解,采用隨機(jī)選取的4對(duì)特征點(diǎn)求解模型變換參數(shù)初值的做法.初始模型參數(shù)計(jì)算出來(lái)后,用于對(duì)其他匹配點(diǎn)對(duì)的校驗(yàn),得到在一定容忍度下符合該模型的所有匹配對(duì),再利用這些匹配對(duì)來(lái)獲得圖像變換模型的參數(shù).

3.2特征匹配點(diǎn)的提取

利用圖像中的特征描述子的128維特征向量,用式(10)歐式距離相似性判斷方法[12,13]對(duì)SIFT檢測(cè)子進(jìn)行匹配,并通過式(10)計(jì)算并找出最小距離Dmin和次小距離Dscn,計(jì)算比值R=DminDscn,當(dāng)R小于某一閾值時(shí),對(duì)應(yīng)的特征點(diǎn)為匹配點(diǎn).通過比較,我們將閾值設(shè)定為0.75.采用Best-Bin-First(BBF)算法實(shí)現(xiàn)尋找最近鄰和次近鄰.

其中,X2i[j]表示參考圖像中的第i個(gè)特征點(diǎn)的特征向量,X1i[j ]表示待配準(zhǔn)圖像中的第i個(gè)特征點(diǎn)向量,D表示歐氏距離.

并選用RANSAC算法[14]進(jìn)行剔除誤匹配點(diǎn)對(duì)并計(jì)算出變換矩陣H,步驟如下:

1)隨機(jī)抽取4組匹配點(diǎn)對(duì)計(jì)算矩陣H,然后計(jì)算剩余所有匹配點(diǎn)的距離di在誤差閾值范圍內(nèi),則接受此匹配點(diǎn)對(duì)為H的內(nèi)點(diǎn);

2)選擇包含內(nèi)點(diǎn)數(shù)目最多的一個(gè)點(diǎn)集重新計(jì)算H,用最小二乘法來(lái)最小化誤差,去掉少數(shù)的“外點(diǎn)”后計(jì)算新的內(nèi)點(diǎn)集內(nèi)的平均誤差;

3)重復(fù)上述兩步驟直至達(dá)到滿意效果,選擇平均誤差最小的內(nèi)點(diǎn)集計(jì)算最終的單應(yīng)性矩陣H.

圖像I1和圖像I2的變換關(guān)系可以表示為:

3.3圖像融合

采用以上的配準(zhǔn)算法后再選用漸進(jìn)漸出的融合方法[15]實(shí)現(xiàn)圖像的無(wú)縫拼接.

4　結(jié)果與討論

實(shí)驗(yàn)采用的平臺(tái)為VS2010和OpenCV,圖像大小為340*280.以圖像匹配點(diǎn)對(duì)數(shù)、拼接時(shí)間、匹配精度和匹配效率[16]作為評(píng)價(jià)指標(biāo).其中匹配效率如式(12)所示.

實(shí)驗(yàn)選用4種典型的測(cè)試圖進(jìn)行測(cè)試,圖3(a)為垂直平移的圖像、圖3(b)是亮度和對(duì)比度有大幅度變化的圖像、圖3(c)是相機(jī)視角發(fā)生了40°變化的圖像和圖3(d)是旋轉(zhuǎn)了45°和縮小了一半的圖像.特別說明的是: 4組圖像中左圖為參考圖像,右圖為待拼圖像.選用基于模塊的圖像拼接、基于SIFT特征點(diǎn)的圖像拼接與我們所提零點(diǎn)檢測(cè)的圖像拼接方法進(jìn)行比較.

圖3　測(cè)試圖

4.1實(shí)驗(yàn)結(jié)果

1)模板拼接

基于模板拼接的方法[17]對(duì)圖3(a)進(jìn)行實(shí)驗(yàn)得到拼接后的效果圖,如圖4所示.

圖4　基于模板的拼接效果圖

從圖4可看出基于模板的配準(zhǔn)方法出現(xiàn)了錯(cuò)位的現(xiàn)象,說明圖像在旋轉(zhuǎn)時(shí)不能較好的找出最佳匹配位置.

2)SIFT算法

采用文獻(xiàn)[7]所提SIFT算法分別對(duì)圖3中的四組圖進(jìn)行特征提取,確定圖5(a)中SIFT特征點(diǎn)個(gè)數(shù)分別為1376和1071,圖5(b)中的特征點(diǎn)個(gè)數(shù)分別為350和246,圖5(c)中特征點(diǎn)個(gè)數(shù)分別為698和839,以及圖5(d)的特征點(diǎn)個(gè)數(shù)分別為773和607.

圖5　SIFT特征描述符

然后,通過kd-tree算法分別計(jì)算圖5特征點(diǎn)得到粗匹配點(diǎn)對(duì): 566對(duì)(圖6(a))、121對(duì) (圖6(b))、101對(duì)(圖6(c))和230對(duì)(圖6(d)).

圖6　特征點(diǎn)對(duì)

通過RANSAC算法消除誤匹配點(diǎn)并計(jì)算出透視變換矩陣H,將待拼接圖像變換到參考圖像坐標(biāo)系后進(jìn)行圖像融合得到最后的拼接效果圖,如圖6所示.

圖7　SIFT方法融合圖

由上述計(jì)算可知圖5、圖6中檢測(cè)的特征點(diǎn)一方面數(shù)目較大,但計(jì)算透射變換矩陣僅需要4對(duì)特征點(diǎn)對(duì),這會(huì)導(dǎo)致消耗內(nèi)存計(jì)算時(shí)間較長(zhǎng).

(3)D2oG零點(diǎn)檢測(cè)的SIFT算法

采用本文提出的基于D2oG零點(diǎn)檢測(cè)的SIFT算法對(duì)圖像進(jìn)行特征點(diǎn)提取、配準(zhǔn)及融合.通過粗匹配后得到粗匹配點(diǎn)對(duì)分別降為: 199對(duì)(圖8(a))、15對(duì)(圖8(b))、18對(duì)(圖8(c))和18對(duì)(圖8(d)).

圖8　特征點(diǎn)對(duì)

采用RANSAC算法來(lái)消除誤匹配點(diǎn)對(duì)并用式(9)分別計(jì)算出圖3中待拼接圖像的坐標(biāo)變換矩陣H中的參數(shù):

變換矩陣H的參數(shù)確定后,即分別得到圖3的透射圖如圖9所示.

圖9　透射圖

將圖9所示的透射圖與圖3所示的參考圖像分別進(jìn)行漸進(jìn)漸出融合,得到圖10所示的融合圖像.

圖10　高斯二階差分方法融合圖

為驗(yàn)證所提方法的有效性,本文將從主觀和客觀評(píng)價(jià)兩方面進(jìn)行分析與討論.

4.2分析與討論

從圖10可以看出,拼接的效果明顯優(yōu)于圖4所采用的基于模塊配準(zhǔn)的方法,較好的解決了圖像出現(xiàn)的錯(cuò)位現(xiàn)象,同時(shí)基于模板的拼接方法對(duì)旋轉(zhuǎn)縮放的圖像存在較大的局限性,因此基于特征點(diǎn)的方法更具實(shí)用性.通過觀察圖7和圖10,基于SIFT算法和所提方法拼接效果圖的區(qū)別不明顯.為進(jìn)一驗(yàn)證所提方法的效果,我們通過下面的客觀評(píng)價(jià)指標(biāo)對(duì)這兩種方法進(jìn)行比較.

圖像拼接中特征點(diǎn)的提取和匹配精度及效率是影響拼接實(shí)時(shí)性的關(guān)鍵.我們以圖像所有匹配點(diǎn)對(duì)數(shù)(即粗匹配點(diǎn)數(shù))、一致集中的匹配點(diǎn)對(duì)數(shù)、拼接時(shí)間、匹配精度和匹配效率作為評(píng)價(jià)指標(biāo),對(duì)上述兩種方法進(jìn)行比較.

表1所示為拼接實(shí)驗(yàn)計(jì)算數(shù)據(jù),從表中可知所提方法提取的匹配點(diǎn)數(shù)、拼接所消耗時(shí)間明顯低于采用SIFT算法所得數(shù)據(jù),同時(shí)匹配精度、效率也高于后者.證明實(shí)驗(yàn)所提方法的可行性和實(shí)效性好于SIFT算法.

表1　SIFT算法與所提方法(改進(jìn)SIFT)對(duì)圖像的實(shí)驗(yàn)結(jié)果

5　結(jié)語(yǔ)

本文在研究SIFT特征匹配算法的原理基礎(chǔ)上,提出了基于D2oG特征檢測(cè)算子的改進(jìn)SIFT特征拼接算法.改進(jìn)算法通過簡(jiǎn)化金字塔結(jié)構(gòu),即減少構(gòu)建高斯金字塔的層數(shù),并通過檢測(cè)D2oG空間單層的二維平面的零像素點(diǎn)代替DoG空間三層的三維平面的極值像素點(diǎn)來(lái)提高算法的運(yùn)行速度.同時(shí)在D2oG金字塔在構(gòu)造過程中仍保留了DoG金字塔有效層,即保證了圖像拼接的有效性.實(shí)驗(yàn)表明,所提方法對(duì)彩色、灰度圖像均有較好的拼接效果,并提高了拼接的實(shí)效性,對(duì)平移、小視角差異和變形不大的圖像的拼接效果較好,具有一定的參考價(jià)值.

參考文獻(xiàn)

1林錦梅,周付根,金挺.采用SIFT特征的空基動(dòng)態(tài)視屏穩(wěn)定技術(shù).紅外與激光工程,2011,40(12):2552–2557.

2詹斌,李華格,等.遙感圖像拼接系統(tǒng).計(jì)算機(jī)系統(tǒng)應(yīng)用,2014,23(5):31–36.

3張玉潔.圖像局部不變特征提取與匹配及應(yīng)用研究[學(xué)位論文].南京:南京理工大學(xué),2010.

4王威,唐一平,任娟麗,等.一種改進(jìn)的Harris角點(diǎn)提取算法.光學(xué)精密工程,2008,16(10):1995–2001.

5Jiang DG,Yi JK.Comparison and study of classic feature point detection algorithm.Computer Science & Service System.Nanjing,China.2012.2307–2309.

6Ryu JB,Park HH.Log-log scaled Harris corner detector.Electronics Letters,2010,46(24): 1602–1604.

7Lowe DG.Distinctive image features from scale-invariant keypoints.International Journal of Computer Vision,2004,60(20): 91–110.

8 王正林.基于對(duì)比度的小波圖像融合算法研究.激光與紅外,2014,44(9):1043–1044.

9曹巒,王元?dú)J,譚久彬.改進(jìn)的SIFT特征提取和匹配算法.光學(xué)精密工程,2011,19(6):1391–1397.

10劉向增,田錚,史振廣,等.基于FKICA-SIFT特征的合成孔徑圖像度尺度配準(zhǔn).光學(xué)精密工程,2011,19(9):2186–2195.

11Zhu ZW,Shen ZF,Luo JC.Parallel remote sensing image registration based on improved SIFT point feature.Journal of Remote Sensing,2011,15(5): 1024–1031.

12Wan LZ,Chong WN.Flip-Invariant SIFT for copy and object detection.IEEE Trans.on Image Processing,2013,22(3): 980–991.

13 Zhu XF,Ma CW,Liu B.Target classification using SIFT sequence scale invariants.Systems Engineering and Electronics,2012,23(5): 633–639.

14Yang BLST.Multifocus image fusion and restration with sparse representation.IEEE Trans.Instrumentation And Measurement,2010,59(4): 884–892.

15劉立,彭復(fù)員,趙坤,等.采用簡(jiǎn)化SIFT算法實(shí)現(xiàn)快速圖像匹配.紅外與激光工程,2008,37(1):181–184.

16張維中,楊厚俊,張麗艷,等.基于多福圖像的同名曲線亞像素匹配算法.北京郵電大學(xué)學(xué)報(bào),2008,31(4):66–69.

17丁小麗.圖像拼接技術(shù)研究[學(xué)位論文].南京:東南大學(xué),2009.

Image Mosaic Method Based on Gaussian Second-Order Difference Feature Operator

XU Min,MO Dong-Ming,ZHANG Zhen
1(Department of Mechanical Engineering,Chongqing Industry Polytechnic College,Chongqing 401120,China)2(Department of Management Engineering,Chongqing Industry Polytechnic College,Chongqing 401120,China)

Abstract:In order to compose the wide visual angle and high resolution image from the sequence of images which have overlapping region in the same scene quickly and correctly,an improved SIFT algorithm which based on D2oG interest point detector was proposed.It extracted the image feature points and generated corresponding feature descriptors by improved SIFT algorithm.Then,feature point matching pairs were purified using the random consistency (RANSAC)algorithm and the transformation matrix H was caculated.Last,the seamless mosaic of images was completed by using the image fusion algorithm of slipping into and out.The images which had the four typical transformations were separately processed with the traditional SIFT and the proposed method in the experiment.The result indicated that the number of feature pairs is fewer,the mosaic time is shorter and the matching efficiency is higher than that of SIFT algorithm.This method reduces the complexity of operation and improves real-time of image mosaic simultaneously.

Key words:sequence image; image matching; SIFT algorithm; Guassian first-order difference pyramid; Guassian second-order difference pyramid

基金項(xiàng)目:①重慶市高等學(xué)校青年骨干教師資助項(xiàng)目(自然科學(xué)類);重慶市工業(yè)職業(yè)技術(shù)學(xué)院科研項(xiàng)目自然科學(xué)基金(GZY201313)

收稿時(shí)間:2015-08-04;收到修改稿時(shí)間:2015-10-08