基于改進(jìn)的SURF和RANSAC的圖像拼接算法

丁一

(無(wú)錫城市職業(yè)技術(shù)學(xué)院,江蘇無(wú)錫 214000)

0 前言

隨著移動(dòng)電話、無(wú)人機(jī)等在攝影攝像軟硬件方面不斷升級(jí),人們可以隨時(shí)隨地的拍攝自己喜歡的作品,拍照技術(shù)方面的不足也逐漸被軟硬件設(shè)備以及圖像處理算法所彌補(bǔ)。當(dāng)人們用移動(dòng)設(shè)備對(duì)某一場(chǎng)景(如建筑或風(fēng)景等)進(jìn)行拍照,但是當(dāng)沒(méi)有可能一次性將需要的所有照片拍攝下來(lái)的時(shí)候,往往會(huì)采用從某一個(gè)方向依次拍攝幾張圖,將希望記錄的信息依次拍攝。然而,圖像處理技術(shù)可以有方法將記錄的圖像拼接成一張大圖。通俗的說(shuō),圖像拼接技術(shù)就是講不同時(shí)間不同視點(diǎn)不同設(shè)備獲取的有所重疊的不同的圖像拼接成一幅大型的寬闊視野的場(chǎng)景的圖像。因?yàn)楸娝苤脑?全景相機(jī)或者廣角鏡頭價(jià)格昂貴,有些鏡頭還有一些失真的情況發(fā)生?？紤]到高分辨率和寬視角等需求之后制作的場(chǎng)景圖,利用計(jì)算機(jī)算法進(jìn)行圖像拼接這一技術(shù)就逐漸發(fā)展并開(kāi)始完善起來(lái)了。圖像拼接技術(shù)已經(jīng)在遙感圖像處理、醫(yī)學(xué)圖像處理和分析、無(wú)人機(jī)拍攝拼接、虛擬現(xiàn)實(shí)等領(lǐng)域都有非常廣泛的應(yīng)用。圖像拼接是一個(gè)很復(fù)雜的過(guò)程,由一系列圖像處理算法所構(gòu)成。這些算法的幾個(gè)基礎(chǔ)模塊分別為：根據(jù)給定圖像或圖集發(fā)現(xiàn)和尋找特征點(diǎn)實(shí)現(xiàn)特征匹配、通過(guò)圖像的匹配特征計(jì)算結(jié)果變換結(jié)構(gòu)并實(shí)現(xiàn)圖像映射、針對(duì)疊加后的圖像找到并對(duì)齊特征點(diǎn)、通過(guò)圖像切割的方式自動(dòng)選取拼接方式、根據(jù)策略選擇并實(shí)現(xiàn)融合方式、設(shè)置閾值參數(shù)。當(dāng)然,如果采用的是不同的相機(jī),因?yàn)椴捎昧瞬煌膮?shù),會(huì)導(dǎo)致不同的結(jié)果,這個(gè)方面也是需要考慮的。

加速穩(wěn)健特征算法即SURF是Bay,H.等在2006年LNCS上發(fā)表了的算法。該算法可以算作一個(gè)SIFT的加速版算法。與SIFT近似,兩種算法都是通過(guò)對(duì)圖像提取特征從而實(shí)現(xiàn)特征點(diǎn)的獲取和匹配。SIFT在構(gòu)建幾何尺度空間的時(shí)候針對(duì)算法使用DoG對(duì)LoG進(jìn)行近似,而SURF使用boxfilter對(duì)LoG進(jìn)行近似,之后使用積分圖像進(jìn)行卷積運(yùn)算。兩種算法在特征提取來(lái)實(shí)現(xiàn)圖像的特征點(diǎn)匹配方面都具有幾何及物理方面的不變性,而且在噪點(diǎn)等方面也具有很好的容錯(cuò)性。相對(duì)于SURF,SIFT在計(jì)算128維度特征的歐氏距離即算數(shù)平方根運(yùn)算方面有些耗費(fèi)時(shí)間,SURF的DoH使用每個(gè)像素的Hessian矩陣行列近似構(gòu)成并獲取尺度和位置等特征信息。

1 算法應(yīng)用案例

佘建國(guó)等在基于ORB和改進(jìn)RANSAC算法的圖像拼接技術(shù)[1]中,為解決圖像拼接技術(shù)問(wèn)題,在特征點(diǎn)提純?yōu)榻鉀Q所有特征點(diǎn)提純迭代運(yùn)算導(dǎo)致拼接效率低的問(wèn)題,采用了ORB算法進(jìn)行提取特征點(diǎn),并采用RANSAC算法提高匹配速度。在進(jìn)行匹配之前,使用空間一致性檢測(cè)提純減少特征點(diǎn)抽樣數(shù)量,從而縮短了匹配的時(shí)間。從而提高了匹配的精度和速度。廖勇等在基于FAST特征檢測(cè)和FLANN特征點(diǎn)匹配算法的隧道展布圖拼接方法研究[2]中,采取FAST特征檢測(cè)算法以及FLANN特征點(diǎn)匹配進(jìn)行圖像拼接,文章針對(duì)兩次獲得圖像進(jìn)行分析,針對(duì)不同多個(gè)相機(jī)在等距離同時(shí)和同步拍攝半張圖像之后進(jìn)行拼接。采用FAST算法進(jìn)行特征點(diǎn)檢測(cè)提高了特征點(diǎn)檢測(cè)速度,FLANN特征點(diǎn)匹配算法提高了特征點(diǎn)匹配效率。實(shí)驗(yàn)表明可以快速準(zhǔn)確地拼接出結(jié)果。楊志芳等在基于改進(jìn)SURF算法的圖像拼接技術(shù)研究[3]中,提出了通過(guò)改進(jìn)的k-d樹(shù)最近鄰查找算法將圖像的特征點(diǎn)匹配,利用加權(quán)融合算法進(jìn)行圖像拼接之后得到更好更快的實(shí)驗(yàn)結(jié)果。

本文提出了SURF算法為基礎(chǔ),通過(guò)RANSAC對(duì)特征點(diǎn)的篩選,利用各自算法的優(yōu)勢(shì),將圖像拼接以達(dá)到獲取更高分辨率圖像的目的。SURF算法獲取到特征點(diǎn),并獲取到特征點(diǎn)的匹配之后,結(jié)合隨機(jī)抽樣一致性RANSAC算法調(diào)整采樣概率對(duì)特征點(diǎn)進(jìn)行篩選,實(shí)現(xiàn)圖片配準(zhǔn)并將一幅圖復(fù)制到另一幅圖的相應(yīng)位置,將結(jié)果中重疊邊界部分優(yōu)化并實(shí)現(xiàn)圖像拼接。特征提取如sift、surf、harris角點(diǎn)、ORB都是著名的匹配算法,各有優(yōu)勢(shì),本文使用SURF算法進(jìn)行拼接,其在SIFT基礎(chǔ)上速度有了很大的提升精確度和穩(wěn)定性雖然略有不及,然綜合能力還是符合圖像拼接的需求。經(jīng)過(guò)特征點(diǎn)匹配之后,利用RANSAC篩選出可靠有效的特征點(diǎn),過(guò)濾到不符合要求的點(diǎn),從而使得匹配更精確。經(jīng)過(guò)圖像拷貝之后,將拼接不自然的地方進(jìn)行圖像融合,使得光學(xué)方面的光和色澤過(guò)度更加自然,這里面匹配的時(shí)候盡量選取兩幅靜態(tài)圖片,對(duì)于圖片中有人走動(dòng)的現(xiàn)象還不能得到很好的處理。

1.1 特征點(diǎn)提取和匹配

加速穩(wěn)健特征SURF幾何方面的不變特征而且計(jì)算效率也比較高,進(jìn)行灰度轉(zhuǎn)換之后的圖像計(jì)算海塞hessian矩陣的閾值,獲取特征點(diǎn)描述以便于通過(guò)FLANN算法獲取匹配特征。

1.2 特征點(diǎn)篩選與圖像配準(zhǔn)

針對(duì)上一步取得的特征點(diǎn)求得變換矩陣,通過(guò)RANSAC算法篩選出更可靠的匹配點(diǎn)使得匹配點(diǎn)更精確。通過(guò)透視變換矩陣輸出映射矩陣,以篩選出特征點(diǎn)以實(shí)現(xiàn)圖像配準(zhǔn)。

1.3 圖像直接拷貝拼接

通過(guò)配準(zhǔn)之后取得的特征點(diǎn),進(jìn)行圖像復(fù)制和拼接,提前計(jì)算拼接后圖的大小,選擇最后的點(diǎn)作為拼接圖的長(zhǎng)度。將兩幅圖根據(jù)特征點(diǎn)對(duì)接拼接。

1.4 圖像拼接后融合處理

經(jīng)過(guò)上一步的拼接操作,拼接接縫部分并不會(huì)太自然,在交界處光學(xué)特征過(guò)度的不會(huì)很好,比如亮度和色澤方面,采用加權(quán)融合的方法,在重疊部分按照一定像素值加權(quán)融合由前一幅圖逐步過(guò)渡到后一幅圖。

2 圖像拼接算法應(yīng)用實(shí)驗(yàn)

圖像拼接算法實(shí)現(xiàn)復(fù)雜,代碼量也不少。根據(jù)圖像間的變換矩陣可以確定圖像的重疊區(qū)域,通過(guò)特征點(diǎn)將一幅圖的重疊區(qū)域映射到另一幅圖形成新圖。由于圖像之間相機(jī)曝光參數(shù)會(huì)有所不同,拼接過(guò)程中難免出現(xiàn)明暗等光學(xué)上的變化。在縫合線上做加權(quán)融合處理,圖像重疊區(qū)域灰度由兩幅圖的對(duì)應(yīng)點(diǎn)灰度通過(guò)加權(quán)平均得到。有以上兩張圖需要拼接,如圖1所示,從圖1可以看出兩張圖有共同的可以參照的部分,這也是圖像拼接的基本要素。根據(jù)圖1的圖片進(jìn)行灰度化處理之后,根據(jù)SURF算法進(jìn)行特征點(diǎn)提取和匹配,經(jīng)過(guò)FLANN算法獲取的匹配的特征,采用RANSAC算法篩選出特征點(diǎn)實(shí)現(xiàn)圖像特征點(diǎn)優(yōu)化,獲得更精確地匹配結(jié)果。圖像經(jīng)過(guò)處理之后獲取的特征點(diǎn)和匹配結(jié)果如圖2所示。經(jīng)過(guò)以上特征點(diǎn)經(jīng)過(guò)圖像拷貝以及拼接,將圖像過(guò)度的部分融合處理,加權(quán)之后的結(jié)果顯示圖像拼接結(jié)果更加自然,如圖3所示。

圖1 圖像拼接參照?qǐng)D片F(xiàn)ig.1 Image stitching reference picture

圖2 特征點(diǎn)和匹配示例Fig.2 Feature points and matching examples

圖3 圖像拼接結(jié)果Fig.3 Image stitching result

3 結(jié)論

本文通過(guò)針對(duì)圖像拼接這有應(yīng)用層面對(duì)SURF算法和RANSAC的改進(jìn),彌補(bǔ)了傳統(tǒng)圖像拼接技術(shù)在速度和精確度上的不足,為解決單張照片視野不足分辨率不夠等問(wèn)題,通過(guò)實(shí)現(xiàn)多張圖像拼接這一技術(shù)彌補(bǔ)了以上缺陷。首先解決的是特征點(diǎn)匹配算法的準(zhǔn)確度和速度,利用SURF算法尋找特征點(diǎn)采用FLANN匹配和RANSAC校準(zhǔn)之后,消除錯(cuò)誤匹配的噪點(diǎn),在幾幅圖拼接之后將拼接不自然的地方進(jìn)行去裂縫等處理進(jìn)行圖像融合。實(shí)驗(yàn)數(shù)據(jù)實(shí)現(xiàn)了期望的圖像拼接效果,但兩幅圖片針對(duì)同一參照物出現(xiàn)移動(dòng)的物體拼接會(huì)出現(xiàn)重影,這方面還不能很好的處理,在今后的進(jìn)一步研究中會(huì)進(jìn)一步探討這方面的問(wèn)題,以及考慮室內(nèi)等復(fù)雜局面的圖像拼接技術(shù)實(shí)現(xiàn)算法。