基于SIFT特征檢測(cè)的圖像拼接*

諶 頏

( 廣東技術(shù)師范學(xué)院)

基于SIFT特征檢測(cè)的圖像拼接*

諶 頏

( 廣東技術(shù)師范學(xué)院)

針對(duì)圖像拼接方法中存在的特征提取精度低，以及拼接后存在的拼接裂縫和“GHOST”現(xiàn)象等問(wèn)題，基于SIFT特征檢測(cè)的圖像拼接.通過(guò)采用圖像特征點(diǎn)提取和匹配有較強(qiáng)的穩(wěn)定性和精確度的SIFT特征檢測(cè)算法，且通過(guò)采用較低復(fù)雜度的動(dòng)態(tài)規(guī)劃算法找到最佳縫合線，最后對(duì)拼接后的圖像通過(guò)泊松融合進(jìn)行平滑處理來(lái)完成圖像的拼接，并采用自行拍攝的圖像進(jìn)行仿真實(shí)驗(yàn).仿真實(shí)驗(yàn)結(jié)果表明，基于SIFT特征檢測(cè)的圖像拼接方法具有較高的穩(wěn)定性和特征提取精度，同時(shí)具有較低的特征點(diǎn)提取誤差，并對(duì)圖像拼接中存在的拼接裂縫和“GHOST”現(xiàn)象有很好的抑制作用.

SIFT算法；圖像拼接；動(dòng)態(tài)規(guī)劃算法；泊松融合

0 引言

圖像通過(guò)拼接可以展現(xiàn)更加生動(dòng)和豐富的信息，且圖像拼接的技術(shù)的好壞將直接影響用戶(hù)的體驗(yàn)感.圖像配準(zhǔn)和圖像融合是圖像拼接的兩個(gè)關(guān)鍵技術(shù)，但是目前圖像拼接方法中存在的特征提取精度低，以及拼接后存在的拼接裂縫和“GHOST”現(xiàn)象等問(wèn)題，目前現(xiàn)有的特征點(diǎn)提取和匹配算法中SIFT[1](Scale Invariant Feature Transform)算法具有較好的穩(wěn)定性和精確性，SURF[2](Speeded Up Robust Features)、ORB(Oriented FAST and Rotated BRIEF)等算法實(shí)時(shí)性相比SIFT算法有所提升，但是其精確度和穩(wěn)定性相比SIFT算法很低[3].在對(duì)拼接后的圖像進(jìn)行處理時(shí)，若通過(guò)梯度差和色彩強(qiáng)度差構(gòu)建縫合線準(zhǔn)則式，運(yùn)用Dijkstra算法尋找縫合線并對(duì)圖像的曝光差異進(jìn)行補(bǔ)償，并在融合時(shí)使用多分辨率樣條算法[4]，但Dijkstra算法相對(duì)復(fù)雜且多分辨率樣條會(huì)使合成后的圖像噪聲較大.

為解決上述問(wèn)題，該文提出基于改進(jìn)ORB特征檢測(cè)的多視角圖像拼接，通過(guò)采用圖像特征點(diǎn)提取和匹配有較強(qiáng)的穩(wěn)定性和精確度的SIFT特征檢測(cè)算法，提高了特征點(diǎn)提取和匹配的魯棒性，從而滿(mǎn)足了圖像拼接對(duì)穩(wěn)定性和精確度的要求，在尋找最佳縫合線時(shí)使用復(fù)雜度相對(duì)較低的動(dòng)態(tài)規(guī)劃算法，最后采用泊松融合算法對(duì)拼接后的圖像進(jìn)行平滑處理.

1 SIFT特征檢測(cè)

該文主要檢測(cè)了目標(biāo)跟蹤中目標(biāo)圖形的特征點(diǎn)，并用于后面的匹配.該文采用SIFT特征提取算法進(jìn)行特征點(diǎn)提取與匹配.

1.1特征點(diǎn)檢測(cè)

1.2特征點(diǎn)描述

圖1 檢測(cè)方向

2 基于SIFT特征檢測(cè)的圖像拼接

在完成SIFT特征檢測(cè)之后，需要對(duì)SIFT特征點(diǎn)進(jìn)行匹配，然后對(duì)無(wú)匹配點(diǎn)采用RANSAC算法去除后采用Dijkstra算法尋找兩幅圖像間的最佳縫合線，最后采用泊松融合算法對(duì)拼接后的圖像進(jìn)行平滑處理，從而完成對(duì)圖像的拼接.

2.1特征點(diǎn)匹配

對(duì)目標(biāo)跟蹤的區(qū)域進(jìn)行SIFT特征點(diǎn)匹配，首先要保證高質(zhì)量特征點(diǎn)[9]有足夠的數(shù)量，且判斷依據(jù)是：

(4)

2.2最佳縫合線的尋找

在特征點(diǎn)提取和匹配之后，可知兩幀圖像間的交疊區(qū)域并搜索最佳縫合線，若進(jìn)行拼接可能會(huì)因?yàn)楣饩€和移動(dòng)等原因使得圖像模糊，造成“GHOST”現(xiàn)象的出現(xiàn)，使得多視角圖像拼接的效果較差.與傳統(tǒng)運(yùn)用運(yùn)動(dòng)估計(jì)方法實(shí)現(xiàn)運(yùn)動(dòng)物體跟蹤的方法不同[14].該文在拼接時(shí)通過(guò)找出一條最佳縫合線，并在該線的兩邊取一幀圖像的內(nèi)容填充，來(lái)抑制“GHOST”現(xiàn)象發(fā)生.

動(dòng)態(tài)規(guī)劃算法是一種基于Bellman最優(yōu)化原理，處理決策問(wèn)題的優(yōu)化算法：一個(gè)最優(yōu)策略的子策略，對(duì)于它的初態(tài)和終態(tài)而言也必是最優(yōu)的.如圖2所示，最佳路線NM上有一點(diǎn)P，則PM也是最佳路線.

圖2 最佳縫合線

在運(yùn)用動(dòng)態(tài)規(guī)劃算法時(shí)，假設(shè)共有n階段，則ri(Si,Xi)為第i階段決策的數(shù)量指標(biāo)，i階段起點(diǎn)是Si，i階段終點(diǎn)和i+1階段的起點(diǎn)為Xi，則動(dòng)態(tài)規(guī)劃就是求解值E

E=opt[r1(S1,X1)*…*rn(Sn,Xn)]

(5)

其中，“*”為運(yùn)算符號(hào)，opt為max或min，.在求解最短路徑時(shí)，為了使各階段相加和最小，opt取min，“*”取“+”.借鑒動(dòng)態(tài)規(guī)劃的思想，將上式作為求解策略指標(biāo)值的準(zhǔn)則式.首先從重疊區(qū)域的第一行出發(fā)，然后在該行上建立以每一個(gè)像素為起點(diǎn)的縫合線，最終找出最佳縫合線.具體步驟為：(1)初始化；(2)向下擴(kuò)展計(jì)算過(guò)縫合線強(qiáng)度的一行，到最后一行為止；(3)從所得的所有縫合線的集合中選取強(qiáng)度值最小的為最佳縫合線.具體如圖3所示.

圖3 動(dòng)態(tài)規(guī)劃示意圖

2.3圖像融合

圖像融合就是將配準(zhǔn)后的圖像根據(jù)對(duì)準(zhǔn)位置進(jìn)行合并，并消除色彩的不連續(xù)性和噪聲對(duì)圖像的影響.常用的融合方法[15]有：(1)多分辨樣條法；(2)加權(quán)平均法；(3)泊松融合法.多分辨率樣條法由于涉及到高斯塔和拉普拉斯塔的構(gòu)造問(wèn)題，它是一種顏色融合方法，其具有計(jì)算量大、費(fèi)時(shí)等缺點(diǎn).加權(quán)平均法較簡(jiǎn)單，但易造成明顯的拼接縫.泊松融合在選擇融合區(qū)域時(shí)簡(jiǎn)單且方便，融合以源圖像塊內(nèi)的梯度場(chǎng)作為指導(dǎo)，將融合邊界上源圖像和目標(biāo)圖像的差異平滑的擴(kuò)散到融合圖像塊中，使得融合后的圖像塊融入到目標(biāo)圖像中時(shí)達(dá)到無(wú)縫的效果，且其色調(diào)和光照與目標(biāo)圖像保持一致.因此，該文采用泊松融合算法對(duì)拼接后的圖像進(jìn)行平滑處理.

3 實(shí)驗(yàn)結(jié)果與分析

該文通過(guò)拍攝圖像設(shè)備拍攝多圖像，在一臺(tái)裝有Windows 7操作系統(tǒng)的PC機(jī)上進(jìn)行實(shí)驗(yàn)，通過(guò)VisualStudio 2013和OpenCV2.4.9的平臺(tái)下采用C++編程語(yǔ)言進(jìn)行仿真實(shí)驗(yàn).該文的具體實(shí)驗(yàn)平臺(tái)見(jiàn)表1.

表1 實(shí)驗(yàn)平臺(tái)

(1) 圖像采用拍攝圖像設(shè)備拍攝的圖像進(jìn)行實(shí)驗(yàn)，進(jìn)行實(shí)驗(yàn)圖像的像素為1024*768px，具體實(shí)驗(yàn)結(jié)果如圖4所示，其中圖(a)為原始的圖像，圖(b)為SIFT算法特征檢測(cè)結(jié)果，圖(c)為Hamming距離匹配結(jié)果，圖(d)為RASANC算法去除誤匹配點(diǎn)結(jié)果，圖(e)為求取最佳縫合線的結(jié)果，圖(f)為泊松融合平滑處理后的結(jié)果.

圖4 圖像拼接實(shí)驗(yàn)結(jié)果

(2)實(shí)驗(yàn)證明改進(jìn)SIFT算法在提取特征點(diǎn)時(shí)誤差較低，具有較高的特征提取精度.SIFT提取特征點(diǎn)間的誤差相比較SURF算法和ORB算法的結(jié)果見(jiàn)表2.其中，RMSE為已知特征點(diǎn)坐標(biāo)與檢測(cè)出的特征點(diǎn)坐標(biāo)間的整體均方根誤差，x與y向的均方根誤差分別為RMSEx與RMSEy.

表2 各算法提取特征點(diǎn)誤差比較

仿真實(shí)驗(yàn)結(jié)果表明，該文提出的基于SIFT特征檢測(cè)的圖像拼接方法具有較高的穩(wěn)定性和特征提取精度，同時(shí)具有較低的特征點(diǎn)提取誤差，并對(duì)圖像拼接中存在的拼接裂縫和“GHOST”現(xiàn)象有很好的抑制作用.

4 結(jié)論及展望

目前圖像拼接方法中存在的特征提取精度低，以及拼接后存在的拼接裂縫和“GHOST”現(xiàn)象等問(wèn)題，該文提出基于SIFT特征檢測(cè)的圖像拼接.通過(guò)采用圖像特征點(diǎn)提取和匹配有較強(qiáng)的穩(wěn)定性和精確度的SIFT特征檢測(cè)算法，且通過(guò)采用較低復(fù)雜度的動(dòng)態(tài)規(guī)劃算法找到最佳縫合線，最后對(duì)拼接后的圖像通過(guò)泊松融合進(jìn)行平滑處理來(lái)完成圖像的拼接，并采用自行拍攝的圖像進(jìn)行仿真實(shí)驗(yàn).仿真實(shí)驗(yàn)結(jié)果表明，該文提出的基于SIFT特征檢測(cè)的圖像拼接方法具有較高的穩(wěn)定性和特征提取精度，同時(shí)具有較低的特征點(diǎn)提取誤差，并對(duì)圖像拼接中存在的拼接裂縫和“GHOST”現(xiàn)象有很好的抑制作用.

[1] Ke Y,Sukthankar R.PCA-SIFT:A more distinctive representation for local image descriptors [C].Proceedings of the 2004 IEEE Computer Society Cinference on Computer Vision and Pattern Recognition.2004:506-513.

[2] Bay H,Tuytelaars T,Van Gool L.SURF:Speeded up robust features [C].European Conference on Computer Vision.2006:404-417.

[3] 索春寶,楊東清,劉云鵬.多種角度比較SIFT、SURF、BRISK、ORB、FREAK算法[J].北京測(cè)繪,2014(4):22-26.

[4] Alec Mills，Gregory Dudek.Image stitching with dynamic elements [J].Image and Vision Computing,2009,27(10):1593-1602.

[5] 梁群仙,許宏麗.一種基于點(diǎn)云數(shù)據(jù)的快速曲面重構(gòu)方法[J].計(jì)算機(jī)工程,2013,39(2):237-240.

[6] 藺海峰,馬宇峰,宋濤.基于SIFT特征目標(biāo)跟蹤算法研究[J].Acta Automatica Sinica,2010,36(8):1204-1208.

[7] 單好民.一種改進(jìn)的壓縮感知信號(hào)重建算法在WSN中的研究[J].計(jì)算機(jī)測(cè)量與控制,2015,23(11):3766-3768.

[8] 陽(yáng)建中,陳慧蓉,胡俐蕊.基于SIFT特征檢測(cè)和三次插值樣條的快速曲面重構(gòu)算法[J].計(jì)算機(jī)測(cè)量與控制,2017,25(1):185-187.

[9] 周見(jiàn)光,石剛,馬小虎.增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的虛擬交互方法[J].計(jì)算機(jī)工程,2012,38(1):251-252.

[10] 張志禹,劉耀陽(yáng).基于SURF與光流法的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)[J].計(jì)算機(jī)工程與應(yīng)用,2015,51(3):166-170.

[11] Lowe D G,Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[12] 趙新?tīng)N,張燕.基于圖形處理器的增強(qiáng)現(xiàn)實(shí)自然特征注冊(cè)算法[J].南京理工大學(xué)學(xué)報(bào)：自然科學(xué)版,2011,35(4):448-452.

[13] Rabin J,Delon J,Gousseau Y,et al.MAC-RANSAC:a robust algorithm for the recognition of multiple objects[J].Proceedings Ofdptv,2010:051.

[14] Peter M，Charles V S，David E T.Robust computer vision:an interdisciplinary challenge[J].Computer Vision and Image Understanding,2000:78,1-7.

[15] 黃立勤,陳財(cái)金.全景圖拼接中圖像融合算法的研究[J].電子與信息學(xué)報(bào),2014,36(6):1292-1298.

Abstract:In view of the low precision of feature extraction,the stitching cracks and the “GHOST” phenomenon existing in the image mosaic method,an image mosaic method based on SIFT feature detection is proposed in this paper.By using the image feature extraction and matching of SIFT feature detection algorithm with stronger robustness and accuracy,and by using the dynamic programming algorithm with low complexity,the best suture line is found,at the end,the stitched image is smoothed by the Poisson fusion to complete image stitching,and the image of their own shooting simulation.Simulation results show that the stability and accuracy of feature extraction method for image mosaic based on feature detection with high SIFT is proposed,also which have the characteristics of low point extraction error,good inhibition effect on splicing cracks existed in image mosaic and the phenomenon of “GHOST”.

Keywords:SIFT algorithm; Image stitching; Dynamic programming algorithm; Poisson Fusion

(責(zé)任編輯：季春陽(yáng))

ImageStitchingBasedonSIFTFeatureDetection

Chen Hang

(Guangdong Polytechnic Normal University)

TP391.9

A

1000-5617(2017)02-0075-05

2017-02-02

*廣東高校特色創(chuàng)新類(lèi)項(xiàng)目(2015KTSCX184)；企業(yè)委托項(xiàng)目“圖像識(shí)別定位軟件攻關(guān)項(xiàng)目”(2016HKJ042801)；廣東省本科高校教學(xué)質(zhì)量與教學(xué)改革工程立項(xiàng)建設(shè)項(xiàng)目(2015SZL08);廣東省高校優(yōu)秀青年創(chuàng)新人才培養(yǎng)計(jì)劃資助項(xiàng)目(2013LYM_0110)