一種優(yōu)化的圖像拼接方法

一種優(yōu)化的圖像拼接方法*

章盛, 韓超

(安徽工程大學(xué) 電氣工程學(xué)院，安徽 蕪湖 241000)

摘要：針對目前圖像拼接過程中特征點(diǎn)提取速度慢和特征點(diǎn)匹配精度不高的問題，提出了一種圖像拼接的優(yōu)化算法，即首先對待拼接圖像進(jìn)行降采樣處理、然后根據(jù)半圖像區(qū)域提取特征點(diǎn)并采用SSDA(Sequential Similarity Detection Algorithm)算法進(jìn)行特征點(diǎn)提純，最后進(jìn)行圖像拼接;拼接結(jié)果表明：與傳統(tǒng)的圖像拼接方法相比，新的優(yōu)化算法大大地降低了計算數(shù)據(jù)量，在圖像拼接時間方面具有明顯的優(yōu)勢.

關(guān)鍵詞：圖像拼接;圖像配準(zhǔn);降采樣;SURF算法;SSDA算法

doi:10.16055/j.issn.1672-058X.2015.0012.002

收稿日期：2015-02-30；修回日期：2015-04-16.

基金項(xiàng)目：*安徽工程大學(xué)國家基金預(yù)研項(xiàng)目(ZRYY1311).

作者簡介：章盛(1989-)，男，安徽蕪湖人，碩士研究生，從事圖像處理研究.

中圖分類號：TP201文獻(xiàn)標(biāo)志碼：A

圖像拼接廣泛用于虛擬現(xiàn)實(shí)世界、自助導(dǎo)游和醫(yī)學(xué)圖像等多個領(lǐng)域.其中，圖像預(yù)處理、圖像配準(zhǔn)和圖像融合是拼接技術(shù)的3個重要環(huán)節(jié).圖像預(yù)處理階段主要是對待拼接圖像進(jìn)行去噪、增益及畸形校正等處理.圖像配準(zhǔn)階段包括待拼接圖像特征的提取、匹配和提純.常用的圖像特征有：特征點(diǎn)、邊緣、區(qū)域和輪廓等[1，2]，通常情況下，提取特征點(diǎn)比提取其它特征相對容易，Harris算法[3]是目前常用的特征點(diǎn)提取算法之一，但是算法對尺度和亮度敏感；針對Harris算法存在的問題，David Lowe等人于2004年在總結(jié)了基于不變量的特征檢測算法的基礎(chǔ)上提出了SIFT(scale invariant feature transform)算法[4，5]，該算法對尺度、旋轉(zhuǎn)、亮度和視角都具有一定的魯棒性，廣泛應(yīng)用于圖像拼接、人臉識別和計算機(jī)視覺等領(lǐng)域，但是該算法計算數(shù)據(jù)量大、耗時長；針對SIFT算法存在的問題，Yan Ke等人于2004年提出了PCA-SIFT算法[6]，算法利用SIFT算法提取特征點(diǎn)并計算其描述符，再利用PCA (principle component analysis)算法[7]對描述符進(jìn)行降維，在特征點(diǎn)提取速度方面有了顯著的提高；2006年Bay等人對PCA-SIFT進(jìn)一步優(yōu)化，提出了SURF(Speeded Up Robust Feature)算法[8]，算法通過計算積分圖像、Hessian矩陣和二維Haar小波響應(yīng)來提高特征點(diǎn)的檢測速度.圖像特征點(diǎn)的匹配算法主要有最近鄰歐式距離和Hamming距離等方法[9,10]；圖像特征點(diǎn)對的提純算法主要有RANSAC (random sample consensus)和NCC(normalized cross correlation)等方法[11,12]，針對NCC算法數(shù)據(jù)量大的問題，Barnea等人提出SSDA算法[13]，算法是一種目前經(jīng)典的特征點(diǎn)對提純算法，在提純效果和提純時間上具有顯著的優(yōu)勢，廣泛用于遙感圖像、機(jī)器視覺等領(lǐng)域.圖像融合階段包括求取變換矩陣和重合區(qū)域均勻過渡，變換矩陣求取的算法主要采用最小二乘法[14]；重合區(qū)域均勻過渡的算法主要有直接平均法、加權(quán)平均法和尋找最佳縫合線等方法[15-17]，采用雙線性插值法[18].圖像預(yù)處理和圖像配準(zhǔn)是圖像拼接過程中兩個最重要的階段，對這兩個階段進(jìn)行優(yōu)化，以提高圖像配準(zhǔn)精度、減少圖像拼接時間.

1圖像預(yù)處理與圖像配準(zhǔn)

為了解決圖像拼接過程中的計算數(shù)據(jù)量大的問題，對待拼接圖像進(jìn)行了預(yù)處理，并且在其配準(zhǔn)過程中進(jìn)行了優(yōu)化.即在圖像預(yù)處理階段，對待拼接圖像進(jìn)行降采樣預(yù)處理，得到所需要的待拼接圖像；在圖像配準(zhǔn)階段，首先利用半圖像區(qū)域特征點(diǎn)提取方法對降采樣后的圖像進(jìn)行處理，再用SURF算法對特征點(diǎn)進(jìn)行提取，然后對所提取的特征點(diǎn)利用插值算法進(jìn)行恢復(fù)，并采用最近鄰歐式距離算法對這些點(diǎn)進(jìn)行匹配，最后采用SSDA算法剔除匹配錯誤點(diǎn)對，其拼接過程框圖，如圖1所示.

圖1　優(yōu)化后的拼接算法框圖

1.1降采樣預(yù)處理法

對于高分辨率待拼接圖像，在圖像拼接過程中會產(chǎn)生大量冗余特征點(diǎn)，大大增加了圖像拼接的計算數(shù)據(jù)量，在文獻(xiàn)[19]中對待拼接圖像采用不同的降采樣方法和不同的采樣系數(shù)進(jìn)行實(shí)驗(yàn)對比分析，發(fā)現(xiàn)圖像降采樣率為80%～90%時，能相對傳統(tǒng)的SIFT算法減少20%~30%的時間花費(fèi).采用文獻(xiàn)[19]的思想，以待拼接圖像為基準(zhǔn)，采用其行像素和列像素大小的平均值與其行像素和列像素大小的最大值和其最小值之和的比的方法對圖像進(jìn)行降采樣處理，達(dá)到同比例縮小待拼接圖像尺寸的作用.在特征點(diǎn)提取之后，利用插值恢復(fù)算法進(jìn)行恢復(fù)運(yùn)算或者在求取變換矩陣時利用采樣前變換矩陣與采樣后變換矩陣之間的關(guān)系性來進(jìn)行恢復(fù)運(yùn)算，采用插值恢復(fù)算法對提取的特征點(diǎn)進(jìn)行恢復(fù)運(yùn)算.

設(shè)兩張待拼接圖像的大小分別為a×b像素、c×d像素,則降采樣比例k如式(1)所示：

(1)

1.2半圖像區(qū)域提取特征點(diǎn)法

對于待拼接圖像，非重合區(qū)域提取出來的特征點(diǎn)是冗余點(diǎn)，在現(xiàn)有的條件下，只有通過目測和拍攝設(shè)備拍攝位置關(guān)系來估計，無法找到一種確定的方法來區(qū)分待拼接圖像中重合區(qū)域和非重合區(qū)域，同時對于超過50%重合區(qū)域的待拼接圖像進(jìn)行圖像拼接操作的意義不是太大，結(jié)合前面所述的兩個方面，采用半圖像區(qū)域提取特征點(diǎn)法對降采樣后的圖像進(jìn)行處理，方法是在滿足圖像拼接條件的情況下，找到圖像的半圖像區(qū)域，減少在圖像拼接過程中的計算數(shù)據(jù)量，起到加快圖像拼接的速度的作用.

對于圖像拼接而言，有兩種典型的拼接方式，分別為橫向拼接和縱向拼接，對于橫向拼接，半圖像區(qū)域如圖2(a)、(b)所示，其中黑色區(qū)域?yàn)槠唇訒r采用的半圖像區(qū)域，圖2(a)是待拼接圖像a半圖像區(qū)域的示意圖，圖2(b)是待拼接圖像b半圖像區(qū)域的示意圖；對于縱向拼接，半圖像區(qū)域如圖3(a)、(b)所示，其中黑色區(qū)域?yàn)槠唇铀捎玫陌雸D像區(qū)域，圖3(a)是待拼接圖像a半圖像區(qū)域的示意圖，圖3(b)是待拼接圖像b半圖像區(qū)域的示意圖.

圖2　橫向拼接示意圖

圖3　縱向拼接示意圖

2模擬實(shí)驗(yàn)

實(shí)驗(yàn)編程軟件為MATLAB R2012a，操作系統(tǒng)為Window 7，計算機(jī)采用Inter Pentium G2030T 雙核處理器，主頻為2.60 GHz，內(nèi)存為4 G，待拼接圖像大小為500×600像素，如圖4(a)、(b)所示.

2.1待拼接圖像降采樣預(yù)處理

針對傳統(tǒng)的圖像拼接中特征點(diǎn)數(shù)據(jù)量較大的問題，在待拼接圖像預(yù)處理階段，對待拼接圖像進(jìn)行降采樣處理，達(dá)到同比例縮小待拼接圖像尺寸的作用，同時利用插值恢復(fù)算法對降采樣后的圖像特征點(diǎn)進(jìn)行插值恢復(fù)運(yùn)算，降低圖像拼接的計算數(shù)據(jù)量，減少圖像拼接時間.對圖4中待拼接圖像利用降采樣預(yù)處理法處理，得到的降采樣后的圖像如圖5(a)、(b)所示.

圖4　待拼接圖像

圖5　降采樣后的圖像

2.2半圖像區(qū)域特征點(diǎn)提取法

在待拼接圖像特征點(diǎn)提取階段，圖像特征點(diǎn)的提取時間與圖像的紋理和圖像的尺寸有關(guān)，傳統(tǒng)的基于SURF算法的圖像拼接對整張待拼接圖像提取特征點(diǎn)，如圖6(a)、(b)所示.對于圖像特征點(diǎn)匹配而言，待拼接圖像重合區(qū)域的特征點(diǎn)才是侯選特征點(diǎn)，其余特征點(diǎn)是冗余特征點(diǎn)，采用整張待拼接圖像提取特征點(diǎn)將增加圖像拼接的計算數(shù)據(jù)量和圖像拼接的時間.結(jié)合前面所述，提出了半圖像區(qū)域特征點(diǎn)提取法，對圖5(a)取右邊的50%圖像區(qū)域和圖5(b)取左邊的50%圖像區(qū)域進(jìn)行處理，再利用SURF算法提取特征點(diǎn)，最后利用插值恢復(fù)算法進(jìn)行恢復(fù)運(yùn)算，得到待拼接圖像a和待拼接圖像b的特征點(diǎn)，如圖7(a)、(b)所示.

2.3SSDA提純法

對于圖6(a)、(b)中的特征點(diǎn)，傳統(tǒng)的圖像拼接采用最近鄰歐式距離算法進(jìn)行粗匹配，在粗匹配的基礎(chǔ)上采用RANSAC算法剔除錯誤匹配點(diǎn)對，以提高配準(zhǔn)的精度，結(jié)果如圖8(a)、(b)所示.對于圖7(a)、(b)中的特征點(diǎn)，在最近鄰歐式距離算法進(jìn)行粗匹配的基礎(chǔ)上采用SSDA提純法進(jìn)行精匹配，結(jié)果如圖9(a)、(b)所示.通過實(shí)驗(yàn)可知，SSDA算法在提純效率方面比RANSAC更好，相對于RANSAC算法具有明顯的優(yōu)勢.

圖6　SURF算法特征點(diǎn)結(jié)果

圖7　半圖像區(qū)域特征點(diǎn)結(jié)果

圖8　RANSAC算法剔除粗匹配與精匹配結(jié)果

圖9　SSDA提純法粗匹配與精匹配結(jié)果

2.4圖像拼接實(shí)驗(yàn)

實(shí)驗(yàn)約定基于傳統(tǒng)的SIFT算法和RANSAC提純法的圖像拼接[20]為傳統(tǒng)SIFT算法，基于傳統(tǒng)的SURF算法和RANSAC提純法的圖像拼接[21]為傳統(tǒng)SURF算法，在傳統(tǒng)SURF算法的基礎(chǔ)上加上降采樣預(yù)處理法、半圖像區(qū)域特征點(diǎn)提取法和SSDA算法替代RANSAC算法為優(yōu)化SURF算法，利用圖4中待拼接圖像分別進(jìn)行基于傳統(tǒng)SIFT算法、基于傳統(tǒng)SURF算法與基于優(yōu)化SURF算法的圖像拼接實(shí)驗(yàn)，最終得到的拼接結(jié)果如圖10(a)、(b)、(c)所示.為了能夠明確優(yōu)化SURF算法和傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法之間的效率，根據(jù)圖像拼接的順序，選擇預(yù)處理時間、圖像特征點(diǎn)提取時間、粗匹配時間、粗匹配率、精匹配時間、精匹配率、圖像拼接總時間以及傳統(tǒng)算法和優(yōu)化算法拼接結(jié)果圖的相關(guān)系數(shù)NC，一共8個指標(biāo)進(jìn)行比較，實(shí)驗(yàn)定量比較分析如表1所示，通過表1可知，優(yōu)化SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURT算法拼接結(jié)果圖的NC分別為0.999 3、0.996 4，即結(jié)果圖相差不大，優(yōu)化SURF算法在圖像拼接時間方面具有明顯的優(yōu)勢.粗匹配率、精匹配率、以及歸一化互相關(guān)系數(shù)NC的定義如式(2)、(3)、(4)所示.

(2)

(3)

(4)

式(4)中,M(i,j)是傳統(tǒng)算法得到拼接圖像的像素，M′(i,j)是優(yōu)化算法得到拼接圖像的像素，m、n是兩張圖片的行像素和列像素大小.

圖10　拼接結(jié)果圖

類 型參數(shù)類型傳統(tǒng)SIFT算法傳統(tǒng)SURF算法優(yōu)化SURF算法圖像預(yù)處理時間/s--0.0967特征點(diǎn)提取特征點(diǎn)數(shù)量7863373747829539總時間/s9.57473.35060.7014粗匹配粗匹配點(diǎn)對數(shù)1367213時間/s0.44350.82510.5433粗匹配率/%28.451824.406835.1351精匹配精匹配點(diǎn)對數(shù)115306時間/s0.73601.78210.3154精匹配率/%84.558841.666746.1538圖像拼接總時間時間/s11.72646.68582.3841NC-0.99930.9964-

3結(jié)束語

提出了的優(yōu)化圖像拼接算法，在提高圖像拼接質(zhì)量的同時，縮短了圖像拼接時間，為解決圖像拼接問題提供了一種新的方法.采用半圖像區(qū)域提取特征點(diǎn)的依據(jù)是非重合區(qū)域提取的特征點(diǎn)是冗余點(diǎn)，所以剔除非重合區(qū)域有助于減少圖像拼接的計算數(shù)據(jù)量，方法對于大部分待拼接圖像具有可行性，但是對重合區(qū)域大于50%的待拼接圖像具有一定的局限性，如何找到一種判定待拼接圖像重合區(qū)域的自適應(yīng)算法，有待于進(jìn)一步地探討.

參考文獻(xiàn)：

[1] 王向軍,王研,李智.基于特征角點(diǎn)的目標(biāo)跟蹤和快速識別算法研究[J].光學(xué)學(xué)報,2007,27(2):360-364

[2] 雷凱,劉艷瀅,王延杰,等.一種新的基于圖像主輪廓的配準(zhǔn)算法[J].微計算機(jī)信息(管控一體化),2007,23(2-3):267-268

[3] HARRIS C,STEPHENS M.A Combined Corner and Edge Detector[C]∥Proceedings of the Fourth Alvey Vision Conference,1988:147-151

[4] LOWE D G.Object Recognition from Local Scale-invariant Features[C]∥Proceedings of the International Conference on Computer Vision,1999:1150-1157

[5] LOWE D G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110

[6] KE Y,SUKTHANKAR R.PCA-SIFT: A More Distinctive Representation for Local Image Descriptors[C]∥Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2004:511-517

[7] JOLLIFFE I T.Principal Component Analysis [M].New York: Springer-Verlag New York Inc,2002

[8] BAY H,TUYTELAARS T,GOOL L V.SURF: Speeded Up Robust Features[C]∥Proceedings of the European Conference on Computer Vision,2006:404-417

[9] 高全學(xué),高菲菲,赫秀娟,等.基于圖像歐氏距離的二維局部多樣性保持投影[J].自動化學(xué)報,2013,39(7):1062-1070

[10] 馮薪樺,丁曉青,吳佑壽.基于加權(quán)Hamming距離的虹膜匹配算法[J].清華大學(xué)學(xué)報:自然科學(xué)版,2009,49(4): 514 - 517

[11] FISCHLER M A,BOLLES R C.Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography [J] .Communications of the ACM ,1981,24(6):381-395

[12] 黃真寶,陳陽.圖像匹配中NCC算法的一種快速實(shí)現(xiàn)方法[J].信息化研究,2011,37(2):48-52

[13] BARNEA D I,SILVERMAN H F.A Class of Algorithms for Fast Digital Image Registration[C]∥IEEE Transactions on Computers,1972: 176-186

[14] 趙秀影,王洪玉,楊子龍等.基于誤差閾值和最小二乘圖像拼接關(guān)系矩陣的實(shí)現(xiàn)[J].光電技術(shù)應(yīng)用,2011,26(2):61-63

[15] 丁小麗.圖像拼接技術(shù)研究[D].東南大學(xué)碩士論文.2009

[16] 葉晶,嚴(yán)衛(wèi),李志明.利用加權(quán)平均法進(jìn)行多軌MODIS數(shù)據(jù)拼圖[J].遙感應(yīng)用,2007(1):41-43

[17] EFROS A A,FREEMAN W T.Image Quilting for Texture Synthesis and Transfer Proceeding of Annual Conference Series on Computer Graphics Proceedings.2007:227-239

[18] 周前祥,敬忠良,姜世忠.遙感影像雙線性插值小波融合方法[J].上海交通大學(xué)學(xué)報，2004,38(4):547-550

[19] 王書民,張愛武,崔營營.基于降采樣處理的低空遙感影像SIFT特征匹配分析[J].測繪通報,2011(9):18-20

[20] 羅文超,劉國棟,楊海燕.SIFT和改進(jìn)的RANSAC算法在圖像配準(zhǔn)中的應(yīng)用[J].計算機(jī)工程與應(yīng)用，2013,49(15):147-149

[21] 張銳娟,張建奇,楊翠.基于SURF的圖像配準(zhǔn)方法研究[J].紅外與激光工程,2009,38(1):160-165

An Optimized Image Mosaic Method

ZHANG Sheng, HAN Chao

(School of Electrical Engineering,Anhui Polytechnic University,Anhui Wuhu 241000,China)

Abstract：In view of the fact that feature point extraction speed is slow and that its matching accuracy is not high in the current image stitching process,an optimized image stitching algorithm is proposed.Firstly,the images to be spliced are carried by the down-sampling process; then extract the feature points on the half image area and use the Sequential Similarity Detection Algorithm (SSDA) to purify the feature points; finally,stitch the images.Stitching results show that compared with the traditional image matching method,the new optimization algorithm greatly reduces calculated data and has obvious advantages in image stitching time.

Key words： image stitching; image registration; down sampling; SURF algorithm; SSDA algorithm