一種適用于圖像拼接的DSIFT算法研究

周遠(yuǎn),周玉生,劉權(quán),楊新宇

?

一種適用于圖像拼接的DSIFT算法研究

周遠(yuǎn),周玉生,劉權(quán),楊新宇

圖像拼接是指通過對現(xiàn)實中同一場景采集得到的兩個或多個圖像,通過變換使其拼接成一張完整圖像的過程[1]。Szeliski提出了不依賴于對圖像進行水平采集的全景圖像拼接方案[2];Peleg提出了自適應(yīng)的圖像拼接模型[3];Chen提出了利用線形紋理匹配的圖像拼接算法,減少了計算時間,并且增強了抗干擾能力[4];Brown等提出了利用尺度不變特征提取算法進行自動圖像拼接[5];Mahesh使用可控Harris探測特征點,提出了基于特征的圖像拼接方法[6]。華莉琴等提出了采用改進SIFT算法及多視角的車型識別算法,保持了圖像識別的穩(wěn)定性,同時降低了處理時間開銷[7]。

圖像拼接中最重要的一個步驟就是特征提取,特征提取算法的好壞直接決定拼接的質(zhì)量以及效率。SIFT(Scale Invariant Feature Transform)算法[8]是目前圖像處理領(lǐng)域特征檢測和匹配中最為有效的算法,它可以提取出魯棒性很強的尺度不變特征,但是該算法時間開銷大,并且沒有考慮特征點的分布情況?；赟IFT算法改進的CSIFT[9]和SURF算法[10]也存在問題,CSIFT算法通過計算圖像的反射光譜模型增加了特征對光照變化的魯棒性,但是增加了計算開銷;SURF算法雖然可以加快特征提取的速度,但是提取的特征點的信息量較少,而且對于尺度以及旋轉(zhuǎn)的魯棒性不夠強。

針對以上問題,本文在SIFT特征提取階段進行非極大值抑制,保留特征最明顯的極值作為特征點,使SIFT特征點能夠離散分布。為了特征點的分布離散均勻化,本文在SIFT算法的空間極值檢測階段引入了一個滑動窗口,利用這個窗口對搜索進行一定的抑制。在高斯差分金字塔DOG的構(gòu)建過程中進行關(guān)鍵點定位,保持了特征點的魯棒性。同時,本文通過在特征提取前對圖像添加降采樣操作步驟,縮減圖像配準(zhǔn)的應(yīng)用圖像大小,在計算單應(yīng)矩陣前添加位置信息還原的步驟,從而在保證一定的圖像拼接質(zhì)量的前提下有效地降低了圖像配準(zhǔn)各個階段的時間開銷。最后,通過對特征點分布情況、時間開銷以及魯棒性進行對比分析,充分驗證了本文算法在圖像拼接方面的優(yōu)越性。

1 SIFT算法分析與圖像拼接流程設(shè)計

1.1 SIFT算法分析

SIFT算法是一種尺度不變特征提取算法,該算法對在不同時間或者視角下相同場景拍攝的圖像提取出穩(wěn)定的特征,而且這些特征對尺度縮放、旋轉(zhuǎn)以及亮度變化保持不變性,同時它對視角變換、仿射變換以及噪聲也具有一定的穩(wěn)定性。它在圖像的不變特征提取方面與傳統(tǒng)的Harris角點檢測[11]、SUSAN角點檢測[12]以及FAST角點檢測[13]等算法相比有著巨大的優(yōu)勢。此外,SIFT特征還具有獨特性和多量性,對于特征的描述信息豐富,SIFT描述已經(jīng)被證明是目前圖像處理領(lǐng)域魯棒性最強的局部不變特征描述符[14]。

SIFT算法也存在一些缺點:首先是對于分辨率很低的模糊邊緣平滑圖像來說,提取的特征點過少;其次,SIFT算法計算開銷十分大;再次,SIFT算法沒有利用到圖像的顏色信息,SIFT算法通常都是用以處理灰度圖像;最后,SIFT算法沒有考慮特征點的分布情況。

1.2 圖像拼接關(guān)鍵算法

圖1 改進后的圖像拼接流程

基于特征的自動圖像拼接可分為特征提取、特征匹配、單應(yīng)矩陣估計以及圖像融合等步驟,其中前3個步驟都屬于圖像配準(zhǔn)的相關(guān)內(nèi)容,如圖1所示。兩幅圖像進行特征提取后變?yōu)榱藘蓚€特征點數(shù)組F1和F2,然后利用特征的鄰域梯度向量之間的歐式距離比值查找匹配點,再引入K-D樹(K-Dimensional Tree)將查找的時間復(fù)雜度降為O(n1logn2),得到兩組相互匹配的特征點數(shù)組Fmatch1和Fmatch2,這兩個特征數(shù)組包含的特征數(shù)目相同,并且是一一對應(yīng)的。針對圖像拼接在不同階段使用特征點的不同信息的特性,可以對圖像配準(zhǔn)增加一個降采樣以及坐標(biāo)位置還原的流程,使特征提取階段使用降采樣后的圖像,而在進行了特征點匹配后將匹配對的位置信息還原到原圖像中計算單應(yīng)矩陣,從而極大地減少了運算量。

但是,此時的特征點數(shù)組并不是都完全匹配,特征點的篩選和單應(yīng)矩陣的估計采用RANSAC(RANdom SAmple Consensus)算法,在已知變換模型的前提下,從一組包含“局外點”的觀測數(shù)據(jù)中通過迭代的方式估計數(shù)學(xué)模型參數(shù),最后使用加權(quán)平均融合算法將配準(zhǔn)后的兩幅圖像融合到一幅圖像中。

降采樣后圖像的坐標(biāo)信息經(jīng)過相應(yīng)的坐標(biāo)變換可以還原到源圖像,雖然增加了降采樣和坐標(biāo)還原的步驟,但是這兩個步驟的時間開銷幾乎可以忽略不計,因此在開銷不變的情況下,可保證最后拼接保留了源圖像的所有信息。

2 DSIFT算法

2.1 算法的提出

針對SIFT算法存在的不足,很多學(xué)者都提出了對SIFT算法的改進,但是現(xiàn)有的改進方案大多是討論特征點的準(zhǔn)確性、可重復(fù)性、魯棒性和時間復(fù)雜度等,而忽略了特征分布這個因素。雖然特征點越多,獲取到的圖像特征信息就越多,但是在應(yīng)用到圖像拼接中時只要有效的特征點數(shù)量足夠完成變換矩陣的計算,多余的特征點有時甚至?xí)绊懫唇有Ч?。因?如果能在特征點提取階段就保證特征點的良好稀疏分布,并且其特征明顯的話,可以極大地提高配準(zhǔn)以及拼接效率。針對這一問題,提出了一種適用于圖像拼接的離散尺度不變特征提取算法DSIFT(Discrete SIFT)算法。該算法與SIFT算法相比具有3個特點:①保持SIFT特征對尺度縮放、旋轉(zhuǎn)以及亮度變化的不變性,對于視角變換、仿射變換以及噪聲也具有一定的穩(wěn)定性;②時間開銷相對SIFT算法有一定的減少;③相對SIFT特征點來說,分布更加均勻,提取的特征點更適用于圖像拼接。

為了描述特征點的分布情況,引入離散度的概念來定義特征點分布的離散程度,令圖像中所有特征點構(gòu)成的集合為F,每一個特征用fi=(xi,yi,σi,θi,υi)表示,其中x、y表示特征點在圖像中的位置,σ表示特征所在的尺度,θ表示特征的方向,υ表示鄰域描述信息。由于在這里我們只是考慮特征的分布情況,只需要用到特征的空間分布信息而不需要尺度、方向、鄰域等其他信息,所以本節(jié)只是用特征的空間分布信息fi=(xi,yi),假設(shè)圖像中的特征點的數(shù)目為n,那么圖像中所有特征點離坐標(biāo)原點的平均距離為

(1)

為了描述離散程度,定義離散度為

(2)

對于一幅圖像中的特征點分布,離散度S越大,表明特征點的分布越離散越均勻;S越小,表明特征點的分布越密集越不均勻。

在檢驗特征提取算法的魯棒性方面,通常使用重復(fù)率r進行對比,重復(fù)率表示圖像在變換前后同一個位置出現(xiàn)相同特征數(shù)目與特征總數(shù)的比值

(3)

式中:Cor(F1,F2)表示兩組特征點之間能夠?qū)?yīng)上特征點對的數(shù)目;mea(n1,n2)表示對n1、n2取均值;mat(F1,F2)表示特征集合F1和F2之間特征匹配的對數(shù)。重復(fù)率越高,表明圖像在變換后能夠在同一位置檢測到同一特征的概率越大,對應(yīng)的特征提取算法的魯棒性也就越強。

2.2 算法的設(shè)計

在SIFT特征點的基礎(chǔ)上考慮其分布情況,要使SIFT特征點能夠離散分布,本文在特征提取階段進行非極大值抑制(Non-maximum suppression),在一定的區(qū)域內(nèi)排除非極值,保留特征最明顯的極值作為特征點,對SIFT算法的尺度空間極值檢測階段進行改進,這里稱改進后的算法為離散尺度不變特征提取DSIFT算法。

由圖2可知,在SIFT算法中,極值點的檢測是在高斯差分金字塔上遍歷所有點,并將其與周圍的26個像素點進行比較而得到的。為了特征點的分布離散均勻化,DSIFT算法在SIFT算法的空間極值檢測階段引入一個滑動窗口,利用這個窗口對極值點的檢測進行非極大值抑制。在DSIFT算法中,在要檢測的層上使用一個矩形窗口進行移動,在窗口內(nèi)將每個點與其周圍的8個相鄰點進行對比,若該點為極值點,則將該點加入一個有序隊列中,然后將隊列中元素依次取出,與上下層共18個點進行比較,若該點仍為極值點,則將該點作為本窗口的特征點候選點,按一定的間距將窗口移動到下一個區(qū)域。通過這種操作,每個窗口內(nèi)至多有兩個特征點。

(a)SIFT算法 (b)DSIFT算法圖2 SIFT與DSIFT算法獲取極值點比較

用DSIFT算法進行空間極值檢測,該算法可以在一個圖像的高斯差分金字塔DOG中完成離散空間極值點的檢測,在檢測空間離散分布的極值點后,也需要與SIFT算法一樣進行關(guān)鍵點定位、確定特征點方向以及生成特征描述符等步驟,這些步驟都與SIFT算法相同,因此在保證了特征點離散分布的前提下,同時也保持了特征點的魯棒性。

如果在一個窗口內(nèi)能夠檢測到候選點,那么這些特征點必然是窗口內(nèi)特征最明顯的局部極值點,這是由有序隊列保證的,有序隊列的每個元素包括了特征點在高斯差分圖像所在的行r、列c以及像素值v3個信息,每個窗口包括了一個極大值有序隊列maxQueue與一個極小值有序隊列minQueue。以極大值有序隊列為例,加入隊列的所有元素按照像素值從大到小排列,這些元素在出隊的時候,也是按照從大到小的順序出隊,然后進行空間極值檢測,與上下層的鄰居比較,一旦探測出這個元素不僅是本層的極大值點,而且相對上下層鄰居也是極大值點,那么選擇這個點作為本窗口內(nèi)的極大特征點,相對還未出隊的元素來說,已經(jīng)選擇特征點的像素值最大,從而也是特征最為明顯的,這些未出隊的元素可以清空。通過移動窗口,使得每個窗口內(nèi)出現(xiàn)的特征點數(shù)目限制在兩個以內(nèi),這樣的非極大值抑制方式就解決了特征點離散分布的問題。

在DSIFT特征提取時間開銷的問題上,在尺度空間極值點檢測的過程中,最為耗時的是像素點比較的過程,假設(shè)在尺度σ(o,s)所在的高斯差分圖像的寬為w、高為h,那么該層利用SIFT算法進行極值檢測需要比較的次數(shù)為52wh。假設(shè)引入的滑動窗口的長為a、寬為b,那么DSIFT算法進行極值檢測需要比較的次數(shù)為(16+36c/ab)wh,c為一個取值較小的正整數(shù),實驗表明通常取1～3。在DSIFT算法中,應(yīng)根據(jù)實際情況對窗口的大小進行取值,窗口越大,需要比較的次數(shù)越少,對應(yīng)檢測到的極值也越少,越分散,應(yīng)根據(jù)實際情況對窗口的大小進行取值。

3 實驗對比分析

對DSIFT與SIFT算法進行實驗對比,證明DSIFT算法可以取得較SIFT算法更均勻的特征點分布,并且計算速度優(yōu)于SIFT算法,同時還保持了SIFT算法的旋轉(zhuǎn)、尺度、仿射等不變性。

3.1 特征點分布情況對比分析

對于特征點的分布情況這里采用離散度S進行評價,實驗對象以Lena圖片為例,用SIFT算法對Lena圖像提取特征點時,可以得到431個特征點,特征點的分布情況如圖3a所示,特征點的離散度為90.21,用DSIFT算法處理得到圖3b,可以提取到330個特征點,特征點的離散度為91.31,相對SIFT算法可以發(fā)現(xiàn),特征點分布更加均勻了。從圖3可以發(fā)現(xiàn),DSIFT特征點相對SIFT特征點在邊緣處幾乎沒有損失,但是在特征分布密集的區(qū)域(比如頭發(fā)、面部等區(qū)域)特征點分布更加稀疏均勻,這種特征點分布方式更加有利于特征之間的配準(zhǔn)。

(a)SIFT算法 (b)DSIFT算法圖3 SIFT與DSIFT算法特征分布情況

3.2 時間開銷以及魯棒性對比分析

選取不同的圖像進行旋轉(zhuǎn)、仿射(包含光照變化)以及尺度變換時算法效率以及魯棒性的比較,算法的效率用執(zhí)行時間t衡量,魯棒性用重復(fù)率r衡量。

基于圖4所示的圖像旋轉(zhuǎn)變化數(shù)據(jù)集測試效率和魯棒性,它包含9幅圖像,圖4a為一幅正常的大小為600×450的圖像,其他幾幅圖像分別對其旋轉(zhuǎn)10°、50°、70°等,旋轉(zhuǎn)后圖像保持原圖大小,以原圖為參考圖像,將其與每一幅旋轉(zhuǎn)圖像分別進行對比。

從圖5a中可以看出,DSIFT算法特征提取的耗時少于SIFT算法,說明DSIFT算法相比SIFT算法在提取特征點方面更加高效,其中特征提取耗時在90°和180°時達到低谷,是因為在90°和180°時沒有填充區(qū)域。將參考圖像分別與不同旋轉(zhuǎn)角度的圖像進行匹配,計算得到重復(fù)率。從圖5b中可以看出,DSIFT算法的重復(fù)率與SIFT算法的重復(fù)率走勢相同,并且DSIFT算法的重復(fù)率略高于SIFT算法的,在圖像旋轉(zhuǎn)90°時達到最大,特征點的重復(fù)率通常都保持在35%以上。

(a)原圖 (b)旋轉(zhuǎn)10° (c)旋轉(zhuǎn)50°

(d)旋轉(zhuǎn)70° (e)旋轉(zhuǎn)90° (f)旋轉(zhuǎn)120°

(g)旋轉(zhuǎn)140° (h)旋轉(zhuǎn)160° (i)旋轉(zhuǎn)180°圖4 圖像旋轉(zhuǎn)變換數(shù)據(jù)集

(a)時間開銷對比 (b)重復(fù)率對比圖5 DSIFT與SIFT算法旋轉(zhuǎn)變換魯棒性對比

基于圖6所示的圖像仿射變換數(shù)據(jù)集測試效率和魯棒性,它包含5幅圖像,對同一場景在不同視角拍攝的圖像,圖像之間光照強度不同,并且?guī)в幸欢ǖ姆律渥儞Q。

如圖7所示,對其在不同視角下拍攝的圖像進行對比。將圖7a與圖7b對比可以看出,對于仿射變換,效率與重復(fù)率兩者基本是相反的走勢,特征提取耗時越大,重復(fù)率越低,圖6c重復(fù)率最低,這是由于其相比參考圖像的視角變化最大。

(a)原圖 (b)仿射變換1 (c)仿射變換2

(d)仿射變換3 (e)仿射變換4圖6 圖像仿射變換數(shù)據(jù)集

(a)時間開銷對比 (b)重復(fù)率對比圖7 DSIFT與SIFT算法仿射變換魯棒性對比

(a)原圖 (b)尺度變換1 (c)尺度變換2

(d)尺度變換3 (e)尺度變換4 (f)尺度變換5圖8 圖像尺度變換數(shù)據(jù)集

(a)時間開銷對比 (b)重復(fù)率對比圖9 DSIFT與SIFT算法尺度變換魯棒性對比

基于圖8所示的圖像尺度變換數(shù)據(jù)集測試效率和魯棒性,圖8a是600×450正常拍攝圖像,其余幾幅分別是以不同的尺度對這幅圖像放大后采樣得到。

圖9表示了圖像在不同尺度時SIFT算法與DSIFT算法的執(zhí)行效率與特征重復(fù)率,從圖9b可以看出,隨著尺度差距的變大,特征的重復(fù)率越來越低。

從以上3組SIFT算法、DSIFT算法的效率與魯棒性實驗對比中可以發(fā)現(xiàn),DSIFT算法的執(zhí)行效率總是高于SIFT算法的,并且對于不同的圖像變換,DSIFT算法的重復(fù)率也與SIFT算法基本相同,保證了DSIFT算法對這些變換的魯棒性。

3.3 拼接結(jié)果對比分析

為驗證降采樣操作對拼接結(jié)果的影響,對兩幅大小為1 340×850的圖像分別按照改進前后流程拼接,然后對比拼接結(jié)果。在使用改進前的流程時可以對兩幅圖像分別提取到2 182和2 289個特征點,其中能夠初步匹配的特征點對數(shù)目為424,特征點的分布情況以及匹配情況如圖10a所示,在進行匹配對篩選后能夠匹配的點數(shù)目對為369,如圖10b所示。對于改進的流程降采樣操作次數(shù)為2,分別可以提取到167和191個特征點,特征點分布以及匹配情況如圖10c所示,經(jīng)過匹配篩選后能夠匹配的特征點對數(shù)目為20,如圖10d所示。對于兩種匹配情況,計算出的變換矩陣分別為

可以看出,兩個變換矩陣幾乎相同,說明有效匹配點對只需要在一定的程度下都可以成功計算出單應(yīng)矩陣。圖10e分別為改進前后的拼接結(jié)果,可以看出,兩種流程拼接的圖像也幾乎一樣,降采樣操作對圖像拼接質(zhì)量的影響可以忽略。

3.4 拼接耗時分析

對于分辨率較高的圖像,添加降采樣以及坐標(biāo)還原的操作對拼接的結(jié)果幾乎沒有影響。拼接由同一攝像機采集的6組不同場景的圖像,分析流程改進對圖像拼接各個階段時間開銷的影響,實驗結(jié)果如圖11所示。如圖11a所示,直接對源圖像進行特征提取是相當(dāng)耗時的,每降采樣一次,特征提取耗時變?yōu)樵瓉淼?/4,這是因為降采樣是隔點采樣的;圖11b表示了在不同降采樣次數(shù)情況下利用K-D樹算法和BBF算法進行特征匹配的時間對比,整個時間開銷與特征點對的數(shù)目是成正相關(guān)的,但是相對特征提取來說,特征匹配耗時相對要少得多;圖11c表示了在不同降采樣次數(shù)情況下利用RANSAC算法對單應(yīng)矩陣進行估計的時間開銷。RANSAC算法的迭代次數(shù)與數(shù)據(jù)集的大小是呈超線性關(guān)系的,從柱狀圖上可以看出對源圖像進行降采樣一次就可以有很明顯的效率提升;圖11d表示了降采樣次數(shù)不同時,對兩幅圖像進行拼接總耗時的對比,可以發(fā)現(xiàn)降采樣操作對拼接速度的提升相對其他改變一個單獨算法有優(yōu)勢,而對原圖像進行若干次降采樣并且采用坐標(biāo)還原操作對拼接的質(zhì)量并沒有明顯的影響。

(a)降采樣前特征點分布及特征匹配

(b)降采樣前計算單應(yīng)矩陣以及滿足矩陣的匹配點對

(c)降采樣2次后特征點分布及特征匹配

(d)降采樣2次后計算單應(yīng)矩陣以及滿足矩陣的匹配點對

(e)兩種不同流程的拼接結(jié)果圖10 圖像拼接流程改進前后的實驗結(jié)果

(a)特征提取耗時比較 (b)特征匹配耗時比較

(c)計算單應(yīng)矩陣耗時比較 (d)拼接總耗時比較圖11 不同降采樣次數(shù)下圖像拼接不同階段耗時分析

理論上兩幅圖像之間只要有效匹配點對數(shù)目大于4,那么就可以完成它們之間的拼接,在匹配點對數(shù)目大于8的情況下,RANSAC算法都可以成功估計出變換矩陣并且完成圖像的拼接,實際系統(tǒng)中降采樣的次數(shù)應(yīng)由源圖像的分辨率進行決定,對于高分辨率的圖像可以進行多次的降采樣步驟。

4 結(jié) 論

本文提出了一種基于DSIFT算法的圖像拼接技術(shù),針對SIFT算法沒有考慮特征點的分布情況,而且SIFT算法計算開銷較大,本文通過在圖像的高斯差分金字塔中添加一個滑動窗口,對極值點的選取進行非極大值抑制,達到了特征點相對均勻分布的目的;利用DSIFT算法的尺度不變特性,在圖像拼接的流程中添加降采樣以及坐標(biāo)還原的操作,極大地縮減了拼接的時間開銷。在高斯差分金字塔DOG的構(gòu)建過程中,與SIFT算法一樣進行關(guān)鍵點定位,保持了特征點的魯棒性。本文在特征提取前對圖像添加降采樣操作步驟,在計算單應(yīng)矩陣前添加位置信息還原的步驟,在保證一定的圖像拼接質(zhì)量的前提下極大地降低了圖像配準(zhǔn)各個階段的時間開銷。通過實驗驗證,DSIFT算法相對SIFT算法具有更加均勻的特征點分布,運算速度更快,并且保持了SIFT算法較高的魯棒性不變,DSIFT算法相對SIFT算法更加適合應(yīng)用于圖像拼接。

[1] SZELISKI R. Image alignment and stitching: a tutorial [J]. Foundations and Trends in Computer Graphics and Vision, 2006, 2(1): 1-104.

[2] SZELISKI R, SHUM H Y. Creating full view panoramic image mosaics and environment maps [C]∥Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. New York, USA: ACM, 1997: 251-258.

[3] PELEG S, ROUSSO B, RAV-ACHA A, et al. Mosaicing on adaptive manifolds [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (10): 1144-1154.

[4] CHEN Fang, ZHOU Yifang, ZHAO Binwen, et al. Novel algorithm for image mosaic using linear texture match [C]∥International Conference on Electronic Measurement & Instruments. Piscataway, NJ, USA: IEEE, 2011: 119-122.

[5] BROWN M, LOWE D G. Automatic panoramic image stitching using invariant features [J]. International Journal of Computer Vision, 2007, 74(1): 59-73.

[6] MAHESH, SUBRAMANYAM M V. Automatic image mosaic system using steerable Harris corner detector [C]∥Machine Vision and Image Processing. Piscataway, NJ, USA: IEEE, 2012: 87-91.

[7] 華莉琴, 許維, 王拓, 等, 采用改進的尺度不變特征及多視角模型對車型識別 [J]. 西安交通大學(xué)學(xué)報, 2013, 47(4): 92-99. HUA Liqin, XU Wei, WANG Tuo, et al. Vehicle recognition using improved sift and multi-view model [J]. Journal of Xi’an Jiaotong University, 2013, 47(4): 92-99.

[8] LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9] ABDEL-HAKIM A E, FARAG A A. A SIFT descriptor with color invariant characteristics [C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2006: 1978-1983.

[10]BAY H, TUYTELAARS T, GOOL L V. Speeded up robust features [C]∥ Computer Vision-ECCV. Berlin, Germany: Springer, 2006: 404-417.

[11]HARRIS C, STEPHENS M. A combined corner and edge detector [C]∥Proceedings of the 4th Alvey Vision Conference. Piscataway, NJ, USA: IEEE, 1988: 147-151.

[12]SMITH S M, BRADY J M. SUSAN: a new approach to low level image processing [J]. International Journal of Computer Vision, 1997, 23(1): 45-78.

[13]ROSTEN E, DRUMMOND T. Machine learning for high-speed corner detection [C]∥ Computer Vision-ECCV. Berlin, Germany: Springer, 2006: 430-443.

[14]LUO Juan, GWUN O. A comparison of SIFT, PCA-SIFT and SURF [J]. International Journal of Image Processing, 2009, 3(4): 143-152.

(編輯 趙煒)

(西安交通大學(xué)電子與信息工程學(xué)院,710049,西安)

針對SIFT算法在分辨率很低的模糊邊緣平滑圖像中提取的特征點數(shù)量過少,而且沒有考慮特征點的分布情況、計算開銷較大的問題,提出了一種離散尺度不變特征提取DSIFT(Discrete SIFT)算法。該算法在空間極值檢測階段引入一個滑動窗口,在窗口內(nèi)對極值點的檢測進行非極大值抑制,使得特征點的分布相對均勻,運算速度更快,并且保持了尺度、旋轉(zhuǎn)、仿射等不變性。在特征提取前添加了降采樣操作,在計算單應(yīng)矩陣前添加位置信息還原的步驟,在查找匹配點的過程中引入K-D樹,以及在特征點的篩選和單應(yīng)矩陣的估計上采用RANSAC算法,都降低了圖像配準(zhǔn)各個階段的時間開銷。最后,通過實驗驗證,DSFIT算法相對SIFT算法具有更加均勻的特征點分布,保持了較高的魯棒性,同時,在保證一定圖像拼接質(zhì)量的前提下極大地降低了圖像配準(zhǔn)各個階段的時間開銷。

圖像拼接;尺度不變特征提取算法;圖像配準(zhǔn);圖像融合

Research on a DSIFT Algorithm Applicable to Image Mosaicking

ZHOU Yuan,ZHOU Yusheng,LIU Quan,YANG Xinyu

(School of Electronics and Information Engineering, Xi’an Jiaotong University, Xi’an 710049, China)

In view of the fact that the SIFT algorithm extracts the feature points too little and ignores their distribution, and also has the problem of high computation cost, a discrete-scale-invariant feature extraction algorithm (discrete SIFT or DSIFT in short) is proposed. This algorithm introduces a sliding window on the space extreme test phase of the SIFT algorithm, implements non-maximum suppression for the extreme points detection inside the window, so that the feature points are distributed relatively even. In addition, this algorithm makes the calculation faster, and at the same time maintains the scale, rotation, and affinity invariant. In order to reduce the time overhead of the image registration in various stages, it adds a desampling operation before feature extraction and the operation of location information reversion before calculating the homographic matrix. And it also introducesK-Dimensional Tree in the process of searching matching points, and adopts RANSAC algorithm in the shifting of the feature points and estimation of homographic matrix. Finally, through experiment verification, it is found that the DSIFT algorithm has more uniform distribution of feature points than SIFT algorithm, and with high robustness. At the same time, on the premise of guaranteeing the quality of image mosaicking, the time overhead in various stages of image registration is greatly reduced.

image mosaicking; SIFT algorithm; image registration; image fusion

2014-12-29。 作者簡介:周遠(yuǎn)(1982—),男,博士生;楊新宇(通信作者),男,教授,博士生導(dǎo)師。

時間:2015-07-10

http:∥www.cnki.net/kcms/detail/61.1069.T.20150710.1032.005.html

10.7652/xjtuxb201509015

TP391

A

0253-987X(2015)09-0084-07