基于SIFT算法的圖像配準(zhǔn)研究*

朱 林

(東南大學(xué)成賢學(xué)院 南京 210088)

?

基于SIFT算法的圖像配準(zhǔn)研究*

朱 林

(東南大學(xué)成賢學(xué)院 南京 210088)

為了提高圖像配準(zhǔn)的質(zhì)量,論文在分析常用圖像配準(zhǔn)方法的基礎(chǔ)上,總結(jié)出根據(jù)特征進(jìn)行圖像配準(zhǔn)的優(yōu)勢,進(jìn)而使用SIFT算法來提取特征點(diǎn),使用高斯差分金字塔的分層構(gòu)造確定和提取圖像的空間極值點(diǎn),從而得出精確而平穩(wěn)的配準(zhǔn)結(jié)果,為圖像配準(zhǔn)的優(yōu)化與發(fā)展打下基礎(chǔ)。

圖像配準(zhǔn); SIFT算法; 特征點(diǎn)

Class Number TP301.6

1 引言

圖像配準(zhǔn)是計算機(jī)科學(xué)技術(shù)領(lǐng)域中一項非常關(guān)鍵技術(shù),也是重要的研究焦點(diǎn),其主要研究內(nèi)容是將同一個場景、相同區(qū)域內(nèi)的圖像通過算法程序進(jìn)行空間匹配對準(zhǔn),需要配準(zhǔn)的兩張圖像無論圖像內(nèi)的同一物體的位移發(fā)生怎樣的變化,都能利用圖像中的相似點(diǎn)匹配起來。圖像配準(zhǔn)技術(shù)在醫(yī)學(xué)、遙感、虛擬現(xiàn)實技術(shù)等方面應(yīng)用很多[1],解決了很多問題。

圖像配準(zhǔn)的質(zhì)量關(guān)鍵取決于提取特征點(diǎn)的精度,本文考慮使用SIFT算法來確定特征點(diǎn)匹配圖像,在此方法中需要細(xì)化相同場景中圖像的各個部分,基于相同的視角測試兩幅圖像的一致特征點(diǎn),研究的核心問題是確定空間轉(zhuǎn)變的模式,讓不同的圖像內(nèi)部存在著重疊的核心坐標(biāo)點(diǎn)并加以對準(zhǔn),再縫合為單個畫面的最后視圖。配準(zhǔn)的方法不僅要確保配準(zhǔn)的精度,還要保證配準(zhǔn)演算量不能太大。

2 圖像配準(zhǔn)方法

相同場景在不同的條件下拍攝的二維圖像會產(chǎn)生明顯的區(qū)別。主要是由于兩幅圖像所處的時間、角度等不同引起的,當(dāng)目標(biāo)景物出現(xiàn)改變時,與之關(guān)聯(lián)的傳感器自身也存在著誤差現(xiàn)象[2]。目前,圖像配準(zhǔn)方法大體上可以分成如下三種：

2.1 根據(jù)灰度信息進(jìn)行圖像配準(zhǔn)

此方法是根據(jù)兩個圖像所對應(yīng)的灰度信息,用RGB或是CMY的色彩體系來配準(zhǔn)相似性,并根據(jù)標(biāo)準(zhǔn)的灰度級確定圖像配準(zhǔn)的方位與重疊性區(qū)域[3]。此方法無需使用圖像分割與特征提取等技術(shù),而是直接應(yīng)用灰度相關(guān)信息來登記,所以此方法一般必須假定應(yīng)有光的內(nèi)在吻合注冊,同時迭代所需光的初始化處理,并對圖像灰度信息加以演算,但缺點(diǎn)是有時演算過于密集化,同時難以旋轉(zhuǎn),圖像的仿射改變也無法被處理。

2.2 根據(jù)變換域進(jìn)行圖像配準(zhǔn)

2.3 根據(jù)特征進(jìn)行圖像配準(zhǔn)

根據(jù)特征進(jìn)行圖像配準(zhǔn)的方法是基于像素特點(diǎn)衍生出來的,在該方法中,涵蓋圖像信息的特征點(diǎn)都能夠被加以使用,例如邊緣化的特征點(diǎn)、角點(diǎn)、高曲率參量點(diǎn)、重心及封閉式范圍的統(tǒng)計特征點(diǎn)等,設(shè)計重疊范圍搜索配準(zhǔn)的圖像特征點(diǎn)。根據(jù)特征點(diǎn)進(jìn)行圖像配準(zhǔn)涉及到特征提取、特征匹配以及對運(yùn)動關(guān)系的求解。

1) 特征提取

特征提取是對參與配準(zhǔn)的圖像特征點(diǎn)加以登記,從而界定哪些特征點(diǎn)比較適合圖像的配準(zhǔn)。提取特征點(diǎn)主要考慮三個方面的因素：首先要求兩個圖像應(yīng)有相同的特征點(diǎn)可以進(jìn)行配準(zhǔn),且規(guī)模與強(qiáng)度信息相似；其次要求特征點(diǎn)的分布特點(diǎn)應(yīng)充分涵蓋兩幅圖像,避免出現(xiàn)難以配準(zhǔn)的現(xiàn)象；最后要求所挑選的特征點(diǎn)能夠容易地進(jìn)行深入的工作,在配準(zhǔn)時可以使用簡單的計算方法削減計算工作量。

2) 特征匹配

在根據(jù)特征進(jìn)行圖像配置與提取特征以后,特征匹配能夠直接提取特征點(diǎn)的相應(yīng)關(guān)聯(lián)性,在構(gòu)建四周像素的前提下直接連接不同特征點(diǎn)的對應(yīng)關(guān)系,為了提高穩(wěn)定性、減少冗贅信息,可以通過導(dǎo)入部分加以描述的特性來改進(jìn),從而提供與檢索描述符相似的流程[5]。

3) 對運(yùn)動關(guān)系進(jìn)行求解

運(yùn)動關(guān)系求解主要應(yīng)用于結(jié)構(gòu)出現(xiàn)改變的模型,而所謂運(yùn)動內(nèi)部關(guān)聯(lián)性一般指對應(yīng)的變換矩陣。其功能是在圖像的坐標(biāo)系環(huán)境中實現(xiàn)圖像配準(zhǔn)內(nèi)部的轉(zhuǎn)換功能,變換矩陣所使用的方法是迭代法,每次通過迭代法隨機(jī)地由單個特征點(diǎn)配置來化解最初對應(yīng)的矩陣。

櫻桃熟了，果粒紅得發(fā)紫。給院子增添一道靚麗風(fēng)景線，大樓里的人舍不得摘。這天，來了三個騎摩托車自稱是種櫻桃樹的園林農(nóng)工，理直氣壯地進(jìn)園就摘櫻桃。門衛(wèi)經(jīng)警好言相勸，走時還是摘了半塑料袋櫻桃。櫻桃好吃樹難栽，這里的櫻桃樹是她們栽的，果子理應(yīng)她們吃。

根據(jù)特征進(jìn)行圖像配準(zhǔn)的研究具有很多優(yōu)勢,首先可以處理好圖像內(nèi)部存在較大偏差的現(xiàn)象；其次可以盡可能多地削減計算量、減少配準(zhǔn)的基準(zhǔn)時間；再次由于其構(gòu)建在匹配特征點(diǎn)的基礎(chǔ)上,所以在受到圖像光與噪音影響的同時,并不會對光和噪音改變的灰色度與健壯性產(chǎn)生明顯的敏感反應(yīng)。

3 基于SIFT算法的特征點(diǎn)提取

SIFT(Scale-invariant feature transform)算法可以檢測圖像配準(zhǔn)的局部特征,該算法通過求一幅圖中的特征點(diǎn)(interest points or corner points)及其有關(guān)scale和orientation的描述得到特征點(diǎn)并進(jìn)行相應(yīng)特征點(diǎn)的匹配,使用SIFT算法進(jìn)行圖像配準(zhǔn)主要應(yīng)用于圖像的旋轉(zhuǎn)、放大、縮小、亮度變化等方面[6]。

SIFT算法是基于尺度空間的相關(guān)屬性而提出的一類尺度恒定的特征點(diǎn)測試法,主要使用目標(biāo)部分范圍信息來構(gòu)建相應(yīng)的特征量,它所選取的關(guān)鍵點(diǎn)是處于空間與尺度域內(nèi)所獲得的極值點(diǎn),同時將若干個關(guān)鍵點(diǎn)作為特征區(qū)域的重點(diǎn),而關(guān)鍵點(diǎn)所對應(yīng)的尺度還須通過確定特征范圍的大小加以界定,在單個特征范圍中,將梯度向度上的直方圖作為前提,從而獲得局部恒定的特征向量[7]。

特征點(diǎn)提取時須先預(yù)處理圖像,使用高斯差分金字塔的分層構(gòu)造提取圖像的極值點(diǎn),并將其作為候選,然后深入地篩選出對比度偏低以及位于邊緣處的點(diǎn),最后提取出比較平穩(wěn)的特征點(diǎn)[8]。其實施順序如下：

1) 尺度空間的極值獲取

首先需要確定尺度空間中的極值,構(gòu)建起尺度空間的函數(shù)公式。產(chǎn)生高斯差分式圖像,高斯卷積核是完成改變尺度的唯一線性核:

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

(2)

上述的*指的是x與y內(nèi)部的卷積運(yùn)算符,(x,y)所表示的是空間坐標(biāo)參量,σ所表示的是尺度坐標(biāo)參量。

D(x,y,σ) =(G(x,y,kσ)-G(x,y,σ))*I(x,y)

=L(x,y,kσ)-L(x,y,σ)

(3)

建立高斯差分式的函數(shù)式可以比較有效地進(jìn)行圖像的預(yù)處理,目的在于清理圖像中的模糊成分,從而有利于提取出平穩(wěn)的特征點(diǎn)。使用高斯函數(shù)時,須先計算圖像的卷積情況,然后在圖像中應(yīng)用相應(yīng)的采樣方法,在首次采樣后,每間隔0.5個的像素間距加以采樣,從而放大原先的圖像的倍數(shù),并將其作為首組圖像,再通過成倍數(shù)量的采樣間距依次采樣圖像,進(jìn)而繪制出第二組、第三組與第四組等不同組別的圖像。然后借助于高斯內(nèi)核的相關(guān)函數(shù)展開濾波處理,構(gòu)建起高斯式的金字塔圖像立體化分層構(gòu)造,在進(jìn)行高斯濾波的過程中,須依次使用相應(yīng)的因子。候選特征點(diǎn)生成圖如圖1所示。

圖1 候選特征點(diǎn)生成圖

圖1的左側(cè)表示的是高斯金字塔的立體化層次結(jié)構(gòu),同時標(biāo)記出高斯濾波相應(yīng)函數(shù)的濾波要素。最初的圖像在高斯函數(shù)下展開卷積從而產(chǎn)生一系列的圖像,然后在尺度空間內(nèi)通過常量k來區(qū)分,可參見圖1左側(cè)的示意圖。把其中所有組別用一個整數(shù)s間隔,假定k=21/s,則每組內(nèi)的圖像數(shù)量是s+3個,極值的測試則可以覆蓋組內(nèi)的全部圖像,圖1右側(cè)表示的是把每組內(nèi)鄰近的圖像通過相減的方式產(chǎn)生高斯差分的圖像?；诟咚共罘值慕鹱炙Ⅲw化結(jié)構(gòu)提取出圖像內(nèi)的極值點(diǎn)作為候選的特征點(diǎn),然后深入地篩選出候選的特征點(diǎn),去除對比度較低與位于邊緣處的特征點(diǎn),最后提取出平穩(wěn)的特征點(diǎn)[9]。

2) 空間極值點(diǎn)的確定

為了確定尺度空間中的極值點(diǎn),每個采樣點(diǎn)須與鄰近的其它全部點(diǎn)進(jìn)行比對,看它在圖像與尺度域中鄰近距離的大小。如圖2所示。

圖2 尺度空間計算

圖中與中間層測試點(diǎn)的鄰近尺度匹配點(diǎn)共有9×2+8個,即共計26個點(diǎn),加以比對后,保障尺度空間與二維圖像的空間均可以測試到極值點(diǎn)[10]?？臻g極值點(diǎn)準(zhǔn)確的方位是基于擬合之后的二次函數(shù)界定三維方位與尺度的主要點(diǎn)(子像素的精度),需要去除對比度較低與非穩(wěn)定性的點(diǎn),從而強(qiáng)化圖像的抗噪功能。

4 結(jié)語

圖像配準(zhǔn)的方法很多,優(yōu)秀的圖像配準(zhǔn)方法要求圖像配準(zhǔn)時精確度要高、計算量要小,通過SIFT算法可以精確而有效地獲取并確定空間極值點(diǎn),完成特征點(diǎn)的精確提取,并構(gòu)造高斯差分立體化分層金字塔完成相應(yīng)的配準(zhǔn)工作,為圖像配準(zhǔn)在醫(yī)學(xué)、遙感等行業(yè)中的應(yīng)用打下基礎(chǔ)。

[1] 鄒承明.基于幾何學(xué)圖像配準(zhǔn)的SIFT圖像拼接算法[J].華中科技大學(xué)學(xué)報(自然科學(xué)版),2016(4):32-36 ZOU Chengming. SIFT image mosaic algorithm based on geometric image registration [J]. Journal of Huazhong University of Science and Technology (Naturral Science Edition),2016(4):32-36.

[2] 陳曉燕.基于SIFT算法在圖像配準(zhǔn)上的應(yīng)用研究和實現(xiàn)[J].電子技術(shù)與軟件工程,2016(5):101-102. CHEN Xiaoyan. Research on the application of image registration based on SIFT algorithm and implementation of [J]. electronic technology and software engineering,2016(5):101-102.

[3] 林小平,周石琳,張官亮.一種基于蟻群算法和互信息測度的圖像拼接技術(shù)[J].重慶理工大學(xué)學(xué)報(自然科學(xué)版),2013,27(1):76-81. LIN Xiaoping, ZHOU Shilin, ZHANG Guanliang. A based on ant colony algorithm and mutual information measure of image stitching technology[J]. Chongqing University of science and Technology Journal of University of Technology (Natural Science Edition),2013,27(1):76-81.

[4] 張永梅,張晨希,巴德凱.改進(jìn)SIFT變換與客觀評價結(jié)合的圖像配準(zhǔn)算法[J].計算機(jī)測量與控制,2015(6)：2090-2093. ZHANG Yongmei, ZHANG Chenxi, BA Dekai. Combining improved sift and objective evaluation of image registration algorithm [J]. Computer measurement and control,2015(6):2090-2093.

[5] 岳昕.基于信息熵與SIFT算法的天文圖像配準(zhǔn)[J].計算機(jī)科學(xué),2015(6)：57-60. YUE Xin. Astronomical image registration based on information entropy and SIFT algorithm [J].computer science,2015(6):57-60.

[6] 姚漢英,孫文峰,李平.SAR圖像拼接效果的評價方法研究[J].計算機(jī)工程,2010,36(15):196-198. YAO Hanying, SUN Wenfeng, Li Ping. SAR image stitching effect evaluation method research [J].Computer Engineering,2010,36(15):196-198.

[7] 趙壘,侯振杰.一種改進(jìn)的SIFT圖像配準(zhǔn)方法[J].計算機(jī)工程,2010,36(12)：226-228. ZHAO Lei, HOU Zhenjie. An improved SIFT image registration method [J]. Computer Engineering,2010,36(12):226-228.

[8] 李慶,張豐,李芬.一種用于AOI的PCB拼接算法[J].華中科技大學(xué)學(xué)報(自然科學(xué)版),2011(2):90-93. LI Qing, ZHANG Feng, LI Fen. A PCB splicing algorithm for AOI[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition),2011(2):90-93.

[9] 魏利勝,周圣文.新型優(yōu)化SIFT的圖像快速配準(zhǔn)方法研究[J].計算機(jī)工程與應(yīng)用,2015(5):167-171. WEI Lisheng, ZHOU Shengwen. A new method of fast image registration for new optimized SIFT[J].computer engineering and application,2015(5):167-171.

[10] 劉輝,申海龍.改進(jìn)圖像配準(zhǔn)算法在無人機(jī)遙感圖像拼接中的應(yīng)用[J].光電技術(shù)應(yīng)用,2014,35(1):108-112. LIU Hui, SHEN Hailong. Application of improved image registration algorithm in remote sensing image mosaic of unmanned aerial vehicle[J]. Application of optoelectronic technology,2014,35(1):108-112.

Image Registration Based on SIFT Algorithm

ZHU Lin

(Southeast University Chengxian College, Nanjing 210088)

In order to improve the quality of image registration, based on the analysis of common image registration method, the advantage is summed up according to the characteristics of image registration. And the SIFT algorithm is used to extract the feature points, using Gauss differential to determine and extract the image’s spatial extreme points, thus the accurate and stable results are obtained to lay the foundation for the optimization and development of image registration.

image registration, SIFT algorithm, feature points

2016年5月2日,

2016年6月23日

朱林，男，碩士，講師，研究方向：計算機(jī)體系結(jié)構(gòu)、軟件開發(fā)、圖形圖像、電子商務(wù)。

TP301.6

10.3969/j.issn.1672-9722.2016.11.031