對(duì)比度閾值自適應(yīng)的SIFT圖像拼接算法

李 尊，申小萌，苗同軍

?

對(duì)比度閾值自適應(yīng)的SIFT圖像拼接算法

李 尊，申小萌，苗同軍

（新鄉(xiāng)學(xué)院 物理與電子工程學(xué)院，河南 新鄉(xiāng) 453000）

圖像拼接技術(shù)主要由3部分構(gòu)成：采集、匹配和融合，其中匹配最為關(guān)鍵，決定拼接質(zhì)量。針對(duì)SIFT圖像拼接算法的特征點(diǎn)數(shù)目局部過(guò)高或過(guò)低情況，采用對(duì)比度閾值自適應(yīng)的SIFT圖像拼接算法，可得到合理數(shù)目的特征點(diǎn)。此方法保證特征點(diǎn)數(shù)目在150～300之間，過(guò)高或過(guò)低時(shí)，可自適應(yīng)調(diào)節(jié)數(shù)目，進(jìn)行有效控制。實(shí)驗(yàn)證明：改進(jìn)的算法保證拼接效果的基礎(chǔ)上，提高運(yùn)算效率，具有實(shí)用價(jià)值。

圖像拼接；SIFT算法；對(duì)比度閾值；自適應(yīng)

0 引言

圖像拼接技術(shù)[1-3]是指多幅具有重疊區(qū)域的圖像，拼接成視角寬闊的大場(chǎng)景圖像的過(guò)程。目前，該技術(shù)廣泛應(yīng)用于影視制作、醫(yī)療診斷等方面，是計(jì)算機(jī)視覺(jué)的研究熱點(diǎn)。

圖像拼接技術(shù)主要由3部分構(gòu)成：采集、匹配和融合，其中匹配最為關(guān)鍵。目前常用的圖像匹配算法[4-7]有模板匹配法、圖像灰度法、圖像特征法和變換域法等。模板匹配法簡(jiǎn)單易行但定位不準(zhǔn)確，只能實(shí)現(xiàn)基本定位；圖像灰度法的魯棒性較好但需選擇合適的代價(jià)函數(shù)；圖像特征法效率得到提高但魯棒性的特征較難選擇；變換域法利于硬件實(shí)現(xiàn)但只是提供一個(gè)良好的初始配準(zhǔn)參數(shù)。

基于SIFT特征點(diǎn)的圖像拼接方法是常用的圖像拼接算法。其對(duì)旋轉(zhuǎn)和尺度具有不變性，并對(duì)光照、視角和噪聲具有很好的魯棒性，但計(jì)算量大，耗時(shí)較多。文獻(xiàn)[8]利用PCA對(duì)SIFT算法進(jìn)行降維處理，提高特征向量的鑒別能力，運(yùn)用到紅外熱成像中；文獻(xiàn)[9]將邊緣檢測(cè)Canny引入降維處理，改進(jìn)SIFT圖像拼接方法，提高效率和準(zhǔn)確性；

文獻(xiàn)[10]引入預(yù)檢測(cè)到RANSAC進(jìn)行精匹配，提高了算法的速度。

因此為了滿(mǎn)足圖像自身特點(diǎn)的要求，針對(duì)SIFT算法的圖像拼接進(jìn)行改進(jìn)。本文提出對(duì)比度閾值自適應(yīng)的SIFT圖像拼接算法。本文算法既保證拼接質(zhì)量，又提高效率，減少時(shí)間。

1 基于SIFT的圖像配準(zhǔn)

SIFT圖像配準(zhǔn)算法[11]由LOW于2004年總結(jié)提出。其對(duì)圖像的復(fù)雜變形（光照、旋轉(zhuǎn)）具有較強(qiáng)的適應(yīng)性，定位準(zhǔn)確，因此被廣泛應(yīng)用。

1.1 檢測(cè)

此步驟為檢測(cè)尺度空間關(guān)鍵點(diǎn)。由于高斯卷積核是唯一的線性核，因此圖像的尺度空間函數(shù)可通過(guò)高斯核表示。如下式所示：

(,,)＝(,,)*(,) (1)

式中：(,,)為高斯核；*表示卷積。

為了保證檢測(cè)點(diǎn)的穩(wěn)定性，因此引入高斯差分函數(shù)。如下式所示：

(,,)＝((,,)－(,,))*(,) (3)

式中：為常數(shù)。

通過(guò)上述操作，可得到圖像的尺度空間。在尺度空間極值檢測(cè)中，為防止出現(xiàn)局部極值，需要每個(gè)像素點(diǎn)在尺幅空間中的相同層和相鄰的上下兩層的共26個(gè)像素點(diǎn)進(jìn)行搜索比較。其中，相同層為8個(gè)像素點(diǎn)，相鄰的上下兩層各為9個(gè)像素點(diǎn)?；诟咚购说臉O值點(diǎn)的檢測(cè)具有良好的尺度不變性。此步示意圖如圖1所示。

圖1 空間關(guān)鍵點(diǎn)檢測(cè)

1.2 定位

此步驟為關(guān)鍵點(diǎn)的精確定位。高斯差分對(duì)邊緣和噪聲敏感，因此引入三維二次函數(shù)擬合定位穩(wěn)定的特征點(diǎn)。其公式如下所示：

上式為T(mén)aylor擬合公式，其中＝(,,)。

1.3 主方向

此步驟為確定關(guān)鍵點(diǎn)的主方向。關(guān)鍵點(diǎn)的主方向由其鄰域的像素點(diǎn)梯度方向所決定。其公式如下所示：

式中：L表示關(guān)鍵點(diǎn)所處的空間。確定梯度方向直方圖的峰值，選取高于0.8倍的峰值位置擬合，得到關(guān)鍵點(diǎn)主方向。其關(guān)鍵點(diǎn)主方向的直方圖如圖2所示。

1.4 特征描述符

此步驟為生成SIFT特征描述符。為了保證匹配的準(zhǔn)確性，LOW選用16個(gè)種子點(diǎn)，形成128維SIFT特征向量，即特征描述符。其生成步驟如下所示：

Step1：為保證旋轉(zhuǎn)不變性，則軸方向與特征點(diǎn)主方向重合；

Step2：以特征點(diǎn)為中心，構(gòu)成4×4個(gè)子區(qū)域，遵循靠近特征點(diǎn)貢獻(xiàn)大的原則，利用高斯函數(shù)對(duì)子區(qū)域的梯度進(jìn)行加權(quán)；

Step3：將0～360°均勻分為8份，用三維插值法統(tǒng)計(jì)方向直方圖；

Step4：最后將子區(qū)域的方向直方圖連接起來(lái)，構(gòu)成128維特征描述符。

1.5 特征匹配

此步驟為特征匹配的判定。本文采用歐氏距離作為匹配原則。公式如下所示：

在實(shí)際運(yùn)用過(guò)程中，并不是每個(gè)特征點(diǎn)都具有對(duì)應(yīng)的匹配點(diǎn)。因此需要引入閾值去除這些特征點(diǎn)，一般閾值取值為0.8。

2 改進(jìn)的SIFT圖像拼接算法

2.1 基于SIFT的圖像拼接

基于SIFT的圖像拼接方法由5步構(gòu)成。圖像輸入、SIFT特征提取、特征點(diǎn)匹配、RANSAC精匹配和圖像融合。其算法流程圖如圖3所示。

圖3 SIFT拼接算法流程圖

其中，RANSAC算法具有較好的魯棒性，用于精匹配。

2.2 對(duì)比度閾值自適應(yīng)的SIFT圖像拼接

在SIFT算法中，剔除低對(duì)比度極值點(diǎn)的步驟所設(shè)定的閾值是固定的，一般取值為0.04。但在圖像中，不可能存在情況完全相同的兩個(gè)像素點(diǎn)，每個(gè)像素點(diǎn)的情況都有各自特殊。固定的閾值會(huì)造成局部極值點(diǎn)過(guò)多或者過(guò)少[12]。因此，本文采用自適應(yīng)閾值的方法進(jìn)行篩選。公式如式(7)所示：

上式中，一般選取1＝0.25，2＝4，表示特征點(diǎn)的個(gè)數(shù)。自適應(yīng)閾值的選擇是為了保證特征點(diǎn)的數(shù)目在一個(gè)合理的范圍內(nèi)。其具體步驟如下所示：

Step1：設(shè)定特征點(diǎn)上下限閾值，min＝150，max＝300；

Step2：統(tǒng)計(jì)特征點(diǎn)數(shù)目；

Step3：比較，若特征點(diǎn)數(shù)目在上下限之間，則跳轉(zhuǎn)至Step5；否則進(jìn)行Step4；

Step4：根據(jù)公式(7)調(diào)整特征點(diǎn)的數(shù)目，使之達(dá)到預(yù)定的要求；

Step5：數(shù)目達(dá)到預(yù)定要求，繼續(xù)進(jìn)行SIFT算法的其他步驟。

本文將改進(jìn)的SIFT算法應(yīng)用于圖像拼接，可以既保證拼接效果又提高效率。

3 仿真實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)采用處理器為Intel(R) Core(TM)i5-2450M CPU@2.5GHz，實(shí)驗(yàn)仿真軟件為MATLAB7.0。采用結(jié)構(gòu)相似度（structural similarity index，SSIM）[13]進(jìn)行評(píng)價(jià)圖片拼接效果。

SSIM是一種衡量?jī)煞鶊D像相似度的指標(biāo)，其取值范圍為－1～1。當(dāng)SSIM＝1時(shí)，表示兩幅圖像為一幅圖像，可認(rèn)為完全相同。

圖4為故宮待拼接圖像，圖像大小為202×136；圖6為校門(mén)待拼接圖像，圖像大小為694×452。圖8為風(fēng)景待拼接圖像，圖像大小為466×310。圖5、圖7、圖9為拼接效果對(duì)比圖。主觀上，3組實(shí)驗(yàn)的拼接效果滿(mǎn)足人的視覺(jué)需求，無(wú)明顯分界線和重影出現(xiàn)；客觀上，故宮的兩幅拼接結(jié)果圖的SSIM值為0.9810；校門(mén)的兩幅拼接結(jié)果圖的SSIM值為0.9875；風(fēng)景的兩幅拼接結(jié)果圖的SSIM值為0.9742，由此可得3組實(shí)驗(yàn)的兩組拼接圖均可近似看作一幅圖。且由表1的數(shù)據(jù)可以看出，在保證拼接效果的基礎(chǔ)上，時(shí)間降低。通過(guò)仿真實(shí)驗(yàn)可得，本文算法在保證圖像拼接效果，滿(mǎn)足人眼視覺(jué)的基礎(chǔ)上，降低時(shí)耗，提高效率，具有可行性。

圖4 故宮待拼接圖像

圖5 故宮拼接對(duì)比圖

圖6 校門(mén)待拼接圖像

圖7 校門(mén)拼接對(duì)比圖

圖8 風(fēng)景待拼接圖

Fig.8 Two images of the scenery before mosaicing

圖9 風(fēng)景拼接對(duì)比圖

表1 客觀數(shù)據(jù)對(duì)比表

4 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)的SIFT算法的圖像拼接的對(duì)比度閾值為恒定值的特點(diǎn)，本文提出改進(jìn)。引入自適應(yīng)公式，根據(jù)圖像的情況，控制特征點(diǎn)數(shù)目，防止出現(xiàn)特征點(diǎn)過(guò)多或過(guò)少。本文算法既保證圖像拼接效果又提高了效率，具有一定的實(shí)用價(jià)值。

[1] 曹俊杰, 封靖波, 蘇云勛. 全景圖像拼接算法[J]. 大連理工大學(xué)學(xué)報(bào), 2003, 43(21): 180-182．

CAO Junjie, FENG Jinbo, SU Yunxun. A panoramic image mosaic algorithm[J]., 2003, 43(21): 180-182．

[2] 李曉娟. 圖像拼接技術(shù)研究[D]. 西安: 西安電子科技大學(xué), 2007.

LI Xiaojuan. Research on Image Mosaic[D]. Xi’an: Xi Dian University, 2007.

[3] 陳勇. 基于改進(jìn)SIFT算法的圖像配準(zhǔn)研究[D].成都: 電子科技大學(xué), 2011.

CHEN Yong. Research on image Registration on improved sift algorithm[D]. Chengdu: University of electronic science and technology of China, 2011.

[4] 楊艷偉. 基于SIFT特征點(diǎn)的圖像拼接技術(shù)研究[D]. 西安: 西安電子科技大學(xué), 2009．

YANG Yanwei. Research on image Mosaic based on sift algorithm[D]. Xi’an: Xi Dian University, 2009.

[5] 劉松. 基于改進(jìn)SIFT的圖像拼接及其并行化研究[D]. 合肥: 安徽大學(xué), 2014．

LIU Song. Research on image splicing technology based on sift algorithm and its implementation[D]. Hefei:Anhui University, 2014．

[6] 阮小麗, 陳慶虎, 邱益明, 等. 基于不變因子的SIFT誤匹配點(diǎn)剔除及圖像檢索[J]. 紅外技術(shù), 2015, 37(7): 560-565．

RUAN Xiaoli, CHEN Qinghu, QIU Yiming, et al. Excluding sift mismatching points based on the invariant factors and image retrieval[J]., 2015, 37(7): 560-565．

[7] 李明, 李德仁, 范登科, 等. 利用PC-SIFT的多源光學(xué)衛(wèi)星影視自動(dòng)配準(zhǔn)方法[J]. 武漢大學(xué)學(xué)報(bào): 信息版, 2015(1): 64-70．

LI ming, LI Deren, FAN Dengke, et al. An automatic PC-SIFT-based registration of multi-source images from optical satellites[J]. Geomatics and Information Science of Wuhan University, 2015(1): 64-70．

[8] 劉歡, 谷小婧, 顧幸生. 基于魯棒特征匹配的熱成像全景圖生成方法[J]. 紅外技術(shù), 2016, 38(1): 10-19．

LIU Huan, GU Xiaojing, GU Xingsheng. Thermal image stitching based on robust feature matching[J]., 2016, 38(1): 10-19．

[9] 胡伊日格其. 基于改進(jìn)SIFT的圖像配準(zhǔn)算法的圖像拼接實(shí)現(xiàn)[D]. 大連: 大連理工大學(xué), 2014．

HU Yirigeqi. Image Mosaci Based on Improved Image Registration[D]. Dalian: Dalian University of Technology, 2014．

[10] 何賓, 陶丹, 彭勃. 高實(shí)時(shí)性F-SIFT圖像拼接方法[J]. 紅外與激光工程, 2013, 42(52): 440-444．

HE Bin, TAO Dan, PENG Bo. High real-time F-SIFT image mosaic algorithm[J]., 2013, 42(52): 440-444．

[11] Lowe D G. Distinctive image feature from scale invariant key point[J]., 2004, 62(2): 91-110．

[12] 胡鵬. 基于嵌入式系統(tǒng)自適應(yīng)SIFT圖像配準(zhǔn)算法研究[D]. 西安: 西安電子科技大學(xué), 2014．

HU Peng. Embedded System Based Image Registration Using Adaptive SIFT Algorithm[D]. Xi’an: Xidian University, 2014.

[13] 萬(wàn)國(guó)挺, 王俊平, 李錦, 等. 圖像拼接質(zhì)量評(píng)價(jià)方法[J]. 通訊學(xué)報(bào), 2013, 134(8): 76-81．

WAN Guoting, WANG Junping, LI Jin, et al. Method for quality assessment of image mosaic[J]. Journal on Communications, 2013, 134(8): 76-81．

Image Mosaic Based on Contract Threshold Adaptive SIFT Algorithm

LI Zun，SHEN Xiaomeng，MIAO Tongjun

(,,453000,)

An image mosaic consists of three parts: acquisition, image-matching, and image fusion. Image-matching is the key part, determining the image mosaic quality. For cases where in the feature point number is too high or too low, we propose an image mosaic based on the contract threshold adaptive SIFT algorithm. The proposed method adaptively and effectively controls the feature point number when it is too high or too low, ensuring a value between 150 and 300. Experimental results show that this method, which has practical value, can improve computational efficiency based on mosaic effects.

image mosaic，SIFT algorithm，Contract threshold，self-adaption

TP391.41

A

1001-8891(2017)10-0946-05

2016-08-18；

2016-12-26.

李尊（1988-），女，河南新鄉(xiāng)人，碩士，助教，主要從事圖像處理和模式識(shí)別的研究。E-mail：2185099648@qq.com。

河南省高等學(xué)校重點(diǎn)科研項(xiàng)目（17A470013）。