一種基于圖像區(qū)域分塊的SIFT快速配準(zhǔn)方法

張紅民，張見雙，羅永濤，陳柏元

?

一種基于圖像區(qū)域分塊的SIFT快速配準(zhǔn)方法

張紅民，張見雙，羅永濤，陳柏元

（重慶理工大學(xué) 電氣與電子工程學(xué)院，重慶 400054）

針對傳統(tǒng)尺度不變特征變換（SIFT）算法在特征提取與描述時計算量大、實時性差的問題，提出一種基于區(qū)域分塊的SIFT的快速配準(zhǔn)方法。首先，將匹配圖像和待匹配圖像分割成若干均勻的子圖，通過計算每個子圖的信息熵值與設(shè)定閾值比較來確定局部子圖的特征類型；對篩選出來的特征區(qū)域的子圖進行特征提取和生成PCA-SIFT描述子，對篩選出來的平坦區(qū)域直接跳過，不進行檢測。實驗結(jié)果表明：提出的方法在保證配準(zhǔn)精度90%以上的情況下，計算時間減少了15%～25%左右，提高了圖像配準(zhǔn)的速度。

SIFT；區(qū)域分塊；PCA-SIFT；圖像配準(zhǔn)

0 引言

尺度不變特征變換（Scale Invariable Feature Transform, SIFT）算法[1]因其在圖像旋轉(zhuǎn)、平移、尺度變換、光照變化、噪聲干擾、仿射變換時魯棒性強的優(yōu)點，成為了近年來圖像配準(zhǔn)技術(shù)的研究熱點[2-4]，但傳統(tǒng)的SIFT算法復(fù)雜、耗時較長，難以滿足工程實時性的要求[5]。針對這一問題，近年來許多國內(nèi)外學(xué)者開展了相關(guān)研究工作。2014年，宋佳乾等人[6]提出Canny算子和K-L變換的改進SIFT算法，用來去除不穩(wěn)定的邊緣點，從而提高圖像配準(zhǔn)的速度。2015年，李玉峰等人[7]把Harris算子和SIFT結(jié)合起來實現(xiàn)了圖像自動配準(zhǔn)，提高了配準(zhǔn)的速度和效率。2016年，張盼等人[8]利用變相加權(quán)環(huán)圓形鄰域?qū)IFT特征向量進行描述，算法在速度上具有一定的優(yōu)勢。

雖然以上基于SIFT的改進算法在速度上有些改善，但計算量依然很大，實時性不強，本文提出了一種基于區(qū)域分塊的SIFT快速配準(zhǔn)算法，該算法先將配準(zhǔn)圖像和待配準(zhǔn)圖像分割成若干塊均勻的子圖；然后對分割的子圖的信息熵值與設(shè)定的閾值比較來判斷圖像區(qū)域的類型；不同的子圖區(qū)域類型采取不同的處理策略，加快了算法的速度。

1 傳統(tǒng)的SIFT圖像配準(zhǔn)算法步驟

SIFT算法一般包括以下幾個步驟[9-10]：

1）尺度空間極值檢測

首先構(gòu)造高斯金字塔，對DOG算子進行局部極值檢測。通過對每個像素與其鄰域比較來設(shè)定極值點并保存。

2）確定關(guān)鍵點的位置和尺度

通過擬合函數(shù)來精確定位特征點的位置和尺度，為了確保特征點的穩(wěn)定性和抗噪性，要將對比度較低的點和邊緣一些難定位的點剔除。

3）關(guān)鍵點的方向分配

對關(guān)鍵點為中心的鄰域進行采樣，并對鄰域像素的梯度方向進行直方圖統(tǒng)計，直方圖中峰值的位置就是關(guān)鍵點鄰域梯度的主方向，也就是關(guān)鍵點的主方向。

4）生成特征點描述子

將關(guān)鍵點為中心的16×16的矩形窗口均勻分成16個4×4個子窗口，然后計算每個子窗口8個方向的梯度累計值，這樣每個特征點都會生成4×4×8＝128維的特征向量。

2 基于區(qū)域分塊的SIFT快速配準(zhǔn)算法

有SIFT算法的步驟可知，雖然傳統(tǒng)的SIFT圖像配準(zhǔn)算法具有很多優(yōu)良的特性，但該算法會提取過多的特征點和生成128維的特征描述子。使得計算量過大，實時性較差。針對這個問題，本文對傳統(tǒng)的SIFT算法進行了改進，改進算法流程圖如圖1。

2.1 圖像區(qū)域分塊的思想

一般情況下，一幅自然圖像中都會存在灰度變化明顯和不明顯的區(qū)域；只有在圖像的灰度變化顯著的區(qū)域，才會有較多的特征點，而那些灰度變化不明顯的區(qū)域會很難提取出特征點，并且提取的特征點易產(chǎn)生誤匹配。為了提高圖像配準(zhǔn)的效率，本文采用了減少圖像特征檢測范圍的方法。首先將圖像均勻分割成若干個子圖，針對那些灰度變化不明顯的子圖，也就是子圖含的信息量少的一些區(qū)域，就直接跳過，不進行特征檢測，而對那些灰度變化明顯，子圖所含的信息量較多的一些子圖才進行特征檢測。

本文使用圖像信息熵[11]來區(qū)分子圖所含的信息量，信息熵值越大，代表該區(qū)域所包含的紋理信息越豐富，也就是特征點越多；反之，信息熵值越小，代表該區(qū)域所包含的紋理信息越稀少，特征點越少[12]。

2.2 圖像區(qū)域分塊算法的具體步驟

1）圖像均勻分塊，首先將圖像分割成均勻的5×5個子圖（若圖像的像素數(shù)不能被5整除，則對少數(shù)邊緣像素重復(fù)計算簡化處理），子圖編號為1, 2, …, 25；

圖1 基于區(qū)域分塊的SIFT快速配準(zhǔn)算法流程圖

2）計算每幅子圖的信息熵值(1), …,(25)；

3）將每幅子圖的信息熵值與規(guī)定的閾值進行比較，本文設(shè)置的閾值為經(jīng)驗值6.0；

4）特征區(qū)域判斷，將子圖圖像信息熵值大于閾值的子圖判斷為特征區(qū)域；相反，小于閾值的子圖判斷為平坦區(qū)域；

5）對第4）步計算出的特征區(qū)域進行特征檢測，平坦區(qū)域則直接跳過不進行特征檢測；

6）對第5）步檢測的特征點采用主成分分析法進行特征描述，生成PCA-SIFT描述子[13]。

7）最后對特征描述子采用最近鄰與次近鄰之比的方法對特征點進行配準(zhǔn)。

3 實驗驗證與分析

為了驗證本文改進算法的效果，進行了實驗驗證。硬件平臺：CPU Intel（R）Core(TM) i5-2450M；內(nèi)存為4GB；64位window7操作系統(tǒng)；軟件平臺：Matlab 2014a。本文采用圖2所示的相機拍攝的具有一定重疊區(qū)域的3組實驗圖像，左為參考圖像，右為待配準(zhǔn)圖像，圖像大小分別為：(a)523×395，(b)560×542，(c)417×354。

圖2 三組待配準(zhǔn)圖像

圖3顯示的是圖2中的第2組圖像(b)被分割成5×5均勻子圖的模式情形，表1、表2分別列出了參考圖像、待配準(zhǔn)圖像各個子圖的信息熵值，每個數(shù)據(jù)代表圖像中對應(yīng)位置的信息熵值，從表中可以看出子圖信息熵值較小的區(qū)域?qū)?yīng)的是圖像平坦區(qū)域，反之，信息熵值較大的子圖區(qū)域?qū)?yīng)的特征區(qū)域。本文中篩選子圖的信息熵的閾值設(shè)置為經(jīng)驗值6.0，這樣圖3(a)中將有36%的區(qū)域直接跳過，不進行特征檢測，圖3(b)中將有28%的區(qū)域不進行特征檢測，大大減少了特征提取時間。

為了驗證本算法的實際效果，將其與傳統(tǒng)的SIFT算法進行配準(zhǔn)的效果比較，兩種算法進行特征點數(shù)量、正確匹配點對數(shù)、運行時間、匹配正確率的數(shù)據(jù)統(tǒng)計比較，具體的數(shù)據(jù)見表3。

圖3 圖像分割模式

表1 圖3(a)對應(yīng)子圖的信息熵值

表2 圖3(b)對應(yīng)子圖的信息熵值

如表3所示，本文算法雖然在特征點提取上有所減少，圖像的配準(zhǔn)點對數(shù)也有減少，但減少的數(shù)量有限，并不影響圖像配準(zhǔn)的準(zhǔn)確性，在圖像配準(zhǔn)時間上卻降低了整個圖像配準(zhǔn)的時間的15%～25%左右，如第3組圖像測試數(shù)據(jù)，正確匹配點對數(shù)由173減少到167，但時間由2.254s減少到1.771s，減少了約21.4%。

表3 兩種算法結(jié)果對比

4 結(jié)論

本文通過圖像紋理信息的分析的基礎(chǔ)上，提出了一種改進的快速圖像配準(zhǔn)算法，首先將圖像進行分塊處理，分別求出每個子圖的信息熵值，然后將每個子圖的信息熵值與固定的閾值來比較，只對熵值大于閾值的特征區(qū)域進行SIFT特征提取和PCA-SIFT描述，最后使用最近鄰與次近鄰之比的算法對圖像進行匹配。

為了驗證本文算法的實際效果，將本文算法應(yīng)用于實際的車載全視景圖像拼接系統(tǒng)中，由于實際拍攝的圖像大多具有部分平坦區(qū)域，本文算法在保證配準(zhǔn)精度的前提下可明顯降低了算法復(fù)雜度，計算時間則較傳統(tǒng)的SIFT算法減少15%～25%左右。

值得一提的是，文中在對子圖區(qū)域類型分類時，子圖特征類型判斷閾值設(shè)置的為經(jīng)驗值6.0，沒有實現(xiàn)根據(jù)子圖的信息自適應(yīng)設(shè)定閾值，需要在今后的工作中進一步開展研究。

[1] LOWE D G. Distinctive image features from scale-invariant keypoints[J]., 2004, 60(2): 91-100.

[2] 王新華, 王曉坤. 十億像素瞬態(tài)成像系統(tǒng)實時圖像拼接[J].中國光學(xué), 2015, 8(5):785-792.

WANG Xinhua, WANG Xiaokun. Real time image mosaic of the transient gigapixel imaging system[J]., 2015, 8(5): 785-792.

[3] 李玉峰, 李光澤, 谷紹湖, 等. 基于區(qū)域分塊與尺度不變特征變換的圖像拼接算法[J]. 光學(xué) 精密工程, 2016, 24(5): 1197-1205.

LI Yufeng, LI Guangze, GU Shaohu, et al. Image mosaic algorithm based on area blocking and SIFT[J]., 2016, 24(5): 1197-1205.

[4] 許佳佳. 結(jié)合Harris與SIFT算子的圖像快速配準(zhǔn)算法[J]. 中國光學(xué), 2015, 8(4): 574-581.

XU Jiajia. Fast image registration method based on Harris and SIFT algorithm[J]., 2015, 8(4): 574-581.

[5] 邸男, 李桂菊, 魏雅娟. 采用SIFT的末制導(dǎo)圖像匹配技術(shù)[J]. 紅外與激光工程, 2011, 40(8): 1499- 1593.

DI Nan, LI Guiju, WEI Yajuan. Image matching technology based on SIFT for terminal-guiding system[J]., 2011, 40(8): 1499- 1593.

[6] 宋佳乾, 汪西原. 基于Canny算子和K-L變換的改進SIFT匹配算法[J]. 電視技術(shù), 2014, 38 (15): 61-65.

SONG Jiaqian, WANG Xiyuan. Improved SIFT matching algorithm based on Canny operator and K-L transformation[J]., 2014, 38 (15): 61-65.

[7] 李玉峰, 王竹筠. 基于Harris-SIFT特征匹配的圖像自動配準(zhǔn)算法研究[J].電視技術(shù), 2015, 39 (23): 26-30.

LI Yufeng, WANG Zujun. Automatic image registration algorithm research based on Harris-SIFT features matching[J]., 2015, 39 (23): 26-30.

[8] 張盼, 阮俊, 王雅繼. 變環(huán)加權(quán)SIFT算法的圖像拼接[J]. 現(xiàn)代電子技術(shù), 2015, 38(19):72-78.

ZHANG Pan, RUAN Jun, WANG Yaji. Image mosaic based on SIFT algorithm of ring-conversion and weighting[J]., 2015, 38(19): 72-78.

[9] 張勇, 王志鋒, 馬文. 基于改進的SIFT特征點匹配的圖像拼接算法研究[J]. 微電子學(xué)與計算機, 2016, 33(3): 60-64.

ZHANG Yong, WANG Zhifeng, MA Wen. Research image mosaic algorithm based on improved SIFT feature matching[J]., 2016, 33(3): 60-64.

[10] 韶阿俊, 錢惟賢, 顧國華, 等. 基于計算集成成像的圖像配準(zhǔn)算法研究[J]. 紅外技術(shù), 2015, 37(5): 398-403.

SHAO Ajun, QIAN Weixian, GU Guohua, et al. Image registration algorithm research based on computational integral imaging[J]., 2015, 37(5): 398-403.

[11] 吳澤鵬, 郭玲玲, 朱明超, 等. 結(jié)合圖像信息熵和特征點的圖像配準(zhǔn)方法[J]. 紅外與激光工程, 2013, 42(10): 2846-2852.

WU Zepeng, GUO Lingling, ZU Mingchao, et al. Improved image registration using feature points combined with image entropy[J]., 2013, 42(10): 2846-2852.

[12] 岳昕, 尚振宏, 強振平, 等. 基于信息熵與SIFT算法的天文圖像配準(zhǔn)[J]. 計算機科學(xué), 2015, 42(6): 57-60.

YU Xin, SHANG Zhenhong, QIANG Zhenping, et al. Astronomical image registration combining information entropy and SIFT algorithm[J]., 2015, 42(6): 57-60.

[13] 李欽, 游雄, 李科, 等. PCA-SIFT特征匹配算法研究[J]. 測繪工程, 2016, 25(4): 19-24.

LI Qin, YOU Xiong, LI Ke, et al. Research on the matching algorithm of PCA-SIFT[J]., 2016, 25(4): 19-24.

A Fast SIFT Registration Method Based on Image Region Segmentation

ZHANG Hongmin，ZHANG Jianshuang，LUO Yongtao，CHEN Boyuan

(,,400054,)

For a large amount of computation and poor real-time performance of the traditional scale invariant feature transform(SIFT) algorithm in feature extraction and feature description, a fast registration method based on region segmentation SIFT is proposed. First, the matching image and the image to be matched are divided into several uniform subgraphs. The feature type of the local subgraph is determined by calculating the information entropy value of each subgraph and setting the threshold value. The features of the subgraph are extracted and the PCA-SIFT descriptor is generated. Then, the flat area screened out is skipped directly and not detected. Experimental results show that the proposed algorithm in ensuring the accuracy of registration of more than 90% of the cases, the calculation time is reduced by about 15%- 20%, and the speed of image registration is improved.

SIFT，regional block，PCA-SIFT，image registration

TP391.41

A

1001-8891(2017)04-0341-04

2016-09-30；

2016-12-30.

張紅民（1970-），男，河南舞陽人，博士，教授，主要研究方向為圖像處理與模式識別。E-mail：hmzhang@cqut.edu.cn。

重慶市基礎(chǔ)與前沿研究計劃項目（cstc2015jcyjA40051）。