基于改進BRISK的圖像拼接算法

董 強 劉晶紅 王 超 周前飛

?

基于改進BRISK的圖像拼接算法

董 強①②劉晶紅*①王 超③周前飛①②

①(中國科學(xué)院長春光學(xué)精密機械與物理研究所 長春 130033)②(中國科學(xué)院大學(xué) 北京 100049)③(解放軍77110部隊 什邡 618400)

為了獲得精準(zhǔn)的航空拼接圖像，更好地解決圖像拼接中經(jīng)常出現(xiàn)的尺度變化、角度旋轉(zhuǎn)、光照差異以及傳統(tǒng)的BRISK(Binary Robust Invariant Scalable Keypoints)算法匹配正確率較低，圖像拼接精度低等問題，該文提出一種全新的基于有向線段的BRISK特征的圖像拼接模型。首先，使用BRISK算法進行圖像匹配，得到粗匹配點對，再構(gòu)造有向線段及其BRISK特征進行鄰近線段匹配，通過概率統(tǒng)計模型進行特征點的精匹配，最后進行加權(quán)融合和亮度均衡化進行圖像融合完成圖像拼接。實驗結(jié)果表明，該文算法針對圖像的光照條件不同、角度旋轉(zhuǎn)、分辨率低、尺度變化等均有良好的魯棒性和穩(wěn)定性，該文算法是一種耗時短、精確度高、拼接效果良好的圖像拼接方法。

圖像配準(zhǔn)；圖像拼接；BRISK特征；鄰近線段

1 引言

近年來，隨著計算機技術(shù)的飛速發(fā)展，圖像處理技術(shù)也得到空前的提升，作為其重要組成部分的圖像拼接已經(jīng)廣泛應(yīng)用于圖像壓縮、虛擬現(xiàn)實、醫(yī)學(xué)圖像處理等各領(lǐng)域。圖像拼接主要分為圖像預(yù)處理、圖像配準(zhǔn)和圖像融合3個步驟。

圖像配準(zhǔn)技術(shù)是圖像拼接的關(guān)鍵。其方法大體分為兩類：基于灰度信息的配準(zhǔn)方法和基于特征的配準(zhǔn)方法?；诨叶鹊膱D像配準(zhǔn)方法較為簡單，直接計算圖像間的灰度值關(guān)系來匹配圖像，這種方法雖然簡單、易實現(xiàn)，但其穩(wěn)定性差，對光照變化敏感。相比之下，基于局部特征的方法具有良好的穩(wěn)定性，在克服圖像的光照、尺度、旋轉(zhuǎn)等變化上比基于灰度的方法有更好的魯棒性，是目前主流的圖像配準(zhǔn)方法。

SIFT(Scale Invariant Feature Transform)特征檢測算法是Lowe于1999年提出并在2004年完善的，該算法對于尺度縮放、平移旋轉(zhuǎn)、光照變化都具有良好的不變性，對于圖像的仿射變換及噪聲也具有一定的穩(wěn)定性，但其描述算子復(fù)雜，運行時間過長，很難滿足實時性要求。針對SIFT算法在低分辨率圖像中出現(xiàn)的誤匹配點對較多的問題，文獻(xiàn)[12,13]引入一種有向線段匹配方法，能夠有效的提高SIFT的匹配正確率，但其增加了算法的復(fù)雜度，運行時間較SIFT算法更長。BRISK(Binary Robust Invariant Scalable Keypoints)算法解決了SIFT算法在實時性方面的不足，極大的提高了匹配速度，但相較于SIFT算法，該算法的魯棒性明顯降低，誤匹配率較高[14,15]。

兼顧配準(zhǔn)精度及運行時間，本文引入一種有向線段BRISK特征的圖像配準(zhǔn)算法。該算法通過構(gòu)造有向線段BRISK特征的方法，充分利用圖像細(xì)節(jié)信息，對匹配點進行精確定位，能夠有效剔除誤匹配點，提高配準(zhǔn)的準(zhǔn)確率和精度，同時，由于BRISK特征的提取匹配時間較短，本文增加的時間開銷很少。實驗表明本文算法匹配準(zhǔn)確率高于SIFT算法和BRISK算法，運行時間遠(yuǎn)遠(yuǎn)小于SIFT算法，經(jīng)過本文算法獲得的遙感拼接圖像無明顯錯位，拼接精度高。

2 BRISK算法

BRISK 算法主要包含3步：角點檢測、特征描述、特征匹配。首先，構(gòu)建尺度空間金字塔，并通過AGAST(Adaptiveand Generic Accelerated Segment Test)角點檢測算子提取連續(xù)尺度空間中亞像素級精度的穩(wěn)定極值點。然后，利用局部圖像鄰域內(nèi)隨機采樣點對的灰度大小關(guān)系來建立局部圖像的二值特征描述子。最后，采用漢明距離進行特征匹配。

3 改進BRISK算法

本文針對BRISK存在的問題，對BRISK的匹配算法提出改進，首先采用BRISK算法進行基于特征的圖像匹配，在尋找到匹配點對后，利用匹配點建立有向線段和線段特征進行鄰近線段匹配，采用概率統(tǒng)計方法精確尋找正確的匹配點對，提高匹配精度，增強算法的魯棒性和穩(wěn)定性。

3.1 構(gòu)造線段特征

3.2 鄰近線段匹配

本文構(gòu)造一種鄰近線段匹配模型，假定在參考圖像和待配準(zhǔn)圖像中構(gòu)造了條有向線段，表示為和。記：有向線段的特征描述為，有向線段的特征描述為。

因為本文采用矩陣作為有向線段的特征描述，故計算矩陣的F-范數(shù)進行鄰近線段匹配，即：。得到長度為的向量，對進行歸一化，當(dāng)小于給定的閾值時，即為的鄰近線段。本文閾值取0.6。

3.3 特征點匹配

利用鄰近線段匹配準(zhǔn)則得到了有向線段的匹配，為了得到精確的拼接圖像，有必要得到更精確的匹配點。對于給定的兩幅圖像的匹配點和，使用統(tǒng)計模型來獲得匹配點的出現(xiàn)頻率，從而進行點的匹配。

如果兩條有向線段匹配，那么這兩條線段的起點和終點是兩對匹配點。首先建立統(tǒng)計矩陣,的計算過程如下：

圖1 TP值對匹配的影響

利用經(jīng)典BRISK算法匹配圖像后，易產(chǎn)生大量誤匹配點對。本文通過構(gòu)造有向線段的方法，充分利用匹配點間的圖像信息，能夠有效地剔除誤匹配點對。如圖2所示，與是參考圖像與待配準(zhǔn)圖像中的3組匹配點對，其中，為一組誤匹配點對。分別在兩幅圖像中利用本文算法構(gòu)造有向線段,,和。,,分別為有向線段,,的中點，,,分別為有向線段的中點。由圖2可以看出與在圖像中的位置不同，像素點周圍的圖像信息差異較大，點在圖像中的位置一致，其周圍的紋理信息相同。故以兩端點及中點的BRISK特征作為有向線段描述進行鄰近線段匹配時，和能夠有效地進行匹配，,和,由于特征差異較大，不能夠進行匹配，從而誤匹配點對得以剔除。

圖2 誤匹配點剔除

4 圖像拼接及融合算法

在獲得兩幅圖像的精確匹配特征點對后，由式(4)圖像變換關(guān)系可以求解出變換矩陣，將待配準(zhǔn)圖像通過進行變換后與參考圖像進行疊加。

由于輸出圖像存在亮度等方面的差異，在完成圖像配準(zhǔn)疊加后，在得到的拼接圖像上一般會存在明顯的縫合線，不利于視覺觀察，本文可以采用加權(quán)平滑算法來實現(xiàn)兩幅圖像間的融合過渡[16]。融合方法如下：

式中，1為圖像1的非重合區(qū)域，3為圖像2的非重合區(qū)域，2為兩幅圖像的重疊區(qū)域，1和2分別為加權(quán)值，與重疊區(qū)域有關(guān)，并且：,,。在重疊區(qū)域，1由1平滑變到0,2由0平滑變到1，這樣就實現(xiàn)了兩幅圖像的融合。

5 實驗結(jié)果及分析

本文基于改進的BRISK算法圖像拼接流程如圖3所示。

針對本文提出的改進BRISK算法，采用了大量圖像進行實驗，并將本文算法與BRISK算法、SIFT算法進行比較，對其匹配性能和拼接精度進行了定量評價與分析。

5.1 運行環(huán)境

算法運行環(huán)境為：CPU為Intel core i5, 3.20 GHz，內(nèi)存為4 GB的PC機，32位Win7操作系統(tǒng)，Matlab版本為Matlab 8.1.0.604(R2013a)。

5.2 評價指標(biāo)

本文采用3個參數(shù)對實驗結(jié)果進行綜合評價。

(1)采用運行時間對匹配速度進行評價。

5.3 配準(zhǔn)性能評價

圖4為實驗圖像，分別對本文算法的抗光照、抗旋轉(zhuǎn)、分辨率低、及抗尺度變化性能進行測試，并且與BRISK算法和SIFT算法進行對比。圖4中各圖像對大小為748×534像素、696×524像素、710×536像素、708×410像素。

表1給出使用BRISK算法、SIFT算法和本文算法對上述4組圖像進行配準(zhǔn)實驗的正確匹配點對數(shù)、匹配正確率及算法運行時間。表2給出本文算法的各個步驟的耗時。

圖3 圖像拼接流程圖

圖4 測試圖像

表1 3種方法的匹配結(jié)果對比

表2 本文算法時間分析(s)

由表1比較可以看出，本文算法對圖像的光照變化、旋轉(zhuǎn)、分辨率低及尺度變化都有較強的魯棒性和穩(wěn)定性。相較與BRISK算法，雖然本文算法運行時間略長，但匹配正確率獲得極大的提高。相較與SIFT算法，本文算法獲取的匹配特征點數(shù)略少，但運行時間大大減少，匹配正確率也有所提高。

由表2可以看出，本文算法相較與BRISK算法增加的時間消耗主要集中在有向線段的構(gòu)造與特征提取部分，且增加的時間與BRISK算法中的匹配點對數(shù)有關(guān)，增加的時間消耗與匹配點對數(shù)成二次方關(guān)系，這是因為提取的有向線段數(shù)為,為粗匹配點對數(shù)。雖然本文算法較BRISK算法用時增加，但精度大大提高，同時算法時間仍遠(yuǎn)遠(yuǎn)少于SIFT算法用時。

均衡時間與精度兩方面，本文算法較前兩種算法更具優(yōu)越性。

5.4 圖像拼接結(jié)果

分別不同的圖像配準(zhǔn)算法對圖像進行拼接，放大拼接邊緣，拼接結(jié)果如圖5所示，圖5(a)、圖5(b)、圖5(c)分別為BRISK算法、SIFT算法、本文方法的拼接圖像，圖5(d)、圖5(e)、圖5(f)為上述3種方法的拼接邊緣放大圖像，即圖中標(biāo)注區(qū)域。由圖5(d)可以看出，BRISK算法拼接圖像精度最差，有明顯錯位，由圖5(e)可以看出，SIFT算法拼接圖像精度良好，明顯錯位較少，拼接精度較BRISK算法有很大提高，圖5(f)可以看出，本文算法無明顯的接縫，拼接精度較前兩種算法均有顯著提高。

圖5 圖像拼接比較

最后，針對兩圖像亮度差異產(chǎn)生的明顯接縫，采用如前所述的加權(quán)平滑算法對圖像進行處理，得到亮度變化均勻，無明顯接縫，無鬼影，保真度高的拼接圖像，如圖6所示。

圖6 拼接圖像

6 結(jié)論

針對基于BRISK的拼接算法誤匹配率高、拼接精度低的問題，本文提出一種全新的基于有向線段BRISK特征的圖像拼接方法，并與BRISK算法和SIFT算法進行對比。首先利用BRISK算法進行粗匹配，再利用匹配點構(gòu)造有向線段及其特征，采用鄰近線段匹配法及概率統(tǒng)計模型進行特征點的精確匹配，最后利用加權(quán)融合算法和亮度均衡化實現(xiàn)圖像的融合拼接。實驗結(jié)果表明，本文算法對于圖像拼接中經(jīng)常出現(xiàn)的光照強度差異、角度旋轉(zhuǎn)、分辨率低及尺度變化等問題都具有較強的魯棒性和穩(wěn)定性。相較于BRISK算法，本文算法能夠有效地剔除誤匹配點，提高匹配正確率，為圖像拼接提供更為準(zhǔn)確的變換模型，因此，本文算法的拼接精度較BRISK算法更高。相較于SIFT算法，本文算法精度有所提高，但運行時間大大減少。綜合權(quán)衡時間及精度兩方面，本文算法較上述兩種算法更具優(yōu)越性。綜上所述，本文提出了一種耗時短、精確度高、拼接效果良好的圖像拼接方法。

[1] GHOSH D and KAABOUCH N. A survey on image mosaicing techniques[J].&, 2015, 34(C): 1-11. doi: org/10.1016/ j.jvcir.2015.10.014.

[2] 張寶龍, 李洪蕊, 李丹, 等. 一種針對車載全景系統(tǒng)的圖像拼接算法的仿真[J]. 電子與信息學(xué)報, 2015, 37(5): 1149-1153. doi: 10.11999/JEIT141185.

ZHANG Baolong, LI Hongrui, LI Dan,. A simulation of image mosaic algorithm based on vehicle panorama system[J].&, 2015, 37(5): 1149-1153. doi: 10.11999/JEIT141185.

[3] XIE X, XU Y, LIU Q,. A study on fast SIFT image mosaic algorithm based on compressed sensing and wavelet transform[J].&, 2015, 6(6): 835-843. doi: org/10.1007/s12652- 015-0319-2.

[4] 余先川, 呂中華, 胡丹. 遙感圖像配準(zhǔn)技術(shù)綜述[J]. 光學(xué)精密工程, 2013, 21(11): 2960-2972.doi: 10.3788/OPE.20132111. 2960.

YU Xianchuan, Lü Zhonghua, and HU Dan. Review of remote sensing image registration technique[J]., 2013, 21(11): 2960-2972. doi: 10.3788/ OPE.20132111.2960.

[5] AGHAJANI K, YOUSEFPOUR R, SHIRPOUR M,. Intensity based image registration by minimizing the complexity of weighted subtraction under illumination changes[J].&, 2016, 25: 35-45. doi: org/10.1016/j.bspc.2015.10.009.

[6] 趙春陽, 趙懷慈. 多模態(tài)魯棒的局部特征描述符[J]. 光學(xué)精密工程, 2015, 23(5): 1474-1483. doi: 10.3788/OPE.20152305. 1474.

ZHAO Chunyan and ZHAO Huaici. Multimodality robust local feature descriptors[J]., 2015, 23(5): 1474-1483. doi: 10.3788/OPE.20152305.1474.

[7] 顏雪軍, 趙春霞, 袁夏. 一種魯棒的基于圖像對比度的局部特征描述方法[J]. 電子與信息學(xué)報, 2014, 36(4): 882-887. doi: 10.3724/SP.J.1146.2013.00846.

YAN Xuejun, ZHAO Chunxia, and YUAN Xia. A robust local feature descriptor based on image contrast[J].&, 2014, 36(4): 882-887. doi: 10.3724/SP.J.1146.2013.00846.

[8] WANG Weixing, CAO Ting, LIU Sheng,. Remote sensing image automatic registration on multi-scale harris- laplacian[J]., 2015, 43(3): 501-511. doi: org/10.1007/s12524-014-0432-2.

[9] LOWE D G. Object recognition from local scaleinvariant features[C]. Proceedings of the 7th International Conference on Computer Vision, Corfu, Greece, ICCV, 1999, 2: 1150-1157.

[10] LOWE D G. Distinctive image features from scale-invariant key points[J]., 2004, 60(2): 91-110.doi: org/10.1023/B:VISI.0000029664.99615.94.

[11] CALONDER M, LEPETIT V, STRECHA C,. BRIEF: Binary Robust Independent Elementary Features[C]. European Conference on Computer Vision, Springer Berlin Heidelberg, Germany, 2010: 778-792. doi: org/10.1007/ 978-3-642- 15561-1_56.

[12] LEUTENEGGER S, CHLI M, and SIEGWART R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]. International Conference on Compater Vision, Barcelona, Spain, 2011: 2548-2555. doi: org/10.1109/ICCV.2011.6126542.

[13] KASHIF M, DESERNO T M, HAAK D,. Feature description with SIFT, SURF, BRIEF, BRISK, or FREAK? A general question answered for bone age assessment[J]., 2015, 68: 67-75. doi: org/10.1016/j.compbiomed.2015.11.006.

[14] ZHU Jun and REN Mingwu. Image mosaic method based on SIFT features of line segment[J]., 2014, 2014(6): 926312.doi: org/10.1155/2014/926312.

[15] ZHAO Chunyang, ZHAO Huaici, Lü Jinfeng,. Multimodal image matching based on multimodality robust line segment descriptor[J]., 2016(177): 290-303. doi: org/10.1016/j.neucom.2015.11.025.

[16] 黃立勤, 陳財淦. 全景圖拼接中圖像融合算法的研究[J]. 電子與信息學(xué)報, 2014, 36(6): 1292-1298. doi: 10.3724/SP.J.1146. 2013.01220.

HUANG Liqin and CHEN Caigan. Study on image fusion algorithm of panoramic image stitching[J].&, 2014, 36(6): 1292-1298.doi: 10.3724/SP.J.1146.2013.01220.

Image Mosaic Algorithm Based on Improved BRISK

DONG Qiang①②LIU Jinghong①WANG Chao③ZHOU Qianfei①②

①(,,,130033,)②(,100049,)③(77110’,618400,)

In order to obtain accurate aerial stitching images,this paper proposes a novel image mosaic method based on Binary Robust Invariant Scalable Keypoints (BRISK) feature of directed line segment, aiming to resolve incident scaling, rotation, changes in lighting condition, the low correct matching rate and low accuracy using conventional BRISK algorithm in image mosaic. This method firstly uses BRISK algorithm to match in order to acquire rough point matching. Secondly, it constructs directed line segments, describes them with BRISK feature, and matches those directed segments.The method is used to purified point matching based on statistical voting. Finally, weighted fusion and luminance equalization are used to image fusion to accomplish image mosaic. The experiment results show that the method has strong robustness and stability for lighting, rotation, resolution and scaling. The proposed method has high precision, and can achieve fine image mosaic results.

Image registration; Image mosaic;Binary Robust Invariant Scalable Keypoints (BRISK) feature; Nearest-neighbor line segments

TP7221

A

1009-5896(2017)02-0444-07

10.11999/JEIT160324

2016-04-05；改回日期：2016-10-11；

2016-12-02

劉晶紅 liu1577@126.com

吉林省重大科技攻關(guān)項目(11ZDGG001)，國家林業(yè)公益性行業(yè)科研專項(201204515)

The Key Science and Technology Project of Jilin Province (11ZDGG001), The Forestry Industry Scientific Research for National Public Welfare Projects (201204515)

董 強： 男，1989 年生，博士生，研究方向為遙感圖像拼接技術(shù).

劉晶紅： 女，1967 年生，研究員，研究方向為機載光電成像測量設(shè)備.

王 超： 男，1983 年生，工程師，研究方向為無人機技術(shù).

周前飛： 男，1989 年生，博士生，研究方向為航空光電成像畸變校正技術(shù).