基于改進(jìn)SURF算法的無(wú)人機(jī)遙感圖像拼接方法

么鴻原，王海鵬，焦 莉，林雪原

（1.海軍航空大學(xué)，山東煙臺(tái)264001；2.煙臺(tái)市芝罘區(qū)教師進(jìn)修學(xué)校，山東煙臺(tái)264001）

圖像拼接是指將由某一待觀測(cè)環(huán)境中拍攝取得的兩幅或多幅影像通過(guò)圖像處理等方法，拼接成一幅視角更寬廣的全景圖像的技術(shù)[1-3]，而圖像配準(zhǔn)是這一技術(shù)的關(guān)鍵步驟。當(dāng)前，在圖像處理的各個(gè)領(lǐng)域中，基于圖像特征點(diǎn)的配準(zhǔn)方法被大量應(yīng)用[4]，基于圖像特征點(diǎn)的配準(zhǔn)方法能夠?qū)庹諒?qiáng)度的變化、拍攝角度旋轉(zhuǎn)等變化表現(xiàn)出良好的魯棒性以及較高的可靠性。對(duì)于圖像的特征匹配算法而言，能夠找到具有高魯棒性的特征點(diǎn)是其關(guān)鍵，常用的特征點(diǎn)提取算法主要有 Harris[5]、SIFT[6]和 ORB[7]等。

針對(duì)遙感圖像拼接技術(shù)中面臨的2個(gè)常見(jiàn)問(wèn)題：①傳統(tǒng)圖像拼接算法計(jì)算復(fù)雜度過(guò)高，拼接速度過(guò)慢，且誤匹配率較高；②由于采集到的圖像之間存在曝光差異等情況，直接進(jìn)行疊加拼接后極大可能會(huì)在邊界處產(chǎn)生重影錯(cuò)位的情況。

本文提出了一種無(wú)人機(jī)的遙感圖像拼接的改進(jìn)算法。首先，在特征檢測(cè)階段，本文將SURF算法與Harris角點(diǎn)檢測(cè)算法結(jié)合，快速得到圖像特征點(diǎn)以及特征描述子；在特征匹配階段分為粗匹配與精匹配兩個(gè)步驟，通過(guò)采用KNN算法得到待拼接圖像之間特征點(diǎn)的粗匹配，隨后為去除無(wú)匹配點(diǎn)對(duì)采用RANSAC算法進(jìn)行精匹配；在圖像融合階段，采用基于距離的加權(quán)平均算法進(jìn)行圖像融合，有效地提高圖像拼接后的質(zhì)量與效果，抑制了拼接痕印明顯、重影錯(cuò)位等現(xiàn)象的產(chǎn)生。

1 傳統(tǒng)SURF算法

Speeded Up Robust Features是一種穩(wěn)健的特征檢測(cè)與特征匹配算法，其基本流程可以分成3部分：特征檢測(cè)、特征提取、特征匹配。比起SIFT算法，SURF通過(guò)使用Hessian矩陣和降維的特征描述子來(lái)增加了執(zhí)行效率，具體實(shí)現(xiàn)流程圖如圖1所示。

圖1 傳統(tǒng)SURF實(shí)現(xiàn)流程圖Fig.1 Traditional SURF flowchart

但若將經(jīng)典SURF算法直接應(yīng)用于圖像拼接處理，雖然相比于SIFT算法性能有所提高，但拼接速度仍然過(guò)慢，誤匹配率仍較高，且圖像拼接后得到的畫(huà)面在邊界處有明顯的拼接痕跡，甚至發(fā)生重影錯(cuò)位的錯(cuò)誤現(xiàn)象；因此，本文對(duì)傳統(tǒng)SURF算法進(jìn)行了部分優(yōu)化改進(jìn)。

2 改進(jìn)的SURF算法

2.1 優(yōu)化Hessian矩陣

在構(gòu)建Hessian矩陣之前，首先對(duì)待檢測(cè)圖像f(x,y)進(jìn)行高斯濾波，而后構(gòu)建Hessian矩陣，并得到圖像中所有的關(guān)鍵點(diǎn)；Hessian矩陣基礎(chǔ)表達(dá)式及所得表達(dá)式為：

接下來(lái)，求得Hessian矩陣的判別式，如式（3）所示，當(dāng)判別式在某點(diǎn)取得了局部極大值時(shí)，判別當(dāng)前點(diǎn)是周圍鄰域中最亮的點(diǎn)還是最暗的點(diǎn)，并借此取得關(guān)鍵點(diǎn)的位置。

在改進(jìn)的SURF算法中，采用的是盒式濾波器來(lái)替代高斯濾波器，由于盒式濾波器應(yīng)用查找積分圖的方法來(lái)取得圖像不同區(qū)域間的像素和，因而極大地提高了SURF算法的運(yùn)算速度。同時(shí)，本文在Hessian矩陣判別式中的Dxy上乘了一個(gè)固定系數(shù)0.9，以減小因使用盒式濾波器而非高斯濾波器所帶來(lái)的誤差，改進(jìn)后的Hessian矩陣判別式為：

2.2 改進(jìn)的特征檢測(cè)

角點(diǎn)因其具有紋理豐富、區(qū)分性高等特點(diǎn)，被作為一種重要的圖像的局部特征而廣泛使用。在眾多角點(diǎn)檢測(cè)算法中，Harris算法具有優(yōu)秀的光照與旋轉(zhuǎn)仿射不變性，因而其能夠不輕易受到光照強(qiáng)度變化以及拍攝角度旋轉(zhuǎn)變化等干擾。但是當(dāng)尺度變化過(guò)大或圖像的噪聲變化過(guò)大時(shí)，Harris算法的魯棒性及尺度不變性很差。而傳統(tǒng)SURF算法具有較強(qiáng)的魯棒性與尺度不變性，但其亮度與旋轉(zhuǎn)仿射不變性較差。

針對(duì)以上描述，本文提出了一種將Harris與SURF特征檢測(cè)相結(jié)合的H-S算法[9]：應(yīng)用Harris算法與SURF算法對(duì)圖像分別提取Harris角點(diǎn)與特征點(diǎn)，在去除重復(fù)點(diǎn)與尺度不穩(wěn)定點(diǎn)后將其合并，得到新的特征點(diǎn)集，新的特征點(diǎn)集在保證了特征點(diǎn)個(gè)數(shù)的情況下，特征點(diǎn)分布更加均勻。H-S算法同時(shí)繼承了Harris算法的光照、旋轉(zhuǎn)仿射不變性與SURF算法的魯棒性與尺度不變性，既提升了特征檢測(cè)的速度，又提升了準(zhǔn)確度。

改進(jìn)后的H-S特征檢測(cè)算法主要步驟為：① 獲取Harris角點(diǎn)，通過(guò)采用單尺度Harris檢測(cè)算法，得到圖像的角點(diǎn)集；② 提取圖像特征點(diǎn)。通過(guò)計(jì)算Hessian矩陣的極值點(diǎn)尋找到圖像的特征點(diǎn)，并得尺度值，得到圖像的特征點(diǎn)集；③ 將前2步中得到的點(diǎn)集去除重復(fù)點(diǎn)以及尺度變化不穩(wěn)定的點(diǎn)后進(jìn)行合并，得到最終的特征點(diǎn)集。

圖2 Harris-SURF特征檢測(cè)算法原理示意圖Fig.2 Harris-SURF feature detection algorithm principle diagram

2.3 改進(jìn)的特征點(diǎn)匹配

經(jīng)典SURF算法里，在確定2個(gè)特征點(diǎn)之間的匹配度時(shí)，不僅通過(guò)計(jì)算2點(diǎn)之間的歐氏距離判斷，還要通過(guò)計(jì)算2點(diǎn)的Hessian矩陣跡的符號(hào)來(lái)判斷2個(gè)特征點(diǎn)是否匹配。雖然相比于SIFT算法有了很大提升，但仍然存在大量的誤匹配點(diǎn)影響拼接效果，且拼接速度仍然不滿足圖像拼接的實(shí)時(shí)性要求。針對(duì)上述情況，本文提出了一種將特征匹配階段分為粗匹配與精匹配2個(gè)步驟的方法，通過(guò)采用KNN算法得到待拼接圖像之間特征點(diǎn)的粗匹配，隨后為去除無(wú)匹配點(diǎn)對(duì)采用RANSAC算法進(jìn)行精匹配，提高了匹配的準(zhǔn)確度。

本文采用KNN算法[11]（K-Nearest Neighbors Algorithm）對(duì)特征點(diǎn)進(jìn)行快速匹配，通過(guò)計(jì)算歐式距離d的值來(lái)判斷2個(gè)特征點(diǎn)間的匹配程度，即：

KNN算法能夠通過(guò)比較權(quán)重來(lái)判斷與相鄰點(diǎn)的距離，即距離近的點(diǎn)所占權(quán)重就高，距離遠(yuǎn)的點(diǎn)所占權(quán)重就低。任意選取待匹配圖像1的特征點(diǎn)，并通過(guò)計(jì)算歐氏距離得出其與待匹配圖像2中最近的2個(gè)點(diǎn)：最近鄰點(diǎn)與次近鄰點(diǎn)，如果2點(diǎn)的比值低于某一閾值，那么最近鄰點(diǎn)就是其正確的匹配點(diǎn)。

為了在進(jìn)行圖像拼接前將可能會(huì)影響拼接效果的錯(cuò)誤匹配去除，本文選擇采用RANSAC算法，即隨機(jī)取樣一致性算法。

隨機(jī)取樣一致性算法[12]采取的是采樣與驗(yàn)證的策略，其主要思路是求解出一個(gè)樣本點(diǎn)均可滿足的單應(yīng)性矩陣H的8個(gè)參數(shù)，這是去除錯(cuò)誤匹配點(diǎn)的重要環(huán)節(jié)，將（x,y）（x′,y′）設(shè)為待匹配點(diǎn)坐標(biāo)，而單應(yīng)性矩陣H描述了對(duì)應(yīng)的2組坐標(biāo)之間的變換關(guān)系，即圖像之間的幾何變換關(guān)系：

3 圖像融合

為了有效消除或減弱圖像拼接后可能會(huì)出現(xiàn)的拼接痕跡明顯、重影錯(cuò)位、錯(cuò)誤拼接等情況，本文提出了一種改進(jìn)的融合方法——基于距離的加權(quán)平均融合算法，不同的圖像由于重疊區(qū)域明暗強(qiáng)度、亮度值不同，如果使用簡(jiǎn)單的加權(quán)平均值算法[13-14]，就會(huì)出現(xiàn)明顯的拼接縫，甚至有可能會(huì)出現(xiàn)錯(cuò)位等錯(cuò)誤拼接的現(xiàn)象，基于距離的加權(quán)平均融合算法主要思路是計(jì)算出重疊區(qū)域里點(diǎn)到左右邊界的距離，并將他們的比值作為對(duì)應(yīng)點(diǎn)的權(quán)值，將合并后點(diǎn)的像素值用f(x,y)表示為：

由式（7）可知，圖像在融合之后，新的像素點(diǎn)的像素值是通過(guò)重疊區(qū)域中匹配點(diǎn)的像素值按照其各自對(duì)應(yīng)的權(quán)重相加而得到的[15]，這種方法有效地消除了由圖像間曝光差異等問(wèn)題引起的亮度差和色彩差。實(shí)驗(yàn)表明，應(yīng)用改進(jìn)后的融合算法，圖像拼接的質(zhì)量有了明顯提高，拼接痕跡幾乎消失，并未發(fā)生重影錯(cuò)位等錯(cuò)誤拼接的現(xiàn)象，圖像拼接效果平滑自然。

4 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)的算法流程圖如圖3所示。實(shí)驗(yàn)平臺(tái)計(jì)算機(jī)的配置為Intel Core i5-2450M 2.5GHz，4GB內(nèi)存，操作系統(tǒng)為32位Windows7，算法基于OpenCV2.4.8，用C++進(jìn)行編程并在Visual Studio 2010中進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)為50張大疆無(wú)人機(jī)航拍獲得，拍攝地點(diǎn)位于黑龍江大慶，圖像格式為JPEG。其中，第1組圖像為建筑物近照拍攝，拍攝高度為100 m；第2組圖像為山林湖泊（紋理稀疏區(qū)），拍攝高度為400 m；第3組圖像為學(xué)校體育場(chǎng)及宿舍樓（紋理豐富區(qū)），拍攝高度為300 m；本次實(shí)驗(yàn)采用這3組類型的圖像驗(yàn)證本文算法的有效性。

圖3 改進(jìn)算法流程圖Fig.3 Improved algorithm flowchart

4.1 圖像粗匹配結(jié)果對(duì)比

圖4、5分別為3組遙感圖像的基準(zhǔn)圖像與待匹配圖像。在特征提取方面，采用本文算法與經(jīng)典SIFT算法進(jìn)行對(duì)比，并選取第3組圖像實(shí)驗(yàn)結(jié)果做展示；在特征點(diǎn)粗匹配方面，都使用KNN算法對(duì)2幅圖像進(jìn)行粗匹配。圖6為特征點(diǎn)提取結(jié)果圖對(duì)比，圖7為SIFT算法（左）與本文算法匹配及運(yùn)行結(jié)果，表1為2種算法特征提取與匹配性能對(duì)比。從實(shí)驗(yàn)結(jié)果可以看出，本文提出的改進(jìn)的SURF算法所提取的特征點(diǎn)個(gè)數(shù)大于傳統(tǒng)SIFT算法所提取個(gè)數(shù)，匹配個(gè)數(shù)卻與傳統(tǒng)SIFT算法的匹配個(gè)數(shù)接近，說(shuō)明了本文所提出的改進(jìn)方法在提取特征點(diǎn)方面的高效性，有效性方面比傳統(tǒng)SIFT方法高。且本文算法所需維數(shù)為64維，比經(jīng)典算法128維低，處理速度約是SIFT的5倍，說(shuō)明在實(shí)時(shí)性方面也高于傳統(tǒng)方法。

圖4 基準(zhǔn)圖像Fig.4 Benchmark image

圖5 待匹配圖像Fig.5 To be matched image

圖6 特征點(diǎn)提取結(jié)果圖對(duì)比Fig.6 Feature point extraction result chart comparison

圖7 SIFT算法（左）與本文算法匹配及運(yùn)行結(jié)果Fig.7 SIFT algorithm（left）and improved algorithm（right）match and run results

表1 2種算法特征提取與匹配性能對(duì)比Tab.1 Comparison of feature extraction and matching performance between two algorithms

4.2 圖像精匹配結(jié)果

在圖像進(jìn)行了粗匹配后，采用隨機(jī)取樣一致性算法將匹配后的特征點(diǎn)中錯(cuò)誤匹配點(diǎn)篩除，經(jīng)RANSAC算法優(yōu)化后，匹配特征點(diǎn)個(gè)數(shù)均大量減少，說(shuō)明了大量的錯(cuò)誤匹配點(diǎn)被篩選出來(lái)并去除，表明采用RANSAC算法對(duì)圖像特征點(diǎn)進(jìn)行精匹配的想法的正確性與可行性。

圖8 3組圖像精匹配結(jié)果圖Fig.8 Three groups of image matching results

4.3 圖像融合拼接結(jié)果

為防止因亮度與拍攝角度不同引起的模糊、重影、錯(cuò)位、拼接線明顯等現(xiàn)象，一般不能在圖像配準(zhǔn)后便直接拼接。圖9（左）為圖像配準(zhǔn)后直接拼接的結(jié)果圖，能夠明顯看出由色彩差異引起的拼接線存在；圖9（右）為本文算法的圖像融合結(jié)果，圖10為應(yīng)用本文算法連續(xù)拼接的結(jié)果圖。

圖9 圖像融合結(jié)果對(duì)比圖Fig.9 Image fusion results comparison chart

圖10 2幅、10幅、30幅圖像連續(xù)拼接效果圖Fig.10 2 images，10 images and 30 images continuously stitched together

5 結(jié)論

本文提出了一種改進(jìn)的SURF算法與融合算法用于無(wú)人機(jī)的遙感圖像拼接，針對(duì)圖像特征配準(zhǔn)、匹配與圖像融合2個(gè)方面存在的問(wèn)題進(jìn)行了改進(jìn)。首先，在特征檢測(cè)階段，本文將SURF算法與Harris角點(diǎn)檢測(cè)算法2種算法相結(jié)合，快速得到圖像的特征點(diǎn)與特征描述子；在特征匹配階段分為粗匹配與精匹配2個(gè)步驟：通過(guò)KNN算法對(duì)待拼接圖像間特征點(diǎn)的粗匹配，以及應(yīng)用RANSAC算法去除誤匹配點(diǎn)的精匹配；在圖像融合階段，采用了基于距離的加權(quán)平均算法進(jìn)行圖像融合。最后，實(shí)驗(yàn)表明：本文所提出的算法處理速度相比于傳統(tǒng)SUFT算法提升了近5倍，相比于其他改進(jìn)算法，匹配精度也有所提高，并且本文算法能夠有效提高圖像拼接后的質(zhì)量與效果，解決了拼接痕印明顯、重影、錯(cuò)位等現(xiàn)象可能發(fā)生的問(wèn)題。

[1]黃鈺雯，胡立坤，盧泉，等.基于改進(jìn)SURF-BRISK算法的航拍圖像拼接方法[J].廣西大學(xué)學(xué)報(bào)：自然科學(xué)版，2017（6）：1058-1068.HUANG YUWEN，HU LIKUN，LU QUAN，et al.Aerial image mosaicing method based on improved SURFBRISK algorithm[J].Journal of Guangxi University：Natural Science Edition，2017（6）：1058-1068.（in Chinese）

[2]BI J，MAO W，GONG Y.Research on image mosaic method of UAV image of earthquake emergency[C]//3rdInternational Conference on Agro-Geoinformatics.Beijing：International Conference on Agro-Geoinformatics，2014：494-499.

[3]LI Z，ISLER V.Large scale image mosaic construction for agricultural applications[J].IEEE Robotics＆Automation Let-ters，2016，1（1）：295-302.

[4]張一茗，付慧.基于間隙度的無(wú)人機(jī)林地航拍圖像序列拼接方法[J].北京林業(yè)大學(xué)學(xué)報(bào)，2017，39（6）：107-115.ZHANG YIMING，F(xiàn)U HUI.A method of splicing aerial image sequences of UAV forest land based on gap degree[J].Journal of Beijing Forestry University，2017，39（6）：107-115.（in Chinese）

[5]HARRIS C，STEPHENS M.A combined corner and edge detetor[C]//Proceedings of the 4thAlvey Vision Conference.Manchester，1998：147-151.

[6]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[7]RUBLEE E，RABAUD V，KONOLIGE K，et al.ORB：an efficientalternative to sift or surf[C]//Proceedings of the 13thIEEE International Conference on Computer Vision.Washington，USA：IEEE，2011：2564-2571.

[8]佘建國(guó)，徐仁桐，陳寧.基于ORB和改進(jìn)RANSAC算法的圖像拼接技術(shù)[J].江蘇科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2015（2）：164-169.SHE JIANGUO，XU RENTONG，CHEN NING.Image mosaic technology based on ORB and improved RANSAC algorithm[J].Journal of Jiangsu University of Science and Technology：Natural Science，2015（2）：164-169.（in Chinese）

[9]鄧濤，侯東平，樂(lè)琴蘭，等.結(jié)合SIFT和Harris算法的小型無(wú)人機(jī)影像拼接方法[J].信息工程大學(xué)學(xué)報(bào)，2015，16（3）：321-326.DENG TAO，HOU DONGPING，LE QINLAN，et al.Image mosaic method of small drone combined with SIFT and Harris algorithm[J].Journal of Information Engineering University，2015，16（3）：321-326.（in Chinese）

[10]BEKELE D，TEUTSCH M，SCHUCHERT T.Evaluation of binary keypoint descriptors[C]//IEEE International Conference on Image Processing.Melbourne，Australia：IEEE，2013：3652-3656.

[11]劉松華，張軍英，許進(jìn)，等.Kernel-kNN：基于信息能度量的核k-最近鄰算法[J].自動(dòng)化學(xué)報(bào)，2010，36（12）：1681-1688.LIU SONGHUA，ZHANG JUNYIN，XU JIN，et al.Kernel-kNN：nuclear k-nearest neighbor algorithm based on information energy measure[J].Acta Automatica Sinica，2010，36（12）：1681-1688.（in Chinese）

[12]賈銀江，徐哲男，蘇中濱，等.基于優(yōu)化SIFT算法的無(wú)人機(jī)遙感作物影像拼接[J].農(nóng)業(yè)工程學(xué)報(bào)，2017，33（10）：123-129.JIA YINJIANG，XU ZHENAN，SU ZHONGBIN，et al.Remote sensing crop image mosaicing based on optimized SIFT algorithm[J].Journal of Agricultural Engineering，2017，33（10）：123-129.（in Chinese）

[13]唐曉微，孔軍，蔣敏，等.多尺度空間特征提取的脊柱圖像拼接算法[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（2）：156-161.TANG XIAOWEI，KONG JUN，JIANG MIN，et al.Spinal image mosaic algorithm for multi-scale spatial feature extraction[J].Computer Engineering and Applications，2014，50（2）：156-161.（in Chinese）

[14]張懿，劉藝.基于FAST特征的快速圖像拼接系統(tǒng)研究[J].計(jì)算機(jī)工程與應(yīng)用，2016（10）：167-170.ZHANG YI，LIU YI.Research on fast image mosaicing system based on FAST features[J].Computer Engineering and Applications，2016，52（10）：167-170.（in Chinese）

[15]秦緒佳，王琪，王慧玲，等.基于最佳縫合線的序列遙感圖像拼接融合方法[J].計(jì)算機(jī)科學(xué)，2015，42（10）：306-310.QIN XUJIA，WANG QI，WANG HUILING，et al.Sequential remote sensing image mosaic algorithm based on optimal sutures[J].Computer Science，2015，42（10）：306-310.（in Chinese）