無人機近紅外傳感器數據匹配方法

李遷， 甘拯， 支曉棟， 劉玥， 王建超， 金鼎堅

(1.中國地質大學(北京)，北京 100083；2.中國國土資源航空物探遙感中心，北京 100083；3.長江空間信息

技術工程有限公司(武漢)，武漢 410010；4.北京航空航天大學自動化科學與電氣工程學院，北京 100191)

無人機近紅外傳感器數據匹配方法

李遷1,2， 甘拯3， 支曉棟2， 劉玥4， 王建超2， 金鼎堅2

(1.中國地質大學(北京)，北京 100083；2.中國國土資源航空物探遙感中心，北京 100083；3.長江空間信息

技術工程有限公司(武漢)，武漢 410010；4.北京航空航天大學自動化科學與電氣工程學院，北京 100191)

隨著無人機低空遙感技術的不斷發(fā)展，其已成為一種重要的遙感技術手段。無人機傳感器也從普通可見光向多/高光譜傳感器發(fā)展，但鑒于無人機載荷小對傳感器的限制，這些新型傳感器數據質量較差，現(xiàn)有方法難以直接處理。因此，以無人機近紅外傳感器所獲取數據為研究對象，基于尺度不變特征轉換(scale-invariant feature transform，SIFT)匹配方法進行參數優(yōu)化和粗差剔除，以解決無人機多/高光譜數據后期成圖應用的關鍵技術，并對該方法進行實驗驗證。實驗結果表明，通過該方法能夠獲取穩(wěn)健的匹配結果，對提高無人機多/高光譜等新型傳感器的應用效果具有重要價值。

SIFT匹配； 無人機； 近紅外影像

0 引言

無人機低空遙感技術以其方便靈活、使用成本低、響應快速和可獲得cm級數據成果等優(yōu)勢迅速得到各行各業(yè)的認可，并成為航空和航天遙感的重要補充手段。但是，無人機平臺也存在很多不足，如有效載荷較小，極大地限制了機載傳感器的發(fā)展。目前無人機傳感器以可見光數碼相機為主，在測繪等領域取得了較好的應用效果。然而對于地質、環(huán)境等領域，數據光譜范圍較窄，使其應用范圍受限。

隨著無人機傳感器的快速發(fā)展，已由傳統(tǒng)可見光轉向多/高光譜方向，出現(xiàn)了不少重量在3 kg以內的小型傳感器。但由于這些傳感器大多并不只為遙感應用設計，數據質量及其成像模式與傳統(tǒng)遙感數據不同，存在相幅較小、噪聲較大等問題，再加上無人機平臺本身姿態(tài)差等劣勢。在后期成圖處理中，傳統(tǒng)處理軟件難以適應這類數據，匹配結果不能滿足處理需要，較難實現(xiàn)數據成圖及發(fā)揮遙感的“大視野”優(yōu)勢。

目前，在無人機影像匹配方面，傳統(tǒng)的角點檢測算法包括： Harris[1]，F(xiàn)AST(features from accelerated segment test)[2]，BRIEF(binary robust independent elementary features)[3]，MSER(maximally stable external regions)[4]，F(xiàn)REAK(fast retina keypoint)[5]和SIFT(scale-invariant feature transform)。但是，Harris算子不能很好地處理不同尺度的影像[1]； FAST和BRIEF特征不是旋轉不變的[6]； MSER算法在高對比度的影像區(qū)域表現(xiàn)更好[7]。其中SIFT算法是最被認可的算子，但SIFT算法是以解決可見光影像為主，其參數設置都以可見光影像為對象，直接將SIFT算法應用于近紅外影像匹配難以得到準確的匹配結果，甚至導致匹配失敗。

基于無人機近紅外數據特點，利用SIFT算法，通過優(yōu)化SIFT匹配參數和隨機抽樣一致算法(random sample consensus，RANSAC)粗差剔除，獲得可靠的匹配結果，通過圖形處理器(graphics processing unit，GPU)的應用，提高算法效率，本文方法不僅能夠滿足實際應用的需要，還可為無人機近紅外傳感器的應用提供支持，并進一步提高無人機在地質、環(huán)境等領域的應用能力。

1 無人機傳感器概況

在民用遙感領域，主要使用的是翼展3 m左右、續(xù)航2 h、有效載荷5 kg以內的小型無人機系統(tǒng)，該類無人機系統(tǒng)操作簡單，系統(tǒng)穩(wěn)定，起降適應性好。傳感器是無人機遙感系統(tǒng)的重要組成部分，其性能決定了無人機遙感的應用范圍及效果。主流無人機系統(tǒng)傳感器是2×107像素左右的可見光數碼單反相機。但隨著科學技術的不斷進步，近幾年傳感器小型化成為一種發(fā)展趨勢，也為小型無人機系統(tǒng)擴展傳感器類型提供了機會。

目前無人機上可搭載的遙感傳感器包括中小幅面可見光波段相機、多光譜相機、高光譜相機、熱紅外相機、激光探測與測量(light detection and ranging，LiDAR)和合成孔徑雷達(synthetic aperture Radar，SAR)等覆蓋整個電磁波譜段的遙感設備。重量基本在2 kg以下，LiDAR和SAR的重量稍重，也都控制在4 kg以下，如RIEGL VUX-1(3.6 kg)，IMSAR NanoSAR B(1.58 kg)。目前可應用于無人機的幾種新型傳感器及其主要性能如表1所示。

表1 無人機新型傳感器性能

雖然上述多/高光譜傳感器性能與傳統(tǒng)可見光傳感器差別不大，但其數據質量不同于傳統(tǒng)可見光遙感數據。對于近紅外傳感器來說，由于目標及背景的近紅外熱輻射在傳輸過程中會受到大氣吸收和隨機散射作用，使得近紅外影像目標與背景的對比度、清晰度和分辨率要低于可見光影像； 近紅外數據方差變化小，影像邊緣平滑，紋理信息弱； 而且其小型化與無人機搭載，造成其數據幅面小，影像姿態(tài)差和旋轉角度大等問題。上述質量問題使得傳統(tǒng)處理方法難以適用該類數據。

2 無人機近紅外影像SIFT匹配方法

2.1 SIFT算法概況

SIFT算法通常在Lowe[8]設置的默認參數下運行，由于一般不針對不同的影像類型進行參數調整，造成一些特殊的影像數據難以獲取足夠多的特征點。為了匹配非可見光頻譜范圍數據，一些學者也提出了SIFT的改進方法，例如尺度限制準則[9]和描述子改進方法[10]，或者通過更改SIFT參數使得在多波段數據集的特征點檢測和匹配中獲得成功，例如近紅外灰度影像、高光譜短波紅外影像和可見光影像之間的匹配[11-12]。

2.2 SIFT算法步驟

SIFT算法共包含4個步驟： 極值檢測、特征點定位、主方向分配和特征點描述子生成?？刂频谝徊襟E的3個主要參數為組數(octave)，每組第一級的初始高斯平滑模板大小(由尺度空間因子σ決定)和每組的尺度數(nScales)。第二步驟中，低對比度區(qū)域的不穩(wěn)定潛在關鍵點用對比度閾值參數(contrast threshold，CT)去除，位于邊緣的不穩(wěn)定潛在關鍵點用邊緣閾值參數(edge threshold，ET)去除?？刂谱詈?個步驟的9個參數詳見文獻[13]。匹配描述子時需要確定距離比率(nnRatio)參數，用于排除錯誤匹配，推薦值為0.8。

雖然SIFT匹配算法共有15個參數控制，但在考慮其重要性、參數敏感性和控制優(yōu)化復雜度基礎上，選擇了其中的5個參數：σ，nScales，CT，ET和nnRatio進行重點分析。

2.3 參數分析

σ決定了影像的平滑程度，σ值大對應大尺度(低分辨率)，反之，σ值小對應小尺度(高分辨率)。大尺度對應影像的概貌特征，小尺度對應影像的細節(jié)特征。

nScales即組內層數S，為了在每組中檢測S個尺度的極值點，則高斯差分(difference of Gaussian，DoG)金字塔每組需S+2層影像，而DoG金字塔由高斯金字塔相鄰2層相減得到，則高斯金字塔每組需S+3層影像。

CT用于消除低對比度的點。但是，離散空間的極值點并不一定是真正的極值點，采用子像素插值方法(sub-pixel interpolation)可以利用已知的離散空間點插值得到連續(xù)空間極值點。圖1顯示了二維函數離散空間插值得到的極值點與連續(xù)空間極值點的差別。

圖1 利用子像素插值得到的極值點

為了提高關鍵點的穩(wěn)定性，需要對尺度空間DoG進行曲線擬合。CT也用來控制極值點的反復插值收斂。

由于DoG算子會產生較強的邊緣響應，還需要利用ET剔除不穩(wěn)定的邊緣響應點。一個定義不好的高斯差分算子極值在橫跨邊緣方向有較大的主曲率，而在垂直邊緣方向有較小的主曲率。

為了排除因為影像遮擋和背景混亂而產生的無匹配關系的關鍵點，Lowe提出了比較最近鄰距離與次近鄰距離的方法，距離比率nnRatio小于某個閾值時認為是正確匹配。對于錯誤匹配，由于特征空間的高維性，相似的距離可能有大量其他的錯誤匹配，從而nnRatio比較高。

3 實驗

3.1 實驗數據

實驗選用的傳感器為Tetracam無人機近紅外傳感器，是由美國Tetracam公司研制設計，重量僅為200 g。該傳感器獲取的多光譜數據頻譜范圍包括紅光、綠光和近紅外波段(圖2)。

圖2 Tetracam相機波段特征

無人機近紅外數據由中國國土資源航空物探遙感中心于2013年8月在四川若爾蓋地區(qū)飛行獲取，部分影像如圖3所示。

(a) 影像1 (b) 影像2

(c) 影像3 (d) 影像4

(e) 影像5 (f) 影像6

圖3 近紅外波段灰度影像

Fig.3 NIR band grayscale image

選擇一組紋理特征好的建筑區(qū)和紋理特征差的草原區(qū)作為實例數據，如圖4所示。

(a) 建筑區(qū)1(b) 建筑區(qū)2(c) 草原區(qū)1(d) 草原區(qū)2

圖4 實例數據

Fig.4 Sample data

3.2 實驗結果

3.2.1 參數優(yōu)化

由于近紅外影像紋理差，在增加特征點來獲取更多匹配結果的同時，還應盡量減少錯誤匹配。針對實例數據，通過反復測試和結果統(tǒng)計，SIFT匹配優(yōu)化參數和默認參數對比如表2所示。

表2 優(yōu)化參數和默認參數對比

經過對比分析，針對各參數得到如下參考依據： ①對于近紅外影像紋理較弱的特點，可以將nnRatio從默認的0.8提高到0.9～0.98，以增加匹配點數，然后再利用RANSAC算法剔除錯誤匹配結果，但是，由于該算法基于統(tǒng)計學，不依據影像本身的信息，nnRatio過大會留下個別錯誤匹配結果，所以該參數限定在0.9較好； ②對于可見光影像，增大nScale可以增加匹配點數，從3提高到6時，匹配點數提高了2.9倍，但同時也會延長處理時間，對于近紅外影像，當CT取0.008且nScale取1時得到的匹配點數反而最多，繼續(xù)降低CT，增大nScale才會提高匹配點數，但錯誤匹配結果也會隨之增多，所以建議nScale取值為1； ③將CT從默認的0.03降低到0.01，會顯著增加低對比度影像的匹配點數，但是取值過小會大幅增加錯誤匹配結果，多組數據測試發(fā)現(xiàn)，該參數不低于0.006 7時能有效控制錯誤匹配數量； ④相較其他參數，在本文實驗中ET對匹配點數影響很小，可保持默認值10； ⑤雖然減小σ將得到更多匹配點，但是會造成匹配點過于集中并顯著延長處理時間，經過反復對比測試，該參數仍取默認值1.6最佳。但是，僅根據本文實驗結果不能確定ET和σ是否會對其他傳感器獲取的影像匹配結果產生影響，因此ET和σ也是下一階段工作的研究重點。

3.2.2 匹配結果對比

采用SIFT默認參數對近紅外影像進行匹配的結果如圖5所示。

(a) 建筑區(qū) (b) 草原區(qū)

圖5 默認參數匹配結果

Fig.5 Default parameters matching results

通過圖5可知，默認參數的SIFT匹配對建筑區(qū)等紋理較好的區(qū)域能夠獲取較多匹配結果，但對于草原等紋理較差的區(qū)域默認參數難以獲取可用的匹配結果。

通過本文優(yōu)化的匹配參數進行處理，可得到匹配結果如圖6所示。

(a) 建筑區(qū) (b) 草原區(qū)

圖6 優(yōu)化參數匹配結果

Fig.6 Optimized parameters matching results

通過圖6可知，優(yōu)化后參數能夠顯著增加匹配點數量，尤其是對草原弱紋理區(qū)域亦能獲取較均勻的匹配結果，但同時也帶來了較多錯誤。

為了有效剔除錯誤匹配點，本文對優(yōu)化參數的匹配結果采用RANSAC算法進行錯誤剔除。其結果如圖7所示。

(a) 建筑區(qū) (b) 草原區(qū)

圖7 RANSAC算法錯誤剔除后匹配結果

Fig.7 RANSAC algorithm eliminate errors matching results

通過圖7可知，利用本文優(yōu)化參數及RANSAC算法錯誤剔除，近紅外影像獲得了可靠的匹配結果，在此基礎上實現(xiàn)了相機姿態(tài)解算。

表3對比了2種影像在默認參數和優(yōu)化參數及RANSAC算法作用下的匹配效果。

表3 匹配點數量對比

由表3、圖5—7可見，本文提出的算法增加了建筑區(qū)影像的匹配點數，匹配結果分布均勻并在默認參數未實現(xiàn)匹配的一些區(qū)域也獲得了可靠的匹配結果； 而針對草原區(qū)影像，在默認參數下未實現(xiàn)匹配，但本文算法卻獲得了足夠數量的匹配點。研究表明，本文算法可有效改善近紅外影像的SIFT匹配結果，以滿足后期應用需要。

4 結論

本文基于近紅外影像特點，分析并優(yōu)化了SIFT算法的5個匹配關鍵參數，并利用RANSAC算法進行匹配結果錯誤剔除，從而得到了可靠的匹配效果，保證了本文所用近紅外傳感器數據的后期成圖應用。各個參數選擇依據的總結，對其他相似數據的匹配具有重要價值。

但本文僅針對某一傳感器的參數進行測試，其優(yōu)化過程不能實現(xiàn)自動化，在下一階段工作中，繼續(xù)研究影像質量評價及參數智能優(yōu)化算法，更好地推進無人機多/高光譜數據的深入應用，為地質災害調查及環(huán)境監(jiān)測等工作提供有力的支持。

[1] Harris C,Stephens M.A combined corner and edge detector[C]//Proceedings of the 1988 Alvey Vision Conference.Manchester,UK:AVC,1988:147-152.

[2] Rosten E,Drummond T.Machine learning for high-speed corner detection[M]//Leonardis A,Bischof H,Pinz A,eds.Computer Vision-ECCV 2006.Berlin Heidelberg:Springer,2006:430-443.

[3] Calonder M,Lepetit V,Strecha C,et al.Brief:Binary robust independent elementary features[M]//Daniilidis K,Maragos P,Paragios N,eds.Computer Vision-ECCV 2010.Berlin Heidelberg:Springer,2010:778-792.

[4] Matas J,Chum O,Urban M,et al.Robust wide-baseline stereo from maximally stable extremal regions[J].Image and Vision Computing,2004,22(10):761-767.

[5] Alahi A,Ortiz R,Vandergheynst P.FREAK:Fast retina keypoint[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Providence:IEEE,2012:510-517.

[6] Rublee E,Rabaud V,Konolige K,et al.ORB:An efficient alternative to SIFT or SURF[C]//Proceedings of 2011 IEEE International Conference on Computer Vision(ICCV).Barcelona:IEEE,2011:2564-2571.

[7] Morel J M,Yu G S.ASIFT:A new framework for fully affine invariant image comparison[J].SIAM Journal on Imaging Sciences,2009,2(2):438-469.

[8] Lowe D G.Object recognition from local scale-invariant features[C]//The Proceedings of the Seventh IEEE International Conference on Computer Vision,1999.Kerkyra:IEEE,1999,2:1150-1157.

[9] Zheng Y,Cao Z G,Xiao Y.Multi-spectral remote image registration based on SIFT[J].Electronics Letters,2008,44(2):107-108.

[10]Aguilera C,Barrera F,Lumbreras F,et al.Multispectral image feature points[J].Sensors,2012,12(9):12661-12672.

[11]Meierhold N,Spehr M,Schilling A,et al.Automatic feature matching between digital images and 2D representations of a 3D laser scanner point cloud[C]//Proceedings of the ISPRS Commission V Mid-Term Symposium on Close Range Image Measurement Techniques.Newcastle:ISPRS,2010,38:446-451.

[12]Sima A,Buckley S J,Kurz T H,et al.Semi-automatic integration of panoramic hyperspectral imagery with photorealistic Lidar models[J].Photogrammetrie-Fernerkundung-Geoinformation,2012(4):443-454.

[13]May M,Turner M J.Scale invariant feature transform:A graphical parameter analysis[C].//Proceedings of the BMVC 2010 UK.Aberystwyth,UK:BMVC,2010:1-11.

(責任編輯： 陳理)

Research on matching algorithm of UAV infrared sensor data

LI Qian1,2, GAN Zheng3, ZHI Xiaodong2, LIU Yue4, WANG Jianchao2, JIN Dingjian2

(1.ChinaUniversityofGeosciences(Beijing),Beijing100083,China; 2.ChinaAeroGeophysicalSurveyandRemoteSensingCenterforLandandResources,Beijing100083,China; 3.ChangjiangSpatialInformationTechnologyEngineeringCo.,Ltd,Wuhan410010,China; 4.SchoolofAutomationScienceandElectricalEngineering,BeihangUniversity,Beijing100191,China)

Low-altitude UAV remote sensing technology has become an important means of remote sensing technology. With the continuous development of the technology, its sensors have also changed from the visible ones to the multi/hyperspectral ones. However, due to the limitations of a small UAV payload on the sensors, the data quality of these new types of sensors is poor and hence it is difficult to deal with existing methods directly. Therefore, the authors studied the data obtained by UAV infrared sensors and then optimized parameters and removed gross errors based on the SIFT matching algorithm. This method has made robust matching results and can solve the key technology of the late mapping application of multi/hyperspectral data. The authors used a set of UAV infrared data to test and verify this method. The experimental results show that this method is capable of obtaining robust matching results and has a great value in improving applications of UAV multi/hyperspectral sensors.

SIFT matching； UAV； infrared image

10.6046/gtzyyg.2017.01.13

李遷,甘拯,支曉棟,等.無人機近紅外傳感器數據匹配方法[J].國土資源遙感,2017,29(1)：86-91.(Li Q,Gan Z,Zhi X D,et al.Research on matching algorithm of UAV infrared sensor data[J].Remote Sensing for Land and Resources,2017,29(1)：86-91.)

2016-06-22；

2016-09-27

中國國土資源航空物探遙感中心對地觀測技術工程實驗室航遙青年創(chuàng)新基金項目“基于紅外光學傳感器的低空遙感應急監(jiān)測方法研究”(編號： 2013YFL09)和中國地質調查局地質調查項目“地質災害低空遙感應急監(jiān)測方法技術研究”(編號： 1212011120219)共同資助。

李遷(1983-)，男，工程師，在讀博士研究生，主要從事遙感技術應用方面的研究和管理工作。Email： bubb.lee@qq.com。

支曉棟(1983-)，男，博士，主要從事無人機低空遙感、攝影測量與計算機視覺及遙感地質應用等方面的研究。Email： zhixdong@163.com。

TP 751.1

A

1001-070X(2017)01-0086-06