基于衛(wèi)片的非序列無人機影像快速概略拼接方法

孫彥瑋，李　浩，孫　麗，李語旻2

（1.河海大學地球科學與工程學院，江蘇南京211100；2.河海大學文天學院，安徽馬鞍山243031）

基于衛(wèi)片的非序列無人機影像快速概略拼接方法

孫彥瑋1，李浩1，孫麗1，李語旻2

（1.河海大學地球科學與工程學院，江蘇南京211100；2.河海大學文天學院，安徽馬鞍山243031）

針對非序列無人機影像，提出了一種基于衛(wèi)星影像的無人機影像快速概略拼接方法。該算法首先利用改進的SURF算法提取特征點，然后利用最小歐氏距離尋找匹配點，最后結(jié)合模板匹配方法確定最終的正確匹配點。利用匹配點的尺度和方向信息計算無人機與衛(wèi)星影像之間的相似變換參數(shù)，確定無人機影像的概略位置。試驗結(jié)果表明，該算法擁有快速、準確和高適用性等優(yōu)勢，對衛(wèi)星影像沒有嚴格的時效限制，有一定的地形變化容錯能力，能夠滿足快速概略拼接的要求，是一種可行的無人機影像概略拼接新方法。

非序列影像；無人機；衛(wèi)片；概略拼接；SURF；模板匹配

無人機遙感是一種低成本、高靈活度的遙感手段，已經(jīng)廣泛應用于工程勘察、城市規(guī)劃、災害監(jiān)測和土地利用調(diào)查［1］等方面，有效彌補了衛(wèi)星影像分辨率低、重訪周期長的缺點。但是多數(shù)無人機體積小、重量輕，無法攜帶精確的POS系統(tǒng)，影像間的方位信息無法準確獲取。目前針對無人機影像拼接的方法主要有:基于姿態(tài)定位定姿系統(tǒng)（position and orientation system，POS）數(shù)據(jù)的拼接［2-3］和基于特征的拼接［4］。方法一耗時較短，但由于無人機姿態(tài)參數(shù)變化復雜、無規(guī)律，拼接精度較低；方法二的核心在于影像的特征提取，因此耗時有所增加，但拼接精度大幅提高［5］。

針對上述問題，本文提出一種基于衛(wèi)片的無人機影像快速概略拼接方法，即以衛(wèi)星影像作為底圖，通過改進的SURF算法，并結(jié)合基于標準平方差的模板匹配方法，得到一種快速的、高適用性的無人機影像概略拼接方法。該方法不僅可以達到基于POS數(shù)據(jù)的拼接精度，處理無POS系統(tǒng)的無人機影像，而且速度快、耗時短，擁有更廣泛的應用范圍。

一、影像預處理

目前，衛(wèi)星影像的分辨率最高能達到0.5 m左右，而無人機作為一種低空飛行器，其影像分辨率能達到0.1 m甚至更高［6］。衛(wèi)星與無人機影像之間的分辨率差距，使得直接對無人機和衛(wèi)星影像進行特征提取與匹配很難得到正確的匹配點。因此，首先應根據(jù)影像分辨率之間的比例對無人機影像進行降采樣，使無人機與衛(wèi)星影像擁有基本相同的分辨率，同時較低的分辨率也縮減了無人機影像的特征提取時間，加快了計算速度。其次，需要對無人機和衛(wèi)星影像進行雙邊濾波。雙邊濾波器不僅考慮了像素點鄰域的灰度相似關(guān)系，還考慮了像素點空間的鄰近關(guān)系。通過對空間鄰近關(guān)系和灰度相似關(guān)系的非線性組合，既達到了去噪的目的，又很好地保留了圖像的邊緣信息［7］。試驗表明，雙邊濾波可以有效地去除弱特征點，減少特征匹配時間。記雙邊濾波的符號為HBL，雙邊濾波的數(shù)學表達如下

式中，Wx定義為

式中，x表示當前點位置；y∈s表示以x為中心的s× s區(qū)域內(nèi)的點；Ix和 Iy表示對應位置的像素值；x-y 表示空間距離；Gσd表示空間近鄰函數(shù)；Gσr表示灰度相似度函數(shù)。

二、特征點提取

SURF（speeded-up robust features）是 Bay等在SIFT算法基礎(chǔ)上提出的一種快速魯棒性特征提取算法［8］。其流程如圖1所示。在特征點檢測過程中，為了保持特征點的尺度不變性，需要構(gòu)建多層尺度空間分別提取特征點，即使引入盒狀濾波器仍然需要較大的計算量［9］。本文中，由于對無人機影像進行降采樣，降低了無人機與衛(wèi)星影像之間的尺度差異，因此，為了加快計算速度，僅從中選取4種尺寸的濾波器模板進行計算，如圖2所示。

圖1　算法流程

圖2　濾波器大小示意圖

濾波器模板的尺寸直接決定了提取出特征點的精細程度。若濾波器尺寸過小，提取出的特征點將過度表現(xiàn)圖像中的細節(jié)特征，而由于各方面的因素，無人機與衛(wèi)星影像一般存在較大差異，細節(jié)特征不盡相同；若尺寸過大，提取的特征點將會損失大量的地物細節(jié)信息，缺失了特征點的獨特性與典型性。因此，為了既能準確反映地物的主要特征，又不過度表現(xiàn)細節(jié)特征，本文選取了39、51、75和99共4種尺寸的濾波器模板對特征點進行提取。

三、特征點匹配

在特征點匹配方面，SURF等主流算法均使用了歐氏距離匹配，即計算描述子之間的歐氏距離，當最近距離比次近距離小于閾值時，將最近距離點作為匹配點［10］。

但是，無人機與衛(wèi)星影像之間存在較大的差異性。一方面，由于拍攝設(shè)備、拍攝方位、成像方式和大氣條件等的不同，影像在覆蓋范圍、精細程度及顏色表現(xiàn)等方面均不同，同一地物在不同影像上的成像結(jié)果存在差異；另一方面，由于無人機和衛(wèi)星影像在拍攝時間上的差距，不同影像中的地物可能存在變化。如果僅僅利用歐氏距離，匹配點中將含有大量錯誤匹配點，將對無人機影像的概略拼接產(chǎn)生巨大的不利影響。

模板匹配是一種傳統(tǒng)的匹配方法，計算復雜度較高，但是改進的模板匹配方法在速度上有了很大的改觀，而且由于其在計算過程中運用了特征點完整的鄰域信息，在匹配準確性上擁有較大優(yōu)勢［11］。本文利用描述子的主方向?qū)δ０迤ヅ溥M行改進，在匹配點中得到一對最佳匹配點，有效避免了影像差異產(chǎn)生的錯誤匹配點，確保了最終概略拼接結(jié)果的準確性。具體步驟如下:

1）計算無人機和衛(wèi)星影像中特征點描述子之間的歐氏距離。若最近距離比次近距離小于閾值，則認為最近距離的兩個特征點為一對匹配點，將兩特征點及其最近距離與次近距離的比記錄下來。

2）最近距離與次近距離的比越小，說明匹配點的獨特性和相似性越高，按照距離比從小到大對匹配點對進行排序，如果匹配點過多，可以只選取前一部分匹配點參與下一步驟，減少模板匹配的時間。

3）從匹配點序列中取一對匹配點，計算兩匹配點主方向之間的旋角，對衛(wèi)星影像進行旋轉(zhuǎn)，消除兩張影像之間的旋角。取特征點周圍N×N像素的鄰域，其中N取特征點尺度的5倍。采用標準平方差法進行模板匹配，并記錄下平方差系數(shù)，系數(shù)越小，說明圖像的相似度越高。標準平方差系數(shù)R的計算公式如下式中，T表示模板圖像；I表示原始圖像；x′、y′表示模板圖像中的坐標；x、y表示模板圖像的移動步長。

4）重復步驟3），從數(shù)對匹配點中選取標準平方差系數(shù)最小的前4對點，若4對點的主方向之差在一定的限差范圍內(nèi)，則認為4對匹配點是正確的，取系數(shù)最小的點作為最佳匹配點；否則由用戶選擇最佳匹配點。

四、無人機影像的概略拼接

對于嚴格的影像拼接與鑲嵌來講，平坦地區(qū)至少也需要4對正確的匹配點，而對于本文所采用的無人機與衛(wèi)星影像，影像之間存在拍攝時間、拍攝視角及地物變化等差別，加之不同地形地區(qū)的地物特征數(shù)目也有所區(qū)別，所以不能保證對于任意影像都能提取出4對以上正確的匹配點。

考慮到概略拼接的要求，只需確定無人機影像在衛(wèi)片上的大致位置，所以可以利用最佳匹配點的尺度和方向信息計算得到影像之間的相似變換矩陣

式中，s表示兩個特征點尺度比值；θ表示兩個特征點主方向之間的旋角；dx和dy分別表示兩個特征點在x方向和y方向的相片坐標之間的差。

以無人機影像的左上角為坐標原點，計算出影像的4個頂點坐標，通過相似變換矩陣可以求得其在衛(wèi)星影像中的坐標，得到無人機影像的概略位置。對區(qū)域內(nèi)的所有無人機影像處理即可完成影像的概略拼接。

五、試驗結(jié)果與分析

本文試驗平臺的開發(fā)環(huán)境為 Microsoft Visual Studio 2013，編程語言為C#。為了體現(xiàn)本文算法的適用性，選取了城市和山區(qū)兩組影像對算法進行驗證。試驗所用衛(wèi)星影像如圖3所示，（a）為城市影像，影像中地物豐富，特征信息較多；（b）為山區(qū)影像，只有少量可供辨別的特征。圖4和圖5分別為城市和山區(qū)的無人機影像，影像分辨率為0.1 m。本試驗的衛(wèi)星影像均來自于Google Earth，影像拍攝時間未知，對比無人機和衛(wèi)星影像可以明顯看出影像在覆蓋面積和色彩方面存在較大的差異，對于城市影像，由于城市建設(shè)等因素，存在一定的地物變化。

圖3　衛(wèi)星影像

圖4　城市無人機影像

圖5　山區(qū)無人機影像

本文選取了3×3像素大小的濾波核對影像進行雙邊濾波，并且為了保證特征點的獨特性，調(diào)整SURF算法的閾值，使特征點數(shù)目不宜過多，在模板匹配之前對特征點數(shù)目進行精簡，僅選取最近次近距離比最小的10對匹配點參與模板匹配。兩組影像的試驗結(jié)果如圖6所示，各影像像幅四角及像幅內(nèi)明顯地物的位置配準正確。試驗結(jié)果表明，本文方法得到的無人機影像位置及影像之間的相對位置關(guān)系是準確的；另外，選取的兩組影像地物特征數(shù)量差距明顯，城市影像存在一些建筑物變化，表明本文算法具有較高的適用性，能夠滿足不同場景下的無人機影像概略拼接需求。

六、結(jié) 論

本文通過對SURF算法進行改進，結(jié)合模板匹配方法，提出了一種快速、高適用性的無人機影像概略拼接方法。通過采用對無人機影像進行降采樣，簡化SURF的特征點提取步驟，衛(wèi)星影像僅需一次特征提取等方法，大幅度提高了影像的概略拼接速度。選取不同地區(qū)的影像進行算法試驗，證明了本文算法的可行性，對于影像時效和地物變化沒有嚴格的要求，定位準確度滿足非序列無人機影像的拼接需求，能夠達到后期影像處理的要求。本文算法具有快速自動處理等優(yōu)勢，相對于利用POS數(shù)據(jù)進行無人機影像概略拼接的方法，本文算法具有相當?shù)挠嬎闼俣群途_度，而且可以適用于無POS數(shù)據(jù)的無人機影像，擁有更廣泛的適用范圍。

圖6　影像拼接結(jié)果

［1］ 韓杰，王爭.無人機遙感國土資源快速監(jiān)察系統(tǒng)關(guān)鍵技術(shù)研究［J］.測繪通報，2008（2）:4-6.

［2］ ZHANG Y，JIANG P，LI J，et al.The Research on the UAV Positioning Method Using the POS and Improved Image Matching［C］∥2015 International Industrial Informatics and Computer Engineering Conference.Xi’an: Atlantis Press，2015.

［3］ 韓文超.基于POS系統(tǒng)的無人機遙感圖像拼接技術(shù)研究與實現(xiàn)［D］.南京:南京大學，2011.

［4］ 丁南南.基于特征點的圖像配準技術(shù)研究［D］.長春:中國科學院研究生院，2012.

［5］ 劉如飛，盧秀山，劉冰，等.一種改進的無人機航攝影像快速拼接方法［J］.測繪通報，2014（2）:46-49. ［6］ 胡曉曦，李永樹，李何超，等.無人機低空數(shù)碼航測與高分辨率衛(wèi)星遙感測圖精度試驗分析［J］.測繪工程，2010（4）:68-70.

［7］ 石雅筍.改進的SURF圖像配準算法研究［D］.成都:電子科技大學，2011.

［8］ BAY H，ESS A，TUYTELAARS T，et al.Speeded-up Robust Features（SURF）［J］.Computer Vision and Image Understanding，2008，110（3）:346-359.

［9］ TEKE M，TEMIZEL A.Multi-spectral Satellite Image Registration Using Scale-Restricted SURF［C］∥20th International Conference on Pattern Recognition.Istanbul:IEEE，2010.

［10］ LOWE D.Distinctive Image Features from Scale-invariant Keypoints［J］.International Journal of Computer Vision，2004，60（2）:91-110.

［11］ 劉錦峰.圖像模板匹配快速算法研究［D］.長沙:中南大學，2007.

A Fast and Sketchy Method for Non-sequential Image Mosaicking of UAV Using Satellite Image

SUN Yanwei，LI Hao，SUN Li，LI Yumin

10.13474/j.cnki.11-2246.2016.0228.

P237

B

0494-0911（2016）07-0077-04

2015-08-14；

2015-10-17

國家自然科學基金（41471276；51079053）

孫彥瑋（1992—），男，碩士生，主要研究方向為攝影測量與遙感。E-mail:SunYW0108@hotmail.com

李 浩

引文格式：孫彥瑋，李浩，孫麗，等.基于衛(wèi)片的非序列無人機影像快速概略拼接方法［J］.測繪通報，2016（7）:77-80.