基于無人機POS信息的拼接方法①

王亞洲, 趙德群, 張楠西, 石 珺, 鄧錢華

(北京工業(yè)大學(xué) 信息學(xué)部,北京 100124)

UAV (Unmanned Aerial Vehicle,無人機)具有運行簡單、反應(yīng)迅速、飛行靈活、成本低等特點,已被廣泛應(yīng)用于抗災(zāi)救災(zāi)、軍事偵察、海上檢測、環(huán)境保護和土地動態(tài)監(jiān)測等區(qū)域[1]. 而由于無人機航拍序列圖片拍攝的視角有限,受到無人機飛行的高度及相機的參數(shù)的限制. 為了對拍攝的區(qū)域進行全局的把握與分析,得到更多的目標(biāo)區(qū)域信息,圖像的快速拼接顯得十分迫切與需要.

目前無人機的航拍影像拼接方法主要有兩種： 一種是基于圖像特征的拼接方法,另一種是基于POS信息的拼接方法.

基于特征的圖像拼接主要包括兩個主要的步驟,分別為圖像配準(zhǔn)和圖像融合. 其中圖像配準(zhǔn)為核心步驟. 在基于特征檢測的圖像配準(zhǔn)算法中,1988年CHris Harris提出了Harris角點檢測算子,該算法對角點響應(yīng)函數(shù)R進行閾值處理并且提取R的局部最大值來進行角點的提取,缺點是該算法不具有尺度不變性并且特征檢測時間不是很令人滿意. SIFT特征匹配算法(Scale Invariant Feature Transform)[2]是一種經(jīng)典的算法,它通過在空間尺度中尋找極值點,并提取出其位置、尺度、旋轉(zhuǎn)不變量,并且提出來的特征比較穩(wěn)定,但是缺點為提取出的特征點數(shù)量較多,計算量大,耗時長. Bay[3]于2006年提出了SURF算法,意為加速魯棒性特征,是對SIFT算法進行的一種改進,SURF算法利用Hessian矩陣確定候選點然后進行非極大抑制,降低了計算復(fù)雜度,一般來說,標(biāo)準(zhǔn)的SURF算子比SIFT算子快好幾倍,并且在多副圖片下具有更好的魯棒性.

基于POS的信息拼接方法主要是利用航拍影像的地理坐標(biāo)關(guān)系來進行配準(zhǔn),文獻[4-7]就是利用特征點檢測算法和POS信息結(jié)合的方法來進行拼接,解決了水域拼接問題,但是拼接速度上并沒有得到有效提高,大部分都不能達到實時拼接. 文獻[8-12]都是基于視頻拼接,提高了拼接的速度,但是融合效果并不是十分理想,文獻[13]對視頻進行感興趣區(qū)域提取,裁剪了非重疊區(qū)域,提高了檢測的速度,但是視頻并非無人機航拍視頻,并且重疊區(qū)域的計算方法并未給出,文獻[14]利用FAST快速的提取到了圖像的灰度特征,速度上基本滿足實時的要求,但是也并未給出最后的融合效果,文獻[15]在特征定位時采用SURF,在特征描述上采用局部差分二進制算法,提高了特征的提取速度和匹配速度,在特征的穩(wěn)定性和去分析上也有所提高.

本文提出的方法將特征提取算法與影像的地理坐標(biāo)相結(jié)合,在拼接效率及視覺效果上比傳統(tǒng)的特征提取拼接算法均有較大的提高,且拼接后的影像有地理信息,具有一定的實用價值.

1 設(shè)計方案概述

本文提出了一種基于POS系統(tǒng)拼接圖像的方法,首先對圖像進行幾何校正,然后計算出影像四角點的地理坐標(biāo),以第一張影像地理坐標(biāo)為基礎(chǔ),通過提取相鄰影像重疊區(qū)域的SURF特征去得到相同匹配目標(biāo)點的位置關(guān)系,從而修正后面影像的地理坐標(biāo),最后采用自適應(yīng)漸入漸出的融合算法,得到了一副視覺效果良好的全景圖像,完成圖像的良好拼接. 設(shè)計方案流程圖如圖1所示.

2 航拍圖像的預(yù)處理

無人機在執(zhí)行航拍任務(wù)中,由于受到飛行器的姿態(tài)、高度、速度以及地球自轉(zhuǎn)等因素的影響,造成圖像相對于地面目標(biāo)實際位置發(fā)生擠壓、扭曲、拉伸和偏移等,因此需要對航拍的圖像進行幾何矯正,以得到基于同一基準(zhǔn)投影面的遙感圖像.

圖1 本文設(shè)計方案

2.1 幾何矯正

幾何矯正處理過程主要包括坐標(biāo)系統(tǒng)變換,構(gòu)建共線方程,圖像重采樣等過程.

在幾何矯正的過程中,需要依次建立的坐標(biāo)系為：地球坐標(biāo)系,地理坐標(biāo)系,機體坐標(biāo)系,光電平臺坐標(biāo)系,相機坐標(biāo)系. 傳統(tǒng)校正的具體步驟如下： 設(shè)光電平臺坐標(biāo)系到數(shù)碼相機坐標(biāo)系的變換矩陣為R1,由機體坐標(biāo)系到光電平臺坐標(biāo)系的變換矩陣為R2,由地理坐標(biāo)系到機體坐標(biāo)系的變換矩陣為R3,由大地坐標(biāo)系到空間直角坐標(biāo)系的變換矩陣為R4,則有：

因此從相機坐標(biāo)系到大地坐標(biāo)系之間的轉(zhuǎn)換可以用如下關(guān)系表示：

常規(guī)幾何矯正由式(2)逐像素點進行計算和采樣.考慮到本課題主要對單一航帶進行拼接,且無人機平臺橫滾角和俯仰角比較小時(近似垂直向下拍攝時)可以認(rèn)為圖像分辨率率是一致的,因此為了減少運算量,提高速度,幾何矯正只對水平方向上的飛機航向角和平臺方位角進行校正. 矯正模型如下所示：

其中χ為方位角,θ為航向角,為變換矩陣,完成模型轉(zhuǎn)換后再通過雙線性差值重采樣方法計算出像元在新的坐標(biāo)系下的灰度值,從而生成新的圖像矩陣,完成幾何矯正.

2.2 重疊區(qū)域計算

無人機的航行速度,航行高度,當(dāng)前曝光點的飛機經(jīng)緯度信息,都可以通過無人機攜帶的POS系統(tǒng)(圖2)獲取到. 這些信息記錄了飛機飛行時在每個曝光時刻飛行時的姿態(tài),可根據(jù)此來計算相鄰影像的重疊區(qū)域,具體步驟如下.

圖2 POS信息

1) 假設(shè)無人機航線為偏離正北θ,其航速為V,將速度分解為正北方向上和正東方向上兩個方向上的分量. 分別表示為V1和V2,如圖3所示.

2) 連續(xù)拍攝相鄰兩張曝光點的影像分別編號為Pic1和Pic2,間隔為t,中心點經(jīng)緯度為LatA、LonA、LatB、LonB,則有：

圖3 速度分解

其中R=6371.004千米,π取3.1415926.

3) 此時以Pic1作為基準(zhǔn),Pic2與Pic1之間的重疊區(qū)域可表示為如圖4所示的矩形區(qū)域S,將其重疊區(qū)域擴大定義到規(guī)則區(qū)域,將重疊區(qū)域頂點投影到x和y方向上則表示為：通過計算重疊區(qū)域減少了拼接的計算量,并且隨著特征點的尋找面積越小,可能出現(xiàn)的誤匹配概率就越小,提高了檢測的效率.

圖4 重疊區(qū)域計算

3 基于POS參數(shù)的拼接方法

3.1 計算影像地理坐標(biāo)

對于幾何糾正過的航拍影像,影像的每點像素坐標(biāo)都有對應(yīng)的地理坐標(biāo),影像的地理坐標(biāo)的計算過程可以分為以下幾步.

1) 計算地面分辨率,計算公式如下：

其中GSD表示地面分辨率(m),f為鏡頭焦距(mm),P為成像傳感器的像元尺寸(mm),H為無人機對應(yīng)的航高(m).

2) 計算影像對角線實際地面距離,根據(jù)影像的寬度w和高度h得到圖像對角線線之間的地面距離：

3) 計算影像四角點地理坐標(biāo),根據(jù)影像中心點經(jīng)緯度及另一點相對中心點的距離及方向角,可以求得以影像中點為圓心,半徑為L/2的對應(yīng)四角點地理坐標(biāo). 具體計算公式為：

4) 地理坐標(biāo)轉(zhuǎn)換到空間之間坐標(biāo)系之間的轉(zhuǎn)換,轉(zhuǎn)換公式如下：

其中N為曲率半徑,Lon、Lat、H分別為經(jīng)度、緯度和高程,至此,得到完整的影像坐標(biāo).

3.2 利用特征匹配修正地理坐標(biāo)

由于POS精度低以及幾何校正中存在一定的誤差,計算出的坐標(biāo)映射關(guān)系有一定的誤差,此時利用特征匹配算法去修正影像的地理坐標(biāo),具體過程如下：

假設(shè)圖像1的地理坐標(biāo)為P1(x1,y1),圖像2的地理坐標(biāo)為P2(x2,y2),提取影像特征匹配對后則可以得到同一個點在不同兩張影像間的像素坐標(biāo)位置,由此可以得到兩張影像中同一個目標(biāo)點的經(jīng)緯度坐標(biāo)(Lon1,Lat1)(Lon2,Lat2),最后以第一張影像地理坐標(biāo)為基準(zhǔn),求得第二張影像中目標(biāo)點與第一張影像之間的偏移量,公式如下：

然后用求得的偏移量去修正圖像2的地理坐標(biāo)P2：

然后將地理坐標(biāo)投影到空間直角坐標(biāo)系下,從而完成圖像精確的配準(zhǔn).

文章通過計算重疊區(qū)域的SURF特征,完成特征匹配點對的提取. SURF采用近似Hessian矩陣檢測特征點,并使用積分圖像進行卷積運算,大幅減少了運算,從而提高了特征提取速度. SURF描述子包含兩個主要的部分： 檢測特征點和計算特征; 具體實現(xiàn)分為以下幾步.

1) 構(gòu)建Hessian矩陣,構(gòu)造尺度空間.

假設(shè)圖像上某點為X(x,y),在σ尺度下的矩陣H定義為：

當(dāng)Hessian矩陣的的判別式取得局部極大值時,認(rèn)為定位關(guān)鍵點的位置.

2) 檢測特征點

在上述得到的尺度空間中,將經(jīng)過Hessian矩陣處理的每個像素點與二維圖像空間和尺度空間鄰域內(nèi)的26個點進行比較,初步定位出關(guān)鍵點,再經(jīng)過濾去除能量比較弱的關(guān)鍵點以及錯誤定位的關(guān)鍵點,篩選出最終的穩(wěn)定的特征點,檢測過程如圖5.

圖5 特征點定位

3) 確定特征點主方向

以特征點為圓心,以6σ為半徑,求XY方向上的Haar小波響應(yīng),統(tǒng)計60度扇形內(nèi)所有點的水平Haar小波特征和垂直Haar小波特征總和,并設(shè)置Haar小波的尺寸變長為4 s,使得每個扇形都得到了對應(yīng)值.然后將60度扇形以一定間隔進行旋轉(zhuǎn),最后將鎖定最大值扇形的方向作為該特征點的主方向. 該過程的示意圖如圖6.

圖6 特征點方向計算

4) 計算特征描述符

在特征點周圍取一個正方形框,然后把該框分為16個子區(qū)域,每個子區(qū)域統(tǒng)計25個像素的水平方向和垂直方向的Haar小波特征,這里的水平和垂直方向都是相對主方向而言的,所以每個特征點就是16*4=64維的向量,這在特征匹配過程中會大大加快匹配速度.

4 圖像融合

對于修正坐標(biāo)后的圖像,由于每張影像之間有一定的痕跡,因此需要采用一些策略來解決拼接縫隙之間的顏色過渡差異較大的問題,使拼接圖像更加平滑自然,漸入漸出自適應(yīng)權(quán)重融合過程如下所示.

假設(shè)I1、I2、I分別為融合前圖像1、圖像2、和融合后的圖像3,則可以通過公式(14),完成圖像融合：

式中,W是兩幅不同畫面重復(fù)的總寬度;w是重合區(qū)域左邊緣與當(dāng)前像素點之間的橫向距離.

5 實驗與分析

本文選取我國某處海岸線的兩條航帶影像作為數(shù)據(jù)源,測試平臺為CPU Intel(R)Core(TM)i7-4970 CPU@3.60 GHz,內(nèi)存 16 GB,軟件開發(fā)環(huán)境為VS2010+OpenCV2.4.1,圖片分辨率為1820*1080,航拍高度為150 m左右.

5.1 重疊區(qū)域特征檢測

圖7(a)為用傳統(tǒng)SURF算法檢測到的特征點,并進行匹配連線,圖7(b)為根據(jù)飛行參數(shù)計算得到的重疊區(qū)域,圖7(c)為通過影像重疊區(qū)域計算出特征點之后,再根據(jù)RANSAC算法進一步消除錯誤特征點,從而得到最終的匹配連線對.

可以看出,surf算子在圖7(a)中非重疊區(qū)域之外的特征也進行了檢測,所以存在很多的誤匹配對. 圖7(c)只在重疊區(qū)域進行特征檢測,減少了誤匹配率. 從而提高了拼接的效率. 本文通過測試561張圖片并對得到的數(shù)據(jù)進行了平均,實驗中全局區(qū)域和重疊區(qū)域檢測到的特征點個數(shù)及檢測時間對比如表1所示.

圖7 圖像匹配點對的提取

表1 不同區(qū)域特征點提取對比

5.2 地理坐標(biāo)拼接效果

按照本文提出的計算方法計算地理坐標(biāo)并進行投影后及修正后的對比結(jié)果如圖8所示： 其中圖8(a)為未修正前的地理坐標(biāo)投影結(jié)果,可以看出修正前的拼接效果存在明顯的誤差,圖8(b)在圖8(a)的基礎(chǔ)上,按照本文提出的方法,進行坐標(biāo)的調(diào)整后,圖像拼接精度得到了明顯的提高,圖8(c)為按照本文方法,進行多張圖片的修正地理坐標(biāo)拼接效果.

5.3 圖像融合結(jié)果

根據(jù)每張影像的地理坐標(biāo)可以方便提取出圖像的邊界,從而得到圖像之間的拼接縫隙的精確位置,這樣重疊區(qū)域的目標(biāo)在融合過程中都是以地理坐標(biāo)位置進行投影,消除了傳統(tǒng)圖像處理算法配準(zhǔn)時候誤差的積累,從而避免目標(biāo)重影的產(chǎn)生,最后采用漸入漸出的自適應(yīng)權(quán)重融合算法對邊界線進行融合,對比拼接效果如圖9所示： 其中圖9(a)明顯可以看出拼接后的邊界,圖9(b)為采用融合策略后生成的圖像,可以看出消除了圖像邊界之間的差異.

6 總結(jié)

本文針對無人機航拍影像的特點,提出了一張基于無人機POS信息的拼接方法,首先根據(jù)POS信息計算影像的四角點的地理坐標(biāo),然后提取影像的重疊區(qū)域的SURF特征,利用相鄰影像的相同特征點的位置關(guān)系去修正地理坐標(biāo),從而完成配準(zhǔn),最后采用自適應(yīng)漸入漸出融合算法對圖像進行平滑過渡,得到了一副視覺效果良好的全景圖像.

圖8 地理坐標(biāo)拼接效果

圖9 最終融合效果圖

1潘梅,李磊民. 基于改進Harris-SURF的無人機圖像快速拼接. 微型機與應(yīng)用,2014,33(15)： 43-46,79. [doi： 10.3969/j.issn.1674-7720.2014.15.015]

2Lowe DG. Distinctive image features from scale-Invariant keypoints. International Journal of Computer Vision,2004,60(2)： 91-110. [doi： 10.1023/B：VISI.0000029664.99615.94]

3Bay R,Ess A,Tuytelaars T,et al. Speeded-up robust features(SURF). Computer Vision and Image Understanding,2008,110(3)： 346-359. [doi： 10.1016/j.cviu.2007.09.014]

4王雅萍,陳宜金,謝東海,等. 面向無人機水域影像的自動拼接方法. 長江科學(xué)院院報,2014,31(5)： 92-96.

5趙政,凌霄,孫長奎,等. 基于POS的無人機傾斜影像匹配方法. 國土資源遙感,2016,28(1)： 87-92. [doi： 10.6046/gtzyyg.2016.01.13]

6韓文超,周利劍,賈韶輝,等. 基于POS系統(tǒng)的無人機遙感圖像融合方法的研究與實現(xiàn). 遙感信息,2013,28(3)：80-84,90.

7鄧濤,侯東平,樂琴蘭,等. 結(jié)合SIFT和Harris算法的小型無人機影像拼接方法. 信息工程大學(xué)學(xué)報,2015,16(3)：321-326,377.

8吳俁,余濤,謝東海. 面向應(yīng)急響應(yīng)的無人機圖像快速自動拼接. 計算機輔助設(shè)計與圖形學(xué)學(xué)報,2013,25(3)： 410-416.

9杜丹,潘志斌,于君娜,等. 帶地理信息的無人機遙感圖像拼接系統(tǒng)的實現(xiàn). 無線電工程,2014,44(6)： 39-42.

10魯恒,李永樹,何敬,等. 一種基于特征點的無人機影像自動拼接方法. 地理與地理信息科學(xué),2010,26(5)： 16-19,28.

11劉寶. 航拍視頻中的實時拼接技術(shù)研究[碩士學(xué)位論文]. 大連： 大連理工大學(xué),2015.

12劉善磊,王光輝,石善球,等. 一種無人機視頻幀自動拼接方法. 測繪科學(xué),2013,38(5)： 69-71.

13首照宇,歐陽寧,張華俊,等. 基于SURF和動態(tài)ROI的實時視頻拼接. 計算機工程與設(shè)計,2013,34(3)： 998-1003.

14張懿,劉藝. 基于FAST特征的快速圖像拼接系統(tǒng)研究. 計算機工程與應(yīng)用,2016,52(10)： 167-170. [doi： 10.3778/j.issn.1002-8331.1406-0297]

15余淮,楊文. 一種無人機航拍影像快速特征提取與匹配算法. 電子與信息學(xué)報,2016,38(3)： 509-516.