鄧仕雄,閆星光,劉繼庚,鄒 宇,何清平
(1.貴州水利水電職業(yè)技術學院,貴州 貴陽 551416; 2.中國礦業(yè)大學(北京) 地球科學與測繪工程學院,北京 100083)
近年來無人機發(fā)展迅速,計算機科學結合測繪行業(yè)的應用更加廣泛,無人機影像匹配對影像拼接、數(shù)據(jù)分析、三維建模等關鍵技術具有重要意義。前人對相關領域做了大量研究,1999年David G.Lowe提出了尺度不變特征變換(Scale Invariant Feature Transform,SIFT)特征匹配算法,并于2004年對SIFT算法進行了改進和完善[1-2]。該算法基于尺度空間進行變換,最初應用于識別領域,近年來被推廣到圖像拼接領域,得到了長足發(fā)展。后來Bay等人提出了SURF(Speeded Up Robust Features)特征匹配算法[3],SURF算法立足于SIFT算法,通過引入快速積分和濾波盒子,該算法對圖像的平移、旋轉或縮放等多尺度具有良好的效果,是一種穩(wěn)健性很高的特征提取算法。為了滿足實時性的需求,Ethan Rublee等人在2011年提出了ORB算法[4],ORB算法結合了FAST[5]及Brief[6]算法并賦予FAST方向,該算法特征點具有旋轉不變性,相比SIFT、SURF算法耗時更低。針對SIFT及SURF算法在構造尺度空間時,高斯模糊不保留對象邊界信息且所有在尺度上平滑到相同程度的細節(jié)及噪聲,這影響了定位的準確性,2012年在ECCV上提出了一種比SIFT算法更穩(wěn)定的特征檢測算法KAZE[7]并在此基礎上做了改進,該算法采取非線性擴散濾波,相比SIFT、SURF提高了可重復性及獨特性,算法計算較為密集,它通過引入快速顯示擴散數(shù)據(jù)框架(FED)來快速求解偏微分方程以及引入一個高效改進局部差分的二進制描述符(M-LDB),算法具有更好的重復性及魯棒性[8-9]。
張冬梅等[10]針對無人機影像重影、失真及耗時等問題,通過改進算法對影像進行網(wǎng)格劃分,求解每個網(wǎng)格的單應性矩陣,提出了一種改進的APAP算法,較大地提高了匹配效率及匹配效果。文獻[11-14]在顧及有效約束條件、匹配魯棒性、圖像變化、匹配耗時等方面通過改進算法得到了較好的匹配效果。在前人研究的基礎上,結合山區(qū)無人機影像峰林、峰叢較多,影像存在相互之間的遮擋及陰影等特征的影響,影像探測特征點較少,局部區(qū)域匹配難度大、匹配率低,造成難以獲取較為完善的地理信息,本文通過改進算法能夠有效的克服影像由于地形起伏大及地塊特征破碎帶來的影響,更好的剔除特征點誤匹配,提高了匹配率。
SIFT尺度不變特征變換算法是把影像中探測的關鍵點用一個128維的特征向量進行描述,因此一幅圖像經(jīng)過SIFT算法表示為一個128維的特征向量集,該特征向量集具有對圖像縮放、平移、旋轉不變等特征。SIFT算法特征匹配主要涉及極值點檢測、特征點精確定位、確定特征點方向、生成特征向量。尺度空間的構建其目的在于找到在尺度變化中具有不變性的位置,一個二維影像的尺度空間及高斯函數(shù)定義如下:
(1)
式中,G(x,y,σ)為高斯函數(shù);I(x,y)為原始圖像;*表示卷積運算。高斯金字塔是經(jīng)過一系列的尺度空間變換和下采樣得到。通過高斯差分可以在尺度空間中找到穩(wěn)定不變的極值點,高斯差分函數(shù)D(x,y,σ)定義為:
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y)
(2)
式中,kσ和σ為連續(xù)影像的平滑尺度,所得到的差分圖像在高斯差分金字塔中。通過對高斯差分空間擬合處理,獲得極值點的位置及尺度,同時為了提高關鍵點的穩(wěn)定性,舍去邊緣位置的極值點。為了使描述符具有旋轉不變性,需要利用圖像的局部特征給每一個關鍵點分配一個基準方向。使用圖像梯度的方法求取局部結構的穩(wěn)定方向,在完成關鍵點的梯度計算后,使用直方圖統(tǒng)計鄰域內(nèi)像素的梯度和方向。如圖1所示,為圖像梯度及加權后主方向。
圖1 圖像梯度及加權后主方向
圖中箭頭方向代表每個像素的梯度方向,箭頭長度代表梯度模值,最后需對其進行加權運算。通過統(tǒng)計的4×4×8=128個梯度信息為該關鍵點的特征向量,即每個特征形成4×4×8=128維的描述子,特征向量形成后,為了去除光照變化的影響,需要對它們進行歸一化處理。
SURF (Speeded-Up Robust Features)算子是SIFT算子的加速版,該算子在保留SIFT算子優(yōu)良性能基礎上,同時解決了 SIFT 算子復雜度高、耗時長的缺點,SURF算法對興趣點提取及其特征向量描述方面進行了改進,且計算速度得到提高。算法使用海森矩陣(Hessian)的行列式值作特征點響應偵測并用積分圖加速運算,基于 2D 離散小波變換響應Harr小波并且有效地利用了積分圖。積分圖像的加減運算計算公式如下:
(3)
式中,ρ(r,c)為圖像中點(r,c)的灰度值。ii(i,j)可以通過迭代兩次計算得到。通過使用不同的模板尺寸即可形成多尺度響應的金字塔圖像,在響應的圖像上,點x處尺度為σ的H(x,σ)定義如下:
(4)
Lxx=G(x,y,σ)?I(x,y)
(5)
式中,Lxx為標準高斯函數(shù)G(x,y,σ)的二階偏導與圖像在點(x,y)處卷積后的結果。一般使用9×9的模板對圖像進行濾波的結果作為最初的尺度空間層,積分圖像離散化導致兩個層之間的最小尺度變化量,大小為盒子濾波器模板尺寸的1/3。濾波器尺寸計算公式如下:
FilterSize=3(2octave×interval+1)
(6)
SURF算法通過一個以特征點為中心以及張角為60°的動窗口來求取主方向值,具體以弧度0.2左右并旋轉該窗口,并累加窗口內(nèi)的圖像Harr小波響應值dx、dy,得到一個矢量統(tǒng)計響應值在∑dx、∑|dx|、∑dy、∑|dy|形成的特征矢量。圖2以特征點為中心并以20 s為邊長,主方向用特征點到矩形邊框的線段表示。統(tǒng)計各子塊的響應值,最終得到各子塊的矢量。
圖2 特征描述子表示
SIFT、SURF等特征檢測算法是通過構建金字塔以及多尺度來消除噪聲和提取顯著特征點,該類特征匹配方法犧牲了局部精度,導致影像邊界模糊和細節(jié)丟失。AKAZE算法通過改進局部差分二進制描述符以及引入快速顯示擴散數(shù)據(jù)框架求解偏微分方程。非線性擴散濾波描述圖像亮度的演化是通過提升尺度參數(shù)作為熱擴散函數(shù)的散度因子來控制擴散過程。通常采用偏微分方程進行求解,由于涉及微分方程非線性性質,通過圖像亮度的擴散來構建尺度空間。經(jīng)典非線性擴散方程如下:
(7)
具有一定重疊度的無人機影像特征點數(shù)量并非相同,本文采用FLANN快速搜索結合KNN算法[15],基于多約束條件的RANSAC算法[16]剔除誤匹配點對,實現(xiàn)無人機影像精匹配。隨機抽樣一致性(RANSAC)算法是通過采用不斷迭代的方法尋找最優(yōu)參數(shù)模型,篩選出“外點”,使得滿足大小為的最佳單應性矩陣H數(shù)據(jù)點個數(shù)最多,由于矩陣H有8個未知數(shù),則至少需要4組匹配點對。本文結合RANSAC算法實現(xiàn)精匹配步驟如下:
(1)隨機從AKAZE算法探測的特征點中抽4個樣本數(shù)據(jù)(樣本之間不能共線),計算出變換矩陣H,記為模型W。
(2)將所有數(shù)據(jù)與模型W的投影誤差進行計算,滿足模型W的點個數(shù)與投影誤差小于閾值φ則加入內(nèi)點集Q。
(8)
式中,(x,y)為影像角點位置;(x′,y′)為場景影像角點位置;s為尺度參數(shù);h11、h12、h33為矩陣元素。
(3)當內(nèi)點集Q元素個數(shù)大于最優(yōu)內(nèi)點集Q-best,更新Q-best=Q,同時更新迭代次數(shù)k。如迭代次數(shù)大于k,則退出,否則迭代次數(shù)加1。重復上述步驟,可得到具有一定重疊度的影像匹配變換模型,剔除不滿足模型的錯誤點對,通過該方法提高影像的匹配準確度,影像匹配正確率如式(9)。
(9)
本文利用SIFT、SURF、基于改進后的AKAZE算法三種算法分別對分辨率為像素的影像對進行匹配實驗。試驗運行環(huán)境為Intel(R) Core(TM) i5-2430M CPU @ 2.40 GHZ,運行內(nèi)存6GB的筆記本電腦,基于VS2013的OpenCV2.4.10圖像處理數(shù)據(jù)庫作為數(shù)據(jù)處理平臺。本次試驗數(shù)據(jù)為貴州省安順市龍宮景區(qū)無人機影像,如圖3影像對(a)。由圖可知,影像對地形起伏較大,地物特征豐富,局部區(qū)域特征點探測難度大。
圖3 影像對(a)
基于三種算法分別探測影像對(a)特征點,并采用FLANN快速搜索結合KNN算法篩選特征點,基于單映射變化矩陣的RANSAC算法進行精匹配。由于篇幅有限,本文只列出部分特征探測及匹配效果,如圖4為改進后算法探測影像對的特征點顯示圖,圖5~圖7為3種算法影像對的匹配效果圖。
圖4 改進算法影像對特征點探測
圖5 SIFT算法匹配效果圖
圖6 SURF算法匹配效果圖
試驗數(shù)據(jù)地形起伏大,地塊較為破碎,試驗分析可知影像局部區(qū)域特征點較少甚至特征點難以探測,本文分別利用SIFT、SURF、改進后三種算法對影像進行試驗,從特征點匹配對、耗時及精度進行對比分析。由表1可知,三種算法匹配率分別為94.5%、89.8%、100%,改進后算法匹配率更高,SURF算法存在誤匹配且該算法耗時相對較低,SIFT及改進算法由于高斯金字塔及非線性尺度空間的構建耗時量相對較高。試驗結果表明:改進后的算法在山區(qū)無人機影像特征點探測及匹配率性能更優(yōu),較好地克服了影像由于地形起伏及地塊特征破碎帶來的影響,有效地剔除了錯誤特征匹配點對。
圖7 改進算法匹配效果圖
表1 試驗數(shù)據(jù)統(tǒng)計表
本文針對山區(qū)無人機影像匹配,通過改進算法,并從匹配對數(shù)、耗時及匹配率三方面對無人機影像進行試驗對比分析。從試驗結果來看,針對地形起伏大的山區(qū)無人機影像,基于改進后的AKAZE算法匹配率更高,相比另外兩種算法,本文算法是一種穩(wěn)定有效的無人機影像匹配方法,具有更優(yōu)的魯棒性及匹配性能。