梁煥青,謝 意,付四洲
1. 南寧市國(guó)土測(cè)繪地理信息中心,廣西 南寧 530021; 2. 廣西業(yè)恒勘測(cè)設(shè)計(jì)有限公司,廣西 南寧 530021
?
顏色不變量與AKAZE特征相結(jié)合的無(wú)人機(jī)影像匹配算法
梁煥青1,謝 意1,付四洲2
1. 南寧市國(guó)土測(cè)繪地理信息中心,廣西 南寧 530021; 2. 廣西業(yè)恒勘測(cè)設(shè)計(jì)有限公司,廣西 南寧 530021
基于特征的影像匹配方法是無(wú)人機(jī)影像匹配中較為實(shí)用的一類方法。針對(duì)傳統(tǒng)特征匹配方法主要以灰度影像作為輸入量,難以利用顏色特征高效區(qū)分同名點(diǎn)這一問(wèn)題,本文結(jié)合顏色不變量,設(shè)計(jì)了一種運(yùn)用AKAZE特征的匹配算法,克服了傳統(tǒng)無(wú)人機(jī)影像匹配忽略彩色信息的缺點(diǎn);然后通過(guò)灰度級(jí)變換,使特征點(diǎn)數(shù)目大量減少而又不失其可靠性。試驗(yàn)表明,該方法不僅能夠準(zhǔn)確識(shí)別同名點(diǎn),而且還提高了運(yùn)行效率。
無(wú)人機(jī)影像;顏色不變量;AKAZE特征檢測(cè)算法;灰度級(jí)變換;影像匹配
無(wú)人機(jī)遙感平臺(tái)因靈動(dòng)性強(qiáng)、成本低廉而成為獲取高質(zhì)量空間數(shù)據(jù)的重要途徑之一。影像配準(zhǔn)技術(shù)能彌補(bǔ)無(wú)人機(jī)單幅影像地面覆蓋范圍較小的不足,是獲取目標(biāo)區(qū)域全景圖的基礎(chǔ)性和關(guān)鍵性問(wèn)題。覆蓋完整測(cè)區(qū)的無(wú)人機(jī)影像具有幾何畸變較大、重疊度高以及數(shù)據(jù)量大等特點(diǎn)[1-2],是無(wú)人機(jī)影像配準(zhǔn)技術(shù)的瓶頸問(wèn)題。
目前無(wú)人機(jī)影像配準(zhǔn)主要采用基于特征點(diǎn)的匹配方法,其核心是特征點(diǎn)檢測(cè)[3]。特征點(diǎn)檢測(cè)可分成兩部分:一是提取特征點(diǎn),二是編碼特征信息形成描述符。SIFT[4]算法依托于信號(hào)的尺度空間理論[5],通過(guò)曲面擬合精確求解DOG尺度空間特征點(diǎn)坐標(biāo),在噪聲、視角變化等復(fù)雜情況下只能保持一定的抗差性。后有學(xué)者將SIFT特征和灰度特征[6]作為相似測(cè)度,或者改進(jìn)SIFT描述符的主方向[7]和構(gòu)造單元[8]以實(shí)現(xiàn)有較大差異的影像同名點(diǎn)識(shí)別,引入基于貝葉斯抽樣一致性算法[9]來(lái)提高運(yùn)算時(shí)間。CenSurE算法[10]汲取SIFT和SURF[11]算法的優(yōu)勢(shì),通過(guò)雙層濾波器生成全尺度空間,使用積分圖像高速計(jì)算Haar小波響應(yīng)來(lái)檢測(cè)極值點(diǎn),具備較高的定位精度和匹配穩(wěn)定性,但整體運(yùn)算時(shí)間過(guò)長(zhǎng)。ORB[12](oriented FAST and rotated BRIEF)算法依托基于模板的FAST[13](features from accelerated segment test)算法快速提取特征點(diǎn),通過(guò)BRIEF[14](binary robust independent elementary features)算法編碼形成執(zhí)行效率較高的二值描述符,但是其精確定位精度較低,在尺度變化條件下,匹配效果也不理想。BRISK[15]算法通過(guò)自適應(yīng)通用加速分割算法(AGAST[16])使運(yùn)算速度超越了ORB算法。AKAZE(accelerated-KAZE,加速的KAZE)算法[17]通過(guò)快速顯式擴(kuò)散算法FED(fast explicit diffusion)[18-19]來(lái)提高非線性空間的構(gòu)造速度,其二值描述符M-LDB(modified-local difference binary)囊括了旋轉(zhuǎn)因子和尺度插值,兼顧了算法的執(zhí)行效率、特征匹配的穩(wěn)定性和精度。以上這些算法在特征點(diǎn)匹配性能和執(zhí)行效率上不斷探索,但只針對(duì)灰度影像,忽略了彩色影像原有的顏色特征。
由于顏色特征易受光源和成像設(shè)備硬件的影響,即使面對(duì)同一場(chǎng)景,在不同的攝像機(jī)和拍攝時(shí)間下也會(huì)出現(xiàn)差別。因此,本文將顏色不變量[20]與AKAZE特征檢測(cè)算法相結(jié)合以研究無(wú)人機(jī)影像匹配技術(shù),從尺度變換、旋轉(zhuǎn)變換、模糊、亮度以及綜合變換等方面分析匹配性能,探索一種既能利用彩色信息,又能在保持精度的基礎(chǔ)上提高運(yùn)行效率的新方法。
在傳統(tǒng)線性尺度空間中,各向同性的高斯濾波使影像整體以無(wú)差別的方式進(jìn)行平滑,減弱了影像局部的識(shí)別力度,可能使部分重要的細(xì)節(jié)信息變得模糊。為了解決這個(gè)問(wèn)題,AKAZE特征檢測(cè)算法以各向異性的非線性濾波來(lái)構(gòu)造尺度空間,顧及到影像局部紋理結(jié)構(gòu)和細(xì)節(jié)清晰度,進(jìn)行不同程度的平滑,能自適應(yīng)地保留圖像邊緣和細(xì)節(jié)。非線性擴(kuò)散濾波原理可由非線性偏微分方程來(lái)表述
(1)
特征檢測(cè)主要步驟如下:
(1) 構(gòu)建非線性尺度空間。與SIFT類似,非線性尺度空間也分為O組金字塔影像,每組有S層,則尺度參數(shù)與影像組、子層級(jí)的關(guān)系滿足式(2),σ0是尺度初始值,n為尺度空間影像總數(shù)目。首先對(duì)原始影像重復(fù)降采樣,獲得O組金字塔影像,再對(duì)每組影像按照不同參數(shù)濾波生成S層尺度影像,按式(3)計(jì)算進(jìn)化時(shí)間ti
o∈[0,O-1],s∈[0,S-1],i∈[0,n-1]
(2)
(3)
利用FED算法解算式(1)的偏微分方程從而生成非線性尺度影像,其表達(dá)如下
Li+1=(I+τA(Li))Lii=0,…,n-1
(4)
式中,I是單位陣,A(Li)是圖像在維度i上的傳導(dǎo)矩陣,由高斯濾波后的尺度影像的梯度直方圖構(gòu)造,τ為時(shí)間步長(zhǎng),為進(jìn)化時(shí)間的差值ti+1-ti。
(2) 探測(cè)并定位特征點(diǎn)。與SIFT算法求解極值方式類似,尋找不同尺度歸一化后的Hessian局部極大值點(diǎn)。把采樣點(diǎn)的響應(yīng)值與同層的8個(gè)鄰域點(diǎn)及上下鄰近層級(jí)的2×9個(gè)點(diǎn)相比取極值,利用尺度空間函數(shù)在候選點(diǎn)處擬合二次曲線以獲取精確的空間位置,如式(5)。
(5)
式中,σi是尺度參數(shù);o為對(duì)應(yīng)的組;Lxx和Lyy分別為二階橫向和縱向微分;Lxy為二階交叉微分。
(3) 劃定特征點(diǎn)主方向。與SURF求解主方向方法相似,明顯變化之處是統(tǒng)計(jì)函數(shù)替換成影像導(dǎo)數(shù)信息。在梯度圖像上以特征點(diǎn)為中心,以半徑6σ為統(tǒng)計(jì)范圍,取特征點(diǎn)鄰域的一階微分值Lx和Ly進(jìn)行高斯賦權(quán)運(yùn)算,然后以π/3的扇形為單位旋轉(zhuǎn),主方向選取單位向量和中最長(zhǎng)矢量方向。
(4) MLDB描述符。局部差分描述符M-LDB和BRIEF描述符原理相似,只是把二值測(cè)試單元擴(kuò)大為一個(gè)子區(qū)域,以提高抗噪性能。同時(shí),M-LDB描述符劃分子區(qū)域?yàn)楦窬W(wǎng),以尺度σ為間隔重采樣得到離散點(diǎn),以離散點(diǎn)的水平和豎直方向的導(dǎo)數(shù)均值信息近似代表子區(qū)域的導(dǎo)數(shù)信息,使其描述符維度增加到3比特,以達(dá)到旋轉(zhuǎn)不變性和增強(qiáng)描述符的可區(qū)分性。
由于重采樣的離散點(diǎn)計(jì)算的值只是各個(gè)子區(qū)域的近似值,不能滿足測(cè)試單元之間是嚴(yán)格獨(dú)立的關(guān)系。為了減弱單元之間的相關(guān)性,可效仿ORB算法選用貪婪搜索方法,或者隨機(jī)選擇部分二值字符串來(lái)減少描述符的尺寸。
文獻(xiàn)[21]研究了描述物體光譜輻射特性的Kubelka-Munk理論,得出針對(duì)非透明物體的光譜輻射特性表達(dá)模型[21]如下
E(λ,x)=e(λ,x)[1-ρf(x)]2R(λ,x)+e(λ,x)ρf(x)
(6)
式中,λ為波長(zhǎng);x是一個(gè)二維矢量,表示成像平面的位置;e(λ,x)為光譜強(qiáng)度。ρf(x)是在位置x的Fresnel反射系數(shù),R(λ,x)是材料反射率,E(λ,x)表征在波長(zhǎng)λ在位置x的反射光譜。當(dāng)處于能量相等而光照均勻條件下,光譜強(qiáng)度e(λ,x)不受波長(zhǎng)影響,只與平面位置有關(guān),所以可將其簡(jiǎn)寫為i(x),則式(6)變?yōu)?/p>
E(λ,x)=i(x)[(1-ρf(x))2R(λ,x)+ρf(x)]
(7)
對(duì)式(7)求波長(zhǎng)λ的一階以及二階導(dǎo)數(shù)得
Eλ=i(x)[1-ρf(x)]2?R(λ,x)/?λ
(8)
Eλλ=i(x)[1-ρf(x)]2?2R(λ,x)/?2λ
(9)
而定義顏色不變量H為式(8)與(9)的商
(10)
由此,得到的顏色不變量H表征材料的反射屬性,不受物體表面的朝向、平面觀測(cè)位置、反射系數(shù)、光照強(qiáng)度大小影響,且在尺度縮放、背景變化、旋轉(zhuǎn)變換下都是一個(gè)不變量,完全具備局部不變特征的性質(zhì)。
通常彩色影像用RGB三原色空間表示,采用線性變化與高斯濾波器相結(jié)合的方式來(lái)獲取幾何不變性和光照不變性。經(jīng)過(guò)高斯顏色模型和線性變換得到符合人眼視覺(jué)系統(tǒng)和CIE 1964 XYZ標(biāo)準(zhǔn)下的RGB分量和(E,Eλ,Eλλ)的近似關(guān)系[22]
(11)
式中,E、Eλ、Eλλ分別代表高斯顏色模型中的灰度通道:強(qiáng)度、黃-藍(lán)顏色通道以及紅-綠顏色通道,到此RGB值的相關(guān)性就消失了。結(jié)合上述的式(10)與(11)得到H的表達(dá)式為
(12)
AKAZE算法靈敏度較高,在窄幅影像上能提取到較多的特征點(diǎn)。然而,特征點(diǎn)數(shù)量過(guò)多必然使構(gòu)造描述符和搜索匹配階段的時(shí)間增加。在實(shí)際應(yīng)用中,普遍采取3種方法對(duì)特征點(diǎn)進(jìn)行稀疏均勻化處理:一是對(duì)圖像分塊[23],用閾值控制每塊特征匹配對(duì)的數(shù)量和分布;二是以特征點(diǎn)為中心[24],計(jì)算一定范圍內(nèi)的特征匹配對(duì)總數(shù)是否大于設(shè)定閾值來(lái)刪選;三是在特征提取階段,增大極值點(diǎn)探測(cè)步長(zhǎng)以減少特征點(diǎn)提取數(shù)量[25]。前兩種方法的共同點(diǎn)是在匹配過(guò)程中或者匹配后用閾值限制特征點(diǎn)顯示的總數(shù),并沒(méi)有從初始狀態(tài)改變特征點(diǎn)提取數(shù)量,即不能減小特征提取、描述和匹配階段的計(jì)算量。第三種方法雖然減少了特征提取數(shù)量和匹配時(shí)間,但是在無(wú)法預(yù)估特征點(diǎn)分布情況下,盲目增大探測(cè)步長(zhǎng),可能會(huì)漏掉大量可靠的特征點(diǎn),導(dǎo)致匹配對(duì)可靠性較低,精度不高。因此,如何減小特征點(diǎn)提取數(shù)量的同時(shí)增加配對(duì)成功比例是提高算法實(shí)時(shí)性和有效性的方法之一。
AKAZE算法對(duì)亮度變化有較強(qiáng)的適應(yīng)能力,而顏色不變量具有與尺度、旋轉(zhuǎn)和光照等因素?zé)o關(guān)的特點(diǎn)。基于以上兩點(diǎn)性質(zhì),本文對(duì)顏色不變量進(jìn)行灰度級(jí)量化,把有效信息高度集中到更小的區(qū)間。首先按式(12)求出顏色不變量作為輸入信息,以增強(qiáng)算法對(duì)光照的抗差性。其次,采取分段線性變換的方法對(duì)顏色不變量進(jìn)行處理。顏色不變量的值多數(shù)小于1,而極大值相對(duì)較大。為了保持輸入信息的特點(diǎn),統(tǒng)計(jì)顏色不變量的極值和直方圖,選取直方圖兩峰值間的最低點(diǎn)作為分段點(diǎn),以目標(biāo)灰度最大值的83.3%作為分段點(diǎn)變換后的灰度值。通過(guò)設(shè)定一較小的目標(biāo)灰度最大值,使輸入信息差異縮小化,從而減小特征點(diǎn)數(shù)量的同時(shí)又能保持可靠性,避免大量冗余的特征點(diǎn)消耗時(shí)間。如果預(yù)設(shè)灰度最大值偏小,匹配對(duì)數(shù)較少,則挑選出相應(yīng)影像,灰度最大值自動(dòng)增加10再進(jìn)行特征點(diǎn)提取和匹配。經(jīng)過(guò)兩次運(yùn)算后,一般匹配對(duì)數(shù)會(huì)增加10~100對(duì),滿足匹配要求。若兩次運(yùn)算后未能滿足要求,則程序會(huì)彈出對(duì)話框,由人工指定合適的值代入運(yùn)算,本文采用的灰度最大值為60~80。經(jīng)過(guò)灰度變換后的信息可依照AKAZE算法流程進(jìn)行特征提取和描述,其特征匹配流程如圖1所示。
圖1 改進(jìn)算法特征匹配流程圖Fig.1 Flow chart of the proposed feature matching algorithm
本文設(shè)計(jì)了5組試驗(yàn):第1組測(cè)試改進(jìn)算法在尺度變化條件下的有效性;第2組測(cè)試改進(jìn)算法在旋轉(zhuǎn)變換情況下的可區(qū)分性; 第3組探究改進(jìn)算法在模糊因子變化下的匹配穩(wěn)定性;第4組分析改進(jìn)算法在明暗變化條件下的可重復(fù)性;第5組
用真實(shí)無(wú)人機(jī)數(shù)據(jù)檢測(cè)算法在綜合變換下的可行性。正確匹配數(shù)量和匹配率能反映算法的可區(qū)分性,運(yùn)行時(shí)間能反映算法的效率,正確匹配對(duì)數(shù)的中誤差和最大誤差是算法可行的必要條件。因此,本文選擇這幾個(gè)指標(biāo)來(lái)綜合評(píng)價(jià)算法的適用性。
本文選取如圖2所示的2組包含典型地物的無(wú)人機(jī)影像作為試驗(yàn)對(duì)象,(1)代表原始影像,(2)為文中改進(jìn)后的輸入影像。A組為SONY相機(jī)DSC-RX1拍攝典型的平原郊區(qū)影像,航高約為435m,幅面大小為6000×4000,焦距35mm,農(nóng)作物覆蓋率較大;B組試驗(yàn)數(shù)據(jù)為SONY相機(jī)ILCE-7R拍攝的城市影像,航高約為300m,幅面大小為7360×4912,焦距35mm,道路和房屋信息較多。為了獲取具有先驗(yàn)信息的左右影像對(duì),前4組試驗(yàn)中左影像均以原始影像中央為中心點(diǎn),截取1/3尺寸而得,而右影像是根據(jù)試驗(yàn)條件對(duì)原始影像進(jìn)行單一變換后進(jìn)行裁剪的結(jié)果。
圖2 試驗(yàn)圖像Fig.2 Test images
4.1 尺度變化試驗(yàn)
為了模擬無(wú)人機(jī)航高變化帶來(lái)影像尺度改變的效果,用尺度系數(shù)乘以左影像像幅得到截取范圍,以中心點(diǎn)截取獲得“比例影像”,對(duì)“比例影像”重采樣成與左影像大小相同的右影像,即原始尺寸的1/3。此時(shí),影像中的地物尺寸發(fā)生改變,而又不會(huì)出現(xiàn)黑色邊緣。試驗(yàn)中以0.1為增幅,尺度從0.75升至1.25,共11組像對(duì)。
A、B組獲取匹配對(duì)數(shù)最少的情形如圖3所示。由表1與2可知,A組影像改進(jìn)算法獲取的匹配數(shù)目適量,匹配率相差不大,滿足變換矩陣解算要求,且用時(shí)皆小于4s。改進(jìn)算法中誤差增加幅度僅為0.02~0.12像素,而最大誤差以0.8~2.48幅度降低。B組改進(jìn)算法的匹配對(duì)為原算法的8%~28%,匹配率有所降低,而時(shí)間比為21%~46%,中誤差變化范圍僅為-0.08~0.33像素,且最大誤差多數(shù)有所減小。
圖3 改進(jìn)算法尺度變化部分匹配圖Fig.3 The partial matching image in different scale using the proposed algorithm
類別AKAZE算法Color?AKAZE算法尺度匹配數(shù)目匹配率中誤差最大誤差時(shí)間/s匹配數(shù)目匹配率中誤差最大誤差時(shí)間/s0.757870.710.652.1825.33260.720.981.471.610.85480.760.782.2627.78190.860.771.903.510.856630.790.892.6527.88190.680.881.872.570.916320.740.872.7724.41660.890.721.392.280.9531800.910.833.0525.96760.850.812.242.19151280.990.372.4830.485961.000.000.002.141.0532500.910.812.7126.191010.910.901.621.341.122420.890.882.7024.71680.781.051.811.411.1511270.961.062.6823.46440.761.011.881.401.25240.841.213.8423.12340.871.191.971.441.255550.911.133.0821.47450.961.262.181.46
表2 改進(jìn)算法B組尺度因素對(duì)比結(jié)果
由試驗(yàn)結(jié)果可知,改進(jìn)算法將具備尺度不變性的顏色信息作為輸入量,在尺度變換中基本上保持原有算法的匹配精度?;叶燃?jí)量化使影像對(duì)比度降低,致使改進(jìn)算法以小幅度降低匹配率為代價(jià),很大程度上縮短了匹配時(shí)間,提高了算法的執(zhí)行效率。
4.2 旋轉(zhuǎn)角度試驗(yàn)
為了模擬航向變化及平臺(tái)不穩(wěn)定帶來(lái)影像的旋偏角變化,右影像以原始影像中央為中心點(diǎn)逆時(shí)針旋轉(zhuǎn)角度α得到“旋轉(zhuǎn)影像”,以中心點(diǎn)截取“旋轉(zhuǎn)影像”的1/3尺寸為右影像。試驗(yàn)中以5°為增幅,獲得從0°到355°的共71組影像對(duì)。
改進(jìn)算法旋轉(zhuǎn)變化部分匹配圖如圖4所示,分析圖見(jiàn)圖5。匹配數(shù)目比和匹配時(shí)間比分別為改進(jìn)算法與原算法的對(duì)應(yīng)項(xiàng)相除。據(jù)圖5可知,A組改進(jìn)算法配準(zhǔn)率大部分集中在70%~90%,而用時(shí)僅為原算法的4%~7%。改進(jìn)算法中誤差增加0.5像素左右,但多數(shù)都小于1像素,且最大誤差和原算法相差不大。B組改進(jìn)算法匹配數(shù)目比不超過(guò)10%,配準(zhǔn)率較低,但匹配時(shí)間比僅為6%~15%。改進(jìn)算法中誤差大約增加0.3像素,最大誤差變化不大。
圖4 改進(jìn)算法旋轉(zhuǎn)變化部分匹配圖Fig.4 The partial matching image in different rotation angle using the proposed algorithm
圖5 旋轉(zhuǎn)變化對(duì)比分析圖Fig.5 The contrast analysis in different rotation angle
由以上分析可知,引入與位置無(wú)關(guān)的顏色不變量,在旋轉(zhuǎn)角度變化下具有良好的匹配穩(wěn)定性,調(diào)整灰度級(jí)分布范圍既可提取高質(zhì)量的特征點(diǎn),又能減小多余特征點(diǎn)的數(shù)量,從而節(jié)省了時(shí)間,大幅度提高了運(yùn)算效率。
4.3 亮度因素試驗(yàn)
為了模擬天氣改變、時(shí)間不同或者飛行區(qū)域轉(zhuǎn)移可能出現(xiàn)亮度不均勻的現(xiàn)象,對(duì)左影像以10為幅度逐漸增加亮度,得到變化范圍從-50到50的11組影像作為右影像。
從表3和表4可知,改進(jìn)算法把與光照無(wú)關(guān)的顏色不變量作為輸入信息,使原始數(shù)據(jù)具備幾何和顏色的雙重特征,因此在亮度變化時(shí)能檢測(cè)到足夠數(shù)量的特征點(diǎn)。如圖6,A組在亮度參數(shù)為-50、50時(shí)分別有199和61對(duì)匹配點(diǎn)。此外,灰度級(jí)的調(diào)整又能減少特征點(diǎn),加快算法執(zhí)行速率。例如A組匹配時(shí)間控制在2 s以內(nèi),不到原算法的10%,速度提升了一個(gè)數(shù)量級(jí),雖然中誤差增加幅度為0.04~0.48像素,但最大誤差減小0.09~1.78像素。B組影像獲取的匹配數(shù)目小于原算法的10%,匹配時(shí)間僅為原算法的15%~40%,配準(zhǔn)率保持在65%以上,中誤差增加0.6像素左右,但最大誤差在影像變暗時(shí)減小,變亮?xí)r增加。
表3 A組亮度因素對(duì)比結(jié)果
表4 B組亮度因素對(duì)比結(jié)果
圖6 改進(jìn)算法亮度因素部分匹配圖Fig.6 The partial matching image in different luminance factor using the proposed algorithm
4.4 模糊因子試驗(yàn)
為了模擬霧霾、噪聲等因素可能導(dǎo)致影像清晰度降低現(xiàn)象,對(duì)左影像進(jìn)行高斯模糊處理,以1像素為增幅,得到半徑值從1到5的5組像對(duì)。
由表5、6可知,改進(jìn)算法在各模糊半徑下都能獲取匹配對(duì)。模糊因素和農(nóng)作物相似的紋理信息會(huì)使顏色不變量圖像的對(duì)比度降低,從而導(dǎo)致提取的特征點(diǎn)質(zhì)量降低,因此需要?jiǎng)討B(tài)增大灰度級(jí)量化區(qū)間以獲取足夠數(shù)量的匹配對(duì),相應(yīng)的匹配時(shí)間也會(huì)隨著模糊半徑增大而增加,但還是節(jié)省了時(shí)間。改進(jìn)算法的A組影像匹配對(duì)占原算法的12%~58%,配準(zhǔn)率變化不大,中誤差增大0.01~0.34像素,而最大誤差變化范圍為-0.34~0.37像素。B組影像改進(jìn)算法用原算法4%~43%的時(shí)間成功獲取5%~17%的匹配對(duì),中誤差在2像素以內(nèi),且最大誤差降低幅度為0.12~0.48像素。綜上所述,改進(jìn)算法在模糊條件變化下不僅能保持原算法的匹配精度,還縮短了運(yùn)行時(shí)間,具備良好的可分區(qū)性和實(shí)時(shí)性。
表5 A組模糊因素對(duì)比結(jié)果
表6 改進(jìn)算法B組模糊因素對(duì)比結(jié)果
圖7 改進(jìn)算法模糊變化部分匹配圖Fig.7 The partial matching image in different blur factor using the proposed algorithm
4.5 綜合變換試驗(yàn)
兩組綜合變換的影像試驗(yàn)統(tǒng)計(jì)結(jié)果見(jiàn)表7和圖8。改進(jìn)算法獲取A組的匹配對(duì)數(shù)為23,為原算法的2%,匹配率相差不大,而用時(shí)小于原算法30%,中誤差僅增加0.15像素,且最大誤差減小0.03像素。B組也用原算法30%的時(shí)間獲取了2%的匹配對(duì),且中誤差和最大誤差分別減小0.08與1.15像素。由上可知,改進(jìn)算法在綜合變化條件下與原算法匹配精度相當(dāng),運(yùn)行時(shí)間大幅度減少。
綜上所述,改進(jìn)算法在尺度縮放、旋轉(zhuǎn)變換、模糊變換、亮度變化和綜合變換時(shí)具有良好的匹配穩(wěn)定性,具備在減小特征點(diǎn)數(shù)量的同時(shí)保障匹配質(zhì)量的能力,是一種有效可行的提高運(yùn)行效率的特征匹配算法。
表7 綜合變換試驗(yàn)對(duì)比結(jié)果
圖8 綜合變換部分匹配對(duì)比圖Fig.8 The comparison of partial matching image in composite factor
本文設(shè)計(jì)了一種顏色不變量與AKAZE特征檢測(cè)算法相結(jié)合的無(wú)人機(jī)影像匹配方法。該方法首先從彩色影像提取與尺度、旋轉(zhuǎn)以及光照因素不敏感,且能反映地物自身色彩的顏色不變量,然后實(shí)施灰度級(jí)變換以替代傳統(tǒng)灰度影像作為算法輸入量,最后進(jìn)行AKAZE特征提取和匹配。試驗(yàn)表明,該方法能夠在尺度縮放、明暗變化、旋轉(zhuǎn)劇烈、模糊抖動(dòng)和綜合變換等條件下高效率地獲取足夠數(shù)量的匹配對(duì),并且精度和原AKAZE算法相差不大。但該方法灰度范圍參數(shù)只能根據(jù)經(jīng)驗(yàn)值預(yù)定,不能實(shí)現(xiàn)自動(dòng)分析影像劃定最佳范圍。因此為了提高方法的運(yùn)算效率和自動(dòng)化程度,下一步將研究智能解析影像灰度級(jí)變換的最佳參數(shù)。
[1] 劉有. 無(wú)人機(jī)序列影像匹配及拼接方法研究[D]. 長(zhǎng)沙: 中南大學(xué), 2012. LIU You. Research on Matching and Mosaicing Methods for UAV Image Sequences[D]. Changsha: Central South University, 2012.
[2] 王勃. 基于特征的無(wú)人機(jī)影像自動(dòng)拼接技術(shù)研究[D]. 鄭州: 信息工程大學(xué), 2011. WANG Bo. Automatic Mosaic Technique of UAV Images Based on Features[D]. Zhengzhou: Information Engineering University, 2011.
[3] 呂金建, 文貢堅(jiān), 李德仁, 等. 一種新的基于空間關(guān)系的特征匹配方法[J]. 測(cè)繪學(xué)報(bào), 2008, 37(3): 367-373. Lü Jinjian, WEN Gongjian, LI Deren, et al. A New Method Based on Spatial Relations for Feature Matching[J]. Acta Geodaetica et Cartographica Sinica, 2008, 37(3): 367-373.
[4] LOWE D G. Object Recognition from Local Scale-invariant Features[C]∥Proceedings of the Seventh IEEE International Conference on Computer Vision. Kerkyra: IEEE, 1999, 2: 1150-1157.
[5] WITKIN A P. Scale-space Filtering[M]∥FISCHLER M A, FIRSCHEIN O. Readings in Computer Vision: Issues, Problem, Principles, and Paradigms. Los Altos, CA: Morgan Kaufmann, 1987: 329-332.
[6] 張卡, 盛業(yè)華, 葉春. 基于數(shù)字視差模型和改進(jìn)SIFT特征的數(shù)字近景立體影像匹配[J]. 測(cè)繪學(xué)報(bào), 2010, 39(6): 624-630. ZHANG Ka, SHENG Yehua, YE Chun. Digital Close Range Stereo Image Matching Based on Digital Parallax Model and Improved SIFT Feature[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(6): 624-630.
[7] 岳春宇, 江萬(wàn)壽. 幾何約束和改進(jìn)SIFT的SAR影像和光學(xué)影像自動(dòng)配準(zhǔn)方法[J]. 測(cè)繪學(xué)報(bào), 2012, 41(4): 570-576. YUE Chunyu, JIANG Wanshou. An Automatic Registration Algorithm for SAR and Optical Images Based on Geometry Constraint and Improved SIFT[J]. Acta Geodaetica et Cartographica Sinica, 2012, 41(4): 570-576.
[8] ZHENG Mingguo, WU Chengdong, CHEN Dongyue. UAV Image Identification in Urban Region Satellite Image Using Global Feature and Local Feature[C]∥Proceedings of the 2016 Chinese Control and Decision Conference (CCDC). Yinchuan: IEEE, 2016: 5377-5382.
[9] 賈豐蔓, 康志忠, 于鵬. 影像同名點(diǎn)匹配的SIFT算法與貝葉斯抽樣一致性檢驗(yàn)[J]. 測(cè)繪學(xué)報(bào), 2013, 42(6): 877-883. JIA Fengman, KANG Zhizhong, YU Peng. A SIFT and Bayes Sampling Consensus Method for Image Matching[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(6): 877-883.
[10] AGRAWAL M, KONOLIGE K, RUFUS BLAS M. CenSurE: Center Surround Extremas for Realtime Feature Detection and Matching[C]∥Proceedings of the 2008 European Conference on Computer Vision. Marseille: Springe, 2008: 102-115.
[11] LI Qiaoliang, WANG Guoyou, LIU Jianguo, et al. Robust Scale-invariant Feature Matching for Remote Sensing Image Registration[J]. IEEE Geoscience and Remote Sensing Letters, 2009, 6(2): 287-291.
[12] ROSTEN E, PORTER R, DRUMMOND T. Faster and Better: A Machine Learning Approach to Corner Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(1): 105-119.
[13] ROSTEN E, DRUMMOND T. Machine Learning for High-speed Corner Detection[C]∥Proceedings of the 9th European Conference on Computer Vision. Graz: Springer, 2006: 430-443.
[14] CALONDER M, LEPETIT V, STRECHA C, et al. BRIEF: Binary Robust Independent Elementary Features[C]∥Proceedings of the 11th European Conference on Computer Vision. Heraklion: Springer, 2010: 778-792.
[15] LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]∥Proceedings of 2011 IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011: 2548-2555.
[16] MAIR E, HAGER G D, BURSCHKA D, et al. Adaptive and Generic Corner Detection Based on the Accelerated Segment Test[C]∥Proceedings of the 11th European Conference on Computer Vision. Heraklion: Springer, 2010: 183-196.
[17] ALCANTARILLA P F, NUEVO J, BARTOLI A. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[C]∥British Machine Vision Conference (BMVC). Bristol: British Machine Vision Association, 2013: 13.1-13.11.
[18] GREWENIG S, WEICKERT J, BRUHN A. From Box Filtering to Fast Explicit Diffusion[C]∥Proceedings of the 32th DAGM Conference on Pattern Recognition. Darmstadt: Springer-Verlag, 2010: 533-542.
[19] WEICKERT J, GREWENIG S, SCHROERS C, et al. Cyclic Schemes for PDE-Based Image Analysis[J]. International Journal of Computer Vision, 2016, 118(3): 275-299.
[20] JING Huiyun, HE Xin, HAN Qi, et al. CBRISK: Colored Binary Robust Invariant Scalable Keypoints[J]. IEICE Transactions on Information and Systems, 2013, E96(2): 392-395.
[21] GEUSEBROEK J M, VAN DEN BOOMGAARD R, SME-ULDERS A W M, et al. Color Invariance[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(12): 1338-1350.
[22] ABDEL-HAKIM A E, FARAG A A. CSIFT: A SIFT Descriptor with Color Invariant Characteristics[C]∥Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2006: 1978-1983.
[23] 劉景正. 無(wú)人飛行器影像場(chǎng)景配準(zhǔn)與目標(biāo)監(jiān)視技術(shù)研究[D]. 鄭州: 信息工程大學(xué), 2011. LIU Jingzheng. Research on Techniques in Scene Registration and Object Surveillance for UAV Imagery[D]. Zhengzhou: Information Engineering University, 2011.
[24] 宋麗華. 基于無(wú)人飛行器序列影像的定位技術(shù)研究[D]. 鄭州: 信息工程大學(xué), 2010. SONG Lihua. The Study of Target Positioning Technology Based on UAV Image Sequence[D]. Zhengzhou: Information Engineering University, 2010.
[25] ??? 郝向陽(yáng), 劉松林. 一種改進(jìn)的SIFT特征提取算法[J]. 測(cè)繪科學(xué)技術(shù)學(xué)報(bào), 2014, 31(2): 173-176. NIU Junwei, HAO Xiangyang, LIU Songlin. An Improved SIFT Feature Extraction Algorithm[J]. Journal of Geomatics Science and Technology, 2014, 31(2): 173-176.
[26] 梁煥青, 范永弘, 萬(wàn)惠瓊, 等. 一種運(yùn)用AKAZE特征的無(wú)人機(jī)遙感影像拼接方法[J] 測(cè)繪科學(xué)技術(shù)學(xué)報(bào), 2016, 33(1): 71-75. LIANG Huanqing, FAN Yonghong, WAN Huiqiong, et al. Mosaic Algorithm of UAV Images Based on AKAZE Features[J]. Journal of Geomatics Science and Technology, 2016, 33(1): 71-75.
(責(zé)任編輯:宋啟凡)
UAV Image Registration Algorithm Using Color Invariant and AKAZE Feature
LIANG Huanqing1,XIE Yi1,FU Sizhou2
1. Nanning Land Surveying, Mapping and Geoinformation Center, Nanning 530021,China; 2. Guangxi YeHeng Surveying Design Co. Ltd., Nanning 530021, China
Image matching based on feature was one of practical methods in UAV image matching. Since the conventional methods of image registration mainly used gray image as input that it could not take color features into account to distinguish the identical point. To address this problem, this paper designed a matching algorithm combined color invariant with AKAZE feature, which overcame the shortcoming of ignoring color information in traditional UAV image matching. Then gray level transformation was utilized to reduce the number of feature points and remain its reliability. Experimental results demonstrate that the proposed method can find the identical point accurately and enhance the efficiency.
UAV image; color invariant; AKAZE feature extraction algorithm; gray level transformation; image matching
LIANG Huanqing(1990—), female, postgraduate, majors in UAV image processing.
梁煥青,謝意,付四洲.顏色不變量與AKAZE特征相結(jié)合的無(wú)人機(jī)影像匹配算法[J].測(cè)繪學(xué)報(bào),2017,46(7):900-909.
10.11947/j.AGCS.2017.20160436. LIANG Huanqing,XIE Yi,FU Sizhou.UAV Image Registration Algorithm Using Color Invariant and AKAZE Feature[J]. Acta Geodaetica et Cartographica Sinica,2017,46(7):900-909. DOI:10.11947/j.AGCS.2017.20160436.
P237
A
1001-1595(2017)07-0900-10
2016-09-02
梁煥青(1990—),女,碩士,研究方向?yàn)闊o(wú)人機(jī)影像處理。
E-mail: lhqamber@126.com
修回日期: 2017-06-12