基于POS約束的無(wú)人機(jī)森林航攝影像分區(qū)匹配策略*

李亞?wèn)| 曹明蘭 李長(zhǎng)青 馮仲科

(1.北京林業(yè)大學(xué)精準(zhǔn)林業(yè)北京市重點(diǎn)實(shí)驗(yàn)室 北京 100083；2.北京工業(yè)職業(yè)技術(shù)學(xué)院 北京 100042)

近年來(lái)，隨著無(wú)人機(jī)航攝技術(shù)在森林計(jì)測(cè)領(lǐng)域的廣泛應(yīng)用，無(wú)人機(jī)森林航攝影像處理成為了新的研究熱點(diǎn)。影像匹配是無(wú)人機(jī)影像處理的基礎(chǔ)，目前國(guó)內(nèi)外普遍采用基于特征的影像匹配算法，該算法的速度主要取決于特征檢測(cè)、描述、搜索配對(duì)算法和匹配策略(孔華生等，2006；Elalametal.，2014)。由于改進(jìn)算法的可優(yōu)化空間小，且通用性差，因此很多學(xué)者從匹配策略角度研究如何提高影像匹配效率(紀(jì)松，2012)。Feng等(2014)提出一種基于Mexican-hat函數(shù)的影像特征檢測(cè)與匹配算法策略，提高了匹配精度，減少了計(jì)算量。陳小衛(wèi)等(2017)提出一種從影像中提取較穩(wěn)定的閉合線(xiàn)、交點(diǎn)和角點(diǎn)等特征作為共軛實(shí)體進(jìn)行粗匹配，再根據(jù)面積、角度等幾何信息以及模型參數(shù)分布特點(diǎn)逐步剔除誤匹配，精匹配時(shí)采用多層次二維迭代最鄰近點(diǎn)(ICP)法對(duì)粗匹配得到的邊緣點(diǎn)按采樣率由低到高進(jìn)行匹配的分級(jí)匹配策略，在遙感影像匹配中得到了較好效果。李艷荻等(2017)提出一種在匹配過(guò)程中分析高維特征空間采樣點(diǎn)分布特點(diǎn)，采用自適應(yīng)分塊思想對(duì)金字塔匹配核函數(shù)的收斂策略進(jìn)行改進(jìn)，最后使用K均值聚類(lèi)進(jìn)行識(shí)別的匹配策略，減少了特征匹配過(guò)程的運(yùn)算量，提高了三維重建的穩(wěn)定性。Cheng等(2019)提出一種基于二進(jìn)制流特征描述子的增強(qiáng)影像匹配策略，提高了特征匹配效率；但該算法適合在嵌入式設(shè)備上匹配特征較簡(jiǎn)單的影像，不適合森林航攝影像等具有復(fù)雜特征的影像。吳越等(2019)對(duì)影像進(jìn)行下采樣，先對(duì)低分辨率影像進(jìn)行匹配，快速篩選掉匹配失敗的特征點(diǎn)，然后對(duì)匹配成功的特征點(diǎn)回溯到原始影像上進(jìn)行匹配，以達(dá)到加速目的。影像匹配策略包括基元匹配策略、減少冗余匹配策略和分層匹配策略3種(張小宇，2019)，其中分層匹配策略不僅可提高影像匹配速度，而且更容易搭配不同特征算法，是目前常用的匹配策略(以下簡(jiǎn)稱(chēng)普通策略)，但該普通策略在處理低空無(wú)人機(jī)森林航攝影像時(shí)存在幾方面不足：1) 低空無(wú)人機(jī)森林航攝影像像幅大，普通策略對(duì)原始影像進(jìn)行下采樣時(shí)需要分層層數(shù)過(guò)多，嚴(yán)重影響匹配速度；2) 低空無(wú)人機(jī)森林航攝影像主體內(nèi)容林冠紋理細(xì)節(jié)多，普通策略下采樣算法只保留邊緣信息，會(huì)丟失大量紋理細(xì)節(jié)信息，嚴(yán)重影響匹配精度；3) 森林冠層的光照條件復(fù)雜、枝葉繁茂、紋理重復(fù)率高，普通策略對(duì)整幅影像下采樣分層方法沒(méi)有約束特征點(diǎn)位置關(guān)系的機(jī)制，不僅造成大量冗余匹配，還會(huì)增大錯(cuò)誤匹配概率；4) 森林冠層受風(fēng)和氣流影響，像對(duì)之間存在大量非剛體性變化，普通策略利用下采樣方法進(jìn)行初始匹配的結(jié)果可靠性低。

鑒于此，本研究從低空森林航攝影像特點(diǎn)出發(fā)提出一種基于POS(position and orientation system)約束的無(wú)人機(jī)森林航攝影像分區(qū)匹配策略，以提高匹配點(diǎn)的位置質(zhì)量和匹配速度、減少冗余匹配并降低錯(cuò)誤匹配率。

1 原理與方法

1.1 技術(shù)路線(xiàn)

定位定向系統(tǒng)(POS)是可直接獲取相機(jī)曝光時(shí)刻攝影中心空間位置和姿態(tài)信息的系統(tǒng)單元。無(wú)人機(jī)POS數(shù)據(jù)由GPS數(shù)據(jù)和IMU數(shù)據(jù)2部分組成，經(jīng)嚴(yán)格標(biāo)定后POS提供的數(shù)據(jù)，通過(guò)坐標(biāo)轉(zhuǎn)換可獲取航攝影像的外方位元素(袁修孝等，2006；劉軍等，2004)。

本研究討論如何利用標(biāo)定后POS提供的姿態(tài)和坐標(biāo)數(shù)據(jù)構(gòu)建像對(duì)間的單應(yīng)矩陣，再基于單應(yīng)矩陣的約束關(guān)系，在像對(duì)左右2幅影像上按一定面積比例和位置分布劃分出若干子區(qū)域，在特征提取和配對(duì)過(guò)程中將子區(qū)域視為獨(dú)立圖像，實(shí)現(xiàn)在原始影像級(jí)別上的分區(qū)匹配。技術(shù)路線(xiàn)如圖1。

圖1 技術(shù)路線(xiàn)Fig.1 Flowchart of research

1.2 POS數(shù)據(jù)轉(zhuǎn)換

無(wú)人機(jī)POS數(shù)據(jù)中的GPS數(shù)據(jù)是以WGS-84參考橢球?yàn)榛鶞?zhǔn)的地理坐標(biāo)經(jīng)緯度和高程，需要轉(zhuǎn)換成以地心為原點(diǎn)的右手空間直角坐標(biāo)(xS,yS,zS)，轉(zhuǎn)換公式如下：

(1)

POS數(shù)據(jù)中IMU加速度傳感器所提供的IMUZ坐標(biāo)系3個(gè)角元素?cái)?shù)據(jù)Heading (Ψ)、Pitch (Θ)、Roll (Φ)需要轉(zhuǎn)成攝影測(cè)量中使用的外方位元素ω、φ、κ，轉(zhuǎn)換公式如下：

(2)

1.3 單應(yīng)矩陣計(jì)算

假設(shè)π為測(cè)區(qū)平面，相鄰2幅影像分別為I1和I2，令2幅影像的重疊區(qū)域U=(u,v,l)T∈I1，U′=(u′,v′,l)T∈I2，則有矩陣H使得U′=wHU成立，其w為非零常數(shù)，稱(chēng)H為像對(duì)(I1,I2)關(guān)于π的單應(yīng)矩陣。根據(jù)計(jì)算機(jī)視覺(jué)原理，測(cè)區(qū)平面上任意點(diǎn)x在世界坐標(biāo)系中的坐標(biāo)為[xw，yw，zw]T，在相機(jī)坐標(biāo)系中的坐標(biāo)為[xc,yc,zc]T，在影像坐標(biāo)系中的坐標(biāo)為[u，v，l]T，那么從世界坐標(biāo)系轉(zhuǎn)換到影像坐標(biāo)系的過(guò)程可通過(guò)相機(jī)內(nèi)參矩陣K、旋轉(zhuǎn)矩陣R和三維平移向量t來(lái)描述:

(3)

2幅影像的重疊區(qū)域U、U′可寫(xiě)成下列形式:

(4)

(5)

(6)

(7)

(8)

根據(jù)H矩陣的定義U′=wHU，w為尺度因子，是非零常數(shù)；本研究無(wú)人機(jī)飛行2次攝影間隔很短，2次攝影航高zc1、zc2均不為零，且約相等。因此令w=zc1/zc2≈1,可得：

(9)

式中：旋轉(zhuǎn)矩陣R1、R2可通過(guò)2次攝影中心的POS數(shù)據(jù)角元素經(jīng)式(3)轉(zhuǎn)換得到；平移向量t1、t2可利用POS數(shù)據(jù)線(xiàn)元素經(jīng)式(4)轉(zhuǎn)換得到；將t1、t2和R1、R2代入式(9)可計(jì)算出單應(yīng)矩陣H。

1.4 子區(qū)域劃分

朱進(jìn)等(2016)研究發(fā)現(xiàn),無(wú)論測(cè)區(qū)面積大小，四周均勻布設(shè)控制點(diǎn)有利于保證區(qū)域內(nèi)部精度。本研究在相鄰2幅影像的重疊區(qū)域內(nèi)劃分子區(qū)域時(shí)，參考攝影測(cè)量航帶法四周均勻分布并顧及中間的原則，首先在左片四周和中心地帶按像對(duì)重復(fù)區(qū)域30%面積比例劃分5個(gè)子區(qū)域，然后利用式(10)在右片上推算出與左片對(duì)應(yīng)的5個(gè)子區(qū)域，如圖2所示。

圖2 子區(qū)域劃分示意Fig.2 Schematic diagram of dividing sub-areas

2 試驗(yàn)結(jié)果與分析

2.1 試驗(yàn)結(jié)果

為了充分考察對(duì)闊葉林和針葉林低空無(wú)人機(jī)航攝影像的匹配效果，本研究試驗(yàn)樣地選擇湖南省某縣闊葉灌木林和內(nèi)蒙古大興安嶺阿爾山林業(yè)局伊爾施林場(chǎng)某二類(lèi)小班落葉松(Larixspp.)針葉林。飛行設(shè)備采用固定翼無(wú)人機(jī)測(cè)圖鷹X100，機(jī)載IMU精度參數(shù)為橫滾角小于±3°、俯仰角小于±3°、航向角小于±3°，搭載標(biāo)定過(guò)的SONY ILCE-7R光學(xué)數(shù)碼相機(jī)，鏡頭焦距35 mm。設(shè)計(jì)航高160 m、航向重疊率80%、旁向重疊率60%，影像大小7 360×4 912像素。2次飛行采用的設(shè)備和飛行參數(shù)相同，飛行當(dāng)天天氣晴朗，風(fēng)力小于2級(jí)。2018年7月進(jìn)行闊葉林無(wú)人機(jī)航拍，飛行6個(gè)架次，共獲取943幅影像；2019年8月進(jìn)行針葉林無(wú)人機(jī)航拍，飛行9個(gè)架次，共獲取1 376幅影像。

數(shù)據(jù)處理使用同一臺(tái)I7-6700HQ處理器、8 G內(nèi)存的ALIENWARE工作站，Windows10 64位操作系統(tǒng)上運(yùn)行Python 3.7和OpenCV 3.4.2.16搭配的程序開(kāi)發(fā)環(huán)境。首先對(duì)POS數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理，然后用轉(zhuǎn)換POS數(shù)據(jù)構(gòu)造像對(duì)間H矩陣。運(yùn)用Python+OpenCV編寫(xiě)的程序以像對(duì)為單位在左片上劃分出30%原始影像長(zhǎng)寬的A、B、C、D、E子區(qū)域，再根據(jù)H矩陣采用OpenCV的WarpPerspective函數(shù)在右片上映射出相對(duì)應(yīng)的A′、B′、C′、D′、E′子區(qū)域。

選擇常用的ORB、FAST、SURF、SIFT、KAZE、AKAZE共6種特征算子及其默認(rèn)描述子(Tareenetal.,2018)搭配本研究提出的分區(qū)策略與普通分級(jí)下的采樣匹配策略進(jìn)行對(duì)比試驗(yàn)。特征搜索采用K-D樹(shù)搜索算法，優(yōu)化匹配采用RANSAC算法，相同算子設(shè)置相同參數(shù)，未使用多線(xiàn)程和GPU加速。普通策略匹配參考吳越等(2019)，即先對(duì)原始影像進(jìn)行下采樣，然后只對(duì)低分辨率上成功匹配的特征點(diǎn)進(jìn)行更高一層分辨率上匹配的策略。一幅分辨率為M×N的影像I進(jìn)行n倍下采樣，如下：

(10)

式中pk為將原始影像I的第k個(gè)區(qū)域合成的第k個(gè)像素點(diǎn)；Ii為原始影像中的第i個(gè)像素，其中i屬于第k個(gè)區(qū)域。

本研究的像幅分辨率為7 360×4 912，最大下采樣倍數(shù)n取值16。

根據(jù)平差理論可知，每個(gè)子區(qū)域具有4個(gè)以上匹配特征點(diǎn)才能平差獲得穩(wěn)定的約束關(guān)系，因此，出現(xiàn)少于4個(gè)匹配特征點(diǎn)的子區(qū)域越少，說(shuō)明匹配特征點(diǎn)的位置分布質(zhì)量越好。本研究利用ArcPy的空間查詢(xún)接口SelectLayerByLocation_management得到每個(gè)子區(qū)域內(nèi)成功匹配的特征點(diǎn)數(shù)量。不同特征算子搭配普通策略和本研究分區(qū)策略的匹配結(jié)果對(duì)比如表1所示。

表1 不同特征算子搭配普通策略和本研究分區(qū)策略的匹配結(jié)果對(duì)比①Tab.1 Matching result comparison of different features of operators in collaboration with common strategy and partition matching strategy of this study

不同特征算子、不同樹(shù)種、不同匹配策略下，匹配速度、匹配率和特征點(diǎn)分布情況如圖3所示。

為了直觀(guān)反映本研究分區(qū)匹配策略相比普通策略的改善情況，各項(xiàng)指標(biāo)提升率統(tǒng)計(jì)如表2所示。

表2 本研究策略相比普通策略各項(xiàng)指標(biāo)提升率統(tǒng)計(jì)①Tab.2 Statistics of indexes increase rate of partition matching strategy of this study comparing to the common strategy

2.2 結(jié)果分析

由圖3a可知，本研究策略相比普通策略，6種特征算子的特征點(diǎn)匹配速度均有所提升，這是因?yàn)樽訁^(qū)域間匹配直接在原始影像上提取有效的子區(qū)域，可減小匹配范圍，提高匹配速度。由圖3b可知，在2種策略下，F(xiàn)AST算子提取到的特征點(diǎn)數(shù)量最多，但是匹配率很低，可見(jiàn)考察特征算子好壞不能只看特征點(diǎn)提取數(shù)量，提取到的特征點(diǎn)數(shù)多不代表成功匹配數(shù)就多。由圖3b、d可知，與普通策略相比，使用本研究策略所有特征算子提取到的特征點(diǎn)數(shù)量都減少的同時(shí)，匹配率均明顯提高，這是因?yàn)樽訁^(qū)域間匹配可減小匹配范圍，從而降低特征點(diǎn)數(shù)量，有效提高匹配率。由圖3c可知，與普通策略相比，使用本研究策略在左右影像對(duì)應(yīng)子區(qū)域間建立基于POS數(shù)據(jù)的單應(yīng)約束方式可降低錯(cuò)誤匹配概率，有效提升特征點(diǎn)的位置分布質(zhì)量。

圖3 試驗(yàn)結(jié)果對(duì)比分析Fig.3 Comparative analysis diagram of experimental results匹配速度是對(duì)每像對(duì)平均耗時(shí)的倒數(shù)進(jìn)行歸一化后的結(jié)果；匹配率是每像對(duì)平均匹配成功數(shù)與平均特征提取數(shù)的比值；少于4個(gè)匹配特征點(diǎn)子區(qū)域頻數(shù)=SUM(少于4個(gè)匹配特征點(diǎn)子區(qū)域頻數(shù))/(像對(duì)數(shù)×5)。The matching speed is the normailized result of the reciprocal of the average time of each pair of images.The matching rate is the ratio of the average successful matching number of each image pair to the average feature extraction number.Sub area frequency numbers of the matching points of less then 4=SUM(frequency of subregions with less than 4 matching points)/(logarithm of the image multiplied by 5).

為了更直觀(guān)反映像對(duì)的匹配點(diǎn)位置分布質(zhì)量，抽取影像中具有森林、道路、建筑物、水域等地物類(lèi)型較全、匹配難度較大的一個(gè)像對(duì)進(jìn)行討論，該像對(duì)子區(qū)域劃分情況如圖4所示。

圖4 子區(qū)域劃分與預(yù)測(cè)結(jié)果Fig.4 Sub area division and predicating results

對(duì)該像對(duì)采用SURF、SIFT、AKAZE 3種特征算子進(jìn)行特征提取與匹配對(duì)比統(tǒng)計(jì)，并對(duì)特征點(diǎn)進(jìn)行空間分析，特征點(diǎn)分布于A(yíng)、B、C、D、E不同子區(qū)域統(tǒng)計(jì)結(jié)果如圖5所示。

圖5 試驗(yàn)結(jié)果對(duì)比分析Fig.5 Comparative analysis diagram of experimental results

由圖5可知，普通策略的特征點(diǎn)分布不均勻，3種特征算子在A(yíng)子區(qū)域提取到的結(jié)果均為0，主要原因是A子區(qū)域90%為水域，所有特征算子在水面上提取到的特征點(diǎn)均較少。E和C子區(qū)域成功匹配的特征點(diǎn)較多，是因?yàn)檫@2個(gè)子區(qū)域內(nèi)有建筑和道路，普通策略的全影像下采樣方式導(dǎo)致細(xì)節(jié)丟失，只保留了輪廓信息。使用本研究策略的實(shí)線(xiàn)走勢(shì)明顯比普通策略的虛線(xiàn)飽滿(mǎn)、均勻，尤其將原來(lái)A子區(qū)域的0個(gè)特征點(diǎn)提高到了4個(gè)以上。這是因?yàn)楸狙芯坎捎迷挤直媛始?jí)別上的子區(qū)域間匹配方式，在保留影像細(xì)節(jié)的同時(shí)限制了匹配范圍，雖然特征點(diǎn)數(shù)量有所降低，但分布質(zhì)量明顯提高，起到了強(qiáng)制從某個(gè)子區(qū)域提取特征點(diǎn)的作用。

圖6、7分別是闊葉林和針葉林同一像對(duì)采用綜合表現(xiàn)較優(yōu)的AKAZE算子搭配普通策略和本研究策略的特征匹配結(jié)果對(duì)比。可以看出，無(wú)論是闊葉林還是針葉林像對(duì)，普通策略均存在較高的錯(cuò)誤匹配，而搭配本研究策略的錯(cuò)誤匹配率則較低。這是因?yàn)楸狙芯坎呗缘淖訁^(qū)域間匹配方式，杜絕了跨子區(qū)域間的錯(cuò)誤匹配，從而降低了錯(cuò)誤匹配率。另外，針葉林影像比闊葉林影像的錯(cuò)誤匹配率低、特征點(diǎn)分布更均勻，是由于針葉林的冠形紋理更清晰，在同名點(diǎn)間的變換關(guān)系更具剛體性。本研究子區(qū)域大小確定是根據(jù)經(jīng)驗(yàn)選擇像對(duì)重疊區(qū)寬和高的30%尺寸，在實(shí)際應(yīng)用中可依據(jù)實(shí)際情況進(jìn)行調(diào)整，具體原則為：與像對(duì)重疊區(qū)尺寸呈正比，與無(wú)人機(jī)搭載的IMU誤差呈反比，確保像對(duì)的5個(gè)子區(qū)域都有4對(duì)以上成功匹配點(diǎn)。

圖6 闊葉林影像的AKAZE算子特征點(diǎn)匹配結(jié)果Fig.6 Matching results of feature points of AKAZE operator of broad-leaved forest imagesa.普通策略Common strategy；b.本研究策略Partition matching strategy of this study.下同The same below.

3 結(jié)論

1) 低空無(wú)人機(jī)森林航攝影像主體內(nèi)容是森林冠層，與建筑物和道路等固定地物不同，冠層在2次攝影瞬間會(huì)受風(fēng)和氣流影響，局部微小擺動(dòng)都將導(dǎo)致像對(duì)同名點(diǎn)存在非剛體性變化。因此，低空無(wú)人機(jī)森林航攝影像不能簡(jiǎn)單套用普通測(cè)繪影像的匹配策略，采用原始分辨率影像分區(qū)匹配策略，在保留影像細(xì)節(jié)的同時(shí)可縮小匹配范圍，提高匹配速度，是一種適于低空森林航攝影像特征匹配的匹配策略。

2) 本研究利用低空無(wú)人機(jī)POS數(shù)據(jù)，在無(wú)人機(jī)森林航攝影像左右對(duì)應(yīng)子區(qū)域間建立單應(yīng)約束關(guān)系，能夠改善匹配特征點(diǎn)的位置分布質(zhì)量、降低錯(cuò)誤匹配率。與以往只考慮特征高維向量的最短歐氏距離方法不同，本研究策略充分考慮特征點(diǎn)位置分布質(zhì)量，并嘗試將GIS空間分析算法引入特征匹配過(guò)程，探索基于空間分析的特征點(diǎn)位置分布質(zhì)量的刻畫(huà)與評(píng)價(jià)方法，可為后續(xù)改進(jìn)特征匹配算法提供新思路。

3) 本研究策略可隨意搭配不同特征算子，搭配ORB、FAST、SURF、SIFT、KAZE、AKAZE特征算子處理低空無(wú)人機(jī)森林航攝影像結(jié)果表明，AKAZE算子效果最佳，可為進(jìn)一步針對(duì)森林航攝影像紋理特點(diǎn)改進(jìn)特征算子以及研發(fā)專(zhuān)門(mén)針對(duì)森林航攝影像的特征算子提供參考。