利用特征組合檢測算法的無人機(jī)遙感影像匹配研究

，，，，

(1. 貴州大學(xué)林學(xué)院，貴州 貴陽 550025； 2. 貴州大學(xué)礦業(yè)學(xué)院，貴州 貴陽 550025)

影像匹配的用途極為廣泛，目前的研究熱點(diǎn)主要集中在多視角傾斜航空影像的三維建模[1]、目標(biāo)檢測與跟蹤[2]等方向。針對(duì)無人機(jī)遙感影像的匹配和拼接，部分學(xué)者開展了一定的研究，考慮AKAZE(accelerated KAZE)算法在構(gòu)建非線性尺度空間時(shí)，能較為完整地保存影像紋理結(jié)構(gòu)和局部信息[3-4]，文獻(xiàn)[5]提出把AKAZE算法和相位相關(guān)法結(jié)合在一起對(duì)紋理缺乏的地區(qū)影像進(jìn)行匹配。該匹配方法初步解決了紋理缺乏地區(qū)的影像匹配問題。文獻(xiàn)[6]提出一種快速有效的SIFT(scale invariant feature transform，SIFT)特征提取算法，該算法提取特征點(diǎn)的數(shù)量顯著降低，較大程度提升了算法效率，但耗時(shí)情況還有待改善。文獻(xiàn)[7]提出一種改進(jìn)BRISK(binary robust invariant scalable key points，BRISK)特征的快速圖像配準(zhǔn)算法，該配準(zhǔn)算法在保持速度的基礎(chǔ)上達(dá)到亞像素級(jí)配準(zhǔn)精度，并具有優(yōu)越的場景適應(yīng)性能。文獻(xiàn)[8]針對(duì)小型無人機(jī)航拍圖像視點(diǎn)離散、視角變化有一定運(yùn)動(dòng)規(guī)律的特點(diǎn)，結(jié)合Harris特征點(diǎn)和SIFT特征向量的優(yōu)勢，對(duì)SIFT算法進(jìn)行了改進(jìn)，試驗(yàn)證明了該改進(jìn)算法在準(zhǔn)確度和配準(zhǔn)耗時(shí)等方面得到了較大的提高。由于SIFT算法的實(shí)時(shí)性較差，文獻(xiàn)[9]首先提出了一種特征點(diǎn)檢測算法(oriented fast and rotated BRIEF)，該算法用FAST[10](features from accelerated segment test)來對(duì)影像提取特征點(diǎn)，其特征采用BRIEF[11](binary robust independent elementary features)來描述，該算法較大程度上降低了提取特征點(diǎn)的總耗時(shí)。文獻(xiàn)[12]結(jié)合SIFT和RANSAC(RANdom sample consensus,RANSAC)[13-14]算法對(duì)InSAR影像配準(zhǔn)，該方法可得到穩(wěn)定、可靠的匹配點(diǎn)對(duì)，但運(yùn)算速度還有待進(jìn)一步提升。文獻(xiàn)[15]基于SURF算法和極線約束條件對(duì)無人機(jī)影像進(jìn)行匹配，試驗(yàn)證明了極線約束條件下的無人機(jī)影像匹配在誤匹配減少的前提下能獲得更多準(zhǔn)確的特征匹配集。在分析上述算法優(yōu)、缺點(diǎn)基礎(chǔ)上，本文提出一種基于特征組合和RANSAC算法的無人機(jī)遙感影像匹配方法。AKAZE特征檢測算法是KAZE[16]算法的改進(jìn)算法，SIFT算法具有良好的尺度與旋轉(zhuǎn)不變性[17]，本文首先采用AKAZE提取影像特征點(diǎn)，然后利用SIFT算法描述特征向量和獲得主方向，最后基于單映射變換矩陣的RANSAC算法進(jìn)行精準(zhǔn)匹配。針對(duì)無人機(jī)遙感影像匹配中提取特征點(diǎn)的時(shí)長、匹配正確率等指標(biāo)，對(duì)基于特征組合、AKAZE、SIFT和BRISK這4種算法的無人機(jī)遙感影像匹配進(jìn)行試驗(yàn)對(duì)比分析，驗(yàn)證基于特征組合與RANSAC算法的匹配方法在無人機(jī)遙感影像匹配上的可行性。

1 特征組合檢測算法

本文的特征組合檢測算法提取特征點(diǎn)步驟如下：

(1) 利用AOS算法和可變傳導(dǎo)函數(shù)建立非線性尺度空間，然后進(jìn)行尺度歸一化，得到AKAZE特征點(diǎn)。

(2) 利用SIFT算法描述特征向量，獲得特征點(diǎn)的主方向。

1.1 AKAZE特征點(diǎn)檢測

1.1.1 非線性擴(kuò)散濾波

非線性擴(kuò)散濾波：在不同尺度上變化的影像亮度記為L，將其表達(dá)為某一關(guān)系的流動(dòng)函數(shù)的散度，數(shù)學(xué)表達(dá)式如下

(1)

選取的傳導(dǎo)函數(shù)c(x,y,t)如果合適，則可得到擴(kuò)散自適應(yīng)于圖像的局部結(jié)構(gòu)。t為尺度參數(shù)，影像的表達(dá)形式復(fù)雜程度隨著t值的增大而減小。傳導(dǎo)函數(shù)的數(shù)學(xué)表達(dá)式為

(2)

1.1.2AOS算法

因?yàn)榉蔷€性偏微分方程無直接解，本文采用隱式差分來進(jìn)行求解。本文隱式差分利用的數(shù)學(xué)形式為

(3)

式中，Al為影像在各維度(l)上傳導(dǎo)性矩陣。此方程的數(shù)學(xué)形式解為

(4)

式中，Al為對(duì)角占優(yōu)的三對(duì)角矩陣；步長(τ)可以任意取值，并利用Thomas算法加速求解。

1.1.3 非線性尺度空間的構(gòu)造

非線性尺度空間構(gòu)造方法為：尺度級(jí)別成對(duì)數(shù)遞增，存在M組octaves，各個(gè)octave又存在P個(gè)sub-level。AKAZE每一個(gè)層級(jí)利用的分辨率和最初的圖像一致。M組octave與P個(gè)sub-level在本文中分別記作m和p，尺度參數(shù)σ通過下式與m和p互匹配

p∈[0,1,…,P-1],i∈[0,1,…,N]

(5)

式中，σ0為給定的初始值；N為尺度空間的影像總數(shù)，N=M×P。式(6)將σi(單位為像素)轉(zhuǎn)變?yōu)閠i(進(jìn)化時(shí)間)

(6)

影像處理過程中，用高斯濾波預(yù)處理AKAZE特征檢測算法，然后獲得處理影像的梯度直方圖，進(jìn)而可得到對(duì)比度參數(shù)。采用AOS算法，并依據(jù)一組進(jìn)化時(shí)間，來完成非線性尺度空間的構(gòu)建，其數(shù)學(xué)表達(dá)式為

(7)

1.1.4 特征點(diǎn)檢測

采用搜索不同尺度歸一化后獲得的Hessian局部極大值點(diǎn)。Hessian矩陣可由下式得到

(8)

式中，將尺度參數(shù)σi取整得到σ。為了獲得極值點(diǎn)，將所有像素點(diǎn)與它周圍的全部相鄰像素點(diǎn)相比，將中心像素點(diǎn)和周圍26個(gè)相鄰點(diǎn)比較。確定特征點(diǎn)所在位置后，繼續(xù)進(jìn)行亞像素精準(zhǔn)定位，該方法的泰勒展開表達(dá)式為

(9)

特征點(diǎn)的亞像素坐標(biāo)的解為

(10)

1.2 SIFT算法計(jì)算特征點(diǎn)主方向和描述子

1.2.1 計(jì)算特征點(diǎn)主方向

(1) 當(dāng)特征點(diǎn)的位置確定后，在特征點(diǎn)所在的尺度獲取鄰域，把該鄰域均分為36個(gè)方向計(jì)算直方圖，獲得的直方圖中最大值對(duì)應(yīng)的方向就是特征點(diǎn)的主方向。

(2) 對(duì)計(jì)算所得直方圖峰值而言，與最大直方圖峰值相比，如該峰值所占比例達(dá)到最大直方圖峰值的80%以上，則把此方向視作輔方向。約有1/5的特征點(diǎn)會(huì)存在一個(gè)甚至更多的輔方向，并且這些特征點(diǎn)在匹配中起到非常重要的作用，輔方向極容易影響匹配過程的穩(wěn)定性。

1.2.2 計(jì)算特征點(diǎn)描述子

要想獲得具有較強(qiáng)獨(dú)立性的描述子，確保組合特征檢測算法的匹配正確率，需滿足以下幾個(gè)條件：①還需校正已得到的主方向；②利用校正后的主方向生成描述子，進(jìn)而得到128維的特征向量；③需對(duì)特征向量進(jìn)行歸一化處理，減弱光照對(duì)匹配率的影像。

2 單映射變換矩陣的RANSAC精匹配

隨機(jī)抽樣一致性算法是在一組存在“外點(diǎn)”的數(shù)據(jù)集里面，尋找一個(gè)符合該模型最佳的單映射變換矩陣H(8個(gè)未知參數(shù)，至少存在4組匹配點(diǎn)對(duì))，采用尋找到的最優(yōu)矩陣來滿足特征點(diǎn)數(shù)量最多。

文中基于單映射變換矩陣的RANSAC算法進(jìn)行精匹配的具體步驟如下：

(1) 從特征組合算法提取的特征匹配點(diǎn)對(duì)中任意取出4個(gè)樣本，并保證這4個(gè)樣本之間不共線，利用RANSAC算法，計(jì)算出H矩陣，記為模型Q。

(2) 將模型Q應(yīng)用于全部數(shù)據(jù)集，計(jì)算符合該模型的點(diǎn)數(shù)和投影誤差，若誤差小于閾值ε，則對(duì)應(yīng)的代價(jià)函數(shù)最小，此匹配點(diǎn)加入內(nèi)點(diǎn)集，計(jì)算公式如下

(11)

式中，(x′,y′)為原影像角點(diǎn)坐標(biāo)。

(3) 任意取4組匹配點(diǎn)對(duì)，不斷地進(jìn)行步驟(1)、(2)的重復(fù)計(jì)算。

(4) 若通過以上步驟所得的內(nèi)點(diǎn)集元素個(gè)數(shù)多于最優(yōu)內(nèi)點(diǎn)集，則把目前元素集視為最優(yōu)內(nèi)點(diǎn)集。當(dāng)?shù)螖?shù)不小于k時(shí)，可得到目標(biāo)影像和待匹配影像之間的透視變換模型，把不滿足此模型的點(diǎn)對(duì)刪除，進(jìn)而提高影像的匹配正確率。

3 試驗(yàn)結(jié)果及分析

為了驗(yàn)證本文方法在無人機(jī)遙感影像的匹配正確率及速度上的優(yōu)勢，試驗(yàn)利用4種算法對(duì)分辨率為580×387像素、640×426像素的兩組遙感影像數(shù)據(jù)進(jìn)行試驗(yàn)及對(duì)比分析，分析試驗(yàn)耗時(shí)情況及匹配精度。本次試驗(yàn)運(yùn)行環(huán)境為:運(yùn)行內(nèi)存8 GB，AMD FX(tm)-8300 Eight-Core Processor 3.30 GHz的工作站，基于VS2015的Open-CV3.4.0計(jì)算機(jī)視覺庫，Win10系統(tǒng)作為開發(fā)平臺(tái)。試驗(yàn)所用的無人機(jī)遙感影像如圖1所示，分別為影像對(duì)(a)、(b)，影像對(duì)(a)地形起伏大、局部存在陰影，影像對(duì)(b)影像變形大。

試驗(yàn)結(jié)果對(duì)比分析如下：

(1) 表1為特征組合、AKAZE、SIFT、BRISK這4種算法分別對(duì)(a)、(b)影像對(duì)的特征點(diǎn)提取數(shù)及耗時(shí)時(shí)長的試驗(yàn)結(jié)果。

由表1可看出，對(duì)于影像對(duì)(a)而言，AKAZE算法提取的特征點(diǎn)數(shù)約為SIFT算法提取的特征點(diǎn)數(shù)的25%，為BRISK算法提取的特征點(diǎn)數(shù)的12%，AKAZE+SIFT的特征組合算法提取的特征點(diǎn)數(shù)和AKAZE算法的提取數(shù)量相等。從耗時(shí)情況來看，特征組合算法的提取耗時(shí)高于AKAZE算法，低于SIFT算法，但仍然高于BRISK算法。對(duì)于影像對(duì)(b)而言，AKAZE算法提取的特征點(diǎn)數(shù)約為SIFT算法提取的特征點(diǎn)數(shù)的20%，約為BRISK算法提取的特征點(diǎn)數(shù)的8%，AKAZE+SIFT的特征組合算法提取的特征點(diǎn)數(shù)和AKAZE算法的提取數(shù)量相等，特征點(diǎn)提取耗時(shí)介于AKAZE算法和SIFT算法之間，仍高于BRISK算法。究其原因，是由于AKAZE算法在構(gòu)建非線性尺度空間時(shí)耗時(shí)較多造成的。

表1 4種算法對(duì)影像的特征點(diǎn)提取數(shù)及耗時(shí)情況 (特征點(diǎn)數(shù)/ms)

(2) 本研究分別對(duì)影像對(duì)(a)、(b)采用特征組合檢測算法、AKAZE、SURF和BRISK算法進(jìn)行特征點(diǎn)檢測試驗(yàn)，并利用基于單映射變換矩陣的RANSAC算法刪除誤匹配點(diǎn)對(duì)。由于篇幅限制，本文只列出特征組合+RANSAC算法的匹配效果圖。

表2 4種算法的試驗(yàn)相關(guān)指標(biāo)數(shù)據(jù)統(tǒng)計(jì)

由圖2、圖3及表2可看出：

(1) 對(duì)于地形起伏大、局部存在陰影的影像對(duì)(a)，就匹配總耗時(shí)而言，特征組合的總耗時(shí)高于AKAZE算法，低于SIFT算法且遠(yuǎn)低于BRISK算法的總耗時(shí)，約為BRISK算法耗時(shí)的30%，說明特征組合檢測算法在匹配速度上較好地繼承了AKAZE算法的快速匹配性能。就匹配正確率而言，特征組合的匹配正確率為95%，均高于另外3種算法。特征組合、AKAZE、SIFT和BRISK這4種算法的正確匹配點(diǎn)對(duì)分別是156、128、160和120，可以看出特征組合后的正確匹配點(diǎn)對(duì)高于AKAZE算法和BRISK算法，接近于SIFT算法。

(2) 對(duì)于影像變形大的影像對(duì)(b)，就匹配總耗時(shí)而言，特征組合的總耗時(shí)情況仍然介于AKAZE和SIFT算法之間，遠(yuǎn)低于BRISK算法的總耗時(shí)，約為BRISK算法的19%。就匹配正確率而言，特征組合、AKAZE、SIFT和BRISK這4種算法分別為88%、92%、82%和84%，可以看出特征組合檢測算法的匹配正確率略低于AKAZE算法，高于另外兩種算法。就正確匹配點(diǎn)對(duì)而言，特征組合的正確匹配點(diǎn)對(duì)多于AKAZE算法，略低于SIFT和BRISK算法。綜合分析試驗(yàn)結(jié)果，基于特征組合與RANSAC算法的無人機(jī)遙感影像匹配方法在滿足匹配正確率與正確匹配點(diǎn)對(duì)的前提下，其匹配耗時(shí)更短?？紤]到后續(xù)工作是對(duì)多張無人機(jī)遙感影像進(jìn)行匹配，當(dāng)需匹配的無人機(jī)遙感影像數(shù)量眾多時(shí)，該匹配方法更有利于無人機(jī)遙感影像的匹配。

4 結(jié) 語

無人機(jī)遙感影像匹配是無人機(jī)遙感影像拼接和三維重建的核心工作。從本文基于特征組合與RANSAC算法的無人機(jī)遙感影像匹配方法的試驗(yàn)結(jié)果可以看出：特征組合算法具有匹配速度快和冗余計(jì)算量少的優(yōu)點(diǎn)。對(duì)于無人機(jī)遙感影像的匹配效果而言，本文提出的匹配方法從整體上優(yōu)于AKAZE算法、SIFT算法和BRISK算法。與常用匹配方法相比，本文的匹配方法更加有效和快速，更適合于無人機(jī)遙感影像匹配。