無人機影像特征聯(lián)合提取與雙向匹配研究

吉文來，趙湘玉，李明峰

(南京工業(yè)大學測繪科學與技術(shù)學院，江蘇 南京 211816)

無人機航攝技術(shù)具有低成本、高效率、靈活機動、實時獲取高分辨率影像等優(yōu)勢[1-2]，廣泛應用于眾多領(lǐng)域。無人機航拍時易受大氣條件和外部環(huán)境影響，獲取的影像存在旋轉(zhuǎn)變化、尺度變化等問題，不利于影像配準等后期數(shù)據(jù)處理工作的進行[3-4]。如何提高無人機影像配準效率和精度是目前的研究熱點，具有重要的研究意義。加速穩(wěn)健特征(speeded up robust features，SURF)算法[5-6]是常用的影像配準算法，繼承了尺度不變特征轉(zhuǎn)換(scale invariant feature transform，SIFT)算法[7]對尺度、旋轉(zhuǎn)、視角、光照、噪聲等變化不敏感、穩(wěn)健性好的優(yōu)勢[8-9]，雖然計算速度相比于SIFT算法快，但其描述符計算復雜、耗時長，難以滿足無人機影像配準實時性的要求。二進制穩(wěn)健尺度不變特征(binary robust invariant scalable keypoints，BRISK)算法[10]是二進制特征描述符算法，計算速度快，具有尺度不變性和旋轉(zhuǎn)不變性，但穩(wěn)健性差，易造成錯誤匹配，配準精度低[11-12]。

為充分發(fā)揮SURF算法和BRISK算法各自的優(yōu)勢，提高無人機影像配準效率和精度，本文將SURF算法的特征點檢測和BRISK算法的特征點描述相結(jié)合，研究無人機影像特征聯(lián)合提取方法；將雙向匹配法引入特征點精匹配，研究PROSAC雙向匹配算法，并結(jié)合試驗區(qū)無人機影像數(shù)據(jù)驗證其可行性。

1 特征聯(lián)合提取方法

SURF特征點檢測算法具有尺度不變性、旋轉(zhuǎn)不變性、光照不變性和抗噪性等優(yōu)勢，檢測的特征點分布均勻；但SURF特征描述符為64維向量，計算復雜、存儲量大、生成速度慢。BRISK特征描述符為二進制字符串，計算簡單、生成速度快；但BRISK算法在特征點檢測時穩(wěn)健性差，構(gòu)建的空間金字塔尺度信息不豐富。因此，根據(jù)SURF算法和BRISK算法的特點，提出一種特征聯(lián)合提取(united extraction of features，UEF)方法。該方法利用SURF算法在尺度空間上檢測特征點，采用BRISK算法構(gòu)建特征描述符，UEF方法的實現(xiàn)流程包括以下5個步驟。

1.1 構(gòu)建尺度空間

保持原始影像大小不變，計算其積分影像，利用不同尺寸的方形濾波器對該積分影像進行濾波，建立不同尺度的空間金字塔，即多尺度空間。在尺度為σ的積分影像I上，定義某點x的Hessian矩陣為

(1)

利用Hessian矩陣計算金字塔每一層尺度下所有像素點的行列式值。由于SURF算法采用方形濾波器代替高斯濾波器，則式(1)的近似卷積可表示為Dxx、Dxy、Dyy，近似矩陣Happrox的行列式可表示為

Det(Happrox)=DxxDyy-(ωDxy)2

(2)

式中，ω為權(quán)重系數(shù)，通常取0.9。

1.2 定位特征點

設(shè)定一個閾值，當像素點的近似Hessian行列式值大于閾值時，保留該像素點，對留下的像素點進行非極大值抑制。在每個檢測點3×3×3的立體鄰域內(nèi)，將檢測點與周圍26個像素點進行比較，如果檢測點的行列式值最大或最小，則可確定該點為候選特征點。對尺度空間進行插值，精確定位特征點的尺度和位置。

1.3 定義采樣點

根據(jù)BRISK特征描述符生成原理，定義特征點鄰域范圍內(nèi)的采樣點。假設(shè)有N個采樣點，兩兩組成一對，共有N(N-1)/2組點對。采樣點對(pi,pj)經(jīng)高斯濾波后的灰度值分別為I(pi,σi)和I(pj,σj)(σi和σj表示高斯濾波的方差)，利用灰度值計算每一點對的局部梯度

(3)

1.4 確定特征點方向

利用長距離采樣點對集L計算特征點方向g及旋轉(zhuǎn)角度α。

(4)

(5)

1.5 生成特征描述符

(6)

2 PROSAC雙向匹配算法

在特征點提取結(jié)束后，需進行特征粗匹配和特征精匹配[13-14]。特征粗匹配一般采用距離比法，但初始匹配點對存在一對多匹配現(xiàn)象，因此宜采用雙向匹配法篩選匹配點對，以提高匹配正確率。在特征精匹配中通常采用PROSAC算法，核心是提出質(zhì)量因子判斷匹配點對的等級。該方法降低了樣本選擇的隨機性，加快了運算速度，提高了匹配準確度[15]。因此，本文提出PROSAC雙向匹配算法，即在基于距離比法特征粗匹配的基礎(chǔ)上，通過雙向匹配法和PROSAC算法剔除誤匹配點對，完成特征精匹配，具體流程如圖1所示。

2.1 基于距離比法特征粗匹配

基于距離比法對求出的特征描述符進行特征點粗匹配。對于參考影像上的某一特征點，在待配準影像上找出與之距離最近點和次近鄰點，求解最近距離dm與次近距離dn之比，當比值小于閾值T(本文設(shè)為0.7)，則認為待配準影像上距離最近的點為匹配點。距離比法的具體公式為

(7)

2.2 雙向匹配篩選

雙向匹配法是在獲得初始匹配點對集的基礎(chǔ)上，以待配準影像為基礎(chǔ)，找出參考影像上對應的特征點，即反方向求解匹配點對集，將兩次匹配結(jié)果取交集作為最終匹配點對集。

2.3 PROSAC篩選

采用PROSAC算法進行特征匹配點對篩選，剔除誤匹配點對，具體步驟如下：

(1) 降序排列點對，求解變換矩陣。按照質(zhì)量因子降序排列匹配點對集，取前n組匹配點對作為樣本。由于變換矩陣含有8個未知參數(shù)，需從樣本中隨機選取4組匹配點對，進行變換參數(shù)求解，具體公式為

(8)

式中，(x′,y′)為待配準影像上特征點坐標；(x,y)為參考影像上特征點坐標，ai(i=0,1,…,7)為變換參數(shù)。

(2) 判斷內(nèi)點和外點。計算剩余點對經(jīng)變換后的投影點與對應匹配點之間的誤差，如果誤差小于閾值，則認為該點對是內(nèi)點；反之為外點，統(tǒng)計內(nèi)點數(shù)量。

(3) 更換樣本迭代，求解最優(yōu)變換矩陣。更換4組點對，重復步驟(1)、(2)，當內(nèi)點數(shù)量最大時，此時的變換矩陣為最優(yōu)模型矩陣，內(nèi)點集為正確匹配點對集。當達到最大迭代次數(shù)時停止運算，輸出變換矩陣和內(nèi)點集。

3 試驗分析

為驗證無人機影像特征聯(lián)合提取與雙向匹配方法的可行性，選擇某一測區(qū)的無人機影像為試驗數(shù)據(jù)，將SURF算法、BRISK算法與本文算法進行試驗對比，從提取特征點數(shù)與提取速度、匹配點對數(shù)與匹配正確率、算法穩(wěn)健性與配準時間3個方面分析不同算法的性能。

3.1 提取特征點數(shù)與提取速度

圖2為存在一定重疊度的相鄰無人機影像。對兩幅影像分別采用SURF算法、BRISK算法和特征聯(lián)合提取(UEF)算法進行特征點提取，統(tǒng)計不同算法的提取特征點數(shù)、總耗時和提取速度等數(shù)據(jù)，見表1。

指標SURFBRISKUEF提取特征點數(shù)/個645345315907特征點提取總耗時/ms35329061422特征點提取速度/(ms/個)0.54730.19990.2407

由表1可知：SURF算法提取的特征點數(shù)最多，UEF算法次之，BRISK算法提取的特征點數(shù)最少；BRISK算法提取速度最快，UEF算法次之，SURF算法速度最慢。

提取的特征點數(shù)越多越能反映影像特征信息，提取速度反映提取效率。綜合試驗結(jié)果，UEF算法提取的特征點數(shù)多于BRISK算法，提取速度比SURF算法快一倍，整體上優(yōu)于其他兩種算法。

3.2 匹配點對數(shù)與匹配正確率

在特征點提取工作的基礎(chǔ)上，采用PROSAC雙向匹配算法進行特征點匹配，通過試驗分別對SURF算法、BRISK算法和UEF算法的配準效果進行分析。圖3為不同算法的特征點粗匹配效果圖，可看出經(jīng)過特征點粗匹配后，匹配點對連線不是所有均保持平行，存在誤匹配點對。圖4為不同算法的特征點精匹配效果圖，可看出采用PROSAC雙向匹配算法后，誤匹配點對均得到有效剔除。統(tǒng)計3種算法的特征匹配點對數(shù)，計算匹配正確率，見表2。匹配正確率是指精匹配點對數(shù)與粗匹配點對數(shù)的比值。

表2 匹配點對數(shù)與匹配正確率對比

由表2可知：BRISK算法匹配點對數(shù)最少，SURF算法次之，UEF算法最多，較多的正確匹配點對數(shù)有利于求解最優(yōu)變換矩陣，保證配準精度；UEF算法的匹配正確率達到98%，高于SURF算法和BRISK算法。

3.3 算法穩(wěn)健性與配準時間

選擇存在旋轉(zhuǎn)變化和尺度變化的無人機影像數(shù)據(jù)，根據(jù)匹配正確率分析SURF算法、BRISK算法及UEF算法的穩(wěn)健性，統(tǒng)計配準總耗時，比較不同算法的配準效率，結(jié)果見表3。

表3 針對變化影像的不同算法性能對比

由表3可知：就匹配正確率而言，無論影像是否發(fā)生旋轉(zhuǎn)變化或尺度變化，UEF算法的匹配正確率均高于SURF算法和BRISK算法；在配準效率方面，UEF算法的配準時間介于SURF算法和BRISK算法兩者之間，配準效率較高。綜合上述分析可知，UEF算法具有穩(wěn)健性好、耗時短的特點，適合處理數(shù)據(jù)量大、存在旋轉(zhuǎn)和尺度變化等問題的無人機影像。

4 結(jié) 語

為提高無人機影像配準的準確性，本文提出了影像特征聯(lián)合提取與雙向匹配方法。試驗結(jié)果表明，特征聯(lián)合提取方法具有提取特征信息豐富、提取效率高的特點，PROSAC雙向匹配算法有效剔除了誤匹配點對，本文提出的配準算法在保證配準效率的前提下匹配正確率高于SURF算法和BRISK算法，對于數(shù)據(jù)量大、存在旋轉(zhuǎn)和尺度變化等問題的無人機影像配準更具有應用價值。