一種均勻分布匹配點的無人機低空影像匹配方法

王亮亮

(中國鐵路設(shè)計集團有限公司，天津 300251)

無人機系統(tǒng)具有結(jié)構(gòu)簡單、成本低、風(fēng)險小、靈活機動、實時性強等優(yōu)點，已在多個行業(yè)中得到廣泛應(yīng)用[1]。影像匹配是將無人機應(yīng)用于各行業(yè)的關(guān)鍵，基于特征的影像匹配方法具有穩(wěn)定性強、對噪聲不敏感等優(yōu)點[2]。其中，點特征定位精度高，是目前最常用的匹配方法。Lowe于1999年提出尺度不變特征轉(zhuǎn)換(SIFT)算法[3]；加速特征提取(SURF)算法由Bay等在SIFT算法的基礎(chǔ)上改進，可加快特征檢測、特征描述速度，提高特征匹配效率[4]；隨著無人機影像分辨率的不斷提高，傳統(tǒng)SURF算法的弊端也逐漸顯現(xiàn)，其提取的特征點冗余度大，且位于特征明顯處，(如山區(qū)的山脊山谷線、房屋角點、交叉點等)，若以此為樣本集求解轉(zhuǎn)換參數(shù)，易造成局部最優(yōu)而整體效果較差，進而影響圖像配準、圖像拼接等后期工作的精度[5]。

研究表明，影像配準精度取決于控制點的空間分布質(zhì)量。因此，可通過空間分布約束來獲取均勻分布的特征點。SEDAGHAT等提出均勻分布魯棒性SIFT(UR-SIFT)算法，首先確定特征點的總數(shù)量，再通過計算圖像內(nèi)極值點數(shù)目、對比度均值和熵均值自適應(yīng)控制尺度空間每層影像子塊的特征點數(shù)量，是一種較好的控制特征點均勻分布算法[6-7]； SOURABH PAUL等改進UR-SIFT算法，在特征點篩選階段提出分布特征選擇(DFS)算法，提高了特征點的分布質(zhì)量[8]；AMIN SEDAGHAT等將UR-SIFT的思想應(yīng)用于SURF算法中，在每一組尺度空間將影像劃分為規(guī)則格網(wǎng)，取強度排序靠前的特征點，使檢測的特征點在影像空間內(nèi)趨于均勻[9]。但由于子塊圖像信息的不均勻性，格網(wǎng)內(nèi)保留的特征點仍然分布不均。

在SURF算法特征描述方面，AMIN SEDADGHAT等認為描述旋轉(zhuǎn)不變特征降低了其區(qū)分能力，缺失部分空間信息增加了錯誤描述的幾率[10]；在特征匹配方面，ZHANG SHENG等利用雙向匹配策略，提高了傳統(tǒng)SURF算法的配準速度和精度[11]；周亮君等針對基于普通PC架構(gòu)的圖像處理速度較慢，難以滿足圖像數(shù)目多、分辨率大、達不到實時性要求等問題，提出基于圖形處理器(GPU)的快速圖像處理方案，并實現(xiàn)GPU并行加速的圖像處理[12]；AMIN SEDAGHAT等在影像中提取Harris、UR-SIFT、MSER 3種類型的特征點，基于聚類的方法對參考影像在每一個簇中進行一致性檢測，使用局部仿射變換模型不斷剔除誤差最大的關(guān)鍵點，使得剩余匹配點對的RMSE<1[13]。由此可見，增加約束條件的特征匹配可以獲得更好的結(jié)果。

基于以上研究，提出一種均勻分布U-SURF(U U-SURF)算法，并選取4組不同序列的無人機高分辨率影像進行實驗分析，證明該方法在無人機影像匹配中的適用性。

1 傳統(tǒng)SURF算法

1.1 特征點檢測

“SURF”算法中，引入積分圖像和框狀濾波器來改進SIFT算法的特征檢測過程。在建立影像金字塔時，通過改變?yōu)V波器尺寸，使算子具有尺度不變性。影像金字塔的每一層都計算Hessian矩陣檢測極值點，圖像I(x，y)中的點x在尺度σ處的Hessian矩陣為

(1)

式中，Lxx(x，σ)為高斯函數(shù)二階偏導(dǎo)數(shù)和圖像的二維卷積。

1.2 特征點描述

SURF算法中，計算特征點鄰域范圍內(nèi)點在正交方向的Harr小波響應(yīng)值，可選擇高斯加權(quán)累加后小波響應(yīng)最大值矢量方向作為關(guān)鍵點的主方向，以保證算子具有旋轉(zhuǎn)不變性。以特征點為中心，擴散20s×20s(s為特征點尺度)的正方形鄰域范圍，分為4×4的方格區(qū)域，計算每個方格(5s×5s范圍)的Harr小波響應(yīng)，將相對于主方向的正交方向的小波響應(yīng)值記為dx、dy，以高斯加權(quán)后Harr小波響應(yīng)及其絕對值的累加值作為一個四維描述向量(∑dx，∑dy，∑|dx|，∑|dy|)。最終，每個特征點形成64維描述向量。

2 U U-SURF算法

2.1 特征提取

無人機低空遙感影像空間分辨率較高，但地物紋理特征不均勻，在紋理信息密集區(qū)域，提取的特征點數(shù)量過多，則容易產(chǎn)生聚簇現(xiàn)象。潘建平等采用圖像分塊策略改善提取特征點分布的均勻性[14]；JHAN等通過計算不同波段無人機遙感影像在SURF算法特征提取的累積分布函數(shù)，確定閾值與檢測特征點數(shù)量的關(guān)系，根據(jù)累積分布函數(shù)曲線自適應(yīng)確定閾值，控制提取特征點的數(shù)量，但沒有使特征點均勻分布[15]。

信息熵常被用于圖像包含信息量豐富程度的度量，特征點匹配可能性與特征區(qū)域的信息熵之間有很大的相關(guān)性，正確匹配概率隨著特征點附近區(qū)域信息量的增加而增大。

圖像的信息熵E定義為

(2)

式中，k為圖像包含的灰度級；pm為整幅圖像中灰度值為m的像素出現(xiàn)的概率。

“U U-SURF”算法中，將待檢測影像進行分塊，以每個子塊作為算法輸入，影像塊總數(shù)量為n，單幅影像提取的特征點總數(shù)量為N，根據(jù)影像子塊信息熵確定在子塊中獲取的特征點數(shù)量。則

(3)

(4)

式中，W為影像寬度；H為影像高度；WG為格網(wǎng)尺寸；Ei為影像中第i個子塊的信息熵值；Ni為每個子塊預(yù)先確定的檢測點數(shù)量。

為使影像中每個子塊都可以檢測到一定數(shù)量的特征點，宜設(shè)置低閾值進行特征提取，在每一個影像子塊中，引入四叉樹索引和最優(yōu)化篩選策略，確保影像塊內(nèi)保留特征點的空間均勻分布，同時兼顧特征點穩(wěn)定性。四叉樹索引和最優(yōu)化篩選策略的步驟如下。

①設(shè)該圖像塊為一個整體，即四叉樹的初始節(jié)點，得到初始的四叉樹結(jié)構(gòu)； ②將初始節(jié)點劃分為4個子節(jié)點，若子節(jié)點中無特征點，則刪除該節(jié)點，否則將節(jié)點再次劃分成4個子節(jié)點； ③重復(fù)進行步驟②，直至節(jié)點總數(shù)量不小于該圖像子塊設(shè)置的特征點提取數(shù)量Ni，或者達到最大的節(jié)點個數(shù)，不再進行節(jié)點劃分； ④在每個節(jié)點代表的矩形區(qū)域內(nèi)，將特征點根據(jù)響應(yīng)值排序，保留穩(wěn)定性高的特征點。

四叉樹劃分特征點的過程見圖1，其中，(a)表示將圖像塊作為四叉樹的初始節(jié)點；(b)表示初始四叉樹結(jié)構(gòu)的第一次劃分；(c)表示在子節(jié)點有特征點的情況下繼續(xù)劃分；(d)中可以看到部分節(jié)點中不包含特征點，沒有繼續(xù)劃分；(e)表示該圖像塊保留一定數(shù)量特征點的四叉樹劃分結(jié)果。

圖1 四叉樹劃分特征點示意

2.2 特征描述與匹配

無人機影像獲取過程中，通過預(yù)先設(shè)計飛行路線，使無人機拍攝影像曝光點位于航線上。理論上，相鄰影像同名點鄰域的特征不存在旋轉(zhuǎn)變換。攝影測量規(guī)范規(guī)定像片旋角一般不大于15°，且隨著無人機技術(shù)的不斷發(fā)展，無人機飛行更加穩(wěn)定，序列相鄰影像之間的旋轉(zhuǎn)角可以忽略。實驗發(fā)現(xiàn)，在無人機序列相鄰影像匹配過程中，U-SURF算法可以獲取到更多的粗匹配點。

無人機影像中，高空間分辨率特征使得特征匹配異點同質(zhì)現(xiàn)象更為明顯，雙向匹配策略可以在很大程度上消除該影響，去除大量誤匹配點對。熊威等設(shè)置勞氏比例閾值為0.65，利用比值提純法篩選特征點[16]；SOURABH PAUL等對SAR影像采用交叉匹配策略進行初匹配，利用快速隨機一致性算法進行提純，計算局部仿射轉(zhuǎn)換模型剔除誤匹配點對[17]。為提高匹配點對的特征強度，U U-SURF算法中，設(shè)置比例閾值為0.6，并對匹配點對進行雙向匹配。

2.3 匹配點對均勻分布

研究表明，匹配點對空間分布對基礎(chǔ)矩陣的估計非常重要，保證匹配點的空間分布質(zhì)量有利于提高基礎(chǔ)矩陣評估的正確性，提高匹配正確率[18]。提出根據(jù)匹配點對的行列坐標值進行均勻分塊的方法，將待配準影像按一定的分塊間隔進行坐標區(qū)域分塊，每一塊中保留性能評價最高的匹配點，達到匹配點對的均勻分布。假設(shè)某坐標區(qū)域內(nèi)有m個特征點，以特征點的海森矩陣響應(yīng)值、鄰域信息熵和相似性距離歸一化加權(quán)和作為評價指標，響應(yīng)值表達特征點穩(wěn)定性，相似性距離大小表示匹配點對特征的相似性程度，而鄰域信息熵代表特征點周圍信息的豐富性。

記fj為區(qū)域內(nèi)每個特征點的得分值，Hj、Ej、Dj分別為特征點歸一化的響應(yīng)值、信息熵值和相似性距離，則

fj=WHHj+WEEj+(1-WH-WE)Dj，j=1，2，…，m

(5)

式中，WH、WE分別為特征點響應(yīng)值和鄰域信息熵的權(quán)重因子。

影像匹配的精度和魯棒性取決于同名點對的分布質(zhì)量，依據(jù)特征點的空間分布和信息可熵計算空間分布質(zhì)量(DQ)[19]，計算公式為

(6)

(7)

式(7)中，wi為第i個特征點的權(quán)重；以待配準影像中特征點的局部鄰域信息熵作為權(quán)重。

2.4 誤匹配點剔除

影像匹配精度取決于控制點的精度和分布質(zhì)量，為進一步提高同名點對的精度，需要進一步篩選?；A(chǔ)矩陣F可以描述兩幅影像之間的匹配關(guān)系，在空間幾何上反映點和直線的極線約束關(guān)系，其不受地物地形起伏的影響，可保留數(shù)量較多的匹配點。定義基礎(chǔ)矩陣與匹配點對之間的計算公式為

X′TFX=0

(8)

(9)

式(9)中，(x，y)為基準圖像的點；(x′，y′)為目標圖像的點；f11～f33是模型參數(shù)，一般采用8點法計算基礎(chǔ)矩陣。

為衡量提高匹配點對均勻分布質(zhì)量能否獲取穩(wěn)定性高的基礎(chǔ)矩陣，采用匹配正確率(CMR)對極線約束效果進行評價[20]。使用均方根誤差(RMSE)評價影像匹配精度，RMSE越小，表明匹配精度越高[21]。

3 仿真實驗及結(jié)果

3.1 實驗數(shù)據(jù)

選取4組不同地物類型的無人機序列影像進行實驗，各取1對相鄰影像進行匹配研究，影像詳細參數(shù)見表1， 4對影像的待匹配圖像見圖2。

表1 影像詳細參數(shù)

3.2 U-SURF算法與SURF算法對比結(jié)果

分別利用U-SURF算法和SURF算法進行特征匹配，統(tǒng)計其特征檢測點平均數(shù)量和粗匹配點數(shù)量，結(jié)果見圖3(a)?？梢悦黠@看出，U-SURF算法在4對不同地物類型的影像中粗匹配點數(shù)量均高于SURF算法，體現(xiàn)出無人機序列影像匹配中該方法的適用性。為進一步證明U-SURF算法提高匹配點數(shù)量的效果，從4組序列影像中各隨機選取20對相鄰影像進行初匹配，結(jié)果平均值見圖3(b)。忽略各組影像之間檢測點數(shù)量、粗匹配點數(shù)量的不一致性，僅對U-SURF算法和SURF算法粗匹配點數(shù)量進行對比，可認為U-SURF算法更適用于無人機序列影像特征匹配。

圖3 SURF、U-SURF算法粗匹配數(shù)量對比

3.3 U U-SURF算法影像匹配結(jié)果

以影像對c為例，分析U U-SURF算法在特征點均勻性分布、匹配點均勻性及配準精度等方面的優(yōu)勢。SURF算法、U U-SURF算法在待匹配影像中提取特征點的分布情況見圖4。可以看出，SURF算法提取的特征點集中在特征明顯的區(qū)域，道路、田地等紋理特征相似區(qū)域無特征點；而U U-SURF算法提取的特征點分布較均勻，即使在紋理信息缺乏或噪聲干擾較大的區(qū)域，也可以提取一定數(shù)量的特征點。

圖4 特征點分布情況

特征點提取之后，需要進行粗匹配、精匹配等過程并篩選出質(zhì)量好的同名點對，不同算法特征匹配效果對比見表2。U U-SURF算法參數(shù)設(shè)置：WG=200，N=10 000，WH=0.3，WE=0.3。

表2 不同算法特征匹配效果對比

從表2可以看出，“U U-SURF”算法控制特征提取數(shù)量，且低閾值雙向匹配會嚴格限制粗匹配點數(shù)量，均勻分塊策略在兼顧匹配點分布均勻性的同時，將每一塊內(nèi)加權(quán)分值最高的點保留，從而提高了匹配點對的空間分布質(zhì)量，得到的基礎(chǔ)矩陣更穩(wěn)定，提高了匹配正確率和匹配精度。

3.4 U U-SURF算法影像匹配對比結(jié)果

基于U-SURF算法和本文提出的“U U-SURF”算法，對4對不同類型的無人機影像匹配結(jié)果進行對比，設(shè)置影像分塊間隔200，U-SURF算法中海森矩陣閾值為800，“U U-SURF”算法閾值為100，控制特征點數(shù)量N=10 000，在雙向匹配約束后進行匹配點對均勻分塊提取的間隔為20，匹配結(jié)果見表3。

表3 不同地物類型影像匹配對比結(jié)果

由表3可知，相較于U-SURF算法，“U U-SURF”算法在4對不同類型的無人機序列相鄰影像匹配中都有一定程度的優(yōu)勢。

a對影像地物類型是地形復(fù)雜的山區(qū)，山脊溝谷線處灰度變化明顯，雙向匹配策略得到較為精確的匹配點，與SURF算法相比，匹配點對大幅度減少，但正確率提高6.2%，匹配精度提高0.064。

b對影像地形平坦，地表裸露，且地表受侵蝕有少量的坑，灰度變化不明顯，紋理特征十分相似，SURF算法特征檢測數(shù)量少，包含較多錯誤點對；而“U U-SURF”算法提高了檢測點數(shù)量，嚴格的篩選策略極大地提高匹配點的質(zhì)量和正確率，匹配正確率達到88.4%，匹配精度提高了0.041。

c對影像由大量低矮房屋覆蓋，中間有一條道路貫穿，兩側(cè)有小塊農(nóng)田、林地，房屋角點特征強度大，兩種算法匹配正確率接近，“U U-SURF”算法提高了匹配點的分布質(zhì)量，進而提高了匹配精度。

d對影像紋理特征弱，雙向匹配策略消除大量誤匹配點，分塊策略大幅提高了匹配點對的分布質(zhì)量，匹配精度提高了0.114。

為進一步驗證“U U-SURF”算法在無人機序列影像匹配中的適用性，分別從4組序列影像中隨機選取20對相鄰影像進行影像匹配實驗，結(jié)果均值見表4。

表4 不同序列影像在U U-SURF算法下匹配結(jié)果均值

4 結(jié)論

針對高分辨率無人機遙感影像匹配過程，在分析無人機影像特點的基礎(chǔ)上，提出一種均勻分布匹配點的“U U-SURF”算法。實驗分析得到以下結(jié)論。

(1)無人機序列影像特征匹配過程中，忽略特征點的主方向能夠提高匹配點對數(shù)量，以提高特征點區(qū)分性。

(2)“U U-SURF”算法可以在影像紋理信息缺乏的區(qū)域提取出特征點，并保證特征點的均勻分布，提高了匹配點對的空間分布質(zhì)量。

(3)“U U-SURF”算法在計算效率、匹配正確率、匹配精度等方面均有一定的優(yōu)勢，且對不同地物類型的影像均有較好的適應(yīng)性。