采用各向異性尺度空間的遙感圖像配準(zhǔn)*

李 宏，王 鵬，畢 波，唐錦萍

(1.東北石油大學(xué) a.電氣信息工程學(xué)院;b.數(shù)學(xué)與統(tǒng)計學(xué)院，黑龍江 大慶 163318；2.海南醫(yī)學(xué)院 公共衛(wèi)生學(xué)院，?？?571101；3.黑龍江大學(xué) 數(shù)據(jù)科學(xué)與技術(shù)學(xué)院，哈爾濱 150080)

0 引 言

圖像配準(zhǔn)是在不同的時間、不同的成像設(shè)備或不同的條件(天氣、光亮、相機位置和視角等)下對采集的兩個或多個圖像進行匹配的過程[1]，它是許多遙感任務(wù)(例如變化檢測、圖像拼接和環(huán)境監(jiān)控)必不可少的部分。不同于基于頻域的方法，空間域中的基于特征的方法[2]主要依賴于提取顯著特征。顯著特征是圖像域的子集，通常是獨立的點、連續(xù)曲線或連續(xù)區(qū)域[3-4]。

在基于特征的方法中，最經(jīng)典的算法是SIFT(Scale Invariant Feature Transform)，而基于SIFT的圖像配準(zhǔn)方法主要使用高斯濾波構(gòu)建尺度空間。因為高斯函數(shù)是各向同性，因此待配準(zhǔn)圖像的邊緣和細(xì)節(jié)同噪聲一樣變得模糊，關(guān)鍵點很難實現(xiàn)亞像素級別的準(zhǔn)確定位，所以特征描述子的區(qū)別度低。文獻(xiàn)[5]提出了KAZE算法，首次使用各向異性技術(shù)生成非線性尺度空間，檢測和描述性能優(yōu)于傳統(tǒng)的SIFT，但是使用Hessian算子需要計算每層尺度空間的二階梯度，對噪聲特別敏感。文獻(xiàn)[6]提出了加速KAZE(Accelerated-KAZE,AKAZE)算法，采用快速顯式擴散函數(shù)和二進制特征描述子，在保留KAZE優(yōu)良性能的同時加快了KAZE算法的計算時間。文獻(xiàn)[7]提出了基于多特征點的圖像配準(zhǔn)算法，聯(lián)合各向異性尺度空間和Harris角點響應(yīng)的策略，提高了魯棒性和亞像素級別的準(zhǔn)確定位。文獻(xiàn)[8]提出了一種結(jié)合SURF(Speeded-Up Robust Features)和AKAZE的改進算法，使用了Hessian算子和二進制特征描述子進行特征描述。文獻(xiàn)[9]提出了基于改進AKAZE的配準(zhǔn)算法，速度比AKAZE提高了50%且特征點也大幅增加，但是更適用于喀斯特地區(qū)的遙感圖像。文獻(xiàn)[10]提出了基于特征的圖像配準(zhǔn)的算法，利用改進的復(fù)合非線性擴散濾波策略和逐漸降低的多尺度金字塔空間分辨率及二進制代碼串匹配提高了準(zhǔn)確性和計算效率，但在計算和匹配二進制代碼串花費時間較長。

對于油田地區(qū)，有效掌握地面建筑物的實時位置及狀態(tài)信息對于油田生產(chǎn)的安全尤為重要。然而，油田遙感圖像中的建筑物的形狀不均勻，所以圖像配準(zhǔn)更加困難。

本文提出了一種基于各向異性尺度空間的遙感圖像配準(zhǔn)方法，使用了自適應(yīng)的側(cè)窗濾波來構(gòu)建各向異性尺度空間；接著選取了一種采用了改進的鄰域分塊思想進行特征描述；最后采用了一種增強的匹配算法進行匹配點過濾，提高了計算速度，得到了更多精確的匹配點。

1 基于多特征點的遙感圖像配準(zhǔn)算法

基于多特征點的遙感圖像配準(zhǔn)算法[7]主要由各向異性尺度空間生成、尺度空間特征點檢測、特征點描述符提取和特征點匹配[11]四個步驟構(gòu)成，其流程圖如圖1所示。

圖1 基于多特征點的遙感圖像配準(zhǔn)算法流程圖

1.1 梯度計算的原理

為了增加描述符對圖像亮度的顯著非線性差異的魯棒性，基于多特征點的遙感圖像配準(zhǔn)方法為高斯尺度空間中的每個像素給了梯度定義。首先，原算法通過Sobel濾波器計算高斯尺度空間圖像的梯度幅度為

(1)

(2)

(3)

1.2 各向異性尺度空間的生成

各向異性尺度空間將圖像的亮度擴散到非線性比例空間中，可以由各向異性擴散方程來描述。Weickert等人[12]引進了加性算子分裂(Additive Operator Splitting,AOS)算法進行求解各向異性擴散方程。

(4)

公式(4)就是AOS算法的根本思想，由于圖像是二維的，所以m=2。

各向異性技術(shù)的算法偽代碼如下：

Input：原始輸入圖像I，時間度量尺度值tn，n∈[0,1,…,S]，圖像的高度M和寬度N

Output：各向異性尺度空間圖像，其中Ln,n∈[0,1,…,S]

1對圖像I進行標(biāo)準(zhǔn)差為σ0的高斯濾波，并把濾波結(jié)果作為尺度空間第0層圖像L0

2按照下面過程迭代生成各向異性尺度空間：

3 forn=0,1,…,S-1

(3)計算擴散時間步長τ，其中τ=tn+1-tn

fori=0,…,M-1

end for

forj=0,1,…,N-1

end for

(6)由下面公式計算各向異性尺度空間第n+1層圖像Ln：

4 end for

5 輸出各向異性尺度空間圖像Ln,n∈[0,1,…,S]

1.3 局限性

由于大慶油田分布錯綜復(fù)雜，而油田遙感圖像中的建筑物形狀不均勻，因此，從任一種遙感影像數(shù)據(jù)中很難將復(fù)雜的油田圖像準(zhǔn)確、完整地提取出來。另外，遙感圖像中地物復(fù)雜，干擾因素較多，而且基于高分辨率遙感影像進行圖像配準(zhǔn)技術(shù)環(huán)節(jié)，每道工序?qū)z測的最后結(jié)果都有著重要的影響?；诙嗵卣鼽c的遙感圖像配準(zhǔn)方法應(yīng)用在無人機拍攝的油田遙感圖像上可以得到很好的精度，但是得到的特征點匹配對少，而且花費時間也較長。

2 基于各向異性尺度空間的遙感圖像配準(zhǔn)

本文對原算法的改進主要分以下幾個部分：

(1)基于各向異性技術(shù)，采用自適應(yīng)的側(cè)窗濾波思想，更好地保留了圖像邊緣，得到了更加穩(wěn)定的特征點；

(2)基于極坐標(biāo)的平面系統(tǒng)，采用環(huán)形和扇形結(jié)合的分塊思想，有效地降低了原算法中特征描述子的維度，縮短了在特征描述和特征匹配階段所花費的時間；

(3)基于RANSAC算法，提出了增強的匹配算法，增加了特征點匹配的數(shù)量，減少了運行時間。

2.1 自適應(yīng)的側(cè)窗濾波

基于窗口的操作是圖像處理中最常用的操作之一，傳統(tǒng)做法幾乎總是將窗口的中心與要處理的像素對齊，這種傳統(tǒng)觀點并非普遍適用。Yin等人[13]提出了新的側(cè)窗濾波方法(Side Window Filter,SWF)，可以將窗口的側(cè)面或角落與要處理的像素對齊。在圖像平滑、去噪、增強和保留結(jié)構(gòu)的紋理去除等應(yīng)用中，實施SWF方法可以顯著提高其邊緣保留能力并達(dá)到最好的性能。

SWF方法首先在自變量θ和r連續(xù)的情況下定義了側(cè)窗，如圖2(a)所示，θ為旋轉(zhuǎn)的窗口與水平線之間的角度，r是窗口的寬度，p∈{0,r},(x,y)是目標(biāo)像素i的位置。然后，通過改變θ并固定(x,y)，可以改變窗口的方向，同時將其側(cè)面與像素i對齊。

圖2 側(cè)窗的定義

(5)

SWF方法保留邊緣通過最小化目標(biāo)函數(shù)來實現(xiàn)，其目標(biāo)函數(shù)為

(6)

基于SWF方法實現(xiàn)了許多流行的線性和非線性濾波算法，所以可以顯著提高其邊緣保留能力?？紤]到SWF方法應(yīng)用在非線性濾波算法的顯著性和靈活性，改進的方法是，側(cè)窗的半徑采用每層的尺度計算的擴散時間步長，而非固定值。

SIFT方法中尺度空間有O組，每組S層，尺度空間以金字塔的形式存在。為了簡單起見，改進算法未對圖像執(zhí)行下采樣操作，即各向異性尺度空間中圖像的分辨率是一樣的。設(shè)尺度空間共S+1層，則各層圖像的尺度為

σn=σ02n/3,n∈[0,1,…,S]。

(7)

式中：σ0為尺度空間中第一層圖像的尺度。從公式(7)可以看出，和原SIFT算法相同，相鄰層圖像的尺度比是21/3。因為非線性擴散方程以時間進行的定義，因此把尺度值轉(zhuǎn)換為時間值，轉(zhuǎn)換公式為

(8)

各向異性尺度空間的構(gòu)建中采用了自適應(yīng)的窗口半徑，可以顯著提高其邊緣保留能力并達(dá)到最好的性能。側(cè)窗的半徑即時間步長，轉(zhuǎn)換公式為

τ=tn+1-tn。

(9)

本文采用自適應(yīng)的SWF方法構(gòu)建了各向異性擴散的尺度空間，相對于原算法對尺度空間中第n層圖像Ln做標(biāo)準(zhǔn)差σ恒為1的高斯濾波處理，更好地保留了圖像邊緣。針對特征檢測中得到的特征點多且重復(fù)度高的問題，改進的方法是在各向異性尺度空間提取到特征點后使用非極大值抑制。

2.2 改進的描述符

馬曉娟[14]總結(jié)了對三維模型采用網(wǎng)格劃分的特征提取算法，可以實現(xiàn)對三維模型進行不同形式的合理劃分。本文將三維模型網(wǎng)格劃分區(qū)域的思想應(yīng)用到二維鄰域劃分上，如圖3所示。

圖3 二維鄰域劃分圖

改進的方法是獲取關(guān)鍵點為圓心、半徑為R1=12σ的圓形鄰域，然后把取得的鄰域劃分為3個區(qū)域和9個子區(qū)域的對數(shù)極坐標(biāo)網(wǎng)格生成特征描述子。特征點的圓形鄰域的區(qū)域劃分如圖4所示，其中R2/R1=0.73，R3/R1=0.25,此時圓形鄰域的9個子區(qū)域有近似一致的面積。每個小型區(qū)域形成一個8維的梯度幅度和方向直方圖，因此最后改進的描述子是72維。

圖4 新的描述符的鄰域圖

改進算法的特征描述子的維度由原來的136維下降到了現(xiàn)在的72維，明顯降低了描述子的維度。由于遙感圖像一般有很多局部一致性，所以相較整幅圖像，區(qū)域劃分的思想對視角變換有較好的優(yōu)勢：增加的鄰域信息使得特征描述符更穩(wěn)定，為后期圖像匹配的準(zhǔn)確性提供了保證。

2.3 增強的特征匹配

在特征匹配過程中，諸如規(guī)則化最小二乘之類的核方法基函數(shù)的數(shù)量等于訓(xùn)練樣本的數(shù)量N。因此，匹配過程在時間和空間上復(fù)雜度分別為O(N3)和O(N2)，當(dāng)要匹配的特征點較多時，增加了計算量。周榮榮等人[15]提出了SAR配準(zhǔn)算法，把向量場共識(Vector Field Consensus,VFC)算法[16]在模擬和真實的山地SAR圖像的關(guān)鍵點配準(zhǔn)，獲得了很高的匹配正確率。

稀疏向量場共識(Sparse VFC)算法[17]由期望最大化算法(Expectation Maximization,EM)可以得到完全對數(shù)后驗Q(θ,θold)，即

(10)

Sparse VFC算法偽代碼如下：

Input：訓(xùn)練集S={(xn,yn),x∈RP,y∈RD,n∈NN}，N為訓(xùn)練集的數(shù)量，核矩陣Γ，正則化常數(shù)λ，基函數(shù)數(shù)量M，潛在變量zn

Output：向量場f，內(nèi)在點對集合T

1初始化a,β,γ,V=ODN×1,P=IM×N,σ2,ε

Γ(xi,xj)=e-β‖xi,xj‖2(ωID×D+(1-ωD)ID×D),

3 Repeat

(1)EM中E-step

通過貝葉斯定理計算后驗概率分布pn=P(zn=1|xn,yn,θold)，計算對角矩陣P=diag(p1,p2,…,pN)，pn表示樣本n與當(dāng)前向量場f相一致的程度:

(2)M-step

①通過下面的公式求解線性系統(tǒng)更新C，計算向量場f:

②使用vn=(f(x1)T,…,f(xN)T)T更新V:

③使用稀疏近似最大化對數(shù)似然函數(shù)估計θnew=argmaxθQ(θ,θold)更新σ2和γ。對Q(θ)分別求解σ2和γσ2的偏導(dǎo)，并令其結(jié)果為0，可求得σ2和γ，tr(·)表示矩陣的跡：

Q(θ)=log(p(Y|X,θ)p(f))

4 Until目標(biāo)函數(shù)Q(θ)收斂，收斂準(zhǔn)則為Q(θ)<ε

5 向量場f由②中的公式?jīng)Q定，內(nèi)在點對集合是T={n:pn>τ,n∈RN}，其中τ是預(yù)定義的閾值

提出的增強的特征點匹配步驟如下：

Step1 首次匹配：特征點通過對應(yīng)描述符的最小和次小的反余弦之比進行初始匹配，首先獲得初始匹配點對集P0。

Step2 再次匹配：Sparse VFC算法用于從點對集P0中刪除錯誤匹配點，然后得到特征點對集P1。

Step3 三次匹配：RANSAC算法用于從點對集P1中刪除錯誤匹配點并計算初始變換參數(shù)μ，最后獲得特征點對集合P2。

3 實驗與分析

3.1 實驗數(shù)據(jù)及預(yù)處理

本文進行兩組實驗。

遙感圖像對A為多光譜遙感圖像對P-A[18-19]；參考圖像是從Landsat-7 ETM+衛(wèi)星于2000年7月24日拍攝的多光譜遙感圖像中提取的第5頻段圖像，分辨率是614 pixel×611 pixel；待配準(zhǔn)圖像是從Landsat 4-5TM衛(wèi)星在1996年6月28日拍攝的多光譜圖像中提取的第三頻段圖像，分辨率為614 pixel×611 pixel。為了增加圖像的復(fù)雜度，把待配準(zhǔn)圖像順時針旋轉(zhuǎn)90°。由于兩幅圖像來自不同的傳感器和不同的頻段，因此圖像中相同區(qū)域的像素灰度存在顯著的非線性差異。

遙感圖像對B使用無人機拍攝獲取，無人機采用索尼DSC-RX1RM2相機(焦距為35 mm)，拍攝的單張圖像為7 952 pixel×5 304 pixel。遙感區(qū)域為大慶油田喇嘛甸地區(qū)，并對采集得到的照片進行處理，最后得到了管線正射原始數(shù)據(jù)的圖像。由于無人機拍攝的油田遙感圖像分辨率太大，使得程序無法直接處理，所以，我們先進行雙三次插值把分辨率縮小為900 pixel×600 pixel。B組中參考圖像和待配準(zhǔn)圖像的建筑物形狀不均勻且灰度存在顯著差異。

3.2 評估標(biāo)準(zhǔn)

主觀評價通過視覺對匹配參數(shù)精度進行評估，容易受到人為因素的影響；而客觀評價標(biāo)準(zhǔn)通過數(shù)字對匹配參數(shù)進行評估，因此會更具有說服力，通常選用正確匹配的點對個數(shù)、正確率和均方根誤差(Root Mean Square Error,RMSE)對參數(shù)精度進行衡量。

3.2.1 正確匹配的點對個數(shù)和正確率

正確匹配的點對個數(shù)越多，匹配算法計算得到的相似變換的參數(shù)就越準(zhǔn)確，因此可以把正確匹配點對個數(shù)作為算法性能評價標(biāo)準(zhǔn)[20]。正確匹配個數(shù)和算法初始檢測到的特征點個數(shù)有關(guān)，而一般情況下增加初始檢測到的點個數(shù)會增加最后正確匹配點對個數(shù)，但是正確率會相應(yīng)下降，因此為了評價標(biāo)準(zhǔn)的有效性，需要對比算法和本文提出的算法正確匹配點對個數(shù)和正確率一起比較。

3.2.2 均方根誤差

(11)

3.3 實驗過程及結(jié)果

為了評估算法的有效性，我們進行了A組和B組實驗，并將改進算法與原算法及其他主流算法(如SAR-SIFT[19]、KAZE[5])進行了比較。SAR-SIFT算法是針對SAR圖像配準(zhǔn)設(shè)計的，而KAZE算法首次使用各向異性技術(shù)進行圖像配準(zhǔn)，是比較經(jīng)典的算法。這些算法在Matlab R2018b下使用Intel Core i3-3220 @ 3.30 GHz 雙核處理器、8 GB 1600 MHz物理內(nèi)存和AMD Radeon HD 6700 Series(1 GB/藍(lán)寶石)顯卡來實現(xiàn)。

按照圖1的算法流程圖開始實驗，步驟如下：

Step1 采用SWF方法生成8層各向異性尺度空間，其中擴散時間步長由公式(9)計算得到。

Step2 在Step 1生成的尺度空間中計算Harris響應(yīng)，若實際計算的角點響應(yīng)值R大于常量閾值0.8且大于其附近8鄰域內(nèi)其他點的角點響應(yīng)，則該像素點為特征點，把該點保存；接著在各向異性尺度空間同一層使用非極大值抑制，非極大值抑制的區(qū)域半徑設(shè)置為3。Harris算子和角點響應(yīng)函數(shù)分別見公式(12)和(13):

(12)

R(X,σn)=det(u(X,σn))-D·tr(u(X,σn))2。

(13)

Step3 以Step 2中得到的特征點為鄰域中心，采用新的描述符對Step 1中的尺度空間進行極坐標(biāo)劃分，分別對9個區(qū)域統(tǒng)計梯度幅度和方向直方圖，生成新的72維描述符。

Step4 對參考圖像和待配準(zhǔn)圖像經(jīng)過Step 1～3后得到的兩組特征點進行增強的特征匹配。首次匹配中反余弦比的閾值設(shè)置為0.9；再次匹配中Sparse VFC算法參數(shù)設(shè)置為,a=10，γ=0.9，λ=3，τ=0.75，ε=1×10-5,M=16；三次匹配中，RANSAC算法亞像素精度的誤差閾值設(shè)置為2。

為加強不同算法的對比，本文調(diào)整了對比算法的首次匹配中歐幾里得距離之比的閾值和改進算法的反余弦之比的閾值，保證了不同的對比算法提取的參考圖像/待匹配圖像特征點數(shù)量大致相同。兩組實驗的對比算法的特征點匹配結(jié)果以連線的形式顯示，A組實驗結(jié)果見圖5，B組實驗結(jié)果見圖6。

圖5 A組不同算法的特征匹配效果圖

圖6 B組不同算法的特征匹配效果圖

為進一步定量描述算法，本文統(tǒng)計了不同對比算法的特征點數(shù)量、匹配對數(shù)量、正確匹配對數(shù)量、正確匹配率、RMSE以及算法的運行總時間的數(shù)據(jù)，A組和B組統(tǒng)計結(jié)果見表1。為保證算法的效果，所有算法執(zhí)行10次，以10次時間的平均值作為最終結(jié)果。

表1 兩組不同算法實驗結(jié)果

3.4 實驗結(jié)果分析

觀察圖5可以看出，在A組實驗中，SAR-SIFT算法效果很差，其他算法得到的匹配點大都分布在圖像的凹凸明顯和黑暗明顯的交界處。通過圖6可以看出，在B組配準(zhǔn)中，各種算法得到的匹配點大都分布在建筑物角點附近和顏色突變較大的地方；前三種算法得到的匹配對都分布在待配準(zhǔn)圖像的右側(cè)，而改進后的算法得到的匹配對左右兩側(cè)分布均勻，而且可以清楚看到改進后的算法的匹配線也比前三種算法的更加密集，特別是在大廠房旁邊的角點進行了較好的匹配。因此，結(jié)果證明了改進算法可以明顯的改善匹配效果。

從表1中的各項統(tǒng)計指標(biāo)分析可知，在A組配準(zhǔn)中，SAR-SIFT算法配準(zhǔn)失敗，改進算法和原算法匹配準(zhǔn)確度和精度都較高，明顯高于KAZE算法，但是改進算法與原算法相比，不但增加了正確匹配對的數(shù)量，而且明顯減少了運行時間;在B組配準(zhǔn)中，與其他三種算法相比，改進算法的匹配正確率和配準(zhǔn)精度都最高，而且與原算法相比，不但大大增加了正確匹配對的數(shù)量，而且提高了正確匹配率，明顯減少了運行時間。

由以上分析可知，A組和B組的配準(zhǔn)結(jié)果都驗證了改進算法的有效性。

4 結(jié)束語

本文針對基于多特征點的遙感圖像配準(zhǔn)算法應(yīng)用在無人機遙感圖像上存在正確匹配點數(shù)量相對較少特別是運行時間長的問題，提出了改進算法。該算法首先使用自適應(yīng)的側(cè)窗濾波技術(shù)構(gòu)建了各向異性尺度空間，顯著地保留了圖像的邊緣；然后使用一種新型的描述符，減少了特征描述子的維度；最后使用一種更加魯棒性的匹配點過濾算法，得到了更多精確的匹配點同時也保證了配準(zhǔn)精度。實驗結(jié)果表明，該算法在正確匹配對的數(shù)量、匹配的精度和時間方面顯示出比原算法和其他主流算法更好的性能。

增強的匹配點過濾雖然明顯改善了原算法，但正確率仍有待提高，這也是今后研究的重點。