一種用于多視角雷達(dá)圖像配準(zhǔn)的改進(jìn)RIFT算法

李焱磊 劉靜博 劉文成 劉云龍 郭宇豪 王明明 梁興東

（1.中國科學(xué)院空天信息創(chuàng)新研究院微波成像技術(shù)國家級重點實驗室，北京 100190；2.中國科學(xué)院大學(xué)電子電氣與通信工程學(xué)院，北京 100049）

1 引言

雷達(dá)圖像配準(zhǔn)是景象匹配導(dǎo)航［1］、圖像融合［2］、三維成像［3］等很多應(yīng)用中的關(guān)鍵步驟，其主要任務(wù)是求解不同時間、不同傳感器或不同視角獲取的多幅圖像間的幾何變換關(guān)系。目前，圖像配準(zhǔn)主要可以分為基于區(qū)域和基于特征的兩類方法［4］。由于雷達(dá)獨特的側(cè)視和相干成像機制，其圖像中存在局部非線性幾何畸變和相干斑噪聲，這使得基于區(qū)域的方法計算量大且容易產(chǎn)生局部極值［5］；與其相比，基于特征的方法計算量更小、魯棒性更強，在雷達(dá)圖像配準(zhǔn)中應(yīng)用更為廣泛［5-10］。

尺度不變特征變換［11］（Scale-Invariant Feature Transform，SIFT）是最經(jīng)典的基于特征的匹配方法，SIFT 對尺度、旋轉(zhuǎn)的不變性以及對光照變化的魯棒性，使其適用于多種不同類型的應(yīng)用。目前，大量圖像配準(zhǔn)算法是以SIFT 為基礎(chǔ)提出的［12-14］。在雷達(dá)圖像配準(zhǔn)領(lǐng)域，文獻(xiàn)［5］利用雙邊濾波器替代SIFT 算法中的高斯差分算子進(jìn)行尺度空間構(gòu)建，在雷達(dá)圖像中實現(xiàn)特征點準(zhǔn)確檢測；文獻(xiàn)［6］使用指數(shù)加權(quán)均值比算子改進(jìn)了SIFT 算法中的梯度計算方式，實現(xiàn)了雷達(dá)圖像的魯棒性配準(zhǔn)。

由于雷達(dá)的側(cè)視成像機制，同一目標(biāo)在不同視角的雷達(dá)圖像間可能存在明顯的特征差異。尤其在目標(biāo)相對于地面存在高程變化時，雖然現(xiàn)有技術(shù)可以利用數(shù)字高程模型校正圖像中的幾何失真，但在不同觀測角度下，同一目標(biāo)會表現(xiàn)出不同的散射特性，并對不同方向、大小的區(qū)域產(chǎn)生遮擋，即在不同視角的圖像間存在非線性輻射畸變和不同的陰影特征。基于圖像灰度梯度信息的SIFT 類配準(zhǔn)算法在非線性輻射畸變和陰影差異的影響下，算法性能會出現(xiàn)大幅下降，無法穩(wěn)定準(zhǔn)確地完成多視角雷達(dá)圖像配準(zhǔn)。但是，在雷達(dá)圖像匹配導(dǎo)航等實際應(yīng)用中，多視角雷達(dá)圖像配準(zhǔn)是其無法避免的關(guān)鍵任務(wù)。同時，地表附屬物豐富的區(qū)域圖像紋理更加明顯，與平坦地區(qū)相比可以檢測出更多特征點，配準(zhǔn)時更加關(guān)注這樣的區(qū)域。因此，需要引入其他先進(jìn)概念，研究對非線性輻射畸變和陰影差異具有魯棒性的圖像配準(zhǔn)算法。

圖像的灰度強度與灰度梯度信息對非線性輻射畸變十分敏感，相比之下，相位一致性（Phase Congruency，PC）特征與振幅無關(guān)［15］，當(dāng)圖像間存在輻射畸變時，其能夠提供更魯棒的特征檢測與特征描述結(jié)果?；谙辔灰恢滦阅Ｐ停墨I(xiàn)［16］提出了相位一致性方向直方圖（Histogram of Orientated Phase Congruency，HOPC），并在此基礎(chǔ)上定義了相應(yīng)的相似性度量，實現(xiàn)了多模態(tài)圖像的配準(zhǔn)，但其本質(zhì)上是基于區(qū)域的匹配方法。文獻(xiàn)［17］結(jié)合機器視覺中經(jīng)典的矩分析方法實現(xiàn)了基于PC 的特征點檢測，同時考慮到PC 易受噪聲影響無法準(zhǔn)確描述特征，選擇構(gòu)建最大索引圖實現(xiàn)特征描述。但是，這種特征描述方法丟失了幅值、實部虛部關(guān)系等大量信息，容易產(chǎn)生錯誤匹配。除此之外，文獻(xiàn)［18］提出了一種多尺度自適應(yīng)分區(qū)相位一致性描述符，以應(yīng)對圖像間的幾何變形與輻射畸變；文獻(xiàn)［19］通過不同尺度上的最小PC矩提取圖像中特征點，并使用相位一致性幅值與方向?qū)μ卣髅枋龇M(jìn)行構(gòu)建。然而由于圖像間顯著的輻射差異與陰影差異，將這些算法直接應(yīng)用于多視角雷達(dá)圖像配準(zhǔn)時性能十分有限。

針對不同視角雷達(dá)圖像存在不同陰影特征的問題，文獻(xiàn)［20］利用數(shù)字高程模型（Digital Elevation Model，DEM），通過計算雷達(dá)視線與地面的相交次數(shù)對陰影區(qū)域進(jìn)行檢測，并在之后的匹配過程中為陰影區(qū)域增加掩膜，僅對非陰影區(qū)域進(jìn)行匹配。文獻(xiàn)［21］提出在大視角差異和地形起伏下提取山脊關(guān)鍵點，并使用關(guān)鍵點集的拓?fù)浣Y(jié)構(gòu)迭代實現(xiàn)關(guān)鍵點匹配，從而實現(xiàn)不同視角山區(qū)雷達(dá)圖像的匹配。盡管取得了顯著的成果，但上述方法均會受到應(yīng)用場景的限制；當(dāng)陰影區(qū)域是由房屋、樹木等低矮地表附屬物產(chǎn)生時，算法無法提取圖像間的不變特征，進(jìn)而無法實現(xiàn)多視角雷達(dá)圖像的配準(zhǔn)。

綜上，為了實現(xiàn)存在豐富地表附屬物的城鎮(zhèn)、村莊等區(qū)域的多視角雷達(dá)圖像配準(zhǔn)，本文在RIFT的基礎(chǔ)上，從提取視角不變特征和掩蓋陰影差異的角度提出了一種改進(jìn)RIFT算法。首先，本文設(shè)計了一種多特征描述方法，利用log-Gabor 濾波器實部和虛部的空間域性質(zhì)對兩種不同特征分別生成特征向量并進(jìn)行匹配，使單一的特征變化不再對配準(zhǔn)產(chǎn)生影響，增強算法對非線性輻射畸變的魯棒性；其次，針對多視角雷達(dá)圖像間陰影特性不同的問題，本文利用特征計算的中間結(jié)果對圖像的陰影區(qū)域進(jìn)行檢測，并根據(jù)檢測結(jié)果為特征向量添加掩模，最大限度地保留不隨視角變化的特征信息。經(jīng)過實驗驗證，本文所提方法能更有效地處理多視角雷達(dá)圖像間的輻射畸變與陰影差異，實現(xiàn)圖像的精確配準(zhǔn)。

2 RIFT算法在多視角條件下配準(zhǔn)性能分析

2.1 RIFT算法原理

RIFT 算法針對圖像間存在非線性輻射畸變的多模態(tài)遙感圖像配準(zhǔn)問題提出。區(qū)別于使用圖像強度或梯度信息的傳統(tǒng)特征匹配方法（如SIFT等），RIFT 算法采用相位一致性模型，得到圖像中對光照、對比度變化不敏感的頻域特征信息，并在此基礎(chǔ)上進(jìn)行圖像特征檢測與描述，從而提高算法對非線性輻射畸變的魯棒性，實現(xiàn)多模態(tài)圖像的精確配準(zhǔn)。RIFT 算法主要流程包括：特征檢測、特征描述和特征匹配三部分；其中，特征檢測和特征描述方法是其區(qū)別于傳統(tǒng)算法且擁有良好性能的關(guān)鍵。

（1）特征檢測

首先，使用二維log-Gabor 濾波器（2 Dimensional Log-Gabor Function，2D-LGF）對圖像進(jìn)行卷積，得到圖像頻率響應(yīng)。2D-LGF 的空間域表達(dá)式可以寫為［16］：

其中，濾波器的實部分量(x，y) 和虛部分量(x，y)分別被稱為偶對稱log-Gabor 小波和奇對稱log-Gabor 小波。對于給定圖像I(x，y)，利用2DLGF與圖像進(jìn)行卷積運算：

得到圖像在尺度s和方向o上的振幅分量Aso(x，y)與相位分量φso(x，y)。

然后，利用相位一致性模型［4］求得相位一致性特征PC與方向o之間的關(guān)系：

式中，ωo(x，y)為加權(quán)參數(shù)；T為噪聲補償項；ξ是為了防止分母為零而設(shè)置的常量；·運算符中的值為負(fù)值時結(jié)果等于零，否則等于其本身；ΔΦso(x，y)為相位偏差函數(shù)。

最后，RIFT 算法根據(jù)相位一致性定義，參考經(jīng)典的矩分析方法［22］，得到能夠表征圖像角點特征與邊緣特征的最小矩圖和最大矩圖，并通過FAST、Harries等檢測算法實現(xiàn)圖像中的特征點檢測。

（2）特征描述

特征描述主要包括特征計算和特征向量生成兩部分。在特征計算過程中，RIFT 使用log-Gabor卷積結(jié)果構(gòu)建最大索引圖（Maximum Index Map，MIM），進(jìn)而對特征進(jìn)行描述。首先，計算圖像在Ns個尺度的幅值響應(yīng)之和Ao(x，y)。

對于圖像的每個像素(xi，yj)，可以得到表示圖像頻域幅值響應(yīng)與方向關(guān)系的No× 1 維向量，其中，Ns和No分別為濾波器的尺度和方向數(shù)量。找到該向量最大值A(chǔ)max(xi，yj)所對應(yīng)的方向索引ωmax，并將該值作為MIM 中(xi，yj)位置的像素值，即可得到整幅圖像的MIM。

在特征向量生成階段，對于每個特征點，選擇以特征點為中心、大小為J×J的局部鄰域，并使用標(biāo)準(zhǔn)差為J/2 的高斯函數(shù)對鄰域像素進(jìn)行加權(quán)。RIFT 算法將局部鄰域劃分為6 × 6 個子網(wǎng)格，在每個子網(wǎng)格中對MIM 進(jìn)行統(tǒng)計以構(gòu)建最大索引分布直方圖。最后通過拼接所有子網(wǎng)格的直方圖獲得特征向量。

2.2 多視角條件下配準(zhǔn)性能分析

由于雷達(dá)復(fù)雜的成像機制和成像方法，同一目標(biāo)在不同視角的雷達(dá)圖像中可能存在明顯的特征差異，使得多視角雷達(dá)圖像配準(zhǔn)一直是一項富有挑戰(zhàn)性的工作。圖1中給出了不同視角下同一區(qū)域的成像結(jié)果，圖中紅色箭頭指示了雷達(dá)照射方向。通過觀察紅色方框內(nèi)的圖像特征，可以明顯看出A1、A2區(qū)域和其對應(yīng)的B1、B2區(qū)域在不同視角下的特征差異，雷達(dá)從兩個相對的方向分別觀測到了目標(biāo)的不同側(cè)面。這類不同視角間的輻射畸變對匹配算法有很強的誤導(dǎo)性［23］。

圖1 不同視角下目標(biāo)的散射特性差異Fig.1 Difference of target characteristics from different views

除此之外，由于雷達(dá)的斜視成像機制，存在高程起伏的目標(biāo)還會對周圍的目標(biāo)產(chǎn)生遮擋，在圖像中形成陰影區(qū)域。如圖2 所示，圖中紅色箭頭指示了雷達(dá)照射方向，由于雷達(dá)照射方向不同，同一目標(biāo)會對不同區(qū)域造成遮擋，進(jìn)而在圖像間形成了紅色方框內(nèi)存在差異的陰影區(qū)域。這些特征差異會使圖像配準(zhǔn)變得更加困難。

圖2 不同視角下目標(biāo)的陰影差異Fig.2 Shadow difference of targets from different views

針對多視角雷達(dá)圖像配準(zhǔn)中存在的問題，通過開展RIFT算法配準(zhǔn)實驗，對其在多視角條件下的性能進(jìn)行分析。

首先，在特征檢測階段，由于圖像陰影區(qū)域與非陰影區(qū)域灰度差異較大，陰影邊緣像素具有較大的灰度梯度，SIFT 等基于灰度梯度的配準(zhǔn)算法會將很多陰影邊緣像素檢測為特征點。由于不同視角下雷達(dá)圖像間的陰影區(qū)域存在差異，這些特征點在待配準(zhǔn)圖像間很難建立正確匹配，過多的錯誤匹配將會給后續(xù)去除離群點過程帶來嚴(yán)重干擾，最終導(dǎo)致該類算法無法給出正確的圖像配準(zhǔn)結(jié)果。

RIFT 算法的特征檢測結(jié)果如圖3 所示。觀察同一區(qū)域的最大矩圖與最小矩圖，陰影邊緣和陰影內(nèi)部像素幅值很低，其不會被檢測為特征點。RIFT算法的特征計算方法對陰影邊緣不敏感，能夠有效避免此類不存在正確匹配的特征點對匹配造成干擾。與此同時，房屋、道路等隨視角變化較小的紋理特征在最大矩圖與最小矩圖中擁有較高幅值，被檢測為圖像特征點。相較于基于灰度梯度的圖像配準(zhǔn)算法，RIFT算法能夠有效地避免陰影區(qū)域的影響，對圖像中的特征點進(jìn)行準(zhǔn)確檢測，因此選擇改進(jìn)該算法以實現(xiàn)多視角雷達(dá)圖像的配準(zhǔn)。

圖3 基于相位一致性的RIFT算法特征檢測結(jié)果Fig.3 RIFT feature detection results

在特征描述階段，由于圖像中大部分相位一致性接近于零且易受噪聲干擾，RIFT采用MIM對特征向量進(jìn)行構(gòu)建并根據(jù)特征點間MIM 的相似性進(jìn)行特征匹配。但是，如圖4 所示，以圖像中A1與B1、A2與B2為例，同一區(qū)域在不同視角下分別表現(xiàn)出明顯的陰影特征差異和非線性輻射畸變，使這些區(qū)域的MIM 存在巨大差異，進(jìn)而會導(dǎo)致同一目標(biāo)在兩幅圖像中會產(chǎn)生不同的特征向量，無法形成有效匹配。

圖4 RIFT算法特征計算結(jié)果Fig.4 RIFT feature calculation results

綜上，為了能夠在不同視角的雷達(dá)圖像間建立正確、穩(wěn)定的匹配關(guān)系，還需要在RIFT 算法基礎(chǔ)上進(jìn)行改進(jìn)，解決以下兩點問題：

1）不同視角下同一目標(biāo)不同的散射特性導(dǎo)致配準(zhǔn)算法計算得到的圖像特征不一致，進(jìn)而使得同一目標(biāo)在兩幅圖像中產(chǎn)生不同的特征向量，無法形成有效匹配；

2）當(dāng)目標(biāo)特征鄰域內(nèi)存在陰影區(qū)域時，不同視角雷達(dá)圖像間的陰影區(qū)域差異會導(dǎo)致目標(biāo)在兩幅圖像中產(chǎn)生不同的特征描述，進(jìn)而使得同一目標(biāo)在兩幅圖像中產(chǎn)生不同的特征向量，無法形成有效匹配。

3 基于多特征描述與陰影感知的改進(jìn)RIFT算法

3.1 多特征描述

RIFT 算法使用圖像與2D-LGF 卷積結(jié)果構(gòu)建MIM，進(jìn)而對特征點的特征進(jìn)行描述。通過上文分析可知，在雷達(dá)圖像中，同一目標(biāo)在圖像中的特征可能會隨視角變化而改變，不同視角下同一目標(biāo)的MIM 不具有相似性，利用其構(gòu)建的特征向量同樣存在較大差異，導(dǎo)致無法形成正確匹配。

根據(jù)RIFT 算法原理，MIM 基于圖像濾波后的幅值響應(yīng)構(gòu)建，其中每個元素的值等于幅值響應(yīng)序列最大值的索引。算法沒有充分利用log-Gabor 濾波器實部、虛部卷積結(jié)果的全部信息以應(yīng)對圖像間非線性畸變，當(dāng)卷積結(jié)果的實部或虛部任一響應(yīng)發(fā)生變化時就會導(dǎo)致特征向量發(fā)生變化。當(dāng)圖像間非線性畸變嚴(yán)重時，繼續(xù)使用MIM 進(jìn)行特征描述會導(dǎo)致正確匹配點數(shù)減少甚至產(chǎn)生錯誤匹配，最終使得算法擬合得到的圖像幾何變換關(guān)系誤差增大，圖像無法準(zhǔn)確對齊，如圖5（a）、（b）所示。

針對此問題，本文提出了基于2D-LGF 卷積結(jié)果的多特征描述方法，利用偶對稱log-Gabor 小波和奇對稱log-Gabor 小波的空間域性質(zhì)對雷達(dá)圖像中兩種不同特征進(jìn)行提取并分別構(gòu)建特征向量用于特征匹配，使單一的特征變化不再影響特征向量生成，增強算法對目標(biāo)散射特性變化的魯棒性。具體做法如下所示：

一維log-Gabor 濾波器的傳遞函數(shù)在頻域中被定義為：

其中，ω0是濾波器的中心頻率，σω是濾波器的帶寬參數(shù)，一般通過逆傅里葉變換得到濾波器的空間域參數(shù)。一維奇對稱log-Gabor 小波和偶對稱log-Gabor 小波的空間域形狀如圖6（a）、（b）所示，其形狀分別與圖像處理中的梯度算子和拉普拉斯算子相似，在合適的尺度下能夠?qū)D像中灰度階躍和灰度突起產(chǎn)生較大的響應(yīng)，實現(xiàn)對不同特征的提取，如圖6（c）、（d）所示。由于2D-LGF 可以通過一維log-Gabor 濾波器在不同角度進(jìn)行高斯擴展獲得［24］，二維奇對稱log-Gabor 小波和偶對稱log-Gabor 小波同樣可以實現(xiàn)對圖像中兩種不同特征的提取。

圖6 log-Gabor小波空間域性質(zhì)Fig.6 Properties of log-Gabor wavelet in space domain

基于上述性質(zhì)，改進(jìn)RIFT算法特征向量生成方法如圖7所示。

圖7 改進(jìn)RIFT算法特征向量生成方法Fig.7 Feature vector generation method

對于給定的圖像I(x，y)，首先需要將圖像與2D-LGF 進(jìn)行卷積以獲得奇對稱log-Gabor 小波和偶對稱log-Gabor 小波的響應(yīng)eso(x，y)和oso(x，y)；然后在每個方向o上，分別將所有尺度得到的響應(yīng)進(jìn)行累加，得到實卷積序列E0(x，y)與虛卷積序列Ο0(x，y)。

最后，在兩組卷積序列各像素位置(xi，yj)處找到的最大值max(E0)和max(O0)用以分別構(gòu)建“奇特征圖”與“偶特征圖”，并在兩幅特征圖中生成針對不同特征的兩組特征向量。

選取兩張地面紋理信息豐富的不同視角雷達(dá)圖像，利用本文提出的多特征描述方法對其進(jìn)行匹配的結(jié)果如圖8 所示。進(jìn)行配準(zhǔn)測試時，與RIFT 算法相比，除特征描述方法外其余均保持一致。從匹配結(jié)果中我們可以看到，相較于圖5 中RIFT 算法的圖像配準(zhǔn)結(jié)果，本文提出的方法能夠得到數(shù)量更多、更精確的匹配點集，配準(zhǔn)后圖像紋理特征能夠得到更好的對齊效果，這表明多特征描述方法適用于解決多視角雷達(dá)圖像問題中的非線性輻射畸變問題，對該問題擁有更高的魯棒性。

圖8 多特征描述方法多視角雷達(dá)圖像配準(zhǔn)結(jié)果Fig.8 Multi-view radar image registration results of multi-feature description

3.2 基于陰影感知的特征向量生成

除了可能變化的散射特性外，不同視角的雷達(dá)圖像間還存在陰影區(qū)域的差異，這類差異同樣會導(dǎo)致目標(biāo)在兩幅圖像中產(chǎn)生不同的特征向量，使算法無法在多視角圖像間建立有效的匹配關(guān)系。

在不同視角下，同一目標(biāo)的特征鄰域示意圖如圖9 所示，為了方便描述，設(shè)置子鄰域數(shù)量為4 × 4，該目標(biāo)在兩個視角下的子鄰域分別為a1～a16、b1～b16。從地面紋理信息可以明顯看出兩幅圖像為相同區(qū)域，但是因為受到目標(biāo)陰影的影響，a6，a7，a10，a11與b6，b7，b10，b11四個對應(yīng)位置子鄰域中的特征存在巨大差異；其他子鄰域由于沒有受到陰影影響，基本擁有相同的特征。如果采用RIFT 的特征向量生成方法，利用全部子鄰域生成特征向量進(jìn)行匹配，存在差異的子鄰域?qū)刹痪邆湎嗨菩缘奶卣飨蛄?，進(jìn)而導(dǎo)致出現(xiàn)錯誤匹配，影響圖像的配準(zhǔn)精度。

圖9 不同視角下同一目標(biāo)的特征鄰域示意圖Fig.9 Local image patch of the same object from different views

因此，為了解決陰影區(qū)域給多視角雷達(dá)圖像配準(zhǔn)帶來的問題，本文提出了基于陰影感知的特征向量生成方法，通過圖像陰影檢測的方法標(biāo)記陰影像素，并為受陰影影響嚴(yán)重子鄰域生成的特征向量施加掩膜，保留其他子鄰域生成的特征向量進(jìn)行后續(xù)匹配。具體流程如下所示。

首先，對圖像中的陰影區(qū)域進(jìn)行檢測。由于陰影區(qū)域灰度很低，經(jīng)高斯濾波后，存在陰影的雷達(dá)圖像的像素灰度分布曲線相較于無陰影圖像在低灰度區(qū)存在明顯失真［25］。受該思路的啟發(fā)，我們在研究中發(fā)現(xiàn)：當(dāng)雷達(dá)圖像中存在陰影時，經(jīng)2D-LGF濾波得到幅值分量序列Ao(x，y)（歸一化至[0，128]）同樣會在低灰度區(qū)存在失真現(xiàn)象，如圖10所示。

圖10 不同雷達(dá)圖像的幅值分量分布Fig.10 Amplitude component distribution of different radar images

其中，失真是指濾波得到的幅值分量分布曲線中某一區(qū)域的形狀不符合整體變化趨勢。在曲線的失真區(qū)域，對應(yīng)幅值分量大小的像素數(shù)量幾乎停止增加甚至減少。也就是說，在失真區(qū)域幅值分量分布曲線的梯度會出現(xiàn)連續(xù)接近零或為負(fù)的現(xiàn)象?；诜捣至糠植记€的梯度可以確認(rèn)曲線是否存在失真區(qū)域，進(jìn)而估計陰影區(qū)域灰度大小，實現(xiàn)雷達(dá)圖像的陰影區(qū)域檢測。

設(shè)雷達(dá)圖像幅值分量最小值為amin，當(dāng)Ao(xi，yj)=k時對應(yīng)的像素數(shù)量為Q(k)，Q取最大值時對應(yīng)的幅值分量為amax。由于陰影區(qū)域灰度值較小，失真區(qū)域一定位于曲線左半部分，因此只對[amin，amax]內(nèi)的曲線梯度進(jìn)行分析。與此同時，分布曲線的起始和峰值區(qū)域梯度也很小，會對曲線失真判斷造成干擾，在檢測前需要將這兩個區(qū)域排除。設(shè)置起始區(qū)域和峰值區(qū)域的邊界長度為Nb，最終需要進(jìn)行分析的區(qū)域為[amin+Nb，amax-Nb]。綜上，曲線的梯度為：

設(shè)曲線左半邊的平均梯度為Gradm，尋找曲線中梯度小于Gradm/2 所有幅值分量，如果曲線中存在連續(xù)Nd個幅值分量對應(yīng)的梯度均小于Gradm/2，則認(rèn)為此區(qū)域為失真區(qū)域，并將該區(qū)域梯度分量平均值的m倍作為閾值對陰影進(jìn)行檢測。

實現(xiàn)圖像中陰影區(qū)域檢測后，還需要在此基礎(chǔ)上消除陰影區(qū)域?qū)μ卣飨蛄康挠绊?。在特征向量生成過程中，首先，以特征點為中心選擇大小為J×J的鄰域并將其分成6 × 6 個子鄰域（每個鄰域邊長為J/6），并在每個子鄰域中統(tǒng)計各方向的奇、偶特征圖用于生成初始特征向量Ve0，Vo0，特征向量長度為6 × 6 ×No=36No。然后，統(tǒng)計各子鄰域中的陰影像素數(shù)量Nsh對子鄰域進(jìn)行有效性檢測。當(dāng)Nsh＞(J/6)2×Tn，即陰影像素數(shù)量占子鄰域總像素數(shù)量比例大于Tn時，認(rèn)為該子鄰域中的特征受陰影影響嚴(yán)重，其在兩幅圖像間可能存在較大差異，特征向量中由該子鄰域生成的部分不應(yīng)參與后續(xù)匹配過程，其中Tn為子鄰域無效閾值。因此，為阻止特征向量中的無效部分參與特征匹配，需要在特征向量中為其添加“掩膜”。設(shè)掩膜向量為Vmask

Vmask長度與特征向量長度相等。v1，v2，v3，…，v36均為長度為No的向量，其在Vmask中的位置分別對應(yīng)36 個子鄰域所生成的特征向量在初始特征向量中的位置。當(dāng)?shù)趎個子鄰域陰影像素數(shù)量過多被檢測為無效子鄰域時，將vn設(shè)置為全0向量，否則為全1向量。改進(jìn)RIFT算法輸出的特征向量為

其中，⊙表示哈達(dá)瑪積，即兩向量對應(yīng)元素相乘。配準(zhǔn)算法在特征匹配時一般利用特征向量的歐氏距離建立初始的匹配關(guān)系，在此過程中，需要計算特征點到另一幅圖像中所有特征點的歐式距離并進(jìn)行比較。但是由于陰影區(qū)域的差異性，算法輸出的特征向量無效部分可能并不重疊。如果直接對歐氏距離進(jìn)行計算，兩個特征向量將會出現(xiàn)一個特征向量中某部分被掩膜向量置零，而另一個特征向量對應(yīng)部分未被掩膜向量置零的情況，進(jìn)而導(dǎo)致歐式距離計算結(jié)果不正確。因此，對于將要計算歐氏距離兩個特征向量，需要對其無效區(qū)域取并集共同施加掩膜再進(jìn)行匹配，即

示意圖如圖11所示。需要注意的是，當(dāng)特征向量中被掩膜覆蓋的元素占總元素比例大于TV時，該特征向量的匹配結(jié)果并不穩(wěn)定，需要將這類匹配點對刪除。最后，將特征向量歸一化，使不同特征點間的歐氏距離能夠直接進(jìn)行比較。除此之外，陰影區(qū)域是由存在高程起伏的目標(biāo)產(chǎn)生的，這類目標(biāo)可能還會存在小幅度的幾何畸變，可以采用適當(dāng)擴展掩膜面積的方式防止其對匹配可能造成的干擾。

圖11 陰影感知匹配示意圖Fig.11 Sketch Map of shadow perception matching

選擇一組陰影面積較大的不同視角雷達(dá)圖像，利用本文提出的多特征描述方法，比較采用陰影感知特征向量生成方法前后的多角度雷達(dá)圖像配準(zhǔn)效果。在配準(zhǔn)測試時，除了特征向量生成方法不同外，其余均保持一致。原始圖像與圖像陰影檢測結(jié)果如圖12所示。對比原始圖像與陰影檢測結(jié)果，圖像中的絕大部分陰影區(qū)域得到了有效檢測。由于雷達(dá)圖像相干斑噪聲的影響，一些像素的灰度與陰影像素灰度近似，導(dǎo)致陰影檢測結(jié)果中出現(xiàn)了小面積虛警（幾個像素大?。?。但是，由于算法通過陰影像素數(shù)量與子鄰域像素數(shù)量的比值決定是否需要為特征向量施加掩膜，這類小面積虛警不會干擾特征向量生成結(jié)果。

采用陰影感知特征向量生成方法前后的多角度雷達(dá)圖像特征匹配結(jié)果如圖13 所示。由于圖像陰影區(qū)域的影響，不對陰影處理直接進(jìn)行匹配時，如圖13（a）所示，紅框內(nèi)的三對特征點發(fā)生了明顯的錯誤匹配，這些錯誤匹配導(dǎo)致配準(zhǔn)算法輸出的圖像間幾何變換關(guān)系誤差增大，最終使圖像無法正確對齊。利用本文提出方法對陰影進(jìn)行處理后，雖然算法在匹配點數(shù)量上改變并不明顯，但在配準(zhǔn)準(zhǔn)確性上明顯優(yōu)于傳統(tǒng)算法，在圖像中并沒有出現(xiàn)明顯的錯誤匹配，圖像的紋理細(xì)節(jié)也得到了正確的對齊，如圖13（b）所示。

圖13 采用陰影感知特征向量生成方法前后圖像配準(zhǔn)結(jié)果Fig.13 Image registration results before and after shadow perception

利用本文3.1、3.2節(jié)提出的配準(zhǔn)方法后，圖1、圖2 中的圖像配準(zhǔn)結(jié)果如圖14 所示。通過觀察配準(zhǔn)后的棋盤圖，圖像紋理細(xì)節(jié)能夠得到良好的對齊效果。圖1、圖2 所列出的兩種情況的圖像配準(zhǔn)問題得到了有效解決。

圖14 本文方法多視角雷達(dá)圖像配準(zhǔn)結(jié)果Fig.14 Multi-view radar image registration results of proposed method

4 多視角雷達(dá)圖像配準(zhǔn)實驗

為了驗證改進(jìn)RIFT 算法對多視角雷達(dá)圖像配準(zhǔn)問題的有效性，實驗選取了多組不同視角且擁有豐富地表附屬物區(qū)域的雷達(dá)圖像進(jìn)行配準(zhǔn)，對結(jié)果進(jìn)行定量評估并與三種先進(jìn)的算法進(jìn)行了比較。為了保證實驗的公平性，所有匹配方法均采用最近鄰距離比［26］（Nearest Neighbor distance ratio，NNDR）方法為基礎(chǔ)選取初始匹配點，使用快速樣本共識［27］（Fast sample consensus，F(xiàn)SC）方法進(jìn)行離群點剔除得到最終的匹配結(jié)果。

4.1 數(shù)據(jù)說明與評價指標(biāo)

本文選取了中國四川地區(qū)的機載SAR 圖像開展配準(zhǔn)實驗，成像數(shù)據(jù)獲取視角示意圖如圖15 所示，分別在三條航線上對同一區(qū)域進(jìn)行正側(cè)視成像（圖中箭頭方向表示飛機飛行方向）。實驗利用本文提出的算法對數(shù)據(jù)中四組具有典型性的不同視角圖像進(jìn)行配準(zhǔn)，所選四組圖像如圖16 所示，具體參數(shù)如表1 所示。實驗所選區(qū)域中包含了大量房屋、樹木等地表附屬物，這類地表附屬物在不同視角圖像中存在明顯的特征差異和陰影差異，給圖像配準(zhǔn)帶來巨大困難。

表1 本文使用的SAR圖像參數(shù)Tab.1 SAR image parameters used in this paper

圖15 數(shù)據(jù)獲取視角示意圖Fig.15 Views of data acquisition

圖16 配準(zhǔn)實驗數(shù)據(jù)Fig.16 Data of registration experiment

本文使用均方根誤差、正確匹配概率和正確匹配點數(shù)量作為評價指標(biāo)。

1）均方根誤差：實驗采用仿射變換模型擬合待配準(zhǔn)圖像間的幾何變換關(guān)系。對于每組圖像，我們挑選3 組特征明顯的對應(yīng)關(guān)系，并使用這些對應(yīng)關(guān)系在配準(zhǔn)后幾何位置的均方根誤差來評估配準(zhǔn)算法的精度；

2）成功匹配概率：實驗采用FSC 方法對初始匹配點集進(jìn)行離群點剔除，由于該方法具有隨機性，為了保證實驗結(jié)果的說服力，每組匹配圖像執(zhí)行20次匹配，成功匹配次數(shù)占總匹配次數(shù)的比例即為成功匹配概率；

3）正確匹配點數(shù)量：經(jīng)過NNDR 建立初始匹配關(guān)系，并經(jīng)過FSC 進(jìn)行離群點剔除后剩余的匹配點對數(shù)量。

實驗中，認(rèn)為配準(zhǔn)得到的均方根誤差小于10時圖像得到成功匹配。

4.2 參數(shù)優(yōu)化

本文在RIFT 算法的基礎(chǔ)上對其特征檢測與特征描述方法進(jìn)行了改進(jìn)，所使用的參數(shù)中子鄰域邊長J、2D-LGF 方向數(shù)No、尺度數(shù)Ns沿用RIFT 算法中的設(shè)定，即J=96、No=6、Ns=4，不再對參數(shù)調(diào)整進(jìn)行實驗分析。除此之外，本文使用的主要參數(shù)包括：陰影檢測參數(shù)Nb、Nd、m和特征向量生成參數(shù)Tn、TV。

陰影檢測參數(shù)中：Nb為陰影檢測中的邊界區(qū)域長度，檢測前需要將分布曲線兩側(cè)長度為Nb的區(qū)域去除，防止分布曲線起始和峰值區(qū)域?qū)η€失真判斷造成干擾。通常，Nb越大防止干擾的性能越好，但設(shè)置過大會導(dǎo)致失真區(qū)域被錯誤去除。Nd為失真區(qū)域長度，當(dāng)圖像幅值分布曲線的梯度中連續(xù)Nd個幅值上的梯度小于一定值時，則認(rèn)為該區(qū)域為失真區(qū)域。Nd過小時，局部異常值會被錯誤檢測為失真區(qū)域；Nd過大時，由于圖像失真區(qū)域長度有限，算法無法對陰影實現(xiàn)有效檢測。m為陰影檢測閾值系數(shù)，陰影檢測時，將失真區(qū)域?qū)?yīng)濾波幅值平均值的m倍作為檢測閾值，m設(shè)值過小會導(dǎo)致陰影檢測存在漏檢，反之則會導(dǎo)致陰影檢測發(fā)生虛警。為了實現(xiàn)陰影的準(zhǔn)確檢測，進(jìn)而完成圖像的精確配準(zhǔn)，本文以區(qū)域3 的雷達(dá)圖像作為待檢測圖像，設(shè)計了三個獨立實驗以調(diào)整變量至最優(yōu)值。其中每個實驗只有一個參數(shù)作為變量，其他參數(shù)為固定值，具體參數(shù)設(shè)置如表2 所示。對與每個參數(shù)，使用陰影檢測結(jié)果與真是陰影區(qū)域的相似性作為評價指標(biāo)，實驗結(jié)果如圖17所示。

表2 陰影檢測參數(shù)設(shè)定實驗預(yù)設(shè)Tab.2 The details of parameter settings

圖17 陰影檢測參數(shù)設(shè)定實驗結(jié)果Fig.17 Experimental results of shadow detection parameter setting

從實驗結(jié)果可以看出，當(dāng)Nb=3、Nd=3、m=1.4時，算法的陰影檢測結(jié)果最接近雷達(dá)圖像中真實的陰影區(qū)域，取得最優(yōu)的檢測結(jié)果。而參數(shù)取其他值時，陰影檢測均會出現(xiàn)一定程度的虛警和漏檢現(xiàn)象，因此將陰影檢測參數(shù)設(shè)置為：Nb=3、Nd=3、m=1.4。

特征向量生成參數(shù)中，Tn為子鄰域無效閾值，用于判斷子鄰域所生成的特征向量是否需要添加“掩膜”。Tn設(shè)置過高會導(dǎo)致受陰影影響較小的子鄰域中的特征被忽略，特征向量包含的特征信息減少；相反則會使算法無法有效消除不同視角圖像間陰影差異的影響。參數(shù)TV用于判斷施加掩膜后，剩余的特征向量長度是否可以實現(xiàn)特征的穩(wěn)定匹配。TV越大則算法所保留的特征點的特征向量有效長度越長，其中包含的特征信息越多，匹配結(jié)果越穩(wěn)定；但與此同時，圖像中受陰影影響較小的特征點不再參與匹配，圖像間部分正確匹配被剔除。因此，合適的特征向量生成參數(shù)同樣重要。本文以4.1 節(jié)中選取的四組圖像作為待配準(zhǔn)圖像，設(shè)計了兩個獨立實驗以調(diào)整變量至最優(yōu)值。其中每個實驗只有一個參數(shù)作為變量，其他參數(shù)為固定值，具體參數(shù)設(shè)置如表3 所示。對于每個參數(shù)，將圖像執(zhí)行十次配準(zhǔn)，使用平均匹配點數(shù)量和正確匹配概率作為評價指標(biāo)，實驗結(jié)果如表4、表5所示。

表3 特征向量生成參數(shù)設(shè)定實驗預(yù)設(shè)Tab.3 The details of parameter settings

表4 Tn設(shè)定實驗結(jié)果Tab.4 Experimental results of Tn

表5 TV設(shè)定實驗結(jié)果Tab.5 Experimental results of TV

從表4、表5 顯示的實驗結(jié)果中可以看出，當(dāng)Tn=0.5、TV=0.4 時，本文所提算法在匹配點數(shù)量和正確匹配概率兩項性能上達(dá)到最優(yōu)。因此，在性能分析實驗中，將特征向量生成參數(shù)固定為Tn=0.5、TV=0.4。

4.3 實驗結(jié)果

本文采用的對比算法分別為SIFT［11］、SARSIFT［6］、RIFT［17］。其中，SIFT 是經(jīng)典的光學(xué)圖像配準(zhǔn)算法，SAR-SIFT 專用于合成孔徑雷達(dá)圖像配準(zhǔn)，RIFT是用于多模態(tài)圖像的配準(zhǔn)方法，實驗前已將各算法參數(shù)調(diào)整至最優(yōu)。多種算法的特征點匹配結(jié)果如圖18 所示。表6、表7 分別給出了算法在多視角雷達(dá)圖像配準(zhǔn)性能指標(biāo)。

表6 不同配準(zhǔn)算法的成功匹配概率Tab.6 Successful matching probability of different algorithms

表7 不同配準(zhǔn)算法配準(zhǔn)性能對比Tab.7 Comparison of registration performance of different algorithms

圖18 不同配準(zhǔn)方法的特征匹配結(jié)果對比，從左至右分別為區(qū)域1～區(qū)域4Fig.18 Comparison of feature matching results of different methods，from left to right are area 1 to area 4

接下來對個圖像間的配準(zhǔn)結(jié)果進(jìn)行具體分析。區(qū)域1 為城鎮(zhèn)區(qū)域圖像對，兩幅圖像分別從相對的照射方向上得到，由于區(qū)域中豐富的地表附屬物，其導(dǎo)致圖像間存在明顯的非線性輻射畸變和陰影差異。基于梯度的SIFT、SAR-SIFT算法無法有效提取圖像中的特征點，同樣無法準(zhǔn)確提取圖像中的相似特征生成特征向量，最終得到錯誤的匹配結(jié)果?；谙辔灰恢滦缘腞IFT 算法在75%的成功匹配概率下，平均每次成功匹配得到17 對匹配點；而本文方法在100%的成功匹配概率下，平均每次匹配得到21 對匹配點，相較于RIFT 取得了更好的特征匹配結(jié)果。

區(qū)域2 與區(qū)域1 所選區(qū)域相同，但不同的是，區(qū)域2 兩幅圖像分別從垂直的照射方向上得到，相較于區(qū)域1，區(qū)域2 圖像間存在著更明顯的非線性輻射畸變。在其影響下，SIFT、SAR-SIFT 算法同樣無法得到正確的匹配結(jié)果；RIFT算法的成功匹配概率下降到55%；而本文方法依舊能夠以95%的成功匹配概率穩(wěn)定輸出正確的圖像配準(zhǔn)結(jié)果，在其他性能指標(biāo)上也優(yōu)于現(xiàn)有算法。

區(qū)域3 與區(qū)域4 為村莊區(qū)域圖像對，區(qū)域中大量如樹木、土堆等地表附屬物，雷達(dá)圖像中紋理特征與陰影多由這些物體產(chǎn)生，這類目標(biāo)在不同視角間非線性輻射畸變較小，但存在明顯的陰影差異。從匹配結(jié)果中可以看出，SIFT、SAR-SIFT 仍然無法對圖像進(jìn)行正確匹配；RIFT算法的各項性能指標(biāo)與區(qū)域1、區(qū)域2 結(jié)果相比有明顯提高，由于輻射畸變較小，利用MIM 特征描述方法也能夠在圖像間獲得一定數(shù)量的匹配點對，在進(jìn)行區(qū)域3 匹配時其得到的正確匹配點數(shù)甚至略高于本文提出算法。但是在陰影區(qū)域的影響下，RIFT 算法配準(zhǔn)結(jié)果并不穩(wěn)定，存在10%～15%錯誤匹配概率而且配準(zhǔn)誤差較大，本文提出方法在成功匹配概率和均方根誤差兩個指標(biāo)上均存在顯著優(yōu)勢。

利用本文方法進(jìn)行圖像配準(zhǔn)得到的棋盤圖如圖19所示，從圖中可以看出不同區(qū)域的圖像在細(xì)節(jié)處拼接整齊，圖像擁有較高的配準(zhǔn)精度。

圖19 本文方法圖像配準(zhǔn)得到的棋盤圖Fig.19 Checkerboard mosaic map of our method

在本文選取的四組數(shù)據(jù)中，由于圖像間雷達(dá)視線方向接近垂直或相對，雷達(dá)發(fā)射的電磁波會照射在目標(biāo)完全不同的側(cè)面，相較于其他視角關(guān)系，圖像間將表現(xiàn)出更為明顯的差異。利用這組數(shù)據(jù)能夠更好的說明本文算法在多視角雷達(dá)圖像配準(zhǔn)中的有效性。與此同時，所選區(qū)域中的地表附屬物的高度相較于地面變化較小，不會在多視角雷達(dá)圖像間表現(xiàn)出顯著的幾何畸變，進(jìn)而在實驗中可以忽略幾何畸變對配準(zhǔn)產(chǎn)生的影響。結(jié)合實驗結(jié)果可以看出，針對存在豐富地表附屬物的城鎮(zhèn)、村莊等區(qū)域，本文所提出的方法能夠在多視角條件下實現(xiàn)SIFT 與SAR-SIFT 無法完成的雷達(dá)圖像配準(zhǔn)功能；除此之外，與性能最好的RIFT 算法相比，其成功匹配概率平均提高29.5%，正確匹配點數(shù)量平均提升14.6%，并且配準(zhǔn)均方根誤差可降低36.2%。本文方法可在保證高可靠性與高精度的前提下實現(xiàn)存在豐富地表附屬物區(qū)域的多視角雷達(dá)圖像配準(zhǔn)。

5 結(jié)論

為了提高算法對非線性輻射畸變和陰影區(qū)域差異的魯棒性，實現(xiàn)存在豐富地表附屬物區(qū)域的多視角雷達(dá)圖像配準(zhǔn)，本文分析并總結(jié)了現(xiàn)有算法在多視角雷達(dá)圖像配準(zhǔn)中的存在的問題，并在此基礎(chǔ)上提出了一種基于多特征描述和陰影感知的改進(jìn)RIFT 圖像配準(zhǔn)算法。首先，算法利用log-Gabor 濾波器實部和虛部的空間域性質(zhì)對雷達(dá)圖像中兩種不同特征進(jìn)行提取并分別構(gòu)建特征向量用于特征匹配，使單一的特征變化不再影響特征描述，增強算法對非線性輻射畸變的魯棒性。其次，在特征向量生成過程中，利用log-Gabor 濾波器對陰影區(qū)域響應(yīng)低的性質(zhì)，實現(xiàn)對圖像陰影區(qū)域的檢測，并為受陰影影響嚴(yán)重子鄰域生成的特征向量施加掩膜，保留圖像中的相似特征進(jìn)行后續(xù)匹配。實驗表明，該方法能夠在多視角雷達(dá)圖像間建立穩(wěn)定、準(zhǔn)確的匹配關(guān)系，性能明顯優(yōu)于現(xiàn)有算法。