基于鄰域一致性的極化SAR圖像仿射配準(zhǔn)

朱慶濤 殷君君 曾 亮* 楊 健*

①(清華大學(xué)電子工程系 北京 100084)

②(北京科技大學(xué)計算機與通信工程學(xué)院 北京 100083)

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)全天時、全天候、高分辨率成像的特點使得它在環(huán)境監(jiān)測、資源探測、戰(zhàn)場感知等方面具有重要的戰(zhàn)略意義。近年來，多時相、多波段、多成像模式下的SAR圖像資源日益豐富。它們的融合處理對于遙感目標(biāo)的檢測、識別等任務(wù)具有重要意義。而SAR圖像之間的配準(zhǔn)則是上述融合處理的基礎(chǔ)，需要具有良好的精度與速度。當(dāng)前的配準(zhǔn)算法主要是基于極化SAR圖像的散射強度、極化特征等信息，結(jié)合相似性度量與參數(shù)迭代估計來實現(xiàn)。隨著深度學(xué)習(xí)的發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)的極化SAR圖像配準(zhǔn)算法也逐漸增加，但是主要還是結(jié)合圖像塊的特征匹配與圖像變換參數(shù)的迭代估計來實現(xiàn)[1,2]。目前尚未提出基于深度卷積神經(jīng)網(wǎng)絡(luò)的端到端極化SAR圖像一步配準(zhǔn)算法。

受到光學(xué)圖像處理領(lǐng)域中基于深度學(xué)習(xí)的端到端特征匹配算法的啟發(fā)，本文提出了一種無需對圖像進(jìn)行切塊處理或參數(shù)迭代估計的端到端極化SAR圖像配準(zhǔn)算法框架。首先，對輸入圖像對進(jìn)行特征提取，并進(jìn)行k近鄰特征匹配。之后，通過4D稀疏卷積網(wǎng)絡(luò)，基于鄰域一致性原則實現(xiàn)特征匹配的過濾。最后，根據(jù)輸出的匹配點對置信度，利用帶權(quán)最小二乘法進(jìn)行仿射參數(shù)的一步回歸，實現(xiàn)圖像對的配準(zhǔn)。

本文的結(jié)構(gòu)組織如下：第2節(jié)對極化SAR圖像配準(zhǔn)算法進(jìn)行綜述。第3節(jié)討論本文提出的配準(zhǔn)算法。第4節(jié)給出實驗結(jié)果與分析討論。第5節(jié)為結(jié)論。

2 極化SAR圖像配準(zhǔn)方法

2.1 基于傳統(tǒng)方法的極化SAR圖像配準(zhǔn)

傳統(tǒng)的圖像配準(zhǔn)方法主要分為兩類，一類是基于區(qū)域的方法，另一類是基于特征的方法?；趨^(qū)域的方法主要是通過尋找與模板窗口具有較高相似性的圖像塊來求解最佳匹配參數(shù)。常見的有歸一化互相關(guān)法[3]，Kullback-Leibler散度法[4]，互信息法[5]，傅里葉變換域法[6]等；基于特征的方法則主要是通過檢測兩幅圖像中的顯著特征點，根據(jù)周圍像素點生成特征描述符后，基于歐氏距離等度量來進(jìn)行匹配。之后通過隨機抽樣一致性(Random Sample Consensus,RANSAC)等迭代估計的方法獲取可靠匹配點對以確定變換參數(shù)。常見的有基于Harris[7],SIFT (Scale-Invariant Feature Transform)[8]等的配準(zhǔn)算法。以基于SIFT的配準(zhǔn)算法為例，首先構(gòu)建高斯金字塔與差分高斯金字塔，在多尺度空間內(nèi)進(jìn)行極值點檢測；之后對關(guān)鍵點進(jìn)行精細(xì)定位并分配方向，同時篩除不穩(wěn)定的關(guān)鍵點；結(jié)合上述關(guān)鍵點位置、尺度與方向信息，得到關(guān)鍵點的128維特征描述向量后，設(shè)定最近鄰與次近鄰距離比閾值，篩除不顯著的匹配點對。最后使用RANSAC算法對匹配點對進(jìn)行精細(xì)篩選，從匹配結(jié)果中選取幾對進(jìn)行全局變換參數(shù)求解，實現(xiàn)圖像配準(zhǔn)。相比于基于區(qū)域的配準(zhǔn)，基于特征的配準(zhǔn)方法具有更好的魯棒性，但是具有較高的計算復(fù)雜度。

上述圖像配準(zhǔn)算法被廣泛應(yīng)用于極化SAR圖像配準(zhǔn)。在基于區(qū)域的配準(zhǔn)方面，研究者結(jié)合極化SAR圖像的散射特性對相似性度量進(jìn)行重新設(shè)計[9]；在基于特征的配準(zhǔn)方面，提出了基于極化SAR圖像特性的改進(jìn)SIFT配準(zhǔn)算法SAR-SIFT[10],PSO-SIFT[11]等。SAR-SIFT算法中考慮到極化SAR相干斑噪聲的特點，結(jié)合SIFT與Harris關(guān)鍵點檢測算法的優(yōu)勢，采用SAR-Harris空間代替高斯差分金字塔，使得Harris檢測算子具備尺度不變性。該算法能夠有效地對SAR圖像的角點特征進(jìn)行提取，實現(xiàn)了針對SAR圖像的精細(xì)配準(zhǔn)。

2.2 基于深度學(xué)習(xí)的極化SAR圖像配準(zhǔn)

(1) 深度卷積神經(jīng)網(wǎng)絡(luò)

近年來，隨著計算機存儲與計算能力的提升，深度學(xué)習(xí)在計算機圖像處理領(lǐng)域取得了較大的進(jìn)展。深度卷積神經(jīng)網(wǎng)絡(luò)通過權(quán)重共享的卷積層對圖像特征進(jìn)行自動提取，具有良好的特征表達(dá)能力與泛化性能，被廣泛應(yīng)用于圖像檢測、識別、分割等領(lǐng)域。2012年，AlexNet[12]獲得ImageNet競賽冠軍后，各種優(yōu)秀的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)被不斷提出。隨后深度卷積神經(jīng)網(wǎng)絡(luò)逐漸被運用于極化SAR圖像處理中。相比于傳統(tǒng)方法，深度學(xué)習(xí)在極化SAR圖像的各個應(yīng)用領(lǐng)域中表現(xiàn)出較強的優(yōu)越性，例如徐豐等人[13]利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行極化SAR目標(biāo)識別與地物分類，Jin等人[14]提出了一種基于深度學(xué)習(xí)的極化SAR艦船目標(biāo)檢測算法。

(2) 基于深度學(xué)習(xí)的圖像配準(zhǔn)

隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)逐漸被運用到圖像配準(zhǔn)領(lǐng)域，算法主要分為3類。一類是利用深度卷積神經(jīng)網(wǎng)絡(luò)替代人工特征提取，之后仍然通過RANSAC等迭代估計的方式完成變換參數(shù)求解與圖像配準(zhǔn)。另一類是利用深度卷積神經(jīng)網(wǎng)絡(luò)通過有監(jiān)督學(xué)習(xí)的方式直接對變換參數(shù)進(jìn)行回歸。例如DeTone等人[15]通過卷積神經(jīng)網(wǎng)絡(luò)對生成的仿真圖像對進(jìn)行有監(jiān)督學(xué)習(xí)，實現(xiàn)單應(yīng)性矩陣的直接回歸，從而實現(xiàn)圖像配準(zhǔn)；Rocco等人[16]利用深度神經(jīng)網(wǎng)絡(luò)來模擬傳統(tǒng)配準(zhǔn)過程中的特征提取、匹配與參數(shù)回歸。首先，利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。之后，通過內(nèi)積操作來得到特征圖的相關(guān)度信息。最后，通過全連接層進(jìn)行參數(shù)的有監(jiān)督回歸。但是由于特征圖分辨率較低，導(dǎo)致算法的配準(zhǔn)精度不高。還有一類是利用深度卷積神經(jīng)網(wǎng)絡(luò)對變換后的圖像與目標(biāo)圖像的相似性進(jìn)行優(yōu)化，通過無監(jiān)督學(xué)習(xí)的方式實現(xiàn)圖像的配準(zhǔn)。例如Balakrishnan 等人[17]通過無監(jiān)督學(xué)習(xí)的方式優(yōu)化變換圖像與目標(biāo)圖像的局部相關(guān)性與平滑性來實現(xiàn)醫(yī)學(xué)圖像的配準(zhǔn)；在文獻(xiàn)[16]的基礎(chǔ)上，Rocco等人[18]利用無監(jiān)督學(xué)習(xí)的方式來增加特征圖匹配點對的一致性，提出了基于局部鄰域一致性的密集4D卷積結(jié)構(gòu)來篩選穩(wěn)定的特征匹配點對。然而由于內(nèi)存的限制，匹配的精度依舊較低。后續(xù)工作中，他們通過稀疏卷積神經(jīng)網(wǎng)絡(luò)很大程度上節(jié)省了內(nèi)存，使得高分辨率、高精度的圖像對的關(guān)鍵點匹配得以實現(xiàn)，不過未實現(xiàn)后續(xù)的圖像配準(zhǔn)[19]。

(3) 基于深度學(xué)習(xí)的極化SAR圖像配準(zhǔn)

基于深度學(xué)習(xí)的極化SAR圖像配準(zhǔn)算法主要利用深度神經(jīng)網(wǎng)絡(luò)直接預(yù)測圖像塊是否匹配或?qū)⑸疃染矸e神經(jīng)網(wǎng)絡(luò)作為特征自動提取器，之后仍然需要利用RANSAC等迭代算法進(jìn)行變換參數(shù)求解。文獻(xiàn)[1]基于SIFT算法對圖像的關(guān)鍵點進(jìn)行定位，提取關(guān)鍵點周圍的圖像塊，并通過自監(jiān)督學(xué)習(xí)的方式訓(xùn)練了一個能夠預(yù)測圖像塊是否匹配的深度神經(jīng)網(wǎng)絡(luò)。最后基于粗匹配結(jié)果利用RANSAC對變換參數(shù)進(jìn)行迭代估計；文獻(xiàn)[2]基于VGG16卷積神經(jīng)網(wǎng)絡(luò)對遙感圖像進(jìn)行特征提取，并基于歐氏距離對特征描述符進(jìn)行預(yù)匹配。最后基于動態(tài)內(nèi)點篩選算法對變換參數(shù)進(jìn)行迭代估計?？傊?，現(xiàn)有的方法均考慮對大場景的SAR圖像進(jìn)行切塊處理后，基于圖像塊進(jìn)行獨立的粗匹配，未考慮塊間匹配的關(guān)聯(lián)性。因此往往需要進(jìn)行參數(shù)迭代估計的后處理步驟來篩除錯誤的匹配，從而得到精確的變換參數(shù)。上述方法中預(yù)處理與后處理的引入使得配準(zhǔn)流程較為煩瑣費時。目前尚未提出根據(jù)極化SAR待配準(zhǔn)圖像對，基于深度卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果直接實現(xiàn)一步配準(zhǔn)的端到端算法框架。

本文借鑒了文獻(xiàn)[19]的思路，將鄰域一致性與稀疏卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于極化SAR圖像配準(zhǔn)中，實現(xiàn)了一種采用弱監(jiān)督學(xué)習(xí)的端到端極化SAR圖像一步配準(zhǔn)的算法框架。該算法無需對輸入圖像對進(jìn)行切塊預(yù)處理或是參數(shù)迭代估計，配準(zhǔn)精度較高且速度較快。

3 基于鄰域一致性的SAR圖像配準(zhǔn)

3.1 整體框架

該配準(zhǔn)算法主要由特征提取、特征稀疏匹配、特征匹配過濾與參數(shù)估計4個部分組成。如圖1所示，特征提取模塊用于提取輸入圖像對{IA,IB}的特征信息{fA,fB}，采用的網(wǎng)絡(luò)結(jié)構(gòu)借鑒了DenseNet網(wǎng)絡(luò)結(jié)構(gòu)[20]。特征圖fA的坐標(biāo)系為i-j，特征圖fB的坐標(biāo)系為p-q。特征匹配模塊根據(jù)特征圖{fA,fB}，采用歸一化內(nèi)積的方式(即余弦距離)對特征點對的相關(guān)度進(jìn)行求解。為了保留更為顯著的特征對以及節(jié)省內(nèi)存，特征匹配模塊對每個特征點僅保留k個相關(guān)度最高的匹配點，由此可以得到4D的特征粗匹配稀疏相關(guān)圖(Sparse Raw Correlation Map)SRAB。特征匹配過濾模塊中通過4D稀疏卷積網(wǎng)絡(luò)對SRAB中非零元素的鄰域進(jìn)行卷積濾波操作，輸出過濾后的4D稀疏相關(guān)圖(Sparse Filtered Correlation Map)SFAB中的每個非零像素SFAB(in,jn,pn,qn)的值代表了特征匹配點對{(in,jn)}與{(pn,qn)}的匹配置信度，其中n為某一匹配點對的標(biāo)號。變換參數(shù)回歸模塊根據(jù)置信度較高的N對匹配點對坐標(biāo){(in,jn)}{(pn,qn)}(n=1,2,···,N)以及它們的匹配置信度{sn}通過帶權(quán)最小二乘法回歸出仿射變換參數(shù)進(jìn)行圖像配準(zhǔn)。

3.2 特征提取模塊

文獻(xiàn)[19]中采用了ResNet網(wǎng)絡(luò)結(jié)構(gòu)作為骨干網(wǎng)絡(luò)來提取輸入圖像對的特征。本文則采用Dense-Net結(jié)構(gòu)對輸入圖像對{IA,IB}進(jìn)行特征提取。為了便于特征圖的下采樣，DenseNet采用了多個DenseBlock連接的方式。每個DenseBlock內(nèi)部通過特征級聯(lián)的方式建立了卷積層之間更加密集的連接。如圖2所示，DenseBlock模塊內(nèi)的主要卷積單元為BN-ReLU-Conv的串聯(lián)，其中BN (Batch Normalization)為批歸一化層，ReLU (Rectified Linear Unit)為線性整流激活層，Conv為卷積層。由于特征級聯(lián)操作會改變特征圖尺寸，因此在每個卷積單元后面添加了1×1卷積層進(jìn)行特征降維操作，將輸入卷積單元的特征圖通道數(shù)進(jìn)行統(tǒng)一。在DenseBlock中，每個卷積單元的輸入特征圖為之前所有卷積單元的輸出特征圖的級聯(lián)，最后一個卷積單元的輸出特征圖作為Transition層(包含1×1卷積層以及2×2池化層)的輸入。

相應(yīng)的數(shù)學(xué)表達(dá)如式(1)所示

式中，xt表示DenseBlock內(nèi)第t個卷積單元的輸出特征圖，Ht表示1×1特征降維與第t個卷積單元對應(yīng)的操作，它的輸入為前t個(0,1,···,t–1)卷積單元輸入特征圖x0,x1,···,xt?1的級聯(lián)。特征的充分復(fù)用使得網(wǎng)絡(luò)的特征表達(dá)能力十分出色，對于局部信息的描述更加細(xì)致。

對于常見的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)GoogleNet,ResNet,DenseNet等，深層特征圖的分辨率較小，代表著圖像較為抽象的語義特征，圖像邊緣、紋理等特征信息則較為模糊；而淺層特征圖的特征信息提取不夠充分。仿射配準(zhǔn)任務(wù)并非目標(biāo)識別或場景理解等高級別的任務(wù)，在利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取時，需要盡可能保留較多的圖像邊緣、紋理信息，同時也需要較為充分的特征提取，因此特征提取網(wǎng)絡(luò)的結(jié)構(gòu)深度應(yīng)避免過深或過淺。本文將第3個DenseBlock的輸出特征圖作為特征提取模塊的輸出結(jié)果。以1200×1200×3的輸入尺寸為例，特征提取網(wǎng)絡(luò)與每層輸出的尺寸如表1所示。表中conv卷積單元包含了BN-ReLU-Conv。

圖1 基于鄰域一致性的SAR圖像配準(zhǔn)算法框圖Fig.1 Flowchart of image registration based on neighborhood consensus

圖2 DenseBlock的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of DenseBlock

3.3 k近鄰特征稀疏匹配模塊

記經(jīng)過特征提取模塊得到的特征圖分別為fA和fB(fA,fB∈Rm×Rm)。對于特征圖fA的某一個坐標(biāo)點(i,j)，計算該點與fB所有坐標(biāo)點的特征值內(nèi)積并進(jìn)行歸一化來作為特征的相關(guān)系數(shù)(相當(dāng)于采用余弦距離來替代歐氏距離)，僅保留k個與fA(i,j)的特征相關(guān)值最大的坐標(biāo)點fB{(p1,q1),(p2,q2),···,(pk,qk)}。最終得到k×m×m個相關(guān)值，可理解為稀疏的單通道4D圖像SRA→B(該4D圖像的4個坐標(biāo)值是fA的(i,j)和fB的(p,q)，像素值為歸一化的相關(guān)值)。記上述操作為特征圖A對特征圖B的單向k近鄰操作。由于上述操作并非全圖互相關(guān)操作，因此特征圖A對特征圖B進(jìn)行單向k近鄰得到的圖像SRA→B與特征圖B對特征圖A進(jìn)行單向k近鄰得到的圖像SRB→A并不一定相同。以k取2為例，設(shè)特征圖B中與特征圖A上點(i1,j1)的相關(guān)度最高的2個點分別為(pu,qu)和(pv,qv)，相關(guān)值分別為r1u和r1v。而特征圖A中與圖B上點(pu,qu)相關(guān)度最高的2個點中卻未必包含點(i1,j1)。為了進(jìn)一步增強雙向均近鄰的匹配點對的相關(guān)性，抑制僅單向近鄰的匹配點對的相關(guān)性，將兩個4D的稀疏單向k近鄰相關(guān)圖進(jìn)行疊加，得到稀疏的4D粗匹配相關(guān)圖SRAB作為特征匹配模塊的輸出結(jié)果。

3.4 特征匹配過濾模塊

本文涉及的鄰域一致性原則是指由于極化SAR圖像對應(yīng)的自然場景具有較高的局部空間連續(xù)性，故穩(wěn)定的顯著特征點對附近應(yīng)該還存在一些匹配程度較高的點對，否則該點對的匹配置信度應(yīng)大幅削減。通常的卷積神經(jīng)網(wǎng)絡(luò)為密集卷積操作，給定卷積核，通過參數(shù)共享，對整幅圖像(或中間特征圖)進(jìn)行滑動卷積操作，會遍歷圖中每一個像素。當(dāng)圖像(或特征圖)為稀疏圖，即大部分像素值為零時，僅需要遍歷非零元素進(jìn)行卷積操作即可。稀疏張量自動微分庫Minkowski Engine[21]實現(xiàn)了通用的稀疏卷積操作，在輸入稀疏圖非零元素的索引與像素值后，可以對非零元素進(jìn)行遍歷并進(jìn)行局部卷積操作。由于配準(zhǔn)圖像訓(xùn)練集較小，因此稀疏卷積網(wǎng)絡(luò)部分的層數(shù)設(shè)計得較小，僅為2層，第1層的輸出通道數(shù)為16，第2層的輸出通道數(shù)為1，卷積核大小均為3×3，即僅考察目標(biāo)匹配點對周圍3×3的鄰域信息。

基于上述網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計損失函數(shù)以驅(qū)動網(wǎng)絡(luò)學(xué)習(xí)對輸入的4D粗匹配相關(guān)圖SRAB進(jìn)行鄰域濾波的能力。損失函數(shù)如式(2)所示

式中，函數(shù)F()代表深度卷積神經(jīng)網(wǎng)絡(luò)，xpos代表了一對正樣本圖像(場景相關(guān)聯(lián)，可以進(jìn)行配準(zhǔn)的圖像對)，xneg代表了一對負(fù)樣本圖像(場景無關(guān)聯(lián)，無法進(jìn)行配準(zhǔn)的圖像對)。卷積神經(jīng)網(wǎng)絡(luò)F()接收了一對圖像對之后，輸出結(jié)果為4D稀疏相關(guān)圖，圖上非零元素代表了特征圖匹配點對的置信度大小。代表了對4D稀疏相關(guān)圖的非零元素進(jìn)行求和的操作。損失函數(shù)的值L設(shè)計為負(fù)樣本對的輸出置信度之和與正樣本對的輸出置信度之和的差。根據(jù)Loss的第2項，對于負(fù)樣本對輸入，理論上大多數(shù)匹配點對為不穩(wěn)定點對，在Loss下降的過程中，網(wǎng)絡(luò)參數(shù)的優(yōu)化方向是抑制所有輸出點對的置信度，因此網(wǎng)絡(luò)在這個過程中學(xué)習(xí)到了抑制不穩(wěn)定匹配點對的能力；根據(jù)Loss的第1項?，對于正樣本對輸入，理論上存在許多匹配點對為穩(wěn)定點對，在Loss下降的過程中，網(wǎng)絡(luò)能夠使得正樣本對的輸出置信度之和盡可能大，即學(xué)習(xí)到了增強穩(wěn)定匹配點對的能力。二者相結(jié)合，構(gòu)成的聯(lián)合Loss即為最終的損失函數(shù)。綜上所述，特征匹配過濾模塊能夠增強穩(wěn)定匹配點對的置信度，抑制不穩(wěn)定匹配點對的置信度。記濾波后的4D稀疏匹配相關(guān)圖為SFAB。

表1 特征提取模塊的結(jié)構(gòu)Tab.1 Structure of the feature extraction module

3.5 基于帶權(quán)最小二乘法的參數(shù)回歸

由4D稀疏匹配相關(guān)圖SFAB可以得到圖像fA和fB的穩(wěn)定匹配點對，之后按照網(wǎng)絡(luò)輸出的置信度{sn}的大小，選取前N個坐標(biāo)點對進(jìn)行仿射變換參數(shù)求解。由于當(dāng)前的匹配點對本身具有較好的穩(wěn)定性與一致性，因此無需進(jìn)行類似RANSAC等算法的迭代參數(shù)估計，僅通過最小二乘法即可對變換參數(shù)實現(xiàn)準(zhǔn)確估計。由于不同的點對具有不同的置信度，因此采用帶權(quán)最小二乘法進(jìn)行仿射變換參數(shù)回歸。通用的帶權(quán)最小二乘回歸原理如式(3)所示

其中，θ為待定參數(shù)；(X,Y)為一對觀測量；W為每個觀測樣本的權(quán)重構(gòu)成的對角矩陣。

在對本文的仿射變換參數(shù)進(jìn)行回歸時，θ即為待求的仿射變換參數(shù)；(X,Y)為待配準(zhǔn)圖像fA和參考圖像fB上置信度s最高的N對坐標(biāo)點對；W可根據(jù){sn}(n=1,2,···,N)進(jìn)行設(shè)定。實際進(jìn)行計算時，由于X和Y的每個元素均為二維坐標(biāo)向量，難以直接按照式(3)進(jìn)行計算，因此需要進(jìn)行如下的變形處理。

如圖1所示，仿射矩陣共有6個參數(shù)待求，記θe=[A11;A12;A21;A22;A13;A23]。記X的第t個元素為Xt=(Xti,Xtj),Y的第t個元素為Yt=(Ytp,Ytq)。在不考慮權(quán)重矩陣W的情況下，仿射變換的關(guān)系式如式(4)所示。

將式(4)中等式左邊的第1個矩陣記為Xe，等式右邊的矩陣記為Ye。之后，定義權(quán)重矩陣We=diag(s1,s2,···,sN)，其中diag()代表對角陣。最終按照式(5)帶權(quán)最小二乘回歸，得到仿射變換中6個待求參數(shù)的值。

4 實驗與分析

4.1 實驗環(huán)境與數(shù)據(jù)集

由于可用于配準(zhǔn)的公開SAR圖像數(shù)據(jù)集較為匱乏，且高分辨率的SAR圖像與光學(xué)圖像具有一定的相似性，故采用的訓(xùn)練數(shù)據(jù)集是Indoor Venues Dataset。訓(xùn)練方式為弱監(jiān)督的方式，損失函數(shù)詳見第3節(jié)。使用的顯卡為單塊GeForce GTX 1080Ti，處理器為Intel(R) Core(TM) i9-7920X。

為了進(jìn)行對比試驗，特征提取模塊分別采用ResNet和DenseNet的架構(gòu)進(jìn)行對比，此外為了提高模型的收斂效果，均采用了ImageNet預(yù)訓(xùn)練模型進(jìn)行微調(diào)。初步實驗中，將k近鄰稀疏匹配模塊的參數(shù)k設(shè)置為10。后續(xù)討論中考察了參數(shù)k的取值對配準(zhǔn)性能的影響。特征匹配過濾模塊采用兩層4D稀疏卷積層。取最大的N=200個匹配置信度對應(yīng)的點對作為穩(wěn)定特征匹配點對。最后經(jīng)過帶權(quán)最小二乘法對仿射參數(shù)進(jìn)行回歸。將上述稀疏匹配與基于鄰域一致性的過濾模塊合起來記為Sparse Neighborhood Consensus Network (SNCNet)。實驗中一共對比了5種不同的算法，分別是采用SIFT+RANSAC,SAR-SIFT+RANSAC,ResNet+SNCNet,DenseNet+SNCNet以及DenseNet+RANSAC。

圖3 Wallerfing農(nóng)田數(shù)據(jù)Fig.3 Wallerfing farmland data

圖4 舟山港口數(shù)據(jù)Fig.4 Zhou Shan port data

用于測試的極化SAR待配準(zhǔn)圖像對如圖3和圖4所示。圖3(a)和圖3(b)分別為RADARSAT-2衛(wèi)星于2014年5月28日和2014年6月10日獲取的德國Wallerfing地區(qū)的農(nóng)田圖像，原始尺寸均為3000×3000，極化方式為HH,VV,HV和VH，采用精細(xì)全極化成像模式，中心頻率為5.4 GHz(C波段)，像元大小為4.7 m×5.1 m，距離向分辨率為5.2 m，方位向分辨率為7.7 m，入射角為40.2°。圖3(a)為升軌數(shù)據(jù)，圖3(b)為降軌數(shù)據(jù)。將它們記為Wallerfing數(shù)據(jù)。圖4(a)和圖4(b)分別為PAZ衛(wèi)星于2019年12月3日和2019年11月12日獲取的中國舟山地區(qū)的港口圖像，原始尺寸均為4000×4000，極化方式為HH,VV極化，分別采用聚束和條帶成像模式，中心頻率為9.7 GHz(X波段)，像元大小分別為1.5 m×1.5 m和2.75 m×2.75 m，距離向分辨率分別為3.1 m和6.0 m，方位向分辨率分別為3.5 m和6.1 m，入射角為51.1°。圖4(a)為降軌數(shù)據(jù)，圖4(b)為升軌數(shù)據(jù)。將它們記為舟山數(shù)據(jù)。在實驗中，將用于測試的極化SAR圖像對通過雙線性插值縮放為1200×1200的大小。

4.2 評價指標(biāo)

對待配準(zhǔn)圖像的仿射變換圖像與參考圖像按照不同的色彩通道進(jìn)行疊加，可以得到配準(zhǔn)疊加圖，便于對配準(zhǔn)算法進(jìn)行直觀評價。量化的評價指標(biāo)則主要采用PCK (Average Probability of Correct Keypoints)[22]和APE (Average Pixel Error)，如式(6)和式(7)所示。設(shè)待配準(zhǔn)圖像A和參考圖像B上已標(biāo)注的N個點對為{PA,PB}i,i=1,2,···,N,wrap為仿射變換操作(所使用的仿射變換參數(shù)為第3.5節(jié)中得到的θe),d()代表兩個二維坐標(biāo)點之間的歐氏距離。閾值Lth=α·max(h,w)，其中α為人為設(shè)定的比例系數(shù)，h和w為待配準(zhǔn)圖像對的高與寬。

4.3 配準(zhǔn)疊加圖

首先從直觀的角度對配準(zhǔn)結(jié)果進(jìn)行評價。采用本文的DenseNet+SNCNet算法，Wallerfing和舟山數(shù)據(jù)的仿射變換圖像與目標(biāo)圖像的疊加圖分別如圖5(a)和圖5(b)所示，兩幅圖中綠色的前景通道為待配準(zhǔn)圖像仿射變換的結(jié)果，紫紅色的背景通道為目標(biāo)圖像。采用SAR-SIFT的實驗結(jié)果如圖6(a)和圖6(b)所示。由圖5和圖6可以看到采用本文算法和SAR-SIFT算法，前景和背景的河流與海岸線等區(qū)域均能較好地重合，整體配準(zhǔn)精度均較高。

4.4 量化指標(biāo)結(jié)果分析

Wallerfing和舟山數(shù)據(jù)的APE如表2所示，采用不同配準(zhǔn)算法的PCK曲線如圖7(a)和圖7(b)所示。

(1) 極化信息對配準(zhǔn)效果的提升

由表2中Wallerfing數(shù)據(jù)的Pauli圖像與Span圖像的APE指標(biāo)對比可知，極化特征的引入有助于提升配準(zhǔn)精度。Wallerfing數(shù)據(jù)的Pauli圖像如圖3所示，對應(yīng)的Span功率圖如圖8所示。Wallerfing數(shù)據(jù)中包含了種類豐富的農(nóng)作物區(qū)域以及山地區(qū)域，同時還包含河流與湖泊區(qū)域。湖泊與河流等水域的后向散射強度較弱，在Pauli圖像與Span圖像中均呈現(xiàn)為穩(wěn)定的黑色區(qū)域，而不同種類的農(nóng)作物則具有各自獨特的極化特性，后向散射強度分布比較復(fù)雜。

圖5 DenseNet+SNCNet算法下，Wallerfing和舟山數(shù)據(jù)配準(zhǔn)疊加圖Fig.5 Overlay map of Wallerfing and Zhou Shan data by DenseNet+SNCNet

圖6 SAR-SIFT+RANSAC算法下，Wallerfing和舟山數(shù)據(jù)配準(zhǔn)疊加圖Fig.6 Overlay map of Wallerfing and Zhou Shan data by SAR-SIFT+RANSAC

表2 各種配準(zhǔn)算法的APE值Tab.2 APE of different registration algorithms

圖7 不同算法下，Wallerfing和舟山數(shù)據(jù)配準(zhǔn)的PCK曲線Fig.7 PCK of Wallerfing and Zhou Shan image registration with different algorithms

圖8 Wallerfing農(nóng)田數(shù)據(jù)Span圖Fig.8 Span image of Wallerfing farmland data

在Pauli圖中，不同農(nóng)田區(qū)域具有明顯的紋理特征，邊緣信息較為明顯，而在Span圖像中，部分紋理與邊緣信息缺失，對比度較弱。從APE指標(biāo)可知，本文算法能夠結(jié)合Pauli圖像3個極化分解通道的極化信息，更好地利用極化SAR圖像中的紋理、邊緣等結(jié)構(gòu)信息來實現(xiàn)圖像的穩(wěn)定匹配，相比于Span圖像具有更加精確、穩(wěn)定的配準(zhǔn)效果。

(2) DenseNet特征提取的優(yōu)勢

由圖7中Wallerfing與舟山數(shù)據(jù)配準(zhǔn)結(jié)果的PCK值隨α的變化曲線可知，本文所提算法相比ResNet-SNCNet具有一定的效果提升，配準(zhǔn)精度與傳統(tǒng)的SIFT+RANSAC與SAR-SIFT+RANSAC算法可以相媲美。

由表2中DenseNet-SNCNet與其他方法的APE指標(biāo)對比可知，采用DenseNet特征提取結(jié)構(gòu)的稀疏匹配效果優(yōu)于ResNet，與傳統(tǒng)的SIFT和SARSIFT算法精度相近，驗證了DenseNet出色的特征表達(dá)能力。在1200×1200的分辨率條件下，Wallerfing數(shù)據(jù)和舟山數(shù)據(jù)的平均像素誤差距離僅為6.175和2.553，平均像素誤差距離與邊長之比僅為6.175/1200=0.515%和2.553/1200=0.213%。

從網(wǎng)絡(luò)結(jié)構(gòu)的角度分析，DenseNet的DenseBlock中的特征密集連接與特征復(fù)用是它相比于ResNet的優(yōu)勢。ResNet的shortcut操作能夠?qū)W習(xí)到網(wǎng)絡(luò)的殘差，在網(wǎng)絡(luò)的層數(shù)較深時能夠保證網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)更加流暢，有利于深層信息的傳遞與特征表達(dá)的學(xué)習(xí)。然而當(dāng)前由于配準(zhǔn)任務(wù)是較低層次的幾何任務(wù)，因此特征提取的深度較淺，在該情況下，筆者認(rèn)為ResNet的密集連接并未能夠完全凸顯其優(yōu)勢，而DenseNet的密集連接則能夠更加充分地對圖像低層次的特征進(jìn)行表達(dá)，有助于后續(xù)匹配任務(wù)的進(jìn)行。

為了進(jìn)一步佐證DenseNet的顯著特征提取能力，將輸入圖像對的分辨率修改為600×600，考察配準(zhǔn)結(jié)果。如圖9(a)和圖9(b)所示，將輸入的Wallerfing圖像縮放為600×600時，DenseNet-SNCNet依然具有良好的配準(zhǔn)結(jié)果，而ResNet-SNCNet出現(xiàn)明顯的配準(zhǔn)偏差，體現(xiàn)了DenseNet特征提取能力的優(yōu)越性。

(3) 參數(shù)k對配準(zhǔn)性能的影響

對于Wallerfing和舟山數(shù)據(jù)，采用DenseNet+SNCNet算法，在k值不同時，配準(zhǔn)結(jié)果的APE和基于GPU的運算時間分別如表3和表4所示。

Wallerfing圖像中存在具有一定重復(fù)性的農(nóng)田紋理，且地形較為復(fù)雜，配準(zhǔn)難度較高；而舟山港口圖像中海域紋理比較單調(diào)，海岸線較為明顯，故配準(zhǔn)難度相對較低。由表3可知，對于復(fù)雜的配準(zhǔn)圖像，當(dāng)k較大(例如16)時，4D稀疏匹配相關(guān)圖的冗余信息較多，由于當(dāng)前訓(xùn)練樣本較少以及稀疏匹配網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計較為簡單，網(wǎng)絡(luò)的配準(zhǔn)性能相比于k較小時有明顯下降；對于配準(zhǔn)難度較低的圖像對，k的選取對最終的配準(zhǔn)性能沒有太大的影響。

圖9 600×600分辨率下，DenseNet-SNCNet和ResNet-SNCNet的配準(zhǔn)結(jié)果Fig.9 Registration result of DenseNet-SNCNet and ResNet-SNCNet at 600×600 resolution

表3 k取不同值時，DenseNet+SNCNet配準(zhǔn)結(jié)果的APE值Tab.3 APE of registration result by DenseNet+SNCNet with different k

表4 k取不同值時，基于GPU的DenseNet+SNCNet運算時間Tab.4 Time consuming of registration based on GPU by DenseNet+SNCNet with different k

由第3.3節(jié)對k近鄰特征稀疏匹配模塊的分析可知，單向近鄰相關(guān)圖存在k×m×m個非零相關(guān)值。理論上，由單向近鄰相關(guān)圖疊加后得到的4D粗匹配相關(guān)圖SRAB中的非零元素個數(shù)一般會隨著k的增加而增加。因此，稀疏匹配模塊的參數(shù)量會隨著k值的增大而增加，從而導(dǎo)致運算時間增加。由表4可知，k取16時的網(wǎng)絡(luò)前向推斷時間增加為k取2時的兩倍左右。為了減少算法前向推斷的時間，應(yīng)盡量避免選擇過大的k。

綜上所述，為了提高算法的泛化性能，同時提高算法的運行速度，應(yīng)盡量避免k取值過大，k的取值在2～10附近均較為合適。

(4) 特征匹配與過濾模塊的有效性

DenseNet+RANSAC是用于驗證特征匹配與過濾模塊有效性的對照實驗。從表2的APE值可以看到，利用DenseNet提取密集特征圖并按傳統(tǒng)方法基于歐氏距離度量進(jìn)行次近鄰粗篩后，利用RANSAC迭代算法進(jìn)行仿射參數(shù)求解的效果劣于前述方法?？赡艿脑蛟谟贒enseNet進(jìn)行特征提取后得到的是特征圖的分辨率較低，利用傳統(tǒng)的后處理方法，僅根據(jù)最近鄰與次近鄰的距離比進(jìn)行粗篩，難以取得較好的粗匹配效果，因此即使進(jìn)行RANSAC迭代估計，最終的匹配效果也較差。

圖10 稀疏特征匹配過濾模塊的有效性Fig.10 Effectiveness of the sparse filter module

為了進(jìn)一步直觀地體現(xiàn)特征匹配過濾模塊的有效性，對輸入特征匹配過濾模塊前后的特征點對匹配以及顯著特征點進(jìn)行可視化。如圖10所示，經(jīng)過特征粗匹配得到的連線較為雜亂(僅選取了一部分匹配點對進(jìn)行可視化)，而經(jīng)過稀疏卷積過濾后的置信度較高的特征點對匹配具有較好的全局一致性。如圖11所示，將特征匹配過濾模塊輸出的具有較高置信度的點對在圖中標(biāo)出。亮度越高的地方代表匹配置信度越高。該結(jié)果驗證了本文算法能夠有效地提取出河流、河岸與海岸線等在極化SAR圖像配準(zhǔn)任務(wù)中比較穩(wěn)定的特征。

圖11 顯著特征點對的分布Fig.11 Distribution of salient feature pairs

(5) 算法時間分析

未進(jìn)行算法并行化加速的SIFT類算法具有明顯的時間劣勢。傳統(tǒng)的SIFT與SAR-SIFT算法的流程是構(gòu)建高斯差分金字塔與SAR-Harris金字塔，進(jìn)行關(guān)鍵點精細(xì)搜索，構(gòu)建關(guān)鍵點特征描述向量，對特征進(jìn)行次近鄰篩選以及基于隨機抽樣一致性進(jìn)行參數(shù)迭代估計。以SAR-SIFT為例，對于1200×1200的Wallerfing圖像，構(gòu)建SAR-Harris空間耗費的時間為3.27 s，關(guān)鍵點搜索的時間為1.45 s，若限制輸入后續(xù)環(huán)節(jié)的關(guān)鍵點數(shù)目為500以下，則特征向量的生成時間為9.61 s，次近鄰篩選時間與RANSAC時間為5.46 s，最終得到的穩(wěn)定匹配點對為28對，共耗時19.8 s。然而當(dāng)關(guān)鍵點數(shù)目達(dá)到5000時，特征向量的生成以及匹配篩選的時間分別長達(dá)100.41 s與26.76 s，穩(wěn)定匹配點對為90對，算法總體耗時為131.9 s。文中進(jìn)行對比的SAR-SIFT算法所采用的關(guān)鍵點數(shù)目為500。

許多學(xué)者針對SIFT類算法在CPU上運算時間的劣勢，提出了基于GPU或多核DSP的加速算法，能夠獲得幾十的加速比，使得SIFT類算法的實時性得到了很大提升[23]。由此推算，即使在關(guān)鍵點數(shù)目較多的情況下，SAR-SIFT并行加速算法的速度也可降低至幾秒甚至一秒以內(nèi)。

本文的算法采用了深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，計算過程具有較高的可并行性，因此在實際部署時若采用GPU則會大幅提高其運算速度。對于1200×1200大小的Wallerfing圖像，基于CPU的前向推斷的運算時間為27.09 s，而基于GPU的運算時間僅為0.9943 s。因此本文的算法即使在大場景條件下也具備較快的執(zhí)行速度。此外，由于網(wǎng)絡(luò)的輸出結(jié)果為經(jīng)過濾波后的所有匹配點對的置信度，篩選前N個穩(wěn)定匹配點對的時間復(fù)雜度僅為O(N)，故本文算法增加穩(wěn)定匹配點對的額外時間開銷較小。本文并未針對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行模型壓縮，當(dāng)前關(guān)于深度卷積神經(jīng)網(wǎng)絡(luò)在移動端部署的研究也較為豐富，后續(xù)可以考慮利用模型蒸餾或參數(shù)壓縮等方法對網(wǎng)絡(luò)進(jìn)行壓縮，從而實現(xiàn)網(wǎng)絡(luò)前向推斷速度的加快以及輕量級平臺上的部署。

總之，在用于匹配的特征點數(shù)適中的情況下，經(jīng)過并行加速后的SIFT類算法相比于本文算法在理論上具有一定的時間優(yōu)勢，但是本文算法也同樣具備較高的實時性以及潛在的算法加速的可能性，且增加匹配點對的額外時間開銷較小。

(6) 本文算法的適用條件

本文的算法適用于高分辨率且尺寸適中的圖像。極化SAR圖像成像分辨率較低時，訓(xùn)練集與測試集的數(shù)據(jù)分布會具有較大差異性，配準(zhǔn)性能可能下降；極化SAR圖像尺寸過小(例如500×500以下)時，16倍降采樣特征圖所包含的特征點過少，配準(zhǔn)會失效。后續(xù)研究中，可以針對小場景圖像，重新設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)，提高輸出特征圖的分辨率，實現(xiàn)高分辨率下的特征匹配過濾，完成小圖像的配準(zhǔn)。

本文的算法僅適用于全局仿射配準(zhǔn)，不適用于更加精細(xì)、配準(zhǔn)模型自由度更高的全局極化SAR圖像配準(zhǔn)。本文的端到端極化SAR圖像仿射配準(zhǔn)算法利用了稀疏卷積來降低網(wǎng)絡(luò)參數(shù)量，使得輸入圖像的尺寸可達(dá)1000×1000以上，在仿射配準(zhǔn)的精度與速度上均與當(dāng)前被廣泛采用的SAR-SIFT算法相近。然而仿射配準(zhǔn)模型的全局自由度僅為6，對于極化SAR圖像配準(zhǔn)任務(wù)而言，建模仍較為粗糙。本文算法基于16倍降采樣的特征圖進(jìn)行特征稀疏匹配與過濾，映射至高分辨原圖的單點位置精度較低，而SAR-SIFT算法則對關(guān)鍵點進(jìn)行精細(xì)插值定位?？梢灶A(yù)見，當(dāng)配準(zhǔn)模型較為復(fù)雜時，本文方法的精度相比于傳統(tǒng)的SAR-SIFT等算法具有一定劣勢。隨著顯卡的更新?lián)Q代，未來可以嘗試通過對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，實現(xiàn)高分辨率圖像下的點對匹配，以完善上述缺陷。

5 結(jié)論

針對目前基于深度學(xué)習(xí)的極化SAR圖像配準(zhǔn)算法需要對圖像進(jìn)行手動切塊處理與參數(shù)迭代估計，致使流程較為煩瑣的問題，本文提出一種端到端的基于深度卷積神經(jīng)網(wǎng)絡(luò)的極化SAR圖像仿射配準(zhǔn)算法。該算法將特征提取與特征匹配過濾模塊整合在同一神經(jīng)網(wǎng)絡(luò)框架中，基于弱監(jiān)督學(xué)習(xí)實現(xiàn)了基于鄰域一致性的特征精細(xì)匹配。結(jié)合網(wǎng)絡(luò)輸出結(jié)果與帶權(quán)最小二乘法即可實現(xiàn)仿射變換參數(shù)的一步求解，無需參數(shù)的迭代估計，流程簡潔。實驗結(jié)果表明，該算法能夠有效地利用多通道的極化信息提取穩(wěn)定的特征匹配點對；算法采用DenseNet作為特征提取結(jié)構(gòu)，整體配準(zhǔn)精度與傳統(tǒng)算法相近，在1200×1200的分辨率下，配準(zhǔn)后的平均像素誤差距離低至2.5～6.2，全局平均像素誤差距離與邊長之比低至0.2%～0.5%；速度上，本文的算法能夠滿足海量數(shù)據(jù)的實際應(yīng)用需求。此外，實驗利用了升軌和降軌、不同成像模式、不同極化方式、不同分辨率的SAR數(shù)據(jù)進(jìn)行驗證，結(jié)果表明本文提出的方法在不同數(shù)據(jù)上具有良好的泛化性能。