基于擴張圖卷積網(wǎng)絡的SAR圖像分類

葉鄉(xiāng)鳳，董張玉，楊學志

（1合肥工業(yè)大學 計算機與信息學院，合肥 230601；2工業(yè)安全與應急技術安徽省重點實驗室，合肥 230601；3合肥工業(yè)大學 軟件學院，合肥 230601；4智能互聯(lián)網(wǎng)系統(tǒng)安徽省實驗室，合肥 230601）

0 引 言

合成孔徑雷達可以在全天候和晝夜條件下提供高分辨率的圖像。SAR分割的目的是為每個像素點分配特定的標簽，是變化檢測、目標識別的基礎。常用的分割框架是像素級，首先采用灰度共生矩陣或變換域濾波器提取SAR圖像的特征，如小波變換；其次，利用分類器對像素進行分類，包括隨機森林（Random Forest）、AdaBoost等。近年來，深度學習體系結構已被證明具有良好的高級特征表示性能，可以同時進行特征提取和分割。目前，基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）和全卷積神經(jīng)網(wǎng)絡（Fully Convolutional Networks，F(xiàn)CN）的深度學習方法取得了良好的性能。

但是上述網(wǎng)絡模型只能在規(guī)則的正方形的區(qū)域進行卷積，KIPF等人認為拓撲圖更能表達事物之間的依賴性關系，提出了圖卷積網(wǎng)絡（Graph Convolutional Network，GCN），以一種快速卷積的方式同時編碼圖的節(jié)點和邊的特征；GCN網(wǎng)絡模型數(shù)過多會抑制其性能，MA等人使用GCN并加入注意力機制對鄰居節(jié)點進行加權聚合，并且引入超像素的機制減少計算量，取得了優(yōu)于傳統(tǒng)算法的分類結果；LEE等人以一種自適應的方式，同時利用時間信息和強度信息，增強特征；LI等人將卷積神經(jīng)網(wǎng)絡中殘差網(wǎng)絡、密集型卷積等的思想引入到圖卷積網(wǎng)絡中，證明了殘差連接可以加深網(wǎng)絡的深度；WAN等人提取不同尺度的空間信息增強細節(jié)特征，證明了空間尺度細節(jié)信息的重要性，但是卻忽略了不同尺度的感受野的重要性程度不一，帶來了冗余。

針對上述問題，本文構建了一種改進的圖卷積網(wǎng)絡，即構建了RDGC模塊，對不同尺度的信息進行提取，提取局部細節(jié)空間特征；再利用依賴性關系自適應提取不同感受野的信息，即對不同感受野的信息進行增強或抑制，獲取有表征力的特征；將各個模塊的輸出進行串連拼接，整合各個層次的信息，并將底層全局特征信息附加在其上，形成殘差連接，補充空間細節(jié)。

1 本文算法框架

本文提出了一種基于自適應擴張圖卷積網(wǎng)絡，用于SAR圖像分類，網(wǎng)絡模型結構如圖1所示。網(wǎng)絡共包括3個模塊：粗分割模塊、殘差擴張圖卷積模塊（RDGC）和特征融合模塊。

圖1 本文網(wǎng)絡模型架構Fig.1 The network model architecture of this paper

粗分割模塊：為了降低計算量，采用SLIC算法對真實SAR進行超像素粗分割處理。表示SAR圖像，表示SAR圖像經(jīng)過SLIC超像素后的結果，則粗分割模塊處理過程可以表示為式（1）：

其中，將第一個RDGC模塊的輸入經(jīng)過1×1的卷積，以調(diào)整通道維度。

特征融合模塊：將每個殘差擴張圖卷積模塊的輸出特征串接在一起，整合不同層次的信息流，式（3）：

最后，將粗分割后圖像經(jīng)過1×1卷積之后得到底層特征，附加在增強后的特征圖上，形成全局殘差學習，補充底層細節(jié)信息，解決梯度爆炸的問題，從而提高SAR圖像分割精度，公式（4）：

1.1 擴張圖

在SAR圖像分割領域，已經(jīng)證明多尺度的有效性。在SAR圖像中，地物通常具有不同的幾何外觀，不同尺度包含的上下文信息有助于充分挖掘圖像區(qū)域局部屬性。擴張卷積已經(jīng)廣泛應用于CNN網(wǎng)絡模型中，可以擴大感受野，并且不增加網(wǎng)絡的復雜性。DeepGCN也證明了擴張卷積在GCN模型中的有效性。受擴張卷積的啟發(fā)，本文構造不同擴張率的圖結構，利用不同感受野，挖掘中心像素點周圍的空間上下文信息。擴張率為1，2，3對應的鄰居節(jié)點集，如圖2所示。因此，任意一個中心樣本x在擴張率為時的鄰居節(jié)點集為式（5）：

圖2 不同擴張率的鄰居節(jié)點Fig.2 Neighbor nodes at different dilated rates

其中，（x）＝x，（x）是x的擴張率為1的鄰居節(jié)點集合，也是普通圖結構，（S（x））是x的擴張率為1的鄰居節(jié)點集的所有一階鄰居節(jié)點的集合。

1.2 殘差擴張圖卷積

本文提出了一種殘差擴張圖卷積模塊（RDGC），對圖像不同尺度特征之間的依賴性關系進行建模，自適應地為不同的尺度特征分配權重，提取更重要感受野的細節(jié)信息，增強特征的表達能力。

RDGC主要是由3個擴張率不同圖卷積和一個感受野選擇塊（Reception Field Slect，RFS）的組合，使用殘差連接將輸入與輸出相加，此模塊的主要構成如圖3所示。

圖3 殘差擴張圖卷積模塊Fig.3 Residual dilated graph convolutional module

為了獲得更多感受野的信息，以每個超像素為圖的節(jié)點，構建了擴張率分別為1，2，3的圖結構，并進行卷積操作，即將擴張圖與輸入的特征相乘，對中心節(jié)點加權聚合處理得到不同的特征，提取不同尺度的信息，式（6）：

其中，和h分別是擴張圖卷積層的輸入與輸出；為激活函數(shù)；是擴張率為的鄰接矩陣，也就是擴張圖結構；是可訓練的權重矩陣。

神經(jīng)網(wǎng)絡的神經(jīng)元感受野的大小并不是固定的。為了自適應地利用特征在不同尺度上的重要性，對不同尺度的感受野信息依賴關系進行建模，使其能夠更靈活地進行多尺度特征選擇，自適應選擇感受野大小。

首先，將3個尺度的輸出特征進行直接相加融合，并進行平均最大池化處理，得到全局特征；其次，利用多層感知機進一步提取深層次、有判別性的全局特征，∈1；最后，再分別進行3次全連接，得到∈1、∈1和∈1。

在通道維度上對這3個特征進行softmax歸一化處理，從3個不同擴張因子的擴張卷積中獲取特征圖的重要因子的特征選擇，即得到3個不同尺度上權重系數(shù)；最后將權重系數(shù)與、、對應相乘，完成對不同感受野特征的加權。整個過程可由式（7）～（11）表示：

殘差連接使得可以重復利用特征，保證了局部特征信息可以傳遞到更高層，確保高層的性能至少與低層一樣，解決了現(xiàn)有網(wǎng)絡存在的模型退化問題，因此將輸入特征殘差連接到融合后的特征中，殘差擴張模塊的輸出為式（12）：

2 實驗結果與分析

2.1 實驗數(shù)據(jù)

為了評估所提網(wǎng)絡的性能，且避免單一土地覆蓋類別對分割結果的影響，實驗采用了兩幅SAR圖像數(shù)據(jù)進行驗證，分別是RADARSAT－2拍攝的Flevoland和San－Francisco－Bay，分辨率均為12×8 m。Flevoland的大小為1 000×1 400，包括水體、城區(qū)、森林、農(nóng)田1和農(nóng)田2這5類土地覆蓋類型，其原始影像和標簽圖如圖4（a）和（b）所示；San Francisco－Bay的大小為1 101×1 161，包括建筑物1、建筑物2、建筑物3、水體、植被這5類土地覆蓋類型，圖4其原始影像和標簽圖如圖4（c）和圖4（d）所示。

圖4 實驗所用圖像以及相對應的標簽Fig.4 The images and the corresponding ground truth

2.2 參數(shù)設置

對于Flevoland和San Francisco－Bay兩幅真實SAR圖像，在每一類標簽像素樣本中，選30個樣本作為訓練集，剩下的樣本作為測試集，以此評價所提網(wǎng)絡的分割性能。圖像數(shù)據(jù)進行SLIC粗分割的參數(shù)見表1。

表1 SLIC粗分的參數(shù)設置Tab.1 Parameter settings of SLIC

擴張圖卷積隱藏層神經(jīng)元個數(shù)為60，算法選用Adam優(yōu)化訓練參數(shù)，設置動量為0.9，學習率為0.06，訓練500輪次后，損失值達到穩(wěn)定。

選用了現(xiàn)有的主流SAR分割算法與本文所提網(wǎng)絡進行對比，分別是基于CNN的網(wǎng)絡模型ResNet18；基于全卷積的網(wǎng)絡模型PSPNet和基于GCN的網(wǎng)絡模型MSGCN和AGCN。本文采用各個類別的分割精度，總體分割精度OA、平均分類精度AA和Kappa系數(shù)評估各個網(wǎng)絡模型的分割性能。

網(wǎng)絡采用PyCharm 2021，在處理器為Intel Xeon Silver4114＠2.2 GHZ，內(nèi)存大小為128 GB，顯卡為Nvidia Tesla P100－PCIE－16 GB。

2.3 實驗結果

2.3.1 Flevoland圖像分類結果對比與討論

對比方法和本文所提網(wǎng)絡的各類別的準確度、OA、AA和Kappa系數(shù)，見表2。可以看出，在對比方法中，所提網(wǎng)絡分割性能最佳；從類別來看，所提算法在農(nóng)田2這一類別上提升效果最為顯著，相較MSGCN，高出13.52%。

表2 不同算法在Flevoland圖像上的分類結果Tab.2 Classification results of different algorithms on Flevoland

與現(xiàn)有的主流SAR圖像分割算法對比可視化結果，如圖5所示。PSPNet和ResNet18算法的水體分類精度雖然都達到了約99%，但是水體區(qū)域內(nèi)仍有“椒鹽”狀的誤分類點，本文算法“水體”分類精準度達到100%，水體區(qū)域地物平整，輪廓清晰；在其余4類地物分類中，ResNet18和PSPNet分類的結果都有大量的誤分類點，如“農(nóng)田2”像素被大量誤分為“森林”，MSGCN和AGCN分類結果有所改善，但是邊界處仍有不少誤分現(xiàn)象，本文算法能有效改善這種現(xiàn)象，能夠有效保持邊界清晰，且區(qū)域平滑。

圖5 不同算法在Flevoland上的可視化結果Fig.5 Visual results of different algorithms on Flevoland

2.3.2 San Francisco－Bay圖像分類結果對比與討論

對比方法和本文所提網(wǎng)絡的各類別的準確度、OA、AA和Kappa系數(shù)，見表3。由表3可知，在所有對比算法中，MSGCN表現(xiàn)最優(yōu)，但本文算法優(yōu)于MSGCN，在OA、AA和Kappa系數(shù)指標上都獲得了理想的分割結果，分別是93.09%、93.32%、91.27%，尤其是在建筑物1類別上，相比MSGCN，提高了近10%，且遠遠優(yōu)于其他對比算法的分類精度，因此，也證明了所提網(wǎng)絡的有效性以及對不同數(shù)據(jù)集具有魯棒性。

表3 不同算法在San Francisco－Bay圖像上的分類結果Tab.3 Classification results of different algorithms on San Francisco－Bay images

與現(xiàn)有的主流SAR圖像分割算法對比可視化結果，如圖6所示。由圖6可知，ResNet18利用特征復用，增強了特征，但是分類結果仍斑駁；PSPNet利用多尺度去提取不同細節(jié)的特征能夠改善這種情況，但是精確度仍不高。總的來說，現(xiàn)有網(wǎng)絡整體分類結果較為粗糙，與標簽圖相比，大量“植被”像素被錯誤分類為“水體”。相比之下，所提網(wǎng)絡可以有效區(qū)分類間邊緣、地物規(guī)整以及區(qū)域內(nèi)更加平滑。

圖6 不同算法在San Francisco－Bay上的可視化結果Fig.6 Visual results of different algorithms on San Francisco－Bay

3 結束語

本文提出了一種新的殘差擴張圖卷積網(wǎng)絡，解決圖像因樣本少、而噪聲多，現(xiàn)有網(wǎng)絡提取細節(jié)特征不充分的問題。所提的RDGC模塊具有強大的特征提取能力，不僅能通過多個不同擴張率的圖卷積提取不同空間尺度的細節(jié)信息，并且可以自適應選擇感受野，過濾冗余的信息，因此對多尺度特征更加敏感。為了防止特征丟失和梯度彌漫，將模塊的輸入與最終的輸出結果殘差連接，增強保持細節(jié)信息的能力。通過實驗分析與對比，本文設計的網(wǎng)絡達到了理想的分類性能，且勻質(zhì)區(qū)域平滑，邊緣保持能力強，解決了小樣本圖像分類精度低的問題。由于SAR受噪聲干擾嚴重，本文的后續(xù)工作將考慮構建更優(yōu)質(zhì)的圖結構，讓圖結構能夠更精準的表達像素之間的相似度關系，便于后層卷積網(wǎng)絡進行加權聚合運算，從而有效地提升分類性能。