融合注意力機制的LandSat8遙感影像云檢測算法

黃學飛，梁昌遠，郭杰

（1.皖北煤電集團有限責任公司，安徽宿州 234002；2.安徽恒源煤電股份有限公司，安徽宿州 234002）

遙感影像的獲取過程中云的存在是常見的現(xiàn)象，由于云的遮擋，使得地面信息無法被衛(wèi)星獲取到，給后續(xù)的影像分析解譯帶來了困難[1-2]。所以，遙感影像云檢測是首要而且必要的一環(huán)，云檢測的精度與速度對分析解譯有直接影響。

云檢測的方法大致可以分為三種：手工勾繪方法、基于波段閾值及紋理信息的檢測方法與基于深度學習的檢測方法[3]。基于深度學習的云檢測過程中不需要人工干預，實現(xiàn)了端到端的檢測?；诓ǘ伍撝档脑茩z測方法最早是Zhu[4]等提出FMask算法，通過設定波段閾值來實現(xiàn)Landsat衛(wèi)星影像的云檢測。在基于紋理的云檢測方法中，Otsu算法[5]、K-means聚類法[6]等都是基于鄰域的相似性進行檢測，對噪聲比較敏感，魯棒性較差。Kang[7]利用高斯混合模型自適應獲取影像的灰度閾值，從而分離ZY-3影像的前景與背景，實現(xiàn)云的檢測，但對地表上較亮的地物誤判比較嚴重。Qiu等[8]使用CFMask算法檢測Landsat8影像的云及云陰影，然后用其結(jié)果代替人工勾繪的云標簽參與深度學習訓練，再用訓練的模型檢測新圖像的云及云陰影，結(jié)果發(fā)現(xiàn)，其檢測結(jié)果比原始標簽精度更高。Li等[9]利用灰度共生矩陣提取圖像的紋理特征，使用紋理特征與光譜特征結(jié)合，再使用支持向量機的方法對高分一號衛(wèi)星影像進行云檢測。Xu等[10]使用超像素分割方法與卷積神經(jīng)網(wǎng)絡相結(jié)合，采用半監(jiān)督的方式與傳統(tǒng)的Otsu算法相比，云檢測精度有較大的提高。

隨著深度學習算法的不斷進步，越來越多的遙感問題都可以通過深度學習的方法得到有效解決?；谏鲜鲅芯?，本文提出一種融入注意力機制的密集連接網(wǎng)絡，以解決深度學習算法檢測小塊云朵效果差的問題。

1 融入注意力機制的密集連接網(wǎng)絡

1.1 DenseNet結(jié)構(gòu)

DenseNet[11]網(wǎng)絡是2018年由Gao H等提出，DenseNet借鑒了He K M提出的ResNet跳躍連接以減輕梯度消散現(xiàn)象，從而訓練到更深層的網(wǎng)絡思想，直接將任意兩層進行跳躍連接，以求最大化減輕梯度消散問題，從而訓練到更深的網(wǎng)絡。

DenseNet不同的是其互相連接所有的層，具體來說，就是每個層都會接受其前面所有層作為其額外的輸入，密集連接模塊（Densely Connected Block）結(jié)構(gòu)如圖1所示，其公式如下：

圖1 密集連接模塊

其中xl表示第l層的輸出的特征圖，[x0,x1…,xl-1]表示前l(fā)-1層的輸出的特征圖的拼接，H表示對特征圖進行卷積層、批歸一化、激勵層等操作。

DenseNet還包含了一個重要的轉(zhuǎn)換模塊（Transition Block），如圖2所示，用在密集連接模塊之后，將得到的特征圖的通道數(shù)減小為原來的一半。每次拼接之前都加入一個瓶頸（bottleneck）結(jié)構(gòu)，將其特征圖的通道數(shù)減小為增長率，這樣就可以大幅度減小通道數(shù)。則經(jīng)過一個密集連接模塊之后的特征數(shù)就可以表示為：

圖2 轉(zhuǎn)換模塊

式中，Cˊ表示經(jīng)過密集連接模塊之后的通道數(shù)，C為經(jīng)過密集連接模塊之前的通道數(shù)，g表示通道數(shù)的增長率，n表示層數(shù)量。

通過密集連接模塊后，經(jīng)過轉(zhuǎn)換模塊（Transition Block）可將其通道數(shù)降為原始的一半，從而更加簡化了計算量，提升計算效率。

1.2 注意力機制

1.2.1 雙注意力機制

通道注意力模塊。雙注意力機制[12]中的通道注意力模塊（Channel Attention Model）通過矩陣變換的方式對通道的信息加權(quán)，雙注意力機制的通道注意力模塊如圖4所示。

圖3 通道注意力模塊

位置注意力模塊。雙注意力機制中的位置注意力模塊（Position Attention Model）是使用通過自相關矩陣的變換得到位置權(quán)重，可以更注意全局特征，其模型結(jié)構(gòu)如圖4所示：

圖4 位置注意力模塊

1.2.2 全局上下文建模模塊

雙注意力機制可以融合位置注意力機制與通道注意力機制，最早提出的是NLNet，它利用自我注意機制建立遠程依賴，使網(wǎng)絡能夠更全面地理解圖像，從而不會使計算機局部感知圖像。

GCNet[13]提出了簡化NLNet版本，并結(jié)合了SENet計算量少的優(yōu)點，不僅有效地建立遠程依賴，而且節(jié)省了網(wǎng)絡結(jié)構(gòu)的計算量。GCNet的GC-Block模塊如圖5所示。

圖5 全局上下文建模模塊

1.3 空洞卷積模塊

擴大感受野最簡單的方法就是增大卷積核的大小，但是卷積核大小的增大一定會使計算量增加，隨著Deeplab V1提出的空洞卷積，即擴大卷積核并在卷積核中使用部分用0來填充，可以簡單方便地解決計算量增加的問題。如圖6所示，空洞卷積模塊通過不同空洞率的級聯(lián)，實現(xiàn)了在不改變圖像分辨率的前提下獲得更大的感受野。

圖6 空洞卷積模塊

1.4 融合注意力機制的密集連接網(wǎng)絡

在上述研究的基礎上，本文提出融合注意力機制的密集連接網(wǎng)絡，具體模型結(jié)構(gòu)如圖7所示：

圖7 融入注意力機制的密集連接網(wǎng)絡

編碼器階段：將裁切好的3通道的影像經(jīng)過一個初始模塊，然后分別經(jīng)過四個密集連接模塊與轉(zhuǎn)換模塊提取特征，密集連接模塊有效地減弱了梯度消散問題。

中間層：首先，通過GC-Block提取特征圖的上下文信息，雙注意力機制融合了位置注意力與通道注意力信息，使計算機更好地注意需要的特征，再將結(jié)果送入空洞卷積模塊中，使其在不改變特征圖分辨率的前提下，增大感受野，進一步提取特征圖的全局特征。

解碼器階段：解碼器部分首先上采樣使特征圖的通道數(shù)減小為剛通過編碼器階段DenseBlock3特征圖的通道數(shù)，然后與其進行跳躍拼接，從而使特征圖通道數(shù)變?yōu)樵瓉淼膬杀丁＝?jīng)過DenseBlock之后，通道數(shù)增加，再通過上采樣降低通道數(shù)，直到最后將特征圖變?yōu)橥ǖ罃?shù)為1的二值圖。

2 實驗與分析

2.1 實驗數(shù)據(jù)準備與參數(shù)設置

本文的實驗均在Ubantu16.04，CUDA 10.1，NVIDIA UNIX 64核的PyTorch 1.2.0深度學習框架下進行。

本次實驗的數(shù)據(jù)為來自于38cloud公開數(shù)據(jù)集影像。

參數(shù)設置。batchsize為4，步長為20，使用的優(yōu)化器為Adam，初始學習率為0.001，自動調(diào)整學習率，每次調(diào)整變?yōu)樵瓉淼?/2，直到損失值7次不再下降為止。

2.2 損失函數(shù)

由于這是針對二分類問題，所以使用BCELoss作為損失函數(shù)。BCELoss是二分類問題中優(yōu)秀的損失函數(shù)，其公式為：

公式（3）（4）中GT表示標簽影像（Ground True），P表示預測影像（Predicet Mask），N為批大小，W表示影像的寬度，H為高度，gtij為在i,j位置的像素值，pij為在i,j位置的像素值。

2.3 評價指標

這里選取的指標為平均交并比（mIou）、召回率（recall）以及準確率（precision）。其計算方式如下：

在公式（5）（6）（7）中TP（True Positive）為真陽性表示原本為云預測為云的數(shù)量，TN（True Negative）真陰性表示原本為非云預測為非云的數(shù)量，F(xiàn)P（False Positive）假陽性表示原本為非云錯預測為云的數(shù)量，F(xiàn)N（False Negative）假陰性表示原本為云錯誤預測為非云的數(shù)量，其中三個指標越高表示精度越高。

2.4 云檢測結(jié)果分析

首先，進行定量分析，其中在訓練集上的不同算法模型評價指標表現(xiàn)如表1所示，從表1可以看出，傳統(tǒng)算法的精度較深度學習算法的精度低，加上注意力機制后精度更高。

表1 訓練集上的不同算法模型評價結(jié)果

圖8 不同算法的云檢測結(jié)果對比圖

從圖12中可以看到，原始影像在紅色框中有片云，其中SegNet預測結(jié)果將部分非云像素都預測為云像素，UNet紅色虛線框右方原來的標簽無云，但其預測的結(jié)果為有云，即出現(xiàn)了錯檢現(xiàn)象，DlinkNet50算法預測出來的結(jié)果，正確預測了云的范圍，DDenseNet算法進行的云預測結(jié)果可以明顯地看到拼接縫，紅色框中有大量非云像素被錯檢為云像素，最后為本文算法AD-DenseNet，可以看到，本文算法精確地預測出來云的位置及形狀。另外結(jié)合黃色框及藍色框都可以看到本文算法最優(yōu)。

3 結(jié)論

本文針對傳統(tǒng)的深度學習算法不能很好地檢測出云的范圍的問題，提出了一種融合注意力機制的密集連接網(wǎng)絡，即AD-DenseNet。

（1）首先從編碼器與解碼器結(jié)構(gòu)出發(fā)，不再使用通常使用的ResNet-Block結(jié)構(gòu)作為骨干網(wǎng)絡，使用DenseNet-Block作為編碼器與解碼器，從而可以訓練到更深層的網(wǎng)絡，提取到更多的影像特征。

（2）中間層使用GC-Block提取全局特征，防止網(wǎng)絡陷入局部，引入雙注意力機制，使網(wǎng)絡更加注意有用信息，抑制無關信息。

（3）中間層加入DBlock結(jié)構(gòu)，使網(wǎng)絡在不改變分辨的情況下增大感受野，以提取全局特征。