改進(jìn)U-Net的遙感圖像中建筑物變化檢測

張翠軍，安 冉，馬 麗

1.河北地質(zhì)大學(xué) 信息工程學(xué)院，石家莊050031

2.河北地質(zhì)大學(xué) 人工智能與機(jī)器學(xué)習(xí)研究室，石家莊050031

遙感圖像變化檢測[1]是對(duì)同一地理位置不同時(shí)期獲取的兩幅或多幅圖像進(jìn)行分析和檢測，從而獲得地物變化信息的技術(shù)，在土地利用監(jiān)控、農(nóng)業(yè)監(jiān)測、防災(zāi)預(yù)警、城市規(guī)劃等許多領(lǐng)域都有廣泛的應(yīng)用。目前，遙感圖像的變化檢測方法和技術(shù)是遙感圖像處理領(lǐng)域的研究熱點(diǎn)和難點(diǎn)之一。

傳統(tǒng)的遙感圖像變化檢測方法流程[2]一般分為三步：（1）應(yīng)用圖像預(yù)處理技術(shù)對(duì)圖像進(jìn)行配準(zhǔn)、去噪等，消除成像因素帶來的圖像差異；（2）以圖像差分、圖像比值等方法生成差分圖像；（3）對(duì)差分圖像進(jìn)行分類，從中提取變化類特征，分析變化類特征得到變化圖。Gong等人[3-4]在小波域利用平均比值圖像和對(duì)數(shù)比值圖像的互補(bǔ)信息生成差分圖像，并對(duì)FLICM算法進(jìn)行改進(jìn)，提出改良局部鄰域模糊C 均值（Reformulated Fuzzy Local Infornation C-Means，RFLICM）聚類算法，對(duì)融合后的差分圖像進(jìn)行分類，得到圖像的變化情況；劉陸洋等[5]利用對(duì)數(shù)比差異圖和均值差異圖合成新的差異圖，再由主成分分析法得到新差異圖每個(gè)像素的向量表示，最后通過模糊C均值聚類算法得到變化圖，減少了散斑噪聲對(duì)檢測結(jié)果的影響，提高了變化檢測的精度。上述方法都依賴于手工構(gòu)建的特征表示，對(duì)復(fù)雜的高層次變化信息的建模能力有限，并且當(dāng)變化類和非變化類的特征重疊或其統(tǒng)計(jì)分布建模不準(zhǔn)確時(shí)，檢測結(jié)果會(huì)產(chǎn)生誤差。

近年來，深度學(xué)習(xí)技術(shù)發(fā)展迅速，在目標(biāo)檢測、語義分割和圖像分類等領(lǐng)域中取得了顯著效果，一些學(xué)者開始對(duì)深度學(xué)習(xí)在遙感圖像變化檢測中的應(yīng)用進(jìn)行研究。楊海倫[6]提出基于卷積神經(jīng)網(wǎng)絡(luò)的有監(jiān)督特征學(xué)習(xí)，通過無監(jiān)督特征學(xué)習(xí)生成特征圖，再利用有監(jiān)督的卷積神經(jīng)網(wǎng)絡(luò)從中提取更加抽象的特征，從而檢測出遙感圖像中的變化部分和非變化部分；趙景晨[7]提出一種基于超像素和孿生卷積神經(jīng)網(wǎng)絡(luò)模型，首先以超像素為單位進(jìn)行局部特征計(jì)算和樣本選擇，實(shí)現(xiàn)對(duì)數(shù)據(jù)集的自動(dòng)標(biāo)注，然后利用孿生網(wǎng)絡(luò)對(duì)標(biāo)注后的數(shù)據(jù)集進(jìn)行訓(xùn)練，最后以歐式距離來度量目標(biāo)相似性，通過閾值分割提取變化結(jié)果，兼顧了兩組圖像各自的特征信息，但是閾值的選取較為困難；顧煉[8]將超列和FlowNet 的細(xì)化結(jié)構(gòu)應(yīng)用于U-Net 中，在U-Net 網(wǎng)絡(luò)解碼階段對(duì)每一層進(jìn)行預(yù)測，并將預(yù)測結(jié)果融入下一層的預(yù)測中，設(shè)計(jì)出FlowS-Unet網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)遙感圖像的變化檢測；唐文博[9]將FPN結(jié)構(gòu)融入U(xiǎn)-Net網(wǎng)絡(luò)，構(gòu)建具有更深層語義特征的金字塔模型，并逐層與前一層特征圖橫向連接，有效融合多個(gè)層級(jí)的特征，豐富了編碼階段的特征語義信息，提高了變化檢測對(duì)建筑物邊緣信息的提取精度。深度學(xué)習(xí)技術(shù)在遙感圖像變化檢測中的應(yīng)用取得了初步成效，但進(jìn)一步提高變化檢測的準(zhǔn)確性仍然是該領(lǐng)域研究的主要難點(diǎn)之一。

本文提出了一種基于改進(jìn)U-Net 的遙感圖像中建筑物的變化檢測方法。針對(duì)U-Net 網(wǎng)絡(luò)進(jìn)行遙感圖像變化檢測時(shí)，特征提取階段容易出現(xiàn)梯度消失，導(dǎo)致模型過擬合的現(xiàn)象，提出用非對(duì)稱卷積塊（Asymmetric Convolution Block，ACBlock）來代替U-Net網(wǎng)絡(luò)特征提取部分的標(biāo)準(zhǔn)卷積操作，增強(qiáng)網(wǎng)絡(luò)中心骨架，防止模型過擬合；針對(duì)遙感圖像數(shù)據(jù)集中圖像背景復(fù)雜且小目標(biāo)變化情況容易被漏檢的問題，提出在U-Net網(wǎng)絡(luò)中引入注意力機(jī)制，抑制模型對(duì)非變化類像素特征的學(xué)習(xí)，加強(qiáng)對(duì)變化類像素特征的學(xué)習(xí)，提取到更具代表性的特征，提高檢測精確度。

1 U-Net模型

U-Net 網(wǎng)絡(luò)[10]是一個(gè)U 型對(duì)稱網(wǎng)絡(luò)，左側(cè)是一個(gè)編碼器，右側(cè)是一個(gè)解碼器。編碼器用于提取圖像特征、減少空間維度，解碼器逐步恢復(fù)圖像的細(xì)節(jié)信息和空間維度，兩者之間階躍連接，使解碼器更好地恢復(fù)目標(biāo)的細(xì)節(jié)信息，還原圖像精度。編碼器由4組相同的編碼塊組成，每組編碼塊包含2個(gè)卷積核為3×3的卷積層和一個(gè)下采樣層，卷積層用以提取圖像特征，下采樣層用以過濾一些不重要的高頻信息，減小特征維度，增大感受野。重復(fù)的卷積和池化操作可以充分提取圖像的高層特征，每經(jīng)過一個(gè)編碼塊，特征圖尺度縮小一半而維度加倍。解碼器由4組相同的解碼塊組成，每組解碼塊包含兩個(gè)卷積核為3×3的卷積層和一個(gè)反卷積層，每組解碼塊都將特征圖的尺度擴(kuò)大一倍而將特征圖的維度減半；同時(shí)，每組解碼塊的輸入將與對(duì)應(yīng)層編碼塊的輸出相融合作為下一個(gè)反卷積層的輸入，以降低編碼塊中下采樣帶來的信息損失。經(jīng)過4 組解碼塊后得到與輸入圖片尺寸相同的64維特征圖，將其映射為2維變化特征圖。利用Softmax分類器計(jì)算變化特征圖中每個(gè)像素屬于變化類和非變化類的概率，對(duì)概率進(jìn)行映射，得到以黑色為背景、白色為變化區(qū)域的變化圖。U-Net模型結(jié)構(gòu)如圖1所示。

圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

利用U-Net 網(wǎng)絡(luò)進(jìn)行遙感圖像中建筑物的變化檢測，首先將兩幅多時(shí)相圖像合并通道，然后將合并通道后的數(shù)據(jù)送入U(xiǎn)-Net模型進(jìn)行測試，最后得到變化檢測結(jié)果圖，具體流程如圖2所示。

圖2 基于U-Net模型的遙感圖像中建筑物變化檢測

2 改進(jìn)的U-Net模型

2.1 非對(duì)稱卷積塊

U-Net 網(wǎng)絡(luò)在特征提取部分經(jīng)過了5 個(gè)編碼塊，10次3×3的標(biāo)準(zhǔn)卷積操作，重復(fù)的卷積操作會(huì)使網(wǎng)絡(luò)在特征提取部分產(chǎn)生大量信息損失，導(dǎo)致模型在訓(xùn)練中容易出現(xiàn)過擬合現(xiàn)象，影響變化檢測的精度[11]。因此，本文對(duì)U-Net網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)進(jìn)行了改進(jìn)，在特征提取環(huán)節(jié)用非對(duì)稱卷積塊（ACBlock）代替3×3標(biāo)準(zhǔn)卷積以提高網(wǎng)絡(luò)變化檢測的精確度。ACBlock如圖3所示。

圖3 ACBlock模塊

ACBlock 是由一組卷積核為3×3、1×3、3×1 的卷積結(jié)果累加得到的卷積操作，相當(dāng)于在3×3卷積核的中心位置增加了兩個(gè)卷積核為1×3、3×1的單個(gè)卷積操作，獲得一個(gè)等價(jià)的輸出，模塊結(jié)構(gòu)如圖4 所示。用ACBlock代替特征提取部分的標(biāo)準(zhǔn)3×3 卷積可以在訓(xùn)練過程中豐富特征空間，將模型學(xué)到的知識(shí)融入方形核中，增強(qiáng)方形卷積核的中心骨架部分，減少因卷積操作帶來的信息損失，在不增加額外參數(shù)和計(jì)算量的前提下增強(qiáng)模型對(duì)旋轉(zhuǎn)扭曲的魯棒性，從而提高模型精度。

圖4 ACBlock模塊結(jié)構(gòu)圖

2.2 注意力機(jī)制

變化檢測的數(shù)據(jù)集圖片中包含建筑物、植被、裸地、農(nóng)田和水域等多種地物，而本文只關(guān)注發(fā)生變化的建筑物，其他類別地物及未發(fā)生變化的建筑物均作為背景處理，背景情況較為復(fù)雜，對(duì)變化檢測結(jié)果的準(zhǔn)確性有很大的干擾[12-13]。因此，本文提出在U-Net 網(wǎng)絡(luò)的階躍連接部分引入注意力機(jī)制調(diào)節(jié)特征權(quán)重，抑制模型學(xué)習(xí)與變化類像素?zé)o關(guān)的特征，重點(diǎn)學(xué)習(xí)與變化類像素相關(guān)的特征，加強(qiáng)網(wǎng)絡(luò)對(duì)變化類建筑物特征的提取。注意力機(jī)制的結(jié)構(gòu)如圖5所示。

其中，g為解碼部分的特征圖矩陣，x為編碼部分特征圖矩陣，H、W、C分別代表特征圖的長、寬、通道數(shù)，Wg、Wx為特征權(quán)重矩陣。注意力機(jī)制的具體操作分為三個(gè)步驟：

圖5 注意力機(jī)制模塊

（1）特征權(quán)重提取

其中，i、j對(duì)應(yīng)特征圖中像素位置。

通過公式（1）、（2）將編碼部分的特征圖x和解碼部分的特征圖g分別進(jìn)行全局平均池化，得到特征圖包含C個(gè)通道信息的權(quán)重矩陣Wx、Wg。

（2）特征權(quán)重更新

其中，σ1代表ReLU激活函數(shù)，σ2代表Sigmoid函數(shù)。

注意力機(jī)制通過兩個(gè)全連接層實(shí)現(xiàn)特征權(quán)重的更新，首先，通過Wx點(diǎn)乘x、Wg點(diǎn)乘g實(shí)現(xiàn)一次編碼部分特征圖和解碼部分特征圖的全連接操作，減少參數(shù)計(jì)算量；然后，將全連接層結(jié)果求和后經(jīng)過ReLU層，將結(jié)果與Ψ點(diǎn)乘再做一次全連接，過程如式（3）所示，權(quán)重矩陣Wg、Wx經(jīng)過反向傳播學(xué)習(xí)，得到g和x矩陣中每個(gè)元素的重要程度，據(jù)此對(duì)g和x矩陣?yán)^續(xù)前向傳播的比例進(jìn)行調(diào)整；最后，對(duì)每個(gè)像素的權(quán)重重新分配，經(jīng)過Sigmoid層得到特征權(quán)重更新后的權(quán)重矩陣α如式（4）。

（3）更新后的特征權(quán)重映射到特征圖

將更新后的權(quán)重矩陣α與特征圖x點(diǎn)乘，將特征圖中與變化類像素相關(guān)的通道權(quán)重加大，與其他像素相關(guān)的通道權(quán)重減小，得到具有注意力機(jī)制的特征圖，并將其與特征圖g階躍連接，進(jìn)入下一層解碼層。

在U-Net 網(wǎng)絡(luò)中引入注意力機(jī)制，得到的Att-Unet網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。Att-Unet是在U-Net網(wǎng)絡(luò)的階躍連接部分引入了注意力門，將底層信息和當(dāng)前通道的特征進(jìn)行了一個(gè)通道層面的注意力控制，使不同通道之間的特征能夠聯(lián)系起來，而同類特征之間有了相互限制，比直接上采樣恢復(fù)的圖像更加精細(xì)，變化檢測準(zhǔn)確率也得到提高。

圖6 Att-Unet結(jié)構(gòu)示意圖

3 實(shí)驗(yàn)數(shù)據(jù)與預(yù)處理

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)選自QuickBird 衛(wèi)星獲取的廣東某地區(qū)2015 年和2017 年的兩幅遙感圖像，圖像樣例如圖7 所示。兩幅遙感圖像均包含紅、綠、藍(lán)和近紅外四個(gè)通道，大小為15 106×4 000。

圖7 數(shù)據(jù)集樣例

3.2 預(yù)處理

3.2.1 色差勻衡與拉伸

兩個(gè)時(shí)期的圖像都是多景拼接數(shù)據(jù)，在紅、近紅外波段拼接痕跡不明顯，但在藍(lán)、綠波段拼接痕跡明顯，使得圖像存在一定的色差，會(huì)對(duì)后續(xù)模型的訓(xùn)練造成不良影響。因此，本文對(duì)圖7所示的遙感圖像進(jìn)行了色差均衡和圖像拉伸，以消除圖像的波段拼接痕跡，下面以2015年圖像為例展示了色差均衡與拉伸的過程。

（1）采用Canny邊緣檢測算法提取圖像的波段拼接邊界，并根據(jù)檢測到的邊界對(duì)圖像進(jìn)行分割。2015年圖像由兩部分拼接而成，存在一個(gè)拼接邊界，圖8 展示了拼接邊界的檢測和分割效果。

圖8 邊界分割

（2）每次提取一個(gè)部分作為感興趣區(qū)域，將其他部分的信息屏蔽，生成如圖9 所示的掩碼圖像（紅色為感興趣區(qū)域，黑色為信息屏蔽區(qū)域）。對(duì)各掩碼圖像的感興趣區(qū)域進(jìn)行2%拉伸[14]，即首先將整張圖像每個(gè)像素點(diǎn)的像素值按從小到大進(jìn)行排序；然后將該序列中2%位置處的像素值作為下限minvalue，將98%位置處的像素值作為上限maxvalue；最后遍歷圖像中的每一個(gè)像素，若像素值小于minvalue，則將該點(diǎn)像素值設(shè)為0；若像素值大于maxvalue，則將該點(diǎn)像素值設(shè)為65 535；若像素值大于minvalue且小于maxvalue，則將該點(diǎn)像素值按比例拉伸至0～65 535。

圖9 2015年圖像掩碼圖

（3）用鄰域平均法分別對(duì)兩塊感興趣區(qū)域進(jìn)行邊界平滑，將平滑后的圖像拼接在一起，得到色差均衡后的圖像如圖10所示。

圖10 色差均衡后的圖像

3.2.2 樣本標(biāo)注與擴(kuò)充

（1）樣本標(biāo)注

本文利用ENVI 軟件對(duì)2017 年圖像與2015 年圖像相比新增的建筑物進(jìn)行了標(biāo)注，并根據(jù)標(biāo)注結(jié)果生成與原圖大小相同的Ground Truth圖，如圖11所示。Ground Truth 為單通道灰度圖，其中白色部分表示建筑物發(fā)生變化的像素，黑色部分表示未發(fā)生變化的像素。

圖11 ENVI標(biāo)注的Ground Truth圖

（2）樣本切分與增廣

圖12 樣本切分后的部分?jǐn)?shù)據(jù)集樣例

數(shù)據(jù)集中兩幅圖像的大小均為15 106×4 000，生成的Ground Truth 圖大小同樣為15 106×4 000，若將其作為樣本數(shù)據(jù)直接送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，會(huì)因遙感圖像尺寸較大，導(dǎo)致訓(xùn)練過程出現(xiàn)內(nèi)存不足的問題。為了保證實(shí)驗(yàn)的順利進(jìn)行，本文對(duì)標(biāo)注后的數(shù)據(jù)集進(jìn)行了以下操作：①將遙感圖像按照7∶2∶1 的比例劃分為互不重疊的訓(xùn)練集、驗(yàn)證集和測試集三個(gè)部分；②以隨機(jī)位置窗口的方式利用滑動(dòng)窗口將訓(xùn)練集、驗(yàn)證集和測試集圖像切分為256×256大小的小尺寸圖像，圖12展示了樣本切分后形成的數(shù)據(jù)集中部分代表性的樣例；③對(duì)訓(xùn)練集中的圖像進(jìn)行水平翻轉(zhuǎn)、逆時(shí)針旋轉(zhuǎn)等操作進(jìn)行數(shù)據(jù)增強(qiáng)，如圖13所示。經(jīng)過樣本切分與數(shù)據(jù)增強(qiáng)后，用于訓(xùn)練的數(shù)據(jù)有1 750 對(duì)，每張圖像大小為256×256，其中，正樣本有969對(duì)，負(fù)樣本有781對(duì)。

圖13 數(shù)據(jù)增強(qiáng)后的圖像樣例

3.2.3 數(shù)據(jù)歸一化

遙感圖像各部分的亮度和像素值分布差異較大、數(shù)據(jù)分布不一致，直接將其送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，梯度下降過程數(shù)據(jù)形成的等高線是一組偏橢圓，迭代過程緩慢并且可能使模型陷入局部最優(yōu)解，因此，本文對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了歸一化處理。利用均值歸一化，將圖像的像素值歸一化到0～1之間，使訓(xùn)練數(shù)據(jù)有相似的分布，訓(xùn)練過程對(duì)應(yīng)的等高線將變圓，梯度下降速度較快，模型的收斂速度也隨之加快[15]。數(shù)據(jù)歸一化前后的梯度下降情況如圖14。

圖14 歸一化前后梯度變化

3.2.4 通道合并

U-Net 網(wǎng)絡(luò)是一個(gè)單輸入模型，在訓(xùn)練中難以兼顧兩張不同時(shí)相圖像的對(duì)應(yīng)關(guān)系信息，因此，本文在模型訓(xùn)練之前先將不同時(shí)相的兩張遙感圖像的通道合并，再送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，如圖15所示。

圖15 合并通道

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境

4.2 網(wǎng)絡(luò)配置

4.2.1 損失函數(shù)

經(jīng)典的二分類交叉熵?fù)p失函數(shù)如式（6）：

其中，tn表示真實(shí)標(biāo)簽類別，當(dāng)n為變化類像素時(shí)tn取值為1，否則，tn取值為0；pn代表預(yù)測n為變化類像素的概率且N是一個(gè)樣本中總的像素?cái)?shù)，n是樣本中一個(gè)像素。

在數(shù)據(jù)分布不平衡的情況下，會(huì)使網(wǎng)絡(luò)對(duì)占比高的類別識(shí)別度高，對(duì)占比低的類別識(shí)別度低，容易陷入局部極小值[16]。本文的數(shù)據(jù)集中存在變化類像素占比小或完全沒有變化類像素的樣本，樣本分布不均衡。當(dāng)樣本中非變化類像素過多時(shí)，選用交叉熵函數(shù)作為損失函數(shù)，可能導(dǎo)致模型更側(cè)重于對(duì)非變化類特征的學(xué)習(xí)，通過增加非變化類像素的預(yù)測概率來降低損失，而Dice損失函數(shù)只關(guān)注像素點(diǎn)是否被正確分類。因此，本文選用如式（7）所示的Dice損失函數(shù)作為交叉熵函數(shù)的補(bǔ)充，減輕類別不平衡對(duì)檢測精度的影響，最終以式（8）所示的復(fù)合函數(shù)作為損失函數(shù)，提高模型在變化類像素較少時(shí)對(duì)變化類特征的學(xué)習(xí)。

其中，yn是預(yù)測類別，其他參數(shù)設(shè)定與式（6）相同。

4.2.2 優(yōu)化器

優(yōu)化器用于網(wǎng)絡(luò)訓(xùn)練過程中更新模型參數(shù)，使損失函數(shù)降到最低。模型訓(xùn)練過程中常用的優(yōu)化器有SGD、BGD、Adam 等[17]。其中，Adam 算法相當(dāng)于Rmsprop 梯度下降法和momentum 梯度下降法的結(jié)合，收斂速度快，學(xué)習(xí)效果好，適用于各種神經(jīng)網(wǎng)絡(luò)。因此，本文選用Adam作為優(yōu)化器，并且為了防止陷入局部最優(yōu)解，引入了模擬退火算法調(diào)整學(xué)習(xí)率，使模型更好地收斂。

4.2.3 ReLU激活函數(shù)

卷積神經(jīng)網(wǎng)絡(luò)特征提取部分的作用是從大量的數(shù)據(jù)中提取出具有代表性的關(guān)鍵因子。原始數(shù)據(jù)通常由高度密集的特征組成，為了解開這些特征間的復(fù)雜關(guān)系，將其轉(zhuǎn)換為稀疏特征，使提取的特征具有魯棒性，在卷積神經(jīng)網(wǎng)絡(luò)中引入了ReLU激活函數(shù)[18]，如式（9）所示：

當(dāng)輸入x大于等于0 時(shí)，輸出值為x；當(dāng)輸入x小于0 時(shí)，輸出值為0。這是一種具有單側(cè)抑制特性的激活函數(shù)，卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過ReLU 函數(shù)后輸出為0 的神經(jīng)元越多，特征稀疏性越強(qiáng)，提取出來的特征更具有代表性，泛化能力越強(qiáng)。ReLU函數(shù)的曲線如圖16所示。

圖16 ReLU激活函數(shù)

本文采用端到端的訓(xùn)練方法，同時(shí)以Adam 作為梯度下降方式，將ReLU 函數(shù)作為激活函數(shù)，初始學(xué)習(xí)率設(shè)為0.000 1，并以模擬退火算法調(diào)節(jié)學(xué)習(xí)率，以100 epoch作為訓(xùn)練輪數(shù)進(jìn)行模型訓(xùn)練。

4.3 評(píng)價(jià)指標(biāo)

本文采用F1 score 作為評(píng)價(jià)指標(biāo)。F1 score 是衡量二分類問題精確度的重要指標(biāo)，是召回率（Recall）和精確率（Precision）的調(diào)和平均，在利用F1 score 對(duì)模型精度進(jìn)行評(píng)估時(shí)，每個(gè)像素點(diǎn)的分類結(jié)果都會(huì)影響得分。F1 score越高，得到的變化圖的精確度越好。

其中，TP表示分類正確的正類別數(shù)，TN表示分類正確的負(fù)類別數(shù)，F(xiàn)P表示分類錯(cuò)誤的正類別數(shù)，F(xiàn)N表示分類錯(cuò)誤的負(fù)類別數(shù)。本實(shí)驗(yàn)中，正類別是變化類像素?cái)?shù)，負(fù)類別是非變化類像素?cái)?shù)。

4.4 實(shí)驗(yàn)結(jié)果與分析

本文通過引入注意力機(jī)制、ACBlock卷積塊對(duì)U-Net網(wǎng)絡(luò)進(jìn)行改進(jìn)，并利用改進(jìn)后的模型對(duì)遙感圖像中建筑物進(jìn)行變化檢測，表2展示了模型的訓(xùn)練時(shí)間對(duì)比情況。

從表2可以看出，U-Net模型的訓(xùn)練時(shí)間最短，其他四個(gè)模型相較U-Net 模型規(guī)模越來越大、參數(shù)越來越多，訓(xùn)練花費(fèi)的時(shí)間也越來越長。Att-Unet 模型是在U-Net模型中引入了注意力機(jī)制，注意力機(jī)制中特征權(quán)重的提取和更新增加了模型參數(shù)量，從而增加了模型訓(xùn)練的時(shí)間；ACBlock+Unet模型是在U-Net的基礎(chǔ)上引入了非對(duì)稱卷積塊，非對(duì)稱卷積塊中的三個(gè)分支輸出相加的方式豐富了特征空間，但加操作的存在使模型訓(xùn)練時(shí)間增長；ACBlock+Att-Unet 模型是以上兩種模型的結(jié)合，兩種改進(jìn)方式增加的參數(shù)之和更是模型訓(xùn)練耗時(shí)長的主要原因；ACBlock+Att-Unet+dataAugmentation的模型與上一個(gè)模型的參數(shù)量相同，但數(shù)據(jù)增強(qiáng)操作增加了訓(xùn)練樣本數(shù)，從而增長了模型訓(xùn)練時(shí)間。

表2 不同改進(jìn)模型訓(xùn)練時(shí)間對(duì)比

圖17展示了兩組實(shí)驗(yàn)結(jié)果。從圖17的兩組實(shí)驗(yàn)結(jié)果圖可以看出，五種方法都提取到了變化的區(qū)域，但是提取效果有一定的差距。從圖17（d）可以看出，U-Net模型可以提取出一部分的變化區(qū)域，但與Ground Truth圖相比，還有一些細(xì)節(jié)區(qū)域沒有提取到；圖17（e）提取的變化圖中包含了與周圍未變化區(qū)域差別較小的變化區(qū)域，體現(xiàn)了加入注意力機(jī)制后的網(wǎng)絡(luò)能更好地恢復(fù)圖像細(xì)節(jié)；圖17（f）提取的變化區(qū)域更清晰，說明ACBlock提取的特征更具代表性；圖17（g）提取的變化區(qū)域最完整，說明注意力機(jī)制和ACBlock 對(duì)網(wǎng)絡(luò)的雙重作用使模型準(zhǔn)確率得到了提升；從圖17（h）可以看出，在進(jìn)行數(shù)據(jù)增強(qiáng)以后，通過豐富數(shù)據(jù)集的多樣性，模型性能得到了進(jìn)一步提升，提取的變化區(qū)域也更為清晰和完整。表3、表4分別展示了用4.3節(jié)中的評(píng)估指標(biāo)對(duì)兩組測試結(jié)果進(jìn)行評(píng)估的評(píng)估結(jié)果以及測試花費(fèi)的時(shí)間。

圖17 變化檢測結(jié)果圖

表3 第一組圖像不同改進(jìn)實(shí)驗(yàn)結(jié)果對(duì)比

表4 第二組圖像不同改進(jìn)實(shí)驗(yàn)結(jié)果對(duì)比

表3中統(tǒng)計(jì)了圖17中第一組圖像的測試結(jié)果，從中可以看出，在效率方面，U-Net模型測試所需時(shí)間最短，在其他方法中，隨著網(wǎng)絡(luò)參數(shù)的增加，測試所需時(shí)間也不斷增長，但整體差別不大；在精度方面，五種方法的Accuracy 值都達(dá)到了95%以上，但利用U-Net 網(wǎng)絡(luò)進(jìn)行變化檢測的召回率和F1 值較其他方法都比較低，而在U-Net 網(wǎng)絡(luò)中分別引入了注意力機(jī)制和非對(duì)稱卷積塊后，模型在召回率、準(zhǔn)確率和F1 值上都有了一定的提升，其中，ACBlock+Att-Unet 模型雖然準(zhǔn)確率比U-Net模型的準(zhǔn)確率低了0.077，但是召回率比U-Net模型高了0.230，在作為準(zhǔn)確率和召回率的調(diào)和平均的F1 值上，ACBlock+Att-Unet模型比U-Net模型要高0.102，說明在U-Net模型上引入的兩點(diǎn)改進(jìn)，對(duì)模型性能的提升有很大作用，在進(jìn)一步利用數(shù)據(jù)增強(qiáng)增加了數(shù)據(jù)集的多樣性后，本文最終提出的基于ACBlock+Att-Unet+圖像增強(qiáng)的方法能夠較為完整地提取出建筑物的變化信息，且F1值較U-Net模型提升了將近20%。

表4統(tǒng)計(jì)了圖17中第二組圖像的測試結(jié)果，從中可以看出，在效率方面，U-Net模型測試所需時(shí)間最短，在其他方法中，隨著網(wǎng)絡(luò)參數(shù)的增加，測試所需時(shí)間也不斷增長，但整體差別不大；在精度方面，五種方法的Accuracy值在逐步提升，最終達(dá)到了90%，但利用U-Net網(wǎng)絡(luò)進(jìn)行變化檢測的召回率和F1 值較其他方法都要低。其中，在U-Net 中引入注意力機(jī)制后，模型的準(zhǔn)確率雖較U-Net模型低了0.082，但召回率高了0.119，模型F1值比原始的U-Net模型高了0.040；在U-Net中引入非對(duì)稱卷積塊后，模型的準(zhǔn)確率、召回率和F1值都有所提升。由以上數(shù)據(jù)分析可以得出，最終在U-Net中同時(shí)引入注意力機(jī)制和非對(duì)稱卷積塊而提出的基于ACBlock+Att-Unet+dataAugmentation的變化檢測方法能夠較為完整地提取出建筑物的變化信息，且F1值提升了將近10%。

5 結(jié)論

本文通過引入非對(duì)稱卷積塊和注意力機(jī)制對(duì)U-Net模型進(jìn)行改進(jìn)，并將改進(jìn)后的模型用于遙感圖像變化檢測算法，實(shí)現(xiàn)對(duì)建筑物變化情況的監(jiān)測。一方面，將U-Net模型在特征提取部分的標(biāo)準(zhǔn)卷積操作替換成一組由卷積核為1×3、3×3 和3×1 卷積之和組成的非對(duì)稱卷積塊，增強(qiáng)了方形卷積核的中心骨架部分，使模型更具有魯棒性；另一方面，在U-Net中引入了注意力機(jī)制，使模型訓(xùn)練時(shí)能通過抑制對(duì)非變化類像素的關(guān)注度，加強(qiáng)對(duì)變化類像素特征的學(xué)習(xí)，提高了模型對(duì)變化類建筑物像素的敏感性。改進(jìn)后的模型能較為準(zhǔn)確地檢測出遙感圖像中的變化類建筑物像素，且較原始U-Net 模型，改進(jìn)后的模型在準(zhǔn)確率和F1 score上都有提升。然而，改進(jìn)后的模型網(wǎng)絡(luò)框架較大，參數(shù)量增加，導(dǎo)致模型訓(xùn)練時(shí)間加長，因此，后續(xù)研究要朝著進(jìn)一步提升模型準(zhǔn)確率和加快模型訓(xùn)練速度的方向進(jìn)行。