基于改進(jìn)UNet孿生網(wǎng)絡(luò)的遙感影像礦區(qū)變化檢測(cè)

向 陽，趙銀娣，董霽紅

(中國(guó)礦業(yè)大學(xué) 環(huán)境與測(cè)繪學(xué)院，江蘇 徐州 221116)

礦產(chǎn)是我國(guó)的重要資源之一，長(zhǎng)期以來在國(guó)家經(jīng)濟(jì)建設(shè)中發(fā)揮了重要作用[1]。但是由于開發(fā)方式比較粗放和礦區(qū)生態(tài)環(huán)境脆弱容易遭到破壞的特點(diǎn)，造成的礦區(qū)生態(tài)環(huán)境問題日益突出[2]。隨著遙感技術(shù)的快速發(fā)展，利用遙感手段對(duì)礦區(qū)植被覆蓋、生態(tài)環(huán)境進(jìn)行變化信息的檢測(cè)，是目前遙感研究的熱點(diǎn)之一[3-6]。遙感變化檢測(cè)是通過對(duì)同一區(qū)域不同時(shí)間獲取的遙感影像進(jìn)行數(shù)據(jù)處理和影像對(duì)比分析，以獲取地表類型變化信息的過程。及時(shí)獲取地表覆蓋和土地利用變化信息在土地規(guī)劃管理、生態(tài)保護(hù)等實(shí)際應(yīng)用中具有重要作用[7-8]。

近些年來，國(guó)內(nèi)外學(xué)者針對(duì)礦區(qū)土地利用和生態(tài)環(huán)境變化方法提出了很多方法[9-11]。這些方法主要是通過對(duì)提取的紋理、形狀、顏色等人工設(shè)計(jì)的圖像特征進(jìn)行研究分析，進(jìn)而得到變化信息。利用人工設(shè)計(jì)圖像特征進(jìn)行變化檢測(cè)雖然取得了一定的成果，但是存在一定的局限性。需要對(duì)人工設(shè)計(jì)圖像特征深入地進(jìn)行信息挖掘，多特征融合等處理，增加了變化檢測(cè)模型的復(fù)雜性。

隨著深度學(xué)習(xí)在目標(biāo)檢測(cè)和分類等視覺任務(wù)中的成功應(yīng)用[12-14]，展示出了神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力。2014年，LONG等[15]提出全卷積網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)利用卷積層代替全連接層，可以接受任意尺寸的輸入圖像，解決了語義級(jí)別的圖像分割問題，實(shí)現(xiàn)了對(duì)圖像進(jìn)行端到端的像素分類。由于FCN沒有考慮像素與像素之間的關(guān)系，得到的結(jié)果不夠精細(xì)，BADRINARAYANAN等[16]對(duì)編碼端和解碼端進(jìn)行逐層跳躍連接，并利用編碼過程中的池化位置索引信息，對(duì)圖像進(jìn)行上池化(Unpooling)，恢復(fù)圖像大小，提高了分割精度。OKTAY等[17]將注意力機(jī)制引入到UNet網(wǎng)絡(luò)結(jié)構(gòu)中，在對(duì)編碼端與解碼端特征進(jìn)行跳躍連接前，應(yīng)用注意力機(jī)制，生成一個(gè)門控制信號(hào)，用來控制不同空間位置特征的重要性。隨著空間池化金字塔模塊(Atrous Spatial Pyramid Pooling,ASPP)[18]，特征金字塔[14]，空洞卷積[19]等方法的提出并在網(wǎng)絡(luò)模型中的使用，通過增加多尺度信息和上下文語義信息，在圖像分割中取得了不錯(cuò)的效果。語義分割網(wǎng)絡(luò)模型的發(fā)展，也促進(jìn)了深度學(xué)習(xí)方法在遙感影像變化檢測(cè)方向的應(yīng)用。一些學(xué)者將前后兩時(shí)期遙感影像地物變化問題轉(zhuǎn)化為影像二值分割問題，利用端到端的神經(jīng)網(wǎng)絡(luò)提取影像的變化信息，并取得了成果[20-22]。

礦區(qū)土地利用類型變化信息，可以指導(dǎo)礦區(qū)生態(tài)保護(hù)和土地規(guī)劃管理。通過研究礦區(qū)土地利用類型變化信息，掌握礦區(qū)土地利用變化規(guī)律是礦山可持續(xù)發(fā)展的重要基礎(chǔ)。筆者基于改進(jìn)UNet孿生網(wǎng)絡(luò)結(jié)構(gòu)，通過加入影像的多分辨率信息和增大特征提取時(shí)的感受野(Reception Field，RF)，將端到端的深度學(xué)習(xí)方法應(yīng)用到礦區(qū)土地利用類型的變化檢測(cè)中，在避免提取人工設(shè)計(jì)圖像特征繁瑣的同時(shí)，提高遙感影像礦區(qū)變化檢測(cè)的精度。

1 網(wǎng)絡(luò)結(jié)構(gòu)

本節(jié)對(duì)提出的變化檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行詳細(xì)介紹，變化檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其中,m為特征影像在維度方向的融合；Skip Connetion為在對(duì)應(yīng)編碼層和解碼層中進(jìn)行特征連接。網(wǎng)絡(luò)結(jié)構(gòu)主要包括:改進(jìn)的UNet孿生網(wǎng)絡(luò)結(jié)構(gòu),影像中心環(huán)繞和特征金字塔模塊。

1.1 改進(jìn)的UNet孿生網(wǎng)絡(luò)結(jié)構(gòu)

UNet網(wǎng)絡(luò)[23]作為比較早的全卷積網(wǎng)絡(luò)之一，最初用于醫(yī)學(xué)圖像分割。UNet網(wǎng)絡(luò)結(jié)構(gòu)由3部分組成，分別是:用于捕捉語義特征的編碼端，精準(zhǔn)定位的解碼端以及結(jié)合底層信息和高層信息的跳躍連接。圖像經(jīng)過編碼端4次池化下采樣后，大小變?yōu)樵瓐D像大小的1/16。為了使輸出結(jié)果和輸入圖像大小一致，解碼端過程中逐層對(duì)圖像進(jìn)行上采樣并通過跳躍連接融合對(duì)應(yīng)層的編碼端圖像特征，最后對(duì)圖像進(jìn)行逐像元預(yù)測(cè)，得到預(yù)測(cè)結(jié)果圖像。該網(wǎng)絡(luò)可以用少量數(shù)據(jù)，訓(xùn)練得到好的模型，在遙感影像解譯中廣泛應(yīng)用[24-26]。本文以UNet網(wǎng)絡(luò)作為基本的網(wǎng)絡(luò)結(jié)構(gòu)。原UNet結(jié)構(gòu)編碼端利用池化層進(jìn)行下采樣。池化層雖然增大了感受野，讓卷積接收到更多的圖像信息，去除了圖像中的冗余信息，但是增大感受野的前提是丟失了一些信息，這對(duì)基于像元任務(wù)的結(jié)果預(yù)測(cè)有一定的影響。因此本文用步長(zhǎng)為2的卷積層來替換池化層。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure diagram

對(duì)于大小為224×224的影像，經(jīng)過編碼端特征提取后影像大小變?yōu)?4×14。此外，將原UNet網(wǎng)絡(luò)編碼端的單通道輸入結(jié)構(gòu)變?yōu)闄?quán)值共享的雙通道孿生網(wǎng)絡(luò)結(jié)構(gòu)[27]，以便接收前后兩時(shí)期的影像，從影像中提取差異信息，進(jìn)而得到變化區(qū)域。

1.2 影像中心環(huán)繞

影像中心環(huán)繞[28]由兩部分組成即中心區(qū)域(Central)和環(huán)繞區(qū)域(Surround)。假設(shè)原始輸入影像大小為224×224，中心區(qū)域接收的是從原始影像中心裁剪的112×112的高分辨率影像塊，環(huán)繞區(qū)域接收的是將原始影像下采樣為原來1/2大小的低分辨率影像塊。影像中心環(huán)繞產(chǎn)生了高分辨率和低分辨率影像塊，這種多分辨影像信息可以突出影像的差異性。如圖2所示黑色框中為對(duì)輸入的前后兩時(shí)期影像進(jìn)行中心環(huán)繞的示意，Conv為卷積操作，sub為差值影像。

圖2 影像中心環(huán)繞和改進(jìn)UNet孿生網(wǎng)絡(luò)編碼端 中心環(huán)繞結(jié)構(gòu)Fig.2 Image central-surround and improved encoder part of the central surround based on the UNet siamese network

將得到的中心區(qū)域和環(huán)繞區(qū)域影像輸入到改進(jìn)UNet孿生網(wǎng)絡(luò)結(jié)構(gòu)編碼端。如圖2紅色框所示，影像差值可使變化信息從背景影像中顯現(xiàn)出來，因此分別提取中心區(qū)域和環(huán)繞區(qū)域前后兩時(shí)相影像的特征，并計(jì)算同一卷積層的差值影像:

Ssubi,Csubi=|f1,i-f2,i|,i=1,2,3,4,5

其中，Ssubi，Csubi分別為第i卷積層環(huán)繞區(qū)域中心區(qū)域的差值影像;f1,i，f2,i分別為前后兩時(shí)期影像在第i卷積層得到的特征影像。然后，對(duì)同一卷積層的中心區(qū)域和環(huán)繞區(qū)域差值影像進(jìn)行在波段維度的特征融合，將融合后的影像作為編碼端提取的特征影像。

Fi=meger(Ssubi,Csubi),i=1,2,3,4,5

其中，F(xiàn)i為融合后的特征影像;meger為對(duì)Ssubi和Csubi圖像進(jìn)行融合操作。融合后的特征影像通過跳躍連接輸入到對(duì)應(yīng)層的解碼端，利用Softmax分類器進(jìn)行端到端的預(yù)測(cè)，得到變化二值圖像。

1.3 特征金字塔

空洞卷積池化金字塔首次提出并使用在Deeplab v2[29]網(wǎng)絡(luò)結(jié)構(gòu)中，該結(jié)構(gòu)受到空間金字塔[30]的啟發(fā)，通過在給定輸入圖像上以不同采樣率的空洞卷積并行采樣，以增大卷積層在圖像中的感受野，進(jìn)而捕捉更多圖像的上下文信息。

空洞卷積可以在不增加計(jì)算量的同時(shí)，增加感受野的大小，將更大的上下文結(jié)合起來。膨脹率為r的空洞卷積通過在卷積核中間填充0的方式，把K×K的卷積核擴(kuò)大為NK×NK，感受野變?yōu)镽F，而不增加參數(shù)數(shù)量或計(jì)算量。NK，RF計(jì)算公式為

NK=K+(K-1)(r-1)

RFm=RFm-1+[(Km-1)Sm]

其中，NK為膨脹后新的卷積核大小;RFm為第m層感受野大小;Km為第m層卷積核大小;Sm為第m層卷積步長(zhǎng)?？斩淳矸e提供了一種有效的控制視野的機(jī)制，并在利用小視野準(zhǔn)確定位和大視野中上下文空間信息之間找到最佳權(quán)衡。

本文的特征金字塔結(jié)構(gòu)，除了加入前文所述的不同膨脹率的空洞卷積獲取多尺度語義信息外，還利用全局平均池化模塊(Global Average Pooling，GAP)[31]獲取圖像的全局信息。如圖3所示，特征金字塔結(jié)構(gòu)由3個(gè)膨脹系數(shù)dilat分別為1，2，4的空洞卷積和一個(gè)帶有上采樣的全局平均池化組成。經(jīng)過特征金字塔生成的多尺度特征張量直接輸入到網(wǎng)絡(luò)的解碼端，進(jìn)行特征跳躍連接和圖像大小恢復(fù)，最后預(yù)測(cè)得到變化二值圖像。

圖3 特征金字塔Fig.3 Feature pyramid

2 數(shù)據(jù)預(yù)處理

2.1 數(shù)據(jù)介紹

為了驗(yàn)證提出方法的有效性，本文獲取了內(nèi)蒙古自治區(qū)呼倫貝爾市寶日希勒露天礦于2012年4月資源三號(hào)(ZY3)和2016-07高分一號(hào)(GF1)的兩幅影像，兩幅影像均包括藍(lán)，綠，紅和近紅外4個(gè)波段，對(duì)兩幅影像裁剪后的寶日希勒礦區(qū)影像區(qū)域大小為4 000×4 000。寶日希勒礦于2001年開始投入生產(chǎn)，截止到2016年，礦區(qū)內(nèi)排土場(chǎng)基本完成復(fù)墾，地表覆蓋類型較復(fù)墾前具有顯著變化。兩幅影像的預(yù)處理過程包括:幾何校正、正射校正和輻射校正。通過對(duì)兩幅影像進(jìn)行目視解譯，得到了兩時(shí)期影像的變化參考圖像，白色表示變化區(qū)域，黑色表示未變化區(qū)域,如圖4所示。

2.2 數(shù)據(jù)準(zhǔn)備

由于獲取的ZY3和GF1多光譜遙感影像包含4個(gè)波段，分別是:紅(Red)，綠(Green)，藍(lán)(Blue)和近紅外(Near infrared)。任意3個(gè)波段相互組合都可以到得不同的彩色影像。其中真彩色影像上地物色彩與實(shí)際地物顏色接近或者一致，可以反映地物的實(shí)際狀況，便于直接通過影像觀察礦區(qū)地物類型的變化情況。因此本文將紅(Red)，綠(Green)，藍(lán)(Blue)3個(gè)波段的灰度影像分別加載到紅、綠、藍(lán)三通道進(jìn)行波段組合得到的真彩色影像進(jìn)行試驗(yàn) 。如圖4所示，每個(gè)影像塊大小均為1 000×1 000。選取編號(hào)為2,3，9,12,15,16的前后兩時(shí)期影像塊以及對(duì)應(yīng)的變化參考影像塊作為訓(xùn)練集，其余影像塊為測(cè)試集。對(duì)訓(xùn)練集影像對(duì)和參考影像按照100個(gè)像素的重疊度裁剪成像素大小為200×200的影像，共得到726幅影像。將裁剪得到的影像按照8∶2的比例隨機(jī)進(jìn)行劃分訓(xùn)練集和驗(yàn)證集，得到訓(xùn)練集影像數(shù)量為581幅，驗(yàn)證集影像數(shù)量為145幅。為了增加訓(xùn)練樣本的數(shù)量、提高數(shù)據(jù)特征多樣性、增強(qiáng)模型的魯棒性和泛化能力。本文對(duì)訓(xùn)練集數(shù)據(jù)對(duì)和標(biāo)簽一起進(jìn)行隨機(jī)數(shù)據(jù)增強(qiáng)，主要包括:數(shù)據(jù)旋轉(zhuǎn)90°，180°，270°，水平和垂直翻轉(zhuǎn)。

3 實(shí)驗(yàn)與結(jié)果

本文實(shí)驗(yàn)環(huán)境為i5-8400處理器、16 G內(nèi)存，NVIDIA GTX1060 5 G顯卡，GPU加速庫采用CUDA8.0。深度學(xué)習(xí)框架以Keras作為前端，TensorFlow為后端。

3.1 模型參數(shù)設(shè)置

模型訓(xùn)練過程中采用多類別交叉熵(Categorical Crossentropy)作為損失函數(shù)，采用多類別平均準(zhǔn)確率(Categorical Accuracy)作為訓(xùn)練過程中的精度評(píng)價(jià)指標(biāo)。選擇Adam函數(shù)作為參數(shù)優(yōu)化器，設(shè)定初始學(xué)習(xí)率lr=0.001，訓(xùn)練迭代的最大次數(shù)epoch=100。當(dāng)驗(yàn)證集損失不再繼續(xù)降低時(shí)，對(duì)學(xué)習(xí)率進(jìn)行衰減，衰減因子factor=0.1，衰減后的學(xué)習(xí)率為初始學(xué)習(xí)率與衰減因子的乘積。設(shè)置驗(yàn)證集損失不繼續(xù)降低的容忍度為15個(gè)epoch，達(dá)到15個(gè)epoch后采用提前終止模型訓(xùn)練的策略(Early Stopping)結(jié)束模型訓(xùn)練。

3.2 模型測(cè)試與結(jié)果分析

模型訓(xùn)練好后，對(duì)測(cè)試集礦區(qū)影像經(jīng)過數(shù)據(jù)處理，輸入到模型中，檢測(cè)礦區(qū)的變化。具體流程為:對(duì)待檢測(cè)的前后兩時(shí)期遙感影像利用像素大小為200×200的滑動(dòng)窗口進(jìn)行裁剪，相鄰兩個(gè)滑動(dòng)窗口之間的重疊度為0，即滑動(dòng)窗口的步長(zhǎng)為200。分別獲取前后兩時(shí)期影像的裁剪塊，將其輸入到訓(xùn)練好的模型中，模型自動(dòng)對(duì)影像提取特征，并對(duì)每個(gè)像素進(jìn)行預(yù)測(cè)，判斷是否發(fā)生變化，進(jìn)而得到測(cè)試影像的變化二值圖像。

為了驗(yàn)證本文方法的有效性，本文設(shè)計(jì)了4種對(duì)比實(shí)驗(yàn)，方法1為考慮光譜特征和紋理特征的像元級(jí)SVM變化檢測(cè)方法;方法2為考慮光譜特征和紋理特征的面向?qū)ο骃VM 變化檢測(cè)方法;方法3為未加特征金字塔模塊的變化檢測(cè)方法;方法4 為未加中心環(huán)繞和特征金字塔模塊的改進(jìn)UNet 變化檢測(cè)方法。由于本文方法選取了部分影像塊作為模型訓(xùn)練集，因此在進(jìn)行精度分析時(shí)，本文方法和對(duì)比方法結(jié)果中訓(xùn)練集所在位置的影像塊不參與精度評(píng)定分析。將本文方法以及對(duì)比方法得到的變化檢測(cè)結(jié)果分別與變化參考影像(圖4)進(jìn)行統(tǒng)計(jì)，得到變化與未變化像元的混淆矩陣。本文利用混淆矩陣，選取變化檢測(cè)中常用的精度評(píng)價(jià)指標(biāo):總體精度(Overall Accuracy，OA),Kappa系數(shù)(Kappa Coefficient)、漏檢率(Omission)、誤檢率(Commission)等對(duì)得到的變化檢測(cè)結(jié)果進(jìn)行評(píng)價(jià)分析。評(píng)價(jià)指標(biāo)中總體精度和Kappa系數(shù)值越大，說明檢測(cè)的效果越好;漏檢率和誤檢率值越大，說明檢測(cè)效果越差;反之亦然。

本文選取圖4中編號(hào)為5和6的影像塊檢測(cè)結(jié)果進(jìn)行可視化，變化檢測(cè)結(jié)果如圖5所示。與對(duì)比方法1和方法2得到的變化檢測(cè)結(jié)果相對(duì)比，可以看出基于深度學(xué)習(xí)變化檢測(cè)方法相較于傳統(tǒng)變化檢測(cè)方法得到的檢測(cè)結(jié)果整體效果更好，由于網(wǎng)絡(luò)通過卷積方式不僅提取了圖像的低層特征，還提取了圖像的高層語義特征。中心環(huán)繞和特征金字塔模塊則增加了模型的多尺度信息和感受野，提高了模型邊緣檢測(cè)精度，地物完整性較好。測(cè)試集影像變化檢測(cè)精度指標(biāo)計(jì)算對(duì)比結(jié)果見表1。

表1 變化檢測(cè)結(jié)果精度對(duì)比
Table 1 Accuracy comparison of change detection results

評(píng)價(jià)指標(biāo)Kappa系數(shù)總體精度(OA)誤檢率(Commission)漏檢率(Omission)本文方法0.812 90.957 20.008 80.226 1對(duì)比方法10.690 10.932 70.163 30.355 9對(duì)比方法20.736 60.941 10.150 10.296 0對(duì)比方法30.797 30.954 30.083 00.253 3對(duì)比方法40.804 60.951 20.170 10.204 9

本文方法與對(duì)比方法3相比，雖然Kappa系數(shù)和總體精度提升不明顯，而且誤檢率和漏檢率也相差不大。但是由圖5結(jié)果可以看出，對(duì)比方法3得到的變化檢測(cè)結(jié)果影像塊邊緣結(jié)果粗糙，造成拼接后的影像有明顯的黑邊。而本文方法則沒有出現(xiàn)這樣的問題。與對(duì)比方法4相比，本文方法和對(duì)比方法3這3種方法在Kappa系數(shù)和總體精度上幾乎沒有明顯差距，但是對(duì)比誤檢率可以發(fā)現(xiàn)，本文方法和方法3的誤檢率明顯低于方法4，這是因?yàn)楸疚姆椒ê蛯?duì)比方法3中加入了中心環(huán)繞模塊，圖像多分辨率信息降低了誤檢率。此外，對(duì)比方法4中，影像塊5結(jié)果中也有明顯的拼接現(xiàn)象。相較于比較方法1和比較方法2兩種傳統(tǒng)的變化檢測(cè)方法，本文方法總體精度提高1.6%～2.5%，并且誤檢率和錯(cuò)檢率也有明顯降低。

圖5 變化檢測(cè)結(jié)果Fig.5 Change detection results

4 結(jié) 論

(1)為提高礦區(qū)遙感圖像變化檢測(cè)結(jié)果，通過改進(jìn)的Unet孿生網(wǎng)絡(luò)結(jié)構(gòu)對(duì)礦區(qū)遙感圖像進(jìn)行變化檢測(cè)，在提取特征時(shí)利用權(quán)值共享的方式獲得前后兩時(shí)期圖像的特征， 進(jìn)一步突出前后兩時(shí)期圖像的差異信息。

(2)實(shí)驗(yàn)結(jié)果表明，本文方法得到的礦區(qū)變化檢測(cè)結(jié)果在總體精度(OA)，Kappa系數(shù)等評(píng)價(jià)指標(biāo)上優(yōu)于對(duì)比方法的結(jié)果，并且本文方法得到的礦區(qū)變化檢測(cè)結(jié)果由于圖像拼接而產(chǎn)生的黑邊現(xiàn)象不明顯，檢測(cè)結(jié)果的完整性較好。

(3)本文方法適用于露天礦區(qū)遙感圖像變化檢測(cè)，利用遙感影像的時(shí)序性，動(dòng)態(tài)的獲取礦區(qū)土地利用變化信息，輔助于礦區(qū)的生態(tài)保護(hù)和恢復(fù)。且與傳統(tǒng)特征提取方法相比，卷積神經(jīng)網(wǎng)絡(luò)可以有效的提取遙感圖像特征，作為遙感圖像解譯的技術(shù)支撐，應(yīng)用到遙感圖像信息提取中，提高遙感圖像解譯效率。