一種基于U-Net的高分影像土地利用/覆蓋變化檢測方法

李聰毅, 孔祥兵, 楊 娜, 王逸男, 楊剛鳳

(1.河南理工大學(xué) 測繪與國土信息工程學(xué)院, 河南 焦作 454003;2.黃河水利科學(xué)研究院 水利部黃土高原水土保持重點實驗室, 河南 鄭州 450003)

隨著QuickBird，IKONOS，國產(chǎn)資源三號，高分一號等一系列高空間分辨率遙感衛(wèi)星成功發(fā)射，使得地物之間的特征分布和空間關(guān)聯(lián)清晰呈現(xiàn)，通過高分辨率遙感影像對地表覆蓋變化檢測成為一種高效、準(zhǔn)確的技術(shù)手段[1]。遙感影像的變化檢測是通過對同一地理區(qū)域在不同時期內(nèi)獲取的兩幅(或多幅)影像，結(jié)合相關(guān)地理數(shù)據(jù)和遙感成像機(jī)理，來確定該區(qū)域的地物是否發(fā)生變化[2]。針對遙感影像變化檢測技術(shù)，國內(nèi)外學(xué)者提出了大量算法，如代數(shù)法[3]、時間序列分析法[4]、面向?qū)ο蠓╗5-6]等。雖然這些模型在土地覆蓋/土地利用監(jiān)測[7-9]、城市擴(kuò)展[10]、生態(tài)系統(tǒng)監(jiān)測[11-14]、災(zāi)害監(jiān)測等[15]領(lǐng)域得到了廣泛的應(yīng)用，但是隨著土地變化速度的加劇，環(huán)境復(fù)雜性的加深以及遙感數(shù)據(jù)多樣性的增加，傳統(tǒng)的模型已經(jīng)不能很好適應(yīng)變化檢測的需求[16]。

近年來，深度學(xué)習(xí)以強(qiáng)大的特征提取能力在圖像分類、語義分割以及目標(biāo)檢測等領(lǐng)域中取得了巨大的進(jìn)步。2015年，Long等[17]提出了全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks, FCN)，與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)相比， FCN在經(jīng)過多層的卷積和池化操作之后，不再使用全連接層構(gòu)造特征向量來對圖像進(jìn)行預(yù)測，而是利用反卷積操作將特征圖進(jìn)行上采樣，使得輸出的圖像與輸入圖像具有相同的分辨率，從而對圖像實現(xiàn)了像素級別的語義分割。雖然FCN網(wǎng)絡(luò)中使用了短鏈接的多特征融合，但是在對各個像素進(jìn)行預(yù)測時，沒有充分考慮像素之間的空間一致性以及圖像全局的上下文信息，因而導(dǎo)致最終得到的預(yù)測結(jié)果邊緣部分模糊，分割精度不足。后續(xù)出現(xiàn)的U型神經(jīng)網(wǎng)絡(luò)(U-type neural network, U-Net)是在FCN的基礎(chǔ)上進(jìn)行改良的，與FCN中使用的短連接相比，U-Net在解碼端采用跳躍連接方式將低維與高維的特征進(jìn)行融合，從而改善了邊緣細(xì)節(jié)模糊的問題[18]，并且在醫(yī)學(xué)影像分割領(lǐng)域取得了很好的試驗效果，然而很少用于高分辨率遙感影像變化檢測研究。因此，本文嘗試采用U-Net模型對高分辨率遙感影像進(jìn)行變化檢測。

1 試驗方法與數(shù)據(jù)

1.1 U型神經(jīng)網(wǎng)絡(luò)

U-Net[18]是在2015年的ISBI Challenge競賽中由Ronneberge等人提出的一種分割網(wǎng)絡(luò)，是一種對稱的U型結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。網(wǎng)絡(luò)左側(cè)的收縮路徑是由4個卷積層組成的編碼端，每個卷積層都是由2個3×3大小的卷積核堆疊而成，相鄰卷積層每次經(jīng)過大小為2×2的最大池化操作對特征圖進(jìn)行下采樣。收縮路徑的主要作用是將輸入的影像經(jīng)過多次的卷積及池化操作，提取圖像的特征，最終形成高維特征圖。右端的擴(kuò)張路徑是由4個上采樣層組成的解碼結(jié)構(gòu)，上采樣過程采用反卷積的方式進(jìn)行，可以避免特征在傳遞過程中產(chǎn)生特征丟失的問題。跳躍連接將深層和淺層特征圖在波段維度上進(jìn)行融合，保留了更多的維度位置信息，從而改善了圖像邊緣細(xì)節(jié)模糊的問題。

圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.2 試驗數(shù)據(jù)

為了驗證基于U-Net模型在高分遙感影像變化檢測中的可行性，本研究擬采用兩種數(shù)據(jù)集進(jìn)行分析驗證。

數(shù)據(jù)集1為2016年和2017年兩期的河南省禹州市高分一號遙感影像，變化類型主要是土地利用/覆蓋的變化，空間分辨率為2 m(圖2)。數(shù)據(jù)集2是一包含大場景、高分辨率的遙感建筑物數(shù)據(jù)庫(WHU building datasets)，本文試驗采用的是建筑物的變化檢測數(shù)據(jù)集，數(shù)據(jù)影像為新西蘭Christchurch市，地面分辨率為0.075 m，是由武漢大學(xué)的季順平教授團(tuán)隊[19]在ArcGIS軟件中采用全人工方式前后進(jìn)行了3次的檢查與修訂，提供了高質(zhì)量的高分遙感影像變化檢測數(shù)據(jù)集(圖3)。

圖2 GF-1號遙感影像

圖3 Christchurch市航空建筑物數(shù)據(jù)遙感影像

1.3 試驗環(huán)境與模型參數(shù)設(shè)置

本文的試驗環(huán)境為i7-8700處理器，NVIDIA GeForce GTX1080顯卡，16 G內(nèi)存，GPU加速庫采用CUDA-9.2。深度學(xué)習(xí)框架為PyTorch。由于計算機(jī)GPU硬件的限制，并不能直接將影像輸入網(wǎng)絡(luò)中訓(xùn)練，需要對預(yù)處理后的遙感影像進(jìn)行分割，將前后兩期影像樣本以及變化參考圖采用大小為960×960的滑動窗口進(jìn)行同步分割，以確保影像樣本和變化參考圖能夠一一對應(yīng)。在訓(xùn)練U-Net模型前首先需要對參數(shù)進(jìn)行設(shè)置，參數(shù)優(yōu)化器為Adma函數(shù)，學(xué)習(xí)率(learning rate)用來調(diào)整模型的學(xué)習(xí)進(jìn)度，初始學(xué)習(xí)率為1.00×10-4；學(xué)習(xí)率變化指數(shù)(gamma)用來調(diào)整學(xué)習(xí)率的變化速率，本文試驗將gamma設(shè)置為0.1；當(dāng)驗證集的損失值不再繼續(xù)降低時，對學(xué)習(xí)率進(jìn)行衰減，衰減后的學(xué)習(xí)率等于初始學(xué)習(xí)率與學(xué)習(xí)率變化指數(shù)的乘積。模型訓(xùn)練的損失函數(shù)采用交叉熵?fù)p失函數(shù)(categorical cross entropy)，由于發(fā)生變化樣本數(shù)量與未變化的樣本數(shù)量不平衡，Maxwell等人[20]研究表明，基于深度卷積神經(jīng)網(wǎng)絡(luò)的語義分割模型對正負(fù)樣本的平衡度比較敏感，故需要對其進(jìn)行加權(quán)處理。通過對變化像元和未變化像元的個數(shù)進(jìn)行統(tǒng)計，將其權(quán)重設(shè)置為1∶9對正負(fù)樣本進(jìn)行平衡。

1.4 模型訓(xùn)練與測試

為了增強(qiáng)模型的泛化能力，采用垂直和水平翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)的方式對訓(xùn)練樣本進(jìn)行90°，180°，270°旋轉(zhuǎn)。在U型神經(jīng)網(wǎng)絡(luò)模型的輸入端，將兩期三通道的遙感影像疊加形成一幅六通道的遙感影像進(jìn)行輸入，影像在經(jīng)過網(wǎng)絡(luò)左側(cè)的收縮路徑進(jìn)行多次的卷積、池化等操作對特征進(jìn)行提取。為準(zhǔn)確的預(yù)測每一像素是否發(fā)生變化，需要將特征圖恢復(fù)到輸入時圖像的大小，因此，在網(wǎng)絡(luò)的右側(cè)擴(kuò)張路徑通過反卷積操作對特征圖進(jìn)行上采樣，并采用softmax分類器對特征圖進(jìn)行預(yù)測，最終得到一幅包含變化和未變化的二分類變化檢測圖。

2 試驗結(jié)果與分析

為了分析U-Net模型在高分遙感影像變化檢測中的有效性，同時使用FCN[17]和SegNet[21]兩種模型對兩期影像進(jìn)行變化檢測試驗并進(jìn)行對比驗證。通過與變化參考圖對比統(tǒng)計分析，獲取3種變化檢測模型試驗結(jié)果的準(zhǔn)確率(precision)、召回率(recall)、漏檢率(omission)、F1值(F1-score)等定量的評價指標(biāo)[22]。其中準(zhǔn)確率、召回率、F1值越高，說明檢測的效果越好；漏檢率越低，則說明檢測的效果越好。

定量分析3種模型在禹州市兩個植被變化檢測驗證區(qū)域的試驗效果。在驗證區(qū)域1(圖4)中，U-Net模型與SegNet和FCN相比在準(zhǔn)確率、召回率和F1值均優(yōu)于其他兩種模型，其中準(zhǔn)確率、召回率和F1值分別高出5.4%和4.1%，3.6%和13.4%，4.5%和9%。漏檢率低出分別低出3.6%和13.4%。在驗證區(qū)域2(圖5)中，U-Net模型與SegNet和FCN兩種模型相比，在準(zhǔn)確率、召回率以及F1值均高于其他兩種模型，其中F1值分別高出10.6%和4.3%，漏檢率低于其他兩種模型(表1)。以3種模型所檢測出來的變化圖斑為例(詳見圖4實線框范圍)，SegNet模型試驗結(jié)果圖斑存在邊緣細(xì)節(jié)模糊的問題，F(xiàn)CN模型試驗結(jié)果圖斑具有明顯的拼接痕跡，相對來說，U-Net模型檢測出來的變化圖斑與變化參考圖較為接近；然而3種模型都未能將道路檢測出來(見圖4虛線框范圍)。在驗證區(qū)域2中，3種模型都存在錯檢的情況(圖5)，相比之下，SegNet模型與FCN模型都存在較大面積的錯檢，U-Net模型的錯檢面積較小，得到的變化檢測圖也與變化參考圖更加接近。

表1 禹州市驗證區(qū)域變化檢測結(jié)果對比

圖4 禹州市驗證區(qū)域1的變化檢測結(jié)果

圖5 禹州市驗證區(qū)域2的變化檢測結(jié)果

在Christchurch市的建筑物變化檢測試驗中，F(xiàn)CN和SegNet兩種模型依舊存在上述描述的缺點，U-Net模型檢測出來的建筑物的邊緣輪廓較為清晰并且和變化參考圖更加接近(圖6)，并且U-Net模型在各項精度指標(biāo)上均優(yōu)于其他兩種模型(詳見表2)，這里不再做過多的贅述。

表2 Christchurch市區(qū)域1的變化檢測結(jié)果精度對比

圖6 Christchurch市驗證區(qū)域1的變化檢測結(jié)果

總體而言，U-Net模型檢測的變化圖斑輪廓信息較為完整，漏檢圖斑和錯檢圖斑較少，與變化參考圖更加接近。U-Net模型之所以優(yōu)于其他兩種模型，主要原因有以下兩點： ①FCN模型在上采樣過程中，直接對尺寸小的特征圖進(jìn)行反卷積操作擴(kuò)大尺寸，而U-Net模型則是對特征圖進(jìn)行多組卷積操作，一方面可以將不同層次的特征圖進(jìn)行更好地融合，另一方面也加深了模型的深度，使得模型可以學(xué)習(xí)到深層復(fù)雜的特征； ②U-Net模型采用跳躍連接的方式將淺層特征和深層特征在波段維度上進(jìn)行拼接，保證最終的特征圖盡可能多的包含原始輸入影像各個尺度的特征。因此，U-Net模型在變化檢測試驗中的檢測精度優(yōu)于其他兩種模型。

3 結(jié) 論

本文將U-Net模型應(yīng)用到高分辨率遙感影像變化檢測，實現(xiàn)了對兩期影像變化區(qū)域的自動提取。試驗結(jié)果表明，基于U-Net模型的高分辨率遙感影像的變化檢測結(jié)果在漏檢率、F1值等定量評價指標(biāo)上具有較好表現(xiàn)。但是，僅考慮像元輻射信息和相鄰像元空間紋理等特征來判斷是否發(fā)生變化是不全面的，變化檢測結(jié)果會受到季節(jié)、光照等因素影響。因此，高分辨率遙感影像變化檢測研究中，如何利用深度學(xué)習(xí)模型提取有效的地物特征、減少偽變化并提高變化檢測的精度，是今后研究的主要方向。