基于改進(jìn)型UNet模型的遙感圖像建筑物變化檢測(cè)

江勇　張紅梅　付雪峰　阮仁松

關(guān)鍵詞：高分遙感影像；建筑物變化檢測(cè)；深度可分離卷積；坐標(biāo)注意力機(jī)制；特征金字塔

中圖分類號(hào)：TP79 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）10-0001-04

0 引言

城市建設(shè)所導(dǎo)致的地表覆蓋類型變化將對(duì)地球資源和生態(tài)環(huán)境產(chǎn)生深遠(yuǎn)的影響[1]。地表變化檢測(cè)是遙感應(yīng)用的重要組成部分，它為基礎(chǔ)地理空間數(shù)據(jù)更新、城市規(guī)劃、環(huán)境影響評(píng)價(jià)和應(yīng)急救災(zāi)決策提供必要信息。建筑物是城市地表主要類型之一，在城市化過(guò)程中，不斷有建筑物被新建、改建和拆除。而依靠人工實(shí)地調(diào)查建筑物變化費(fèi)時(shí)且精度不夠，不能滿足當(dāng)前智慧城市管理的需求[2]。因此，建筑物變化智能解譯仍為遙感技術(shù)應(yīng)用的重要研究?jī)?nèi)容。

遙感技術(shù)已日趨成熟，對(duì)地觀測(cè)能力達(dá)到了前所未有的水平[3]。目前，遙感數(shù)據(jù)源更加多樣，信息提取技術(shù)快速發(fā)展。然而現(xiàn)有研究表明，遙感影像分辨率的提高并未帶來(lái)解譯精度的大幅提高[4-6]。隨著分辨率的提高，噪聲和背景信息的干擾也更明顯，仍然存在“同物異譜”和“同譜異物”現(xiàn)象，利用高分遙感影像進(jìn)行建筑物變化檢測(cè)仍然面臨挑戰(zhàn)，需繼續(xù)深入研究。

國(guó)內(nèi)外學(xué)者在利用遙感技術(shù)進(jìn)行地表變化檢測(cè)方面已做了諸多努力，特別是在提取策略和提高提取效率方面做了大量研究，提出了很多方法[7]。從高分辨率圖像提取建筑物及變化信息的研究也取得了一些進(jìn)展[8-9]。但隨著影像分辨率的提高，地物細(xì)部特征得以展現(xiàn)，圖像信息量增大但圖像整體復(fù)雜度將上升，已有方法在檢測(cè)過(guò)程中出現(xiàn)誤判概率更高，造成結(jié)果圖精度低難以達(dá)到生產(chǎn)要求，或存在效率不高的問(wèn)題。

本文嘗試將語(yǔ)義分割模型應(yīng)用于遙感變化檢測(cè)中，通過(guò)構(gòu)建改進(jìn)型UNet模型進(jìn)行基于高分辨率遙感影像的建筑物變化檢測(cè)，即利用多時(shí)相高空間分辨率遙感影像來(lái)識(shí)別和分析建筑物的變化。

1 數(shù)據(jù)資料與預(yù)處理

實(shí)驗(yàn)采用季順平團(tuán)隊(duì)基于航片和衛(wèi)片制作的建筑樣本數(shù)據(jù)，即WHU建筑數(shù)據(jù)集[10]。該數(shù)據(jù)集源自同一覆蓋面積為20.5km2地區(qū)2012年和2016年的航片數(shù)據(jù)，可反映該地區(qū)2011年地震后的建筑物變化，且提供了真實(shí)變化標(biāo)簽圖像。不同時(shí)期（T₁、T₂）遙感影像的規(guī)格均為32 507 ×15 354，生成的標(biāo)簽圖像也是32 507×15 354。由于圖幅較大，若將其作為樣本數(shù)據(jù)直接送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可能會(huì)因內(nèi)存不足而無(wú)法完成訓(xùn)練任務(wù)。因此，對(duì)數(shù)據(jù)集進(jìn)行了兩項(xiàng)處理：1） 以規(guī)則滑動(dòng)窗口將遙感圖像切成256×256的小尺寸圖像；2）將這些小尺寸遙感圖像按9：1隨機(jī)分為互不重疊的訓(xùn)練集和驗(yàn)證集。

2 改進(jìn)型UNet模型構(gòu)建

2.1 UNet模型原型

UNet模型原型由Ronneberger于2015年提出。它的網(wǎng)絡(luò)結(jié)構(gòu)由兩部分組成（圖1）：全卷積部分和反卷積部分。全卷積部分用一個(gè)編碼路徑實(shí)現(xiàn)特征提取，即通過(guò)編碼路徑中的多個(gè)卷積和池化等操作，生成了從低維到高維不同尺寸的特征圖；反卷積則用一個(gè)解碼路徑來(lái)精確定位，經(jīng)解碼路徑中的多次反卷積上采樣操作，最后輸出與輸入圖像具有相同尺寸的結(jié)果圖。

2.2 帶深度可卷積分離的殘差結(jié)構(gòu)

深度可分離卷積先對(duì)輸入圖像進(jìn)行逐層卷積，再進(jìn)行逐點(diǎn)卷積。即采用逐層卷積把H×W×C×N的空間特征圖像分為C組，然后對(duì)每組做逐點(diǎn)卷積，以獲得C個(gè)通道的空間特征，再進(jìn)行1×1卷積得到每個(gè)點(diǎn)的特征組成。

隨著網(wǎng)絡(luò)深度的逐步擴(kuò)大，網(wǎng)絡(luò)會(huì)出現(xiàn)收斂困難或不收斂的現(xiàn)象。因此，借鑒He團(tuán)隊(duì)[11]提出的殘差結(jié)構(gòu)思想，構(gòu)建的殘差結(jié)構(gòu)如圖2所示。此方法可在不增加模型參數(shù)的同時(shí)擴(kuò)大數(shù)據(jù)的表征范圍，使輸入網(wǎng)絡(luò)結(jié)構(gòu)中的特征更豐富，從而提高網(wǎng)絡(luò)性能。

2.3 坐標(biāo)注意力機(jī)制

為防止因2D全局池化引起方位信息損失，先用兩個(gè)1D全局池化操作將沿垂直與水平方向的輸入特征分別聚合為兩種相互獨(dú)立的空間方位感知特征圖，再將其分別編碼為兩種注意力地圖，空間方位信息也因此可以被存儲(chǔ)于其所生成的注意力地圖中，然后使用乘法將兩種注意力地圖都應(yīng)用于輸入特征圖中并進(jìn)一步強(qiáng)調(diào)注意區(qū)域表示（圖3）。圖3中的W、H、C 分別是特征圖像的寬、高和波段數(shù)。

坐標(biāo)注意力編碼波段間關(guān)系和遠(yuǎn)程精確位置信息依賴分兩步執(zhí)行[12]：

2.4 特征金字塔

本文采用圖4所示特征金字塔結(jié)構(gòu)（FPN），它由自下而上路徑、自上而下路徑和橫連構(gòu)成。此結(jié)構(gòu)可使每一層不同尺度的特征圖都具有較強(qiáng)的語(yǔ)義信息，能在增加較少計(jì)算量的前提下融合低分辨率語(yǔ)義信息較強(qiáng)的特征圖和高分辨率語(yǔ)義信息較弱但空間信息豐富的特征圖。

2.5 改進(jìn)型UNet 模型

改進(jìn)型UNet呈對(duì)稱結(jié)構(gòu)，是一個(gè)端到端的模型，在網(wǎng)絡(luò)中最大卷積層為35，共實(shí)現(xiàn)4次下采樣、4次上采樣操作，但無(wú)全連接層，如圖5所示。編碼部分由4 層帶有深度可分離卷積塊的殘差結(jié)構(gòu)和1層普通3×3 卷積構(gòu)成。為了降低梯度小時(shí)現(xiàn)象，把ReLu作為模型的激活函數(shù)。每進(jìn)行一次卷積計(jì)算，都會(huì)帶有BN 層，使得所有batch在編碼的每一級(jí)特征中都有歸一化分析操作，使每一次分布都比較穩(wěn)定，從而提高建模的魯棒性，加快收斂。在第2、3次下采樣中，經(jīng)過(guò)殘差結(jié)構(gòu)的卷積后，在其階躍連接部分引入坐標(biāo)注意力機(jī)制，使其更好地提取深層信息。解碼層由從底向上的反卷積層組成，在解碼前先增加一個(gè)丟失層，把該層的概率參數(shù)設(shè)置為0.5，隨機(jī)地讓一半隱藏節(jié)點(diǎn)權(quán)重被識(shí)別，這可以在一定程度上增強(qiáng)系統(tǒng)的泛化性能并抑制過(guò)擬合。在每次反卷積后，進(jìn)行兩次3×3卷積運(yùn)算以減少混淆效應(yīng)，同時(shí)添加分支路徑。由于在解碼階段中每一個(gè)特征都是支路，會(huì)輸出4個(gè)預(yù)測(cè)，再由上采樣統(tǒng)一最后輸出大小，之后做通道匯合。此策略提取了各個(gè)尺度的信息，這些信息在建模訓(xùn)練和反向傳播過(guò)程中都發(fā)揮著關(guān)鍵作用，還有助于建模的穩(wěn)健性大幅提升。最后獲取特征圖并傳送到模型末端Sig?moid分類器。此模型通過(guò)Adma優(yōu)化器實(shí)現(xiàn)模型優(yōu)化，在后向傳播過(guò)程中，所用的能量損失函數(shù)為交叉熵?fù)p失函數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)條件

改進(jìn)型UNet模型運(yùn)行的軟硬件環(huán)境：處理器為英特爾Xecon（R） CPU E5-1620 v3 @3.50GHz，內(nèi)存為32GB，顯卡為NVIDIA GeForce GTX1080Ti；深度學(xué)習(xí)框架為Pytorch，編程語(yǔ)言為Python3.6，開(kāi)發(fā)環(huán)境為Pycharm。

3.2 模型訓(xùn)練

訓(xùn)練時(shí)的輸入影像維數(shù)為3×256×256，訓(xùn)練流程如圖5所示。模型訓(xùn)練樣本來(lái)自規(guī)格相同的T1和T2期影像數(shù)據(jù)，并對(duì)標(biāo)簽圖像進(jìn)行了one-hot處理。從模型訓(xùn)練的準(zhǔn)確率與損失值隨迭代增加變化曲線（圖6）中可發(fā)現(xiàn)，在經(jīng)過(guò)一百輪訓(xùn)練后，模型都達(dá)到了準(zhǔn)確度較高的穩(wěn)定狀態(tài)，可在訓(xùn)練完成后，對(duì)測(cè)試數(shù)據(jù)做出預(yù)測(cè)。

3.3 評(píng)估指標(biāo)

采用5種不同模型對(duì)建筑物開(kāi)展兩組變化檢測(cè)試驗(yàn)，并選擇準(zhǔn)確率、召回值、F1值和運(yùn)行時(shí)間為主要評(píng)價(jià)指標(biāo)。F1值的計(jì)算公式為：

式中，P為準(zhǔn)確率；R為召回率。

3.4 實(shí)驗(yàn)結(jié)果

為了對(duì)模型效能進(jìn)行定性和定量的評(píng)價(jià)，選取了兩個(gè)實(shí)驗(yàn)區(qū)（A、B）進(jìn)行實(shí)驗(yàn)。兩組實(shí)驗(yàn)的輸入影像規(guī)格均為1024×1024×3。實(shí)驗(yàn)初始學(xué)習(xí)率為0.0001，每批次訓(xùn)練的樣本數(shù)為16個(gè)，其他參數(shù)為默認(rèn)值。

a.T₁時(shí)期影像；b.T₂時(shí)期影像；c.真實(shí)變化情況；d.UNet的結(jié)果；e.DSG UNet的結(jié)果；f.CA UNet的結(jié)果；g.FPN CA UNet的結(jié)果；h.改進(jìn)UNet的結(jié)果

5種模型的變化檢測(cè)結(jié)果見(jiàn)圖7和圖8，其中白色為建筑變化區(qū)。由圖可知，UNet雖然能夠分析鄰域元素間的交叉關(guān)系，但變化檢測(cè)效果并不好，有丟失特征的情況，說(shuō)明其在建筑特征提取方面仍存在不足；而DSG UNet模型因?yàn)椴捎昧藲埐罱Y(jié)構(gòu)，盡管仍存在損失特征的情況，但分割效率卻明顯提高；而CA UNet 模型則因?yàn)椴捎昧俗鴺?biāo)注意力機(jī)制，使得模型預(yù)測(cè)時(shí)的定位精度提高；FPN的CA UNet模型因?yàn)橐M(jìn)了坐標(biāo)注意力機(jī)制并在解碼中形成了一個(gè)金字塔系統(tǒng)，使模型預(yù)測(cè)點(diǎn)數(shù)提高的同時(shí)檢測(cè)圖邊緣效果更佳；而改進(jìn)型UNet模型因同時(shí)擁有殘差結(jié)構(gòu)、坐標(biāo)注意力機(jī)制和FPN的多尺度預(yù)測(cè)能力，檢測(cè)效果更優(yōu)。其特征提取效率和對(duì)微小變化的檢測(cè)能力都更好，能克服噪聲的影響，也對(duì)“偽改變”具有更好的識(shí)別能力。

模型運(yùn)行效能的評(píng)價(jià)指標(biāo)值見(jiàn)表1。由表1 可知，改進(jìn)型UNet的召回率和F1指標(biāo)值最優(yōu)，準(zhǔn)確度和測(cè)試時(shí)間也表現(xiàn)較好。分析認(rèn)為，改進(jìn)型UNet模型在編碼部分引入的4層殘差機(jī)制，在分割結(jié)果圖的邊緣明顯改善；在階躍連接部分，從最后兩層引入的坐標(biāo)注意力機(jī)制有助于召回率的明顯提高；在解碼部分，由于采用了FPN技術(shù)，分割結(jié)果圖邊緣的效果明顯改善。改進(jìn)型Unet模型的架構(gòu)有利于特征提取，有更優(yōu)的對(duì)小目標(biāo)的檢測(cè)能力。實(shí)驗(yàn)所得該模型的準(zhǔn)確度、召回率以及F1值均達(dá)96%以上，且和其他語(yǔ)義分割模型相比，時(shí)效性也更好。

4 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)監(jiān)督分類、面向?qū)ο蠓诸愐约敖?jīng)典UNet 模型效能方面的不足，文章試驗(yàn)了把深度學(xué)習(xí)和語(yǔ)義分割的理論運(yùn)用到建筑物變化檢測(cè)中。改進(jìn)型UNet 模型以UNet為基本框架，通過(guò)殘差結(jié)構(gòu)改善了圖像特征提取，在階躍連接中導(dǎo)入坐標(biāo)注意力機(jī)制，有效減少了對(duì)非變化類圖像特征的關(guān)注度，增強(qiáng)了模型對(duì)不同建筑物圖像特征的敏感度，在解碼過(guò)程加入了FPN，將淺層細(xì)節(jié)知識(shí)與深層語(yǔ)義知識(shí)集成，增強(qiáng)了對(duì)建筑物特征提取能力和對(duì)細(xì)小物體的檢測(cè)能力。從實(shí)驗(yàn)結(jié)果來(lái)看，用改進(jìn)型UNet模型從高分遙感影像提取建筑物變化信息具有很高精度，可作為建筑物變化檢測(cè)的方法，具有推廣價(jià)值。由于受標(biāo)簽數(shù)據(jù)集的限制，此模型還未用其他遙感數(shù)據(jù)進(jìn)行檢驗(yàn)，下一步將開(kāi)展針對(duì)GF-2、GF-6等衛(wèi)星獲取的高分辨率多光譜遙感數(shù)據(jù)的測(cè)試。