基于孿生注意力網(wǎng)絡(luò)的高分辨率遙感影像變化檢測(cè)

薛白， 王懿哲， 劉書含， 岳明宇， 王藝穎， 趙世湖

(自然資源部國(guó)土衛(wèi)星遙感應(yīng)用中心，北京 100048)

0 引言

近年來，隨著高分辨率遙感影像的普及，在土地、環(huán)保和減災(zāi)等領(lǐng)域的大范圍高分辨率土地覆被整體變化或特定要素變化的應(yīng)用需求日益旺盛。傳統(tǒng)基于人工作業(yè)的方式分析遙感影像變化費(fèi)時(shí)費(fèi)力，自動(dòng)實(shí)現(xiàn)時(shí)序影像變化檢測(cè)具有重要的科學(xué)研究和應(yīng)用價(jià)值，遙感界對(duì)該領(lǐng)域的研究已經(jīng)開展了數(shù)十年[1-3]。高分辨率影像隨著空間分辨率的提升，影像的精細(xì)細(xì)節(jié)和復(fù)雜紋理特征更加豐富，同時(shí)受到成像角度、配準(zhǔn)及輻射處理等差異、傳感器差異等影響[4]，急劇增加了自動(dòng)變化檢測(cè)難度，不同地物光譜和紋理特征混淆性增加，可分性降低。傳統(tǒng)基于光譜特征閾值差分圖[5]、主成分分析[6]和典型相關(guān)分析[7]等方法應(yīng)用于高分辨率遙感影像變化檢測(cè)時(shí)存在圖斑較破碎等問題。基于面向?qū)ο蠓治龅姆椒ú捎脤?duì)象紋理等特征表達(dá)的方式可以有效提升檢測(cè)質(zhì)量，例如李亮等[8]提出充分融合光譜特征和紋理特征的面向?qū)ο蠖嗵卣魅诤系淖兓瘷z測(cè)方法，提高了變化檢測(cè)的精度，但該類方法往往先進(jìn)行對(duì)象化分割，對(duì)象化分割結(jié)果對(duì)變化檢測(cè)效果影響顯著，且主要適用于均質(zhì)性較好的地物變化場(chǎng)景。

隨著深度學(xué)習(xí)方法在計(jì)算機(jī)視覺領(lǐng)域的成功，具有更強(qiáng)影像語義特征提取能力的深度學(xué)習(xí)方法逐漸被引入到高分辨率遙感影像變化檢測(cè)研究中，其無需先對(duì)影像對(duì)象化，通過神經(jīng)網(wǎng)絡(luò)直接提取多尺度特征實(shí)現(xiàn)像素級(jí)變化區(qū)域檢測(cè)。引入深度學(xué)習(xí)的變化檢測(cè)方法主要分為2類： 僅用深度學(xué)習(xí)做特征提取的方法和端到端直接提取變化的方法。前者首先通過深度信念網(wǎng)絡(luò)、自動(dòng)編碼器和卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)技術(shù)提取像素或?qū)ο蟮纳疃忍卣?，然后生成差分向量通過聚類或分類方法獲取變化[9]； 后者直接對(duì)輸入的時(shí)序影像提取特征獲取變化結(jié)果[10]。由于深層神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的高層特征提取能力，這些方法取得了優(yōu)于傳統(tǒng)方法的性能，但這些方法大多數(shù)是從單影像語義分割網(wǎng)絡(luò)中修改過來，缺乏對(duì)變化檢測(cè)問題的針對(duì)性設(shè)計(jì)，在較復(fù)雜場(chǎng)景應(yīng)用中存在檢測(cè)完整度低、易誤檢漏檢等問題，與工程化生產(chǎn)應(yīng)用需求尚存在一定差距。研究針對(duì)復(fù)雜多樣化的高分辨率遙感影像典型人類活動(dòng)地表變化檢測(cè)應(yīng)用，提出一種孿生注意力變化檢測(cè)深度學(xué)習(xí)方法。

同時(shí)，深度學(xué)習(xí)方法的精度和泛化性嚴(yán)重依賴樣本，雖然目前已有多個(gè)高分辨率遙感變化檢測(cè)數(shù)據(jù)集公開(表1)，但大多針對(duì)建筑類變化[11-14]，僅少量覆蓋多類型地表變化[15-16]，并且數(shù)據(jù)量較小且同本研究的人類活動(dòng)地表變化檢測(cè)業(yè)務(wù)應(yīng)用類型不能匹配。針對(duì)典型人類活動(dòng)地表變化檢測(cè)應(yīng)用，需要構(gòu)建面向人類活動(dòng)變化檢測(cè)應(yīng)用的高分辨率遙感變化檢測(cè)數(shù)據(jù)集。

表1 主要的開源高分辨率遙感變化檢測(cè)數(shù)據(jù)集

1 研究方法

1.1 NHRCD-1.0變化檢測(cè)數(shù)據(jù)集構(gòu)建

研究首先構(gòu)建高分辨率遙感人類活動(dòng)變化檢測(cè)數(shù)據(jù)集(high-resolution remote sensing human activity change detection dataset, HRHCD-1.0)。選擇GF-1，GF-2和ZY-3等國(guó)產(chǎn)主流高分辨率衛(wèi)星影像處理生成2 m和0.8 m融合數(shù)據(jù)構(gòu)建成組的影像對(duì)，采集建筑物、推填土、道路、溝渠和礦區(qū)等各類目標(biāo)新增和減少的變化圖斑，按照512像素×512像素?cái)?shù)據(jù)尺寸成對(duì)裁剪得到23 026組樣本。本數(shù)據(jù)集涉及變化類型多樣，變化場(chǎng)景有明確的業(yè)務(wù)應(yīng)用定義，考慮到存在很多同真實(shí)變化類似的影像變化，選擇易混淆的非變化區(qū)域生成負(fù)例樣本，例如圖1(a)中的時(shí)相變化和圖1(b)中的亮度變化均是負(fù)例。同時(shí)，變化圖斑按土地利用場(chǎng)景采集，場(chǎng)景圖斑存在多類型混合或沒有明顯邊界的情況，例如圖1(c)和圖1(d)。這些因素使得本數(shù)據(jù)集成為一個(gè)很有挑戰(zhàn)性的變化檢測(cè)數(shù)據(jù)集。

(a) 時(shí)相變化負(fù)例(b) 亮度變化負(fù)例

(c) 多類型混合變化正例(d) 模糊邊界變化正例

1.2 孿生注意力機(jī)制變化檢測(cè)網(wǎng)絡(luò)

孿生網(wǎng)絡(luò)已經(jīng)被證明在變化檢測(cè)任務(wù)中有良好表現(xiàn)[17]，研究采用雙分支孿生網(wǎng)絡(luò)進(jìn)行特征提取，2期影像分別接入2個(gè)結(jié)構(gòu)相同權(quán)重共享的卷積分支提取特征。直接使用全卷積孿生變化檢測(cè)網(wǎng)絡(luò)存在檢測(cè)完整度低、易誤檢漏檢等問題，這主要受限于網(wǎng)絡(luò)特征提取能力不足和空間與通道域上下文語義信息未有效利用。考慮到高分辨率遙感影像變化檢測(cè)具有更豐富的特征和語義信息提取與利用能力的要求，研究一方面引入具有注意力機(jī)制的骨干網(wǎng)絡(luò)提取特征，另一方面引入空間注意力和通道注意力機(jī)制模塊[18]對(duì)2個(gè)分支提取的孿生特征進(jìn)行融合，獲取更好的空間與通道域語義信息，設(shè)計(jì)得到孿生注意力機(jī)制變化檢測(cè)網(wǎng)絡(luò)，簡(jiǎn)稱Siam-Atte。網(wǎng)絡(luò)結(jié)構(gòu)(圖2)的主要流程包括： ①孿生特征提取。分別以變化前時(shí)相(T1)和變化后時(shí)相(T2)影像為輸入，利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行影像特征提取。研究采用具有分隔注意力機(jī)制的ResNeSt50網(wǎng)絡(luò)作為主干實(shí)現(xiàn)豐富的特征提取能力，為了有效聯(lián)合2個(gè)時(shí)相的特征構(gòu)建具有可比性的同一特征空間，T1和T2的特征提取網(wǎng)絡(luò)選用同樣的結(jié)構(gòu)并且參數(shù)共享。②特征融合。將2個(gè)分支提取的特征作為輸入，通過雙注意力模塊(spatial attention and channel attention, SACA)分別實(shí)現(xiàn)注意力特征提取，對(duì)特征進(jìn)行拼接，再通過特征金字塔卷積分類實(shí)現(xiàn)變化檢測(cè)。

圖2 孿生注意力機(jī)制變化檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)中對(duì)于變化與非變化區(qū)域復(fù)雜特征提取的優(yōu)化主要是通過注意力機(jī)制模塊實(shí)現(xiàn)，包括空間注意力機(jī)制和通道注意力機(jī)制。首先分別從孿生特征轉(zhuǎn)換得到注意力特征，然后將2個(gè)注意力模塊的輸出特征進(jìn)行聚合，以獲得更好的特征表示?？臻g注意力特征的計(jì)算過程為： ①利用空間注意力矩陣對(duì)孿生特征空間上的任意2個(gè)像素之間的空間關(guān)系進(jìn)行建模； ②在空間注意力矩陣和原始孿生特征之間進(jìn)行矩陣乘法； ③對(duì)第二步得到的矩陣進(jìn)行逐元素求和運(yùn)算，得到最終的特征矩陣。通道注意力特征的計(jì)算過程為： ①計(jì)算通道維度上的通道注意力矩陣； ②在通道注意力矩陣和原始孿生特征之間進(jìn)行矩陣乘法； ③將第二步得到的矩陣與原始特征逐元素求和。最終，將2個(gè)注意力模塊的輸出進(jìn)行逐元素求和，并通過卷積聚合。

1.3 模型訓(xùn)練

1.3.1 損失函數(shù)

變化目標(biāo)呈現(xiàn)多樣化的尺度特征，且相對(duì)背景占比較小，考慮到現(xiàn)實(shí)中變化區(qū)域一般較少，存在顯著的變化與非變化區(qū)域樣本類別不平衡的問題，研究采用對(duì)樣本不均衡有效的平衡二分類交叉熵和Dice系數(shù)損失綜合的損失函數(shù)，損失函數(shù)L為兩者的加權(quán)和，公式為：

L=Lbce+λLdice，

(1)

(2)

(3)

式中：Lbce為平衡二分類交叉熵?fù)p失；Ldice為Dice系數(shù)損失；λ為權(quán)重系數(shù)，取值0.2；β=|Y-|/(|Y+|+|Y-|)和1-β=|Y+|/(|Y+|+|Y-|)，|Y+|和|Y-|為樣本數(shù)據(jù)統(tǒng)計(jì)的變化和非變化像素?cái)?shù)；Pr(yj)為像素j的sigmoid輸出；Y′和Y分別為預(yù)測(cè)和標(biāo)簽中變化像素的個(gè)數(shù)。

1.3.2 數(shù)據(jù)增強(qiáng)

考慮到應(yīng)用中變化影像對(duì)的前后期色彩、分辨率、亮度等差異性，研究采用了較多的增強(qiáng)處理方法以豐富數(shù)據(jù)提升模型的魯棒性，訓(xùn)練中采用的動(dòng)態(tài)增強(qiáng)方法包括： ①2期影像成對(duì)的90°，180°和270°旋轉(zhuǎn)， 0～40°的隨機(jī)旋轉(zhuǎn)， 0.8～1.25倍的隨機(jī)縮放，水平和垂直翻轉(zhuǎn)； ②2期影像獨(dú)立的隨機(jī)噪聲，高斯模糊，色彩擾動(dòng)和對(duì)比度變化。

1.3.3 網(wǎng)絡(luò)訓(xùn)練

為了提升模型訓(xùn)練的效率，采用ResNeSt50網(wǎng)絡(luò)在ImageNet數(shù)據(jù)上的預(yù)訓(xùn)練權(quán)重，設(shè)置輸入影像尺寸為512×512像素，采用2階段訓(xùn)練方法。第一階段訓(xùn)練時(shí)凍結(jié)ResNeSt50特征提取層權(quán)重設(shè)置批大小為16，迭代輪數(shù)為300，采用Adam優(yōu)化器，初始學(xué)習(xí)率為2E-3，余弦衰減到1E-6。第二階段訓(xùn)練時(shí)取消ResNeSt50權(quán)重凍結(jié)，凍結(jié)批歸一化層設(shè)置批大小為4，迭代輪數(shù)為200，采用Adam優(yōu)化器，初始學(xué)習(xí)率為1E-4，分段衰減到1E-8，同時(shí)為避免訓(xùn)練過擬合，采用早停策略。

1.4 業(yè)務(wù)應(yīng)用后處理

對(duì)于人類活動(dòng)變化檢測(cè)業(yè)務(wù)化應(yīng)用，深度學(xué)習(xí)提取的結(jié)果存在圖斑空洞、小圖斑和邊界不平滑等問題，需要進(jìn)行優(yōu)化處理。對(duì)于存在空洞的圖斑通過形態(tài)學(xué)方法進(jìn)行填洞處理； 對(duì)于業(yè)務(wù)應(yīng)用不關(guān)注的小圖斑按像素閾值進(jìn)行刪除處理； 針對(duì)邊界優(yōu)化進(jìn)行7個(gè)像素的形態(tài)學(xué)膨脹與腐蝕操作去除提取結(jié)果邊界的毛刺和尖銳凹槽，以獲取更加平滑的圖斑邊界。柵格結(jié)果圖形優(yōu)化后，還需要將柵格結(jié)果矢量化以得到業(yè)務(wù)可直接應(yīng)用的矢量成果。矢量化中采用抽稀平滑操作進(jìn)一步解決矢量成果的鋸齒狀和節(jié)點(diǎn)多等問題，提升成果的美觀性。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 評(píng)價(jià)指標(biāo)

研究分別對(duì)訓(xùn)練和應(yīng)用建立評(píng)價(jià)指標(biāo)，評(píng)價(jià)在不同階段評(píng)估模型的性能。訓(xùn)練評(píng)價(jià)指標(biāo)采用像素級(jí)的平均交并比，應(yīng)用階段采用圖斑級(jí)的召回率和正確率。平均交并比是語義分割領(lǐng)域常用的評(píng)價(jià)指標(biāo)，其表達(dá)式為：

(4)

(5)

式中：IoU為交并比；mIoU為平均交并比；Pi為真實(shí)值像素?cái)?shù)；Pj為預(yù)測(cè)值像素?cái)?shù)；Pii為將真實(shí)值預(yù)測(cè)正確的像素?cái)?shù)；l為第l類；k為類別數(shù)量，單類變化中僅考慮變化像素，k為1。

在應(yīng)用階段為了更直觀地評(píng)估模型效果，采用圖斑級(jí)的召回率和正確率指標(biāo)。首先對(duì)預(yù)測(cè)結(jié)果進(jìn)行矢量化，同標(biāo)注矢量進(jìn)行逐圖斑對(duì)比，定義預(yù)測(cè)與標(biāo)注圖斑交并比大于30%的圖斑為正確預(yù)測(cè)的正例圖斑，正確率P和召回率R分別為：

(6)

(7)

式中：TP為正確預(yù)測(cè)的正例；FP為錯(cuò)誤預(yù)測(cè)的正例；FN為錯(cuò)誤預(yù)測(cè)的錯(cuò)例。

2.2 實(shí)驗(yàn)分析

2.2.1 模型精度分析

研究采用相同的特征提取網(wǎng)絡(luò)ResNeSt50訓(xùn)練非注意力機(jī)制的全卷積孿生網(wǎng)絡(luò)模型(Siam-Diff和Siam-Conc)與本文方法(Siam-Atte)進(jìn)行訓(xùn)練精度對(duì)比分析。Siam-Diff，Siam-Conc和Siam-Atte這3種網(wǎng)絡(luò)模型在同一測(cè)試數(shù)據(jù)集上的mIoU分別為0.357，0.324和0.443。Siam-Atte網(wǎng)絡(luò)具有顯著的精度優(yōu)勢(shì)，mIoU比Siam-Diff網(wǎng)絡(luò)高0.086，相對(duì)提升24%。建筑群、推填土和道路3種典型場(chǎng)景下3種網(wǎng)絡(luò)的檢測(cè)結(jié)果如表2所示。從表2中可以看出： ①Siam-Diff和Siam-Conc結(jié)果存在邊界較差、局部漏檢和較多空洞等現(xiàn)象，Siam-Atte結(jié)果建筑群、道路等完整性較好，相對(duì)更準(zhǔn)確； ②3種模型均存在少量的誤檢測(cè)，表現(xiàn)為檢測(cè)范圍過大或過小。

表2 不同網(wǎng)絡(luò)檢測(cè)結(jié)果對(duì)比

2.2.2 后處理提取圖斑效果分析

研究對(duì)模型檢測(cè)結(jié)果進(jìn)行多種圖形學(xué)后處理以優(yōu)化檢測(cè)結(jié)果。圖3展示了后處理優(yōu)化效果，圖中淺灰色區(qū)域?yàn)樵紮z測(cè)結(jié)果，紅線和藍(lán)線分別為標(biāo)注圖斑和優(yōu)化后的矢量圖斑。從圖3中可以看出，后處理方法對(duì)檢測(cè)結(jié)果實(shí)現(xiàn)了小圖斑去除、填洞和圖形學(xué)平滑，提升了圖斑完整度、精度和圖形美觀性，同時(shí)對(duì)于小圖斑誤提取有去偽作用。

(a) 邊緣平滑(b) 填洞

2.2.3 不同數(shù)據(jù)量訓(xùn)練模型的應(yīng)用測(cè)試

研究在不同訓(xùn)練數(shù)據(jù)規(guī)模下訓(xùn)練模型并分析模型的應(yīng)用效果。為了獨(dú)立評(píng)估應(yīng)用效果，選擇獨(dú)立的測(cè)試數(shù)據(jù)采用正確率和召回率對(duì)不同模型應(yīng)用效果進(jìn)行評(píng)價(jià)分析。訓(xùn)練樣本量分別設(shè)置為5 000，10 000和20 000組，表3給出了不同數(shù)據(jù)集訓(xùn)練模型的測(cè)試指標(biāo)。結(jié)果表明模型應(yīng)用的召回率和正確率隨著樣本量的增大而提升，20 000組樣本量模型精度最佳，小樣本量模型在應(yīng)用中存在相對(duì)較多誤檢，樣本量對(duì)于模型應(yīng)用的精度和泛化能力有顯著提升作用。

表3 不同訓(xùn)練數(shù)據(jù)規(guī)模下模型應(yīng)用效果

盡管數(shù)據(jù)集樣本量達(dá)到20 000組，但是測(cè)試中發(fā)現(xiàn)模型正確率仍然偏低，主要的誤檢類型包括時(shí)相差異、高大建筑物陰影、云霧干擾等，典型的誤檢圖斑如圖4所示。誤檢測(cè)主要由于實(shí)際應(yīng)用場(chǎng)景中影像變化類型更加多樣，而模型的適配性和魯棒性還較低，需要針對(duì)應(yīng)用結(jié)果設(shè)計(jì)相應(yīng)的負(fù)例樣本進(jìn)行優(yōu)化訓(xùn)練。

(a) 耕地時(shí)相變化(b) 陰影差異變化

4 結(jié)論

1)本文面向高分辨率遙感數(shù)據(jù)場(chǎng)景下的典型人類活動(dòng)變化檢測(cè)應(yīng)用，一方面利用高分辨率遙感影像構(gòu)建了一套面向人類活動(dòng)變化檢測(cè)應(yīng)用的0.8～2 m高分辨率遙感變化檢測(cè)數(shù)據(jù)集(HRHCD-1.0)； 另一方面構(gòu)建了用于2期影像變化檢測(cè)的孿生注意力機(jī)制變化檢測(cè)網(wǎng)絡(luò)，特別地引入空間注意力模塊和通道注意力模塊進(jìn)行注意力特征提取和融合，實(shí)現(xiàn)具有更強(qiáng)上下文語義特征提取能力的變化檢測(cè)網(wǎng)絡(luò)。

2)本文模型相比全卷積孿生模型提取的變化結(jié)果更完整，有效緩解了后者存在的邊界較差、局部漏檢和較多空洞等問題； 后處理方法對(duì)檢測(cè)結(jié)果的小圖斑去除、填洞和圖形學(xué)平滑有良好效果，提升了圖斑完整度，減少了小型誤提圖斑； 在較復(fù)雜的變化場(chǎng)景應(yīng)用中，小樣本量模型存在相對(duì)較多的誤檢，樣本量增加對(duì)于模型應(yīng)用的精度和泛化能力有顯著提升作用。

3)然而，在復(fù)雜的人類活動(dòng)變化檢測(cè)應(yīng)用場(chǎng)景中，面臨著業(yè)務(wù)應(yīng)用中變化場(chǎng)景復(fù)雜多樣判定難、變化區(qū)域邊界模糊、圖斑邊界業(yè)務(wù)規(guī)則化要求高等挑戰(zhàn)，本文變化檢測(cè)方法還存在正確率不高、邊界套合精度不足等問題。同時(shí)，業(yè)務(wù)化應(yīng)用中對(duì)變化檢測(cè)算法的正確率和召回率均有較高的需求，進(jìn)一步的研究工作主要考慮針對(duì)業(yè)務(wù)應(yīng)用擴(kuò)展樣本、研究更好的特征提取網(wǎng)絡(luò)、設(shè)計(jì)更具魯棒性的網(wǎng)絡(luò)和研究變化結(jié)果的誤檢圖斑去除方法等。