基于生成對抗網(wǎng)絡(luò)的建筑物損毀檢測

葛小三，陳 曦,，趙文智，李瑞祥

1. 河南理工大學(xué)測繪與國土信息工程學(xué)院，河南 焦作 454003； 2. 河南理工大學(xué)自然資源部礦山時(shí)空信息與生態(tài)修復(fù)重點(diǎn)實(shí)驗(yàn)室，河南 焦作 454003； 3. 北京師范大學(xué)地理科學(xué)學(xué)部遙感科學(xué)與工程研究院， 北京 100875

近年來，全球氣候變化不斷加劇、自然災(zāi)害日益頻發(fā)，造成了嚴(yán)重的人員傷亡和經(jīng)濟(jì)損失，已成為威脅人類生命安全的重大問題之一[1]。建筑物作為人們生活的主要場所，是人口和財(cái)產(chǎn)的集中地帶，快速準(zhǔn)確地了解災(zāi)后建筑物的損毀信息對于災(zāi)后應(yīng)急決策與恢復(fù)重建意義重大[2]。隨著遙感平臺和傳感器的發(fā)展，遙感影像的分辨率逐漸提高，可以從影像中提取更詳細(xì)的地表覆蓋信息，為遙感技術(shù)在災(zāi)情檢測中的應(yīng)用帶來可能。但更詳細(xì)的信息意味著更加嚴(yán)重的類內(nèi)差異，再加上大氣干擾和光照變化帶來的大量偽變化，使得高分辨率影像建筑物變得難以識別。在災(zāi)害中破損建筑物的光譜和紋理信息更為復(fù)雜，因此準(zhǔn)確檢測損毀建筑物是一個(gè)極大的挑戰(zhàn)[3]。

國內(nèi)外學(xué)者針對損毀建筑物檢測任務(wù)利用多種遙感數(shù)據(jù)源做了大量工作，高分辨率影像、SAR影像和激光雷達(dá)等數(shù)據(jù)先后被應(yīng)用到損毀建筑物檢測中。其中，基于高分辨率影像的研究主要集中在損毀特征以及檢測方法的選擇上[4]。高分辨率的災(zāi)后影像包含豐富的地物細(xì)節(jié)，如顏色特征[5]、紋理特征[6]、高度特征[7]等。由于倒塌建筑物結(jié)構(gòu)復(fù)雜，單一特征往往難以準(zhǔn)確描述復(fù)雜建筑物目標(biāo)[8]，而簡單的多特征堆疊會帶來計(jì)算的冗余，因此怎樣選擇典型特征一直是建筑物損毀研究的難點(diǎn)[9-11]。SAR影像能夠穿透云雨霧雪，在災(zāi)害等惡劣環(huán)境下具有天然的優(yōu)勢[12]。完好建筑物和損毀建筑物在SAR影像中主要表現(xiàn)為極化特征與紋理特征的差異，但對數(shù)據(jù)質(zhì)量的要求相對較高，且應(yīng)用端需要相對較高的專業(yè)知識水平。激光雷達(dá)作為一種主動(dòng)式觀測技術(shù)，可提供建筑物較為全面的視角及更多的形態(tài)學(xué)特征，但觀測區(qū)域有限，數(shù)據(jù)難以做到全面覆蓋[13-14]?，F(xiàn)階段，應(yīng)用高分辨率影像進(jìn)行災(zāi)損檢測仍是最好的選擇，其中單一地使用災(zāi)后影像和使用災(zāi)前災(zāi)后雙時(shí)相影像兩種方式較為常用。相對于使用災(zāi)前災(zāi)后雙時(shí)相遙感影像，單一的災(zāi)后影像獲取較為容易，常用于災(zāi)后信息快速獲取。但單一的災(zāi)后影像可提供的信息有限，往往難以獲得令人滿意的結(jié)果[15]。在災(zāi)前災(zāi)后影像充足的情況下，使用災(zāi)前災(zāi)后影像進(jìn)行變化檢測可以獲得更好的檢測結(jié)果[16]。

在過去的幾十年中，新的變化檢測方法不斷出現(xiàn)。其中，最常見的是機(jī)器學(xué)習(xí)的方法，如支持向量機(jī)(SVM)、變化向量分析(CVA)[17]和主成分分析(PCA)[18]。然而，在自然災(zāi)害發(fā)生之后，破損建筑物特征呈現(xiàn)出巨大的差異，傳統(tǒng)機(jī)器學(xué)習(xí)方法很難區(qū)分。深度學(xué)習(xí)算法的興起為建筑物損毀信息提取提供了一種新的解決方案。深度學(xué)習(xí)方法能夠通過多層卷積結(jié)構(gòu)識別影像中語義豐富的高級特征，在損毀檢測任務(wù)中具有顯著優(yōu)勢[19-22]。文獻(xiàn)[23]利用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)提取深層次影像特征來判斷建筑物是否損壞，并證明了DCNN提取的高級特征相對于傳統(tǒng)特征具有更好的表征能力。文獻(xiàn)[24]將卷積自動(dòng)編碼器學(xué)習(xí)到的知識轉(zhuǎn)移到CNN分類器，發(fā)現(xiàn)CNN分類器可以改善特征的辨識度。文獻(xiàn)[25]使用UNet進(jìn)行建筑物屋頂損傷檢測，并提出了4種策略來緩解樣本數(shù)量失衡帶來的過擬合效應(yīng)。然而，CNN、UNet都是判別式網(wǎng)絡(luò)，需要大量精確的標(biāo)記樣本，在災(zāi)害背景下往往很難滿足這一要求。

生成對抗模型(GAN)作為一種無或半監(jiān)督生成網(wǎng)絡(luò)，其訓(xùn)練過程只需要少量訓(xùn)練樣本，因此在遙感目標(biāo)識別領(lǐng)域中得到廣泛應(yīng)用[26]。文獻(xiàn)[27]利用條件生成對抗網(wǎng)絡(luò)(CGAN)將光學(xué)數(shù)據(jù)和SAR數(shù)據(jù)融合進(jìn)行變化監(jiān)測，有效減小了偽變化的影響。文獻(xiàn)[28]使用pix2pix-GAN對高分辨率遙感影像進(jìn)行了變化檢測研究，證明了pix2pix框架在變化監(jiān)測中的可用性。文獻(xiàn)[29]提出了一種MeGAN模型，將季節(jié)變化項(xiàng)和度量學(xué)習(xí)融入pix2pix框架用于兩個(gè)不同季節(jié)之間遙感影像的變化監(jiān)測，該模型有效抑制了季節(jié)性差異產(chǎn)生的偽變化。pix2pix是一種端到端的框架，不需要特殊的人為設(shè)計(jì)，通過生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的相互對抗競爭建立輸入圖像和輸出圖像之間的良好映射關(guān)系，適合復(fù)雜環(huán)境下的變化檢測任務(wù)。然而，pix2pix的局限性在于通過多層卷積運(yùn)算提取感興趣區(qū)域，通常會導(dǎo)致計(jì)算的冗余，并且很難找到建筑物準(zhǔn)確邊界。此外，損毀建筑物具有復(fù)雜的變化特征，單一的GAN結(jié)構(gòu)很難達(dá)到理想的效果。

綜上所述，損毀建筑物檢測的主要困難在于如何準(zhǔn)確確定建筑物變化區(qū)域輪廓和解決樣本不足帶來的訓(xùn)練不足或過擬合問題。因此，本文提出了一種基于pix2pix框架的RecurSive-GAN(RS-GAN)方法。該方法學(xué)習(xí)災(zāi)前災(zāi)后雙時(shí)相影像之間的特征差異，實(shí)現(xiàn)損毀建筑物自動(dòng)檢測，并輸出建筑物受損分布圖。本文采用了兩個(gè)相同的pix2pix框架，分別用于建筑物識別和損毀建筑物檢測,如圖1所示。為了解決檢測邊界模糊問題，將建筑物識別結(jié)果與災(zāi)前災(zāi)后影像輸入損毀建筑物檢測模塊，為其提供潛在區(qū)域建議。由于損毀建筑物檢測是建立在建筑物識別的結(jié)果之上，兩者具有很強(qiáng)的相關(guān)性，因此加入聯(lián)合損失函數(shù)以提高模型對損毀特征的識別能力。

圖1 RS-GAN工作流程Fig.1 Procedure of RS-GAN method

1 研究方法

由于建筑物損毀信息提取是一個(gè)十分復(fù)雜的過程，單一的映射過程難以獲得好的效果，因此基于多模態(tài)GAN的原理，本文提了recursive-generative adversarial networks(RS-GAN)方法。RS-GAN基于pix2pix框架構(gòu)建，由兩個(gè)相似的pix2pix模塊組成。

1.1 pix2pix網(wǎng)絡(luò)模型

pix2pix算法由一個(gè)生成器和一個(gè)判別器構(gòu)成，生成器用來生成模擬樣本，使其分布pz盡可能類似于真實(shí)樣本數(shù)據(jù)分布pd以欺騙判別器D(x)，判別器盡可能地區(qū)分樣本來源于生成器還是真實(shí)樣本，通過兩個(gè)模塊間的對抗過程使模型達(dá)到最優(yōu)。pix2pix的目標(biāo)函數(shù)可以表示為

Ez～pz[log(1-D(x,G(z)))]

(1)

式中，pd表示真實(shí)數(shù)據(jù)x的樣本分布；z表示隨機(jī)噪聲；G(z)表示生成器產(chǎn)生的模擬樣本。令θg和θd分別代表生成器G和鑒別器D的參數(shù)，在訓(xùn)練的過程中θd每更新一次，θg也對應(yīng)更新一次，直到損失函數(shù)收斂。本文在表1中展示了一個(gè)pix2pix網(wǎng)絡(luò)的具體配置，生成器是一個(gè)類似于UNet的跳網(wǎng)結(jié)構(gòu)，包括8個(gè)下采樣和8個(gè)上采樣步驟，并在最后加入了tanh激活函數(shù)；判別器采用8個(gè)下采樣。最終輸出損毀建筑物分布圖。

表1 pix2pix詳細(xì)配置Tab.1 Detail configuration of pix2pix framework

1.2 Recursive-generative adversarial networks(RS-GAN)方法

GAN是一個(gè)動(dòng)態(tài)對抗過程，在生成器與判別器的博弈中尋找源域到目標(biāo)域的最佳映射。建筑物損毀信息提取是一個(gè)十分復(fù)雜的過程，單一的映射過程難以獲得好的效果。建筑物識別任務(wù)到損毀建筑物檢測任務(wù)是一個(gè)遞進(jìn)的過程，兩者之間有很強(qiáng)的相關(guān)性。因此，使用兩個(gè)pix2pix框架將兩者聯(lián)系起來。如圖2所示，將同一地區(qū)建筑物識別生成器模塊的輸出作為疊加項(xiàng)輸入損毀建筑物檢測模塊中，在訓(xùn)練過程中，為損毀建筑物檢測生成器提供潛在區(qū)域建議。同時(shí)，設(shè)計(jì)了一個(gè)聯(lián)合損失函數(shù)，充分利用兩個(gè)任務(wù)之間的潛在互利性，增強(qiáng)模型的鑒別能力。用xp表示輸入災(zāi)前影像，yp表示建筑物真實(shí)地表標(biāo)簽，建筑物識別pix2pix的目標(biāo)函數(shù)可以表示為

圖2 RS-GAN框架Fig.2 Architecture diagram of RS-GAN method

Ex～pd[logD1(xp,yp)]+

Ez～pz[log(1-D1(xp,G1(xp)))]

(2)

式中，pd表示真實(shí)建筑物地面分布(建筑物標(biāo)簽圖)的數(shù)據(jù)分布；pz表示輸入災(zāi)前圖像的數(shù)據(jù)分布。將建筑物識別pix2pix的輸出表示為s=G1(xp)，災(zāi)后建筑物和建筑物損毀真實(shí)地表標(biāo)簽分別表示為xq、yq，那么損毀建筑物檢測pix2pix的目標(biāo)函數(shù)可以表示為

Ex～pt[logD2(s,xq,yq)]+

Es～ps[log(1-D2(s,xq,G2(G1(xp),xq))]

(3)

同時(shí)，為了使模型更快達(dá)到納什均衡，本文在模型中加入了L1損失函數(shù)

(4)

(5)

式中，c為平衡建筑物識別和損毀信息提取任務(wù)所需的超參數(shù)，在本文中設(shè)置為3。在訓(xùn)練過程中，生成器組和鑒別器組的參數(shù)θg,θd是一個(gè)交替更新的過程，直到損失函數(shù)收斂，RS-GAN的訓(xùn)練過程如下。

算法 Recursive Generative Adversarial Networks(RS-GAN)算法，其中pz和ps分別為建筑物真實(shí)地表和損毀建筑物真實(shí)地表的樣本分布。

輸出：建筑物損毀分布圖

4.2.3 優(yōu)化農(nóng)機(jī)維修網(wǎng)絡(luò)布局，著力解決高新農(nóng)機(jī)具維修難的問題，不斷提升農(nóng)機(jī)維修服務(wù)能力，滿足廣大農(nóng)民的需求。

for number of training iterations do

Step 1：更新建筑物檢測鑒別器D1的參數(shù)

Step 2：更新?lián)p毀建筑物檢測鑒別器D2的參數(shù)

Step 3：更新建筑物檢測鑒別器G1的參數(shù)

Step 4：更新?lián)p毀建筑物檢測鑒別器G2的參數(shù)

end for

2 試驗(yàn)與分析

2.1 試驗(yàn)數(shù)據(jù)

試驗(yàn)數(shù)據(jù)集分別選用圣羅莎大火(Santa Rosa，2017，美國加利福尼亞州)和颶風(fēng)多里安(Missouri，2011，美國密蘇里州)兩組災(zāi)前災(zāi)后worldview影像，影像來源于DigitalGlobe提供的XBD建筑物損毀數(shù)據(jù)集[30]。該數(shù)據(jù)集收集了世界各地19個(gè)災(zāi)害事件(如洪水、地震和颶風(fēng))的高分辨率遙感影像對，并經(jīng)過了嚴(yán)格的影像配準(zhǔn)。如圖3、圖4所示，圣羅莎和密蘇里數(shù)據(jù)集的尺寸分別為3072×3072和5120×4096，空間分辨率約為0.5 m，包含RGB 3個(gè)波段。該數(shù)據(jù)集結(jié)合實(shí)地調(diào)查數(shù)據(jù)，參考HAZUS自然災(zāi)害分析工具[31]、美國聯(lián)邦應(yīng)急管理局(FEMA)損壞評估操作手冊、Kelman所提出的災(zāi)損評估標(biāo)準(zhǔn)[32]和歐洲宏觀地震烈度表(EMS-98)[33]將建筑物損毀分為4級。由于衛(wèi)星視角所帶來的局限性，大多數(shù)情況下只能看到建筑物的頂面，傳統(tǒng)的基于物理結(jié)構(gòu)或功能的建筑物損毀評價(jià)標(biāo)準(zhǔn)在此情況下難以適用。因此基于此數(shù)據(jù)集所提出的建筑物損毀評價(jià)，將建筑物分為完好或輕度損毀(完好)和中度損毀或倒塌(損毀)兩級目標(biāo)，如圖5所示。

圖3 圣羅莎大火數(shù)據(jù)集Fig.3 Santa Rosa data sets

圖4 密蘇里龍卷風(fēng)數(shù)據(jù)集Fig.4 Missouri tornado data sets

圖5 建筑物損毀描述Fig.5 Description of damage buildings

在本文試驗(yàn)中，數(shù)據(jù)集的30%作為訓(xùn)練集，其余的70%作為測試集。為了避免訓(xùn)練樣本與測試樣本之間可能存在的相關(guān)性，訓(xùn)練集和測試集被分成兩個(gè)獨(dú)立的區(qū)域。本文將數(shù)據(jù)集裁剪為256×256的小塊，為了擴(kuò)充訓(xùn)練樣本，本文隨機(jī)不重復(fù)抽取樣本點(diǎn)，并以樣本點(diǎn)為中心切割影像塊；測試集以相鄰影像塊中心點(diǎn)距離為256作無重疊切割。為了驗(yàn)證所提出方法的性能，分別使用了RandomForest(RF)，UNet和pix2pix作為比較算法。比較算法中pix2pix算法與本文算法采用相同的結(jié)構(gòu)。為了定量說明模型的準(zhǔn)確性，選擇精度(precision)，召回率(recall)，總體精度(overall accuracy)，平均精度(average accuracy)和Kappa系數(shù)進(jìn)行準(zhǔn)確性評估。

2.2 圣羅莎(Santa Rosa)數(shù)據(jù)集檢測結(jié)果和比較

圣羅莎數(shù)據(jù)集的試驗(yàn)結(jié)果展示在圖6和表2中。在災(zāi)害背景下，影像中存在大量的偽變化和隨機(jī)噪聲，傳統(tǒng)的檢測方法很難達(dá)到良好的檢測效果。在表2中，隨機(jī)森林的各項(xiàng)指標(biāo)均為最低。UNet采用多層卷積結(jié)構(gòu)，可以捕捉具有表征性的建筑物特征，區(qū)分建筑物是否受損。在遙感影像上，受損建筑物表現(xiàn)為復(fù)雜的光譜和紋理特征，單純的卷積結(jié)構(gòu)難以區(qū)分，UNet存在明顯的漏檢情況。pix2pix算法是典型的生成式模型，在生成器和判別器的對抗過程中自動(dòng)學(xué)習(xí)具有穩(wěn)健性的特征，不需要大量的樣本。與UNet相比，pix2pix對完好和損毀筑物的檢測精度分別提高了0.04和0.01。與UNet相比，pix2pix的檢測效果更加平滑，但仍舊很難區(qū)分建筑物是否受損，recall僅為0.70和0.76。本文提出的RS-GAN采用多模態(tài)的檢測模式，加入聯(lián)合損失函數(shù)充分利用建筑物識別和損毀建筑物之間的潛在互利性，同時(shí)用建筑物識別結(jié)果指導(dǎo)損毀建筑物檢測，檢測結(jié)果擁有更加清晰的輪廓。RS-GAN的OA、AA和Kappa均為最高，分別為0.01、0.86和0.78。本文將建筑物識別GAN和建筑物損毀檢測GAN的loss曲線展示在圖7中，可以發(fā)現(xiàn)兩者在相互對抗的過程中達(dá)到最佳效果。

圖6 圣羅莎數(shù)據(jù)集檢測結(jié)果Fig.6 Detection results of Santa Rosa data sets

表2 圣羅莎數(shù)據(jù)集檢測結(jié)果及比較Tab.2 Detection results and comparison of Santa Rosa data sets

圖7 RS-GAN在圣羅莎數(shù)據(jù)集上訓(xùn)練的loss曲線Fig.7 Loss curves that RS-GAN trained on the Santa Rosa data sets

2.3 密蘇里(Missouri)龍卷風(fēng)數(shù)據(jù)集檢測結(jié)果和比較

為了檢測RS-GAN的普適性，本文在另一個(gè)密蘇里州龍卷風(fēng)數(shù)據(jù)集上做了進(jìn)一步的測試(見表3和圖8)。不同于火災(zāi)數(shù)據(jù)集，龍卷風(fēng)破壞建筑物會產(chǎn)生大量建筑物殘片，影響檢測效果。在此試驗(yàn)中，RS-GAN和標(biāo)簽之間擁有最高的吻合度，Kappa值達(dá)到了最高的0.55。隨機(jī)森林難以檢測出損毀建筑物，Kappa值只達(dá)到了0.27。UNet雖然檢出率較高但錯(cuò)檢現(xiàn)象嚴(yán)重。pix2pix和RS-GAN因?yàn)榧尤肓藢菇Y(jié)構(gòu)，可以學(xué)習(xí)到更具穩(wěn)健性的典型特征，相比于其他方法檢測效果有所提高?？偟膩碚f，RS-GAN擁有最好的檢測效果，OA和Kappa均達(dá)到了最高的0.87和0.55。

圖8 密蘇里龍卷風(fēng)數(shù)據(jù)集檢測結(jié)果Fig.8 Detection results of Missouri tornado data sets

表3 密蘇里龍卷風(fēng)數(shù)據(jù)集檢測結(jié)果及比較Tab.3 Detection results and comparison of Missouri tornado data sets

3 討 論

準(zhǔn)確檢測損毀建筑物對于災(zāi)害發(fā)生后的應(yīng)急救援有著重要的意義，但由于受損建筑物在遙感影像中大量的模糊像元，且災(zāi)前災(zāi)后影像存在季節(jié)、光照、地表覆蓋等差異的影響，定位建筑物并進(jìn)行準(zhǔn)確的損毀等級劃分仍是一個(gè)巨大的挑戰(zhàn)。除此之外，樣本的獲取困難和影像分辨率的限制，容易導(dǎo)致檢測效率和精度低下。本文試驗(yàn)所選影像的分辨率為0.5 m，單個(gè)建筑物在圖像上表示約為1000個(gè)像元且存在大量的模糊像元。在兩組不同災(zāi)害影響下的數(shù)據(jù)集上檢測了本文提出模型的性能，其中圣羅莎數(shù)據(jù)集具有充足的樣本且類別均衡，密蘇里數(shù)據(jù)集場景相對復(fù)雜，RS-GAN均取得了相對較好的檢測效果。本文在一個(gè)環(huán)境更為復(fù)雜的多里安數(shù)據(jù)集上做了進(jìn)一步的測試。相比于以上兩個(gè)數(shù)據(jù)集，多里安數(shù)據(jù)集建筑物更為分散且存在嚴(yán)重的類別失衡。測試的結(jié)果如圖9和表4所示，可以看到在極端環(huán)境下各模型的檢測精度整體偏低，RS-GAN擁有最好的檢測效果，AA和Kappa均達(dá)到了最高的0.49和0.41。因此準(zhǔn)確檢測損毀建筑物除了需要準(zhǔn)確定位建筑物外，更需要模型有更強(qiáng)的泛化能力，提取更具有表征性的特征，這將是筆者下一步研究的重點(diǎn)。

圖9 多里安數(shù)據(jù)集檢測結(jié)果Fig.9 Detection results of Dorian data sets

表4 多里安數(shù)據(jù)集檢測結(jié)果及比較Tab.4 Detection results and comparison of Dorian data sets

4 結(jié) 論

本文提出了一種RS-GAN模型來檢測災(zāi)后建筑物的受損情況，并在圣羅莎和多里安數(shù)據(jù)集上進(jìn)行了測試，結(jié)果表明，RS-GAN擁有明顯的檢測優(yōu)勢。本文主要的貢獻(xiàn)點(diǎn)在于：①提出了由兩個(gè)pix2pix分支組成的多模態(tài)模型，將建筑物損毀信息提取任務(wù)分為建筑物識別和損毀建筑物檢測兩個(gè)子任務(wù)，充分利用了災(zāi)前災(zāi)后雙時(shí)相影像信息優(yōu)勢。同時(shí)將建筑物檢測結(jié)果加入損毀建筑物檢測，在訓(xùn)練過程中動(dòng)態(tài)提供潛在區(qū)域建議，使檢測結(jié)果具有更加清晰的輪廓。②設(shè)計(jì)了一種聯(lián)合損失函數(shù)，將建筑物提取和損毀建筑物檢測兩個(gè)子網(wǎng)絡(luò)合并為一個(gè)整體，充分利用了兩個(gè)任務(wù)之間的潛在互利性，從而對損毀建筑物有著更強(qiáng)的檢測能力。③RS-GAN自動(dòng)化程度較高，在輸入災(zāi)前災(zāi)后影像及少量訓(xùn)練樣本基礎(chǔ)上，能夠?qū)崿F(xiàn)損毀建筑物自動(dòng)檢測。在未來的研究中，會在現(xiàn)有研究基礎(chǔ)上繼續(xù)提高模型的泛化能力，在更多數(shù)據(jù)集上做嘗試，提升模型的檢測能力。