基于深度學(xué)習(xí)的災(zāi)后建筑物損壞程度檢測(cè)綜述

陳曉藝,陸一鳴,沈加煒,錢美玲,陸衛(wèi)忠,3,4

(1.蘇州科技大學(xué) 電子與信息工程學(xué)院,江蘇 蘇州 215009;2.蘇州科技大學(xué)天平學(xué)院,江蘇 蘇州 215009;3.蘇州科技大學(xué) 蘇州智慧城市研究院,江蘇 蘇州 215009;4.蘇州科技大學(xué) 蘇州市虛擬現(xiàn)實(shí)智能交互及應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇 蘇州 215009)

0 引 言

計(jì)算機(jī)視覺(jué)是使用計(jì)算機(jī)及相關(guān)設(shè)備對(duì)生物視覺(jué)的一種模擬。它的主要任務(wù)就是通過(guò)對(duì)采集的圖片或視頻進(jìn)行處理以獲得相應(yīng)場(chǎng)景的三維信息。自然災(zāi)害后建筑物損壞程度檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域的其中一個(gè)方向,其目標(biāo)是通過(guò)綜合運(yùn)用圖像處理、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù),從靜態(tài)圖片中能夠快速檢測(cè)出自然災(zāi)害后建筑物的損壞程度等相關(guān)信息,在自然災(zāi)害后的救援工作中有著重要的研究?jī)r(jià)值和廣泛需求。近年來(lái),計(jì)算機(jī)視覺(jué)技術(shù)和深度學(xué)習(xí)等發(fā)展迅速,因此,將深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)技術(shù)相結(jié)合的方法是檢測(cè)自然災(zāi)害后建筑物損壞程度的主要研究思路。

首先,介紹了基于計(jì)算機(jī)視覺(jué)的自然災(zāi)害后建筑物損壞程度檢測(cè)的相關(guān)任務(wù)、難點(diǎn)和發(fā)展現(xiàn)狀;其次,介紹了xBD數(shù)據(jù)集,并說(shuō)明了其算法的相關(guān)評(píng)價(jià)標(biāo)準(zhǔn)。同時(shí)對(duì)深度學(xué)習(xí)方法中幾種應(yīng)用于建筑物損壞程度檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行總結(jié);最后,對(duì)其存在的問(wèn)題及未來(lái)可能的發(fā)展方向進(jìn)行了討論。

1 研究背景

1.1 自然災(zāi)害后建筑物損壞程度檢測(cè)的關(guān)鍵任務(wù)

當(dāng)自然災(zāi)害發(fā)生時(shí),快速準(zhǔn)確的信息對(duì)于有效的應(yīng)對(duì)至關(guān)重要。不僅可以更好地在受影響地區(qū)進(jìn)行資源部署,還可以盡可能了解建筑物損壞的位置和嚴(yán)重程度。隨著科技的發(fā)展,衛(wèi)星圖像在受災(zāi)地區(qū)的采集提供了強(qiáng)大的信息來(lái)源,可用于評(píng)估自然災(zāi)害后建筑物受到損害的程度和范圍。在當(dāng)前工作中,雖然專家對(duì)衛(wèi)星和航空?qǐng)D像的分析結(jié)果對(duì)于快速響應(yīng)、及時(shí)救援很有用,但這仍然會(huì)導(dǎo)致時(shí)間上的滯后。原因是所涉及范圍極大,即使是有大量人員對(duì)受災(zāi)地區(qū)進(jìn)行分析和研究,也可能需要數(shù)周時(shí)間才能完全繪制了解受災(zāi)地區(qū)的具體范圍和程度,極大浪費(fèi)救援時(shí)間,在時(shí)間至關(guān)重要的情況下,需要想辦法盡可能改善這種情況。

首先,計(jì)算機(jī)和人工智能快速發(fā)展,為提高檢測(cè)速度,縮短檢測(cè)時(shí)間提供了可能。其次,最近幾年 UAV(無(wú)人駕駛飛行器)技術(shù)的普及為建筑物損壞檢測(cè)提供了一種額外的工具,從過(guò)去幾年收集到的越來(lái)越多的災(zāi)難后圖像數(shù)據(jù)中證實(shí)了這一點(diǎn)。盡管無(wú)人機(jī)在數(shù)據(jù)捕獲方面具有靈活性,但它們的圖像質(zhì)量和可用性很差——與衛(wèi)星和載人航空平臺(tái)相比,它們可以覆蓋的空間范圍受到嚴(yán)重限制。因此,當(dāng)?shù)氐木仍?duì)伍可以很好地應(yīng)用無(wú)人機(jī)進(jìn)行圖像的收集[1],但是不能將它收集到的圖片作為分析受影響區(qū)域建筑物損壞程度的唯一依據(jù)。不同類型的人為和自然災(zāi)害(即地震、爆炸、臺(tái)風(fēng)、洪水、海嘯等)對(duì)建筑結(jié)構(gòu)的影響不同,通常會(huì)在遙感數(shù)據(jù)中產(chǎn)生獨(dú)特的特點(diǎn)。根據(jù)所考慮的災(zāi)害類型,可見的結(jié)構(gòu)性建筑損壞可能看起來(lái)完全不同,目前還沒(méi)有一種能夠自動(dòng)準(zhǔn)確地應(yīng)對(duì)所有不同類型的災(zāi)害的通用方法。

在過(guò)去幾年中,卷積神經(jīng)網(wǎng)絡(luò)(Krizhevsky et al.,2012)[2]在各種計(jì)算機(jī)視覺(jué)任務(wù)上表現(xiàn)極其出色,在目標(biāo)識(shí)別和圖像分割(LeCun等人,2015年)[3]等方向,甚至取得了相當(dāng)于人類視覺(jué)水平的性能。然而,還需要考慮災(zāi)害評(píng)估方法的實(shí)用性,因此開發(fā)一種高精度、實(shí)用的災(zāi)害評(píng)估方法對(duì)于災(zāi)害中的應(yīng)急救援具有重要意義,也是自然災(zāi)害后建筑物損壞程度檢測(cè)的關(guān)鍵任務(wù)。目前,主流的建筑損傷評(píng)估方法包括兩個(gè)主要步驟:建筑定位和評(píng)估損傷的分類。如果能夠提供建筑物的詳細(xì)占地面積信息,那么進(jìn)行建筑定位就會(huì)容易很多。但現(xiàn)實(shí)情況卻不容樂(lè)觀,在災(zāi)害事件中,尤其是在欠發(fā)達(dá)地區(qū)的災(zāi)害事件中,基本沒(méi)有詳細(xì)可用的占地面積信息。并且建筑定位極大影響著損壞程度分類,甚至建筑定位信息的準(zhǔn)確性直接影響到分類結(jié)果。因此,相關(guān)科研人員也在為能夠精確定位建筑物不斷努力。

1.2 自然災(zāi)害后建筑物損壞程度檢測(cè)的難點(diǎn)

在智能建筑損傷等級(jí)評(píng)估的應(yīng)用中,盡管基于卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星圖像建筑物損傷評(píng)估已經(jīng)取得了一系列研究成果,但仍有許多挑戰(zhàn)和難點(diǎn)有待討論。

該文將具體實(shí)際經(jīng)驗(yàn)和實(shí)驗(yàn)與災(zāi)后所采集的數(shù)據(jù)集的使用相結(jié)合。首先,利用衛(wèi)星圖像對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的建筑物損壞評(píng)估算法進(jìn)行了全面綜述。其次,對(duì)基于操作卷積神經(jīng)網(wǎng)絡(luò)對(duì)衛(wèi)星圖像進(jìn)行建筑物損傷評(píng)估的四個(gè)技術(shù)難點(diǎn)進(jìn)行了深刻討論,具體如下:(1)在評(píng)估指標(biāo)不一致的情況下,各種方法的準(zhǔn)確性應(yīng)該怎么比較;(2)無(wú)人機(jī)圖像可能是衛(wèi)星圖像之外的另一個(gè)重要來(lái)源。然而,災(zāi)前無(wú)人機(jī)圖像往往缺乏歷史數(shù)據(jù),在沒(méi)有災(zāi)前衛(wèi)星圖像的情況下,建筑物損壞評(píng)估應(yīng)該怎么進(jìn)行;(3)當(dāng)數(shù)據(jù)集類別極度不平衡時(shí),在預(yù)測(cè)中如何去平衡數(shù)據(jù)集;(4)應(yīng)采用哪些技術(shù)解決方案來(lái)提高建筑物損壞評(píng)估模型的準(zhǔn)確性,從而實(shí)現(xiàn)快速預(yù)測(cè)。

1.3 自然災(zāi)害后建筑物損壞程度檢測(cè)的研究現(xiàn)狀

為了解決上述難點(diǎn)和挑戰(zhàn),一些研究人員應(yīng)用了五分類進(jìn)行語(yǔ)義分割,即將“無(wú)建筑”也視為一種損壞類別。該方法解決了在兩階段結(jié)構(gòu)下,損傷等級(jí)的分類高度依賴于建筑物定位精度的問(wèn)題。雖然關(guān)于建筑物足跡分割和變化檢測(cè)的文獻(xiàn)非常廣泛,但衛(wèi)星圖像評(píng)估建筑物損壞的問(wèn)題只得到了有限的關(guān)注[4-5]。Xu等人[6]描述了一種構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)的方法,該方法以受損/未受損建筑的二元像素分類為框架,在一個(gè)跨越三次災(zāi)難的專有數(shù)據(jù)集上,可以通過(guò)使用災(zāi)難前后圖像自動(dòng)檢測(cè)衛(wèi)星圖像中的受損建筑物。如果對(duì)該區(qū)域的一小部分示例進(jìn)行微調(diào),該模型可以很好地推廣到新的受災(zāi)區(qū)域。Cooner等人[7]將多種機(jī)器學(xué)習(xí)方法在建筑物損傷檢測(cè)中的性能與2010年海地地震前后的衛(wèi)星圖像進(jìn)行了比較,發(fā)現(xiàn)使用前饋神經(jīng)網(wǎng)絡(luò)的效果最好,錯(cuò)誤率僅為40%。Ji等人[8]開發(fā)了一個(gè)卷積網(wǎng)絡(luò),用于從海地地震的事后衛(wèi)星圖像中識(shí)別倒塌的建筑物,總體準(zhǔn)確率達(dá)到78.6%。Duarte等人[9]將捕獲災(zāi)害的無(wú)人機(jī)和衛(wèi)星圖像結(jié)合起來(lái),以提高其卷積網(wǎng)絡(luò)的準(zhǔn)確性,最佳報(bào)告準(zhǔn)確率為94.4%。在這些模型中,圖像上受損建筑物的檢測(cè)都是一個(gè)二值像素分類問(wèn)題。Yang等人[10]的研究表明,卷積神經(jīng)網(wǎng)絡(luò)(CNN)可以執(zhí)行基于特征的多時(shí)相遙感圖像配準(zhǔn),并且在大多數(shù)情況下檢測(cè)結(jié)果超過(guò)了其他方法。Nia和Mori[11]提出了一種僅使用災(zāi)后圖像進(jìn)行建筑物損壞評(píng)估的原始深度學(xué)習(xí)模型。該模型使用了三個(gè)神經(jīng)網(wǎng)絡(luò):DilatedNet、LeNet和VGG。其中,DilatedNet的作用是對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理,而VGG和LeNet的作用是從輸入源中提取深度特征。該方法表明,卷積神經(jīng)網(wǎng)絡(luò)可以對(duì)災(zāi)后圖像進(jìn)行損傷評(píng)估。Valentijn等人[12]提出了一種CNN,它由兩個(gè)用于從災(zāi)前/災(zāi)后圖像中提取特征的inception-v3塊和一組用于分類器的完全連接的層組成。為了克服過(guò)度擬合的問(wèn)題,他們?yōu)槊總€(gè)完全連接的層使用了一個(gè)批標(biāo)準(zhǔn)化層和一個(gè)dropout層,并分析了CNN的可推廣性和可轉(zhuǎn)移性。Weber等人[13]使用帶有FPN架構(gòu)的Mask R-CNN和相同的模型架構(gòu)來(lái)構(gòu)建定位和每像素?fù)p傷分類。此外,他們沒(méi)有處理完整的圖像,而是在圖像前后的象限上訓(xùn)練架構(gòu),并融合最終的分割層,以更準(zhǔn)確地繪制建筑邊界。Hao[14]為損傷分類和建筑物分割設(shè)計(jì)了一個(gè)端到端的Siam-U-Net-Attn模型,這個(gè)方法是通過(guò)嵌入建筑物的分割特征來(lái)加強(qiáng)對(duì)建筑物的損壞程度進(jìn)行分類。具體來(lái)說(shuō),U-Net模型用于災(zāi)前和災(zāi)后圖像以生成二進(jìn)制掩碼。U-Net編碼器產(chǎn)生的兩個(gè)特征在Siamese網(wǎng)絡(luò)中使用不同的融合方法進(jìn)行融合,這不僅可以比較兩個(gè)輸入幀的特征以檢測(cè)建筑物損壞,還可以從編碼器區(qū)域提取特征,提高損傷分類的準(zhǔn)確性。該方法在定位方面取得了可觀的交叉聯(lián)合分?jǐn)?shù)(IoU),并且在將建筑物分類為未損壞和被破壞時(shí)表現(xiàn)良好。因此,使用該方法首先需要平衡建筑物損壞程度分類。綜上,這些模型雖取得良好表現(xiàn),但還是無(wú)法準(zhǔn)確地區(qū)分輕微和嚴(yán)重受損的建筑物。

2 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

2.1 數(shù)據(jù)集

2.1.1 xBD數(shù)據(jù)集背景

為了提高人道主義援助和救災(zāi)領(lǐng)域的資源分配、援助路線、救援和恢復(fù)以及許多其他任務(wù)的效率,在自然災(zāi)害救援的背景下要完成這些任務(wù),對(duì)該地區(qū)受損建筑的數(shù)量和程度的了解至關(guān)重要。但是這些數(shù)據(jù)的收集十分不容易,這需要地面人員在災(zāi)難期間或?yàn)?zāi)難發(fā)生后立即收集數(shù)據(jù)并直接評(píng)估損失。隨著衛(wèi)星圖像可用性的增加,這項(xiàng)任務(wù)不僅可以遠(yuǎn)程完成,還可以通過(guò)應(yīng)用強(qiáng)大的計(jì)算機(jī)視覺(jué)算法自動(dòng)完成。為解決這一問(wèn)題,盡快分析出建筑物的受災(zāi)數(shù)量和程度,必須大量提供包含多種損傷類型的圖像。其他用于自然災(zāi)害后建筑物損壞程度的數(shù)據(jù)集自然災(zāi)害類型單一,為此,將介紹包含多種自然災(zāi)害類型的數(shù)據(jù)集——xBD數(shù)據(jù)集:一個(gè)大型衛(wèi)星圖像數(shù)據(jù)集。

2.1.2 xBD數(shù)據(jù)集介紹

xBD數(shù)據(jù)集用于xView2的挑戰(zhàn)賽。是迄今為止最大的建筑損壞評(píng)估數(shù)據(jù)集,包含災(zāi)前和災(zāi)后衛(wèi)星圖像以及850 736個(gè)建筑注釋,覆蓋45 362平方公里的土地圖像。該數(shù)據(jù)集包含19個(gè)不同的自然災(zāi)害事件,這19個(gè)事件可在完整的xBD數(shù)據(jù)集中通過(guò)22 068幅圖像獲得,數(shù)據(jù)集中包含850 736個(gè)建筑多邊形。每個(gè)圖像都有1 024×1 024像素的分辨率。該數(shù)據(jù)集旨在推動(dòng)創(chuàng)建準(zhǔn)確高效的機(jī)器學(xué)習(xí)模型,從災(zāi)前和災(zāi)后衛(wèi)星圖像評(píng)估建筑物損壞。

該數(shù)據(jù)集是首次嘗試在多個(gè)災(zāi)害類型、結(jié)構(gòu)類別和地理位置的衛(wèi)星圖像中創(chuàng)建統(tǒng)一的建筑物損壞評(píng)估尺度。損傷程度劃分為4個(gè)等級(jí),如表1所示,即從無(wú)損傷(0)到破壞(3)。

表1 建筑物損壞程度等級(jí)評(píng)估

2.1.3 xBD數(shù)據(jù)集數(shù)據(jù)分析

xBD數(shù)據(jù)集分別以80%、10%、10%的拆分率拆分為Train數(shù)據(jù)集、Test數(shù)據(jù)集和Holdout數(shù)據(jù)集。具體拆分?jǐn)?shù)據(jù)如表2所示 。

表2 xBD數(shù)據(jù)集介紹

xBD數(shù)據(jù)集所包含的19個(gè)自然災(zāi)害事件并不是均勻分布,圖1展示了不同災(zāi)害事件的出現(xiàn)頻次。其中,野火災(zāi)害出現(xiàn)次數(shù)最多,其次是叢林大火,地震出現(xiàn)次數(shù)最少。

圖1 不同災(zāi)害事件的覆蓋區(qū)域

xBD數(shù)據(jù)集對(duì)計(jì)算機(jī)視覺(jué)界來(lái)說(shuō)是一個(gè)挑戰(zhàn),因?yàn)闉?zāi)難標(biāo)簽和類型的分布是高度不平衡的。此外,利用計(jì)算機(jī)視覺(jué)區(qū)分不同程度損傷的可能非常微小。不同類型災(zāi)害的負(fù)面圖像的不同可用性也可能是定位模型的一個(gè)障礙。

2.2 評(píng)價(jià)指標(biāo)

基于四個(gè)常見的評(píng)價(jià)分類來(lái)計(jì)算相關(guān)評(píng)價(jià)指標(biāo),假設(shè)只有正例和負(fù)例,四個(gè)常見的樣本分類分別為TP、FP、TN、FN[15],各個(gè)分類代表的具體內(nèi)容分別是:

TP:True Positive,預(yù)測(cè)為正例,標(biāo)簽的真實(shí)值也是正例。

FP:False Positive,預(yù)測(cè)為正例,標(biāo)簽的真實(shí)值是負(fù)例。

TN:True Negative,預(yù)測(cè)為負(fù)例,標(biāo)簽的真實(shí)值也是負(fù)例。

FN:False Negative,預(yù)測(cè)為負(fù)例,標(biāo)簽的真實(shí)值是正例。

目前,對(duì)于xBD數(shù)據(jù)集建筑物損壞程度的評(píng)估,還沒(méi)有標(biāo)準(zhǔn)一致的評(píng)價(jià)指標(biāo)。通過(guò)對(duì)相關(guān)論文的復(fù)現(xiàn)研究及了解,大多數(shù)論文采用以下幾個(gè)指標(biāo):(1)準(zhǔn)確率(Precision)。又稱為查準(zhǔn)率,指的是在預(yù)測(cè)結(jié)果中,有些會(huì)預(yù)測(cè)為正樣本,在這些預(yù)測(cè)為正樣本的結(jié)果中,能夠正確預(yù)測(cè)為正樣本的概率,簡(jiǎn)稱為P,P=TP/(TP+FP)。(2)召回率(Recall)。又稱為查全率,指的是在原始樣本的正樣本中,最后被正確預(yù)測(cè)為正樣本的概率,其公式為:Recall=TP/(TP+FN)[16]。(3)F1分?jǐn)?shù)(F1 Score),是統(tǒng)計(jì)學(xué)中用來(lái)衡量二分類模型精確度的一種指標(biāo)。它同時(shí)兼顧了分類模型的精確率和召回率,F1分?jǐn)?shù)值越大,說(shuō)明模型效果越好。其公式為:F1=2(P*Recall)/(P+Recall)。

3 深度學(xué)習(xí)在自然災(zāi)害后建筑物損壞程度檢測(cè)的應(yīng)用現(xiàn)狀

3.1 基線模型

對(duì)于建筑物損壞程度分類的評(píng)估,需要解決兩個(gè)問(wèn)題,第一個(gè)是建筑的定位,第二是建筑每像素?fù)p壞分類。因此,完成該工作需要完成兩個(gè)任務(wù)(即識(shí)別是否有建筑物和確定建筑物的損壞程度)?；€模型中對(duì)于兩個(gè)任務(wù)使用了兩個(gè)獨(dú)立的網(wǎng)絡(luò)[17]。圖2中描述了該任務(wù)的基線模型。首先,對(duì)于建筑物的定位,使用U-Net[18]架構(gòu),作用是對(duì)該位置進(jìn)行是“背景”還是“建筑物”的二進(jìn)制像素分類。其次,對(duì)于損壞程度評(píng)估,使用的是在ImageNet[19]上預(yù)訓(xùn)練好的 ResNet-50[20]網(wǎng)絡(luò)模型,該模型中輸入的是損壞后的圖像和來(lái)自淺層CNN訓(xùn)練出的附加特征。所有卷積層都使用ReLU激活函數(shù),輸出一個(gè)One-hot向量,其中每個(gè)元素代表一個(gè)概率。該模型使用的損失函數(shù)是序數(shù)交叉熵?fù)p失函數(shù)。與傳統(tǒng)的交叉熵不同,序數(shù)交叉熵相對(duì)于真實(shí)值和預(yù)測(cè)值之間的距離進(jìn)行抉擇。由于任何兩個(gè)類別之間的差異不可互換,因此該損失函數(shù)可以使模型區(qū)分不同級(jí)別的損壞。

圖2 基線模型

通過(guò)訓(xùn)練,其結(jié)果如表3所示。

表3 基線模型實(shí)驗(yàn)結(jié)果

如表3所示,召回率偏低,可能的原因是嚴(yán)重?fù)p壞被歸類于輕微損壞所導(dǎo)致。由于數(shù)據(jù)集極度不平衡,分類結(jié)果可能會(huì)產(chǎn)生更大的分離。該模型是第一個(gè)可以自動(dòng)評(píng)估建筑物損壞并遠(yuǎn)程執(zhí)行的模型。然而,有的損壞類別的視覺(jué)差異并不明顯,甚至可能非常細(xì)微,該模型會(huì)在這差別不大的兩個(gè)類別之間產(chǎn)生高度混淆。

3.2 圖神經(jīng)網(wǎng)絡(luò)模型

Robert Trevino等人旨在自動(dòng)化評(píng)估災(zāi)后建筑物損壞的過(guò)程,能夠?qū)?zāi)后部署進(jìn)行快速和高效的響應(yīng)。他們考慮到自然災(zāi)害破壞的空間特性,認(rèn)為評(píng)估建筑物損壞程度基于圖的學(xué)習(xí)應(yīng)該是有效的。在高分辨率衛(wèi)星圖像、位置和時(shí)間數(shù)據(jù)上進(jìn)行訓(xùn)練,Robert Trevino等人設(shè)計(jì)了一個(gè)混合GCN+CNN模型來(lái)有效地對(duì)每個(gè)建筑物的損傷等級(jí)進(jìn)行分類,其原理是利用基于圖的技術(shù)對(duì)此進(jìn)行改進(jìn)。該模型為混合深度學(xué)習(xí)模型,衛(wèi)星圖像分別在兩個(gè)網(wǎng)絡(luò)上進(jìn)行訓(xùn)練,這兩個(gè)網(wǎng)絡(luò)分別是基于相鄰建筑物的損傷空間分類的圖卷積網(wǎng)絡(luò),以及在ImageNet上預(yù)訓(xùn)練的ResNet-50網(wǎng)絡(luò)。上半部分基于衛(wèi)星圖像數(shù)據(jù),下半部分保留ImageNet捕獲的特征;輸出的是包含帶以彩色多邊形為注釋的衛(wèi)星圖像,彩色多邊形用于識(shí)別該地區(qū)的特定建筑物,以及表示建筑物災(zāi)后受損程度的評(píng)級(jí)。

如圖3所示,將圖與強(qiáng)大的卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)合使用,充分提取了空間特征。如表4所示,該模型與基線模型相比,極大提高了不同損傷類別的召回率、準(zhǔn)確率和F1分?jǐn)?shù)。

圖3 圖神經(jīng)網(wǎng)絡(luò)模型

表4 基線模型和圖神經(jīng)網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果對(duì)比

實(shí)驗(yàn)表明,該方法性能優(yōu)于先前使用基線 ResNet-50 架構(gòu)以及強(qiáng)大的經(jīng)典機(jī)器學(xué)習(xí)算法報(bào)告的基線值,該模型相比于基線模型效果明顯提高。

3.3 基于金字塔池化模塊的半連體網(wǎng)絡(luò)模型

建筑物損壞評(píng)估的任務(wù)分為兩個(gè)階段。第一階段在圖像上識(shí)別建筑物,這是一個(gè)定位問(wèn)題。大多使用諸如CNN之類的算法來(lái)判斷輸入的圖像上是否有建筑物。然后將定位建筑的圖片用作第二階段的實(shí)驗(yàn),來(lái)評(píng)估建筑物的損壞程度?；谶@一思想,Bai等人[21]設(shè)計(jì)了一個(gè)網(wǎng)絡(luò)來(lái)判斷建筑物的位置并評(píng)估其損壞程度。該方法單獨(dú)使用災(zāi)前圖像來(lái)判斷建筑物的位置并生成相應(yīng)圖像,然后使用災(zāi)前圖像和災(zāi)后圖像來(lái)評(píng)估建筑物損壞程度。為了使定位建筑物位置的圖像產(chǎn)生準(zhǔn)確的評(píng)估結(jié)果,該方法直接將其乘以評(píng)估估計(jì)器的輸出(見圖4)。圖4顯示了該網(wǎng)絡(luò)的體系結(jié)構(gòu)。該網(wǎng)絡(luò)基于半連體戰(zhàn)略,網(wǎng)絡(luò)淺層的權(quán)重共享兩個(gè)輸入圖像(即災(zāi)前/災(zāi)后圖像),以使其通過(guò)共同學(xué)習(xí)兩者的低水平特征來(lái)產(chǎn)生良好的“過(guò)濾器庫(kù)”。隨著層的深入,繼而停止共享權(quán)重,并對(duì)兩個(gè)輸入使用獨(dú)立的分支,然后將這兩個(gè)分支的輸出結(jié)果融合,加強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)災(zāi)前圖像和災(zāi)后圖像之間的差異。網(wǎng)絡(luò)的尾部,使用層的單個(gè)分支來(lái)產(chǎn)生最終的結(jié)果。在網(wǎng)絡(luò)中,使用具有擴(kuò)張卷積和“Squeeze-and-Excitation”(SE)塊的殘差塊。 使用殘差塊的動(dòng)機(jī)是網(wǎng)絡(luò)可以通過(guò)殘差塊中使用的大小擴(kuò)張率從大小感受野中提取特征以提高其對(duì)建筑物的評(píng)估能力。此外,SE塊網(wǎng)絡(luò)能夠關(guān)注重要特征,同時(shí)還可以抑制不太有用的特征。在網(wǎng)絡(luò)末端,緊接SE塊之前使用金字塔池模塊,并使用卷積層加強(qiáng)了特征的聚合。

圖4 基于金字塔池化模塊的半連體網(wǎng)絡(luò)

(殘差塊’和殘差塊的區(qū)別在于殘差塊’有一個(gè)額外的卷積層和BN層(批量歸一化層),其目的是在需要時(shí)改變輸入張量的通道數(shù)或大小)

另外,該方法在xBD數(shù)據(jù)集上進(jìn)行了增強(qiáng)和擴(kuò)充,如表5所示,與最初的基線模型相比,半連體網(wǎng)絡(luò)可顯著改善指標(biāo)。

表5 半連體網(wǎng)絡(luò)模型與基線模型實(shí)驗(yàn)結(jié)果對(duì)比

在這項(xiàng)研究中,Bai等人開發(fā)的帶有金字塔池模塊的端到端注意力機(jī)制的半連體網(wǎng)絡(luò)采用擴(kuò)張卷積,利用了輸入圖像的全局和局部特征,同時(shí)采用了SE機(jī)制。實(shí)驗(yàn)表明,該模型在建筑物定位和損傷分類都取得了令人滿意的結(jié)果。

4 結(jié)束語(yǔ)

闡述了災(zāi)后建筑物損壞程度檢測(cè)的任務(wù)以及存在的技術(shù)難點(diǎn),對(duì)時(shí)下用于xBD數(shù)據(jù)集的幾種卷積神經(jīng)網(wǎng)絡(luò)以及相關(guān)檢測(cè)算法分別進(jìn)行了綜述,詳細(xì)講述了不同算法的優(yōu)缺點(diǎn),同時(shí)對(duì)xBD數(shù)據(jù)集進(jìn)行介紹,并說(shuō)明了其算法的相關(guān)評(píng)價(jià)標(biāo)準(zhǔn)。當(dāng)前階段,計(jì)算機(jī)和圖像檢測(cè)技術(shù)快速發(fā)展,建筑物損壞程度的相關(guān)檢測(cè)算法也在不斷進(jìn)步和更新,該文認(rèn)為還存在幾個(gè)方面需要進(jìn)一步探索和研究:

(1)夜間環(huán)境下的建筑物的損壞程度檢測(cè)。

現(xiàn)有的圖像分類和語(yǔ)義分割及建筑物損壞程度的檢測(cè)的數(shù)據(jù)集大多數(shù)都是白天所收集到的圖片數(shù)據(jù),對(duì)于夜間收集到的圖片數(shù)據(jù)來(lái)講,光線暗,亮度低,對(duì)建筑物損壞程度識(shí)別效果達(dá)不到所期望的要求。因此,為提高夜間數(shù)據(jù)集的精確度,夜間條件下的數(shù)據(jù)預(yù)處理和建筑物損壞程度相關(guān)檢測(cè)算法需要進(jìn)一步的研究。

(2)算法模型的進(jìn)一步深入優(yōu)化。

當(dāng)前,所構(gòu)建的相關(guān)檢測(cè)模型還可以繼續(xù)深入和優(yōu)化。首先,當(dāng)一個(gè)模型想要超越人類的檢測(cè)效果時(shí),需要百萬(wàn)級(jí)別的樣本進(jìn)行訓(xùn)練才可以達(dá)到,但是百萬(wàn)級(jí)別的數(shù)據(jù)集需要大量人工進(jìn)行手動(dòng)標(biāo)注,工作繁重,限制相關(guān)檢測(cè)模型的發(fā)展,因此小樣本訓(xùn)練和無(wú)監(jiān)督模型也應(yīng)繼續(xù)重點(diǎn)關(guān)注和研究。其次是數(shù)據(jù)量大時(shí),相關(guān)模型檢測(cè)需要大參數(shù),計(jì)算空間的消耗過(guò)大,不利于進(jìn)行實(shí)時(shí)監(jiān)測(cè),不能使用小型設(shè)備嵌入相關(guān)算法,所以需要進(jìn)一步研究探索算法模型的輕量化。