基于EfficientNet對地震受災(zāi)建筑物破壞評估

丁子林,姚新強(qiáng),李雅靜,張 勇

(1. 天津市地震局,天津 300201; 2. 云南省地震局,云南 昆明 650041)

0 引言

破壞性地震發(fā)生后,快速地獲取災(zāi)區(qū)信息,對于救援指揮、救援物資運(yùn)輸?shù)囊饬x重大。由于大部分人員傷亡是由于建筑物的破壞而引起的,所以建筑物的受損信息,對于應(yīng)急救援非常重要。傳統(tǒng)的災(zāi)情獲取方式包含現(xiàn)場調(diào)查[1]、基于GIS數(shù)據(jù)的評估技術(shù)[2]和遙感技術(shù)[3],其中,現(xiàn)場調(diào)查和評估技術(shù),需要投入大量人力、物力,往往不能及時(shí)、準(zhǔn)確地了解地震現(xiàn)場情況。另外,遙感技術(shù)僅能從受損的建筑物上方進(jìn)行觀測,還受限于天氣等客觀因素,同時(shí),通過遙感技術(shù)獲取的數(shù)據(jù),還需要相關(guān)的技術(shù)人員進(jìn)行分析,這一般需要數(shù)小時(shí)的時(shí)間,造成這種技術(shù)往往難以滿足救災(zāi)的需要。

近些年,智能手機(jī)和社交媒體軟件的廣泛使用,為實(shí)時(shí)的災(zāi)情數(shù)據(jù)獲取提供了良好的環(huán)境,智能移動(dòng)設(shè)備不僅可以采集和發(fā)送文字、聲音、圖像,還可以同時(shí)獲得智能移動(dòng)設(shè)備的地理坐標(biāo)數(shù)據(jù),這為災(zāi)后快速地收集災(zāi)情提供了基礎(chǔ)條件[4]。針對社交媒體災(zāi)情數(shù)據(jù),有學(xué)者以多種自然災(zāi)情現(xiàn)場的識別為主題,進(jìn)行數(shù)據(jù)采集分析[5]。也有采用爬蟲方式對文本數(shù)據(jù)進(jìn)行采集挖掘,進(jìn)行主題識別[6],或者對災(zāi)民的情緒判別[7]。有些學(xué)者針對某一類災(zāi)情的數(shù)據(jù)進(jìn)行收集分類,例如地震[8]、洪水[9]、颶風(fēng)[10]。雖然也有學(xué)者對蘊(yùn)含其中的空間位置信息進(jìn)行提取[11],但可以看出,大部分學(xué)者的研究集中在社交媒體中的文字、圖像數(shù)據(jù)。由于圖像比文字蘊(yùn)含更多的信息[12],并且更加客觀、真實(shí),所以針對社交媒體的圖像獲取、分析的研究越來越多。

以大數(shù)據(jù)的視角[13],對社交媒體中圖像數(shù)據(jù)進(jìn)行分析處理,是絕大部分學(xué)者的選擇。有學(xué)者采用支持向量機(jī)對火災(zāi)進(jìn)行識別分類[14],但更多的學(xué)者采用深度學(xué)習(xí)的方法,對圖像進(jìn)行分類、檢測,例如,使用VGG[15]、ResNeT[16]、InceptionNet[17]等網(wǎng)絡(luò)模型進(jìn)行分析。針對建筑物破壞,有學(xué)者采取結(jié)合ResNet和YOLO網(wǎng)絡(luò),對鋼筋混凝土建筑物破損進(jìn)行分析[18]。由于災(zāi)害圖像數(shù)據(jù)在數(shù)量上有限,大部分學(xué)者采用了遷移學(xué)習(xí)的技術(shù),以提高精度,有學(xué)者嘗試使用深度卷積生成對抗網(wǎng)絡(luò),增加圖像數(shù)量,以提高數(shù)據(jù)集的數(shù)量和最終的訓(xùn)練效果[19]。在上述研究中,由于災(zāi)情信息的特殊性,相對于人臉識別、自動(dòng)駕駛等領(lǐng)域,其數(shù)據(jù)量遠(yuǎn)少于社會環(huán)境、自然環(huán)境處于正常狀態(tài)下采集的數(shù)據(jù)量,進(jìn)而影響到2個(gè)方面,一是這些研究中,存在對災(zāi)情識別、分類的粒度較大,例如,有對多個(gè)災(zāi)種進(jìn)行識別的研究,僅簡單地識別出火災(zāi)、洪水、地震房屋倒塌,沒有進(jìn)一步地分析,這影響到其進(jìn)一步的應(yīng)用價(jià)值;二是影響到了算法精度的提高,例如,有些數(shù)據(jù)集分類中,其數(shù)據(jù)量僅僅幾百張圖片。因此,有必要在擴(kuò)大數(shù)據(jù)集和算法優(yōu)化上繼續(xù)努力。

文中主要工作聚焦于地震后建筑物受損的災(zāi)情圖片數(shù)據(jù),并廣泛地收集,對圖像數(shù)據(jù)進(jìn)行預(yù)處理后進(jìn)行分類,建立了一個(gè)大型的地震受損建筑物災(zāi)情的數(shù)據(jù)集,采用深度學(xué)習(xí)的方法分析處理,對建筑物破壞類型識別分類,訓(xùn)練得到建筑物識別模型,然后基于QGIS平臺制作災(zāi)情圖。文中編寫的程序模塊應(yīng)用于天津市地震局災(zāi)情收集系統(tǒng)的災(zāi)情數(shù)據(jù)后臺處理,并針對青?，敹?.4級地震的受損建筑物圖片數(shù)據(jù)進(jìn)行了分析。

1 研究方法

1.1 技術(shù)路線

文中提出的地震后受損建筑物災(zāi)情分析方法,包括3個(gè)部分:1)收集國內(nèi)外歷史破壞性地震后的受損建筑物圖片數(shù)據(jù),并進(jìn)行預(yù)處理和數(shù)據(jù)增強(qiáng);2)分別使用收集的數(shù)據(jù)集,對EfficientNet模型進(jìn)行訓(xùn)練,同時(shí)用檢測數(shù)據(jù)集進(jìn)行檢測最后評估模型的效果;3)將模型分析的結(jié)果,結(jié)合空間數(shù)據(jù),制作災(zāi)情分布圖。

1.2 神經(jīng)網(wǎng)絡(luò)模型EfficientNet介紹

EfficientNet是2019年谷歌大腦團(tuán)隊(duì)提出的系列神經(jīng)網(wǎng)絡(luò)模型[20],包含B0～B7共8個(gè)模型,不同的模型分別對應(yīng)不同的圖片分辨率。這些模型分別在網(wǎng)絡(luò)的寬度、深度和分辨率3個(gè)維度上,基于復(fù)合模型進(jìn)行縮放,既實(shí)現(xiàn)了高效率,又節(jié)省了計(jì)算資源,如式(1)、式(2)所示:

(1)

(2)

式中:d、ω、γ分別為模型的深度、廣度和分辨率;φ是資源控制系數(shù),根據(jù)式中的約束條件,對3個(gè)維度上對應(yīng)的系數(shù)α、β和γ進(jìn)行調(diào)節(jié),在參數(shù)量和運(yùn)算量不變的情況下,對網(wǎng)絡(luò)模型的深度、寬度和分辨率調(diào)節(jié),達(dá)到最優(yōu)的精度。EfficientNet模型的基礎(chǔ)模塊是MBConv,其結(jié)構(gòu)如圖1所示。MBConv先用1×1的卷積增加維度,然后連接3×3或5×5卷積,再增加一個(gè)關(guān)于SE通道的注意力機(jī)制,最后用1×1的卷積降維,再添加一個(gè)殘差。通過對EfficientNet B0～B7共8個(gè)模型的實(shí)驗(yàn),發(fā)現(xiàn)EfficientNet B1模型更適合本數(shù)據(jù)集,為簡便起見,文中僅描述使用EfficientNet B1的實(shí)驗(yàn)過程。

圖1 MBConv模塊結(jié)構(gòu)Fig. 1 MBConv model constructure

1.3 模型訓(xùn)練

模型在訓(xùn)練的時(shí)候,由于數(shù)據(jù)量有限,為了避免造成過擬合,文中在EfficientNet B1模型中添加了Dropout算法。Dropout算法在訓(xùn)練的時(shí)候,按照一定的概率對神經(jīng)網(wǎng)絡(luò)中的某些神經(jīng)元進(jìn)行丟棄,這樣使模型不依賴局部特征,范化能力更強(qiáng)。

2 震后受災(zāi)建筑物圖像數(shù)據(jù)

2.1 數(shù)據(jù)來源

文中所使用的震后受災(zāi)建筑物圖像數(shù)據(jù),主要來源于近些年國內(nèi)的一些較大破壞性地震的震后科考數(shù)據(jù),包括汶川地震、玉樹地震、九寨溝地震等20余個(gè)地震,這其中包含中國地震局工程力學(xué)研究所提供的工程震害數(shù)據(jù)。同時(shí)包括來自PHI(PEER Hub ImageNet Challenge,PHI)的開放數(shù)據(jù)[8,21],這個(gè)開放數(shù)據(jù)集包含8個(gè)數(shù)據(jù)集,文中主要使用了第1個(gè)場景識別數(shù)據(jù)集,并重新對這個(gè)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行了分類。另外,也在網(wǎng)絡(luò)上收集了國外一些地震后的災(zāi)情圖片。

2.2 建筑物震害類型劃分

我國有2個(gè)關(guān)于建筑物的震害類型劃分的標(biāo)準(zhǔn),分別是用于地震現(xiàn)場調(diào)查的GB/T 24335—2009《建(構(gòu))筑物地震破壞等級劃分》[22]和用于遙感數(shù)據(jù)的建筑物破壞評估的DB/T 75—2018《地震災(zāi)害遙感評估建筑物破壞》[23]?，F(xiàn)場災(zāi)害調(diào)查的標(biāo)準(zhǔn)規(guī)定,建(構(gòu))筑物綜合的破壞等級劃分是綜合考察建筑物的類型、是否承重構(gòu)件和其破壞程度等多個(gè)因素,其依據(jù)的數(shù)據(jù)更加詳細(xì),而社交媒體上的受損建筑物的圖像往往反映不出這些信息。而遙感數(shù)據(jù)評估震害的標(biāo)準(zhǔn),由于其從高空中的視角查看建筑物,遙感數(shù)據(jù)展示的受損建筑物細(xì)節(jié)較少,其分類按照倒塌的程度來分,所以其分類標(biāo)準(zhǔn)也不適用于社交媒體上震害圖片的研究。因此,文中參考上述2個(gè)標(biāo)準(zhǔn)和以往的研究[8,21],根據(jù)地震對建筑物的破壞程度,結(jié)合震害在建筑物受損部位圖像的視覺特征,即線性特征、面狀特征和包含現(xiàn)狀和面狀破壞特征的綜合嚴(yán)重體破壞,將震害建筑物類型分為4類:沒有破壞、建筑物裂紋、部分墻皮或少量墻體脫落、墻體倒塌或整個(gè)建筑物倒塌。數(shù)據(jù)樣例如圖2所示。

圖2 建筑物受損類型示例Fig. 2 Examples of building destroyed types

2.3 數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)

數(shù)據(jù)預(yù)處理包括圖像文件格式統(tǒng)一,圖像的大小統(tǒng)一為(240,240,3)和數(shù)據(jù)增強(qiáng)。數(shù)據(jù)集按照8∶1∶1的比例,分為訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和測試數(shù)據(jù)。

由于建筑物類型多樣,以及圖像拍攝采集環(huán)境多變,造成了建筑物震害在圖像的顏色、大小、形狀等方面表現(xiàn)多樣,為此,訓(xùn)練集中的數(shù)據(jù)不能完全涵蓋今后實(shí)際地震受損的情況。文中采取數(shù)據(jù)增強(qiáng)的技術(shù),以減少神經(jīng)網(wǎng)絡(luò)模型的過擬合現(xiàn)象,主要采用了幾何變換、亮度、對比度調(diào)整增強(qiáng)數(shù)據(jù)集。其中,幾何變換包括水平翻轉(zhuǎn)和在一定范圍內(nèi)隨機(jī)旋轉(zhuǎn)角度。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺和模型訓(xùn)練

在模型訓(xùn)練階段中使用的實(shí)驗(yàn)環(huán)境為Google Colaboratory,GPU型號為Tesla T4,深度學(xué)習(xí)平臺采用Tensorflow 2.5,在此環(huán)境中進(jìn)行了受損建筑物分類識別模型的訓(xùn)練、評估。

基礎(chǔ)模型采用Tensorflow Hub中的EfficientNet B1模型,其預(yù)訓(xùn)練數(shù)據(jù)集為ILSVRC-2012-CLS。

3.2 模型訓(xùn)練

經(jīng)過預(yù)訓(xùn)練的EfficientNet B1,在震害建筑物數(shù)據(jù)集進(jìn)行遷移訓(xùn)練,采用優(yōu)化器RMSprop對模型進(jìn)行參數(shù)優(yōu)化,其學(xué)習(xí)率設(shè)置為0.005,平滑常數(shù)設(shè)置為0.95。圖3是此模型在訓(xùn)練時(shí),模型的正確率和損失值在訓(xùn)練集和驗(yàn)證集上與迭代次數(shù)的關(guān)系。從圖3可以看到,從第7輪訓(xùn)練之后,模型的檢測精度就不再增加了,最高達(dá)到87.45%。

3.3 模型性能評價(jià)

為了評估文中使用的模型對建筑物破壞程度識別的效果,使用精確率和混淆矩陣對其進(jìn)行性能的評價(jià)。其中,精確率表示識別的建筑物受損類別是否正確,如式(3)所示:

(3)

式中:Tp表示識別為某種受損建筑物類型的樣本個(gè)數(shù);Fp表示錯(cuò)誤判定為某種受損建筑物類型的樣本個(gè)數(shù)。

測試數(shù)據(jù)中包含5 922張圖像,其中全部完好的建筑物的圖片1 415張,含有建筑物裂縫的圖像1 507張,含有建筑物部分墻皮或少量墻體脫落的圖像1 500張,含有建筑物墻體嚴(yán)重破壞整體倒塌的圖片1 500張。根據(jù)測試數(shù)據(jù)的識別結(jié)果,在圖4中可以得到標(biāo)準(zhǔn)化混淆矩陣?？梢钥闯瞿Ｐ偷淖R別精確率為87.45%,Kappa系數(shù)為0.832 7,說明模型的識別效果與人眼識別是基本一致的,并且正確率較高。

3.4 青海瑪多地震災(zāi)情數(shù)據(jù)分析

應(yīng)用文中所訓(xùn)練的模型,識別2021年5月22日青?，敹嗫h發(fā)生的7.4級地震的建筑物震害圖片,如圖5所示。收集到圖片共14張,其中5張包含坐標(biāo)數(shù)據(jù)。正確識別的有12張,2張圖片識別錯(cuò)誤,錯(cuò)誤為將建筑物裂縫識別為部分墻皮或少量墻體脫落。識別的正確率為85.71%。

圖5 瑪多7.4級地震建筑物受損示例圖Fig. 5 Example of damaged buildings in Maduo Ms7.4 earthquake

實(shí)驗(yàn)中,使用EfficientNet B1模型識別14張圖片,并將其中包含坐標(biāo)的圖片制作成災(zāi)情分布圖,整個(gè)過程用時(shí)2 s。

4 結(jié)語

文中為實(shí)現(xiàn)對地震后受損的建筑物進(jìn)行自動(dòng)識別,首先收集了大量的海內(nèi)外相關(guān)機(jī)構(gòu)的震害調(diào)查圖像和震后各個(gè)社交網(wǎng)絡(luò)上的相關(guān)圖片,結(jié)合國家相關(guān)標(biāo)準(zhǔn)和前人的研究,探討了針對這些圖片的分類原則,建立了一個(gè)大型專題數(shù)據(jù)集。然后建立了一個(gè)基于EfficentNet B1的建筑物受損情況識別網(wǎng)絡(luò)模型,使用文中建立的數(shù)據(jù)集進(jìn)行訓(xùn)練,得到比較優(yōu)秀的識別模型,并進(jìn)行了震后受災(zāi)建筑物受損程度的評估實(shí)驗(yàn),最后將成果應(yīng)用于2021年5月22日的瑪多7.4級地震的建筑物震害數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明:

1)EfficientNet B1網(wǎng)絡(luò)模型在地震受損建筑物受損程度評估識別效果明顯,實(shí)驗(yàn)中的訓(xùn)練精度為87.45%,Kappa系數(shù)為0.832 7。模型對于完好的和嚴(yán)重破壞的建筑物類型識別正確率更高,對于包含裂縫、部分墻皮或少量墻體脫落的建筑物識別正確率低些。因?yàn)椴糠謮ζせ蛏倭繅w脫落的圖片中,一般也包含裂縫,很容易造成誤判。這也是地震災(zāi)害判別的一個(gè)特點(diǎn),即破壞嚴(yán)重的類別中,會包含輕微破壞的圖像特征。

2)將此模型應(yīng)用于2021年5月22日的青海瑪多7.4級地震的震害圖片識別。正確識別率為85.71%,與訓(xùn)練時(shí)的識別正確率相當(dāng)。災(zāi)情圖片識別和制作災(zāi)情分布圖的實(shí)時(shí)完成,相對于其他方法的災(zāi)情處理,具有數(shù)據(jù)易采集,可以對數(shù)據(jù)實(shí)時(shí)處理的優(yōu)勢,并且其災(zāi)情在空間描述和災(zāi)情準(zhǔn)確度上更加精準(zhǔn),有為地震后的抗震救災(zāi)指揮提供信息支持的潛力。

3)基于對國內(nèi)外地震受損建筑物數(shù)據(jù)的收集,建立了一個(gè)大型專題數(shù)據(jù)集,并建立了一個(gè)針對社交媒體的相關(guān)圖片數(shù)據(jù)的分類方法。

4)文中所采用的技術(shù)路線,具有智能化、自動(dòng)化特征,因而可以有效應(yīng)對地震的突發(fā)性的潛力,可以大幅的縮短從災(zāi)情數(shù)據(jù)收集,到最終制作建筑物受損分布圖的時(shí)間。

5)本模型在識別部分墻皮或少量墻體脫落時(shí)的識別精度相對差一些,說明模型在不同尺度特征提取方面,還需要進(jìn)一步提高,需要后續(xù)的進(jìn)一步研究。另外,在將來的研究中,除了繼續(xù)擴(kuò)大數(shù)據(jù)數(shù)量,還應(yīng)該研究適合小數(shù)據(jù)量的算法模型。