基于多任務(wù)學(xué)習(xí)的建筑毀傷評估方法

摘 要：建筑毀傷評估在災(zāi)害救援過程中對制定救援策略、優(yōu)化資源調(diào)度等方面具有重要作用。現(xiàn)階段，基于語義分割的毀傷評估方法難以提取毀傷建筑細(xì)粒度語義信息，對此提出一種基于多任務(wù)學(xué)習(xí)的建筑毀傷評估方法，將毀傷評估分為粗粒度的建筑區(qū)域提取與細(xì)粒度的毀傷分割兩個子任務(wù)，通過共用編解碼器，與上下文信息融合模塊實現(xiàn)建筑區(qū)域的粗粒度提取和建筑毀傷的細(xì)粒度分割，將兩個結(jié)果使用Hadamard積融合，得到最終評估結(jié)果。實驗結(jié)果表明，所提的基于多任務(wù)學(xué)習(xí)的建筑毀傷評估方法有較好的性能。

關(guān)鍵詞： 建筑毀傷評估; 深度學(xué)習(xí); 多任務(wù)學(xué)習(xí)

中圖分類號： TP 391.41 文獻(xiàn)標(biāo)志碼： A""" DOI：10.12305/j.issn.1001-506X.2024.10.15

Multi-task learning based building damage assessment method

WANG Yibo^1， ZHANG Lefei³， LI Xinde^{1，2，4，*}

（1. School of Automation， Southeast University， Nanjing 210096， China; 2. Nanjing Center for Applied

Mathematics， Nanjing 211135， China; 3. Armed Police Force Research Institute， Beijing 10001 China;

4. Shenzhen Research Institute， Southeast University， Shenzhen 518063， China）

Abstract： Building damage assessment plays an important role in the disaster relief process， influencing the formulation of rescue strategies and optimization of resource allocation. Currently， damage assessment methods based on semantic segmentation face challenges in extracting fine-grained semantic information for damaged buildings. Thus， a multi-task learning based approach for building damage assessment is proposed， dividing the damage assessment into two subtasks as coarse-grained building area extraction and fine-grained damage segmentation. The proposed method utilizes a shared encoder-decoder and context fusion module to achieve coarse-grained extraction of building areas and fine-grained segmentation of building damage. The results of these two tasks are fused using the Hadamard product to obtain the final assessment. Experimental results demonstrate that the proposed multi-task learning based building damage assessment method performs well.

Keywords： building damage assessment; deep learning; multi-task learning

0 引 言

隨著計算機(jī)技術(shù)的發(fā)展，自主化、智能化的建筑毀傷評估在多個領(lǐng)域有越來越廣闊的應(yīng)用前景。例如，在自然災(zāi)害后通常需要對災(zāi)害發(fā)生區(qū)域進(jìn)行救援資源調(diào)度，通過無人機(jī)群體協(xié)作技術(shù)^［12］或是使用遙感衛(wèi)星獲取受災(zāi)區(qū)域全局拼接圖像^［3］，依靠智能化毀傷評估掌握全局的建筑毀傷信息，使用系統(tǒng)建模分析尋求最優(yōu)調(diào)度方案，可提高救援資源利用率并縮短救援時間^［4］。

建筑毀傷評估的發(fā)展經(jīng)歷了人工判別、貝葉斯網(wǎng)絡(luò)^［5］判別和基于圖像的毀傷評估3個階段。人工判別起源于空中偵察出現(xiàn)但計算機(jī)技術(shù)未發(fā)展成熟的時期，該方法易于實施，但受限于判別人員專業(yè)水平與效率?；谪惾~斯網(wǎng)絡(luò)的毀傷評估以多源信息融合^［6］為基礎(chǔ)，通過融合電信號、聲音、圖像等多種傳感器信息并進(jìn)行貝葉斯推理以完成毀傷評估。得益于無人機(jī)群與衛(wèi)星遙感圖像的迅速發(fā)展，基于圖像的毀傷評估有較易獲取信息和表征能力強(qiáng)的優(yōu)勢。因此，基于圖像的建筑毀傷評估成為目前主要的建筑毀傷評估方法。

基于圖像的建筑毀傷評估方法包括像素級和特征級兩種評估方法。像素級評估包括圖像差分^［7］、圖像比值、變化向量分析（change vector analysis， CVA）^［89］、圖像變化檢測^［10］等。該方法的輸入為建筑毀傷前后圖像，通過濾波算法計算輸入圖像對應(yīng)隱空間圖像。將隱空間圖像的熵、均值、對比度、方差等組成兩組特征向量，使用向量對比方法（余弦相似度、皮爾遜系數(shù)等）對比前后特征向量差異度，或是通過構(gòu)建指標(biāo)集^［11］的形式，完成毀傷估計。特征級毀傷評估方法以深度學(xué)習(xí)為基礎(chǔ)，依靠卷積神經(jīng)網(wǎng)絡(luò)對圖像深層語義信息提取能力較強(qiáng)的優(yōu)勢，搭配特殊任務(wù)頭（例如語義分割^［1213］任務(wù)頭）實現(xiàn)建筑毀傷評估。像素級毀傷評估易受限于配準(zhǔn)^［1415］精度，在配準(zhǔn)精度較低時，毀傷前后圖像產(chǎn)生錯位，進(jìn)而導(dǎo)致像素級評估精度較低?；谏疃葘W(xué)習(xí)的特征級毀傷評估方案不受制于配準(zhǔn)精度，圖像經(jīng)過多次下采樣后，特征圖不再表征單個像素信息，而是表征一片區(qū)域的語義信息，降低了對毀傷前后圖像配準(zhǔn)精度的要求。有學(xué)者通過將毀傷程度進(jìn)行離散劃分^［1618］，定義不同建筑物毀傷等級，依據(jù)建筑物自身毀傷程度進(jìn)行毀傷分類，是深度學(xué)習(xí)在毀傷評估中的重要應(yīng)用。

1 建筑毀傷離散劃分與毀傷評估方法比較

在毀傷離散劃分被提出后，建筑毀傷評估轉(zhuǎn)變?yōu)橐罁?jù)毀傷情況對建筑進(jìn)行毀傷等級分類。該方法為毀傷評估提供了更加清晰的評判準(zhǔn)則，結(jié)合遙感圖像大視野的優(yōu)勢，以語義分割的形式對遙感圖像中建筑進(jìn)行毀傷等級劃分，可以迅速完成大面積區(qū)域的毀傷評估。因此，毀傷評估逐漸轉(zhuǎn)為對毀傷建筑圖像進(jìn)行語義分割，如圖1所示。圖2（a）為基于語義分割的毀傷評估，通過端到端的語義分割模型將圖像中的建筑物分割為不同的毀傷等級。目前，基于語義分割的毀傷評估的最大難點在于建筑與毀傷特征多樣性的交融。建筑物自身具有多樣性，而毀傷作用于建筑上并非單一的疊加，而是從結(jié)構(gòu)、顏色和完整度等多個方面對建筑物產(chǎn)生影響。例如，倒塌作用于房屋與燃燒作用于房屋會產(chǎn)生

不同的毀傷特征。建筑與毀傷多樣性的交融導(dǎo)致模型需要學(xué)習(xí)大量特征以完成評估。針對該問題，基于深度學(xué)習(xí)的變化檢測^［1920］使用建筑發(fā)生變化前后的圖像作為輸入，通過上下文信息推理變化信息，降低模型學(xué)習(xí)過程的難度。毀傷評估可使用類似方法，通過對比建筑毀傷前后圖像的方式實現(xiàn)建筑特征與毀傷特征的分離，避免模型直接學(xué)習(xí)建筑與毀傷交融后的特征，進(jìn)而降低模型學(xué)習(xí)難度。但變化檢測僅識別目標(biāo)變化的有無，毀傷評估需要對目標(biāo)進(jìn)行不同毀傷等級分類，屬于更細(xì)粒度的任務(wù)，需要在變化檢測的基礎(chǔ)上額外加入后置分類器以完成毀傷評估。為避免后置分類器等額外操作，可將毀傷評估劃分為區(qū)域提取與毀傷分割兩個子任務(wù)。圖2（b）為雙階段的毀傷評估，其中包括建筑區(qū)域提取與毀傷分割兩個子任務(wù)。建筑區(qū)域提取依賴建筑自身特征，而毀傷分割依賴毀傷特征，該方法對毀傷評估進(jìn)行了解耦，卻將單階段任務(wù)分為建筑區(qū)域提取^［2122］與毀傷分割兩階段完成，是一種非端到端的方法，增加了訓(xùn)練與推理成本。圖2（c）為本文所提基于多任務(wù)學(xué)習(xí)的建筑毀傷評估方法。此后，有學(xué)者在此基礎(chǔ)上通過共享編碼器的方式^［23］，在編碼器末端引出兩個解碼器，分別完成區(qū)域提取與毀傷分割兩個子任務(wù)。多個解碼器使得模型存在冗余，并且同時訓(xùn)練多個解碼器梯度較為混亂，最終影響整體精度，具有一定局限性。

本文使用多任務(wù)學(xué)習(xí)^［24］的方式實現(xiàn)端到端毀傷評估，其結(jié)構(gòu)如圖2（c）所示，通過一個編解碼器組搭配多個任務(wù)頭完成毀傷評估。將區(qū)域提取與毀傷分割兩個子任務(wù)使用相同編解碼器完成，進(jìn)一步降低模型參數(shù)量。同時，本文通過上下文信息融合模塊，融合建筑物毀傷上下文信息，使用多任務(wù)頭對信息進(jìn)行解耦，得到多任務(wù)學(xué)習(xí)輸出，在實現(xiàn)端到端的訓(xùn)練的同時提高了方法的整體精度。

2 毀傷評估方法

2.1 整體框架

本節(jié)介紹多任務(wù)學(xué)習(xí)的毀傷評估（multi-task learning damage assessment， MLDA）方法框架。首先介紹框架整體流程，其次介紹框架中各個模塊以及作用，最后介紹訓(xùn)練階段的損失函數(shù)。

本文使用基于多任務(wù)學(xué)習(xí)的方法完成建筑區(qū)域提取與毀傷分割兩個子任務(wù)。使用多任務(wù)學(xué)習(xí)一方面完成了建筑區(qū)域提取與毀傷分割的解耦，建筑區(qū)域提取依賴建筑自身特征，而毀傷分割依賴的是毀傷前后建筑的對比特征。另一方面，相較于不依賴多任務(wù)學(xué)習(xí)的情況，使用兩個模型分別完成建筑區(qū)域提取與毀傷分割可得到與多任務(wù)學(xué)習(xí)相同的輸出，但兩個獨(dú)立模型無法實現(xiàn)端到端的訓(xùn)練與推理，同時增加了模型總參數(shù)量。建筑區(qū)域提取與毀傷分割兩個子任務(wù)具有一定相似性，本文通過共享編解碼器方式設(shè)計多任務(wù)學(xué)習(xí)方法，在縮減網(wǎng)絡(luò)規(guī)模的同時降低了推理時間。基于多任務(wù)學(xué)習(xí)的方法是一種端到端的方法，訓(xùn)練過程與推理過程更加便捷。本文中多任務(wù)學(xué)習(xí)方法的深度學(xué)習(xí)模型由共享編碼器、共享解碼器、任務(wù)頭3部分組成，如圖3所示。

本文方法輸入為建筑毀傷上下文信息（建筑毀傷前與毀傷后的圖像），分別記作I∈R^H×W×3與I-∈R^H×W×3，其中I與I-代表毀傷前后圖像的矢量矩陣。

H和W分別代表三通道圖像的高和寬。多任務(wù)學(xué)習(xí)輸出建筑區(qū)域提取與毀傷分割兩組數(shù)據(jù)，分別記作S_loc（I）∈R^H×W與S_dam（I，I-）∈R^H×W。S_loc（I）與S_dam（I， I-）分別代表建筑區(qū)域提取子任務(wù)輸出以及毀傷分割子任務(wù)

輸出，通過對S_loc（I）與S_dam（I，I-）計算Hadamard積得到最終毀傷評估結(jié)果。

2.2 模型編解碼器

本文方法中多任務(wù)學(xué)習(xí)模型的編解碼器由殘差神經(jīng)網(wǎng)絡(luò)（residual neural network， ResNet）^［25］與U-Net^［12］構(gòu)成。其中，編碼器用于提取建筑物毀傷前后圖像的特征并以特征圖的形式輸出。ResNet是一種以殘差模塊為基礎(chǔ)的深度卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)在多種任務(wù)中都有很好的表現(xiàn)。共享編碼器基于ResNet構(gòu)建，其由5個殘差塊組成，將輸入圖像進(jìn)行32倍下采樣作為解碼器的輸入。解碼器采用基于U-Net的網(wǎng)絡(luò)結(jié)構(gòu)，使用5個上采樣模塊構(gòu)建。在編碼器中，隨著下采樣次數(shù)增加，特征圖中像素位置信息以及小尺度目標(biāo)特征信息會受到影響。因此，在解碼器中通過采用上采樣操作以及拼接操作引入特征金字塔網(wǎng)絡(luò)（feature pyramid networks， FPN）^［26］來融合高層特征圖以及淺層特征圖，從而獲得包含豐富語義信息和精確像素位置信息的特征圖。最后，經(jīng)過5次上采樣，得到與原始圖像尺度一致的特征圖。

2.3 上下文融合模塊

前文提到，建筑區(qū)域提取依賴建筑自身特征D（I），而毀傷分割屬于細(xì)粒度的分割任務(wù)，依賴更復(fù)雜的毀傷特征，并且毀傷特征與建筑特征相互交融，進(jìn)一步加大了模型提取特征的難度。因此，本文引入上下文融合模塊融合毀傷前建筑特征D（I）與毀傷后建筑特征D（I-），以對比學(xué)習(xí)的方式避免模型直接學(xué)習(xí)建筑與毀傷交融的特征，在提高模型擬合速度的同時，增強(qiáng)其對不同毀傷程度的分辨能力。

建筑毀傷后，圖像I-經(jīng)過編解碼器得到D（I-），進(jìn)入上下文融合模塊，該模塊融合建筑毀傷上下文信息得到融合后的特征圖。首先，使用一組編解碼器得到毀傷前圖像的特征圖D（I），該組編解碼器與前文提到的模型編解碼器共享參數(shù)，在減少模型總參數(shù)量的同時也降低了模型學(xué)習(xí)難度。得到建筑毀傷前與毀傷后的特征圖D（I-）與D（I）。相較于特征圖相加的融合方法，通道拼接能夠保留最原始的特征并進(jìn)行融合，并且通過后續(xù)的卷積操作也能實現(xiàn)類似相加的效果。特征圖相乘的融合方法有利于增強(qiáng)類似特征，會導(dǎo)致部分毀傷特征削弱。因此，使用通道拼接結(jié)合卷積的形式實現(xiàn)D（I-）與D（I）的特征融合。

2.4 任務(wù)頭

本文將建筑毀傷評估分解為建筑區(qū)域提取和毀傷分割兩個子任務(wù)，分別為兩個任務(wù)設(shè)計獨(dú)立的任務(wù)頭。其中，建筑區(qū)域提取屬于粗粒度的二分類分割任務(wù)，需要將建筑分割為前景，而其他區(qū)域為后景。因此，使用D（I）與D（I-）作為輸入，分別經(jīng)過兩個1×1卷積，將通道數(shù)降至1，再經(jīng)過Sigmoid激活函數(shù)并以0.3為閾值進(jìn)行二值化，即可得到建筑物區(qū)域提取輸出S_loc（I）與S_loc（I-）。

毀傷分割任務(wù)頭使用上下文信息融合特征圖為輸入，使用1×1卷積調(diào)整通道數(shù)，多種毀傷等級導(dǎo)致毀傷分割屬于多分類任務(wù)。因此，經(jīng)過Sigmoid后取最大值索引獲得毀傷分割輸出S_dam（I， I-）。在獲得S_loc（I）與S_dam（I， I-）后，對兩者計算Hadamard積，得到毀傷評估結(jié)果。

2.5 損失函數(shù)

第2.1節(jié)介紹基于MLDA方法的整體框架，本節(jié)介紹方法在訓(xùn)練過程中的損失函數(shù)。本文方法的損失函數(shù)由建筑區(qū)域提取損失和毀傷分割損失組成，具體如下所示：

loss=λ₁loss_loc+λ₂loss_dam（1）

其中，建筑區(qū)域提取損失（loss_loc）與毀傷分割損失（loss_dam）分別決定模型對兩個子任務(wù)的學(xué)習(xí)權(quán)重，通過加權(quán)系數(shù)λ₁與λ₂保證兩個損失值的權(quán)衡。

loss_loc=Dice（y^loc_p，y^loc_t）+Dice（y-^loc_p，y-^loc_t）（2）

Dice Loss^［27］最早被應(yīng)用于醫(yī)學(xué)影像分割中，其源于Dice系數(shù)是一種用于評估兩個輸入相似性的函數(shù)，數(shù)值越大，代表相似性越好，其最大優(yōu)勢在于可以弱化樣本數(shù)量差異導(dǎo)致的各類別之間的失衡。本文實驗部分所使用的數(shù)據(jù)集中正樣本與負(fù)樣本之間存在明顯的數(shù)量差異，因此選擇Dice Loss作為分割損失。其中，建筑區(qū)域提取損失使用Dice Loss計算，如式（2）所示，式中y^loc_p與y-^loc_p分別代表建筑區(qū)域提取的預(yù)測值，即S_loc（I）與S_loc（I-），y^loc_t與y-^loc_t代表前者對應(yīng)真值。

loss_dam=∑iω_iDice（y^p_i，y^t_i）（3）

Dice（X，Y）=1－2|X∩Y||X|+|Y|（4）

毀傷分割損失則是在通道維度計算Dice Loss并求加權(quán)和，如式（3）所示。式中y^p_i與y^t_i分別代表第i類別的預(yù)測值與真值，ω_i代表不同類別的權(quán)重。式（4）為Dice損失計算公式，其中X與Y分別代表預(yù)測值與真值。

3 實驗與結(jié)果

3.1 實驗設(shè)置

為驗證本文所提MLDA方法，使用xBD數(shù)據(jù)集展開實驗。xBD^［28］數(shù)據(jù)集是來源于衛(wèi)星自然災(zāi)害圖像的公開數(shù)據(jù)集，其使用毀傷分類方式將毀傷劃分為無毀傷

（無水跡、無結(jié)構(gòu)性損壞跡象、無燒傷痕跡）、低毀傷（部分燒毀、周圍存在水活巖漿、屋頂缺失或有可見的裂縫）、中毀傷（部分墻壁或屋頂?shù)顾?、被巖漿、水或泥石流包圍）和高毀傷（被燒焦、完全倒塌、被水或泥石流覆蓋或者不復(fù)存在）4個類別。整個數(shù)據(jù)集包含多種自然災(zāi)害、共計22 068張建筑毀傷圖像。該數(shù)據(jù)集提供的標(biāo)簽為語義分割標(biāo)簽，圖4為該數(shù)據(jù)集各個類別的描述與標(biāo)簽的數(shù)量分布，其中無毀傷、低毀傷、中毀傷和高毀傷標(biāo)簽數(shù)量分別為313 033、36 860、29 904和31 560。此外，還包括14 011個類別為“未定義”的標(biāo)簽，在例如建筑物被云層遮擋等情況時會出現(xiàn)，本文將其定為后景（非建筑物）。

實驗以Python3.9為基礎(chǔ)環(huán)境，以Pytorch2.0為深度學(xué)習(xí)框架，使用前文所介紹的模型和損失函數(shù)，設(shè)置批處理大小為12，訓(xùn)練30輪。在此基礎(chǔ)上，用Adamw優(yōu)化器^［29］對模型進(jìn)行參數(shù)優(yōu)化，初始學(xué)習(xí)率為0.000 2，同時采用退化學(xué)習(xí)率策略幫助模型收斂。在數(shù)據(jù)方面，對圖像和標(biāo)簽引入隨機(jī)裁剪、旋轉(zhuǎn)等方式進(jìn)行數(shù)據(jù)增強(qiáng)。本文使用3個量化指標(biāo)作為評價指標(biāo)，其一是建筑區(qū)域提取的精度，其二是毀傷評估的精度，其三是整體加權(quán)精度。3個精度均使用F1-Score進(jìn)行量化，如下所示：

F₁=2TP2TP+FP+FN（5）

F^dam1=4∑1/F^dam_i₁（6）

F^overall1=0.3F^loc1+0.7F^dam1（7）

式中：F^overall1、F^loc1與F^dam1分別代表整體加權(quán)、建筑區(qū)域提取以及毀傷分割的F1-Score;TP、FP與FN分別代表被

模型預(yù)測為正類的正樣本的像素數(shù)量、被預(yù)測為正類的負(fù)樣本的像素數(shù)量，以及被預(yù)測為負(fù)類的正樣本的像素數(shù)量。

3.2 對比實驗

表1為針對本文方法展開的對比實驗結(jié)果，

實驗顯示本文所提出的MLDA方法在毀傷評估中有一定的提升。在各個對比實驗中，以xBD-Baseline方法^［30］為參考基準(zhǔn)。該方法在ResNet50基礎(chǔ)上額外引入旁路模型作為融合，以64為批處理大小，設(shè)置初始學(xué)習(xí)率為0.001，進(jìn)行100輪訓(xùn)練。由于沒有平衡各個類別之間的數(shù)量而導(dǎo)致準(zhǔn)確率較差，其F^overall₁為26.5%。方法a^［31］使用雙路的ResNet50作為編碼器，將特征拼接后使用額外的后置分割處理器進(jìn)行毀傷分割，設(shè)置批處理大小為8，初始學(xué)習(xí)率為0.01進(jìn)行訓(xùn)練，最終F^overall₁為74.1%。方法b^［23］通過共享編碼器的方法，額外為兩個子任務(wù)設(shè)計獨(dú)立的解碼器，并且加入更多級聯(lián)操作，設(shè)置批處理大小為16，初始學(xué)習(xí)率為0.03，結(jié)合數(shù)據(jù)增強(qiáng)進(jìn)行訓(xùn)練，獲得74.5%的F^overall₁。本文所提MLDA方法最終F^overall₁為76.1%，優(yōu)于前兩者。同時，本文方法僅使用ResNet50搭配U-Net完成，通過融合建筑毀傷上下文信息進(jìn)行毀傷評估，不依賴其他額外模塊。圖5為MLDA方法（使用ResNet50）與方法b的實驗結(jié)果抽樣。圖5（a）和圖5（b）分別為毀傷前后的圖像，即輸入圖像，圖5（c）和圖5（d）分別為建筑區(qū)域提取子任務(wù)真值與毀傷評估真值，圖5（e）和圖5（f）分別為方法b與本文MLDA方法的毀傷評估預(yù)測值，其中黃色框為MLDA方法在毀傷評估中相較于方法b的提升。

3.3 消融實驗

本文針對MLDA進(jìn)行了消融實驗，具體如表2與圖6所示。表2中，Res-U-Net方法是以ResNet50為主干網(wǎng)，結(jié)合U-Net模型并且不依賴多任務(wù)學(xué)習(xí)進(jìn)行的實驗。其輸入為在通道維度拼接的建筑毀傷前后圖像，并且針對ResNet50修改其第一層卷積層輸入維度為6，最終F^overall1為72.6%，低于MLDA方法。其中，建筑區(qū)域提取、無毀傷、低毀傷F1-Score較低，這表明多任務(wù)學(xué)習(xí)對建筑區(qū)域提取與毀傷分割有一定的解耦能力。表2中，MLDA-方法是在未使用上下文信息融合模塊的條件下進(jìn)行的實驗，相較于MLDA取消了毀傷上下文信息融合，在使用ResNet50作為主干網(wǎng)的情況下得到的F^overall1為71.5%，低于其他兩種方法。其中，MLDA-方法區(qū)域提取子任務(wù)F^loc1與毀傷評估F^dam1分別為81.4%與67.2%。相較于Res-U-Net方法，MLDA-方法的F^loc1更高，再次表明多任務(wù)學(xué)習(xí)對建筑區(qū)域提取與毀傷分割有一定的解耦能力。與MLDA方法相比，MLDA-方法毀傷分割子任務(wù)的準(zhǔn)確率較低，表明上下文融合模塊提高了模型學(xué)習(xí)毀傷特征的能力，以對比學(xué)習(xí)的方式避免了模型直接學(xué)習(xí)復(fù)雜的毀傷特征。圖7為MLDA方法與MLDA-方法迭代不同輪次的F^overall1與F^dam1。圖7中，紅色折線和藍(lán)色折線分別代表MLDA方法與MLDA-方法，MLDA方法在訓(xùn)練迭代輪次初期即得到較高的準(zhǔn)確率，上下文融合模塊在降低毀傷特征學(xué)習(xí)難度的同時也提高了模型學(xué)習(xí)速度，加快了模型收斂速度。

本文針對多任務(wù)學(xué)習(xí)的損失權(quán)重進(jìn)行了實驗，相比于雙階段的毀傷評估，基于MLDA通過對損失函數(shù)的加權(quán)實現(xiàn)對兩個任務(wù)的權(quán)衡。式（1）為本文的總損失函數(shù)，其中λ₁與λ₂分別代表建筑區(qū)域提取與毀傷分割損失值的權(quán)值。通過加權(quán)系數(shù)保證兩個損失的數(shù)量級保持相當(dāng)，loss_loc包含毀傷前與毀傷后的區(qū)域提取損失，因此選擇λ₁∶λ₂=1∶2進(jìn)行訓(xùn)練，同時使用λ₁∶λ₂=0.1∶2驗證不同加權(quán)值對結(jié)果的影響。

表3為不同權(quán)值的實驗結(jié)果，在建筑區(qū)域提取與毀傷分割損失權(quán)值λ₁∶λ₂=0.1∶2時，由于損失的失衡導(dǎo)致建筑區(qū)域提取子任務(wù)F^loc1較低，并最終導(dǎo)致多任務(wù)學(xué)習(xí)整體準(zhǔn)確率下降。

4 結(jié) 論

本文提出一種MLDA方法，通過共用編解碼器搭配多個獨(dú)立任務(wù)頭的方式完成建筑物區(qū)域提取與毀傷分割兩個子任務(wù)。再使用Hadamard積融合兩個子任務(wù)輸出，得到最終毀傷評估結(jié)果。引入上下文融合模塊，融合毀傷建筑上下文信息，降低模型學(xué)習(xí)難度。本文在xBD數(shù)據(jù)集上展開實驗，實驗結(jié)果證明，本文方法在建筑毀傷評估任務(wù)中精度有所提升。

本文使用基于遙感圖像的建筑毀傷數(shù)據(jù)集驗證所提方法的有效性，但遙感圖像質(zhì)量低，影響最終評估精度。無人機(jī)航拍圖像具有易獲取和質(zhì)量高的優(yōu)勢，使用無人機(jī)航拍圖像替代遙感圖像，本文方法會有更好的性能和應(yīng)用。

參考文獻(xiàn)

［1］ ZHENG S Q， LI X D， ZHU L L. Optimal time-efficient UAV area coverage path planning based on raster map［C］∥Proc.of the International Conference on Advanced Robotics and Mechatronics， 2023： 727732.

［2］ 王建峰， 賈高偉， 郭正， 等. 多無人機(jī)協(xié)同任務(wù)規(guī)劃方法研究綜述［J/OL］. 系統(tǒng)工程與電子技術(shù)： 118［20240923］. http：∥kns.cnki.net/kcms/detail/11.2422.TN.20230419.1331.010.html.

WANG J F， JIA G W， GUO Z， et al. Research status and development of multi-UAV system mission planning［J/OL］. Systems Engineering and Electronics： 118［20240923］. http：∥kns.cnki.net/kcms/detail/11.2422.TN.20230419.1331.010.html.

［3］ TCHINDA N E， PANOFF K M， KWADJO T D， et al. Semi-supervised image stitching from unstructured camera arrays［J］. Sensors， 2023， 23（23）： 94819501.

［4］ 楊丹寧. 基于受災(zāi)點應(yīng)急需求分析的地震初期應(yīng)急物資分配問題研究［D］. 北京： 北京交通大學(xué)， 2023.

YANG D N. A study on the distribution of emergency supplies at the early stage of earthquake based on the analysis of emergency needs at the affected sites［D］. Beijing： Beijing Jiao Tong University， 2023.

［5］ 李陽， 張玉梅， 趙彥東， 等. 基于云貝葉斯網(wǎng)絡(luò)的毀傷效果評估方法［J］. 火力與指揮控制， 2020， 45（3）： 144149.

LI Y， ZHANG Y M， ZHAO Y D， et al. Method of battle da-mage assessment based on cloudy Bayesian network［J］. Fire Control amp; Command Control， 2020， 45（3）： 144149.

［6］ LI X D， FIR D K， JEAN D. Multi-source information fusion： progress and future［J］. Chinese Journal of Aeronautics， 2024， 37（7）： 2458.

［7］ 王廣學(xué)， 黃曉濤， 周智敏. 基于圖像分割的VHF SAR葉簇隱蔽目標(biāo)差值變化檢測［J］. 電子學(xué)報， 2020， 38（9）： 19691974.

WANG G X， HUANG X T， ZHOU Z M. VHF SAR difference change detection of target in foliage based on image segmentation［J］. Acta Electronica Sinica， 2020， 38（9）： 19691974.

［8］ CHEN J， CHEN X H， CUI X H， et al. Change vector analysis in posterior probability space： a new method for land cover change detection［J］. IEEE Geoscience and Remote Sensing Letters， 2010， 8（2）： 317321.

［9］ MARIUS P， ANDREAS D， TOBIAS U， et al. Automated extraction of annual erosion rates for arctic permafrost coasts using sentinel- deep learning， and change vector analysis［J］. Remote Sensing， 202 14（15）： 36563681.

［10］ 苗添， 曾虹程， 王賀， 等. 基于迭代閾值分割的星載SAR洪水區(qū)域快速提?。跩］. 系統(tǒng)工程與電子技術(shù)， 202 44（9）： 27602768.

MIAO T， ZENG H C， WANG H， et al. A fast extraction method of flood areas based on iterative threshold segmentation using spaceborne SAR data［J］. Systems Engineering and Electronics， 202 44（9）： 27602768.

［11］ 楊青青， 樊桂花. 基于改進(jìn)模糊綜合評判法的建筑物毀傷效果評估［J］. 系統(tǒng)工程與電子技術(shù)， 2018， 40（9）： 20262031.

YANG Q Q， FAN G H. Battle damage assessment of building based on improved fuzzy comprehensive evaluation method［J］. Systems Engineering and Electronics， 2018， 40（9）： 20262031.

［12］ RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］∥Proc.of the Medical Image Computing and Computer-assisted Intervention， 2015： 234241.

［13］ XIE E Z， WANG W H， YU Z D， et al. SegFormer： simple and efficient design for semantic segmentation with transfor-mers［J］. Advances in Neural Information Processing Systems， 202 34： 1207712090.

［14］ ZHONG A Q， FU Q， HUANG D F， et al. A topology based automatic registration method for infrared and polarized coupled imaging［J］. Applied Sciences， 202 12（24）： 1259612607.

［15］ DENG X， LIU E P， LI S X， et al. Interpretable multi-model image registration network based on disentangled convolutional sparse coding［J］. IEEE Trans.on Image Processing， 2023， 32： 10781091.

［16］ 徐藝博， 于清華， 王炎娟， 等. 基于多源信息融合的巡飛彈對地目標(biāo)識別與毀傷評估［J］. 系統(tǒng)仿真學(xué)報， 2024， 36（2）： 511521.

XU Y B， YU Q H， WANG Y J， et al. Ground target recognition and damage assessment of patrol missiles based on multi-source information fusion［J］. Journal of System Simulation， 2024， 36（2）： 511521.

［17］ 李琳， 孫世巖， 曾雅琴， 等. 基于改進(jìn)CRITIC-Bayes網(wǎng)絡(luò)的激光武器毀傷效果評估方法［J］. 兵器裝備工程學(xué)報， 2023， 44（7）： 109115.

LI L， SUN S Y， ZENG Y Q， et al. Evaluation methods of laser weapon damage effect based on improved CRITIC-Bayes network［J］. Journal of Ordnance Equipment Engineering， 2023， 44（7）： 109115.

［18］ NIA K R， MORI G. Building damage assessment using deep learning and ground-level image data［C］∥Proc.of the 14th Conference on Computer and Robot， 2017： 95102.

［19］ 麻連偉， 寧衛(wèi)遠(yuǎn)， 焦利偉， 等. 基于U-Net卷積神經(jīng)網(wǎng)絡(luò)的遙感影像變化檢測方法研究［J］. 能源與環(huán)保， 202 44（11）： 102106.

MA L W， NING W Y， JIAO L W， et al. Research on remote sensing image change detection method based on U-Net convolutional neural network［J］. China Energy and Environmental Protection， 202 44（11）： 102106.

［20］ FAN Z P， WANG S Q， PU X T， et al. Fusion-former： fusion features across transformer and convolution for building change detection［J］. Electronics， 2023， 12（23）： 48234836.

［21］ WANG X D， TIAN M L， ZHANG Z J， et al. SDSNet： building extraction in high-resolution remote sensing images using a deep convolutional network with cross-layer feature information interaction filtering［J］. Remote Sensing， 2023， 16（1）： 169191.

［22］ 王凌霄， 賈婧. 基于改進(jìn)DeepLabv3plus算法的遙感圖像海島建筑提取方法［J］. 熱帶地理， 202 41（4）： 834844.

WANG L X， JIA J. Extraction method of island buildings in remote sensing images based on improved DeepLabv3plus algorithm［J］. Tropical Geography， 202 41（4）： 834844.

［23］ ZHENG Z， ZHONG Y F， WANG J J， et al. Building damage assessment for rapid disaster response with a deep object-based semantic change detection framework： from natural disasters to man-made disasters［J］. Remote Sensing of Environment， 202 265： 112636112653.

［24］ SHENG W J， LI X D. Multi-task learning for gait-based identity recognition and emotion recognition using attention enhanced temporal graph convolutional network［J］. Pattern Recognition， 202 114： 107868107880.

［25］ HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770778.

［26］ LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 21172125.

［27］ MILLETARI F， NAVAB N， AHMADI S. V-net： fully convolutional neural networks for volumetric medical image segmentation［C］∥Proc.of the 4th Conference on 3D Vision， 2016： 565571.

［28］ GUPTA R， GOODMAN B， PATEL N， et al. Creating xBD： a dataset for assessing building damage from satellite imagery［C］∥Proc.of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops， 2019： 1017.

［29］ LOSHCHILOV I， HUTTER F. Decoupled weight decay regularization［C］∥Proc.of the International Conference on Learning Representations， 2018.

［30］ GUPTA R， HOSFELT R， SAJEEV S， et al. xBD： a dataset for assessing building damage from satellite imagery［EB/OL］. ［20240130］. https：∥arXiv preprint arXiv：1911.09296， 2019.

［31］ WEBER E， KANE H. Building disaster damage assessment in sate-llite imagery with multi-temporal fusion［EB/OL］. ［20240130］. https：∥arXiv preprint arXiv：2004.05525， 2020.

作者簡介

王一博（1999—），男，碩士研究生，主要研究方向為深度學(xué)習(xí)、圖像處理。

張樂飛（1980—），男，高級工程師，博士，主要研究方向為無人系統(tǒng)總體技術(shù)、無線電通信技術(shù)、數(shù)據(jù)鏈系統(tǒng)體系設(shè)計。

李新德（1975—），男，教授，博士，主要研究方向為人工智能、智能機(jī)器人、機(jī)器視覺感知。