融合形態(tài)學(xué)特征與DeepLabV3+模型的建筑垃圾自動化檢測

采用DeepLabv3+模型進(jìn)行建筑垃圾識別，并結(jié)合形態(tài)學(xué)算法進(jìn)行形狀提取作為輔助分類信息，用于標(biāo)簽制作和模型分類。研究中采用消融實(shí)驗(yàn)和對比分析，研究結(jié)果表明：采用形態(tài)學(xué)處理的特征可快速制作標(biāo)簽，加入形態(tài)學(xué)特征的DeepLabV3+可改進(jìn)建筑垃圾識別的精度?？偩取⑵骄徊⒈?、平均召回率、KAPPA系數(shù)分別提高：2.87%、4.56%、1.38%、4.8%。

建筑垃圾； 形態(tài)學(xué)； 深度學(xué)習(xí)； DeepLobv3+

TP751A

［定稿日期］2023-04-12

［基金項(xiàng)目］四川省高等學(xué)校重點(diǎn)實(shí)驗(yàn)室資金項(xiàng)目（項(xiàng)目編號：SC-QWLY-2021-Y-02）

［作者簡介］劉丹丹（1972—），女，博士，教授，研究方向?yàn)榭臻g信息及智慧城市。

0 引言

建筑垃圾是指在生產(chǎn)、建設(shè)、拆除和維修過程中產(chǎn)生的廢棄混凝土、廢棄土、廢棄砌筑物，以及工程中由于人為或自然原因產(chǎn)生的垃圾。隨著我國城鎮(zhèn)化進(jìn)程的加快，城市建筑垃圾的產(chǎn)生量不斷增加。建筑垃圾的科學(xué)管理是當(dāng)前城市管理的重要方面之一，而建筑垃圾堆積區(qū)的認(rèn)定是建筑垃圾科學(xué)管理的前提。由于建筑垃圾分布廣泛且不規(guī)則，容易與周圍的地物混淆，因此識別建筑垃圾的位置信息是一個很大的挑戰(zhàn)，遙感技術(shù)特別是運(yùn)用無人機(jī)已成為獲取建筑垃圾數(shù)據(jù)的重要來源。建筑垃圾成分復(fù)雜，光譜特征也復(fù)雜?！爱愇锿V，同物異譜”現(xiàn)象在建筑垃圾、周邊建筑物、裸露地物等地物之間普遍存在，在識別過程中造成混亂［1］。因此，在自動識別分類中僅靠光譜特征難以識別建筑垃圾堆放區(qū)。眾多學(xué)者嘗試建立特征庫、波段運(yùn)算等方法支持下進(jìn)行建筑垃圾識別［2-3］。深度學(xué)習(xí)是遙感自動識別分類的主要算法之一，隨著深度學(xué)習(xí)方法的飛速發(fā)展，ResNet［4］等許多性能優(yōu)異的卷積神經(jīng)網(wǎng)絡(luò)，應(yīng)用于建筑垃圾識別及垃圾場的檢測中。DeepLab系列網(wǎng)絡(luò)在2015年由Chen等人提出，2018年提出的DeepLabV3+網(wǎng)絡(luò)，是谷歌公司在DeeplabV 基礎(chǔ)上將金字塔池化模塊（ASPP）與編碼器-解碼器結(jié)構(gòu)相結(jié)合一種新的語義分割模型，是現(xiàn)今最優(yōu)秀的算法之一。文獻(xiàn)［5］對DeepLabV3+在建筑垃圾的識別中，進(jìn)行了實(shí)驗(yàn)，平均交并比達(dá)到了82%。該網(wǎng)絡(luò)采用了Encoder-Decoder體系，并強(qiáng)化了Decoder，使模型整體在語義分割的邊緣能夠取得良好效果，但是DeepLabV3+對輸入圖像進(jìn)行特征提取時，需要進(jìn)行多次下采樣操作，在相鄰區(qū)域中存在易混淆類別像素的準(zhǔn)確預(yù)測問題［6］。為解決該問題，本文采用形態(tài)學(xué)特征提取方法，采用形態(tài)學(xué)處理中開運(yùn)算-閉運(yùn)算方法增強(qiáng)圖像的輪廓信息，輔助標(biāo)簽的制作并用來強(qiáng)化該骨干網(wǎng)絡(luò)的提取特征，實(shí)現(xiàn)快速有效提取建筑垃圾的邊界信息，實(shí)現(xiàn)建筑垃圾標(biāo)簽的快速制作。將該邊界信息作為建筑垃圾分類的一個通道，進(jìn)行建筑垃圾分類，以實(shí)現(xiàn)建筑垃圾的高效識別，為城市建設(shè)中建筑垃圾的精準(zhǔn)識別提供理論依據(jù)。

1 研究方法

1.1 二值開運(yùn)算與閉運(yùn)算

數(shù)學(xué)形態(tài)學(xué)（Mathematical Morphology）［7］是圖像處理的基礎(chǔ)方法之一，以集合論和拓?fù)鋵W(xué)為基礎(chǔ)，是一種高效的數(shù)據(jù)分析與處理的方法，其中的膨脹和腐蝕運(yùn)算是對二值圖像進(jìn)行邊緣提取的基本方法，而兩者按照運(yùn)算的先后順序組成的開運(yùn)算或閉運(yùn)算的算法，又可以進(jìn)行組合運(yùn)算，本文采取先進(jìn)行開運(yùn)算，后進(jìn)行閉運(yùn)算的方法，以增強(qiáng)圖像的特征。

開運(yùn)算運(yùn)用同一結(jié)構(gòu)元素對圖像先腐蝕再膨脹。開運(yùn)算通常用來消除小對象物體，在纖細(xì)點(diǎn)處分離物體，平滑較大物體邊界的同時并不明顯改變其體積。開運(yùn)算在粘連目標(biāo)的分離機(jī)背景噪聲（椒鹽噪聲）的取出方面有較好的效果。其數(shù)學(xué)表達(dá)為式（1）。

A·B=（AB）B（1）

閉運(yùn)算運(yùn)用同一結(jié)構(gòu)元素對圖像先膨脹再腐蝕，它的主要作用是填平小湖（即小孔），彌合小裂縫，而總的位置和形狀不變。其數(shù)學(xué)表達(dá)為式（2）。

A·B=（AB）B（2）

式（1）、式（2）中，B為結(jié)構(gòu)元素，A為圖像，為腐蝕，為膨脹。

1.2 深度學(xué)習(xí)模型

DeeplabV3+網(wǎng)絡(luò)以DeeplabV3作為編碼器，同時又添加解碼器，該模型采用Xception作為主干特征提取網(wǎng)絡(luò)，后連接帶空洞卷積的金字塔池化模塊（ASPP）進(jìn)行多尺度信息提取。ASPP模塊包括一個1×1卷積、3個采用不同空洞率（例如6，12，18）的3×3空洞卷積和一個全局平均池化操作，在減少下采樣操作和不增加網(wǎng)絡(luò)參數(shù)的基礎(chǔ)上保證了空間分辨率，增大了感受野，獲取多尺度信息并進(jìn)行特征融合以更好地實(shí)現(xiàn)對多尺度目標(biāo)分割；通過1×1卷積對通道進(jìn)行降維處理并將降維后的特征圖利用雙線性插值方法進(jìn)行4倍上采樣后傳入Decoder中，在Decoder內(nèi)與主干特征提取網(wǎng)絡(luò)提取的低層次特征融合，恢復(fù)目標(biāo)的邊界信息；最后利用3×3卷積恢復(fù)空間信息和4倍雙線性插值上采樣獲取圖像的語義分割結(jié)果。DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)預(yù)處理與標(biāo)簽制作

本次實(shí)驗(yàn)數(shù)據(jù)來源某地區(qū)無人機(jī)遙感RGBA影像，影像大小為54 647×42 881像素，影像空間分辨率為l m。在對影像進(jìn)行幾何校正、輻射校正等預(yù)處理后，采用經(jīng)驗(yàn)閾值法確定閾值，對圖像進(jìn)行二值化處理。采用形態(tài)學(xué)操作，先開運(yùn)算去除背景噪聲，然后繼續(xù)閉運(yùn)算填充目標(biāo)內(nèi)的孔洞，獲得研究區(qū)域的形態(tài)學(xué)處理后的二值化特征圖，其結(jié)構(gòu)元素的選擇根據(jù)影像的實(shí)際情況進(jìn)行嘗試，尺寸大小確定為3×3。實(shí)驗(yàn)的流程如圖2所示。

將標(biāo)簽確定為建筑垃圾類和非建筑垃圾類，標(biāo)簽大小為256×256，并將形態(tài)學(xué)處理得到的特征，作為標(biāo)簽制作的輔助信息?？紤]到標(biāo)簽的樣本數(shù)量有限導(dǎo)致現(xiàn)過擬合現(xiàn)象，研究中對訓(xùn)練樣本增強(qiáng)：將制作好的每個標(biāo)簽按照順時針旋轉(zhuǎn)每60°、鏡像、尺度變換、增加椒鹽噪聲，增大標(biāo)簽的種類及數(shù)量，以提升后續(xù)模型的泛化能力。經(jīng)過處理，共制作標(biāo)簽14 569張。采用將建筑垃圾數(shù)據(jù)集按照7∶2∶1的數(shù)量比例隨機(jī)分配給訓(xùn)練集，驗(yàn)證集，測試集。

2.2 實(shí)驗(yàn)過程

使用英偉達(dá)的GPU作為運(yùn)算平臺，PyTorch深度學(xué)習(xí)框架。在網(wǎng)絡(luò)訓(xùn)練過程中，使用Adam優(yōu)化器對模型進(jìn)行優(yōu)化，初始化學(xué)習(xí)率為0.000 1。對上述模型進(jìn)行120輪次的迭代訓(xùn)練，得到各模型訓(xùn)練過程的精度和損失值的變化曲線，如圖3和圖4所示。此外針對建筑垃圾數(shù)據(jù)集類別不平衡問題，引入加權(quán)損失函數(shù)，給予建筑垃圾、非建筑垃圾與背景類不同的權(quán)重，提高模型對建筑垃圾的識別能力。實(shí)驗(yàn)表明：DeeplabV3+網(wǎng)絡(luò)的最優(yōu)學(xué)習(xí)率為0.007，最優(yōu)batch-size為32。模型訓(xùn)練結(jié)果比較如下圖，其中灰色線為不加入形態(tài)特征的DeeplabV3+分類，黑色線表示加入形態(tài)特征的DeeplabV3+分類，可以看出，二者的損失值隨迭代次數(shù)的增加而減少，精度隨迭代次數(shù)的增加而增加，當(dāng)訓(xùn)練迭代次數(shù)超過60次時，損失值和精度趨于穩(wěn)定。但加入形態(tài)特征的DeeplabV3+網(wǎng)絡(luò)收斂速度更快，后期波動更小。這是由于加入了形態(tài)特征，使網(wǎng)絡(luò)學(xué)習(xí)和抗干擾的能力加強(qiáng)，加快了收斂速度。

建筑論壇與建筑設(shè)計劉丹丹， 袁清洌： 融合形態(tài)學(xué)特征與DeepLabV3+模型的建筑垃圾自動化檢測為進(jìn)一步分析融合形態(tài)特征的DeeplabV3+網(wǎng)絡(luò)的性能，研究進(jìn)行對比實(shí)驗(yàn)，設(shè)置采用經(jīng)典的語義分割模型DeeplabV3+進(jìn)行分類比較。量化分析與可視化表達(dá)證明本文提出的方法能夠有效改進(jìn)建筑物多尺度幾何邊界特征，DeeplabV3+模型訓(xùn)練時間效率低，且分割邊緣不準(zhǔn)確。

2.3 模型評價

本實(shí)驗(yàn)選取分類總精度（PA）［8］、平均交并比（mlou）［8］、平均召回率（mRecall）［8］、KAPPA系數(shù)［9］等指標(biāo)評價網(wǎng)絡(luò)分割性能。結(jié)果比較如表1所示，加入形態(tài)特征的DeeplabV3+的建筑垃圾識別，總精度為94.11%，平均交并比為86.41%、平均召回率為90.25%、KAPPA系數(shù)為92.20%，上述指標(biāo)值均優(yōu)于不加入形態(tài)特征的DeeplabV3+網(wǎng)絡(luò)，其提高的百分比依次為：2.87%、4.56%、1.38%、4.8%。

進(jìn)一步對識別的結(jié)果進(jìn)行分析，如圖5所示，淺灰色表示為建筑垃圾，深灰色表示為非建筑垃圾。圖5（a）、圖5（b）、圖5（c）、圖5（d）分別表示原圖、標(biāo)簽、不加入形態(tài)特征的DeeplabV3+、加入形態(tài)特征的DeeplabV3+。黑框內(nèi)標(biāo)出了兩種方法識別的建筑垃圾與標(biāo)簽的對比。加入形態(tài)特征后，當(dāng)非建筑垃圾為房屋和道路時，可以有效識別建筑垃圾與非建筑垃圾的邊界信息，但是也存在一些建筑垃圾誤判現(xiàn)象，產(chǎn)生誤判的主要原因有二，一是建筑垃圾的影像特征較復(fù)雜，容易與周圍裸露的土壤、建筑物混淆，二是訓(xùn)練樣本在樣本數(shù)量上存在較大的提升空間。

3 結(jié)論

為高效準(zhǔn)確識別建筑垃圾，以滿足城市環(huán)境的精細(xì)化管理，本文采用形態(tài)學(xué)特征提取的開運(yùn)算和閉運(yùn)算方法，將建筑垃圾的輪廓進(jìn)行特征提取，可快速高效制作標(biāo)簽，同時將該形態(tài)學(xué)特征作為分類輔助信息參與DeeplabV3+網(wǎng)絡(luò)中，進(jìn)行建筑垃圾的識別，可有效DeeplabV3+改善提高建筑垃圾的識別精度，總精度、平均交并比、平均召回率、KAPPA系數(shù)值均優(yōu)于不加入形態(tài)特征的DeeplabV3+網(wǎng)絡(luò)，其提高的百分比依次為：2.87%、4.56%、1.38%、4.8%。實(shí)驗(yàn)表明，該方法高效并有效提高識別精度，可為城市的建筑垃圾精細(xì)化管理提供參考依據(jù)。

參考文獻(xiàn)

［1］ 李思琦.基于遷移學(xué)習(xí)的多源遙感影像建筑垃圾識別［D］.北京：北京建筑大學(xué)，2020： 15-19.

［2］ 黃惠玲，韓軍，吳飛斌，等.建筑垃圾的顏色特征提取與分類研究［J］.光學(xué)與光電技術(shù)，2018，16（1）：53-57.

［3］ Zhuang J， Yang J， Fang H，et al. Recognition of Concrete and Gray Brick Based on Color and Texture Features［J］.Journal of Testing and Evaluation，2019，47（4）：20180523.

［4］ 許文稼，蔣慶斌，劉鋼洋.基于機(jī)器視覺和深度學(xué)習(xí)的建筑垃圾智能識別研究［J］.電子器件，2022，45（6）：1489-1496.

［5］ 劉小玉，劉揚(yáng)，杜明義，等.基于DeeplabV3+的建筑垃圾堆放點(diǎn)識別［J］.測繪通報，2022，No.541（4）：16-19+43.

［6］ 胡偉，高博川，黃振航，等.樹形結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化的城區(qū)遙感圖像語義分割［J］.中國圖象圖形學(xué)報，2020，25（5）：1043-1052.

［7］ 王鵬程.基于形態(tài)學(xué)的遙感圖像河流分割方法研究［D］.蘭州：蘭州交通大學(xué)，2021.

［8］ 任鴻杰，劉萍，岱超，等.改進(jìn)DeepLabV3+網(wǎng)絡(luò)的遙感影像農(nóng)作物分割方法［J］.計算機(jī)工程與應(yīng)用，2022，58（11）：215-223.

［9］ 李婧. 基于深度學(xué)習(xí)的極化SAR圖像去噪與分類研究［D］.阜新：遼寧工程技術(shù)大學(xué)，2021.