基于輕量化MU-Net網(wǎng)絡(luò)的混凝土缺陷分割

陳智麗,張士緣,王 冰,李宇鵬

(沈陽(yáng)建筑大學(xué),遼寧 沈陽(yáng) 110168)

1 引言

鋼筋混凝土結(jié)構(gòu)是許多重要基礎(chǔ)設(shè)施的主要結(jié)構(gòu)形式,在服役過(guò)程中,受自然災(zāi)害、外部環(huán)境和人為等因素的影響,會(huì)出現(xiàn)裂縫、破損、甚至露筋等缺陷,如不能及時(shí)發(fā)現(xiàn)和修復(fù),將嚴(yán)重威脅基礎(chǔ)設(shè)施安全,隨時(shí)可以帶來(lái)不可估量的重大損失。傳統(tǒng)的混凝土缺陷檢測(cè)主要通過(guò)檢測(cè)員肉眼判斷缺陷,檢測(cè)精度和效率低下。隨著計(jì)算機(jī)技術(shù)的發(fā)展,基于圖像處理的檢測(cè)方法已成為目前主流的缺陷檢測(cè)手段。

裂縫是最常見(jiàn)的一類混凝土缺陷,現(xiàn)有研究主要集中于裂縫檢測(cè)。傳統(tǒng)的裂縫檢測(cè)方法主要包括閾值法[1]、邊緣檢測(cè)法[2,3]和形態(tài)學(xué)方法[4]等。傳統(tǒng)檢測(cè)算法需要手工提取特征,帶有一定的主觀性,雖然通過(guò)裁剪、自適應(yīng)等方法可以提高特征明顯的裂縫分割的準(zhǔn)確率,但是對(duì)具有大量噪聲干擾的圖像、背景復(fù)雜以及細(xì)小裂縫無(wú)法取得良好的效果,魯棒性較低。

隨著計(jì)算機(jī)硬件的發(fā)展以及深度學(xué)習(xí)[5]的提出,深度學(xué)習(xí)在圖像分割領(lǐng)域得到了廣泛的應(yīng)用,許多科研工作者將深度學(xué)習(xí)應(yīng)用于混凝土裂縫檢測(cè)中。Chen等人[6]利用NB-CNN網(wǎng)絡(luò)進(jìn)行裂縫檢測(cè),這一算法雖然可以檢測(cè)到微小裂縫,但是只能實(shí)現(xiàn)對(duì)裂縫位置的定位,并不能對(duì)裂縫形狀精確提取。王森等人[7]將全卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到裂縫檢測(cè)研究中,構(gòu)建了一種適用于缺陷場(chǎng)景的Crack FCN模型,通過(guò)增大分辨率減少信息的丟失,但是檢測(cè)精度仍有待提高。李鵬等人[8]使用改進(jìn)的脈沖耦合神經(jīng)網(wǎng)絡(luò)分割裂縫,對(duì)裂縫做了外接矩形并統(tǒng)計(jì)內(nèi)部連通域,保證了裂縫的完整性,但是仍存在一定的噪點(diǎn)。Zhang等人[9]設(shè)計(jì)了重疊塊融合的上下文感知深度神經(jīng)網(wǎng)絡(luò),提出MSMP池化法,在空間上聚合每個(gè)圖像塊上的預(yù)測(cè)結(jié)果,算法復(fù)雜度明顯降低,但是預(yù)測(cè)精度不高。Choi等人[10]提出了一種實(shí)時(shí)的混凝土裂縫分割網(wǎng)絡(luò)SDDNet,使用密集連接可分離卷積顯著加快網(wǎng)絡(luò)的運(yùn)行速度,但是無(wú)法有效識(shí)別細(xì)小裂縫。蘭天翔等人[11]基于MobileNetv2[12]網(wǎng)絡(luò)設(shè)計(jì)了一個(gè)輕量級(jí)全卷積語(yǔ)義分割網(wǎng)絡(luò)LU-Net,利用MobileNetv2中的Bottleneck大大縮短了分割所需的時(shí)間,但是模型精度有所下降。Xia等人[13]提出了SSIM-Net進(jìn)行缺陷檢測(cè),利用MobileNetv3[14]對(duì)檢測(cè)區(qū)域進(jìn)行分類,檢測(cè)速度明顯提升。MobileNetv3是MobileNetv2的改進(jìn),采用MnasNet[15]作為整體架構(gòu),擁有更高的精度和實(shí)時(shí)性。

綜上,深度學(xué)習(xí)技術(shù)已在裂縫檢測(cè)中發(fā)揮了出色的作用,但在復(fù)雜背景下裂縫分割、細(xì)小裂縫分割、準(zhǔn)確率提升、網(wǎng)絡(luò)輕量化等方面尚有改進(jìn)的空間。

本文首先對(duì)U-Net模型進(jìn)行了改進(jìn),結(jié)合MobileNetv3模型,在輕量化網(wǎng)絡(luò)的同時(shí)提升缺陷分割精度;其次,構(gòu)建了一個(gè)多類混凝土缺陷數(shù)據(jù)集,相比網(wǎng)上的公開(kāi)數(shù)據(jù)集,采集的缺陷圖像背景更復(fù)雜,更具有實(shí)際工程意義。

2 MU-Net

本文提出一種輕量化MU-Net網(wǎng)絡(luò),其編碼部分加入一系列Bneck模塊作為特征提取網(wǎng)絡(luò),解碼部分加入帶有通道注意力機(jī)制的深度可分離卷積(DSC-SE)模塊進(jìn)行特征位置信息的還原。MU-Net的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 MU-Net結(jié)構(gòu)

編碼部分,將圖像縮放至1664×1664,之后進(jìn)行一次3×3的標(biāo)準(zhǔn)卷積,通過(guò)步長(zhǎng)為2的下采樣將圖像大小變成832×832,接著通過(guò)11個(gè)Bneck模塊,利用深度可分離卷積、反殘差模塊以及SE模塊提取深層特征,得到大小分別為208×208,104×104和52×52的特征圖。

解碼部分,為了進(jìn)一步壓縮網(wǎng)絡(luò)的參數(shù)量以及恢復(fù)缺陷位置信息,將標(biāo)準(zhǔn)卷積模塊均換成了DSC-SE模塊,利用雙線性插值法進(jìn)行上采樣。解碼部分共進(jìn)行了五次上采樣與四次拼接,得到1664×1664×64的特征圖,最后使用1×1的標(biāo)準(zhǔn)卷積進(jìn)行分類,輸出1664×1664×2的分割結(jié)果圖,其中0代表背景,1代表缺陷。

2.1 帶深度可分離卷積的反殘差模塊(IR-DSC)

提出的MU-Net能夠被輕量化的一個(gè)重要原因,在于整個(gè)網(wǎng)絡(luò)大量地使用深度可分離卷積(DSC)代替標(biāo)準(zhǔn)卷積進(jìn)行特征提取。深度可分離卷積將標(biāo)準(zhǔn)卷積拆分成了深度卷積和逐點(diǎn)卷積。假設(shè)輸入特征圖大小為Dw×Dh×M,卷積核大小為Dk×Dk,卷積后的特征圖大小為Dw×Dh×N,逐點(diǎn)卷積核大小默認(rèn)為1×1,則深度可分離卷積與標(biāo)準(zhǔn)卷積的參數(shù)量之比P為

(1)

由式(1)可以看出,使用深度可分離卷積之后,網(wǎng)絡(luò)的參數(shù)量和計(jì)算量都有顯著的下降。

為充分提取特征,MU-Net編碼部分使用IR-DSC模塊,其結(jié)構(gòu)如圖2所示。首先使用1×1的逐點(diǎn)卷積,由于深度卷積本身的計(jì)算特性決定了其沒(méi)有改變通道數(shù)的能力,而上一層的通道數(shù)過(guò)少會(huì)造成深度卷積只能在低維空間進(jìn)行特征提取。因此在深度卷積之前加入一個(gè)1×1的逐點(diǎn)卷積,用來(lái)提升維度。本文中升維系數(shù)為6,如此經(jīng)過(guò)第一個(gè)逐點(diǎn)卷積之后,深度卷積可以在相對(duì)的高維空間進(jìn)行特征提取。此外,網(wǎng)絡(luò)使用了兩種不同的非線性激活函數(shù)ReLU6和h-swish,其中ReLU6是ReLU的變體,將最大輸出限定在6,在低精度情況下具有更強(qiáng)的魯棒性;h-swish可以減少內(nèi)存訪問(wèn)次數(shù),大幅降低延遲損失。二者表達(dá)式如式(2)和(3)所示。

圖2 IR-DSC結(jié)構(gòu)

(2)

(3)

編碼網(wǎng)絡(luò)的第2-3層使用ReLU6激活函數(shù),4-5層使用h-swish激活函數(shù)。最后再使用1×1的逐點(diǎn)卷積進(jìn)行降維,使得輸出維度與輸入維度一致。若深度卷積步長(zhǎng)為1,則降維之后的特征圖與輸入特征圖大小一致,相加形成反殘差結(jié)構(gòu),若步長(zhǎng)為2,則無(wú)法形成反殘差結(jié)構(gòu)。

2.2 SE模塊

本文在Bneck模塊和DSC-SE模塊中均加入SE模塊,其結(jié)構(gòu)如圖3所示。特征圖M(w×h×t)經(jīng)過(guò)深度可分離卷積進(jìn)行特征提取之后得到特征圖N(w×h×t),通道數(shù)為t,隨后進(jìn)行全局平均池化,輸入特征在通道維度上進(jìn)行融合,得到1×1×t的全局平均池化結(jié)果。接著加入兩層全連接層,第一層全連接層中神經(jīng)元個(gè)數(shù)設(shè)置為t/x,x是一個(gè)可變參數(shù),控制注意力強(qiáng)度以及參數(shù)量,這里選取x=4,得到大小為1×1×t/4的張量,激活函數(shù)采用ReLU6。第二層全連接層中的神經(jīng)元個(gè)數(shù)設(shè)置為t,得到大小為1×1×t的張量,與輸入特征圖通道數(shù)一致,然后使用h-swish函數(shù)進(jìn)行激活,這樣就得到了輸入的各通道的權(quán)值,最后把獲得的各通道權(quán)值與輸入特征圖N相乘,就輸出了帶有通道權(quán)重的特征圖N1。

圖3 SE結(jié)構(gòu)

2.3 Bneck模塊

Bneck模塊把SE融合到IR-DSC模塊中,其模塊結(jié)構(gòu)如圖4所示。

圖4 Bneck結(jié)構(gòu)

2.4 DSC-SE模塊

為了兼顧網(wǎng)絡(luò)的輕量化以及特征位置信息還原的準(zhǔn)確率,MU-Net解碼部分使用了DSC-SE模塊,編碼部分輸出的特征圖作為其輸入,進(jìn)行核大小為3×3的深度卷積,激活函數(shù)采用ReLU6,隨后通過(guò)SE層,最后使用標(biāo)準(zhǔn)卷積,激活函數(shù)保持一致。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集

網(wǎng)上公開(kāi)的缺陷數(shù)據(jù)集大多背景簡(jiǎn)單、缺陷明顯,與工程實(shí)例圖像存在差異,在使用語(yǔ)義分割網(wǎng)絡(luò)對(duì)其進(jìn)行缺陷分割時(shí)精確度較高,缺乏實(shí)際工程意義。因此,本文采集了大量混凝土缺陷圖像,構(gòu)建了多類混凝土缺陷數(shù)據(jù)集。圖像大小為4000×3000,背景復(fù)雜,包括裂縫168張、孔洞400張、破損100張、露筋160張。數(shù)據(jù)集的標(biāo)簽部分,采用專業(yè)語(yǔ)義分割標(biāo)注軟件LabelMe,由專業(yè)技術(shù)人員對(duì)缺陷區(qū)域進(jìn)行像素級(jí)標(biāo)注。

3.2 訓(xùn)練與測(cè)試

實(shí)驗(yàn)使用的操作系統(tǒng)為Win10,軟件環(huán)境為Python3.6,Keras2.2.4,Tensorflow2.3,CUDA10.1,硬件環(huán)境為Intel(R) Xeon(R) CPU @ 2.20GHz,Teslat4 GPU,使用He方法對(duì)模型進(jìn)行初始化,優(yōu)化器使用Adam,初始學(xué)習(xí)率設(shè)置為0.001,批大小設(shè)置為1,訓(xùn)練100個(gè)epoch。

為了保證實(shí)驗(yàn)的客觀性,對(duì)數(shù)據(jù)集采用五折交叉驗(yàn)證,將數(shù)據(jù)集中的每類缺陷圖像平均分為五折,將其中的四折作為訓(xùn)練集,剩余的一折作為測(cè)試集,如此進(jìn)行五次實(shí)驗(yàn),確保數(shù)據(jù)集中的每一張圖像都經(jīng)過(guò)測(cè)試。

3.3 評(píng)價(jià)指標(biāo)

本文采用準(zhǔn)確率(Precision,Pre)、召回率(Recall,Re)、F1分?jǐn)?shù)(F1)來(lái)評(píng)價(jià)分割的結(jié)果。

網(wǎng)絡(luò)輸出的分割結(jié)果與標(biāo)簽提供的ground truth相比,會(huì)有四種情況,如表1所示:其中TP表示實(shí)際為缺陷,網(wǎng)絡(luò)判斷為缺陷;FP表示實(shí)際為背景,網(wǎng)絡(luò)判斷為缺陷;FN表示實(shí)際為缺陷,網(wǎng)絡(luò)判斷為背景;TN表示實(shí)際為背景,網(wǎng)絡(luò)判斷為背景。三種評(píng)價(jià)指標(biāo)的計(jì)算方法如式(4)-(6)所示:

表1 分割結(jié)果說(shuō)明

(4)

(5)

(6)

準(zhǔn)確率指的是目標(biāo)的標(biāo)簽像素在模型預(yù)測(cè)像素中的比值,召回率指的是目標(biāo)的模型預(yù)測(cè)像素在標(biāo)簽像素中的比值,F1值是一個(gè)綜合指標(biāo),是準(zhǔn)確率和召回率的調(diào)和平均數(shù),能較為全面地評(píng)估模型性能。

3.5 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證在MU-Net網(wǎng)絡(luò)中加入的模塊組合對(duì)提高缺陷分割性能的有效性,本文設(shè)計(jì)了5種不同的網(wǎng)絡(luò)進(jìn)行消融實(shí)驗(yàn)。其中U-Net是基準(zhǔn)網(wǎng)絡(luò),U-Net+IR-DSC表示編碼部分使用IR-DSC模塊,U-Net+IR-DSC+SE表示編碼部分同時(shí)使用IR-DSC和SE模塊,U-Net+DSC-SE表示解碼部分使用DSC-SE模塊,MU-Net是本文提出的改進(jìn)網(wǎng)絡(luò)。表2-5是四類缺陷的消融實(shí)驗(yàn)比較。

表2 裂縫消融實(shí)驗(yàn)結(jié)果

表3 孔洞消融實(shí)驗(yàn)結(jié)果

表4 破損消融實(shí)驗(yàn)結(jié)果

表5 露筋消融實(shí)驗(yàn)結(jié)果

從以上結(jié)果可以看出,與基準(zhǔn)網(wǎng)絡(luò)U-Net相比,編碼部分加入IR-DSC模塊之后,Pre指標(biāo)有了顯著提升,但是誤檢較多,導(dǎo)致分割后的圖像噪點(diǎn)較多,Re、F1值變低,加入SE模塊之后網(wǎng)絡(luò)更注重提取缺陷的特征,抑制背景信息,Re、F1值有了顯著的提升。

此外,基于上述的語(yǔ)義分割評(píng)價(jià)指標(biāo),本文在構(gòu)建的數(shù)據(jù)集上進(jìn)行訓(xùn)練模型泛化能力的評(píng)價(jià)比較。其中Mobile-Unet模型將U-Net模型中的標(biāo)準(zhǔn)卷積替換成了深度可分離卷積,LU-Net是文獻(xiàn)[11]中的模型。

圖5是四類缺陷在不同模型上的分割結(jié)果。對(duì)于裂縫,U-Net模型對(duì)于圖像中部的細(xì)小裂縫分割不完整,Mobile-Unet模型出現(xiàn)噪點(diǎn),LU-Net模型噪點(diǎn)更多并且出現(xiàn)了將部分偽裂縫識(shí)別為裂縫的情況,MU-Net模型由于加入了SE模塊,增大了模型對(duì)裂縫區(qū)域的注意力,因此,全局圖像噪點(diǎn)得到了有效控制,并且也沒(méi)有出現(xiàn)偽裂縫,細(xì)小裂縫分割較為完整。對(duì)于破損,U-Net模型左下角破損區(qū)域出現(xiàn)缺失,Mobile-Unet模型和LU-Net模型的破損區(qū)域邊緣較為光滑,并且出現(xiàn)了噪聲,MU-Net模型分割邊緣貼合ground truth,并且基本沒(méi)有出現(xiàn)破損區(qū)域分割缺失的情況。由于孔洞和露筋形狀呈較為規(guī)則的圓形與長(zhǎng)條狀,并且像素占比不低,因此四種模型都取得了不錯(cuò)的分割結(jié)果。

圖5 四類缺陷在不同模型上的分割結(jié)果

表6-9列出了四類缺陷在其它模型和MU-Net模型上的五折交叉驗(yàn)證結(jié)果,結(jié)果是五折結(jié)果的平均值與方差。實(shí)驗(yàn)表明,MU-Net對(duì)裂縫的分割提升最明顯,準(zhǔn)確率、召回率和F1分?jǐn)?shù)較U-Net分別提高7.9%、1.15%、5.61%,但是穩(wěn)定性遜于U-Net。四種模型對(duì)其它三類缺陷的分割不分伯仲,MU-Net模型要更勝一籌。

表6 模型對(duì)裂縫的分割結(jié)果

表7 模型對(duì)孔洞的分割結(jié)果

表8 模型對(duì)破損的分割結(jié)果

表9 模型對(duì)露筋的分割結(jié)果

表10列出了四類缺陷在不同模型和本文提出的MU-Net上模型參數(shù)量以及訓(xùn)練時(shí)長(zhǎng)上的對(duì)比結(jié)果。U-Net模型的參數(shù)量比其它模型大了一個(gè)數(shù)量級(jí),MU-Net模型的參數(shù)量最少,為U-Net模型的1/16左右;在同樣的100個(gè)epoch的訓(xùn)練條件下,U-Net模型訓(xùn)練時(shí)長(zhǎng)最長(zhǎng),Mobile-Unet、LU-Net和MU-Net由于使用了深度可分離卷積,都加速了模型的訓(xùn)練,MU-Net耗時(shí)最短,約為U-Net模型的1/2。

表10 模型參數(shù)量與訓(xùn)練時(shí)長(zhǎng)對(duì)比

4 結(jié)論

本文基于語(yǔ)義分割U-Net網(wǎng)絡(luò)設(shè)計(jì)了輕量化且有效的MU-Net網(wǎng)絡(luò),編碼部分加入帶深度可分離卷積的反殘差模塊,使得特征提取更加充分全面,加入通道注意力機(jī)制模塊,提升模型在通道維度上提取細(xì)節(jié)特征的能力;解碼部分使用帶有注意力機(jī)制模塊的深度卷積模塊,更好地獲取目標(biāo)區(qū)域的位置關(guān)系和細(xì)節(jié)信息,目標(biāo)特征的位置信息還原更加準(zhǔn)確。此外,本文構(gòu)建了一個(gè)混凝土缺陷數(shù)據(jù)集,數(shù)據(jù)集圖像背景復(fù)雜、缺陷種類全面,具有實(shí)際的工程意義,所提出的網(wǎng)絡(luò)在構(gòu)建的數(shù)據(jù)集上取得了不錯(cuò)的效果。本文現(xiàn)階段依據(jù)混凝土試塊采集了缺陷圖像,未來(lái)將加入戶外實(shí)際橋梁混凝土缺陷圖像,應(yīng)用到實(shí)際混凝土缺陷檢測(cè)中,具有更廣闊的應(yīng)用前景。