基于HU-ResNet的混凝土表觀裂縫信息提取

徐國(guó)整,廖晨聰,陳錦劍,董 斌,周 越

(1.上海交通大學(xué) a.船舶海洋與建筑工程學(xué)院; b.電子信息與電氣工程學(xué)院,上海 200240; 2.東南大學(xué) 土木工程學(xué)院,南京 211189)

0 概述

在建筑、橋梁、道路和隧道等工程結(jié)構(gòu)建設(shè)領(lǐng)域,混凝土在工程用材中用量占比最高。然而混凝土結(jié)構(gòu)易產(chǎn)生裂縫,不僅影響美觀,也會(huì)降低結(jié)構(gòu)的耐久性與承載能力[1]。傳統(tǒng)混凝土結(jié)構(gòu)的表觀裂縫檢測(cè)通常采用人工巡檢方法,存在檢測(cè)耗時(shí)費(fèi)力、主觀性強(qiáng)和檢測(cè)精度較低等問(wèn)題。而基于數(shù)字圖像處理技術(shù)的混凝土結(jié)構(gòu)裂縫自動(dòng)化檢測(cè)方法具有高效、客觀和精度高等優(yōu)點(diǎn),因此,該方法成為學(xué)者們研究的熱點(diǎn)。

數(shù)字圖像處理方法包括邊緣檢測(cè)法[2]、閾值法[3]以及光譜分析法[4]等,這些方法僅對(duì)背景單一、裂縫清晰以及干擾少等特定情況下的數(shù)據(jù)集有效,而實(shí)際環(huán)境中裂縫檢測(cè)易受裂縫模糊、陰影、樹(shù)葉、劃痕等環(huán)境噪聲干擾,這些噪聲造成基于數(shù)字圖像處理的混凝土結(jié)構(gòu)表觀裂縫檢測(cè)模型誤差大且泛化能力較低[1]。隨著計(jì)算機(jī)性能的完善和深度學(xué)習(xí)技術(shù)的進(jìn)步,國(guó)內(nèi)外研究人員將深度學(xué)習(xí)模型應(yīng)用于土木工程混凝土結(jié)構(gòu)表觀裂縫的檢測(cè)與識(shí)別。文獻(xiàn)[5]將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)應(yīng)用于混凝土裂縫損傷檢測(cè),利用滑動(dòng)窗技術(shù)處理尺寸較大的圖像,并與傳統(tǒng)Canny算子和Sobel邊緣檢測(cè)方法進(jìn)行比較,發(fā)現(xiàn)CNN方法檢測(cè)精度更高且魯棒性更好。文獻(xiàn)[6]采用網(wǎng)絡(luò)爬蟲(chóng)方法收集混凝土裂縫、邊緣、表面等圖像,對(duì)AlexNet分類(lèi)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練并取得較好的精度。文獻(xiàn)[7]采用CrackNet卷積神經(jīng)網(wǎng)絡(luò)對(duì)混凝土裂縫圖像分類(lèi),發(fā)現(xiàn)該方法泛化能力較強(qiáng)且效率較高。文獻(xiàn)[8-9]采用CNN方法進(jìn)行混凝土裂縫圖像識(shí)別,并利用高斯濾波算法、雙邊濾波算法、形態(tài)學(xué)運(yùn)算、大津法等傳統(tǒng)數(shù)字圖像處理方法實(shí)現(xiàn)混凝土表觀裂縫的分類(lèi)和分割,然而其所用分割方法仍基于傳統(tǒng)圖像處理方法,在泛化能力上具有一定局限性。文獻(xiàn)[10]采用基于通道間注意力機(jī)制對(duì)多尺度特征圖賦權(quán)的方法對(duì)混凝土裂縫圖像進(jìn)行分類(lèi)。文獻(xiàn)[11]基于無(wú)人機(jī)進(jìn)行混凝土橋梁裂縫檢測(cè),提出基于CNN的橋梁裂縫分類(lèi)與目標(biāo)檢測(cè)算法,利用檢測(cè)結(jié)果進(jìn)行快速定位,并結(jié)合傳統(tǒng)數(shù)字圖像處理方法得到橋梁裂縫特征的具體數(shù)值。上述研究結(jié)果表明,與傳統(tǒng)圖像處理方法相比,深度學(xué)習(xí)方法在混凝土裂縫圖像識(shí)別方面具有顯著優(yōu)勢(shì),但是該方法僅可解決圖像分類(lèi)問(wèn)題,無(wú)法對(duì)混凝土裂縫像素信息進(jìn)行有效提取。

全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Neural Networks,FCN)[12]將傳統(tǒng)CNN中全連接層換為卷積層,經(jīng)過(guò)多次卷積和池化后直接對(duì)特征圖進(jìn)行反卷積上采樣,生成與輸入圖像分辨率一致的分割結(jié)果,從而實(shí)現(xiàn)像素級(jí)分類(lèi),該網(wǎng)絡(luò)可用于土木工程中混凝土表觀裂縫的目標(biāo)提取[13-15]。此外,研究人員改進(jìn)FCN結(jié)構(gòu)[16],將改進(jìn)前性能最好的FCN-8s模型與改進(jìn)后的FCN-4s、FCN-2s模型進(jìn)行對(duì)比,瀝青路面裂縫數(shù)據(jù)集上的結(jié)果表明FCN-4s模型分割性能更優(yōu)。然而此模型仍存在問(wèn)題:隨著網(wǎng)絡(luò)深度和特征維度增加,下采樣之后圖像細(xì)節(jié)信息會(huì)丟失,造成裂縫提取效果較差。針對(duì)該問(wèn)題,研究人員相繼提出SegNet[17]、DeconvNet[18]和U-Net[19]等網(wǎng)絡(luò)。其中,U-Net卷積神經(jīng)網(wǎng)絡(luò)基于FCN設(shè)計(jì)對(duì)稱(chēng)的編碼和解碼結(jié)構(gòu),將高、低維特征進(jìn)行融合,在醫(yī)學(xué)圖像分割領(lǐng)域具有較高的提取精度。文獻(xiàn)[20-21]采用U-Net卷積神經(jīng)網(wǎng)絡(luò)建立模型,實(shí)現(xiàn)像素級(jí)、小樣本裂縫檢測(cè)。文獻(xiàn)[22]將U-Net與CrackIT、MPS、CrackForest(SVM)方法對(duì)比,發(fā)現(xiàn)U-Net對(duì)裂縫的提取精度更高,但是U-Net分割結(jié)果仍存在邊緣平滑、細(xì)節(jié)丟失和誤檢等問(wèn)題。文獻(xiàn)[23]提出VGG-U-Net路面分割方法,利用已訓(xùn)練好的VGG16和U-Net建立模型,在裂縫數(shù)據(jù)集上實(shí)現(xiàn)優(yōu)于FCN、crack-FCN和U-Net的性能。

本文基于傳統(tǒng)U-Net網(wǎng)絡(luò),提出一種利用HU-ResNet卷積神經(jīng)網(wǎng)絡(luò)模型提取混凝土表觀裂縫的方法。采用ResNet34模型作為HU-ResNet網(wǎng)絡(luò)編碼器,利用scSE模塊[24]和超柱模塊[25]優(yōu)化模型,選用能同時(shí)關(guān)注像素級(jí)別和圖像級(jí)別顯著性的組合損失函數(shù),以更精確地提取圖像中混凝土表觀裂縫信息。

1 HU-ResNet模型算法

1.1 ResNet34預(yù)編碼器

網(wǎng)絡(luò)深度對(duì)視覺(jué)識(shí)別任務(wù)至關(guān)重要[25]。CNN可提取低、中、高層次的特征,網(wǎng)絡(luò)層次越多,可提取的特征信息越豐富。然而簡(jiǎn)單增加網(wǎng)絡(luò)深度會(huì)導(dǎo)致梯度分散或爆炸,分類(lèi)精度達(dá)到飽和后迅速下降。文獻(xiàn)[26]引入ResNet殘差網(wǎng)絡(luò)解決了深度神經(jīng)網(wǎng)絡(luò)的退化問(wèn)題,使用ResNet成功訓(xùn)練出152層神經(jīng)網(wǎng)絡(luò),并在ILSVRC2015比賽中取得冠軍。ResNet網(wǎng)絡(luò)中殘差單元結(jié)構(gòu)如圖1所示。

圖1 ResNet網(wǎng)絡(luò)殘差單元結(jié)構(gòu)

通過(guò)直接將輸入信息繞道傳到輸出,可保護(hù)信息的完整性,整個(gè)ResNet殘差網(wǎng)絡(luò)只需學(xué)習(xí)輸入和輸出的差別,簡(jiǎn)化學(xué)習(xí)目標(biāo)和難度,其性能優(yōu)于VGG網(wǎng)絡(luò)。ResNet定義為:

y=F(x)+x

(1)

其中,x為輸入,y為輸出,F(x)為待學(xué)習(xí)的殘差映射函數(shù)。

模型精度通常隨著網(wǎng)絡(luò)加深而提高,但由于參數(shù)量增加后模型推斷時(shí)間延長(zhǎng),不利于實(shí)際工程應(yīng)用,因此本文未選擇更深的網(wǎng)絡(luò),而是選擇34層ResNet。由于深層卷積神經(jīng)網(wǎng)絡(luò)待訓(xùn)練權(quán)重參數(shù)較多,在數(shù)據(jù)集較小的情況下,訓(xùn)練新網(wǎng)絡(luò)耗時(shí)耗力且易出現(xiàn)過(guò)擬合問(wèn)題,因此本文結(jié)合遷移學(xué)習(xí)對(duì)傳統(tǒng)U-Net卷積網(wǎng)絡(luò)進(jìn)行微調(diào),HU-ResNet模型的編碼器選用經(jīng)ImageNet數(shù)據(jù)集預(yù)訓(xùn)練的ResNet34模型。

1.2 HU-ResNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

U-Net是全卷積神經(jīng)網(wǎng)絡(luò)的一種變形,其模型結(jié)構(gòu)如圖2所示。U-Net模型由編碼器和解碼器組成,編碼器將輸入圖像進(jìn)行多次卷積(Conv)與池化操作得到抽象的高維特征圖,以此來(lái)捕捉圖像中上下文信息,其擴(kuò)展路徑為經(jīng)過(guò)若干反卷積層進(jìn)行上采樣生成相應(yīng)大小的特征圖,并對(duì)圖像中所需分割的區(qū)域進(jìn)行精準(zhǔn)定位。為實(shí)現(xiàn)精準(zhǔn)定位,U-Net編碼器所提取的高像素特征會(huì)在升采樣過(guò)程中與新特征圖結(jié)合,以最大程度保留降采樣過(guò)程的重要特征信息。

圖2 U-Net模型結(jié)構(gòu)

本文基于U-Net提出HU-ResNet模型,其結(jié)構(gòu)如圖3所示，該模型由編碼器和解碼器(Decoder)組成,在每個(gè)編碼塊和解碼塊中引入scSE模塊,編碼塊或解碼塊(U)經(jīng)scSE模塊進(jìn)行特征重新標(biāo)定后,連接到下一個(gè)編碼塊、解碼塊或上采樣等運(yùn)算模塊。其中，scSE模塊結(jié)構(gòu)如圖4所示，scSE模塊本質(zhì)上是2種注意力機(jī)制的疊加,U被輸入到網(wǎng)絡(luò)后進(jìn)入2條支路:圖4中上方支路為sSE支路,該支路經(jīng)1×1卷積操作會(huì)得到長(zhǎng)、寬與輸入U(xiǎn)相同的權(quán)重矩陣,該矩陣與U相乘,可得到在空間重新校準(zhǔn)(Spatially Recalibrate)的特征UsSE;下方支路為cSE支路,該支路經(jīng)最大池化操作得到通道數(shù)與輸入U(xiǎn)相同的權(quán)重矩陣,該矩陣經(jīng)過(guò)2個(gè)全連接層,其中,第1個(gè)全連接層神經(jīng)元數(shù)量為通道數(shù)的一半,計(jì)算復(fù)雜度較低;第2個(gè)全連接層神經(jīng)元數(shù)量等于通道數(shù),通過(guò)激活函數(shù)增加非線(xiàn)性,將經(jīng)過(guò)第2個(gè)全連接層還原到通道數(shù)的矩陣與U相乘,得到在通道方向重新校準(zhǔn)(Channel-wise Recalibrate)的特征UcSE,最終得到沿著空間和通道重新校準(zhǔn)的特征合并輸出UscSE。由于scSE模塊能較好地在空間和通道兩方面同時(shí)增強(qiáng)重要的信息特征并弱化不重要的信息特征,因此其能有效提高裂縫圖像語(yǔ)義分割精度。

圖3 HU-ResNet模型結(jié)構(gòu)

圖4 scSE模塊結(jié)構(gòu)

此外,為更好提取裂縫圖像在不同尺度上的特征,與U-Net神經(jīng)網(wǎng)絡(luò)僅利用最后一層預(yù)測(cè)分割掩碼不同,本文將所有解碼塊上的采樣特征圖進(jìn)行融合作為最后一層的輸入。由于不同解碼塊上特征圖大小有差異,因此先將解碼塊進(jìn)行采樣至原圖大小,然后在通道方向拼接為超柱模塊,并經(jīng)3×3卷積和1×1卷積后輸出單通道預(yù)測(cè)結(jié)果。

1.3 損失函數(shù)

損失函數(shù)是卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化的目標(biāo)函數(shù)。交叉熵?fù)p失作為最常用的損失函數(shù)可用來(lái)衡量樣本數(shù)據(jù)真實(shí)分布與預(yù)測(cè)分布之間的距離,其本質(zhì)上是最大化對(duì)數(shù)似然函數(shù)。本文裂縫圖像的語(yǔ)義分割是二分類(lèi)問(wèn)題,該問(wèn)題的交叉熵?fù)p失函數(shù)如下:

(2)

其中,LBCE為二分類(lèi)的交叉熵?fù)p失,N為圖像像素?cái)?shù)目,yi為第i個(gè)像素點(diǎn)的標(biāo)簽值,Pi為第i個(gè)像素點(diǎn)的預(yù)測(cè)概率值。由于交叉熵?fù)p失函數(shù)每次梯度回傳對(duì)各類(lèi)別具有相同關(guān)注度,因此極易受類(lèi)別不平衡的影響。在裂縫圖像中,裂縫像素?cái)?shù)量占整個(gè)被檢測(cè)圖像像素的比例較低,若僅使用交叉熵函數(shù),則網(wǎng)絡(luò)預(yù)測(cè)結(jié)果更傾向?yàn)楸尘啊?/p>

Dice損失本質(zhì)上是評(píng)估兩輪廓區(qū)域的相似程度,其定義如下:

(3)

其中,DSC為Dice相似系數(shù),A為標(biāo)簽值,B為預(yù)測(cè)值。

Dice損失的表達(dá)式如下:

(4)

其中,LDice為Dice損失,yi為第i個(gè)像素點(diǎn)的標(biāo)簽值;Pi為第i個(gè)像素點(diǎn)的預(yù)測(cè)概率值;ε項(xiàng)設(shè)置為1,以減少過(guò)擬合,加快收斂。

Dice損失是將同類(lèi)別所有像素作為整體計(jì)算損失,且將分割效果評(píng)估指標(biāo)作為損失以監(jiān)督網(wǎng)絡(luò),在計(jì)算交并比時(shí)忽略大量背景像素,解決正負(fù)樣本不均衡的問(wèn)題,因此收斂速度很快。但當(dāng)Pi和yi過(guò)小時(shí),Dice損失梯度會(huì)劇烈變化,造成訓(xùn)練波動(dòng)大導(dǎo)致訓(xùn)練困難。

綜合考慮交叉熵?fù)p失和Dice損失的特點(diǎn),針對(duì)裂縫圖像的語(yǔ)義提取問(wèn)題,本文采用Dice損失和二分類(lèi)交叉熵?fù)p失共同形成的組合損失函數(shù),其表達(dá)式如下:

L總=LBCE+LDice

(5)

其中,L總為總損失,LBCE為二分類(lèi)交叉熵?fù)p失,LDice為Dice損失。

組合損失函數(shù)關(guān)注像素級(jí)別和圖像級(jí)別的顯著性,在使模型訓(xùn)練更穩(wěn)定的同時(shí)還能有效克服正負(fù)樣本不均衡問(wèn)題,從而獲得更精細(xì)的顯著性結(jié)果。

2 數(shù)據(jù)集與評(píng)估標(biāo)準(zhǔn)

2.1 實(shí)驗(yàn)數(shù)據(jù)集

對(duì)于深度學(xué)習(xí)模型而言,多樣化且可靠的數(shù)據(jù)集是決定模型性能優(yōu)劣的關(guān)鍵。2018年,美國(guó)猶他州立大學(xué)研究人員發(fā)布SDNET2018裂縫數(shù)據(jù)集[27],該數(shù)據(jù)集中裂縫寬度為0.06 mm～25 mm,其中包括含有陰影、碎石、小孔、拼接縫等干擾噪聲和障礙物的圖像。研究人員使用COOLPIXL830尼康數(shù)碼相機(jī)在該學(xué)校內(nèi)采集了54個(gè)橋面、72面墻、104條人行道共230張混凝土結(jié)構(gòu)表面開(kāi)裂和未開(kāi)裂的圖像,每張圖像被分成256像素×256像素的子圖像,共有8 484張裂縫圖像和47 608張非裂縫圖像。本文將SDNET2018數(shù)據(jù)集作為訓(xùn)練圖像級(jí)別的分類(lèi)器數(shù)據(jù)集,并從中選取2 000張具有代表性的裂縫圖像(見(jiàn)圖5)進(jìn)行人工標(biāo)注后,按照3∶1隨機(jī)選取圖像分別作為本文模型的訓(xùn)練集與測(cè)試集。

2.2 數(shù)據(jù)增強(qiáng)

在深度學(xué)習(xí)模型中,為輸入足夠數(shù)量的樣本數(shù)據(jù),避免模型過(guò)擬合,通常采用數(shù)據(jù)擴(kuò)增的方式。本文考慮到需提取裂縫信息,因此盡量保留圖像的色彩和空間信息,選擇水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、旋轉(zhuǎn)90°、翻轉(zhuǎn)180°、翻轉(zhuǎn)270°等方式進(jìn)行數(shù)據(jù)擴(kuò)增,以使裂縫數(shù)據(jù)集的數(shù)量變?yōu)樵瓉?lái)6倍,此外,對(duì)應(yīng)的標(biāo)簽圖也做同樣擴(kuò)充,從而使模型具有更強(qiáng)的泛化性能。

2.3 評(píng)估標(biāo)準(zhǔn)

為更好地評(píng)價(jià)模型性能,本文以總體像素準(zhǔn)確率(Pixel Accuracy,ACC)(即所有預(yù)測(cè)正確(正類(lèi)負(fù)類(lèi))像素占全部像素的比重)、交并比(Intersection over Union,IoU)和F1值(F)作為模型性能的評(píng)價(jià)指標(biāo)。其中,總體像素準(zhǔn)確率計(jì)算公式為:

(6)

其中:TP為真正例,即模型將正類(lèi)別樣本正確預(yù)測(cè)為正類(lèi)別;TN為真負(fù)例,即模型將負(fù)類(lèi)別樣本正確預(yù)測(cè)為負(fù)類(lèi)別;FP為假正例,即模型將負(fù)類(lèi)別樣本錯(cuò)誤預(yù)測(cè)為正類(lèi)別;FN為假負(fù)例,即模型將正類(lèi)別樣本錯(cuò)誤預(yù)測(cè)為負(fù)類(lèi)別。

模型預(yù)測(cè)的實(shí)例A和真實(shí)實(shí)例B之間IoU計(jì)算公式為:

(7)

為全面評(píng)估模型的性能,通常需參考召回率(R)和精確率(P),本文用F1值綜合反映召回率和精確率,計(jì)算公式如下:

(8)

(9)

(10)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文基于PYTORCH框架設(shè)計(jì)實(shí)驗(yàn),改進(jìn)U-Net模型的訓(xùn)練和測(cè)試均采用上海交通大學(xué)GPU計(jì)算平臺(tái)Linux系統(tǒng)進(jìn)行,使用4塊11 GB顯存的NVIDIA GeForce GTX 1080Ti GPU。模型編碼器加載在ImageNet上以預(yù)訓(xùn)練模型ResNet的權(quán)重,其他層權(quán)重采用“he_normal”方式初始化。模型輸出層采用Sigmoid激活函數(shù),其他層均采用ReLU激活函數(shù)。訓(xùn)練初始學(xué)習(xí)率設(shè)置為0.001,在第50個(gè)輪回迭代后學(xué)習(xí)率降為0.000 1,在第100個(gè)輪回迭代后學(xué)習(xí)率降為0.000 01,此后以0.000 01的學(xué)習(xí)率繼續(xù)迭代20個(gè)輪回后停止。采用Adam優(yōu)化函數(shù)并利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 評(píng)價(jià)指標(biāo)對(duì)比

圖6是HU-ResNet在訓(xùn)練150個(gè)輪回過(guò)程中,像素準(zhǔn)確率、交并比和F1值3個(gè)評(píng)價(jià)指標(biāo)的對(duì)比情況。由于裂縫圖像中裂縫所占像素比很小,因此即使模型將整張圖像全部判定為背景,像素準(zhǔn)確率從訓(xùn)練初始階段也一直較高。交并比和F1值在50個(gè)輪回迭代前均獲得較高增長(zhǎng),隨后增長(zhǎng)放緩,兩者變化趨勢(shì)基本一致,能較好反映模型訓(xùn)練時(shí)的性能變化。

3.2.2 不同損失函數(shù)對(duì)比

為對(duì)比不同損失函數(shù)對(duì)模型性能的影響,本文進(jìn)行3組實(shí)驗(yàn)。圖7為HU-ResNet模型在二分類(lèi)交叉熵(Bce)損失函數(shù)、Dice損失函數(shù)和組合損失函數(shù)3種不同損失函數(shù)下的損失曲線(xiàn)?？梢钥闯?組合損失函數(shù)最大,這是因?yàn)榻M合損失函數(shù)是Bce損失函數(shù)和Dice損失函數(shù)的疊加;Bce損失函數(shù)的收斂速度比Dice損失函數(shù)更快;3種損失函數(shù)在前50個(gè)輪回均出現(xiàn)下降,這與圖6中評(píng)價(jià)指標(biāo)的變化一致,說(shuō)明本文模型能很好地學(xué)習(xí)提取裂縫的語(yǔ)義信息。

圖7 HU-ResNet模型在不同損失函數(shù)下的訓(xùn)練損失

表1為HU-ResNet模型在不同損失函數(shù)下的評(píng)價(jià)指標(biāo)結(jié)果?？梢钥闯?Bce損失函數(shù)更傾向關(guān)注像素級(jí)別的顯著性,雖然其在訓(xùn)練集上的3個(gè)評(píng)價(jià)指標(biāo)都達(dá)到最高,但在測(cè)試集上并未取得與訓(xùn)練集上一致的表現(xiàn),說(shuō)明Bce損失函數(shù)下的模型在訓(xùn)練時(shí)產(chǎn)生一定的過(guò)擬合問(wèn)題;Dice損失函數(shù)較Bce損失函數(shù)更關(guān)注圖像級(jí)別的顯著性,雖然其在訓(xùn)練集上的評(píng)價(jià)指標(biāo)都低于Bce損失函數(shù),但由于其具有良好的抗過(guò)擬合能力,因此在測(cè)試集上的泛化能力更強(qiáng);組合損失函數(shù)同時(shí)關(guān)注像素級(jí)別和圖像級(jí)別的顯著性,在訓(xùn)練模型時(shí)能更好地收斂且泛化能力更強(qiáng),在測(cè)試集上效果最好。

表1 HU-ResNet模型在不同損失函數(shù)下的評(píng)價(jià)指標(biāo)結(jié)果

3.2.3 不同模型性能對(duì)比

為驗(yàn)證本文提出的HU-ResNet模型性能,將其與傳統(tǒng)FCN8s、U-Net模型以及不加scSE模塊與超柱模塊的U-ResNet模型進(jìn)行對(duì)比,4種模型均采用組合損失函數(shù)作為損失函數(shù),得到的訓(xùn)練損失結(jié)果如圖8所示?？梢钥闯?HU-ResNet模型的訓(xùn)練損失曲線(xiàn)降低最快,其訓(xùn)練損失值低于其他3個(gè)模型;U-ResNet和HU-ResNet模型的收斂速度要顯著高于FCN8s、U-Net模型。

圖8 4種模型的訓(xùn)練損失變化情況

為進(jìn)一步評(píng)價(jià)HU-ResNet模型性能,本文在自制數(shù)據(jù)集上復(fù)現(xiàn)了FCN-4s模型[16]和VGG-U-Net模型[23],不同模型在訓(xùn)練集和測(cè)試集上所得評(píng)價(jià)指標(biāo)結(jié)果的對(duì)比情況如表2所示(其中橫杠表示未訓(xùn)練)?？梢钥闯?HU-ResNet模型在訓(xùn)練集和測(cè)試集上的評(píng)價(jià)指標(biāo)值均最高;VGG-U-Net模型在訓(xùn)練集上評(píng)價(jià)指標(biāo)值較高,但易出現(xiàn)過(guò)擬合問(wèn)題,且其在測(cè)試集上評(píng)價(jià)指標(biāo)值出現(xiàn)下降,模型的泛化能力不如HU-ResNet模型;基于傳統(tǒng)數(shù)字圖像處理方法的Canny模型和區(qū)域生長(zhǎng)模型在測(cè)試集上的評(píng)價(jià)指標(biāo)值均低于其他基于深度學(xué)習(xí)的模型,說(shuō)明在復(fù)雜環(huán)境下深度學(xué)習(xí)方法性能遠(yuǎn)高于傳統(tǒng)數(shù)字圖像處理方法。

表2 不同模型在訓(xùn)練集和測(cè)試集上的評(píng)價(jià)指標(biāo)結(jié)果

4 結(jié)束語(yǔ)

本文在U-Net基礎(chǔ)上建立HU-ResNet模型,提出一種混凝土表觀裂縫檢測(cè)方法。采用ResNet34殘差網(wǎng)絡(luò)為編碼器保留更多裂縫細(xì)節(jié)信息,引入scSE模塊重新標(biāo)定編碼塊與解碼塊的輸出特征,用Dice損失和二分類(lèi)交叉熵?fù)p失構(gòu)建組合損失函數(shù),并利用超柱模塊和組合損失函數(shù)準(zhǔn)確獲取裂縫圖像語(yǔ)義信息。實(shí)驗(yàn)結(jié)果表明,本文模型能更好地捕捉裂縫細(xì)節(jié)信息,與FCN8s、U-Net、U-ResNet等深度學(xué)習(xí)模型相比,其像素準(zhǔn)確率、交并比和F1值更高,具有更好的檢測(cè)效果。后續(xù)將擴(kuò)充裂縫數(shù)據(jù)集,結(jié)合圖像深度技術(shù),使裂縫像素信息轉(zhuǎn)換為真實(shí)物理空間信息,進(jìn)一步提高模型效率、準(zhǔn)確率和泛化能力。