楊秋媛,李 寧,石 林,莊麗華,徐守坤
(常州大學(xué) 計算機與人工智能學(xué)院阿里云大數(shù)據(jù)學(xué)院軟件學(xué)院,江蘇 常州 213164)
混凝土表面裂縫檢測是混凝土建筑結(jié)構(gòu)健康監(jiān)測的重要內(nèi)容。傳統(tǒng)的裂縫檢測方法對于數(shù)據(jù)集質(zhì)量要求較高,在光照不均、噪聲多的數(shù)據(jù)集上表現(xiàn)欠佳。
近年來,研究者們致力于將基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測[1]算法運用到裂縫檢測中以解決傳統(tǒng)方法的局限性。
現(xiàn)階段的裂縫檢測[2-7]領(lǐng)域,主要存在以下兩個問題:在特征提取階段,通常隨著網(wǎng)絡(luò)深度加深,逐漸降低的特征圖分辨率會導(dǎo)致裂縫圖像低級語義信息以及細粒度的空間結(jié)構(gòu)信息損失;裂縫檢測作為一種像素級的語義分割,由于其像素級特征的感受野不夠,并且裂縫具有多尺度的現(xiàn)象會導(dǎo)致檢測過程中上下文信息缺失。
由此,本文基于U-Net[8]網(wǎng)絡(luò)的理論與方法,提出一種語義分割網(wǎng)絡(luò)模型,用于混凝土裂縫圖像中的裂縫分割。
本文貢獻主要概括如下:
(1)在編碼器階段引入雙核空洞卷積模塊,該模塊能夠在提取裂縫特征的同時,保留有更多裂縫的低層語義信息和易丟失的空間結(jié)構(gòu)信息。
(2)為了有效提取尺寸不同的裂縫信息,在解碼器階段引入動態(tài)多核融合池化模塊,生成多個感受野捕捉不同尺度上的信息并融合。相比單一的池化層獲得的信息更有全局性,能夠有效提高不同尺寸裂縫的分割效果。
(3)在多核池化模塊階段引入動態(tài)核融合機制構(gòu)成動態(tài)多核融合池化模塊[9],該機制有效從不同分支中動態(tài)選擇重要信息并進行整合,能夠在增加較少計算量的前提下在語義信息豐富但低分辨率特征的幫助下整合語義信息缺失但空間信息豐富的高分辨率特征。
本文提出了一種混凝土裂縫檢測方法,該方法基于U-Net網(wǎng)絡(luò),利用U-Net網(wǎng)絡(luò)的編碼器-解碼器結(jié)構(gòu)結(jié)合跳躍連接從復(fù)雜的混凝土建筑圖像中分割出完整的裂縫圖像。本文方法結(jié)構(gòu)如圖1所示。圖中OS(output stride)表示為輸入圖像的空間分辨率和輸出特征圖的空間分辨率的比值。
圖1 改進的U-net網(wǎng)絡(luò)結(jié)構(gòu)
其中編碼器主干網(wǎng)絡(luò)采用經(jīng)過預(yù)訓(xùn)練的ResNet34[10],并在下采樣過程中加入空洞卷積以保留更多的低層次語義信息;解碼器部分采用了多核池化模塊,在上采樣過程中可以產(chǎn)生多個有效視場以更好分割出不同大小的裂縫;同時,多核池化模塊最后的特征聚合采用動態(tài)核融合機制,在不同分支中有效提取重要信息進行多尺度融合,從而更加精確保留原始特征信息。圖中雙核空洞卷積,由兩個具有不同擴張率的空洞卷積級聯(lián)構(gòu)成。圖中的動態(tài)多核融合池化模塊,由多個具有不同尺寸的池化層以及自注意力機制構(gòu)成。本文算法在上采樣過程中,先采用跳躍連接將編碼器中獲得的對應(yīng)特征圖與解碼過程中獲得的相同尺寸的特征圖拼接,再進行上采樣操作放大特征圖。
空洞卷積[11]的提出主要是為了在不降低特征圖的尺寸(分辨率)情況下實現(xiàn)感受野的增長,讓每個卷積的輸出都包含更大范圍的信息。
以3×3卷積為例,展示普通卷積和空洞卷積之間的區(qū)別,如圖2所示。
圖2 不同擴張率的空洞卷積
圖2中3幅子圖分別代表,圖2(a)普通卷積過程(擴張率為1),卷積后感受野為3;圖2(b)擴張率為2的空洞卷積,卷積后感受野為5;圖2(c)擴張率為3的空洞卷積,卷積后的感受野為7。感受野k′的計算公式如式(1)所示,其中k為卷積核大小,d為擴張率
k′=k+(k-1)*(d-1)
(1)
圖3從一維分析空洞卷積在增大感受野的同時不改變特征圖的尺寸。圖中淺灰色無數(shù)據(jù)正方形表示填充部分,淺灰色有數(shù)據(jù)正方形表示原始數(shù)據(jù)部分,深灰色有數(shù)據(jù)正方形表示經(jīng)過卷積后得到的數(shù)據(jù)部分。
圖3 普通卷積和擴張卷積
輸出特征圖大小尺寸計算如式(2)所示
(2)
混凝土裂縫具有多尺度、裂縫所占像素在全圖比例非常小等特點,這就導(dǎo)致普通的下采樣操作在提取特征降低輸出特征圖尺寸大小的操作過程中很容易丟失一些細小裂縫的語義信息和裂縫的空間結(jié)構(gòu)信息。
為了保證在下采樣過程中既能有效提取裂縫特征,又能提升特征圖的分辨率,本文在普通下采樣操作中加入級聯(lián)的雙核空洞卷積模塊,如圖4所示。圖4中H1、W1、H2、W2代表原始特征圖根據(jù)不同參數(shù)由式(2)得到的輸出特征圖分辨率大小。
圖4 雙核空洞卷積模塊
由于空洞卷積的運算方法比較特殊,如圖2所示,直觀上類似于棋盤格式,上下兩層卷積操作過程獨立并不互相依賴。如果實驗中僅僅多次堆疊空洞卷積,容易導(dǎo)致卷積之后得到的結(jié)果沒有相關(guān)性,即局部信息丟失,裂縫檢測實驗中體現(xiàn)出來的就是裂縫斷裂和孔洞現(xiàn)象。因此,為了避免出現(xiàn)上文所說問題,如圖4所示,本文的雙核空洞卷積模塊由兩個具有不同擴張率的空洞卷積構(gòu)成。擴張率為2時感受野為5×5,擴張率為3時感受野為7×7。
擴大的感受野使得卷積輸出包含有更大范圍的語義信息,較小的感受野可以提取較小對象的特征,較大的感受野可以提取更大對象的特征??斩淳矸e操作后進行輸出特征圖的對應(yīng)像素相加,對應(yīng)值相加能使得特征圖維度不變,但與此同時每個維度都能包含有更多的特征也即語義信息。
本文方法選擇在下采樣中間層使用雙核空洞卷積模塊,一方面:對下采樣后分辨率降低的特征圖使用空洞卷積操作,能夠有效降低計算量,提升處理速度;另一方面:較高分辨率的特征圖擁有更多的低級語義信息,對于像素級別的分割任務(wù)來說,保留的裂縫語義信息以及空間結(jié)構(gòu)信息越精細,分割的結(jié)果越精確。
混凝土裂縫圖像中,同一張、不同圖片里都會出現(xiàn)粗細、深淺不一的現(xiàn)象,也就是檢測目標(biāo)尺度不同。對于非常大或者非常細小的裂縫,網(wǎng)絡(luò)的識別能力較差,算法很難分割準(zhǔn)確,容易出現(xiàn)漏檢誤檢現(xiàn)象。為了解決這個問題,本文提出在解碼器階段采用動態(tài)多核融合池化模塊來生成多個感受野在并行卷積流中更高效捕捉不同尺度、不同子區(qū)域之間的信息。動態(tài)多核融合池化模塊整體結(jié)構(gòu)如圖5所示。
圖5 動態(tài)多核融合池化模塊
由圖5可知,動態(tài)多核融合池化模塊融合了4種不同尺度下的特征,本文中使用了2×2、3×3、5×5、7×7的池化組合。
池化操作后輸出特征圖尺寸計算公式如式(3)所示
(3)
動態(tài)多核融合池化模塊獲取上下文語境信息流程為:首先,不同池化核下輸出的多尺寸的低維特征圖通過雙線性插值進行上采樣,使其與原始特征圖尺寸相同。接著,為了維護全局特征的權(quán)重,在每個特征圖后使用1×1卷積,使特征圖的維數(shù)降到原始特征的1/n, 這里的n表示為原始特征圖的通道數(shù)。最后,將不同層級的特征圖和原始特征圖通過動態(tài)核融合機制拼接成最終輸出的特征圖。
動態(tài)多核融合池化模塊能收集不同尺寸的語義信息并高效融合,獲得一個有層次的全局先驗結(jié)構(gòu),比單一的池化層得到的信息更具有代表性,對于裂縫檢測任務(wù),能有效保留不同粗細、大小裂縫的低層語義信息。
普通的多核池化模塊最后的特征融合采用的是concat操作,但簡單的concat操作得到的特征圖融合的語義信息有限,模型的表達能力提升不足。本文選擇在多核池化最后的特征融合階段引入動態(tài)核融合機制,該機制能使神經(jīng)元對不同尺寸的信息自適應(yīng)調(diào)整其感受野的大小,用以提升在并行卷積流中高效提取并選擇性融合信息的能力。
如圖6所示,動態(tài)核融合機制有3個輸入,U1表示2×2、3×3池化后的輸出逐像素聚合而成的特征圖;U2表示5×5、7×7池化后的輸出逐像素聚合而成的特征圖;U3表示池化操作前的原始輸入。動態(tài)核融合機制共有以下4步操作:第一步,將3個并行輸入進行逐像素聚合,聚合后輸出空間維度為C*H*W的特征圖U;第二步,為了建模特征圖通道間依賴關(guān)系,對U進行全局平均池化操作,輸出空間維度為C*1*1的特征圖;第三步,為了增加更多的非線性從而更好擬合通道間復(fù)雜的相關(guān)性,對特征圖分別進行兩次全卷積操作,第一次卷積操作將輸入的特征維度降低到原來的1/r, 輸出空間維度為Z*1*1, 此處r表示為計算通道縮減時候的縮減系數(shù),第二次卷積操作將維度升到原來的大?。坏谒牟?,利用softmax激勵函數(shù)對分支中的特征圖設(shè)置權(quán)重,因為不同分支中的卷積核尺寸不同,此步操作實現(xiàn)讓網(wǎng)絡(luò)自適應(yīng)的重新校準(zhǔn)多尺度特征圖U1、U2和U3,也即所謂的動態(tài)選擇。
圖6 動態(tài)核融合機制
動態(tài)核融合機制能夠在并行卷積流中有選擇的提取出重要語義信息并保留,抑制低效信息的表達,在裂縫檢測這種前后景像素極度不平均的任務(wù)中,能高效提取出裂縫的語義信息,并有效抑制噪聲以及背景信息,從而為像素級的場景解析提供了一個更加有效的全局場景先驗信息。
對于裂縫檢測這種背景所占比例極大,物體占比很小的不平衡樣本,合適的損失函數(shù)的挑選是十分重要的。本文選擇了組合損失函數(shù)Bce loss+Dice loss。
Bce loss二分類交叉熵損失函數(shù),語義分割中較為常用的分類損失函數(shù),公式表示為
(4)
Dice loss是在V_net[12]文中提出的,文章應(yīng)用于醫(yī)學(xué)圖像分割,但是圖像中需要分割的區(qū)域僅占據(jù)圖片很小的區(qū)域,這使得學(xué)習(xí)易陷入損失函數(shù)的局部最小值,因此作者設(shè)計的Dice loss加大了前景區(qū)域的權(quán)重。Dice可以理解為兩個輪廓區(qū)域的相似程度,用A表示真實值所包含的點集,B表示預(yù)測值包含的點集,定義為
Dice(A,B)=2|A∩B|/(|A|+|B|)
(5)
二分類Dice loss的公式表示如下,其中pn表示為第n個像素點預(yù)測為裂縫的概率值,rn表示為第n個像素點真實像素值,本文設(shè)置ε值為1,加快網(wǎng)絡(luò)收斂,防止產(chǎn)生過擬合
(6)
本文損失函數(shù)將兩者線性結(jié)合,公式表示為
Loss=BL+DL
(7)
組合損失函數(shù)有效結(jié)合了二分類交叉熵損失函數(shù)和Dice損失函數(shù)的優(yōu)點,關(guān)注像素級別的分類正確率同時迫使網(wǎng)絡(luò)加大對裂縫前景特征的學(xué)習(xí),有效克服裂縫圖像中前后景像素分配不均的問題,提升裂縫圖像分割精度。
本文實驗所使用的詳細硬件與軟件環(huán)境配置見表1。
表1 實驗軟、硬件環(huán)境配置
為了驗證本文算法有效性,實驗分別在兩個數(shù)據(jù)集上進行測試。數(shù)據(jù)集1:由使用設(shè)備在路面、橋梁等混凝土結(jié)構(gòu)建筑物上拍攝采集得到,共2000張裂縫圖片,其中1600張分為訓(xùn)練集,400張分為測試集。數(shù)據(jù)集2:采用公共數(shù)據(jù)集CRACK500[7],此數(shù)據(jù)集中共1896張訓(xùn)練圖像,348張驗證集,1124張測試圖像。為防止數(shù)據(jù)量過少導(dǎo)致訓(xùn)練產(chǎn)生過擬合現(xiàn)象,采用數(shù)據(jù)增強HorizontalFlip、RandomGridShuffle和Rotate90°方法,擴充訓(xùn)練集,測試數(shù)據(jù)集不使用數(shù)據(jù)增強。數(shù)據(jù)增強效果如圖7所示。
圖7 數(shù)據(jù)增強
本文實驗參數(shù)設(shè)置見表2。
表2 算法參數(shù)設(shè)置
本文采用精確率(Precision)、召回率(Recall)、均衡平均數(shù)(F1)、交并比(IoU),作為模型性能的評價指標(biāo),各評價指標(biāo)的計算公式如式(8)~式(11)如下
(8)
(9)
(10)
(11)
精確率(Precision)反映了被模型判定為裂縫中真正的裂縫所占比例;召回率(Recall)反映被正確判定為裂縫在總的裂縫中占據(jù)的比例;精確率和召回率對于數(shù)據(jù)為類別不平衡樣本的實驗?zāi)P驮u估效果有一定偏差,而均衡平均數(shù)(F1)是精確率和召回率的調(diào)和平均數(shù),綜合了兩個評價指標(biāo)產(chǎn)出的結(jié)果,均衡平均數(shù)越高說明模型質(zhì)量越好;交并比(IoU),直觀可以表示為真實值和預(yù)測值的交集,也即模型檢測出的真實裂縫與標(biāo)記中的真實裂縫之間的重疊率。當(dāng)前語義分割方法效果評估都是基于此完成的。
為了充分比較本文算法和其它模型在裂縫檢測中的性能,將本文提出的網(wǎng)絡(luò)模型實驗結(jié)果與U-Net、Res-UNet[13]、CE-Net[14]、UNet++[15]、SegNet[16]和DeepLabv3+[17]等這些主流和經(jīng)典的分割算法實驗結(jié)果進行對比。U-Net首先采用了編解碼加跳躍連接的網(wǎng)絡(luò)結(jié)構(gòu)恢復(fù)圖像細節(jié)信息,在裂縫分割中取得了優(yōu)秀的結(jié)果;Res-UNet將U-Net中的VGG16換成具有殘差結(jié)構(gòu)的ResNet34,在一些復(fù)雜結(jié)構(gòu)的裂縫分割任務(wù)中精度得到了提升;CE-Net在上下文提取模塊中使用了DAC和RMP模塊,為了提取上下文語義信息并生成更多高級的特征圖;UNet++對U-Net傳統(tǒng)拓撲結(jié)構(gòu)做了改進,采用長短連接的方式,更加有效融合深淺層特征,提升分割精度;SegNet在編碼器過程中存儲最大池化索引(index),用以在編碼器過程中直接調(diào)用對應(yīng)位置信息進行上采樣操作,能夠有效降低模型復(fù)雜度,加快算法運行速度;DeepLabv3+屬于多融合結(jié)構(gòu)算法,在有效提升特征圖感受野的同時保留足夠的空間位置信息,在復(fù)雜場景任務(wù)下,能有效提升分割精度。
在數(shù)據(jù)集1也即自制數(shù)據(jù)集上進行實驗,各模型評價指標(biāo)結(jié)果對比見表3,實驗最好結(jié)果加粗。實驗效果對比如圖8所示。
表3 自制數(shù)據(jù)集不同模型測試結(jié)果對比
圖8 自制數(shù)據(jù)集測試結(jié)果實驗對比
由表3數(shù)據(jù)可知,在數(shù)據(jù)集1上測試結(jié)果評價指標(biāo)中,精確率(Precision)結(jié)果達到86.55%,召回率(Recall)結(jié)果達到89.64%,均衡平均數(shù)(F1)結(jié)果達到88.04%,交并比(IoU)結(jié)果達到78.86%。與文獻[3]實驗結(jié)果相比,本文算法精確率提高0.31%,召回率提高2.63%,均衡平均數(shù)提升1.42%,交并比提升2.16%;與文獻[18]實驗結(jié)果相比,本文算法精確率提升0.71%,召回率提升3.22%,均衡平均數(shù)提升1.91%,交并比提升3.21%??傮w而言,本文算法實驗結(jié)果均優(yōu)于其它對比分割算法,能夠?qū)α芽p圖像實現(xiàn)更精確的分割。
圖8為實驗效果對比,可以清晰看出,不論圖片中裂縫結(jié)構(gòu)簡單或是復(fù)雜,本文網(wǎng)絡(luò)結(jié)構(gòu)實驗效果最好,不易受噪聲干擾,裂縫完整走勢以及形狀信息基本保留完全。其它方法在拓撲結(jié)構(gòu)復(fù)雜以及有明顯噪聲的圖片中,極易造成細小裂縫的誤檢漏檢,不僅無法保留完全裂縫的基本形狀,而且較為明顯的噪聲會被模型誤識別為裂縫。如U-Net、CE_Net和SegNet算法易受噪聲影響,第一張圖片上的黑色斑塊很明顯被識別為大塊裂縫,第二張圖片上細小的淺灰色豎紋,被識別為小裂縫;UNet++、文獻[3]和文獻[18]容易產(chǎn)生漏檢,第一張圖片右下方孔洞細小的聯(lián)結(jié)區(qū)域未能完全識別,并且這些算法在裂縫走勢復(fù)雜、細小紋路繁多的區(qū)域,也會產(chǎn)生不同程度的誤檢現(xiàn)象,如第二張圖片中有著大量細小蛛狀結(jié)構(gòu)被檢測為塊狀裂縫。
為了充分驗證本文算法在裂縫檢測上的有效性以及自制數(shù)據(jù)集的可信度,在公共數(shù)據(jù)集CRACK500上再進行實驗。實驗損失分布如圖9所示,本文算法損失在10個批次后結(jié)束震蕩穩(wěn)步下降,25批次后下降趨勢漸緩,45批次后趨于穩(wěn)定模型逐漸擬合。與其它算法模型相比,本文算法損失最小,下降最為平緩。值得注意的是對比實驗中SegNet算法的loss值下降非常有限,這是由于本文網(wǎng)絡(luò)模型所采用的訓(xùn)練策略不適合SegNet;文獻[18]的loss前期收斂快速并且小幅震蕩,但在40個批次后開始較大幅度震蕩且至80個批次后仍未穩(wěn)定收斂,實驗證明是由于本文訓(xùn)練策略中設(shè)置的批次過大,使得網(wǎng)絡(luò)陷入局部最優(yōu)。
圖9 不同模型的損失曲線
各模型在公共數(shù)據(jù)集上實驗結(jié)果數(shù)據(jù)對比見表4,本文算法在各類語義分割算法中,實驗精確率(Precision)、均衡平均數(shù)(F1)以及交并比(IoU)仍是最高,只有召回率(Recall)與SegNet算法相比略低0.79%。與裂縫檢測文獻[11]結(jié)果進行對比,本文算法在精確率(Precision)提升1.88%,召回率(Recall)提升3.43%,均衡平均數(shù)(F1)提升2.39%,交并比(IoU)提升4.00%;與裂縫檢測文獻[18]結(jié)果進行對比,本文算法在精確率(Precision)提升3.28%,召回率(Recall)提升2.07%,均衡平均數(shù)(F1)提升2.59%,交并比(IoU)上提升3.86%。與SegNet算法結(jié)果進行對比,本文算法在精確率(Precision)提升8.16%、均衡平均數(shù)(F1)提升4.15%、交并比(IoU)提升5.89%,只在召回率(Recall)的評價指標(biāo)上比SegNet算法略低。與DeepLabv3+算法結(jié)果進行對比,本文算法在精確率(Precision)提升3.35%、召回率(Recall)提升1.25%,均衡平均數(shù)(F1)提升2.45%、交并比(IoU)提升3.41%。
表4 CRACK500不同模型測試結(jié)果對比
數(shù)據(jù)集CRACK500實驗效果對比如圖10所示。文獻[3]算法和本文算法實驗效果相較其它分割算法能夠較大程度上獲得完整裂縫形狀,并且裂縫結(jié)構(gòu)細節(jié)信息基本保留,但文獻[3]算法易產(chǎn)生補足現(xiàn)象,即將原圖中斷裂的細小裂縫自行連接,相較而言,本文算法并未出現(xiàn)此種現(xiàn)象;對比的其它算法則出現(xiàn)了一些細小裂縫結(jié)構(gòu)漏檢以及孔洞問題,如SegNet、CE-Net算法,在圖10中能較為直觀看到它們的效果圖與標(biāo)簽圖的對比,盡管圖片中結(jié)構(gòu)清晰的粗大裂縫被算法完整識別保留,但同時很多邊緣細節(jié)模糊的細小裂縫在算法分割的過程中被丟棄。CRACK500數(shù)據(jù)集實驗效果與數(shù)據(jù)集1實驗結(jié)果相比,各項指標(biāo)數(shù)據(jù)都有一定程度的降低,主要由于CRACK500數(shù)據(jù)集背景噪聲、干擾都比較多。
圖10 CRACK500測試結(jié)果實驗對比
綜上,本文算法在兩個數(shù)據(jù)集上分別進行實驗,所得實驗數(shù)據(jù)結(jié)果以及效果圖都表示本文算法能夠完整檢測出裂縫的拓撲結(jié)構(gòu),誤檢漏檢較少,裂縫檢測精度最高,效果最好。
為了驗證本文設(shè)計的網(wǎng)絡(luò)模型中的級聯(lián)的雙核空洞卷積、原始多核池化模塊以及加入動態(tài)核融合機制的動態(tài)多核融合池化模塊對于實驗結(jié)果性能提升的效果,本節(jié)設(shè)計了模塊間的消融實驗。CRACK500數(shù)據(jù)集上實驗結(jié)果對比見表5。
表5 消融實驗結(jié)果對比
如表5所示,對比實驗1和實驗2,可知采用級聯(lián)的雙核空洞卷積,精確率(Precision)提升了0.81%,召回率(Recall)提升了0.29%,均衡平均數(shù)(F1)提升了0.59%,交并比(IoU)提升了0.70%;對比實驗1和實驗3,可知采用原始多核池化模塊,精確率(Precision)提升了0.24%,召回率(Recall)提升了3.39%,均衡平均數(shù)(F1)提升了1.59%,交并比(IoU)提升了2.04%;對比實驗3和實驗4,可知原始的多核池化模塊的網(wǎng)絡(luò)結(jié)構(gòu)與加入動態(tài)核融合機制的池化模塊的網(wǎng)絡(luò)結(jié)構(gòu)比較,精確率(Precision)提升了1.84%,召回率(Recall)有所降低,降低了1.97%,均衡平均數(shù)(F1)提升了0.03%,交并比(IoU)提升了0.12%。對比實驗1和實驗5,可知組合級聯(lián)的雙核空洞卷積和動態(tài)多核融合池化模塊的網(wǎng)絡(luò)結(jié)構(gòu)與最原始的網(wǎng)絡(luò)結(jié)構(gòu)比較,精確率(Precision)提升了2.47%,召回率(Recall)提升了1.52%,均衡平均數(shù)(F1)提升了1.88%,交并比(IoU)提升了3.00%。值得注意的是對比實驗3和實驗5,只使用多核池化模塊得到的召回率(Recall)優(yōu)于本文最終算法模型,但精確率(Precision)、交并比(IoU)相較本文最終算法模型低,由此得出只使用多核池化模塊的模型能夠找出更多的正樣本,同時在識別判斷正樣本的過程中產(chǎn)生更多的誤差,將負樣本也即背景錯誤識別為正樣本也即裂縫。
數(shù)據(jù)集CRACK500消融實驗效果對比如圖11所示。為了方便展示,如圖11所示,用D2Net表示本文算法、D2Net-D2表示實驗1、D2Net-DF表示實驗2、D2Net-DCM表示實驗3、D2Net-DC表示實驗4。直觀上可以發(fā)現(xiàn),3幅測試圖中,裂縫結(jié)構(gòu)粗大的第一和第三幅子圖檢測結(jié)果較好,裂縫基本結(jié)構(gòu)信息保留完全,第三幅子圖中會出現(xiàn)一些不太明顯的噪聲現(xiàn)象,第一幅子圖中左下方對應(yīng)的邊界裂紋易被漏檢,而含有非常細小裂縫紋路的子圖二,除了本文算法對應(yīng)的D2Net能夠基本保留結(jié)構(gòu)信息,其它實驗都出現(xiàn)了較明顯的漏檢現(xiàn)象。
圖11 CRACK500消融實驗結(jié)果對比
綜上可知,本文所提出的級聯(lián)的雙核空洞卷積和動態(tài)多核融合池化模塊對裂縫圖像分割性能的檢測都有一定的提升,并且將兩個模塊組合實驗?zāi)軌蜻_到最優(yōu)的檢測性能和實驗效果。
本文針對裂縫拓撲結(jié)構(gòu)復(fù)雜、細小裂縫容易誤檢漏檢、裂縫像素占比極度不均的問題,采用了編解碼網(wǎng)絡(luò)結(jié)構(gòu)作為主干網(wǎng)絡(luò),通過在編碼層引入級聯(lián)的雙核空洞卷積以及在解碼層引入動態(tài)多核融合池化模塊,構(gòu)建了一個新的網(wǎng)絡(luò)結(jié)構(gòu)用以裂縫檢測。經(jīng)過充分的實驗,結(jié)果表明本文所提出的網(wǎng)絡(luò)結(jié)構(gòu)在一定程度上提高了裂縫細節(jié)恢復(fù)和空間位置信息定位能力,能夠提高裂縫檢測的性能,在數(shù)據(jù)集CRACK500進行實驗得到的結(jié)果與文獻[3]方法檢測交并比相比提高了4.00%,與文獻[18]方法檢測交并比相比提高了3.86%。但是在一些背景復(fù)雜、噪聲較多的數(shù)據(jù)集上,本文算法的效果仍然有待提升。在以后的研究中會針對此缺陷深入研究,提高網(wǎng)絡(luò)模型的分割能力。