基于卷積神經(jīng)網(wǎng)絡(luò)的鋼箱梁裂縫檢測算法研究

沈俊凱,張令心,朱柏潔

(1. 中國地震局工程力學(xué)研究所 地震工程與工程振動重點(diǎn)實(shí)驗(yàn)室,黑龍江 哈爾濱 150080;2. 地震災(zāi)害防治應(yīng)急管理部重點(diǎn)實(shí)驗(yàn)室,黑龍江 哈爾濱 150080)

0 引言

隨著建筑工業(yè)化的發(fā)展,裝配式鋼箱梁在鋼結(jié)構(gòu)建筑和大跨度橋梁建設(shè)中得到了廣泛應(yīng)用。這類橋梁結(jié)構(gòu)在服役過程中不可避免的受到車輛動載的持續(xù)沖擊或地震作用影響,鋼箱梁表面,尤其是焊縫處極易出現(xiàn)裂縫損傷。為確保鋼箱梁工作的安全,需要定期對鋼箱梁開展健康診斷和安全評估工作[1]。然而,這種采用鋼箱梁的橋梁結(jié)構(gòu)跨度較大,裂縫常出現(xiàn)在工程師難以直接使用肉眼觀察到的位置[2],人工檢測難度很大。此外,由于震后地震現(xiàn)場安全狀況不明,工程師直接進(jìn)入鋼箱梁內(nèi)部進(jìn)行觀察與評判存在較大的安全隱患。隨著無人機(jī)技術(shù)的飛速發(fā)展,目前已經(jīng)實(shí)現(xiàn)了利用無人機(jī)近距離地采集裂縫圖像,工程師僅需根據(jù)采集到的圖像即可完成對鋼箱梁的健康診斷和震后損傷判別。但這種診斷過程依然費(fèi)時(shí)費(fèi)力,診斷準(zhǔn)確度高度依賴于工程師的專業(yè)知識儲備,主觀性較強(qiáng),無法達(dá)到快速診斷的目標(biāo)。因此,為了能夠更加高效、精確地檢測出圖像中的裂縫損傷,有必要引入計(jì)算機(jī)視覺技術(shù)對采集的圖像開展裂縫識別和提取研究,為橋梁結(jié)構(gòu)的健康診斷和震后損傷判別提供依據(jù)。

針對這一需求,國內(nèi)外眾多學(xué)者開展了廣泛的研究,尤其是近幾年,隨著人工智能的快速發(fā)展,基于深度學(xué)習(xí)方法的計(jì)算機(jī)視覺技術(shù)被廣泛的應(yīng)用于結(jié)構(gòu)損傷檢測領(lǐng)域[3]。例如,CHA等[4]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的混凝土裂縫檢測算法,結(jié)果表明:該算法的檢測精度遠(yuǎn)高于傳統(tǒng)的邊緣檢測方法;ZHANG等[5]提出了一種基于You Only Look Once (YOLOv3)的混凝土橋梁表面損傷檢測算法;XU等[6]提出了一種基于融合卷積神經(jīng)網(wǎng)絡(luò)檢測鋼結(jié)構(gòu)表面裂縫和筆跡的方法;李良福等[7]提出了一種基于深度學(xué)習(xí)的橋梁裂縫檢測方法,利用卷積神經(jīng)網(wǎng)絡(luò)對切割好的小尺度子圖像進(jìn)行分類實(shí)現(xiàn)對裂縫的檢測。然而,上述這類檢測方法都是通過對小窗口內(nèi)的子圖像進(jìn)行分類實(shí)現(xiàn)裂縫檢測,檢測精度仍停留在窗口級,無法實(shí)現(xiàn)像素級的裂縫檢測,也就無法對裂縫開展量化分析。

為了實(shí)現(xiàn)像素級的裂縫檢測,Alipour等[8]提出了基于全卷積神經(jīng)網(wǎng)絡(luò)的CrackPix模型,像素檢測精度明顯優(yōu)于窗口級模型;肖創(chuàng)柏等[9]提出了一種基于Faster R-CNN的鐵軌裂縫檢測算法,通過結(jié)合深度學(xué)習(xí)算法和數(shù)學(xué)形態(tài)法實(shí)現(xiàn)了裂縫的像素級檢測;ZHANG等[10]構(gòu)建了四種不同尺度的U-Net的模型,研究了模型尺度對像素級裂縫檢測精度和效率的影響。上述像素級裂縫檢測方法均為基于編碼器-解碼器框架的單一模型。這類模型所能處理的圖像尺寸較小。然而,現(xiàn)實(shí)世界中采集的圖像尺寸較大,裂縫只占原始圖像中的小部分區(qū)域,直接使用像素級檢測模型檢測整幅圖像會造成大量計(jì)算資源的浪費(fèi),降低檢測效率。

綜上所述,窗口級檢測方法在檢測效率方面優(yōu)勢明顯,但檢測精度不足。像素級檢測方法的檢測精度更高,但檢測效率較低。因此,本文提出了一種將窗口級方法和像素級方法級聯(lián)的鋼箱梁裂縫檢測算法,使用窗口級分類模型準(zhǔn)確地定位并提取出原始圖像中包含裂縫區(qū)域的子圖像,再利用像素級分割模型對裂縫子圖像進(jìn)行像素級的檢測,從而高效、精確地完成對任意尺度圖像的像素級裂縫檢測。

1 方法概述

本文所提出的鋼箱梁裂縫檢測算法的實(shí)現(xiàn)框架如圖1所示。首先,通過分類模型在原始圖像中定位出裂縫所在區(qū)域,提取出裂縫子區(qū)域;然后,將裂縫子區(qū)域輸入到分割模型中,實(shí)現(xiàn)像素級的裂縫檢測;最后,將分割出來的像素級檢測結(jié)果依次拼接,得到最終的檢測結(jié)果。

圖1 本文方法實(shí)現(xiàn)框架Fig. 1 Implementation frame work of the proposed method

1.1 分類模型

分類模型主要負(fù)責(zé)在整體圖像中定位出裂縫所在的區(qū)域。首先,需要將整體圖像采用滑動窗口的方式劃分為若干個(gè)子區(qū)域,滑動窗口的尺寸為512×512像素,滑動步長為512像素;然后,采用分類模型對每個(gè)子區(qū)域進(jìn)行判別,剔除大量無裂縫的背景區(qū)域,提取出含有裂縫的子區(qū)域。為了節(jié)省圖形存儲空間,用于訓(xùn)練分類模型的子區(qū)域尺度可以壓縮為256×256像素,圖2(a)展示了將整體圖像劃分為子區(qū)域的過程;圖2(b)展示了經(jīng)過分類模型檢測后的裂縫子區(qū)域的定位結(jié)果。

圖2 裂縫子區(qū)域定位Fig. 2 Crack sub-region location

1.1.1 模型結(jié)構(gòu)

該研究中所使用的分類模型的骨架為VGG16[11]并根據(jù)分類任務(wù)的復(fù)雜度,將原來的3個(gè)全連接層減少為1層包含256個(gè)神經(jīng)元的全連接層,模型架構(gòu)如圖3所示。卷積層中的卷積核以給定的步幅在輸入張量上滑動,在訓(xùn)練過程中通過不斷調(diào)整卷積核中的參數(shù)實(shí)現(xiàn)對特征的提取。最大池化層負(fù)責(zé)進(jìn)一步提取特征和減少模型復(fù)雜度。同時(shí),為了提高模型的非線性映射能力并降低反向傳播時(shí)求導(dǎo)的難度,本文采用了非線性激活函數(shù)(ReLU),計(jì)算公式如下:

圖3 分類模型的結(jié)構(gòu)Fig. 3 Structure of classification model

(1)

式中:x是提取到的特征;f(x)是激活函數(shù)。

(2)

(3)

式中:y0和y1分別為裂縫和背景的預(yù)測類別概率。

1.1.2 分類模型的損失函數(shù)

本文采用二元交叉熵作為評價(jià)預(yù)測類別與真實(shí)類別之間差異的損失函數(shù),計(jì)算公式如下:

(4)

式中:N為分類的類別數(shù),此處N=2;p0和p1分別代表分類對象的真實(shí)類別。

1.2 分割模型

本文基于U-Net搭建了實(shí)現(xiàn)像素級裂縫檢測的分割模型[12],模型架構(gòu)和各層特征圖尺度如圖4所示。分割模型是一個(gè)基于編碼器-解碼器框架的全卷積神經(jīng)網(wǎng)絡(luò)。編碼器類似于VGG Net16中的特征提取單元,由卷積層和池化層負(fù)責(zé)提取裂縫特征。解碼器則包含了反卷積層和卷積層,負(fù)責(zé)將編碼器提取到的高維特征還原為具有與輸入向量相同尺度的像素級檢測結(jié)果。

圖4 分割模型的網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 Network structure of segmentation model

(5)

(6)

(7)

1.2.1 邊緣填充與特征圖拼接

在編碼階段,若不采用邊緣填充的方式對輸入圖像進(jìn)行補(bǔ)全,特征圖的尺度在卷積的過程中將不斷縮小,導(dǎo)致解碼后的輸出圖像尺度縮水,難以計(jì)算預(yù)測結(jié)果與真實(shí)標(biāo)簽之間的損失值。因此, 本文將采用邊緣同值填充的方式為圖像四周進(jìn)行補(bǔ)全,如圖5所示。從圖5可以看出,對輸入進(jìn)行邊緣填充后,輸出尺度與輸入尺度將會保持一致。特征圖拼接操作是通過通道連接的方式將編碼器的特征和解碼器的特征進(jìn)行融合,從而達(dá)到提高檢測精度的目的,而特征圖拼接的前提是兩個(gè)特征圖的寬高尺度一致。因此,邊緣填充的加入也為編碼特征圖與解碼特征圖相互拼接提供了便利。

圖5 卷積中的邊緣填充Fig. 5 Edge padding in convolution operation

1.2.2 反卷積

在解碼階段,需要將提取到的高維特征向量重新還原成與輸入圖像相同尺度的向量。本文采用反卷積對高維特征進(jìn)行還原,如圖6所示。在反卷積過程中,卷積核與輸入向量中的每一個(gè)元素相乘,生成中間特征圖,之后將所有的中間特征圖按照卷積的方向和步長進(jìn)行合并,得到輸出。相比于插值上采樣,反卷積操作中卷積核中的參數(shù)可以在訓(xùn)練過程中動態(tài)調(diào)整,兼具特征提取的作用。

圖6 反卷積操作示意圖Fig. 6 Schematic of deconvolution operation

1.2.3 分割模型的損失函數(shù)

在訓(xùn)練分類模型時(shí),裂縫圖像樣本和背景圖像樣本是均衡的,可以采用常規(guī)的二元交叉熵作為損失函數(shù)。與分類模型不同,訓(xùn)練分割模型所使用的圖像中存在裂縫像素和背景像素樣本嚴(yán)重不平衡的問題。由公式(6)計(jì)算得到的預(yù)測結(jié)果p和真實(shí)標(biāo)簽r中的裂縫像素與背景像素間存在著數(shù)量級的差異,常規(guī)的損失函數(shù)無法有效的描述預(yù)測結(jié)果與真實(shí)標(biāo)簽之間的差異。為了解決問題,本文引入了generalized dice loss (GDL)作為損失函數(shù),該函數(shù)通過給不同類別的數(shù)據(jù)賦予不同的權(quán)重來提高裂縫像素在損失函數(shù)中的比重,計(jì)算公式如下:

(8)

(9)

式中:i是真實(shí)標(biāo)簽里的類別的總數(shù),以本文的裂縫檢測任務(wù)為例,i為2,分別包括裂縫像素和背景像素;rin是像素n中類別i的真實(shí)值;pin是相應(yīng)的預(yù)測值;wi是每個(gè)類別的權(quán)重;N是一張圖像中的像素總數(shù)。例如,在一張尺寸為512×512像素的圖像標(biāo)簽中,裂縫像素?cái)?shù)量為5000個(gè),背景像素?cái)?shù)量為257144。裂縫像素值為1,背景像素值為0。按照公式(8)計(jì)算,裂縫像素的權(quán)重為1/50002,背景像素的權(quán)重為1/2571442。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集和超參數(shù)設(shè)置

本文所有代碼運(yùn)行的硬件平臺為:CPU:i7-7800x,GPU:2×Nvidia GeForce GTX-1080Ti。代碼均采用Windows下的Pycharm平臺開發(fā),使用基于Python語言的Keras深度學(xué)習(xí)框架。本文所采用的數(shù)據(jù)集是由IPC-SHM提供[13]。數(shù)據(jù)集中包括120張分辨率分別為3264×4928和3864×5152的原始圖像和裂縫標(biāo)注圖像。原始圖像與標(biāo)注出的裂縫圖像如圖7所示。選取其中的100張圖像用于訓(xùn)練模型,20張用于測試訓(xùn)練好的模型。

圖7 原始圖像與標(biāo)注后裂縫圖像樣例Fig. 7 Samples of original image and annotated crack image

首先將100張?jiān)紙D像切割成5145個(gè)512×512像素的子圖像,其中447張裂縫子圖像,背景子圖像與裂縫子圖像的比例為10.5∶1。為了解決兩類子圖像之間數(shù)據(jù)不平衡的問題,需要對裂縫子區(qū)域進(jìn)行數(shù)據(jù)增強(qiáng),對裂縫子圖像進(jìn)行拉伸、旋轉(zhuǎn)等操作以獲取更多裂縫子圖像。最終用于訓(xùn)練分類模型的數(shù)據(jù)集中包含4000個(gè)裂縫子圖像和4000個(gè)背景子圖像。用于訓(xùn)練分割模型的數(shù)據(jù)集中包含447張裂縫區(qū)域的子圖像和其對應(yīng)的裂縫標(biāo)簽。兩個(gè)數(shù)據(jù)集都按照8:2的比例分別劃分為訓(xùn)練集和驗(yàn)證集。

本研究采用Adam優(yōu)化器來優(yōu)化分類模型和分割模型。Adam優(yōu)化器中的一階和二階矩估計(jì)的默認(rèn)指數(shù)衰減率分別設(shè)置為0.9和0.999。初始學(xué)習(xí)率設(shè)置為0.0001,學(xué)習(xí)衰減率設(shè)置為0.01,每一個(gè)epoch的學(xué)習(xí)率根據(jù)下式確定:

(10)

式中:lrepoch為該epoch下的學(xué)習(xí)率;lr初始為初始學(xué)習(xí)率。分類模型的batch_size設(shè)置為120,分割模型的batch_size設(shè)置為6,epoch均設(shè)置為100。分類模型和分割模型在訓(xùn)練階段的損失函數(shù)變化情況如圖8所示。

圖8 分類模型和分割模型的損失Fig. 8 Loss value of classification model and segmentation model

2.2 分類模型結(jié)果分析

測試集中共包括20張?jiān)紙D像,經(jīng)過裁切后,共有1080張子圖像,其中裂縫子圖像112張,背景子圖像968張,表1展示了訓(xùn)練好的分類模型在該數(shù)據(jù)集上的表現(xiàn)。

表1 分類模型在測試集上的混淆矩陣Table 1 Confusion matrix of the classification model on the test set

從表1中可以看出:分類模型對于裂縫和背景子圖像的分類精度均達(dá)到了96%以上。圖9展示了分類模型的部分預(yù)測結(jié)果。從圖9中可以看出:大部分裂縫子圖像和背景子圖像能夠被準(zhǔn)確的識別出來。但是,也有少數(shù)背景區(qū)域由于受到字跡和陰影的干擾而被誤識別為裂縫(圖9(a)紅色虛線方框內(nèi)),還有少數(shù)處在子圖像邊緣或過細(xì)的裂縫也未能被正確識別(圖9(b)紅色虛線方框內(nèi))。

圖9 分類模型預(yù)測結(jié)果Fig. 9 Prediction results of classification model

2.3 分割模型結(jié)果分析

用于檢驗(yàn)分割模型的測試集中共包含112個(gè)裂縫子圖像及其對應(yīng)的標(biāo)簽圖像,分割模型的部分檢測結(jié)果如圖10所示。從圖10中可以看出:大部分的裂縫都能夠被分割模型精準(zhǔn)的檢測出來,只有少數(shù)處于圖像陰影處和非常細(xì)微的裂縫未能被完整的檢測出來。

圖10 分割模型檢測結(jié)果Fig. 10 Detection results of segmentation model

2.4 整體檢測結(jié)果

為了更精確的評估所提出方法的裂縫檢測性能,本文選取F1分?jǐn)?shù)和均交并比(Mean_IoU)作為評價(jià)指標(biāo)。F1分?jǐn)?shù)的計(jì)算公式如下:

(11)

(12)

(13)

式中: TP為標(biāo)簽標(biāo)注為裂縫且檢測結(jié)果也為裂縫的像素點(diǎn)的個(gè)數(shù);FP為標(biāo)簽標(biāo)注為背景但檢測結(jié)果為裂縫的像素點(diǎn)的個(gè)數(shù);FN為標(biāo)簽標(biāo)注為裂縫但檢測結(jié)果為背景的像素點(diǎn)的個(gè)數(shù)。Mean_IoU的計(jì)算公式如下:

(14)

式中: DR為檢測結(jié)果中裂縫像素點(diǎn)的個(gè)數(shù),GT為標(biāo)簽中裂縫像素點(diǎn)的個(gè)數(shù)。

本文所提出的方法在測試集20張圖上的F1分?jǐn)?shù)和Mean_IoU如圖11所示,兩個(gè)評價(jià)指標(biāo)越接近1說明檢測的效果越好。從圖11可以看出:除對少數(shù)圖像中的裂縫檢測效果較差外,本文方法對于多數(shù)圖像均可以精確地檢測出裂縫。為了更清楚地觀察對于不同裂縫的檢測效果,本文將檢測出的裂縫圖像與真實(shí)裂縫圖像進(jìn)行疊加。若檢測出的裂縫與真實(shí)裂縫圖像中的裂縫重疊,表明裂縫檢測結(jié)果是準(zhǔn)確的,將該像素標(biāo)記為黃色;若不重合,表明檢測結(jié)果與真實(shí)裂縫存在誤差,將該像素標(biāo)記為藍(lán)色。圖12展示了4張裂縫圖像的檢測結(jié)果。

圖11 測試集檢測結(jié)果的F1分?jǐn)?shù)和Mean_IoUFig. 11 F1 score and Mean_IoU of detectionresultontestingset

圖12部分測試集裂縫檢測結(jié)果Fig. 12 Partial crack detection results on testing set

從圖12可以看出:無論是長裂縫還是短小裂縫,本文所提出的方法都可以有效的進(jìn)行精確檢測。從圖12還可以看出:本文所提出的方法可以有效地分辨出裂縫與筆跡之間的區(qū)別,不會出現(xiàn)將筆跡誤認(rèn)為裂縫的情況。但本文方法對于兩塊高低不平整的鋼板之間所形成的狹小陰影區(qū)域容易出現(xiàn)誤判?？傮w而言,本文方法對于大部分常規(guī)裂縫都能實(shí)現(xiàn)精確檢測。本文方法的檢測效率和檢測精度與僅使用分割模型的對比見表2。從表2可以看出:本文方法檢測一張千萬像素級的完整圖像中的裂縫平均僅花費(fèi)9.25 s,而僅使用分割模型需要花費(fèi)15.86 s。相比于僅使用分割模型,本文所提出的基于級聯(lián)的檢測方法的檢測速度提高了70%。同時(shí),本文方法的檢測精度也明顯高于僅使用分割模型的方法,F1分?jǐn)?shù)和Mean_IoU分別提高了0.12和0.10。

表2 兩種檢測方法的檢測效率對比Table 2 Detection efficiency comparison of two methods

3 結(jié)論

為精確和快速的實(shí)現(xiàn)對橋梁鋼箱梁內(nèi)部裂縫的像素級檢測,本文提出了一種基于深度學(xué)習(xí)的級聯(lián)式混合方法,得出以下結(jié)論:

1)所提出的方法結(jié)合了基于深度學(xué)習(xí)的分類模型和分割模型,利用分類模型效率高、定位準(zhǔn)確的特點(diǎn)快速定位裂縫區(qū)域,利用分割模型檢測精度高的特點(diǎn)對裂縫區(qū)域進(jìn)行像素級檢測,解決了窗口級算法精度低和像素級算法效率低的問題。

2)相較于現(xiàn)有方法只能檢測固定尺度圖像中的裂縫,本文采取的級聯(lián)策略可以實(shí)現(xiàn)任意尺度圖像裂縫的像素級檢測。

3)本文方法在測試集上的結(jié)果表明:訓(xùn)練好的級聯(lián)模型可以對大部分圖像中的裂縫進(jìn)行像素級檢測,不僅精度高于僅采用分割模型的精度,提取效率也提高了70%,處理一張千萬像素級的圖像平均用時(shí)僅為9.25 s。

4)本文方法具有提高檢測效率,降低人工成本的特點(diǎn),后續(xù)可對提取出的裂縫進(jìn)行量化分析,進(jìn)而對其進(jìn)行更為精細(xì)的健康診斷。