基于深度學(xué)習(xí)的橋梁裂縫識別方法研究

應(yīng)俊杰，夏 峰，盧國慶，王 炎

(1.浙江理工大學(xué)建筑工程學(xué)院，浙江 杭州 310018；2.中鐵四局集團(tuán)第二工程有限公司，江蘇 蘇州 236000)

隨著我國經(jīng)濟(jì)迅猛發(fā)展，為了滿足鐵路運(yùn)輸、公路發(fā)展等方面的需求，建設(shè)了大量的橋梁，其中，大部分橋梁建設(shè)以混凝土梁橋?yàn)橹鳎陂L時(shí)間使用過程中，會受到車輛擠壓作用，同時(shí)所采用的材料性能也會發(fā)生退化，從而在橋梁底板出現(xiàn)裂縫，甚至露筋，有重大安全隱患[1]。因此，定期對裂縫檢測對橋梁的維護(hù)和運(yùn)行有著關(guān)鍵作用[2]。根據(jù)裂縫的形態(tài)特征和表觀特征，可以推斷出結(jié)構(gòu)劣化的潛在原因，為橋梁結(jié)構(gòu)健康診斷提供合理的依據(jù)[3]。傳統(tǒng)的橋梁裂縫檢測主要依據(jù)人工測量，效率低、漏檢率高、耗時(shí)耗力、成本高。因此，自動、高效的裂縫檢測對橋梁結(jié)構(gòu)健康評估至關(guān)重要。

目前，基于計(jì)算機(jī)視覺的裂縫自動檢測方法得到了廣泛關(guān)注。大多采用數(shù)字圖像處理技術(shù)和機(jī)器學(xué)習(xí)算法，可以檢測出一些簡單類型的結(jié)構(gòu)損傷[4-5]。Tong等[6]通過采用灰度閾值方法進(jìn)行裂縫提取裂縫，王植等[7]根據(jù)邊緣梯度信息特征自動化設(shè)置閾值來提取裂縫，但是穩(wěn)定性較差。隨著計(jì)算機(jī)技術(shù)的發(fā)展，近些年來，卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像分類和識別方面取得了巨大突破[8]。相比于傳統(tǒng)的圖像處理技術(shù)，基于CNN的裂縫檢測方法更加出色[9]。Zhang等[10]中首次提出將裂縫圖像切割成多個(gè)小圖片，再利用CNN網(wǎng)絡(luò)把圖像分為裂縫和非裂縫，完成裂縫提取。但是這種方法檢測速度慢、效率低、效果差。Chen等[11]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和樸素貝葉斯數(shù)據(jù)融合方案的NB-CNN網(wǎng)絡(luò)識別裂縫圖像，但是此方法僅能識別裂縫位置，不能提取裂縫形狀。Ronneberger等[12]首次提出了UNet模型，是一種全卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)圖像分割，最初用于醫(yī)學(xué)領(lǐng)域如心臟CT圖像[13]、肺結(jié)節(jié)圖像分割[14]。由于UNet網(wǎng)絡(luò)有小樣本、檢測快、識別精準(zhǔn)等優(yōu)點(diǎn)，近年來也應(yīng)用在其他領(lǐng)域中，如道路檢測[15]、遙感影像語義分割[16]。

對此本文將加入了殘差模塊的UNet網(wǎng)絡(luò)應(yīng)用于橋梁裂縫檢測中，提出一種應(yīng)用于橋梁裂縫識別的新方法，并結(jié)合數(shù)字圖像提出一種裂縫長度、寬度的測量辦法，為實(shí)現(xiàn)橋梁自動化識別提供一定的幫助。

1 網(wǎng)絡(luò)結(jié)構(gòu)

語義分割是目標(biāo)檢測領(lǐng)域的重要研究方向之一，它可以實(shí)現(xiàn)像素級的目標(biāo)檢測。語義分割由編碼器和解碼器組成。編碼器利用卷積層來輸入圖像的特征，采用池化層的方法減小了特征讀取的規(guī)模和速度，減輕了網(wǎng)絡(luò)計(jì)算的負(fù)擔(dān)。解碼器則利用反卷積方法將特征圖像恢復(fù)到輸入圖像大小，并預(yù)測結(jié)果。本文將Residual模塊(殘差模塊)加入到UNet網(wǎng)絡(luò)中、并加入對橋梁裂縫進(jìn)行識別檢測。從輸入圖像中分割出裂縫像素和背景像素。

ResNet由He[17]等提出，殘差網(wǎng)絡(luò)是基于卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，ResNet最大的區(qū)別是將輸入加到輸出中，這和最下層的功能信息融合到上層效果是一樣的。當(dāng)網(wǎng)絡(luò)訓(xùn)練層數(shù)越深時(shí)，也意味著能提取到的特征越多，更能表達(dá)圖像語義，但同時(shí)也會面臨嚴(yán)重的梯度消失和網(wǎng)絡(luò)退化問題。殘差塊的加入完美解決了這個(gè)問題網(wǎng)絡(luò)難以優(yōu)化的問題。如圖1所示，相比于傳統(tǒng)模塊，殘差模塊加入了一個(gè)恒等的快捷鏈接。其中H(x)為最優(yōu)映射，F(xiàn)(x)為殘差映射，H(x)=F(x)+x。這使得對H(x)的學(xué)習(xí)轉(zhuǎn)為對F(x)的學(xué)習(xí)，而學(xué)習(xí)F(x)更加容易。

圖1 傳統(tǒng)模塊與殘差塊

Res UNet網(wǎng)絡(luò)是基于ResNet(Rsidual Nural Ntwork)和UNet的語義分割網(wǎng)絡(luò)模型，其結(jié)構(gòu)類型與UNet大體相似。Res UNet網(wǎng)絡(luò)由編碼器、連接器和解碼器三個(gè)部分組成。解碼器是由3個(gè)殘差模塊( residual block)組成，主要作用是對輸入圖像進(jìn)行解碼，讀取特征，也就是下采樣過程。連接器是應(yīng)用于連接編碼器和解碼器之間的信息傳播路徑。解碼器是應(yīng)用于圖像恢復(fù)過程，原理是對圖像中每個(gè)像素進(jìn)行分類，主要由3個(gè)解碼模塊(decoder block)組成，每個(gè)解碼模塊包括批歸一化(Batch Normalization，簡稱BN)、ReLu層和反卷積層。

將殘差網(wǎng)絡(luò)加入到UNet模型中有效克服了因網(wǎng)絡(luò)層數(shù)過多而導(dǎo)致過擬合、參數(shù)冗雜以及深度模型退化等問題。并且由于殘差塊加入，訓(xùn)練速度大大提高，也使得網(wǎng)絡(luò)在以保存較少參數(shù)的情況下確保損失精度較高。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 Res UNet網(wǎng)絡(luò)結(jié)構(gòu)

2 實(shí)驗(yàn)

2.1 圖像來源

實(shí)驗(yàn)對象為浙江省某市約200余座橋梁，進(jìn)行為時(shí)30d的調(diào)研。拍攝天氣均為晴天，拍攝時(shí)間為8點(diǎn)至17點(diǎn)，主要對橋梁梁板裂縫照片信息采集。圖像格式為.jpg，像素為5184DPI×3888DPI。

若直接進(jìn)行分割耗時(shí)較長，且效果較差，因此本文將照片裁剪成256DPI×256DPI的圖像。每張圖像包含了65536DPI樣本，經(jīng)整理，有1702張裂縫圖像，共計(jì)111542272DPI樣本。采集到的圖像裂縫實(shí)際情況使用國產(chǎn)軟件精靈標(biāo)注助手進(jìn)行像素級手動標(biāo)注。按照規(guī)定，將裂縫標(biāo)記為淡藍(lán)色，其余背景均自動標(biāo)記為其他類別數(shù)據(jù)庫中的所有圖像和標(biāo)簽都是RGB三通道PNG格式。在標(biāo)簽圖像中，黑色代表背景，白色代表裂縫，即(0，0，0)代表背景像素，(255，0，0)代表裂縫像素。如圖3所示。

圖3 裂縫圖像與標(biāo)注結(jié)果

2.2 實(shí)驗(yàn)設(shè)置

模型由開源的深度學(xué)習(xí)框架TensorFlow和Keras進(jìn)行搭建，利用Anaconda建立了Res UNet網(wǎng)絡(luò)的虛擬Python環(huán)境，利用CUDA和CUDNN來加速GPU計(jì)算，從而提高網(wǎng)絡(luò)的訓(xùn)練速度。軟件的版本和硬件設(shè)施見表1—2。

表1 訓(xùn)練網(wǎng)絡(luò)所使用的硬件環(huán)境

表2 訓(xùn)練網(wǎng)絡(luò)所使用的軟件環(huán)境

2.3 參數(shù)設(shè)置

由于語義分割的原理是對每個(gè)像素進(jìn)行分類，而不是整個(gè)圖像，以實(shí)現(xiàn)圖像像素級檢測。網(wǎng)絡(luò)參數(shù)設(shè)置為：學(xué)習(xí)率(learning rate)為2×10-4；批量大小(batch size)為4；動量(momentum)為0.99；權(quán)重延遲為0.000001；一階矩估計(jì)的指數(shù)衰減率(beta1)為0.7；二階矩估計(jì)的指數(shù)衰減率(beta2)為0.999，模糊因子(epsilon)為10-8，共200個(gè)周期。激活函數(shù)選擇Sigmoid，解決網(wǎng)絡(luò)深度帶來的過擬合問題。

(1)

式中，S(x)—線性激活函數(shù)，由于它的梯度總是在0和1之間，不存在梯度消失的問題。

選擇Adam作為優(yōu)化工具，采用自適應(yīng)時(shí)刻估計(jì)方法計(jì)算每個(gè)參數(shù)的自適應(yīng)學(xué)習(xí)率，加快收斂速度。

選擇Focal Tversky作為損失函數(shù)，使網(wǎng)絡(luò)集中在裂縫樣本上。該損失函數(shù)是基于Dice函數(shù)進(jìn)行改進(jìn)的版本，既解決了正負(fù)樣本不平衡而難以分類學(xué)習(xí)的問題，又幫助模型提升到感興趣的小區(qū)域，增強(qiáng)分類的速度和準(zhǔn)確率。公式如下：

(2)

(3)

式中，TIc—Focal損失函數(shù)；FTIc—Focal Tversky函數(shù)；gic—真實(shí)標(biāo)簽的概率，代表著像素i屬于c類的概率；pic—預(yù)測標(biāo)簽的概率，代表著像素i屬于c類的概率；∈—提供代表一個(gè)防止被除零的數(shù)值；α、β—超參數(shù)，可以調(diào)整正負(fù)樣本不平衡的回歸能力。

2.4 網(wǎng)絡(luò)評估指標(biāo)

本文使用客觀的評判標(biāo)準(zhǔn)來評估裂縫識別效果：準(zhǔn)確率(precision)，召回率(recall)作為圖像分割結(jié)果的評價(jià)指標(biāo)，并以綜合評價(jià)指標(biāo)(F1)作為準(zhǔn)確率和召回率的評估值。用交并比(IoU)作為檢測裂縫準(zhǔn)確度的標(biāo)準(zhǔn)。

(4)

(5)

(6)

(7)

式中，TP—正確分割裂縫像素?cái)?shù)；FP—錯誤分割裂縫像素?cái)?shù)；FN—漏分割裂縫像素?cái)?shù)；TN—正確預(yù)測背景像素?cái)?shù)。

3 結(jié)果分析

3.1 訓(xùn)練結(jié)果

設(shè)置好超參數(shù)后，開始對網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，其中訓(xùn)練集1069張，驗(yàn)證集633張。為了防止過度擬合，使模型更具魯棒性。在訓(xùn)練的同時(shí)采用了數(shù)據(jù)擴(kuò)充方法，包括：隨機(jī)裁剪、水平翻轉(zhuǎn)、平移、隨機(jī)亮度對比等將數(shù)據(jù)集擴(kuò)充至6倍。為了節(jié)約時(shí)間，設(shè)置了早停程序，一共設(shè)置了240個(gè)迭代次數(shù)。每次迭代時(shí)，計(jì)算當(dāng)前的網(wǎng)絡(luò)訓(xùn)練損失，并保存權(quán)重。

3.2 不同模型對比分析

為了驗(yàn)證該方法的像素級分割性能，本文采用3種模型進(jìn)行了研究比較：UNet、VNet在保證其他參數(shù)都相同的情況下，訓(xùn)練網(wǎng)絡(luò)模型，并通過精確率、綜合評價(jià)指標(biāo)、交并比、召回率來驗(yàn)證訓(xùn)練效果。UNet是在醫(yī)學(xué)領(lǐng)域中較為經(jīng)典的分割網(wǎng)絡(luò)，其結(jié)構(gòu)類似于U型，其原理是對FCN加入了跳躍結(jié)構(gòu)，保留了一些特征信息。VNet是基于UNet基礎(chǔ)上，引入了ResBlock模塊，用卷積模塊代替池化層。而Res UNet并未對卷積模塊進(jìn)行池化，因此這三個(gè)模型對比具有較大的參考價(jià)值。

loss變化情況如圖4所示，可以看出UNet下降幅度最大，收斂需要的迭代周期最久，其次為VNet和Res UNet，這可能與模型結(jié)構(gòu)有關(guān)，UNet模型結(jié)構(gòu)相對簡單，迭代過程中容易丟失細(xì)節(jié)，下降需要更多迭代周期，約40個(gè)周期才趨于穩(wěn)定。VNet和Res UNet由于ResBlock模塊加入，需要迭代周期少，分別需要約20個(gè)周期和15個(gè)周期，從最后表現(xiàn)結(jié)果來看Res UNet效果更佳。

圖4 不同模型的訓(xùn)練損失

各模型準(zhǔn)確率、綜合評價(jià)指標(biāo)、交并比、召回率的變化如圖5所示?？梢钥闯鯱Net與VNet表現(xiàn)效果差不多，都略遜于Res UNet。精確率方面，Res UNet比VNet高出4.613%，比UNet高出6.471%，達(dá)到72.337%；交并比方面，Res UNet比VNet高出4.966%，比UNet高出4.024%，達(dá)到66.245%；召回率方面，Res UNet比VNet高出5.059%，比UNet高出5.651%，達(dá)到90.478%；綜合評價(jià)指標(biāo)方面，Res UNet比VNet高出4.844%，比UNet高出6.472%，達(dá)到80.242%。參考評價(jià)指標(biāo)以及迭代周期，Res UNet模型表現(xiàn)最佳。

圖5 評價(jià)指標(biāo)：(a)準(zhǔn)確率，(b)召回率，(c)交并比，(d)綜合評價(jià)指標(biāo)

3.3 識別結(jié)果對比

部分識別結(jié)果見表3，表3分別對比了原圖、標(biāo)簽圖以及各模型輸出圖片。樣本1中UNet模型未識別出細(xì)裂縫(左上角)，而其他兩個(gè)模型識別效果較好可能由于UNet模型對細(xì)節(jié)把控不佳。樣本2中UNet、VNet模型均將左上角誤識別為裂縫，而標(biāo)簽圖未標(biāo)記為裂縫，觀察實(shí)際原圖也不是裂縫，僅是類似為裂縫。樣本3中3個(gè)模型表現(xiàn)都與標(biāo)簽圖類似。樣本4中VNet模型誤識別了細(xì)裂縫。通過分析之后，發(fā)現(xiàn)對于大多數(shù)情況所有模型都能識別出來，但是對于細(xì)節(jié)方面僅Res UNet表現(xiàn)較好。綜合對比之后，Res UNet模型輸出圖片最接近標(biāo)簽圖，識別效果最好。

表3 不同模型識別結(jié)果對比

4 結(jié)語

本文闡述了全卷積神經(jīng)網(wǎng)絡(luò)技術(shù)識別裂縫信息的原理，針對橋梁裂縫識別問題，提出采用python語言編寫裂縫識別程序，并進(jìn)行了驗(yàn)證，得出如下結(jié)論：

(1)采用消費(fèi)級相機(jī)人工采集橋梁裂縫病害數(shù)據(jù)集，并對圖像數(shù)據(jù)進(jìn)行歸一化處理并標(biāo)注，構(gòu)建訓(xùn)練庫以供網(wǎng)絡(luò)模型訓(xùn)練，但目前數(shù)據(jù)數(shù)量遠(yuǎn)遠(yuǎn)不足，未來主要任務(wù)還需要整理收集更多樣本。

(2)針對現(xiàn)有橋梁自動化識別研究中存在的問題，提出了加入殘差塊的改進(jìn)UNet模型，對比了UNet、 VNet模型，結(jié)果表明：本文所提供方法能較為精確地檢測出橋梁裂縫。

本文所提出的一整套橋梁裂縫自動檢測方法，對橋梁的養(yǎng)護(hù)和運(yùn)營具有重要意義。