基于圖像的混凝土表面裂縫和孔洞檢測(cè)

李 琛，駱漢賓,，魏 威,，徐文勝，李國衛(wèi)

(華中科技大學(xué) a.湖北省數(shù)字建造與安全工程技術(shù)研究中心；b.土木與水利工程學(xué)院；c.武漢華中科大土木工程檢測(cè)中心，湖北 武漢 430074)

混凝土由于材料特性及制作成型工藝在施工和使用過程中不可避免會(huì)產(chǎn)生不同種類、不同程度的缺陷，圖1為常見混凝土缺陷——裂縫和孔洞[1,2]?；炷寥毕莶粌H影響結(jié)構(gòu)的美觀，嚴(yán)重的甚至直接影響結(jié)構(gòu)的承載力、耐久性、縮短使用壽命。因此，正確地對(duì)混凝土缺陷進(jìn)行識(shí)別、評(píng)估、鑒定，包括缺陷的檢測(cè)和測(cè)量，對(duì)混凝土結(jié)構(gòu)的質(zhì)量安全評(píng)價(jià)、正常使用以及降低損失有著十分重要的意義[3,4]。目前對(duì)混凝土缺陷的日常檢測(cè)通常由人工直接目視或僅僅使用簡(jiǎn)易工具。這種檢測(cè)費(fèi)事、費(fèi)力、危險(xiǎn)，且受檢測(cè)人員的經(jīng)驗(yàn)和技術(shù)水平影響較大，檢查結(jié)果具有一定的主觀性。為解決上述問題，必須改進(jìn)傳統(tǒng)的檢測(cè)方法，減少人工干預(yù)，降低檢測(cè)成本，以推動(dòng)混凝土基礎(chǔ)設(shè)施的日常維護(hù)管理水平。

圖1 常見混凝土缺陷

相較于人工檢測(cè)，基于圖像的混凝土表面缺陷檢測(cè)具有非接觸式、便捷、快速、準(zhǔn)確、安全、成本低等特點(diǎn)。因此，近年來開始廣泛應(yīng)用于各類建筑結(jié)構(gòu)檢測(cè)。通過圖像實(shí)現(xiàn)的缺陷檢測(cè)類似于人類的視覺檢查，其中圖像和視頻是利用圖像技術(shù)進(jìn)行檢測(cè)的兩種主要數(shù)據(jù)載體。而視頻是連續(xù)靜態(tài)圖像的序列，因此，可從混凝土表面缺陷的圖像出發(fā)，研究基于圖像的混凝土表面缺陷智能檢測(cè)，從而為建筑工程的快速和自動(dòng)化健康檢測(cè)提供技術(shù)保障。

數(shù)字圖像處理技術(shù)是用計(jì)算機(jī)對(duì)圖像信息進(jìn)行處理的技術(shù)，它具有檢測(cè)速度快、精度高、易操作的優(yōu)點(diǎn)，已廣泛應(yīng)用于航空航天、生物醫(yī)學(xué)工程、通信工程、工業(yè)工程、軍事等領(lǐng)域，近年來在混凝土缺陷檢測(cè)方面也得到一定應(yīng)用[5]。韓豫等[6]針對(duì)建筑外墻裂縫人工檢測(cè)困難的問題，開發(fā)了基于無人機(jī)的建筑外墻裂縫快速檢查系統(tǒng)，通過無人機(jī)獲取建筑外墻圖片快速檢查外墻是否存在裂縫；Liang等[7]提出一種雙卷積神經(jīng)網(wǎng)絡(luò)模型，能自動(dòng)識(shí)別混凝土橋梁實(shí)際裂縫；王博等[8]將路面裂縫檢測(cè)算法與高空拍攝的復(fù)雜場(chǎng)景圖像相結(jié)合，提出了半自動(dòng)算法用于路面裂縫檢測(cè)；黃宏偉等[3]采用基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法對(duì)地鐵盾構(gòu)隧道滲漏水缺陷進(jìn)行識(shí)別；Liu等[9]利用圖像處理技術(shù)識(shí)別混凝土表面氣孔。此外，基于圖像的混凝土表面缺陷檢測(cè)技術(shù)還能應(yīng)用于檢測(cè)混凝土剝落[10]、鋼筋銹蝕[11]等。上述研究對(duì)基于圖像的混凝土表面缺陷檢測(cè)做出了大量貢獻(xiàn)，涉及不同缺陷類型，研究深度從缺陷的定性識(shí)別到定量計(jì)算。但相關(guān)研究中，基于圖像的混凝土表面缺陷檢測(cè)方法均只針對(duì)某種特定的結(jié)構(gòu)缺陷，如裂縫；而實(shí)際工程中，缺陷往往同時(shí)存在，如混凝土表面裂縫與孔洞同時(shí)存在。因此，亟需一種能同時(shí)檢測(cè)多種結(jié)構(gòu)缺陷，適應(yīng)性較強(qiáng)和自動(dòng)化程度較高的方法。

本文針對(duì)常見的兩種混凝土缺陷——裂縫和孔洞，提出一種基于圖像的混凝土表面缺陷智能檢測(cè)方法。通過數(shù)字圖像處理技術(shù)和深度卷積神經(jīng)網(wǎng)絡(luò)能同時(shí)檢測(cè)混凝土表面裂縫和孔洞，將單一缺陷檢測(cè)擴(kuò)展至兩種缺陷的檢測(cè)，同時(shí)提高了缺陷檢測(cè)的正確率。

1 需求分析及檢測(cè)流程

目前，混凝土表面缺陷的檢測(cè)主要有三種方式——人工目測(cè)、人工測(cè)量、專業(yè)檢測(cè)。人工目測(cè)憑檢測(cè)人員主觀定性判斷；人工測(cè)量，需要檢測(cè)人員進(jìn)行現(xiàn)場(chǎng)勘查、標(biāo)記、測(cè)量，并手寫記錄檢測(cè)結(jié)果；專業(yè)檢測(cè)需要檢測(cè)人員依靠專業(yè)檢測(cè)儀器進(jìn)行表面缺陷檢測(cè)，如激光掃描、超聲波探傷等。表1總結(jié)了以上三種檢測(cè)方式的特點(diǎn)，同時(shí)分析了現(xiàn)有三種檢測(cè)技術(shù)的不足并進(jìn)行相應(yīng)的需求分析。

表1 混凝土表面缺陷檢測(cè)需求分析

基于圖像的混凝土裂縫和孔洞檢測(cè)操作簡(jiǎn)單、成本低、檢測(cè)結(jié)果客觀準(zhǔn)確，能基本滿足表1中的需求。其檢測(cè)準(zhǔn)確性的關(guān)鍵在于圖像預(yù)處理提高圖像質(zhì)量及基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像訓(xùn)練與測(cè)試，圖2為本文提出的檢測(cè)方法技術(shù)流程。

圖2 基于圖像的混凝土裂縫和孔洞智能檢測(cè)流程

2 實(shí) 驗(yàn)

在建筑工程領(lǐng)域目前公開的混凝土裂縫和孔洞樣本數(shù)據(jù)集及可供訓(xùn)練的圖像較少，訓(xùn)練混凝土裂縫和孔洞檢測(cè)模型較難。為獲取混凝土裂縫和孔洞圖像，在實(shí)驗(yàn)室條件下制作不同水灰比及不同引氣劑摻量的標(biāo)準(zhǔn)混凝土塊，并進(jìn)行混凝土抗壓強(qiáng)度實(shí)驗(yàn)，以得到不同裂縫和孔洞特征的混凝土試塊圖像，建立數(shù)據(jù)集。

2.1 材料

水泥采用標(biāo)號(hào)42.5的硅酸鹽水泥，質(zhì)量符合國家標(biāo)準(zhǔn)GB 8076-2008《混凝土外加劑》的規(guī)定，密度3.15 g/cm3，比表面積342 m2/kg，實(shí)驗(yàn)室測(cè)定水泥3，7，28 d強(qiáng)度分別為21.3，34.8，54 MPa；細(xì)集料采用河沙，密度2.55 g/cm3，細(xì)度模數(shù)為2.6；粗集料采用石灰?guī)r碎石，最大粒徑20 mm，密度2.75 g/cm3，壓碎值為8%；外加劑采用引氣劑，主要成分為十二烷基硫酸鈉，質(zhì)量符合國家標(biāo)準(zhǔn)GB 8076-2008《混凝土外加劑》的規(guī)定，引氣劑減水率為12%，密度為1.1 g/cm3。

2.2 配合比

按水灰比0.4，0.5，0.6設(shè)置三種不同配合比。同時(shí)，設(shè)置水灰比相同引氣劑摻量不同的三種配合比，引氣劑摻量分別為水泥質(zhì)量的0.5%，1.0%，1.5%。實(shí)驗(yàn)試塊配合比見表2。

表2 混凝土配合比設(shè)計(jì)

2.3 試塊制備

按設(shè)計(jì)配合比制備不同水灰比及不同引氣劑摻量的標(biāo)準(zhǔn)混凝土試塊，試塊尺寸為150×150×150 mm，制備過程按照GB/T 50081-2019《普通混凝土力學(xué)性能試驗(yàn)方法標(biāo)準(zhǔn)》的規(guī)定。在標(biāo)養(yǎng)室中養(yǎng)護(hù)，至混凝土養(yǎng)護(hù)齡期(分別為3，7，28 d)，取出試塊后清理混凝土表面，對(duì)試塊進(jìn)行抗壓強(qiáng)度試驗(yàn)。按每秒0.5～0.8 MPa連續(xù)均勻地加荷，至試塊破壞，記錄試塊破壞圖像。

3 圖像獲取及預(yù)處理

3.1 圖像獲取

圖像拍攝質(zhì)量與拍攝距離有關(guān)。在相同的拍攝距離下，圖像像素值越高，檢測(cè)精度越高。當(dāng)圖像像素值不變時(shí)，拍攝距離越遠(yuǎn)，圖像單個(gè)像素對(duì)應(yīng)的面積越大，則檢測(cè)精度越低。Liu等[12]研究了拍攝距離與圖像檢測(cè)精度的關(guān)系，結(jié)果表明，尺寸為150×150×150 mm的標(biāo)準(zhǔn)混凝土試塊，最佳拍攝距離為40 cm左右。根據(jù)Liu的方法，經(jīng)過測(cè)試，本研究選取拍攝距離20 cm能滿足拍攝精度，同時(shí)拍攝時(shí)盡可能控制光照一致進(jìn)行混凝土試塊表面拍攝。

至混凝土養(yǎng)護(hù)齡期(分別為3，7，28 d)，取出試塊后清理混凝土表面，并使用消費(fèi)級(jí)數(shù)碼相機(jī)拍攝試塊4個(gè)側(cè)面照片(試塊頂面在振搗完成后收面，頂面無缺陷；試塊底面為方便脫模需墊紙片，導(dǎo)致底面被遮擋，因此不采集試塊頂面和底面照片)?？箟簭?qiáng)度實(shí)驗(yàn)后，采用消費(fèi)級(jí)數(shù)碼相機(jī)，控制光照、距離等環(huán)境要素，記錄試塊缺陷面照片。共采集圖像216張(3016×3016像素)，采集的圖像經(jīng)過裁剪后為227×227像素的子圖像，經(jīng)篩選形成共計(jì)22000張的圖像樣本數(shù)據(jù)集。按照“訓(xùn)練集∶測(cè)試集=4∶1”的比例，將圖像樣本數(shù)據(jù)集分成訓(xùn)練集和測(cè)試集，因此訓(xùn)練集圖像數(shù)量為17600張，測(cè)試集圖像數(shù)量為4400張。

3.2 圖像預(yù)處理

(1)RGB三通道閾值分割

彩色圖像的每個(gè)彩色像素點(diǎn)包括紅(R)、綠(G)、藍(lán)(B)三個(gè)通道，如圖3所示。不同時(shí)間、不同地點(diǎn)拍攝的混凝土圖像光照和陰影不能控制完全相同，直接將彩色圖像轉(zhuǎn)換為灰度圖像或二值圖像進(jìn)行圖像處理受光照和陰影影響較大，因此在圖像閾值分割前進(jìn)行RGB三通道像素值歸一化，這樣做的好處在于，當(dāng)某個(gè)像素受光照或陰影的影響而產(chǎn)生顏色通道R，G，B上的比例變化時(shí)，則通過歸一化操作，可以消除光照和陰影的影響。圖4為混凝土圖像原圖及提取的三個(gè)單通道圖像。

圖3 三通道對(duì)應(yīng)像素形成RGB彩色圖像

圖4 RGB三通道

三個(gè)通道上的歸一化處理后進(jìn)行三個(gè)通道上的閾值分割。每個(gè)通道上的像素點(diǎn)(x,y)的灰度值g(x,y)

(1)

式中：G(x,y)為閾值處理后的圖像；標(biāo)注為0的像素對(duì)應(yīng)于背景，標(biāo)注為1的像素對(duì)應(yīng)于檢測(cè)對(duì)象。

通過選取合適的閾值完成三通道上的閾值分割。經(jīng)RGB三通道閾值分割后的圖像如圖5所示。

圖5 RGB三通道閾值分割

(2)形態(tài)學(xué)處理

形態(tài)學(xué)處理是提取圖像分量的一種方法，通過對(duì)圖像像素與自定義的結(jié)構(gòu)元素進(jìn)行數(shù)學(xué)幾何運(yùn)算，使圖像的特征區(qū)域擴(kuò)大或縮小。形態(tài)學(xué)處理有兩種基礎(chǔ)運(yùn)算——膨脹和腐蝕。膨脹是對(duì)圖像特征“加長(zhǎng)”或“變粗”處理，即[13]：

(2)

式中：A為被處理圖像；B為結(jié)構(gòu)元素；?為空集；A⊕B表示A被B膨脹。

腐蝕是對(duì)圖像特征“收縮”或“細(xì)化”處理，即：

(3)

式中：AC為A的補(bǔ)集；A?B表示A被B腐蝕。

對(duì)圖像先進(jìn)行腐蝕運(yùn)算再進(jìn)行膨脹運(yùn)算稱為形態(tài)學(xué)開運(yùn)算。開運(yùn)算能有效地消除背景噪聲，但同時(shí)形態(tài)學(xué)開運(yùn)算不可避免的將直徑小于0.2 mm的孔洞忽略。由于小孔徑孔洞占孔洞總面積比率較小，同時(shí)小孔徑孔洞對(duì)混凝土影響較小，因此本文不考慮小孔徑孔洞。形態(tài)學(xué)開運(yùn)算為：

A°B=(A?B)⊕B

(4)

對(duì)經(jīng)RGB三通道閾值分割后的圖像進(jìn)行形態(tài)學(xué)開運(yùn)算，處理結(jié)果如圖6所示。

圖6 形態(tài)學(xué)處理

4 裂縫和孔洞檢測(cè)

4.1 深度卷積神經(jīng)網(wǎng)絡(luò)

隨著深度學(xué)習(xí)的迅猛發(fā)展，其應(yīng)用也越來越廣泛，特別是在視覺識(shí)別、語音識(shí)別和自然語言處理等很多領(lǐng)域都表現(xiàn)出色。深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network，DCNN)作為深度學(xué)習(xí)中應(yīng)用最廣泛的網(wǎng)絡(luò)模型之一，也得到越來越多的關(guān)注和研究。傳統(tǒng)圖像處理算法的泛化能力弱，為提高識(shí)別系統(tǒng)的魯棒性，結(jié)合DCNN進(jìn)行混凝土表面缺陷檢測(cè)，DCNN能自動(dòng)提取圖像中的特征值，檢測(cè)效果比傳統(tǒng)方法效果好。

本文基于Alexnet網(wǎng)絡(luò)建立深度卷積神經(jīng)網(wǎng)絡(luò)，圖7為DCNN模型框架圖。該框架共25層，Ln表示對(duì)應(yīng)的層，其中L1為照片輸入層；L25為輸出層；L2，L6，L10，L12，L14為卷積層；L5，L9，L16為池化層；L3，L7，L11，L13，L15，L18，L21為ReLU層；L4，L8為規(guī)范化層；L17，L20，L23為全連接層；L19，L22為Dropout層；L24為Softmax層；COn表示卷積系列操作，如CO1包括卷積層L2、ReLU層L3、規(guī)范化層L4和池化層L5。深度卷積神經(jīng)網(wǎng)絡(luò)第一層為227×227×3的像素分辨率的輸入層，其中數(shù)字表示圖像高度、寬度及RGB三通道。由96個(gè)11×11×3，步長(zhǎng)為1的卷積核進(jìn)行第一次卷積操作，經(jīng)激活函數(shù)ReLU及規(guī)范化后，作為池化層的輸入，進(jìn)行第一次3×3，步長(zhǎng)為1的最大池化操作。經(jīng)過5輪卷積、規(guī)范化及池化，同時(shí)在訓(xùn)練過程中以概率50%關(guān)掉一部分神經(jīng)元，避免在學(xué)習(xí)中過擬合，最后的矢量被送入整流線型單元ReLU。最后由Softmax函數(shù)來預(yù)測(cè)每個(gè)輸入數(shù)據(jù)在卷積后是否為裂縫和孔洞。采用MATLAB提供的FasterRCNN目標(biāo)檢測(cè)來進(jìn)行CNN的訓(xùn)練，訓(xùn)練過程包括4步，每步的學(xué)習(xí)深度為10，其中，前兩步初始學(xué)習(xí)率為10-5，后兩步初始學(xué)習(xí)率為10-6。

圖7 深度卷積神經(jīng)網(wǎng)絡(luò)模型

4.2 測(cè)試結(jié)果

為了驗(yàn)證深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果，需對(duì)測(cè)試集圖像進(jìn)行測(cè)試。一般地，對(duì)于一個(gè)目標(biāo)檢測(cè)問題共有4種檢測(cè)結(jié)果——TP(True Positives)，F(xiàn)N(False Negatives)，TN(True Negative)，F(xiàn)P(False Positives)[14]。針對(duì)混凝土裂縫和孔洞檢測(cè)，TP表示圖像為裂縫或孔洞，且被正確檢測(cè)為裂縫或孔洞的圖像數(shù)量；FN表示圖像為裂縫或孔洞，但被誤檢測(cè)為背景的圖像數(shù)量；TN表示圖像為背景，且被正確檢測(cè)為背景的圖像數(shù)量；FP表示圖像為背景，但被錯(cuò)誤檢測(cè)為裂縫或孔洞的圖像數(shù)量。一張圖像中一般包含一條或兩條裂縫和多個(gè)孔洞，在進(jìn)行測(cè)試時(shí)，本文將檢測(cè)出部分裂縫和孔洞記為正確檢測(cè)。

正確率、精確率、召回率可用來評(píng)價(jià)檢查結(jié)果的質(zhì)量。其中，正確率為正確檢測(cè)樣本數(shù)與總樣本數(shù)之比：

(5)

精確率為檢測(cè)到的正確目標(biāo)樣本數(shù)與檢測(cè)到所用目標(biāo)樣本數(shù)之比：

(6)

召回率為檢測(cè)到的正確目標(biāo)樣本數(shù)與應(yīng)被檢測(cè)到的目標(biāo)樣本數(shù)之比：

(7)

表3為測(cè)試檢測(cè)結(jié)果，裂縫檢測(cè)的正確率、精確率、召回率分別為97.48%，87.78%，92.99%，孔洞檢測(cè)正確率、精確率、召回率分別為94.05%，91.66%，94.27%，裂縫和孔洞檢測(cè)情況較好。

表3 測(cè)試檢測(cè)結(jié)果

圖8展示了測(cè)試樣本中兩張帶裂縫和孔洞的子圖像的檢測(cè)情況?；炷猎噳K尺寸為150×150 mm，對(duì)應(yīng)的像素大小為3016×3016像素，可得每個(gè)像素對(duì)應(yīng)的實(shí)際長(zhǎng)度，從而根據(jù)檢測(cè)的裂縫和孔洞像素大小得到實(shí)際尺寸。其中圖像1裂縫和孔洞檢測(cè)完全正確；圖像2正確檢測(cè)兩條緊鄰的裂縫，但未完全檢測(cè)出所有孔洞，且將非孔洞的污漬錯(cuò)檢測(cè)成孔洞，這是由于混凝土表面細(xì)小污漬與孔洞形狀相似，且灰度值接近，同時(shí)本方法檢測(cè)精度有限，對(duì)粒度過小的孔洞檢測(cè)效果不理想。

圖8 裂縫和孔洞檢測(cè)及測(cè)量結(jié)果

測(cè)量圖像1和圖像2中裂縫長(zhǎng)度和孔洞孔徑，并與實(shí)際測(cè)量尺寸進(jìn)行對(duì)比，對(duì)比結(jié)果如表4，測(cè)量誤差在6%以內(nèi)，測(cè)量精度較高。

表4 裂縫長(zhǎng)度和孔洞孔徑測(cè)量結(jié)果

5 結(jié) 語

針對(duì)目前混凝土表面缺陷檢測(cè)存在的問題，通過結(jié)合數(shù)字圖像處理和深度學(xué)習(xí)提出一種基于圖像的混凝土表面缺陷檢測(cè)方法。該方法能同時(shí)檢測(cè)混凝土表面裂縫和孔洞，檢測(cè)正確率較高，具有一定的工程應(yīng)用價(jià)值。由于在實(shí)際場(chǎng)景下混凝土表面缺陷情況復(fù)雜，缺陷種類多，同時(shí)考慮條件限制，未在實(shí)際場(chǎng)景下進(jìn)行測(cè)試。本文所研究的混凝土表面缺陷只包括裂縫和孔洞，實(shí)際上，混凝土缺陷種類較多，后續(xù)研究可涵蓋更多缺陷類型，在不同實(shí)際場(chǎng)景中進(jìn)行測(cè)試，同時(shí)改進(jìn)相關(guān)算法以提高混凝土缺陷檢測(cè)正確率、減少檢測(cè)測(cè)量誤差。