基于DenseNet分類(lèi)的隧道裂縫檢測(cè)研究

高新聞，李帥青，金邦洋

(1.上海大學(xué) 機(jī)電工程與自動(dòng)化學(xué)院，上海 200444;2.上海大學(xué) 上海城建(集團(tuán))公司建筑產(chǎn)業(yè)化研究中心，上海 201400)

0 引言

地鐵是緩解城市交通擁擠的主要方式之一。然而，由于老化、熱膨脹、人為損壞、地形變換等影響，地鐵隧道的表面和內(nèi)部結(jié)構(gòu)受到破壞。這些分裂和細(xì)長(zhǎng)的缺陷通常被稱(chēng)為裂縫。

裂縫作為常見(jiàn)的隧道病害類(lèi)型，會(huì)破壞襯砌結(jié)構(gòu)的剛度和承載能力，而且有概率發(fā)展成裂縫通道腐蝕鋼結(jié)構(gòu)，導(dǎo)致結(jié)構(gòu)的進(jìn)一步受損，造成惡性循環(huán)，嚴(yán)重影響隧道的正常運(yùn)營(yíng)和耐久性[20]。人工檢測(cè)作為隧道裂縫檢測(cè)的通常手段，漏檢嚴(yán)重，這種方法主觀且低效。此外，隧道的不良照明條件使檢查員很難從遠(yuǎn)處看到裂縫。因此，開(kāi)發(fā)自動(dòng)裂縫檢測(cè)和分類(lèi)方法是解決上述問(wèn)題的更優(yōu)選擇。

1 相關(guān)研究

通過(guò)機(jī)器人搭載的高清相機(jī)自動(dòng)觸發(fā)拍攝采集隧道襯砌圖像[1-5]，多方位的相機(jī)陣列保證了隧道圖像采集的完整性，針對(duì)采集的圖像數(shù)據(jù)利用圖像處理技術(shù)自動(dòng)識(shí)別檢測(cè)裂縫的位置、長(zhǎng)度、寬度及面積等信息。利用圖像處理技術(shù)、裂縫量化、變化檢測(cè)、神經(jīng)網(wǎng)絡(luò)和三維可視化模型來(lái)可視化缺陷[9]。通過(guò)自動(dòng)化的檢測(cè)手段將人從乏味、枯燥的勞動(dòng)密集型工作中解脫出來(lái)。

裂縫檢測(cè)算法[8]，大致可以分為圖像獲取、預(yù)處理、圖像處理、裂縫檢測(cè)、參數(shù)評(píng)判幾個(gè)步驟。張文宇等人[7]利用傳統(tǒng)的分割算法對(duì)裂縫圖像進(jìn)行處理，獲得了接近90%的準(zhǔn)確度，但是直接對(duì)整張圖像進(jìn)行裂縫提取容易將噪聲信息包含在內(nèi)，導(dǎo)致精度降低。

隨著深度學(xué)習(xí)在圖像領(lǐng)域的快速發(fā)展，許多有效的分類(lèi)網(wǎng)絡(luò)被提出，如AlexNet[10]、VGGNet[11]、GoogleNet[12]等，利用神經(jīng)網(wǎng)絡(luò)對(duì)裂縫分類(lèi)后處理能夠有效提高檢測(cè)的準(zhǔn)確性[13-15]。Sattar Dorafshan等人通過(guò)AlexNet對(duì)混凝土裂縫圖像進(jìn)行分類(lèi)后檢測(cè)，減少了背景信息干擾，但是在隧道復(fù)雜環(huán)境下，AlexNet分類(lèi)效果受環(huán)境影響較大，影響后續(xù)裂縫檢測(cè)。黃高、劉壯等人[16]設(shè)計(jì)的DenseNet網(wǎng)絡(luò)結(jié)構(gòu)在公開(kāi)數(shù)據(jù)集ImageNet上取得了非常高的識(shí)別率和檢測(cè)效果，然而目前該網(wǎng)絡(luò)應(yīng)用于隧道裂縫分類(lèi)還比較少。

基于深度學(xué)習(xí)的語(yǔ)義分割算法在大樣本集的數(shù)據(jù)集上有較好的效果，黃宏偉等人[3]利用FCN語(yǔ)義分割算法對(duì)隧道圖像進(jìn)行處理，直接獲取裂縫的語(yǔ)義信息。但是FCN分割的結(jié)果往往不夠精細(xì)，圖像過(guò)于模糊或平滑，沒(méi)有分割出目標(biāo)圖像的細(xì)節(jié)，同時(shí)裂縫細(xì)長(zhǎng)交錯(cuò)的形態(tài)在語(yǔ)義分割標(biāo)簽的制作過(guò)程中消耗的時(shí)間成倍增加，人力成本相對(duì)較高。另一方面，隧道中裂縫屬于較為嚴(yán)重的病害，在裂縫早期階段就需要及時(shí)發(fā)現(xiàn)處理，與傳統(tǒng)方法相比，細(xì)長(zhǎng)裂縫圖像的分割處理是深度卷積神經(jīng)網(wǎng)絡(luò)的弱點(diǎn)[6]。

另外，裂縫檢測(cè)除了計(jì)算機(jī)視覺(jué)方法，還有利用激光點(diǎn)云信息[17]、紅外信息[18]等進(jìn)行檢測(cè)，相對(duì)視覺(jué)方法可以忽略一部分光照不均的影響，但是數(shù)據(jù)處理量較大，成本相對(duì)較高，故不在本文考慮范圍之內(nèi)。

有別于其他類(lèi)型的檢測(cè)，隧道裂縫檢測(cè)對(duì)于裂縫的檢測(cè)率有更高的要求。對(duì)于潛在的高危害裂縫，檢測(cè)算法必須保證不放過(guò)任何一個(gè)可能。只有這樣才能實(shí)現(xiàn)隧道的安全。為此，本文提出基于DenseNet分類(lèi)的隧道裂縫檢測(cè)，以應(yīng)對(duì)復(fù)雜隧道環(huán)境，并通過(guò)多維分類(lèi)器在分割基礎(chǔ)上進(jìn)一步去除背景噪聲，以期達(dá)到檢測(cè)的魯棒性。

2 檢測(cè)系統(tǒng)設(shè)計(jì)

本文所提出的檢測(cè)算法如圖1所示，主要可以分為3個(gè)部分：1)將自動(dòng)巡檢車(chē)采集隧道視頻按照管片位置進(jìn)行裁剪獲取原始隧道圖像，通過(guò)畸變校正，去噪等預(yù)處理操作獲得較為清晰的圖像；2)將預(yù)處理后的圖像切分，通過(guò)深度學(xué)習(xí)分類(lèi)算法進(jìn)行裂縫辨別；3)將分類(lèi)判別為裂縫的圖像區(qū)域通過(guò)濾波、光照均衡化、分割、去噪、區(qū)域選取等操作完成裂縫快速檢測(cè)。

圖1 檢測(cè)算法結(jié)構(gòu)圖

2.1 數(shù)據(jù)采集

盾構(gòu)隧道檢測(cè)系統(tǒng)由激光傳感器、云臺(tái)、相機(jī)陣列、磁條導(dǎo)航、避障模塊、RFID路標(biāo)、裝置底盤(pán)等組成。

如圖2所示，隧道視頻由履帶式自動(dòng)巡檢車(chē)視頻陣列采集模塊采集，采集模塊由3個(gè)高清運(yùn)動(dòng)相機(jī)陣列組成。相機(jī)自帶的光學(xué)防抖技術(shù)以及底部云臺(tái)可以減少由于巡檢車(chē)車(chē)身晃動(dòng)造成的畫(huà)面抖動(dòng)。巡檢車(chē)底部安置高功率光源，保證在隧道光線(xiàn)不足處對(duì)照明提供補(bǔ)充，保證采集畫(huà)面的純凈度，但受限于數(shù)量及實(shí)際工作條件限制，采集的視頻畫(huà)面不可避免地存在陰影和昏暗的角落。激光距離傳感器用于測(cè)量表面和相機(jī)之間的距離，為計(jì)算裂縫病害實(shí)際物理參數(shù)(面積、長(zhǎng)度)提供依據(jù)。

圖2 盾構(gòu)隧道檢測(cè)系統(tǒng)

巡檢車(chē)在隧道行進(jìn)途中對(duì)周?chē)膱D像進(jìn)行采集后，先依據(jù)視場(chǎng)長(zhǎng)度進(jìn)行幀率提取，接著對(duì)采集視頻圖像進(jìn)行畸變矯正與降噪，最后把處理后的圖像輸入進(jìn)本文檢測(cè)算法之中。

3 裂縫檢測(cè)

3.1 DenseNet裂縫分類(lèi)

如圖3所示，將原始圖像均勻切分，獲得子圖像。對(duì)子圖像進(jìn)行裂縫與非裂縫分類(lèi)標(biāo)注，建立初始隧道裂縫數(shù)據(jù)集。

圖3 裂縫分類(lèi)

DenseNet結(jié)構(gòu)主要由密集連接塊(DenseBlock)和過(guò)渡層(Transition，卷積+池化)組成。DenseNet將圖像低層的特征圖以適當(dāng)?shù)姆绞接成涞礁邔拥木W(wǎng)絡(luò)中，互相連接所有的層，每個(gè)層都會(huì)接受其前面所有層作為其額外的輸入，這可以實(shí)現(xiàn)特征重用，使得模型更加簡(jiǎn)潔，更易提升效率。由于密集連接方式，DenseNet提升了梯度的反向傳播，使得網(wǎng)絡(luò)更容易訓(xùn)練。

3.2 檢測(cè)流程

如圖4所示，裂縫檢測(cè)包括以下流程：

圖4 快速檢測(cè)

1)圖像濾波處理。獲取的原始圖像由于受到混凝土及環(huán)境因素等影響，往往存在較多的噪聲信息。比如襯砌表面常見(jiàn)的砂石、坑洼麻點(diǎn)等噪聲，如果不做處理會(huì)導(dǎo)致檢測(cè)結(jié)果帶有大量干擾，增加了檢測(cè)的難度，同時(shí)圍繞在裂縫周?chē)脑肼暺茐牧芽p圖像形態(tài)降低了檢測(cè)的精度。預(yù)先利用圖像濾波去除噪聲可以減少上述問(wèn)題。

2)將RGB圖像轉(zhuǎn)化為灰度圖像。圖像的R、G、B顏色分量分別映射到R、G、B立方體的對(duì)角線(xiàn)上。

3)光照均衡化。由于隧道光照條件惡劣，只有引入外部照明才能滿(mǎn)足圖像采集要求，但同時(shí)也會(huì)造成光照不均勻進(jìn)而影響后續(xù)圖像分割效果。特別是過(guò)曝，會(huì)導(dǎo)致裂縫區(qū)域與背景信息層次不清，裂縫提取困難。為解決光照不均勻的問(wèn)題，本文通過(guò)底帽變換，閉運(yùn)算減去原圖的結(jié)果得到背景相對(duì)均勻的圖像。如圖5所示，觀察裂縫圖像的灰度三維圖，可以看到，光照均衡化后，裂縫區(qū)域被凸顯出來(lái)。

圖5 光照均衡化

(1)

兩個(gè)區(qū)域的平均灰度為u0和u1，整幅圖像的平均灰度為u，計(jì)算類(lèi)間方差區(qū)域間的方差為：

σ2(T)=P0(T) (u(T)-u0(T))2+

P1(T) (u(T)-u1(T))2

(2)

取分割的兩個(gè)區(qū)域的最大方差以確定是兩個(gè)區(qū)域的最佳分離狀態(tài)。

5)消除孤立點(diǎn)或孤立塊。由于隧道內(nèi)部的環(huán)境光、襯砌表面缺損、雜物附著以及軟件算法修正等影響，圖像分割可能會(huì)出現(xiàn)孤立點(diǎn)或孤立塊噪聲。采用形態(tài)區(qū)域開(kāi)運(yùn)算，可以去除這些噪聲。公式如下：

E= (FΘS) ?S

(3)

6)區(qū)域選取。利用Sobel邊緣檢測(cè)方法選取裂縫區(qū)域，作為后續(xù)多維分類(lèi)器操作輸入。

3.3 分類(lèi)器

在預(yù)處理中的開(kāi)操作后，多數(shù)的錯(cuò)誤識(shí)別被移除。但是，一些較大區(qū)域的非裂紋部分仍然存在。雖然，當(dāng)閾值足夠大時(shí)，能夠移除這些部分區(qū)域。但是，過(guò)大的閾值會(huì)移除裂縫中不連續(xù)的一部分，降低檢測(cè)率。提取它們的數(shù)值特征可以用于裂縫劃分。采用的數(shù)值特征有周長(zhǎng)面積比律、相對(duì)大小和長(zhǎng)寬比。選取這些多維度特征進(jìn)行分類(lèi)，將圖像閉合區(qū)域分為裂縫與非裂縫兩類(lèi)，剔除非裂縫區(qū)域保留余下部分，獲得較為精準(zhǔn)的裂縫識(shí)別圖像。

3.3.1 周長(zhǎng)面積比律。

對(duì)于平面規(guī)則圖形或者光滑圍線(xiàn),其周長(zhǎng)和面積有如下關(guān)系：

(4)

其中:A是平面區(qū)域面積，P為邊界長(zhǎng)度。比值：

(5)

α的值和圖形形狀有關(guān)系，和大小無(wú)關(guān)。即對(duì)相似的圖形來(lái)說(shuō)，α是一常數(shù)。

裂縫可以歸為分形結(jié)構(gòu)，具備自相似性，遵從分形規(guī)律。因此，通過(guò)分析隧道裂縫分形規(guī)律，提取裂縫面積-周長(zhǎng)特征可以更為有效的篩選裂縫。

3.3.2 相對(duì)大小

對(duì)于處理后的裂縫閉合區(qū)域，通過(guò)計(jì)算區(qū)域內(nèi)像素?cái)?shù)目與圖像尺寸的比值獲得閉合區(qū)域相對(duì)大小。噪聲對(duì)象的像素?cái)?shù)總是小于裂縫的像素?cái)?shù)。考慮到圖片裁剪，縮放等因素產(chǎn)生的影響，選取相對(duì)大小作為特征。

(6)

其中：Σa為閉合區(qū)域像素?cái)?shù)目，w為圖像寬度，h為圖像高度。

3.3.3 長(zhǎng)寬比

裂縫具有細(xì)長(zhǎng)連續(xù)的特征，通過(guò)裂縫最小外接矩形獲取裂縫閉合區(qū)域長(zhǎng)寬比特征，通過(guò)篩選符合細(xì)長(zhǎng)特征的區(qū)域可以過(guò)濾掉一部分噪聲。

在實(shí)際應(yīng)用中，分類(lèi)器的設(shè)計(jì)有較多的限制，時(shí)間成本及分類(lèi)效果都要顧忌到。提取裂縫樣本的上文特征輸入One-Class SVM，訓(xùn)練單分類(lèi)的分類(lèi)器用來(lái)檢測(cè)異常閉合區(qū)域，剔除非裂縫點(diǎn)。

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)數(shù)據(jù)及配置

本次實(shí)驗(yàn)平臺(tái)采用的操作系統(tǒng)為Ubuntu16.04，編程語(yǔ)言Python，內(nèi)存32 GB，GPU為NVIDIAGeForce 1070，在Keras深度學(xué)習(xí)框架下進(jìn)行實(shí)驗(yàn)。分類(lèi)數(shù)據(jù)集分為兩部分，一部分來(lái)自SDNET2018[19]，另一部分為本文數(shù)據(jù)集。我們按照訓(xùn)練集、驗(yàn)證機(jī)、測(cè)試集8∶1∶1的比例分別進(jìn)行隨機(jī)劃分，在遷移學(xué)習(xí)模式下實(shí)驗(yàn)。

本文準(zhǔn)確率計(jì)算公式為：

(7)

其中:TP(True Positive)表示正確分類(lèi)的正樣本數(shù),TN(True Negative)表示表示正確分類(lèi)的負(fù)樣本數(shù)，F(xiàn)P(False Positive)表示錯(cuò)誤預(yù)測(cè)為正例的負(fù)樣本數(shù),FN(False Negative)表示錯(cuò)誤預(yù)測(cè)為負(fù)例的正樣本數(shù)。

4.2 結(jié)果對(duì)比

如表1所示，在SDNET2018數(shù)據(jù)集上，DenseNet算法在2 epoch(4 000迭代)后就達(dá)到了99.95%的準(zhǔn)確率，相比AlexNet在10 epoch后92.90%的準(zhǔn)確率，DenseNet更加高效。隧道裂縫相對(duì)于其他混凝土裂縫來(lái)說(shuō)，存在滲漏水、蛛網(wǎng)、管線(xiàn)以及更復(fù)雜的光照環(huán)境的干擾。在實(shí)際工程中，檢測(cè)更加困難?？梢钥吹皆诒疚臄?shù)據(jù)集中，DenseNet在5epoch后的準(zhǔn)確率為95.83%，相對(duì)SDNET2018數(shù)據(jù)集測(cè)試有一定程度的下降，但是4.17%處于可接受范圍內(nèi)，但是AlexNet網(wǎng)絡(luò)層數(shù)相對(duì)較淺，應(yīng)對(duì)復(fù)雜環(huán)境下各種干擾因素能力相對(duì)更差。

表1 分類(lèi)算法對(duì)比

圖6中的(a)為原始圖像，圖(b)為Sattar Dorafshan等人[13]提到的效果表現(xiàn)較好的LoG檢測(cè)算法，圖(c)為本文使用的檢測(cè)算法?？梢钥吹?，在光照均勻，背景無(wú)干擾，畫(huà)面純凈度較高的情況下，LoG以及本文算法都能很好地檢測(cè)出裂縫區(qū)域。但是LoG算法檢測(cè)裂縫邊緣周?chē)糠址橇芽p區(qū)域被錯(cuò)誤的劃分。在實(shí)際隧道環(huán)境中，裂縫區(qū)域往往伴隨著滲漏水，灰塵，等噪聲的干擾，采集的圖像畫(huà)面明暗不均衡，純凈度較低，如圖7所示，對(duì)比LoG及本文算法可以發(fā)現(xiàn)，LoG算法有較多的不連續(xù)現(xiàn)象，同時(shí)，存在較多的錯(cuò)檢，而本文算法能夠?qū)⒋蟛糠值牧芽p區(qū)域識(shí)別出來(lái)，并且不連續(xù)及錯(cuò)檢較少[21]。

圖6 圖像對(duì)比圖

圖7 圖像對(duì)比圖

如圖8所示，圖(b)為直接利用本文分割算法對(duì)原圖處理結(jié)果，圖(c)為結(jié)合DenseNet深度學(xué)習(xí)分類(lèi)網(wǎng)絡(luò)后處理結(jié)果。通過(guò)前置的分類(lèi)，原圖中無(wú)關(guān)的背景信息，襯砌表面麻點(diǎn)、水痕、灰塵等干擾因素被屏蔽，大大提高了后續(xù)處理的準(zhǔn)確性。

圖8 檢測(cè)對(duì)比圖

5 結(jié)束語(yǔ)

本文提出了一種基于深度學(xué)習(xí)的裂縫檢測(cè)算法。傳統(tǒng)算法大多只關(guān)注于直接對(duì)裂縫圖片的檢測(cè)，本文通過(guò)卷積網(wǎng)絡(luò)對(duì)圖像裂縫區(qū)域進(jìn)行篩選后檢測(cè)，排除了背景無(wú)關(guān)信息的干擾，并通過(guò)提取識(shí)別出的裂縫區(qū)域多維特征進(jìn)一步的對(duì)其分類(lèi)，過(guò)濾掉誤識(shí)別的裂縫區(qū)域，從而獲取精確地裂縫信息為裂縫的病害程度分析提供依據(jù)。本文選取混凝土裂縫數(shù)據(jù)集及隧道裂縫數(shù)據(jù)集，通過(guò)實(shí)驗(yàn)對(duì)比AlexNet及DenseNet網(wǎng)絡(luò)，驗(yàn)證了DenseNet在隧道裂縫分類(lèi)上的準(zhǔn)確性。

本文提出的裂縫檢測(cè)框架具有分類(lèi)效果較優(yōu)、數(shù)據(jù)獲取簡(jiǎn)單、成本較低等優(yōu)勢(shì)。但仍存在一些可改進(jìn)方向：1)通過(guò)加入反饋環(huán)路，使裂縫檢測(cè)方法參數(shù)能夠根據(jù)最終檢測(cè)結(jié)果調(diào)整檢測(cè)方法;2)SVM分類(lèi)器的分類(lèi)依據(jù)直接影響過(guò)濾效果，今后可以通過(guò)增加分類(lèi)維度及更有效的分類(lèi)依據(jù)改進(jìn)分類(lèi)器效果。