基于樣本自動(dòng)標(biāo)注的隧道裂縫病害智能識(shí)別

王耀東 ，朱力強(qiáng) ，余祖俊 ，史紅梅 ，折昌美

（1.北京交通大學(xué)智慧高鐵系統(tǒng)前沿科學(xué)中心， 北京 100044；2.北京交通大學(xué)載運(yùn)工具先進(jìn)制造與測(cè)控技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室， 北京 100044；3.中國(guó)科學(xué)院微電子研究所，北京 100029）

我國(guó)鐵路隧道和地鐵隧道總里程世界第一，老舊線路存在多種病害，需要高效率的快速智能檢測(cè)技術(shù).隧道裂縫是重要病害，在復(fù)雜惡劣的環(huán)境下，人工巡檢效率低下，難以滿足需求.隨著機(jī)器視覺(jué)和圖像處理技術(shù)的發(fā)展，圍繞隧道裂縫智能檢測(cè)的研究不斷拓展[1].當(dāng)前隧道病害自動(dòng)檢測(cè)的研究，主要利用視覺(jué)檢測(cè)技術(shù)，對(duì)隧道病害圖像實(shí)現(xiàn)采集和智能處理[2].

國(guó)內(nèi)外在裂縫圖像采集和處理方面有一系列的研究，大都采用傳統(tǒng)檢測(cè)算法和深度學(xué)習(xí)理論[3].地鐵隧道表面圖像背景特征具有復(fù)雜性、隨機(jī)性和無(wú)特定規(guī)則的特點(diǎn)，除了管線、配電箱、逃生平臺(tái)等設(shè)施外，包含大量的背景噪聲干擾.王睿等[4]設(shè)計(jì)了鐵路隧道裂縫檢測(cè)系統(tǒng)，研究了圖像識(shí)別算法，可對(duì)普通裂紋圖像進(jìn)行檢測(cè)識(shí)別，并沒(méi)有用到深度學(xué)習(xí)算法.朱力強(qiáng)等[5]研究了隧道圖像采集系統(tǒng)，設(shè)計(jì)了隧道病害圖像檢測(cè)算法，提出了裂縫發(fā)展變化趨勢(shì)智能分析檢測(cè)理論.日本研制了隧道裂縫病害檢測(cè)車，探究傳統(tǒng)圖像處理算法以自動(dòng)識(shí)別裂縫圖像.Medina等[6]研究了裂縫邊緣檢測(cè)算法，并進(jìn)行精確的像素計(jì)算.傳統(tǒng)算法主要圍繞像素級(jí)處理，對(duì)簡(jiǎn)單裂縫圖像的識(shí)別效果較好，但直接用于復(fù)雜裂縫圖像的檢測(cè)時(shí)效果不佳.

目前，隨著深度卷積網(wǎng)絡(luò)研究的發(fā)展，隧道圖像智能識(shí)別技術(shù)又上升一個(gè)臺(tái)階.Huang 等[7]研制了隧道圖像采集裝置，設(shè)計(jì)了隧道裂縫圖像的深度學(xué)習(xí)算法，可以對(duì)裂縫、水漬、管線等目標(biāo)進(jìn)行識(shí)別.深度學(xué)習(xí)算法通常利用樣本標(biāo)注和網(wǎng)絡(luò)設(shè)計(jì)，進(jìn)行裂縫圖像的智能檢測(cè)，對(duì)于特征清晰的目標(biāo)，準(zhǔn)確率達(dá)到85%左右，但對(duì)于復(fù)雜圖像的識(shí)別精度不高，特別需要人工進(jìn)行精細(xì)化圖像標(biāo)注工作，標(biāo)注的精度直接影響識(shí)別精度[8-10].深度學(xué)習(xí)算法比傳統(tǒng)方法和特征提取算法效果好、智能化程度高，但是標(biāo)注樣本所需時(shí)間長(zhǎng)、工作量大.特別地，對(duì)于裂縫圖像的細(xì)小病害特征，高精度的邊緣標(biāo)注需要花費(fèi)大量人工時(shí)間，急需研究高效率的自動(dòng)標(biāo)注和檢測(cè)方法[11-12].

為了解決人工標(biāo)注和裂縫圖像自動(dòng)識(shí)別的難題，本文提出了一種結(jié)合圖像特征提取和深度學(xué)習(xí)的隧道裂縫樣本自動(dòng)標(biāo)注與識(shí)別算法.利用圖像淺層處理，降低人工肉眼標(biāo)注工作量，建立局部裂縫樣本圖像.研究適用于裂縫局部圖像的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)隧道裂縫病害區(qū)域的自動(dòng)檢測(cè).為了實(shí)現(xiàn)隧道圖像的自動(dòng)采集，設(shè)計(jì)了一套基于軌道運(yùn)行的隧道襯砌圖像采集系統(tǒng)，利用多目視覺(jué)采集隧道裂縫圖像，再結(jié)合算法研究，以實(shí)現(xiàn)智能識(shí)別.

1 隧道圖像采集與智能識(shí)別方法

本研究為了解決這個(gè)難題，提出了基于區(qū)域特征分析的裂縫樣本數(shù)據(jù)標(biāo)注方法，基于已有的裂縫圖像，設(shè)計(jì)傳統(tǒng)像素級(jí)處理算法，初步提取并自動(dòng)選出裂縫區(qū)域，建立初步樣本庫(kù)，代替人工標(biāo)注圖像，實(shí)現(xiàn)自動(dòng)圖像標(biāo)注.針對(duì)裂縫圖像樣本病害特征，訓(xùn)練改進(jìn)的深度卷積網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)裂縫圖像的自動(dòng)識(shí)別.

裂縫圖像采集與識(shí)別原理如圖1 所示，研制軌道移動(dòng)式圖像采集平臺(tái)，用于隧道表面圖像的采集.結(jié)合隧道現(xiàn)場(chǎng)手動(dòng)拍攝的圖像和原有的隧道圖像，建立隧道表面圖像數(shù)據(jù)集，配置多種尺度裂縫特征樣本庫(kù).

圖1 隧道裂縫圖像采集與識(shí)別算法Fig.1 Tunnel crack image acquisition and recognition algorithm

選取裂縫圖像數(shù)據(jù)，設(shè)計(jì)圖像預(yù)處理方法，對(duì)隧道圖像數(shù)據(jù)集進(jìn)行前處理操作.針對(duì)裂縫圖像進(jìn)行連通域?yàn)V波和病害特征分析，實(shí)現(xiàn)隧道圖像的批量處理，得到候選裂縫特征子圖像集合，代替人工完成裂縫局部圖像的自動(dòng)標(biāo)注.針對(duì)隧道裂縫特征，建立裂縫圖像的3 種特征樣本，改進(jìn)深度卷積網(wǎng)絡(luò)，進(jìn)行圖像智能識(shí)別算法的對(duì)比實(shí)驗(yàn)，驗(yàn)證算法理論的可行性.

2 隧道圖像病害特征分析與識(shí)別

2.1 隧道裂縫圖像預(yù)處理

由于隧道環(huán)境惡劣、光照不均，所采集的圖像存在多種噪聲和干擾物，裂縫區(qū)域像素占比較少，屬于小目標(biāo)特征.從復(fù)雜的背景圖像中直接進(jìn)行裂縫病害特征的高精度識(shí)別難度較大.本算法利用圖像前處理操作增強(qiáng)圖像對(duì)比度，便于后續(xù)的裂縫圖像識(shí)別.

步驟1像素級(jí)灰度腐蝕可以消除類似于點(diǎn)塊噪聲，將圖像的微觀病害特征擴(kuò)充，同時(shí)對(duì)裂縫邊緣噪點(diǎn)平滑.定義原始圖像為A(x,y) ；S(x′,y′) 為圖像腐蝕計(jì)算的模板；DS為S(x′,y′) 的局部處理區(qū)域.f(x,y)為像素灰度腐蝕后的圖像，如式（1）.

本算法在增強(qiáng)裂縫邊緣數(shù)據(jù)的同時(shí)提高圖像對(duì)比度，保護(hù)隧道圖像的重要病害特征.

步驟2進(jìn)行圖像局部對(duì)比度拉伸計(jì)算，分析圖像局部像素區(qū)域的灰度相似度，執(zhí)行非線性變換處理，提高裂縫特征的對(duì)比度及灰度值低的目標(biāo)灰度，如式（2）.

式中：g(x,y)為圖像局部對(duì)比度處理后點(diǎn) (x,y) 處的灰度值；m為原始灰度平均值；E為拉伸指數(shù)；p為相對(duì)精度調(diào)整參數(shù)，本研究中取0.9.

步驟3將前一步得到的圖像執(zhí)行二值化處理，見式（3）.

式中：I(x,y)為二值化圖像中像素點(diǎn) (x,y) 處的灰度值；T為圖像二值化的設(shè)置閾值，可根據(jù)對(duì)應(yīng)批次的圖像，抽選樣本進(jìn)行經(jīng)驗(yàn)值調(diào)節(jié)得到.

通過(guò)式（1）～（3）的處理，圖像對(duì)比度和裂縫病害特征被加強(qiáng)，但同時(shí)也增加了圖像虛假裂縫區(qū)域.為保證圖像中真實(shí)目標(biāo)不被平滑掉，此過(guò)程算法可適當(dāng)放大噪聲，并極大程度保留目標(biāo)病害特征.

2.2 裂縫圖像病害特征區(qū)域分析算法

按照病害特征將隧道裂縫圖像劃分為真實(shí)裂縫區(qū)域、點(diǎn)狀噪聲區(qū)域、斑狀噪聲區(qū)域、塊狀噪聲區(qū)域.通過(guò)圖像處理算法分析，逐步去除非裂縫病害特征噪聲干擾，保留真實(shí)裂縫區(qū)域，作為選定的裂縫目標(biāo)樣本集.

2.2.1 點(diǎn)狀噪聲區(qū)域?yàn)V波處理

隧道圖像病害特征區(qū)域中，點(diǎn)狀特征是裂縫襯砌表面的主要噪聲，由像素點(diǎn)較少的小塊區(qū)域組成，可利用圖像矩計(jì)算的方法進(jìn)行閾值濾除.

針對(duì)二值化圖像中I(x,y) 中的點(diǎn)狀干擾Ck(x,y) ，通過(guò)式（4）分析圖像特征子區(qū)域Ck(x,y) 的零階矩nk.

式中：Pk(x,y)為子區(qū)域Ck(x,y) 中點(diǎn) (x,y) 的灰度值；Nn為待測(cè)圖像中點(diǎn)狀噪聲區(qū)域的個(gè)數(shù).

通過(guò)式（5）分析區(qū)域內(nèi)點(diǎn)狀噪聲特征，完成針對(duì)性濾除.子區(qū)域中像素點(diǎn)數(shù)量小于閾值的判斷為噪聲，并將像素灰度值轉(zhuǎn)換為1，完成此濾波處理.

式中：is(x,y) 為點(diǎn)狀噪聲特征區(qū)域；為圖像零階矩判斷閾值.

2.2.2 斑狀噪聲區(qū)域?yàn)V波處理

隧道表面圖像中，點(diǎn)狀噪聲區(qū)域表現(xiàn)為散點(diǎn)像素的聚集，而斑狀噪聲區(qū)域的像素?cái)?shù)量更多，且聚集性更加明顯.斑狀噪聲特征子區(qū)域占比大，而裂縫為隨機(jī)細(xì)長(zhǎng)曲線形狀，因此，可利用外接矩形構(gòu)成連通區(qū)域的矩形度來(lái)分析.斑狀噪聲區(qū)域矩形度Rl為

式中：SM為外接矩形所包圍的區(qū)域.

經(jīng)過(guò)斑狀噪聲濾波處理后的圖像為Is(x,y).NR為Is(x,y) 中斑狀噪聲子區(qū)域Dl(x,y) 的數(shù)量，設(shè)TR為判斷值，iM(x,y)為確定的斑狀特征區(qū)域，則斑狀噪聲的計(jì)算為

2.2.3 隨機(jī)塊狀噪聲區(qū)域?yàn)V波處理

經(jīng)過(guò)處理，圖像大部分散點(diǎn)噪聲成分已被濾除，但仍存在一些塊狀噪聲.結(jié)合連通域的最大寬度wmax、最大高度hmax和矩形度Rk，設(shè)計(jì)子區(qū)域塊狀特性的濾波算法.濾波后的圖像為IM(x,y) ，對(duì)其實(shí)現(xiàn)連通區(qū)域的提取.設(shè)提取的候選區(qū)域?yàn)镋j(x,y) ，其個(gè)數(shù)為Nw.隨機(jī)塊狀噪聲區(qū)域?yàn)V波如式（8），噪聲成分提取完成后，對(duì)其進(jìn)行相同的濾除操作.

2.3 裂縫特征外接矩形區(qū)域標(biāo)記

經(jīng)過(guò)2.2 節(jié)計(jì)算后，虛假裂縫特征區(qū)域仍然存在.利用傳統(tǒng)圖像處理和特征提取算法對(duì)相同的裂縫圖像數(shù)據(jù)集，識(shí)別率不超過(guò)90%，繼續(xù)提高精度的難度較大.若直接利用深度學(xué)習(xí)算法對(duì)原始圖像進(jìn)行樣本制作與訓(xùn)練，對(duì)于細(xì)小裂縫的識(shí)別存在較多的漏檢現(xiàn)象；如果直接利用人工標(biāo)記樣本的方法，一張圖像的精細(xì)標(biāo)注平均要30～40 min，工作量巨大.針對(duì)以上問(wèn)題，本文設(shè)計(jì)了基于像素級(jí)特征提取的算法，利用傳統(tǒng)識(shí)別方法自動(dòng)提取并標(biāo)記裂縫子區(qū)域，建立樣本數(shù)據(jù)，設(shè)計(jì)深度網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)裂縫病害的高精度識(shí)別.

本算法獲取目標(biāo)特征連通區(qū)域Ek(x,y) 的最小矩形區(qū)域坐標(biāo) (xmin,ymin) 、(xmin,ymax)、(xmax,ymin)、(xmax,ymax)，提取圖像對(duì)應(yīng)區(qū)域，此時(shí)得到的裂縫子區(qū)域圖像集中存在裂縫特征與偽裂縫特征用于后續(xù)的深度識(shí)別，連通區(qū)域最小外接矩形長(zhǎng)（C）寬（R）比為

2.4 隧道圖像深度卷積網(wǎng)絡(luò)架構(gòu)

2.4.1 裂縫圖像特征分析

經(jīng)過(guò)2.2 節(jié)算法處理后，可以得到裂縫區(qū)域子圖像以及對(duì)應(yīng)的二值化圖像.建立裂縫樣本庫(kù)進(jìn)行對(duì)比分析：

1）裂縫區(qū)域外接矩形樣本.具有裂縫區(qū)域最小化、裂縫信息最大化的優(yōu)點(diǎn)；缺點(diǎn)為樣本圖像易出現(xiàn)“長(zhǎng)寬比例”較大的情況，與原始圖像比例不同，導(dǎo)致深度卷積網(wǎng)絡(luò)中樣本圖像過(guò)度拉伸或壓縮，影響識(shí)別精度.

2）按比例擴(kuò)充的外接矩形樣本.具有圖像長(zhǎng)寬比例合理、裂縫特征全面，網(wǎng)絡(luò)訓(xùn)練比例不失真的優(yōu)點(diǎn)；缺點(diǎn)為樣本數(shù)據(jù)擴(kuò)大、存在其他噪聲干擾，但噪聲不會(huì)影響裂縫特征的主體信息，精度可控.

3）裂縫二值化圖像樣本.二值化的圖像，特點(diǎn)為數(shù)據(jù)量最少，特征明顯；缺點(diǎn)為只有“0、1”二值數(shù)據(jù)，缺少豐富的灰度信息，存在網(wǎng)絡(luò)訓(xùn)練中特征信息不足的情況.

2.4.2 圖像樣本子集的建立

隧道裂縫特征具有無(wú)規(guī)則、小目標(biāo)的缺點(diǎn)，建立3 種方式的裂縫圖像樣本集（裂縫特征外接矩形樣本、裂縫圖像二值化樣本、按比例擴(kuò)充的裂縫圖像樣本）對(duì)處理獲取的裂縫特征子區(qū)域進(jìn)行對(duì)比實(shí)驗(yàn).

隧道裂縫外接矩形區(qū)域，可根據(jù)式（9）確定樣本圖像區(qū)域.對(duì)于比例擴(kuò)充的裂縫圖像樣本集，隧道原始圖像為500 × 375 像素，外接矩形擴(kuò)充比例設(shè)置為μ=4∶3，如圖2 所示C.E為比例擴(kuò)充后裂縫樣本矩形區(qū)域的短邊，裂縫區(qū)域擴(kuò)充原理如式（10）～（11）所示，其中：CΔ為圖像中裂縫區(qū)域外接矩形2 個(gè)方向的擴(kuò)充參數(shù)，(xLT,yLT)為擴(kuò)充后矩形區(qū)域的左上角點(diǎn)坐標(biāo)，(xRB,yRB)為擴(kuò)充后矩形區(qū)域的右下角點(diǎn)坐標(biāo).二值化圖像樣本為按比例擴(kuò)充的裂縫區(qū)域二處理結(jié)果.

圖2 外接矩形與比例擴(kuò)充矩形原理圖Fig.2 External rectangle and proportional expanded rectangle

2.4.3 卷積網(wǎng)絡(luò)結(jié)構(gòu)

隧道表面圖像中裂縫特征不顯著，一般是小目標(biāo)弱信息特征，具有無(wú)規(guī)則的特點(diǎn).由于裂縫寬度較窄，所占像素點(diǎn)一般不超過(guò)10 個(gè)，所以圖像局部信息量少，在設(shè)計(jì)深度卷積神經(jīng)網(wǎng)絡(luò)時(shí)，不易使用10 層以上卷積網(wǎng)絡(luò)，否則會(huì)導(dǎo)致裂縫邊緣信息丟失.本文設(shè)計(jì)改進(jìn)了AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)，針對(duì)裂縫形態(tài)特征，建立3 種樣本集，形成卷積層數(shù)為5 和全連接層數(shù)量為3 的深度卷積網(wǎng)絡(luò)，對(duì)候選裂縫圖像集合進(jìn)行訓(xùn)練和測(cè)試集的識(shí)別，結(jié)構(gòu)如圖3 所示，圖中λ為步長(zhǎng).

圖3 改進(jìn)的AlexNet 深度卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Improved AlexNet deep convolution network

1） 深度卷積結(jié)構(gòu)中，第1 級(jí)卷積核尺寸11 ×11，個(gè)數(shù)為96，步長(zhǎng)值為4，由卷積、ReLu 函數(shù)、局部響應(yīng)歸一化（LRN）和降采樣組成.歸一化度量為5 × 5，在降采樣中，卷積核元素3 × 3，步長(zhǎng)值2.

2） 卷積網(wǎng)絡(luò)第2 級(jí)，卷積核元素5 × 5，個(gè)數(shù)為256，步長(zhǎng)值為2.

3） 卷積網(wǎng)絡(luò)第3 級(jí)，卷積核元素3 × 3，個(gè)數(shù)為384，步長(zhǎng)值為2，不設(shè)置降采樣和歸一化操作.

4） 卷積網(wǎng)絡(luò)第4 級(jí)，卷積核元素寸3 × 3，個(gè)數(shù)為384，步長(zhǎng)值為2，結(jié)構(gòu)與上一層相似.

5） 卷積網(wǎng)絡(luò)第5 級(jí)，卷積核元素3 × 3，個(gè)數(shù)為256，步長(zhǎng)值為2，此步驟無(wú)歸一化處理.

6） 卷積網(wǎng)絡(luò)第6 級(jí)，全連接神經(jīng)元數(shù)4096，同時(shí)設(shè)置ReLu 函數(shù)操作和降采樣操作.

7） 卷積網(wǎng)絡(luò)第7 級(jí)與卷積網(wǎng)絡(luò)第6 級(jí)算法相同.

8） 卷積網(wǎng)絡(luò)第8 級(jí)，定義為全連接層，可以完成識(shí)別，輸出圖像識(shí)別結(jié)果.

本算法僅針對(duì)存在裂縫圖像和不存在裂縫圖像的區(qū)分，因此，卷積網(wǎng)絡(luò)第8 層的輸出為2，其中存在裂縫特征定義為1，反之為0.

3 移動(dòng)式圖像采集系統(tǒng)設(shè)計(jì)與研制

本文設(shè)計(jì)的車載式隧道圖像采集裝置可以在軌道上運(yùn)動(dòng)采集襯砌圖像，如圖4 所示.巡檢小車自帶動(dòng)力和安裝平臺(tái)，相機(jī)激光同步采集裝置固定于中間的圓形支架上，可實(shí)時(shí)采集隧道表面圖像.整體系統(tǒng)可以實(shí)現(xiàn)相機(jī)靈活調(diào)節(jié)，準(zhǔn)確對(duì)準(zhǔn)隧道目標(biāo)區(qū)域，測(cè)速定位系統(tǒng)安裝于車輪用于里程定位，供電系統(tǒng)對(duì)整體檢測(cè)裝置提供穩(wěn)定電源.

圖4 隧道圖像采集系統(tǒng)原理Fig.4 Diagram of tunnel image acquisition system

本系統(tǒng)由6 個(gè)高速線陣相機(jī)、3 個(gè)特制光源進(jìn)行同步觸發(fā)的圖像采集.由于隧道裂縫特征為灰度表現(xiàn)，所以保存單通道灰度圖即可.成像裝置支架為圓形布局，相機(jī)與光源布置在圓形架子的外部支架處，如圖5 所示.工業(yè)相機(jī)與光源間隔安裝，每個(gè)光源提供給2 個(gè)相機(jī)補(bǔ)光使用.工業(yè)相機(jī)支架上預(yù)留擴(kuò)展接口，可用于后續(xù)安裝其他相機(jī)或傳感器進(jìn)行功能拓展.相機(jī)光源支架安裝于車體中部，設(shè)計(jì)為圓形支架，對(duì)于不同尺寸和距離的隧道，可以調(diào)節(jié)整體采集裝置.相機(jī)和光源的安裝方式，橫向和縱向位置可調(diào)整，成像裝置參數(shù)如表1 所示.

圖5 軌道移動(dòng)式多目相機(jī)圖像采集裝置Fig.5 Image acquisition device of track-sliding multi-view camera

隧道圖像采集分辨率為6 144 像素，檢測(cè)車最大運(yùn)行速度為20 km/h.圖像采集中，間隔1 200 行像素輸出一幀，即圖像尺寸6 144 × 1 200 像素，按照6 000 × 1 125 像素保存圖像，后期處理劃分為若干個(gè)500 × 375 圖像.本系統(tǒng)設(shè)計(jì)線狀光源實(shí)現(xiàn)高強(qiáng)度的照明用于線陣相機(jī)的高清成像.為保證通光量和成像質(zhì)量，選擇工業(yè)鏡頭焦距為50 mm，光圈范圍F4～F8，可保證線陣相機(jī)的成像景深要求，對(duì)于其他結(jié)構(gòu)尺寸的隧道，可通過(guò)手動(dòng)對(duì)焦確定鏡頭參數(shù).

地鐵隧道環(huán)境相對(duì)簡(jiǎn)單，光線變化不大，所設(shè)計(jì)的系統(tǒng)主要用于盾構(gòu)圓形截面、直徑5.2～5.4 m 隧道正線，所采集圖像背景一致性較好.對(duì)于變截面，隧道尺寸變化的情況，需要重新調(diào)節(jié)焦距或者改變成像距離，從而達(dá)到較好的圖像采集.

4 實(shí)驗(yàn)與結(jié)果

4.1 實(shí)驗(yàn)1：利用二值圖像構(gòu)建樣本庫(kù)

針對(duì)尺寸為500 × 375 的地鐵隧道圖像，選取腐蝕結(jié)構(gòu)元素為2 × 2 的正方形，分塊大小為10 × 10，零階矩閾值Tn為每幅圖像的像素均值，矩形度閾值TR為0.23，形狀極值閾值T、w分T別h為40、30.對(duì)原始地鐵襯砌圖像完成對(duì)應(yīng)算法的計(jì)算和處理，如圖6所示.對(duì)于細(xì)小裂縫圖像，為了保存特征細(xì)節(jié)，會(huì)導(dǎo)致周邊存在斑點(diǎn)噪聲，由于該區(qū)域像素占比很小，在樣本制作時(shí)自動(dòng)濾除.

圖6 圖像處理結(jié)果Fig.6 Results of image processing

裂縫圖像經(jīng)過(guò)灰度級(jí)腐蝕操作后，圖像中部分噪點(diǎn)被濾除，裂縫邊緣清晰.對(duì)其進(jìn)行圖像前處理操作及二值化分割后，進(jìn)行圖像子區(qū)域零階矩計(jì)算，可濾除掉圖像中大部分點(diǎn)狀噪聲，之后進(jìn)行子區(qū)域矩形度和特征分析計(jì)算，將圖像中斑狀噪聲和塊狀噪聲濾除，最終得到的裂縫二值圖像樣本庫(kù)，如圖7.

圖7 隧道裂縫的二值圖像樣本數(shù)據(jù)Fig.7 Binary image sample data of tunnel cracks

對(duì)多張隧道圖像進(jìn)行批量處理，不同的采集環(huán)境與光照環(huán)境導(dǎo)致裂縫圖像中存在噪聲成分，出現(xiàn)裂縫特征局部斷開，但裂縫基本骨架完整，對(duì)后續(xù)裂縫圖像識(shí)別精度，影響較小.

4.2 實(shí)驗(yàn)2：圖像連通區(qū)域最小矩形構(gòu)建樣本庫(kù)

隧道圖像存在多種狀態(tài)的裂縫：橫向、縱向、斜向、交叉、網(wǎng)狀裂紋.本文所提出的特征子區(qū)域分析濾波算法可確定裂縫特征連通域外接矩形，并從原始圖像提取對(duì)應(yīng)的區(qū)域，得到裂縫子區(qū)域樣本圖像，此時(shí)裂縫特征明顯，數(shù)據(jù)量小，有利后續(xù)分類識(shí)別.前處理提取裂縫特征的二值標(biāo)記圖，然后利用連通區(qū)域提取其對(duì)應(yīng)的原始圖像子區(qū)域，構(gòu)造裂縫圖像樣本庫(kù)，如圖8 所示.

圖8 提取的連通區(qū)域圖像樣本數(shù)據(jù)Fig.8 Extracted connected region image sample data

由于橫向與縱向裂縫多為長(zhǎng)條狀，矩形長(zhǎng)與寬的比例較大，與原圖像比例4∶3 存在較大差異，會(huì)有壓縮或拉伸調(diào)整后的圖形變化，這不利于真假裂縫圖像的識(shí)別.

4.3 實(shí)驗(yàn)3：裂縫區(qū)域擴(kuò)充的樣本庫(kù)構(gòu)建

在深度卷積網(wǎng)絡(luò)中，與測(cè)試圖像相同或比例相似的圖像樣本具有更好的特征識(shí)別一致性.前處理得到的隧道圖像中裂縫連通區(qū)域存在長(zhǎng)寬比過(guò)大或過(guò)小的區(qū)域，導(dǎo)致樣本訓(xùn)練中的比例失真.為了提高深度學(xué)習(xí)中裂縫區(qū)域的識(shí)別精度，按原始圖像比例對(duì)裂縫矩形進(jìn)行擴(kuò)充.長(zhǎng)寬比與原始圖像相差較大，呈縱向細(xì)長(zhǎng)型，按比例4∶3 對(duì)其連通區(qū)域最小外接矩形進(jìn)行自動(dòng)擴(kuò)充，保證創(chuàng)建的樣本區(qū)域圖像與原始圖像比例相同，如圖9 所示.考慮到圖像邊界等因素，若外接矩形坐標(biāo)擴(kuò)充無(wú)法雙向擴(kuò)充區(qū)域，則可以單向擴(kuò)充形成與原始圖像比例相同的子區(qū)域樣本集.

圖9 裂縫區(qū)域比例擴(kuò)充圖像樣本數(shù)據(jù)Fig.9 Sample data of crack region scale expansion images

4.4 實(shí)驗(yàn)對(duì)比分析與討論

本次實(shí)驗(yàn)中共選擇6000 張地鐵隧道表面圖像進(jìn)行批量預(yù)處理、前處理、3 種樣本圖像的裂縫子區(qū)域自動(dòng)提取和裂縫樣本圖像制作.最終構(gòu)造了4500 張裂縫圖像樣本庫(kù)，其中，3 種樣本圖像的數(shù)量均為1500 張，測(cè)試集圖像數(shù)量1500 張.利用2080 Ti 的GPU 平臺(tái)進(jìn)行深度卷積網(wǎng)絡(luò)的裂縫識(shí)別實(shí)驗(yàn)，在Caffe深度卷積網(wǎng)絡(luò)框架下進(jìn)行了裂縫識(shí)別對(duì)比實(shí)驗(yàn).

為保證樣本集的質(zhì)量以及裂縫特征識(shí)別效果，在圖像標(biāo)注集制作前需進(jìn)行裂縫圖像初步篩選，保證裂縫特征的清晰度、特征對(duì)比度，但對(duì)于背景特別復(fù)雜的裂縫圖像，不納入標(biāo)注樣本集中.表2 的識(shí)別準(zhǔn)確率是對(duì)應(yīng)裂縫圖像集合中算法識(shí)別出裂縫的數(shù)量與實(shí)際裂縫數(shù)量的比值.

表2 裂縫圖像樣本數(shù)據(jù)分類識(shí)別準(zhǔn)確率Tab.2 Recognition accuracy of crack image sample data%

1） 隧道原始圖像樣本庫(kù)直接進(jìn)行分類識(shí)別實(shí)驗(yàn)時(shí)，訓(xùn)練準(zhǔn)確率為88.0%，測(cè)試準(zhǔn)確率為89.1%.

2） 二值圖像樣本庫(kù)分類準(zhǔn)確率相較原始圖像樣本庫(kù)有一定的下降，主要原因是經(jīng)過(guò)前處理操作后，隧道圖像由三通道圖像轉(zhuǎn)換為一通道的灰度圖.通過(guò)二值圖樣本進(jìn)行識(shí)別，其特征灰度信息下降，圖像數(shù)據(jù)計(jì)算時(shí)可提取的特征下降，對(duì)裂縫與偽裂縫、細(xì)小裂縫、噪聲等特征辨識(shí)度不夠.對(duì)于裂縫圖像背景簡(jiǎn)單的情況，二值化識(shí)別率會(huì)提高，但適用性不夠廣泛.

3） 采用處理后裂縫外接矩形樣本并對(duì)應(yīng)提取其原始圖像樣本庫(kù)，其裂縫信息完整，特征占比大，可提取的特征較多，分類識(shí)別訓(xùn)練準(zhǔn)確率高達(dá)95.4%，測(cè)試準(zhǔn)確率達(dá)94.0%，相較原始圖像直接進(jìn)行分類，準(zhǔn)確率有明顯提高.

4） 按照原始圖像比例對(duì)裂縫外接矩形進(jìn)行4∶3擴(kuò)充后，提取的圖像與裂縫外接矩形圖像相比，圖像尺寸長(zhǎng)寬比例一致，效果最好，使圖像尺寸比例對(duì)網(wǎng)絡(luò)訓(xùn)練測(cè)試的影響降到最低，進(jìn)一步提高了裂縫識(shí)別率，訓(xùn)練準(zhǔn)確率達(dá)98.6%，測(cè)試集準(zhǔn)確率達(dá)97.8%.

5） 引入傳統(tǒng)的SVM (support vector machine)裂縫圖像分類算法后，其訓(xùn)練準(zhǔn)確率最高達(dá)89.0%，測(cè)試準(zhǔn)確率最高達(dá)87.8%.隧道裂縫圖像識(shí)別中，結(jié)合圖像子區(qū)域自動(dòng)提取標(biāo)記和深度卷積網(wǎng)絡(luò)的算法優(yōu)于SVM 分類識(shí)別算法.

綜上分析，結(jié)合傳統(tǒng)圖像特征識(shí)別算法，通過(guò)前處理進(jìn)行裂縫圖像子區(qū)域的自動(dòng)提取實(shí)現(xiàn)樣本數(shù)據(jù)的自動(dòng)標(biāo)注，不需要進(jìn)行大量的人工標(biāo)注，節(jié)省了樣本制作時(shí)間，提高了檢測(cè)效率和隧道裂縫圖像的識(shí)別率.

本文提出的裂縫識(shí)別算法存在需要持續(xù)改進(jìn)的問(wèn)題：1） 在前處理過(guò)程中，對(duì)細(xì)小裂縫出現(xiàn)了一定的邊緣斷裂情況；2） 自動(dòng)提取的裂縫子區(qū)域圖像分辨率比原始圖像小，出現(xiàn)裂縫識(shí)別中的分塊識(shí)別現(xiàn)象；3） 原始圖像中較長(zhǎng)的裂縫，會(huì)被識(shí)別為幾個(gè)裂縫特征片段識(shí)別出來(lái).如圖10 所示，原始隧道圖像裂縫病害測(cè)試集識(shí)別結(jié)果，盡管有管線、接縫、螺栓孔等虛假裂縫噪聲干擾，但本算法對(duì)裂縫特征都進(jìn)行了準(zhǔn)確地提取和識(shí)別.

圖10 隧道圖像裂縫病害測(cè)試集識(shí)別結(jié)果Fig.10 Recognition results of tunnel image crack test set

在復(fù)雜圖像中，為了消除管線、接縫、疑似裂紋的噪聲干擾，達(dá)到精準(zhǔn)識(shí)別，故所標(biāo)記的樣本尺度較小，這在保證裂縫病害不被漏報(bào)和誤報(bào)的條件下，產(chǎn)生了裂縫特征區(qū)域分塊識(shí)別的現(xiàn)象.通過(guò)與隧道技術(shù)人員的交流，目前這種方式滿足裂縫識(shí)別的需求，可保證較高識(shí)別率、較低的漏報(bào)和誤報(bào)的情況下使用，代替人工實(shí)現(xiàn)裂縫的輔助識(shí)別.后續(xù)，在裂縫區(qū)域識(shí)別的完整性方面，將進(jìn)行邊緣鏈接和裂縫參數(shù)自動(dòng)測(cè)量的算法研究，實(shí)現(xiàn)裂縫的智能化、完整信息檢測(cè).

5 結(jié) 論

本文完成了隧道裂縫圖像采集與檢測(cè)技術(shù)研究，提出了結(jié)合圖像前處理、區(qū)域特征提取、裂縫樣本自動(dòng)標(biāo)注和深度學(xué)習(xí)的隧道圖像分類識(shí)別算法以及基于區(qū)域提取代替人工標(biāo)注樣本的方法.根據(jù)裂縫區(qū)域外接矩形建立樣本圖像，構(gòu)造了3 種隧道圖像樣本庫(kù)進(jìn)行對(duì)比實(shí)驗(yàn).綜合分析隧道裂縫圖像的弱信息量特點(diǎn)，在Caffe 中配置了改進(jìn)的AlexNet 深度卷積網(wǎng)絡(luò)，完成了裂縫圖像樣本對(duì)比實(shí)驗(yàn)、識(shí)別率分析與問(wèn)題討論.本文設(shè)計(jì)研制了軌道移動(dòng)式隧道圖像采集系統(tǒng)以及巡檢車，通過(guò)實(shí)驗(yàn)采集并整理了真實(shí)隧道裂縫圖像，建立了4500 張裂縫圖像樣本和1500 張測(cè)試圖像，隧道裂縫圖像測(cè)試集的識(shí)別率達(dá)到97.8%，證明了算法研究和采集系統(tǒng)的有效性.針對(duì)背景特征通常的隧道圖像，使用本文算法進(jìn)行分類識(shí)別驗(yàn)證.對(duì)于復(fù)雜特征干擾的隧道圖像，特別是混合滲漏水、嚴(yán)重污漬覆蓋的惡劣環(huán)境圖像（本領(lǐng)域的一個(gè)難點(diǎn)），后續(xù)需要進(jìn)行更深入的研究，建立更加豐富和數(shù)據(jù)充足的樣本庫(kù)來(lái)提高復(fù)雜惡劣圖像中裂縫的識(shí)別率.