基于CCTV和缺陷特征提取的城市排水管道結(jié)構(gòu)性缺陷檢測(cè)

徐 峰，徐穎昕

(1.濟(jì)南市水務(wù)服務(wù)中心，濟(jì)南250011；2.濟(jì)南市水務(wù)集團(tuán)，濟(jì)南 250014)

近幾十年來，我國(guó)的城鎮(zhèn)化進(jìn)程不斷發(fā)展，地下排水管道作為城市重要的基礎(chǔ)設(shè)施，對(duì)于城市的生產(chǎn)生活具有重要影響，為了保障排水系統(tǒng)的正常運(yùn)作，延長(zhǎng)排水管道的使用壽命，必須做好管道的日常清理和定期檢測(cè)維護(hù)工作[1-3]。

管道閉路電視(CCTV)檢測(cè)系統(tǒng)是目前最常用的管道檢測(cè)設(shè)備，但該系統(tǒng)在管道圖像采集和缺陷判斷的過程中需要大量的人工參與，尤其是在管道缺陷分類方面，受人為主觀判斷的影響很大，如果工作人員缺乏工作經(jīng)驗(yàn)或者工作狀態(tài)不佳，很可能導(dǎo)致缺陷判別結(jié)果出現(xiàn)較大的偏差[4-6]。為減少管道缺陷識(shí)別過程中對(duì)工作人員的依賴，一些學(xué)者提出了智能檢測(cè)和自動(dòng)識(shí)別技術(shù)，但該技術(shù)的可靠性并沒有形成一個(gè)統(tǒng)一的定論，而且在分類正確率方面也有待提高。當(dāng)前，基于機(jī)器學(xué)習(xí)的圖像處理技術(shù)在醫(yī)學(xué)、人臉識(shí)別、路橋缺陷檢測(cè)等領(lǐng)域得到了廣泛應(yīng)用并取得了不錯(cuò)的成效，借鑒于上述經(jīng)驗(yàn)，也可將基于機(jī)器學(xué)習(xí)的圖像處理技術(shù)應(yīng)用到排水管道的缺陷檢測(cè)當(dāng)中，從而在提高缺陷分類正確率的同時(shí)，大大降低人工成本[7-8]。

筆者提出了基于支持向量機(jī)學(xué)習(xí)的管道缺陷檢測(cè)技術(shù)流程，并重點(diǎn)對(duì)紋理特征提取方法和缺陷分類進(jìn)行了研究，以期為城市排水管道結(jié)構(gòu)性缺陷檢測(cè)提供新的思路和方法。

1 管道缺陷分類

按照《城鎮(zhèn)給排水管道檢測(cè)規(guī)程》中的相關(guān)規(guī)定，可將給排水管道的缺陷類型劃分為結(jié)構(gòu)性缺陷和功能性缺陷兩大類。結(jié)構(gòu)性缺陷主要包括裂紋腐蝕、錯(cuò)口、接口材料脫離、滲漏等，其中裂紋、錯(cuò)口、腐蝕3種缺陷最為常見，一般情況下需要使用一定的修復(fù)手段進(jìn)行修復(fù)，而功能性缺陷一般僅需要日常的保養(yǎng)維護(hù)即可，包括殘墻、結(jié)垢、樹根、浮渣等。常見的管道缺陷如圖1所示。

圖1 常見的管道缺陷外觀

2 檢測(cè)流程

給排水管道結(jié)構(gòu)性缺陷檢測(cè)流程如圖2所示，具體如下：首先利用管道爬行機(jī)器人攜帶CCTV檢測(cè)系統(tǒng)對(duì)濟(jì)南市某段地下排水管道進(jìn)行拍攝，得到原始數(shù)據(jù)；然后利用Video Reader函數(shù)讀取視頻原始數(shù)據(jù)，根據(jù)視頻采集速率設(shè)置提取幀畫面間隔值T(2 s為宜)，保存提取對(duì)應(yīng)幀下的管道圖像；接著，對(duì)抓取得到的管道圖像進(jìn)行粗分類(區(qū)分有無(wú)缺陷)，去除圖像中的無(wú)關(guān)文字信息，再通過灰度變換、直方圖均衡化處理、限制對(duì)比度自適應(yīng)直方圖均衡化處理、自適應(yīng)中值濾波處理、邊緣輪廓增強(qiáng)處理等措施，對(duì)有缺陷的圖像進(jìn)行預(yù)處理，從而獲取缺陷子圖集(包括裂紋、錯(cuò)口、腐蝕3類)，管道缺陷子圖集如圖3所示；接著采用灰度共生矩陣(Gray Level Co-occurrence Matrix，GLCM)法[9]、改進(jìn)的灰度共生矩陣復(fù)合特征向量提取(Block Gray Level Co-occurrence Matrix，B_GLCM)法[10]、灰度-梯度共生矩陣(Gray Gradient Co-occurrence Matrix, GGCM)法[11]、Gabor法[12]以及局部二值模式(Local Binary Patterns, LBP)法[13-14]等5種不同圖像紋理特征提取方法，對(duì)缺陷子圖集進(jìn)行圖像特征提取；最后通過構(gòu)建基于向量機(jī)學(xué)習(xí)的二分類支持向量機(jī)(BSVM)分類器對(duì)提取到的缺陷數(shù)據(jù)進(jìn)行訓(xùn)練和分類，最終得到排水管道的缺陷檢測(cè)結(jié)果。

圖2 給排水管道結(jié)構(gòu)性缺陷檢測(cè)流程圖

圖3 管道結(jié)構(gòu)缺陷子圖集

3 紋理特征提取

3.1 紋理特征提取方法

不同缺陷紋理特征的提取方法流程如圖4所示。

(1) GLCM方法通過計(jì)算某特定空間中的像素點(diǎn)出現(xiàn)的次數(shù)，從而獲得圖像內(nèi)部像素點(diǎn)之間灰度與空間的相互關(guān)系，其流程見圖4(a)，共分為6步：① 讀取缺陷子圖集中的圖片；② 灰度級(jí)數(shù)壓縮，灰度級(jí)數(shù)影響GLCM的計(jì)算量，每增加一個(gè)灰度級(jí)數(shù)，就會(huì)使灰度共生矩陣紋理特征提取所耗費(fèi)的時(shí)間增大2倍；在確保紋理質(zhì)量的前提下，筆者將灰度級(jí)數(shù)設(shè)置為16，即灰度共生矩陣為256×256(行×列)的矩陣，共包含216個(gè)元素；③ 構(gòu)建灰度共生矩陣，計(jì)算灰度值，距離取值為1，方向分別為0°，45°，90°，135°；④ 對(duì)圖像中的每一個(gè)元素進(jìn)行歸一化處理；⑤ 灰度共生矩陣二次統(tǒng)計(jì)量計(jì)算，統(tǒng)計(jì)量包括角二階矩(能量)、對(duì)比度(慣性矩)、相關(guān)系數(shù)、熵和逆差分矩；⑥ 通過計(jì)算二次統(tǒng)計(jì)量在4個(gè)方向上的均值和標(biāo)準(zhǔn)差，構(gòu)建特征向量，從而得到管道不同缺陷的特征數(shù)據(jù)庫(kù)。

(2) GLCM法是對(duì)整個(gè)圖像的灰度共生矩陣進(jìn)行統(tǒng)計(jì)量的計(jì)算從而獲取特征向量的，這樣可能會(huì)導(dǎo)致一些局部特征無(wú)法很好地得到體現(xiàn)，由于局部特征在某些特定情況下對(duì)紋理特征提取結(jié)果的影響很大，可能使紋理特征提取出現(xiàn)偏差，為了減少出現(xiàn)類似現(xiàn)象，筆者提出應(yīng)先對(duì)缺陷圖像進(jìn)行分區(qū)分塊處理，再通過對(duì)各分區(qū)進(jìn)行GLCM計(jì)算得到分區(qū)特征向量，最后對(duì)各分區(qū)特征向量進(jìn)行串聯(lián)操作，從而獲得整體的復(fù)合特征向量，從而增大圖像局部特征在全局特征中所占比例，提高分類精度，筆者將此方法稱之為改進(jìn)的灰度共生矩陣復(fù)合特征向量提取(B_GLCM)法。B_GLCM紋理特征提取流程如圖4(b)所示。

圖4 不同缺陷紋理特征的提取方法流程

(3) GGCM法不僅考慮了圖像的灰度信息，而且還考慮圖像的梯度信息，是利用灰度和梯度的綜合信息進(jìn)行圖像紋理特征提取的一種方法，GGCM法紋理特征提取流程如圖4(c)所示，共分為6步：① 讀取缺陷子圖集中的圖片；② 獲取梯度圖像；③ 根據(jù)梯度圖像獲取歸一化梯度矩陣；④ 構(gòu)建灰度-梯度共生矩陣；⑤ 計(jì)算10個(gè)或者15個(gè)統(tǒng)計(jì)特征量；⑥ 構(gòu)建特征向量，得到特征數(shù)據(jù)庫(kù)。

(4) Gabor小波變換最早于20世紀(jì)50年代由Dennis Gabor提出，主要目的是為了彌補(bǔ)傅里葉變換在非平穩(wěn)信號(hào)方面存在的缺點(diǎn)，在進(jìn)行圖像特征提取時(shí)，濾波器需要與目標(biāo)圖像進(jìn)行卷積操作，而Gabor小波變換具有不同尺度和方向上的濾波器，不同的濾波器對(duì)計(jì)算效率和結(jié)果的影響較大，當(dāng)尺度和方向取值均較大時(shí)，需要對(duì)數(shù)據(jù)進(jìn)行降維處理，Gabor法圖像特征提取流程如圖4(d)所示，共分為5步:① 讀取缺陷子圖集中的圖片，同時(shí)構(gòu)建Gabor小波濾波器；② 將濾波器與目標(biāo)圖像進(jìn)行卷積計(jì)算，獲取濾波后的圖像；③ 進(jìn)行高斯平滑處理，得到特征圖像；④ 通過特征圖像獲取幅值；⑤ 構(gòu)建特征向量，得到特征數(shù)據(jù)庫(kù)。

(5) LBP法是通過定義的窗口對(duì)圖像進(jìn)行逐步掃描，對(duì)中心位置像素點(diǎn)8個(gè)領(lǐng)域內(nèi)進(jìn)行二值化處理并以中心點(diǎn)位置的灰度為閾值，當(dāng)周圍領(lǐng)域內(nèi)灰度超過此閾值時(shí)，計(jì)為1，反之計(jì)為0，按逆時(shí)針順序獲得一個(gè)二進(jìn)制數(shù)，如此反復(fù)操作，可獲得圖像的LBP直方圖，并將此直方圖作為圖像特征，從而獲取管道缺陷特征數(shù)據(jù)庫(kù)。LBP法紋理特征提取流程如圖4(e)所示。

3.2 紋理特征提取方案

3.3 紋理特征提取效果

不同紋理特征提取方案下的提取效果如圖5所示。由圖5可知，采用GLCM法進(jìn)行特征提取時(shí)(方案1)，特征維數(shù)為10；采用B_GLCM法進(jìn)行特征提取時(shí)(方案25)，特征維數(shù)隨著分區(qū)的減小而逐漸降低，起到了較好的降維效果；GGCM法的特征維數(shù)與統(tǒng)計(jì)特征個(gè)數(shù)一致(方案6～7)；Gabor 小波變換提取時(shí)(方案8～12)，特征維數(shù)相比其他方法高得多。

圖5 不同紋理特征提取方案下的提取效果

Gabor小波變換特征維數(shù)較高的原因主要與維數(shù)計(jì)算方式有關(guān)，當(dāng)采用小波提取時(shí)，特征維數(shù)=尺度數(shù)×角度個(gè)數(shù)×圖像像素個(gè)數(shù)，且尺度對(duì)特征維數(shù)的影響略大于方向?qū)μ卣骶S數(shù)的影響程度，當(dāng)尺度和方向均取大值時(shí)，特征維數(shù)將顯著增大；而LBP法(方案13～20)無(wú)論領(lǐng)域或者像素塊如何取值，特征維數(shù)均為59，對(duì)特征維數(shù)沒有影響。B_GLCM法與GLCM法相比，在提取耗費(fèi)時(shí)間上有一定程度減少，但隨著分區(qū)的減小(特征維數(shù)減小)，提取耗費(fèi)的時(shí)間會(huì)逐漸增多；GGCM法在5種提取方法中的耗費(fèi)時(shí)間最少，提取效率最高；當(dāng)采用Gabor小波變換法時(shí)，尺度和方向越大，特征提取耗費(fèi)時(shí)間越長(zhǎng)；當(dāng)采用LBP法時(shí)，在相同像素塊大小下，(8×2)領(lǐng)域下的提取耗費(fèi)時(shí)間略長(zhǎng)于(3×3)領(lǐng)域下的提取耗費(fèi)時(shí)間，這是因?yàn)樵诓捎?8×2)的圓形領(lǐng)域時(shí)，需要進(jìn)行線性插值算法來提取相關(guān)值，所以在對(duì)缺陷進(jìn)行特征提取時(shí)耗費(fèi)的時(shí)間更長(zhǎng)一些。

4 缺陷分類

4.1 分類方法

當(dāng)獲取缺陷的特征數(shù)據(jù)后，接下來就需要根據(jù)特征數(shù)據(jù)對(duì)缺陷進(jìn)行分類處理，文章基于支持向量機(jī)(SVM)原理，采取一對(duì)一分類投票的方式對(duì)缺陷樣本進(jìn)行分類訓(xùn)練。假設(shè)缺陷樣本種類為N，那么就需要構(gòu)造N(N-1)/2個(gè)二分類支持向量機(jī)(BSVM)分類器，并使用對(duì)應(yīng)的訓(xùn)練樣本集對(duì)這些BSVM分類器進(jìn)行訓(xùn)練，最后對(duì)不同BSVM分類器訓(xùn)練得到的“投票”結(jié)果進(jìn)行統(tǒng)計(jì)，得票最高者，則代表訓(xùn)練樣本屬于該類。

由于主要針對(duì)排水管道裂紋、錯(cuò)口和腐蝕三種缺陷特征進(jìn)行提取和分類，所以僅需要構(gòu)建3個(gè)BSVM分類器進(jìn)行樣本訓(xùn)練即可，在訓(xùn)練過程中，每一個(gè)SVM都采用150個(gè)訓(xùn)練樣本，30個(gè)測(cè)試樣本，支持向量機(jī)的核函數(shù)選擇徑向積核函數(shù)(RBF)，并使用網(wǎng)格搜索算法和交叉驗(yàn)證算法對(duì)向量機(jī)核函數(shù)參數(shù)進(jìn)行優(yōu)化，最后對(duì)3個(gè)BSVM分類器進(jìn)行編號(hào)(裂紋缺陷為BSVM1，對(duì)應(yīng)的響應(yīng)為1；錯(cuò)口缺陷為BSVM2，對(duì)應(yīng)的響應(yīng)為2；腐蝕缺陷為BSVM3，對(duì)應(yīng)的響應(yīng)為3)，得票高者為最終的缺陷分類類型。管道缺陷BSVM分類流程如圖6所示。

圖6 管道缺陷BSVM分類流程

4.2 分類結(jié)果

對(duì)不同特征提取方案下的特征數(shù)據(jù)進(jìn)行BSVM分類，其結(jié)果如圖7所示。由圖7可知，對(duì)于裂紋缺陷，GLCM法的分類正確為93.5%，當(dāng)采用B_GLCM法時(shí)，分區(qū)≤5×5時(shí)，分類正確率均大于90%，最大可達(dá)95%，采用其他3種方法提取時(shí)分類正確率均較差；對(duì)于錯(cuò)口和裂紋缺陷，采用GLCM法和B_GLCM法提取后的分類正確率較高，其他3種方法比較低；對(duì)于腐蝕缺陷，采用GLCM法、B_GLCM法、GGCM法以及Gabor法提取時(shí)，分類正確率均大于90%，而采用LBP法提取時(shí)，分類正確率較低，隨著高像素塊的增大，分類正確率越來越低。

圖7 BSVM分類結(jié)果

從整體分類效果上來看，20種紋理特征提取方法中，第2種方案分類測(cè)試所需的時(shí)間最長(zhǎng)，達(dá)到了82.9 s，其余方案的分類測(cè)試時(shí)間均少于30 s；B_GLCM法相比其他提取法，能提升BSVM分類正確率，但前提是選擇合適的分區(qū)數(shù)，當(dāng)分區(qū)數(shù)大小合適時(shí)，才能達(dá)到分類準(zhǔn)確率和效率均較高的雙重目的。對(duì)比這20種提取方案，選用方案4時(shí)，整體分類正確率最高，達(dá)到了96.8%，且在此方案下，裂紋缺陷、錯(cuò)口缺陷以及腐蝕缺陷等單種缺陷的分類效果均較好，整體的分類測(cè)試時(shí)間僅為10.3 s。因此，綜合對(duì)比分類效果，筆者認(rèn)為最佳的紋理提取方案為：B_GLCM法；分區(qū)大小為3×3。

5 結(jié)語(yǔ)

(1) 采用CCTV檢測(cè)系統(tǒng)對(duì)城市地下排水管道進(jìn)行了拍攝，并基于拍攝數(shù)據(jù)構(gòu)建了給排水管道結(jié)構(gòu)性缺陷的檢測(cè)流程，為給排水管道的無(wú)損檢測(cè)提供了新的技術(shù)和經(jīng)驗(yàn)。

(2) 采用GLCM、B_GLCM、GGCM、Gabor、LBP等5種方法對(duì)管道缺陷圖像進(jìn)行了紋理特征提取，并構(gòu)建了不同方法的提取流程，提取效果顯示，Gabor法提取得到的特征維數(shù)遠(yuǎn)大于其他4種方法的，且耗費(fèi)時(shí)間隨著尺度和方向的增大而增加；GGCM法和LBP法紋理特征提取耗費(fèi)時(shí)間均較短；B_GLCM法相比GLCM法，在提取耗費(fèi)時(shí)間上有一定程度減少，但隨著分區(qū)的減小(特征維數(shù)減小)，提取耗費(fèi)的時(shí)間會(huì)逐漸增多。

(3) 基于支持向量機(jī)原理，提出利用一對(duì)一分類投票的方式，對(duì)裂紋、錯(cuò)口和腐蝕三種缺陷特征進(jìn)行BSVM分類器訓(xùn)練，訓(xùn)練結(jié)果表明當(dāng)采用B_GLCM法和GLCM法時(shí)，管道缺陷的分類正確率較高，考慮到分類效率，建議采用B_GLCM法，且分區(qū)大小為3×3最為適宜。