基于檢測圖像的排水管道缺陷智能輔助分類方法

何 敏， 齊程程， 陳家雪， 戶 瑩

(西安理工大學(xué)土木建筑工程學(xué)院， 西安 710048)

城市地下排水管道在現(xiàn)代城市的正常運(yùn)行過程中起著重要作用。一方面，它們是保證城市運(yùn)行的重要基礎(chǔ)設(shè)施和生命線；另一方面，排水管道故障會(huì)嚴(yán)重影響市民正常生活。因此，定期檢查既有的排水管道，及時(shí)找出排水管道缺陷并采取合理有效維護(hù)措施尤為重要[1]。近年來，以管道閉路電視檢測(closed circuit television， CCTV)檢測技術(shù)為代表的管道內(nèi)窺檢測技術(shù)在管道缺陷檢測領(lǐng)域得到廣泛應(yīng)用，但是存在耗時(shí)久，勞動(dòng)力成本高及檢測效果不穩(wěn)定，取決于操作員的經(jīng)驗(yàn)水平和圖像質(zhì)量的問題[2]。

自2006年Hinton等[3]首次提出了深度學(xué)習(xí)概念以來，出現(xiàn)了AlexNet[4]、VGGNet[5]、ResNet[6]等優(yōu)秀的網(wǎng)絡(luò)架構(gòu)。隨著深度學(xué)習(xí)的不斷發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)模型開始逐漸應(yīng)用于排水管道缺陷檢測。Rahman[7]分別訓(xùn)練多個(gè)深度神經(jīng)網(wǎng)絡(luò)，區(qū)分管道單一缺陷和正常圖像，總體準(zhǔn)確度達(dá)到90%，但是數(shù)據(jù)集類型較為單一。Sinha等[8]提出將模糊邏輯測試與神經(jīng)網(wǎng)絡(luò)(artificial neutral network，ANN)相結(jié)合的神經(jīng)模糊分類器來測試管道中缺陷的分類。2018年，Myrans等[9]使用隱馬爾可夫模型和順序遺忘濾波來平滑預(yù)測序列，機(jī)器學(xué)習(xí)在靜止圖像上的分類檢測精度達(dá)到80%以上。Cheng等[10]訓(xùn)練Faster R-CNN對CCTV采集的四種管道缺陷圖像進(jìn)行分類，并建立了一個(gè)新模型來研究模型性能的影響因素。Kumar等[11]開發(fā)了一種卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network， CNN)來對根部侵入、沉積和裂縫3種管道缺陷進(jìn)行分類，其測試準(zhǔn)確性、準(zhǔn)確性和召回率分別為86.2%、87.7%和90.6%。近年來， Li等[12]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的管道缺陷分層分類方法，該方法分類不平衡數(shù)據(jù)集的性能優(yōu)于傳統(tǒng)方法。呂兵等[13]結(jié)合排水管道的CCTV 測繪作業(yè)流程及拍攝到的視頻缺陷特點(diǎn)，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的CCTV視頻中排水管道缺陷的檢測方法，該方法極大地提高了排水管道缺陷檢測的智能化和自動(dòng)化，節(jié)省了內(nèi)業(yè)作業(yè)的人力，同時(shí)滿足城市排水管道缺陷檢測的需求。王慶等[14]在Faster R-CNN算法基礎(chǔ)上，利用聚類分析方法改進(jìn)候選區(qū)域設(shè)置，提出一種優(yōu)化的排水管道缺陷檢測模型，優(yōu)化后的Faster R-CNN網(wǎng)絡(luò)能夠有效提高排水管道缺陷檢測的識別正確率。鄭茂輝等[15]，結(jié)合極限學(xué)習(xí)機(jī)(extreme learning machine，ELM) 神經(jīng)網(wǎng)絡(luò)和CCTV檢測，建立了一個(gè)數(shù)據(jù)驅(qū)動(dòng)的排水管道缺陷診斷模型，該模型采用遺傳算法(genetic algorithm，GA)算法優(yōu)化ELM 神經(jīng)網(wǎng)絡(luò)輸入連接權(quán)值和隱含層偏置，能夠避免參數(shù)隨機(jī)初始化造成的分類結(jié)果不穩(wěn)定、準(zhǔn)確率偏低的弊端。

目前，已有的基于深度學(xué)習(xí)技術(shù)的排水管道缺陷識別研究所識別的缺陷種類和數(shù)據(jù)集樣本均較少，不能全面反映排水管網(wǎng)缺陷信息的實(shí)際情況。并且所建模型與方法在實(shí)際工程中應(yīng)用也較少。為此，結(jié)合規(guī)程規(guī)范要求，結(jié)合深圳市大空港、龍崗、光明3個(gè)片區(qū)的大量管道缺陷圖像人工標(biāo)注成果，構(gòu)建了工程常見的10種典型管道缺陷數(shù)據(jù)集樣本；分別采用AlexNet和ResNet50為骨干網(wǎng)絡(luò)的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，對影響模型準(zhǔn)確度的學(xué)習(xí)參數(shù)進(jìn)行深入研究，對比得到穩(wěn)定且分類準(zhǔn)確度高的排水管道缺陷識別網(wǎng)絡(luò)模型；將所建立的排水管缺陷識別模型應(yīng)用到位于深圳市東北部某水質(zhì)凈化廠服務(wù)范圍涉及的3個(gè)街的排水道缺陷識別，以輔助檢測人員快速且準(zhǔn)確地判定管道缺陷。

1 待識別管道缺陷類型的確定

根據(jù)《城鎮(zhèn)排水管道檢測與評估技術(shù)規(guī)程(CJJ 181—2012)》的規(guī)定，排水管道缺陷有破裂、變形、沉積、結(jié)構(gòu)等16種功能性和結(jié)構(gòu)性缺陷[16]，管道缺陷類別較多，且這些缺陷對排水管道的正常運(yùn)行影響程度不一，因此根據(jù)缺陷發(fā)生概率高、危害大、特征明顯的原則選取了、結(jié)垢腐蝕、樹根、錯(cuò)口、障礙物、支管暗接、接口材料脫落、破裂、變形、沉積、浮渣十種缺陷來進(jìn)行識別[17]，10種缺陷類型及特征分析如表1所示。

表1 缺陷類型及特征分析表Table 1 Defect type and characteristic analysis

2 基于深度學(xué)習(xí)的缺陷分類模型

2.1 AlexNet網(wǎng)絡(luò)

2012年，Krizhevsky等[4]提出了AlexNet網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。AlexNet為8層結(jié)構(gòu)，其中前5層為卷積層，后3層為全連接層，學(xué)習(xí)參數(shù)6千萬個(gè)，神經(jīng)元65萬個(gè)。區(qū)域候選網(wǎng)絡(luò)(region proposal network, RPN)層在第1、2個(gè)卷積層之后，Max pooling層在RPN層及第5個(gè)卷積層后，ReLU在每個(gè)卷積層及全連接層后。

AlexNet網(wǎng)絡(luò)的特點(diǎn)有：①成功使用ReLU作為CNN的激活函數(shù)，相較于Sigmoid加快了訓(xùn)練速度，也解決了Sigmoid在網(wǎng)絡(luò)較深時(shí)的梯度彌散問題；②ReLU得到的結(jié)果需要進(jìn)行歸一化，歸一化有助于網(wǎng)絡(luò)快速收斂，增強(qiáng)模型泛化能力；③將Dropout實(shí)用化，證實(shí)了Dropout可以避免模型過擬合；④AlexNet全部使用最大池化，避免平均池化的模糊化效果，提升了特征的豐富性。

圖2 排水管道缺陷分類AlexNet模型Fig.2 The AlexNet model of drainage pipeline defect

D指管道直徑圖3 研究路線圖Fig.3 Research roadmap

2.2 ResNet50網(wǎng)絡(luò)

ResNet(residual neural network)由He等[6]于2015年提出，通過使用ResNet Unit成功訓(xùn)練152層神經(jīng)網(wǎng)絡(luò)。ResNet結(jié)構(gòu)中加入了殘差學(xué)習(xí)模塊[18]，極快地加速了神經(jīng)網(wǎng)絡(luò)訓(xùn)練，也提升了模型準(zhǔn)確率，之后很多識別和分割方法都建立在ResNet50或ResNet101的基礎(chǔ)上完成。

ResNet50，網(wǎng)絡(luò)分為五部分：conv1、conv2_x、conv3_x、conv4_x、conv5_x。首先，為1個(gè)7×7×64的輸入卷積層，然后經(jīng)過3+4+6+3=16個(gè)building block，每個(gè)block為3層，所以有16×3=48層，最后為1個(gè)用于分類的全連接層，所以共1+48+1=50層。

2.3 研究路線圖

綜上所述，本文中研究路線如圖3所示。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)集對深度學(xué)習(xí)算法的準(zhǔn)確性至關(guān)重要，本文中研究的排水管道缺陷目前還沒有公共數(shù)據(jù)集，所以通過網(wǎng)絡(luò)收集渠道采集本次訓(xùn)練數(shù)據(jù)。經(jīng)過網(wǎng)絡(luò)收集獲得每類缺陷100張圖像，將其處理為256×384像素大小，jpg格式，數(shù)據(jù)集標(biāo)簽號按照結(jié)垢腐蝕、樹根、錯(cuò)口、障礙物、支管暗接、接口材料脫落、破裂、變形、沉積、浮渣的順序?yàn)?～10。

為了提高模型訓(xùn)練識別效果，需要對數(shù)據(jù)集進(jìn)行預(yù)處理，過濾圖像中無關(guān)信息，增強(qiáng)增強(qiáng)特征提取的可靠性。圖像數(shù)據(jù)集的預(yù)處理分為兩部分，數(shù)據(jù)增強(qiáng)和單個(gè)圖像處理。

3.1.1 數(shù)據(jù)增強(qiáng)

成功的神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，本次試驗(yàn)數(shù)據(jù)集數(shù)量較少，因此使用圖像抖動(dòng)、圖像平移、圖像旋轉(zhuǎn)、Fancy principal component analysis(Fancy PCA)等數(shù)據(jù)增強(qiáng)方法來擴(kuò)大初始數(shù)據(jù)集，以增加訓(xùn)練數(shù)據(jù)量和噪聲數(shù)據(jù)，提高模型的泛化能力和魯棒性，圖像增強(qiáng)效果如圖4所示。

關(guān)鍵詞時(shí)區(qū)視圖可以看出某一領(lǐng)域的研究趨勢，突發(fā)詞可以反映某一領(lǐng)域研究的潛在熱點(diǎn)和研究前沿。在Citespace軟件中選擇“TimeZone”，得到網(wǎng)絡(luò)信息行為關(guān)鍵詞的時(shí)區(qū)視圖（圖5），并選擇”Export”中的”network summary table”得到高頻關(guān)鍵詞的頻次及突發(fā)詞信息，整理可得表7。

圖4 數(shù)據(jù)增強(qiáng)效果圖Fig.4 Data enhancement map

3.1.2 單個(gè)圖像處理

對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，對單個(gè)圖片進(jìn)行直方圖均值化、歸一化和白化操作。直方圖均值化可以增強(qiáng)圖像對比度、優(yōu)化視覺效果，其處理結(jié)果如圖5所示。圖像歸一化是指對圖像進(jìn)行一系列標(biāo)準(zhǔn)的處理變換，使之變換為一個(gè)固定標(biāo)準(zhǔn)形式的過程，本實(shí)驗(yàn)使用最大最小值歸一化方法，歸一化處理可以防止仿射變換[18]的影響，加快梯度下降求最優(yōu)解的速度。圖像白化處理可對過度曝光或低曝光的圖像進(jìn)行處理，將圖像像素值轉(zhuǎn)化為零均值和單位方差，從而獲取圖像中重要的恒定信息，降低輸入數(shù)據(jù)的冗余性。

圖5 直方圖均值化Fig.5 Histogram averaging

完成以上預(yù)處理后將數(shù)據(jù)集隨機(jī)分成3個(gè)子集，分別用于訓(xùn)練，驗(yàn)證和測試，70%的數(shù)據(jù)用于訓(xùn)練，剩余的30%均分為驗(yàn)證集和測試集。

3.2 訓(xùn)練和評估

3.2.1 AlexNet網(wǎng)絡(luò)訓(xùn)練

由于本次訓(xùn)練使用的管道缺陷圖像樣本較少，為避免小規(guī)模樣本造成過擬合現(xiàn)象，使用CIFAR-10公共數(shù)據(jù)集對AlexNet網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，之后將該網(wǎng)絡(luò)遷移應(yīng)用于本文圖像集，在遷移學(xué)習(xí)管道缺陷圖像時(shí)，需要對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，對不同的學(xué)習(xí)率(learning rate， lr)和迭代次數(shù)(epoch)組合下的管道缺陷網(wǎng)絡(luò)收斂狀況和分類準(zhǔn)確率進(jìn)行比較分析，以得到最優(yōu)參數(shù)組合。部分訓(xùn)練集和驗(yàn)證集在不同參數(shù)組合下的損失(loss)曲線圖如圖6所示，測試集在不同參數(shù)組合下的準(zhǔn)確率如表2所示，當(dāng)epoch=25、lr=10-3時(shí)，模型誤差迅速收斂趨于穩(wěn)定，測試集的準(zhǔn)確率也達(dá)到最高，所以將其設(shè)置為AlexNet管道缺陷識別網(wǎng)絡(luò)的最佳參數(shù)。

表2 測試集準(zhǔn)確率統(tǒng)計(jì)表Table 2 The accuracy of test set under different parameter combinations

3.2.2 ResNet50網(wǎng)絡(luò)訓(xùn)練

同樣結(jié)合遷移學(xué)習(xí)，使用本文中數(shù)據(jù)集訓(xùn)練ResNet50預(yù)訓(xùn)練模型，經(jīng)過微調(diào)最終設(shè)定學(xué)習(xí)率為0.001，批次大小為16，優(yōu)化算法為SGDM (semi-global block matching)，模型經(jīng)過迭代40訓(xùn)練，訓(xùn)練集和驗(yàn)證集的誤差和準(zhǔn)確率變化如圖7所示，訓(xùn)練集和驗(yàn)證集訓(xùn)練25次后誤差分別收斂于0和0.65，準(zhǔn)確率分別穩(wěn)定在100%和80%左右。將epoch=25、lr=10-3作為ResNet50管道缺陷識別網(wǎng)絡(luò)的最佳參數(shù)，保存該參數(shù)組合訓(xùn)練完成的模型。使用測試集對該模型進(jìn)行測試，混淆矩陣如圖8所示。由圖8可見總的分類準(zhǔn)確率達(dá)到96.5%。

圖7 ResNet50網(wǎng)絡(luò)訓(xùn)練損失和準(zhǔn)確率曲線圖Fig.7 Training loss and accuracy curve of ResNet50 network

圖8 測試集混淆矩陣Fig.8 Testing confusion matrix

4 實(shí)際工程應(yīng)用

4.1 研究區(qū)域概況

研究區(qū)域位于深圳市東北部某水質(zhì)凈化廠服務(wù)范圍涉及的3個(gè)街道，服務(wù)建成區(qū)總面積43 km2，服務(wù)人口61.57萬。

4.2 CCTV檢測管段的確定

若直接對研究區(qū)域內(nèi)所有管道進(jìn)行CCTV檢測，成本太高，排查效率低，所以借助監(jiān)測手段，通過管網(wǎng)診斷分析，篩選重點(diǎn)區(qū)域，為CCTV檢測提供基礎(chǔ)依據(jù)。

(1)CCTV抽檢管段。對2016—2018年已實(shí)施CCTV檢測的管道，近幾年已經(jīng)整治及正在整治的，不進(jìn)行復(fù)核，對剩余管道缺陷部分進(jìn)行抽檢，抽檢率為10%，本次抽檢管段長度約為16.2 km。

(2)根據(jù)缺陷臺(tái)賬確定CCTV檢測管段。根據(jù)有關(guān)部門提供的缺陷臺(tái)賬進(jìn)行梳理，對其中的對應(yīng)管段實(shí)施CCTV檢測，檢測長度約為2 km。

(3)根據(jù)水質(zhì)水量檢測結(jié)果確定CCTV檢測管段。根據(jù)市政管線成果，在排查分區(qū)范圍內(nèi)污水干管上的所有接入排口上按順序布置快檢點(diǎn)位，針對COD(chemical oxygen demand)和NH3-N濃度偏低的管段按照相同原則繼續(xù)布點(diǎn)上溯至源頭，找到問題管段并進(jìn)行CCTV檢測，檢測長度約為62.9 km。

根據(jù)以上原則，研究區(qū)域需要做CCTV檢測的管段范圍如圖9所示。

圖9 CCTV檢測管段分布圖Fig.9 Distribution map of pipe sections that need CCTV inspection

4.3 模型應(yīng)用

根據(jù)上述確定的CCTV檢測管段和技術(shù)路線，對研究區(qū)域市政管道進(jìn)行CCTV檢測，之后在所采集的視頻中進(jìn)行關(guān)鍵幀提取，共提取5 000張管道圖像，提取的部分圖像如圖10所示。之后對提取出的圖像進(jìn)行直方圖均值化、歸一化和白化操作等預(yù)處理，將預(yù)處理完成的圖像輸入訓(xùn)練完成的AlexNet網(wǎng)絡(luò)和ResNet50網(wǎng)絡(luò)進(jìn)行自動(dòng)識別分類。

圖10 實(shí)測排水管道缺陷圖Fig.10 The images of measured drainage pipe defect

兩種網(wǎng)絡(luò)均在2 min之內(nèi)快速識別分類，缺陷分類結(jié)果如表4所示。以專家判斷的缺陷類別為標(biāo)準(zhǔn)，對兩種網(wǎng)絡(luò)的分類結(jié)果進(jìn)行準(zhǔn)確率指標(biāo)計(jì)算，準(zhǔn)確率的計(jì)算方法如表3、式(1)所示。

表3 混淆矩陣Table 3 Confusion matrixs

表4 缺陷分類結(jié)果Table 4 The results of defect classification

(1)

從準(zhǔn)確率的計(jì)算結(jié)果可以看出，在實(shí)際工程中AlexNet和ResNet50均取得較好的分類效果，準(zhǔn)確率分別為85.41%和87.94%，ResNet50模型的分類性能更優(yōu)。相對于其他缺陷類別，障礙物的分類準(zhǔn)確率略低，結(jié)合工程實(shí)際分析，這是由于勘測管道中障礙物形態(tài)多樣，而訓(xùn)練模型的圖像中的障礙物形態(tài)較為單一。

5 結(jié)論

基于排水管道檢測圖像，采用AlexNet和ResNet50作為骨干網(wǎng)絡(luò)，利用CIFAR-10數(shù)據(jù)集預(yù)訓(xùn)練后遷移應(yīng)用于收集的管道缺陷圖像數(shù)據(jù)集，構(gòu)建了輔助檢測人員快速地準(zhǔn)確識別管道缺陷類型智能方法，得到如下結(jié)論。

(1)為了提高分類準(zhǔn)確率，使用常用的圖像數(shù)據(jù)增加方法來增加樣本集的數(shù)量，并對樣本集進(jìn)行直方圖均值化、歸一化和白化處理是必要的。

(2) AlexNet網(wǎng)絡(luò)和ResNet50網(wǎng)絡(luò)在實(shí)際工程項(xiàng)目中獲得較好的分類效果，準(zhǔn)確率分別為85.41%和87.94%。ResNet50模型的識別準(zhǔn)確率較AlexNet有所提高。實(shí)驗(yàn)證明，基于檢測圖像的深度學(xué)習(xí)管道缺陷識別方法節(jié)省大量時(shí)間，并有較高的識別能力，可以有效輔助缺陷檢測人員識別管道缺陷。

(3)使用深度學(xué)習(xí)模型對排水管道檢測圖像進(jìn)行缺陷分類，能夠取得較好的識別分類效果，但是數(shù)據(jù)集即檢測圖像收集是構(gòu)建方法的關(guān)鍵，本次實(shí)驗(yàn)數(shù)據(jù)量較少，復(fù)雜工程環(huán)境應(yīng)用效果有待進(jìn)一步考證。因此，今后需要進(jìn)一步擴(kuò)大管道缺陷樣本庫，進(jìn)一步發(fā)展先進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)來識別更多缺陷，以更好地輔助管道缺陷檢測人員提升識別效果。