基于融合卷積神經(jīng)網(wǎng)絡(luò)的多種類(lèi)管道病害檢測(cè)方法

方宏遠(yuǎn)， 馬 鐸， 王念念, 胡浩幫， 董家修

(1.鄭州大學(xué)水利科學(xué)與工程學(xué)院， 鄭州 450000；2.國(guó)家地方重大基礎(chǔ)設(shè)施檢測(cè)與修復(fù)技術(shù)聯(lián)合工程實(shí)驗(yàn)室， 鄭州 450000；3.南方工程檢測(cè)修復(fù)技術(shù)研究院， 廣東 惠州 516000)

城市地下管道廣泛應(yīng)用于供暖、供水、排污等領(lǐng)域. 隨著服役年齡的增加，地基不均勻沉降對(duì)管道造成不同程度的損傷，管道密封材料的老化造成接口處泄露. 由此引發(fā)周?chē)寥?、生活用水和城市空氣的污染，進(jìn)而引發(fā)一系列安全問(wèn)題. 未經(jīng)檢測(cè)的污水管道中，6%有很高的失效后果，4%有很高的失效風(fēng)險(xiǎn)[1]. 因此，應(yīng)當(dāng)確定管道檢測(cè)的優(yōu)先級(jí)，為城市污水管道的修復(fù)和維護(hù)提供決策幫助[2].

傳統(tǒng)的視頻檢測(cè)方法采用移動(dòng)檢測(cè)設(shè)備取代了人員進(jìn)入管道，降低了檢測(cè)風(fēng)險(xiǎn). 但是，該方法依賴(lài)于專(zhuān)業(yè)人員的主觀判斷，費(fèi)時(shí)費(fèi)力. 并且，重復(fù)的工作負(fù)載和主觀評(píng)估產(chǎn)生了缺陷忽略和編碼錯(cuò)誤，降低了檢測(cè)準(zhǔn)確率[3].

計(jì)算機(jī)檢測(cè)算法速度快、精度高、穩(wěn)定性好，能夠取代傳統(tǒng)方法，為管道病害的智能檢測(cè)開(kāi)辟道路. 現(xiàn)有的基于計(jì)算機(jī)視覺(jué)的管道病害檢測(cè)方法主要包括3類(lèi)：傳統(tǒng)算法、機(jī)器學(xué)習(xí)和深度學(xué)習(xí). 傳統(tǒng)算法主要包括直方圖分析算法[4]、邊緣檢測(cè)算法[5]、小波分析算法等[6]. 機(jī)器學(xué)習(xí)算法包括支持向量機(jī)[7]和隨機(jī)森林[8]等算法. Mashford等[9]結(jié)合了局部特征的特征標(biāo)記和連接組件標(biāo)記，提出了一種基于支持向量機(jī)的管道彩色圖像自動(dòng)檢測(cè)與分割的方法. Sinha等[10]提出了一種結(jié)合神經(jīng)網(wǎng)絡(luò)和模糊邏輯的神經(jīng)模糊分類(lèi)器. 對(duì)比傳統(tǒng)算法，該分類(lèi)器達(dá)到了90%的分類(lèi)準(zhǔn)確率，得到了最優(yōu)的檢測(cè)效果.

相比于傳統(tǒng)算法和機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)算法增加了卷積神經(jīng)網(wǎng)絡(luò)層數(shù)，得到了識(shí)別目標(biāo)的高維特征，具有準(zhǔn)確率高的特點(diǎn)[11]. 現(xiàn)有的基于深度學(xué)習(xí)的圖像分類(lèi)算法主要有：AlexNet[12]、VGG[13](visual geometry group)網(wǎng)絡(luò)、Inception網(wǎng)絡(luò)[14]和殘差網(wǎng)絡(luò)(Resnet)[15]. 其中，AlexNet是首個(gè)基于深度學(xué)習(xí)的機(jī)器視覺(jué)網(wǎng)絡(luò). 此后，神經(jīng)網(wǎng)絡(luò)向更深和更寬兩個(gè)方向調(diào)優(yōu). VGG網(wǎng)絡(luò)增加了卷積層數(shù)量，增加了網(wǎng)絡(luò)深度，能夠提取更加抽象的目標(biāo)特征. Inception網(wǎng)絡(luò)采用多路分支的方法，增加了網(wǎng)絡(luò)寬度和特征多樣性，提高了檢測(cè)準(zhǔn)確度. 通過(guò)引入跳躍連接，殘差網(wǎng)絡(luò)解決了網(wǎng)絡(luò)過(guò)深引起的梯度消失問(wèn)題，提高了準(zhǔn)確度.

王俊嶺等[16]總結(jié)了對(duì)排水管道檢測(cè)的方法，分析了各檢測(cè)方法的原理和特點(diǎn)，認(rèn)為深度學(xué)習(xí)算法在排水管道檢測(cè)領(lǐng)域具有較好的應(yīng)用前景. Kumar等[17]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的污水監(jiān)控圖像缺陷分類(lèi)框架，能夠分類(lèi)根系入侵、沉積物和裂縫3類(lèi)病害. 呂兵等[18]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的排水管道缺陷的檢測(cè)方法，具有檢測(cè)速度快、準(zhǔn)確度高的特點(diǎn). 范娟娟等[19]構(gòu)建了一個(gè)超過(guò)40 000張排水道管道圖像的訓(xùn)練集，通過(guò)對(duì)網(wǎng)絡(luò)模型訓(xùn)練，得到了一種基于兩級(jí)分層深度卷積神經(jīng)網(wǎng)絡(luò)的排水道缺陷自動(dòng)識(shí)別與分類(lèi)系統(tǒng). 王新穎等[20]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和Softmax分類(lèi)器的燃?xì)夤艿拦收蠙z測(cè)方法. 經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)的特征提取、參數(shù)重構(gòu)、Softmax分類(lèi)，得到了準(zhǔn)確率為92.54%的檢測(cè)模型.

以上管道缺陷方法通過(guò)采集圖像，訓(xùn)練深度學(xué)習(xí)算法，得到了高準(zhǔn)確率的檢測(cè)模型，提高了管道缺陷檢測(cè)的智能化程度. 但是，這些網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，無(wú)法提取豐富的管道缺陷特征，因此，檢測(cè)準(zhǔn)確率和召回率仍然具有提升空間. 針對(duì)地下管道病害特征復(fù)雜的特點(diǎn)，本文結(jié)合了Inception網(wǎng)絡(luò)構(gòu)架和殘差網(wǎng)絡(luò)構(gòu)架，提出了一種基于融合卷積神經(jīng)網(wǎng)絡(luò)的管道缺陷檢測(cè)算法，增加了網(wǎng)絡(luò)的深度和寬度，從而提高了檢測(cè)準(zhǔn)確度和召回率，實(shí)現(xiàn)了對(duì)多種類(lèi)管道病害圖像的分類(lèi).

1 方法

實(shí)驗(yàn)表明，網(wǎng)絡(luò)深度的增加導(dǎo)致了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)算法的梯度爆炸和梯度消失的問(wèn)題，訓(xùn)練和測(cè)試的準(zhǔn)確率反而降低[15]. 針對(duì)這一問(wèn)題，He等[15]提出了一種基于殘差和跳躍連接[21]的深度卷積神經(jīng)網(wǎng)絡(luò)模型，解決了模型的退化問(wèn)題，提高了模型檢測(cè)的準(zhǔn)確率. Szegedy等[14]提出了一種基于Inception結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)模型，該模型能夠自主學(xué)習(xí)到網(wǎng)絡(luò)的最優(yōu)稀疏結(jié)構(gòu)，解決了網(wǎng)絡(luò)退化的問(wèn)題，改善了模型的檢測(cè)結(jié)果. 如表1所示，本文結(jié)合了殘差網(wǎng)絡(luò)構(gòu)架和Inception網(wǎng)絡(luò)構(gòu)架的優(yōu)點(diǎn)，構(gòu)建了一種基于融合卷積神經(jīng)網(wǎng)絡(luò)的多種類(lèi)地下管道病害分類(lèi)算法，提高了檢測(cè)的準(zhǔn)確率，實(shí)現(xiàn)了管道內(nèi)部病害的智能檢測(cè).

該網(wǎng)絡(luò)的訓(xùn)練過(guò)程主要分為正向傳播階段和反向傳播階段. 在正向傳播階段，原始圖像通過(guò)輸入層進(jìn)入網(wǎng)絡(luò)，通過(guò)網(wǎng)絡(luò)層次計(jì)算，即各Inception-Resnet模塊中的卷積、池化和激活函數(shù)[22]計(jì)算，得到相應(yīng)的預(yù)測(cè)值yp. 在反向傳播階段，計(jì)算預(yù)測(cè)值yp與相應(yīng)的實(shí)際值ygt之間的誤差，即損失函數(shù). 通過(guò)梯度下降法[23]和反向傳播法[24]調(diào)整權(quán)值矩陣，最小化誤差，得到最終的分類(lèi)模型.

網(wǎng)絡(luò)性能的提升方法多種多樣，例如升級(jí)硬件，獲取更大的數(shù)據(jù)集等. 但最直接的方法是增加網(wǎng)絡(luò)的深度和寬度. 但是簡(jiǎn)單地增大網(wǎng)絡(luò)有以下缺點(diǎn)：1) 容易過(guò)擬合. 隨著深度和寬度不斷增加，網(wǎng)絡(luò)參數(shù)也隨之增多，巨大的網(wǎng)絡(luò)參數(shù)容易導(dǎo)致過(guò)擬合. 2) 計(jì)算量太大. 隨著網(wǎng)絡(luò)的增大，計(jì)算復(fù)雜度不斷提高，從而使得計(jì)算量加大，難以應(yīng)用. 為了解決這一問(wèn)題，Inception網(wǎng)絡(luò)構(gòu)架和殘差網(wǎng)絡(luò)構(gòu)架應(yīng)運(yùn)而生.

表1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 Inception網(wǎng)絡(luò)構(gòu)架

Inception網(wǎng)絡(luò)構(gòu)架是一種通過(guò)增加網(wǎng)絡(luò)的寬度提升網(wǎng)絡(luò)性能的方法. Inception網(wǎng)絡(luò)構(gòu)架的核心思想是使用一個(gè)密集的網(wǎng)絡(luò)結(jié)構(gòu)替代局部稀疏結(jié)構(gòu). 如圖1所示，該網(wǎng)絡(luò)構(gòu)架具有以下4個(gè)優(yōu)點(diǎn)：1) 網(wǎng)絡(luò)自主確定不同尺寸的卷積組合. 通過(guò)訓(xùn)練，使得網(wǎng)絡(luò)能夠自行確定卷積核和池化核的尺寸. 2) 分解為更小的卷積，降低計(jì)算量. 將稀疏矩陣聚類(lèi)成相對(duì)密集的子矩陣，能夠減少計(jì)算量，提高計(jì)算性能. 例如，將5×5的卷積分解成2個(gè)3×3的卷積串聯(lián). 3) 分解為不對(duì)稱(chēng)卷積，降低參數(shù)數(shù)量. 將3×3的卷積核分解為1×3和3×1非對(duì)稱(chēng)卷積核的串聯(lián)，減少了網(wǎng)絡(luò)參數(shù)，節(jié)省了計(jì)算量. 4) 不同尺寸感受野組合. 采用不同大小的卷積核，得到了不同尺寸感受野的特征圖. 通過(guò)拼接不同感受野的特征圖，實(shí)現(xiàn)了不同尺度特征的融合.

圖1 Inception模塊Fig.1 Inception module

1.2 殘差網(wǎng)絡(luò)構(gòu)架

基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別是一個(gè)信息提取的過(guò)程，即從底層特征逐漸提取到高度抽象的特征. 隨著網(wǎng)絡(luò)層數(shù)的增加，提取到的抽象特征更多，語(yǔ)義信息更加豐富. 因此，通過(guò)增加網(wǎng)絡(luò)的深度能夠提升網(wǎng)絡(luò)性能. 但是，隨著網(wǎng)絡(luò)深度的增加，普通卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差會(huì)呈現(xiàn)出先降后增的趨勢(shì)[15]. 原因是隨著網(wǎng)絡(luò)深度的增加，冗余的網(wǎng)絡(luò)層學(xué)習(xí)到了非恒等映射的參數(shù)，使得模型產(chǎn)生退化現(xiàn)象. 為了解決這一問(wèn)題，He等[15]提出了基于跳躍連接殘差網(wǎng)絡(luò)構(gòu)架.

殘差網(wǎng)絡(luò)構(gòu)架就是殘差模塊的堆疊. 如圖2所示，殘差模塊包括殘差映射和恒等映射兩部分. 在訓(xùn)練過(guò)程中，網(wǎng)絡(luò)通過(guò)學(xué)習(xí)，使得殘差映射F(x)等于0，從而自主確定冗余層，使該層網(wǎng)絡(luò)恒等映射上一層的輸入，弱化了該冗余層的網(wǎng)絡(luò)效果. 這一操作解決了網(wǎng)絡(luò)的退化問(wèn)題，使得深層網(wǎng)絡(luò)的訓(xùn)練過(guò)程更加穩(wěn)定.

圖2 殘差模塊Fig.2 Residual module

1.3 Inception-Resnet網(wǎng)絡(luò)構(gòu)架

為了進(jìn)一步提高模型的分類(lèi)效果，本文結(jié)合了Inception模塊和殘差模塊，同時(shí)增加了網(wǎng)絡(luò)的寬度和深度，提出了一種基于融合卷積神經(jīng)網(wǎng)絡(luò)的多種類(lèi)地下管道病害分類(lèi)算法(如圖3所示). 該算法引入了1×1卷積，1×1卷積有以下優(yōu)點(diǎn)：1) 降維. 即在不改變圖片高和寬的情況下，降低圖片的通道數(shù). 2) 加入非線(xiàn)性. 卷積層之后經(jīng)過(guò)激勵(lì)層，1×1的卷積在前一層的學(xué)習(xí)表示上添加了非線(xiàn)性激勵(lì)，提升網(wǎng)絡(luò)的表達(dá)能力；可以在保持特征圖尺度不變的前提下，利用后接的非線(xiàn)性激活函數(shù)增加非線(xiàn)性特性，增加網(wǎng)絡(luò)深度.

實(shí)驗(yàn)表明，殘差連接并不會(huì)明顯提升模型精度，而是會(huì)加快訓(xùn)練收斂. 并且，深層的殘差網(wǎng)絡(luò)構(gòu)架不穩(wěn)定，增加了訓(xùn)練難度[15]. 為了解決這一問(wèn)題，本文引入殘差縮放因子，即在殘差與上一層的激活值相加前，采用0.1～0.3的縮放因子來(lái)縮放殘差層，再添加到激活后的累加層[25]. 這一操作可以使訓(xùn)練過(guò)程更加穩(wěn)定.

圖3 Inception-Resnet模塊Fig.3 Inception-Resnet module

2 實(shí)驗(yàn)

2.1 管道病害圖像數(shù)據(jù)庫(kù)的構(gòu)建

本文采用CCTV管道機(jī)器人，對(duì)鄭州市和天津市地下排水管道進(jìn)行了現(xiàn)場(chǎng)原始圖像的采集. 管道檢測(cè)機(jī)器人搭配200萬(wàn)像素的CMOS攝像頭，可實(shí)現(xiàn)徑向360°旋轉(zhuǎn)、俯仰135°旋轉(zhuǎn)，搭配8顆前置10 W高亮LED光源、2顆后置10 W高亮LED光源，光強(qiáng)亮度可連續(xù)調(diào)節(jié). 管道病害可分為結(jié)構(gòu)性病害和功能性病害. 其中，結(jié)構(gòu)性病害主要為破漏、錯(cuò)口、腐蝕，功能性病害主要為障礙物. 但是，由于管道內(nèi)部環(huán)境的復(fù)雜性，原始管道病害圖像難以直接訓(xùn)練. 因此，應(yīng)當(dāng)挑選清晰且代表性強(qiáng)的圖片組成管道病害圖像數(shù)據(jù)集. 挑選的主要依據(jù)有：1) 病害應(yīng)以肉眼清晰可見(jiàn)；2) 一張圖片應(yīng)只包含一種病害類(lèi)型；3) 病害所處管道環(huán)境應(yīng)多樣化，選擇不同光照條件下的圖片；4) 病害類(lèi)型應(yīng)當(dāng)明確，不可模棱兩可；5) 對(duì)于判讀不清楚的圖片，應(yīng)當(dāng)由專(zhuān)業(yè)人員判定. 將原始管道病害圖像數(shù)據(jù)集按6∶2∶2的比例隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.

由于挑選后的原始圖像數(shù)量較少，本文采用數(shù)據(jù)集增強(qiáng)技術(shù)，對(duì)訓(xùn)練集圖像進(jìn)行鏡像、亮度、對(duì)比度、飽和度、銳度和高斯噪聲等處理生成新的訓(xùn)練圖像. 為了保證驗(yàn)證集和測(cè)試集圖像的真實(shí)性，僅僅對(duì)訓(xùn)練集圖像進(jìn)行了增強(qiáng)處理，驗(yàn)證集和測(cè)試集的圖像數(shù)量仍保持不變. 將經(jīng)過(guò)預(yù)處理及數(shù)據(jù)集擴(kuò)增后的圖像整合成管道病害圖像數(shù)據(jù)庫(kù)(pipeline disease image database，PDID). 該數(shù)據(jù)庫(kù)包含7 576張管道病害圖像，其中：訓(xùn)練集共6 496張圖像，包含有1 516張錯(cuò)口圖像、1 492張破漏圖像、1 616張腐蝕圖像、1 872張障礙物圖像；驗(yàn)證集共540張圖像，包含126張錯(cuò)口圖像、134張破漏圖像、124張腐蝕圖像、156張障礙物圖像；測(cè)試集共540張圖像，包含126張錯(cuò)口圖像、134張破漏圖像、124張腐蝕圖像、156張障礙物圖像.

2.2 訓(xùn)練

2.2.1 實(shí)驗(yàn)設(shè)備

本文使用的計(jì)算機(jī)設(shè)備條件為：運(yùn)行內(nèi)存(RAM)64.0 GB，Core(TM)i7-7800X CPU@3.50 GHz，6核12線(xiàn)程處理器. 使用NVIDIA Titan V Inter(R)圖形處理器[26]提升運(yùn)算速度. 采用Ubuntu 16.04操作系統(tǒng)，深度學(xué)習(xí)框架Tensorflow[27]1.4版本，計(jì)算機(jī)語(yǔ)言Python 3.5，并裝載了并行計(jì)算構(gòu)架CUDA 7.0版本和基于CUDA的深度學(xué)習(xí)GPU加速庫(kù)CUDNN[28]9.0版本，在此基礎(chǔ)上搭建多種類(lèi)管道病害分類(lèi)模型.

2.2.2 超參數(shù)設(shè)置

其中，最為重要的超參數(shù)為迭代次數(shù)和學(xué)習(xí)率. 學(xué)習(xí)率過(guò)高時(shí)，損失函數(shù)不降反增，無(wú)法收斂；學(xué)習(xí)率過(guò)低時(shí)，網(wǎng)絡(luò)學(xué)習(xí)速度變慢、學(xué)習(xí)效果變差. 因此，合理的學(xué)習(xí)率對(duì)網(wǎng)絡(luò)的訓(xùn)練至關(guān)重要. 如表2所示，通過(guò)對(duì)不同超參數(shù)模型訓(xùn)練，并在驗(yàn)證集圖像上對(duì)比檢測(cè)準(zhǔn)確度，可以得出最優(yōu)的超參數(shù)組合方式. 本文設(shè)置的超參數(shù)具體如下：最大迭代次數(shù)為44 600次，學(xué)習(xí)率為0.01，反向傳播方法為隨機(jī)梯度下降算法(SGD)[29]，動(dòng)量設(shè)置為0.9，每批次訓(xùn)練16張圖片.

表2 超參數(shù)對(duì)比表

圖5 準(zhǔn)確率上升曲線(xiàn)Fig.5 Increasing curve of accuracy

2.2.3 訓(xùn)練歷程及遷移學(xué)習(xí)[30]

傳統(tǒng)管道病害識(shí)別算法依賴(lài)人工提取特征，然而，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)更新卷積核權(quán)重的方式，能夠自主地學(xué)習(xí)參數(shù)，提取裂縫特征，具有泛化能力強(qiáng)的特點(diǎn). 隨機(jī)初始化的卷積神經(jīng)網(wǎng)絡(luò)需要多次迭代才能收斂. 本文采用遷移學(xué)習(xí)的方法，將在PASCAL VOC[31]數(shù)據(jù)集上學(xué)習(xí)到的預(yù)訓(xùn)練模型作為初始參數(shù)，從而提高了管道病害識(shí)別模型的收斂速度和準(zhǔn)確率.

如圖4所示，損失函數(shù)曲線(xiàn)跌宕下降. 本文設(shè)置每100次迭代，記錄一次訓(xùn)練集損失值，用來(lái)繪制損失值下降曲線(xiàn)，把握收斂速率，控制模型迭代次數(shù). 可以看出，在1萬(wàn)次迭代以?xún)?nèi)，Inception v1模型和VGG 16模型均已收斂；而Inception v3模型5萬(wàn)次迭代后仍未收斂，收斂性較差. 本文所提出的模型能夠平穩(wěn)收斂. 如圖5所示，設(shè)置每經(jīng)過(guò)200次迭代，對(duì)驗(yàn)證集的圖片進(jìn)行一次檢測(cè)，用來(lái)評(píng)估模型的準(zhǔn)確率，防止過(guò)擬合. 準(zhǔn)確率上升曲線(xiàn)隨著迭代次數(shù)的增加，呈現(xiàn)上升的趨勢(shì). 經(jīng)過(guò)44 600次迭代，本模型的損失值和準(zhǔn)確率與迭代次數(shù)關(guān)系曲線(xiàn)均趨于平穩(wěn)，準(zhǔn)確率達(dá)到最高，表明該模型已經(jīng)收斂. 可以看出，本文模型對(duì)驗(yàn)證集圖像的檢測(cè)準(zhǔn)確率最高.

圖4 損失函數(shù)下降曲線(xiàn)Fig.4 Decline curve of loss function

2.3 測(cè)試及評(píng)估

為了驗(yàn)證本文模型的訓(xùn)練效果，對(duì)測(cè)試集540張圖片進(jìn)行檢測(cè). 相比于Kumar等[17]的模型，本文提出的模型達(dá)到了93.15%的平均準(zhǔn)確率.

如表3所示，對(duì)于二分類(lèi)問(wèn)題，將真實(shí)分類(lèi)和預(yù)測(cè)分類(lèi)排列組合為以下4類(lèi)：真陽(yáng)性(true positives，TP)，將真實(shí)正類(lèi)預(yù)測(cè)為正類(lèi)的數(shù)量；假陽(yáng)性(false positives，F(xiàn)P)，將真實(shí)負(fù)類(lèi)預(yù)測(cè)為正類(lèi)的數(shù)量；假陰性(false negatives，F(xiàn)N)，將真實(shí)正類(lèi)預(yù)測(cè)為負(fù)類(lèi)的數(shù)量；真陰性(true negatives，TN)，將真實(shí)負(fù)類(lèi)預(yù)測(cè)為負(fù)類(lèi)的數(shù)量.

準(zhǔn)確率(accuracy)表示預(yù)測(cè)正確的樣本(真陽(yáng)性和假陽(yáng)性的和)與所有樣本的比率，表示為

(7)

如表4所示，錯(cuò)口、腐蝕、破漏、障礙的檢測(cè)準(zhǔn)確率分別為97.62%、95.52%、83.06%、95.51%. 其中，錯(cuò)口、腐蝕、障礙的檢測(cè)準(zhǔn)確率均在90%以上，平均準(zhǔn)確率為93.15%.

表3 各類(lèi)病害評(píng)價(jià)分析表

表4 多種類(lèi)地下管道病害分類(lèi)模型檢測(cè)結(jié)果分析

當(dāng)分類(lèi)目標(biāo)數(shù)量不平衡時(shí)，準(zhǔn)確率的評(píng)價(jià)不具有代表性. 本文進(jìn)一步采用F1分?jǐn)?shù)作為數(shù)值評(píng)價(jià)指標(biāo)，驗(yàn)證本文模型的分類(lèi)準(zhǔn)確性. 其中，精確率(P)表示預(yù)測(cè)正確的正樣本(真陽(yáng)性)與預(yù)測(cè)為正的樣本數(shù)量(真陽(yáng)性和假陽(yáng)性的和)的比率，代表檢測(cè)結(jié)果的正確性. 召回率(R)表示預(yù)測(cè)正確的正樣本(真陽(yáng)性)與樣本正例(真陽(yáng)性和假陰性的和)的比率，代表檢測(cè)結(jié)果的全面性，即未漏檢裂縫的比率. 精確率和召回率分別被定義為：

(8)

(9)

漏檢和誤檢是統(tǒng)計(jì)管道病害數(shù)量時(shí)的一個(gè)重要問(wèn)題.如方程

(10)

所示，F(xiàn)1分?jǐn)?shù)是精確率和召回率的調(diào)和平均值，綜合考慮了準(zhǔn)確和漏檢的問(wèn)題，是統(tǒng)計(jì)學(xué)中檢測(cè)結(jié)果的一種評(píng)估標(biāo)準(zhǔn).

表5為測(cè)試集圖片各類(lèi)病害統(tǒng)計(jì)表. 其中，錯(cuò)口、腐蝕、障礙的精確率和召回率均在90%以上，F(xiàn)1分?jǐn)?shù)在0.9以上，表明本模型能夠在準(zhǔn)確檢測(cè)出各類(lèi)病害的情況下，漏檢數(shù)量較少，識(shí)別結(jié)果具有又準(zhǔn)又全的特點(diǎn).

表5 F1分?jǐn)?shù)分析表

3 討論

3.1 不同模型對(duì)比分析

本文按照同樣的方法，訓(xùn)練了VGG-16、Resnet-50、Resnet-101、Inception-v1和Inception-v3模型. 對(duì)同一測(cè)試集檢測(cè)，結(jié)果如表6～10所示. 按照式(8)(9)(10)分別計(jì)算各病害類(lèi)別的精確率、召回率和F1分?jǐn)?shù).

表6 VGG_16模型檢測(cè)結(jié)果分析

表7 Resnet_50模型檢測(cè)結(jié)果分析

表8 Resnet_101模型檢測(cè)結(jié)果分析

表9 Inception_v1模型檢測(cè)結(jié)果分析

表10 Inception_v3模型檢測(cè)結(jié)果分析

F1分?jǐn)?shù)是統(tǒng)計(jì)學(xué)中衡量二分類(lèi)模型檢測(cè)效果的指標(biāo)，是模型精確率和召回率的加權(quán)平均值. 但是，對(duì)于多分類(lèi)問(wèn)題，F(xiàn)1分?jǐn)?shù)通常有2種計(jì)算方式，分別為Micro-F1分?jǐn)?shù)和Macro-F1分?jǐn)?shù). 面對(duì)數(shù)據(jù)不平衡的多分類(lèi)問(wèn)題，Macro-F1分?jǐn)?shù)能夠更加平等地分析各類(lèi)目標(biāo)，不受多數(shù)分類(lèi)的影響[32]. 因此，本文使用Macro-F1分?jǐn)?shù)作為模型評(píng)價(jià)指標(biāo). 平均精確率、平均召回率和Macro-F1分?jǐn)?shù)分別為各項(xiàng)分類(lèi)的精確率、召回率和F1分?jǐn)?shù)的計(jì)算平均值[33]，如下所示：

(11)

(12)

(13)

式中：i代表類(lèi)別代號(hào)；G代表總類(lèi)別數(shù)；Pmacro、Rmacro和F1macro分別代表平均精確率、平均召回率和Macro-F1分?jǐn)?shù)；Pi、Ri和F1i分別代表各類(lèi)的精確率、召回率和F1分?jǐn)?shù).

如表11所示，本文對(duì)比了VGG-16、王新穎等[20]提出的燃?xì)夤艿拦收显\斷算法、范娟娟等[19]提出的兩級(jí)分層卷積神經(jīng)網(wǎng)絡(luò)、呂兵等[18]提出的排水管道缺陷檢測(cè)算法、Kumar等[17]提出的管道病害分類(lèi)模型、Resnet-50、Resnet-101、Inception-v1、Inception-v3和本模型. 其中，兩級(jí)分層卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率最高，但Macro-F1分?jǐn)?shù)很低，即誤檢率較高. 本模型的平均精確率、平均召回率和Macro-F1分?jǐn)?shù)均最高，且檢測(cè)準(zhǔn)確率僅次于兩級(jí)分層卷積神經(jīng)網(wǎng)絡(luò)，證明了本模型的檢測(cè)結(jié)果既準(zhǔn)確，又全面. 在計(jì)算速度方面，VGG_16達(dá)到了51.85幀/s，但是，準(zhǔn)確度和Macro-F1分?jǐn)?shù)較低. 現(xiàn)有的管道檢測(cè)視頻播放速度為8幀/s. 因此，在滿(mǎn)足管道病害的實(shí)時(shí)檢測(cè)的前提下，本模型的檢測(cè)準(zhǔn)確度和Macro-F1分?jǐn)?shù)最高. 本模型平衡了檢測(cè)速度和檢測(cè)精度，達(dá)到了最優(yōu)效果.

表11 不同模型檢測(cè)結(jié)果分析

3.2 魯棒性分析

目標(biāo)識(shí)別的魯棒性是判斷模型性能的一個(gè)重要依據(jù). 圖6為不同場(chǎng)景下管道病害的檢測(cè)圖像，上方為該圖像的病害類(lèi)別和置信度. 通常的魯棒性是指在不同場(chǎng)景下，模型仍然能夠精確地識(shí)別目標(biāo)的性能.

為了評(píng)估模型的魯棒性，本文對(duì)測(cè)試集部分識(shí)別結(jié)果進(jìn)一步分析. 圖6(a)為錯(cuò)口類(lèi)圖片，檢測(cè)場(chǎng)景為正常條件，本模型均檢測(cè)無(wú)誤；圖6(b)為腐蝕類(lèi)圖片，檢測(cè)場(chǎng)景較暗，圖(b)-1和(b)-2為腐蝕類(lèi)局部圖片，圖(b)-3和(b)-4為整體圖片. 在不同光照條件下，本模型均準(zhǔn)確檢測(cè)；圖6(c)為破漏類(lèi)圖片，圖(c)-1為波紋管，圖(c)-2、(c)-3和(c)-4均為混凝土管. 其中，圖(c)-3和(c)-4為破漏類(lèi)局部圖片，在不同背景條件下，本模型對(duì)破漏類(lèi)病害具有良好的檢測(cè)效果；圖6(d)為障礙物類(lèi)圖片，圖(d)-1障礙物為垃圾，圖(d)-2、(d)-3和(d)-4為不同大小的石塊. 通過(guò)以上對(duì)比說(shuō)明，本模型對(duì)不同光照條件、不同障礙物、整體部位和局部部位的識(shí)別效果均較好. 因此，本模型具有較強(qiáng)的魯棒性，對(duì)不同應(yīng)用場(chǎng)景泛化能力較高.

為了定量分析模型的魯棒性，本文對(duì)測(cè)試集圖像進(jìn)行了色彩和高斯噪聲處理[34]. 如表12所示，通過(guò)對(duì)處理過(guò)的1 080張測(cè)試集圖像檢測(cè)，本模型的平均準(zhǔn)確度為91.76%，相應(yīng)的Macro-F1分?jǐn)?shù)為0.915，證明本模型對(duì)噪聲和色彩變化具有較強(qiáng)的魯棒性.

表12 Resnet_101模型檢測(cè)結(jié)果分析

4 結(jié)論

1) 提出了一種基于融合卷積神經(jīng)網(wǎng)絡(luò)的多種類(lèi)地下管道病害分類(lèi)算法，該算法結(jié)合了Inception網(wǎng)絡(luò)構(gòu)架和殘差網(wǎng)絡(luò)構(gòu)架的優(yōu)點(diǎn)，增加了網(wǎng)絡(luò)的寬度和深度，解決了神經(jīng)網(wǎng)絡(luò)的退化問(wèn)題，提高了檢測(cè)的準(zhǔn)確率，實(shí)現(xiàn)了管道內(nèi)部病害的智能檢測(cè).

2) 經(jīng)過(guò)訓(xùn)練和驗(yàn)證，確定了最優(yōu)模型. 對(duì)540張圖片進(jìn)行測(cè)試，并對(duì)比VGG16模型、燃?xì)夤艿拦收显\斷算法[20]、兩級(jí)分層卷積神經(jīng)網(wǎng)絡(luò)[19]、排水管道缺陷檢測(cè)算法[18]、管道病害分類(lèi)網(wǎng)絡(luò)[17]、Resnet-50、Resnet-101、Inception v1模型和Inception v3模型，本模型達(dá)到了93.15%的平均準(zhǔn)確率和0.932的最優(yōu)Macro-F1分?jǐn)?shù)，證明本模型錯(cuò)檢率較低，具有準(zhǔn)確、全面的檢測(cè)特點(diǎn).

3) 通過(guò)對(duì)實(shí)際檢測(cè)結(jié)果分析，本模型對(duì)光照條件、管道材料、整體部位和局部部位不敏感，證明了本模型魯棒性較好，泛化能力強(qiáng).