基于數(shù)據(jù)深度增強(qiáng)的路面病害智能檢測(cè)方法研究及比較

侯 越, 張慧婷, 高智偉, 王大為, 劉鵬飛, Markus OESER,4,Linbing WANG, 陳 寧,6

(1.北京工業(yè)大學(xué)城市建設(shè)學(xué)部， 北京 100124; 2.格拉斯哥大學(xué)詹姆斯瓦特工程學(xué)院， 格拉斯哥 G128QQ, 英國(guó);3.德國(guó)亞琛大學(xué)道路工程研究所， 亞琛 52074, 德國(guó); 4.德國(guó)聯(lián)邦交通部公路研究院, 北威州 51427, 德國(guó);5.弗吉尼亞理工大學(xué)土木與環(huán)境工程系， 布萊克斯堡 VA24061, 美國(guó); 6.豐田都市交通研究所, 豐田 471-0024, 日本)

在長(zhǎng)期服役之后，路面會(huì)出現(xiàn)不同程度、不同類(lèi)型的病害，影響行駛的舒適性和安全性[1]. 路面必要的養(yǎng)護(hù)管理，對(duì)于促進(jìn)城市道路設(shè)施服務(wù)水平的提高、確保道路的安全運(yùn)營(yíng)至關(guān)重要. 目前，道路養(yǎng)護(hù)過(guò)分依賴(lài)人工巡檢的方式，效率低下且成本較高[2]. 因此，采用先進(jìn)的技術(shù)手段，實(shí)現(xiàn)道路病害的自動(dòng)檢測(cè)，成為當(dāng)下道路養(yǎng)護(hù)管理的關(guān)鍵.

近年來(lái)，深度學(xué)習(xí)逐漸發(fā)展，從大量樣本中學(xué)習(xí)深層非線性網(wǎng)絡(luò)結(jié)構(gòu)來(lái)表述數(shù)據(jù)深層特征[3]，為路面病害的自動(dòng)檢測(cè)提供了一種新思路. 目前，研究者已經(jīng)提出許多基于卷積神經(jīng)網(wǎng)絡(luò) (convolutional neural network, CNN)的目標(biāo)檢測(cè)模型，具有優(yōu)異的檢測(cè)與識(shí)別能力. 常見(jiàn)的有基于候選區(qū)域的兩階段算法，包括R-CNN[4]、SPP-Net[5]、Fast R-CNN[6]、Faster R-CNN[7]；和基于回歸的單階段算法，包括Yolo[8]、SSD[9].

隨著技術(shù)的日漸成熟，目標(biāo)檢測(cè)逐漸被應(yīng)用于道路病害檢測(cè)的研究中. Maeda等[10]開(kāi)發(fā)了一個(gè)大規(guī)模的道路損傷檢測(cè)分類(lèi)數(shù)據(jù)集，共收集163 664張道路圖片，將CNN目標(biāo)檢測(cè)算法應(yīng)用于路面病害檢測(cè)，實(shí)現(xiàn)8種路面病害檢測(cè). Wang等[11]對(duì)現(xiàn)有圖像裂縫的處理和識(shí)別研究進(jìn)行總結(jié)，綜述了路面裂縫圖像采集和二維裂縫提取算法. 肖創(chuàng)柏等[12]利用Faster R-CNN進(jìn)行裂縫檢測(cè)與提取，并調(diào)整網(wǎng)絡(luò)使其適應(yīng)小尺寸結(jié)構(gòu)目標(biāo)的裂縫信息，實(shí)驗(yàn)結(jié)果表明該算法在道路裂縫數(shù)據(jù)集上的F1得分達(dá)到65.6%. Staniek[13]利用交通系統(tǒng)中智能手機(jī)用戶(hù)的數(shù)據(jù)眾包，分析道路網(wǎng)絡(luò)中車(chē)輛運(yùn)動(dòng)來(lái)識(shí)別和評(píng)估道路路面缺陷. 張寧[14]對(duì)Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，并應(yīng)用幾何變換傳統(tǒng)增強(qiáng)方法，提升了算法模型的檢測(cè)精度. Zhang等[15]基于全卷積神經(jīng)網(wǎng)絡(luò)(fully convolution network, FCN)提出CrackNet網(wǎng)絡(luò)提取裂縫特征.

上述算法在路面病害的智能識(shí)別與監(jiān)測(cè)方面做出很大的貢獻(xiàn)，但是總體而言，檢測(cè)的數(shù)據(jù)集中場(chǎng)景和種類(lèi)較為單一，難以應(yīng)對(duì)豐富多樣的病害場(chǎng)景，且在樣本數(shù)據(jù)集不均衡時(shí)，識(shí)別精度相對(duì)較低. 鑒于此，筆者采用一種基于梯度懲罰Wasserstein生成對(duì)抗網(wǎng)絡(luò)(Wasserstein generative adversarial network with gradient penalty, WGAN-GP)[16]與泊松遷移算法相融合的數(shù)據(jù)深度增強(qiáng)方法，并將生成數(shù)據(jù)應(yīng)用于兩階段檢測(cè)算法快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò) (faster region-based convolutional neural network,Faster R-CNN)和單階段檢測(cè)算法你只看一次 (you only look once version5，Yolov5)檢測(cè)框架，實(shí)現(xiàn)了5種路面病害智能檢測(cè)方法，以用于道路坑槽、裂縫病害的智能識(shí)別和定位.

1 研究方法

圖1 研究?jī)?nèi)容與流程Fig.1 Research route

本文的研究流程包括數(shù)據(jù)準(zhǔn)備、實(shí)驗(yàn)和分析3個(gè)部分,如圖1所示. 首先，通過(guò)對(duì)日本開(kāi)源數(shù)據(jù)庫(kù)[17]7 898張道路病害圖片的處理，建立病害數(shù)據(jù)庫(kù). 在實(shí)驗(yàn)中，第1階段是數(shù)據(jù)增強(qiáng)，利用WGAN-GP生成原樣本數(shù)較少的坑槽病害，并通過(guò)泊松遷移融合技術(shù)合成600張具有坑槽病害的圖片帶入檢測(cè)數(shù)據(jù)集. 第2階段是病害檢測(cè)，利用Faster R-CNN和Yolov5目標(biāo)檢測(cè)算法，根據(jù)病害樣本訓(xùn)練調(diào)整網(wǎng)絡(luò)的最優(yōu)識(shí)別超參數(shù)，得到病害的類(lèi)別和邊框位置.

1.1 數(shù)據(jù)增強(qiáng)架構(gòu)

1.1.1 生成對(duì)抗網(wǎng)絡(luò)數(shù)據(jù)生成算法

生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network, GAN)是Goodfellow等[18]提出的一種基于對(duì)抗生成的博弈模型. GAN框架包含生成網(wǎng)絡(luò)(generator network, G)和判別網(wǎng)絡(luò)(discriminator network,D),G和D通過(guò)各自的策略與對(duì)方對(duì)抗，在對(duì)抗中雙方再利用對(duì)方的策略及時(shí)對(duì)自己的策略進(jìn)行不斷調(diào)整[19].

本文采用的GAN網(wǎng)絡(luò)基本框架如圖2所示，將噪聲融合到原始圖像中生成數(shù)據(jù),將生成的數(shù)據(jù)輸入到G并提取坑槽的特征信息，生成擬合數(shù)據(jù)去欺騙D，D辨別輸出數(shù)據(jù)的真假，并反饋到生成網(wǎng)絡(luò)來(lái)訓(xùn)練模型.

圖2 用于坑槽生成的GAN框架圖[20]Fig.2 GAN structure for pothole generation[20]

Arjovsky等[21]提出Wasserstein距離來(lái)替換JS散度(Jensen-Shannon divergence, JS)，即Wasserstein生成對(duì)抗網(wǎng)絡(luò)(Wasserstein generative adversarial network，WGAN)來(lái)改進(jìn)GAN的模式崩潰問(wèn)題. 然而，WGAN仍然存在梯度裁剪導(dǎo)致調(diào)參上的梯度爆炸和梯度消失問(wèn)題. 因此，Gulajani等[16]提出引入梯度懲罰項(xiàng)的WGAN-GP. 本研究采用數(shù)據(jù)生成性能較好的WGAN-GP來(lái)生成坑槽數(shù)據(jù)，WGAN-GP的G和D均設(shè)置為5層的卷積神經(jīng)網(wǎng)絡(luò)，層數(shù)分別對(duì)應(yīng)序號(hào)1～5. 其中，G由反卷積層(transposed convolution, ConvTrans2d)、BN正則化層 (batchnorm, BN)、Relu和Tanh激活函數(shù)組成. D由卷積層(convolution, Conv2d)、IN正則化層(instancenorm, IN)、LeakyRelu激活函數(shù)組成，網(wǎng)絡(luò)的詳細(xì)參數(shù)設(shè)置如表1所示. 表中，K：n表示n×n的卷積核大?。籒_out：n表示n個(gè)卷積核；S：n表示步長(zhǎng)為n.

1.1.2 泊松遷移融合算法

在本研究中，通過(guò)將WGAN-GP生成的坑槽圖像插入到無(wú)病害的道路圖像中生成新的訓(xùn)練數(shù)據(jù)，先利用泊松算法輸出融合圖片[22]，再經(jīng)過(guò)顏色遷移算法輸出合成圖片[23]. 融入圖像時(shí)，要盡可能真實(shí)地融入圖像，合成圖像時(shí)，要較好地保持原始數(shù)據(jù)集的自然效果，因此，在泊松融合的基礎(chǔ)上加入顏色遷移，這一實(shí)現(xiàn)過(guò)程稱(chēng)之為泊松遷移融合. 泊松算法作為一種圖像融合方法，能夠?qū)⒃磮D像較好地融合到目標(biāo)圖像中，本研究中泊松融合實(shí)現(xiàn)參考代碼見(jiàn)文獻(xiàn)[24]. 顏色遷移算法可以保證在顏色空間內(nèi)目

表1 WGAN-GP對(duì)抗生成網(wǎng)絡(luò)參數(shù)

標(biāo)圖像和參考圖像具有相同的像素均值和方差，本研究中顏色遷移實(shí)現(xiàn)代碼見(jiàn)文獻(xiàn)[25]. 泊松算法中，未知區(qū)域像素值通過(guò)泊松方程計(jì)算，計(jì)算公式為

(1)

顏色遷移算法中，根據(jù)參考圖像的顏色分量尋找目標(biāo)圖像的最佳匹配像素，計(jì)算公式為

Ti,j=|di-dj|+|σi-σj|+|fi-fj|

(2)

式中：i、j分別為2個(gè)圖像的像素點(diǎn)；di、dj為像素與聚類(lèi)點(diǎn)的距離；σi、σj為圖像的空間動(dòng)態(tài)選擇系數(shù)；fi、fj分別為2個(gè)圖像的亮度平均值[26].

1.2 目標(biāo)檢測(cè)架構(gòu)

本研究中，選取2類(lèi)目標(biāo)檢測(cè)方法中的代表算法，即兩階段算法Faster R-CNN和單階段算法Yolo. 在以往路面病害檢測(cè)中，單階段算法較兩階段算法普遍存在檢測(cè)速度快但檢測(cè)精度低的問(wèn)題，隨著單階段算法的更迭，目前Yolov5檢測(cè)算法的精度得到大幅度提升.

1.2.1 Faster R-CNN兩階段目標(biāo)檢測(cè)算法

Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)按照處理階段分為視覺(jué)幾何組特征提取、區(qū)域推薦、感興趣區(qū)域和分類(lèi)回歸4個(gè)部分，本研究采用的Faster R-CNN算法流程如圖3所示.

圖3 Faster R-CNN算法流程[14]Fig.3 Faster R-CNN algorithm flow[14]

首先輸入道路圖片，選擇視覺(jué)幾何組16網(wǎng)絡(luò)(visualgeometry group 16，VGG 16)作為路面病害目標(biāo)的提取網(wǎng)絡(luò)提取初步特征. 之后，在生成的初步特征圖上，通過(guò)RPN區(qū)域推薦生成路面病害的候選窗，并計(jì)算候選窗的交并比I1(intersection over union，IOU)損失，通過(guò)非極大值抑制[27](non-maxinum suppression, NMS)進(jìn)行冗余候選窗篩選. 篩選過(guò)后的候選窗輸入感興趣區(qū)域，利用全連接層對(duì)病害進(jìn)行分類(lèi)并微調(diào)窗口坐標(biāo)，最后輸出病害類(lèi)別及其分類(lèi)置信度[14]，本研究中Faster R-CNN實(shí)現(xiàn)參考代碼見(jiàn)文獻(xiàn)[28].

1.2.2 Yolo單階段目標(biāo)檢測(cè)算法

本研究采用Yolo最新版本Yolov5，其檢測(cè)原理如圖4所示. 首先將輸入圖像分為S×S網(wǎng)格,每個(gè)網(wǎng)格預(yù)測(cè)多個(gè)邊界框和置信度，置信度反映網(wǎng)格中是否存在對(duì)象. 因此，這些預(yù)測(cè)可以被編碼為S×S[B(4+1)+C]的張量，其中，S×S表示網(wǎng)格單元的數(shù)量，B表示邊界框的數(shù)量，4表示邊界框的坐標(biāo)(bx,by,bw,bh),1表示交并比值，C表示預(yù)測(cè)類(lèi)別[29]，本研究中Yolov5實(shí)現(xiàn)參考代碼見(jiàn)文獻(xiàn)[30].

圖4 Yolov5檢測(cè)原理[31]Fig.4 Yolov5 detection principle[31]

在邊界框回歸損失中，交并比是最常見(jiàn)的度量，計(jì)算公式為

(3)

式中:Bgt為標(biāo)簽的邊界框；B為預(yù)測(cè)的邊界框；B∪Bgt為B和Bgt的并集，見(jiàn)圖5(c)；B∩Bgt為B和Bgt的交集，見(jiàn)圖5(d).

針對(duì)交并比損失面對(duì)邊界框不重疊時(shí)不能提供網(wǎng)絡(luò)梯度更新的問(wèn)題，廣義交并比I2(generalized intersection over union，GIOU)[32]被提出，其引入了懲罰項(xiàng)，計(jì)算公式為

(4)

式中：C為覆蓋Bgt和B的最小方框，見(jiàn)圖5(e);C(B∪Bgt)為C減去Bgt和B的交集，見(jiàn)圖5(f).

完全交并比I3(complete intersection over union，CIOU)[33]在廣義交并比的基礎(chǔ)上添加了長(zhǎng)寬比影響因子，計(jì)算公式為

(5)

(6)

(7)

(8)

圖5 IOU和GIOU的回歸誤差的可視化[35]Fig.5 Visualization of regression errors for IOU and GIOU[35]

式中：v為預(yù)測(cè)框和標(biāo)準(zhǔn)框長(zhǎng)寬比[34]；α為平衡比例系數(shù)；LI3為完全交并比的損失.為了更精確地區(qū)別橫向裂縫和縱向裂縫的長(zhǎng)寬比信息，本文采用完全交并比損失來(lái)計(jì)算回歸損失，Yolov5訓(xùn)練期間的損失函數(shù)定義為

L=Eb+EI3+Ec

(9)

式中:L為回歸損失；Eb為預(yù)測(cè)邊界框誤差；EI3為I3回歸誤差；Ec為分類(lèi)誤差.

2 實(shí)驗(yàn)設(shè)置

2.1 病害圖像數(shù)據(jù)集建立

用于路面病害檢測(cè)算法訓(xùn)練和測(cè)試的數(shù)據(jù)集來(lái)自Global Road Damage Detection Challenge，由車(chē)載智能手機(jī)拍攝的高清非重疊路面圖片組成[17]，圖片采集速度為40 km/h、采集尺寸為600×600像素 (https:∥github.com∥sekilab∥RoadDamageDetector). 數(shù)據(jù)集中每張圖片都被標(biāo)記了1個(gè)或多個(gè)病害目標(biāo)區(qū)域，矩形坐標(biāo)框進(jìn)行標(biāo)記，作為真實(shí)標(biāo)記邊框.

本研究的數(shù)據(jù)集共包含7 898張圖片，包括表2所示的4類(lèi)病害，發(fā)生在不同道路等級(jí)、不同天氣、不同時(shí)段等多種場(chǎng)景. 其中，病害間類(lèi)別不均衡，坑槽病害數(shù)據(jù)較少. 本文按照8∶1∶1的比例將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，其中訓(xùn)練集有6 398張圖片，驗(yàn)證集有712張圖片，測(cè)試集有791張圖片.

2.2 路面病害智能檢測(cè)方法實(shí)現(xiàn)

2.2.1 數(shù)據(jù)增強(qiáng)

實(shí)驗(yàn)訓(xùn)練基于Windows10操作系統(tǒng)，使用Pytorch和Tensorflow框架，硬件環(huán)境配置為：Intel(R)

表2 路面病害類(lèi)別分布

Core(TM) i7-8850H CPU；內(nèi)存：64 GB；顯卡：Quadro P4000. 計(jì)算機(jī)語(yǔ)言為Python 3.8,裝載并行計(jì)算構(gòu)架CUDA10.2版本、基于CUDA的深度學(xué)習(xí)GPU加速庫(kù)CUDNN8.1版本.

首先將坑槽邊界框從原始數(shù)據(jù)集中剪切出來(lái)作為數(shù)據(jù)增強(qiáng)的輸入圖像，共裁剪出300張不同光線條件下不同遮擋物下的坑槽病害圖像. 其次調(diào)整為80×80像素，帶入WGAN-GP數(shù)據(jù)生成網(wǎng)絡(luò)訓(xùn)練100 000次，訓(xùn)練過(guò)程如圖6所示. 在訓(xùn)練次數(shù)e為100代時(shí)，WGAN-GP從真實(shí)圖像中初步開(kāi)始學(xué)習(xí)特征，調(diào)整網(wǎng)絡(luò)參數(shù)，此時(shí)生成圖像多為背景信息. 在1 000代時(shí)，突出的坑槽特征出現(xiàn)在生成的圖像中，但缺乏細(xì)節(jié). 當(dāng)?shù)竭_(dá)10 000代時(shí)，坑槽的邊界特征被學(xué)習(xí)到. 在完成100 000代的訓(xùn)練后，生成的圖像顯示更多的細(xì)節(jié)，與真實(shí)的坑槽圖像非常相似.

圖6 WGAN-GP訓(xùn)練過(guò)程可視化Fig.6 Visualization of WGAN-GP training process

最終，生成的坑槽病害如圖7所示，可以看出WGAN-GP生成的坑槽病害圖像特征清晰，且具有不同的形狀、大小、位置等特征信息，能夠較為真實(shí)反映坑槽病害.

圖7 基于WGAN-GP生成的坑槽病害Fig.7 Pothole distress generated by WGAN-GP

在對(duì)生成坑槽病害合成路面圖片的過(guò)程中，為了使合成后的圖像更自然，本文在泊松融合的基礎(chǔ)上加入顏色遷移. 圖8展示使用坑槽病害圖像合成到一張無(wú)病害道路目標(biāo)圖像的一個(gè)示例，生成病害圖像通過(guò)泊松融合輸出融合圖片，再通過(guò)顏色遷移輸出最終合成圖片. 從圖8可以看出，與僅使用泊松融合相比，顏色遷移能夠更好地融合2張圖像. 本文結(jié)合泊松融合和顏色遷移方式對(duì)WGAN-GP生成的坑槽源圖像進(jìn)行合成，得到600張帶有坑槽病害的道路圖片.

圖8 坑槽病害數(shù)據(jù)增強(qiáng)流程Fig.8 Pothole distress data augmentation process

2.2.2 目標(biāo)檢測(cè)

本研究比較了2種典型的目標(biāo)檢測(cè)算法，兩階段算法Faster R-CNN和單階段算法Yolov5,并對(duì)比了不同深度的Yolov5算法，由淺到深為Yolov5s、Yolov5m、Yolov5l和Yolov5x. 網(wǎng)絡(luò)學(xué)習(xí)性能往往和超參數(shù)的設(shè)置有關(guān)，學(xué)習(xí)率、批大小、權(quán)重衰減、動(dòng)量梯度下降、最大迭代次等訓(xùn)練參數(shù)設(shè)置如表3所示.

表3 實(shí)驗(yàn)參數(shù)設(shè)置

圖9 縱向裂縫檢測(cè)識(shí)別對(duì)比Fig.9 Comparison of longitudinal crack detection and recognition

通過(guò)設(shè)置學(xué)習(xí)率控制網(wǎng)絡(luò)參數(shù)的更新速度. 學(xué)習(xí)率設(shè)置過(guò)大，網(wǎng)絡(luò)參數(shù)更新的速度就越快，容易產(chǎn)生發(fā)散，難以尋找到最優(yōu)值；學(xué)習(xí)率設(shè)置過(guò)小，網(wǎng)絡(luò)參數(shù)的更新速度降低，增加訓(xùn)練時(shí)間. 本研究中設(shè)置初始學(xué)習(xí)率為0.01，并采用周期衰減對(duì)初始學(xué)習(xí)率進(jìn)行調(diào)整，可以保證學(xué)習(xí)率在余弦上限值和下限值的區(qū)間內(nèi)周期性更新變化. 本研究在保證訓(xùn)練效果最優(yōu)和內(nèi)存限制的情況下，設(shè)置批大小為8，即每次在訓(xùn)練集中選取8個(gè)樣本進(jìn)行訓(xùn)練. 通過(guò)設(shè)置權(quán)重衰減來(lái)減小不重要參數(shù)對(duì)輸出結(jié)果的影響，避免網(wǎng)絡(luò)的過(guò)擬合. 采用動(dòng)量梯度下降來(lái)加速網(wǎng)絡(luò)收斂，具體實(shí)現(xiàn)方式為，如果前后2次的動(dòng)量梯度下降方向相同，那當(dāng)前下降的幅度就會(huì)較大，從而達(dá)到加速網(wǎng)絡(luò)收斂的效果.

參數(shù)設(shè)置完成，開(kāi)始訓(xùn)練，得到此批數(shù)據(jù)集訓(xùn)練出來(lái)的權(quán)重文件，進(jìn)行測(cè)試. 為了分析各個(gè)算法的效率，所有對(duì)比的訓(xùn)練和測(cè)試任務(wù)都在同一臺(tái)服務(wù)器上執(zhí)行，均采用GPU加速.

3 實(shí)驗(yàn)分析

3.1 檢測(cè)結(jié)果

本文利用實(shí)際的路面病害數(shù)據(jù)集，選取橫向裂縫、縱向裂縫、龜裂、坑槽4種典型的路面破損圖像，依次采用Yolov5s、Yolov5m、Yolov5l、Yolov5x和Faster R-CNN目標(biāo)檢測(cè)算法對(duì)其進(jìn)行訓(xùn)練，各算法分別迭代400次，測(cè)試得到病害的目標(biāo)區(qū)域.

圖10 橫向裂縫檢測(cè)識(shí)別對(duì)比Fig.10 Comparison of transverse crack detection and identification

圖11 龜裂檢測(cè)識(shí)別對(duì)比Fig.11 Comparison of alligator crack detection and identification

圖9～12分別給出5種檢測(cè)算法對(duì)縱向裂縫、橫向裂縫、龜裂及坑槽的識(shí)別效果，可以看出4種病害都能被正確分類(lèi)，且獲得一個(gè)與實(shí)際病害區(qū)域相差不大的預(yù)測(cè)框. 對(duì)比不同網(wǎng)絡(luò)深度的Yolov5算法，Yolov5x預(yù)測(cè)出較低的檢測(cè)框置信分?jǐn)?shù)，估測(cè)是由于Yolov5x網(wǎng)絡(luò)深度相對(duì)較深且迭代次數(shù)較少，Yolov5x內(nèi)部參數(shù)沒(méi)有得到充分訓(xùn)練；但Yolov5x由于具有更豐富的卷積層參數(shù)，故使其能捕捉到更多的病害隱藏特征，如圖10橫向裂縫檢測(cè)中較其他3種Yolov5算法檢測(cè)到更多的橫向裂縫信息. 觀察不同病害檢測(cè)框的置信度，Yolov5l預(yù)測(cè)出更接近真實(shí)標(biāo)注的檢測(cè)結(jié)果，并且具有較高的檢測(cè)框置信度. 對(duì)比Faster R-CNN和Yolov5系列算法，F(xiàn)aster R-CNN檢測(cè)算法對(duì)背景產(chǎn)生誤檢，且預(yù)測(cè)的邊界框不能貼合路面病害實(shí)際范圍，如圖10、12中Faster R-CNN對(duì)橫向裂縫和坑槽的檢測(cè)結(jié)果所示. 上述不同算法的檢測(cè)結(jié)果顯示，Yolov5算法相較于FasterR-CNN算法，對(duì)于路面病害具有更好的檢測(cè)效果.

圖12 坑槽檢測(cè)識(shí)別對(duì)比Fig.12 Comparison of pothole detection and identification

3.2 模型評(píng)估

為了驗(yàn)證病害檢測(cè)的精度和效率，本文通過(guò)P、R、F1、FS指標(biāo)對(duì)算法的性能進(jìn)行定量評(píng)價(jià).

P為所有檢測(cè)到的對(duì)象中正確檢測(cè)到的對(duì)象的比例，且

(10)

式中：PT為正確檢測(cè)的病害數(shù)；PF為被視為病害的非病害數(shù).

R為所有檢測(cè)到的正樣本中正確檢測(cè)到的對(duì)象的比例，且

(11)

式中NF為被視為非病害的病害數(shù).

F1為精度和召回率的調(diào)和平均數(shù)，且

(12)

FS為1 s內(nèi)算法可以處理的圖片量，來(lái)評(píng)估各個(gè)目標(biāo)檢測(cè)算法的網(wǎng)絡(luò)推理速度.

表4顯示本文所比較的5種檢測(cè)算法的檢測(cè)結(jié)果. 從表中可知：Faster R-CNN在本文5種檢測(cè)算法中表現(xiàn)較差，由于Faster R-CNN檢測(cè)機(jī)制將路面病害的候選區(qū)域映射到特征金字塔網(wǎng)絡(luò)(feature pyramid networks, FPN)高層，會(huì)造成信息損失導(dǎo)致網(wǎng)絡(luò)對(duì)病害邊界的感知不敏感，進(jìn)而會(huì)影響到路面病害的檢測(cè)性能. 本文采用的數(shù)據(jù)集由車(chē)載手機(jī)捕捉拍攝，并非垂直拍攝的道路圖片，且圖片發(fā)生在不同道路等級(jí)、不同天氣、不同時(shí)段等多種場(chǎng)景，導(dǎo)致病害特征與道路背景特征難以剝離，最終Faster R-CNN的檢測(cè)精度僅為49.7%. Yolov5變體算法中，Yolov5l在P、R、F1均取得最高值，分別達(dá)到60.7%、61.1%、60.9%，比Faster R-CNN分別高出11.0%、7.7%、9.5%.

表4 5種檢測(cè)算法測(cè)試結(jié)果對(duì)比

當(dāng)5種不同的算法在同一數(shù)據(jù)集上進(jìn)行測(cè)試時(shí)，單階段檢測(cè)算法Yolov5的檢測(cè)速度更為突出. 特別地，Yolov5s在保證精度的基礎(chǔ)上，推理速度FS達(dá)到78.7，比Faster R-CNN快5.15倍，比檢測(cè)精度最高的Yolov5l算法快2.23倍. 綜合檢測(cè)精度和檢測(cè)速度，Yolov5變體算法較Faster R-CNN算法具有更好的病害檢測(cè)性能，其中Yolov5l既能保證最高的檢測(cè)精度也滿(mǎn)足端到端檢測(cè)速度的要求.

為了驗(yàn)證WGAN-GP與泊松遷移算法相融合的數(shù)據(jù)深度增強(qiáng)方法對(duì)各目標(biāo)檢測(cè)算法性能的提升效果，本文將數(shù)據(jù)深度增強(qiáng)過(guò)后的600張坑槽病害的圖片添入數(shù)據(jù)集.

圖13 數(shù)據(jù)增強(qiáng)測(cè)試結(jié)果對(duì)比Fig.13 Data augmetation tet results comparison

圖13給出數(shù)據(jù)集深度增強(qiáng)前后5種檢測(cè)算法的測(cè)試結(jié)果P、R、F1變化. 其中，藍(lán)色折線表示使用原始數(shù)據(jù)訓(xùn)練得到的檢測(cè)結(jié)果，黃色折線表示使用本文采用的數(shù)據(jù)增強(qiáng)方法進(jìn)行數(shù)據(jù)擴(kuò)充后得到的檢測(cè)結(jié)果. 可以看出，5種檢測(cè)算法通過(guò)數(shù)據(jù)增強(qiáng)后P、R及F1指標(biāo)都有所提高，均值提高度分別為2.8%、4.0%及3.6%. 這表明WGAN-GP與泊松遷移算法相融合的數(shù)據(jù)深度增強(qiáng)方法可以在一定程度上提高基于不均衡路面病害樣本數(shù)據(jù)集自動(dòng)檢測(cè)算法的檢測(cè)效果. 其中，R提升最多，這是因?yàn)樵黾恿薉40數(shù)據(jù)特征的多樣性，且保證了不同病害類(lèi)別樣本量之間的相對(duì)均衡，減少了錯(cuò)誤識(shí)別的概率. 尤其是Yolov5s算法，其P、R及F1指標(biāo)分別提高3.6%、4.9%、4.3%，而Yolov5x算法估測(cè)因網(wǎng)絡(luò)參數(shù)過(guò)多，在與其他網(wǎng)絡(luò)相同的訓(xùn)練次數(shù)下，內(nèi)部參數(shù)訓(xùn)練不充分，但其P、R及F1指標(biāo)仍有1.9%、3.1%及2.5%的提高幅度. 實(shí)驗(yàn)結(jié)果表明，無(wú)論是針對(duì)哪種類(lèi)型的檢測(cè)算法及網(wǎng)絡(luò)結(jié)構(gòu)，WGAN-GP與泊松遷移算法相融合的數(shù)據(jù)深度增強(qiáng)方法都起到了一定程度的精度提升效果.

3.3 多類(lèi)別檢測(cè)性能分析

3.1中為展示清晰與便捷性，僅展示了單種病害的檢測(cè)效果，本節(jié)中將分析多種病害類(lèi)型的檢測(cè)性能效果. 本研究通過(guò)混淆矩陣來(lái)評(píng)定檢測(cè)算法在多類(lèi)別上的學(xué)習(xí)性能. 混淆矩陣既可以清晰地反映出真實(shí)值和預(yù)測(cè)值相互吻合的數(shù)值，也可以反映出各類(lèi)別之間被混淆分類(lèi)的概率.

圖14 多類(lèi)別病害混淆矩陣Fig.14 Multi-category distress confusion matrix

圖14中展示出Yolov5l檢測(cè)算法測(cè)試中4類(lèi)病害的混淆矩陣. 圖中非對(duì)角線數(shù)值分布為0～0.03，說(shuō)明橫向裂縫、縱向裂縫、龜裂和坑槽4種病害間相關(guān)性低，考慮到人工錯(cuò)誤標(biāo)注的可能，幾乎沒(méi)有病害混淆分類(lèi)的情況；最右列表示背景被錯(cuò)誤識(shí)別為病害的數(shù)量，其誤檢率分別為縱向裂縫30%、橫向裂縫29%、龜裂22%、坑槽12%；最底行表示病害被識(shí)別為背景造成遺漏的數(shù)量，其漏檢率分別為縱向裂縫37%、橫向裂縫36%、龜裂22%、坑槽20%. 可見(jiàn)，Yolov5l可實(shí)現(xiàn)對(duì)不同病害之間的精確分類(lèi)，但在病害識(shí)別方面仍存在一定程度的漏檢和誤檢問(wèn)題. 因此，Yolov5l算法需要在保證算法分類(lèi)精度和速度的同時(shí)，進(jìn)一步提高算法的識(shí)別能力.

3.4 不同檢測(cè)場(chǎng)景對(duì)比

由于拍攝環(huán)境的復(fù)雜性和數(shù)據(jù)獲取過(guò)程中存在的多變性，導(dǎo)致病害與周?chē)袼貙?duì)比度不穩(wěn)定，進(jìn)而影響檢測(cè)精度. 光線條件是各種復(fù)雜拍攝環(huán)境中的關(guān)鍵因素，光線的變化會(huì)影響路面病害紋理和粗糙度，進(jìn)而對(duì)檢測(cè)精度產(chǎn)生較大的影響. 為了驗(yàn)證不同光線采集環(huán)境下對(duì)檢測(cè)結(jié)果的影響，在不同場(chǎng)景的對(duì)比實(shí)驗(yàn)中，將測(cè)試集進(jìn)一步分為3組，包括光線不足(0≤像素亮度值<80)、光線適中(80≤像素亮度值<170)、光線強(qiáng)烈(170≤像素亮度值≤225). 圖15顯示了3種采集環(huán)境下各類(lèi)病害的檢測(cè)結(jié)果. 可以看出，在光線強(qiáng)烈的情況下，樹(shù)木、電線桿等陰影給裂縫識(shí)別帶來(lái)極大的干擾，導(dǎo)致誤檢率提高. 在光線不足情況下，目標(biāo)檢測(cè)算法漏檢率提高. 與其他2種情況相比，在適當(dāng)?shù)恼彰鳁l件下，可以更好檢測(cè)路面病害.

圖15 不同光線采集環(huán)境下Yolov5l的檢測(cè)結(jié)果Fig.15 Detection results of Yolov5l under different lighting acquisition environments

為了定性分析不同光線采集環(huán)境對(duì)檢測(cè)精度的影響，進(jìn)一步比較3種不同采集環(huán)境下路面病害檢測(cè)的F1，如圖16所示. 在適中的光線條件下，目標(biāo)檢測(cè)算法可以獲得較高的檢測(cè)精度，其中，Yolov5l的F1為68.7%；在光線不足的條件下，目標(biāo)檢測(cè)算法會(huì)產(chǎn)生較高的漏檢率，其中，Yolov5l的F1為53.6%；在光線強(qiáng)烈的檢測(cè)環(huán)境下，目標(biāo)檢測(cè)算法會(huì)產(chǎn)生較高的誤檢率，其中，Yolov5l的F1為57.8%. 通過(guò)上述不同檢測(cè)場(chǎng)景對(duì)檢測(cè)精度的影響分析，在實(shí)際道路病害檢測(cè)工程應(yīng)用中建議在中等光線條件下進(jìn)行圖像采集.

圖16 不同光線采集環(huán)境下檢測(cè)算法F1對(duì)比Fig.16 F1 comparison of detection models under different lighting acquisition environments

4 結(jié)論

本文首先采用了一種WGAN-GP與泊松遷移算法相融合的數(shù)據(jù)深度增強(qiáng)方法，并利用該方法生成的樣本數(shù)據(jù)添加入樣本數(shù)據(jù)集以均衡樣本類(lèi)別數(shù)量，然后對(duì)兩階段Faster R-CNN算法和單階段Yolov5的4種變體算法(Yolov5s、Yolov5m、Yolov5l、Yolov5x)進(jìn)行了數(shù)據(jù)增強(qiáng)前后、不同檢測(cè)場(chǎng)景、多種病害識(shí)別的實(shí)驗(yàn)比較，得到以下結(jié)論：

1)使用WGAN-GP與泊松遷移算法相融合的數(shù)據(jù)深度增強(qiáng)方法進(jìn)行數(shù)據(jù)增強(qiáng)后，5種檢測(cè)算法的P、R及F1指標(biāo)平均值分別提高2.8%、4.0%、3.6%，驗(yàn)證了所用數(shù)據(jù)增強(qiáng)方法對(duì)解決路面病害樣本集不均衡問(wèn)題的有效性.

2)對(duì)比5種檢測(cè)算法，在訓(xùn)練次數(shù)有限的情況下，Yolov5l算法F1最高，達(dá)到60.9%，比Yolov5s、Yolov5m、Yolov5x、FasterR-CNN分別高出1.5%、1.3%、2.0%、9.5%，估測(cè)該結(jié)果是網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性與超參數(shù)數(shù)量的多寡導(dǎo)致的.

3)在多類(lèi)病害檢測(cè)中，Yolov5l可實(shí)現(xiàn)對(duì)不同定義病害之間的分類(lèi)檢測(cè)，但對(duì)各種病害的識(shí)別存在一定的漏檢和誤檢. 因此，Yolov5l需要在保證算法檢測(cè)速度的同時(shí)，進(jìn)一步采取措施降低算法漏檢率和誤檢率.

4)光線采集環(huán)境對(duì)檢測(cè)精度具有較大的影響，對(duì)比3種采集環(huán)境下Yolov5l算法的F1，光線不足采集環(huán)境下F1比光線適中采集環(huán)境下F1降低15.1%. 因此，建議在適中光線條件下進(jìn)行道路病害的實(shí)際工程檢測(cè).