基于深度學(xué)習(xí)的路面缺陷檢測(cè)方法研究

摘 要：路面缺陷會(huì)給公路監(jiān)管和路面養(yǎng)護(hù)帶來(lái)嚴(yán)重影響，本文針對(duì)目前路面缺陷圖像采集方法成本高、效率低的問(wèn)題，提出一種基于深度學(xué)習(xí)的路面缺陷檢測(cè)方法。該方法包括目標(biāo)檢測(cè)和圖像分割子系統(tǒng)，其中，目標(biāo)檢測(cè)使用YOLOv5模型來(lái)提升路面缺陷位置識(shí)別精準(zhǔn)率；圖形分割使用“U”形多尺度擴(kuò)張卷積網(wǎng)絡(luò)（U-Multiscale Dilated Network，U-MDN）來(lái)增強(qiáng)路面缺陷深度特征提取。使用目標(biāo)檢測(cè)數(shù)據(jù)集和圖像分割數(shù)據(jù)集進(jìn)行試驗(yàn)，其中YOLOv5模型精度為92%；比較U-Net模型和U-MDM模型，U-MDN模型的Precision、Recall和F1-score指標(biāo)綜合表現(xiàn)最優(yōu)，充分證明了該方法對(duì)路面缺陷檢測(cè)具有有效性。

關(guān)鍵詞：深度學(xué)習(xí)；路面缺陷檢測(cè)；目標(biāo)檢測(cè)；圖像分割；YOLOv5模型；“U”形多尺度擴(kuò)張卷積網(wǎng)絡(luò)

中圖分類號(hào)：TP 39" " " " " " " " 文獻(xiàn)標(biāo)示碼：A

道路使用過(guò)程中產(chǎn)生的表面缺陷會(huì)給公路監(jiān)管和養(yǎng)護(hù)帶來(lái)嚴(yán)重影響，增加事故率，發(fā)現(xiàn)越晚，維護(hù)成本越高[1]，因此道路缺陷的檢測(cè)識(shí)別問(wèn)題亟待解決。

早期路面檢測(cè)主要方式為傳統(tǒng)圖像處理技術(shù)和手動(dòng)檢測(cè)，方法費(fèi)時(shí)、費(fèi)力，精度和速度不佳，難以滿足實(shí)際需求。而人工智能的迅猛發(fā)展在一定程度上緩解了上述問(wèn)題，尤其是深度學(xué)習(xí)技術(shù)，極大提升了識(shí)別精度與速度。路面缺陷檢測(cè)問(wèn)題的關(guān)鍵是目標(biāo)檢測(cè)和圖像分割。

1 系統(tǒng)結(jié)構(gòu)和原理

基于深度學(xué)習(xí)技術(shù)的路面缺陷方法與系統(tǒng)如圖1所示，具體原理包括以下4點(diǎn)。1）采集足量的路面缺陷圖像，構(gòu)建目標(biāo)檢測(cè)數(shù)據(jù)集。對(duì)圖像進(jìn)行處理后，構(gòu)建圖像分割數(shù)據(jù)集，本文使用成熟的數(shù)據(jù)集。2）建立目標(biāo)檢測(cè)模型和圖形分割模型。采用YOLOv5方法構(gòu)建目標(biāo)檢測(cè)模型，采用U-MDN方法構(gòu)建圖形分割模型?；谀繕?biāo)檢測(cè)數(shù)據(jù)集和圖像分割數(shù)據(jù)集進(jìn)行模型準(zhǔn)確性驗(yàn)證。3）基于圖像分割數(shù)據(jù)集進(jìn)行路面缺陷輪廓提取。4）根據(jù)常規(guī)路面缺陷量化評(píng)定方法，進(jìn)行長(zhǎng)度、寬度、方向和面積等路面破損指標(biāo)計(jì)算，對(duì)路面進(jìn)行健康狀況評(píng)定。

2 路面缺陷目標(biāo)檢測(cè)建模

路面缺陷圖像目標(biāo)檢測(cè)是系統(tǒng)的關(guān)鍵環(huán)節(jié)，可以減少后續(xù)圖像分割的計(jì)算量。YOLO算法為經(jīng)典路面缺陷圖像采集方法，其中經(jīng)過(guò)多次迭代的YOLOv5算法較成熟[2]。

2.1 YOLOv5算法原理

YOLOv5算法為經(jīng)典One-stage識(shí)別網(wǎng)絡(luò)，核心為網(wǎng)絡(luò)化檢測(cè)，通過(guò)將圖形劃分為F×F個(gè)網(wǎng)格并計(jì)算目標(biāo)落在某個(gè)網(wǎng)格的概率來(lái)完成預(yù)測(cè)，需要回歸目標(biāo)位置信息和confidence值。其中，目標(biāo)位置信息為（ox，oy，ow，oh），confidence值如公式（1）所示。

（1）

式中：confidence值為目標(biāo)覆蓋網(wǎng)格的準(zhǔn)確度；pred（Obj）為預(yù)測(cè)邊框預(yù)測(cè)到某類目標(biāo)Obj的概率，其取值有1和0，其中落在預(yù)測(cè)邊框內(nèi)時(shí)為1，否則為0；為預(yù)測(cè)邊框與真

實(shí)邊框間的交并比。

2.2 YOLOv5算法結(jié)構(gòu)

YOLOv5分為輸入端、Backbone網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)和輸出端4個(gè)部分。

輸入端完成圖形的預(yù)處理工作，包括縮放圖片為網(wǎng)絡(luò)輸入大小、數(shù)據(jù)歸一化以及數(shù)據(jù)增強(qiáng)等內(nèi)容。其中數(shù)據(jù)增強(qiáng)采用Mosaic方式，對(duì)圖像做隨機(jī)縮放、剪裁和排布后進(jìn)行拼接。數(shù)據(jù)增強(qiáng)完成后計(jì)算自適應(yīng)錨框。

Backbone網(wǎng)絡(luò)負(fù)責(zé)圖像特征提取，提取圖像深度語(yǔ)言信息并供Neck網(wǎng)絡(luò)使用，公開(kāi)Focus和CSP共2個(gè)結(jié)構(gòu)。其中，F(xiàn)ocus結(jié)構(gòu)用于圖像切片操作，以加快訓(xùn)練速度，CSP結(jié)構(gòu)用于提高卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力，降低計(jì)算量。

Neck網(wǎng)絡(luò)負(fù)責(zé)對(duì)提取的特征進(jìn)行深度融合，包括特征圖金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）和路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）2個(gè)結(jié)構(gòu)。FPN將深層特征攜帶的語(yǔ)義信息傳遞給淺層特征，PAN將淺層特征的定位信息傳遞給深層，增加信息豐富性。

輸出端采用耦合式輸出。其中分類損失和置信度損失均采用BCE_Loss損失函數(shù)，如公式（2）所示，定位損失采用CIoU_Loss損失函數(shù)，如公式（3）所示。

BCE_Loss=-（ylog（p（x））+（1-y）log（1-p（x））） （2）

式中：p（x）為預(yù)測(cè)數(shù)值；y為真實(shí)數(shù)值。

（3）

式中：IoU為預(yù)測(cè)邊框與真實(shí)邊框間的交并比；ρ2（b，bgt）為預(yù)測(cè)框和真實(shí)框的中心點(diǎn)的歐式距離；c為預(yù)測(cè)框和真實(shí)框最小閉包區(qū)域的對(duì)角線距離；v為衡量長(zhǎng)寬比的一致性的參數(shù)，如公式（4）所示；α為衡量參數(shù)，如公式（5）所示。

（4）

（5）

式中：arctan（·）為三角函數(shù)；wgt、w分別為預(yù)測(cè)框和真實(shí)框?qū)挾龋籬gt、h分別為預(yù)測(cè)框和真實(shí)框高度。

2.3 試驗(yàn)結(jié)果與分析

2.3.1 試驗(yàn)設(shè)置

試驗(yàn)基于Python的Keras框架構(gòu)建分割網(wǎng)絡(luò)，并進(jìn)行訓(xùn)練與測(cè)試。電腦配置如下：CPU為i7-12700 KF，GPU為Nvidia GeForce RTX 3060Ti。為減少其他干擾，同一設(shè)置訓(xùn)練批次為16，訓(xùn)練設(shè)置500epoch，初始學(xué)習(xí)率為0.01，利用SGD優(yōu)化器來(lái)更新網(wǎng)絡(luò)參數(shù)。

2.3.2 評(píng)價(jià)指標(biāo)和數(shù)據(jù)集

為保證試驗(yàn)的公平性和有效性，采用成熟的路面缺陷數(shù)據(jù)集NHA12D，包括448×448=9889幅，劃分訓(xùn)練集8405幅，驗(yàn)證集1484幅，包括12類路面缺陷。本文使用YOLOv5模型、YOLOX模型和Faster RCNN模型進(jìn)行對(duì)比試驗(yàn)。將Precision（精確率）、Recall（召回率）、AP（PR曲線下面積）、mAP（m個(gè)AP值的均值）和F1 score（值越大，表明模型效果越好）指標(biāo)作為評(píng)價(jià)標(biāo)準(zhǔn)，各指標(biāo)均可由Precision和Recall計(jì)算得出，AP值越大，表明模型效果越好，如公式（6）～公式（10）所示。

（6）

（7）

（8）

（9）

（10）

式中：TP為交并比大于閾值的檢測(cè)框數(shù)；FP為小于閾值的檢測(cè)框數(shù)；FN為沒(méi)有檢測(cè)到的真實(shí)框數(shù)；M為某一類別目標(biāo)總數(shù)；N為類別數(shù)。

2.3.3 試驗(yàn)結(jié)果分析

使用3種網(wǎng)絡(luò)對(duì)NHA12D數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)評(píng)。本文以縱向裂縫、橫向裂縫、車轍、坑洞、網(wǎng)狀裂縫和井蓋為例，設(shè)置標(biāo)簽L1～L6，3種網(wǎng)絡(luò)在NHA12D數(shù)據(jù)集合中的測(cè)試結(jié)果見(jiàn)表1。

由表1可以發(fā)現(xiàn)，F(xiàn)aster RCNN模型收斂速度最快，約在80代mAP值為80%后逐步收斂；YOLOv5模型約在200代mAP值為90%后逐步收斂；YOLOX模型約在400代mAP值為88%后逐步收斂。根據(jù)訓(xùn)練結(jié)果可知，YOLOv5模型的訓(xùn)練速度較快，訓(xùn)練結(jié)果最好；Faster RCNN模型訓(xùn)練速度快，但訓(xùn)練效果較差；YOLOX模型訓(xùn)練效果較好，但訓(xùn)練速度過(guò)慢，因此YOLOv5模型總體效果最優(yōu)。

從表1可以發(fā)現(xiàn)，不同模型的mAP指標(biāo)均超過(guò)80%，效果良好。對(duì)于不同類別的缺陷，YOLOv5均取得了優(yōu)異效果，尤其是縱向裂縫、橫向裂縫、車轍和網(wǎng)狀裂縫等裂縫類型的目標(biāo)，AP值均為最高?？佣春途w類目標(biāo)的AP值僅次于YOLOX模型。綜上所述，YOLOv5模型訓(xùn)練和測(cè)試效果最優(yōu)，其次為YOLOX模型。

3 路面缺陷圖像分割

路面缺陷圖像分割是缺陷量化的關(guān)鍵，U-Net模型為該領(lǐng)域關(guān)鍵模型，U-MDN為該模型的變體。

3.1 U-Net和U-MDM模塊

U-Net的網(wǎng)絡(luò)結(jié)構(gòu)是含有下采樣圖像壓縮路徑（Contracting Path）和上采樣圖像擴(kuò)展路徑（Expanding Path）的對(duì)稱“U”形結(jié)構(gòu)。U-Net將路面缺陷圖像經(jīng)過(guò)下采樣展現(xiàn)環(huán)境信息，并將下采樣各層信息和上采樣輸入信息相結(jié)合來(lái)還原細(xì)節(jié)信息，進(jìn)而逐步還原圖像精度，最終得到缺陷的二值圖像。U-Net中使用了3種不同數(shù)量的卷積模塊，并在每個(gè)卷積模塊的卷積層和激活函數(shù)間加入批歸一化來(lái)避免梯度消失問(wèn)題，其中激活函數(shù)使用了ReLU函數(shù)和Sigmoid函數(shù)，如公式（11）、公式（12）所示。

（11）

（12）

式中：x為經(jīng)過(guò)卷積處理的數(shù)據(jù)值；ReLU函數(shù)和Sigmoid函數(shù)均為激活函數(shù)。

基于U-Net模塊的“U”形多尺度擴(kuò)張模塊（U-Multiscale Dilated Network，U-MDM）網(wǎng)絡(luò)結(jié)構(gòu)，該模塊融合4種不同尺度深度特征信息。

U-MDM模塊并非將U-Net模塊下采樣后獲得的特征層直接進(jìn)行融合，而是經(jīng)歷16、8、4、2共4種不同尺度的最大池化操作后再進(jìn)行卷積操作，并在卷積模塊和ReLU激活函數(shù)間進(jìn)行批歸一化操作，最后將下采樣特征信息輸入U(xiǎn)-Net上采樣結(jié)構(gòu)進(jìn)行融合，以便進(jìn)一步提取更深層次的特征。

3.2 U-MDN網(wǎng)絡(luò)

U-MDN網(wǎng)絡(luò)是在U-MDM模塊嵌入U(xiǎn)-Net的上采樣階段中形成的。該網(wǎng)絡(luò)以U-Net模型為主干提取多尺度特征，利用U-MDM進(jìn)一步提取深層特征，將淺層特征和深層特征進(jìn)行有效融合后得出最終預(yù)測(cè)結(jié)果。該網(wǎng)絡(luò)由3種卷積模塊組成，其輸入圖像類型為256×256×3（寬256像素，高256像素，3個(gè)通道），輸出特征類型為256×256×2的路面缺陷檢測(cè)圖像，均為黑白兩值圖像，分為缺陷區(qū)域和背景區(qū)域，其中白色區(qū)域代表缺陷，黑色區(qū)域代表背景。

3.3 試驗(yàn)結(jié)果與分析

3.3.1 試驗(yàn)設(shè)置

試驗(yàn)基于Python的Keras框架構(gòu)建分割網(wǎng)絡(luò)并進(jìn)行訓(xùn)練與測(cè)試，電腦配置如下：CPU為i7-12700 KF，GPU為Nvidia GeForce RTX 3060Ti。為減少其他干擾，同一設(shè)置訓(xùn)練批次為16，訓(xùn)練設(shè)置200epoch，初始學(xué)習(xí)率為0.001，利用Adam優(yōu)化器來(lái)更新網(wǎng)絡(luò)參數(shù)。

3.3.2 評(píng)價(jià)指標(biāo)和數(shù)據(jù)集

為保證試驗(yàn)的公平性和有效性，采用成熟的路面缺陷數(shù)據(jù)集CrackForest和CNRDD，數(shù)據(jù)集具體情況見(jiàn)表2。本文將裂縫分為裂縫和非裂縫類型，為二分類問(wèn)題，將Precision、Recall和F1 score指標(biāo)作為評(píng)價(jià)標(biāo)準(zhǔn)，如公式（6）～公式（8）所示。

3.3.3 試驗(yàn)結(jié)果分析

為驗(yàn)證本方法的有效性，與目標(biāo)分割領(lǐng)域常見(jiàn)的U-Net模型和U-MDM模型進(jìn)行比較和分析。不同模型、不同背景下的識(shí)別結(jié)果如圖2所示。圖2中的（1）～（3）為CrackForest數(shù)據(jù)集部分?jǐn)?shù)據(jù)測(cè)試結(jié)果，圖像中裂縫纖細(xì)且存在椒鹽噪聲干擾。（4）～（6）為CNRDD數(shù)據(jù)集部分?jǐn)?shù)據(jù)測(cè)試結(jié)果，背景較復(fù)雜，分別為陰影、車道線和雨雪異物。圖2中的（a）為測(cè)試原圖，（b）為Ground truth，（c）為U-MDN模型測(cè)試結(jié)果，（d）為U-MDM模型測(cè)試結(jié)果，（e）為U-Net模型測(cè)試結(jié)果。不同模型不同指標(biāo)的分析結(jié)果見(jiàn)表3。

由圖2可知，U-MDN模型對(duì)纖細(xì)裂縫的識(shí)別效果更好，復(fù)雜背景下的干擾能力更強(qiáng)，在陰影背景下對(duì)顏色較淺的裂縫識(shí)別較好，能夠克服車道線、雨雪等異物帶來(lái)的干擾并有效識(shí)別裂縫。

3種網(wǎng)絡(luò)從2個(gè)數(shù)據(jù)集中得到的各種評(píng)價(jià)指標(biāo)結(jié)果見(jiàn)表3。與其他網(wǎng)絡(luò)相比，U-MDN在不同數(shù)據(jù)集中的Recall和F1 score方面表現(xiàn)最優(yōu)，Precision也僅次于U-MDM模型，說(shuō)明U-MDN模型的裂縫區(qū)分能力更強(qiáng)，對(duì)抗復(fù)雜背景干擾的能力更強(qiáng)，模型更穩(wěn)健。

4 結(jié)論

本文提出了一種基于深度學(xué)習(xí)的路面缺陷檢測(cè)方法。該方法通過(guò)YOLOv5模型進(jìn)行目標(biāo)檢測(cè)，并通過(guò)U-MDN模型進(jìn)行圖像分割。本文利用目標(biāo)檢測(cè)集和圖形分割集合驗(yàn)證模型有效性，結(jié)果表明，該方法充分考慮了目標(biāo)檢測(cè)和圖像分割問(wèn)題，比其他方法精準(zhǔn)性更高，運(yùn)行速度更快，抗干擾能力更強(qiáng)，提升了路面缺陷檢測(cè)的實(shí)時(shí)性和準(zhǔn)確性，可為后續(xù)的路面缺陷等級(jí)評(píng)定提供依據(jù)。

參考文獻(xiàn)

[1]交通運(yùn)輸部.2020年我國(guó)交通運(yùn)輸行業(yè)發(fā)展統(tǒng)計(jì)公報(bào)發(fā)布[J].隧道建設(shè)，2021，41（6）：963-963.

[2]劉新海，聶憶華，彭小林，等.廢瓷磚再生砂摻配率對(duì)砂漿強(qiáng)度的影響及機(jī)理分析[J].廣東公路交通，2020，46（2）：1-5.