基于注意力機(jī)制的YOLOv5路面裂縫檢測(cè)與識(shí)別

周雙喜 楊丹 潘 遠(yuǎn) 丁建新 丁楊

摘要：【目的】針對(duì)傳統(tǒng)路面裂縫檢測(cè)實(shí)時(shí)性差、準(zhǔn)確率低的問題?！痉椒ā坷蒙疃葘W(xué)習(xí)網(wǎng)絡(luò)在目標(biāo)檢測(cè)方面的優(yōu)勢(shì)，提出一種改進(jìn)的YOLOv5算法，稱為YOLOv5s-attention，以實(shí)現(xiàn)路面裂縫自動(dòng)化檢測(cè)與識(shí)別。首先，對(duì)采集到的裂縫圖片用LabelImg標(biāo)注軟件進(jìn)行手工標(biāo)記，然后通過改進(jìn)YOLOv5網(wǎng)絡(luò)訓(xùn)練得到網(wǎng)絡(luò)模型參數(shù)。最后，利用所建立的模型對(duì)裂縫進(jìn)行驗(yàn)證和預(yù)測(cè)。除此之外，采用綜合評(píng)價(jià)指標(biāo)（F1-measure，F(xiàn)1）和平均精度均值（mean average precision，mAP）這兩個(gè)指標(biāo)來比較原YOLOv5s、YOLOv5s-attention模型在路面裂縫上檢測(cè)與識(shí)別的性能?！窘Y(jié)果】經(jīng)YOLOv5s與YOLOv5s-attention比較發(fā)現(xiàn)，YOLOv5s-attention檢測(cè)準(zhǔn)確率（Precision）提高1.0%，F(xiàn)1提高0.9%，mAP提高了1.8%。【結(jié)論】由此可知，該網(wǎng)絡(luò)在實(shí)現(xiàn)道路裂縫自動(dòng)化識(shí)別上具有一定的現(xiàn)實(shí)意義。

關(guān)鍵詞：道路養(yǎng)護(hù)；路面裂縫；目標(biāo)檢測(cè)；YOLO；注意力機(jī)制；圖像處理

中圖分類號(hào)：TU528；U416 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1005-0523（2024）02-0056-08

Detection and Recognition of YOLOv5 Pavement Cracks Based

on Attention Mechanism

Zhou Shuangxi1，2， Yang Dan2， Pan Yuan2， Li Jianxing1， Ding Yang3

（1. School of Civil Engineering and Management， Guangzhou Maritime University， Guangzhou 510765， China; 2. School of Civil

Engineering and Architecture， East China Jiaotong University， Nanchang 330013， China; 3. School of Civil Engineering，

Hangzhou City University， Hangzhou 310015， China）

Abstract： 【Objective】Aiming at the problem of poor real-time performance and low precision of traditional pavement crack detection. 【Method】This paper uses the advantages of deep learning network in target detection，and proposes an improved YOLOv5 algorithm， which is called YOLOv5s-attention in this paper， to realize the automatic detection and recognition of pavement cracks. Firstly， the collected crack images are manually labeled with LabelImg annotation software， and then the network model parameters were obtained by improving the YOLOv5 network training. Finally， the model is used to verify and predict the cracks. In addition， F1 and mAP are used to compare the performance of the original YOLOv5s and YOLOv5s-attention models in detecting and identifying pavement cracks. 【Result】The comparison between YOLOv5s and YOLOv5s-attention showed that the precision of YOLOv5s attention increased by 1.0%， F1 increased by 0.9%， and mAP increased by 1.8%. 【Conclusion】 It can be seen that the network has certain practical significance in realizing the automatic recognition of road cracks.

Key words： maintenance; pavement cracks; object detection; YOLO; attention mechanism; image processing

Citation format： ZHOU S X， YANG D， PAN Y， et al. Detection and recognition of YOLOv5 pavement cracks based on attention mechanism[J]. Journal of East China Jiaotong University， 2024， 41（2）： 56-63.

【研究意義】隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，機(jī)器學(xué)習(xí)（machine learning，ML）已經(jīng)成為當(dāng)今的熱門，許多領(lǐng)域都與其相結(jié)合研究，特別是最近幾年也多應(yīng)用于道路裂縫檢測(cè)上，產(chǎn)生了許多基于機(jī)器視覺自動(dòng)化檢測(cè)算法。根據(jù)最近流行的機(jī)器學(xué)習(xí)技術(shù)，基于深度學(xué)習(xí)結(jié)合神經(jīng)網(wǎng)絡(luò)，本研究提出基于注意力機(jī)制的YOLOv5路面裂縫檢測(cè)與識(shí)別算法，該研究具有提高道路維護(hù)效率、降低交通事故風(fēng)險(xiǎn)、推動(dòng)智慧交通發(fā)展，并促進(jìn)深度學(xué)習(xí)算法的發(fā)展等重要的研究意義。

【研究進(jìn)展】基于深度學(xué)習(xí)的目標(biāo)檢測(cè)分為兩大類，第一類是單階段目標(biāo)檢測(cè)，不使用區(qū)域候選框進(jìn)行篩選，而是直接通過主干提取網(wǎng)絡(luò)提取出目標(biāo)物體的類別和位置信息，代表的網(wǎng)絡(luò)有你僅看一次（you only look once，YOLO）系列和單步多框目標(biāo)檢測(cè)（single shot multibox detector，SSD）等；第二類是兩階段目標(biāo)檢測(cè)，第一步是通過卷積神經(jīng)網(wǎng)絡(luò)提取物體區(qū)域候選框，第二步是對(duì)區(qū)域候選框進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）分類識(shí)別，代表網(wǎng)絡(luò)有RCNN系列和SPPNet等[1-3]。

Faster-RCNN目前是應(yīng)用在路面裂縫中最多的一個(gè)兩階段目標(biāo)檢測(cè)法，徐康等[4]對(duì)瀝青路面因復(fù)雜背景難以檢測(cè)提出了用VGG16、Mobile Net-V2和ResNet50替換主干特征提取網(wǎng)絡(luò)，并在添加進(jìn)的ResNet50中引入了注意力機(jī)制，實(shí)驗(yàn)表明，改進(jìn)后的Faster-RCNN裂縫檢測(cè)精準(zhǔn)度達(dá)到85.64%，且能識(shí)別出瀝青路面的細(xì)微裂縫。Hao等[5]以機(jī)場(chǎng)跑道裂縫為研究背景，采用Faster-RCNN網(wǎng)絡(luò)檢跑道的裂縫，并進(jìn)入MobileNet2替換Faster-RCNN網(wǎng)絡(luò)的主干網(wǎng)絡(luò)，以及在里面加入注意力機(jī)制，實(shí)驗(yàn)表明，改進(jìn)后的Faster-RCNN網(wǎng)絡(luò)準(zhǔn)確率提高了6.4%。此類算法精度雖然達(dá)到80%以上，但訓(xùn)練速度小于單步目標(biāo)檢測(cè)算法[6]。

YOLO系列是最流行的單級(jí)檢測(cè)方法之一，在一階檢測(cè)模型中實(shí)現(xiàn)了快速檢測(cè)速度和高檢測(cè)精度之間的良好平衡，并且已經(jīng)廣泛應(yīng)用到農(nóng)業(yè)、地質(zhì)、遙感和醫(yī)學(xué)等領(lǐng)域。此外，它還廣泛應(yīng)用于交通運(yùn)輸，如交通標(biāo)志、車流、路面坑洼、視覺裂縫等檢測(cè)[7-10]。

【創(chuàng)新特色】本文研究基于深度學(xué)習(xí)建立卷積網(wǎng)絡(luò)來實(shí)現(xiàn)路面裂縫自動(dòng)化檢測(cè)與識(shí)別?！娟P(guān)鍵問題】為了解決提高裂縫檢測(cè)速度的問題，本文選擇YOLOv5s算法應(yīng)用到路面裂縫檢測(cè)與識(shí)別上。

1 初始準(zhǔn)備工作

1.1 數(shù)據(jù)集處理

本次研究目的是能利用最新的目標(biāo)檢測(cè)算法來自動(dòng)識(shí)別道路裂縫，因此需要采集比較多的裂縫。本文的裂縫圖片取自公開文獻(xiàn)中提供的裂縫數(shù)據(jù)[11-12]，制作成一個(gè)新的數(shù)據(jù)集，新的數(shù)據(jù)集收集了3 022個(gè)樣本，將自建的數(shù)據(jù)集以7∶2∶1的比例隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，得訓(xùn)練集2 115張、測(cè)試集605張、驗(yàn)證集302張。像素密度分別為300 dpi和96 dpi，數(shù)據(jù)集中圖片的尺寸不一，但由于YOLO網(wǎng)絡(luò)中輸入照片尺寸一般設(shè)置為32的倍數(shù)。因此，在搭建網(wǎng)絡(luò)時(shí)通過程序?qū)⒘芽p圖片尺寸自動(dòng)修改成640×640像素。在輸入裂縫圖片之前，我們將數(shù)據(jù)集中所有的照片用標(biāo)注軟件LabelImg進(jìn)行標(biāo)注，類別為HCrack（橫向裂縫）、30°Crack、45°Crack、LCrack（縱向裂縫）、HoneyCrack（龜裂裂縫），標(biāo)注類型保存為txt格式。標(biāo)注步驟為先建立數(shù)據(jù)集存放的文件夾，一共在文件夾datasets下建立兩個(gè)子文件夾，分別為images、labels，且images和labels文件夾中又包括train、test、val三個(gè)文件夾。其中images用于存放需要使用的裂縫圖片，labels中存放對(duì)應(yīng)的標(biāo)注文件和索引文件classes。然后在Pytorch-GPU環(huán)境下打開LabelImg標(biāo)注軟件，對(duì)裂縫照片畫矩形框進(jìn)行標(biāo)注。

1.2 設(shè)備與軟件準(zhǔn)備

用于搭建基于YOLOv5算法的深度學(xué)習(xí)道路裂縫自定識(shí)別模型的硬件CPU為英特爾Intel（R） Xeon（R） Platinum 8260，內(nèi)存為128 G，顯卡（GPU）為NVIDIA GeForce RTX 2080 Ti，內(nèi)存為75 G。

2 YOLOv5算法介紹

2.1 目標(biāo)檢測(cè)算法

目標(biāo)檢測(cè)模型主要分為兩大類：

1） 第一類是One-stage，是直接基于anchors進(jìn)行分類和同時(shí)調(diào)整邊界框。主要的網(wǎng)絡(luò)有SSD、YOLO系列。

2） 第二類是Two-stage，首先通過專門的模塊生成區(qū)域候選框（region proposal network，RPN），尋找前景（Foreground）以及調(diào)整基于anchors的邊界框，然后基于之前生成的區(qū)域候選框RPN進(jìn)一步分類以及調(diào)整基于Proposals的邊界框。這一類主要的網(wǎng)絡(luò)有Faster-RCNN。

這兩類網(wǎng)絡(luò)都有自己各自的優(yōu)點(diǎn)，One-stage檢測(cè)速度快，Two-stage檢測(cè)更準(zhǔn)確。本文是研究關(guān)于道路裂縫的自動(dòng)識(shí)別，在前人研究了許多神經(jīng)網(wǎng)絡(luò)模型的情況下，對(duì)于道路識(shí)別精度已經(jīng)達(dá)到比較好的一個(gè)精度了，因此這次為了使得檢測(cè)速度更加快一點(diǎn)，選擇將YOLO算法與道路裂縫結(jié)合在一起進(jìn)行研究。

2.2 YOLOv5網(wǎng)絡(luò)算法

YOLOv5算法有4個(gè)組成部分，分別是：輸入（Input），主干特征提取網(wǎng)絡(luò)（Backbone），特征金字塔網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）和檢測(cè)頭（YOLOHead）。

YOLOHead是YOLOv5的分類器與回歸器。詳細(xì)信息如圖1所示。

與廣泛應(yīng)用的YOLOv3相比，YOLOv5在以下幾個(gè)部位進(jìn)行了改進(jìn)：

1） 數(shù)據(jù)增強(qiáng)，其中包括Mosaic數(shù)據(jù)增強(qiáng)和Mosaic利用了4張圖片進(jìn)行拼接實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。它最大的優(yōu)點(diǎn)是可以豐富檢測(cè)物體的背景，且當(dāng)進(jìn)行標(biāo)準(zhǔn)歸一化BN計(jì)算的時(shí)候可以直接計(jì)算出四張圖片的數(shù)據(jù)。

2） 多正樣本匹配。在之前的YOLO系列里面，在訓(xùn)練時(shí)每一個(gè)真實(shí)框?qū)?yīng)一個(gè)正樣本，即在訓(xùn)練時(shí)，每一個(gè)真實(shí)框僅由一個(gè)先驗(yàn)框負(fù)責(zé)預(yù)測(cè)。YOLOv5中為了加快模型的訓(xùn)練效率，增加了正樣本的數(shù)量，在訓(xùn)練時(shí)，每一個(gè)真實(shí)框可以由多個(gè)先驗(yàn)框負(fù)責(zé)預(yù)測(cè)。

[7]? ?GUO G， ZHANG Z. Road damage detection algorithm for improved YOLOv5[J]. Scientific Reports， 2022， 12（1）： 1-12.

[8]? ?周清松， 董紹江， 羅家元， 等. 改進(jìn)YOLOv3的橋梁表觀病害檢測(cè)識(shí)別[J]. 重慶大學(xué)學(xué)報(bào)， 2022， 45（6）： 121-130.

ZHOU Q S， DONG S J， LUO J Y， et al. Bridge apparent disease detection based on improved YOLOv3[J]. Journal of Chongqing University， 2022， 45 （6）： 121-130.

[9]? ?ZHANG J， QIAN S， TAN C. Automated bridge crack detection method based on lightweight vision models[J]. Complex & Intelligent Systems， 2023， 9（2）： 1639-1652.

[10] HU G X， HU B L， YANG Z， et al. Pavement crack detection method based on deep learning models[J]. Wireless Communications and Mobile Computing， 2021， 220： 1-13.

[11] LIU Y H， YAO J， LU X H， et al. Deep crack：A deep hierarchical feature learning architecture for crack segmentation[J]. Neurocomputing， 2019， 338（21）： 139-153.

[12] YU G， ZHOU X. An improved YOLOv5 crack detection method combined with a bottleneck transformer[J]. Mathematics， 2023， 11（10）： 2377.

[12] LI L F， MA W F， LI L， et al. Research on detection algorithm for bridge cracks based on deep learning[J]. ACTA Automatica Sinica， 2019， 45（9）： 1727-1742.

第一作者：周雙喜（1973—），男，教授，博士，博士生導(dǎo)師，南昌市521學(xué)術(shù)技術(shù)帶頭人，研究方向?yàn)榛炷敛牧吓c檢測(cè)技術(shù)。E-mail：green.55@163.com。

通信作者：楊丹（1997—），女，碩士研究生，研究方向?yàn)榛炷敛牧吓c檢測(cè)技術(shù)。E-mail：gryangdan@163.com。