基于YOLO算法的橋面鋪裝及其資產(chǎn)檢測(cè)技術(shù)

劉昆

摘要 由于環(huán)境影響、交通量增加和自然老化的綜合作用，橋面鋪裝及其附屬資產(chǎn)服役狀態(tài)不斷出現(xiàn)變化，及時(shí)獲取鋪裝及資產(chǎn)信息是開(kāi)展養(yǎng)護(hù)決策的關(guān)鍵問(wèn)題。文章以某長(zhǎng)江公路大橋?yàn)檠芯繉?duì)象，首先建立鋪裝及資產(chǎn)的視頻數(shù)據(jù)集，采用YOLO-v5為機(jī)器視覺(jué)辨識(shí)框架，結(jié)合最佳訓(xùn)練策略擬合了適用于橋面鋪裝及資產(chǎn)的檢測(cè)模型。研究結(jié)果表明，檢測(cè)模型能夠有效提高日常巡檢效率，根據(jù)測(cè)試集數(shù)據(jù)顯示，該文建立的檢測(cè)模型最高檢測(cè)準(zhǔn)確率可達(dá)到97.2%，交并比為55.1%，相比同類(lèi)模型具有顯著優(yōu)勢(shì)。

關(guān)鍵詞 橋面鋪裝;結(jié)構(gòu)資產(chǎn);深度學(xué)習(xí);目標(biāo)檢測(cè);卷積神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào) U443.33 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 2096-8949（2022）10-0070-03

0 引言

大跨徑鋼橋面鋪裝及其附屬資產(chǎn)是確保橋梁結(jié)構(gòu)正常運(yùn)營(yíng)的關(guān)鍵部分，其服役狀態(tài)直接影響到區(qū)域交通的互聯(lián)互通。橋面鋪裝及其附屬資產(chǎn)由于常年暴露于自然環(huán)境，且承受交通荷載的不斷作用，服役狀況不斷衰減并最終出現(xiàn)損傷。因此，針對(duì)鋪裝等設(shè)施狀況的全面、及時(shí)的檢測(cè)是制訂有效維養(yǎng)方案的關(guān)鍵。

在道路巡檢領(lǐng)域，深度學(xué)習(xí)中目標(biāo)檢測(cè)的方法得到廣泛應(yīng)用。目標(biāo)檢測(cè)[1]生成含有損壞邊框的邊界區(qū)域。對(duì)于每一個(gè)生成的邊界框，通常還會(huì)執(zhí)行損壞類(lèi)型的辨識(shí)。這類(lèi)模型最大優(yōu)點(diǎn)是可以將目標(biāo)識(shí)別和定位信息集成到一個(gè)網(wǎng)絡(luò)中，不需要對(duì)網(wǎng)絡(luò)進(jìn)行分步訓(xùn)練，可以有效提高運(yùn)算效率。Du等人基于全景圖像，利用YOLO-v3模型，實(shí)現(xiàn)路面損壞中的裂縫類(lèi)病害、修補(bǔ)、坑槽、擁包自動(dòng)識(shí)別及定位[2]。Ukhwah等人[3]基于三種不同架構(gòu)的YOLO，即YOLO-v3、YOLO-v3 Tiny和YOLO-v3 SPP對(duì)路面坑槽進(jìn)行了識(shí)別，結(jié)果顯示三者的平均mAP分別是83.43%、79.33%和88.93%，面積測(cè)量精度為64.45%、53.26%和72.10%，表明YOLO-v3 SPP的性能在坑槽檢測(cè)中更為優(yōu)越。Chitale等人[4]利用YOLO-v4和YOLO-v3對(duì)坑槽進(jìn)行了檢測(cè)，結(jié)果顯示，模型準(zhǔn)確率分別為93.3%和88.9%，IoU精度分別為0.741和0.635。此外，還對(duì)模型中不同的骨架網(wǎng)絡(luò)進(jìn)行了VGG[5]、ResNet[6]等實(shí)驗(yàn)，并采用了不同的訓(xùn)練策略。然而，為了提高目標(biāo)檢測(cè)的準(zhǔn)確率，還需要對(duì)特征提取網(wǎng)絡(luò)進(jìn)一步改善。

該文采用YOLO-v5-6.0的網(wǎng)絡(luò)框架，依托國(guó)內(nèi)某長(zhǎng)江公路大橋的場(chǎng)景，根據(jù)采集到的交通標(biāo)牌、道路裂縫和坑槽等數(shù)據(jù)創(chuàng)建數(shù)據(jù)集，并進(jìn)行了準(zhǔn)確率、召回率和交并比的計(jì)算，探究對(duì)橋面鋪裝及其資產(chǎn)的識(shí)別效果。

1 智能化檢測(cè)模型

1.1 基于YOLO-v5-6.0的檢測(cè)模型

YOLO-v5-6.0在YOLO-v5的基礎(chǔ)上對(duì)網(wǎng)絡(luò)進(jìn)行的調(diào)整，提出更小的模型YOLO-v5n和YOLO-v5n6。YOLO-v5n模型與YOLO-v5s相比，網(wǎng)絡(luò)的深度不變，寬度減少了0.5倍，總參數(shù)量減少了75%，YOLO-v5-6.0網(wǎng)絡(luò)結(jié)構(gòu)分為四個(gè)部分：輸入端、主干網(wǎng)絡(luò)（Backbone）、融合網(wǎng)絡(luò)（Neck）和預(yù)測(cè)端。具體結(jié)構(gòu)如圖1所示。

為了從訓(xùn)練角度提高模型性能，該研究采用數(shù)據(jù)增強(qiáng)和正則化技術(shù)進(jìn)行模型訓(xùn)練優(yōu)化。數(shù)據(jù)增強(qiáng)的目的是增加輸入圖像的可變性，使得所設(shè)計(jì)的目標(biāo)檢測(cè)模型對(duì)不同環(huán)境獲得的圖像具有更高的魯棒性。該文在YOLO-v5-6.0框架的輸入端采用Mosaic數(shù)據(jù)增強(qiáng)方法，通過(guò)對(duì)4張圖片進(jìn)行隨機(jī)剪裁，再拼接到同一張圖上作為訓(xùn)練集。通過(guò)該技術(shù)，有效地豐富圖像的背景，提高了訓(xùn)練量大小，如圖2所示。

主干網(wǎng)絡(luò)的主要作用是在不同圖像細(xì)粒度上聚合，形成對(duì)應(yīng)圖像特征的卷積神經(jīng)網(wǎng)絡(luò)。主要結(jié)構(gòu)包括了CBS，Res unit，CSP1_X，CSP2_X結(jié)構(gòu)。經(jīng)過(guò)CBS層，即先經(jīng)過(guò)卷積層（Conv），提取輸入的不同特征，有助于找到特定的局部圖像特征;其次通過(guò)歸一化層（Batch Norm），將每次的梯度分布都控制在原點(diǎn)附近，實(shí)現(xiàn)結(jié)果歸一化，使各個(gè)塊的偏差不會(huì)過(guò)大;最后用SiLU激活函數(shù)輸入結(jié)果到下一層卷積。Res unit層是用于構(gòu)造深層網(wǎng)絡(luò)的殘差網(wǎng)絡(luò)結(jié)構(gòu)，減少網(wǎng)絡(luò)的傳播誤差。CSP1_X層由CBS層、Res unit層和拼接層（Concat）組成，CSP2_X層由X個(gè)CBS層、Res unit層和拼接層組成。拼接層經(jīng)常用于將特征聯(lián)合，多個(gè)卷積特征提取框架提取的特征融合或者是將輸出層的信息進(jìn)行融合。

融合網(wǎng)絡(luò)將特征混合組合，并傳遞到預(yù)測(cè)層。先進(jìn)行卷積提取特征輸出，再經(jīng)過(guò)三個(gè)不同卷積核的最大池化層進(jìn)行下采樣，將各自輸出結(jié)果進(jìn)行拼接融合并與其初始特征相加，最后再經(jīng)過(guò)卷積將輸出恢復(fù)到同初始輸入一致。并且采用自頂向下傳遞強(qiáng)特征的FPN結(jié)構(gòu)，以便改善低層特征的傳播，以及自底向上的含有兩個(gè)PAN結(jié)構(gòu)的特征金字塔，兩者結(jié)合操作，加強(qiáng)網(wǎng)絡(luò)特征融合的能力。輸出端部分，YOLOv5采用了GIoU作為損失函數(shù)，還通過(guò)非極大值抑制（NMS）來(lái)篩選目標(biāo)框。

1.2 模型訓(xùn)練

為了訓(xùn)練與測(cè)試識(shí)別模型，該研究收集了不同分辨率的橋面鋪裝及其資產(chǎn)圖像共計(jì)1 132張，其中裂縫圖像512張、坑槽圖像256張、交通標(biāo)牌364張。隨機(jī)選取1 018張圖像作為訓(xùn)練集、114張圖像作為測(cè)試集，訓(xùn)練集中裂縫圖像、坑槽病害圖像和交通標(biāo)牌圖像分別為461張、230張與327張，分辨率為1 920×1 080。再利用labelme軟件對(duì)目標(biāo)圖進(jìn)行標(biāo)記，標(biāo)記結(jié)果如圖3所示。

訓(xùn)練集輸入的圖像數(shù)據(jù)分辨率為1 920×1 080，batchsize設(shè)置為2，學(xué)習(xí)率為0.001，為了使損失函數(shù)更好收斂，使用學(xué)習(xí)率指數(shù)衰減讓學(xué)習(xí)率隨著學(xué)習(xí)進(jìn)度降低以達(dá)到更好的訓(xùn)練目的。識(shí)別模型的構(gòu)建使用pytorch 1.3.1版本在ubuntu18.04上部署了建模環(huán)境，并使用i9-9900k和RTX2080ti來(lái)進(jìn)行模型的訓(xùn)練和測(cè)試。

2 研究成果討論

該文所建立YOLO-v5-6.0的網(wǎng)絡(luò)模型共訓(xùn)練了300個(gè)批次（epoch），每個(gè)批次迭代100次。檢測(cè)模型在每一個(gè)批次結(jié)束時(shí)，將會(huì)評(píng)估識(shí)別模型針對(duì)驗(yàn)證集的驗(yàn)證效果，識(shí)別模型的Loss損失函數(shù)隨迭代次數(shù)的變化如圖4所示。

訓(xùn)練與驗(yàn)證結(jié)果均表明了所建立檢測(cè)模型具備有效的泛化性能，訓(xùn)練過(guò)程中未發(fā)生過(guò)擬合現(xiàn)象，訓(xùn)練后的模型能夠精確地識(shí)別橋面鋪裝及其資產(chǎn)。由圖4所示，Loss損失函數(shù)隨著迭代輪數(shù)的增加而減小，表明識(shí)別的精度在不斷提高。該文采用了YOLO-v5-6.0訓(xùn)練的網(wǎng)絡(luò)模型，根據(jù)數(shù)據(jù)集合進(jìn)行訓(xùn)練和驗(yàn)證，所得部分識(shí)別結(jié)果如圖5所示。

圖5表明，在所依托長(zhǎng)江公路大橋的場(chǎng)景下，對(duì)于鋪裝病害和鋪裝資產(chǎn)檢測(cè)效果性能優(yōu)異，從直觀圖像來(lái)看，對(duì)于交通標(biāo)牌類(lèi)的識(shí)別定位的準(zhǔn)確度高于裂縫和坑槽類(lèi)。根據(jù)測(cè)試集計(jì)算所得的評(píng)價(jià)指標(biāo)如表1所示。

根據(jù)表1數(shù)據(jù)可知，對(duì)于交通標(biāo)牌此類(lèi)目標(biāo)準(zhǔn)確率高達(dá)0.972，交并比也達(dá)到了0.551。對(duì)于小目標(biāo)的裂縫或者坑槽，準(zhǔn)確率（P）、召回率（R）和交并比（IOU）均有不同程度的下降。

3 結(jié)論

綜上所述，依托國(guó)內(nèi)某長(zhǎng)江公路大橋的場(chǎng)景構(gòu)建橋面鋪裝及其資產(chǎn)數(shù)據(jù)集，利用YOLO-v5-6.0作為網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練并測(cè)試智能化檢測(cè)模型。研究結(jié)果表明，模型的平均準(zhǔn)確率達(dá)到0.947，針對(duì)交通標(biāo)牌資產(chǎn)的準(zhǔn)確率可達(dá)到0.972。該文所建立的檢測(cè)模型能夠有效識(shí)別橋面鋪裝病害及其資產(chǎn)，顯著提高巡檢效率，可為相關(guān)巡檢工作提供高效數(shù)據(jù)支撐。

參考文獻(xiàn)

[1]Nie，M.，andK.Wang.2018.“Pavementdistressdetectionbasedontransfer learning.” In Proc.， 5th Int. Conf. on Systems and Informatics （ICSAI）， 435–439. New York： IEEE.

[2]Du Y C， Pan N， Xu， ZH， Deng FW， Shen Y， Kang H. “Pavement distress detection and classification based on YOLO network”. 2020， 1-14.

[3]Ukhwah， Ernin Niswatul， Eko Mulyanto Yuniarno， and Yoyon Kusnendar Suprapto. "Asphalt Pavement Pothole Detection using Deep learning method based on YOLO Neural Network." 2019 International Seminar on Intelligent Technology and Its Applications （ISITIA）. IEEE， 2019.

[4]Chitale， Pranjal A.， et al. "Pothole Detection and Dimension Estimation System using Deep Learning （YOLO） and Image Processing." 2020 35th International Conference on Image and Vision Computing New Zealand （IVCNZ）. IEEE， 2020.

[5]Simonyan， K， and A.Zisserman. “Very deep convolutional networks for large-scale image recognition.” Preprint， submitted September 4， 2014.

[6]He， K.， X. Zhang， S. Ren， and J. Sun. 2016. “Deep residual learning for image recognition.” In Proc.， IEEE Conf. on Computer Vision and Pattern Recognition， 770–778. New York： IEEE.