公路邊坡病害分類與圖像特征研究

廖藝

摘要 為了提出一種智能化的公路邊坡病害檢測(cè)方法，研究過(guò)程利用無(wú)人機(jī)采集邊坡圖像信息，并且根據(jù)邊坡病害的特征，通過(guò)軟件工具進(jìn)行目標(biāo)分類標(biāo)注，形成風(fēng)化剝落、雨水沖刷、滾石掉塊、崩滑坡四類特征圖?；?YOLOv4算法設(shè)計(jì)改進(jìn)的YOLOv4-RSS檢測(cè)算法，主要的優(yōu)化點(diǎn)為特征圖殘差、檢測(cè)頭編碼方式、注意力機(jī)制。使用標(biāo)注后的邊坡圖像數(shù)據(jù)訓(xùn)練YOLOv4-RSS算法，再檢驗(yàn)其對(duì)邊坡病害的檢測(cè)效果。結(jié)果顯示，其對(duì)四類病害特征的平均檢測(cè)精確度達(dá)到了72.86%，可靠性較高。

關(guān)鍵詞 公路邊坡病害分類；邊坡病害圖像采集；YOLOv4-RSS檢測(cè)算法；圖像特征

中圖分類號(hào) U418文獻(xiàn)標(biāo)識(shí)碼 A文章編號(hào) 2096-8949（2024）08-0012-03

0 引言

公路邊坡病害類型多樣，包括風(fēng)化剝落、滑坡、坍塌等，由于線路長(zhǎng)度較大，導(dǎo)致人工檢查方式存在效率低、成本高的缺點(diǎn)?；趫D像特征的目標(biāo)檢測(cè)技術(shù)以人工智能算法為基礎(chǔ)，能夠從公路邊坡的圖像信息中識(shí)別出病害部位和類型，成為提高邊坡維護(hù)效率的重要工具。目前，YOLOv4算法在這一領(lǐng)域應(yīng)用廣泛，故基于該算法對(duì)相關(guān)問(wèn)題展開(kāi)研究，旨在提出性能優(yōu)異的檢測(cè)模型。

1 公路邊坡病害分類及圖像采集

1.1 公路邊坡病害分類

公路邊坡的病害類型主要包括4種，分別為滑坡、坍塌、崩塌以及巖石風(fēng)化剝落。當(dāng)公路邊坡存在層狀巖石結(jié)構(gòu)（如頁(yè)巖、片狀巖）時(shí)，受到風(fēng)力作用的長(zhǎng)期侵蝕，有可能出現(xiàn)風(fēng)化，破壞巖石結(jié)構(gòu)的穩(wěn)定性?；率枪愤吰率Х€(wěn)的重要表現(xiàn)形式，地表水和雨水的沖刷作用容易造成滑坡類病害[1]。當(dāng)公路邊坡為高陡邊坡時(shí)，在重力、風(fēng)力以及其他外力的影響下，有可能出現(xiàn)巖土體突然脫離母體的現(xiàn)象，從而形成崩塌或者坍塌。

1.2 公路邊坡病害圖像采集

公路邊坡病害的外在表現(xiàn)形式具有一定的特征，工程地質(zhì)專家可通過(guò)查看邊坡的地形、地貌，判斷是否存在發(fā)生病害的風(fēng)險(xiǎn)。以邊坡坍塌為例，當(dāng)雨水徑流沖刷邊坡時(shí)，可在邊坡巖土體上產(chǎn)生豎向紋理。再如，當(dāng)邊坡巖體風(fēng)化嚴(yán)重時(shí)，坡腳以及地勢(shì)較低的部位會(huì)產(chǎn)生較多的落石掉塊，可據(jù)此判斷風(fēng)化剝落和巖土崩塌風(fēng)險(xiǎn)。大量采集公路邊坡的圖像，能夠?yàn)樽R(shí)別病害類型、查找邊坡隱患提供依據(jù)。

1.2.1 基于無(wú)人機(jī)的圖像采集方法

公路邊坡空間范圍較大，使用無(wú)人機(jī)采集邊坡的圖像數(shù)據(jù)，能夠顯著提高工作效率。研究過(guò)程采用DJI Mavic Air 2無(wú)人機(jī)采集圖像信息，該機(jī)重量為570 g，最大飛行速度為43 km/h，單塊電池的續(xù)航時(shí)間為34 min，配備6塊備用電池，機(jī)載拍照設(shè)備的像素達(dá)到4 800萬(wàn)。無(wú)人機(jī)采集圖形作為一項(xiàng)復(fù)雜的數(shù)據(jù)處理工作，涉及大量公式，在設(shè)計(jì)無(wú)人機(jī)路徑時(shí)，研究人員引入航點(diǎn)計(jì)算公式，用于計(jì)算無(wú)人機(jī)飛行航跡中的航點(diǎn)坐標(biāo)。通過(guò)規(guī)劃合適的航點(diǎn)，可以確保無(wú)人機(jī)在任務(wù)區(qū)域內(nèi)按照設(shè)定的路徑高效飛行，實(shí)現(xiàn)圖像的全面覆蓋，具體公式：

（Xi，Yi，Zi）=（Xstart，Ystart，Zstart）+[d·cos（θi），d·sin（θi），Hfly]

（1）

式中，（Xi，Yi，Zi）——第i個(gè)航跡點(diǎn)的地理坐標(biāo)；（Xstart，

Ystart，Zstart）——無(wú)人機(jī)起飛點(diǎn)的地理坐標(biāo)；d——航點(diǎn)之間的水平距離；θi——第i個(gè)航點(diǎn)相對(duì)于起飛點(diǎn)的方向角；Hfly——無(wú)人機(jī)飛行高度。

除了利用公式（1）計(jì)算無(wú)人機(jī)飛行過(guò)程中經(jīng)過(guò)的航跡點(diǎn)之外，為提高拍攝圖片的內(nèi)容價(jià)值，研究人員還引入了圖像采集的重疊度計(jì)算公式，確保采集的圖像足夠重疊，以便后續(xù)圖像的拼接和三維重建。通過(guò)調(diào)整無(wú)人機(jī)的航跡和相機(jī)參數(shù)，可以控制重疊度來(lái)滿足特定任務(wù)需求，具體計(jì)算公式：

（2）

式中，O——圖像的重疊度；L——圖像的長(zhǎng)度；D——圖像之間的水平重疊區(qū)域的長(zhǎng)度。采集到圖像之后，利用地圖配準(zhǔn)中的相機(jī)模型，將地理坐標(biāo)投影到圖像平面，通過(guò)這種方式將采集到的圖像與地理坐標(biāo)進(jìn)行關(guān)聯(lián)，確保圖像上的特征與地理空間一致，其計(jì)算公式：

[u v]=[fx 0 cx 0 fy cy][X Y Z] （3）

式中，[u v]——圖像上的像素坐標(biāo)；[X Y Z]——地理坐標(biāo)；fx、fy——相機(jī)焦距；cx、cy——圖像的主點(diǎn)坐標(biāo)。

拍照時(shí)將鏡頭與水平方向的夾角控制在30 ?～45 ?，覆蓋公路里程為150 km，共計(jì)獲得1 701張公路邊坡病害照片，排除拍攝效果不佳的照片，最終剩余1 089張可用照片。

1.2.2 圖像標(biāo)注

使用算法程序進(jìn)行圖像檢測(cè)之前，應(yīng)對(duì)圖像進(jìn)行標(biāo)注，研究過(guò)程使用的標(biāo)注工具為L(zhǎng)abelimg，以人工方式進(jìn)行標(biāo)注，將圖片中的目標(biāo)區(qū)域標(biāo)注為矩形框，并且設(shè)置明確的類別。標(biāo)注完成后，可生成相應(yīng)的XML標(biāo)簽文件，其中包括矩形框左上角和右下角的坐標(biāo)、圖像像素大小[2]。經(jīng)過(guò)標(biāo)注，在1 089張公路邊坡圖片中，共計(jì)形成了2 213個(gè)病害區(qū)域，樣本標(biāo)注結(jié)果見(jiàn)表1。

1.2.3 圖像增強(qiáng)

利用圖像特征識(shí)別公路邊坡病害時(shí)，需要較多的數(shù)據(jù)樣本，以便實(shí)施深度學(xué)習(xí)和訓(xùn)練。為了增加數(shù)據(jù)的多樣性，應(yīng)該對(duì)其進(jìn)行圖像增強(qiáng)處理，主要的處理措施為切割、翻轉(zhuǎn)、縮放以及平移。研究過(guò)程利用混合裁剪（CutMix）和馬賽克（Mosaic）方法進(jìn)行數(shù)據(jù)增強(qiáng)。

2 基于YOLOv4-RSS算法的公路邊坡病害圖像特征檢測(cè)

2.1 YOLOv4算法的應(yīng)用原理

2.1.1 YOLOv4算法的結(jié)構(gòu)

YOLO（You Only Look Once）是一種基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法，從誕生之后，至今已形成了多個(gè)模型，包括YOLOv1、YOLOv2等，YOLOv4提出于2020年，繼承了YOLOv1～YOLOv3算法模型的優(yōu)點(diǎn)，同時(shí)進(jìn)行了優(yōu)化和改進(jìn)。該算法由輸入層、主干特征提取網(wǎng)絡(luò)、池化層、輸出層組成，在輸入層利用Mosaic方法進(jìn)行數(shù)據(jù)處理，通過(guò)CSPDarknet53網(wǎng)絡(luò)進(jìn)行特征提取，在池化層可進(jìn)行多個(gè)尺度的池化處理。

2.1.2 預(yù)測(cè)類別置信度計(jì)算方法

YOLOv4算法先對(duì)圖像進(jìn)行分割處理，形成網(wǎng)格，利用網(wǎng)格預(yù)測(cè)落入其中的目標(biāo)。將數(shù)據(jù)集中的總類別記為C，則每個(gè)預(yù)測(cè)框可形成5+C個(gè)數(shù)值，其中5代表5個(gè)基本信息量，分別為網(wǎng)格幾何中心點(diǎn)坐標(biāo)（x，y）、網(wǎng)格的寬和高（w，h）以及置信度[3]。在此基礎(chǔ)上計(jì)算出網(wǎng)格預(yù)測(cè)類別的置信度，相應(yīng)的計(jì)算方法如式（4）。

（4）

式中，Pob——表征目標(biāo)落入網(wǎng)格的概率；Pci——網(wǎng)格對(duì)第i類目標(biāo)預(yù)測(cè)結(jié)果的準(zhǔn)確率；CIoU——預(yù)測(cè)邊框與真實(shí)邊框的距離交并比。當(dāng)Pob=1時(shí)，目標(biāo)落入預(yù)測(cè)網(wǎng)格中，當(dāng)Pob=0時(shí)，目標(biāo)未落入預(yù)測(cè)網(wǎng)格。

2.1.3 CSPDarknet53網(wǎng)絡(luò)及其激活函數(shù)

YOLOv4算法利用CSPDarknet53網(wǎng)絡(luò)實(shí)現(xiàn)主干特征提取，該網(wǎng)絡(luò)是進(jìn)行公路邊坡病害分析的關(guān)鍵，其激活函數(shù)采用Mish函數(shù)，表達(dá)式如式（5）。

（5）

式中，Xi——第i個(gè)特征向量序列，并且有Xi={x1， x2， ...， xi}；e——自然對(duì)數(shù)的底數(shù)；tanh（·）——雙曲正切函數(shù)。

2.1.4 邊框回歸損失函數(shù)

與YOLOv3不同，YOLOv4算法的邊框損失函數(shù)采用 Ciou Loss，該函數(shù)的定義見(jiàn)式（6）。

（6）

式中，v——用于衡量長(zhǎng)寬比的一致性；α——權(quán)重系數(shù)；c——最小外接矩形對(duì)角線的距離；b——預(yù)測(cè)框的幾何中心點(diǎn)；bgt——真實(shí)框的幾何中心點(diǎn)；ρ——中心點(diǎn)b和bgt的歐式距離；LIoU——邊框損失的計(jì)算結(jié)果。

2.2 YOLOv4算法改進(jìn)

為了適應(yīng)公路邊坡病害圖像特征分析的需求，研究過(guò)程對(duì)YOLOv4算法進(jìn)行改進(jìn)，形成YOLOv4-RSS算法，其中RSS的含義為“Road Side Slope（公路邊坡）”，改進(jìn)點(diǎn)如下：

2.2.1 引入注意力機(jī)制模塊

在YOLOv4-RSS算法中引入了注意力機(jī)制模塊，包括通道注意力模塊和空間注意力模塊，前者用于加權(quán)特征圖的通道維度，后者用于增強(qiáng)算法模型對(duì)圖像中目標(biāo)位置的敏感性。

2.2.2 改進(jìn)特征圖殘差

公路邊坡病害檢測(cè)過(guò)程中，需要從圖像信息中區(qū)分邊緣、紋理和顏色的差別，這一過(guò)程需要以恰當(dāng)?shù)姆绞教幚須埐顔?wèn)題[4]。YOLOv4-RSS算法中對(duì)殘差處理方式進(jìn)行了改進(jìn)，將卷積層的輸出從H（x）轉(zhuǎn)化為F（x）+x的形式，降低了算法的訓(xùn)練難度。

2.2.3 改進(jìn)檢測(cè)頭編碼方式

在YOLOv4算法中，分類和回歸預(yù)測(cè)各自獨(dú)立進(jìn)行編碼。在YOLOv4-RSS算法中，對(duì)二者先進(jìn)行合并，再進(jìn)行堆疊，最后實(shí)施編碼，其效果優(yōu)于二者各自獨(dú)立編碼。

2.3 YOLOv4-RSS算法性能驗(yàn)證

2.3.1 模型訓(xùn)練設(shè)置

（1）軟硬件環(huán)境。硬件為工作站，其核心設(shè)備為高性能計(jì)算機(jī)，采用Intel處理器，主頻為2.2 GHz，內(nèi)存為32 GB，CPU為12核。軟件部分為Ubuntu 20.04 LTS操作系統(tǒng)，編程語(yǔ)言為Python3.8。

（2）基本參數(shù)設(shè)置。模型訓(xùn)練分為凍結(jié)訓(xùn)練和解凍訓(xùn)練兩個(gè)階段，針對(duì)兩個(gè)階段的批處理次數(shù)分別為8次、4次，相應(yīng)的學(xué)習(xí)率設(shè)置為0.001和0.000 1。將數(shù)據(jù)按照81∶9∶10的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集三部分。

2.3.2 性能評(píng)價(jià)指標(biāo)

在模型性能評(píng)價(jià)中，采用指標(biāo)mAP，其含義為各個(gè)邊坡病害類別的均值平均度。將算法模型的召回率作為橫坐標(biāo)，與之對(duì)應(yīng)的精確度作為縱坐標(biāo)，橫、縱坐標(biāo)值所圍成的面積稱為平均精度（Average Precision，AP）[5]。求出FH、CS、GS、BHP四類標(biāo)簽的AP平均值，記為mAP。如果mAP的計(jì)算結(jié)果越大，則算法性能越好。在計(jì)算評(píng)價(jià)指標(biāo)時(shí)，將召回率記為Rc，精確度記為Pr，相應(yīng)的計(jì)算方法如下。

（7）

式中，TP（Ture Positive）——被預(yù)測(cè)為正例的真實(shí)正例樣本數(shù)；FP（False Positive）——被預(yù)測(cè)正例的真實(shí)反例樣本數(shù)；FN（False Negative）——未能識(shí)別的真實(shí)正例樣本數(shù)量。

2.3.3 基于圖像特征的性能檢測(cè)結(jié)果

將YOLOv4-RSS作為目標(biāo)算法，為其設(shè)置4個(gè)對(duì)照算法，分別為YOLOv4（對(duì)照算法1）、基于注意力機(jī)制的改進(jìn)YOLOv4算法（對(duì)照算法2）、基于特征圖殘差的改進(jìn)YOLOv4算法（對(duì)照算法3）、基于檢測(cè)頭編碼方式的改進(jìn)YOLOv4算法（對(duì)照算法4）。利用無(wú)人機(jī)采集的圖片信息開(kāi)展模型訓(xùn)練和檢驗(yàn)，結(jié)果見(jiàn)表2。從數(shù)據(jù)可知，YOLOv4-RSS算法的mAP值最大，在5種算法中性能最佳，單獨(dú)改進(jìn)注意力機(jī)制、特征圖殘差或者檢測(cè)頭編碼方式，也能提高算法性能。

3 研究結(jié)果

根據(jù)以上研究過(guò)程，可得到以下幾個(gè)基本結(jié)論。

（1）公路邊坡病害可通過(guò)圖像進(jìn)行智能化的檢測(cè)與識(shí)別，其主要的識(shí)別依據(jù)為邊坡的圖像特征，具體包括風(fēng)化剝落、雨水沖刷、滾石掉塊以及崩滑坡。

（2）YOLOv4屬于當(dāng)前較為先進(jìn)的圖像目標(biāo)檢測(cè)算法，但該算法在邊坡病害圖像特征檢測(cè)中仍具有一定的改進(jìn)空間，主要的改進(jìn)點(diǎn)為降低特征圖殘差影響、優(yōu)化檢測(cè)頭編碼方式以及引入注意力機(jī)制。

（3）研究過(guò)程基于以上改進(jìn)點(diǎn)，設(shè)計(jì)出針對(duì)公路邊坡的YOLOv4-RSS圖像特征檢測(cè)算法，與YOLOv4算法相比，其對(duì)四種邊坡病害特征的平均檢測(cè)精度均有所提高。

4 結(jié)語(yǔ)

基于人工方式的公路邊坡病害識(shí)別方法效率低下，難以適應(yīng)管理需求，在此次研究中，利用無(wú)人機(jī)采集公路邊坡的圖像信息，以YOLOv4算法為基礎(chǔ)，改進(jìn)其檢測(cè)頭編碼方式，降低特征圖殘差的影響。同時(shí)，引入注意力機(jī)制，進(jìn)而提出YOLOv4-RSS檢測(cè)算法。經(jīng)過(guò)模型訓(xùn)練和檢驗(yàn)，新的目標(biāo)檢測(cè)算法在識(shí)別精度上全面優(yōu)于YOLOv4算法，其對(duì)風(fēng)化剝落、雨水沖刷、滾石掉塊的檢測(cè)精度均超過(guò)70%，達(dá)到了較高的可靠性。

參考文獻(xiàn)

[1]段英杰. 公路隧道襯砌表觀病害圖像數(shù)據(jù)化表征方法研究[J]. 機(jī)電信息， 2022（12）： 83-85.

[2]白利茹， 柴明堂， 武立波， 等. 青藏公路病害圖像提取及分析[J]. 公路， 2021（11）： 32-37.

[3]譚建德， 張夢(mèng)煒， 鄭鳳飛， 等. 基于三維圖像處理技術(shù)識(shí)別高速公路路面病害的方法研究[J]. 波譜學(xué)雜志， 2023（4）： 482.

[4]劉健， 解全一， 呂成順， 等. 公路隧道襯砌裂縫圖像質(zhì)量增強(qiáng)方法研究[J]. 山東建筑大學(xué)學(xué)報(bào)， 2023（4）： 108-116.

[5]陳墾， 王世法， 譚屈山， 等. 高速公路無(wú)線施工視頻監(jiān)控、圖像處理及編碼技術(shù)綜述[J]. 無(wú)線電工程， 2023（8）： 1815-1828.