改進YOLOv3的橋梁表觀病害檢測識別

周清松，董紹江,2，羅家元，秦 悅，夏宗佑，楊建喜

(1.重慶交通大學 a.機電與車輛工程學院; b.信息科學與工程學院，重慶 400074；2.西南交通大學 磁浮技術與磁浮列車教育部重點實驗室,成都 610031)

橋梁的可靠性和安全性對社會的福祉至關重要。因此有必要盡早發(fā)現(xiàn)橋上出現(xiàn)的缺陷，以防止橋的結構能力和耐用性進一步損失。在識別和監(jiān)測缺陷的非破壞性評估技術中，人工目視檢查是評估橋梁狀況的主要手段[1]，但其結果是主觀的且可能是不可靠的[2]。在這種情況下，人們提出了基于計算機視覺的檢測技術，借助爬壁機器人或無人機獲取圖像[3-4]?；跈C器學習的方法是更先進的檢測方式，它利用提取圖像中的特征來完成特定的任務，如Nishikawa等[5]基于機器學習方法來研究橋梁表面裂縫。盡管機器學習技術比傳統(tǒng)的圖像處理技術在效率和魯棒性方面有顯著提高，但是這些方法仍然有基于手工制作的低級功能，并且需要進行預處理和后處理。因此，橋梁表面病害自動檢測識別技術應運而生。

近年來，隨著基于深度學習的目標檢測算法不斷改進創(chuàng)新，自動檢測識別技術在行人檢測、車輛檢測等領域有很好的效果，但在橋梁表觀病害檢測方面效果較差。在目標檢測算法的網(wǎng)絡體系結構方面，這些對象檢測器可分為兩大類。一類以兩級檢測器R-CNN[6]系列為代表。R-CNN方法使用選擇性搜索[7](SS)方法生成區(qū)域建議，然后分別提取每個潛在邊界框的特征以進行分類和邊框回歸。但是，使用選擇性搜索方法生成區(qū)域建議的步驟緩慢且復雜。為克服R-CNN存在的問題，Ren等[8]提出Faster R-CNN方法，用區(qū)域建議網(wǎng)絡(RPN)代替選擇性搜索方法生成區(qū)域建議。這種兩級檢測器被用于檢測結構缺陷，如Kim等[9]將R-CNN與形態(tài)學后處理相結合，以檢測和量化混凝土橋梁中的裂縫；Cha等[10]使用Faster R-CNN架構檢測混凝土和鋼結構中的5種表面損傷類型。盡管上述研究證明了兩級檢測器可用于檢測結構缺陷，但由于采用區(qū)域建議作為中間步驟，其檢測速度不夠理想。另一類是以單級檢測器SSD[11]、YOLO[12]系列為代表。由于SSD和YOLO都刪除了生成區(qū)域建議步驟，并同時預測了多個邊界框和類別概率，因此檢測速度比兩級檢測器快。但是，SSD算法的缺點明顯，一是不能充分利用淺層的高分辨率特征圖，二是候選框的尺寸比例需要人工根據(jù)經驗設置。因此，本研究的目的是探討先進的單級檢測器YOLOv3[13]的適用性，用以識別橋梁表觀的多種病害，并提高檢測精度。

1 YOLOv3算法介紹

目前在主流的目標檢測網(wǎng)絡中，YOLO網(wǎng)絡直接對圖像中的目標進行回歸檢測，因此其檢測速度比其他網(wǎng)絡快。分析YOLOv1至YOLOv3網(wǎng)絡的優(yōu)缺點得出，初始YOLOv1網(wǎng)絡檢測精度差；YOLOv2[14]在YOLOv1的基礎上通過添加批量標準化、高分辨率的分類器、多尺度的訓練等方法，在繼續(xù)保持處理速度基礎上，在預測更準確、速度更快、識別對象更多這3個方面進行了改進；YOLOv3在YOLOv2的基礎上取代了新的骨干網(wǎng)絡，將單標簽分類改進為多標簽分類，采用了多尺度融合預測方法。YOLOv3網(wǎng)絡模型如圖1所示，它的基本體系結構包括3個主要部分：特征提取網(wǎng)絡層(DarkNet-53)、檢測層和分類層。

圖1 YOLOv3網(wǎng)絡結構圖Fig. 1 YOLOv3 network structure diagram

特征提取網(wǎng)絡層：它是被命名為DarkNet-53的特征提取算法。它由53個卷積層組成，每個卷積層都包含1個歸一化層，每層的激活函數(shù)是Leaky ReLU。它借鑒了殘差網(wǎng)絡[15](ResNet)的做法，在一些層之間建立快捷鏈路，通過快捷鏈路躍層連接可以解決隨著網(wǎng)絡的逐步深入導致模型難以優(yōu)化的問題，減小梯度爆炸風險，加強網(wǎng)絡的學習能力并利用到更多的圖像淺層特征信息。特征圖的尺寸在某些卷積層之間減小了2倍，該算法總共將尺寸減小了32倍。為了YOLOv3網(wǎng)絡的下一步工作，特征提取網(wǎng)絡部分將輸出3個不同尺寸的特征圖作為下一個網(wǎng)絡模塊的輸入，其尺寸分別比原始圖像尺寸減小8倍、16倍和32倍。

檢測層：卷積核大小為1×1和3×3的卷積層交替出現(xiàn)，最后一層的卷積核大小必須為1×1。最小輸入尺度的特征圖僅在檢測層進行處理。特征提取網(wǎng)絡層輸出的另外2個尺度的特征圖在被發(fā)送到檢測層之前，先與已經處理過的較低維映射進行拼接，然后輸入檢測層。

分類層：以檢測層生成的包含多尺度特征信息的融合特征為輸入，通過卷積核大小為3×3和1×1的卷積層產生模型的最終特征輸出，且最后一層的通道數(shù)(Filters)大小為

Filters=3×(4+1+classes)，

(1)

式中：3代表3個預測尺度，4和1分別為網(wǎng)絡最終輸出檢測目標類別歸一化后的中心坐標(x,y,w,h)和置信度，classes代表檢測目標類別數(shù)。本研究中檢測類別有4類，因此Filters=27。

2 網(wǎng)絡的改進

2.1 改進檢測層網(wǎng)絡結構

空間金字塔池化[16]( SPP-Net)對圖片進行不同的分塊池化，把每個塊中提取出的一個特征圖作為一個維度，確保最后得到特征圖的維度一致，從而解決信息丟失和尺度不統(tǒng)一的問題。此外，特征圖中的通道數(shù)被擴展以提供有效的全局信息，因此它具有更強的細節(jié)特征描述能力，對不同類型目標的檢測精度更高。病害圖像的預處理和多尺度預測中可能產生信息丟失或者尺度不一致，從而影響最終的檢測效果。因此本研究中參考空間金字塔池化方法，在YOLOv3檢測層中融合空間金字塔池化的操作，不僅解決了在檢測層中輸入特征圖的尺寸變化和圖像失真的問題，也實現(xiàn)了特征圖的局部特征和全局特征更好地融合。如圖2所示，選擇3個不同尺度(n1

圖2 空間金字塔池化模塊Fig. 2 Spatial pyramid pooling module

雖然特征映射具有豐富的特征信息，但經過深層和淺層特征融合后存在一定的冗余。因此在空間金字塔池化結構中，n1、n2和n3這3個尺度的池化層分別對應3個不同程度的去冗余操作。尺度為n1的池化層的池化區(qū)域最小，能夠對特征圖上的局部特征進行去冗余；尺度為n3的池化層的池化區(qū)域最大，能夠對特征圖上的全局特征進行去冗余；尺度為n2的池化層屬于過渡操作，保留介于局部和全局之間的特征。完成冗余操作后，使用拼接操作聚合所有特征映射。經過去冗余再聚合操作的特征圖的信息更有層次且表征性更強，檢測器能夠根據(jù)全局特征對缺陷進行定位，再根據(jù)局部特征對目標病害的類別進行判定。為實現(xiàn)局部特征和全局特征的特征圖級別的融合，空間金字塔池化結構最大的池化核(n3)要盡可能接近等于需要池化的特征圖的大小。因此在YOLOv3預測大目標的檢測層分支中嵌入空間金字塔池化，設置n1=5，n2=9，n3=13。

2.2 改進特征提取網(wǎng)絡結構

Xi=Hi([X0,X1,…,Xi-1])。

(2)

圖3 DenseNet的密集連接機制Fig. 3 Dense connection mechanism of DenseNet

圖4 密集模塊中的非線性轉換結構Fig. 4 Non-linear transformation structure in dense module

假設一個密集模塊的輸入X0維度為m，每個密集層輸出k個特征圖。根據(jù)密集連接網(wǎng)絡的原理，第n個密集層的輸入是m+(n-1)k個特征圖，所以直接進行3×3卷積運算會帶來大量的計算量，造成網(wǎng)絡的負擔。這時可以使用瓶頸結構來減少網(wǎng)絡的計算量，主要方法是在原來的密集模塊上增加一個1×1卷積層來減少特征的數(shù)量，即BN+ReLU+1×1 Conv+BN+ReLU+3×3 Conv。在構建的瓶頸結構的密集層中，首先通過1×1卷積層可得2k個特征圖，然后通過3×3卷積層輸出k個特征圖。其結構如圖5所示。

圖5 含有瓶頸結構的密集模塊結構Fig. 5 Dense module structure with a bottleneck structure

在使用瓶頸結構方法的基礎上，為進一步減少網(wǎng)絡計算量，在每兩個密集模塊之間使用卷積核大小分別為1×1的卷積層和2×2的平均池化層組成過渡層。假設一個密集模塊的輸出特征圖數(shù)量為p，使用輸出連接的過渡層輸出θp個特征圖，其中θ(0<θ≤1)表示壓縮系數(shù)。在本研究中構建的過渡層中θ=0.5，因此經過渡層壓縮操作后，輸入到下一個密集模塊的特征圖的數(shù)量與尺度減少一半。

將YOLOv3網(wǎng)絡與所構造的密集連接網(wǎng)絡結合起來，提出了一種新型YOLOv3網(wǎng)絡結構，如圖6所示。為了平衡檢測速度和準確率，將原網(wǎng)絡的輸出尺寸為208×208和104×104的殘差模塊保留，將輸出為52×52、26×26和13×13的3組殘差模塊替換為密集模塊。

圖6 改進的YOLOv3網(wǎng)絡結構圖Fig.6 Improved YOLOv3 network structure diagram

3 實驗結果及分析

3.1 實驗環(huán)境與數(shù)據(jù)集

實驗環(huán)境為Windows操作系統(tǒng)，AMD Ryzen 5 3600 (CPU)，32 GB隨機存取內存(RAM)，RTX 2060-SUPER(GPU)，16 GB顯示內存，深度學習框架為pytorch。網(wǎng)絡的初始化參數(shù)如表1所示。

表1 初始化參數(shù)

數(shù)據(jù)集CODEBRIM(COncrete DEfect BRidge IMage dataset[18],混凝土缺陷橋圖像數(shù)據(jù)集)是2019年公布的，用于計算機視覺和機器學習中的多目標病害的橋梁混凝土缺陷檢測，該數(shù)據(jù)集含有風化(efflorescence)、鋼筋外露(exposed bars)、腐蝕(corrosion stain)和脫落(spallation)4種橋梁病害。由于該數(shù)據(jù)集樣本數(shù)量不足，利用數(shù)據(jù)增強技術對數(shù)據(jù)進行樣本擴充，如表2所示。擴充后的部分圖片存在病害標簽失效現(xiàn)象，其失效形式為原圖像中的病害標簽尺寸超過圖像本身尺寸，造成輸入網(wǎng)絡中歸一化的值不屬于0～1的范圍，因此需要對增強后的圖片進行排查，刪除失效的圖像。

表2 數(shù)據(jù)增強方式

擴充后的圖片效果如圖7所示。

圖7 使用數(shù)據(jù)增強的圖片對比Fig. 7 Non-enhanced and data-enhanced images

3.2 評價指標

對目標檢測算法，平均準確率(mAP)是評價模型性能的標準度量。對二元分類問題，根據(jù)其標記類和預測類的組合，判斷結果可分為4類：真正例(TP)、假正例(FP)、真負例(TN)和假負例(FN)。分類結果的混淆矩陣如表3所示。

表3 二元分類的混淆矩陣

精確率和召回率計算公式如下：

(3)

(4)

精確率是一個模型真實預測目標總數(shù)與所有預測目標總數(shù)比率，召回率是真實預測目標總數(shù)與數(shù)據(jù)集中目標總數(shù)的比率。以精確率為橫軸，以召回率為縱軸，可以得到精確的校準曲線，稱為P-R曲線。P-R曲線與坐標軸圍成的面積為每個類的精度值(AP)，mAP則是計算所有類的P-R曲線下面積的平均值(該面積通過黎曼求和來計算)。公式如下：

(5)

(6)

式中：N為用于測試的圖像數(shù)量，M為檢測的類別數(shù)。

3.3 實驗結果與分析

以改進YOLOv3網(wǎng)絡檢測層 (YOLOv3-a)，改進特征提取網(wǎng)絡層 (YOLOv3-b1:使用瓶頸結構；YOLOv3-b2:使用瓶頸結構和過渡層)以及同時加入以上2種改進的網(wǎng)絡(YOLOv3-a-b1；YOLOv3-a-b2)與原YOLOv3進行對比實驗。實驗結果如表4所示。

表4 改進的YOLOv3和YOLOv3實驗結果詳情

通過上表可以看出，改進的YOLOv3比原YOLOv3在橋梁表觀病害檢測上的平均準確率有所提高。其中，YOLOv3-a的平均準確率提升了1.6%，由于融合空間金字塔池化操作，增加了網(wǎng)絡計算參數(shù)量，因此訓練時間增加2.4%；YOLOv3-b1的平均準確率提升了1.8%，由于替換了原YOLOv3特征提取網(wǎng)絡的最后3個殘差模塊，網(wǎng)絡計算參數(shù)量減少50%，因此訓練時間減少17.8%；而在YOLOv3-b1上做進一步改進的YOLOv3-b2，與原YOLOv3相比，其平均準確率提升了1.9%，網(wǎng)絡計算參數(shù)量減少59%，因此訓練時間減少34.3%。融合兩種改進YOLOv3-a-b1的平均準確率提升2.4%，網(wǎng)絡計算參數(shù)量減少49%，導致訓練時間減少15.2%；YOLOv3-a-b2的平均準確率的提升最大，達到3.0%，網(wǎng)絡計算參數(shù)量減少57%，導致訓練時間減少33.2%。分析結果表明替換YOLOv3特征提取網(wǎng)絡的最后3個殘差模塊為密集模塊結構后，不僅使深層特征和淺層特征更好地融合，提高了網(wǎng)絡的特征復用能力，還大大減少了網(wǎng)絡模型的訓練時間；添加空間金字塔池化結構雖增加了模型的復雜度，導致訓練時間增加2.4%、3.1%和1.7%，但平均準確率得到提升。分析結果證明了對YOLOv3的改進是有效的。

為進一步驗證本研究中提出的模型在橋梁表觀病害檢測上優(yōu)于其他目標檢測算法，使用同樣的橋梁表面病害數(shù)據(jù)集對YOLOv3-a-b2和Faster R-CNN、SSD、RetinaNet等目標檢測算法進行病害識別任務的訓練與測試。實驗結果如表5所示。

表5 不同算法檢測結果對比

從表5可以看出無論是兩級檢測器Faster R-CNN還是單級檢測器SSD，其平均準確率均低于改進模型，且訓練時間更長。證明了改進的YOLOv3在橋梁表觀病害檢測上有更好的檢測效果。

3.4 圖片檢測效果

隨機抽取測試集中的3張圖片進行測試，結果如圖8所示。

圖8 YOLOv3(左)和YOLOv3-a-b2(右)的檢測結果Fig. 8 YOLOv3 (left) and YOLOv3-a-b2(right) test results

從圖8(a)對比圖片看出，左圖中出現(xiàn)了將風化誤檢為腐蝕，而右圖準確地檢測出風化這一病害類型；圖8(b)中左圖對病害部位的檢測結果僅為腐蝕，而右圖對病害部位的檢測結果不僅有腐蝕，還有脫落 (由于檢測為脫落的結果準確率比腐蝕的結果準確率高，腐蝕的檢測結果被覆蓋了一部分，在右圖中能看見腐蝕的結果準確率為0.33)；圖8(c)中左圖出現(xiàn)了對脫落部位的漏檢，右圖則識別了全部脫落部位。從對檢測結果的分析可以看出本研究中的模型的檢測效果優(yōu)于原YOLOv3檢測效果，而且還降低了對目標病害的誤檢率與漏檢率。

4 結 論

針對目前通用目標檢測算法在橋梁表觀病害檢測上精度低、誤檢率和漏檢率高的缺點，提出了基于單級檢測器YOLOv3的橋梁表面病害檢測方法。將本研究中構造的密集連接網(wǎng)絡嵌入YOLOv3特征提取網(wǎng)絡后，不僅增強了橋梁病害特征在網(wǎng)絡層之間的傳播和利用效率，使檢測層得到更強的語義信息，為目標分類任務提供了更強的特征支持，還減少了網(wǎng)絡的訓練時間。引入空間金字塔池化結構使淺層與深層的特征信息更好地融合，提升了目標分類與定位的能力。經過實驗結果分析，改進的網(wǎng)絡模型對橋梁病害有更高的檢測精度。下一步工作將研究基于YOLOv3改進算法的智能爬壁機器人進行病害檢測實際應用，以機器人自主的目視檢查代替以人眼目視的檢查。