基于改進(jìn)YOLO V4 的橋梁纜索表面損傷識(shí)別方法

鄒易清，蘇建功，夏曉華，李玉強(qiáng)，蔣立軍，韋耀淋

（1.柳州歐維姆機(jī)械股份有限公司，廣西 柳州 545006；2.長安大學(xué)道路施工技術(shù)與裝備教育部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710064）

橋梁中的纜索是關(guān)鍵受力構(gòu)件，在懸索橋、拱形橋和斜拉橋等大跨度橋梁建設(shè)中應(yīng)用廣泛。一旦纜索表面出現(xiàn)損傷，在纜索拉應(yīng)力及長期風(fēng)吹日曬的作用下，損傷日趨嚴(yán)重，致使雨水滲入纜索內(nèi)部，引發(fā)纜索內(nèi)部鋼絲銹蝕和銹斷，嚴(yán)重威脅橋梁安全。因此，及時(shí)、準(zhǔn)確的纜索表面損傷識(shí)別，對有效預(yù)防橋梁事故的發(fā)生具有重要意義[1]。

當(dāng)前，國內(nèi)外對橋梁纜索表面損傷的識(shí)別主要通過人工檢測[2]完成，檢測過程存在一定的主觀性且效率低。激光掃描法[3]能實(shí)現(xiàn)自動(dòng)檢測，但成本高，難以推廣應(yīng)用；文獻(xiàn)[4-5]利用機(jī)器視覺技術(shù)進(jìn)行檢測，然而當(dāng)圖像存在色差等問題時(shí)檢測結(jié)果不佳。隨著計(jì)算機(jī)視覺與深度學(xué)習(xí)的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)在諸如板裂紋[6]、橋梁與路面病害[7-8]等表面缺陷[9]檢測中體現(xiàn)出巨大的優(yōu)越性。文獻(xiàn)[10]利用Faster R-CNN 卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了纜索表面損傷類型及區(qū)域的識(shí)別，但目前這方面的文獻(xiàn)較少，基于深度學(xué)習(xí)的纜索表面損傷識(shí)別方法仍需進(jìn)一步研究。

鑒于YOLO V4(You Only Look Once V4) 模型[11]在目標(biāo)識(shí)別中具有良好的性能，文中在其基礎(chǔ)上開展橋梁纜索表面損傷自動(dòng)識(shí)別與定位研究。為提升網(wǎng)絡(luò)的特征提取能力，在YOLO V4 模型結(jié)構(gòu)中嵌入注意力機(jī)制模塊，從而提高纜索表面損傷的識(shí)別精度，實(shí)驗(yàn)驗(yàn)證了該方法的有效性。

1 橋梁纜索表面識(shí)別方法

基于深度學(xué)習(xí)的目標(biāo)檢測模型能對圖像中的物體進(jìn)行快速準(zhǔn)確的識(shí)別和定位，相較于Mask RCNN[12]、Faster R-CNN[13]等兩階段(two-stage)目標(biāo)檢測模型，YOLO V4 作為典型的單階段(one-stage)目標(biāo)檢測模型，經(jīng)過單次檢測即可直接得到目標(biāo)的類別概率和位置坐標(biāo)值，具有良好的檢測速度和精度。文中提出的橋梁纜索表面損傷識(shí)別方法基于改進(jìn)的YOLO V4 目標(biāo)檢測模型，其流程如圖1 所示，主要包括4 個(gè)步驟。

圖1 橋梁纜索表面損傷識(shí)別方法流程圖

1）原始圖像采集：通過纜索爬行機(jī)器人拍攝橋梁纜索表面圖像。

2）數(shù)據(jù)集制作：包括圖像篩選、損傷標(biāo)注、數(shù)據(jù)集擴(kuò)充及獲得數(shù)據(jù)集。篩選圖像，通過數(shù)據(jù)增強(qiáng)方法擴(kuò)充樣本數(shù)量。

3）模型訓(xùn)練：改進(jìn)YOLO V4 模型，調(diào)整模型參數(shù)，使用數(shù)據(jù)集進(jìn)行模型訓(xùn)練，獲得識(shí)別模型。

4）模型推斷：利用識(shí)別模型作出預(yù)測，輸出識(shí)別結(jié)果。

2 數(shù)據(jù)集制作

橋梁纜索圖像的采集地點(diǎn)為江西省某大橋，使用纜索爬行機(jī)器人完成圖像采集，挑選纜索表面出現(xiàn)損傷的圖像共201 張，圖像分辨率為1 920×1 080像素。

對深度學(xué)習(xí)而言，準(zhǔn)備的數(shù)據(jù)越充足、越全面，訓(xùn)練得到的深度學(xué)習(xí)網(wǎng)絡(luò)模型識(shí)別效果越好。當(dāng)數(shù)據(jù)量不足時(shí)，可采用數(shù)據(jù)增強(qiáng)的方法擴(kuò)充數(shù)據(jù)集。數(shù)據(jù)增強(qiáng)不僅可以增加訓(xùn)練的數(shù)據(jù)量，提高模型的泛化能力，也能通過增加噪聲數(shù)據(jù)，提升模型的魯棒性。通過旋轉(zhuǎn)、鏡像、亮度改變、添加高斯噪聲等單一方法或多種方法結(jié)合的物理變換對圖像進(jìn)行數(shù)據(jù)增強(qiáng)[14-15]，最后獲得2 995 張圖像作為數(shù)據(jù)集，并使用圖形圖像注釋工具LabelImg 對每張圖像中的橋梁纜索表面損傷進(jìn)行標(biāo)注。隨機(jī)選取數(shù)據(jù)集中的90%(2 695 張)作為訓(xùn)練集，10%(300 張)作為測試集，在訓(xùn)練集中任意選取10%(270 張)作為驗(yàn)證集。

3 改進(jìn)YOLO V4模型

YOLO V4 目標(biāo)檢測模型在YOLO V3 目標(biāo)檢測模型的基礎(chǔ)上，對主干特征提取網(wǎng)絡(luò)(Backbone network)、加強(qiáng)特征提取的頸部網(wǎng)絡(luò)(Neck network)和預(yù)測輸出的頭部網(wǎng)絡(luò)(Head network)進(jìn)行改進(jìn)。在主干特征提取網(wǎng)絡(luò)中，利用CSPNet 結(jié)構(gòu)(Cross Stage Partical Network)構(gòu)造了CSPDarknet53，可以在降低計(jì)算量的情況下保持甚至提高網(wǎng)絡(luò)的性能。此外，CSPNet 結(jié)構(gòu)中引入了Mish 激活函數(shù)，Mish 激活函數(shù)是光滑函數(shù)，具備較好的泛化能力，對結(jié)果也有優(yōu)化作用。在頸部網(wǎng)絡(luò)中，使用了SPP(Spatial Pyramid Pooling)結(jié)構(gòu)和PANet(Path Aggregation Network)結(jié)構(gòu)。在對CSPDarknet53 網(wǎng)絡(luò)輸出的最后一個(gè)特征層完成3 次卷積操作后，利用SPP 結(jié)構(gòu)中4 個(gè)不同尺度的最大池化層進(jìn)行處理，可以極大地增加感受野，分離出最顯著的上下文特征，且?guī)缀醪粫?huì)降低網(wǎng)絡(luò)的處理速度。PANet 結(jié)構(gòu)的使用能夠準(zhǔn)確地保留空間信息，有助于正確定位像素點(diǎn)，形成mask。

在深度卷積神經(jīng)網(wǎng)絡(luò)處理圖像時(shí)，使網(wǎng)絡(luò)自適應(yīng)地注意重要、有用的目標(biāo)信息，可以提高最終模型的識(shí)別準(zhǔn)確率。SENet[16](Squeeze-and-Excitation Networks)是一種通道卷積注意力機(jī)制模塊，通過學(xué)習(xí)的方式自動(dòng)獲取每個(gè)特征通道的重要程度，以此來提升有用的特征并抑制無效特征，進(jìn)而加快特征處理的速度。SENet模塊結(jié)構(gòu)如圖2 所示。

圖2 SENet模塊結(jié)構(gòu)

SENet 模塊首先對輸入進(jìn)來的特征層進(jìn)行全局平均池化(Global pooling)，然后利用兩個(gè)全連接層(FC)先降低特征層維度而后升高至原來維度，最后經(jīng)過Sigmoid 激活函數(shù)處理后便獲得了輸入特征層各個(gè)通道的權(quán)值，通過將權(quán)值與原輸入特征層相乘的方式對每個(gè)特征層進(jìn)行加權(quán)，以此處理不同重要程度的特征層[18-19]。

SENet 模塊并不是一個(gè)完整的網(wǎng)絡(luò)，可以靈活嵌入到分類或目標(biāo)檢測網(wǎng)絡(luò)中。如圖3 所示，將SENet模塊嵌入到Y(jié)OLO V4 模型主干特征提取網(wǎng)絡(luò)層的3 個(gè)有效特征層中，同時(shí)在PANet 結(jié)構(gòu)中將兩個(gè)上采樣后的結(jié)果添加到SENet 模塊，增強(qiáng)網(wǎng)絡(luò)的特征提取能力。圖3 中Conv 表示卷積(Convolution)，BN 表示批量正則化(Batch Norm)，Concat 表示特征融合(Concatenation)，UpSam 表示上采樣(UpSampling)，DownSam 表示下采樣(DownSampling)。

圖3 嵌入SENet模塊的YOLO V4模型結(jié)構(gòu)

4 模型的訓(xùn)練與測試

實(shí)驗(yàn)在臺(tái)式計(jì)算機(jī)上完成，利用Tensorflow 以及Keras 框架來改進(jìn)YOLO V4 模型。實(shí)驗(yàn)環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境

為減少模型的訓(xùn)練時(shí)間以及使模型更好地收斂，采用遷移學(xué)習(xí)的方法訓(xùn)練模型。在模型訓(xùn)練過 程中，先凍結(jié)主干特征提取網(wǎng)絡(luò)層，將更多的資源用

4.1 實(shí)驗(yàn)環(huán)境與網(wǎng)絡(luò)訓(xùn)練

于訓(xùn)練后半部分網(wǎng)絡(luò)，訓(xùn)練一定代數(shù)后，解凍主干特征提取網(wǎng)絡(luò)層，并采用預(yù)訓(xùn)練好的COCO 分類網(wǎng)絡(luò)模型的參數(shù)作為主干特征提取網(wǎng)絡(luò)層的初始權(quán)重值，繼續(xù)對全部網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至得到最終的模型，利用這種訓(xùn)練方式可有效保證權(quán)值。

設(shè)置合適的訓(xùn)練參數(shù)是提升識(shí)別模型性能的重要手段。訓(xùn)練圖像尺寸設(shè)為800×800 像素，在使用預(yù)訓(xùn)練參數(shù)時(shí)，設(shè)置模型的迭代次數(shù)(Epoch)為50次，批處理的數(shù)據(jù)集樣本數(shù)量(Batch size)為8，基礎(chǔ)學(xué)習(xí)率(Base learning rate)為0.001；不使用預(yù)訓(xùn)練參數(shù)時(shí)，設(shè)置模型的迭代次數(shù)為70 次，批處理的數(shù)據(jù)集樣本數(shù)量為2，基礎(chǔ)學(xué)習(xí)率為0.000 1，總迭代次數(shù)為120次。學(xué)習(xí)率采用余弦退火策略進(jìn)行調(diào)節(jié)，每5輪重置基礎(chǔ)學(xué)習(xí)率，基礎(chǔ)學(xué)習(xí)率最小值設(shè)置為0.000 01。在訓(xùn)練集上每完成一個(gè)Epoch，保存一次權(quán)值參數(shù)，模型訓(xùn)練結(jié)束后共得到120 個(gè)模型權(quán)值參數(shù)，以此評價(jià)訓(xùn)練模型的性能。訓(xùn)練集損失值曲線如圖4所示。

圖4 損失值隨迭代次數(shù)變化曲線

訓(xùn)練模型時(shí)，選用Adam 梯度優(yōu)化器，其超參數(shù)beta_1 設(shè)置為0.9，beta_2 設(shè)置為0.999，利用Keras 框架中的提前終止法(Early stopping)來防止過擬合，在每一個(gè)Epoch 結(jié)束時(shí)，計(jì)算模型在驗(yàn)證集上的損失值，若損失值不再下降，則停止訓(xùn)練。

在前50 代訓(xùn)練中，訓(xùn)練集損失值雖有一定震蕩，但整體呈現(xiàn)持續(xù)下降趨勢；第50 代訓(xùn)練時(shí)，由于解凍訓(xùn)練致使訓(xùn)練集損失值突然下降，在后續(xù)的訓(xùn)練過程中，損失值緩慢變小直至幾乎不發(fā)生變化，模型收斂。

4.2 模型測試結(jié)果與分析

采用SSD[17]模型、Faster R-CNN 模型、原始YOLO V4 模型和在頸部網(wǎng)絡(luò)融入注意力機(jī)制的YOLO V4模型對測試集圖像進(jìn)行識(shí)別，識(shí)別效果如圖5 所示，圖中白色矩形框?yàn)槟Ｐ蜋z測出的表面損傷，橢圓形框和平行四邊形框?yàn)槁z的表面損傷，虛線矩形框?yàn)檎`檢的表面損傷，黑色矩形框?yàn)榫植糠糯髤^(qū)域。由圖5 可知，SSD 模型對橋梁纜索表面損傷的檢測效果較差，易出現(xiàn)漏檢的情況（圖中橢圓形框）。在圖5(a)、5(b)中，F(xiàn)aster R-CNN 模型雖能正確識(shí)別出損傷，但存在誤檢問題（圖中虛線矩形框）。在圖5(b)中，YOLO V4 模型對小目標(biāo)存在漏檢問題（圖中橢圓形框）。在圖5(c)中，YOLO V4 模型對其中的一處損傷識(shí)別正確但僅識(shí)別出某一小部分，圖中平行四邊形框中的損傷未能識(shí)別出來。融入注意力機(jī)制的YOLO V4 模型則能準(zhǔn)確識(shí)別出橋梁纜索表面損傷，具有較高的識(shí)別準(zhǔn)確率和良好的泛化能力。

圖5 不同模型的識(shí)別結(jié)果對比圖

為客觀評價(jià)訓(xùn)練所得模型對纜索表面損傷的識(shí)別效果，通過計(jì)算預(yù)測圖像的平均精度和平均檢測時(shí)間來評價(jià)訓(xùn)練后的模型，其中，平均精度是以召回率(R)為橫坐標(biāo)、精確率(P)為縱坐標(biāo)建立的PR 曲線的線下面積，平均檢測時(shí)間為檢測一張圖像所需的平均時(shí)間，平均精度的計(jì)算公式為：

式中，r為積分變量，P(r)為P-R 曲線函數(shù)表達(dá)式。利用SSD 模型、Faster R-CNN 模型、原始YOLO V4 模型和融入注意力機(jī)制的YOLO V4 模型對纜索表面損傷進(jìn)行識(shí)別的客觀評價(jià)結(jié)果如表2 所示。為保證實(shí)驗(yàn)結(jié)果的公平性，每個(gè)模型的訓(xùn)練圖像尺寸均為800×800像素，迭代次數(shù)一致。原始YOLO V4模型和融入注意力機(jī)制的YOLO V4 模型使用上節(jié)給出的超參數(shù)，并分別對SSD 和Faster R-CNN 模型設(shè)置合適的超參數(shù)，在相同的實(shí)驗(yàn)環(huán)境下采用相同的訓(xùn)練方式進(jìn)行訓(xùn)練，如遷移學(xué)習(xí)、優(yōu)化器等。

表2 不同模型對橋梁纜索表面損傷的識(shí)別結(jié)果

從表2 中可以發(fā)現(xiàn)，融入注意力機(jī)制的YOLO V4 模型相較于原始的YOLO V4 模型，纜索表面損傷識(shí)別的平均精度高出6.10%，平均檢測時(shí)間僅增加了0.004 s；與SSD 模型相比，雖然平均檢測時(shí)間有所增加（增加了0.030 s），但平均精度高出24.57%，識(shí)別效果顯著提升；與Faster R-CNN 模型相比，在平均檢測時(shí)間減少（減少了0.094 s）的同時(shí)，平均精度高出29.93%，表明改進(jìn)的YOLO V4 模型在纜索表面損傷識(shí)別中明顯優(yōu)于現(xiàn)有文獻(xiàn)使用的Faster R-CNN模型。因此，在頸部網(wǎng)絡(luò)部分嵌入注意力機(jī)制的YOLO V4 模型能有效提升橋梁纜索表面損傷的識(shí)別精度，其識(shí)別精度明顯高于SSD 模型和Faster R-CNN模型。雖然改進(jìn)的YOLO V4 模型在平均檢測時(shí)間上略高于原始YOLO V4 模型和SSD 模型，但其0.192 s的單幅圖像平均檢測時(shí)間仍可保證在纜索表面損傷識(shí)別過程中具有較好的實(shí)時(shí)性。上述平均精度和平均檢測時(shí)間的實(shí)驗(yàn)驗(yàn)證了文中方法的有效性。

5 結(jié)論

識(shí)別橋梁纜索表面損傷是修復(fù)纜索損傷的前提，能有效預(yù)防橋梁纜索向嚴(yán)重病害發(fā)展，對提高橋梁的經(jīng)濟(jì)性和安全性具有重要意義。為實(shí)現(xiàn)準(zhǔn)確、快速的橋梁纜索表面損傷識(shí)別，文中將注意力機(jī)制嵌入YOLO V4 目標(biāo)檢測模型中，提出了基于改進(jìn)YOLO V4 模型的橋梁纜索表面損傷圖像識(shí)別方法。

融入注意力機(jī)制的YOLO V4 模型能有效識(shí)別橋梁纜索表面損傷，平均精度為93.57%，相較于SSD模型、Faster R-CNN 模型和原始YOLO V4 模型，平均精度高出24.57%、29.93%和6.10%，其0.192 s 的單幅圖像平均檢測時(shí)間能保證在纜索表面損傷識(shí)別過程中具有較好的實(shí)時(shí)性。