基于改進(jìn)YOLO算法的混凝土表觀病害識(shí)別方法

楊 魁， 王丹妮， 唐 雙， 李 巖， 劉 綱

(1.國(guó)網(wǎng)重慶市電力公司建設(shè)分公司，重慶 617000； 2.重慶大學(xué) 土木工程學(xué)院， 重慶 400045)

0 引言

橋梁是保障國(guó)家經(jīng)濟(jì)建設(shè)的重要基礎(chǔ)設(shè)施，其服役質(zhì)量直接關(guān)系到國(guó)民經(jīng)濟(jì)發(fā)展和人民生命財(cái)產(chǎn)安全[1]。在我國(guó)，混凝土橋梁應(yīng)用最為廣泛[2]，但由于施工缺陷、材料老化以及長(zhǎng)期交變荷載、突發(fā)事件過(guò)載等作用，混凝土極易出現(xiàn)蜂窩、露筋、裂縫、剝落等各類(lèi)表觀病害[3]，對(duì)橋梁結(jié)構(gòu)的耐久性造成較大影響，并可能危及結(jié)構(gòu)的安全性[4-5]。因此，如何及時(shí)和快速發(fā)現(xiàn)這些病害對(duì)提高橋梁全壽命周期安全至關(guān)重要。

多年來(lái)，混凝土表觀病害常采用人工進(jìn)行檢測(cè)，工作量大、效率低，難以滿足高墩、大跨等橋梁結(jié)構(gòu)表觀病害全面檢測(cè)的需求。同時(shí)，檢測(cè)過(guò)程中往往存在一定的安全風(fēng)險(xiǎn)，例如2018年南寧三岸大橋因檢測(cè)車(chē)故障導(dǎo)致3名檢測(cè)人員罹難。近10 a來(lái)，隨著無(wú)人機(jī)及攝影技術(shù)的快速發(fā)展，采用無(wú)人機(jī)拍攝圖片逐漸成為表觀病害檢測(cè)的新手段[6]。但海量圖片若采用人工進(jìn)行識(shí)別，便無(wú)法解決效率低下的問(wèn)題，故通過(guò)機(jī)器視覺(jué)從圖片中自動(dòng)識(shí)別表觀病害已成為當(dāng)前研究熱點(diǎn)。目前，采用主成分分析、支持向量機(jī)和貝葉斯分類(lèi)器等機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)混凝土裂縫的自動(dòng)識(shí)別技術(shù)已較為成熟；且隨著深度學(xué)習(xí)的快速發(fā)展，國(guó)內(nèi)外學(xué)者針對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的混凝土裂縫自動(dòng)識(shí)別方法進(jìn)行了大量研究，取得了豐碩的研究成果，裂縫識(shí)別的相對(duì)誤差已可控制在10%以內(nèi)[7]。但混凝土表觀病害類(lèi)型較多，不同病害類(lèi)型需采用不同的識(shí)別方法，故如何實(shí)現(xiàn)各種病害類(lèi)型的自動(dòng)分類(lèi)仍亟待研究。

You Only Look Once(YOLO)系列算法采用直接回歸方法獲取檢測(cè)目標(biāo)的類(lèi)別，是目前速度最快的基于深度學(xué)習(xí)的目標(biāo)分類(lèi)算法之一[8]，被廣泛應(yīng)用于車(chē)輛、行人和手勢(shì)識(shí)別等多個(gè)領(lǐng)域[9-10]，能滿足混凝土表觀病害類(lèi)型分類(lèi)識(shí)別的需求。但該方法需大量訓(xùn)練樣本才能獲得較高的分類(lèi)精度，這在工程上較難滿足，特別在早期缺乏病害樣本時(shí)。因此，本文將最新的YOLOv3方法引入混凝土表觀病害分類(lèi)中，并從兩個(gè)方面進(jìn)行改進(jìn)，一是融合仿射變換數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)技術(shù)，分別從增加學(xué)習(xí)樣本的多樣性以及引入深度網(wǎng)絡(luò)預(yù)訓(xùn)練模型降低對(duì)訓(xùn)練樣本的要求，二是采用拉普拉斯圖像銳化技術(shù)對(duì)圖像進(jìn)行預(yù)處理，提升病害的對(duì)比度以提升病害分類(lèi)精度，從而建立基于深度學(xué)習(xí)的混凝土表觀病害自動(dòng)分類(lèi)方法(Concrete Surface Defects Identification)CSDI-YOLO，為通過(guò)數(shù)字圖像實(shí)現(xiàn)混凝土表觀病害的自動(dòng)識(shí)別、分類(lèi)提供技術(shù)支撐。

1 YOLOv3算法原理

YOLOv3算法主要用于目標(biāo)識(shí)別及分類(lèi)，其基礎(chǔ)網(wǎng)絡(luò)架構(gòu)是卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)特征提取網(wǎng)絡(luò)對(duì)輸入圖像采用回歸思想直接提取特征，該算法的基本思路如圖1所示。首先將圖片分成S×S個(gè)大小相同的網(wǎng)格，每個(gè)單元格負(fù)責(zé)預(yù)測(cè)中心落在該格內(nèi)的目標(biāo)，如圖1(a)中黑色小圓點(diǎn)所示。每個(gè)單元格將預(yù)測(cè)3個(gè)邊界框及各邊界框?qū)?yīng)的置信度c，其計(jì)算公式為：

(1)

同時(shí)，每個(gè)網(wǎng)格還會(huì)預(yù)測(cè)針對(duì)C個(gè)條件類(lèi)別的概率，即在網(wǎng)格中含有物體的條件下，該物體屬于某一類(lèi)別的概率，如圖1(c)所示。在進(jìn)行分類(lèi)識(shí)別時(shí)，將條件概率與置信度相乘，得到每個(gè)邊界框在各個(gè)類(lèi)別的綜合得分值，從而得到該類(lèi)別物體出現(xiàn)在框中的概率以及邊界框與物體的吻合程度，以此達(dá)到分類(lèi)識(shí)別的目標(biāo)，最終識(shí)別結(jié)果如圖1(d)所示。

圖1 YOLOv3識(shí)別及分類(lèi)原理Figure 1 YOLOv3 identification and classification principle

在網(wǎng)絡(luò)結(jié)構(gòu)上，YOLOv3深度學(xué)習(xí)網(wǎng)絡(luò)主要由Darknet-53特征提取網(wǎng)絡(luò)、多尺度融合特征網(wǎng)絡(luò)組成，如圖2所示。圖中y1，y2，y3分別表示算法在3個(gè)不同尺度的特征圖輸出。

圖2 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)[12]Figure 2 YOLOv3 network structure[12]

Darknet-53特征提取網(wǎng)絡(luò)借鑒了特征金字塔[11]網(wǎng)絡(luò)思路，由53個(gè)卷積層構(gòu)成，并分別在原圖片分辨率的1/32、1/16、1/8尺度上提取特征。例如對(duì)分辨率為416×416像素的輸入圖片，分別在13×13、26×26、52×52尺度上提取圖片的特征。因YOLOv3設(shè)定每個(gè)網(wǎng)格可預(yù)測(cè)3個(gè)邊界框，每個(gè)邊界框有5個(gè)基本屬性值，同時(shí)可預(yù)測(cè)80個(gè)類(lèi)別概率，所以3個(gè)尺度上的預(yù)測(cè)深度均為3×(5+80)。

在網(wǎng)絡(luò)訓(xùn)練階段，需在作為訓(xùn)練樣本的圖片中用長(zhǎng)方形框人工標(biāo)記出病害位置、類(lèi)型；其次，將圖片輸入YOLOv3網(wǎng)絡(luò)，在Darknet-53特征提取網(wǎng)絡(luò)中經(jīng)過(guò)一系列深度卷積過(guò)程，其像素?cái)?shù)量逐漸減小，并在3個(gè)尺度上得到預(yù)測(cè)框，當(dāng)人工標(biāo)記框與預(yù)測(cè)邊界框的交并比超過(guò)一定閾值，則計(jì)算該預(yù)測(cè)邊界框與標(biāo)記框之間的誤差，包括兩框之間的坐標(biāo)誤差、置信度誤差和類(lèi)別誤差；然后，將誤差反向傳播回特征提取網(wǎng)絡(luò)，從而自適應(yīng)調(diào)整網(wǎng)絡(luò)中各個(gè)卷積核的參數(shù)，訓(xùn)練足夠的次數(shù)后，誤差減小到預(yù)設(shè)的閾值后，深度網(wǎng)絡(luò)的訓(xùn)練完成。

在病害識(shí)別和分類(lèi)階段，將圖片輸入訓(xùn)練完成的網(wǎng)絡(luò)中進(jìn)行特征提取，每張圖像可分別得到3種尺度的特征圖；其次，根據(jù)特征圖預(yù)測(cè)出目標(biāo)的位置和類(lèi)別，得到3種結(jié)果；然后，對(duì)所得3種結(jié)果進(jìn)行回歸，得到準(zhǔn)確的預(yù)測(cè)信息，完成目標(biāo)的識(shí)別和分類(lèi)。

從YOLOv3的識(shí)別過(guò)程可知，其在3個(gè)層級(jí)的特征圖上進(jìn)行目標(biāo)檢測(cè)，同時(shí)利用低層和高層特征的語(yǔ)義信息，使得提取的特征更加豐富，這非常適合混凝土表觀病害的識(shí)別和分類(lèi)，因混凝土表觀病害在圖片中的尺寸通常較小，其面積往往僅占圖片總面積的5%～30%左右，需從不同的尺度上才能提取較精確的特征。

YOLOv3算法的主要目標(biāo)是識(shí)別目標(biāo)并分類(lèi)，故可采用R指標(biāo)評(píng)價(jià)其識(shí)別和分類(lèi)效果：

(2)

2 YOLOv3算法的改進(jìn)

本節(jié)通過(guò)在YOLOv3算法的基礎(chǔ)上融入遷移學(xué)習(xí)策略、仿射變換數(shù)據(jù)增強(qiáng)以及拉普拉斯圖像銳化增強(qiáng)技術(shù)，提出適合小樣本學(xué)習(xí)的混凝土表觀病害類(lèi)型分類(lèi)方法CSDI-YOLO方法。

2.1 遷移學(xué)習(xí)策略

遷移學(xué)習(xí)是指根據(jù)目標(biāo)圖像集的特征，選取類(lèi)似圖像集對(duì)深度網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，取得預(yù)訓(xùn)練網(wǎng)絡(luò)模型；然后再采用目標(biāo)圖像集的少量訓(xùn)練樣本，通過(guò)對(duì)預(yù)訓(xùn)練模型的再次訓(xùn)練，即可快速得到適合目標(biāo)圖像集的深度網(wǎng)絡(luò)模型，從而達(dá)到舉一反三的效果，故遷移學(xué)習(xí)可大幅降低對(duì)目標(biāo)圖像集訓(xùn)練樣本數(shù)量的要求。

從遷移學(xué)習(xí)的原理可知，采用遷移學(xué)習(xí)所得網(wǎng)絡(luò)模型的精度取決于類(lèi)似圖像集與目標(biāo)圖像集的相似度，若兩者的相似度較低，所得深度網(wǎng)絡(luò)模型的精度將會(huì)受到較大影響。而針對(duì)混凝土表觀病害而言，較難找到與其非常類(lèi)似的相關(guān)圖像集，故本文采用類(lèi)似圖像集訓(xùn)練YOLOv3深度網(wǎng)絡(luò)得到預(yù)訓(xùn)練網(wǎng)絡(luò)模型后，保留所得Darknet-53特征提取網(wǎng)絡(luò)的模型及參數(shù)，即圖2中的虛線框部分；然后將預(yù)訓(xùn)練模型頂層網(wǎng)絡(luò)的參數(shù)移除(即將參數(shù)設(shè)置為0)，再用表觀病害訓(xùn)練集重新訓(xùn)練整個(gè)深度網(wǎng)絡(luò)，獲得新的網(wǎng)絡(luò)權(quán)重，以生成一個(gè)適用于表觀病害識(shí)別、分類(lèi)的深度網(wǎng)絡(luò)模型，從而在保留網(wǎng)絡(luò)計(jì)算精度的前提下減少所需訓(xùn)練樣本。

2.2 仿射變換數(shù)據(jù)增強(qiáng)

仿射變換通過(guò)將圖片在平面上進(jìn)行移動(dòng)、旋轉(zhuǎn)、鏡像等操作，產(chǎn)生新的圖片從而增加訓(xùn)練樣本，是一種幾何空間變換形式的數(shù)據(jù)增強(qiáng)方法。設(shè)原始圖片中位置為(x，y)的像素點(diǎn)經(jīng)過(guò)仿射變換后對(duì)應(yīng)的坐標(biāo)為(x′，y′)，則仿射變換的運(yùn)算形式為：

(3)

其中，M為變換矩陣。M矩陣取不同的參數(shù)值可實(shí)現(xiàn)平移、縮放、旋轉(zhuǎn)、鏡像翻轉(zhuǎn)、偏移等操作，例如旋轉(zhuǎn)的M矩陣為：

(4)

其中，θ為順時(shí)針旋轉(zhuǎn)角度。

2.3 拉普拉斯圖像銳化增強(qiáng)

無(wú)人機(jī)在拍攝圖片時(shí)，往往無(wú)法控制光線、振動(dòng)等外界因素的影響，會(huì)對(duì)圖片中表觀病害的顯示造成影響，導(dǎo)致病害的特征較難提取，故選用拉普拉斯圖像銳化算法對(duì)圖像進(jìn)行銳化濾波以突出有用信息。該算法通過(guò)二階微分提取邊緣輪廓特征，較一階微分定位邊緣的能力更強(qiáng)，銳化效果更好[13]。拉普拉斯算子定義為：

f(x，y+1)+f(x，y-1)-4f(x，y)

(5)

其中，f(x，y)表示圖片坐標(biāo)(x，y)處圖像灰度的數(shù)值大小。某蜂窩圖像進(jìn)行拉普拉斯算子銳化增強(qiáng)后的效果如圖3所示。從該圖可知，銳化增強(qiáng)后蜂窩病害的邊緣輪廓更加清晰，許多細(xì)小的蜂窩病害也更加清楚。

(a)原始圖像

2.4 CSDI-YOLO算法流程

基于YOLOv3深度學(xué)習(xí)算法原理，采用拉普拉斯圖像銳化增強(qiáng)提升原始圖片的特征信息，利用遷移學(xué)習(xí)及仿射變換數(shù)據(jù)增強(qiáng)降低深度網(wǎng)絡(luò)訓(xùn)練階段對(duì)訓(xùn)練樣本數(shù)量的要求，從而構(gòu)建了CSDI-YOLO方法進(jìn)行混凝土表觀病害的識(shí)別和分類(lèi)，其具體步驟如下：

a.建立混凝土表觀病害圖片數(shù)據(jù)集。采集混凝土表觀病害圖像，并采用LabelImg工具通過(guò)手工標(biāo)記各類(lèi)病害在圖片中的位置和類(lèi)型。

b.圖像預(yù)處理。使用拉普拉斯銳化算法將病害圖像進(jìn)行銳化增強(qiáng)，然后將所得圖像進(jìn)行順時(shí)針90°、180°和270°旋轉(zhuǎn)進(jìn)行仿射變換數(shù)據(jù)增強(qiáng)，以提升病害特征及增加數(shù)據(jù)集的數(shù)量。

c.YOLOv3深度網(wǎng)絡(luò)預(yù)訓(xùn)練。選用已有圖像集對(duì)YOLOv3網(wǎng)絡(luò)進(jìn)行訓(xùn)練，建立預(yù)訓(xùn)練網(wǎng)絡(luò)模型。

d.新YOLO網(wǎng)絡(luò)模型訓(xùn)練。按2.1節(jié)內(nèi)容移除預(yù)訓(xùn)練模型頂層網(wǎng)絡(luò)的參數(shù)，然后從數(shù)據(jù)集中選取表觀病害訓(xùn)練集，再次對(duì)新深度網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至達(dá)到最大迭代次數(shù)，得到新的YOLO網(wǎng)絡(luò)模型。

e.表觀病害識(shí)別和分類(lèi)。對(duì)新獲得的圖片進(jìn)行拉普拉斯銳化增強(qiáng)，然后采用新YOLO網(wǎng)絡(luò)模型識(shí)別病害位置和類(lèi)別。

3 混凝土表觀病害識(shí)別算例

3.1 混凝土表觀病害檢測(cè)結(jié)果

搜集混凝土表觀病害圖片1 304張，選取1154張作為訓(xùn)練集，150張作為測(cè)試集，根據(jù)我國(guó)現(xiàn)行《公路橋梁技術(shù)狀況評(píng)定標(biāo)準(zhǔn)》和《公路橋涵養(yǎng)護(hù)規(guī)范》標(biāo)準(zhǔn)將病害分為裂縫、剝落、露筋、滲水、蜂窩、麻面、空洞共7種類(lèi)型，采用LabelImg工具人工標(biāo)注每張圖片中的病害類(lèi)型、病害部位，如圖4所示。為驗(yàn)證所提方法的適用性，訓(xùn)練集、測(cè)試集中包含的各類(lèi)病害標(biāo)記框數(shù)量如表1所示。實(shí)驗(yàn)硬件配置的CPU為Intel ? CoreTMi7-6900K，GPU為NVIDIA GeForce GTX 1080，顯存為8GB GDDR5X，內(nèi)存為96 G。

圖4 數(shù)據(jù)集中的病害標(biāo)記

表1 各類(lèi)病害標(biāo)記框數(shù)量Table 1 Details of defect datasets病害類(lèi)型訓(xùn)練集測(cè)試集標(biāo)記框合計(jì)裂縫1 1881161 214剝落1 0571631 220蜂窩1 1541601 314麻面1 0401001 140空洞956651 021露筋963691 032滲水1 0611101 171

在YOLO網(wǎng)絡(luò)模型中，設(shè)置權(quán)重衰減系數(shù)為0.000 5，初始學(xué)習(xí)率為0.001，采用多分布策略，沖量常數(shù)取0.9。為防止過(guò)度擬合并提高訓(xùn)練速度，設(shè)置每次迭代訓(xùn)練的圖像數(shù)量為64，最大迭代次數(shù)為20 000；在迭代次數(shù)分別為15 000、17000時(shí)將學(xué)習(xí)率依次衰減為原來(lái)的0.1；設(shè)置分類(lèi)類(lèi)別classes為7，故本文中深度網(wǎng)絡(luò)模型3個(gè)尺度上的預(yù)測(cè)深度為3×(5+7)。

預(yù)訓(xùn)練的圖像集采用華盛頓大學(xué)的ImageNet圖像集，該圖像集包括超過(guò)1 400萬(wàn)張圖片，共分為21 841個(gè)類(lèi)別。

采用2.4節(jié)的流程得到新YOLO深度網(wǎng)絡(luò)模型，然后采用測(cè)試集驗(yàn)證所提方法識(shí)別、分類(lèi)混凝土表觀病害的效果，如表2所示。7類(lèi)病害的識(shí)別示例如圖5所示。

表2 所提算法的識(shí)別結(jié)果Table 2 Detection results of the proposed algorithm 序號(hào)目標(biāo)類(lèi)別標(biāo)記框數(shù)量預(yù)測(cè)框數(shù)量R值1裂縫116940.812剝落1631520.933蜂窩1601520.954麻面100930.935空洞69660.966露筋1101060.967滲水65600.92合計(jì) 7837230.92

圖5 7類(lèi)病害檢測(cè)結(jié)果示例Figure 5 Detection results examples of 7 types of defects

從表2可知，除裂縫的識(shí)別精度為81%外，其余各類(lèi)病害的識(shí)別精度均高于92%，7類(lèi)病害總體的識(shí)別精度為92%。裂縫識(shí)別效果相對(duì)較低的原因主要在于圖像數(shù)據(jù)在輸入到網(wǎng)絡(luò)中進(jìn)行特征提取時(shí)，3 000×3 000像素的原圖像需壓縮到416×416像素，而訓(xùn)練集中絕大部分裂縫的寬度小于100像素，裂縫在經(jīng)過(guò)圖像壓縮后，其主要特征信息損失較大，導(dǎo)致識(shí)別精度所有降低。

3.2 不同方法識(shí)別結(jié)果對(duì)比

在圖像識(shí)別和分類(lèi)領(lǐng)域，另外常用的兩個(gè)深度網(wǎng)絡(luò)分別為Faster Region-based Convolutional Network(Faster R-CNN)算法[14]和Single Shot MultiBox Detector(SSD)算法[15]，故針對(duì)混凝土表觀病害識(shí)別和分類(lèi)問(wèn)題，采用相同的訓(xùn)練集、測(cè)試集以及計(jì)算環(huán)境，將這2種方法與本文方法進(jìn)行對(duì)比，對(duì)測(cè)試集150張圖片的識(shí)別結(jié)果如表3所示。

表3 3種算法的病害識(shí)別結(jié)果對(duì)比Table 3 Comparison of defects detection using three differ-ent algorithms算法名稱識(shí)別結(jié)果R值計(jì)算時(shí)間/sFaster R-CNN0.93113SSD0.8767CSDS-YOLO0.9224

從表3可看出，SSD算法的識(shí)別精度低于Faster R-CNN和CSDI-YOLO算法，且SSD算法的計(jì)算時(shí)間是CSDI-YOLO算法的2倍以上；雖Faster R-CNN的識(shí)別精度比本文的CSDI-YOLO算法的精度高1%，但其計(jì)算耗時(shí)卻是本文方法的5倍左右。因此，綜合識(shí)別精度和計(jì)算時(shí)間，本文所提CSDI-YOLO方法能較好適用于混凝土表觀病害的識(shí)別。

4 結(jié)語(yǔ)

基于能快速識(shí)別、分類(lèi)的YOLOv3深度學(xué)習(xí)網(wǎng)絡(luò)算法，結(jié)合遷移學(xué)習(xí)策略提取圖像特征以減少對(duì)訓(xùn)練樣本數(shù)量的要求，借助仿射變換數(shù)據(jù)增加技術(shù)擴(kuò)充訓(xùn)練樣本集的多樣性，并采用拉普拉斯圖像銳化增強(qiáng)圖片中病害的輪廓特征，提出了CSDI-YOLO算法。采用所搜集的混凝土表觀病害圖片1 304張作為數(shù)據(jù)集，對(duì)數(shù)據(jù)集中包含的7類(lèi)混凝土常見(jiàn)表觀病害進(jìn)行識(shí)別和分類(lèi)，計(jì)算結(jié)果表明：

a.采用CSDI-YOLO算法的總體識(shí)別精度可達(dá)92%。裂縫識(shí)別精度相對(duì)較低的原因在于特征提取時(shí)，算法將對(duì)圖片進(jìn)行壓縮，而細(xì)長(zhǎng)的裂縫在圖像壓縮時(shí)將丟失部分特征。

b.通過(guò)與Faster R-CNN及SSD兩種算法對(duì)比，表明CSDI-YOLO算法在保證較高識(shí)別和分類(lèi)精度的同時(shí)，計(jì)算速度遠(yuǎn)遠(yuǎn)優(yōu)于Faster R-CNN及SSD算法，可為無(wú)人機(jī)采集的混凝土表觀病害的快速識(shí)別提供技術(shù)支撐。