基于改進(jìn)YOLO V3的塔式起重機(jī)裂縫檢測研究

陳國棟，王翠瑜*，張神德，鄧志勇，王同珍，吳志鴻，黃明煒，林進(jìn)潯

(1.福州大學(xué) 物理與信息工程學(xué)院,福建 福州 350108；2.中建海峽建設(shè)發(fā)展有限公司,福建 福州 350015；3.福建數(shù)博訊信息科技有限公司,福建 福州 350002)

根據(jù)國內(nèi)塔吊安全事故的統(tǒng)計研究，2007—2016年間國內(nèi)發(fā)生152起塔式起重機(jī)安全{1]事故，2013—2019年間發(fā)生了194起，其中2017—2019年間占了111起，這194起事故導(dǎo)致294死、109傷，造成35 572.18萬元的經(jīng)濟(jì)損失[2]。因此，由于塔式起重機(jī)結(jié)構(gòu)的特殊性，對其定期的檢測與監(jiān)督，及時發(fā)現(xiàn)裂縫消除隱患是保障安全施工的重要環(huán)節(jié)，但現(xiàn)有的檢查手段主要以人工攀爬巡查為主，成本高，費(fèi)時費(fèi)力，同時也要考慮檢查人員的安全，且裂縫若出現(xiàn)在塔節(jié)點(diǎn)交界處等不易被察覺，無法有效排除隱患。

隨著深度學(xué)習(xí)各種目標(biāo)檢測算法越來越成熟[3]，通過深度學(xué)習(xí)解決缺陷檢測問題的效果越來越好，應(yīng)用領(lǐng)域也越來越廣。單階段目標(biāo)檢測(you only look once，YOLO)系列[4]方法基于回歸的端到端的單階段檢測不依賴候選區(qū)的模型，可以非常迅速得識別定位圖像中目標(biāo)位置，相對于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-convolution neura network，R-CNN)[5]系列更符合實(shí)時快速檢測的需求，但該類方法針對小目標(biāo)的識別精度不高。隨著發(fā)展和優(yōu)化，YOLO系列的YOLO V3[6]定位精度有了很大的改善。

針對上文提出的塔吊裂縫安全檢查問題，本文提出一種基于改進(jìn)YOLO V3的塔式起重機(jī)裂縫檢測方法，且根據(jù)實(shí)際塔吊應(yīng)用場景提出相應(yīng)的改進(jìn)使得滿足于工地干擾強(qiáng)，塔吊高大，需無人機(jī)搭載識別等特點(diǎn)，提高其識別速度和對小目標(biāo)的敏感性。從而做出更好的預(yù)測來幫助完成施工安全的監(jiān)督檢測作業(yè)。

1 YOLO V3

YOLO V3相對YOLO V1和YOLO V2[7]在識別速度與精度有了明顯改善，同時優(yōu)化了很多缺陷。在YOLO V3中以Darknet-53[8]為骨干網(wǎng)絡(luò)，相比于YOLO V2的Darknet-19擁有更深的網(wǎng)絡(luò)層數(shù)，如圖1所示，該特征提取網(wǎng)絡(luò)由52個卷積層和一個全連接層組成，并且交替使用1×1和3×3的濾波器進(jìn)行卷積。在加深網(wǎng)絡(luò)的同時YOLO V3還增加了多尺度融合的特征預(yù)測目標(biāo)機(jī)制[9]，該方法在最后獲得的最小特征圖上采取兩次上采樣，得到的特征圖為三個尺度，并融合基礎(chǔ)網(wǎng)絡(luò)中同尺寸的淺層信息特征，分別進(jìn)行三次目標(biāo)框預(yù)測，然后通過非極大值抑制獲得最后結(jié)果。這種方法使得YOLO V3具有更好的魯棒性[10]。

圖1 YOLO V3結(jié)構(gòu)圖

2 算法改進(jìn)

2.1 k-means維度聚類算法

YOLO V3通過聚類算法[11]得到9個先驗(yàn)框，而在加速Faster RCNN[12]和單階段多框目標(biāo)檢測(single shot multibox detector，SSD)[13]中需要手工設(shè)置先驗(yàn)框，客觀性不夠強(qiáng)，當(dāng)先驗(yàn)框的維度合適，可以讓神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)，更好地做出判斷。本文對目標(biāo)框采用聚類的方法來確定先驗(yàn)框參數(shù)。

K-means是一種常用的聚類算法，是一種使用廣泛的最基礎(chǔ)的聚類算法，K表示設(shè)置的聚類數(shù)目K-means成本函數(shù)公式如下：

(1)

其中，xi為第i個樣本，uk是第k個類的重心位置。在塔式起重機(jī)裂縫檢測中，改進(jìn)前預(yù)設(shè)的9組先驗(yàn)框維度分別為(10，13)，(16，30)，(33，23)，(30，61)，(62，45)，(59，119)，(116，90)，(156，198)，(373，326)，本文在塔式起重機(jī)裂縫檢測中對數(shù)據(jù)集進(jìn)行聚類分析，使得先驗(yàn)框維度更適用于工地復(fù)雜環(huán)境下的裂縫識別場景聚類過程中簇的中心個數(shù)K和平均交并比的關(guān)系如圖2所示：

圖2 K-means聚類結(jié)果圖

由圖中可以看出，K=6時平均交并比的數(shù)值高且曲線收斂，新聚類出的先驗(yàn)框參數(shù)為(42，23)，(56，32)，(68，45)，(73，59)，(90，72)和(126，107)。

2.2 損失函數(shù)

在塔式起重機(jī)裂縫檢測中的損失函數(shù)[13]包括如下:

中心坐標(biāo)誤差，

(2)

寬高坐標(biāo)誤差，

(3)

置信度誤差，

(4)

分類誤差，

(5)

上述公式中，說明如表1所示：

表1 公式意義

原始的YOLO V3的損失函數(shù)對邊界框的寬度沒有足夠重視，檢測對象偏小時易忽視而檢測對象為大目標(biāo)時對損失會產(chǎn)生較大影響，如此易導(dǎo)致在對小目標(biāo)檢測時效果不好，為了幫助小目標(biāo)更好的被邊界框不足，提高小邊界框的魯棒性，將原YOLO V3坐標(biāo)誤差部分，參考真實(shí)目標(biāo)邊框?qū)捀咦鴺?biāo)誤差乘以一個加權(quán)，加強(qiáng)對待檢測的小目標(biāo)的損失的重視，降低大目標(biāo)的誤差對小目標(biāo)的誤差的影響，使得更好地檢測小目標(biāo)。改進(jìn)后的損失函數(shù)如下：

(6)

2.3 多尺度融合改進(jìn)

在塔式起重機(jī)裂縫檢測特征提取過程中，根據(jù)施工現(xiàn)場干擾較多，包括線纜、器材連接處、不規(guī)則銹跡、雜物等使得誤檢率高，區(qū)別于其他表面缺陷檢測，塔式起重機(jī)裂縫檢測在圖像中更多都以小目標(biāo)為主，在保持對小尺度目標(biāo)檢測精度良好下可以輕量化網(wǎng)絡(luò)結(jié)構(gòu)來提高檢測速度，更符合實(shí)際識別檢測需求，根據(jù)上述特點(diǎn)可將原來3個尺度規(guī)格13×13、26×26 和 52×52改成在26×26 和 52×52的2個尺度上做預(yù)測實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的輕量化。每種尺度有三種錨框，以降低誤檢的情況。如圖3所示，將高層特征圖的通道數(shù)通過1×1的卷積核改變，然后采用2倍上采樣，將其與低層特征結(jié)合，3×3的卷積核可以消除混疊效應(yīng)。改進(jìn)后的多尺度融合提升小目標(biāo)的檢測效果，降低誤檢率，減少了改進(jìn)的YOLO V3需要預(yù)測的邊界框數(shù)，降低了網(wǎng)絡(luò)的復(fù)雜性，更加符合施工作業(yè)現(xiàn)場的安全識別檢測需求。

圖3 多尺度融合改進(jìn)

3 試驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

數(shù)據(jù)集的數(shù)量對試驗(yàn)結(jié)果有很大影響，數(shù)據(jù)集不足會引起過擬合的現(xiàn)象，為此，需要一個足夠大的數(shù)據(jù)集。本文數(shù)據(jù)集共計7 506張各類塔式起重機(jī)及其附屬設(shè)備的裂縫圖片。如圖4所示，為提高檢測效果，我們通過隨機(jī)旋轉(zhuǎn)、鏡像翻轉(zhuǎn)、局部變形等多種方式對現(xiàn)有的數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)展。

圖4 圖像數(shù)據(jù)增強(qiáng)示例

3.2 網(wǎng)絡(luò)訓(xùn)練

本文訓(xùn)練時參數(shù)設(shè)置如表2所示，在訓(xùn)練過程中通過比較損失大小，保存損失最小的模型參數(shù)。

表2 訓(xùn)練參數(shù)設(shè)置

3.3 試驗(yàn)結(jié)果與分析

為評價本方法對塔式起重機(jī)進(jìn)行定位的性能及改進(jìn)后的效果，分別對兩個網(wǎng)絡(luò)進(jìn)行測試，采用召回率和準(zhǔn)確率評價，其具體計算公式分別為：

(7)

(8)

(9)

其中，T為正檢數(shù)，F(xiàn)P為誤檢數(shù)，F(xiàn)N為未檢測個數(shù)，A(average precision)為平均精度，m(mean average precision)為均值平均精度，是各類別A的平均值。

3.3.1改進(jìn)的YOLO V3識別效果

為了測試改進(jìn)的YOLO V3的識別效果，使用測試集分別針對原YOLO V3和改進(jìn)的YOLO V3進(jìn)行測試。改進(jìn)的YOLO V3的識別效果如圖5和圖6所示，試驗(yàn)結(jié)果表明其均值平均精度可達(dá)到85.63%。對于圖5中比較狹長不規(guī)則走勢的裂縫,以及圖6中因承重、作業(yè)操作失誤、安裝不規(guī)范等因素產(chǎn)生的斷裂式錯位式裂縫都有良好的識別效果，同時從圖5、圖6中也可看到小尺度的裂縫也能被正確識別出來，由此可以看出改進(jìn)的YOLO V3針對塔式起重機(jī)的裂縫能有效識別定位。

圖5 改進(jìn)的YOLO V3 識別效果(一)

圖6 改進(jìn)的YOLO V3 識別效果圖(二)

3.3.2改進(jìn)的YOLO V3效果對比

多尺度融合改進(jìn)效果測試，原來的 YOLO V3 使用 3 個不同尺度的特征圖來預(yù)測待檢測目標(biāo)，將網(wǎng)絡(luò)輸出的后兩個特征圖上采樣，與網(wǎng)絡(luò)前期相應(yīng)尺寸的特征圖融合成有效信息進(jìn)行預(yù)測。如表3所示，本文數(shù)據(jù)集以小尺度目標(biāo)為主，在保持對小尺度目標(biāo)檢測精度良好下可以優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)來滿足實(shí)際更快檢測的需求，將多尺度融合改在26×26 和 52×52的尺度上做預(yù)測后，試驗(yàn)測試結(jié)果表明，檢測速度提高10.53%。

表3 檢測速度對比

損失函數(shù)改進(jìn)效果測試，本文根據(jù)需求改進(jìn)損失函數(shù)中的坐標(biāo)誤差部分，調(diào)整檢測大目標(biāo)和小目標(biāo)的損失影響權(quán)重，使得小目標(biāo)的識別效果更好，試驗(yàn)結(jié)果如表4所示，改進(jìn)后的YOLO V3檢測方法整體對塔式起重機(jī)的裂縫識別平均檢測精度優(yōu)于原YOLO V3檢測方法。

表4 性能對比

小尺度目標(biāo)檢測測試，經(jīng)過K-means聚類和損失函數(shù)的改進(jìn)，使得改進(jìn)后的YOLO V3相比原檢測方法對小尺度目標(biāo)更加敏感，檢測效果有所提升。為測試對小尺度目標(biāo)的識別效果，在測試集中選取只包含小尺度目標(biāo)的圖片為子測試集進(jìn)行測試試驗(yàn)，結(jié)果表明改進(jìn)后的YOLO V3針對小尺度目標(biāo)提高了3.87%的檢測精度。如圖7小裂縫識別效果圖和圖8中Improved YOLO V3圖可以明顯看出，改進(jìn)后的YOLO V3算法對于塔式起重機(jī)局部出現(xiàn)的小裂縫識別效果良好，在干擾條件下未出現(xiàn)漏檢或誤檢現(xiàn)象。

圖7 改進(jìn)的YOLO V3對小裂縫識別效果圖

圖8 改進(jìn)的YOLO V3與原YOLO V3識別效果對比

如圖8所示，改進(jìn)的YOLO V3與原始YOLO V3識別效果對比，改進(jìn)前算法將塔式起重機(jī)的部件連接部分誤識別為裂縫，而改進(jìn)后的YOLO V3準(zhǔn)確地識別出裂縫所在位置和走勢，在對復(fù)雜環(huán)境的小目標(biāo)檢測中，改進(jìn)的YOLO V3優(yōu)于原始YOLO V3，識別效果良好，相比之下改進(jìn)的YOLO V3更符合需求。

3.3.3不同檢測方法對比試驗(yàn)

本文采用改進(jìn)的YOLO V3進(jìn)行塔式起重機(jī)裂縫檢測，為了對比改進(jìn)的YOLO V3與其他檢測識別方法的檢測識別效果，除上文與原YOLO V3檢測方法對比外，同時分別與SSD，F(xiàn)aster RCNN等方法進(jìn)行對比，試驗(yàn)結(jié)果如表5所示。

表5 各方法實(shí)驗(yàn)結(jié)果對比

由表5可以看出Faster RCNN的檢測精度最高，但速度遠(yuǎn)不及其他檢測方法，不滿足實(shí)時檢測的任務(wù)需求，不適用于本文提出的塔式起重機(jī)裂縫檢測需求。而SSD算法和原YOLO V3兩種算法在精度和檢測速度上都不如改進(jìn)的YOLO V3算法。改進(jìn)的YOLO V3采用K-means維度聚類提高了檢測精度，損失函數(shù)的改進(jìn)加強(qiáng)了對小目標(biāo)的檢測效果，多尺度融合輕量化網(wǎng)絡(luò)結(jié)構(gòu)提高了檢測速度，相對于其他檢測方法在兩個指標(biāo)中都有良好表現(xiàn)，由此可見本文改進(jìn)的YOLO V3的性能能夠較好地完成對塔式起重機(jī)的裂縫檢測識別任務(wù)。

4 總結(jié)與展望

本文針對解決塔式起重機(jī)的安全問題提出基于改進(jìn)YOLO V3的塔式起重機(jī)裂縫檢測方法，并針對實(shí)際需求和應(yīng)用場景對方法做出改進(jìn)，通過K-means 算法對數(shù)據(jù)集的目標(biāo)框大小進(jìn)行聚類，有利于提高精度；改進(jìn)了損失函數(shù)提高對小目標(biāo)的識別效果；通過多尺度融合改進(jìn)提升檢測效果等，使得在保持良好檢測準(zhǔn)確率的同時擁有更好的檢測速度，基本滿足塔式起重機(jī)裂縫檢測的準(zhǔn)確性和實(shí)時性的需求，對預(yù)防塔式起重機(jī)事故的發(fā)生起到重要作用。在之后的工作中，將針對網(wǎng)絡(luò)進(jìn)一步優(yōu)化來提高檢測精度，增強(qiáng)在各種干擾下的檢測效果，擴(kuò)展數(shù)據(jù)集提高訓(xùn)練質(zhì)量。