基于改進YOLO V3的塔式起重機裂縫檢測研究

陳國棟 王翠瑜 張神德 鄧志勇 王同珍 吳志鴻 黃明煒 林進潯

摘 要：在施工過程中塔式起重機的事故發(fā)生得越來越頻繁，為了在安全檢測中及時發(fā)現(xiàn)塔式起重機因各種因素產(chǎn)生的裂縫從而降低事故的發(fā)生率，提出一種基于改進YOLO V3的塔式起重機裂縫檢測方法。針對塔式起重機裂縫檢測的特點對YOLO V3算法進行改進，利用K-means聚類方法對目標框聚類;根據(jù)識別目標對象特點改進原YOLO V3的損失函數(shù);以YOLO V3的網(wǎng)絡結(jié)構(gòu)為基礎(chǔ)，輕量化網(wǎng)絡結(jié)構(gòu)，將3個檢測尺度改為2個檢測尺度。測試實驗結(jié)果表明，在對塔式起重機裂縫檢測的任務中，均值平均精度高達85.63%，檢測速度提高了10.53%，達到42 f/s，滿足塔式起重機裂縫檢測實時性和準確性的需求，能夠進行有效安全檢測。

關(guān)鍵詞：裂縫檢測;塔式起重機;YOLO V3;安全檢測;K-means

中圖分類號：TP391.4

文獻標志碼：A

根據(jù)國內(nèi)塔吊安全事故的統(tǒng)計研究，2007—2016年間國內(nèi)發(fā)生152起塔式起重機安全{1]事故，2013—2019年間發(fā)生了194起，其中2017—2019年間占了111起，這194起事故導致294死、109傷，造成35 572.18萬元的經(jīng)濟損失[2]。因此，由于塔式起重機結(jié)構(gòu)的特殊性，對其定期的檢測與監(jiān)督，及時發(fā)現(xiàn)裂縫消除隱患是保障安全施工的重要環(huán)節(jié)，但現(xiàn)有的檢查手段主要以人工攀爬巡查為主，成本高，費時費力，同時也要考慮檢查人員的安全，且裂縫若出現(xiàn)在塔節(jié)點交界處等不易被察覺，無法有效排除隱患。

隨著深度學習各種目標檢測算法越來越成熟[3]，通過深度學習解決缺陷檢測問題的效果越來越好，應用領(lǐng)域也越來越廣。單階段目標檢測（you only look once，YOLO）系列[4]方法基于回歸的端到端的單階段檢測不依賴候選區(qū)的模型，可以非常迅速得識別定位圖像中目標位置，相對于區(qū)域卷積神經(jīng)網(wǎng)絡（region-convolution neura network，R-CNN）[5]系列更符合實時快速檢測的需求，但該類方法針對小目標的識別精度不高。隨著發(fā)展和優(yōu)化，YOLO系列的YOLO V3[6]定位精度有了很大的改善。

針對上文提出的塔吊裂縫安全檢查問題，本文提出一種基于改進YOLO V3的塔式起重機裂縫檢測方法，且根據(jù)實際塔吊應用場景提出相應的改進使得滿足于工地干擾強，塔吊高大，需無人機搭載識別等特點，提高其識別速度和對小目標的敏感性。從而做出更好的預測來幫助完成施工安全的監(jiān)督檢測作業(yè)。

1 YOLO V3

YOLO V3相對YOLO V1和YOLO V2[7]在識別速度與精度有了明顯改善，同時優(yōu)化了很多缺陷。在YOLO V3中以Darknet-53[8]為骨干網(wǎng)絡，相比于YOLO V2的Darknet-19擁有更深的網(wǎng)絡層數(shù)，如圖1所示，該特征提取網(wǎng)絡由52個卷積層和一個全連接層組成，并且交替使用1×1和3×3的濾波器進行卷積。在加深網(wǎng)絡的同時YOLO V3還增加了多尺度融合的特征預測目標機制[9]，該方法在最后獲得的最小特征圖上采取兩次上采樣，得到的特征圖為三個尺度，并融合基礎(chǔ)網(wǎng)絡中同尺寸的淺層信息特征，分別進行三次目標框預測，然后通過非極大值抑制獲得最后結(jié)果。這種方法使得YOLO V3具有更好的魯棒性[10]。

2 算法改進

2.1 k-means維度聚類算法

YOLO V3通過聚類算法[11]得到9個先驗框，而在加速Faster RCNN[12]和單階段多框目標檢測（single shot multibox detector，SSD）[13]中需要手工設(shè)置先驗框，客觀性不夠強，當先驗框的維度合適，可以讓神經(jīng)網(wǎng)絡更容易學習，更好地做出判斷。本文對目標框采用聚類的方法來確定先驗框參數(shù)。

K-means是一種常用的聚類算法，是一種使用廣泛的最基礎(chǔ)的聚類算法，K表示設(shè)置的聚類數(shù)目K-means成本函數(shù)公式如下：

J=∑kk=1∑i∈Ckxi-uk2（1）

其中，xi為第i個樣本，uk是第k個類的重心位置。在塔式起重機裂縫檢測中，改進前預設(shè)的9組先驗框維度分別為（10，13），（16，30），（33，23），（30，61），（62，45），（59，119），（116，90），（156，198），（373，326），本文在塔式起重機裂縫檢測中對數(shù)據(jù)集進行聚類分析，使得先驗框維度更適用于工地復雜環(huán)境下的裂縫識別場景聚類過程中簇的中心個數(shù)K和平均交并比的關(guān)系如圖2所示：

由圖中可以看出，K=6時平均交并比的數(shù)值高且曲線收斂，新聚類出的先驗框參數(shù)為（42，23），（56，32），（68，45），（73，59），（90，72）和（126，107）。

原始的YOLO V3的損失函數(shù)對邊界框的寬度沒有足夠重視，檢測對象偏小時易忽視而檢測對象為大目標時對損失會產(chǎn)生較大影響，如此易導致在對小目標檢測時效果不好，為了幫助小目標更好的被邊界框不足，提高小邊界框的魯棒性，將原YOLO V3坐標誤差部分，參考真實目標邊框?qū)捀咦鴺苏`差乘以一個加權(quán)，加強對待檢測的小目標的損失的重視，降低大目標的誤差對小目標的誤差的影響，使得更好地檢測小目標。改進后的損失函數(shù)如下：

l=λcoord∑K×Ki=0∑Mj=0Iobjij[（xi-i）2+（yi-i）]+

λcoord∑K×Ki=0∑Mj=0Iobjij（2-wi×hi）[（wi-i）2+（hi-i）2]-∑K×Ki=0∑Mj=0Iobjij[C^ilog（Ci）+（1-C^i）log（1-Ci）]-λnoobj∑K×Ki=0∑Mj=0Inoobjij[C^ilog（Ci）+（1-C^i）log（1-Ci）]-∑K×Ki=0Iobjij∑Mc∈classes[i（c）log（pi（c））+（1-i（c））log（1-pi（c））] （6）

2.3 多尺度融合改進

在塔式起重機裂縫檢測特征提取過程中，根據(jù)施工現(xiàn)場干擾較多，包括線纜、器材連接處、不規(guī)則銹跡、雜物等使得誤檢率高，區(qū)別于其他表面缺陷檢測，塔式起重機裂縫檢測在圖像中更多都以小目標為主，在保持對小尺度目標檢測精度良好下可以輕量化網(wǎng)絡結(jié)構(gòu)來提高檢測速度，更符合實際識別檢測需求，根據(jù)上述特點可將原來3個尺度規(guī)格13×13、26×26 和 52×52改成在26×26 和 52×52的2個尺度上做預測實現(xiàn)網(wǎng)絡結(jié)構(gòu)的輕量化。每種尺度有三種錨框，以降低誤檢的情況。如圖3所示，將高層特征圖的通道數(shù)通過1×1的卷積核改變，然后采用2倍上采樣，將其與低層特征結(jié)合，3×3的卷積核可以消除混疊效應。改進后的多尺度融合提升小目標的檢測效果，降低誤檢率，減少了改進的YOLO V3需要預測的邊界框數(shù)，降低了網(wǎng)絡的復雜性，更加符合施工作業(yè)現(xiàn)場的安全識別檢測需求。

3 試驗結(jié)果與分析

3.1 數(shù)據(jù)集

數(shù)據(jù)集的數(shù)量對試驗結(jié)果有很大影響，數(shù)據(jù)集不足會引起過擬合的現(xiàn)象，為此，需要一個足夠大的數(shù)據(jù)集。本文數(shù)據(jù)集共計7 506張各類塔式起重機及其附屬設(shè)備的裂縫圖片。如圖4所示，為提高檢測效果，我們通過隨機旋轉(zhuǎn)、鏡像翻轉(zhuǎn)、局部變形等多種方式對現(xiàn)有的數(shù)據(jù)集進行數(shù)據(jù)擴展。

3.2 網(wǎng)絡訓練

本文訓練時參數(shù)設(shè)置如表2所示，在訓練過程中通過比較損失大小，保存損失最小的模型參數(shù)。

3.3 試驗結(jié)果與分析

為評價本方法對塔式起重機進行定位的性能及改進后的效果，分別對兩個網(wǎng)絡進行測試，采用召回率和準確率評價，其具體計算公式分別為：

P=TPTP+FP（7）

R=TPTP+FN（8）

A=∫10p（r）dr（9）

其中，T為正檢數(shù)，F(xiàn)P為誤檢數(shù)，F(xiàn)N為未檢測個數(shù)，A（average precision）為平均精度，m（mean average precision）為均值平均精度，是各類別A的平均值。

3.3.1 改進的YOLO V3識別效果

為了測試改進的YOLO V3的識別效果，使用測試集分別針對原YOLO V3和改進的YOLO V3進行測試。改進的YOLO V3的識別效果如圖5和圖6所示，試驗結(jié)果表明其均值平均精度可達到85.63%。對于圖5中比較狹長不規(guī)則走勢的裂縫，以及圖6中因承重、作業(yè)操作失誤、安裝不規(guī)范等因素產(chǎn)生的斷裂式錯位式裂縫都有良好的識別效果，同時從圖5、圖6中也可看到小尺度的裂縫也能被正確識別出來，由此可以看出改進的YOLO V3針對塔式起重機的裂縫能有效識別定位。

3.3.2 改進的YOLO V3效果對比

多尺度融合改進效果測試，原來的 YOLO V3 使用 3 個不同尺度的特征圖來預測待檢測目標，將網(wǎng)絡輸出的后兩個特征圖上采樣，與網(wǎng)絡前期相應尺寸的特征圖融合成有效信息進行預測。如表3所示，本文數(shù)據(jù)集以小尺度目標為主，在保持對小尺度目標檢測精度良好下可以優(yōu)化網(wǎng)絡結(jié)構(gòu)來滿足實際更快檢測的需求，將多尺度融合改在26×26 和 52×52的尺度上做預測后，試驗測試結(jié)果表明，檢測速度提高10.53%。

損失函數(shù)改進效果測試，本文根據(jù)需求改進損失函數(shù)中的坐標誤差部分，調(diào)整檢測大目標和小目標的損失影響權(quán)重，使得小目標的識別效果更好，試驗結(jié)果如表4所示，改進后的YOLO V3檢測方法整體對塔式起重機的裂縫識別平均檢測精度優(yōu)于原YOLO V3檢測方法。

小尺度目標檢測測試，經(jīng)過K-means聚類和損失函數(shù)的改進，使得改進后的YOLO V3相比原檢測方法對小尺度目標更加敏感，檢測效果有所提升。為測試對小尺度目標的識別效果，在測試集中選取只包含小尺度目標的圖片為子測試集進行測試試驗，結(jié)果表明改進后的YOLO V3針對小尺度目標提高了3.87%的檢測精度。如圖7小裂縫識別效果圖和圖8中Improved YOLO V3圖可以明顯看出，改進后的YOLO V3算法對于塔式起重機局部出現(xiàn)的小裂縫識別效果良好，在干擾條件下未出現(xiàn)漏檢或誤檢現(xiàn)象。

如圖8所示，改進的YOLO V3與原始YOLO V3識別效果對比，改進前算法將塔式起重機的部件連接部分誤識別為裂縫，而改進后的YOLO V3準確地識別出裂縫所在位置和走勢，在對復雜環(huán)境的小目標檢測中，改進的YOLO V3優(yōu)于原始YOLO V3，識別效果良好，相比之下改進的YOLO V3更符合需求。

3.3.3 不同檢測方法對比試驗

本文采用改進的YOLO V3進行塔式起重機裂縫檢測，為了對比改進的YOLO V3與其他檢測識別方法的檢測識別效果，除上文與原YOLO V3檢測方法對比外，同時分別與SSD，F(xiàn)aster RCNN等方法進行對比，試驗結(jié)果如表5所示。

由表5可以看出Faster RCNN的檢測精度最高，但速度遠不及其他檢測方法，不滿足實時檢測的任務需求，不適用于本文提出的塔式起重機裂縫檢測需求。而SSD算法和原YOLO V3兩種算法在精度和檢測速度上都不如改進的YOLO V3算法。改進的YOLO V3采用K-means維度聚類提高了檢測精度，損失函數(shù)的改進加強了對小目標的檢測效果，多尺度融合輕量化網(wǎng)絡結(jié)構(gòu)提高了檢測速度，相對于其他檢測方法在兩個指標中都有良好表現(xiàn)，由此可見本文改進的YOLO V3的性能能夠較好地完成對塔式起重機的裂縫檢測識別任務。

4 總結(jié)與展望

本文針對解決塔式起重機的安全問題提出基于改進YOLO V3的塔式起重機裂縫檢測方法，并針對實際需求和應用場景對方法做出改進，通過K-means 算法對數(shù)據(jù)集的目標框大小進行聚類，有利于提高精度;改進了損失函數(shù)提高對小目標的識別效果;通過多尺度融合改進提升檢測效果等，使得在保持良好檢測準確率的同時擁有更好的檢測速度，基本滿足塔式起重機裂縫檢測的準確性和實時性的需求，對預防塔式起重機事故的發(fā)生起到重要作用。在之后的工作中，將針對網(wǎng)絡進一步優(yōu)化來提高檢測精度，增強在各種干擾下的檢測效果，擴展數(shù)據(jù)集提高訓練質(zhì)量。

參考文獻：

[1] 陳寶春， 陳建國， 黃素萍. 2007—2016年我國在役塔吊安全事故統(tǒng)計分析[J]. 浙江建筑， 2018， 35（2）： 32-36.

[2] 張偉， 張瀟， 薛楠楠， 等. 塔吊安全事故致因網(wǎng)絡模型構(gòu)建與分析[J]. 中國安全科學學報， 2020， 30（12）： 1-7.

[3] YANN L C， YOSHUA B G， GEOFFREY H. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[4] TUMAS P， SERACKIS A. Automated image annotation based on YOLO V3[C]//2018 IEEE 6th Workshop on Advances in Information，Electronic and Electrical Engineering （AIEEE）. New York， USA： IEEE， 2018： 1-3.

[5] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[J]. Computer Science， 2013， 11： 580-587.

[6] QU H Q， YUAN T Y， SHENG Z Y， et al. A pedestrian detection method based on YOLO V3 model and image enhanced by retinex[C]//2018 11th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics（CISP-BMEI）. New York， USA： IEEE， 2018： 1-5.

[7] REDMON J， FARHADI A. YOLO9000： Better， Faster， Stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. New York， USA： IEEE， 2017： 6517-6525.

[8] REDMON J， FARHADI A. YOLO V3： an incremental improvement[J]. IEEE Conference on Computer Vision and Pattern Recognition， 2018： 89-95.

[9] LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. New York， USA： IEEE， 2017： 936-944.

[10]張晴， 李云， 李文舉， 等. 融合深度特征和多核增強學習的顯著目標檢測[J]. 中國圖像圖形學報， 2019， 24（7）： 1096-1105.

[11]張素潔， 趙懷慈. 最優(yōu)聚類個數(shù)和初始聚類中心點選取算法研究[J]. 計算機應用研究， 2017， 34（6）： 1617-1620.

[12]GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision （ICCV）. New York， USA： IEEE， 2015.

[13]LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot multiBox detector[C]//2016 European Conference on Computer Vision（ECCV）. Cham， Switzerland： Springer， 2016： 21-37.

[14]鄭秋梅， 王璐璐， 王風華. 基于改進卷積神經(jīng)網(wǎng)絡的交通場景小目標檢測[J]. 計算機工程， 2020， 46（6）： 26-33.

（責任編輯：于慧梅）

Research on Crack Detection of Tower Crane

Based on Improved YOLO V3

CHEN Guodong1， WANG Cuiyu*1， ZHANG Shende1， DENG Zhiyong2，

WANG Tongzhen1， WU Zhihong2， HUANG Mingwei3， LIN Jinxun3

（1.School of Physics and Information Engineering， Fuzhou University， Fuzhou 350108， China;2.China Construction Strait Construction Development Co.， Ltd.， Fuzhou 350015， China;3. Fujian Shuboxun Information Technology Co.， Ltd.， Fuzhou 350002， China）

Abstract：

In the construction process， tower crane accidents happen more and more frequently. In order to detect the cracks caused by various factors in the tower crane in time and reduce the incidence of accidents， a tower crane crack detection method based on improved YOLO V3 was proposed. According to the characteristics of tower crane crack detection， the YOLO V3 algorithm was improved. Firstly the K-means clustering method was used to cluster the target frame. Then the loss function of the original YOLO V3 was improved according to the characteristics of identifying the target object. Finally lightweight network structure based on the network structure of YOLO V3 was adopted， changing three detection scales to two detection scales. The results show that in the task of crack detection of tower cranes， mean average precision is as high as 85.63%， and the detection speed is increased by 10.53% to 42 f/s， which meets the real-time and accuracy requirements of tower crane crack detection and can perform effective safety testing.

Key words：

crack detection; tower crane; YOLO V3; safety inspection; K-means

收稿日期：2020-10-22

基金項目：國家自然科學基金資助項目（61471124）;福建省自然科學基金重點資助項目（2018H0018）;福建省自然科學基金資助項目（2016J01293）;福建省自然科學基金資助項目（2017J01107）

作者簡介：陳國棟（1979—），男，副研究員，博士后，研究方向：計算機圖形圖像處理、計算機仿真技術(shù)、深度學習，E-mail：cgd@fzu.edu.cn.

通訊作者：王翠瑜，E-mail：1096404586@qq.com.