基于改進(jìn)Yo lov4的風(fēng)電機(jī)組葉片缺陷檢測(cè)算法

李亦倫 成和祥 董 禮 蘇寶定 劉方濤

（1.中國(guó)廣核新能源控股有限公司；2.北京星閃世圖科技有限公司）

0 引言

當(dāng)前多數(shù)風(fēng)機(jī)葉片缺陷檢測(cè)分兩種情況。一是使用物體材料反射率差異巡查，即有缺陷和無缺陷物體反射頻率[1]不同，通道檢測(cè)可以發(fā)現(xiàn)缺陷；二是使用計(jì)算機(jī)視覺技術(shù)和深度學(xué)習(xí)[2]方法選出有缺陷的圖片，然后根據(jù)拍攝的信息具體定位到缺陷所在的風(fēng)機(jī)葉片上的準(zhǔn)確位置，最后派遣人員檢修或更換。

玻璃鋼復(fù)合材料是一種高性能的纖維增強(qiáng)復(fù)合材料，具有質(zhì)量輕、硬度高和耐腐蝕等優(yōu)點(diǎn)，適用于惡劣氣候等實(shí)際工況的要求，一直是大中型風(fēng)機(jī)葉片的常用材料。

但是，由于風(fēng)機(jī)內(nèi)部結(jié)構(gòu)復(fù)雜，制造過程復(fù)雜，受風(fēng)蝕、雨蝕等環(huán)境因素的影響，如檢測(cè)和處理不當(dāng)，葉片可能斷裂，造成嚴(yán)重后果。目前，風(fēng)機(jī)葉片檢測(cè)的方法主要有目視法、超聲波檢測(cè)、傳統(tǒng)視覺算法、聲發(fā)射檢測(cè)、紅外熱成像和圖像檢測(cè)技術(shù)等［3-4］。超聲波檢測(cè)能對(duì)缺陷進(jìn)行定位和定量描述，但易受主觀因素影響，需要有經(jīng)驗(yàn)的人員進(jìn)行測(cè)試;聲發(fā)射檢測(cè)可以識(shí)別葉片微小缺陷，覆蓋面廣，但是需要對(duì)設(shè)備施加外力才能進(jìn)行，無法反映檢測(cè)缺陷目標(biāo)的準(zhǔn)確情況。紅外熱成像技術(shù)是一種無損檢測(cè)方法，具有非接觸、高效、操作簡(jiǎn)單等優(yōu)點(diǎn)，但設(shè)備成本高[5]。

基于深度學(xué)習(xí)計(jì)算機(jī)視覺的目標(biāo)檢測(cè)算法主要分為兩類：一類是基于區(qū)域先驗(yàn)框的二階段算法，如Faster R-CNN[6];另一類是基于回歸的單階段算法，如SSD[7]、YOLO[8]等。將目標(biāo)檢測(cè)算法引入輸電線路器件缺陷檢測(cè)的工作有很多，侯春萍[9]等采用分類網(wǎng)絡(luò)和Faster R-CNN級(jí)聯(lián)的方法識(shí)別絕緣子自爆，白潔音[10]等通過改進(jìn)Faster R-CNN算法檢測(cè)絕緣子、防震錘和鳥巢等六種器件和缺陷目標(biāo)。史晉濤[11]等通過擴(kuò)充樣本，實(shí)現(xiàn)電網(wǎng)異物監(jiān)測(cè)。使用計(jì)算機(jī)視覺技術(shù)和深度學(xué)習(xí)方法，把采集的圖片直接送給檢測(cè)網(wǎng)絡(luò)，輸出圖片中缺陷的位置和類別，這種方法存在以下幾點(diǎn)不足：1、由于缺陷在整幅圖像中相對(duì)較小（相對(duì)葉片來說缺陷并不?。?，現(xiàn)有網(wǎng)絡(luò)對(duì)密集目標(biāo)檢測(cè)不好，因此這種方法存在較多漏檢，存在錯(cuò)過一些重大隱患警告的可能；2、存在把非葉片區(qū)域的目標(biāo)檢測(cè)為缺陷的虛假檢測(cè)，要消除這種虛假檢測(cè)既增加了人力工作量，同時(shí)又使缺陷分級(jí)不精確。綜上所述，現(xiàn)有技術(shù)較大地影響風(fēng)機(jī)葉片巡檢任務(wù)的精度和進(jìn)度，檢出效率低，誤解率高，增加了巡檢任務(wù)人力成本和安全風(fēng)險(xiǎn)。本文對(duì)數(shù)據(jù)做一些增強(qiáng)處理，并且在訓(xùn)練上做了一些改進(jìn)，緩減上述不足所帶來的問題。

1 改進(jìn)Yolov4基本原理

Yolov4[12]是一個(gè)簡(jiǎn)單且高效的目標(biāo)檢測(cè)算法，該算法可通過普通的GPU（1080Ti或者2080Ti）來訓(xùn)練。由于使用原始固定的Yolov4框架算法來訓(xùn)練驗(yàn)證葉片的缺陷檢測(cè)，其訓(xùn)練速度慢、模型訓(xùn)練5＜loss＜8,召回率和精度低[13]。為了改善以上問題，利用Yolov4提供的目標(biāo)檢測(cè)網(wǎng)絡(luò)思想，本文提出一種改進(jìn)Yolov4用于葉片缺陷檢測(cè)的網(wǎng)絡(luò)結(jié)構(gòu)。主要改變backbone（主干網(wǎng)絡(luò)）網(wǎng)絡(luò)結(jié)構(gòu)和neck（頸干網(wǎng)絡(luò)）的池化方法，同時(shí)采用一些數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)。

目標(biāo)檢測(cè)Yolov4屬于one-stage Detector如圖1，其中輸入圖片經(jīng)過backbone特征提取，再經(jīng)過neck特征融合，最后Dense Prediction回歸預(yù)測(cè)。

圖1 改進(jìn)整體網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Improve the overallnet work structure

本文改進(jìn)backbone中的ResNet殘差網(wǎng)絡(luò)和CSPDark Net網(wǎng)絡(luò)[14]，對(duì)比二者在葉片檢測(cè)的準(zhǔn)確率和召回率，再插入改進(jìn)的特征金字塔(Spatial Pyramid Pooling neck）網(wǎng)絡(luò)，與Yolov4的Receptive Field Block（RFB）[15]做對(duì)比實(shí)驗(yàn)。

1.1 改進(jìn)的ResNet網(wǎng)絡(luò)結(jié)構(gòu)

ResNet網(wǎng)絡(luò)[16]在深度上一直加深如圖2（b），隨著超參數(shù)增加，網(wǎng)絡(luò)訓(xùn)練開銷加大，但是模型準(zhǔn)確率不再增加，為了解決當(dāng)下葉片模型識(shí)別準(zhǔn)確率，本文改進(jìn)增加網(wǎng)絡(luò)寬度減少參數(shù)的同時(shí)增加模型準(zhǔn)確率和收斂速度。ResNet采用32個(gè)group縱向相加，中間有128個(gè)filter，如圖2（a）改進(jìn)的ResNet拆分128個(gè)filter為橫向4通道3×3獨(dú)立卷積，然后再輸入4通道的1×1卷積，最后再拼接為128維經(jīng)過1×1卷積，相加合并和殘差再相加，這樣的結(jié)構(gòu)比較簡(jiǎn)潔而且速度更快。

而拼接的網(wǎng)絡(luò)比相加的網(wǎng)絡(luò)更能很好的保留獨(dú)立卷積的特征參數(shù)，再加上殘差的短接融合高層特征來增加識(shí)別率。

整個(gè)backbone由如圖2（a）的殘差塊組成，如式（1）中c是殘差塊的個(gè)數(shù)，τi(x)是一系列卷積操作，τi是由連續(xù)卷積（1×1，3×3，1×1）組成，一共有32組；加入殘差短接后變?yōu)楣?。

圖2 殘差單元的改進(jìn)和基本殘差單元Fig.2 The improvement of the residual unit and the basic residualunit

1.2 改進(jìn)SPP特征融合

由于SPP[17]對(duì)目標(biāo)葉片在圖像中不一定居中的情況下，采樣效果不佳導(dǎo)致圖像特征受影響，葉片特征單一在圖片占比較大，為了更好的得到葉片特征，需要增大感受野，所有要改進(jìn)SPP網(wǎng)絡(luò)，受到語義分割空洞卷積的啟發(fā)，如圖3紅色SPP改為三個(gè)3×3的采樣率為rates={6,12,18}的空洞卷積，濾波器數(shù)量為256，包含BN層，相鄰權(quán)重之間的間隔為rate-1，普通卷積rate為1，空洞卷積的實(shí)際大小為k+(k+1)(rate-1)，其中k為原始卷積核大小，會(huì)在卷積核元素之間塞入空格。

圖3 改進(jìn)SPP結(jié)構(gòu)圖Fig.3 Structure diagram of improved SPP

對(duì)于輸入輸出圖像高寬H和W見式（3）,（4），Hout，Hin分別表示輸出和輸入特征圖的高，Wout，Win分別表示輸出和輸入特征圖的寬。

1.3 風(fēng)機(jī)葉片數(shù)據(jù)增強(qiáng)

1.3.1 缺陷類型

由于大多數(shù)風(fēng)力發(fā)電廠都建在沙漠和沿海腹地，葉片的工作條件差，缺陷種類繁多，本文將其缺陷分為四類。

1）砂眼

涂層有損傷，類似麻點(diǎn)，見圖4在葉片連續(xù)的一片區(qū)域有比較密集離散的小孔。

圖4 砂眼（黃色輪廓線）Fig.4 Sandhole(yellow outline)

2）剝落

涂層脫落、涂層起皮，發(fā)生部位比較淺，表面裸露也有腐蝕、銹蝕情況，見圖5。

圖5 剝落（紅色輪廓線）Fig.5 Spalling(red outline)

3）細(xì)長(zhǎng)裂紋

狹長(zhǎng)劃痕，目視發(fā)生在表面，損傷不深。裂紋是狹長(zhǎng)，寬度較窄，長(zhǎng)度較短，發(fā)生部位在葉片表面，包括橫縱向裂紋，見圖6。

圖6 細(xì)長(zhǎng)裂紋（藍(lán)色輪廓線）Fig.6 Slender crack(blue outline)

4）開放式開裂

開裂比裂紋寬，目視發(fā)生部位較深，包括橫、縱向開裂，形狀不固定，見圖7。

圖7 開放式開裂（白色輪廓線）Fig.7 Open cracking(white outline)

1.3.2 離線葉片數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)為了使模型訓(xùn)練前人為增加一些先驗(yàn)知識(shí)。葉片缺陷在圖片中占比較小，訓(xùn)練好的模型需要增強(qiáng)圖片缺陷數(shù)據(jù)。如圖8所示，其中一個(gè)紅色區(qū)域所示缺陷在原始的1920×1080，圖片尺寸為120×80，其所在區(qū)域在整幅圖像面積比為，當(dāng)切分原始的1920×1080圖片為多個(gè)小區(qū)域后，上述所示缺陷在其中所示560×400圖中尺寸和面積不變，但所在區(qū)域在整幅圖像面積比為，則切分為小圖后相對(duì)面積變大了約10倍，對(duì)小目標(biāo)檢測(cè)是很顯著的。

圖8 區(qū)域裁剪Fig.8 Region clipping

把切分完的這些子區(qū)域分別送入檢測(cè)網(wǎng)絡(luò)進(jìn)行檢測(cè)。將每一個(gè)子區(qū)域檢測(cè)完畢后，需要把檢測(cè)坐標(biāo)還原到原始大圖中去，然后再去掉具有相同類別但有交疊的區(qū)域。

1.3.3 在線葉片數(shù)據(jù)增強(qiáng)

不限于圖像旋轉(zhuǎn)、圖像飽和度和色調(diào)等數(shù)據(jù)增強(qiáng)方法，本文還加入了用來解決目標(biāo)遮擋及目標(biāo)不足的問題，在圖像中隨機(jī)裁剪矩形區(qū)域，并用0來填充（CutOut[18]算法）隨機(jī)裁剪多個(gè)矩形區(qū)域（hide-andseek，gridmask），如圖9；mixup[19]葉片數(shù)據(jù)增強(qiáng)對(duì)樣本及其標(biāo)簽的凸組合如圖10，把不同4張缺陷樣本隨機(jī)組合在一張圖片上，目的是加入一些噪聲使檢測(cè)魯棒性增加。

圖9 CutOut葉片數(shù)據(jù)增強(qiáng)方法Fig.9 Data enhancement method of cutoutblade

圖10 mixup葉片數(shù)據(jù)增強(qiáng)方法Fig.10 Mixup blade data enhancement method

如圖9隨機(jī)將葉片圖像中黑色部分區(qū)域用0像素值填充，其中控制填充概率和填充像素大小，通過均勻分布采樣，并將矩形區(qū)域設(shè)置為與圖像的其它區(qū)域無關(guān)的純色值；遮擋一定的目標(biāo)缺陷，使訓(xùn)練出的模型魯棒性增強(qiáng)。

如圖10，mixup是將4張葉片圖片按比例進(jìn)行插值來混合樣本，將不同像素的葉片圖像進(jìn)行混合，從而來彌補(bǔ)數(shù)據(jù)樣本集單一的情況。

mixup原理公式為：

其中Beat是貝塔分布,mix_batchx是混合后的batch樣本公式6，mix_batchy是混合后的batch樣本對(duì)應(yīng)的標(biāo)簽公式7。由于權(quán)重λ在每個(gè)batch樣本都會(huì)隨機(jī)產(chǎn)生，在整個(gè)訓(xùn)練過程中會(huì)有N個(gè)batch，權(quán)重在N個(gè)batch中期望近似為0.5。

1.4 葉片缺陷檢測(cè)原理

算法改進(jìn)以后需搭建實(shí)例工程驗(yàn)證整體原理的可行性。圖11是葉片缺陷的流程圖，主要分3步驟:（1）數(shù)據(jù)處理，先數(shù)據(jù)篩選清洗出有葉片的樣本數(shù)據(jù)，再數(shù)據(jù)標(biāo)注，最后數(shù)據(jù)增強(qiáng)處理；2）環(huán)境工程搭建，開始訓(xùn)練數(shù)據(jù)，實(shí)時(shí)觀察損失收斂情況；3）模型后處理，把識(shí)別框和標(biāo)簽映射到原始圖片上，呈現(xiàn)可視化結(jié)果。

圖11 葉片缺陷檢測(cè)流程圖Fig.11 Flow chart of blade defect detection

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)準(zhǔn)備

本文實(shí)驗(yàn)使用的環(huán)境配置為：CPU型號(hào)：Inte i7，GPU型號(hào):NVIDIA GTX 2080Ti，共4塊。操作系統(tǒng)是Ubuntu18.04，配置CUDA 10.0,Cudnn 7.6.5，基于darknet深度學(xué)習(xí)框架，python 3.6實(shí)現(xiàn)網(wǎng)絡(luò)。

清洗好的葉片缺陷數(shù)據(jù)38500張使用labelImg[20]標(biāo)注矩形框，為了擴(kuò)充數(shù)據(jù)樣本多樣性，即混合使用隨機(jī)旋轉(zhuǎn)、翻轉(zhuǎn)、剪裁放大、噪聲、亮度變換、光照，顏色通道變換等操作，模擬了拍攝時(shí)光線、角度、距離、清晰度的不同，提高模型的魯棒性，并且開啟數(shù)據(jù)采用了2.3小節(jié)的CutOut算法和mixup算法數(shù)據(jù)增強(qiáng)，目的是加入一些先驗(yàn)知識(shí)提高準(zhǔn)確率，最后數(shù)據(jù)分配訓(xùn)練集和測(cè)試集的準(zhǔn)備如表1。

表1 數(shù)據(jù)集準(zhǔn)備Tab.1 Data set preparation

本文采用隨機(jī)梯度下降法（SGD）進(jìn)行訓(xùn)練，動(dòng)量設(shè)置為0.9，權(quán)重衰減系數(shù)設(shè)置為0.0005，batchsize設(shè)為4。最大迭代次數(shù)epoch為60000，初始學(xué)習(xí)率設(shè)置為0.005，學(xué)習(xí)率使用warmingup進(jìn)行初始化。

2.2 不同的backbone特征提取網(wǎng)絡(luò)比較

本文以改進(jìn)的ResNet網(wǎng)絡(luò)結(jié)合SPP作為baseline，并嘗試了對(duì)比ResNet-50、ResNeXt-50[21]、CSPDarkNet-50分別進(jìn)行實(shí)驗(yàn)。為確保公平性，輸入圖片的分辨率和學(xué)習(xí)率均一致，不使用數(shù)據(jù)增強(qiáng)，采用了遷移學(xué)習(xí)的方法，使用了主干網(wǎng)絡(luò)在相同數(shù)據(jù)集上面的預(yù)訓(xùn)練模型，最終的測(cè)試結(jié)果見表2。

表2 不同backbone網(wǎng)絡(luò)模型準(zhǔn)確率比較Tab.2 Comparison of accuracy of different backbone net work models

表格中P為準(zhǔn)確率（Precision，P），AP是平均準(zhǔn)確率（Average Precsion，AP），R為召回率[22]（Recall，R），Params是模型參數(shù)。從表中可以看出ResNet的效果最差，AP為0.530。而CSPDark Net的AP最高0.687，但是召回率ResNeXt和改進(jìn)的ResNet最高。考慮到backbone平均精度CSPDark Net和改進(jìn)ResNet相差不大，且改進(jìn)ResNet參數(shù)更小，所有取較輕量的改進(jìn)ResNet做backbon。

2.3 不同的特征融合方式比較

本文進(jìn)一步比較CSPDark Net與改進(jìn)ResNet；同時(shí)不同的特征融合網(wǎng)絡(luò)SPP、RFB與改進(jìn)SPP做對(duì)比實(shí)驗(yàn)。表3的實(shí)驗(yàn)結(jié)果表明，通用Yolov4網(wǎng)絡(luò)CSPDark Net-50+RFB的準(zhǔn)確率最高，但平均準(zhǔn)確率AP不理想，葉片缺陷種類多平均準(zhǔn)確率越高越優(yōu)。改進(jìn)ResNet-50+RFB的召回率最高，但平均準(zhǔn)確率AP低于0.6不予考慮。最終采用改進(jìn)ResNet-50+改進(jìn)SPP的融合方法，在葉片樣本驗(yàn)證集中達(dá)最高平均準(zhǔn)確率0.787。

表3 不同特征融合方式比較Tab.3 Comparison o f different feature fusionmethods

2.4 數(shù)據(jù)增強(qiáng)對(duì)精度和推理時(shí)間的影響

本文采用業(yè)界最優(yōu)主干網(wǎng)絡(luò)CSP Dark Net-50+RFB和改進(jìn)的ResNet-50+改進(jìn)SPP在葉片缺陷數(shù)據(jù)集上驗(yàn)證檢測(cè)效果，如表4經(jīng)過本文的數(shù)據(jù)集增強(qiáng)的網(wǎng)絡(luò)平均準(zhǔn)確率都有所提高，但是CSPDark Net-50+RFB網(wǎng)絡(luò)GPU內(nèi)存占用1721M較高，所有本實(shí)驗(yàn)要用ResNet-50+改進(jìn)SPP做主干網(wǎng)絡(luò)其AP為0.787，內(nèi)存占用較少為1467M，其FPS每秒也達(dá)27幀滿足要求。

表4 不同模型對(duì)數(shù)據(jù)增強(qiáng)后準(zhǔn)確率比較Tab.4 Comparison of accuracy of different models after data enhancement

2.5 不同算法的結(jié)果比較

最后改進(jìn)算法輸入葉片缺陷數(shù)據(jù)集開始訓(xùn)練，圖12是訓(xùn)練loss一直在2上下浮動(dòng)，平均準(zhǔn)確率AP也在0.887左右不再增加，所有在epoch為50000時(shí)停止訓(xùn)練，保存最優(yōu)模型測(cè)試集測(cè)試。同時(shí)驗(yàn)證改進(jìn)算法在葉片缺陷測(cè)試集中與Yolov3[23]和Yolov4比較如表5，Yolov3準(zhǔn)確率最差，Yolov4準(zhǔn)確率P是0.781最高，但召回率R和平均準(zhǔn)確率AP本文改進(jìn)的算法較高為R=0.823和AP=0.877。對(duì)應(yīng)缺陷問題召回率比較看重，召回率高可能有誤判，但人眼可以區(qū)分，避免有漏檢的可能造成安全隱患。

圖12 loss下降曲線Fig.12 Loss decline curve

表5 不同主干網(wǎng)絡(luò)結(jié)果比較Tab.5 Comparison of results of differentbackbone networks

2.6 葉片目標(biāo)缺陷識(shí)別結(jié)果分析

為了進(jìn)一步檢測(cè)改進(jìn)網(wǎng)絡(luò)的有效性，我們把每個(gè)缺陷的平均準(zhǔn)確率AP和召回率Recll打印出來比較如表6，數(shù)據(jù)集測(cè)試了建模時(shí)的4種缺陷砂眼（sandhole）、剝落（spalling）、細(xì)長(zhǎng)裂紋（slender crack）、開放式開裂（open cracking），其中細(xì)長(zhǎng)裂紋召回率Recll的最低是因?yàn)閱文繕?biāo)標(biāo)簽不止一個(gè)，剝落平均準(zhǔn)確率最高，相比其他缺陷目標(biāo)明確訓(xùn)練收斂快。表中也展現(xiàn)了416分辨率整體優(yōu)于608分辨率的平均準(zhǔn)確率和召回率。

表6 不同尺寸對(duì)比實(shí)驗(yàn)結(jié)果Tab.6 Experimenta l results of differentsizes

圖13 檢測(cè)結(jié)果Fig.13 Test results

3 結(jié)論

經(jīng)過實(shí)驗(yàn)提出了一種基于改進(jìn)Yolov4的風(fēng)機(jī)葉片缺陷自動(dòng)檢測(cè)方法，主要改進(jìn)backbone的殘差單元和調(diào)整了SPP的卷積核，可實(shí)現(xiàn)高效率、實(shí)時(shí)性、低成本的葉片缺陷檢測(cè)，保障風(fēng)機(jī)運(yùn)行的安全性和可靠性。也通過研究相關(guān)數(shù)據(jù)增強(qiáng)技術(shù)，提出目標(biāo)遮擋和混合數(shù)據(jù)增強(qiáng)技術(shù)和形態(tài)學(xué)方法進(jìn)行缺陷目標(biāo)數(shù)據(jù)增強(qiáng)。最終在測(cè)試集上Recll從0.798提升到0.823；AP值從0.817提升到0.877，改進(jìn)效果顯著。實(shí)驗(yàn)結(jié)果表明，所提出的算法具有較高的精度，能滿足系統(tǒng)的基本要求。

此改進(jìn)的葉片缺陷識(shí)別模型經(jīng)過量化和轉(zhuǎn)換，部署到瑞芯微和海思芯片測(cè)試，其精度損失在5%之內(nèi)；模型量化前和量化后余弦相似度為99%。實(shí)際安裝到無人機(jī)測(cè)試檢測(cè)速度為363ms，達(dá)到了預(yù)期的效果，最后再進(jìn)一步優(yōu)化工程的穩(wěn)定性和模型算法的魯棒性。