基于改進YOLOv4的地板缺陷檢測算法

陳浩棟,張 弛,孫偉波,李紅軍

(武漢紡織大學機械工程與自動化學院,湖北 武漢 430200)

1 引言

地板表面缺陷決定了地板的產(chǎn)品等級,地板的制造容易產(chǎn)生表面缺陷,導致企業(yè)的生產(chǎn)效益下降[1],表面質(zhì)量是評判地板質(zhì)量的重要指標之一[2]。國內(nèi)的地板制造廠商大部分還是在使用傳統(tǒng)的人工目測方式,檢測效率低,人工容易產(chǎn)生視覺疲勞[3],出現(xiàn)漏檢誤檢等問題,并且人工目測對評判人員要求高,需要擁有大量的實踐經(jīng)驗,同時對地板紋理缺陷的判斷會因光線和經(jīng)驗等問題出現(xiàn)差錯,評判標準缺乏客觀性。近幾年來,國家不斷推進工業(yè)4.0智能化工廠和智能制造的方針[4],實現(xiàn)地板表面缺陷自動化檢測有著重要的應用意義。傳統(tǒng)的機器視覺檢測方法受限于計算機的計算能力,對計算能力要求高。深度學習是機器視覺技術的進一步發(fā)展,基于深度學習的目標檢測算法已逐步應用于各領域工業(yè)生產(chǎn)質(zhì)量檢測中,深度學習網(wǎng)絡的框架不斷發(fā)展,從CNN(Conventional Neural Net-work)[5]卷積神經(jīng)網(wǎng)絡解決分類問題,到可以生成候選框的RCNN(Region-Conventional Neural Network)[6]、Fast-RCNN[7]、Faster-RCNN[8]等的目標檢測算法,應用比較廣泛的是YOLO(You Only Look Once)[9],YOLO使用Reset[10]-[11]殘差網(wǎng)絡結構,增強了對特征的提取效果,在缺陷檢測中有著比較好的表現(xiàn)。

在地板表面缺陷識別研究領域,國內(nèi)外已有學者做出研究,例如梁浩、曹軍等[12]學者提出先使用近紅外光譜對實木地板進行缺陷檢測,對讀取到的紅外光譜數(shù)據(jù)進行貝葉斯網(wǎng)絡分析,從而辨別地板表面的活節(jié)、死節(jié)等缺陷。張怡卓、許雷等[13]學者提出通過小波分析和缺陷定位將實木地板表面的背景剔除,分割出缺陷,取得了較好實驗效果。程耀瑜等[14]學者提出的基于光度立體技術的地板缺陷檢測。以上的算法均以檢測活節(jié)、死節(jié)、裂紋等缺陷為主,存在一定的局限性,沒有能同時做到對小目標的缺陷、紋理類缺陷檢測的算法。

因此,本文通過在以上文獻中得到的思路,建立一套基于改進型-YOLOV4的地板缺陷檢測算法。通過對地板表面缺陷的數(shù)據(jù)特征對網(wǎng)絡進行修改,增加特征提取網(wǎng)絡中對小物體的信息提取,使用數(shù)據(jù)集中的缺陷數(shù)據(jù)對檢測先驗框進行優(yōu)化。通過實驗驗證了改進后的YOLOv4進行地板表面缺陷檢測的可行性,實現(xiàn)對小目標缺陷和紋理類缺陷的檢測。

2 YOLO V4算法原理

YOLOv4是Alexey等人提出的一種目標檢測 模型,算法主要由三部分構成:特征提取、特征融合、預測結果。特征提取部分采用CSPDarknet53[15]的主干特征提取網(wǎng)絡,對YOLOv3的Resblock-body的結構進行修改,使用CSPnet網(wǎng)絡結構,新的殘差網(wǎng)絡塊具有更高的語義信息。CSPResnet53的網(wǎng)絡結構如圖2所示,經(jīng)過多層卷積和池化的特征提取,網(wǎng)絡輸出三個特征層,分別是(13,13)、(26,26)、(52,52),隨后三個特征層進入特征融合部分。

對于特征融合部分,在YOLOv3的特征金字塔網(wǎng)絡FPN的基礎上添加了SPP模塊。13×13的特征層將進行三次卷積,輸入到SPP模塊中,同步進行三次最大池化,最后進行拼接,如圖1所示。YOLOv4的SPP-(Spatial Pyramid Pooling)[16]模塊是受SPP-net的啟發(fā)而來,能夠顯著地改善域尺寸,在提高上下特征提取的同時,不降低網(wǎng)絡的處理速度。在YOLOV4中,SPP可以有效避免神經(jīng)網(wǎng)絡對圖像區(qū)域卷積等操作后導致圖像中的目標扭曲問題,同時可以有效解決卷積神經(jīng)網(wǎng)絡對圖像重復特征提取的問題,將主干網(wǎng)絡輸出的深層特征向淺層傳遞,大大提高產(chǎn)生先驗框的速度,節(jié)省了計算的時間。

圖1 SPP結構圖

圖2 CSPDarknet53網(wǎng)絡結構圖

預測部分采用的是CIOU Loss,預測部分的信息包括預測置信度得分score、先驗框尺寸及坐標等,回歸函數(shù)包含了三個重要幾何因素:預測框中心點和長寬、交互比。YOLOHead預測層對先驗框的坐標、長和寬等信息進行調(diào)整,通過置信度得分篩選掉部分先驗框,最后采用距離交并比DIOU的非極大值抑制算法,輸出最終的預測結果。

3 改進的地板表面缺陷檢測算法

3.1 YOLOv4的多尺度檢測改進

在CSPDarknet53特征提取網(wǎng)絡輸出的特征層中,通過殘差網(wǎng)絡塊,對圖像進行卷積處理,提取圖像特征,并在最后的三層,輸出三個特征層,分別是13×13、26×26、52×52,其中13×13的特征層進入SPP模塊進行最大池化處理,如圖3所示。26×26、52×52兩個模塊進行卷積,先進行上采樣,再進行下采樣,最后進行特征融合,拼接特征信息,低層網(wǎng)絡特征圖用來檢測小物體,高層網(wǎng)絡特征圖用來檢測具有大輪廓的物體。

圖3 改進后YOLO-V4網(wǎng)絡圖

在實際的地板缺陷檢測中,有些缺陷,如黑點、小雜質(zhì)等目標比較小,檢測效果較為不理想。因此本文改進特征提取網(wǎng)絡的輸出,增加大小為(104,104)的特征層,特征提取網(wǎng)絡會將圖像分為104×104的網(wǎng)格,微小的缺陷將通過此特征層進行預測,如圖3中加黑部分所示。

改進后的網(wǎng)絡中(52,52),(26,26),(13,13)的三個特征層將通過卷積和Up-Sampling進行特征融合,最后與(104,104)的特征層進行拼接,拼接后將分為兩部分,一部分作為特征層的output輸出到YOLO head進行下一步的數(shù)據(jù)轉換,另一部分將進行Downsampling的下采樣操作,將經(jīng)過下采樣的特征層與(52,52)的特征層進行拼接,進行卷積與特征融合,再做同樣的下采樣與下面的特征層融合,使特征提取的更加充分,減少信息的丟失。

3.2 基于數(shù)據(jù)集的先驗框改進

YOLOv4是使用先驗框(anchors boxes)對目標檢測的圖像進行預測,初始的先驗框是由作者通過聚類COCO數(shù)據(jù)集得到的,初始的先驗框標定了常見目標的寬和高,在進行預測的時候,可以獲取更加準確的邊界框。在改進前的YOLOv4中,每個特征層都有3個先驗框,三個特征層共有9個提前計算好的先驗框。由于地板上的缺陷大小不一,有的缺陷占據(jù)了整副圖像,有的缺陷只是很小的一個黑點,因此想要提高缺陷的識別率,必須要對先驗框的尺寸進行優(yōu)化,對數(shù)據(jù)集的缺陷數(shù)據(jù)進行聚類分析,使其更適合用來檢測地板表面缺陷。

標準的K-means聚類分析使用的是歐式測距法測量先驗框和臨近的目標真實框之間的距離[17],這樣會導致目標框越大,產(chǎn)生的誤差越大,因此引用新的計算方式[18]:

d(box,centroid)=1-IOU(box,centroid)

(1)

式中box代表數(shù)據(jù)集樣本中標注的邊框;centroid代表聚類分析時作為聚類中心的邊框;d(box,centroid)代表數(shù)據(jù)集樣本中標記的邊框到聚類中心的距離。

同時采用AvgIOU的方法來檢測聚類分析的結果的好壞,AvgIOU的計算方式

(2)

式中的IIOU(B,C)表示聚類的中心框與數(shù)據(jù)樣本的中心框的交互比;k代表聚類簇的數(shù)量;n代表樣本的總數(shù);nk代表第k個聚類中心樣本的個數(shù)。聚類結果如圖4所示,結果的先驗框為(16,23),(20,32),(22,49),(30,42),(34,97),(49,49),(49,401),(59,157),(119,301),(129,85),(272,388),(378,92)。

圖4 k-means聚類分析結果

3.3 地板表面缺陷檢測流程

按照地板的缺陷種類,建立好地板數(shù)據(jù)集。使用改進后的K-means聚類算法進行聚類分析,生成最優(yōu)的12種先驗框后,將先驗框和數(shù)據(jù)集按照8:1:1的比例作為訓練集、驗證集、測試集傳入改進后的YOLOv4網(wǎng)絡中進行訓練,在改進后的CSPDark-net53中進行卷積池化、上采樣和下采樣等特征提取后,將特征層結果輸出,最后訓練出loss值最低的模型文件。

訓練出的模型使用mAP進行檢測率和分類正確率計算,達到預期效果后進行實際現(xiàn)場預測調(diào)試,設置好閾值score和交互比IOU后,使用現(xiàn)場獲取的地板原圖進行檢測缺陷,檢測結果為缺陷類型、缺陷位置、缺陷大小,記錄結果,完成檢測。改進后YOLOv4的地板表面缺陷檢算法如圖5所示。

圖5 地板表面缺陷檢算法流程圖

圖6 地板缺陷分類

4 實驗與結果分析

4.1 實驗平臺

本文的實驗配置為臺式計算機,CPU為intel(R) Core(TM) i7-11700、GPU為NVIDIA GeForce RTX 3060 12G、運行內(nèi)存為32G;64位Window 10操作系統(tǒng),開發(fā)環(huán)境為:Python3.7、Tensorflow-gpu2.4.0、cuda11.0。

4.2 數(shù)據(jù)集

實驗的圖像采集部分使用工業(yè)攝像頭對缺陷地板進行拍攝,獲取了5200張圖像大小為416×416像素的缺陷圖像,其中訓練集、驗證集、測試集的比例為8∶1∶1。因為地板的紋理看起來比較相近,故數(shù)據(jù)集中添加了1000張困難樣本既正常的地板圖像,添加困難樣本在訓練的時候可以提高模型對缺陷的泛化能力,同時防止模型過擬合,分類后的地板數(shù)據(jù)集如圖7所示。缺陷標記使用Labeling軟件進行標記,標記結束后,會將缺陷名稱、缺陷框的左上和右下的坐標信息儲存在xml文件中,訓練模型的時候將提取這些信息進行訓練。

圖7 地板缺陷訓練集

地板表面的缺陷種類有很多,傳統(tǒng)的分類有19種缺陷,如果想要訓練多目標的缺陷檢測模型,每一種目標都需要龐大的數(shù)據(jù)集,但是實際的地板表面缺陷數(shù)據(jù)集中,部分缺陷目標數(shù)據(jù)集較少,難以單獨作為目標進行訓練。因此本文根據(jù)地板表面缺陷的特征、大小等信息進行研究,對具有相似特征的缺陷劃分為一個大類,使用labeling標記后進行訓練。

如圖6所示,本文將地板缺陷分為了黑點類、紋理類、亮點類共3類。

4.3 訓練模型

初始的學習率為0.0001,最小學習率為0.00001,訓練的batch＿size為8,訓練epoch為100,IOU的閾值(IOU Threshold)為0.4,動量參數(shù)monentum為0.953。

訓練模型時,通過loss值的曲線可以查看訓練的效果,如圖8所示。YOLOv4中計算loss使用的損失函數(shù)為binary＿crossentropy,輸出張量與目標張量之間的二進制交叉熵。計算方式

圖8 訓練loss值圖

(3)

4.4 實驗結果分析

為了評估地板缺陷檢測的結果,本文使用準確率Precision、召回率Recall、分類準確率Classification,作為模型檢測結果的評判標準。

(4)

(5)

(6)

式中:XTP代表模型預測缺陷正確的數(shù)量;XFP代表無缺陷但模型出缺陷的誤檢數(shù)量;XFN代表有缺陷但模型未檢測到的漏檢數(shù)量;XFC代表模型檢測出缺陷但分類出錯的錯檢數(shù)量。準確率Precision表示了模型預測出所有的缺陷中,正確的缺陷所占的比例。召回率Recall代表在所有人工標記的真實缺陷中,模型預測出正確缺陷所占的比例。分類準確率Classification代表在模型檢測出所有缺陷中,分類正確的比例。

評估模型整體檢測效率使用mAP,將Preci-sion和Recall進行接合,計算出三種缺陷的各自的mAP:黑點類檢測率為94%;紋理類檢測率為82%;亮點類檢測率為91%,整體的檢測率為89.07%。

再對網(wǎng)絡分類準確率進行測試,分類準確率Classification使用300張驗證集進行單獨測試,其中100張黑點類、100張紋理類、100張亮點類,將圖像進行缺陷檢測,統(tǒng)計正確檢測XTP的數(shù)量、漏檢XFN的數(shù)量、誤檢XFC的數(shù)量,最后使用式(6)計算分類準確率。實驗結果如表1所示。

表1 地板表面缺陷檢測分類準確率

從表1和實驗結果中分析得出,黑點類的分類準確率為93.91%;紋理類的分類準確率為93.33%;亮點類的分類準確率為96.73%。從實驗結果分析對比得知,紋理類的部分小劃痕和黑點的特征相似,會出現(xiàn)小部分誤檢情況,但并不影響整體的分類準確率,最后三個缺陷的平均分類準確率為94.62%,符合分類準確率的要求。

4.5 實驗結果對比

通過實際檢測結果進行網(wǎng)絡優(yōu)化對比,本文的網(wǎng)絡名稱定義為“改進型-YOLOv4”,將使用初始的YOLOv4、YOLOv3、Faster R-CNN進行對照實驗。取這三個網(wǎng)絡,使用相同的訓練集,學習率與訓練批次等訓練參數(shù)均與改進型-YOLOv4設置相同。訓練出模型后,使用mAP對各自的缺陷檢測率做一個評估,同時隨機選取地板表面圖片進行缺陷檢測,對比檢測效果。

對三種算法的mAP進行統(tǒng)計,如表2所示,YOLOv4的檢測率比YOLOv3的高,改進型-YOLO-v4的mAP比改進前提升了5.77%,其中黑點類和亮點類的小目標檢測分別比改進前提升了8.64%和7.22%。改進后加入了(104,104)的特征層輸出,使得黑點、墨漬等不明顯的小目標更容易被檢測到,因此改進型-YOLOv4比未改進前有更好的表現(xiàn)。

表2 各算法檢測率對比

兩個不同模型的地板表面缺陷檢測對比如圖9所示,對比分析得出,在小斑點、小黑漬等目標的檢測效果上,改進型-YOLOv4有著更好的效果,并且通過預測框大小的對比,可以看出經(jīng)過K-means聚類分析后的先驗框在預測目標的時候表現(xiàn)更好,標記缺陷的預測框尺寸更為精準。綜上在地板表面缺陷檢測效果上,改進型-YOLOv4檢測效果明顯好于未改進的。

5 結束語

本文提出了一種基于改進YOLOv4的地板表面缺陷檢測算法。在原有的YOLOv4算法基礎上,對CSPDarknet53的特征提取網(wǎng)絡輸出做了修改,增加了特征層的輸出,增加的特征層為(104,104)用于檢測小目標缺陷。在主干網(wǎng)絡中,增加的特征層進行上采樣融合和下采樣融合,使特征提取的更加充分,減少信息的丟失。同時在原有的先驗框聚類分析上,采用了自己的數(shù)據(jù)集進行聚類分析,將先驗框的數(shù)量調(diào)整至12個,新的先驗框更符合真實缺陷框。通過實驗對比,改進后的YOLOv4比改進前的YOLOv4和YOLOv3檢測率要提升了,加強了對地板表面缺陷的檢測能力。接下來要對改進后的YOLOv4的檢測速度進行研究,并做出提升。