改進YOLOv3算法用于鋁型材表面缺陷檢測

姚 波, 溫秀蘭, 焦良葆, 王樹剛, 錢 崢, 李子康

(1.南京工程學院 自動化學院,江蘇 南京 211167;2.江蘇省智能感知技術與裝備工程研究中心,江蘇 南京 211167;3.無錫市計量測試院,江蘇 無錫 214000;4.南京市計量監(jiān)督檢測院,江蘇 南京 210049)

1 引 言

鋁型材廣泛應用于建筑、工業(yè)、醫(yī)療等行業(yè),其表面缺陷直接影響鋁型材的質(zhì)量,長期以往會出現(xiàn)鋁型材扭曲變形等問題,造成嚴重的安全事故,因此能否對鋁型材表面缺陷進行快速準確檢測極為重要[1]。然而在鋁型材實際的生產(chǎn)過程中,由于多方面因素影響,鋁型材表面會產(chǎn)生擦花、漏底、碰凹、凸粉等缺陷,這些缺陷會與鋁型材本身的紋路相混淆,使檢測難度增加。早期對表面缺陷檢測多是采用人工肉眼進行檢測,不僅耗時耗力而且準確率不高[2]。缺陷的自動檢測大都是先根據(jù)現(xiàn)場環(huán)境特征,選取適合的光源,對缺陷所在的區(qū)域進行打光,以提高缺陷特征的提?。黄浯卧龠x取合適的特征提取算法,如方向梯度直方圖(histogram of oriented gradient, HOG),尺度不變特征變換(scale invariant feature transform, SIFT)等,再通過支持向量機(support vector machine, SVM)等分類器對缺陷進行分類[3]。因鋁型材本身亮度高,極易反光,因此無法通過打光突出其缺陷特征,使得現(xiàn)有的缺陷檢測方法難以達到良好的檢測效果。

深度學習因具有適應性好,學習能力強和可移植性好等特點,成為近年來研究的熱點,有關學者先后提出Faster-RCNN( faster region convolution neural network)[4],SSD(single shot multiBox detector)[5],YOLO(you only look once)等性能良好的網(wǎng)絡模型,并成功應用于缺陷檢測。其中具有代表性的有：文獻[6]提出了一種基于改進Faster-RCNN的金屬材料工件表面缺陷檢測,通過引入多級ROI池化層結構設計算法和改進原圖位置坐標,能夠?qū)饘俨牧媳砻嫒毕莺芎玫淖R別,但當缺陷區(qū)域與正常像素區(qū)域存在較大像素差時,檢測效果較差。文獻[7]將Faster-RCNN與FPN網(wǎng)絡相結合,利用嚴格非極大值抑制算法對鋼筋表面的缺陷做出檢測,檢測精度較高,但實時性方面還有待進一步提高。文獻[8]分析了熱鍍鋅表面的紋理特征,設計出檢測精度和速度并重的G-SSD算法和G-Mobile分類網(wǎng)絡,但是只有在稀疏的背景下,檢測精度才高并且不能對同一圖像上多個缺陷進行精確定位。文獻[9]提出利用Mask-RCNN和引導濾波增強的方法,完成圖像差分以及圖像增強,實現(xiàn)對鑄件X射線DR圖像的缺陷檢測,但整體83%的準確率不足以在工業(yè)生產(chǎn)使用。文獻[10]提出將SSD算法和YOLOv3算法相結合,利用SSD算法準確率高和YOLOv3實時檢測速度快的特點,完成了對輸電線路螺栓缺陷的檢測,單張圖像的檢測耗時僅0.5 s,準確率達到96%。

總結現(xiàn)有研究成果,發(fā)現(xiàn)深度學習在缺陷檢測方面有獨到之處,但是目前針對鋁型材表面缺陷目標大且缺陷特征不盡相同的問題,研究甚少。本文提出了一種改進的YOLOv3算法用于鋁型材表面缺陷檢測,并與YOLOv3以及經(jīng)典的卷積網(wǎng)絡Faster-RCNN和SSD進行比較,以驗證提出方法在準確率和檢測效率等方面的有效性。

2 傳統(tǒng)YOLOv3算法

YOLOv3網(wǎng)絡模型特征的尺寸變化是通過卷積層改變卷積核的步長大小來改變的,為了能夠更好的提取圖像中的特征信息,在網(wǎng)絡模型中加入了殘差塊。對于小尺寸目標的檢測,YOLOv3借鑒了特征金字塔網(wǎng)絡(feature pyramid network,FPN),將不同尺寸的特征進行融合,采用多尺度的預測方式來完成對小目標的檢測,而在邊界框的回歸問題上,采用了非極大值抑制算法,保留置信分最高的邊界框為最終目標的檢測框[11]。

YOLOv3中損失函數(shù)定義[12]為

LLoss=Lbox_xywh+Lcls+Lconf

(1)

其中：Lbox_xywh、Lcls、Lconf分別表示預測框、類別及置信度帶來的誤差。

(2)

(3)

(4)

3 改進的YOLOv3模型

3.1 先驗框的聚類分析

先驗框是一組寬高比例固定的候選框,其寬高比例的大小會直接影響網(wǎng)絡模型對于目標檢測的精度和速度。YOLOv3在COCO數(shù)據(jù)集上針對3種不同的特征尺寸聚類出9種不同尺寸的先驗框,但其聚類出來的先驗框大小不能滿足鋁型材表面缺陷檢測的要求,因此需要重新對數(shù)據(jù)集進行聚類分析,選取適合目標的候選框。

目前,常見的聚類算法主要有k-means聚類,均值漂移聚類,基于密度的聚類和凝聚層次聚類。由于k-means聚類算法具有原理簡單,聚類效果較優(yōu)和收斂速度較快等優(yōu)點,因此選取k-means聚類算法來對數(shù)據(jù)集進行重新聚類。為了更好地評價聚類結果的好壞,采用平均交并比(average intersection over union,Avg IOU)作為評價指標,該值越大,說明聚類的結果越好。在k-means聚類算法中,k的值是自定義的,選取k=1～10,分別對數(shù)據(jù)集進行聚類分析,得到k值與Avg IOU的關系圖,如圖1所示。

圖1 聚類分析結果圖Fig.1 Cluster analysis result graph

由圖1可見,隨著k值遞增,Avg IOU值逐漸趨于平緩,在曲線斜率最大的地方也即是k=3時,為最佳的先驗框(anchor boxes)的個數(shù)。當k=3時,不僅能夠減少大量的計算,快速地降低損失函數(shù),還能減小候選框引起的誤差,因此先驗框個數(shù)取為3,在本數(shù)據(jù)集上聚類出來的先驗框像素大小為(519×210)、(508×281)、(500×366)。

3.2 改進的YOLOv3網(wǎng)絡結構

針對鋁型材缺陷檢測中缺陷目標大且特征不盡相同的問題,對YOLOv3的網(wǎng)絡結構進行改進,改進后的網(wǎng)絡結構見圖2。原始的YOLOv3中輸出像素大小為(13×13),(26×26),(52×52)3種不同尺度大小的特征圖?？紤]到鋁型材缺陷較大,原始的(52×52)輸出的特征圖不能很好的將缺陷特征顯示出來,因此改進后的網(wǎng)絡結構剔除了(52×52)特征尺度的預測,在減少冗余候選框的同時還減小候選框帶來的誤差及計算工作量,提高了網(wǎng)絡模型的精度和效率。為避免因剔除了(52×52)小尺度的預測導致一些淺層的語義信息丟失,使類別檢測誤差增加[13],將原YOLOv3在目標檢測層前設置的6個convolution batch_normalize leaky(CBL)單元修改為4個CBL單元,再補充2個殘差單元,來改善網(wǎng)絡模型的精度,改進后的殘差結構如圖3所示。

圖2 改進后的YOLOv3網(wǎng)絡結構圖Fig.2 Improved YOLOv3 network structure diagram

圖3 改進前后的殘差結構Fig.3 Residual structure before and after improvement

4 鋁型材表面缺陷檢測

4.1 數(shù)據(jù)集的獲取

數(shù)據(jù)集源于某鋁型材商品制造廠的“鋁型材瑕疵識別”數(shù)據(jù)集,在數(shù)據(jù)集中得到圖4中的4種典型鋁型材表面缺陷圖像,分別為擦花(scratch)、漏底(bottom)、凸粉(convex)和碰凹(bump)。

圖4 典型鋁型材表面缺陷圖像Fig.4 Typical surface defect image of aluminum profile

首先對采集到的數(shù)據(jù)集進行整理,前期采集到3 058張缺陷圖像,通過對數(shù)據(jù)集進行旋轉(zhuǎn)、調(diào)整飽和度和曝光量等手段,將數(shù)據(jù)集擴充到10 000張,其中訓練集占80%,驗證集占10%,測試集占10%。

4.2 實驗運行環(huán)境

實驗硬件環(huán)境配置見表1。軟件環(huán)境采用CUDA10.2,OpenCV3.4.0,VisualStudio2019,其中深度學習框架采用Darknet-53。

表1 實驗硬件環(huán)境配置Tab.1 Experimental hardware environment configuration

4.3 網(wǎng)絡訓練

在網(wǎng)絡模型訓練過程中,通過損失函數(shù)loss曲線觀察網(wǎng)絡訓練的狀態(tài),改進前后的YOLOv3-LLoss曲線對比見圖5。由圖5可見,原YOLOv3算法在迭代到7 000次時,損失函數(shù)逐步收斂,當?shù)?10 000次的時候,LLoss值降到1.0左右,而改進后的YOLOv3其損失函數(shù)在迭代到約4 000次時,開始逐步收斂,當?shù)?0 000次的時候,LLoss值降到0.2左右。由此可見,改進后的網(wǎng)絡模型訓練結果更佳,可以作為一個合適的網(wǎng)絡模型進行測試。

圖5 改進前后的YOLOv3-LLoss曲線圖Fig.5 YOLOv3-LLosscurve before and after improvement

4.4 改進前后檢測算法性能的對比

在目標檢測領域常用準確率P和召回率R來評價1個算法的優(yōu)劣[14]，其中P是用來評估1個模型預測是否準確,R是用來評估1個模型檢測的目標是否全,其計算公式如下：

(5)

式中：NTP表示模型正確檢測目標的個數(shù)；NFP表示模型錯誤檢測目標的個數(shù)；NFN表示模型沒有檢測出目標的個數(shù)；分別使用YOLOv3改進前(v3)和改進后(i-v3)來對測試集的圖片進行檢測,計算其P和R,計算結果如表2所示。

表2 算法改進前后的檢測性能結果對比Tab.2 Comparison of the detection performance results of the algorithm before and after the improvement

由表2可見,針對本文缺陷檢測,改進后的YOLOv3算法其P達到了92.64%,R達到了94.13%,分別較改進前的算法提升了9.4%和9.37%,在性能上有了很大的提升。

為了更好地評價模型的準確性,通常在評價算法性能優(yōu)劣時還會引入平均準確率AP(average precision)和平均準確率均值mAP(mean average precision)兩個指標[15]。采用上述2個指標評價結果如表3所示。由表3可見,改進后的檢測算法在4種缺陷檢測上的平均準確率都有了明顯的改善,其平均準確率均值從78.05%上升到96.49%,提升了18.44%,而且檢測速度從31幀/s提升到現(xiàn)在的47幀/s,由此可見,提出的改進算法在準確率和檢測速度方面都有很大提升。

表3 算法改進前后的檢測結果對比Tab.3 Comparison of the detection results of the algorithm before and after the improvement

圖6同時繪制了改進前后算法的實際檢測效果。其中,圖6(a)和圖6(b)分別是改進前后算法對擦花(scratch)和凸粉(convex)的檢測結果,對比可見：原YOLOv3算法在沒有對數(shù)據(jù)集重新進行聚類分析時,會有重復檢測的邊界框,而改進后的算法解決了該問題,并且重新聚類分析后,邊界框的尺寸得到了優(yōu)化,邊界框能夠完美的將缺陷區(qū)域標記出來。圖6(c)和圖6(d)分別是改進前后算法對碰凹(bump)的檢測結果,由圖可見原算法會出現(xiàn)缺陷漏檢的情況,而改進后的算法則可以實現(xiàn)正常檢測。圖6(e)和圖6(f)分別是改進前后算法對漏底(bottom)的檢測結果,可見原算法將鋁型材漏底的缺陷誤檢測為擦花缺陷,而改進后的算法可以將誤檢的缺陷正確檢測出來。

圖6 改進前后算法的實際檢測效果圖Fig.6 The actual detection results of the algorithm before and after the improvement

4.5 不同目標檢測模型的對比

為了進一步驗證提出方法的有效性,在同一數(shù)據(jù)集下,分別采用目前用于缺陷檢測的主流Faster R-CNN,SSD,YOLOv3算法對本文缺陷進行檢測[16],并與改進后的YOLOv3算法進行比較。4種不同的目標檢測模型對比結果如表4所示。

表4 不同算法的檢測結果Tab.4 Detection results of different algorithms

其中Faster R-CNN與SSD算法在PyTorch框架下的實驗結果如圖7和圖8所示。

圖7 Faster R-CNN檢測結果Fig.7 Faster R-CNN detection results

圖8 SSD檢測結果Fig.8 SSD detection results

由圖7、圖8和表4可見,改進后的YOLOv3算法其準確度最高,達到了96.49%,Faster R-CNN其次,這主要得益于網(wǎng)絡結構的優(yōu)化,加大了對大尺度特征的檢測,并且優(yōu)化了目標檢測層之前的殘差結構,提高了對高層的特征信息復用,并且相對于其它幾種網(wǎng)絡模型,其檢測速度更快,主要是因為只選取了兩組尺度特征對缺陷目標進行檢測,簡化了網(wǎng)絡結構,從而提升了網(wǎng)絡的運行速度。

5 結 論

針對鋁型材表面缺陷問題,提出了改進的YOLOv3算法,其主要特點在于對自制的數(shù)據(jù)集重新進行了聚類分析,選取了最佳的候選框尺寸,提高了目標檢測的精度；同時對YOLOv3的骨干網(wǎng)絡進行了重新構造,將目標檢測層之前的6個CBL單元改成4個,再補償2個殘差單元,大量實驗結果證實了將提出的改進算法用于鋁型材表面缺陷檢測使得檢測準確率高和檢測速度分別達到了96.49%和47幀/s,適于在鋁型材行業(yè)推廣應用。