基于改進(jìn)YOLOv5的軸類零件表面缺陷檢測算法*

張昕楠,李 穎,郝涌汀,付靖凱,于 鵬

(沈陽理工大學(xué)機(jī)械工程學(xué)院,沈陽 110159)

0 引言

金屬軸類是機(jī)械設(shè)備的基礎(chǔ)零部件,用于轉(zhuǎn)矩傳動和承受載荷。在制造過程中,由于鋼坯原材料、加工方式、工藝流程等的改變,軸類零部件的表面不可避免地產(chǎn)生各類缺陷,這些缺陷將直接影響到其他機(jī)械設(shè)備的日常工業(yè)運轉(zhuǎn)和安全生產(chǎn)管理。傳統(tǒng)的檢測技術(shù),如使用熒光磁粉進(jìn)行檢查,既費時費力,又容易出現(xiàn)誤檢、漏檢等嚴(yán)重的錯誤。隨著基于圖像信息的缺陷檢測分析方法的發(fā)展,MENTOURI等[1]開發(fā)出一種利用二值化的統(tǒng)計圖像特征,結(jié)合k最近鄰分類器的缺陷檢測分析方法,可以更準(zhǔn)確地發(fā)現(xiàn)熱軋過程中的鋼帶表面的缺陷。SAYED[2]提出了一個全新的紡織領(lǐng)域面料瑕疵點檢測方法,采用了熵濾波和最小誤差閾值分割的技術(shù),可以更加精細(xì)地識別出紡織物瑕疵點。LI等[3]通過對卷煙標(biāo)簽數(shù)據(jù)圖像的采集與標(biāo)注,并完成相關(guān)檢測實驗,提出了將最小外接矩形應(yīng)用于缺陷形狀的方案,該方案應(yīng)用性較廣和檢測準(zhǔn)確性良好。ZHANG等[4]利用小波多尺度分析技術(shù),提出了一種對多紋理車輪胎圖像的缺陷測試方法,該方法通過應(yīng)用缺陷邊界檢測模型,可以有效區(qū)分缺陷與背景紋理并達(dá)到實時檢測的目的。URBONAS等[5]提出一種使用快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region-convolutional neural network,faster R-CNN)對木材表面缺陷進(jìn)行定位和分類檢測系統(tǒng),使木板材表面缺陷準(zhǔn)確率達(dá)到96.1%,驗證了深度學(xué)習(xí)算法可以應(yīng)用于實木板材缺陷檢測中的可行性。SHI等[6]使用多通道掩碼和掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)對缺陷進(jìn)行了分類和確定,分類精度超過0.987,極大提高了缺陷定位的速度和準(zhǔn)確性。方葉祥等[7]在金屬表面的缺陷研究中使用了改進(jìn)的YOLOv3算法,主要改進(jìn)包括使用直方圖均衡化對圖像進(jìn)行預(yù)處理﹐使用數(shù)據(jù)增強方法模擬現(xiàn)實工作環(huán)境以及優(yōu)化損失函數(shù)來提高模型對表面缺陷分類的準(zhǔn)確性。劉洋[8]為了提高金屬表面瑕疵檢測的速度,提出了基于Tiny-YOLOv3的R-Tiny-YOLOv3算法,該算法加入了殘差網(wǎng)絡(luò)以及空間金字塔池化SPP模塊最后選擇CIOU作為損失函數(shù),該算法對金屬表面瑕疵檢測精度達(dá)到71.5%,檢測速度達(dá)到39.8 fps,能夠滿足金屬工件的實時檢測需求。

以上研究以不同的方式改進(jìn)了每種缺陷檢測模型的性能,但是針對金屬軸件表面獨特的缺陷缺乏針對性的處理,特別是軸件表面小目標(biāo)缺陷以及多目標(biāo)缺陷和不完整軸件的識別和處理能力不足,這導(dǎo)致了缺陷檢測精度低和識別種類不全面,整體檢測模型不理想。針對以上問題,本文提出了一種基于改進(jìn)YOLOv5的目標(biāo)軸件表面缺陷的檢測算法,本實驗首先將采集到的目標(biāo)軸件數(shù)據(jù)圖像進(jìn)行數(shù)據(jù)增強與擴(kuò)容,使用labelimg工具分類標(biāo)注,再將標(biāo)注好的數(shù)據(jù)圖像導(dǎo)入到已經(jīng)優(yōu)化完成的YOLOv5的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,獲取訓(xùn)練完成后的的權(quán)重數(shù)據(jù)模型,最后采集需要檢測的目標(biāo)軸件圖像,并進(jìn)行預(yù)測與分析。

1 數(shù)據(jù)預(yù)處理

1.1 圖像數(shù)據(jù)集獲取

在生產(chǎn)過程中,由于原材料缺陷、加工方式錯誤、加工人員操作不當(dāng)?shù)葐栴},生產(chǎn)完成的軸件會產(chǎn)生表面缺陷的問題,常見表面缺陷有劃痕、凹坑、擦傷3種。同時為解決工業(yè)生產(chǎn)中同時檢測多目標(biāo)缺陷軸件與不完整軸件漏檢與檢測精度低。本文選用實驗軸件為12.5*71三段階梯軸、8*25二段階梯軸、8*20單頭牙軸、6*30雙頭牙軸。使用圖像采集裝置采集標(biāo)準(zhǔn)正常軸件、部分遮擋的正常軸件、具有劃痕缺陷的軸件、具有凹坑缺陷的軸件、具有擦傷缺陷的軸件和具有多種缺陷軸件的圖像,如圖1所示。

圖1 缺陷軸件圖像

圖像采集設(shè)備如表1所示。根據(jù)軸件缺陷檢測的要求,本文共采集了2417張軸件的原始圖像。

表1 采集設(shè)備

1.2 數(shù)據(jù)增強處理

工業(yè)CCD相機(jī)采集得到的軸件數(shù)據(jù)集圖像分辨率較高,而被檢測軸件的尺寸卻遠(yuǎn)小于原始圖像,因此本文中采用了切圖的方法來處理原圖,將圖像裁切為640*640的尺寸,并將裁切后的圖像準(zhǔn)確定位在缺陷特征的中心。為了深度學(xué)習(xí)的準(zhǔn)確性,還需要對收集到的原始數(shù)據(jù)圖像進(jìn)行多種增強處理,擴(kuò)展數(shù)據(jù)集,增強模型的泛化能力[9]。其中擴(kuò)容操作包括上下翻轉(zhuǎn)、左右翻轉(zhuǎn)、灰度處理、增強對比度和增大噪聲,以便更好地訓(xùn)練模型,并將這些處理后的軸件數(shù)據(jù)圖像加入到數(shù)據(jù)集中,經(jīng)過不同處理后的圖像如圖2所示。經(jīng)過切圖與數(shù)據(jù)增強處理后的,最終獲得6557張軸件樣本數(shù)據(jù)。

圖2 數(shù)據(jù)增強后的圖像

1.3 數(shù)據(jù)標(biāo)注

在開始訓(xùn)練YOLOv5模型前,必須對收集到的數(shù)據(jù)圖像類型進(jìn)行標(biāo)注,本文使用labelimg軟件作為數(shù)據(jù)集類別標(biāo)注工具,其中包括4種標(biāo)注類別,如圖3所示。分別是軸體,類別為0,標(biāo)簽為axle;劃痕缺陷類別為1,標(biāo)簽scratch;凹坑缺陷類別為2,標(biāo)簽為pit;擦傷缺陷類別為3,標(biāo)簽為bruise。通過labelimg標(biāo)注后,可以獲得VOC(xml格式)的標(biāo)注集,但YOLOv5模型訓(xùn)練必須通過代碼將VOC(xml格式)文件格式轉(zhuǎn)化為yolo(txt格式)文件格式,并且文件名與圖片名需完全一致。并利用代碼對經(jīng)過標(biāo)記的圖像集進(jìn)行隨機(jī)的分類與劃分,將80%的標(biāo)注圖像作為訓(xùn)練集,剩余20%的標(biāo)注圖像則作為測試集。

圖3 標(biāo)注類別

2 改進(jìn)的YOLOv5網(wǎng)絡(luò)模型

2.1 YOLOv5的網(wǎng)絡(luò)模型介紹

YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)分為Input、Backbone、Neck和Prediction四部分[10]。其網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4所示。

圖4 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

Input端包含Mosaic數(shù)據(jù)增強、自適應(yīng)錨框計算和自適應(yīng)圖片縮放。Mosaic技術(shù)可以實現(xiàn)對4張圖像的快速、準(zhǔn)確的分割、精確的編碼,極大地豐富了數(shù)據(jù)集樣本﹐從而提升網(wǎng)絡(luò)魯棒性。YOLOv3、YOLOv4中模擬訓(xùn)練多個的數(shù)據(jù)集時,僅依靠一個單獨的程序預(yù)測計算初始錨框的值。而YOLOv5則把預(yù)測計算原有錨框的任務(wù)融合到代碼編譯中,以便在模擬訓(xùn)練多個訓(xùn)練集的情況下,實現(xiàn)獲得最佳錨框值。自適應(yīng)圖片能夠根據(jù)實際情況進(jìn)行調(diào)整縮放,有效地減少了推理時計算量,從而加快目標(biāo)檢測的速度與進(jìn)程。

Backbone模塊的基礎(chǔ)架構(gòu)由Focus與CSP架構(gòu)組成[11]。分辨率為640*640*3的原始圖像經(jīng)過Focus架構(gòu)的切片和卷積處理,便可獲得320*320*32的特征圖像(圖5)。CBL模塊一種很有效的卷積計算模型,CSP結(jié)構(gòu)能夠有效地從特征圖中提取出多種有用的信息。并且CSP結(jié)構(gòu)能夠避免梯度信息的重復(fù),其參量占據(jù)整個系統(tǒng)參量的絕大部分。YOLOv5將SPP模型改變到了Backbone模型中,擴(kuò)大感受野,以便更有效的捕獲各種尺度的特征。

圖5 切片操作

在NECK結(jié)構(gòu)部分中,YOLOv5網(wǎng)絡(luò)模型使用了Fpn+Pan結(jié)構(gòu),并采用了CSP二架構(gòu),從而達(dá)到提升網(wǎng)絡(luò)特征融合計算能力的目的。

Prediction還包含了Bounding box損失函數(shù)和NMS[12]。并且YOLOv5采用了GIoU_Loss損失值算法,利用非極大數(shù)抑制來減少多余的邊框,以便于確定出最終的物體檢測點。

2.2 增加小目標(biāo)檢測層

鑒于軸件表面缺陷的種類繁多且形態(tài)特征復(fù)雜,在檢測過程中常有小目標(biāo)缺陷被漏檢和錯檢,原始的YOLOv5模型,因為小目標(biāo)缺陷相對都會很小,而YOLOv5的特點之一是下采樣倍數(shù)較大,較深的特征圖在模型訓(xùn)練中往往很難學(xué)習(xí)到小目標(biāo)缺陷和不明顯缺陷的特征信息,所以小目標(biāo)缺陷檢測效果不佳。為了改善這一情況,因此提出增加小目標(biāo)檢測層,將較淺特征圖與深特征圖拼接后進(jìn)行檢測。加入小目標(biāo)檢測層,可以讓網(wǎng)絡(luò)更加關(guān)注小目標(biāo)的檢測,以提高檢測的準(zhǔn)確性,同時增加小目標(biāo)檢測頭的錨框,如圖6所示。

圖6 檢測層對比圖

圖中,P5應(yīng)用于如輪廓、結(jié)構(gòu)等信息的深層特征圖,適用于大目標(biāo)的檢測,這一特征圖所用錨框尺度較大;P3應(yīng)用于包含較多的低層級信息的淺層特征圖,適用于檢測小目標(biāo),錨框尺度較小;同理可得,P4則介于兩者尺度之間,應(yīng)用于檢測中等大小的目標(biāo);根據(jù)軸件表面缺陷的實際情況,新增加了應(yīng)用于解決圖像中更小的缺陷目標(biāo)檢測問題的錨框。圖7為改進(jìn)后的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)。

圖7 改進(jìn)后的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗結(jié)果與分析

3.1 實驗設(shè)置

在本文的實驗環(huán)境中,使用NVIDIA GeForce 1060 GPU進(jìn)行訓(xùn)練和測試,CUDA版本是11.3,Pytorch版本是1.10.0,Python版本是3.7.3,環(huán)境的詳細(xì)信息如表2所示。

表2 環(huán)境配置信息

3.2 實驗相關(guān)的評價標(biāo)準(zhǔn)

IoU[13],又稱交并比,是一種衡量邊界框準(zhǔn)確性的重要度量指標(biāo),它反映了detection box(檢測框)與ground truth(真實標(biāo)簽)的交集和并集的比值,如圖8所示。實際運算中根據(jù)IoU的大小判斷是否有效,一般當(dāng)IoU≥0.5時判斷正確。

圖8 交并比(IoU)

同時,通過混淆矩陣(圖9)分析可知,可以根據(jù)預(yù)測的情況與實際結(jié)果組合將檢測結(jié)果劃分為4種不同的情況:

TP(true positive):根據(jù)模型中預(yù)測出的框,逐一的向該模型的標(biāo)注框求交并比,若該標(biāo)注框產(chǎn)生的最大交并比值超過了先前已經(jīng)設(shè)定好的最大交并比閾值,以及該檢測框?qū)?yīng)的標(biāo)簽值與通過最大交并比計算得到的標(biāo)注框標(biāo)簽值相同時,即認(rèn)定該預(yù)測框為true positive。

FP(false positive):反之,預(yù)測框與所有的框的交并比均不超過閾值,則認(rèn)為這些預(yù)測框都是錯誤的預(yù)測,即視該檢測框為false postive。

TN(true negative):如果標(biāo)注框的最大交并比達(dá)到了預(yù)先設(shè)置的交并比閾值,而且該預(yù)測框的類別和通過最大交并比操作所得到的標(biāo)注框類別相同。則認(rèn)為此預(yù)測框是true negative。

FN(false negative):反之,如果該預(yù)測框?qū)?yīng)的標(biāo)簽和通過交并比操作所得到的標(biāo)注框標(biāo)簽并不相同。則認(rèn)為此預(yù)測框是false negative。

根據(jù)以上4種情況,可以得到以下3個指標(biāo),精度P(Precision)、召回率R(Recall)和準(zhǔn)確率A(Accuracy)。并以此獲得綜合評價指標(biāo)平均精度AP(Average Precision)和平均精度均值mAP(mean AP over calsses),其中AP表示在同一類別下所有檢測結(jié)果的平均精度[14],mAP表示所有檢測類別平均精度的均值[15]。

(1)

(2)

(3)

3.3 結(jié)果分析

為證明本文改進(jìn)后的檢測效果,以及驗證具體改進(jìn)措施起到的作用,本次實驗還設(shè)置原YOLOv5,SSD以及Faster-RCNN三組網(wǎng)絡(luò)組作為對照組,在相同的訓(xùn)練環(huán)境下,分別使用3組深度學(xué)習(xí)模型在自建數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試分析,以更加準(zhǔn)確地評估改進(jìn)后YOLOv5模型的性能。其中實驗的總體結(jié)果如表3所示,改進(jìn)后的YOLOv5網(wǎng)絡(luò)模型相比較于Faster-RCNN網(wǎng)絡(luò)組maP大約有7%提升,相較于SSD網(wǎng)絡(luò)組提升了大約9%,與原YOLOv5網(wǎng)絡(luò)組的結(jié)果進(jìn)行對比表明,針對于原網(wǎng)絡(luò)的改進(jìn)措施起到了良好的效果,相對于原網(wǎng)絡(luò)大約提升了4%的精度。

表3 各網(wǎng)絡(luò)檢測結(jié)果

算法的收斂情況如圖10所示,根據(jù)圖中曲線所示,最優(yōu)權(quán)重在改進(jìn)的YOLOv5網(wǎng)絡(luò)第87次迭代時產(chǎn)生。

圖10 mAP隨迭代次數(shù)變化情況

圖11～圖14展示了部分檢測結(jié)果,檢測對象分別為不完整軸體和多目標(biāo)缺陷的軸體、凹坑缺陷、擦傷缺陷和劃痕缺陷。該模型網(wǎng)絡(luò)對明顯的缺陷特征如凹坑和擦傷檢測置信度分別高于0.90和0.86、對不明顯小目標(biāo)的缺陷特征如劃痕檢測置信度高于0.79,且對于鏡頭下顯示不完整軸體和多目標(biāo)缺陷軸體的檢測效果較好,能夠滿足實時檢測要求。

圖11 不完整軸體和多目標(biāo)缺陷的軸體

圖12 凹坑

圖13 擦傷

圖14 劃痕

4 結(jié)論

針對軸件表面缺陷檢測的問題,本文提出了一種基于改進(jìn)的YOLOv5網(wǎng)絡(luò)模型對軸件表面缺陷進(jìn)行檢測,并使用自建數(shù)據(jù)集進(jìn)行實驗驗證。

通過增加小目標(biāo)檢測層來增加對軸件表面小目標(biāo)缺陷的檢測效果,能夠有效聚焦于目標(biāo)軸件的檢測,改進(jìn)的YOLOv5網(wǎng)絡(luò)模型相較于原YOLOv5模型在mAP上提升了7%左右;相較于SSD網(wǎng)絡(luò)模型,提升了9%左右;與Faster-RCNN網(wǎng)絡(luò)組對比,提升了4%左右。

同時通過在自建數(shù)據(jù)集中引入顯示不完整的軸件與多目標(biāo)缺陷軸件的數(shù)據(jù)圖像,對于多目標(biāo)缺陷軸件檢測與不完整軸件的檢測效果具有顯著提升,使網(wǎng)絡(luò)可以更有效完成實際生產(chǎn)中多目標(biāo)軸件缺陷以及鏡頭下顯示不完整軸件的缺陷檢測的任務(wù)。

本文所提及的兩種改進(jìn)措施,均可以在軸件表面缺陷檢測中有效的提升檢測精度,并且改進(jìn)的YOLOv5網(wǎng)絡(luò)模型同樣適用于其他工業(yè)生產(chǎn)場景,特別是存在小目標(biāo)以及多目標(biāo)的復(fù)雜缺陷檢測領(lǐng)域中。同時改進(jìn)后的網(wǎng)絡(luò)模型依然還有提升空間,需要進(jìn)一步研究。