基于YOLOv5 的打磨表面質(zhì)量快速評(píng)價(jià)方法

黃震，朱華波，陶友瑞

（1 河北工業(yè)大學(xué) 省部共建電工裝備可靠性與智能化國家重點(diǎn)實(shí)驗(yàn)室，天津 300130；2 河北工業(yè)大學(xué) 機(jī)械工程學(xué)院，天津 300401）

0 引言

在手機(jī)殼噴漆前需要對(duì)手機(jī)殼表面進(jìn)行打磨，打磨質(zhì)量直接影響手機(jī)殼噴漆的效果，打磨面粗糙會(huì)造成手機(jī)殼表面漆層的不均勻，嚴(yán)重時(shí)會(huì)導(dǎo)致漆面的剝落。因此在打磨加工后，需對(duì)工件表面的質(zhì)量進(jìn)行檢測(cè)，并評(píng)價(jià)其是否符合噴漆標(biāo)準(zhǔn)。傳統(tǒng)檢測(cè)是采用針觸法、對(duì)比法和模具法等進(jìn)行抽樣檢查，人工抽樣檢測(cè)的方法會(huì)受到來自多方面的制約限制，可能會(huì)出現(xiàn)漏檢的情況，并且長時(shí)間的工作也會(huì)造成人的視覺疲勞，導(dǎo)致誤檢率逐漸增加。為了避免人工檢測(cè)出現(xiàn)的問題，王武等人［1］設(shè)計(jì)了基于機(jī)器人視覺的手機(jī)殼表面缺陷檢測(cè)的方法，實(shí)現(xiàn)了產(chǎn)品缺陷的自動(dòng)化檢測(cè)。為實(shí)現(xiàn)手機(jī)外殼表面缺陷的自動(dòng)檢測(cè)，文生平等人［2］成功搭建了手機(jī)殼表面缺陷視覺檢測(cè)系統(tǒng)。針對(duì)手機(jī)殼面板表面的幾種缺陷類型的檢測(cè)，張巖等人［3］設(shè)計(jì)了基于黑白面陣CCD在線檢測(cè)系統(tǒng)，并取得了良好的效果，但卻需要在特定的情況下使用。針對(duì)手機(jī)殼表面凹坑、斑點(diǎn)等缺陷特征難識(shí)別的問題，劉源泂等人［4］提出將3 種成像光路分別對(duì)應(yīng)單臺(tái)彩色相機(jī)三通道成像的方法，為多材質(zhì)和多顏色物體表面缺陷檢測(cè)任務(wù)提供了一種基于顏色空間的解決思路?，F(xiàn)階段采用深度學(xué)習(xí)的算法針對(duì)視覺技術(shù)應(yīng)用在特定目標(biāo)的識(shí)別上做出了大量的相關(guān)研究，可廣泛應(yīng)用于識(shí)別檢測(cè)、分類等［5-6］方面。深度學(xué)習(xí)算法主要包括R-CNN［7］、Faster R-CNN［8］、Fast R-CNN［9］和YOLO［10］等檢測(cè)算法，YOLO 算法不需要區(qū)域建議尋求目標(biāo)，具有檢測(cè)速度快，背景誤判率低等優(yōu)點(diǎn)［11］。因此本文提出了一種基于YOLOv5 模型的圖像識(shí)別評(píng)價(jià)方法，實(shí)現(xiàn)了對(duì)加工件表面質(zhì)量缺陷的檢測(cè)識(shí)別，可對(duì)表面質(zhì)量是否符合標(biāo)準(zhǔn)進(jìn)行快速的評(píng)估。

1 打磨表面質(zhì)量評(píng)價(jià)方法

1.1 加工件表面缺陷

機(jī)器人在加工過程中執(zhí)行器與被加工工件表面接觸，執(zhí)行器受到壓力和摩擦力，從而降低機(jī)器人的整體剛度，造成機(jī)器人執(zhí)行器的振動(dòng)，在磨削過程中的振動(dòng)由于振幅過大就會(huì)產(chǎn)生振紋［12］。振紋的產(chǎn)生會(huì)嚴(yán)重影響工件表面的平滑程度，進(jìn)而影響了后續(xù)的噴裝效果。常見的2 種影響加工件表面質(zhì)量的缺陷如圖1 所示。

圖1 缺陷圖Fig.1 Defects map

從圖1 中可以看出，圖1（a）中的條紋是加工件表面的振紋；圖1（b）的黑點(diǎn)是加工件表面斑塊，會(huì)嚴(yán)重影響噴裝效果，因此當(dāng)出現(xiàn)圖1（b）中缺陷時(shí)工件無法進(jìn)行噴漆工作。本文通過對(duì)這2 種缺陷的定量分析，從而達(dá)到對(duì)加工件表面質(zhì)量評(píng)價(jià)的目的。

1.2 表面質(zhì)量評(píng)價(jià)方法設(shè)計(jì)

通過對(duì)打磨機(jī)器人產(chǎn)生的2 種表面缺陷進(jìn)行定量分析，提出了一種打磨面質(zhì)量評(píng)價(jià)方法，具體流程如圖2 所示。

由圖2 可知，考慮到圖1（b）中缺陷的出現(xiàn)會(huì)嚴(yán)重影響加工件表面噴裝，因此當(dāng)加工件表面出現(xiàn)圖1（b）的缺陷時(shí)，工件會(huì)直接進(jìn)行返工處理；沒有檢測(cè)出圖1（b）的缺陷時(shí)，需計(jì)算單位面積內(nèi)的振紋數(shù)量，與預(yù)設(shè)的單位面積內(nèi)的振紋數(shù)量m進(jìn)行比較：大于m時(shí)、返廠加工；小于m時(shí)，工件完成打磨工序，進(jìn)入下一步。

圖2 表面質(zhì)量評(píng)價(jià)流程圖Fig.2 Surface quality evaluation flowchart

振紋的產(chǎn)生會(huì)直接影響工件表面的平滑程度，所以選擇單位面積內(nèi)加工件表面振紋的數(shù)量決定打磨質(zhì)量的高低。研究推得的數(shù)學(xué)公式如下：

其中，p為單位面積振紋數(shù)量；N為加工件表面振紋總數(shù)量；s為加工件表面面積。

2 基于YOLOv5 的表面缺陷檢測(cè)

2.1 YOLOv5 介紹

YOLO 是一種基于深度神經(jīng)網(wǎng)絡(luò)的對(duì)象識(shí)別和定位算法，具有結(jié)構(gòu)簡單、檢測(cè)速度快和識(shí)別準(zhǔn)確等特點(diǎn)。YOLOv5 是目前YOLO 系列中最新的實(shí)時(shí)目標(biāo)檢測(cè)算法，在集成YOLOv4 算法優(yōu)勢(shì)的同時(shí)，也對(duì)主干網(wǎng)絡(luò)進(jìn)行了優(yōu)化，提高對(duì)小目標(biāo)的準(zhǔn)確度。在YOLOv5中，有4 種控制網(wǎng)絡(luò)結(jié)構(gòu)的模型，分別是：YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x，網(wǎng)絡(luò)的深度直接影響檢測(cè)器的檢測(cè)精度和速度。4 種模型的官方性能測(cè)試結(jié)果顯示［13］，YOLOv5s 模型與其他3 種模型相比，具有模型最小和速度最快的優(yōu)點(diǎn)，因此本文選用YOLOv5s 模型。

2.2 改進(jìn)YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)

為了對(duì)模型輕量化的同時(shí)提高檢測(cè)的精度，采用Ghost Bottleneck 模塊來取代YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)中的Bottleneck［14］，詳見圖3。該模塊是一種即插即用的模塊，由2 個(gè)堆疊的Ghost 模塊組成，通過一組內(nèi)在的缺陷映射，利用簡單的線性變化生成更多的Ghost 缺陷映射，這些映射可以充分提取內(nèi)在的缺陷信息，進(jìn)而提高了缺陷提取能力。

圖3 Ghost Bottleneck 模塊Fig.3 Ghost Bottleneck module

本文研究的打磨表面缺陷具有不易識(shí)別、缺陷個(gè)體小的特點(diǎn)，為了讓網(wǎng)絡(luò)自適應(yīng)地注意一個(gè)重要缺陷，因此在模型結(jié)構(gòu)中引入了CBAM 模塊。該模塊會(huì)對(duì)輸入的缺陷層，分別進(jìn)行通道注意力機(jī)制和空間注意力機(jī)制的處理。其中，注意力機(jī)制的實(shí)現(xiàn)主要對(duì)單個(gè)缺陷層，依次進(jìn)行全局平均池化和全局最大池化，再對(duì)2 個(gè)結(jié)果利用共享的全連接層進(jìn)行處理，將2 個(gè)處理后的結(jié)果進(jìn)行相加，而后通過sigmoid函數(shù)，獲得輸入缺陷層每一個(gè)通道的權(quán)值。將權(quán)值乘上原輸入缺陷層，最終得到輸出不同比重通道的缺陷圖。空間注意力機(jī)制的實(shí)現(xiàn)是對(duì)單個(gè)缺陷層，在每一個(gè)缺陷點(diǎn)的通道上取最大值和平均值，并將2 個(gè)結(jié)果進(jìn)行堆疊，利用一次通道數(shù)為1 的卷積調(diào)整通道數(shù)，接著又通過sigmoid函數(shù)，獲得輸入缺陷層每一個(gè)通道的權(quán)值。將權(quán)值乘上原輸入缺陷層，最終得到輸出不同比重通道的缺陷圖。改進(jìn)的YOLOv5 模型結(jié)構(gòu)如圖4 所示。

圖4 改進(jìn)的YOLOv5 模型結(jié)構(gòu)Fig.4 Improved YOLOv5 model structure

為了讓模型識(shí)別缺陷訓(xùn)練得更好，在損失函數(shù)模型中，利用IoU指標(biāo)［15］構(gòu)建了目標(biāo)框與預(yù)測(cè)框位置損失函數(shù)CIoU_Loss，再利用FocalLoss評(píng)價(jià)指標(biāo)構(gòu)建目標(biāo)框與預(yù)測(cè)框類別損失和置信度損失Focal_Loss，CIoU_Loss損失函數(shù)公式如下：

其中，IoU為預(yù)測(cè)框與真實(shí)框之間的交并比；Dis_C為待檢測(cè)目標(biāo)最小外接矩形對(duì)角線距離；Dis_2 為待檢測(cè)目標(biāo)真實(shí)框與預(yù)測(cè)框中心點(diǎn)的距離；v為衡量長寬比一致性參數(shù)。

研究指出，IoU是預(yù)測(cè)框與真實(shí)框之間的交并比，IoU數(shù)學(xué)定義式見如下：

其中，A為預(yù)測(cè)框，B為真實(shí)框。

這里的v是衡量長寬比一致性參數(shù)，其計(jì)算公式見如下：

其中，wgt為真實(shí)框?qū)挾?；hgt真實(shí)框高度；wp為預(yù)測(cè)框?qū)挾龋籬p為預(yù)測(cè)框高度。

與此同時(shí)，研究推出的Focal_Loss損失函數(shù)計(jì)算公式見如下：

其中，pt為預(yù)測(cè)樣本概率，γ為常數(shù)參數(shù)。

2.3 實(shí)驗(yàn)設(shè)置

本次實(shí)驗(yàn)運(yùn)行的環(huán)境：CPU 為Intel（R）Core（TM）i7-8650U，GPU 為Intel（R）UHD Graphics 620，內(nèi)存為16 G，操作系統(tǒng)為Windows10，開發(fā)語言為Python，Pytorch 框架。

手機(jī)殼表面質(zhì)量檢測(cè)模型訓(xùn)練采用的是打磨機(jī)器人加工出的工件表面數(shù)據(jù)集，作為YOLOv5 模型的訓(xùn)練輸入和檢測(cè)目標(biāo)，為訓(xùn)練集提供300 張圖片。該數(shù)據(jù)集包含2 種常見的打磨加工件表面缺陷，分別為：振紋和斑塊。

為加強(qiáng)模型的泛化能力，使模型采集到更多的特征缺陷信息，在原始數(shù)據(jù)的基礎(chǔ)上對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充。通過對(duì)原始數(shù)據(jù)進(jìn)行鏡像、旋轉(zhuǎn)、對(duì)比度變換的方法，將300 張已加工手機(jī)殼表面圖片擴(kuò)展到1 500張作為訓(xùn)練集。用labellmg 軟件標(biāo)注圖像缺陷，將振紋缺陷設(shè)定成a，斑塊缺陷設(shè)定成b，將標(biāo)定完成的圖像保存成xml 格式的文件，再將其輸入到訓(xùn)練模型進(jìn)行訓(xùn)練。

模型通過多次的Epoch訓(xùn)練進(jìn)行逐步的學(xué)習(xí)，在150個(gè)Epoch后逐漸平穩(wěn)，在訓(xùn)練過程中記錄模型Precision曲線如圖5 所示。圖5中，Precision表示精度，值越高、說明精度越高。模型改進(jìn)前預(yù)測(cè)曲線參見圖5（a），預(yù)測(cè)曲線在訓(xùn)練達(dá)到25個(gè)Epoch時(shí)曲線總體上升趨勢(shì)逐漸減小，在150個(gè)Epoch達(dá)到平穩(wěn)，穩(wěn)定在72%。模型改進(jìn)后預(yù)測(cè)曲線參見圖5（b），預(yù)測(cè)曲線明顯比改進(jìn)前的上升趨勢(shì)大，同時(shí)在150個(gè)Epoch達(dá)到平穩(wěn)，穩(wěn)定在79%。由此可知，改進(jìn)后的模型訓(xùn)練情況更好。

圖5 改進(jìn)YOLOv5 前后對(duì)比Fig.5 YOLOv5 model results comparison before and after the improvement

本文為提升YOLOv5 模型的精度，對(duì)模型進(jìn)行了改進(jìn)。改進(jìn)后的YOLOv5 在精度方面：對(duì)圖1（a）中缺陷的檢測(cè)精度提高了19.2%，達(dá)79.5%，改進(jìn)前召喚率為56.1%，改進(jìn)后提升了7.1%；圖1（b）缺陷的檢測(cè)精度提高了14.2%，達(dá)85.4%，改進(jìn)前召喚率為70.8%，改進(jìn)后提升了5.4%，有效改善了模型漏檢的問題。因此，本文通過改進(jìn)YOLOv5 網(wǎng)絡(luò)模型可以提高檢測(cè)的精度，改進(jìn)的YOLOv5 算法前后性能對(duì)比，見表1。

表1 YOLOv5 算法改進(jìn)前后性能對(duì)比Tab.1 Performance comparison before and after the improvement of the YOLOv5 algorithm

3 手機(jī)殼表面打磨質(zhì)量評(píng)價(jià)實(shí)驗(yàn)

3.1 打磨實(shí)驗(yàn)

機(jī)器人在不同的加工路徑、加工位置會(huì)對(duì)機(jī)器人整體的加工剛度、及表面加工質(zhì)量產(chǎn)生影響，因此本文設(shè)計(jì)了機(jī)器人在不同切入點(diǎn)和加工路徑的打磨對(duì)比實(shí)驗(yàn)。通過提出的表面評(píng)價(jià)方法來判定加工表面質(zhì)量是否符合標(biāo)準(zhǔn)，同時(shí)找出對(duì)比實(shí)驗(yàn)中的最佳打磨方式。實(shí)驗(yàn)選擇加工的工件為手機(jī)殼，材質(zhì)為鋁合金，鋁合金具有良好的塑性和易于加工的特點(diǎn)。選取的打磨頭為方形打磨頭，打磨深度為0.2 mm，打磨拋光多功能砂紙為240目，打磨頭進(jìn)給速度為3.75 mm／s，設(shè)定了2 種加工路徑，其運(yùn)動(dòng)軌跡如圖6 所示。

圖6 加工路徑軌跡Fig.6 Machining path track

在磨削深度以及磨削參數(shù)不變的工況下，選擇4 個(gè)不同的打磨進(jìn)刀點(diǎn)，進(jìn)刀點(diǎn)與機(jī)器人的相對(duì)位置如圖7 所示。圖7中，1 和4 距離機(jī)器人最近，2和3 距離機(jī)器人最遠(yuǎn)。

圖7 機(jī)器人與切入點(diǎn)相對(duì)位置Fig.7 The position of the robot relative to the entry point

實(shí)驗(yàn)中的4 個(gè)打磨進(jìn)刀點(diǎn)，每個(gè)進(jìn)刀點(diǎn)進(jìn)行軌跡a、b兩種路徑的加工方式。編號(hào)1～8 代表工件每個(gè)切入點(diǎn)的不同路徑：編號(hào)3、4、7 和8 屬于軌跡a在不同切入點(diǎn)的打磨路徑；編號(hào)1、2、5 和6 屬于軌跡b在不同切入點(diǎn)的打磨路徑。

圖8 切入點(diǎn)與路徑Fig.8 Pointcuts and paths

3.2 缺陷檢測(cè)

手機(jī)殼是平放在加工臺(tái)上，通過打磨機(jī)器人對(duì)手機(jī)殼進(jìn)行打磨，要采集加工件表面的圖像，在加工臺(tái)的正上方安裝一個(gè)相機(jī)。為了讓相機(jī)更好地采集圖像需要在加工臺(tái)的側(cè)面進(jìn)行光照，將圖像上傳到訓(xùn)練模型中，得出加工后工件表面的識(shí)別效果圖，如圖9 所示。圖9中，標(biāo)號(hào)a為對(duì)加工件表面振紋的標(biāo)定，標(biāo)號(hào)b為斑塊的標(biāo)定，改進(jìn)后的YOLOv5 可以有效檢測(cè)出2 種缺陷，滿足實(shí)驗(yàn)需求。

圖9 工件表面檢測(cè)效果Fig.9 Workpiece surface detection effect

3.3 實(shí)驗(yàn)結(jié)果與分析

采集8 種路徑下打磨加工實(shí)驗(yàn)的手機(jī)殼表面圖像的缺陷，根據(jù)單位面積內(nèi)振紋數(shù)量判斷打磨質(zhì)量。實(shí)驗(yàn)中將8 種打磨路徑進(jìn)行多組的打磨實(shí)驗(yàn)，經(jīng)過多次的實(shí)驗(yàn)得出：對(duì)打磨件缺陷進(jìn)行識(shí)別以及評(píng)價(jià)表面質(zhì)量是否合格的總時(shí)長平均在700 ms 左右，遠(yuǎn)高于人工檢測(cè)。通過YOLOv5 模型檢測(cè)出的打磨表面缺陷數(shù)量，如圖10 所示，各路徑單位面積內(nèi)振紋數(shù)量，如圖11 所示。

圖10 打磨表面缺陷數(shù)量Fig.10 Number of polished surface defects

圖11 各路徑單位面積內(nèi)振紋數(shù)量Fig.11 The number of vibration lines per unit area of each path

由圖10 可得，路徑7 打磨質(zhì)量明顯優(yōu)于其他路徑打磨，單位面積內(nèi)的振紋最少，打磨質(zhì)量更好。4種軌跡a的打磨路徑：手機(jī)殼表面質(zhì)量依次7＞4＞8＞3；4 種軌跡b打磨路徑：手機(jī)殼表面質(zhì)量依次為6＞5＞2＞1；說明軌跡a打磨路徑比軌跡b打磨的手機(jī)殼表面質(zhì)量高，且切入點(diǎn)4 位置優(yōu)于其他3 點(diǎn)。但根據(jù)1.2 節(jié)提出的表面質(zhì)量流程評(píng)價(jià)方法，對(duì)8種加工路徑下的表面質(zhì)量進(jìn)行評(píng)價(jià)，在路徑3、5 和8 中出現(xiàn)了缺陷b，可知2 種路徑不符合加工，因此在加工最優(yōu)的切入點(diǎn)4 時(shí)不能按照路徑8 進(jìn)行打磨。預(yù)設(shè)在本實(shí)驗(yàn)中單位面積內(nèi)的振紋數(shù)量m設(shè)定為2，則僅有路徑4、7 符合加工條件。實(shí)驗(yàn)結(jié)果表明該方法可以有效地快速識(shí)別表面缺陷，并對(duì)加工件表面質(zhì)量是否符合要求進(jìn)行評(píng)估。

4 結(jié)束語

為提高加工件表面特征的提取能力改進(jìn)了YOLOv5 模型，引入注意力機(jī)制對(duì)特征圖不同通道進(jìn)行權(quán)衡的方法實(shí)現(xiàn)對(duì)加工件表面振紋和斑塊兩種缺陷的檢測(cè)，在檢測(cè)精度方面獲得了較大的提升。同時(shí)基于YOLOv5 模型提出了一種對(duì)打磨加工件表面質(zhì)量快速評(píng)價(jià)的方法，實(shí)驗(yàn)結(jié)果表明該方法可對(duì)加工件表面缺陷進(jìn)行定量有效分析，從而判斷加工件表面質(zhì)量是否符合標(biāo)準(zhǔn)的快速評(píng)價(jià)，減少了人工測(cè)量的主觀干擾，同時(shí)使整個(gè)加工流程更加自動(dòng)化。