汽車后雨刮裝配中支撐塑料帽在線缺陷檢測

陳 淳，陳燚濤，柳 雄，宋志峰，劉 旺

汽車后雨刮裝配中支撐塑料帽在線缺陷檢測

陳 淳，陳燚濤*，柳 雄，宋志峰，劉 旺

（武漢紡織大學(xué) 機(jī)械工程與自動(dòng)化學(xué)院，湖北 武漢 430200）

針對支撐塑料帽這種薄壁、小型零件在汽車后雨刮器齒輪連桿機(jī)構(gòu)自動(dòng)裝配中存在裂紋、破損及漏裝等多類型缺陷，導(dǎo)致人工很難在線識別、傳統(tǒng)機(jī)器視覺辨識度不高的問題，本文在基于YOLO v3網(wǎng)絡(luò)多目標(biāo)缺陷檢測算法的基礎(chǔ)上，采用k-means聚類方法，使用平均重疊度重新選取目標(biāo)區(qū)域候選邊界框尺寸加快了目標(biāo)檢測識別速度及精度；同時(shí)使用Mish激活函數(shù)替換YOLO v3網(wǎng)絡(luò)普遍采用的Leaky ReLU激活函數(shù)，強(qiáng)化了網(wǎng)絡(luò)學(xué)習(xí)能力。實(shí)驗(yàn)結(jié)果表明，相較于傳統(tǒng)的YOLO v3算法，本文改進(jìn)的YOLO v3具有更高的檢測精度和檢測速度。該在線缺陷檢測方法成功應(yīng)用在實(shí)際汽車后雨刮自動(dòng)裝配線中，滿足了支撐塑料帽在線缺陷檢測的速度和精度要求，有效地提高了汽車后雨刮器齒輪連桿機(jī)構(gòu)總成裝配質(zhì)量。

機(jī)器視覺；目標(biāo)檢測；卷積神經(jīng)網(wǎng)絡(luò)；YOLO v3

0 引言

支撐塑料帽是汽車后雨刮器齒輪連桿機(jī)構(gòu)上的一個(gè)關(guān)鍵結(jié)構(gòu)零件，由于其尺寸小、壁薄，所以在裝配過程中容易出現(xiàn)裂紋、破損、漏裝等缺陷，而在自動(dòng)裝配線上一般很難被發(fā)現(xiàn)。一旦缺陷零部件被裝配成總成后，在使用過程中破裂的支撐塑料帽殘片會(huì)卡死傳動(dòng)齒輪，從而導(dǎo)致雨刮器異常噪聲和跳動(dòng)、電機(jī)過流燒毀等嚴(yán)重問題。

對于此類小尺寸多缺陷類型的零件，在自動(dòng)裝配過程中常用基于機(jī)器視覺的多目標(biāo)檢測方式[1-4]，其中基于YOLO網(wǎng)絡(luò)目標(biāo)檢測是一種常用方法。高春艷等[5]采用了YOLO v3網(wǎng)絡(luò)對汽車底部危險(xiǎn)微小物品進(jìn)行目標(biāo)檢測；林志成等[6]利用多尺度訓(xùn)練的YOLO v3網(wǎng)絡(luò)檢測了電力巡檢圖片中的防鳥刺區(qū)域，實(shí)現(xiàn)防鳥刺部件的識別和故障檢測；岳曉新等[7]提出了一種改進(jìn)的YOLO v3用于道路小目標(biāo)檢測，降低了小目標(biāo)的漏檢率，提高了檢測的精度和速度；庾彩紅等[8]提出用YOLO v4實(shí)現(xiàn)空心杯電樞表面缺陷檢測。

為了實(shí)現(xiàn)汽車后雨刮器自動(dòng)裝配線中支撐塑料帽各種缺陷的在線快速檢測，本文對YOLO v3網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)以保證在檢測實(shí)時(shí)性的基礎(chǔ)上提高圖像識別精度；利用k-means重新聚類，采用平均重疊度，重新選取區(qū)域候選框，加快識別速度；采用遷移學(xué)習(xí)方法的YOLO網(wǎng)絡(luò)訓(xùn)練以解決缺陷訓(xùn)練樣本不足等問題。

1 對象分析及檢測方案

1.1 對象結(jié)構(gòu)及主要缺陷

圖1中的a是一種汽車后雨刮器的動(dòng)力組件，包含了驅(qū)動(dòng)電機(jī)、蝸輪蝸桿傳動(dòng)機(jī)構(gòu)、角度放大傳動(dòng)機(jī)構(gòu)及壓鑄外罩等；b是汽車后雨刮器的角度放大傳動(dòng)機(jī)構(gòu)，它是后雨刮器的關(guān)鍵功能部件；c是角度放大傳動(dòng)機(jī)構(gòu)的驅(qū)動(dòng)齒輪組件，本文的研究對象就是該組件上面的支撐塑料帽。支撐塑料帽為PE材質(zhì)，壓裝在驅(qū)動(dòng)齒輪組件的直銷頂端，塑料帽頂端與動(dòng)力組件的壓鑄外罩內(nèi)壁接觸，其主要功能是支撐角度放大傳動(dòng)機(jī)構(gòu)，保證角度放大傳動(dòng)機(jī)構(gòu)在運(yùn)行過程中不出現(xiàn)上下竄動(dòng)和偏擺，從而保證雨刮器無噪音地平穩(wěn)運(yùn)轉(zhuǎn)。

圖1 汽車后雨刮動(dòng)力組件

圖2是支撐塑料帽在角度放大傳動(dòng)組件裝配過程中可能出現(xiàn)的幾種主要缺陷。其中(a)為塑料帽注塑成形過程中由于注塑工藝參數(shù)等原因?qū)е碌奈醋M缺陷；(b)為塑料帽在壓裝到圓柱銷過程中出現(xiàn)的塑料帽開裂缺陷；(c)為裝配過程漏裝塑料帽；(d)為塑料帽壓裝速度過快或壓力過小導(dǎo)致的未裝配到位的缺陷。以上這4種缺陷導(dǎo)致的不良品在驅(qū)動(dòng)齒輪組件裝配過程中必須正確識別并剔除至不合品箱中，否則如果不良品流轉(zhuǎn)到成品中可能會(huì)導(dǎo)致角度放大傳動(dòng)機(jī)構(gòu)無法正常裝配或裝配后出現(xiàn)噪音、振動(dòng)甚至卡死燒毀電機(jī)的嚴(yán)重質(zhì)量問題。在采用機(jī)器視覺檢測支撐塑料帽主要缺陷時(shí)還需要盡量避免將(e)和(f)這兩類正常零件誤判為不良品，其中(e)為塑料帽注塑成形時(shí)正常產(chǎn)生的澆點(diǎn)，(f)為塑料帽粘附了裝配工裝夾具上的油污導(dǎo)致的局部污點(diǎn)，否則裝配過程中可能因誤判而產(chǎn)生大量不良品，從而降低產(chǎn)線效率。

圖2 支撐塑料帽在裝配中的主要缺陷

1.2 塑料帽缺陷檢測方案

角度放大傳動(dòng)機(jī)構(gòu)的裝配過程采用了多工位全自動(dòng)裝配流水線布置方案，驅(qū)動(dòng)齒輪組件裝配是該流水線的一條子流水線，其裝配流程如圖3所示。

圖3 驅(qū)動(dòng)齒輪組件裝配及檢測方案

如圖4塑料帽缺陷檢測平臺圖所示，為了盡量簡化和減少自動(dòng)裝配流水線的結(jié)構(gòu)，驅(qū)動(dòng)齒輪組件裝配時(shí)采用了齒輪姿態(tài)固定的裝配方案，而支撐塑料帽出現(xiàn)缺陷的位置不固定，可能沿圓周分布在任意位置，為了全面獲取塑料帽完整的外部圖像，圖像采集系統(tǒng)采用4個(gè)海康MV-CA060-11GM面陣灰度相機(jī)，相機(jī)沿塑料帽圓周間隔90°布置，相機(jī)分辨率為3072×2048，固定焦距為6mm，通過千兆以太網(wǎng)接口實(shí)時(shí)傳輸非壓縮圖像，光源選用環(huán)形藍(lán)色漫反射光源，確保對工件能夠進(jìn)行穩(wěn)定且可重復(fù)的檢測，同時(shí)為避免塑料帽底層金屬反光。

圖4 塑料帽缺陷檢測平臺

2 基于改進(jìn)YOLO v3模型的缺陷檢測

為了使YOLO v3網(wǎng)絡(luò)算法更適用于塑料帽目標(biāo)檢測數(shù)據(jù)集，本文對算法進(jìn)行了如下改進(jìn)：首先對于塑料帽數(shù)據(jù)集進(jìn)行k-means聚類分析，根據(jù)聚類的結(jié)果確定算法中的邊界框尺寸大??；然后修改YOLO v3網(wǎng)絡(luò)算法的激活函數(shù)，將原來的Leaky ReLU更改為Mish激活函數(shù)，提高了網(wǎng)絡(luò)模型的魯棒性，緩解梯度的消失問題，加速模型的收斂。

2.1 目標(biāo)框重新聚類分析

YOLO v3算法[9]引入了anchor的概念，這是一種針對不同尺度的網(wǎng)絡(luò)層而確立的一種初始候選框，而在以前的目標(biāo)檢測算法當(dāng)中，主要靠手工選擇候選框的尺寸的大小，主觀的做法對于檢測效果不太理想。所以，利用k-means算法對訓(xùn)練集中的實(shí)際邊界框進(jìn)行聚類，并根據(jù)聚類的結(jié)果選擇出具有客觀性、代表性的候選框。

標(biāo)準(zhǔn)的YOLO v3網(wǎng)絡(luò)采用8倍降采樣后的特征圖用于檢測對象中的小目標(biāo)，由于被檢測工件缺陷以及誤判點(diǎn)尺寸較小，經(jīng)過8倍降采樣后，易丟失較小的缺陷位置信息，造成錯(cuò)檢或漏檢的情況。為了解決上述問題，需要提取特征后的信息，在Faster R-CNN中借鑒anchor boxes的概念，使用k-means聚類，并采用平均重疊度(Averange Interscection over Union,Avg IoU)，重新選取一個(gè)固定大小的區(qū)域候選框，其目標(biāo)函數(shù)為：

本文針對現(xiàn)場采樣尺寸為3072×2048pix的圖像照片，采用優(yōu)化聚類方法對目標(biāo)缺陷數(shù)據(jù)集的分類進(jìn)行聚類分析，選擇對應(yīng)K值為9的K-Means聚類算法迭代后選擇相應(yīng)Anchor Box的寬高，表1展示了聚類方法優(yōu)化前后的Anchor Box。

表1 聚類方法前后的Anchor Box

2.2 激活函數(shù)改進(jìn)

大多數(shù)圖像數(shù)據(jù)的呈現(xiàn)為非線性，而一般的神經(jīng)網(wǎng)絡(luò)的計(jì)算是線性的，而引入激活函數(shù)，可以在神經(jīng)網(wǎng)絡(luò)中引入非線性，強(qiáng)化網(wǎng)絡(luò)的學(xué)習(xí)能力。

原始YOLO v3網(wǎng)絡(luò)中的激活函數(shù)為Leaky ReLU，是一種專門設(shè)計(jì)用于解決Dead ReLU問題的激活函數(shù)，即當(dāng)輸入為負(fù)時(shí)，ReLU完全失效，在正向傳播過程中，有些區(qū)域很敏感，有些則不敏感；但是在反向傳播過程之中，如果輸入為負(fù)數(shù)，那么梯度將完全為0，其函數(shù)為：

把YOLO v3的激活函數(shù)由Leaky ReLU更改為Mish激活函數(shù)，該函數(shù)正值可以達(dá)到任意高度，以避免封頂而造成的飽和，復(fù)制允許有一個(gè)較好的梯度流，避免了ReLU的硬零邊界，并且Mish激活函數(shù)和Leaky ReLU激活函數(shù)相比，Mish激活函數(shù)更加平滑，使更好的信息能深入神經(jīng)網(wǎng)絡(luò)，從而獲得更好的準(zhǔn)確性和泛化。其函數(shù)為：

2.3 結(jié)果對比

式中：TP代表預(yù)測樣本有缺陷，實(shí)際樣本有缺陷；FP代表預(yù)測樣本有缺陷，實(shí)際樣本沒有缺陷；FN代表預(yù)測樣本沒有缺陷，實(shí)際樣本有缺陷；TN代表預(yù)測樣本沒有缺陷，實(shí)際樣本沒有缺陷。

為了評估本文所述方法的效果，采用相同的樣本圖片，分別使用了YOLO v3、YOLO V4和本文使用的改進(jìn)YOLO v3算法，分別在無GPU和有GPU硬件平臺下進(jìn)行了樣本訓(xùn)練和對比測試，測試數(shù)據(jù)結(jié)果如表2、表3所示。

表2 與同類算法mAP對比表

表3 與同類算法各缺陷種類準(zhǔn)確率實(shí)驗(yàn)結(jié)果對比表

從表2可以看出，經(jīng)過訓(xùn)練之后的三種模型，在檢測速度上，本文所改進(jìn)的YOLO v3模型速度在GPU環(huán)境能夠達(dá)到60ms/張，無GPU環(huán)境下能夠達(dá)到550ms/張，明顯比另外兩種模型的檢測速度都快，說明該改進(jìn)模型具有良好的時(shí)效性。

從表3可以看出，除了無塑料帽這一種缺陷的檢測上，三種模型的準(zhǔn)確率是一致的，其余五種的準(zhǔn)確率均是改進(jìn)的YOLO v3模型更高，說明該改進(jìn)的模型具有良好的缺陷識別性能。

3 算法應(yīng)用

3.1 數(shù)據(jù)集準(zhǔn)備以及模型訓(xùn)練

支撐塑料帽缺陷數(shù)據(jù)樣本集通過圖4所示的檢測平臺在實(shí)際生產(chǎn)過程中實(shí)時(shí)采集獲取。因?yàn)閷?shí)際缺陷數(shù)據(jù)樣本較少，為了獲得更多的樣本照片，使用圖片數(shù)據(jù)增強(qiáng)，包括亮度，裁剪，旋轉(zhuǎn)，平移和鏡像等，將圖片數(shù)據(jù)增加到4125張，使用圖片標(biāo)注工具Labelimg，標(biāo)注缺陷種類共6種，分別是油污、裂縫、澆點(diǎn)、缺口、無塑料帽以及未裝配到位，劃分訓(xùn)練集和測試集的數(shù)量比為7:3。

表4 YOLO_v3訓(xùn)練模型參數(shù)

3.2 工業(yè)流程

（1）如圖5工業(yè)流程圖所示，該種塑料帽在線缺陷檢測工業(yè)流程如下：

將塑料帽零件缺陷圖使用Labelimg進(jìn)行人工標(biāo)注，然后使用改進(jìn)的YOLO v3網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到預(yù)測模型。

（3）為了更進(jìn)一步的提高預(yù)測模型的準(zhǔn)確率，針對識別結(jié)果為缺陷種類的圖片，將其保存到塑料帽零件缺陷圖文件夾中，以2個(gè)星期為周期，將新的不良品照片加入訓(xùn)練集，進(jìn)行后續(xù)的再訓(xùn)練，提高模型的準(zhǔn)確率，同時(shí)將該零件投入廢品箱中不再使用；反之，若是良品，則進(jìn)行后續(xù)工序的組裝。

圖5 工業(yè)檢測流程圖

3.3 工業(yè)應(yīng)用

如圖6模型訓(xùn)練界面所示，在加入了2個(gè)周期（即1個(gè)月）的實(shí)際生產(chǎn)不良品圖片之后，使用改進(jìn)的YOLO v3再次進(jìn)行訓(xùn)練，可以看到mAP和各種缺陷的準(zhǔn)確率有明顯的提升。

圖6 模型訓(xùn)練圖

實(shí)際生產(chǎn)時(shí)軟件界面如圖7所示，工廠實(shí)際生產(chǎn)一天累計(jì)總共3412件，合格個(gè)數(shù)可達(dá)3384件，塑料帽缺陷識別準(zhǔn)確率為99.18%，該數(shù)據(jù)可以表明，經(jīng)過改進(jìn)的YOLO v3算法可以有效的識別出塑料帽缺陷。

圖7 軟件界面圖

4 結(jié)論

把YOLO v3技術(shù)應(yīng)用于汽車后雨刮支撐塑料帽的檢測領(lǐng)域，提出了一種基于改進(jìn)YOLO v3技術(shù)的工業(yè)塑料帽零件的實(shí)時(shí)檢測方法，該方法通過對特定工業(yè)零件進(jìn)行修正，使用k-means聚類重新生成邊界框尺寸，同時(shí)替換使用Mish激活函數(shù)強(qiáng)化網(wǎng)絡(luò)學(xué)習(xí)能力。從實(shí)驗(yàn)數(shù)據(jù)對比來看，基于改進(jìn)YOLO v3的塑料帽零件檢測方法可以實(shí)現(xiàn)對后雨刮支撐塑料帽組件的實(shí)時(shí)有效檢測。所用YOLO v3算法目標(biāo)檢測平均精度為97.89%，檢測速率在GPU環(huán)境下為60ms/張，在無GPU環(huán)境下為550ms/張，橫向?qū)Ρ萗OLO v3以及YOLO v4均有較好的評價(jià)指標(biāo)，驗(yàn)證了該種改進(jìn)的有效性和優(yōu)越性。

[1] 尹宏鵬, 陳波, 柴毅, 等. 基于視覺的目標(biāo)檢測與跟蹤綜述[J]. 自動(dòng)化學(xué)報(bào)，2016,42(10):1466-1489.

[2] 李章維, 胡安順, 王曉飛.基于視覺的目標(biāo)檢測方法綜述[J].計(jì)算機(jī)工程與應(yīng)用,2020,56(8):1-9.

[3] Zhao Z Q, Zheng P, Xu S T, et al. Object detection with deep learning: a review[J]. IEEE Translations on Neural Networks & Learning Systems, 2019, 30(11):3212-3232.

[4] Ariji Y, Yanashita Y, Kutsuna S, et al. Automatic detection and classification of radiolucent lesions in the mandible on panoramic radiographs using a deep learning object detection technique[J]. Oral surgery, oral medicine, oral pathology and oral radiology, 2019, 128(4): 424-430.

[5] 高春艷, 趙文輝, 張明路, 等. 一種基于YOLOv3的汽車底部危險(xiǎn)目標(biāo)檢測算法[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版), 2020, 53(4): 358 - 365.

[6] 林志成, 繆希仁, 江灝, 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的輸電線路防鳥刺部件識別與故障檢測[J]. 電網(wǎng)技術(shù), 2021, 45(1):126 - 133.

[7] 岳曉新, 賈君霞, 陳喜東, 等. 改進(jìn)YOLO V3的道路小目標(biāo)檢測[J]. 計(jì)算機(jī)工程與應(yīng)用, 2020, 56(21): 218-223. 2005-0340.

[8] 庾彩紅, 黃海松, 曾鋒, 等. 基于YOLO_v4的空心杯電樞表面缺陷實(shí)時(shí)檢測[J]. 組合機(jī)床與自動(dòng)化加工技術(shù), 2021, (6):59-62+66.

[9] Redmon J, Farhadi A. Yolov3: An incremental improvement[J]. arXiv preprint arXiv:1804.02767, 2018.

Online Defect Detection of Support Plastic Caps in Automotive Rear Wiper Assembly

CHEN Chun, CHEN Yi-tao, LIU Xiong, SONG Zhi-feng, LIU Wang

(School of Mechanical Engineering and Automation, Wuhan Textile University, Wuhan Hubei 430200, China)

To address the problem that it is difficult to manually identify multiple types of defects such as cracks, breakage and leakage in the automatic assembly of the rear wiper gear linkage mechanism of automobiles, and that the traditional machine vision recognition is not high, this paper adopts the k-means clustering method based on the multi-target defect detection algorithm of YOLO v3 network, and re-selects the target area using the average overlap. The candidate bounding box size speeds up the target detection and recognition speed and accuracy; meanwhile, the Mish activation function is used to replace the Leaky ReLU activation function commonly used in YOLO v3 network to strengthen the network learning ability. The experimental results show that the improved YOLO v3 in this paper has higher detection accuracy and detection speed compared with the traditional YOLO v3 algorithm. The online defect detection method is successfully applied in the actual automotive rear wiper automatic assembly line, which meets the speed and accuracy requirements of online defect detection of the support plastic cap and effectively improves the assembly quality of the automotive rear wiper gear linkage mechanism.

machine vision; target detection; convolutional neural network; YOLO v3

陳燚濤（1972-），男，教授，碩士生導(dǎo)師，研究方向：精沖技術(shù)與精沖模具.

TP368.1

A

2095－414X(2022)02－0016－05