微型直流電機(jī)端蓋裝配質(zhì)量在線視覺(jué)檢測(cè)技術(shù)

南瑞亭， 黃 堅(jiān)

(1. 廣州市交通技師學(xué)院，廣東 廣州 510540; 2. 華南理工大學(xué)機(jī)械與汽車(chē)工程學(xué)院，廣東 廣州 510640)

0 引 言

中國(guó)是全球微型電機(jī)的第一大生產(chǎn)國(guó)，2019年中國(guó)微型電機(jī)產(chǎn)量達(dá)136億臺(tái)，占全球73.9%。目前微型電機(jī)產(chǎn)品已有數(shù)千品種，下游應(yīng)用涉及各行各業(yè)。電機(jī)制造工序多，涉及精密機(jī)械、精細(xì)化工、微細(xì)加工、磁材料處理、繞組制造、絕緣處理等工藝技術(shù)，簡(jiǎn)而言之，微型電機(jī)行業(yè)是勞動(dòng)密集型、技術(shù)密集型產(chǎn)業(yè)。

微型直流電機(jī)配質(zhì)量的在線視覺(jué)檢測(cè)，屬于微型直流電機(jī)智能制造的關(guān)鍵工序[1]。在電機(jī)裝配中，端蓋面上正負(fù)極涂裝、電機(jī)殼沖壓卡接部位、引線、插座等零部件裝配質(zhì)量檢測(cè)，主要采用人工目視檢測(cè)，存在勞動(dòng)強(qiáng)度大、效率低等問(wèn)題[2]。實(shí)現(xiàn)微型直流電機(jī)端蓋裝配質(zhì)量自動(dòng)化、智能化檢測(cè)，有助于提高電機(jī)檢測(cè)技術(shù)水平。

中國(guó)電子科技集團(tuán)公司(2017)突破電機(jī)鐵心的視覺(jué)識(shí)別與定位算法，提高了機(jī)器人適應(yīng)復(fù)雜工況的能力，搭建的系統(tǒng)可實(shí)現(xiàn)電機(jī)鐵心的分揀、搬運(yùn)和位姿調(diào)整[3]。文獻(xiàn)[4](2017)為實(shí)現(xiàn)小型電機(jī)的機(jī)器人自動(dòng)裝配，以德國(guó)MVTec Software Gmb H公司開(kāi)發(fā)的MERLIC圖像處理軟件為支撐，實(shí)現(xiàn)小型電機(jī)裝配目標(biāo)零件定位、鎖緊孔位置匹配轉(zhuǎn)角計(jì)算和機(jī)器人控制三大基本功能，最終控制機(jī)器人完成小型電機(jī)的自動(dòng)裝配。武漢工程大學(xué)(2018)提出了一種基于機(jī)器視覺(jué)的對(duì)比測(cè)量方法，通過(guò)對(duì)待測(cè)軸與標(biāo)準(zhǔn)軸圖像進(jìn)行濾波、二值化、邊緣提取與最小二乘法擬合直線方程，計(jì)算出待測(cè)軸與標(biāo)準(zhǔn)軸的左、右邊緣差距，經(jīng)過(guò)相機(jī)標(biāo)定實(shí)現(xiàn)較高精度的軸承外徑尺寸測(cè)量[5]；文獻(xiàn)[6](2020)提出遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)電力設(shè)備圖像識(shí)別方法，將卷積神經(jīng)網(wǎng)絡(luò)在模擬、真實(shí)電力設(shè)備圖像中進(jìn)行遷移學(xué)習(xí)，提高學(xué)習(xí)效率和精度，最終取得93.5%識(shí)別準(zhǔn)確率。文獻(xiàn)[7](2021)在機(jī)器人夾持器前端安裝視覺(jué)定位裝置，并研究視覺(jué)相機(jī)標(biāo)定和坐標(biāo)偏移補(bǔ)償控制方法，提高微型電機(jī)外殼沖壓件在沖壓過(guò)程中轉(zhuǎn)送的準(zhǔn)確度；中國(guó)計(jì)量大學(xué)(2021)采用改進(jìn)Faster R-CNN實(shí)現(xiàn)水準(zhǔn)泡缺陷檢測(cè)方法，改進(jìn)融合遞歸特征金字塔得到多尺度的特征圖輸出，有效提高模型檢測(cè)準(zhǔn)確度，在測(cè)試集上的均值平均準(zhǔn)確度達(dá)96.7%[8]；中國(guó)計(jì)量大學(xué)計(jì)量測(cè)試工程學(xué)院(2021)提出一種面向滾動(dòng)軸承的改進(jìn)對(duì)抗遷移學(xué)習(xí)模型，在對(duì)抗遷移學(xué)習(xí)的域判別器中采用卷積結(jié)構(gòu)替換全連接神經(jīng)網(wǎng)絡(luò)，實(shí)驗(yàn)證明模型具有良好抗干擾能力、更高診斷精度[9]。華南理工大學(xué)(2021)面向標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)存在的復(fù)雜背景下部件識(shí)別問(wèn)題，研究深度學(xué)習(xí)實(shí)例分割技術(shù)，優(yōu)化了部件裝配檢測(cè)與識(shí)別的準(zhǔn)確度[10]、實(shí)時(shí)性能[11]。

結(jié)合基于深度學(xué)習(xí)的圖像分類(lèi)[12]、目標(biāo)檢測(cè)[13]、語(yǔ)義分割[14]相關(guān)綜述，本文在分析微型直流電機(jī)端蓋裝配質(zhì)量檢測(cè)需求基礎(chǔ)上，提出基于Faster RCNN的微型直流電機(jī)端蓋裝配質(zhì)量在線視覺(jué)檢測(cè)技術(shù)框架，實(shí)現(xiàn)裝配質(zhì)量視覺(jué)檢測(cè)。

1 微型直流電機(jī)端蓋裝配質(zhì)量檢測(cè)需求分析

微型直流電機(jī)端蓋上裝配的主要零部件有軸體、正極、負(fù)極、插座、引出線等，裝配質(zhì)量要求零部件安裝到位、沖壓腳齊全、正極涂裝正確。圖1為HRS-365S-14137VC-42L的微型直流電機(jī)設(shè)計(jì)圖，合格產(chǎn)品上需要有軸體、紅色涂裝的正極、3個(gè)負(fù)極、2個(gè)插座以及4個(gè)沖壓腳。

圖1 HRS-365S-14137VC-42L微型直流電機(jī)設(shè)計(jì)圖

選用中長(zhǎng)焦段鏡頭、彩色工業(yè)相機(jī)，調(diào)節(jié)使工業(yè)相機(jī)光軸與微型直流電機(jī)轉(zhuǎn)子軸重合，使端蓋位于像平面中心位置。圖2為HRS-365S-14137VC-42L的微型直流電機(jī)合格產(chǎn)品圖像。

圖2 HRS-365S-14137VC-42L微型直流電機(jī)合格產(chǎn)品圖像

可以看出，端蓋、軸體、正極、負(fù)極、插座、沖壓腳等7種零部件視覺(jué)特征各不相同，易于分辨，適合采用深度學(xué)習(xí)目標(biāo)檢測(cè)方法實(shí)現(xiàn)端蓋及其零部件的識(shí)別與定位。考慮到視覺(jué)檢測(cè)的高準(zhǔn)確性、在線快速需求，選用具有較高識(shí)別準(zhǔn)確性的R-CNN系列目標(biāo)檢測(cè)模型，尤其是其中實(shí)時(shí)性能較佳的Faster R-CNN目標(biāo)檢測(cè)模型，設(shè)計(jì)面向微型直流電機(jī)端蓋裝配質(zhì)量在線快速視覺(jué)檢測(cè)鑒別系統(tǒng)。

2 基于Faster R-CNN的微型直流電機(jī)端蓋裝配質(zhì)量在線視覺(jué)檢測(cè)技術(shù)

微型直流電機(jī)端蓋裝配質(zhì)量檢測(cè)需求主要有：端蓋裝配質(zhì)量要求系統(tǒng)能實(shí)現(xiàn)7種零部件的識(shí)別與定位；在線快速視覺(jué)檢測(cè)要求系統(tǒng)具有快速特點(diǎn)，每個(gè)微型直流電機(jī)端蓋裝配質(zhì)量檢測(cè)鑒別時(shí)間不超過(guò)0.5 s。圖3為基于Faster R-CNN的微型直流電機(jī)端蓋裝配質(zhì)量在線快速視覺(jué)檢測(cè)鑒別技術(shù)流程框圖?；静襟E：①離線微型直流電機(jī)端蓋圖片，標(biāo)注端蓋邊界框與系列、標(biāo)注零部件訓(xùn)練識(shí)別端蓋及其零部件的Faster R-CNN目標(biāo)檢測(cè)模型；② 基于Faster R-CNN模型識(shí)別端蓋及其零部件，得到微型直流電機(jī)型號(hào)，以及質(zhì)量良好的零部件數(shù)量、類(lèi)型；③根據(jù)該型號(hào)微型直流電機(jī)零部件數(shù)量、類(lèi)型要求，判斷零部件安裝是否到位、沖壓腳是否齊全、正極涂裝是否正確，全部符合為合格品裝箱。

圖3 基于Faster R-CNN的微型直流電機(jī)端蓋裝配質(zhì)量在線快速視覺(jué)檢測(cè)鑒別技術(shù)流程框圖

2.1 基于Faster R-CNN的端蓋裝配質(zhì)量關(guān)鍵特征識(shí)別技術(shù)

如表1所示，微型直流電機(jī)端蓋主要包括端蓋、軸體、正極、負(fù)極、插座、引出線、沖壓腳7種零部件。其中不同型號(hào)端蓋視覺(jué)特征、外徑明顯不同，標(biāo)注端蓋的類(lèi)型標(biāo)簽還標(biāo)注上其對(duì)應(yīng)的型號(hào)，采用開(kāi)源標(biāo)注軟件labelme矩形標(biāo)注工具(rectangle)，標(biāo)注機(jī)殼沖壓腳、正極、負(fù)極及端蓋最小外接矩形作為邊界框，并為其添加類(lèi)型標(biāo)簽。以3系端蓋，代表著微型直流電機(jī)外徑最大值在27.0～30.0 mm間的端蓋；不同型號(hào)的軸體、正極、負(fù)極、插座、引出線、沖壓腳等的視覺(jué)特征較為相似，類(lèi)型標(biāo)簽直接標(biāo)注為類(lèi)型。

表1 端蓋裝配質(zhì)量關(guān)鍵特征與類(lèi)型標(biāo)簽及標(biāo)量對(duì)應(yīng)表

圖4為微型直流電機(jī)端蓋裝配質(zhì)量關(guān)鍵特征識(shí)別的Faster R-CNN模型，模型的輸入是微型直流電機(jī)端蓋圖像，輸出預(yù)測(cè)檢測(cè)到實(shí)例的關(guān)鍵特征，設(shè)對(duì)象實(shí)例數(shù)量N，第n個(gè)實(shí)例的邊界框R1-n、分?jǐn)?shù)R2-n、類(lèi)型標(biāo)量R3-n(n=1, 2, 3,···,N)。其中：

1）預(yù)測(cè)邊界框R1-n=(u1-n,v1-n,u2-n,v2-n)、邊界框左上頂點(diǎn) (u1-n,v1-n)、邊界框右上頂點(diǎn) (u2-n,v2-n)。

圖4 微型直流電機(jī)端蓋裝配質(zhì)量關(guān)鍵特征識(shí)別的Faster R-CNN模型

2）預(yù)測(cè)分?jǐn)?shù)R2-n定義域?yàn)閇0,1]，且有，線性度佳，可直接作為置信度分?jǐn)?shù)使用。

3）預(yù)測(cè)類(lèi)型R3-n是標(biāo)量，值域?yàn)镽3-n∈{0, 1, 2,3, 4, 5, 6}，

4）位置信息Pn=(up-n,vp-n)從預(yù)測(cè)邊界框R2-n中計(jì)算得到：

Faster R-CNN模型可通過(guò)訓(xùn)練，學(xué)習(xí)不同質(zhì)量關(guān)鍵特征，系采用隨機(jī)梯度下降(stochastic gradient descent, SGD)算法對(duì)Faster R-CNN模型調(diào)優(yōu)，使其擬合到訓(xùn)練數(shù)據(jù)集上，訓(xùn)練采用Mini-batch策略，學(xué)習(xí)率為0.001，分批數(shù)2，結(jié)合數(shù)據(jù)量大小，迭代訓(xùn)練次數(shù)為500。

訓(xùn)練過(guò)程中，可觀測(cè)分類(lèi)損失loss_cls、定位損失loss_box_reg、總損失total_loss是否減小，判斷Fast R-CNN、Faster R-CNN模型是否收斂；模型完成訓(xùn)練后，以重疊率超過(guò)50%的平均準(zhǔn)確度AP0.5作為主要評(píng)價(jià)指標(biāo)；只要AP0.5≥90%，模型滿足應(yīng)用需求。

2.2 基于Faster R-CNN的端蓋裝配質(zhì)量檢測(cè)技術(shù)

清點(diǎn)微型直流電機(jī)正極、負(fù)極及機(jī)殼沖壓腳數(shù)量方法，具體為：設(shè)類(lèi)型m判別函數(shù)fm(R2-n,R3-n)：

可見(jiàn)，若預(yù)測(cè)類(lèi)型R3-n=m，且預(yù)測(cè)分?jǐn)?shù)R2-n≥0.9，則fm(R2-n,R3-n)輸出為 1；其他情況時(shí)，則fm(R2-n,R3-n)輸出為0。則正極數(shù)量N1、負(fù)極數(shù)量N2、沖壓腳數(shù)量N3、插座數(shù)量N4、引出線數(shù)量N5、電機(jī)軸數(shù)量N6分別為：

直接以檢測(cè)出零部件數(shù)量對(duì)比裝配質(zhì)量要求的零部件數(shù)量，數(shù)量全部一致則為裝配質(zhì)量合格。

3 實(shí)驗(yàn)研究

采集6種微型直流電機(jī)圖像共60個(gè)，其中36構(gòu)成訓(xùn)練集，24個(gè)構(gòu)成測(cè)試集。在訓(xùn)練集上訓(xùn)練Faster R-CNN模型，訓(xùn)練調(diào)優(yōu)算法SGD、學(xué)習(xí)率為0.001、Mini-batch策略、分批數(shù) 2，迭代訓(xùn)練次數(shù)500。即模型將訓(xùn)練500次，每次學(xué)習(xí)是在訓(xùn)練集中挑選2個(gè)圖片進(jìn)行。圖5為Faster R-CNN模型訓(xùn)練過(guò)程損失曲線。

圖5 Faster R-CNN模型訓(xùn)練過(guò)程損失曲線

檢測(cè)例1：某型號(hào)微型直流電機(jī)，裝配質(zhì)量要求為軸體1個(gè)、正極1個(gè)、負(fù)極3個(gè)、沖壓腳4個(gè)、插座2個(gè)、引出線2個(gè)。圖6為檢測(cè)例1輸入圖像與檢測(cè)結(jié)果。

圖6 檢測(cè)例1輸入圖像與檢測(cè)結(jié)果圖

圖像輸入Faster R-CNN模型中，輸出的對(duì)象數(shù)量No=14預(yù)測(cè)邊界框R1-n、預(yù)測(cè)分?jǐn)?shù)R2-n、預(yù)測(cè)類(lèi)型R3-n=[2, 1, 5, 5, 2, 3, 2, 3, 3, 3, 4, 0, 4, 6]。將R3-n、R2-n代入式⑶可得，正極數(shù)量N1=1、負(fù)極數(shù)量N2=3、沖壓腳數(shù)量N3=4、插座數(shù)量N4=2、引出線數(shù)量N5=2、軸體數(shù)量N6=1。

零部件安裝到位、沖壓腳齊全、正極涂裝是正確，裝配質(zhì)量合格。

檢測(cè)例2：某微型直流電機(jī)裝配質(zhì)量要求為軸體1個(gè)、正極1個(gè)、負(fù)極3個(gè)、沖壓腳4個(gè)、插座2個(gè)。圖7為檢測(cè)例2輸入圖像與檢測(cè)結(jié)果。

圖7 檢測(cè)例2輸入圖像與檢測(cè)結(jié)果圖

圖像輸入Faster R-CNN模型中，輸出的對(duì)象數(shù)量No=12預(yù)測(cè)邊界框R1-n、預(yù)測(cè)分?jǐn)?shù)R2-n、預(yù)測(cè)類(lèi)型R3-n= [0, 2, 3, 2, 3, 2, 2, 3, 3, 4, 4, 6]。 將R3-n、R2-n代入式(3)可得正極數(shù)量N1=0、負(fù)極數(shù)量N2=4、沖壓腳數(shù)量N3=4、插座數(shù)量N4=2、引出線數(shù)量N5=0、軸體數(shù)量N6=1。

零部件安裝是到位、沖壓腳齊全，但正極涂裝不正確，裝配質(zhì)量不良。

4 結(jié)束語(yǔ)

本文提出微型直流電機(jī)端蓋裝配質(zhì)量在線視覺(jué)檢測(cè)技術(shù)，主要工作為：

1）研究基于Faster R-CNN的端蓋裝配質(zhì)量關(guān)鍵特征識(shí)別技術(shù)，提出微型直流電機(jī)端蓋裝配質(zhì)量關(guān)鍵特征識(shí)別的Faster R-CNN模型，模型可識(shí)別端蓋、軸體、正極、負(fù)極、插座、引出線、沖壓腳等7種零部件，模型準(zhǔn)確率達(dá)到97.3%，實(shí)現(xiàn)微型直流電機(jī)端蓋有關(guān)機(jī)殼沖壓腳、正極、負(fù)極等關(guān)鍵鍵制造質(zhì)量特征的識(shí)別與定位。

2）研發(fā)基于Faster R-CNN的端蓋裝配質(zhì)量檢測(cè)技術(shù)，通過(guò)統(tǒng)計(jì)關(guān)鍵特征數(shù)量，從零部件安裝到位、沖壓腳齊全、正極正確涂裝三方面評(píng)價(jià)微型直流電機(jī)端蓋裝配質(zhì)量。

3）應(yīng)用本文技術(shù)實(shí)現(xiàn)不同規(guī)格尺寸的微型直流電機(jī)端蓋裝配質(zhì)量檢測(cè)，試驗(yàn)結(jié)果表明，檢測(cè)時(shí)間不超過(guò)0.21 s，能滿足微型直流電機(jī)端蓋裝配質(zhì)量在線視覺(jué)檢測(cè)需求。