基于機器視覺的改進線束導(dǎo)線排序檢測系統(tǒng)設(shè)計

張良安，劉同鑫，謝勝龍，陳洋

（1.安徽工業(yè)大學(xué) 機械工程學(xué)院，安徽 馬鞍山 243000；2.中國計量大學(xué) 機電工程學(xué)院，杭州 310018；3.安徽省工業(yè)互聯(lián)網(wǎng)智能應(yīng)用與安全工程實驗室，安徽 馬鞍山 243023）

線束是電氣設(shè)備中各種部件的連接元件，為電氣設(shè)備的正常運轉(zhuǎn)提供重要保障[1]。由于導(dǎo)線具有材質(zhì)柔軟的特性，線束的裝配主要采用人工方式，將不同顏色的導(dǎo)線按照規(guī)定的顏色排序，并插入連接器的孔位中。在生產(chǎn)過程中會出現(xiàn)一些排序錯誤的不合格線束，如果未及時發(fā)現(xiàn)并剔除，將嚴(yán)重影響電路連接的可靠性和電信號傳輸?shù)姆€(wěn)定性，導(dǎo)致線路出現(xiàn)故障[2]。由此可見，展開線束導(dǎo)線排序的快速檢測研究具有十分重要的意義。

目前，線束產(chǎn)品的排序檢測方法主要分為人工檢測和機器視覺檢測2 類。線束中的導(dǎo)線排列緊密，人工檢測效率較低，且長時間專注檢測極易引起視覺疲勞，導(dǎo)致漏檢、錯檢。機器視覺檢測通過對采集到的圖像進行相應(yīng)的圖像處理，以提取所需的視覺特征，并輸出檢測結(jié)果[3]，在缺陷檢測[4]、尺寸測量[5]和識別定位[6]等領(lǐng)域中應(yīng)用廣泛。為了區(qū)分導(dǎo)線的特定功能，會在線束中使用混色導(dǎo)線，即絕緣表面為幾種不同顏色占比的導(dǎo)線。這種導(dǎo)線顏色不固定的特征，為基于機器視覺的檢測帶來了極大的挑戰(zhàn)。近年來，隨著機器視覺技術(shù)和深度學(xué)習(xí)卷積神經(jīng)網(wǎng) CNN（Convolutional Neural Networks）的迅速發(fā)展，機器視覺檢測方法的效率和精度得到大幅度提升[7-8]。傳統(tǒng)的機器學(xué)習(xí)采用手動提取的復(fù)雜操作。卷積神經(jīng)網(wǎng)絡(luò)具有強大的非線性映射和特征提取能力[9-10]，可主動學(xué)習(xí)圖像中的特征，這為線束中的導(dǎo)線識別檢測提供了新的解決路徑，引起了許多學(xué)者的關(guān)注。文獻(xiàn)[11]將電線圖像中提取到的顏色直方圖與顏色矩的特征數(shù)據(jù)結(jié)合，并用BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)對電線顏色進行分類。文獻(xiàn)[12]通過對Yolov3 主干網(wǎng)絡(luò)結(jié)構(gòu)重新進行優(yōu)化，使網(wǎng)絡(luò)的性能更加均衡，滿足了工業(yè)現(xiàn)場對圓形電連接器缺陷的檢測需求。文獻(xiàn)[13]提出了一種基于深度學(xué)習(xí)的絕緣子定向識別算法，通過加入旋轉(zhuǎn)角度的定向檢測框，有效解決了絕緣子目標(biāo)檢測中無法精確定位的問題。文獻(xiàn)[14]基于卷積神經(jīng)網(wǎng)絡(luò)提出了一種PCB（Printed Circuit Board）板色環(huán)電阻自動檢測定位方法，較好地解決了復(fù)雜情況下PCB 板色環(huán)電阻的圖像分割問題?？傮w而言，機器視覺檢測相較于人工檢測，具有檢測速度快、識別精度高等優(yōu)勢?，F(xiàn)有的線束導(dǎo)線排序視覺檢測方法對相近顏色導(dǎo)線的區(qū)分，以及線束中黃綠混色的“地線”PE（Protecting Earthing）導(dǎo)線識別檢測的效果不太理想。

鑒于此，文中基于機器視覺技術(shù)設(shè)計一種線束導(dǎo)線排序檢測裝置，并結(jié)合圖像處理方法和深度學(xué)習(xí)理論提出一種線束導(dǎo)線排序檢測算法。通過與數(shù)據(jù)庫中的模板圖像進行匹配搜索，完成對線束連接器正反面的識別和單色導(dǎo)線的顏色定位，并采用 Faster R?CNN、SSD、YOLOv3 和YOLOv5m 等4 種目標(biāo)檢測算法在創(chuàng)建的PE 混色導(dǎo)線數(shù)據(jù)集中進行檢測精度和檢測速度的對比，對線束中檢測不佳的PE 導(dǎo)線顏色特征識別展開研究。

1 檢測系統(tǒng)方案設(shè)計

1.1 線束檢測特征

線束主要由不同顏色的導(dǎo)線和形狀各異的連接器組成，如圖1 所示。圖1a、b 分別為導(dǎo)線線束排序正確和錯誤情況下的實物示意圖。相較于其他視覺特征，導(dǎo)線的顏色特征對檢測對象的大小、擺放位置和視角的依賴性較小，能夠較好地突出導(dǎo)線之間的表面差異，是線束導(dǎo)線排序檢測中常用的識別特征。此外，由于連接器正反面對應(yīng)的導(dǎo)線顏色排序相反，如圖1c、d 所示，連接器正面對應(yīng)的導(dǎo)線顏色排序為“藍(lán)”“棕”，而連接器反面對應(yīng)的則為“棕”“藍(lán)”，因此在線束檢測過程中，還需對連接器的正反面進行區(qū)分。

圖1 待檢測線束實物Fig.1 Wire to be detected

1.2 線束檢測裝置改進

由于線束導(dǎo)線排序檢測的工作量較大，因此人眼長時間工作后極易引起視覺疲勞，容易發(fā)生漏檢和誤檢。通常采用相機檢測識別導(dǎo)線排序，如圖2 所示。檢測裝置主要由相機和圖像檢測系統(tǒng)組成，在檢測前需要區(qū)分連接器的正反面，然后再逐一將線束擺放到相機拍照下方的檢測區(qū)域進行檢測，最后根據(jù)檢測系統(tǒng)的提示結(jié)果，剔除不合格線束。該檢測過程易受到放置位置的影響，且檢測速度主要取決于人工操作速度。

圖2 改進前檢測裝置Fig.2 Detection device before improvement

針對現(xiàn)有檢測裝置存在的自動化程度不足及檢測結(jié)果易受人工干涉影響等問題，對現(xiàn)有的線束導(dǎo)線排序檢測裝置進行了改進，改進后的整體結(jié)構(gòu)如圖3所示。該裝置由動作執(zhí)行單元和檢測識別單元組成。動作執(zhí)行單元主要包含SCARA 四軸機器人（簡稱機器人）、移動模組和線束放置平臺等部分。機器人和移動模組分別帶動第1 視覺模塊和第2 視覺模塊進行線束正反面圖像的采集，機器人根據(jù)上位機檢測平臺的反饋結(jié)果，使用夾取氣缸將線束放置到不同分揀區(qū)域。移動模組通過與滑臺氣缸配合，帶動第2 視覺模塊沿著x、y、z3 個方向移動。線束放置平臺由無桿氣缸和滑軌帶動，可進行人工放置工位與視覺檢測工位的切換，并且放置平臺的線束固定槽間距可根據(jù)不同尺寸的連接器進行人工調(diào)整。

圖3 檢測裝置Fig.3 Detection device

檢測識別單元包括視覺模塊和上位機檢測平臺等部分。視覺模塊采用2 000 萬像素彩色工業(yè)相機搭配白色開孔背光源，通過2 組光源上下對射，突出線束連接器的形狀特征和導(dǎo)線顏色特征。上位機檢測平臺識別圖像后，將結(jié)果通過TCP/IP 通信發(fā)送給機器人。

在設(shè)備使用過程中，人工放置工位的料槽放滿后，即可將線束放置平臺送入視覺檢測工位，隨后機器人和移動模組帶動視覺模塊進行圖像采集，上位機檢測平臺對采集的圖像進行識別檢測，并將檢測結(jié)果反饋給機器人，最后機器人再根據(jù)視覺檢測結(jié)果將線束分區(qū)放置，完成線束導(dǎo)線排序的識別檢測，系統(tǒng)檢測流程如圖4 所示。相較于改進前的線束檢測裝置，改進后檢測系統(tǒng)無須配備專門的檢測人員，在線束裝配人員完成線束插裝后，可直接放入檢測平臺，系統(tǒng)自動進行線束正反兩面的導(dǎo)線排序檢測。在減少用工成本的同時，進一步提升了檢測效率。

圖4 系統(tǒng)檢測流程Fig.4 System inspection process

2 線束導(dǎo)線排序檢測算法原理

2.1 圖像分割預(yù)處理及檢測算法流程

視覺模塊采集的線束正面圖像如圖5 所示。為了分割出線束的連接器部分和導(dǎo)線部分，應(yīng)去除無效的背景信息。參照文獻(xiàn)[15]介紹的基于感興趣區(qū)域（region of interest，ROI）的圖像檢索方法，通過對比大量導(dǎo)線圖片發(fā)現(xiàn)，越靠近連接器的尾部，導(dǎo)線的位置排列越清晰，導(dǎo)線相互遮擋的現(xiàn)象越少。人工選取距離線束連接器尾部20～30 像素作為導(dǎo)線ROI 區(qū)域，該區(qū)域兩對角點坐標(biāo)分別為(x1,y1)、(x2,y2)。連接器ROI 區(qū)域的坐標(biāo)可根據(jù)導(dǎo)線ROI 坐標(biāo)向圖像坐標(biāo)原點偏移，自動生成連接器ROI 區(qū)域(x3,y3)、(x4,y4)。后續(xù)的圖像處理方法將先通過ROI 區(qū)域分割出連接器圖像和線束導(dǎo)線圖像后，再分別進行檢測。

圖5 ROI 選取Fig.5 ROI selection

設(shè)計的基于機器視覺和深度學(xué)習(xí)的線束導(dǎo)線排序自動檢測算法流程如圖6 所示。首先將分割的連接器圖像進行灰度化處理，再通過模板匹配完成連接器正反面的識別。然后對導(dǎo)線圖像進行單色導(dǎo)線的識別定位，并使用自制的PE 混色導(dǎo)線數(shù)據(jù)集訓(xùn)練生成檢測模型，完成PE 混色導(dǎo)線的識別定位。最后，將識別定位結(jié)果根據(jù)坐標(biāo)信息進行排序組合，與數(shù)據(jù)庫中的標(biāo)準(zhǔn)線束排序信息進行對比，從而完成檢測。

圖6 檢測算法流程Fig.6 Detection algorithm flow

2.2 連接器正反面匹配識別

由于連接器正反面對應(yīng)的導(dǎo)線顏色排序相反，因此在檢測過程中，線束連接器正反面的正確匹配是系統(tǒng)能夠識別線束導(dǎo)線顏色排序的首要條件。這里采用灰度化處理后的連接器圖像來構(gòu)造相應(yīng)的模板，圖像灰度化后可以去除連接器的顏色信息，突出連接器的表面特征，縮短圖像匹配時間。匹配過程如圖7所示，將尺寸為K×L的模板圖像（圖7a）放在M×N待檢測圖像（圖7b）上平移，被模板覆蓋的區(qū)域稱為子圖。計算模板圖像與子圖的相似度，當(dāng)相似度大于設(shè)定閾值時，則認(rèn)為在待檢測圖像的當(dāng)前位置找到了匹配目標(biāo)?？紤]到開放式檢測環(huán)境變化對檢測效果的影響，參照文獻(xiàn)[16]中的歸一化相關(guān)系數(shù)匹配算法 （Normalized Cross Correlation，NCC）來計算模板圖像和待檢測圖像中覆蓋區(qū)域之間的相似度，見式（1）。

外賣是大多數(shù)年青上班族的午餐首選，因為午休時間短，又懶得下樓買，只得叫外賣。可是現(xiàn)在外賣的質(zhì)量情況堪憂，如何才能健康吃外賣呢？

圖7 正反面特征匹配Fig.7 Front and back feature matching

式中：T(x,y)為模板圖像中各像素點的灰度值；f(x+i,y+j)為模板圖像移動到待檢測圖像當(dāng)前位置時的灰度值；T和f(i,j)分別為模板圖像和它在子圖像中點(i,j)對應(yīng)區(qū)域的像素平均值。

R(i,j)=[?1,1]，其值越靠近?1 或1，說明模板圖像與其所覆蓋的待檢測圖像區(qū)域越相似。

2.3 單色導(dǎo)線識別定位

單色導(dǎo)線的識別定位過程如圖8 所示。為了從導(dǎo)線圖像中獲取單色導(dǎo)線在圖像中的位置信息和對應(yīng)的顏色類別，首先需對創(chuàng)建的顏色模板中的色譜信息進行學(xué)習(xí)，并記錄到模板數(shù)據(jù)庫中。在導(dǎo)線顏色定位匹配階段，通過在分割到的導(dǎo)線圖像中搜索與模板顏色相匹配的區(qū)域，返回相似度最高區(qū)域的位置信息，完成單色導(dǎo)線的識別定位。

圖8 單色導(dǎo)線定位過程Fig.8 Monochromatic wire positioning process

從左到右、從上到下逐像素的圖像搜索方式的計算量較大，且非常耗時。為此，這里采用從粗到細(xì)（Coarse-to-Fine）[17]的方法對搜索過程進行優(yōu)化。通過下采樣方式，僅用模板圖像覆蓋區(qū)域中的部分像素顏色信息與模板色譜信息進行比較，根據(jù)設(shè)定的步長進行跳像素的步進搜索，快速定位到可能的候選匹配位置，然后再對各個候選區(qū)域進行精細(xì)匹配，最終確定導(dǎo)線的最佳色彩匹配位置。

為了補償彩色圖像量化過程中產(chǎn)生的誤差，使用色譜間的曼哈頓距離[18]（各元素間差異的絕對值求和）計算色譜之間的差異，最終生成一個0～1 000 的表示差異度的值，見式（2）。其中，0 表示色譜之間無相似性，1 000 表示完美匹配。

式中：n=26；x1i、x2i分別對應(yīng)模板圖像中色譜向量和待測圖像色譜向量中包含的元素。

2.4 PE 混色導(dǎo)線識別定位

卷積神經(jīng)網(wǎng)絡(luò)具有豐富的網(wǎng)絡(luò)結(jié)構(gòu)，可自動提取目標(biāo)中的顏色特征進行訓(xùn)練，無須人工干涉顏色特征的學(xué)習(xí)。目前，針對物體顏色識別的深度學(xué)習(xí)算法大多對顏色進行分類，將其應(yīng)用于線束中識別PE 導(dǎo)線顏色的研究較少。這里選取Faster R?CNN、SSD、YOLOv3 和YOLOv5 等4 種主流目標(biāo)檢測算法，研究了不同目標(biāo)檢測算法在自制PE 混色導(dǎo)線數(shù)據(jù)集中的檢測效果，并從中選出兼顧檢測速度和準(zhǔn)確性的檢測模型，用于PE 混色導(dǎo)線的識別定位。

4 種目標(biāo)檢測算法的參數(shù)如表1 所示。其中，F(xiàn)aster R?CNN（Resnet?101）的輸入分辨率、參數(shù)量（Params）和計算量（FLOPs）最大，在時間和空間上的復(fù)雜度最高；SSD（Mobilenet_v2）是一種基于深度可分離卷積的輕量化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，模型的參數(shù)量最小，在低硬件條件下仍可保持良好的性能；YOLOv3（Darknet?53）借鑒了Resnet 網(wǎng)絡(luò)中的跳躍連接思想，只采用3×3 和1×1 的卷積層構(gòu)建基準(zhǔn)網(wǎng)絡(luò)，計算量相較于Faster R?CNN（Resnet?101）減少了 50%，有較高的計算速度和檢測實時性；YOLOv5 是在YOLOv3 的基礎(chǔ)上，將Mosaic 數(shù)據(jù)增強、自適應(yīng)錨框計算、Focus 結(jié)構(gòu)、SSP 模塊和CSP結(jié)構(gòu)等優(yōu)良方法結(jié)合在一起，其性能更強大，并且可通過在每個跨階段局部網(wǎng)絡(luò) CSPN（Cross Stage Partial Networks）中調(diào)節(jié)深度倍數(shù)（depth multiple）和寬度倍數(shù)（width multiple），實現(xiàn)了4 種網(wǎng)絡(luò)結(jié)構(gòu)的靈活變換[19]。

表1 目標(biāo)檢測模型參數(shù)對比Tab.1 Parameter comparison of object detection model

3 實驗與分析

3.1 PE 混色導(dǎo)線數(shù)據(jù)集制作

利用檢測系統(tǒng)采集2 680 幅圖像，并通過旋轉(zhuǎn)、平移、鏡像等方式將數(shù)據(jù)集擴充至7 362 幅含有PE混色導(dǎo)線的圖片，選取各類樣本數(shù)量的20%作為測試樣本，進行目標(biāo)檢測模型的對比。在采集過程中，PE混色導(dǎo)線在視野內(nèi)會呈現(xiàn)黃、綠和黃綠3 種狀態(tài)，如圖9 所示。在進行數(shù)據(jù)標(biāo)注時，將數(shù)據(jù)集劃分為黃綠、黃、綠3 種標(biāo)簽。數(shù)據(jù)集格式使用PASCAL VOC 格式，并用labelImg 開源工具進行手工標(biāo)注。數(shù)據(jù)標(biāo)注情況見表2。

表2 數(shù)據(jù)集標(biāo)注情況統(tǒng)計Tab.2 Statistics of dataset labeling

圖9 PE 導(dǎo)線顏色特征呈現(xiàn)情況Fig.9 Presentation of PE wire color characteristics

3.2 模型評價指標(biāo)

為了全面評估模型的性能，選取各種類別的平均準(zhǔn)確率（mean average precision，PMAP）和平均圖像處理時間為模型評價指標(biāo)。其中，PMAP是先計算各個標(biāo)簽類別的精度，再計算所有類別精度的平均值，見式（3）—（4）。

式中：C為樣本的種類；Ap為樣本的平均精度；N為召回率的數(shù)量；r為召回率；P(r)為最大準(zhǔn)確率；p為準(zhǔn)確率，p=TP/(TP+FP)；r為召回率，r=TP/(TP+FN)；TP為樣本分為正樣本且分類正確的數(shù)量；FP、FN分別為樣本被分為正樣本和負(fù)樣本，但分類錯誤的數(shù)量。

3.3 訓(xùn)練結(jié)果對比分析

將4 種算法在相同的數(shù)據(jù)集中進行訓(xùn)練。在驗證集中，選取各自訓(xùn)練過程中模型收斂后損失值最小的檢測模型進行對比。4 種算法對PE 導(dǎo)線的檢測速度/準(zhǔn)確率的對比結(jié)果如圖10 所示。從圖10 可以看出，F(xiàn)aster R?CNN 目標(biāo)檢測模型的平均精度最高，但其檢測耗時相對較長；排在第2 位的YOLOv5m檢測模型，相較于前者在平均檢測精度方面降低了3.4%，但檢測速度是前者的7.7 倍；YOLOv3 檢測模型和YOLOv5m 在檢測耗時方面差異不明顯，但相較于YOLOv5m，其平均檢測精度降低了7.2%；SSD檢測模型在檢測精度和速度等方面均比YOLOv5m模型差。

圖10 檢測算法的速度/準(zhǔn)確率對比Fig.10 Comparison of detection algorithm speed/accuracy

綜合考慮檢測精度和檢測速度的影響，最終選擇兼顧檢測速度和精度的YOLOv5m 目標(biāo)檢測模型進行PE 導(dǎo)線的識別。根據(jù)物體識別的邊界框信息計算PE 導(dǎo)線在圖片中的坐標(biāo)，與單色導(dǎo)線識別定位結(jié)果組合，完成線束導(dǎo)線顏色排序的檢測。YOLOv5m目標(biāo)檢測算法在復(fù)雜情況下的檢測效果如圖11 所示。從圖11 可以看出，模型可準(zhǔn)確檢測到PE 導(dǎo)線的位置，且在不同粗細(xì)導(dǎo)線場景下都具有良好的檢測效果。

圖11 YOLOv5m 檢測效果Fig.11 YOLO v5m detection effect

為了進一步驗證文中提出的線束導(dǎo)線排序檢測方法的有效性和可靠性，設(shè)計了不同檢測方法的對比實驗，選取6 種不同種類的線束產(chǎn)品，每種線束各100 個。對比人工檢測方法、改進前機器視覺檢測方法和文中檢測方法，檢測效果如表3 所示。

表3 不同檢測方法檢測耗時/準(zhǔn)確率Tab.3 Speed/accuracy of different detection methods

從表3 中可以看出，在檢測耗時方面人工檢測的檢測耗時遠(yuǎn)高于其他2 種檢測方法，并且在檢測導(dǎo)線數(shù)量較多的線束產(chǎn)品時，人工檢測的準(zhǔn)確率明顯較低。在含有PE 導(dǎo)線的線束檢測過程中，改進前的機器視覺檢測方法需要規(guī)避PE 混色導(dǎo)線不固定顏色特征造成的影響，對線束檢測過程中的放置手法有一定要求，其檢測效率和準(zhǔn)確率不理想。文中提出的檢測方法只需將待檢測線束置于檢測平臺中，即可自動完成檢測，相較于改進前的機器視覺檢測方法，其檢測時間縮短了18.55%，平均準(zhǔn)確率達(dá)到98.83%，具有更好的檢測效率和檢測精度。

4 結(jié)語

針對現(xiàn)有工業(yè)線束導(dǎo)線排序檢測方法存在的檢測效率低和PE 混色導(dǎo)線檢測效果差等問題，基于機器視覺技術(shù)設(shè)計了一種便捷高效的線束導(dǎo)線排序檢測系統(tǒng)，可同時進行線束正反兩面的檢測。根據(jù)ROI信息，自動計算分割出線束的連接器圖像和線束導(dǎo)線圖像，通過圖像灰度化處理提升了正反面特征匹配速度，并使用由粗到細(xì)的匹配方法對單色導(dǎo)線顏色識別定位過程進行了優(yōu)化。在制作的PE 混色導(dǎo)線數(shù)據(jù)集中，使用Faster R?CNN、SSD、YOLOv3 和YOLOv5 等4 種不同深度學(xué)習(xí)目標(biāo)檢測算法進行了檢測速度/準(zhǔn)確率對比分析。實驗結(jié)果表明，4 種深度學(xué)習(xí)目標(biāo)檢測算法對PE 導(dǎo)線的檢測精度均達(dá)到75%以上，其中YOLOv5m 的檢測精度和檢測速度兼顧性最好，檢測效果最佳。相較于改進前的機器視覺檢測方法，文中提出的檢測方法的檢測時間縮短了18.55%，平均識別準(zhǔn)確率為98.83%，在檢測精度、速度、檢測種類多樣性方面滿足線束生產(chǎn)檢測需求。