基于圖像的汽車線束結(jié)構(gòu)檢測

黃新康 袁嫣紅

摘? 要： 針對汽車線束檢測項種類結(jié)構(gòu)繁多、位置角度多變，以及人工檢測效率低、漏檢率高等問題，提出基于圖像的汽車線束結(jié)構(gòu)檢測方案。通過匹配數(shù)據(jù)庫汽車線束字符自動切換線束檢測算法，結(jié)合各種圖像檢測傳統(tǒng)算法和深度學(xué)習(xí)檢測算法，實現(xiàn)不同線束各檢測項的普適檢測。應(yīng)用到汽車線束生產(chǎn)檢測中，平均誤報率為2.38%，漏報率為0，證明了該檢測方案能準(zhǔn)確高效地完成不同汽車線束的檢測。

關(guān)鍵詞： 汽車線束； 圖像檢測； 傳統(tǒng)檢測算法； 深度學(xué)習(xí)檢測算法； 人機界面

中圖分類號：TP391.4? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2023）06-129-05

Image-based detection of automobile wiring harness structure

Huang Xinkang1，2， Yuan Yanhong1

（1. College of Mechanical Engineering， Zhejiang University of Technology， Hangzhou， Zhejiang 310018， China;

2. Xinchang Research Institute of Zhejiang University of Technology）

Abstract： An image-based automobile harness structure detection scheme is proposed to solve the problems such as various types and structures of automobile harness detection items， variable position angles， and low efficiency and high leakage rate of manual detection. The harness detection algorithm is automatically switched by matching the automotive harness characters in the database. Combining various traditional image detection algorithms and deep learning detection algorithms， universal detection of different harness detection items is achieved. In the actual application to automobile harness production detection， the average false alarm rate is 2.38%， and the missed alarm rate is 0. It proves that the detection scheme can accurately and efficiently complete the detection requirements of different automobile harness.

Key words： automobile wiring harness; image detection; traditional detection algorithm; deep learning detection algorithm; interface

0 引言

汽車線束，被稱為汽車的神經(jīng)網(wǎng)絡(luò)，它起著連接汽車各部分為一個整體的重要作用。汽車線束的零部件生產(chǎn)工藝已經(jīng)比較成熟，由于汽車線束具有線材柔軟、種類多、要求高、定位不準(zhǔn)和部分特征不明顯等特點，導(dǎo)致汽車線束的成品檢測比較困難，人工全檢效率低、準(zhǔn)度差。同時汽車線束的生產(chǎn)具有周期性的特點，針對單一特定線束設(shè)計的檢測方案不適用其他生產(chǎn)周期的汽車線束檢測，并且即使是單一線束生產(chǎn)也偶爾會增減特定的檢測項導(dǎo)致檢測方案不適用。

常用的汽車線束檢測算法如模板匹配、特征匹配等難以應(yīng)對汽車線束易變形、定位不準(zhǔn)、特征不明顯和車間環(huán)境光變化的問題[1]，采用深度學(xué)習(xí)目標(biāo)檢測算法雖然可以準(zhǔn)確檢測，但汽車線束檢測項繁多導(dǎo)致訓(xùn)練成本極高，而且不能應(yīng)對檢測不同線束的問題。因此，研發(fā)一種高效、準(zhǔn)確并適用于常用汽車線束的檢測方案，對于企業(yè)生產(chǎn)和汽車線束檢測研究具有重要的意義。

1 汽車線束檢測內(nèi)容與檢測方案整體設(shè)計

目前國內(nèi)尚無完全自動化的汽車線束組裝生產(chǎn)機械，企業(yè)一般采用流水線作業(yè)來提高線束的生產(chǎn)效率[2]，如圖1所示。依據(jù)線束的結(jié)構(gòu)特征，設(shè)計的流水線和相應(yīng)的線束工裝板。線束工裝板在流水線上循環(huán)，由工位1開始組裝到工位12結(jié)束，裝配成一個完整的線束，拿掉線束后空板回到工位1繼續(xù)循環(huán)。

各工位工人使用扎帶、膠布、膠帶等緊固件將線束固定成型，如圖2所示，下圖紅框中扎帶、膠布、膠帶統(tǒng)稱為汽車線束上的緊固件，各緊固件在工裝板上都有位置、長度、角度等要求，正是緊固件數(shù)量、種類和位置不同導(dǎo)致汽車線束結(jié)構(gòu)不同從而形成形態(tài)各異的汽車線束。

1.1 汽車線束檢測內(nèi)容與檢測要求

由于人工裝配的不確定性，扎帶、膠布和膠帶的三種緊固件裝配數(shù)量、位置可能出現(xiàn)錯誤，因此汽車線束的檢測項即為線束上的緊固件：扎帶、膠布、膠帶，如圖3所示。各種緊固件組合成不同的汽車線束，通過調(diào)研常用汽車線束，歸納汽車線束上需要檢測的緊固件種類，其中緊固件中常用檢測扎帶有12種，膠布種類只有一種但有不同長度的要求，膠帶是采用在線束上互壓膠帶寬度1/2的方式全纏而成[2]，膠帶互壓過程中會產(chǎn)生凸起的帶痕，因此膠帶不僅有長度的差別，還有左纏膠帶和右纏膠帶的區(qū)別。

1.2 汽車線束檢測方案整體設(shè)計

汽車線束在工裝板上進(jìn)行裝配，工裝板在流水線上循環(huán)，工位12完成線束最后一道裝配任務(wù)，工裝板由氣缸推入檢測區(qū)域，工裝板到達(dá)指定位置后觸發(fā)位置傳感器輸出給PLC，PLC與相機通信，相機開始線束圖像采樣，經(jīng)過算法判定，判定結(jié)果信號輸出到PLC，PLC控制線束機械臂抓取線束，根據(jù)判定結(jié)果將線束放入到線束不同分類區(qū)，然后機械臂回到原點，氣缸推動空工裝板到工位1，繼續(xù)循環(huán)，如圖4所示。

針對汽車線束檢測項不同特性采用不同的檢測算法。特征明顯容易識別的汽車線束檢測項采用傳統(tǒng)檢測算法，特征不明顯難以識別的檢測項采用深度學(xué)習(xí)檢測算法，結(jié)合傳統(tǒng)檢測算法與深度學(xué)習(xí)檢測算法既能高效準(zhǔn)確地完成汽車線束檢測，又能節(jié)省檢測算法開發(fā)成本，如圖5所示。

2 汽車線束圖像硬件選型與圖像預(yù)處理

2.1 圖像采集系統(tǒng)硬件選型

圖像采集系統(tǒng)是圖像檢測的基礎(chǔ)，選型圖像采集硬件系統(tǒng)需要考慮汽車線束檢測項檢測內(nèi)容、檢測要求、機械結(jié)構(gòu)、檢測環(huán)境等[3]。

相機選型決定著拍攝圖像質(zhì)量的高低。因汽車線束是組裝到工裝板上，拍攝汽車線束的范圍不得小于工裝板大小，工裝板標(biāo)準(zhǔn)長寬170mm*40mm，檢測精度要求0.1mm，同時線材類需要顏色檢測、檢測范圍廣、檢測時間長、檢測精度要求不高等特點，選擇相機型號為MV-CE200-10GM，部分參數(shù)如表1所示。

鏡頭選型決定了機器視覺系統(tǒng)成像的特性。汽車線束拍攝工作距離為60cm～90cm，針對線束不需要大光圈、視野寬等特點，選擇鏡頭型號為MVL-KF0814M-12MPE，部分參數(shù)如表2所示。

光源選型決定機器視覺系統(tǒng)成像的質(zhì)量。汽車線束檢測項檢測環(huán)境寬廣、空間密封、檢測項主體為黑色，經(jīng)實驗后選擇兩塊方形白色光源LTDS-H-300-W均勻?qū)ΨQ分布在相機兩側(cè)。

圖像采集系統(tǒng)搭建與調(diào)試

根據(jù)以上各部件選型及檢測環(huán)境、機構(gòu)搭建圖像采集硬件系統(tǒng)如圖6所示，調(diào)試出最佳拍攝效果，拍攝圖像成像質(zhì)量高、檢測內(nèi)容畫面清晰、特征明顯，證明圖像采集硬件選型準(zhǔn)確合適，如圖7所示。

2.2 圖像預(yù)處理

原始的拍攝圖含有大量干擾區(qū)域，并且部分檢測特征不明顯清楚，在進(jìn)行圖像算法設(shè)置前需要對原始拍攝圖進(jìn)行預(yù)處理，其中主要包括：ROI區(qū)選取與灰度化、圖像濾波、圖像增強等。

2.2.1 ROI區(qū)選取與圖像灰度化

在圖像處理領(lǐng)域，ROI是指在原始圖像中選擇的一個合適圖像區(qū)域，排除干擾信息，減少計算機運算量，后期只對該區(qū)域做進(jìn)一步處理。同時為獲得更豐富的缺陷特征信息，相機所拍攝的圖像為RGB三通道位圖圖像，信息量較大，為降低上位機的數(shù)據(jù)處理量，需將采集到的圖像進(jìn)行單通道灰度化處理。

2.2.2 圖像濾波

由于檢測系統(tǒng)工作環(huán)境惡劣，圖像在拍攝和傳輸過程中會受到隨機干擾信號的影響，導(dǎo)致采集到的圖像存在一定的噪聲[3]。這些干擾源在硬件上是無法避免的，因此有必要在處理算法上對圖像進(jìn)行濾波，以降低噪聲，從而提高檢測的準(zhǔn)確性。

2.2.3 圖像增強

圖像增強的目的是改善圖像的局部或整體特征，根據(jù)研究的需要對圖像進(jìn)行特定的處理，提高圖像的判斷和識別效果[4]。

經(jīng)過圖像預(yù)處理后圖像干擾信息大大減少，檢測項特征清晰明顯，如圖8所示，說明圖像預(yù)處理效果合適明顯。

3 汽車線束檢測算法設(shè)計

3.1 汽車線束智能切換檢測算法

一個完整的汽車線束檢測項是由常用檢測項其中的某幾項組合而成，因此在檢測不同線束或者同種線束加/減某個特定檢測項時，只需增刪對應(yīng)的檢測項算法就行，從而實現(xiàn)汽車線束檢測模塊化，這樣大大提高了汽車線束檢測算法的普適性以及便捷性。

step 1 建立汽車線束樣本資料庫：將幾種常用的汽車線束字符與其對應(yīng)的檢測項信息錄入數(shù)據(jù)庫以供后續(xù)算法調(diào)用。

step 2 由于線束是安裝在工裝板上，對工裝板的匹配定位就是對線束的匹配定位，識別線束字符判斷生產(chǎn)線束是否為目標(biāo)生產(chǎn)線束，如圖9所示，如果用錯工裝板應(yīng)及時更換，避免浪費工時。

step 3 得到線束字符后匹配數(shù)據(jù)庫中的線束字符，自動調(diào)用數(shù)據(jù)庫中線束字符對應(yīng)的線束檢測項種類、數(shù)量、位置ROI區(qū)信息實現(xiàn)自動化切換檢測不同汽車線束的目的。

3.2 基于混合技術(shù)的圖像檢測算法

汽車線束檢測項繁多，相比單一使用某一種檢測方法檢測汽車線束，針對不同檢測項、不同檢測要求選取不同檢測算法或融合多種檢測方法，使得檢測整體汽車線束變得更高效、準(zhǔn)確。

3.2.1 基于YOLO算法的深度學(xué)習(xí)目標(biāo)檢測算法

固定扎帶檢測因在特殊角度下不同扎帶表現(xiàn)出的特征非常相似，如圖10所示，導(dǎo)致檢測易產(chǎn)生漏報；膠布檢測因膠布兩端通常緊挨扎帶，導(dǎo)致檢測長度失誤出現(xiàn)漏報；膠帶檢測因膠帶特征不明顯且特征不固定導(dǎo)致誤報率高且出現(xiàn)漏報。這三項要求用傳統(tǒng)檢測方法不能控制漏報為0，采用深度學(xué)習(xí)目標(biāo)檢測算法可以實現(xiàn)準(zhǔn)確地檢測。

step1 對線束樣本進(jìn)行數(shù)據(jù)采集，線束樣本的主要部件為多角度的固定扎帶，膠布，左旋膠帶，右旋膠帶。本次實驗共對1000組線束進(jìn)行數(shù)據(jù)采集，再對采集圖像進(jìn)行數(shù)據(jù)清洗，篩選掉由于抖動、對焦不準(zhǔn)等原因?qū)е碌哪：龢颖緢D，得到高質(zhì)量的線束樣本圖像895張，如表4所示，其中圖像的分辨率為5472×3648。

step2 根據(jù)汽車線束數(shù)據(jù)集大小和檢測要求精度選擇YOLOv5s.pt進(jìn)行預(yù)訓(xùn)練從而加快后續(xù)訓(xùn)練速度，然后導(dǎo)入汽車線束數(shù)據(jù)集和驗證集，修改訓(xùn)練路徑開始模型訓(xùn)練，啟用tensorbord查看訓(xùn)練結(jié)果，mAP數(shù)值逐漸提高后趨于平穩(wěn)值0.9左右，如圖11所示。

step3 模型訓(xùn)練完會產(chǎn)生一個最好的權(quán)重文件best.pt，導(dǎo)入驗證圖片測試權(quán)重文件，測試圖片中需要檢測的扎帶、膠布、左旋膠帶都能準(zhǔn)確地識別出來，且準(zhǔn)確率均大于0.8，如圖12所示。

3.3 傳統(tǒng)檢測算法設(shè)計

除以上采用深度學(xué)習(xí)的三項檢測項外，其余特征明顯容易識別的檢測項采用傳統(tǒng)檢測算法可以減少檢測成本，檢測運行高效便捷。

3.3.1 基于圖像邊緣梯度的NCC匹配算法

由于汽車線束的裝配是在車間流水線上，檢測環(huán)境無法做到完全封閉，即使有專用的光源補充，拍攝環(huán)境光也會隨著時間或者遮蓋發(fā)生變化。常規(guī)模板匹配算法cv2.matchTemplate是基于像素的匹配算法[5]，很容易受光照的影響導(dǎo)致誤報。

基于圖像邊緣梯度的NCC模板匹配算法對圖像光照與像素遷移都有很強的抗干擾能力[6]，如圖13所示。在檢測特征明顯的扎帶匹配算法上，基于圖像邊緣梯度的NCC模板匹配算法在魯棒性、運算速率、精準(zhǔn)度上是優(yōu)于已有的模板匹配算法，如表5所示。

3.3.2 其他傳統(tǒng)檢測算法

由于檢測項與線材顏色有灰度上的差異，當(dāng)存在檢測項時則有線束橫向的一個寬度值，不存在檢測項時則沒有，所以可采用間距測量算法檢測有無。除此之外，還有相似度檢測算法、顏色檢測算法等運用于汽車線束檢測的不同檢測場景，即使是同一個檢測項，可采用的檢測算法也不止一種，檢測準(zhǔn)度、速度、魯棒性等也是不一樣的[7]。

3.4 人機界面及檢驗成果

設(shè)計人機交互界面，便于工人查看汽車線束檢驗狀態(tài)，包括顯示當(dāng)前線束拍攝示意圖、統(tǒng)計生產(chǎn)數(shù)據(jù)、檢測結(jié)果等，如圖14所示。

我們對常用五種汽車線束進(jìn)行算法檢驗，基于圖像的汽車線束結(jié)構(gòu)檢測方案平均每小時檢測線束數(shù)量846個，誤報率在2.38%，漏報率為0，結(jié)果證明了該檢測方案可以實現(xiàn)對不同線束不同檢測項的準(zhǔn)確高效檢測。

4 總結(jié)與展望

本文設(shè)計了基于圖像的汽車線束結(jié)構(gòu)檢測系統(tǒng)，調(diào)研總結(jié)汽車線束常用檢測項，針對不同檢測項單獨設(shè)計檢測算法，結(jié)合傳統(tǒng)檢測算法與深度學(xué)習(xí)檢測算法實現(xiàn)對汽車線束檢測項高效準(zhǔn)確的檢測。通過算法與數(shù)據(jù)庫的通訊實現(xiàn)對汽車線束的智能切換檢測方案，提高檢測算法的普適性。設(shè)計簡潔明了、便于操作的人機交互界面，方便工人更換不同汽車線束檢測算法、導(dǎo)出檢測統(tǒng)計數(shù)據(jù)。設(shè)計的系統(tǒng)不僅為企業(yè)提高了汽車線束生產(chǎn)效率，同時也給線束檢測領(lǐng)域提供了一種新思路。

參考文獻(xiàn)（References）：

[1] 李秀娟，李貝貝，于心俊.線束端子在線檢測系統(tǒng)[J].自動化

儀表，2015，36（6）：65-68

[2] 雷敏華，陳良.基于機器視覺的端子尺寸檢測系統(tǒng)[J].機電工

程技術(shù)，2013（7）：27-29

[3] MackenzieM，Tieu K.Gaussian filters and filter synthesis

using aHermite/Laguerre neural network[J].IEEE Transactions on Neural Networks，2004，15（1）：206

[4] 嚴(yán)攀.基于目標(biāo)檢測的汽車線束外觀檢測應(yīng)用研究[D].碩士，

電子科技大學(xué)，2020

[5] 趙旦峰，王博，楊大偉.一種邊緣定向平滑圖像插值算法[J].

電子與信息學(xué)報，2012，34（7）：1543-1546

[6]張相勝，焦鵬，潘豐.基于機器視覺的汽車線束壓接缺陷檢測

系統(tǒng)[J].儀表技術(shù)與傳感器，2020（3）：73-7

[7] 馮策，戴樹嶺.一種改進(jìn)的非銳化掩模深度圖像增強算法[J].

哈爾濱：哈爾濱工業(yè)大學(xué)學(xué)報，2014，46（8）：107-112