機(jī)器視覺技術(shù)在汽車線束包膠機(jī)膠帶檢測(cè)中的應(yīng)用

原敏喬

(中國科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033)

1 引 言

當(dāng)前，汽車線束包膠生產(chǎn)技術(shù)已開始從傳統(tǒng)的人工包膠轉(zhuǎn)變?yōu)樽詣?dòng)化柔性機(jī)械包膠[1]。但在機(jī)械包膠過程中，一個(gè)包膠動(dòng)作結(jié)束切斷包膠膠帶時(shí)，可能會(huì)出現(xiàn)因刀具磨損或切斷運(yùn)動(dòng)位置偏移等原因而導(dǎo)致膠帶未切斷或膠帶進(jìn)入帶槽位置偏移的情況，影響下一包膠動(dòng)作。傳統(tǒng)的檢測(cè)方法是人工目視檢查[2]膠帶的切斷及入槽情況，這種方法人工成本高，檢測(cè)效率低，易出現(xiàn)人為誤檢，導(dǎo)致整體汽車線束包膠生產(chǎn)效率降低。

本文通過機(jī)器視覺的方法，在包膠機(jī)機(jī)械臂的近端位置搭建視覺識(shí)別檢測(cè)系統(tǒng)，對(duì)包膠機(jī)膠帶切斷及膠帶入槽狀態(tài)進(jìn)行實(shí)時(shí)檢測(cè)。檢測(cè)系統(tǒng)可向包膠機(jī)智能控制終端發(fā)送膠帶狀態(tài)的實(shí)時(shí)反饋，使整體包膠系統(tǒng)形成閉環(huán)，并且當(dāng)包膠機(jī)膠帶狀態(tài)出現(xiàn)問題時(shí)，控制終端可以及時(shí)發(fā)現(xiàn)并報(bào)警提醒。該方法在提高膠帶檢測(cè)準(zhǔn)確率、增強(qiáng)整體自動(dòng)化包膠系統(tǒng)穩(wěn)定性的同時(shí)，節(jié)省人工，提高汽車線束包膠的生產(chǎn)效率。

2 系統(tǒng)總體方案

系統(tǒng)總體框圖如圖1所示。首先通過機(jī)械臂近端的攝像頭拍攝獲取膠帶原始圖像，進(jìn)行灰度化處理；然后基于NCC圖像匹配方法對(duì)圖像中膠帶槽口區(qū)域精確定位，利用定位位置從膠帶灰度圖中提取出準(zhǔn)確的膠帶切斷檢測(cè)區(qū)域和膠帶入槽檢測(cè)區(qū)域；基于SVM算法分別對(duì)提取的膠帶切斷檢測(cè)區(qū)域圖像和膠帶入槽檢測(cè)區(qū)域圖像進(jìn)行分類識(shí)別，判斷膠帶的切斷和入槽情況；最后將檢測(cè)結(jié)果傳送到包膠機(jī)的智能運(yùn)動(dòng)控制終端。

圖1 系統(tǒng)總體框圖

3 圖像處理

3.1 獲取原始圖像并灰度化處理

通過安裝在包膠機(jī)機(jī)械臂前端的攝像頭，拍攝獲取包膠機(jī)械手上膠帶的原始圖像。利用OpenCV庫中的灰度化函數(shù)對(duì)原始圖像進(jìn)行灰度處理，灰度處理程序如圖2所示，處理后的灰度圖像見圖3。

圖2 灰度處理程序

圖3 灰度圖

3.2 基于NCC圖像匹配方法定位膠帶槽口

NCC圖像匹配方法[3]是一種應(yīng)用較廣的基于圖像灰度的匹配方法，其原理是利用匹配模板與待匹配圖像的灰度值相似性(即歸一化互相關(guān)系數(shù)η)來確定匹配情況[4]。η值最大的匹配位置為最佳位置。

設(shè)模板圖像T與待匹配圖像S的等尺寸匹配窗口大小為m×m，模板圖像的灰度均值和有偏樣本標(biāo)準(zhǔn)差分別為templateMean和templateStd，待匹配圖像的灰度均值、有偏樣本標(biāo)準(zhǔn)差和像素分別為sampleMean、sampleStd和SumPixel(S)，模板圖像與待匹配圖像的像素卷積為T?S。η的計(jì)算公式如下：

視覺定位流程圖如圖4所示。在視覺定位過程中，首先在待匹配的灰度圖(見圖4(a))中選取膠帶槽口區(qū)域，并手動(dòng)截取大小為m×m的匹配模板(見圖4(b))，然后在新的待匹配圖像中根據(jù)式(1)定位槽口區(qū)域圖像位置，如圖4(c)所示。

圖4 視覺定位流程圖

3.3 基于SVM算法視覺識(shí)別膠帶斷裂及入槽

SVM模型是一種經(jīng)典的機(jī)器學(xué)習(xí)分類模型[5]，其旨在定義的特征空間內(nèi)獲取間隔最大化的超平面[6]，從而將數(shù)據(jù)集中的數(shù)據(jù)樣本進(jìn)行分類。當(dāng)數(shù)據(jù)集不是線性可分時(shí)，通過核函數(shù)令低維特征空間映射至高維特征空間，使得樣本在高維空間中線性可分。

3.3.1 基于SVM算法視覺識(shí)別膠帶切斷

本文視覺檢測(cè)系統(tǒng)在每段線束包膠結(jié)束后，先進(jìn)行膠帶切斷檢測(cè)。

(1)提取膠帶切斷檢測(cè)區(qū)域圖像

首先根據(jù)視覺定位區(qū)域位置，設(shè)定其右側(cè)的一個(gè)固定區(qū)域?yàn)槟z帶切斷檢測(cè)區(qū)域。膠帶切斷檢測(cè)區(qū)域的中心與定位槽口區(qū)域中心水平方向相距s1，豎直方向相距s2，如圖5所示。

混合式學(xué)習(xí)方法使一種與時(shí)俱進(jìn)的學(xué)習(xí)方法，更加符合學(xué)生的生活環(huán)境，可以滿足學(xué)生的個(gè)性化差異，提高學(xué)生的學(xué)習(xí)興趣與積極性，進(jìn)而有效的提高學(xué)生的英語成績(jī)，上文中筆者簡(jiǎn)要的介紹了一些加強(qiáng)該方法的策略，由于不同地區(qū)之間的實(shí)際情況存在差異，因此廣大教育工作者在實(shí)際應(yīng)用的過程中要考慮到學(xué)生的實(shí)際水平與接受能力等，在日常實(shí)踐中積極探索，使該學(xué)習(xí)方法更加完善。

圖5 定位區(qū)域與膠帶切斷檢測(cè)區(qū)域關(guān)系圖

當(dāng)包膠機(jī)成功切斷膠帶時(shí)，包膠機(jī)的機(jī)械手會(huì)控制旋轉(zhuǎn)機(jī)構(gòu)運(yùn)動(dòng)到指定角度位置，檢測(cè)系統(tǒng)提取的膠帶切斷檢測(cè)區(qū)域圖像如圖6(a)所示；當(dāng)包膠機(jī)未能切斷膠帶時(shí)，包膠機(jī)的機(jī)械手旋轉(zhuǎn)機(jī)構(gòu)會(huì)受膠帶拉力影響無法運(yùn)動(dòng)到指定位置，此時(shí)檢測(cè)系統(tǒng)提取的膠帶切斷檢測(cè)區(qū)域圖像如圖6(b)所示。

(a)切斷時(shí)提取圖 (b)未切斷時(shí)提取圖圖6 膠帶切斷檢測(cè)提取圖像

(2)樣本訓(xùn)練

采集膠帶切斷檢測(cè)區(qū)域提取的圖像作為數(shù)據(jù)樣本(1000張左右)，將樣本圖像的大小壓縮為(20，20)。切斷檢測(cè)樣本共分為2類：第一類為膠帶切斷時(shí)提取的圖像，標(biāo)簽為數(shù)字0；第二類為膠帶未切斷時(shí)提取的圖像，標(biāo)簽為數(shù)字1，如圖7所示。

0 1圖7 膠帶切斷檢測(cè)的樣本分類

計(jì)算每個(gè)切斷檢測(cè)樣本的方向梯度直方圖(HOG)，以HOG為樣本特征描述子，導(dǎo)入OpenCV庫中SVM模型，選擇核函數(shù)參數(shù)為RBF，訓(xùn)練膠帶切斷檢測(cè)分類器。膠帶切斷樣本訓(xùn)練程序如圖8所示。

圖8 膠帶切斷樣本訓(xùn)練程序

(3)識(shí)別判斷

識(shí)別時(shí)，根據(jù)訓(xùn)練好的膠帶切斷檢測(cè)分類器，對(duì)現(xiàn)場(chǎng)采集的上千張膠帶測(cè)試圖中的切斷檢測(cè)區(qū)域進(jìn)行判斷。判斷膠帶為切斷時(shí)，認(rèn)為合格，等待繼續(xù)進(jìn)行膠帶入槽檢測(cè)；判斷膠帶為未切斷時(shí)，認(rèn)為不合格，不需再進(jìn)行膠帶入槽檢測(cè)。切斷檢測(cè)結(jié)束后，視覺檢測(cè)系統(tǒng)將結(jié)果傳送給包膠機(jī)的運(yùn)動(dòng)控制終端，結(jié)果不合格時(shí)，包膠機(jī)終端控制機(jī)器停止并報(bào)警提示。

膠帶切斷識(shí)別代碼如圖9所示。

圖9 膠帶切斷識(shí)別代碼

3.3.2 基于SVM算法視覺識(shí)別膠帶入槽

本文視覺檢測(cè)系統(tǒng)在膠帶切斷檢測(cè)合格后，再對(duì)膠帶進(jìn)行入槽檢測(cè)。

(1)提取膠帶入槽檢測(cè)區(qū)域圖像

因?yàn)橐曈X定位區(qū)域就在膠帶槽口，其為檢測(cè)的感興趣區(qū)域，所以直接設(shè)置定位區(qū)域?yàn)槟z帶入槽檢測(cè)區(qū)域。將定位區(qū)域進(jìn)行圖像裁剪后，膠帶入槽檢測(cè)提取圖像如圖10所示。

圖10 膠帶入槽檢測(cè)提取圖像

(2)樣本訓(xùn)練

采集膠帶入槽檢測(cè)區(qū)域提取的圖像作為數(shù)據(jù)樣本(5000張左右)，將樣本圖像大小壓縮為(20，20)。入槽檢測(cè)樣本共分為5類，如圖11所示。其中，第一類為膠帶合格入槽時(shí)提取的圖像(見圖12(a))，標(biāo)簽為數(shù)字0；第二類為膠帶整體脫離槽口時(shí)提取的圖像(見圖12(b))，標(biāo)簽為數(shù)字1；第三類為膠帶上邊緣脫離槽口時(shí)提取的圖像(見圖12(c))，標(biāo)簽為數(shù)字2；第四類為膠帶下邊緣脫離槽口時(shí)提取的圖像(見圖12(d))，標(biāo)簽為數(shù)字3；第五類為膠帶上下邊緣脫離槽口時(shí)提取的圖像(見圖12(e))，標(biāo)簽為數(shù)字4。

0 1 2 3 4圖11 膠帶入槽檢測(cè)的樣本分類

圖12 膠帶入槽檢測(cè)提取的5種圖像示意圖

然后，計(jì)算每個(gè)入槽檢測(cè)樣本的方向梯度直方圖(HOG)，以HOG為樣本特征描述子，訓(xùn)練膠帶入槽檢測(cè)分類器。膠帶入槽樣本訓(xùn)練程序如圖13所示。

圖13 膠帶入槽樣本訓(xùn)練程序

(3)識(shí)別判斷

識(shí)別時(shí)，根據(jù)訓(xùn)練好的膠帶入槽檢測(cè)分類器，對(duì)現(xiàn)場(chǎng)采集的數(shù)千張膠帶測(cè)試圖像的膠帶入槽檢測(cè)區(qū)域進(jìn)行判斷。判斷膠帶為第一類入槽情況時(shí)認(rèn)為合格，其余情況認(rèn)為入槽不合格。視覺檢測(cè)系統(tǒng)將檢測(cè)結(jié)果傳送給包膠機(jī)的運(yùn)動(dòng)控制終端。在入槽檢測(cè)合格的情況下，包膠機(jī)繼續(xù)工作，對(duì)下一段線束進(jìn)行包膠；檢測(cè)不合格時(shí)，包膠機(jī)終端控制機(jī)器停止并報(bào)警提醒。膠帶入槽識(shí)別代碼如圖14所示。

圖14 膠帶入槽識(shí)別代碼

4 試驗(yàn)與分析

4.1 試驗(yàn)環(huán)境

本試驗(yàn)的硬件平臺(tái)為工控機(jī)以及搭載高清無畸變1080P(忽略較小畸變)攝像頭的優(yōu)奧機(jī)器人。其中，工控機(jī)的操作系統(tǒng)為Window10，處理器為英特爾i7，內(nèi)存16GB。視覺檢測(cè)系統(tǒng)程序采用Python3.5編寫，并使用OpenCV3.4開源庫包。

4.2 試驗(yàn)內(nèi)容

為體現(xiàn)本文自動(dòng)化包膠膠帶視覺檢測(cè)系統(tǒng)的準(zhǔn)確率和效率，令5名熟練工人進(jìn)行等量的膠帶目檢工作以作為對(duì)比。

本文系統(tǒng)和5名熟練工人分別對(duì)實(shí)際生產(chǎn)過程中的同批次200根汽車線束包膠膠帶進(jìn)行檢測(cè)，每根線束有12道包膠工序，每道包膠工序結(jié)束后，均需對(duì)膠帶進(jìn)行切斷和入槽檢測(cè)，即一共需要2400次檢測(cè)。

4.3 試驗(yàn)結(jié)果

自動(dòng)化包膠膠帶切斷檢測(cè)結(jié)果如圖15所示，自動(dòng)化包膠膠帶入槽檢測(cè)結(jié)果見圖16。當(dāng)檢測(cè)合格時(shí)，將檢測(cè)區(qū)域用綠色方框標(biāo)識(shí)；當(dāng)檢測(cè)不合格時(shí)，將檢測(cè)區(qū)域用紅色方框標(biāo)識(shí)。

(a)膠帶切斷檢測(cè)合格

(b)膠帶切斷檢測(cè)不合格圖15 膠帶切斷檢測(cè)圖

(a)膠帶合格入槽

(b)膠帶整體脫槽

(c)膠帶上邊緣脫槽

(d)膠帶下邊緣脫槽

(e)膠帶上下邊緣脫槽圖16 膠帶入槽檢測(cè)圖

統(tǒng)計(jì)自動(dòng)化視覺檢測(cè)與5名熟練工人平均目檢的準(zhǔn)確率與效率，結(jié)果如表1所示。

表1 自動(dòng)化視覺檢測(cè)系統(tǒng)與人工平均檢測(cè)情況對(duì)比

5 結(jié)束語

針對(duì)汽車線束包膠膠帶檢測(cè)，本文提出了一種基于機(jī)器視覺的膠帶切斷及入槽自動(dòng)化檢測(cè)方法。首先獲取膠帶圖像并進(jìn)行灰度處理，然后基于歸一化互相關(guān)圖像匹配方法視覺定位并提取檢測(cè)區(qū)域圖像，最后利用基于支持向量機(jī)的機(jī)器學(xué)習(xí)方法識(shí)別所提取的檢測(cè)區(qū)域，判斷膠帶的切斷及入槽情況。試驗(yàn)結(jié)果證明，本文的自動(dòng)化視覺檢測(cè)方法有效提高了包膠膠帶的檢測(cè)效率和準(zhǔn)確率，具有節(jié)省人工、降低成本的優(yōu)點(diǎn)。