基于機(jī)器視覺的計(jì)量級(jí)接插件端子檢測系統(tǒng)

房建龍 于波

(青島思銳自動(dòng)化工程有限公司,山東青島 266100)

0 引言

隨著電子行業(yè)的快速發(fā)展,各種精小型電子接插件(端子)的使用越來越多,而且種類也越來越廣,為了防止這些電子接插件(端子)的瑕疵品流入工序,每個(gè)電子接插件(端子)都需要在不同位置有7-8項(xiàng)工藝質(zhì)檢要求。如果單純依靠人工質(zhì)檢(速度慢、人力成本太高)或?qū)嶒?yàn)室標(biāo)準(zhǔn)檢測設(shè)備抽檢,都不足以滿足現(xiàn)代制造業(yè)對(duì)產(chǎn)品質(zhì)量全流程的質(zhì)量把控、以及需要在線生產(chǎn)檢測的高速要求。

針對(duì)上述情況本研究提出了一種基于機(jī)器視覺的接插件端子檢測系統(tǒng),針對(duì)不同類型的接插件,該系統(tǒng)可通過多相機(jī)快速搭建出不同的檢測視場,利用邊緣檢測、PLC多線程等技術(shù)手段實(shí)現(xiàn)多相機(jī)同時(shí)拍照處理數(shù)據(jù),實(shí)現(xiàn)柔性化高速在線的高精度檢測。

1 系統(tǒng)結(jié)構(gòu)

本論文設(shè)計(jì)與研究的接插件端子機(jī)器視覺檢測系統(tǒng)(圖1)是基于歐姆龍視覺相機(jī)、視覺控制器等硬件設(shè)備進(jìn)行的開發(fā),本系統(tǒng)包含視覺相機(jī)、鏡頭、光源系統(tǒng)、顯示器、視覺控制器、PLC伺服控制等,利用三個(gè)相機(jī)從不同方向組態(tài),實(shí)現(xiàn)對(duì)端子不同檢測要求的尺寸測量。

本系統(tǒng)的光源系統(tǒng)(圖2)是使用LED藍(lán)色低角度環(huán)光進(jìn)行打光,藍(lán)色光波長短,適合高精度測量,而低角度光源適合物體邊緣檢測。

軟件數(shù)據(jù)方面,本系統(tǒng)通過視覺系統(tǒng)的宏操作功能(類似Basic語言),把邊緣檢測Canny算法與冒泡排序數(shù)據(jù)處理相結(jié)合,很好地剔除了干擾數(shù)據(jù)的影響,穩(wěn)定地實(shí)現(xiàn)了端子插針半徑的精確計(jì)算;同時(shí)把不合格產(chǎn)品的檢測項(xiàng)數(shù)據(jù)逐一記錄存檔,方便NG產(chǎn)品的數(shù)據(jù)趨勢追溯分析;對(duì)NG產(chǎn)品進(jìn)行報(bào)警顯示的同時(shí),同步通過EIP網(wǎng)絡(luò)上傳PLC,PLC伺服控制系統(tǒng)把NG產(chǎn)品剔除到廢料盒內(nèi)。

圖1 系統(tǒng)結(jié)構(gòu)圖Fig.1 System structure diagram

2 圖像預(yù)處理

圖像預(yù)處理是指對(duì)相機(jī)捕捉到的圖像進(jìn)行灰度化處理、二值化、濾波平滑、增強(qiáng)、腐蝕、膨脹等多種圖像處理[1],其主要目的是消除圖像中無關(guān)的信息或噪聲,使圖像更加清晰真實(shí),增強(qiáng)圖像信息采集的可檢測性,為下一步特征信息的提取提供必要的條件。

2.1 灰度變換

圖像采集完成后由于受到產(chǎn)品本身材料的問題,可能使得同種產(chǎn)品不同批次物體,在同樣的光照情況下形成顏色有差異的圖像信息。然而對(duì)于視覺識(shí)別系統(tǒng),其關(guān)鍵信息是圖像的梯度特征而不是顏色。

而圖像的灰度可以通過公式為fGray=0:30R(x;y)+0:59G(x;y)+0:11B(x;y)求得,方便了后續(xù)的圖像處理[2]。

2.2 二值化圖像

圖像的二值化可以把灰度圖像轉(zhuǎn)換成二值圖像(圖3),也就是把大于某個(gè)臨界灰度值的像素灰度設(shè)為灰度極大值即255,把小于這個(gè)值的像素灰度設(shè)為灰度極小值即0,從而實(shí)現(xiàn)圖像的二值化[3]。

二值化的值由0-255個(gè)灰階組成,灰階的差別就是圖像的梯度,利用梯度找出產(chǎn)品的邊緣(圖4)。

3 圖像識(shí)別算法與數(shù)據(jù)處理

3.1 端子插針半徑檢測算法

Canny邊緣檢測是從不同視覺對(duì)象中提取有用的結(jié)構(gòu)信息并大大減少要處理的數(shù)據(jù)量的一種技術(shù),Canny發(fā)現(xiàn),在不同視覺系統(tǒng)上對(duì)邊緣檢測的要求較為類似,因此,可以實(shí)現(xiàn)一種具有廣泛應(yīng)用意義的邊緣檢測技術(shù),本研究的視覺路徑就是基于Canny的邊緣檢測。

邊緣檢測的一般標(biāo)準(zhǔn)包括:

(1)以低的錯(cuò)誤率檢測邊緣,也即意味著需要盡可能準(zhǔn)確的捕獲圖像中盡可能多的邊緣。

(2)檢測到的邊緣應(yīng)精確定位在真實(shí)邊緣的中心。(3)圖像中給定的邊緣應(yīng)只被標(biāo)記一次,并且在可能的情況下,圖像的噪聲不應(yīng)產(chǎn)生假的邊緣。

在目前常用的邊緣檢測方法中,Canny邊緣檢測算法是具有嚴(yán)格定義的,可以提供良好可靠檢測的方法之一。由于它具有滿足邊緣檢測的三個(gè)標(biāo)準(zhǔn)和實(shí)現(xiàn)過程簡單的優(yōu)勢,成為邊緣檢測最流行的算法之一。

實(shí)現(xiàn)的Canny算法中所采用的卷積算子比較簡單,表達(dá)如下:

其x向、y向的一階偏導(dǎo)數(shù)矩陣,梯度幅值以及梯度方向的數(shù)學(xué)表達(dá)式為:

圖2 紅色光源檢測VS藍(lán)色光源檢測Fig.2 Red light source detection VS blue light source detection

圖3 原始圖片VS二值化圖片F(xiàn)ig.3 Original image VS binary image

圖4 原始圖片查找邊緣VS二值化圖片查找邊緣Fig.4 Original image search edge VS binary image search edge

圖5 冒泡排序圖解Fig.5 Bubble sort diagram

圖6 端子干擾點(diǎn)Fig.6 Terminal interference point

3.2 Canny算法加冒泡排序算法的結(jié)合

冒泡排序是一種簡單的排序算法(圖5),它也是一種穩(wěn)定排序算法。其實(shí)現(xiàn)原理是重復(fù)掃描待排序序列,并比較每一對(duì)相鄰的元素,當(dāng)該對(duì)元素順序不正確時(shí)進(jìn)行交換。一直重復(fù)這個(gè)過程,直到?jīng)]有任何兩個(gè)相鄰元素可以交換,就表明完成了排序[4]。

本研究中,由于端子插針會(huì)有干擾點(diǎn)的存在,單純依靠打光無法去掉干擾點(diǎn),這就會(huì)造成Canny算法把干擾點(diǎn)當(dāng)成邊緣,這樣視覺系統(tǒng)檢測的數(shù)據(jù)偏差變大,無法獲取真正的檢測數(shù)據(jù)(圖6、圖7)。

圖7 Canny算法檢測的邊緣Fig.7 Edge detection based on Canny algorithm

利用Canny算法把端子的外邊緣穩(wěn)定的檢測出來,同時(shí)計(jì)算多組出插針內(nèi)圓心到插針外邊緣的半徑尺寸,然后通過冒泡排序算法把數(shù)據(jù)由大到小的排列,把過大過小的數(shù)據(jù)進(jìn)行剔除,通過二次元校正像素尺寸變成現(xiàn)場實(shí)際尺寸(圖8)[5]。

4 多線程控制

本研究中,經(jīng)過測試如果1個(gè)線程處理三個(gè)相機(jī)讀取的圖像,并進(jìn)行數(shù)據(jù)處理共需要1.5s,視覺處理的時(shí)間整體超出了在線生產(chǎn)要求的0.75s的設(shè)備整體節(jié)拍指標(biāo),為此,啟用多線程控制功能勢在必行(圖9)。

把三個(gè)相機(jī)的讀取信息進(jìn)行分配同時(shí)處理,對(duì)于來自不同相機(jī)的輸入,各條線路可分別進(jìn)行場景組數(shù)據(jù)和場景數(shù)據(jù)的設(shè)定、交換與處理(圖10)。

多線程是為了同步完成多項(xiàng)任務(wù),提高資源使用效率來提高系統(tǒng)的整體效率。經(jīng)過多線程與多線程數(shù)據(jù)交換設(shè)計(jì),視覺檢測系統(tǒng)整體的運(yùn)行節(jié)拍提高到0.55s(圖11)。

5 GRR試驗(yàn)數(shù)據(jù)驗(yàn)證

為驗(yàn)證本論文所提出的機(jī)器視覺方案的可行性,以及相關(guān)算法、數(shù)據(jù)處理模式、時(shí)間節(jié)拍的有效性,尤其是本機(jī)器視覺系統(tǒng)在計(jì)量檢測精度上是否滿足與標(biāo)準(zhǔn)器(二次元影像測量儀)的精度誤差控制比小于±0.025mm,是本研究的最重要任務(wù)。

圖8 數(shù)據(jù)排序剔除Fig.8 Data sorting and elimination

GRR試驗(yàn)步驟:

(1)將接插件端子放在工裝內(nèi),由伺服控制系統(tǒng)把工裝運(yùn)送到指定拍照位置。

圖9 多線程工作場景Fig.9 Multithreading scenarios

圖10 多線程數(shù)據(jù)交換Fig.10 Multithreaded data exchange

圖11 多線程運(yùn)行節(jié)拍提高到0.55SFig.11 The running time of multithreading is increased to 0.55s

表1 試驗(yàn)數(shù)據(jù)比對(duì)Tab.1 Comparison of test data

(2)PLC根據(jù)伺服位置控制相機(jī)系統(tǒng)拍照。

(3)視覺系統(tǒng)拍照完成后,根據(jù)程序處理圖像,得出測量數(shù)據(jù)判斷出產(chǎn)品OK/NG,同一個(gè)產(chǎn)品動(dòng)態(tài)測量10次,一共10個(gè)產(chǎn)品總共100次,試驗(yàn)數(shù)據(jù)對(duì)比見表1。

(4)把OK/NG信息反饋給PLC系統(tǒng),測量數(shù)據(jù)通過EIP總線網(wǎng)路上傳服務(wù)器。

(5)端子檢測試驗(yàn)數(shù)據(jù)比對(duì)(視覺系統(tǒng)檢測數(shù)據(jù)與二次元影像儀檢測數(shù)據(jù))

經(jīng)過多組(100次/10產(chǎn)品/組)數(shù)據(jù)試驗(yàn)驗(yàn)證,最終本論文設(shè)計(jì)的機(jī)器視覺系統(tǒng)檢測數(shù)據(jù)與標(biāo)準(zhǔn)器二次元影像儀檢測數(shù)據(jù)最大偏差小于±0.025mm,完全滿足進(jìn)行生產(chǎn)線在線質(zhì)檢的計(jì)量精度要求。

6 結(jié)語

本論文設(shè)計(jì)了一種機(jī)器視覺組合的接插件端子檢測系統(tǒng),結(jié)合PLC伺服控制系統(tǒng),通過啟用多線程控制功能,可在線快速、高精度地完成接插件端子多項(xiàng)物理尺寸檢測,擺脫了以往接插件端子尺寸精密檢測只能依賴于實(shí)驗(yàn)室二次元影像儀抽查的弊端。

經(jīng)大量GRR數(shù)據(jù)測試驗(yàn)證,本機(jī)器視覺檢測系統(tǒng),檢測精度控制在±0.023mm以內(nèi)(工藝要求≤±0.025mm),檢測速度小于0.55ms(工藝要求≤±0.75ms),所有測量數(shù)據(jù)與圖片可實(shí)時(shí)保存與上傳,方便數(shù)據(jù)追溯與數(shù)據(jù)分析,真正實(shí)現(xiàn)了對(duì)所有上線的電子接插件可全部實(shí)施在線計(jì)量級(jí)別的質(zhì)量檢測,試驗(yàn)結(jié)果優(yōu)良,尤其是系統(tǒng)的可柔性化適應(yīng)于不同電子接插件的各種物理尺寸檢測,使其具有很好的行業(yè)推廣價(jià)值。