基于LabVIEW視覺(jué)的IC插座插孔缺陷檢測(cè)平臺(tái)設(shè)計(jì)

李漢雄,孫明革

(吉林化工學(xué)院 信息與控制工程學(xué)院,吉林 吉林 132022)

近年來(lái),LabVIEW視覺(jué)在各行各業(yè)中得到了廣泛的應(yīng)用[1-4]。LabVIEW是一種圖形化編程語(yǔ)言,其中包含許多內(nèi)置和擴(kuò)展的函數(shù)庫(kù),如數(shù)學(xué)矩陣運(yùn)算、信號(hào)處理以及視覺(jué)圖像處理等函數(shù)庫(kù)。這些函數(shù)庫(kù)里的函數(shù)都以圖像化編程語(yǔ)言的形式進(jìn)行展示,讓開(kāi)發(fā)人員能夠更加快速地構(gòu)建機(jī)器視覺(jué)自動(dòng)化系統(tǒng),并根據(jù)客戶要求快速提供完整的解決方案。這種語(yǔ)言特性讓語(yǔ)言更加易于理解和操作。針對(duì)焊縫表面的缺陷數(shù)據(jù),樊巖松等人利用LabVIEW中ADO技術(shù)對(duì)其進(jìn)行研究與分析,從而實(shí)現(xiàn)焊縫表面的缺陷檢測(cè)[5]。蔡湘云等人使用金牌匹配模板方法,對(duì)段碼式LCD屏進(jìn)行缺陷檢測(cè)[6]。鄭中華等人使用灰度化和模板匹配等技術(shù),對(duì)SIM卡槽進(jìn)行缺陷檢測(cè)[7]。陳守恒等人先使用模板匹配的燈座定位方法,對(duì)燈座進(jìn)行定位,然后使用灰度均值,對(duì)燈座缺陷進(jìn)行檢測(cè)[8]。王雪晴等人使用模板匹配的方式,對(duì)玻璃存在的缺陷進(jìn)行檢測(cè)[9]。王永泉等人使用LabVIEW軟件開(kāi)發(fā)了一套GIS聲振聯(lián)合檢測(cè)系統(tǒng)[10]。王建沖等人使用改進(jìn)的Canny邊緣檢測(cè)等算法,對(duì)SOP芯片引腳進(jìn)行缺陷檢測(cè)[11]。然而,在IC產(chǎn)業(yè)鏈中,基于LabVIEW視覺(jué)的IC插座插孔缺陷檢測(cè)是一種新的嘗試。

本文基于LabVIEW軟件,設(shè)計(jì)了IC插座插孔缺陷檢測(cè)平臺(tái),其中工作流程如下:使用CCD相機(jī)采集IC插座圖像,對(duì)圖像進(jìn)行灰度化、增強(qiáng)和其他處理[9],利用顆粒分析法對(duì)IC插座的插孔進(jìn)行檢測(cè)和分析。實(shí)驗(yàn)證明,該檢測(cè)平臺(tái)具有良好檢測(cè)效果,極大提高了工業(yè)檢測(cè)的效率和檢測(cè)精度。

1 系統(tǒng)總體方案設(shè)計(jì)

系統(tǒng)硬件組成包括計(jì)算機(jī)、工業(yè)相機(jī)以及光源等部分。目前流行的機(jī)器視覺(jué)相機(jī),主要是CCD相機(jī)和CMOS相機(jī)。通過(guò)對(duì)比,最終選擇MV-SI608GC型號(hào)的?？倒I(yè)相機(jī)(CCD相機(jī)),該款相機(jī)IO口豐富,可接入多路輸入輸出信號(hào),與現(xiàn)場(chǎng)工業(yè)設(shè)備對(duì)接良好,并支持?jǐn)U展,完全滿足IC插座插孔缺陷檢測(cè)的需求。系統(tǒng)硬件檢測(cè)裝置示意圖如圖1所示。

圖1 硬件檢測(cè)裝置示意圖

系統(tǒng)軟件設(shè)計(jì)主要由圖像處理模塊和圖像檢測(cè)模塊組成[11]。系統(tǒng)軟件整體設(shè)計(jì)示意如圖2所示。具體過(guò)程為先對(duì)采集的IC插座圖像進(jìn)行圖像灰度化、圖像增強(qiáng)和圖像去除陰影等一系列處理,然后通過(guò)顆粒分析手段獲取插孔數(shù)目信息,最后進(jìn)行缺陷檢測(cè)。

圖2 系統(tǒng)軟件整體設(shè)計(jì)示意圖

2 LabVIEW圖像處理技術(shù)

2.1 圖像灰度化處理

目前使用的多數(shù)相機(jī)為彩色相機(jī),但彩色相機(jī)圖像信息量過(guò)大,需要對(duì)彩色圖像進(jìn)行灰度化處理[12]?；叶然幚砗?整幅圖像的每個(gè)像素點(diǎn)色彩信息都可以用0～255像素值表示[13]?；叶然Ｓ梅椒ㄖ饕凶畲笾捣?平均值法和加權(quán)平均值法[14]。通過(guò)對(duì)比,加權(quán)平均值法達(dá)到的效果最好。加權(quán)平均值法原理:按照一定的權(quán)重,對(duì)原圖像RGB的值分別進(jìn)行加權(quán)平均值[12],如式(1)所示。

(1)

式(1)中ωR、ωG、ωB分別是R、G、B三個(gè)值的權(quán)值,必須滿足ωG>ωR>ωB,根據(jù)經(jīng)驗(yàn)選取ωR、ωG、ωB的值分別為0.299、0.587、0.114[12]。這里以MV-SI608GC型號(hào)工業(yè)相機(jī)采集的樣本圖像為例,其中圖像灰度化效果如圖3所示。

圖3 彩色圖像灰度化效果圖

2.2 圖像去陰影處理

通過(guò)使用LabVIEW Vision中的Brightness函數(shù),對(duì)圖像陰影進(jìn)行去除。Brightness函數(shù)參數(shù)如下:亮度值(Brightness)、對(duì)比度值(Contrast)和伽馬值(Gamma)。以上述相機(jī)所采集的樣本為例,經(jīng)過(guò)不同的參數(shù)對(duì)比,亮度值、對(duì)比度值和伽馬值分別取160±1.00,65±1.00,0.4參數(shù)值時(shí),效果最好。圖像去除陰影后效果如圖4所示。

圖4 灰度圖像去陰影效果圖

2.3 圖像二值化處理

2.3.1 閾值分割概述

經(jīng)過(guò)去陰影處理后的灰度圖像,需要分割成背景和目標(biāo)兩部分圖像。以圖像的灰度直方圖為參考,進(jìn)行圖像的灰度閾值分割,這里的閾值根據(jù)需要選擇。若原始圖像為f(x,y),選擇的閾值為T(mén),則圖像分割方法用簡(jiǎn)化公式(2)表示。

(2)

式(2)中g(shù)(x,y)為分割后的圖像;T為分割閾值;f(x,y)為原始圖像的灰度值。

2.3.2 閾值分割法分類

常見(jiàn)的圖像閾值分割法包括全局手動(dòng)閾值分割法、全局自動(dòng)閾值分割法和局部閾值分割法。上述閾值分割法的特性如表1所示。

表1 閾值分割法特性表

根據(jù)表1可知,對(duì)經(jīng)過(guò)去除陰影處理后的圖像,使用全局自動(dòng)閾值分割法效果較好。LabVIEW中NI Vision支持5種全局自動(dòng)閾值分割方法,包含聚類法(Clustering)、最大類間方差法(Inter-Class Variance)[15]、最大熵法(Entropy)、最小均勻性度量法(Metric)、矩保持法(Moments Preserving)。下面重點(diǎn)介紹矩保持法(Moments Preserving)。

矩保持法又稱為矩守恒閾值法,它適合處理對(duì)比度較差的圖像。矩保持法認(rèn)為圖像經(jīng)過(guò)采集過(guò)程中的電噪聲或輕微散光,會(huì)導(dǎo)致圖像模糊,但是只要能找到閾值,使分割前后圖像的矩保持不變,則該閾值就是最佳閾值。一幅圖像的k階矩mk通過(guò)公式(7)計(jì)算得到[16]。

(3)

式(3)中N表示圖像中像素總數(shù);i表示灰度級(jí);ik表示k階灰度級(jí),表示灰度級(jí)對(duì)應(yīng)像素?cái)?shù)。通過(guò)對(duì)比發(fā)現(xiàn),選擇矩保持法能夠使設(shè)計(jì)達(dá)到最佳效果,如圖5所示。

圖5 矩保持法二值化效果圖

2.4 圖像形態(tài)學(xué)處理

2.4.1 邊界顆粒的形態(tài)學(xué)處理

二值化處理后得到的圖像,存在無(wú)法區(qū)分與圖像邊界相連的孔洞是顆粒還是背景的情況。針對(duì)這種情況,可以使用高級(jí)形態(tài)學(xué)函數(shù)IMAQ Reject-Border,依據(jù)4連通或8連通原則,定位邊界顆粒的像素,并進(jìn)行置0處理,將圖像邊界顆粒移除,獲得的效果如圖6所示。

圖6 移除邊界顆粒圖

經(jīng)過(guò)高級(jí)形態(tài)學(xué)處理后,圖像中可能存在凸起毛刺、凹坑、細(xì)小毛刺和一些離散噪聲點(diǎn)等問(wèn)題。針對(duì)上述問(wèn)題,使用一些初級(jí)形態(tài)學(xué)函數(shù)進(jìn)行處理。初級(jí)形態(tài)學(xué)函數(shù),主要包括腐蝕運(yùn)算、膨脹運(yùn)算、擊中-擊不中運(yùn)算、開(kāi)運(yùn)算、閉運(yùn)算以及適當(dāng)開(kāi)與適當(dāng)閉等基本運(yùn)算。高級(jí)形態(tài)學(xué)處理后的圖像再進(jìn)行膨脹運(yùn)算。膨脹運(yùn)算的用途:填充圖像中顆粒內(nèi)部的孔洞或連接裂縫;擴(kuò)展目標(biāo)的輪廓;消除圖像中孤立于顆粒內(nèi)部的孔洞;為了擴(kuò)展亮的目標(biāo)區(qū)域和收縮暗的背景,將像素灰度值調(diào)整為其鄰域內(nèi)像素的灰度最大值。膨脹運(yùn)算前后對(duì)比圖如圖7所示。

圖7 膨脹運(yùn)算前后效果圖

2.4.2 封閉不完整顆粒的形態(tài)學(xué)處理

圖像經(jīng)過(guò)膨脹運(yùn)算處理后,可能存在一些封閉不完整的顆粒,可以使用高級(jí)形態(tài)學(xué)函數(shù)IMAQ Convex Hull來(lái)處理這種情況。IMAQ Convex Hull函數(shù)用于填充二值圖像中的凸殼,獲得完整封閉的顆粒圖像。數(shù)學(xué)上對(duì)離散點(diǎn)集的凸殼有嚴(yán)格的定義,它是指歐幾里得幾何平面或者幾何空間中,能夠包含有該點(diǎn)集的最小凸集,而凸集是指集合中任意兩點(diǎn)直線上的點(diǎn)仍能落在集合內(nèi)的集合,如圖8所示。

圖8 凸集與凸殼

膨脹運(yùn)算后的圖像,經(jīng)過(guò)高級(jí)形態(tài)學(xué)IMAQ Convex Hull函數(shù)處理后的效果,如圖9所示。

圖9 高級(jí)形態(tài)學(xué)前后結(jié)果

2.5 圖像顆粒濾波處理

圖像經(jīng)過(guò)二值化處理以及一系列形態(tài)學(xué)處理后,仍然可能存在一些細(xì)小噪聲。細(xì)小噪聲不經(jīng)過(guò)處理,可能會(huì)影響最終的判斷結(jié)果。為了更加便捷地篩選出關(guān)鍵顆粒,需要去除細(xì)小噪聲。可以使用LabVIEW Vision中IMAQ Particle Filter函數(shù),篩選出指定參考范圍內(nèi)的關(guān)鍵顆粒,從而去除細(xì)小噪聲干擾。具體效果如圖10所示。

圖10 顆粒濾波去除小顆粒圖

2.6 顆粒分析及缺陷檢測(cè)

在視覺(jué)開(kāi)發(fā)過(guò)程中,常會(huì)通過(guò)對(duì)采集的圖像進(jìn)行一系列處理,再?gòu)闹蟹指罨蛱崛〕鲆獧z測(cè)的目標(biāo),這種被提取出的目標(biāo)就是顆粒。顆粒是指圖像中相互連通的一組非0或灰度較高的像素所構(gòu)成的區(qū)域。顆粒的常見(jiàn)屬性參數(shù)包括面積、等效橢圓、孔洞、凸殼、角度、求和與矩等。所謂顆粒分析,是指依據(jù)顆粒相關(guān)屬性參數(shù)信息獲取相關(guān)結(jié)果。

對(duì)顆粒濾波處理后的圖像進(jìn)行顆粒分析,獲取的結(jié)果是IC插座插孔的數(shù)目信息,將其與合格的IC插座插孔的數(shù)目信息做對(duì)比,從而判斷IC插座插孔是否合格。這里,檢測(cè)合格的IC插座插孔數(shù)目信息為16個(gè)。合格的IC插座插孔二值圖如圖11所示。

圖11 合格的IC插座插孔二值圖

IC插座插孔的缺陷檢測(cè)設(shè)計(jì)具體過(guò)程為IC插座圖像經(jīng)過(guò)一系列處理后,再使用缺陷檢測(cè)算法,對(duì)IC插座插孔圖像進(jìn)行檢測(cè)判斷。當(dāng)所含插孔顆粒數(shù)目等于16,則判斷合格;當(dāng)所含插孔顆粒數(shù)目小于16時(shí),則判斷不合格。

3 實(shí)驗(yàn)結(jié)果與分析

本文使用兩種不同類型的IC插座插孔樣本,分別是16孔和24孔的IC插座插孔樣本。通過(guò)上述檢測(cè)方法,分別對(duì)16孔和24孔的IC插座各取100張圖像進(jìn)行檢測(cè)驗(yàn)證。取具有代表性圖像進(jìn)行說(shuō)明。檢測(cè)結(jié)果如圖12所示。

圖12 檢測(cè)結(jié)果

經(jīng)過(guò)測(cè)試,該檢測(cè)平臺(tái)對(duì)IC插座插孔檢測(cè),其檢測(cè)正確率能達(dá)到96%以上,檢測(cè)效率為每秒平均能檢測(cè)36張圖片,能夠滿足工業(yè)需要。該缺陷檢測(cè)平臺(tái)的可視化頁(yè)面,如圖13所示。

圖13 可視化頁(yè)面

4 結(jié) 論

基于LabVIEW視覺(jué)的IC插座插孔缺陷檢測(cè)平臺(tái),是在NI公司的LabVIEW視覺(jué)模塊基礎(chǔ)上進(jìn)行開(kāi)發(fā)的。該平臺(tái)所采用的設(shè)計(jì)方法,能夠準(zhǔn)確地判斷IC插座插孔是否存在缺陷,解決了現(xiàn)有檢測(cè)平臺(tái)效率慢和精度低的缺點(diǎn)。實(shí)驗(yàn)證明,該平臺(tái)具有一定的可實(shí)施性和推廣性,能夠滿足工業(yè)生產(chǎn)對(duì)IC插座插孔的檢測(cè)要求。而且,該平臺(tái)所采用的設(shè)計(jì)方法能為缺陷檢測(cè)領(lǐng)域的研究提供一定的借鑒。