基于自適應(yīng)分割與直線擬合的芯片連接器針腳缺陷檢測算法

杜 媛

(西安職業(yè)技術(shù)學(xué)院,陜西 西安 710077)

?

基于自適應(yīng)分割與直線擬合的芯片連接器針腳缺陷檢測算法

杜 媛

(西安職業(yè)技術(shù)學(xué)院,陜西 西安 710077)

為了解決當前連接器針腳檢查算法在復(fù)雜環(huán)境下處理針腳彎曲缺陷時存在的目標漏檢問題,本文提出了基于自適應(yīng)分割與直線擬合的電子芯片缺陷檢測算法。首先,采用自適應(yīng)分割對圖像進行目標與背景分離,再根據(jù)針腳連續(xù)分布特征,完成針腳區(qū)域定位,提取其感興趣區(qū)域,通過定義分割閾值,實現(xiàn)對所有針腳圖像分割。然后提取針腳中心點序列,構(gòu)建直線擬合方程,計算每個針腳與方程的像素偏離值,訓(xùn)練出標準值,完成針腳彎曲不良檢測。實驗測試結(jié)果顯示:與當前連接器針腳檢測技術(shù)相比,在面對針腳微小彎曲缺陷時,本文算法擁有更高的不良檢出率。

針腳缺陷檢測; 自適應(yīng)分割; 直線擬合; 區(qū)域定位; 中心點序列

1 引 言

電子器件外觀缺陷檢測是整個制造制程的關(guān)鍵一步,直接影響產(chǎn)品質(zhì)量,而且由于數(shù)量多,結(jié)構(gòu)復(fù)雜,導(dǎo)致其龐大的工作量。隨著中國制造2025概念的不斷深化與實踐,將智能技術(shù)運用于制造,減少人力成本,提高產(chǎn)品質(zhì)量,這已經(jīng)是全球制造業(yè)升級的主體[1-2]。雖然針對電子芯片針腳檢查的設(shè)備已經(jīng)有很多,但都是針對“針腳缺失有無”、“針腳缺損有無”、“金屬絲是否斷裂”和“鋼琴蓋是否有劃痕”這些常規(guī)缺陷展開檢查的[3-4]。在實際中,除了以上缺陷外,還有如“針腳傾斜彎曲”類缺陷,該類缺陷圖像特征往往與正常針腳差別很小,為檢出帶來了困難與挑戰(zhàn)。

在芯片和連接器針腳缺陷識別方面,國內(nèi)研究人員已經(jīng)將圖像處理與計算機視覺技術(shù)引入到該領(lǐng)域中,對其展開研究,如陳永清[5]提出了基于機器視覺的連接器缺陷自動檢測系統(tǒng),首先利用卷積濾波處理得到高質(zhì)量的圖像,缺陷特征與背景區(qū)別明顯;最后,應(yīng)用Otsu閾值分割處理,采用邊緣直線建立坐標系的方法自動定位檢測有效區(qū)域,消除了產(chǎn)品的位置誤差;統(tǒng)計目標像素數(shù),檢測目標,達到了針腳缺陷檢查目的。但是,此技術(shù)依靠高質(zhì)量的背景目標圖像差異,完成缺陷檢查,在針腳彎曲與正常針腳僅存在微小差異時,往往影響了檢查精度。許楨英[6]提出了基于Halcon的電連接器殼體缺陷檢測系統(tǒng),首先基于Halcon的圖像處理程序進行濾波、圖像增強、分割等處理,得到每一個缺陷區(qū)域的圖像,最后利用高斯混合分類器對每個缺陷的圖像進行分類,識別殼體存在的缺陷,達到了針腳缺陷檢查。然而,這種技術(shù)依賴龐大且差異明顯數(shù)據(jù)分析為基礎(chǔ),往往不能區(qū)分彎曲傾斜針腳特征與正常針腳間的微小差異特征,導(dǎo)致缺陷檢查失敗。

對此,為了提高電子芯片的彎曲針腳檢測算法適應(yīng)性,本文提出了基于自適應(yīng)動態(tài)閾值分割與直線擬合的彎曲針腳檢查算法,通過引入采用自適應(yīng)分割,將圖像的目標與背景分離,根據(jù)針腳連續(xù)分布特征,完成針腳區(qū)域定位;再提取針腳中心點序列,構(gòu)建直線擬合方程,計算每個針腳與方程的像素偏離值,訓(xùn)練出標準值,完成針腳彎曲不良檢測。最后,測試了本文算法的檢測性能。

2 電子芯片缺陷檢測算法

本文算法流程見圖1。首先,將采集到的電子芯片連接器針腳圖像做精細化處理,提取感興趣區(qū)域,減少計算量,提高檢查精度。隨后采用局部自適應(yīng)的方式動態(tài)調(diào)整閾值,以灰度均值與灰度標準偏差為閾值設(shè)定依據(jù),實現(xiàn)對針腳圖像的二值化處理?；诙德?lián)通區(qū)域的輪廓分析,提取目標輪廓面積、形狀度因子,剔除雜質(zhì)干擾。最后統(tǒng)計針腳坐標序列,建立擬合直線方程,計算每個針腳與擬合直線的偏離距離,完成針腳傾斜彎曲缺陷檢查。

正常的電子芯片針腳如圖2所示,所有針腳在同一排上,無傾斜突出情況。而彎曲針腳如圖3所示,左下兩根針腳突出,為彎曲針腳。所提算法就是要完成這種彎曲針腳的檢測。

圖1 本文機制架構(gòu)Fig.1 Mechanism framework of this paper

圖2 正常針腳圖像Fig.2 Normal Pin image

圖3 彎曲針腳缺陷圖像Fig.3 Curved Pin defect image

2.1 電子芯片的針腳坐標序列統(tǒng)計

針腳坐標序列的統(tǒng)計過程見圖4。為了減少圖像處理運算量和雜質(zhì)干擾,提高系統(tǒng)處理效率與識別成功率,引入感興趣區(qū)域提取[7],即縮小處理針腳的范圍。感興趣區(qū)域提取依據(jù)為針腳相對芯片的物理坐標區(qū)域:

Iroi=I·Range(x1:x2,y1:y2)

(1)

式中,I為芯片整體圖像,(x1,y1)為感興趣區(qū)域左上角坐標,(x2,y2)為感興趣區(qū)域右下角坐標,Range代表感興趣區(qū)域矩陣,與I進行點乘得Iroi,即為感興趣區(qū)域圖像。

ROI(感興趣區(qū)域)提取處理結(jié)果如圖5所示,可見針腳區(qū)域進一步精細化,對后續(xù)識別工作做好了冗余數(shù)據(jù)處理。

隨后,對提取出來的感興趣圖像進行二值處理[8],由于光照變化和芯片材料個體翹曲差異,圖像成像的亮度也有一定的起伏,固定閾值分割的方式處理圖像,存在過分割與欠分割,所以本文采用動態(tài)閾值分割方式與局部自適應(yīng)相結(jié)合的技術(shù)。首先對圖像進行等位分區(qū),即平均分為多個9*9子區(qū)域,在每個子區(qū)域里討論閾值,根據(jù)每個區(qū)域特征,自適應(yīng)的確定閾值。每個區(qū)域動態(tài)閾值的確定標準為,區(qū)域灰度均值與標準偏差之和的最小值,因為灰度均值體現(xiàn)區(qū)域整體灰度特征,標準偏差體現(xiàn)區(qū)域突變程度,故該閾值兼顧整體與局部特征,作為區(qū)域分割最佳閾值,計算公式如下所示:

圖4 針腳坐標提取統(tǒng)計過程Fig.4 Pin foot coordinate extraction statistical process

圖5 ROI提取Fig.5 ROI extraction results

(2)

(3)

thresh=u+s

(4)

式(2)中u代表灰度均值,n為像素總和,式(3)中s代表灰度標準偏差,式(4)中thresh為動態(tài)閾值,即灰度均值與標準偏差之和[9]。

動態(tài)閾值分割結(jié)果如圖6所示,可見精準分割針腳目標,得到二值圖像。再對提取出的二值圖像進行BLOB分析,即二值輪廓目標逐個分析,本文基于開源庫Afore.NET的函數(shù)BlobCounter函數(shù)實現(xiàn)[10]。BlobCounter(Bitmap img,Blob blob,),函數(shù)中img為輸入輸出圖像,blob為輪廓分析因子,由目標輪廓面積與形狀度組成:

A=∑IR

(5)

L=∑IL

(6)

X=L/A

(7)

式中,A為輪廓目標面積,即輪廓區(qū)域IR像素點總和;L為輪廓目標周長,即輪廓邊緣Il像素點總和;X為形狀度因子,即區(qū)域周長與區(qū)域面積之商,值越大代表形狀輪廓越復(fù)雜。

本文就是依據(jù)這些針腳分布特征,作為針腳輪廓篩選標準,從而鎖定針腳位置,統(tǒng)計坐標,為后續(xù)直線擬合做好數(shù)據(jù)準備,如圖7所示,可見精準定位針腳。

圖6 二值化處理Fig.6 Binarization processing

圖7 輪廓分析提取結(jié)果Fig.7 Contour analysis extraction results

2.2 基于擬合直線的彎曲缺陷檢查

完成針腳坐標序列統(tǒng)計后,需要基于此進行針腳直線擬合,來判斷針腳是否偏離擬合直線,其過程見圖8。由于彎曲或者傾斜針腳的傾斜角度較小,所以成像上在面積、形狀特征方面與正常針腳相比,沒有明顯差異。從人眼角度判斷,可以發(fā)現(xiàn)傾斜針腳與正常針腳不在同一直線上,故本文采用先直線擬合,然后進行偏差距離計算,完成針腳傾斜缺陷判斷。

首先建立直線方程模型,根據(jù)黑賽范式,如下式所示:

ax+by+c=0

(8)

式中,(x,y)為圖像中直線上的坐標,(a,b,c)為

圖8 彎曲缺陷檢查流程Fig.8 Bending defect inspection process

擬合直線需求參數(shù)。得到直線模型后,還需建立區(qū)域內(nèi)坐標到直線距離計算公式:

(9)

式中,d為區(qū)域內(nèi)坐標(xi,yi)到擬合直線的距離,在此基礎(chǔ)上,本文加入約束條件,即拉格朗日乘子:

a2+b2=1

(10)

再將約束條件帶入式(9)中得:

(11)

式中,d為在約束條件下,區(qū)域內(nèi)坐標(xi,yi)到擬合直線的最優(yōu)距離。從上節(jié)中得到的一系列針腳坐標,帶入式11中,計算得到(a,b,c)值,即求得直線方程。

如圖9(a)所示,本文算法擬合出準確的針腳直線。再根據(jù)直線方程和距離計算公式,將疑似傾斜針腳坐標代入,計算偏離值。設(shè)立偏離像素值為3,d超過3,則判為傾斜針腳,反之為正常針腳。結(jié)果見圖9(b),可見識別出傾斜針腳,并用藍色標注。

圖9 彎曲針腳檢測結(jié)果Fig.9 Test results ofbend Pin

3 實驗與討論

為了體現(xiàn)本文算法的優(yōu)勢,將針腳缺陷識別性能較好的技術(shù)-文獻[5]、文獻[6]設(shè)為對照組,算法實驗參數(shù):面積為65、形狀度為0.75、偏離像素值為3。圖10(a)為待檢查的彎曲針腳圖像,其中右上方存在彎曲針腳,在整個一排針腳中突出,為本文檢查算法識別目標。

本文采用感興趣區(qū)域處理圖10,精細化處理區(qū)域,如圖10(b)所示。再進行自適應(yīng)動態(tài)閾值分割,得到包含針腳的二值圖像,如圖10(c)所示。再進行輪廓分析與特征提取,剔除雜質(zhì)干擾,對針腳坐標加以統(tǒng)計并用紅色標注,建立擬合直線方程,用綠色標注,最后計算針腳偏離直線距離,超過標準值時,判為不良針腳,并用藍色標準,如圖10(d)所示,可見本文傾斜針腳檢查算法準確。

而利用對照組文獻[5]技術(shù)處理圖10(a)時,由于單純依靠高質(zhì)量的背景目標圖像差異,在傾斜針腳與正常針腳特征相近的情況下,往往對傾斜彎曲針腳識別檢查不準,如圖10(e)所示,很多針腳未識別到,彎曲針腳識別失敗。

利用對照組文獻[6]技術(shù)處理圖10(a)時,由于依賴龐大且差異明顯數(shù)據(jù)分析為基礎(chǔ),未考慮彎曲針腳突出整體針腳序列情況,無法準確檢出彎曲缺陷,如圖10(f)所示。

圖10 三種算法的檢測結(jié)果Fig.10 Detection results of the three algorithms

4 結(jié) 論

為了解決傾斜彎曲針腳與正常針腳特征相近情況下,缺陷檢查不準確導(dǎo)致不良漏檢的問題,本文設(shè)計了基于自適應(yīng)動態(tài)閾值分割與直線擬合的彎曲傾斜針腳檢查系統(tǒng),實現(xiàn)對缺陷針腳圖像的感興趣區(qū)域提取、二值化、輪廓特征分析、針腳坐標序列統(tǒng)計、直線擬合和偏差值計算。實驗結(jié)果表明:與當前針腳缺陷識別技術(shù)相比,在面對傾斜針腳突出整體針腳序列僅3像素的細微差別的情況下,本文方法具有更好的檢查精度,為芯片制造不良檢出提供了技術(shù)保障。

[1] 段錚昱,文生平.電子連接器外觀缺陷檢測方法研究[J].計算機測量與控制,2014,22(4):1204-1208.

DUAN Zhengyu,WEN Shengping.Research on the detection method of the appearance defect of the electronic connector[J].computer measurement and control,2014,22(4):1204-1208.

[2] Benjamin L.French,Sean W.King.Detection of surface electronic defect states in low and high-k dielectrics using reflection electron energy loss spectroscopy[J].Journal of Materials Research,2013,28(20):2771-2784.

[3] 蔡有海,文玉梅,李平.電子芯片封裝缺陷檢測方法研究[J].傳感器技術(shù)學(xué)報,2010,22(3):70-74.

CAI Youhai,WEN Yumei,LI Ping.Research on defect detection method of electronic chip package[J].Journal of sensor technology,2010,22(3):70-74.

[4] 譚臺哲.基于機器視覺的電子連接器檢測系統(tǒng)的設(shè)計[J].光電子技術(shù),2015,18(15):42-47.

TAN Taizhe.Design of electronic connector detection system based on machine vision[J].optoelectronic technology,2015,18(15):42-47.

[5] 陳永清.基于機器視覺的連接器缺陷自動檢測[J].工具技術(shù),2015,21(21):283-287.

CHEN Yongqing.Automatic detection of connector defects based on machine vision[J].Tool technology,2015,21(21):283-287.

[6] 許楨英.基于Halcon的電連接器殼體缺陷檢測系統(tǒng)設(shè)計[J].制造業(yè)自動化,2015,17(12):47-50.

XU Zhenying.Design of defect detection system for electric connector shell based on[J].Halcon manufacturing automation,2015,17(12):47-50.

[7] LIU Huanxi,ZHU Tianhong,ZHAO Jiajia.Infrared and visible image fusion based on region of interest detection and nonsubsampled contourlet transform[J].Journal of Shanghai Jiaotong University (Science),2013,18(5):526-534.

[8] Wang Xin,Guo Yi,Wang Yuanyuan.Automatic detection of regions of interest in breast ultrasound images based on local phase information[J].Bio-medical materials and engineering,2015,26(S1):1265-73.

[9] 徐奕奕,劉智琦,劉琦.基于文本圖像的自適應(yīng)補償二值化處理算法[J].計算機仿真,2011,28(10):240-243

XU Yiyi,LIU Zhiqi,LIU Qi.Adaptive compensation based on text image processing algorithm based on adaptive[J].2011,two,28(10):240-243.

[10] Le Guilloux Vincent,Schmidtke Peter,Tuffery Pierre.Fpocket:an open source platform for ligand pocket detection[J].BMC Bioinformatics,2009,10(8):161-168.

The Stitch Bending Defect Inspection Algorithm Based on Adaptive Segmentation and Linear Fitting

DU Yuan

(Xi'an Vocational and Technical College,Xi’an 710077,China)

In order to solve the defect of undetected objects when dealing with the bending defect under the complex environment in the current connector pin checking algorithm,the stitch bending defect inspection algorithm based on adaptive segmentation and linear fitting was proposed in this paper.Firstly,the target and background of the image was separated by adaptive segmentation technology,and the position of the pin area was completed according to the characteristics of the pin continuous distribution to extract the region of interest,then the segmentation of all stitch images was achieved by defining the segmentation threshold.The standard value was trained by constructing the linear fitting equation to calculate the deviation value of the pixels based on the sequence of the center point of the pin for finishing the pin bending test.Experimental test results show that this algorithm had higher adverse detection rate under the condition of the tiny stitches bending defect compared with the current connector pins check algorithm.

Stitch defect detection; Adaptive segmentation; Linear fitting; Region location; Center point sequence

杜 媛 女(1984-),河南洛陽人,講師,碩士,研究領(lǐng)域為圖像處理、計算機應(yīng)用與機器視覺。

TP 391

A

陜西省自然科學(xué)基金(2012DH03)