基于X射線圖像的LED芯片邦定線斷裂缺陷的自動(dòng)檢測(cè)方法研究

王言 盧軍

摘? 要： 在使用工業(yè)X射線設(shè)備檢測(cè)LED芯片邦定線的邦定質(zhì)量時(shí)，為了自動(dòng)檢測(cè)出邦定線是否斷裂，提出采用自適應(yīng)閾值分割與漫水填充相結(jié)合的方法。步驟如下：首先根據(jù)邦定線在X射線圖像中的特點(diǎn)，采用自適應(yīng)閾值分割出邦定線焊點(diǎn)所在位置，并識(shí)別其質(zhì)心;再對(duì)原始射線圖像采用拉普拉斯算子進(jìn)行圖像銳化，增強(qiáng)圖像的灰度跳變部分;然后以焊點(diǎn)質(zhì)心為種子點(diǎn)，采用漫水填充法完整分割出邦定線;最終根據(jù)分割出的連通域與焊點(diǎn)質(zhì)心的包含關(guān)系判斷出邦定線斷裂的情況。

關(guān)鍵詞： 邦定線斷裂檢測(cè); 圖像分割; 漫水填充; 拉普拉斯算子

中圖分類(lèi)號(hào)：TP391.41????????? 文獻(xiàn)標(biāo)識(shí)碼：A???? 文章編號(hào)：1006-8228（2021）01-21-04

Research on automatic method of detecting LED chip bonding line

fracture with X-ray image

Wang Yan， Lu Jun

（College of Mechanical and Electrical Engineering， Shaanxi University of Science and Technology， Xian， Shannxi 710021， China）

Abstract： When using industrial X-ray equipment to detect the bonding quality of LED chip bonding line， in order to automatically detect whether the bonding line is broken， a method combined adaptive threshold segmentation with Flood Fill is proposed. The steps are as follows： firstly， according to the characteristics of bonding line in X-ray image， adaptive threshold is used to segment the position of bonding line solder joint and identify its centroid; secondly， Laplacian operator is used to sharpen the original ray image to enhance the gray jumping part of the image; then， the solder joint centroid is taken as the seed point， and Flood Fill method is used to completely segment the bonding line; finally， according to the inclusion relationship between the segmented connected domain and the solder joint centroid， the fracture situation of the bonding line can be judged.

Key words： fracture detection of bongding line; image segmentation; Flood Fill; Laplacian operator

0 引言

邦定是芯片生產(chǎn)工藝中一種打線的方式，一般用于封裝前將芯片內(nèi)部電路用金線或鋁線與線路板鍍金銅箔連接。在芯片出廠前必須經(jīng)過(guò)嚴(yán)格檢測(cè)，確保焊接好的邦定線沒(méi)有斷裂的缺陷。生產(chǎn)中常常通過(guò)工業(yè)X射線照射來(lái)獲取芯片的射線圖像，進(jìn)而通過(guò)人工評(píng)片來(lái)判別其缺陷。人工視覺(jué)檢測(cè)的不足是檢測(cè)規(guī)模有限，檢查結(jié)果很容易受工人的主觀意志影響，當(dāng)需檢測(cè)的批次很大時(shí)，依賴(lài)人工檢測(cè)很難保證速度和質(zhì)量[1]。本文提出了一套自動(dòng)分析邦定線是否斷裂的影像處理算法，算法的魯棒性及高效性可使其應(yīng)用到生產(chǎn)線上進(jìn)行在線的檢測(cè)。

1 邦定線斷裂檢測(cè)的總體實(shí)現(xiàn)方案

LED芯片多由硅、金屬薄片、線以及焊點(diǎn)組合而成，被檢測(cè)元器件對(duì)X射線的衰減系數(shù)因元器件內(nèi)部材質(zhì)、密度、厚度的不同而存在差異并成像為灰度明暗不同的圖像[1]。

圖1是LED芯片的3D灰度圖像。其金屬材質(zhì)的邦定線對(duì)X射線吸收能力較強(qiáng)，在射線圖像中灰度值很深。而線徑的灰度值與背景中深色區(qū)域的灰度值區(qū)分度較低，難以直接使用固定的閾值將其完整分割出來(lái)，這也正是自動(dòng)判別邦定線是否存在斷裂缺陷的難點(diǎn)所在。

本文考慮邦定線在射線圖像中的成像特點(diǎn)，首先根據(jù)灰度值的相似性及不連續(xù)性，通過(guò)局部自適應(yīng)閾值的方法分割出焊點(diǎn)部位的圖像。然后計(jì)算各個(gè)焊點(diǎn)的中心矩，得到其中心坐標(biāo)。接下來(lái)通過(guò)拉普拉斯算子銳化邦定線的邊緣輪廓，并以各個(gè)焊點(diǎn)的中心坐標(biāo)為種子點(diǎn)，對(duì)銳化后的圖像進(jìn)行漫水填充。若某兩個(gè)種子點(diǎn)分別填充出了同一塊連通域，則說(shuō)明當(dāng)前的連通域是一個(gè)完整的邦定線輪廓，否則該處存在斷裂的缺陷。

2 焊點(diǎn)區(qū)域的分割

2.1 焊點(diǎn)閾值分割方法選擇

圖像閾值分割是一種非常成熟的圖像分割手段。閾值分割的基本思想是確定一個(gè)閾值，然后遍歷圖像中所有的像素點(diǎn)，將每個(gè)像素點(diǎn)的灰度值和選取的閾值相比較，根據(jù)比較的結(jié)果把該像素劃分成為兩類(lèi)——前景或者背景。其中閾值選取的準(zhǔn)確度將直接影響分割的準(zhǔn)確性以及由此產(chǎn)生的圖像描述、分析的正確性[2]。傳統(tǒng)的閾值選取方法主要是通過(guò)人工手動(dòng)選取，然后進(jìn)行反復(fù)試驗(yàn)和比較，最終確定一個(gè)滿意的閾值。另外一種常用的方法是依據(jù)圖像灰度直方圖的特征，自適應(yīng)出一個(gè)盡量接近灰度直方圖兩峰之間谷底位置的灰度值作為整體圖像的閾值。前者的方法需要人工干預(yù)，后者的自適應(yīng)閾值選取又非常依賴(lài)于圖像前景和背景的分布必須均勻，且灰度直方圖具有明顯的雙峰結(jié)構(gòu)。

圖2是LED芯片射線圖像的灰度直方圖，其對(duì)比度較差，不便于從圖中直接尋找一個(gè)具有代表性的全局閾值來(lái)完成分割任務(wù)。因此選擇基于積分圖像的局部自適應(yīng)閾值二值化[3]的方法來(lái)完成邦定線焊點(diǎn)的分割。這種閾值選取的方法在處理整體對(duì)比度較低的圖像時(shí)，比通過(guò)依據(jù)圖像整體信息計(jì)算出的全局閾值更為準(zhǔn)確，因?yàn)樗紤]的是像素周?chē)木植啃畔?，極大地排除了其他無(wú)關(guān)區(qū)域的復(fù)雜干擾。

該方法的主要思想是將每個(gè)像素都與它周?chē)徲蛳袼氐钠骄底鞅容^，進(jìn)而判斷最合適的局部自適應(yīng)閾值。在計(jì)算過(guò)程中，需要依次求得每個(gè)像素周?chē)徲虻幕叶绕骄?，這會(huì)大大增加運(yùn)算的時(shí)間。利用積分圖像可以加速鄰域像素求和的計(jì)算過(guò)程。下面簡(jiǎn)要介紹積分圖的用法。

2.2 積分圖原理

圖像是由一系列的離散像素點(diǎn)組成， 因此圖像的積分其實(shí)就是求和. 圖像積分圖中每個(gè)點(diǎn)的值是原圖像中該點(diǎn)左上角的所有像素值之和。分別使用[fi，j]和[ Ii，j]來(lái)表示原始圖像和積分圖像中[i，j]位置的像素值。則積分圖中每個(gè)點(diǎn)的像素值可表示為：

[Ii，j=fi，j+Ii-1，j+Ii，j-1-I（i][-1，j-1）] ⑴

其中初始邊界：

[I-1，j=Ii，-1=I-1，-1=0]?? ⑵

定義了積分圖的概念，無(wú)論鄰域尺寸的大小如何變化，只需固定查找積分圖像4次就可以快速計(jì)算任意矩形內(nèi)像素值的和。設(shè)需要求和運(yùn)算的矩形區(qū)域左上角的坐標(biāo)為[a，b]，右下角坐標(biāo)為[c，d]。則這兩點(diǎn)所圍成的區(qū)域的像素值之和可以表示為：

[i=acj=bdfi，j=Ia，b+Ic，d-Ic，d-I（a，b）] ⑶

通過(guò)積分圖把鄰域內(nèi)所有點(diǎn)的灰度值依次相加轉(zhuǎn)化為對(duì)積分圖像中對(duì)應(yīng)鄰域位置的四個(gè)邊界點(diǎn)的數(shù)值查找。即計(jì)算[M×N]大小的區(qū)域像數(shù)值之和的算法復(fù)雜度由[O（M×N）]下降到了[O（4）]。

2.3 使用局部自適應(yīng)閾值分割焊點(diǎn)

使用積分圖像在恒定時(shí)間內(nèi)計(jì)算出每個(gè)像素周?chē)鶾S×S]大小的鄰域灰度平均值，然后執(zhí)行比較。若當(dāng)前像素灰度值小于鄰域灰度平均值的T%則將其置為黑色，否則置為白色。即當(dāng)前像素點(diǎn)的鄰域平均灰度值的T%為該點(diǎn)的局部自適應(yīng)閾值。

取大小為4×4的鄰域，靈敏度設(shè)置為鄰域平均灰度值的10%。圖3（a）是LED芯片的射線圖像，圖3（b）是采用該方法自適應(yīng)閾值分割出的焊點(diǎn)圖像。

3 焊點(diǎn)坐標(biāo)位置的計(jì)算

針對(duì)分割出的焊點(diǎn)圖像，把像素的坐標(biāo)看成是一個(gè)二維隨機(jī)變量，那么整個(gè)圖像可以用二維灰度密度函數(shù)來(lái)表示。使用圖像的幾何矩表示焊點(diǎn)區(qū)域的面積，則計(jì)算幾何矩的一階矩可以找到其質(zhì)心[4]。

一幅大小為[M×N ]的數(shù)字圖像[fi，j]，其[p+q]階幾何矩[mpq]的公式為：

[mpq=i=1Mj=1Nipjqfi，j] ⑷

其中[fi，j]為圖像在坐標(biāo)點(diǎn)[i，j]的灰度值。進(jìn)而該區(qū)域質(zhì)心位置的X坐標(biāo)和Y坐標(biāo)分別可表示為：

[x=m10m00y=m01m00] ⑸

4 邦定線輪廓的分割

4.1 基于拉普拉斯算子的邦定線輪廓銳化

圖像銳化可以增強(qiáng)圖像細(xì)節(jié)邊緣和輪廓，增強(qiáng)灰度反差，便于后期對(duì)目標(biāo)的識(shí)別和處理[5]。拉普拉斯算子是線性二次微分算子，其獲得的邊界比較細(xì)，包含較多的細(xì)節(jié)信息。它與梯度算子一樣具有旋轉(zhuǎn)不變性，從而滿足了不同方向的圖像邊緣銳化要求。

二維函數(shù)[fx，y]的拉普拉斯算子定義為：

[?2fx，y=?2f?x2+?2f?y2] ⑹

對(duì)于離散的二維圖像[fi，j]，可以用下式作為對(duì)二階偏微分的近似：

[?2f?i2=fi+1，j+fi-1，j-2fi，j] ⑺

[?2f?j2=fi，j+1+fi，j-1-2fi，j] ⑻

將式⑺、式⑻兩式相加就得到用于圖像銳化的拉普拉斯算子：

[?2f=fi+1，j+fi-1，j+fi，j+1+fi，j-1-4fi，j] ⑼

對(duì)應(yīng)濾波模板如下：

[w1=0101-41010] ⑽

結(jié)合高斯平滑模板的思想，根據(jù)不同點(diǎn)到中心點(diǎn)的距離不同，給模板周邊的點(diǎn)賦予不同的權(quán)重，最終可以得到如下模板：

[w2=1414-204141] ⑾

使用該模板對(duì)圖像[f（i，j）]進(jìn)行濾波操作得到圖像[g（i，j）]可以表示為：

[gx，y=s=-11t=-11w2s，tx+s，y+t] ⑿

最終對(duì)于LED芯片的原始射線圖像使用該模板執(zhí)行銳化操作得到的結(jié)果如圖4所示。

4.2 使用漫水填充法分割出邦定線

漫水填充算法是用來(lái)標(biāo)記某片特定區(qū)域的：給定一個(gè)種子點(diǎn)作為起始點(diǎn)，向附近相鄰的像素點(diǎn)擴(kuò)散，把顏色相同或者相近的所有點(diǎn)都找出來(lái)，并填充上新的顏色，使這些點(diǎn)形成一個(gè)連通的區(qū)域[6]。該方法的處理過(guò)程如圖5所示。

該方法效果的好壞取決于種子點(diǎn)選取的準(zhǔn)確性以及被標(biāo)記的區(qū)域有著完整的輪廓[7]。

5 邦定線斷裂缺陷的判定

前文對(duì)原始射線圖像分別進(jìn)行了兩次處理，第一次處理獲取了邦定線焊點(diǎn)位置的坐標(biāo)。第二次處理分割出邦定線完整的輪廓。一個(gè)完整的邦定線應(yīng)該包含兩個(gè)焊點(diǎn)。故分別以這兩個(gè)焊點(diǎn)為種子點(diǎn)進(jìn)行漫水填充所獲得的區(qū)域應(yīng)該是唯一且相同的。若某片區(qū)域僅能被填充一次，則表明當(dāng)前區(qū)域的邦定線是不完整的。即只需計(jì)算每個(gè)邦定線連通域中包含的焊點(diǎn)數(shù)量，便可自動(dòng)判斷出其斷裂的情況。

6 結(jié)束語(yǔ)

通過(guò)人工來(lái)檢測(cè)缺陷耗時(shí)耗力，而且檢測(cè)人員要一直注視顯示器待檢測(cè)物體表面，很難保持長(zhǎng)時(shí)間的注意力高度集中，可能會(huì)使檢測(cè)精度下降。本文根據(jù)LED芯片的結(jié)構(gòu)特征和X射線圖像的特點(diǎn)，提出一種自動(dòng)檢測(cè)芯片內(nèi)部邦定線是否存在斷裂缺陷的方法。該方法可以減輕人工評(píng)片的負(fù)擔(dān)，具有良好的實(shí)用價(jià)值，工程應(yīng)用前景廣闊。

參考文獻(xiàn)（References）：

[1] 劉丹.BGA焊點(diǎn)缺陷在線自動(dòng)識(shí)別方法研究[D].沈陽(yáng)大學(xué)，2016.

[2] 張俊生，王明泉，郭晉秦，樓國(guó)紅.BGA焊點(diǎn)氣泡缺陷X射線圖像的動(dòng)態(tài)閾值分割方法[J].火力與指揮控制，2018.43（10）：113-116

[3] DerekBradley，Gerhard Roth. Adaptive Thresholding using the Integral Image[J]. Journal of Graphics， GPU， and Game Tools，2007.12（2）.

[4] 余松樂(lè)，肖曙紅.基于機(jī)器視覺(jué)的SOP貼片元件的定位檢測(cè)方法研究[J].機(jī)床與液壓，2020.48（7）：29-33，46

[5] 劉艷莉.工業(yè)X射線圖像銳化技術(shù)算法研究[D].中北大學(xué)，2015.

[6] 蔡慧芬.基于分水嶺算法和等周理論的圖像分割算法研究[D].合肥工業(yè)大學(xué)，2012.

[7] 劉榮，彭艷敏，唐粲，程勝.基于分水嶺與圖割的自動(dòng)分割方法[J].北京航空航天大學(xué)學(xué)報(bào)，2012.38（5）：636-640，647

收稿日期：2021-08-31

基金項(xiàng)目：陜西省科技廳工業(yè)攻關(guān)項(xiàng)目（2016GY-049）

作者簡(jiǎn)介：王言（1996-），男，陜西西安人，碩士，主要研究方向?yàn)椋簷C(jī)器視覺(jué)。