機器視覺在半導(dǎo)體器件塑封缺陷檢測中的應(yīng)用

　　摘要：應(yīng)用機器視覺技術(shù)實現(xiàn)半導(dǎo)體器件塑封表面缺陷的自動檢測。結(jié)合圖像特點，根據(jù)差影圖像匹配技術(shù)的基本原理提出了雙模板的匹配方法，從一組訓(xùn)練圖像中得到均值圖像和標(biāo)準(zhǔn)差圖像，以兩幅圖像的差值圖像與和值圖像分別作為上下限模板圖像。引入環(huán)境光因子，即目標(biāo)圖像像素均值與模板圖像像素均值的比例關(guān)系。由此設(shè)定的缺陷閾值可以有效地避免噪聲干擾和環(huán)境光變化的影響。匹配之前使用Canny算子檢測邊緣點擬合直線的方法獲取器件矩形并計算其中心點和旋轉(zhuǎn)角度可以方便有效地確定器件位姿，保證匹配前的對準(zhǔn)。最后應(yīng)用Blob方法將提取缺陷特征。實驗結(jié)果表明該方法在半導(dǎo)體器件塑封表面缺陷檢測方面有較好的效果。
　　關(guān)鍵詞：缺陷檢測；Blob；Canny；模板匹配；差影
　　中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2012）28-6775-04
　　半導(dǎo)體電子元器件被廣泛應(yīng)用于各類電子產(chǎn)品和通信系統(tǒng)中，它的外觀質(zhì)量主要取決于封裝這一工藝技術(shù)。良好的封裝可以保護(hù)芯片或晶體管少受外界環(huán)境的影響，因此封裝后的元器件可以得到更加可靠的電氣性能，當(dāng)然也更加方便后續(xù)的PCB板上的焊接和貼裝[1]。對半導(dǎo)體器件的視覺檢測主要包括管腳檢測和管體檢測。隨著計算機技術(shù)和圖像處理技術(shù)的結(jié)合和發(fā)展，機器視覺被廣泛應(yīng)用于半導(dǎo)體行業(yè)的各階段在線檢測中。利用機器視覺[2]進(jìn)行檢測不僅可以排除主觀因素的干擾，降低勞動強度，提高生產(chǎn)效率，還可以對缺陷進(jìn)行定量描述，具有人工肉眼檢測無法比擬的優(yōu)越性。
　　1 檢測系統(tǒng)概要
　　在線半導(dǎo)體表面缺陷檢測系統(tǒng)[3]主要由PC機、圖像處理軟件、圖像采集設(shè)備、光源照明部分以及IO控制裝置和機械裝置組成。其中圖像采集由CCD、鏡頭、圖像采集卡和光源共同完成，高質(zhì)量的圖像信息是系統(tǒng)正確判斷和決策的原始依據(jù)，是整個系統(tǒng)成功與否的關(guān)鍵所在。
　　
　　圖1 缺陷檢測系統(tǒng)結(jié)構(gòu)
　　系統(tǒng)采用定位槽對器件進(jìn)行準(zhǔn)確定位，定位槽的底部有一個通氣孔，下面連接一個真空吸氣裝置，機器手將管子放入凹槽，在吸氣裝置的作用下管子沿著凹槽四周的導(dǎo)向斜面滑入槽底部。確保了獲取到的圖像中三極管擁有正確的位姿。
　　2 基于邊緣的位姿檢測
　　硬件系統(tǒng)采用了定位模具保證管子的位姿，但管子在凹槽內(nèi)仍不可避免的存在輕微的傾斜和旋轉(zhuǎn)，采用邊緣點檢測擬合邊緣線的方法尋找管子矩形，根據(jù)矩形的中心位置和旋轉(zhuǎn)角度來對準(zhǔn)參考圖像與目標(biāo)圖像。
　　實現(xiàn)圖像的邊緣點檢測就是用離散化梯度逼近函數(shù)計算每一個像素位置的梯度值和梯度方向，滿足閾值要求和方向要求的灰度躍變位置即為邊緣點。現(xiàn)實情況的邊緣都是斜坡性邊緣，這就使得邊緣檢測的首要工作是濾波。對比Sobel算子，Log算子，Canny算子各自的優(yōu)缺點[4]后本文采用Canny算子尋找邊緣點。
　　邊緣點檢測之前，劃定檢測的感興趣區(qū)域，這里使用的感興趣區(qū)域是一條方向線段，規(guī)定邊緣點的檢測方向是從線段的起點到終點。本文的圖像處理需要用到的邊緣點檢測目的主要是在限定區(qū)域檢測滿足梯度閾值及方向的點，方向即從亮到暗或從暗到亮。判斷方向時需要兼顧檢測方向的影響。檢測方向不同，x向、y向的一階偏導(dǎo)對于判斷明暗變化的影響比重也不同，因此給出如下的判斷表達(dá)式：
　　3 缺陷檢測
　　3.1 基于差影的雙模板匹配法
　　用于缺陷檢測的模板匹配技術(shù)常用的有兩種：差影法和灰度相關(guān)法。差影法的基本原理是將待檢測圖像與模板圖像做像素差，對得到的差值圖像進(jìn)行判斷是否存在缺陷及缺陷大小和位置；灰度相關(guān)法則是計算待檢測圖像與模板圖像對應(yīng)像素間的相似度，根據(jù)相似度的大小確定缺陷所在。兩種方法相比較，由于灰度相關(guān)法算法時間復(fù)雜度明顯高于差影法，對于在線檢測對實時性的要求，顯然不可取，本文所述缺陷檢測思想仍然沿用差影法的基本原理。
　　在以下的論述中規(guī)定[gr，c]代表理想圖像，即無缺陷的圖像，也稱為參考圖像。[fr，c]代表待檢測圖像。[r，?c]代表像素坐標(biāo)。
　　為檢測出待測圖像與理想圖像的偏差，僅需要將兩幅圖像的對應(yīng)像素相減即可。通常并不關(guān)心缺陷是偏亮區(qū)域還是偏暗區(qū)域，因此通過預(yù)先設(shè)置閾值[gabs]使用以下的等式便可找到缺陷。
　　此方法對圖像對準(zhǔn)有非常高的精度要求。如果物體發(fā)生略微的偏移。那么在待測圖像與模板圖像的邊緣便會很容易產(chǎn)生超過[gabs]的灰度值差異，誤檢缺陷在所難免。另外受到周圍環(huán)境光線變化的影響，該方法也不能給予任何應(yīng)對策略。然而在實際的生產(chǎn)應(yīng)用中，這些因素都是無法避免的，針對以上存在的問題，本文做了以下的工作。
　　改進(jìn)的匹配方法使用偏差模型[5]學(xué)習(xí)雙模板[6][g1r，c]和[g2r，c]，其中[g1r，c]作為下限模板，[g2r，c]作為上限模板。下限模板由參考圖像與容許偏差的差值確定，上限模板則由參考圖像與容許偏差的和值確定。容許偏差可以從一組訓(xùn)練圖像中計算得到。一般使用標(biāo)準(zhǔn)偏差來計算需要的容許偏差。另外，為了增強抗干擾和抑制噪聲的能力，參考圖像也不再簡單的使用某一幅理想圖像簡單獲取，也應(yīng)該從一組訓(xùn)練圖像中計算像素均值得到。n幅圖像的平均值和標(biāo)準(zhǔn)差計算如下：
　　這里還需引入可調(diào)倍數(shù)常量[p]，[q]和可調(diào)絕對常量[a]，[b]。一般情況由一個小的可調(diào)倍數(shù)乘以標(biāo)準(zhǔn)差即得到所需的容許偏差，用戶只需合理設(shè)置[p]，[q]值調(diào)節(jié)容許偏差。然而當(dāng)標(biāo)準(zhǔn)偏差大大小于被測圖像偏差時，這樣的方法就顯得很不好，因此引入絕對常量，當(dāng)某處容許偏差小于絕對常量時，使用絕對常量值替代容許偏差值。
　　考慮到環(huán)境光線變化的影響，引入環(huán)境光因子[θ]，在對模板與待測圖像做減法比較之前，計算待測圖像像素均值[m0]和模板圖像均值[m1]，[m0]和[m1]的比例關(guān)系即代表[θ]，令模板圖像的每一個像素乘以環(huán)境光因子[θ]，可有效抑制環(huán)境光帶來的不穩(wěn)定圖像質(zhì)量造成的缺陷誤檢，以下給出了圖像分割公式：
　　3.2 缺陷提取
　　圖像的幾何特征在圖像處理中起著十分重要的作用。利用區(qū)域特征的大小、位置、方向等來確定物體的位置并識別它們。特征值量度的合理選取可以有效地減小誤檢率。本文采用Blob算法提取已經(jīng)分割的缺陷特征。Blob算法用于從背景中分離目標(biāo)，測量目標(biāo)的形態(tài)參數(shù)，包括面積、周長、寬度、高度、細(xì)長度、數(shù)量等。與基于逐點像素處理的算法相比，該算法處理速度快，被廣泛應(yīng)用于工業(yè)在線檢測系統(tǒng)中。
　　盡管上述處理方法已經(jīng)在抑制噪聲方面做了很多工作，但分割后的圖像仍可能存在偽缺陷，因此通過設(shè)置特征閾值來抑制缺陷誤檢，如寬度閾值、高度閾值、面積閾值、周長閾值，當(dāng)檢測的Blob對象分別滿足各方面的閾值要求時，則認(rèn)為是缺陷，否則被判定為噪聲點。
　　4 缺陷檢測系統(tǒng)實現(xiàn)
　　硬件環(huán)境如下，相機：SONY XC-HR50；鏡頭：50mm；曝光時間：5ms
　　軟件環(huán)境如下：基于OpenCV的VC++編程實現(xiàn)
　　檢測目標(biāo)：SOD323半導(dǎo)體器件的塑封表面缺陷檢測
　　硬件系統(tǒng)采用了定位模具保證了待測元件有較精確的定位，每幅圖像中，器件的位置只有細(xì)微的偏差。因此，檢測開始之前根據(jù)模具的位置劃定感興趣區(qū)域。這種方法稱之為圖像局部分析法。
　　使用該方法的必要性主要體現(xiàn)在兩個方面：
　　1） 本系統(tǒng)用于在線工業(yè)檢測系統(tǒng)，同時用于三個工位的實時檢測，要求每個工位的檢測時間不得超過50ms，在硬件上采用四核處理器的計算機，軟件上采用多核多線程編程技術(shù)，采用局部分析法可以大大的減少圖像數(shù)據(jù)量，有效地降低圖像處理時間。
　　2） 待測器件表面塑封材料微小顆粒分布的不均勻性以及環(huán)境光造成的光線不均勻都會影響成像質(zhì)量。圖像中目標(biāo)邊緣幅度大小不一，甚至非邊緣幅度比邊緣更大，這些因素都需要盡量回避，局部分析法將檢測區(qū)域盡量縮小，干擾量也得以大大減少。
　　如圖2所示，其中帶箭頭的虛線線段分別代表上下左右四個感興趣區(qū)域內(nèi)邊緣點的尋找方向，如Top區(qū)域，表示從下到上搜尋邊緣點。十字叉則代表搜尋到的邊緣點。
　　
　　圖2 邊緣檢測示意圖
　　利用OpenCV提供的方法cvFitLine將搜尋到的邊緣點分別擬合為四條邊緣線，圖中管體矩形框已經(jīng)標(biāo)出，計算矩形的中心位置和旋轉(zhuǎn)角度用于后續(xù)的參考模板與目標(biāo)圖像的對準(zhǔn)。對該矩形區(qū)域進(jìn)行平滑圖像處理后計算該區(qū)域圖像的灰度平均值，得到環(huán)境光因子。對準(zhǔn)模板和目標(biāo)圖像，逐一比較像素灰度值，如果灰度值不在兩個模板的閾值范圍內(nèi)則被認(rèn)為缺陷。
　　5 結(jié)論
　　綜上所述，通過對傳統(tǒng)的缺陷檢測算法的分析和運用，利用模具和邊緣定位獲取到物體可靠位姿，縮小了在線檢測范圍，有效提高了檢測效率。結(jié)合半導(dǎo)體器件的塑封缺陷特征，采用雙模板匹配法，有效的抑制了噪聲和環(huán)境光對缺陷識別的影響。
　　參考文獻(xiàn)：
　　[1] 張素娟，李海岸.新型塑封器件開封方法以及封裝缺陷[J]，半導(dǎo)體技術(shù)，2006，31（7）：509-511.
　　[2] 賈云得.機器視覺[M].北京：科學(xué)出版社，2000.
　　[3] 鄭秀蓮，袁巧玲，沈亞琦.基于圖像處理的電子元器件表面缺陷檢測技術(shù)[J]，機電工程，2009，26（7）：15.
　　[4] 徐臨洪，張桂梅，陳少平.基于機器視覺的發(fā)動機表面缺陷檢測技術(shù)[J]，計算機與現(xiàn)代化，2010，176（4）：157.
　　[5] Carsten Steger， Markus Ulrich， Christian Wedemann， Machine Vision Algorithms and Applications[M].北京：清華大學(xué)出版社，2008.
　　[6] FELZENZWALB P. Representation and detection of deformable shapes [J]. IEEE Pattern Analysis and Machine Intelligence， 2005，27（2）：20