基于MRF的SMT焊點(diǎn)區(qū)域分割的研究

宋 強(qiáng)，茹 蓓，劉凌霞

?

基于MRF的SMT焊點(diǎn)區(qū)域分割的研究

宋 強(qiáng)1，茹 蓓2，劉凌霞3

(1. 武漢理工大學(xué)信息工程學(xué)院 武漢 430070；2. 新鄉(xiāng)學(xué)院計(jì)算機(jī)科學(xué)與信息工程學(xué)院 河南新鄉(xiāng) 453000；3. 安陽師范學(xué)院軟件學(xué)院 河南安陽 455000)

基于馬爾可夫隨機(jī)場(MRF)圖像分割模型，該文提出了一種能夠較好分割出表面貼裝技術(shù)(SMT)焊點(diǎn)區(qū)域的分割算法，即基于Gibbs采樣的模擬退火算法，并討論了影響圖像分割效果的主要因素，最后將該算法與傳統(tǒng)的Gibbs采樣算法以及模擬退火算法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，該算法通過少量人工干預(yù)、降低采樣維度，從而減少了優(yōu)化收斂時(shí)間，能最快地收斂到全局最優(yōu)，分割成功率較高，結(jié)果較為精確，為進(jìn)一步的焊點(diǎn)質(zhì)量分析提供了保證。

Gibbs采樣; 圖像分割; 馬爾可夫隨機(jī)場; 模擬退火; SMT焊點(diǎn)

采用SMT焊接的焊點(diǎn)質(zhì)量和可靠性的檢測與評(píng)估，一直以來是困擾技術(shù)人員對SMT焊點(diǎn)進(jìn)行計(jì)算機(jī)質(zhì)量檢測的瓶頸。通過分析焊點(diǎn)的二維圖像，對焊點(diǎn)形態(tài)的三維重建以及恢復(fù)提供準(zhǔn)確的數(shù)據(jù)來源，從而控制SMT表面組裝質(zhì)量，同時(shí)推動(dòng)智能鑒別技術(shù)的發(fā)展[1]。基于圖像的焊點(diǎn)質(zhì)量技術(shù)檢測是一個(gè)新興的研究熱點(diǎn)[2]，而焊點(diǎn)區(qū)域的分割是其中的關(guān)鍵技術(shù)。電路板上元器件眾多、形態(tài)復(fù)雜，要把焊點(diǎn)從其中分割出來，常規(guī)的直方圖分割方法已不能滿足需要[3-4]。

MRF圖像分割框架是從全新的概率視角來對圖像分割進(jìn)行建模，是一種基于統(tǒng)計(jì)的分割方法，具有能充分利用先驗(yàn)知識(shí)、能形成閉合的邊界、模型參數(shù)少且易于和其他方法相結(jié)合等優(yōu)點(diǎn)，已廣泛應(yīng)用于紋理分割、圖像理解等領(lǐng)域，并取得了較大的成功[5]。

1 文獻(xiàn)綜述

在焊點(diǎn)質(zhì)量技術(shù)檢測這一領(lǐng)域，很多研究人員都進(jìn)行了相關(guān)的探討。文獻(xiàn)[6]設(shè)計(jì)了采用結(jié)構(gòu)化照明的計(jì)算機(jī)視覺系統(tǒng)，開發(fā)了一個(gè)傾斜地圖表面模型技術(shù)用于焊點(diǎn)檢測。文獻(xiàn)[7]介紹了SMT生產(chǎn)應(yīng)用自動(dòng)光學(xué)檢測技術(shù)(automatic optic inspection, AOI)進(jìn)行焊點(diǎn)質(zhì)量檢測的主要方法及國內(nèi)外常見的主要設(shè)備。文獻(xiàn)[8]介紹了多種焊點(diǎn)檢測、焊點(diǎn)失效的機(jī)理及其提高可靠性的方法。文獻(xiàn)[9]提出了自動(dòng)光學(xué)檢查和自動(dòng)射線檢查在SMT中的應(yīng)用，并在圖像處理技術(shù)中采用了直方圖的方法。以上文獻(xiàn)均未對焊點(diǎn)圖像分割處理方法提出自己的觀點(diǎn)。

文獻(xiàn)[10]提出了一種基于貝葉斯信息準(zhǔn)則(bayes information criterion, BIC)和Gibbs采樣的無監(jiān)督學(xué)習(xí)算法，介紹了Gibbs采樣的基本原理。文獻(xiàn)[11]論述了SMT焊點(diǎn)邊緣提取技術(shù)的實(shí)現(xiàn)方法與步驟，比較分析了Roberts等多種邊緣提取算子對焊點(diǎn)邊緣提取效果的影響。文獻(xiàn)[12]提出了一種針對焊球陣列封裝(ball grid array, BGA)的元器件焊點(diǎn)基于最小誤差的分割檢測算法，該算法能有效檢測出焊點(diǎn)的空洞缺陷。文獻(xiàn)[13]提出并研究了用Dirichlet、廣義Dirichlet和Beta-Liouville分布命名的3種有限混合模型，該模型可以提供更加靈活的圖像分割方面的數(shù)據(jù)建模，并采用最大釋然算法估算了模型的參數(shù)，對于不同顏色的背景具有較好的分割操作性能。文獻(xiàn)[14]采用了計(jì)量發(fā)散理論(metric-divergences)用于概率分布，并提出一個(gè)馬爾科夫場模型用于概率圖像的分割。但以上這些算法均未采用基于MRF的焊點(diǎn)圖像分割方法。

文獻(xiàn)[15]在圖像和統(tǒng)計(jì)力學(xué)系統(tǒng)之間做了一個(gè)類比，對于一系列退化機(jī)制，如模糊、非線性變形、乘法或加法噪音，后驗(yàn)分布是一種結(jié)構(gòu)類似于圖像模型的MRF。通過類比發(fā)現(xiàn)，在物理系統(tǒng)中的溫度逐漸降低隔離了低能量狀態(tài)(“退火”)或類似于Gibbs分布下最可能的狀態(tài)，在后驗(yàn)分布下的操作產(chǎn)生了對給定圖像進(jìn)行退化觀察的最大后驗(yàn)概率(maximum posterior probatility, MAP)估計(jì)，最后采用一個(gè)高度并行的“松弛”算法用于MAP估計(jì)。

文獻(xiàn)[16]假定真實(shí)場景的局部特征可以采用非退化的馬爾可夫隨機(jī)場表示。這些信息可以和貝葉斯理論的記錄相結(jié)合，并且這些真實(shí)的場景可以按照標(biāo)準(zhǔn)的規(guī)則進(jìn)行評(píng)估。同時(shí)還提出了一個(gè)簡單重建的迭代方法，而不依賴于這些隨機(jī)場的大規(guī)模特征。

2 馬爾可夫隨機(jī)場圖像分割

2.1 馬爾可夫隨機(jī)場定義

2.2 MRF和Gibbs隨機(jī)場的等效性

二維網(wǎng)格上某個(gè)格點(diǎn)的一階鄰域系統(tǒng)及其勢能團(tuán)如圖1所示。

圖1 一階鄰域系統(tǒng)及其勢能團(tuán)

則稱其為一個(gè)Gibbs隨機(jī)場(Gibbs random field, GRF)。式中，是歸一化系數(shù)；是所有子團(tuán)勢能之和。子團(tuán)勢能為：

MRF反映了圖像的局部性質(zhì)，GRF則可以看成是圖像全局的性質(zhì)。Hammersley-Clifford定理揭示了MRF與GRF之間的等價(jià)性，該定理表明，當(dāng)組態(tài)中的一個(gè)格點(diǎn)在其鄰域服從Gibbs分布時(shí)，則GRF等價(jià)于一個(gè)MRF。

2.3 圖像分割的Bayesian框架

3 基于Gibbs采樣的模擬退火算法

基于MRF隨機(jī)場的圖像分割的關(guān)鍵是求解式(4)所示的最優(yōu)化問題。常用的方法是模擬退火算法，通過模擬加熱的物理系統(tǒng)在冷卻過程中的粒子狀態(tài)變遷過程，逐漸降溫迭代使能量達(dá)到全局最小[19]。模擬退火算法是馬爾科夫鏈蒙特卡羅(Markov chain Monte Carlo, MCMC)算法的推廣，影響其效率的主要有狀態(tài)采樣器和冷卻進(jìn)度表。

3.1 Gibbs采樣器

式(4)表明MRF的圖像分割問題可以歸結(jié)為求解使得能量最小化的組態(tài)。由于組態(tài)空間非常巨大(如對于2分類的256×256圖像，組態(tài)空間大小為)，搜索全部的組態(tài)空間是不可能的，需要對該高維組態(tài)空間進(jìn)行高效率的采樣。

Gibbs采樣是一種常用的高維采樣器[20-21]，從高維空間中的每一維分別采樣，逐步逼近高維采樣點(diǎn)，其優(yōu)點(diǎn)是采樣難度低，但采樣次數(shù)增加?；诖?，本文采用基于Gibbs采樣的方法。該方法可以簡單描述為：假設(shè)表示維聯(lián)合分布，是全條件分布，其中。

3.2 冷卻進(jìn)度表

在模擬算法的過程中，溫度控制著最優(yōu)化的進(jìn)度，應(yīng)選擇一個(gè)足夠高的溫度作為迭代起始溫度，溫度的下降速度應(yīng)當(dāng)足夠慢，一般采用指數(shù)衰減：，表示初始溫度，表示溫度的衰減系數(shù)，本文選取,。

3.3 參數(shù)估計(jì)

上述圖像分割算法需要估計(jì)以下幾個(gè)參數(shù)：

4 實(shí)驗(yàn)結(jié)果

4.1 焊點(diǎn)區(qū)域

本文分割采用的圖片來自工業(yè)中一塊測試用的電路板，其中背景有裸露的銅板區(qū)和綠色的電路板印刷色。采用的片式電阻是1206型號(hào)，其長為3.048 mm，寬為1.524 cm，面積為18.288 mm2，如圖2a所示。圖2b為一個(gè)片式電阻的示意圖。片式電阻通常由焊點(diǎn)、金屬化端子和器件體構(gòu)成。在本文中針對片式電阻的特點(diǎn)，把金屬化端子和焊料區(qū)統(tǒng)稱為焊點(diǎn)。本文所分割的就是焊點(diǎn)和金屬化端子連在一起的部分。

a. 分割所用電路板

b. 片式電阻示意圖

為了提高分割的精度，在分割前把彩色圖像轉(zhuǎn)換成灰度圖像，并對圖像進(jìn)行半徑為2 cm的高斯平滑。

4.2 分割區(qū)域確定和參數(shù)估計(jì)

要使用MRF分割算法，首先確定圖像上分類類別的數(shù)目及其均值和方差。電路板圖像可分為5類物體，每類物體的方差和均值可以通過手動(dòng)選取典型區(qū)域交互式計(jì)算獲得，如表1所示。

表1 5類物體的均值和方差

最終5類區(qū)域的分割結(jié)果如圖3a所示。圖中不同層次的灰度代表不同的物體類別，對焊點(diǎn)區(qū)域進(jìn)行了標(biāo)注。焊點(diǎn)分割區(qū)對應(yīng)的圖像如圖3b所示。

a. 5類物體分割區(qū)域的示意圖

b. 焊點(diǎn)區(qū)分割圖

4.3 結(jié)果分析與改進(jìn)

從圖3b可以看出，除個(gè)別焊點(diǎn)以外，大多數(shù)焊點(diǎn)都能較好地分割出來，總體上分割效果良好。比較嚴(yán)重的問題是銅板區(qū)對焊點(diǎn)分割的干擾，分割算法排除了大部分銅板區(qū)域，但對于小的銅板區(qū)沒能很好的排除，其原因可以從5個(gè)類別的正態(tài)分布圖中分析得出，如圖4所示。在圖3中可以清晰的看出，由于裸露銅板和焊點(diǎn)區(qū)域的重合區(qū)域最大(圖3中的實(shí)線和點(diǎn)劃線)，所以兩者較其他類別更容易混淆，較難進(jìn)行分割。

圖4 5個(gè)類別的正態(tài)分布圖

焊點(diǎn)分割后會(huì)形成孔洞，可以使用數(shù)學(xué)形態(tài)學(xué)的相關(guān)運(yùn)算進(jìn)行空洞填充。

MRF分割效果的好壞除了受耦合參數(shù)和溫度進(jìn)度表的影響外，最主要的是看分割類別區(qū)域和其他類別區(qū)域的灰度分布重合情況。如果兩個(gè)類別的灰度分布重合區(qū)域較多，兩者之間進(jìn)行分割的效果就較差。

5 相關(guān)圖像分割算法的比較

MAP是圖像處理中最常用的最優(yōu)化準(zhǔn)則，也是MRF建模中最常用的最優(yōu)化標(biāo)準(zhǔn)。為了解決焊點(diǎn)區(qū)域圖像分割的最優(yōu)化問題，說明基于Gibbs采樣的模擬退火算法的優(yōu)越性，分別引入了文獻(xiàn)[15]和[16]進(jìn)行對比說明。

Gibbs采樣算法接受概率的選擇是隨機(jī)的，是典型的隨機(jī)松弛方法，它的計(jì)算結(jié)果依賴于初始值的選取，計(jì)算速度較慢，在接受新的分割結(jié)果時(shí)即使增加了隨機(jī)擾動(dòng)的因素，也能得到全局收斂的結(jié)果。算法流程較慢，但不會(huì)陷入到局部極值點(diǎn)[15]。

傳統(tǒng)的模擬退火算法也是典型的隨機(jī)松弛方法，同Gibbs采樣算法一樣，計(jì)算速度慢，在每次迭代過程中接受新的圖像分割結(jié)果時(shí)增加了隨機(jī)擾動(dòng)的因素，在理論上可以得到全局收斂的分割結(jié)果[22]。

為了對這3種算法進(jìn)行比較，實(shí)驗(yàn)選擇在下列軟硬件平臺(tái)的PC機(jī)上完成，I3主頻率2.5 G CPU，2 G內(nèi)存；Windows XP SP3操作系統(tǒng)；VC 6.0編譯工具。以圖3b作為原始圖像，初始化溫度，收斂條件中的能量閾值，溫度調(diào)節(jié)因子。

表2 算法參數(shù)比較

從表2可以看出，基于Gibbs采樣的SA算法計(jì)算量明顯小于前兩種算法，雖然Gibbs采樣算法的迭代次數(shù)小于SA算法，但花費(fèi)的CPU時(shí)間大于SA算法。溫度系數(shù)是迭代次數(shù)的指數(shù)函數(shù)，即迭代次數(shù)越多溫度系數(shù)越小。該算法并未改變馬克洛夫MAP優(yōu)化目標(biāo)算式，因此分割結(jié)果與前兩者差別不大，但仍然可以看到基于Gibbs采樣的SA算法能最快地收斂到全局最優(yōu)。

6 結(jié)束語

表面貼裝技術(shù)是目前應(yīng)用最廣泛的電子組裝技術(shù)。本文針對SMT焊點(diǎn)圖像，介紹了圖像分割的馬爾可夫隨機(jī)場方法，MRF優(yōu)化方程是圖像分割技術(shù)中常用的一種算法，由于求解該算式需要迭代優(yōu)化，耗時(shí)較長。本文提出了基于Gibbs采樣的模擬退火算法對焊點(diǎn)區(qū)域進(jìn)行分割，并討論了影響分割效果的主要因素。最后對該算法和傳統(tǒng)的Gibbs算法以及模擬退火算法進(jìn)行了比較。從實(shí)驗(yàn)結(jié)果可以看出，基于Gibbs采樣的SA算法計(jì)算量明顯小于前兩種算法，基于Gibbs采樣的SA算法能夠最快地收斂到全局最優(yōu)。同時(shí)，實(shí)驗(yàn)結(jié)果證明利用該算法分割效果較好，結(jié)果較為精確，為進(jìn)一步的焊點(diǎn)質(zhì)量分析提供了保證。本文針對SMT焊點(diǎn)進(jìn)行的MRF優(yōu)化尚未與不使用MRF優(yōu)化的圖像分割算法的分割精確度進(jìn)行優(yōu)劣比較。這點(diǎn)可以作為今后的研究內(nèi)容進(jìn)一步研究。

參 考 文 獻(xiàn)

[1] 王娟, 孔兵, 賈巧麗. 基于顏色特征的圖像檢索技術(shù)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用, 2011, 20(7): 160-164.

WANG Juan, KONG Bin, JIA Qiao-li. Color-based image retrieval[J]. Computer Systems Applications, 2011, 20(7): 160-164.

[2] 周德儉. SMT組裝質(zhì)量檢測中的AOI技術(shù)與系統(tǒng)[J]. 電子工業(yè)專業(yè)設(shè)備, 2002, 31(2): 87-91.

ZHOU De-jian.Automatic optics inspection technology and system in surface mounting technology assembling quality inspection[J]. Equipment for Electronic Products Manufacturing, 2002, 31(2): 87-91.

[3] KATO Z, PONG T C. A Markov random field image segmentation model for color textured images[J]. Image and Vision Computing, 2006, 24(1): 1103-1114.

[4] 趙輝煌, 周德儉, 黃春躍, 等. 基于SFS原理的SMT焊點(diǎn)表面三維重構(gòu)技術(shù)研[J]. 計(jì)算機(jī)科學(xué), 2009, 36(7): 288-291.

ZHAO Hui-huang, ZHOU De-jian, HUANG Chun-yue, et al. SMT solder joint 3D reconstruction technology based on shape from shading[J]. Computer Science, 2009, 36(7): 288-291.

[5] 章毓晉. 圖像分割[M]. 北京: 科學(xué)出版社, 2000: 117-118.

ZHANG Yu-jin. Image segmentation[M]. Beijing: Science Press, 2000: 117-118.

[6] LO H, LU Ming-sing. Printed circuit board inspection using image analysis[J]. IEEE transactions on industry applications, 1999, 35(2): 426-432.

[7] 羅兵, 曾歆懿, 季秀霞. SMT產(chǎn)品缺陷及相應(yīng)的AOI檢測方法[J]. 電子質(zhì)量, 2006(6):35-37.

LUO Bing, ZENG Xin-yi, JI Xiu-xia. SMT quality defects and corresponding AOI algorithms[J]. Electronics Quality, 2006(6): 35-37.

[8] 史建衛(wèi), 徐波, 袁和平, 等. SMT焊點(diǎn)質(zhì)量檢測方法[J]. 電子工業(yè)專用設(shè)備, 2005, 34(9): 26-33.

SHI Jian-wei, XU Bo, YUAN He-ping, et al. Inspection method on solder joint quality in SMT[J]. Equipment For Electronic Products Manufacturing, 2005, 34(9): 26-33.

[9] 閔四宗. SMT檢測中的數(shù)字圖像處理技術(shù)的應(yīng)用[J]. 科技信息, 2010, 24: 247-248.

MIN Si-zong. The application of digital image processing technology in SMT detection[J]. Science & Technology Information, 2010, 24: 247-248.

[10] 劉偉峰, 楊愛蘭. 基于BIC準(zhǔn)則和Gibbs采樣的有限混合模型無監(jiān)督學(xué)習(xí)算法[J]. 電子學(xué)報(bào), 2011, 39(3): 134- 139.

LIU Wei-feng, YANG Ai-lan. Unsupervised learning for finite mixture models based on BIC criterion and gibbs sampling[J]. Acta Electronica Sinica, 2011, 39(3): 134-139.

[11] 孫玉峰, 周德儉, 朱少華. 基于VC++的SMT焊點(diǎn)圖像邊緣提取技術(shù)[J]. 中國電子制造技術(shù)論壇論文集, 2010, 201: 704-707.

SUN Yu-feng, ZHOU De-jian, ZHU Shao-hua. The edge extraction of smt solder joint image based on VC++[J]. Advanced Materials Research, 2011, 201: 704-707.

[12] 賈軼群. 基于最小誤差算法的BGA圖像分割[J]. 電子測試, 2010, 6(6): 15-19.

JIA Yi-qun. BGA images segmentation based on the minimum error algorithm[J]. Electronic Test, 2010, 6(6): 15-19.

[13] ALI S, NIZAR B. Spatial color image segmentation based on finite non-Gaussian mixture models[J]. Expert Systems with Applications, 2010, 39(10): 8993-9001.

[14] OSCAR D, MARIANO R. Alpha Markov measure field model for probabilistic image segmentation[J]. Theoretical Computer Science, 2011, 412(15): 1434-1441.

[15] GEMAN S, GEMAN D. Stochastic relaxation, Gibbs distribution and Bayesian restoration of image[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 1984, 6: 721-741.

[16] BESAG J. On the statistical analysis of dirty pictures[J]. J Royal Statistics Soc, 1986. 6: 259-302.

[17] 陳俊杰, 謝明, 李文博, 等. 馬爾可夫隨機(jī)場和模擬退火算法的SAR圖像相干斑抑制方法[J]. 四川大學(xué)學(xué)報(bào)(自然科學(xué)版), 2008, 45(1): 105-109.

CHENG Jun-jie, XIE Ming, LI Wen-bo, et al. A method for removing speckles of SAR image based on markov random field[J]. Journal of Sichuan University(Natural Science Edition), 2008, 45(1): 105-109.

[18] 李春泉, 周德儉, 吳兆華. 基于焊點(diǎn)形態(tài)理論的SMT 焊點(diǎn)質(zhì)量模糊故障診斷技術(shù)研究[J]. 中國機(jī)械工程, 2004, 11(21): 1967-1970.

LI Chun-quan, ZHOU De-jian, WU Zhao-hua. Study on SMT solder joint quality fuzzy diagnosis technology based on the theory of solder joint shape[J]. China Mechanical Engineering, 2004, 11(21): 1967-1970.

[19] 吳媛, 楊富超. 基于彩色圖像分割技術(shù)的SMT焊點(diǎn)質(zhì)量檢測[J]. 計(jì)算機(jī)測量與控制, 2012, 20(6): 1495-1500.

WU Yuan, YANG Fu-chao. Study on detection method based on color image segmentation for SMT solder joints[J]. Computer Measurement & Control, 2012, 20(6): 1495-1500.

[20] 趙輝煌, 周德儉, 吳兆華. 基于小波包變換與Wiener濾波的SMT焊點(diǎn)圖像去噪技術(shù)[J]. 計(jì)算機(jī)科學(xué), 2010. 37(9): 279-281.

ZHAO Hui-huang, ZHOU De-jian, WU Zhao-hua. SMT solder joint image de-noising based on wavelet packet transform and wiener filter[J]. Computer Science, 2010, 37(9): 279-282.

[21] 孫毅, 劉科偉, 黃建國, 等. 基于Gibbs采樣的貝葉斯多目標(biāo)高分辨方位估計(jì)[J].計(jì)算機(jī)工程與應(yīng)用, 2002, 38(12): 36-39.

SUN Yi, LIU Ke-wei, HUANG Jian-guo, et al. Bayesian DOA estimator by Gibbs sampling[J]. Computer Engineering and Applications, 2002, 38(12): 36-39.

[22] LAARHOVEN P V, AARTS E. Simulated annealing: Theory and applications[M]. Dordrecht, Holland: Reidel Pub, 1987.

編 輯 葉 芳

Research on SMT Solder Segmentation Based on MRF Frame

SONG Qiang1, RU Bei2, and LIU Ling-xia3

(1. School of Information Engineering, Wuhan University of Technology Wuhan 430070; 2. School of Computer Science and Information Engineering, Xinxiang University Xinxiang Henan 453000; 3. School of Software, Anyang Normal University Anyang Henan 455000)

Based on Markov random field (MRF) image segmentation frame, this paper presents a better partitioning algorithm for surface mount technology (SMT) solder segmentation which isthe simulated annealing algorithm based on Gibbs sampling, and discusses the main factors which affect the segmentation effect. Finally this algorithm is compared with the traditional Gibbs algorithm and simulated annealing algorithm. It is shown from the experiment that the proposed algorithm only needs a few artificial interactions to reduce the sample dimensions and decrease the optimization and convergence time, and it has the fastest convergence speed to obtain the global optimization, with high segmentation success rate and accurate result. The segmentation result provides the guarantee for the further quality analysis of solder joints.

Gibbs sampling; image segmentation; MRF; simulated annealing; SMT solder

TP391.4

A

10.3969/j.issn.1001-0548.2016.05.019

2014-12-15；

2015-04-21

河南省科技公關(guān)項(xiàng)目(142102210231)；

宋強(qiáng)(1971-)，男，博士生，副教授，主要從事計(jì)算機(jī)控制技術(shù)、圖形圖像和算法優(yōu)化等方面的研究.