面向引線框架缺陷識(shí)別的圖像配準(zhǔn)算法

2014-03-05 18:40:33趙景波趙建輝許曉帆

現(xiàn)代電子技術(shù) 2014年4期

趙景波+趙建輝+許曉帆

摘要：為了降低引線框架缺陷識(shí)別的誤檢率，比較了基于灰度的模板匹配和基于特征的匹配算法之間的優(yōu)缺點(diǎn)，并針對(duì)引線框架缺陷檢測(cè)中參考圖和檢測(cè)圖存在差異的特點(diǎn)，提出基于區(qū)域定位和不變矩的特征匹配算法。該算法通過(guò)邊緣檢測(cè)定位出特征區(qū)域，并用不變矩進(jìn)行區(qū)域特征描述。在缺陷識(shí)別試驗(yàn)中，相比于模板匹配算法，該算法表現(xiàn)出更快的結(jié)算速度，更高的配準(zhǔn)精度，更低的配準(zhǔn)失敗概率。結(jié)果表明，該配準(zhǔn)算法適用于引線框架缺陷識(shí)別，降低誤檢率。

關(guān)鍵詞：引線框架；機(jī)器視覺(jué)；模板匹配；特征匹配算法

中圖分類號(hào)： TN911.73?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2014）04?0101?03

Image registration algorithm for lead frame defect detection

ZHAO Jing?bo1， ZHAO Jian?hui2， XU Xiao?fan1，2

（1. Northwestern Polytechnical University， Xian 710129， China； 2. Unit 93995 of PLA， Xian 710306， China）

Abstract： To reduce the false detecting rate in lead frame defect recognition， the advantages and drawbacks of template matching based on gray and matching algorithm based on invariant moment. A feature matching algorithm based on area position and moment invariant is proposed according to the characteristic that the difference exists in conference image and sensed image during lead frame defect detection. The algorithn can ensure the feature area location by edge detection and describe the region feature by means of invariant moment. In the test of defect recognition， the algorithm showed up more rapid calculating speed， higher registration accuracy and lower registration false rate than the template matching algorithm. The results show that the image registration algrithm is suitable for lead frame defect detection and reduction of the false detecting rate.

Keywords： lead frame； machine vision； template matching； feature matching algorithm

引線框架作為集成電路的芯片載體，是一種借助于鍵合材料（金絲、鋁絲、銅絲）實(shí)現(xiàn)芯片內(nèi)部電路引出端與外引線的電氣連接，形成電氣回路的關(guān)鍵結(jié)構(gòu)件[1]。對(duì)于集成度高的芯片，其引線框架采用蝕刻工藝制造。在工藝實(shí)施過(guò)程中，產(chǎn)品中會(huì)出現(xiàn)一些特有的缺陷[2]。目前，部分生產(chǎn)企業(yè)采用了基于機(jī)器視覺(jué)的缺陷檢測(cè)系統(tǒng)，但是，此類檢測(cè)系統(tǒng)普遍存在誤檢率過(guò)高的問(wèn)題，導(dǎo)致產(chǎn)量很難提高。本文分析了誤檢率高的原因，針對(duì)圖像配準(zhǔn)環(huán)節(jié)提出了改進(jìn)的算法，可有效改善檢測(cè)效果。

1 缺陷檢測(cè)流程

1.1 圖像預(yù)處理

對(duì)于由光學(xué)傳感器獲得的數(shù)字圖像，由于成像條件、光照條件及采集設(shè)備等的影響，往往使所采集圖像中的有用信號(hào)淹沒(méi)在噪聲中。因此，圖像預(yù)處理通常包括噪聲去除濾波、二值化、圖像邊緣檢測(cè)等幾個(gè)方面，使圖像特征更加明顯[3]。

1.2 子區(qū)域的矩比較或紋理特征比較

預(yù)處理后，最簡(jiǎn)單的找缺陷的方法就是點(diǎn)對(duì)點(diǎn)對(duì)比，這種單純基于灰度的方法，在實(shí)際工作過(guò)程中，存在嚴(yán)重的誤報(bào)現(xiàn)象。因此可以將圖像分為自區(qū)域，對(duì)比相應(yīng)區(qū)域的矩，如果相差在某一閾值范圍外，便認(rèn)為找到了缺陷。式（1）定義了區(qū)域的[p+q]階矩。

[mpq=（u，v）∈Fupyqf（u，v）] （1）

基于紋理的缺陷檢測(cè)具有更高的穩(wěn)定性和誤檢率。Sarkar. N給出了一種對(duì)比相應(yīng)區(qū)域紋理特征矩陣的方法來(lái)檢測(cè)產(chǎn)品缺陷，經(jīng)證明，能有效避免因光線變化而帶來(lái)的誤檢[4]。

2 高誤檢率原因分析

被測(cè)引線框架是由與氣泵相連機(jī)械手依次放置在攝像頭前的。位置誤差和振動(dòng)會(huì)引起成像角度和距離的偏差，進(jìn)而導(dǎo)致被測(cè)件圖像與參考圖像（無(wú)缺陷的標(biāo)準(zhǔn)件）沒(méi)有對(duì)齊。由于兩幅圖像坐標(biāo)的偏差，用來(lái)對(duì)比的區(qū)域之間無(wú)法建立起相應(yīng)的聯(lián)系，導(dǎo)致誤檢率偏高。為免于此，兩個(gè)圖像必須很好地對(duì)齊，對(duì)齊的過(guò)程稱之為配準(zhǔn)。另外，配準(zhǔn)算法還必須對(duì)光照變化具有魯棒性。配準(zhǔn)的方法將在下節(jié)詳細(xì)論述。

3 圖像配準(zhǔn)算法

3.1 圖像配準(zhǔn)的一般步驟

至今為止也沒(méi)有一種能適應(yīng)任何圖像的通用配準(zhǔn)算法，但是，幾乎所有的算法都可以分為4個(gè)步驟[5]：

（1）特征檢測(cè)。人工或自動(dòng)地檢測(cè)出圖像中的特殊對(duì)象（如邊界閉合的區(qū)域、邊緣、輪廓、線交點(diǎn)、角等等）。接下來(lái)，用特殊的點(diǎn)（重心、線端點(diǎn)、孤立點(diǎn)）表示出來(lái)，這些點(diǎn)在某些文獻(xiàn)中稱之為控制點(diǎn)（CPs）；

（2）特征匹配。運(yùn)用各種特征描述子和相似性度量以及這些特征間的空間關(guān)系，來(lái)建立參考圖像和獲取圖像之間的相關(guān)性。這是配準(zhǔn)中的關(guān)鍵一步；

（3）估計(jì)變換模型。對(duì)齊獲得圖像和參考圖像需要知道它們之間的映射函數(shù)。所以這一步要估計(jì)映射函數(shù)的類型和參數(shù)。類型往往是仿射變換的一種，參數(shù)則由建立的特征相關(guān)性的均值計(jì)算得到；

（4）圖像重新采樣和變換。用映射函數(shù)的均值變換獲得圖像。在非整數(shù)坐標(biāo)處的圖像的值由插值技術(shù)算出。

3.2 基于灰度的配準(zhǔn)算法

魯棒模板匹配是基于灰度的配準(zhǔn)算法的代表，目前已經(jīng)應(yīng)用于IC芯片的封裝中，已經(jīng)是成熟的技術(shù)。

模板匹配技術(shù)原本是獨(dú)立于圖像配準(zhǔn)之外的技術(shù)，其本意是在一副圖像中搜索目標(biāo)物體，用來(lái)描述目標(biāo)物體的圖像稱之為模板圖像。要進(jìn)行模板匹配，首先要計(jì)算模板和圖像之間的相似度，式（2）給出了一種差值絕對(duì)值（SAD）的相似性度量：

[SAD（r，c）=1n（u，v）∈Tt（u，v）-f（r+u，c+v）] （2）

式中：[t（u，v）]為模板中某點(diǎn)灰度值；[f（r+u，c+v）]為ROI中的某點(diǎn)灰度值；SAD（r，c）為以SAD（差值絕對(duì)值）度量的相似度。

如果模板和圖像的ROI相同，則SAD值為0，所以這種度量準(zhǔn)確地說(shuō)應(yīng)為“不相似度”。根據(jù)具體情況，給SAD（r，c）設(shè)置一個(gè)閾值，來(lái)判斷是否在此處找到了模板。

但是這種度量對(duì)于光照變化比較敏感，如果模板圖像和被測(cè)圖像不是在相同光照條件下取得的，將會(huì)得到很多錯(cuò)誤位置找到模板。Carsten Steger等針對(duì)PCB板圖像做的試驗(yàn)清楚地反映了這一點(diǎn)[6]。隨后，他給出了不隨線性光照變化而變化的相似性度量：歸一化互相關(guān)系數(shù)（NCC），其計(jì)算方法由公式（3）給出：

[NCC（r，c）=1n（u，v）∈Tt（u，v）-mts2t?f（r+u，c+u）-mf（r，c）s2f（r，c）] （3）

式中：[mt]為模板平均灰度值；[s2t]為模板像素灰度方差；[mf（r，c）]為ROI的平均灰度值；[s2f（r，c）]為ROI的灰度方差。

為了實(shí)現(xiàn)對(duì)旋轉(zhuǎn)的魯棒性，需要?jiǎng)?chuàng)建多個(gè)方向的模板，然后依次匹配，直到找到模板位置為止。如果將參考圖像的特征區(qū)域作為模板，那么被測(cè)圖像中找到模板的位置就可認(rèn)為是相應(yīng)的特征區(qū)域，于是便實(shí)現(xiàn)了特征匹配。因?yàn)橐貓D像中的每一點(diǎn)移動(dòng)模板，并在每個(gè)位置按下列公式計(jì)算相似度，還有需要?jiǎng)?chuàng)建不同方向的模板，其計(jì)算量是比較大的（雖然可以用金字塔算法來(lái)提高模板搜索速度），不利于產(chǎn)品的實(shí)時(shí)檢測(cè)。更為嚴(yán)重的是，由于被測(cè)圖像和參考圖像并非是同一物體的成像，被測(cè)件的表面在模板對(duì)應(yīng)區(qū)域如果出現(xiàn)缺陷，會(huì)出現(xiàn)模板的錯(cuò)誤匹配，進(jìn)而導(dǎo)致配準(zhǔn)的失敗。綜上所述，魯棒模板匹配算法并不適用于本應(yīng)用。

3.3 基于不變矩的配準(zhǔn)算法

為了尋找與區(qū)域位置無(wú)關(guān)的矩，可以在式（1）基礎(chǔ)上構(gòu)造中心矩：

[upq=（u，v）∈F（u-u）p（v-v）qf（u，v）u=m10m00，v=m01m00] （4）

式中：[（u，v）]可以認(rèn)為是區(qū)域的幾何中心坐標(biāo)。更進(jìn)一步，Ming?Kuei Hu將中心矩歸一化，并由此構(gòu)建出了7個(gè)不變矩，也稱Hu矩。經(jīng)證明，它們不但不受區(qū)域的平移影響，也不受旋轉(zhuǎn)、縮放的影響[7]。

[ηpq=upquγ00， γ=p+q2+1] （5）

[?1=η20+η02?2=（η20-η02）2+4η211?3=（η30-3η12）2+（3η21-η03）2?4=（η30+η12）2+（η21+η03）2?5=（η30-3η12）（η21+η03）[（η30+η12）2-3（η21+η03）2]+ （3η21-η03）（η21+η03）[3（η30+η12）2-（η21+η03）2]?6=（η20-η02）[（η30+η12）2-（η21+η03）2]+ 4η11（η30+η12）（η21+η03）?7=（3η21-η03）（η30+η12）[（η30+η12）2-3（η21+η03）2]+ （3η12-η30）（η03+η21）[3（η30+η12）2-（η21+η03）2]] （6）

基于灰度的模板匹配之所以會(huì)造成配準(zhǔn)失敗，根本原因在于使用的圖像信息過(guò)多，包括了缺陷的灰度信息。因此如果只是提取被測(cè)圖像和參考圖像的特征區(qū)域（不在可能出現(xiàn)缺陷的部位提?。?，然后利用不變矩的不變性來(lái)進(jìn)行特征匹配（兩幅圖中不變矩相等的區(qū)域認(rèn)為是對(duì)應(yīng)區(qū)域），那么便可以完成圖像配準(zhǔn)。

4 試驗(yàn)及結(jié)論

設(shè)計(jì)仿真試驗(yàn)，分別采用模板匹配算法和基于區(qū)域定位及不變矩的算法，以檢驗(yàn)本文提出算法的配準(zhǔn)效果。選取××公司編號(hào)為××的一批引線框架50個(gè)，作為試驗(yàn)樣本。其中，良好樣本30個(gè)，缺陷樣本20個(gè)（4種缺陷，每種各5個(gè)）。試驗(yàn)步驟如下：

（1）使用如圖1所示的“引線框架缺陷檢測(cè)系統(tǒng)”的硬件系統(tǒng)獲得如圖2（a）所示的標(biāo)準(zhǔn)引線框架圖像和被測(cè)框架產(chǎn)品圖像，然后人工對(duì)產(chǎn)品圖像進(jìn)行平移和旋轉(zhuǎn)，得到圖2（c），平移坐標(biāo)和旋轉(zhuǎn)角度作為實(shí)際值。

圖1 引線框架缺陷檢測(cè)硬件系統(tǒng)

（2）選取圖像中灰度分布較為特殊的的區(qū)域作為模板，如圖2（b）所示（圖2（a）中用黑色線框出了模板的范圍），采用3.2節(jié)所述的模板匹配法進(jìn)行匹配，模板旋轉(zhuǎn)步長(zhǎng)選為5°。匹配結(jié)果如圖2（d）所示，得到圖像位置和角度偏差的測(cè)量值。。

（3）對(duì)標(biāo)準(zhǔn)圖像圖3（a）進(jìn)行Canny邊緣檢測(cè)獲得圖像輪廓，得到如圖3（b）的結(jié)果，對(duì)區(qū)域面積進(jìn)行篩選得到特征區(qū)域，如圖2（c）所示，并用3.3節(jié)所示方法進(jìn)行Hu矩計(jì)算。對(duì)被測(cè)件也采用相同的步驟處理，如圖3（d）～（f）所示。對(duì)于Hu矩相近的區(qū)域建立對(duì)應(yīng)關(guān)系，并估算空間變換參數(shù)，得到如圖3（g）所示的配準(zhǔn)結(jié)果。

試驗(yàn)結(jié)果如表1所示。試驗(yàn)結(jié)果可見(jiàn)，由于被測(cè)圖像和參考圖像可能因?yàn)楫a(chǎn)品缺陷的原因而出現(xiàn)的灰度值不一致情況，模板匹配算法會(huì)有一定的配準(zhǔn)失敗率；而且，模板旋轉(zhuǎn)角度的步長(zhǎng)限制了圖像配準(zhǔn)角度誤差的降低?；诓蛔兙胤椒ǖ膱D像配準(zhǔn)算法可以達(dá)到準(zhǔn)確配準(zhǔn)的效果，同時(shí)可以兼顧計(jì)算量和實(shí)時(shí)性的要求，為進(jìn)一步降低引線框架檢測(cè)系統(tǒng)的誤檢率提供了良好的基礎(chǔ)。

圖2 引線框架的模板匹配圖像配準(zhǔn)過(guò)程

圖3 引線框架的特征配準(zhǔn)算法

參考文獻(xiàn)

[1] 馬莒生，黃福祥，黃樂(lè)，等.銅基引線框架材料的研究與發(fā)展[J].功能材料，2002，33（1）：1?4.

[2] 寧洪龍，黃福祥，馬莒生，等.電子封裝中的局部鍍銀研究[J]. 稀有金屬材料與工程，2004，33（2）：176?178.

[3] 李哲毓，高明，馬衛(wèi)紅.基于計(jì)算機(jī)視覺(jué)的管殼表面劃痕檢測(cè)技術(shù)研究[J].應(yīng)用光學(xué)，2007，28（6）：802?805.

[4] 張培培，杜楊，曲曉鵬，等.基于圖像紋理的印刷缺陷檢測(cè)[J]. 電腦編程技巧與維護(hù)，2010（12）：105?106.

[5] ZITOV?Barbara， FLUSSER Jan. Image registration methods： a survey [J]. Image Vision Comput， 2003， 21（11）： 977?1000.

[6] STEGER C， ULRICH M， WIEDEMANN C. Machine vision algorithms and applications [M]. [S.l.]： [s.n.]， 2008.

[7] HU Ming?kui. Visual pattern recognition by moment invariants [J]. IRE Transactions on Information Theory， 1962， 8（2）： 179?187.