基于機(jī)器視覺的SOP芯片引腳缺陷檢測(cè)研究

李繹鈴

摘 要：隨著微電子元器件向著微小化發(fā)展，傳統(tǒng)的人眼目檢較之于在線機(jī)器視覺檢測(cè)技術(shù)對(duì)于芯片缺陷的識(shí)別而言，精度低、效率低且成本高，無法滿足當(dāng)今芯片檢測(cè)行業(yè)的高精度、高速度的要求。針對(duì)SOP芯片引腳缺陷進(jìn)行基于機(jī)器視覺的檢測(cè)識(shí)別方法的研究，通過一系列圖像處理算法的運(yùn)用，以模板匹配思想為主，以連通像素區(qū)域標(biāo)記法為主要算法，采用MATLAB進(jìn)行運(yùn)算研究，可清晰地識(shí)別、提取出SOP芯片的各區(qū)域的特征，達(dá)到檢測(cè)目的。

關(guān)鍵詞：圖像處理 連通像素區(qū)域標(biāo)記法 引腳缺陷

中圖分類號(hào)：TN40 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2018）04（a）-0002-04

Abstract：With the development of microelectronics components toward miniaturization， traditional eyes were checked for chip defect recognition with lower precision and efficiency，higher cost than online machine vision detection technology，whats more its unable to meet the requirement of high precision， high speed of today's chip testing industry.In order to realize a recognition method of SOP chip pin defect based on machine vision. The experiment used a series of digital image processing algorithm which mainly take template matching and connected pixel region marking to do the research. In the end，the result realized clearly recognition and extract the features of each region of the SOP chip pin by MATLAB.

Key Words：Digital image processing； Connected pixel region marking； Pin defect

隨著集成電路向著小型化、高密度組裝化、低成本、高性能和高可靠性發(fā)展，微電子封裝技術(shù)朝著表面貼裝技術(shù)（SMT）的方向蓬勃發(fā)展，微電子領(lǐng)域的芯片尺寸愈來愈小，其測(cè)量精度要求愈發(fā)高，傳統(tǒng)的人類視覺檢測(cè)遠(yuǎn)遠(yuǎn)無法滿足當(dāng)今芯片檢測(cè)行業(yè)的高精度、高速度的要求[1]。

SOP（Small Out-Line Package小外形封裝）是一種常用的電子元器件封裝形式，具有易于檢測(cè)到的“翼”型引腳，應(yīng)用范圍很廣。SOP芯片易出現(xiàn)引腳變形和缺失的問題，現(xiàn)主要應(yīng)用于各種集成電路之中[1-2]。機(jī)器視覺檢測(cè)是非接觸無損檢測(cè)，與傳統(tǒng)的檢測(cè)手段相比，具有不可替代的優(yōu)越性。機(jī)器視覺系統(tǒng)在高速、細(xì)微和重復(fù)的制造過程中可靠性更高，其被用于制造系統(tǒng)不僅是工業(yè)發(fā)展的方向和需要，更是提高生產(chǎn)效率的有效途徑，在線視覺檢測(cè)已成為電子工業(yè)發(fā)展中不可或缺的一環(huán)[3-5]。在芯片封裝過程中，對(duì)芯片引腳的缺陷檢測(cè)是正確封裝的必要基礎(chǔ)，僅依靠人力很難滿足對(duì)SOP芯片引腳的高速、高精度的檢測(cè)需求。

機(jī)器視覺是利用成像系統(tǒng)來代替人眼獲取視覺信息，由計(jì)算機(jī)完成對(duì)視覺信息的處理和理解，從而實(shí)現(xiàn)監(jiān)測(cè)、判斷、識(shí)別等功能，具有非接觸式、實(shí)時(shí)性、靈活性、精確性和高可靠性等優(yōu)點(diǎn)，廣泛應(yīng)用于工業(yè)生產(chǎn)、遙感、安防等領(lǐng)域[6]。

1 檢測(cè)系統(tǒng)總體

1.1 檢測(cè)系統(tǒng)硬件

機(jī)器視覺中檢測(cè)對(duì)象為計(jì)算機(jī)圖像，檢測(cè)系統(tǒng)利用光學(xué)成像原理獲取待測(cè)物體的特征信息，再利用圖像傳感器將光學(xué)圖像信號(hào)轉(zhuǎn)化為電學(xué)信號(hào)以得到計(jì)算機(jī)數(shù)字圖像[7]。圖像處理中圖像質(zhì)量為至關(guān)重要的因素，獲取清晰符合實(shí)驗(yàn)要求的圖像是實(shí)驗(yàn)進(jìn)行的必要條件之一。

目前機(jī)器視覺主要采用CCD攝像機(jī)和CMOS攝像機(jī)作為前端圖像采集設(shè)備，前者是機(jī)電耦合器件，以電信號(hào)進(jìn)行傳輸，在將光學(xué)圖像轉(zhuǎn)換為電荷圖像的過程中需逐位掃描輸出，所獲圖像具有低噪聲、高性能特點(diǎn)，但效率較低、需高功耗的驅(qū)動(dòng)脈沖。而CMOS攝像機(jī)作為較新發(fā)展的光電轉(zhuǎn)換器件，以電壓信號(hào)進(jìn)行傳輸，信號(hào)的讀取通過尋址從開關(guān)陣列中直接輸出，更為高效[8]。

待測(cè)芯片引腳間距為1.27mm，檢測(cè)精度需求為0.1mm，圖像采集時(shí)芯片呈靜止?fàn)顟B(tài)，因此選用了圖像質(zhì)量較好、靈敏度和對(duì)比度高的德國(guó)SVS-VISTEK工業(yè)相機(jī)（型號(hào)SVS625MFGE），基本信息如下表1所示。

在此采用自然光和LED燈光源復(fù)合照射方式，通過前向照明方式進(jìn)行室內(nèi)圖像采集，可清晰反映芯片管腳特征和芯片面板信息，利于后期圖像分割。

1.2 軟件系統(tǒng)

作為檢測(cè)系統(tǒng)的核心部分，軟件系統(tǒng)主要依靠于數(shù)字圖像處理方法進(jìn)行采集圖像的處理，包括圖像的預(yù)處理、圖像分割及特征提取等算法技術(shù)。經(jīng)處理后的圖像既需滿足計(jì)算機(jī)檢測(cè)要求，也需優(yōu)化視覺效果。此處選用MATLAB作為主要軟件系統(tǒng)，具有計(jì)算量少、反應(yīng)速度快、提取圖像準(zhǔn)確和對(duì)編程能力的要求寬松等優(yōu)勢(shì)[9～11]。

2 數(shù)字圖像處理

數(shù)字圖像（mathematical image）是由連續(xù)函數(shù)或離散函數(shù)生成的抽象圖像，其中離散函數(shù)所產(chǎn)生的圖像就是計(jì)算機(jī)可以處理的數(shù)字圖像。

數(shù)字圖像處理是在圖像坐標(biāo)系中以圖像的左上角為坐標(biāo)原點(diǎn)，將圖像分割為M×N的二維區(qū)域，每個(gè)區(qū)域稱為一個(gè)像素點(diǎn)，點(diǎn)（i， j）上的像素值用函數(shù)f（i， j）表示。在灰度圖像中，f表示灰度值（亮度值）。

2.1 圖像預(yù)處理

圖像預(yù)處理是有選擇性的對(duì)所需圖像特征處理并使其凸顯出來，通過一些常規(guī)算法的運(yùn)用對(duì)圖像像素進(jìn)行定向處理，將采集到圖像信息根據(jù)不同需求進(jìn)行修正或變化，以達(dá)到預(yù)期效果。

對(duì)CCD相機(jī)獲取的彩色圖像或24位黑白圖像進(jìn)行灰度化處理：將原始芯片的圖像轉(zhuǎn)換為灰度圖像（8位）。

在此研究中采用加權(quán)法進(jìn)行灰度化處理，通過亮度Y與R、G、B三分量的對(duì)應(yīng)關(guān)系Y=0.3R+0.59G+0.11B，將每個(gè)像素點(diǎn)的Y值計(jì)算出來，使用Y值作為圖像的灰度值的表示。其處理結(jié)果如圖1所示。

2.2 圖像增強(qiáng)

采用圖像增強(qiáng)算法來突出芯片引腳區(qū)域的灰度信息。

圖像的直方圖是圖像的重要統(tǒng)計(jì)特征，表示了數(shù)字圖像中每一個(gè)灰度級(jí)與該灰度級(jí)出現(xiàn)的頻率間的統(tǒng)計(jì)關(guān)系，提供了圖像的灰度值分布情況，即圖像灰度值的整體描述。圖像直方圖修正效果如圖2所示。

圖像平滑分為空間域和頻率域兩大類，空間域常用均值濾波、中值濾波和自適應(yīng)濾波等；而在頻率域采用各種形式的低通濾波方法進(jìn)行平滑處理。對(duì)濾波處理的要求主要有兩點(diǎn)：不能影響以后的缺陷識(shí)別和不能損壞圖像的輪廓及邊緣等重要信息[12]。在此研究中，選擇中值濾波，通過一個(gè)含有奇數(shù)點(diǎn)的滑動(dòng)窗口，將領(lǐng)域中的像素按灰度級(jí)排序，取其中間值作為輸出像素，可有力地印制隨機(jī)噪聲且不使邊緣模糊。

2.3 圖像分割

圖像分割是將反映物體真實(shí)情況的、占據(jù)不同區(qū)域的、具有不同特性的目標(biāo)分開來，并形成數(shù)字特征的過程。

基于閾值的分割方法是最簡(jiǎn)單有效的圖像分割方法，其實(shí)質(zhì)是利用圖像的灰度直方圖信息得到用于分割的閾值，其難點(diǎn)和重點(diǎn)均為閾值的選取[13]。

改進(jìn)直方圖閾值分割法，對(duì)直方圖各個(gè)區(qū)域長(zhǎng)、寬、高等特征進(jìn)行提取，再根據(jù)直方圖各區(qū)域特征進(jìn)行自動(dòng)選取閾值，將引腳區(qū)域清晰的分別提取出來，完成圖像分割。經(jīng)過此種閾值分割法實(shí)現(xiàn)的圖像分割效果如圖3所示。

2.4 圖像邊緣檢測(cè)

圖像邊緣檢測(cè)是底層視覺處理中重要的一環(huán)，實(shí)現(xiàn)在基于邊界的圖像分割的基礎(chǔ)。邊緣檢測(cè)實(shí)際上是檢測(cè)圖像特性發(fā)生變化的位置。本文所涉及的區(qū)域特征主要為灰度。邊緣檢測(cè)主要為兩個(gè)步驟：抽取出反映灰度變化的邊緣點(diǎn)，再剔除某些邊界點(diǎn)或填補(bǔ)邊界間斷點(diǎn)，并將這些邊緣連接為完整的線。邊緣檢測(cè)算子分為兩類：基于一階導(dǎo)數(shù)的邊緣檢測(cè)與基于二階導(dǎo)數(shù)的邊緣檢測(cè)。常用的基于一階導(dǎo)數(shù)的邊緣檢測(cè)算子有Roberts算子、Sobel算子、Prewitt算子、LOG算子和Canny算子[14]。采用上述邊緣檢測(cè)算子進(jìn)行邊緣提取后的圖像如圖4所示，由圖4可知，Sobel算子邊緣檢測(cè)效果最優(yōu)。

3 引腳缺陷識(shí)別算法

3.1 引腳數(shù)目識(shí)別

SOP芯片的外形特征中含有典型的易被檢測(cè)到的“海鷗型”特征，管腳處具有彎折現(xiàn)象，根據(jù)此特征對(duì)其圖像進(jìn)行形態(tài)學(xué)處理，解決其由于光照不均所致的管腳彎折處斷裂現(xiàn)象，再使用連通像素標(biāo)記法統(tǒng)計(jì)其引腳數(shù)目。

形態(tài)學(xué)圖像處理的基本思想是用具有一定形態(tài)的結(jié)構(gòu)元素去度量和提取圖像中的對(duì)應(yīng)形狀以達(dá)到對(duì)圖像分析和識(shí)別的目的。它可以簡(jiǎn)化圖像數(shù)據(jù)，保持圖像的基本形狀特征，并除去不相干的結(jié)構(gòu)。形態(tài)學(xué)圖像處理課分為二值形態(tài)學(xué)和灰度形態(tài)學(xué)兩種，基本運(yùn)算為膨脹、腐蝕、開啟和閉合[15]。

圖像經(jīng)閾值分割后，可將引腳部分清晰的提取出來，為了區(qū)分引腳部分各區(qū)域調(diào)查每個(gè)像素是否連接在一起，即對(duì)二值圖像進(jìn)行連通像素區(qū)域標(biāo)記。具體步驟為計(jì)算各區(qū)域像素個(gè)數(shù)、區(qū)域中心坐標(biāo)并以紅色數(shù)字在各區(qū)域中心進(jìn)行區(qū)域標(biāo)記，將連接在一起的像素附上相同的標(biāo)記，不同的連接成分附上不同標(biāo)記以進(jìn)行各個(gè)連接成分的形狀特征的調(diào)查[16-18]。

3.2 基于模板匹配的引腳缺陷識(shí)別算法

3.2.1 圖像旋轉(zhuǎn)、裁剪

每次所采集多分圖像并非與模板圖像的位置完全一致，應(yīng)在模板匹配之前將待測(cè)芯片與模板芯片的位置信息進(jìn)行處理。圖像裁剪是在原圖像或大圖像上裁剪出圖像塊以便下一步處理。圖像的旋轉(zhuǎn)變換則是指以圖像的中心為原點(diǎn)，將圖像上所有的像素都旋轉(zhuǎn)同一角度的變換，但圖像經(jīng)旋轉(zhuǎn)變換后，一定會(huì)產(chǎn)生位置信息和大小的變化，此時(shí)既可通過圖像裁剪將多余顯示區(qū)域的圖像裁去，也可以擴(kuò)大顯示區(qū)域的圖像范圍以顯示圖像的全部。

3.2.2 引腳區(qū)域標(biāo)記與特征提取

使用連通區(qū)域像素標(biāo)記法對(duì)引腳各區(qū)域進(jìn)行標(biāo)記，同時(shí)可獲取引腳各區(qū)域內(nèi)像素個(gè)數(shù)、各像素點(diǎn)坐標(biāo)、該幾何區(qū)域中心坐標(biāo)、與圖像中心所成角度等區(qū)域特征，且此類特征均以矩陣形式保存，可將待測(cè)芯片的特征矩陣與相應(yīng)的模板芯片特征矩陣進(jìn)行一一比對(duì)，并設(shè)以一定誤差范圍，可精確區(qū)分識(shí)別帶有引腳缺陷的芯片。將待測(cè)芯片圖像經(jīng)上述處理后效果圖5至8所示。

4 結(jié)語(yǔ)

本研究通過多種常見圖像處理算法的比較，選取了合適的各步驟算法較好的達(dá)到了檢測(cè)SOP芯片引腳缺陷的目的，證實(shí)了機(jī)器視覺檢測(cè)應(yīng)用于微電子檢測(cè)行業(yè)具有較大可能性。但鑒于研究水平有限，未能實(shí)現(xiàn)更為精細(xì)的檢測(cè)精度，以此基本思想進(jìn)而深入研究發(fā)展，可將其擴(kuò)展至各種型號(hào)芯片表面與引腳檢測(cè)等領(lǐng)域，更能大大地促進(jìn)光機(jī)電一體化的發(fā)展，推動(dòng)電子行業(yè)向更高速自動(dòng)化發(fā)展。

參考文獻(xiàn)

[1] 章士瀛.21世紀(jì)電子元件的發(fā)展趨勢(shì)[J].電子元件與材料，1999（1）：29-31.

[2] 陳慶江.電子元件產(chǎn)品及技術(shù)發(fā)展趨勢(shì)[J].科技視界，2016（22）：107-107.

[3] 金隼，洪海濤.機(jī)器視覺檢測(cè)在電子接插件制造工業(yè)中的應(yīng)用[J].儀表技術(shù)與傳感器，2000（2）：13-16.

[4] 朱更明，李方敏.IC芯片管腳缺陷在線視覺檢測(cè)系統(tǒng)研究[J].計(jì)算機(jī)工程與應(yīng)用，2002，38（1）：232-235.

[5] 梁忠偉.集成電路芯片機(jī)器視覺檢測(cè)技術(shù)研究[J].中國(guó)設(shè)備工程，2006（10）：53-55.

[6] 吳曉.面向LED芯片檢測(cè)與分選的機(jī)器視覺定位系統(tǒng)的開發(fā)[J].貴州大學(xué)學(xué)報(bào)：自然版，2013，30（3）：93-103.

[7] 劉建群，曠輝，丁少華.基于視覺的表面貼裝芯片引腳檢測(cè)系統(tǒng)的研究[J].中國(guó)機(jī)械工程，2007，18（16）：1908-1912.

[8] 孫燕峰，李成貴，魏鵬.一種基于線陣CCD的工件外尺寸測(cè)量裝置的設(shè)計(jì)與實(shí)現(xiàn)[J].電子測(cè)量技術(shù)，2012，35（2）：20-23.

[9] 葛魯寧，楊建國(guó)，王慶霞，等.圖像測(cè)量在芯片檢測(cè)中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用，2009，29（b06）：242-244.

[10] 許志影，李晉平.MATLAB及其在圖像處理中的應(yīng)用[J].計(jì)算機(jī)與現(xiàn)代化，2003（4）：64-65.

[11] 何希平，張瓊?cè)A.基于MATLAB的圖像處理與分析[J].重慶工商大學(xué)學(xué)報(bào)：自然科學(xué)版，2003，20（2）：22-26.

[12] 趙樹魁，李德玉，汪天富，等.超聲醫(yī)學(xué)圖像濾波算法研究進(jìn)展[J].生物醫(yī)學(xué)工程學(xué)雜志，2001，18（1）：145-148.

[13] 蘆蓉，沈毅.一種改進(jìn)的二維直方圖的圖像閾值分割方法[J].系統(tǒng)工程與電子技術(shù)，2004，26（10）：1487-1490.

[14] 季虎，孫即祥，邵曉芳，等.圖像邊緣提取方法及展望[J].計(jì)算機(jī)工程與應(yīng)用，2004，40（14）：70-73.

[15] 王樹文，閆成新，張?zhí)煨?，?數(shù)學(xué)形態(tài)學(xué)在圖像處理中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2004，40（32）：89-92.

[16] 梁成.基于像素二值化法的連通域標(biāo)記[J].計(jì)算機(jī)與數(shù)字工程，2013，41（5）：823-826.

[17] 羅志灶，周贏武，鄭忠楷.二值圖像連通域標(biāo)記優(yōu)化算法[J].安慶師范學(xué)院學(xué)報(bào)：自科版，2010，16（4）：34-39.

[18] 蔣偉達(dá).一種基于對(duì)象的連通區(qū)域標(biāo)記方法[J].現(xiàn)代測(cè)繪，2015（4）：16-17.