用于半導(dǎo)體芯片封裝的真空吸嘴視覺識(shí)別技術(shù)

邱景，胥云，廖映華，劉思懿，容瀟偉

(1.四川輕化工大學(xué)機(jī)械工程學(xué)院，四川宜賓 644000；2.四川省移動(dòng)終端結(jié)構(gòu)件全制程先進(jìn)制造技術(shù)工程研究中心，四川宜賓 644000;3.悉尼大學(xué)工程學(xué)院，新南威爾士州悉尼 2006)

0 前言

在半導(dǎo)體芯片封裝過程中，精確拾取和轉(zhuǎn)移芯片是保證封裝工序能正常進(jìn)行的前提[1]。而使用型號(hào)匹配的真空吸嘴是正確拾取轉(zhuǎn)移芯片的關(guān)鍵。由于真空吸嘴微小，一些外觀極為相似的真空吸嘴僅憑人眼難以區(qū)分，一旦拿錯(cuò)，極易造成無法準(zhǔn)確吸取芯片，或轉(zhuǎn)移時(shí)芯片脫落而造成芯片破損等問題，嚴(yán)重影響了封裝的精度和效率。

機(jī)器視覺技術(shù)在封裝技術(shù)中一些關(guān)鍵點(diǎn)上已經(jīng)被廣泛應(yīng)用。WANG等[2]通過分析MCP-X圖像增強(qiáng)器分辨率與幾何放大率的關(guān)系來檢測(cè)印刷電路板中焊點(diǎn)的缺陷；席偉等人[3]通過使用區(qū)域生成法和最大內(nèi)接矩形法實(shí)現(xiàn)對(duì)PCB板的糾偏；蘇珊等人[4]利用圖像二值化、連通域標(biāo)記等算法識(shí)別出SMT元件引腳的連錫缺陷。然而機(jī)器視覺在芯片真空吸嘴的識(shí)別分類方面鮮有應(yīng)用。目前仍然通過人工取用真空吸嘴，極易拿錯(cuò)。為了保證芯片封裝的順利進(jìn)行，本文作者開發(fā)了一套基于OpenCV以及Qt平臺(tái)的用于半導(dǎo)體芯片封裝的真空吸嘴識(shí)別系統(tǒng)，在使用真空吸嘴吸取芯片之前，識(shí)別真空吸嘴，確保工程師不會(huì)拿錯(cuò)真空吸嘴。

1 真空吸嘴的視覺識(shí)別方案

1.1 真空吸嘴的視覺識(shí)別原理

此系統(tǒng)的識(shí)別任務(wù)主要是識(shí)別出真空吸嘴是哪一種型號(hào)。對(duì)真空吸嘴的結(jié)構(gòu)和材質(zhì)研究發(fā)現(xiàn)，真空吸嘴的顏色僅有黑色、白色和乳色，其內(nèi)、外輪廓形狀非圓即方，如圖1所示。因而此系統(tǒng)選擇真空吸嘴的形狀、顏色和內(nèi)、外輪廓的寬高尺寸作為識(shí)別特征。

圖1 真空吸嘴顏色和形狀特征

此系統(tǒng)中需要識(shí)別的真空吸嘴種類較多，還要滿足企業(yè)客戶日后可以識(shí)別新種類真空吸嘴的需求。因此選擇創(chuàng)建真空吸嘴數(shù)據(jù)庫，通過圖像處理算法獲取型號(hào)已知的真空吸嘴的特征參數(shù)，錄入到真空吸嘴數(shù)據(jù)庫中。對(duì)型號(hào)未知的真空吸嘴進(jìn)行識(shí)別時(shí)，將獲取的特征參數(shù)與數(shù)據(jù)庫中已錄入的數(shù)據(jù)做比對(duì)，查找到數(shù)據(jù)庫中相應(yīng)的真空吸嘴，提示該真空吸嘴的型號(hào)和特征信息。系統(tǒng)識(shí)別原理如圖2所示。

圖2 系統(tǒng)識(shí)別原理

1.2 實(shí)驗(yàn)平臺(tái)搭建

芯片真空吸嘴識(shí)別系統(tǒng)由硬件和軟件組成，其中硬件系統(tǒng)實(shí)物組成如圖3所示。軟件編程平臺(tái)為Qt Creator 4.7.2，使用Qt編寫圖像采集、軟件界面、數(shù)據(jù)庫操作和串口通信。使用OpenCV編寫圖像處理算法。硬件主要包括CMOS相機(jī)、遠(yuǎn)心鏡頭、背光源、光源控制器和PC機(jī)，系統(tǒng)的檢測(cè)精度為0.2 mm。相機(jī)選用德國(guó)Basler公司生產(chǎn)的acA3800-10gm-Baslerace黑白工業(yè)相機(jī)。

圖3 硬件系統(tǒng)實(shí)物

2 圖像預(yù)處理

2.1 圖像濾波

在圖像采集過程中，受成像傳感器材料屬性、工作環(huán)境、電子元器件和電路結(jié)果等影響，圖像必然帶有一定的噪聲。這些噪聲使得圖像退化失真，圖像特征與細(xì)節(jié)模糊，給后期的處理分析帶來較大的困難[5]。必須要使用濾波降噪算法來減少實(shí)際圖像和理想圖像之間的差值，降低噪聲對(duì)尺寸測(cè)量的負(fù)面影響。常用的濾波去噪算法有均值濾波、中值濾波、高斯濾波和雙邊濾波等。經(jīng)過試驗(yàn)比較，雙邊濾波不僅有良好的降噪能力，還有優(yōu)秀的保邊能力，不像其他濾波算法在降噪的同時(shí)，會(huì)在一定程度上模糊邊緣，破壞邊緣信息。使用雙邊濾波降噪的實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 雙邊濾波實(shí)驗(yàn)效果

2.2 Blob分析

Blob分析是對(duì)圖像中具有相同像素的連通域進(jìn)行分析的一種算法[6]，可以獲取連通域的個(gè)數(shù)、位置、形狀、面積、最小外接矩形等特征信息，適用于2D平面高對(duì)比度的視覺檢測(cè)。Blob分析的主要內(nèi)容有閾值分割、形態(tài)學(xué)處理、連通域分析和Blob特征提取等。在此系統(tǒng)中，Blob分析的目的在于獲得真空吸嘴區(qū)域的面積特征和其最小外接矩形特征，后續(xù)提取識(shí)別特征的檢測(cè)區(qū)域都將依托于最小外接矩形的長(zhǎng)、寬、角度和中心位置來計(jì)算。Blob分析結(jié)果如圖5所示。

圖5 Blob分析結(jié)果

3 特征提取

3.1 形狀特征提取

矩形度反映了物體與矩形相似的程度，體現(xiàn)在物體對(duì)其最小外接矩形的充滿度，是圖像處理中相當(dāng)重要的概念之一。設(shè)物體的面積為S0，其最小外接矩形的面積為SMER，R為其矩形度，其數(shù)學(xué)表達(dá)式如下：

(1)

當(dāng)R=1時(shí)，物體形狀即為矩形；R越小，物體形狀越不規(guī)律，與矩形的差距越大，圓形物體的R約為0.785。設(shè)定矩形度閾值TR來識(shí)別矩形和圓形：

(2)

對(duì)于外輪廓的形狀識(shí)別，其面積等于真空吸嘴區(qū)域面積與內(nèi)輪廓區(qū)域面積之和，其最小外接矩形與真空吸嘴區(qū)域相同，因此計(jì)算外輪廓的R值還需要獲取內(nèi)輪廓區(qū)域面積。對(duì)于內(nèi)輪廓的形狀識(shí)別，首先要在濾波圖像上剪裁出內(nèi)輪廓圖像，剪裁區(qū)域的中心、角度與外輪廓最小外接矩形相同，寬、高則為外輪廓的最小外接矩形的1/2；然后對(duì)裁剪圖像進(jìn)行Blob分析；最后獲得內(nèi)輪廓區(qū)域面積及其最小外接矩形。真空吸嘴形狀特征提取算法流程如圖6所示。

圖6 真空吸嘴形狀特征提取的算法流程

設(shè)定TR的初始值為0.95，提取不同形狀的真空吸嘴形狀特征，實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 形狀特征提取的實(shí)驗(yàn)結(jié)果

3.2 尺寸特征提取

基于一維像素序列灰度躍變的邊緣點(diǎn)檢測(cè)是一種簡(jiǎn)單穩(wěn)定的尺寸測(cè)量方法[7]。其原理就是設(shè)置若干個(gè)具有方向的矩形搜索區(qū)域，將搜索區(qū)域內(nèi)的圖像沿搜索方向的垂直方向投影為一維像素序列，利用圖像的一階導(dǎo)數(shù)來計(jì)算邊緣、二階導(dǎo)數(shù)來測(cè)量每個(gè)邊緣的銳利程度和極性，極性的正負(fù)可以用來判斷邊緣點(diǎn)是由暗到亮，或者是由亮到暗。此外二級(jí)導(dǎo)數(shù)還可以確定邊緣的中心位置，獲得精度更高的亞像素邊緣點(diǎn)[7]。邊緣點(diǎn)檢測(cè)原理如圖8所示。

圖8 基于一維像素序列灰度躍變的邊緣點(diǎn)檢測(cè)原理

在此系統(tǒng)中, 真空吸嘴尺寸的測(cè)量方法大致可分為以下兩種：

(1)對(duì)于圓形輪廓的尺寸測(cè)量，需要構(gòu)建一個(gè)與被測(cè)圓十分接近的期望圓，在期望圓的圓弧上設(shè)置若干個(gè)均勻分布的矩形搜索區(qū)域，搜索方向?yàn)檠匕霃街赶驁A心或是由圓心沿半徑向外。利用最小二乘算法將檢測(cè)到的邊緣點(diǎn)集來進(jìn)行圓擬合，擬合圓即為被測(cè)圓，圓尺寸測(cè)量原理如圖9(a)所示。在此系統(tǒng)中，期望圓的圓心(REC,CEC)和直徑DEC均可通過被測(cè)輪廓的最小外接矩形來進(jìn)行初始設(shè)置：

圖9 尺寸測(cè)量原理

(3)

式中：RMER、CMER、WMER分別為被測(cè)輪廓的最小外接矩形中心行、列坐標(biāo)和寬度。被測(cè)輪廓的期望圓圓弧上設(shè)置10個(gè)寬20、高5的矩形搜索區(qū)域，搜索方向沿半徑指向圓心。外輪廓測(cè)量的邊緣點(diǎn)極性設(shè)置為由亮到暗，內(nèi)輪廓設(shè)置為由暗到亮。

(2)對(duì)于矩形輪廓的尺寸測(cè)量，僅需設(shè)置一個(gè)矩形搜索區(qū)域，在搜索方向上檢測(cè)極性為一正一負(fù)的兩個(gè)邊緣點(diǎn)，兩個(gè)邊緣點(diǎn)的間距即為被測(cè)尺寸，稱該矩形搜索區(qū)域?yàn)闇y(cè)量矩形。矩形尺寸測(cè)量原理如圖9(b)所示。在此系統(tǒng)中，測(cè)量矩形輪廓需要?jiǎng)?chuàng)建寬度測(cè)量矩形MR1和高度測(cè)量矩形MR2，兩個(gè)測(cè)量矩形的中心(RMR1,MR2,CMR1,MR2)、寬度WMR1,MR2和高度HMR1,MR2同樣參考被測(cè)輪廓的最小外接矩形來初始設(shè)置：

(4)

式中：A、B為常量值。此系統(tǒng)中A、B的初始值均設(shè)置為20。兩個(gè)測(cè)量矩形的搜索方向φMR1,MR2為

(5)

式中：φMER為被測(cè)輪廓最小外接矩形主軸相對(duì)于水平軸的弧度。外輪廓的兩個(gè)測(cè)量矩形的第一個(gè)邊緣點(diǎn)極性設(shè)置為由亮到暗，第二個(gè)邊緣點(diǎn)極性設(shè)置為由暗到亮，而內(nèi)輪廓測(cè)量矩形的極性設(shè)置與外輪廓相反。

根據(jù)真空吸嘴的形狀來選取相應(yīng)的尺寸測(cè)量方法，真空吸嘴尺寸特征提取算法的流程如圖10所示。對(duì)外圓內(nèi)圓、外方內(nèi)方和外方內(nèi)圓3種真空吸嘴進(jìn)行尺寸特征提取實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖11所示，其中Wouter、Houter為外輪廓的寬、高，Winner、Hinner為內(nèi)輪廓的寬、高尺寸。

圖10 真空吸嘴尺寸特征提取的算法流程

圖11 尺寸特征提取的實(shí)驗(yàn)結(jié)果

3.3 顏色特征提取

此系統(tǒng)的CMOS相機(jī)采集的是單通道圖像，因而無法使用基于RGB、HSV等顏色空間的顏色識(shí)別算法。但通過對(duì)真空吸嘴顏色特征分析發(fā)現(xiàn)，當(dāng)背光亮度較強(qiáng)時(shí)，不同顏色的真空吸嘴的灰度值相差較大，從圖像上看就是乳色真空吸嘴區(qū)域最亮，黑色真空吸嘴最暗，白色真空吸嘴在二者之間。因此考慮采用計(jì)算灰度平均值的方法去識(shí)別這3種顏色?；叶绕骄底鳛閳D像處理中重要的概念之一，反映了圖像的亮度，值越大說明圖像亮度越大，反之越小，其數(shù)學(xué)表達(dá)式如下：

(6)

此系統(tǒng)中光源控制器可調(diào)節(jié)0～255級(jí)范圍的亮度。在上述形狀和尺寸特征提取中，亮度為65級(jí)，3種顏色的真空吸嘴如圖12所示，可以看出：在65級(jí)亮度下，3個(gè)真空吸嘴的灰度值差異并不明顯。

圖12 65級(jí)亮度下三種顏色的真空吸嘴

為了尋找合適的背光亮度和灰度閾值，本文作者設(shè)計(jì)一個(gè)實(shí)驗(yàn)：

(1)采集65級(jí)亮度下3種顏色的真空吸嘴圖像，對(duì)其進(jìn)行Blob分析，獲取其最小外接矩形特征。

(2)調(diào)整背光源亮度，采集每一級(jí)亮度下的3種真空吸嘴圖像，共計(jì)255張圖像。

(3)在這255張圖像上，計(jì)算最小外接矩形區(qū)域內(nèi)圖像的灰度平均值。

(4)生成灰度平均值與亮度的變化關(guān)系曲線，如圖13所示。

圖13 灰度平均值隨亮度變化曲線

從圖13可以明顯看出：在90～105級(jí)亮度時(shí)，3種顏色的真空吸嘴的灰度平均值均處于增長(zhǎng)區(qū)間，黑色真空吸嘴灰度平均值約在100，白色真空吸嘴在200上下，而乳色真空吸嘴超過240，且相差較大。因此，選擇100級(jí)亮度作為識(shí)別真空吸嘴顏色的背光亮度，在該級(jí)亮度下，設(shè)定灰度平均值閾值識(shí)別真空吸嘴顏色。

(7)

式中：TC-W為識(shí)別乳色與白色真空吸嘴的灰度平均值閾值，初始值設(shè)為210；TW-B為識(shí)別白色與黑色真空吸嘴的灰度平均值閾值，初始值設(shè)置為150。真空吸嘴顏色識(shí)別的算法流程如圖14所示。

圖14 真空吸嘴顏色特征提取的算法流程

對(duì)真空吸嘴進(jìn)行顏色特征提取實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖15所示?？梢钥闯觯涸?00級(jí)背光亮度下，3種顏色的真空吸嘴灰度值差異明顯，乳色真空吸嘴更是與背景相融。

圖15 顏色特征提取的實(shí)驗(yàn)結(jié)果

4 標(biāo)定與實(shí)驗(yàn)測(cè)試分析

4.1 系統(tǒng)標(biāo)定

在真空吸嘴的尺寸特征提取中，獲得的都是像素尺寸，因而需要通過標(biāo)定將像素尺寸轉(zhuǎn)換為實(shí)際尺寸。相機(jī)的標(biāo)定是保證測(cè)量系統(tǒng)精度的基石，求取圖像坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換關(guān)系[8]，將圖像上的點(diǎn)與現(xiàn)實(shí)世界中的實(shí)際點(diǎn)一一對(duì)應(yīng)。計(jì)算像素當(dāng)量是機(jī)器視覺測(cè)量領(lǐng)域中最為常用的標(biāo)定方法，其中像素當(dāng)量就是單位像素所代表的實(shí)際距離。計(jì)算過程就是利用一個(gè)已知物理尺寸為l的標(biāo)準(zhǔn)件，通過圖像處理測(cè)量其像素尺寸n，由下式計(jì)算出像素當(dāng)量d：

d=l/n

(8)

此系統(tǒng)主要任務(wù)是識(shí)別真空吸嘴，對(duì)真空吸嘴的測(cè)量精度要求不高，并且選用的遠(yuǎn)心鏡頭畸變小，選用計(jì)算像素當(dāng)量的標(biāo)定方法最為合適。在檢測(cè)區(qū)域放置規(guī)格為7×7-2.5-1.25-10的圓點(diǎn)標(biāo)定板，使用圓尺寸測(cè)量方法測(cè)量其中一個(gè)圓點(diǎn)的直徑，測(cè)量出像素尺寸為134.763 pixel，如圖16所示，由此像素當(dāng)量d為

圖16 標(biāo)定結(jié)果

d=l/n=0.185 511

(9)

4.2 實(shí)驗(yàn)測(cè)試分析

首先將29種型號(hào)已知的真空吸嘴錄入到真空吸嘴數(shù)據(jù)庫中，特征信息如表1所示；然后識(shí)別時(shí)，將獲取到的真空吸嘴的特征參數(shù)與數(shù)據(jù)庫中已錄入的數(shù)據(jù)進(jìn)行比對(duì)；最后顯示出查找到的真空吸嘴的型號(hào)。實(shí)驗(yàn)設(shè)置為3組，每組29個(gè)真空吸嘴(每種真空吸嘴各一個(gè))，共計(jì)87個(gè)[9]。實(shí)驗(yàn)結(jié)果如表2所示。

表1 真空吸嘴數(shù)據(jù)庫

從表2可以看出:除了有一個(gè)真空吸嘴無法識(shí)別，其他真空吸嘴都能正確分類，并且未出現(xiàn)誤判的情況，真空吸嘴總體識(shí)別正確率達(dá)到了98.85%。未能識(shí)別出的真空吸嘴是23號(hào)，對(duì)其展開分析發(fā)現(xiàn)，該真空吸嘴顏色被錯(cuò)誤地識(shí)別為白色。查看該真空吸嘴的灰度平均值為164.392，對(duì)該真空吸嘴反復(fù)測(cè)試發(fā)現(xiàn)，其灰度平均值在148.685～165.937內(nèi)波動(dòng)，略微超過了黑色真空吸嘴的灰度平均值的上限150。重新設(shè)置黑、白色真空吸嘴灰度平均值的閾值為170，重復(fù)試驗(yàn)，全部都可以正確分類。系統(tǒng)軟件如圖17所示。

表2 實(shí)驗(yàn)結(jié)果

圖17 系統(tǒng)軟件

5 結(jié)束語

針對(duì)半導(dǎo)體封裝過程中芯片真空吸嘴無法識(shí)別分類的問題，開發(fā)了基于OpenCV以及Qt平臺(tái)的用于半導(dǎo)體芯片封裝的真空吸嘴識(shí)別系統(tǒng)。提出了基于矩形度識(shí)別真空吸嘴形狀的方法、基于灰度平均值識(shí)別真空吸嘴顏色方法以及基于一維像素序列灰度躍變的邊緣點(diǎn)檢測(cè)的尺寸測(cè)量方法；通過構(gòu)建真空吸嘴數(shù)據(jù)庫，將待測(cè)真空吸嘴的特征信息與數(shù)據(jù)庫中的標(biāo)準(zhǔn)特征進(jìn)行比對(duì)，實(shí)現(xiàn)了真空吸嘴的分類。實(shí)驗(yàn)結(jié)果表明：該系統(tǒng)的識(shí)別正確率高達(dá)98.85%，準(zhǔn)確率明顯優(yōu)于人眼識(shí)別，可為芯片真空吸嘴的分類管理提供有效途徑。