芯片鍵合設(shè)備圖像識別模塊的研究與設(shè)計(jì)

高 岳，楊 帆，齊昊姝，戴 豪

(中國電子科技集團(tuán)公司第四十五研究所，北京 100176)

圖像識別模塊在全自動芯片鍵合機(jī)系統(tǒng)軟件中的開發(fā)十分重要,為芯片鍵合工藝提供檢測、定位等。圖像識別中定位精度是芯片鍵合總體精度的重要組成部分，其在總體鍵合時(shí)間中占很大比例，圖像采集和處理的速度對設(shè)備的整體效率有很大影響。芯片鍵合設(shè)備要做到效率高穩(wěn)定性好就離不開一個(gè)好的視覺系統(tǒng)，而一個(gè)好的視覺系統(tǒng)最重要的就是要有一個(gè)簡潔高效的圖像識別算法。

1 圖像識別模塊的硬件組成

根據(jù)封裝工藝需求，芯片鍵合設(shè)備上需要2組攝像裝置，分別檢測不同的位置。而且每個(gè)攝像機(jī)從采集到得到處理結(jié)果有嚴(yán)格的時(shí)間要求。芯片臺配有芯片預(yù)先識別功能。本模塊不但需要精確定位，而且需要處理芯片上的劃痕、崩邊等內(nèi)容。對有缺陷的芯片加以剔除，對合格的芯片要進(jìn)行對準(zhǔn)，以保證芯片拾放和粘接的精度，同時(shí)芯片缺陷檢測是一個(gè)很重要的功能，是影響產(chǎn)品良品率的重要因素，芯片的缺陷類型有崩角、崩邊和連體等，要求視覺系統(tǒng)能夠準(zhǔn)確識別判斷。同時(shí)圖像識別模塊可以把采集到圖像信息反饋給運(yùn)動模塊，這樣就可以根據(jù)反饋信息隨時(shí)進(jìn)行控制參數(shù)的調(diào)整。通過圖像識別模塊與運(yùn)動控制模塊之間的聯(lián)系，設(shè)計(jì)出了圖像識別模塊的系統(tǒng)結(jié)構(gòu)圖，如圖1所示。

圖1 圖像識別模塊結(jié)構(gòu)

芯片鍵合設(shè)備是一個(gè)復(fù)雜且多元的系統(tǒng)，包含運(yùn)動控制、圖像識別、人機(jī)界面等以及隨時(shí)可更改的工藝流程等諸多環(huán)節(jié)，如果對每一個(gè)模塊采用嵌入式系統(tǒng)，不僅開發(fā)難度大，時(shí)間長，且不便于統(tǒng)一開發(fā)維護(hù)工作。因此在控制系統(tǒng)和人機(jī)界面等都使用了上位機(jī)（工控機(jī)）＋下位單元的模式。圖像識別模塊也采用這種模式，將圖像采集交由工控機(jī)處理。工控機(jī)是各種控制的核心，圖像的分析在工控機(jī)完成，分析結(jié)束后工控機(jī)可以做出相關(guān)判斷并進(jìn)行操作。這樣的結(jié)構(gòu)，在工控機(jī)中集成了所有的控制核心單元，各個(gè)受控部分共享信息，方便做出統(tǒng)一的指令。

此外，如圖2所示，由于芯片鍵合機(jī)自身需要，在圖像識別模塊中，采用了兩個(gè)攝像機(jī)分別采集各自圖像。由于工藝流程的影響，在流程中采用了異步觸發(fā)的方式。兩個(gè)攝像頭連接到同一塊圖像采集卡，采集卡采集的圖像分別傳輸?shù)缴衔粰C(jī)進(jìn)行存儲并進(jìn)行分別的處理，處理結(jié)果成為下一步流程的依據(jù)。

圖2 圖像識別單元的硬件組成

2 圖像識別問題分析

在芯片鍵合設(shè)備進(jìn)行圖像識別的過程中，光照是影響目標(biāo)識別準(zhǔn)確度的一個(gè)重要因素，其次是照明單元提供的光照系統(tǒng)隨著時(shí)間的加長發(fā)生顏色以及亮度上的偏移，這也會對圖像造成影響。攝像頭放置的方位同樣會對圖像識別造成影響，因?yàn)閿z像頭的軸心線理論上應(yīng)當(dāng)與芯片所在平面的法線相平行，實(shí)際上攝像頭安裝后，必然會存在偏差，同時(shí)如果攝像頭在安裝后因?yàn)槭褂玫仍颍休p微的偏斜，都會對圖像識別率造成致命影響，在實(shí)際的生產(chǎn)線中，為每一臺設(shè)備單獨(dú)定制識別模版，包括由于微小的攝像頭偏差，就要更改整個(gè)模版庫里的所有模版，都是不現(xiàn)實(shí)的。因此圖像識別單元需要有良好的抵抗仿射變換的能力。

污損或殘缺也是芯片上經(jīng)常發(fā)生的情況。這些問題將會使部分目標(biāo)被遮擋，因此在機(jī)器視覺影像上呈現(xiàn)的將是目標(biāo)形狀的改變。因此圖像識別單元需要對污損或殘缺的目標(biāo)也有一定的識別能力。

3 圖像識別模塊運(yùn)行流程設(shè)計(jì)

通過上述分析以及實(shí)際驗(yàn)證，設(shè)計(jì)出圖像識別模塊運(yùn)行流程圖，如圖3所示。其中圖像識別模塊通過CCD工業(yè)相機(jī)采集需要識別芯片的圖像，如采集失敗進(jìn)行報(bào)警提示，如果圖像采集成功則開始創(chuàng)建圖像模板并進(jìn)行模板參數(shù)的設(shè)置，模板參數(shù)設(shè)置完畢便打開圖像識別功能將接收到的圖像進(jìn)行模板識別，然后通過圖像識別處理得出識別結(jié)果，最終將圖像識別信息上傳到運(yùn)動控制模塊和人機(jī)交互界面中，操作人員直觀的看到圖像識別結(jié)果。

圖3 圖像識別模塊運(yùn)行流程

4 圖像識別算法的研究

如問題分析所述，芯片鍵合設(shè)備上圖像識別模塊需要能夠?qū)庹?、仿射、污損以及各種不同的圖形都有較好的識別精確率。特征識別是圖像識別中常用的辦法，David Lowe提出了SIFT算法后，到了2004年，SIFT算法已經(jīng)有了完善的理論體系，同時(shí)對仿射變換、光照以及污損有非常良好的抵御能力。本文對于特征點(diǎn)的識別采用了Harris角點(diǎn)算法，這種算法能夠方便且有效地提取目標(biāo)信息。同時(shí)，采用了Ransac算法，對目標(biāo)信息與模版信息進(jìn)行匹配，從而達(dá)到識別的效果。

4.1 算法分析設(shè)計(jì)

尺度不變特征轉(zhuǎn)換 (Scale-invariant feature transform，縮寫SIFT)是目前圖像理論中用于檢測以及描述圖像局部特征非常高效的算法，它基于特征點(diǎn)，在空間尺度中尋找極值點(diǎn)，生成SIFT算子，SIFT算子具有對位置、尺度、旋轉(zhuǎn)不敏感的特點(diǎn)。高斯模糊是SIFT算法的第一步，為了實(shí)現(xiàn)SIFT算子不受尺度空間的影響，高斯模糊以及高斯金字塔被用在了該算法中，高斯卷積核是實(shí)現(xiàn)尺度空間變換的唯一變換核。

4.1.1 二維高斯函數(shù)

為了達(dá)到使圖像模糊的目的，應(yīng)用高斯模糊來完成。高斯模糊是一種圖像濾波器，它使用正態(tài)分布（高斯函數(shù)）計(jì)算模糊模板，通過該模板與原圖像做卷積運(yùn)算，得到模糊圖像。

例如二維模板大小為m×n，則模板上的元素(x，y)對應(yīng)的高斯計(jì)算公式如式(1)：

二維高斯模糊函數(shù)圖像，如圖4所示，是一個(gè)成正態(tài)分布的同心圓，是由上述公式計(jì)算而來。通過在二維空間中將分布不為零的卷積矩陣和原始圖像進(jìn)行變換，如此可得出變換的像素值即為相鄰像素值的加權(quán)平均值，由于原始的像素有最大的權(quán)重，所以相鄰像素離原始像素越遠(yuǎn)其權(quán)重就越小。因此應(yīng)用二維高斯模糊函數(shù)進(jìn)行模糊處理可以使模糊效果更好且能夠更好地保留邊緣效果。

圖4 二維高斯模糊函數(shù)圖像

4.1.2 Harris角點(diǎn)生成特征點(diǎn)

在經(jīng)典SIFT算法中，需要建立高斯差分金字塔以及DOG空間局部極值點(diǎn)組成特征點(diǎn)空間進(jìn)行運(yùn)算，然而我們在前文可以使用Harris角點(diǎn)檢測算法來替代DOG空間局部極值點(diǎn)。SIFT算法中，為了達(dá)到尺度放縮變換，需要建立高斯金字塔，而高斯金字塔的層數(shù)直接影響了匹配的精度又因?yàn)楦咚菇鹱炙慕⑹窍喈?dāng)費(fèi)時(shí)的，因此我們采用Harris角點(diǎn)來產(chǎn)生特征點(diǎn)。

4.1.3 SIFT描述子對特征進(jìn)行描述

確定Harris角點(diǎn)產(chǎn)生特征點(diǎn)，通過SIFT描述子對Harris角點(diǎn)來產(chǎn)生特征點(diǎn)進(jìn)行描述，在進(jìn)行匹配時(shí)將特征點(diǎn)梯度的主方向作為匹配最為重要的參考，最終的匹配程度需要看主方向的偏差值，偏差值越大匹配度越小，如果主方向的偏差值太大可以直接導(dǎo)致匹配失敗。因此，我們在計(jì)算時(shí)采取高斯模糊進(jìn)行圖像模糊。然后在方向確定后采用36柱或者72柱進(jìn)行直方圖投票。最后經(jīng)過直方圖投票可以確定直方圖，我們可以參照SIFT算法使用的辦法，使用Taylor展開式進(jìn)行擬合，定位實(shí)際的主方向角度。

在實(shí)際表征時(shí)，很多情況下，我們不得已會為了計(jì)算速度而降低描述子的維度。然而程序的魯棒性也會因此而變差。因此我們繼續(xù)采用經(jīng)典SIFT算法中的128維進(jìn)行特征點(diǎn)描述，稱之為SIFT描述子。通過規(guī)范化描述子向量，即可巧妙去除光照產(chǎn)生的影響。

4.2 Ransac算法

有了SIFT描述子，最后一步就是根據(jù)被識別目標(biāo)的SIFT描述子與模版上的SIFT描述子進(jìn)行匹配，我們采用了Random Sample Consensus（Ransac）算法。

Ransac算法是根據(jù)一組包含異常數(shù)據(jù)的樣本數(shù)據(jù)集，計(jì)算出數(shù)據(jù)的數(shù)學(xué)模型參數(shù)，得到有效樣本數(shù)據(jù)的算法。實(shí)際上是一種基于反復(fù)測試的迭代過程，在迭代過程中，不斷剔除誤差點(diǎn)，最后得到符合模型點(diǎn)集的辦法。

Ransac算法的原理是根據(jù)目前的具體問題來設(shè)計(jì)目標(biāo)函數(shù)，然后通過反復(fù)計(jì)算找出最小點(diǎn)集，接著通過最小點(diǎn)集找出初始值，其次通過找出的初始值把相關(guān)的所有樣本數(shù)據(jù)進(jìn)行分類，將其分為“內(nèi)點(diǎn)”與“外點(diǎn)”，最后將所有“內(nèi)點(diǎn)”重新估算模型。通過不斷的迭代，就可以得到最終的模型。

在圖像識別時(shí)，我們通過計(jì)算被識別目標(biāo)的SIFT描述子與模版SIFT描述子之間的方差，定義為目標(biāo)函數(shù)，通過不斷的剔除噪聲特征點(diǎn)，來達(dá)到矯正模型的過程，這樣一些由于污漬或者像素問題產(chǎn)生的誤差點(diǎn)就會被剔除掉，最終產(chǎn)生實(shí)際的匹配相關(guān)度。

4.3 圖像識別效果

由于芯片品種的千差萬別，規(guī)格的不一致，對圖像識別、自動對準(zhǔn)技術(shù)提出了很高的要求，對準(zhǔn)技術(shù)直接影響到芯片鍵合的精度，圖像識別的速度又直接影響到整機(jī)的效率。通過Harris角點(diǎn)來產(chǎn)生特征點(diǎn)，由SIFT描述子對特征進(jìn)行描述，Ransac算法在迭代過程中，不斷剔除誤差點(diǎn)，最后得到符合模型的點(diǎn)集。這樣圖像識別的效率與準(zhǔn)確率有很大提高。

下圖為通過本算法識別的芯片，從圖中可以清楚地看出圖中紅框內(nèi)為識別出來的芯片。通過對圖像識別與分析，將圖像識別的信息傳遞給運(yùn)動控制模塊，可以使鍵合頭準(zhǔn)確將芯片拾取，圖像識別效果如圖5所示。

圖5 圖像識別效果

5 結(jié) 論

本文首先對圖像識別模塊進(jìn)行分析，設(shè)計(jì)了圖像識別模塊運(yùn)行流程圖。然后采用基于Harris角點(diǎn)的SIFT匹配方法，最后通過Ransac算法反復(fù)測試的迭代過程，不斷的剔除噪聲特征點(diǎn)，來達(dá)到矯正模型的目的，這樣一些由于污漬或者像素問題產(chǎn)生的誤差點(diǎn)就會被剔除掉，最終產(chǎn)生實(shí)際的匹配相關(guān)度。此方法能夠很好的彌補(bǔ)灰度識別算法的不足?；趫D像特征的匹配方法利用圖像的物理形狀特征進(jìn)行圖像匹配。該匹配方法處理的圖像像素較少，所以算法的復(fù)雜度較小，計(jì)算時(shí)間短、效率高。此外該方法的魯棒性好，抗干擾性強(qiáng)，尤其適用于不同光照環(huán)境的生產(chǎn)線。