基于視覺伺服的LED芯片形狀匹配算法研究

李德龍，龔時(shí)華，王子悅，鹿懷慶

華中科技大學(xué) 機(jī)械科學(xué)與工程學(xué)院，武漢 430074

1 引言

隨著LED產(chǎn)能需求的不斷擴(kuò)大，LED關(guān)鍵設(shè)備的研發(fā)和改進(jìn)越來(lái)越重要。芯片的定位是進(jìn)行芯片檢測(cè)、擴(kuò)晶、貼片等必不可少的關(guān)鍵環(huán)節(jié)[1]。隨著芯片尺寸的不斷減小、裝備效率的不斷提高，特別是由于運(yùn)動(dòng)平臺(tái)在高加速度下的頻繁啟停，造成硅片、Wafer膜的變形，導(dǎo)致芯片定位與對(duì)準(zhǔn)產(chǎn)生較大誤差，嚴(yán)重影響了LED芯片檢測(cè)、分選裝備定位精度與效率。

視覺伺服（visual servoing）首先是由Hill和Par提出的，其主要涉及計(jì)算機(jī)視覺、圖像處理、控制理論、實(shí)時(shí)計(jì)算等在內(nèi)的多個(gè)相關(guān)領(lǐng)域[2]。

文獻(xiàn)[3]采用的是沒有視覺反饋的運(yùn)動(dòng)補(bǔ)償，僅進(jìn)行一次全幅的精匹配來(lái)實(shí)現(xiàn)精確定位。然而平臺(tái)在高速啟停下會(huì)產(chǎn)生振動(dòng)，以及受到摩擦力等干擾，會(huì)造成定位誤差。

文獻(xiàn)[4]為了提高模板匹配的跟蹤性能，提出基于梯度搜索的圓模板匹配方法，采用灰度匹配值和差分匹配值來(lái)共同設(shè)定匹配值。但處理時(shí)間不能滿足視覺伺服系統(tǒng)的要求。文獻(xiàn)[5]針對(duì)汽車牌照的識(shí)別，提出把彩色圖像變?yōu)槎M(jìn)制圖像，通過(guò)設(shè)定像素?cái)?shù)，去除小于像素?cái)?shù)的區(qū)域，從而保留字符區(qū)域，減少待檢測(cè)區(qū)域。并不適合LED芯片的識(shí)別。

本文一方面對(duì)傳統(tǒng)形狀匹配算法進(jìn)行了優(yōu)化，提高了LED芯片識(shí)別定位的速度。另一方面，提出了多級(jí)補(bǔ)償策略：第一級(jí)為快速識(shí)別并完成一個(gè)芯片間距的移動(dòng)；第二級(jí)為通過(guò)視覺反饋補(bǔ)償，完成芯片的精確定位。在視覺伺服系統(tǒng)的基礎(chǔ)上，增加了定位補(bǔ)償和一次快速粗匹配，同時(shí)精匹配從全局優(yōu)化為特定區(qū)域的匹配，有效地減少了時(shí)間。

2 視覺伺服系統(tǒng)簡(jiǎn)介

本文基于的視覺伺服系統(tǒng)由圖像采集系統(tǒng)、圖像處理系統(tǒng)和運(yùn)動(dòng)控制系統(tǒng)組成，構(gòu)成基于視覺反饋的運(yùn)動(dòng)控制系統(tǒng)，實(shí)現(xiàn)平臺(tái)在運(yùn)動(dòng)過(guò)程中的快速識(shí)別與精確定位。為實(shí)現(xiàn)該目的，流程圖見圖1并采用以下步驟：

（1）圖像預(yù)處理：采用自適應(yīng)中值濾波算法，消除圖像噪聲的干擾[6]；采用雙線性差值算法，消除因?yàn)殓R頭安裝誤差導(dǎo)致的圖像畸變的影響。

（2）提取模板區(qū)域：通過(guò)鼠標(biāo)選取一個(gè)區(qū)域作為模板區(qū)域，采用閾值分割，得到去掉邊緣噪聲的模板。

（3）快速識(shí)別：在運(yùn)動(dòng)前進(jìn)行形狀匹配的粗識(shí)別，快速得到了wafer膜上所有芯片的坐標(biāo)信息，為運(yùn)動(dòng)控制提供運(yùn)動(dòng)數(shù)據(jù)，并儲(chǔ)存在內(nèi)存中。

圖1 視覺伺服流程圖

（4）驅(qū)動(dòng)電機(jī)移動(dòng)wafer盤到達(dá)相應(yīng)的位置。

（5）精匹配：基于粗匹配的數(shù)據(jù)，對(duì)當(dāng)前鏡頭中心八鄰域內(nèi)的芯片進(jìn)行精匹配，得到單個(gè)芯片的準(zhǔn)確坐標(biāo)和姿態(tài)信息，誤差為鏡頭中心與芯片中心的距離。

（6）將誤差與設(shè)定的定位精度進(jìn)行比較，若滿足要求，則說(shuō)明當(dāng)前電機(jī)成功移動(dòng)到了目標(biāo)位置；若不滿足要求，則說(shuō)明并未移動(dòng)到目標(biāo)位置，因此進(jìn)行運(yùn)動(dòng)補(bǔ)償，直到滿足定位要求[7]。

（7）對(duì)下一顆芯片進(jìn)行定位：調(diào)用內(nèi)存中的粗識(shí)別數(shù)據(jù)，循環(huán)（4）～（6）的過(guò)程，直到完成所有芯片的定位。

傳統(tǒng)的定位是進(jìn)行一次精匹配，缺少運(yùn)動(dòng)補(bǔ)償?shù)倪^(guò)程，因此定位精度較低。相比之下，采用上述過(guò)程，通過(guò)粗識(shí)別得到芯片的理論位置，通過(guò)視覺反饋得到芯片的實(shí)際位置，通過(guò)偏差計(jì)算實(shí)時(shí)得到芯片定位補(bǔ)償值，由運(yùn)動(dòng)控制系統(tǒng)對(duì)偏差進(jìn)行實(shí)時(shí)補(bǔ)償，因此提高了芯片定位與對(duì)準(zhǔn)的精度，同時(shí)可以克服運(yùn)動(dòng)平臺(tái)在高加速度下頻繁啟停帶來(lái)的誤差影響[8]。

3 提取LED芯片的模板區(qū)域

拍照獲取一幅LED芯片圖像，通過(guò)肉眼觀察，從多個(gè)芯片中選擇一個(gè)無(wú)缺陷，沒有大幅度旋轉(zhuǎn)的芯片，用鼠標(biāo)選擇該芯片區(qū)域。并分析該模板區(qū)域的灰度直方圖，由圖2可知，芯片和背景對(duì)比明顯，可以選擇兩峰之間的波谷對(duì)應(yīng)的像素值作為全局閾值，將圖像分割為目標(biāo)對(duì)象和背景。其公式如下：

圖2 模板區(qū)域提取前后的灰度直方圖

其中 f(x,y)為原圖像點(diǎn)的像素值，g(x,y)為分割后的圖像對(duì)應(yīng)點(diǎn)的像素值，T為全局閾值。通過(guò)全局閾值分割得到最終模板，如圖3所示，有效去除了背景和噪聲。

圖3 模板區(qū)域提取前后的示意圖

4 快速識(shí)別

傳統(tǒng)的模板匹配針對(duì)的是單目標(biāo)定位，通過(guò)找出模板在圖像中的最佳匹配位姿得到圖像中目標(biāo)的位姿信息。然而一幅LED芯片圖像中有多個(gè)芯片，屬于多目標(biāo)定位，直接用傳統(tǒng)的模板匹配會(huì)出現(xiàn)定位錯(cuò)誤，以及處理時(shí)間過(guò)長(zhǎng)等問(wèn)題。因此，本文先進(jìn)行快速分割等操作，把多目標(biāo)的模板匹配轉(zhuǎn)化為單目標(biāo)的模板匹配，再進(jìn)行先粗后精的匹配。

4.1 減少搜索面積

將芯片與背景進(jìn)行分割，并刪除小面積不完整區(qū)域以減少搜索面積，步驟如下：

（1）采用Otsu算法進(jìn)行圖像分割，相比于其他的分割算法，它更適合處理目標(biāo)和背景處于不同灰度級(jí)范圍的圖像[9]，通過(guò)分析圖2（a）的灰度直方圖可知，本圖的背景和目標(biāo)芯片在灰度上有較大差別，因此采用Otsu算法有更好的分割效果。

（2）采用Blob算法和開運(yùn)算等形態(tài)學(xué)操作，填充芯片中的孔洞，并把不完整的芯片過(guò)濾掉，最終得到原圖像的分割數(shù)據(jù)。如圖4所示。

圖4 減少搜索面積

4.2 減少搜索角度

在圖4（b）的基礎(chǔ)上，計(jì)算該圖像中每顆芯片的外接矩形，得到該視野640×480像素下每顆芯片的偏離角度。

通過(guò)對(duì)同一組LED芯片偏離角度θ進(jìn)行分析，采用Jarque-Bera檢驗(yàn)，驗(yàn)證其符合正態(tài)分布?？紤]到正態(tài)分布在(μ-3σ,μ+3σ)以外的取值概率不到0.3%的特性，因此，本文先計(jì)算出μ和σ，并采用正態(tài)分布3σ準(zhǔn)則確定搜索角度范圍：(μ-3σ,μ+3σ)。

傳統(tǒng)的方法是對(duì)每一個(gè)芯片均需在[-10°,10°]多次搜索來(lái)進(jìn)行匹配。本算法通過(guò)計(jì)算外接矩形，求出適合本組芯片的最優(yōu)角度偏離值，從而減少了搜索的角度。

具體過(guò)程如下：芯片的外接矩形有無(wú)數(shù)個(gè)，其中面積最小的定義為最小外接矩形[10]。通過(guò)計(jì)算芯片的最小外接矩形，可以確定其大致的長(zhǎng)、寬和角度。求得外接矩形的方法有投影法、旋轉(zhuǎn)法等[11]，本文采用的是主軸法。

假設(shè)經(jīng)過(guò)芯片形心的直線為：

分別做兩條平行于主軸的直線和垂直于主軸的直線，且與芯片相切于點(diǎn)ABCD：

因此得到矩形A1B1C1D1，計(jì)算對(duì)應(yīng)的矩形面積，如圖5所示。通過(guò)改變?chǔ)两嵌却_定最小面積，獲得最小外接矩形，從而計(jì)算出形心的坐標(biāo)(x,y)和θ。

圖5 外接矩形原理圖

4.3 對(duì)芯片區(qū)域進(jìn)行形狀匹配

基于形狀的模板匹配通過(guò)計(jì)算模板邊緣點(diǎn)與待匹配圖像（圖4（b））相應(yīng)點(diǎn)歸一化的方向向量的點(diǎn)積和，作為相似度量值[12]。

模板由一系列點(diǎn) p′i=(x′i,y′i)T，i=1,2,…,n 和對(duì)應(yīng)于每個(gè)點(diǎn)的一個(gè)歸一化的灰度梯度向量dˉ′i=(tˉ′,uˉ′)T構(gòu)成，其中 p′i定義為相對(duì)于模板中心的相對(duì)坐標(biāo)。

被搜索圖像中每個(gè)點(diǎn)(x,y)的歸一化的灰度梯度向量[13]：

其中，g(x,y)為被搜索圖像的灰度函數(shù)。

當(dāng)模板中心位于待匹配圖像g(x,y)上某一點(diǎn)q=(x,y)T時(shí)，模板與待匹配圖像進(jìn)行匹配。 eˉq+p′為待匹配圖像相應(yīng)處的歸一化灰度梯度向量[14]：

模板中心點(diǎn)在q點(diǎn)處與待匹配圖像的相似度定義為：

其中，n為模板邊緣點(diǎn)的個(gè)數(shù)。該相似度具有不受光照變化影響且不受遮擋的特性。該數(shù)值與模板中有多少部分在圖像中有關(guān)，如果物體有60%被遮擋，匹配分值不會(huì)超過(guò)0.6。

因此可以通過(guò)選擇一個(gè)匹配分值的閾值來(lái)決定什么時(shí)候找到了匹配目標(biāo)。假設(shè)相似度的閾值為smin。使用公式（9）計(jì)算相似度，定義sj表示累計(jì)到模板的第j個(gè)元素時(shí)歸一化點(diǎn)積的總和[15]：

模板中剩余n-j項(xiàng)的點(diǎn)積總和：

在計(jì)算過(guò)程中，當(dāng)滿足：

可判斷出當(dāng)前位置為非目標(biāo)位置，在第 j個(gè)元素后提前停止相似度的計(jì)算，從而提高了速度。

最后采用圖像金字塔的分層搜索策略，分為3層進(jìn)行，并使用3.2節(jié)得到的搜索角度，得到每個(gè)芯片的粗定位坐標(biāo)(x0,y0)。

5 精定位

將4.3節(jié)得到的粗坐標(biāo)(x0,y0)儲(chǔ)存在數(shù)組中，并根據(jù)該一系列坐標(biāo)，驅(qū)動(dòng)電機(jī)使每個(gè)芯片移動(dòng)到相機(jī)的中心，依次進(jìn)行拍攝，在(x0,y0)的八鄰域內(nèi)，使用公式（12）進(jìn)行匹配，得到每顆芯片中心的準(zhǔn)確坐標(biāo)(xi,yi)，計(jì)算得到偏離坐標(biāo)(Δx,Δy)，根據(jù)偏離坐標(biāo)再次驅(qū)動(dòng)電機(jī)進(jìn)行補(bǔ)償從而實(shí)現(xiàn)精確定位。

6 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)驗(yàn)證視覺伺服系統(tǒng)的多級(jí)補(bǔ)償?shù)挠行?，LED芯片搜索角度的優(yōu)化，以及識(shí)別率、識(shí)別時(shí)間的減少。

實(shí)驗(yàn)平臺(tái)如圖6所示，視覺系統(tǒng)選用了高性能工業(yè)相機(jī)，高倍率連續(xù)變焦鏡頭以及可控點(diǎn)光源與環(huán)形光源，運(yùn)動(dòng)部分則采用了高性能多軸控制器和交流伺服電機(jī)驅(qū)動(dòng)的二維定位平臺(tái)。

6.1 多級(jí)補(bǔ)償效果測(cè)試

對(duì)圖4（a）內(nèi)的25顆芯片定位進(jìn)行測(cè)試，計(jì)算得到補(bǔ)償前后的誤差值，如圖7所示，前10顆芯片的數(shù)據(jù)如表1、2所示。分析發(fā)現(xiàn)，補(bǔ)償后的誤差值在2 μm內(nèi)，定位效果明顯優(yōu)于補(bǔ)償前。

圖6 實(shí)驗(yàn)平臺(tái)圖

表1 測(cè)試補(bǔ)償結(jié)果（X坐標(biāo)） μm

表2 測(cè)試補(bǔ)償結(jié)果（Y坐標(biāo)） μm

圖7 補(bǔ)償前后

6.2 搜索角度測(cè)試

計(jì)算每個(gè)芯片的最小外接矩形，得到25顆芯片的角度偏離值，如圖8所示，其中角度最小值為0.117 1°，最大值為0.209 6°，使用Matlab中的jbtest（x，alpha）函數(shù)，計(jì)算得到h=0，表明接受假設(shè)，即滿足正態(tài)分布。因此求得μ=0.159 2,σ=0.027 8,μ-3σ=0.075 8,μ+3σ=0.242 6，將搜索范圍設(shè)為[0.075 8°，0.242 6°]，正態(tài)分布密度函數(shù)圖如圖9所示。相比較于本算法，傳統(tǒng)算法為了能夠匹配所有不同情況的芯片，需要把搜索范圍設(shè)為固定的[－10°，10°]，搜索角度明顯增大。

圖8 角度偏離值

6.3 形狀匹配的耗時(shí)測(cè)試

隨機(jī)采集5幅圖，并進(jìn)行粗識(shí)別階段的耗時(shí)測(cè)試，其中形狀匹配閾值均設(shè)置為0.7，結(jié)果如表3所示。與文獻(xiàn)[16]提出的算法進(jìn)行對(duì)比，該傳統(tǒng)算法是以局部梯度特征和局部邊緣方向作為主要特征，使用梯度方向直方圖（HOG）來(lái)確定初始位置和方向，第二步使用主方向模板（DOT）進(jìn)行匹配，從而精確地確定位置。其優(yōu)點(diǎn)是對(duì)變形有較好的魯棒性，然而該算法無(wú)法區(qū)分不完整芯片和正常芯片，因此加大了計(jì)算量。本算法平均每顆芯片耗時(shí)0.8 ms，文獻(xiàn)[16]平均每顆芯片耗時(shí)2.3 ms，相比之下，效率有了很大的提高。

圖9 正態(tài)分布圖

表3 耗時(shí)測(cè)試（MinScore=0.7） ms

同時(shí)分析形狀匹配閾值對(duì)實(shí)驗(yàn)結(jié)果的影響，如表3、4所示，MinScore設(shè)置得越大，搜索得就越快。結(jié)合實(shí)際生產(chǎn)過(guò)程中的經(jīng)驗(yàn)，當(dāng)MinScore>0.7會(huì)出現(xiàn)漏識(shí)別，MinScore<0.7會(huì)出現(xiàn)誤識(shí)別，因此把形狀匹配閾值設(shè)置為0.7最合適。

表4 不同形狀匹配閾值的測(cè)試

7 結(jié)束語(yǔ)

傳統(tǒng)的算法面向的是常見的對(duì)象，采用的是通用的模板匹配方法，具體到LED芯片，由于破損芯片和正常芯片有較高的相似性，傳統(tǒng)算法不能快速準(zhǔn)確地區(qū)分不完整的芯片，因此消耗大量的計(jì)算時(shí)間。本文提出了基于視覺伺服的多級(jí)補(bǔ)償策略，同時(shí)優(yōu)化了圖像算法：通過(guò)圖像分割，Blob算法去除破損的芯片，從而減少匹配搜索的面積；通過(guò)求取最小外接矩形，從而減少了匹配搜索的角度，最后，再進(jìn)行模版匹配。本算法減少了模板匹配的計(jì)算量，節(jié)約了時(shí)間，同時(shí)為了提高視覺伺服的定位精度，把全局的精匹配優(yōu)化為一次全局的粗匹配和特定區(qū)域的精匹配。

本文后續(xù)的研究方向之一是時(shí)延補(bǔ)償，由于圖像處理占用較多時(shí)間，可采用線性和非線性預(yù)測(cè)器相結(jié)合的特征軌跡跟蹤，滿足目標(biāo)跟蹤精度和穩(wěn)定性的要求。

[1]吳曉.面向LED芯片檢測(cè)與分選的機(jī)器視覺定位系統(tǒng)的開發(fā)[J].貴州大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，30（3）：93-103.

[2]李牧.機(jī)器人無(wú)標(biāo)定視覺伺服關(guān)鍵技術(shù)的研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2008.

[3]吳曉.基于圖案匹配LED芯片定位系統(tǒng)[J].半導(dǎo)體技術(shù)，2013，38（7）：556-559.

[4]Xia Junbo.Template matching algorithm based on gradient search[C]//International Conference on Mechatronics and Control（ICMC），2014：1472-1475.

[5]Goel S，Dabas S.Vehicle registration plate recognition system using template matching[C]//InternationalConference on SignalProcessing and Communication（ICSC），2013：315-318.

[6]楊卓東.改進(jìn)自適應(yīng)中值濾波的圖像去噪[J].通訊技術(shù)，2015，48（11）：1257-1260.

[7]周烽.基于數(shù)控程序重構(gòu)的誤差補(bǔ)償技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2010.

[8]劉升.高速高精度宏微雙驅(qū)動(dòng)運(yùn)動(dòng)平臺(tái)結(jié)構(gòu)優(yōu)化設(shè)計(jì)[D].廣州：廣東工業(yè)大學(xué)，2015.

[9]陳慶為.基于灰色理論的木板材表面缺陷圖像分割質(zhì)量評(píng)價(jià)研究[D].哈爾濱：東北林業(yè)大學(xué)，2014.

[10]張法全，王國(guó)富，曾慶寧，等.利用重心原理的圖像目標(biāo)最小外接矩形快速算法[J].紅外與激光工程，2013，42（5）：1382-1387.

[11]李勇.基于機(jī)器視覺的玻璃瓶在線檢測(cè)系統(tǒng)研究[D].濟(jì)南：山東大學(xué)，2012.

[12]趙振民，彭國(guó)華，符立梅.基于形狀模板的快速高精度可靠圖像匹配[J].計(jì)算機(jī)應(yīng)用，2010，30（2）：441-444.

[13]楊一帆.基于無(wú)衍射光的光學(xué)偏角測(cè)量系統(tǒng)及專用匹配算法研究[D].武漢：華中科技大學(xué)，2014.

[14]顧倩蕓.LED固晶機(jī)視覺系統(tǒng)的設(shè)計(jì)與算法實(shí)現(xiàn)[D].合肥：合肥工業(yè)大學(xué)，2014.

[15]張代林，陳文廣，謝經(jīng)明，等.基于形狀模板匹配的印刷品缺陷檢測(cè)[J].機(jī)械與電子，2013，40（12）：40-43.

[16]Xu Xinyu，van Beek P，F(xiàn)eng Xiaofan.High speed object matching and localization using gradientorientation features[J].Intelligent Robots and Computer Vision XXXI：Algorithms and Techniques，2014，9025（7）：1-13.