自適應(yīng)光亮度的LED缺陷檢測(cè)算法*

羅瑞榮, 高 健，鄭卓鋆，張攬宇，鄧海祥

(廣東工業(yè)大學(xué) 機(jī)電工程學(xué)院 電子精密制造技術(shù)及裝備教育部重點(diǎn)實(shí)驗(yàn)室，廣州 510006)

0 引言

隨著科學(xué)技術(shù)的發(fā)展，人們對(duì)電子器件的生產(chǎn)速度、質(zhì)量要求越來越高，由于半導(dǎo)體發(fā)光器件LED壽命長、能耗低，在照明、顯示燈領(lǐng)域得到廣泛應(yīng)用。然而，LED本身尺寸小、缺陷尺寸更小(本文涉及的LED尺寸為2mm×2mm×1mm)，當(dāng)前的主要檢測(cè)方法是通過人工目檢的方式剔除缺陷LED，不僅勞動(dòng)強(qiáng)度大，成本高，且易出錯(cuò)。因此，開發(fā)一種高速、準(zhǔn)確的檢測(cè)方法非常迫切。機(jī)器視覺技術(shù)具有非接觸、自動(dòng)化、能夠快速檢測(cè)小尺寸零件等優(yōu)點(diǎn)[1]，能很好地滿足產(chǎn)品質(zhì)量和速度的檢測(cè)要求。目前利用機(jī)器視覺檢測(cè)LED的方法主要有模板匹配法、亮度分析法、缺陷分割法等。亮度分析法[2]通過點(diǎn)亮LED燈，分析亮度信息進(jìn)行缺陷檢測(cè)，不需要特定照明光源，系統(tǒng)成本低，但需要封裝LED并且通電測(cè)試；模板匹配法[3]原理簡單，但是對(duì)于不同型號(hào)LED需要建立不同模板，且只能檢測(cè)有明顯差異的缺陷，算法通用性和靈活性較差；缺陷分割法是最常用的一種缺陷檢測(cè)方法，缺陷分割方法的關(guān)鍵在于分割閾值的選擇[4]，例如基于圖像熵的最大熵分割[5]，基于正態(tài)分布的最小誤差分割，基于方差的最大類間方差分割，以不同的目標(biāo)函數(shù)計(jì)算圖像分割閾值。缺陷分割法最大的問題是在光照或者圖像背景影響下，往往會(huì)使得分割閾值選取錯(cuò)誤，導(dǎo)致分割結(jié)果不準(zhǔn)確，雖然通過背景差分[6]可以消除光照影響，但計(jì)算背景圖像耗時(shí)長，并不能實(shí)時(shí)地完成檢測(cè)過程。針對(duì)LED質(zhì)量檢測(cè)中受光照等因素影響使得缺陷顯著程度變化導(dǎo)致分割閾值選取錯(cuò)誤的問題，本文在分析LED圖像的灰度梯度特征、光照亮度與區(qū)域灰度均值關(guān)系的基礎(chǔ)上，提出一種結(jié)合光亮度和Otsu分割閾值的LED缺陷分割算法。實(shí)驗(yàn)驗(yàn)證了該算法在不同光照亮度下的魯棒性與實(shí)時(shí)性。

1 LED檢測(cè)裝置

系統(tǒng)構(gòu)成如圖1所示，由圖像采集系統(tǒng)、圖像處理系統(tǒng)和控制系統(tǒng)組成。圖像采集系統(tǒng)主要包括CCD高速相機(jī)、輔助光源、光源控制器、鏡頭，垂直于LED表面采集；采集的圖像經(jīng)過計(jì)算機(jī)處理并且統(tǒng)計(jì)結(jié)果。LED(尺寸為2×2×1mm)檢測(cè)缺陷包括尺寸超過0.2mm的異物、油墨等。為了滿足檢測(cè)的精度與速度要求，視覺光源與相機(jī)的選擇[7]非常重要。

圖1 LED檢測(cè)裝置結(jié)構(gòu)

為了凸顯LED缺陷的特征，滿足檢測(cè)需求，選用對(duì)白色半透明熒光膠缺陷響應(yīng)明顯、頻率較高的藍(lán)色環(huán)形光源對(duì)LED低角度照明，調(diào)整光源亮度獲取符合要求的圖像；選用高幀率的黑白相機(jī)采集圖像，并且安裝內(nèi)置調(diào)焦變倍鏡頭，使得采集圖像時(shí)LED占據(jù)圖像1/3以上，保證尺寸大于0.2mm的缺陷能夠被清晰采集。

2 LED缺陷檢測(cè)算法

視覺算法設(shè)計(jì)是LED檢測(cè)系統(tǒng)的核心部分，算法流程圖如圖2所示。系統(tǒng)通過CCD相機(jī)在LED不停留的情況下采集、分析并處理LED圖像。缺陷檢測(cè)過程主要包括LED位置校正、基于灰度梯度提取熒光膠區(qū)域特征圓、自適應(yīng)光亮度閾值分割和連通域分析等。

圖2 算法流程

2.1 LED位置校正

LED經(jīng)過振動(dòng)盤進(jìn)入快速運(yùn)動(dòng)的檢測(cè)平臺(tái)，在相機(jī)視場(chǎng)中的位置并不固定，存在偏移和旋轉(zhuǎn)，需要快速進(jìn)行位置校正，以便做進(jìn)一步的分析處理。由于LED尺寸為2×2mm，是標(biāo)準(zhǔn)的正方形，最小外接矩形法[8]通過設(shè)置包裹目標(biāo)輪廓的矩形，不斷旋轉(zhuǎn)并且調(diào)整矩形邊長，以面積最小時(shí)的矩形作為最小外接矩形，因此采用最小外接矩形法可以有效地獲取LED的旋轉(zhuǎn)角度與輪廓尺寸。對(duì)采集系統(tǒng)獲取的圖像采用閾值分割與形態(tài)學(xué)腐蝕處理，獲取LED的輪廓；然后，計(jì)算二值圖中LED外圍輪廓的最小外接矩形，獲取LED的旋轉(zhuǎn)角度θ與邊長L1、L2。根據(jù)L1、L2和θ進(jìn)行仿射變換，完成LED的位置校正，如圖3所示。

(a) LED原圖 (b) 圖像分割 (c) 位置校正 圖3 LED位置校正

2.2 基于灰度梯度的熒光膠區(qū)域特征圓提取

LED缺陷存在于中間的圓形熒光膠區(qū)域，周圍的樹脂環(huán)氧杯區(qū)域?qū)儆诜侨毕輩^(qū)域，為了減少干擾和檢測(cè)范圍，需要將熒光膠區(qū)域與樹脂環(huán)氧杯分離，即提取特征圓。提取圓形區(qū)域通常是通過尋找圓上的點(diǎn)，進(jìn)而計(jì)算圓心與半徑[9]。Hough變換[10]是最常用的提取圓方法，算法通過坐標(biāo)變換，將圖像轉(zhuǎn)到參數(shù)空間得到一系列待定圓，最后篩選出所求的特征圓。由于存在坐標(biāo)變換和待定圓篩選，Hough變換的計(jì)算量大，處理時(shí)間長[11]，在復(fù)雜圖像中容易檢測(cè)出錯(cuò)。為了避免圖像坐標(biāo)變換和篩選圓造成的圖像處理速度減慢，針對(duì)LED進(jìn)行灰度梯度特征分析，獲取熒光膠區(qū)域輪廓坐標(biāo)點(diǎn)，提取特征圓。

由于LED熒光膠區(qū)域與樹脂環(huán)氧杯的材質(zhì)不同，區(qū)域亮度存在差異，灰度梯度能反映出圖像中不同區(qū)域的特征[12]，尤其是區(qū)域輪廓。因此，對(duì)LED熒光膠區(qū)域與樹脂環(huán)氧杯區(qū)域交界處作灰度特征分析，以尋找熒光膠區(qū)域輪廓上的點(diǎn)。圖4a中，從圖像中心出發(fā)，沿45°、135°、225°和315°方向設(shè)置4條灰度遍歷線，分別獲取遍歷線上的灰度值，經(jīng)過一階差分計(jì)算梯度分布曲線。

根據(jù)圖4b灰度分布曲線可見，灰度分布曲線存在灰度值驟減，LED的熒光膠區(qū)域與樹脂環(huán)氧杯交界處存在灰度突變，此時(shí)，梯度分布曲線出現(xiàn)最小值。該最小值點(diǎn)是熒光膠區(qū)域的邊緣點(diǎn)，是熒光膠區(qū)域過渡到樹脂環(huán)氧杯沿的標(biāo)志。獲取4條梯度分布曲線的最小值點(diǎn)，作為特征圓輪廓上的點(diǎn)，作為最小二乘法擬合圓的輸入點(diǎn)。

(a) 灰度遍歷線設(shè)置 (b) 灰度分布曲線

(c) 梯度分布曲線 圖4 灰度梯度特征分析

最小二乘法是一種數(shù)學(xué)優(yōu)化方法，通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配，在曲線擬合很常用[13]。最小二乘擬合圓算法通過求解使已知點(diǎn)到圓心距離與半徑之差的平方和最小[14]的圓心與半徑，擬合出誤差平方和最小的圓，式(1)為最小二乘擬合方程，所求特征圓的方程如式(2)所示，將四個(gè)特征圓上的點(diǎn)代入式(1)，求得特征圓的圓心與半徑方程為式(3)。

(1)

(x-x0)2+(y-y0)2=R2

(2)

(3)

其中，(x0,y0)為特征圓圓心，R為半徑，(xi,yi)為特征圓輪廓上的點(diǎn)，

基于灰度梯度的特征圓提取結(jié)果和Hough變換特征圓提取的結(jié)果對(duì)比如表1、圖5所示，圖5分別對(duì)應(yīng)表1中編號(hào)為1、2、3的圖像。對(duì)比兩種檢測(cè)圓方法可見：Hough變換計(jì)算量大，耗時(shí)更長，且容易出現(xiàn)輪廓提取位置出錯(cuò)；基于灰度梯度的特征圓提取不需要坐標(biāo)變換和待定圓篩選，速度約比Hough變換快260倍，滿足實(shí)時(shí)檢測(cè)需求，獲取的特征圓輪廓更準(zhǔn)確。

表1 Hough變換與灰度梯度特征圓提取算法耗時(shí)(ms)

(a) Hough變換特征圓提取

(b) 灰度梯度特征圓提取 圖5 特征圓提取算法效果對(duì)比

2.3 自適應(yīng)光亮度閾值分割

LED的熒光膠對(duì)光亮敏感，其中的缺陷顯著程度容易受光照的影響而變化，而LED的缺陷尺寸檢測(cè)標(biāo)準(zhǔn)為0.2mm，比較微小，如果光照亮度被改變，缺陷分割結(jié)果產(chǎn)生變化，就有可能導(dǎo)致原本為缺陷的LED判定為無缺陷。因此，要求缺陷分割算法對(duì)光照變化具備一定的魯棒性。

2.3.1 圖像增強(qiáng)

在進(jìn)行閾值分割前，為了增強(qiáng)圖像中的缺陷特征，對(duì)圖像采用形態(tài)學(xué)黑帽處理，其過程為先對(duì)圖像進(jìn)行形態(tài)學(xué)閉運(yùn)算，然后與原圖作差，如圖6所示。閉運(yùn)算是膨脹與腐蝕的結(jié)合，先膨脹后腐蝕，能填充圖像中的缺陷，減去原圖后，一定程度上抑制光照的干擾，適用于增強(qiáng)LED中的缺陷特征，其效果如圖6b所示；經(jīng)過黑帽處理，原本熒光膠區(qū)域輪廓與樹脂環(huán)氧杯存在亮度較高部分，因此根據(jù)2.2節(jié)提取的特征圓位置，對(duì)圖像添加掩膜，將非熒光膠區(qū)域灰度值置為0。

(a) 原圖 (b) 形態(tài)學(xué)黑帽處理 (c) 掩膜處理 圖6 圖像增強(qiáng)

2.3.2 適應(yīng)于光亮度的閾值自調(diào)整算法

大津法(Otsu)是一種常用且快速有效的圖像分割方法[15]，其基本思想是用一個(gè)閾值將圖像直方圖劃分為兩類，并且使這兩類的類間方差達(dá)到最大[16]。其優(yōu)勢(shì)是在目標(biāo)與背景對(duì)比度大、且目標(biāo)占據(jù)相當(dāng)像素比例時(shí)，分割效果良好，但其致命缺陷是目標(biāo)占據(jù)圖像較少像素?cái)?shù)時(shí)，會(huì)出現(xiàn)無法忍受的大塊錯(cuò)誤劃分區(qū)域，甚至丟失整幅圖像的信息[17]。LED熒光膠區(qū)域作為缺陷區(qū)域，對(duì)光照尤其敏感，往往因?yàn)楣庹沼绊懚霈F(xiàn)缺陷被劃分為背景的情況，因此，結(jié)合Otsu和光照亮度，提出適應(yīng)光亮度的閾值自調(diào)整算法。

μ=ω0×μ0+ω1×μ1

(4)

則背景與目標(biāo)的類間方差表示為：

σ2=ω0×(μ0-μ)2+ω1×(μ1-μ)2

(5)

聯(lián)立式(4)、式(5)可得：

σ2=ω0×ω1×(μ0-μ1)2

(6)

因此，類間方差σ2表達(dá)式為：

Otsu算法以k=k+1為步長改變閾值k，迭代求解類間方差σ2的值，當(dāng)σ2最大時(shí)，對(duì)應(yīng)的閾值k即為最佳閾值T。在對(duì)2.2節(jié)提取的特征圓區(qū)域計(jì)算Otsu分割閾值的基礎(chǔ)上，考慮光照的影響，引入對(duì)光照敏感區(qū)域——熒光膠區(qū)域的灰度均值A(chǔ)ve，用于反映當(dāng)前LED的光照亮度。

(7)

式中,sum是特征圓內(nèi)的像素?cái)?shù)，C(x,y)表示特征圓，f(x,y)是圓內(nèi)像素點(diǎn)的灰度值。圖7反映了光照亮度與熒光膠區(qū)域灰度均值的變化關(guān)系，光照亮度等級(jí)由所采用光源的光源控制器獲取，該亮度等級(jí)與光照亮度呈線性關(guān)系，亮度等級(jí)越高，光亮度越高，熒光膠區(qū)域灰度均值越大。

以Ave和Otsu閾值T作為自變量，建立適應(yīng)光亮度的閾值自調(diào)整方程：

T′=T+a*Ave+b

(8)

式(8)為二元一次方程，其中，T′是新閾值，T是Otsu分割閾值，Ave為熒光膠區(qū)域灰度均值，a、b是閾值調(diào)整因子，a∈[0,1]，b為任意常數(shù)。在閾值自調(diào)整方程中，利用Ave對(duì)Otsu分割閾值T進(jìn)行動(dòng)態(tài)調(diào)整，隨著光照亮度的提高，Ave值逐漸增大， 閾值調(diào)整量隨之增加。對(duì)熒光膠區(qū)域進(jìn)行閾值分割后進(jìn)行連通域分析，去除尺寸較小的噪點(diǎn)，保留尺寸較大的連通域，提取LED的缺陷。

圖7 光照亮度與熒光膠區(qū)域灰度均值關(guān)系

3 實(shí)驗(yàn)與結(jié)果分析

LED點(diǎn)膠缺陷實(shí)驗(yàn)平臺(tái)的搭建如圖8所示，相機(jī)使用黑白工業(yè)相機(jī)MV-GED32M-T，其幀率達(dá)160fps，滿足快速采集圖像需求；鏡頭選取焦距30mm的內(nèi)置調(diào)焦變倍鏡頭，視場(chǎng)調(diào)整為8×6mm，使LED占據(jù)圖像1/3以上，避免缺陷占據(jù)像素?cái)?shù)過少；輔助光源為30°環(huán)形藍(lán)光源RN7430B。電機(jī)和運(yùn)動(dòng)控制器負(fù)責(zé)控制放置了LED的運(yùn)動(dòng)平臺(tái)，在采集LED圖像后將相機(jī)與下一個(gè)LED對(duì)準(zhǔn)，繼續(xù)采集；平臺(tái)移動(dòng)過程中，圖像傳輸?shù)杰浖M(jìn)行分析處理，軟件基于OpenCV2、C++編程，在分析處理后顯示缺陷結(jié)果并存儲(chǔ)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。

圖8 實(shí)驗(yàn)平臺(tái)

為驗(yàn)證算法對(duì)光照變化的魯棒性，采集一組不同亮度照明下同一個(gè)LED的圖像分別使用Otsu分割和自適應(yīng)光亮度閾值分割方法進(jìn)行缺陷檢測(cè)，式(8)調(diào)整因子a、b分別取0.1、5，結(jié)果如圖9、圖10以及表2所示。

圖9橫坐標(biāo)的熒光膠區(qū)域灰度均值反映了圖像的光照亮度，縱坐標(biāo)分別為使用本文算法計(jì)算的圖像分割閾值和分割后進(jìn)行連通域分析消除噪點(diǎn)所得的缺陷尺寸，可見，光亮度越高，分割閾值越高，分割閾值隨著光亮度的增加而呈線性比例變化，分割所得的缺陷尺寸保持在40～50像素之間，比較穩(wěn)定。

圖9 不同光照亮度下的缺陷分割閾值與尺寸

表2列出了不同光亮度下的缺陷分割尺寸準(zhǔn)確度，可以看到，準(zhǔn)確度基本在0.8以上，編號(hào)為1的樣本的圖像光亮設(shè)置過低，導(dǎo)致準(zhǔn)確度略有下降。雖然少部分屬于缺陷的像素點(diǎn)被劃分為背景，但穩(wěn)定的分割尺寸能夠保證篩選出有缺陷的LED，不影響在不同光亮度下缺陷檢測(cè)的準(zhǔn)確率。缺陷分割尺寸準(zhǔn)確度α定義為：

(9)

其中，Segarea是分割缺陷面積，由連通域分析計(jì)算獲得；Actualarea是實(shí)際缺陷面積，用相機(jī)SDK測(cè)量軟件獲取。

圖10a分別對(duì)應(yīng)表2中編號(hào)為1、5、8的圖像，是相機(jī)采集的LED原圖，光亮度從低到高，缺陷實(shí)際寬度約0.2mm，圖10b是經(jīng)過特征圓提取、形態(tài)學(xué)處理以及圖像掩膜覆蓋的圖像，可以看到，光亮較低的第一幅圖像，缺陷信息已經(jīng)很微弱，光亮較高的第三幅圖像，相比第一幅圖像，其圖像掩膜內(nèi)的背景部分灰度值較高，兩幅圖像的缺陷顯著程度都比第二幅(正常光亮度)低，分割閾值的選擇對(duì)不同光亮下的缺陷提取非常重要。圖10c、圖10d是經(jīng)過閾值分割和連通域分析去除小尺寸噪點(diǎn)得到的圖像，可見，直接使用Otsu分割，閾值的選取并不準(zhǔn)確，分割結(jié)果很混亂，已經(jīng)不能篩選出缺陷輪廓，本文閾值自調(diào)整算法根據(jù)光照亮度動(dòng)態(tài)調(diào)整分割閾值，由光亮度決定閾值調(diào)整量的大小，能夠較穩(wěn)定地分割出LED缺陷。

表2 算法分割結(jié)果對(duì)比(像素)

表中，樣本編號(hào)對(duì)應(yīng)圖9各坐標(biāo)點(diǎn)的圖像，Average gray是熒光膠區(qū)域灰度均值，Threshold是使用閾值自調(diào)整算法進(jìn)行圖像分割的閾值大小，Seg area是分割所得缺陷的像素?cái)?shù)，Actual area是缺陷的實(shí)際大小，準(zhǔn)確度由式(9)計(jì)算得到。

(a) 原圖(光亮低→高,下同)

(b) 圖(a)預(yù)處理結(jié)果

(c) 圖(b) Otsu分割結(jié)果

(d) 圖(b)自適應(yīng)光亮度閾值分割結(jié)果 圖10 Otsu與適應(yīng)光亮度閾值自調(diào)整分割結(jié)果對(duì)比

為了驗(yàn)證閾值自調(diào)整算法的檢測(cè)速度，采集100張尺寸為640×480的LED圖像進(jìn)行缺陷檢測(cè)，計(jì)算機(jī)CPU主頻為2.8GHz，內(nèi)存2G。經(jīng)過實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)，每張圖像的處理時(shí)間均在8ms以內(nèi)，系統(tǒng)達(dá)到125個(gè)/s的檢測(cè)速度，且全部檢測(cè)正確，滿足生產(chǎn)所需的實(shí)時(shí)性、準(zhǔn)確性要求。

圖11 算法處理時(shí)間

4 結(jié)論

本文針對(duì)LED質(zhì)量檢測(cè)中受光照等因素影響，使得缺陷分割容易出錯(cuò)的問題，根據(jù)LED的檢測(cè)環(huán)境與缺陷特征，提出基于最小外接矩形位置校正、灰度梯度特征分析以及閾值自調(diào)整分割的LED缺陷檢測(cè)方法。該方法在提取LED特征圓方面，比Hough變換快約260倍，且得到的特征圓輪廓更準(zhǔn)確；在缺陷分割方面保留Otsu閾值分割類間方差最大的優(yōu)點(diǎn)，同時(shí)利用光亮度對(duì)Otsu閾值進(jìn)行動(dòng)態(tài)調(diào)整，在不同光亮度下的缺陷分割結(jié)果更穩(wěn)定。經(jīng)過實(shí)驗(yàn)驗(yàn)證，缺陷分割尺寸準(zhǔn)確度基本在0.8以上，算法處理時(shí)間少于8ms，且樣本全部檢測(cè)正確，滿足快速準(zhǔn)確檢測(cè)的要求，適合工業(yè)在線實(shí)時(shí)檢測(cè)。