基于Halcon的微透鏡表面缺陷檢測算法

王凱，李毅

（1.四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065；2.四川大學(xué)圖象圖形研究所，成都 610065）

0 引言

隨著我國精密制造的需求日益增長，對精密制造的準(zhǔn)確率也有了更高的要求。尤其是現(xiàn)在精密制造業(yè)制造速度的提升，隨著機(jī)器的老化和損壞，出現(xiàn)次品的概率將會越來越高，因此，通過分析各個流水線的次品率及缺陷出現(xiàn)的部分對流水線進(jìn)行調(diào)整和改進(jìn)，成為了精密制造業(yè)的一項(xiàng)基礎(chǔ)工作。

目前對于微透鏡的檢測，主要使用的方法依舊是目視法，通過顯微鏡查看微透鏡表面是否存在缺陷。目視法費(fèi)時費(fèi)力，勞動強(qiáng)度大，效率低且主觀因素影響較大。隨著制造量的增加目視法只能應(yīng)用于抽查。

筆者基于機(jī)器視覺的工作原理設(shè)計(jì)出了一套微透鏡表面缺陷檢測的方案，該方案通過圖像處理和模式識別技術(shù)，對微透鏡表面缺陷進(jìn)行自動檢測，為微透鏡檢查提供了一種快速有效的途徑，具有成本低且精度高的特點(diǎn)。

微透鏡表面缺陷檢測與識別算法：

本文主要檢測的是大斑塊和小斑塊缺陷，整個算法由圖像預(yù)處理，光照均衡，缺陷定位，缺陷分類。

1 算法實(shí)現(xiàn)

本文算法的主要流程如圖1。

圖1

1.1 圖像預(yù)處理

微透鏡本身屬于精密器件，檢測需要進(jìn)行封裝測試，因此光照環(huán)境會很均衡。由于微透鏡本身的特征，如圖2可以看到微透鏡表面的感光區(qū)域的灰度值遠(yuǎn)小于非感光區(qū)域的灰度值，可以在原圖上進(jìn)行一個30-110的灰度閾值，找出感光區(qū)域所在的部分 Re?gion_Light。

對Region_Light填充邊界，由于邊界上很多時候會出現(xiàn)一些大面積的缺陷或者破損，且微透鏡本身的感光區(qū)域呈近似矩形，將找出的感光區(qū)域向內(nèi)腐蝕5個像素左右的距離，去掉小區(qū)域的同時將感光區(qū)域邊緣的閾值殘留部分去掉。一個圖像中只會有一個感光區(qū)域，找出最大的面積即為要找的感光區(qū)域，找出該區(qū)域的最大內(nèi)接矩形，并將感光區(qū)域在原有內(nèi)接矩形的基礎(chǔ)上向外擴(kuò)展32個像素。擴(kuò)展方式在原有的圖像上擴(kuò)展邊界，得到一張新的圖像，對于那些未在內(nèi)接矩形內(nèi)的點(diǎn)的部分找出對應(yīng)其在內(nèi)接矩形內(nèi)的圖像再鏡像翻轉(zhuǎn)，得到ROI_Region。

1.2 光照調(diào)整

由于微透鏡會將光源的光進(jìn)行折射和散射，可以明顯的看到圖2中的四周光照較暗，而中間部分的光照較亮。因此需要對光照進(jìn)行調(diào)整，使用傅里葉變換轉(zhuǎn)入頻率域后使用高斯濾波去噪后進(jìn)行低通濾波。

1.3 缺陷查找

由于微透鏡是每4像素為一個重復(fù)區(qū)間，且缺陷區(qū)域均為灰度值較大或較小區(qū)域，因此對于要尋找的大面積缺陷，首先以16像素為邊長進(jìn)行均值濾波以均衡透鏡部分灰度值較低的情況，均衡小區(qū)域內(nèi)的灰度值。取感光區(qū)域的均值為mean,再以灰度值在（mean-15）到（mean+15）以外的部分判定為缺陷的部分，找出大于16像素的區(qū)域，進(jìn)行內(nèi)部填充。將找出的區(qū)域作為region1。如圖3的綠色部分。

對于要尋找的小面積缺陷，先使用15×15的高斯濾波進(jìn)行濾波，再以邊長16像素的范圍內(nèi)的灰度最大值減去最小值作為當(dāng)前像素的值，即找出短距離內(nèi)的灰度變化，取變換后的感光區(qū)域的均值為mean，然后在（mean-10）到（mean+10）以外的部分判定為缺陷，篩選出缺陷區(qū)域，找出大于64像素的部分（由于此方法會將小缺陷擴(kuò)大，因此篩選需要以較大區(qū)域作為篩選條件），進(jìn)行內(nèi)部填充，將找出的取余作為region2。如圖3的紅色部分。

將region1和region2合并作region，并將預(yù)處理中擴(kuò)充的部分去掉，留下原先內(nèi)部的部分。

圖2

圖3

1.4 分類

基于region可以找出需要找到的大小缺陷，標(biāo)記好后，按照其大小和內(nèi)部顏色，可分類為內(nèi)部白色小缺陷，內(nèi)部白色大缺陷，內(nèi)部黑色小缺陷，內(nèi)部黑色大缺陷。根據(jù)不同缺陷的數(shù)量可以提供給生產(chǎn)商，可以幫助其找到生產(chǎn)線中存在的問題，以便以改進(jìn)生產(chǎn)流程。

2 實(shí)驗(yàn)結(jié)果及分析

本文算法可檢測的最小缺陷尺寸為2um×2um，像素精度為1um/pixel，采用該算法對實(shí)際的封閉場景下采集到的微透鏡圖像，其中包含750副無缺陷圖像和250副包含大小斑塊缺陷的圖像，進(jìn)行檢測和識別。在實(shí)際的微透鏡缺陷檢測中所拍攝的圖像絕大多數(shù)為無缺陷圖像，所以實(shí)驗(yàn)中采用了更多的是無缺陷圖像。在有缺陷圖像中，缺陷個數(shù)為532個。實(shí)驗(yàn)中使用了準(zhǔn)確率，誤檢率和檢全率三個原則，定義為準(zhǔn)確率α誤檢率β檢全率γ定義為：

α=n/(n+n1)

β=n1/n2

γ=n/N

其中n為檢測出的正確缺陷個數(shù)，n1為非缺陷但被檢測成缺陷的個數(shù)，n2為所有無缺陷圖像的數(shù)量，N為實(shí)際缺陷個數(shù)，。當(dāng)區(qū)域內(nèi)像素個數(shù)大于4時檢測為缺陷，試驗(yàn)中檢測出正確的缺陷個數(shù)為511個，檢測出的非缺陷個數(shù)為23個。得到準(zhǔn)確率為95.7%，檢全率為96.1%。若使用更大的面積作為判定缺陷的范圍，將導(dǎo)致誤檢率下降，準(zhǔn)確率也下降。若單獨(dú)使用其中一種斑塊判定方式，將會導(dǎo)致準(zhǔn)確率大幅下降。

3 結(jié)語

本文使用的傅里葉低通及大小斑塊分別檢測的思路對于微透鏡表面的缺陷檢測效果較好。實(shí)驗(yàn)證明：①傅里葉低通對于光照散射到導(dǎo)致的亮暗不均勻問題有很好的效果。②兩種斑塊判定方式結(jié)合在一起比單獨(dú)使用其中一種準(zhǔn)確率高很多。本文的重點(diǎn)在于研究了微透鏡表面缺陷圖像的檢測方法，今后的工作還需重點(diǎn)研究深度學(xué)習(xí)方法來對缺陷進(jìn)行快速的識別分類。

參考文獻(xiàn)：

[1]Feng C.Microlens Alignment Procedures in CMOS Image Sensor Design:US,US8068284[P]，2011.

[2]Tseng C X,Pang C P,Yang C L,et al.Design of Microlens on Pixel Array:US,US7687757[P]，2010.

[3]Campbell S P,Tsai R H,Agranov G A,et al.Alignment Among Elements in an Image Sensor:US,US7351945[P].2008.

[4]Wakelin S,Derstine M W,Wong J S.Microlens Array with Spatially Varying Optical Property[J]，2002.

[5]Okigawa M.Solid State Imaging Device with Microlens Shifted from the Center of the Photo Diode[J]，2015.