基于輪廓修補和圖像差分的手機(jī)玻璃蓋板表面缺陷檢測

吳闖 于大泳

摘? 要：由于手機(jī)玻璃蓋板每年出貨量大，易產(chǎn)生表面缺陷，采用人工檢測，效率低，同時傳統(tǒng)表面缺陷檢測算法精度不高。為此，本文在研究了其他表面缺陷檢測領(lǐng)域的圖像處理算法后，提出一種基于輪廓修補和圖像差分的手機(jī)玻璃蓋板表面缺陷檢測算法，相較于傳統(tǒng)的圖像差分法，無須做圖像配準(zhǔn)處理，大大提高了算法的穩(wěn)定性。在對原圖像進(jìn)行自適應(yīng)中值濾波和ROI區(qū)域提取后，應(yīng)用本文提出的算法進(jìn)行檢測，結(jié)果表明，手機(jī)玻璃蓋板表面常見的點、線類缺陷都能被快速正確地檢出。

關(guān)鍵詞：玻璃蓋板;自適應(yīng)中值濾波;輪廓修補;圖像差分;缺陷檢測

中圖分類號：TP391? ? ?文獻(xiàn)標(biāo)識碼：A

Abstract： Due to the large sales volume of mobile phone glass covers， which are prone to surface defects， the using of low-efficient manual detection leads to the fact that the accuracy of traditional visual surface defect detection algorithm is not high. To solve the problem， this paper proposes a surface defect detection algorithm for mobile phone glass covers based on contour repair and image difference after studying image processing algorithms in other areas of surface defect detection. Compared with the traditional image difference method， no image matching Quasi-processing greatly improves the stability of the algorithm. After adaptive median filtering and ROI region extraction of the original image， the algorithm proposed in this paper is used for detection. The results show that the common points and line defects on the surface of the mobile phone glass cover can be quickly and correctly detected.

Keywords： glass cover; adaptive median filtering; contour repair; image difference; defects detection

1? ?引言（Introduction）

智能手機(jī)屏主要由顯示模塊、觸控模塊、玻璃蓋板三部分組成。玻璃蓋板作為智能手機(jī)屏最外層，起著保護(hù)顯示模塊和增加手機(jī)美觀度的作用。玻璃蓋板需要經(jīng)過一系列特殊的加工工藝，包括開料、CNC、拋光、超聲波清洗、真空鍍膜、鋼化、絲印等，復(fù)雜的加工特性導(dǎo)致了不同種類缺陷的產(chǎn)生，其中常見的表面缺陷有劃痕、裂紋、臟污、絲印不良、崩邊等。按其形狀可大致分為點缺陷、線缺陷、塊狀缺陷[1]。對于基數(shù)巨大的出貨量，不合格產(chǎn)品的數(shù)量也會增多。目前對于玻璃蓋板缺陷檢測仍以人工檢測為主，包括國內(nèi)最大的玻璃蓋板生產(chǎn)商藍(lán)思每年都要投以千計的員工進(jìn)行產(chǎn)品檢測。過高的人力成本和人工檢測的效率低下使基于機(jī)器視覺的自動光學(xué)檢測系統(tǒng)（AOI）在工業(yè)檢測領(lǐng)域得到了較好的應(yīng)用，其核心組成部分有圖像采集模塊、圖像處理和分析模塊、數(shù)據(jù)接口和人機(jī)交互模塊等[2]。其中圖像處理和分析模塊一直是表面缺陷檢測領(lǐng)域中國內(nèi)外研究學(xué)者的重點。而近些年，智能手機(jī)朝著全面屏化方向發(fā)展，玻璃蓋板邊緣黑墨部分越來越少，因此有必要開發(fā)出針對手機(jī)玻璃蓋板表面特點的缺陷檢測算法，以提高實時檢測效率。

2? ?研究現(xiàn)狀（Research status）

對于工業(yè)檢測領(lǐng)域中一些復(fù)雜的表面缺陷，諸如手機(jī)顯示模塊表面、帶鋼表面等其他形狀不規(guī)則的工件表面，研究人員分別從圖像處理和圖像識別的角度開發(fā)出了不同的檢測算法。針對TFT-LCD和OLED復(fù)雜的紋理背景特點，常見的方法有基于傅里葉變換和小波變換的高頻濾波，即通過高通濾波器濾除周期性的紋理背景以保留缺陷細(xì)節(jié)。然后通過提取圖像背景和圖像缺陷特征，利用支持向量機(jī)等常用機(jī)器學(xué)習(xí)方法對表面缺陷進(jìn)行分類[3-6]，對于帶鋼表面缺陷，利用分塊圖像二值化和小波變換重構(gòu)背景圖像可以保留細(xì)微缺陷[7，8]。但對于手機(jī)玻璃蓋板這樣形狀規(guī)則、對比度均勻、無周期性紋理背景干擾的圖像，應(yīng)用復(fù)雜的圖像處理算法無法滿足工廠流水線檢測的實時性要求。而針對手機(jī)玻璃蓋板及具有類似特點的表面缺陷檢測相關(guān)文獻(xiàn)較少[8]，Chuanxia J等人提出一種基于互信息配準(zhǔn)的圖像差影法，即事先選取幾幅無缺陷圖像求平均得出圖像模板，再進(jìn)行圖像配準(zhǔn)與待檢測圖做差，但圖像配準(zhǔn)不穩(wěn)定會造成極大的誤差[9]，Li等人利用主成分分析法對玻璃蓋板表面刮傷、裂紋等缺陷進(jìn)行缺陷識別和缺陷提取，但圖像特征的計算量較大[10]，陳曉紅利用最小外接矩形分割和粘連圖像分割算法，提取出了圖像的邊緣區(qū)域，基于K-余弦和Blob分析法找出劃痕和崩邊缺陷[11，12]，Chengkan Zhang等人提出一種基于無監(jiān)督學(xué)習(xí)的背景重構(gòu)方法，即通過深度卷積重建帶紋理的圖像背景作為無缺陷參考圖像，但需要大量的檢測樣本進(jìn)行深度學(xué)習(xí)訓(xùn)練。

綜上所述，手機(jī)玻璃蓋板表面缺陷檢測常見的方法有圖像識別法、圖像差影法、圖像濾波法。考慮目前手機(jī)屏幕的全面屏、玻璃蓋板黑邊逐漸減少、無Logo文字等對缺陷檢測算法的影響逐漸減少的特性，并且為了滿足工廠檢測的實時性，本文采用圖像差分法，傳統(tǒng)的圖像差分法需要事圖像配準(zhǔn)，檢測精度和實時性都不高，為此，本文提出一種基于缺陷輪廓修補的方法建立圖像模板，無須圖像配準(zhǔn)進(jìn)行差分，對常見的點、線類缺陷進(jìn)行檢測。

3? ?圖像預(yù)處理（Image preprocessing）

3.1? ?自適應(yīng)中值濾波

圖像在獲取傳輸階段難免會受到隨機(jī)噪聲的干擾，會影響玻璃蓋板表面缺陷的檢測精度。為此，在缺陷檢測前必須對原始圖像進(jìn)行噪聲濾除處理。傳統(tǒng)的圖像降噪算法有均值濾波、中值濾波、高斯濾波等，其中中值濾波對保護(hù)圖像細(xì)節(jié)和去除噪聲效果較好，原理是預(yù)先自定義一個濾波器，對濾波器內(nèi)所有像素灰度值按從小到大進(jìn)行排序，領(lǐng)域中心像素值由排序好的灰度值序列的中值替代，但濾波器大小固定，如果噪聲密度較大，則無法兼顧保護(hù)圖像細(xì)節(jié)和去除噪聲的目的。為此，本文選取自適應(yīng)中值濾波器[14]，即通過噪聲點灰度值與中值點灰度值進(jìn)行比較動態(tài)的設(shè)定中值濾波器大小，以達(dá)到同時保護(hù)缺陷細(xì)節(jié)和排除噪聲干擾的作用。具體算法步驟原理如下：

3.2? ?基于輪廓特征的ROI區(qū)域提取

待檢測圖像在經(jīng)過濾波降噪和灰度化后，除了手機(jī)玻璃蓋板需要檢測外，周邊還有多余的不需要檢測區(qū)域，如圖1（a）所示，如果保留這些區(qū)域，會增加計算量并且對缺陷檢測造成干擾，所以必須對其進(jìn)行ROI提取。

4? 缺陷檢測算法設(shè)計（Defect detection algorithm design）

4.1? ?缺陷輪廓修補

傳統(tǒng)的圖像差分法建立圖像模板是事先選取幾幅無缺陷圖像求平均灰度值重構(gòu)得到，在對待檢測圖像進(jìn)行差分運算時，由于與圖像模板是兩幅不同的圖像，像素坐標(biāo)點相差很大，為此需要根據(jù)圖像特征進(jìn)行配準(zhǔn)操作，但如果有一個像素點沒配準(zhǔn)成功，則會造成極大的檢測誤差，且建立圖像模板和圖像配準(zhǔn)都是基于多幅不同圖像進(jìn)行操作，算法運行時間慢，無法滿足工廠實時檢測的要求。為此，本文直接從待檢測圖像對輪廓區(qū)域修補后進(jìn)行差分，常見的圖像修補算法需要遍歷圖像的所有像素值并計算梯度[16]，根據(jù)梯度值區(qū)分該點像素是否需要平滑處理，對于缺陷輪廓確實有良好的精確修補效果，但對大量的無缺陷區(qū)域進(jìn)行計算，無疑會增加程序的運行時間。

考慮到目前的手機(jī)玻璃蓋板輪廓邊緣清晰，黑邊區(qū)域少，無LOGO文字干擾缺陷檢測的特點，本文基于缺陷輪廓對缺陷區(qū)域進(jìn)行修補，其余部分不做修補。但缺陷區(qū)域通常為不規(guī)則的形狀，如圖3所示，像素點的坐標(biāo)值無明顯規(guī)律，因此無法直接按照缺陷區(qū)的像素坐標(biāo)進(jìn)行修補。

為此，本文考慮通過缺陷輪廓的最小外接矩形對缺陷區(qū)進(jìn)行修補，即根據(jù)缺陷區(qū)域輪廓的最小外接矩形四個頂點的均值替代矩形內(nèi)所有的像素值，采用四個頂點的均值作為替代值雖然與背景不能完全相同，但此時缺陷區(qū)的像素值完全不同于未進(jìn)行修復(fù)時的像素值，修補后矩形內(nèi)除缺陷區(qū)以外的像素值與背景值相差不大。但如何快速定位到缺陷輪廓的最小外接矩形區(qū)，通過計算圖像所有輪廓區(qū)內(nèi)的面積和輪廓長度，如表1所示，缺陷區(qū)的面積和長度相較于玻璃蓋板的邊緣輪廓而言都非常小，為此，本文通過找到面積和長度都很小的輪廓快速定位到待修補的最小外接矩形區(qū)域。

6? ?結(jié)論（Conclusion）

針對手機(jī)玻璃蓋板表面缺陷人工檢測效率低，本文在研究了大量表面缺陷檢測算法的基礎(chǔ)上，綜合目前手機(jī)玻璃蓋板全面屏化的特點，設(shè)計并改進(jìn)了圖像修補和圖像差分算法，提出了一種基于缺陷輪廓修補和圖像差分算法。檢測結(jié)果表明，對于手機(jī)玻璃蓋板表面常見的點、線類缺陷，都能精確檢出，并且算法運行時間能夠滿足工廠實時檢測要求，對于目前研究熱點的表面缺陷檢測領(lǐng)域具有一定的參考價值和實際應(yīng)用價值。

參考文獻(xiàn)（References）

[1] Zhi-Chao， Yuan， Zheng-Tao， et al. Vision-Based Defect Detection for Mobile Phone Cover Glass using Deep Neural Networks[J]. International Journal of Precision Engineering and Manufacturing， 2018， 19（6）： 801-810.

[2] 湯勃，孔建益，伍世虔.機(jī)器視覺表面缺陷檢測綜述[J].中國圖像圖形學(xué)報，2017，22（12）：1640-1663.

[3] Kwak， Jueun， Lee， et al. Automatic inspection of salt-and-pepper defects in OLED panels using image processing and control chart techniques[J]. Journal of Intelligent Manufacturing， 2019， 8（30）： 1047-1055.

[4] Uttwani， P. K， Villari， et al. Detection of Physical Defects in Full Color Passive-Matrix OLED Display by Image Driving Techniques[J]. Journal of Display Technology， 2012， 8（3）：154-161.

[5] Vishwanath A， Sindagi， Sumit Srivastava. Domain Adaptation for Automatic OLED Panel Defect Detection Using Adaptive Support Vector Data Description[J]. International Journal of Computer Vision， 2016， 122（2）： 1-19.

[6] 易松松.基于機(jī)器視覺的手機(jī)面板缺陷檢測方法研究[D].哈爾濱工業(yè)大學(xué)，2016.

[7] 孫光民，劉鵬，李子博.基于圖像處理的帶鋼表面缺陷檢測改進(jìn)算法的研究[J].軟件工程，2018，21（04）：5-8.

[8] 劉偉嵬，顏云輝，李瞻宇，等.帶鋼表面缺陷在線檢測系統(tǒng)的圖像濾波算法[J].東北大學(xué)學(xué)報（自然科學(xué)版），2009，30（03）：430-433.

[9] Chuanxia J， Jian G， Yinhui A. Automatic Surface Defect Detection for Mobile Phone Screen Glass Based on Machine Vision[J]. Applied Soft Computing， 2016， 52（3）： 348-358.

[10] Li， Di， Liang， et al. Defect inspection and extraction of the mobile phone cover glass based on the principal components analysis[J]. International Journal of Advanced Manufacturing Technology， 2014， 73（9-12）： 1605-1614.

[11] 陳曉紅.基于機(jī)器視覺的觸摸屏玻璃缺陷檢測方法研究[D].華南理工大學(xué)，2013.

[12] Chengkan Zhang， Zhengtao Shen， Fei Zhang， et al. A Fast Surface Defect Detection Method Based on Background Reconstruction[J]. International Journal of Precision Engineering and Manufacturing， 2019， 262（2）： 363-375.

[13] Liang L Q， Li D， Fu X， et al. Touch screen defect inspection based on sparse representation in low resolution images[J]. Multimedia Tools and Applications， 2016， 75（5）： 2655-2666.

[14] 王義文，屈冠彤，劉獻(xiàn)禮，等.鋼球表面缺陷的圖像差分檢測算法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2016，28（10）：1699-1704.

[15] Liu P， Zhang J， Guo K. A Parking-Lines Recognition Algorithm Based on Freeman Chain Code[C]. 2015 7th International Conference on Intelligent Human-Machine Systems and Cybernetics （IHMSC）. IEEE， 2015.

[16] 安宗權(quán)，王勻.一種非線性擴(kuò)散與圖像差分的金屬表面缺陷檢測方法[J].表面技術(shù)，2018，47（06）：277-283.

作者簡介：

吳? 闖（1994-），男，碩士生.研究領(lǐng)域：圖像處理，機(jī)器視覺.

于大泳（1977-），男，博士，高級工程師.研究領(lǐng)域：并聯(lián)機(jī)構(gòu)精度分析標(biāo)定，電磁兼容.