基于卷積神經(jīng)網(wǎng)絡(luò)的光學(xué)元件表面缺陷圖像分類

侯勁堯，劉衛(wèi)國(guó)，周 順，高愛華，葛少博，肖相國(guó)

（1.西安工業(yè)大學(xué) 光電工程學(xué)院，陜西 西安 710021；2.西安應(yīng)用光學(xué)研究所，陜西 西安 710065）

引言

表面缺陷是影響光學(xué)系統(tǒng)質(zhì)量的重要因素之一[1]。傳統(tǒng)的人工目視檢測(cè)方法易受到人工經(jīng)驗(yàn)和主觀因素的影響，導(dǎo)致測(cè)試結(jié)果誤差較大，無法滿足現(xiàn)行檢測(cè)要求和自動(dòng)生產(chǎn)線的在線生產(chǎn)要求。機(jī)器視覺檢測(cè)具有自動(dòng)化程度高、識(shí)別率高[2]和非接觸式測(cè)量等優(yōu)點(diǎn)，逐漸成為主流表面缺陷檢測(cè)的方法和發(fā)展趨勢(shì)。

目前已經(jīng)有大多成熟的算法可以有效完成對(duì)表面缺陷圖像的去噪和分割處理，而對(duì)于表面缺陷的分類，最常見的是利用表面缺陷的散射特性用肉眼進(jìn)行判定的目測(cè)法，但使用此法效率不高，易受人為因素影響，誤判率較高[3-4]。近年來，隨著以卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneural network，CNN)為代表的深度學(xué)習(xí)模型在諸多計(jì)算機(jī)視覺(computer vision，CV)領(lǐng)域成功應(yīng)用，例如人臉識(shí)別、場(chǎng)景文字檢測(cè)、目標(biāo)跟蹤和自動(dòng)駕駛等，不少基于深度學(xué)習(xí)的缺陷檢測(cè)方法也廣泛應(yīng)用在各種工業(yè)場(chǎng)景中[5-6]。如通過散射成像系統(tǒng)，利用形狀因子將表面缺陷分為劃痕、麻點(diǎn)、噪點(diǎn)3 類，識(shí)別精度高，但識(shí)別速度很慢[7]?；蛘咄ㄟ^BP 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)劃痕和麻點(diǎn)的分類，但由于表面缺陷的隨機(jī)性，整體數(shù)據(jù)的識(shí)別率不高[8]，通過神經(jīng)網(wǎng)絡(luò)將光學(xué)元件表面缺陷分為圓形、方形和條形輪廓，分類的情況較模糊[9]。

1 表面缺陷檢測(cè)模型

表面缺陷主要指麻點(diǎn)、擦痕、開口氣泡、破點(diǎn)及破邊等異常結(jié)構(gòu)。檢測(cè)時(shí)大多利用其對(duì)光的散射原理，通過顯微成像的方式成像在CCD 中，再結(jié)合相關(guān)的圖像處理軟件實(shí)現(xiàn)對(duì)表面缺陷的識(shí)別和分類[10-13]。

本文通過顯微散射法來完成光學(xué)元件表面缺陷圖像的采集，如圖1（a）所示。為提高表面缺陷的檢測(cè)效率和精度，需結(jié)合圖像處理軟件完成對(duì)表面缺陷的進(jìn)一步處理。首先通過圖像預(yù)處理，使用濾波算法消除表面缺陷圖像的背景噪聲，平滑圖像降低不相關(guān)信息的干擾，利用形態(tài)學(xué)處理，能消除表面缺陷的毛刺和填補(bǔ)孔洞，降低了空氣中灰塵所造成的干擾，增加了表面缺陷輪廓提取的精確性。閾值分割則有效地將表面缺陷和背景分割出來，便于對(duì)表面缺陷特征的提取，最后利用最小外接矩形(minimum enclosing rectangle，MER)對(duì)表面缺陷進(jìn)行描述，如圖1（b）所示。

圖1 表面缺陷圖像Fig.1 Surface defect images

常見表面缺陷大多分為劃痕和麻點(diǎn)2 類，而在采用CCD 相機(jī)進(jìn)行圖像采集時(shí)，空氣中的灰塵也會(huì)產(chǎn)生散射光，從而成像在CCD 中，我們將這類散射光形成的信息稱為噪點(diǎn)。因此本文針對(duì)表面缺陷成像的特性，將分類目標(biāo)確認(rèn)為劃痕、麻點(diǎn)和噪點(diǎn)3 類。

目前，卷積神經(jīng)網(wǎng)絡(luò)逐漸成為所有識(shí)別和檢測(cè)任務(wù)的主導(dǎo)方法[14-17]，不僅具有更好的泛化性能，且具有很強(qiáng)的抗噪聲能力，因此本文采用卷積神經(jīng)網(wǎng)絡(luò)模型用于光學(xué)元件表面缺陷的分類。該模型將工件表面缺陷數(shù)據(jù)集作為模型的輸入，使用卷積層和池化層提取數(shù)據(jù)的內(nèi)部特征，將提取的特征輸入到Softmax 分類器進(jìn)行分類，以提高反射鏡表面缺陷分類的準(zhǔn)確性。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的表面缺陷分類

2.1 表面缺陷數(shù)據(jù)集

如圖2 所示，得到表面缺陷的MER，分別計(jì)算表面缺陷MER 的長(zhǎng)軸、短軸和外接矩形面積SMER，并得到表面缺陷所占的像素即面積S。通過（1）式，可以得到表面缺陷的矩形度。

圖2 表面缺陷MER 模型Fig.2 MER model of surface defects

對(duì)于光學(xué)元件的表面缺陷，經(jīng)過人工的初步篩選，基本滿足了使用標(biāo)準(zhǔn)，表面缺陷在光學(xué)元件中存在的數(shù)量較少。

在檢測(cè)過程得到的圖像，麻點(diǎn)類的表面缺陷多為μm 級(jí)別，劃痕類缺陷長(zhǎng)寬比大致為1∶10～1∶50，對(duì)于光學(xué)元件，其表面粗糙度Ra≤0.5 nm，表面光潔度較高，因此圖像中的噪點(diǎn)多是由空氣中的灰塵所造成的。

通過圖1(b)可以看出，圖中共包括劃痕1 個(gè)（藍(lán)色）、麻點(diǎn)10 個(gè)（紅色）、噪點(diǎn)15 個(gè)（綠色），通過MER 模型得到表面缺陷的長(zhǎng)、寬和面積等信息，其中噪點(diǎn)各數(shù)據(jù)之間的相似度較高。本文主要分析劃痕、麻點(diǎn)和噪點(diǎn)的差異性，統(tǒng)計(jì)了圖1（b）中的部分?jǐn)?shù)據(jù)，其中包括噪點(diǎn)5 個(gè)(序號(hào)12，11～13)、麻點(diǎn)5 個(gè)(序號(hào)16～20)、劃痕1 個(gè)(序號(hào)26)，如表1 所示。因噪點(diǎn)所占的像素比例少，其MER無法包含整個(gè)缺陷區(qū)域，往往存在SMER＜S，而對(duì)于麻點(diǎn)和劃痕則有SMER＞S，其結(jié)果在0～1 變化，當(dāng)P=1 時(shí)，表面缺陷為矩形。

“知道了。”話雖這么說，可是，我并未打消要吃宵夜的念頭。趁媽媽上床休息的時(shí)候，我跑到冰箱前，拿了一塊巧克力。可誰知，一回頭媽媽就站在我身后。

表1 表面缺陷特征提取Table 1 Feature extraction of surface defects

光學(xué)元件表面缺陷圖像大多為暗背景的亮像。針對(duì)這類圖像，卷積神經(jīng)網(wǎng)絡(luò)是目前主流的做法，光學(xué)元件表面缺陷圖像分類流程圖如圖3 所示。在表面缺陷的像素矩陣中，表面缺陷區(qū)域存在連通域，是可以被觀測(cè)到的。根據(jù)這個(gè)矩陣，光學(xué)元件圖像將會(huì)根據(jù)表面缺陷像素的大小進(jìn)行劃分。原始采集的光學(xué)元件表面缺陷圖像的大小是768×576 像素?？紤]到我們分辨的表面缺陷尺寸大多是人眼極限分辨率以下的，即長(zhǎng)軸≤100 μm，通過相機(jī)標(biāo)定得到實(shí)際尺寸和像素之間的比例為0.83∶1，因此我們?cè)O(shè)計(jì)的判別區(qū)域的大小是120×120個(gè)像素。

圖3 光學(xué)元件表面缺陷圖像分類流程圖Fig.3 Classification flow chart of surface defect images of optical elements

為了平衡不同樣本的數(shù)量，本文實(shí)驗(yàn)中采集了900 張表面缺陷圖像。其中表面缺陷圖像中劃痕、麻點(diǎn)和噪點(diǎn)各300 張。經(jīng)過隨機(jī)選擇180 張作為測(cè)試集，其余720 張作為訓(xùn)練集。

為了防止訓(xùn)練過程中的過擬合，將圖片進(jìn)行數(shù)據(jù)擴(kuò)增，考慮到表面缺陷的成像特征，如圖4 所示，通過對(duì)表面缺陷圖像進(jìn)行旋轉(zhuǎn)以及對(duì)鏡像的方式來擴(kuò)充圖像，通過對(duì)不同方位表面缺陷圖像的特征提取，可以加強(qiáng)網(wǎng)絡(luò)的訓(xùn)練能力，提高分類的精確度。

圖4 表面缺陷圖像數(shù)據(jù)集的建立Fig.4 Establishment of dataset for surface defect images

2.2 卷積網(wǎng)絡(luò)模型的建立和優(yōu)化

光學(xué)元件表面缺陷圖像的在線檢測(cè)，其目的是識(shí)別并分類表面缺陷，并且保證圖像在經(jīng)過旋轉(zhuǎn)、鏡像等后，依然可以識(shí)別。因此本文采用AlexNet網(wǎng)絡(luò)[3]，AlexNet 是在LeNet 的基礎(chǔ)上加深了網(wǎng)絡(luò)的結(jié)構(gòu)，主要分為輸入層、特征提取器和分類器，如圖5 所示。

圖5 AlexNet 網(wǎng)絡(luò)模型Fig.5 AlexNet network model

為提升網(wǎng)絡(luò)的計(jì)算性能，本文采用非對(duì)稱卷積(asymmetric convolution，AC)替換AlexNet 中的卷積層以訓(xùn)練網(wǎng)絡(luò)模型[18]。其原理如（2）式所示。輸入特征圖I，先進(jìn)行K(1)和I卷積，K(2)和I卷積后再對(duì)結(jié)果進(jìn)行相加，與先進(jìn)行K(1)和K(2)的逐點(diǎn)相加后再和I進(jìn)行卷積得到的結(jié)果是一致的。

如圖6 所示，AC 的整體過程分為訓(xùn)練和推理階段，因?yàn)榫矸e是大多數(shù)網(wǎng)絡(luò)的基礎(chǔ)組件，因此實(shí)驗(yàn)都是針對(duì)3×3 卷積進(jìn)行的。訓(xùn)練階段就是將現(xiàn)有網(wǎng)絡(luò)中的每一個(gè)3×3 卷積換成1×3 卷積+3×1卷積+3×3 卷積共3 個(gè)卷積層，最終將這3 個(gè)卷積層的計(jì)算結(jié)果進(jìn)行融合獲得卷積層的輸出。用融合后的卷積核參數(shù)初始化現(xiàn)有網(wǎng)絡(luò)，通過1×3 和3×1 卷積對(duì)3×3 方形核的中心十字進(jìn)行加強(qiáng)，增強(qiáng)了3×3 卷積核十字區(qū)域的圖像特征的提取參數(shù)，再利用3×3 卷積核進(jìn)行計(jì)算，得到卷積層的輸出。該網(wǎng)絡(luò)對(duì)于旋轉(zhuǎn)和鏡像的圖像具有較好的魯棒性，在推理階段的計(jì)算量不會(huì)增加，且提升了CNN 網(wǎng)絡(luò)的核心特征提取能力。

圖6 非對(duì)稱卷積過程Fig.6 Asymmetric convolution process

本文所使用的網(wǎng)絡(luò)結(jié)構(gòu)將表面圖像塊輸入至神經(jīng)網(wǎng)絡(luò)中時(shí)，特征提取器主要包括非對(duì)稱卷積層和池化層，使用3×3 的卷積核進(jìn)行卷積操作，然后執(zhí)行3×3 的池化操作，接著繼續(xù)執(zhí)行卷積和池化，最后計(jì)算全連接層與分類器的最終分類。該模型被廣泛應(yīng)用于特征提取環(huán)節(jié)，本文所用網(wǎng)絡(luò)的模型如圖7 所示。

圖7 本文網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Proposed network structure

本文方法用以分類120×120 光學(xué)元件表面缺陷圖像。在特征提取部分，此處的AC 均為核大小3×3 的非對(duì)稱性卷積，再通過ReLU 激活函數(shù)輸入給下一級(jí)網(wǎng)絡(luò)層。MAX-Pool 為最大池化層，對(duì)特征圖像進(jìn)行降采樣處理。對(duì)于分類部分采用全連接層結(jié)合dropout 層實(shí)現(xiàn)表面缺陷圖像的3 分類。

本文使用3×3 的非對(duì)稱卷積代替原本AleNet模型中大小為11×11 和5×5 的卷積層，同時(shí)全連接層的輸出節(jié)點(diǎn)數(shù)設(shè)置為2 048。對(duì)于整體網(wǎng)絡(luò)參數(shù)來說，既減小了參數(shù)量，又增加了網(wǎng)絡(luò)的分線性擬合能力。通過表2 可以看出，改進(jìn)后的網(wǎng)絡(luò)模型比原本的AleNet 模型參數(shù)量減小了6%。

表2 改進(jìn)前后網(wǎng)絡(luò)模型參數(shù)量的對(duì)比Table 2 Comparison of network model parameters before and after improvement

卷積神經(jīng)網(wǎng)絡(luò)內(nèi)卷積層與池化層交替出現(xiàn)，在卷積層內(nèi)，經(jīng)過卷積核的卷積操作與激活函數(shù)的處理等過程，光學(xué)元件表面缺陷圖像相關(guān)數(shù)據(jù)會(huì)生成光學(xué)圖像表現(xiàn)缺陷輪廓特征圖。在池化層內(nèi)，光學(xué)元件表面圖像相關(guān)數(shù)據(jù)會(huì)依照減采樣算子實(shí)施減采樣操作。

在圖7 所示的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)，采用Softmax 分類器，利用（3）式可表示分類器的激活函數(shù)：

式中：kθ和θ表示輸出分類概率向量和分類器輸出層與輸入層間的參數(shù)向量；i和r分別表示第i個(gè)訓(xùn)練樣本和分類數(shù)量；x表示輸入層內(nèi)輸入的圖像樣本；kθ取值范圍為[0，1]，總和為1。

式（4）為訓(xùn)練所用的代價(jià)函數(shù)：

式中：m和u分別表示訓(xùn)練樣本總量和輸出結(jié)果。

首先，光學(xué)元件表面缺陷圖像作為第一層的輸入，然后，卷積層與池化層對(duì)輸入圖像執(zhí)行特征提取和維度降采樣，將特征信息整合在全連接層作為下一步的輸出特征。在全連接層之后使用參數(shù)為0.5 的dropout 層，可以避免網(wǎng)絡(luò)訓(xùn)練時(shí)的過擬合現(xiàn)象。經(jīng)過dropout 層后的全連接層在訓(xùn)練時(shí)，其節(jié)點(diǎn)數(shù)會(huì)以0.5 倍縮減因子實(shí)現(xiàn)隨機(jī)縮減，有效地減少了網(wǎng)絡(luò)的訓(xùn)練參數(shù)，在提高了網(wǎng)絡(luò)非線性擬合的同時(shí)縮短了訓(xùn)練時(shí)間。

輸出特征使用Softmax 分類器執(zhí)行分類，經(jīng)過不斷強(qiáng)化訓(xùn)練，提高其分類性能，進(jìn)一步探索這些特征的類別，提高分類的準(zhǔn)確性，并做出新的決策。

3 實(shí)驗(yàn)結(jié)果及討論

將光學(xué)元件表明缺陷圖像數(shù)據(jù)按照4∶1 劃分為訓(xùn)練集和測(cè)試集，在訓(xùn)練時(shí)，將其隨機(jī)翻轉(zhuǎn)并歸一化到[-1，1]輸入至網(wǎng)絡(luò)中。由于實(shí)驗(yàn)設(shè)備限制，batch_size 設(shè)置為16，steps_per_epoch 設(shè)置為100，為了保證得到最好的訓(xùn)練效果，實(shí)驗(yàn)epoch 設(shè)置為200。訓(xùn)練使用Adam 優(yōu)化器，學(xué)習(xí)率設(shè)置為1×10-4。本文在Linux 環(huán)境下進(jìn)行實(shí)驗(yàn)，深度學(xué)習(xí)框架采用Tensorflow2.1 的GPU 版本，硬件配置為2 塊NVIDIA RTX 2 060。

本實(shí)驗(yàn)將測(cè)試集的數(shù)據(jù)使用卷積網(wǎng)絡(luò)模型進(jìn)行分類，得到的結(jié)果如表3 所示，劃痕與麻點(diǎn)識(shí)別的準(zhǔn)確率較高，而噪點(diǎn)識(shí)別準(zhǔn)確率較低。由于噪點(diǎn)特征的隨機(jī)性變化較大且其在整幅表面缺陷圖像中所占的像素比較小，缺陷特征復(fù)雜程度更高，因此容易造成結(jié)果的誤判。本文算法的識(shí)別精度都在97%以上，對(duì)于常規(guī)的光學(xué)元件表面缺陷的識(shí)別和分類具有一定的穩(wěn)定性。

表3 本文網(wǎng)絡(luò)識(shí)別結(jié)果Table 3 Identification results of proposed network %

為了驗(yàn)證本文所采用的網(wǎng)絡(luò)結(jié)構(gòu)在光學(xué)元件表面缺陷在線分類的有效性和精確性，本文實(shí)驗(yàn)與其他4 種經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型相對(duì)比，其結(jié)果如表4 所示。

表4 模型對(duì)比實(shí)驗(yàn)Table 4 Model comparison experiments

實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)采用包括靈敏度（Sensitivity）、特異性（Specificity）、精確性（Precision）和算法運(yùn)行時(shí)間（Times）共4 個(gè)不同的性能指標(biāo)對(duì)本文的模型進(jìn)行整體充分評(píng)估。各指標(biāo)計(jì)算公式如式(5)、式(6)和式(7)所示。

式中：TP真陽性(true positives)表示被正確識(shí)別為正例的個(gè)數(shù)；FP假陽性(false positive)表示被錯(cuò)誤識(shí)別為正例的個(gè)數(shù)；TN真陰性(true nagative)表示被正確識(shí)別為負(fù)例的個(gè)數(shù)；FN假陰性(false nagative)表示被錯(cuò)誤識(shí)別為負(fù)例的個(gè)數(shù)。

使用相同的表面數(shù)據(jù)集訓(xùn)練其他4 種經(jīng)典神經(jīng)網(wǎng)絡(luò)VGG16、ResNet50、InceptionV3 與AlexNet進(jìn)行比較，本文模型方法在4 個(gè)評(píng)價(jià)指標(biāo)中均取得最高值，靈敏度達(dá)到89.97%。本文模型的分類準(zhǔn)確率達(dá)到99.05%，相比其余4 個(gè)神經(jīng)網(wǎng)路，提高了分類的準(zhǔn)確性。在時(shí)間上本文模型的時(shí)間最短，用時(shí)18.46 s，通過遷移學(xué)習(xí)提高了神經(jīng)網(wǎng)絡(luò)的性能，使訓(xùn)練時(shí)間降低。綜合結(jié)果表明，本文模型的分類性能優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型。

4 結(jié)論

光學(xué)元件的表面缺陷會(huì)直接影響光學(xué)系統(tǒng)的性能。為了有效實(shí)現(xiàn)光學(xué)元件表面缺陷的分類，本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的光學(xué)元件表面缺陷分類方法，將表面缺陷分為劃痕、麻點(diǎn)和噪點(diǎn)3 類。實(shí)驗(yàn)中考慮到表面缺陷特征的復(fù)雜性，通過對(duì)圖像的旋轉(zhuǎn)和鏡像處理，在不改變表面缺陷特征的情況下擴(kuò)增了數(shù)據(jù)集，再采用非對(duì)稱卷積訓(xùn)練網(wǎng)絡(luò)模型，提高了網(wǎng)絡(luò)的核心提取能力。與原本的ALexNet 網(wǎng)絡(luò)相比，本文方法在降低6%參數(shù)量的同時(shí)，使分類精度提升1.85%，通過與其他深度學(xué)習(xí)模型性能對(duì)比實(shí)驗(yàn)，可以看出本文使用的模型具有較高的分類性能，這表明該模型在光學(xué)元件表面缺陷識(shí)別和分類領(lǐng)域中具有較深遠(yuǎn)的前景。