基于FCN的TFT-LCD表面缺陷快速檢測(cè)算法

歐先鋒，晏鵬程，向燦群，張國(guó)云，吳健輝，涂 兵，郭龍?jiān)?/p>

(湖南理工學(xué)院 a.信息與通信工程學(xué)院；b.復(fù)雜系統(tǒng)優(yōu)化與控制湖南省普通高等學(xué)校重點(diǎn)實(shí)驗(yàn)室，湖南 岳陽(yáng) 414006)

基于FCN的TFT-LCD表面缺陷快速檢測(cè)算法

歐先鋒a,b，晏鵬程a,b，向燦群a,b，張國(guó)云a,b，吳健輝a,b，涂 兵a,b，郭龍?jiān)碼,b

(湖南理工學(xué)院 a.信息與通信工程學(xué)院；b.復(fù)雜系統(tǒng)優(yōu)化與控制湖南省普通高等學(xué)校重點(diǎn)實(shí)驗(yàn)室，湖南 岳陽(yáng) 414006)

為克服TFT-LCD表面缺陷檢測(cè)中邊緣模糊、對(duì)比度低、圖像中存在重復(fù)紋理背景等噪聲的干擾，提出了種基于全卷積神經(jīng)網(wǎng)絡(luò)的端到端的快速檢測(cè)算法。該算法能夠通過(guò)感受域獲取原圖信息，并生成低對(duì)比度特征圖，然后將低對(duì)比度特征圖映射到高對(duì)比度特征圖上，最后通過(guò)高對(duì)比度特征圖上的感受域重構(gòu)出高對(duì)比度缺陷圖像，并將缺陷篩選出來(lái)。

表面缺陷檢測(cè)；全卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；端到端；感受域

薄膜晶體管液晶顯示器(Thin Film Transistor Liquid Crystal Display, TFT-LCD)作為一種功耗低、重量輕、亮度高、分辨率高的材料，已經(jīng)廣泛應(yīng)用于監(jiān)視器、筆記本、手機(jī)等領(lǐng)域。因其制造工藝復(fù)雜，TFT-LCD在制造過(guò)程中難免會(huì)受到噪聲干擾而產(chǎn)生各種缺陷。這些缺陷具有邊緣模糊、對(duì)比度低、圖像中存在重復(fù)紋理背景和整體的亮度不均勻等特點(diǎn)，嚴(yán)重影響TFT-LCD的顯示質(zhì)量。基于機(jī)器視覺(jué)的表面缺陷自動(dòng)檢測(cè)是確保自動(dòng)化生產(chǎn)產(chǎn)品質(zhì)量的一個(gè)非常重要的環(huán)節(jié)，獲取一種快速又精確的表面缺陷檢測(cè)方法一直是許多學(xué)者的研究熱點(diǎn)和難點(diǎn)[1]。張騰達(dá)等[2]提出基于二維DFT的表面缺陷檢測(cè)算法，通過(guò)霍夫變換(Hough Transformation,HT)檢測(cè)到代表線狀紋理的高能量頻域直線，將位于直線鄰域內(nèi)的頻率成分置0，再經(jīng)過(guò)二維IDFT進(jìn)行空間域圖像重構(gòu)，來(lái)移除方向性線狀紋理背景，最后經(jīng)過(guò)簡(jiǎn)單的閾值算法將缺陷從背景中提取出來(lái)，該方法具有一定的實(shí)用性與魯棒性。夏曉云等[3]提出一種基于MapReduce的分布式缺陷檢測(cè)方法，在提高檢測(cè)效率的同時(shí)也降低了缺陷的誤判率。王憲保等[4]提出一種基于深度信念網(wǎng)絡(luò)(Deep Belief Network, DBN)的深度學(xué)習(xí)缺陷檢測(cè)算法，并應(yīng)用于太陽(yáng)能電池片表面缺陷檢測(cè)中，該方法能較為準(zhǔn)確、快速地進(jìn)行缺陷檢測(cè)。這些方法在低分辨率圖像中通常能有效檢測(cè)某一類型缺陷，但是當(dāng)使用高分辨率圖像時(shí)檢測(cè)效果降低，且無(wú)法達(dá)到實(shí)時(shí)要求。為此，本文提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks, FCN)的端到端TFT-LCD表面缺陷檢測(cè)算法，首先將低對(duì)比度圖像根據(jù)目標(biāo)像素以及周圍區(qū)域像素信息映射到低對(duì)比度特征圖上，然后在低對(duì)比度與高對(duì)比度特征圖之間進(jìn)行非線性映射，最后利用高對(duì)比度特征圖上的目標(biāo)感受域重構(gòu)出高對(duì)比度圖像對(duì)應(yīng)像素，整個(gè)模型的訓(xùn)練與測(cè)試均在Caffe深度學(xué)習(xí)框架下完成。

1 相關(guān)工作

1.1 全卷積神經(jīng)網(wǎng)絡(luò)

通常CNN網(wǎng)絡(luò)結(jié)構(gòu)在卷積層之后會(huì)連接若干層全連接層，將卷積層提取的特征圖映射到固定長(zhǎng)度的特征向量上，這種做法非常適合圖像級(jí)的分類和回歸任務(wù)，如AlexNet[5]、GoogleNet[6]、VGGNet[7]等。盡管CNN在圖像級(jí)分類任務(wù)中取得了巨大成功，但經(jīng)過(guò)全連接層后失去了圖像的像素空間信息，在圖像語(yǔ)義分割等像素級(jí)分類任務(wù)中無(wú)法展現(xiàn)出CNN的分類能力。鑒于此，文獻(xiàn)[8]提出了FCN網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示，將CNN的最后幾層全連接層全部換成卷積層，由于卷積層中的神經(jīng)元只與輸入數(shù)據(jù)中的一個(gè)局部區(qū)域連接，并且在卷積列中神經(jīng)元共享參數(shù)，因此卷積后的特征圖能保存像素的空間信息，而FCN具備了對(duì)圖像像素級(jí)分類的能力。CNN中固定長(zhǎng)度的全連接層固定了輸入圖片的大小，而將全連接層轉(zhuǎn)化為卷積層后解放了對(duì)輸入圖片大小的限制，因此，F(xiàn)CN在訓(xùn)練以及測(cè)試過(guò)程中能夠更加靈活的處理數(shù)據(jù)。

圖1 全卷積神經(jīng)網(wǎng)絡(luò)

1.2 缺陷檢測(cè)流程

在工業(yè)生產(chǎn)中，對(duì)缺陷的檢測(cè)通常包括如下幾個(gè)步驟：在無(wú)塵環(huán)境下，首先從檢測(cè)臺(tái)垂直打光，獲取包含缺陷以及灰塵的所有噪聲分布圖像；然后從側(cè)面打光，獲取檢測(cè)屏上灰塵噪聲分布圖像；最后用垂直打光圖像減側(cè)面打光圖像獲得最終的缺陷噪聲分布圖像，如圖2所示。

圖2 缺陷檢測(cè)流程

盡管打光能夠獲取噪聲圖片，但是噪聲性質(zhì)以及打光不均勻等原因，想要正確的檢測(cè)出所有的噪聲仍然具有很大的挑戰(zhàn)，本文的主要工作內(nèi)容是借助深度學(xué)習(xí)強(qiáng)大的特征提取以及表達(dá)能力來(lái)檢測(cè)這些缺陷噪聲，并通過(guò)實(shí)驗(yàn)來(lái)驗(yàn)證方法的有效性。并取得了非常好的效果，部分結(jié)果如圖3所示。

圖3 FCN缺陷檢測(cè)結(jié)果

圖3中矩形標(biāo)記框?yàn)闄z測(cè)的正確缺陷點(diǎn)，橢圓標(biāo)記框?yàn)闄z測(cè)的錯(cuò)誤缺陷點(diǎn)，很明顯感受域越小越容易過(guò)檢，相反，感受域太大容易出現(xiàn)漏檢。

2 基于FCN的缺陷檢測(cè)

2.1 數(shù)據(jù)生成

實(shí)驗(yàn)使用的數(shù)據(jù)為高分辨率圖像，原始圖像是分辨率為6 500×4 500的單通道圖像。為了訓(xùn)練FCN網(wǎng)絡(luò)，采用局部動(dòng)態(tài)閾值法為每個(gè)圖像樣本制作對(duì)應(yīng)的標(biāo)簽，原圖像中的缺陷噪聲像素標(biāo)簽為1，非缺陷噪聲像素標(biāo)簽為0，為了保證標(biāo)簽的準(zhǔn)確性，最后對(duì)所有標(biāo)簽進(jìn)行人工矯正，標(biāo)簽形式如圖4中Ground Truth。實(shí)驗(yàn)過(guò)程中僅用了10張高分辨率圖像，由于數(shù)據(jù)量少，直接用它訓(xùn)練FCN網(wǎng)絡(luò)無(wú)法得到合適的網(wǎng)絡(luò)模型，因此對(duì)數(shù)據(jù)進(jìn)行了擴(kuò)充。由分析可知，雖然這類缺陷噪聲檢測(cè)比較困難，但是類型相對(duì)單一，在這10張樣本圖中已經(jīng)包含了所有的類型，且分布均勻，因此，借助切割、旋轉(zhuǎn)、鏡像等[9]手段將數(shù)據(jù)擴(kuò)充為208 320個(gè)樣本，分辨率為400×400。

(1)

根據(jù)式(1)，先將分辨率為W×H的樣本切割為多個(gè)大小為w×h的圖像塊，其中stride為切割步長(zhǎng)。當(dāng)stride=100時(shí)，則1張分辨率為6 500×4 500的圖像可切割成2 604張400×400的圖像。切塊后再對(duì)每張圖片進(jìn)行90°、180°、270°旋轉(zhuǎn)以及上下、左右、對(duì)角鏡像等8種變換。最后，10個(gè)6 500×4 500的樣本擴(kuò)充為了208 320個(gè)400×400的樣本。樣本生成后，均勻抽取160 000個(gè)樣本作為訓(xùn)練集，40 000個(gè)樣本作為測(cè)試集。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

在超分辨率圖像重構(gòu)工作中，文獻(xiàn)[10]采用圖4類似網(wǎng)絡(luò)結(jié)構(gòu)，并取得了非常好的重構(gòu)效果。鑒于此，我們針對(duì)邊緣模糊、對(duì)比度低、圖像中存在重復(fù)紋理背景和整體的亮度不均勻這類缺陷噪聲設(shè)計(jì)了FCN_21×21檢測(cè)模型，如圖5所示，像素信息獲取階段將針對(duì)原圖像(低對(duì)比度)像素點(diǎn)以及周圍區(qū)域信息生成低對(duì)比度特征圖，非線性映射階段將生成的低對(duì)比度特征圖一對(duì)一映射到高對(duì)比度特征圖上，像素重構(gòu)階段將根據(jù)高對(duì)比度特征圖生成高對(duì)比度圖像，這樣就完成了從低對(duì)比度圖像到高對(duì)比度圖像的端到端映射。由于全卷積網(wǎng)絡(luò)的特性，輸入可以是任意大小的圖片，根據(jù)樣本信息，本文的輸入圖片大小為400×400，第一層為信息獲取層，卷積核大小為21×21，為保證特征圖大小為400×400，需要根據(jù)(kernelsize-1)/2對(duì)卷積圖像進(jìn)行補(bǔ)零處理，kernelsize為卷積核大小。第二層卷積為一對(duì)一非線性映射，卷積核大小為1×1。第三層為重構(gòu)層，卷積核大小為21×21，同樣需要補(bǔ)零處理。由于所處理的缺陷噪聲比較單一，因此三層卷積分別使用了32、16、1個(gè)濾波器，不僅能有效檢測(cè)缺陷噪聲，而且能降低網(wǎng)絡(luò)計(jì)算量。三層卷積映射關(guān)系如式(2)(3)(4)所示。

圖4 FCN_21×21結(jié)構(gòu)

F1(Y)=max(0,W1*Y+B1)

(2)

F2(Y)=max(0,W2*F1(Y)+B2)

(3)

F3(Y)=max(0,W3*F2(Y)+B3)

(4)

式中：*為卷積操作；Wi為i層的卷積核；Bi為i層的偏置。

在訓(xùn)練過(guò)程中，要確保經(jīng)過(guò)參數(shù)θ={W1,W2,W3,B1,B2,B3}擬合出的結(jié)果與Ground Truth差異越來(lái)越小，采用平方均值誤差作為訓(xùn)練損失函數(shù)，如式(5)所示。

(5)

式中：GTi為第i個(gè)輸入對(duì)應(yīng)的Ground Truth，n為訓(xùn)練樣本數(shù)。在訓(xùn)練過(guò)程中，缺陷點(diǎn)像素值向255逼近，正常點(diǎn)像素值向0逼近，因此訓(xùn)練能夠讓缺陷點(diǎn)與正常點(diǎn)之間的對(duì)比度越來(lái)越大，如圖5所示。在實(shí)際的訓(xùn)練過(guò)程中，我們會(huì)將所有的像素值歸一化在[0,1]之間，檢測(cè)完成后對(duì)結(jié)果進(jìn)行二值化，得到最終的檢測(cè)結(jié)果。

圖5 FCN_21×21缺陷檢測(cè)

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)條件

實(shí)驗(yàn)硬件平臺(tái)為Dell 5500圖形工作站，其基本配置為Intel Core i7-4710MQ四核處理器、NVIDIA M4000 8 G獨(dú)立顯卡、8 G DDR3內(nèi)存，128 G固態(tài)硬盤；所使用的軟件仿真平臺(tái)為Matlab R2016a以及Caffe-windows版本。實(shí)驗(yàn)討論了不同感受域?qū)θ毕輽z測(cè)效果的影響，并與當(dāng)前典型的表面缺陷檢測(cè)算法在檢測(cè)率、誤檢率以及檢測(cè)時(shí)間上進(jìn)行了對(duì)比。

3.2 感受域

表面缺陷檢測(cè)通常存在4種情況，缺陷檢測(cè)為缺陷、正常檢測(cè)為正常、缺陷檢測(cè)為正常即漏檢、正常檢測(cè)為缺陷即過(guò)檢。設(shè)Rcd表示樣本檢測(cè)正確率，Rfa表示誤檢率，Nc表示實(shí)際漏檢個(gè)數(shù)，Nd表示實(shí)際過(guò)檢個(gè)數(shù),N為實(shí)際缺陷點(diǎn)個(gè)數(shù)。則Rcd、Rfa可由式(6)(7)計(jì)算。

(6)

(7)

采用了11×11、21×21、31×31，3種不同的感受域FCN模型分別對(duì)低對(duì)比度缺陷、包含紋理背景圖像缺陷、混合高密度缺陷這3種典型的缺陷進(jìn)行了檢測(cè)，檢測(cè)結(jié)果如圖6所示。

圖6 不同感受域識(shí)別率

由圖6可知，三種模型對(duì)低對(duì)比度缺陷噪聲均具有較高的檢測(cè)率，且誤檢率相對(duì)較低。當(dāng)感受域較小時(shí)，對(duì)感受域內(nèi)像素十分敏感，容易產(chǎn)生誤檢，如FCN_11×11模型對(duì)存在紋理背景的缺陷誤檢率較高。當(dāng)感受域較大時(shí)，網(wǎng)絡(luò)難以學(xué)習(xí)區(qū)域內(nèi)有效特征，因此，F(xiàn)CN_31×31模型檢測(cè)率較低。如圖7所示3種模型對(duì)存在紋理背景的缺陷檢測(cè)結(jié)果，其中綠色方框?yàn)閷?shí)際存在缺陷部分，顯而易見(jiàn)，感受域小誤檢率高，感受域大檢測(cè)率低。根據(jù)圖7所示的識(shí)別率分析可知，相比其它兩種感受域模型，F(xiàn)CN_21×21模型采用了最佳感受域，它對(duì)三種缺陷均具有較高識(shí)別率，且誤檢率相對(duì)也較低，因此本文中使用該模型作為最佳模型。

圖7 不同模型對(duì)包含紋理背景缺陷檢測(cè)結(jié)果

3.3 算法對(duì)比

檢測(cè)一張6 500×4 500的高分辨圖像缺陷非常耗時(shí)，通常在工業(yè)生產(chǎn)中通常要使用高性能服務(wù)器作為檢測(cè)設(shè)備以確保生產(chǎn)的實(shí)時(shí)性。而在本文方法中，圖像被分割成400×400的圖像塊進(jìn)行檢測(cè)，這將大大降低對(duì)檢測(cè)設(shè)備性能的要求。同時(shí)，將工業(yè)生產(chǎn)中常用的自適應(yīng)閾值法、傅里葉變換頻域檢測(cè)法與本文方法進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果如表1所示。

表1不同算法檢測(cè)結(jié)果

表1中自適應(yīng)閾值算法在檢測(cè)率上偏低，魯棒性差，但檢測(cè)時(shí)間相對(duì)傅里葉變換檢測(cè)算法要短。傅里葉變換法的檢測(cè)精度相對(duì)較高，但由于傅里葉變換計(jì)算復(fù)雜，且需要設(shè)計(jì)好的濾波器模板來(lái)提高檢測(cè)效果，所以比較耗時(shí)，當(dāng)原圖增大時(shí)其檢測(cè)時(shí)間消耗迅速增長(zhǎng)。本文FCN_21×21模型不管在檢測(cè)率、誤檢率上均優(yōu)于前兩種算法，且檢測(cè)時(shí)間最少，具有良好的時(shí)效性。

檢測(cè)效果如圖8所示，自適應(yīng)閾值法很難檢測(cè)出模糊邊界的缺陷點(diǎn)，且當(dāng)缺陷對(duì)比度低時(shí)，自適應(yīng)閾值法檢測(cè)效果同樣不理想。傅里葉變換法對(duì)于對(duì)高對(duì)比度缺陷有較好的檢測(cè)效果，但當(dāng)缺陷邊界模糊，且與周圍區(qū)域?qū)Ρ榷鹊蜁r(shí)無(wú)法有效檢測(cè)出缺陷點(diǎn)。FCN_21×21模型在缺陷檢測(cè)中，能有效的檢測(cè)出前兩種方法檢測(cè)不出的邊界模糊且對(duì)比度低的缺陷，同時(shí)也能檢測(cè)其他類型缺陷，具有非常好的檢測(cè)效果，這些特點(diǎn)使其具有較好的潛在工業(yè)生產(chǎn)實(shí)際應(yīng)用價(jià)值。

4 結(jié)語(yǔ)

檢測(cè)率、誤檢率以及時(shí)效性是TFT-LCD缺陷檢測(cè)中的重要指標(biāo)。本文提出了一種基于FCN結(jié)構(gòu)的端對(duì)端快速缺陷檢測(cè)網(wǎng)絡(luò)，利用深度學(xué)習(xí)強(qiáng)大的學(xué)習(xí)能力對(duì)缺陷點(diǎn)與非缺陷點(diǎn)進(jìn)行像素級(jí)分類，在檢測(cè)率、誤檢率以及時(shí)效性上都取得了顯著效果。當(dāng)前在深度學(xué)習(xí)領(lǐng)域還存在許多表現(xiàn)優(yōu)異的網(wǎng)絡(luò)結(jié)構(gòu)，在接下來(lái)的研究中，將會(huì)借助這些結(jié)構(gòu)來(lái)優(yōu)化算法，進(jìn)一步提高檢測(cè)率以及穩(wěn)定性。

[1]羅菁,董婷婷,宋丹,等. 表面缺陷檢測(cè)綜述[J]. 計(jì)算機(jī)科學(xué)與探索,2014(9):1041-1048.

[2]張騰達(dá),盧榮勝.自動(dòng)周期選取的DFT方法在TFT-LCD平板檢測(cè)中的應(yīng)用[J].電子測(cè)量與儀器學(xué)報(bào),2016(3):361-373.

[3]張騰達(dá),盧榮勝,張書真.基于二維DFT的TFT-LCD平板表面缺陷檢測(cè)[J].光電工程,2016(3):7-15.

[4]夏曉云.基于MapReduce的液晶屏缺陷檢測(cè)技術(shù)研究[D].合肥:合肥工業(yè)大學(xué),2016.

[5]KRIZHEVSKY A, SUTKEVER I, HINTON G E. Image net classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012: 1097-1105.[6]SZEGEDY C,LIU W,JIA Y,et al.Going deeper with convolutions [C]//IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society,2015:1-9.

[7] HE K,ZHANG X,REN S, et al.Deep residual learning for image recognition[J].IEEE Computer Society,2016:770-778.

[8] LONG J,SHELHAMER E,DARRELL T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,79(10):1337-1342.

[9] SUN Y,WANG X,TANG X.Deep learning face representation from predicting 10,000 classes[C]//IEEE Conference on Computer Vision and Pattern Recognition., 2014:1891-1898.

[10] DONG C,CHEN C L,HE K,et al.Learning a deep convolutional network for image super-resolution[M].Computer Vision-ECCV 2014. Springer International Publishing,2014:184-199.

FastDetectionAlgorithmforTFT-LCDSurfaceDefectsbasedontheFullConvolutionNeuralNetworks

OU Xianfenga,b, YAN Pengchenga,b, XIANG Canquna,b, ZHANG Guoyuna,b, WU Jianhuia,b, TU Binga,b, GUO Longyuana,b

(a. College of Information & Communication Engineering; b. Key Laboratory of Optimization & Control for Complex Systems, Hunan Institute of Science and Technology, Yueyang 414006, China)

In order to overcome the interference of edge blur, low contrast, and repeat texture background in TFT-LCD surface defect detection, an end-to-end fast detection algorithm based on full convolution neural network was proposed. The algorithm can obtain the original image information through the sensing domain and generate the low contrast feature maps, and then map the low contrast feature maps to the high contrast feature maps. Finally, the high contrast defect images reconstructed based on the receptive field of the high contrast feature maps. then the defects were screened out. Compared with the current commonly used algorithms, this proposed method is the most prominent in the accuracy and speed of defect detection.

surface defect detection; Full Convolution Neural Networks; deep learning; end-to-end; receptive field

10.13542/j.cnki.51-1747/tn.2017.03.002

2017-07-05

國(guó)家自然科學(xué)基金項(xiàng)目(51704115)；湖南省自然科學(xué)基金項(xiàng)目(2017JJ3099, 2016JJ2064)；湖南省科技計(jì)劃項(xiàng)目(2016TP1021)；湖南省研究生創(chuàng)新項(xiàng)目(CX2016B670);湖南省教育廳科學(xué)研究項(xiàng)目(16C0723)

歐先鋒(1983—)，男，講師，博士，研究方向：圖像處理/視頻壓縮編碼及傳輸。

郭龍?jiān)?1973—)，男，副教授，博士，研究方向：計(jì)算機(jī)視覺(jué)/圖像處理，電子郵箱：guolongyuan@hnist.edu.cn。

TP391.41

：A

：2095-5383(2017)03-0006-05