基于多源域深度遷移學(xué)習(xí)的液晶面板缺陷檢測(cè)算法*

［］

1 概述

液晶面板的缺陷檢測(cè)是保證液晶面板質(zhì)量的重要的一環(huán)。液晶面板種類多樣，其缺陷種類繁多，如何高效的進(jìn)行液晶面板的缺陷檢測(cè)已經(jīng)成為了熱門的研究課題。

目前在液晶面板缺陷檢測(cè)方面主要有兩種思路：（1）以機(jī)器視覺與機(jī)器學(xué)習(xí)為代表的手動(dòng)提取特征的方法；（2）利用深度神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征的深度卷積神經(jīng)網(wǎng)絡(luò)的方式。兩種方法在液晶面板缺陷的檢測(cè)問題中均遇到了瓶頸，一是液晶面板缺陷的不規(guī)則性、隨機(jī)性及其與背景差異性低等特性導(dǎo)致手工提取特征的方法作用甚微，檢測(cè)效果達(dá)不到工業(yè)生產(chǎn)的要求[1]；二是由于各類缺陷數(shù)據(jù)集的采集、標(biāo)記和制作需要耗費(fèi)大量的人力物力，導(dǎo)致數(shù)據(jù)集從質(zhì)量和數(shù)量上均出現(xiàn)數(shù)據(jù)貧瘠現(xiàn)象，從而使得基于深度卷積神經(jīng)網(wǎng)絡(luò)的缺陷檢測(cè)系統(tǒng)出現(xiàn)訓(xùn)練數(shù)據(jù)匱乏、模型泛化能力不足和模型穩(wěn)定性差等問題。因此必須解決在缺陷檢測(cè)問題中所面臨的數(shù)據(jù)貧瘠問題。在缺陷檢測(cè)領(lǐng)域中，現(xiàn)有的高質(zhì)量數(shù)據(jù)集匱乏并且分散在并沒有打通的各個(gè)項(xiàng)目當(dāng)中，大多數(shù)缺陷檢測(cè)任務(wù)所能利用的數(shù)據(jù)比較單一，標(biāo)簽標(biāo)記的水平也參差不齊。

另一方面，在公開的優(yōu)質(zhì)數(shù)據(jù)集中，如在ImageNet的殘差網(wǎng)絡(luò)[2]在識(shí)別物體時(shí)已經(jīng)超越人類的性能，Google的Smart Reply[3]系統(tǒng)在谷歌海量?jī)?yōu)質(zhì)數(shù)據(jù)的訓(xùn)練下可以自動(dòng)處理所有移動(dòng)手機(jī)的10%的回復(fù)，其神經(jīng)網(wǎng)絡(luò)翻譯模型系統(tǒng)已經(jīng)被用在了超過10種以上的語(yǔ)言之中。這些成功的模型都是在精心多年收集的數(shù)據(jù)集上進(jìn)行訓(xùn)練的。然而當(dāng)我們把這些機(jī)器學(xué)習(xí)的模型應(yīng)用在自然環(huán)境中時(shí)，模型會(huì)面臨泛化性能下降、模型穩(wěn)定性差等問題。在此情況下，盡管最先進(jìn)的模型在它們被訓(xùn)練的任務(wù)和域上展示出了和人類一樣甚至超越人類的性能，然而還是遭遇了明顯的表現(xiàn)下降甚至完全失效的問題。

因此，有必要從遷移學(xué)習(xí)的角度出發(fā)，對(duì)不具有海量數(shù)據(jù)集的缺陷目標(biāo)檢測(cè)領(lǐng)域展開研究。近年來已有較多關(guān)于遷移學(xué)習(xí)的研究進(jìn)展，清華大學(xué)的Tan.C等人[4]跟據(jù)遷移學(xué)習(xí)的方式的差別將目前的遷移學(xué)習(xí)分為四大類：基于實(shí)例的深度遷移學(xué)習(xí)[5-6]、基于映射的深度遷移學(xué)習(xí)[7-8]、基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)[9-11]和基于對(duì)抗的深度遷移學(xué)習(xí)[12-13]。其中基于實(shí)例的遷移學(xué)習(xí)是指使用特定的權(quán)重調(diào)整策略，通過為那些選中的實(shí)例分配適當(dāng)?shù)臋?quán)重，從源域種選擇部分實(shí)例作為目標(biāo)訓(xùn)練集的補(bǔ)充?；谟成涞纳疃冗w移學(xué)習(xí)是指將源域和目標(biāo)域種的實(shí)例映射到新的數(shù)據(jù)空間，在這個(gè)新的數(shù)據(jù)空間中，來自兩個(gè)域的實(shí)例都是相似且適用于聯(lián)合深度神經(jīng)網(wǎng)絡(luò)?；诰W(wǎng)絡(luò)的深度遷移學(xué)習(xí)是指服用在源域中預(yù)先訓(xùn)練好的部分網(wǎng)絡(luò)，包括其網(wǎng)絡(luò)結(jié)構(gòu)和連結(jié)參數(shù)，將其遷移到目標(biāo)中使用的深度神經(jīng)網(wǎng)絡(luò)的一部分?；趯?duì)抗的深度遷移學(xué)習(xí)是利用生成對(duì)抗網(wǎng)絡(luò)[14]技術(shù)，找到適用于源域和目標(biāo)域的可遷移表征。

在單源域遷移學(xué)習(xí)方面，目前已有較多相關(guān)研究[15-16]，但是如果源域和目標(biāo)域的相關(guān)度比較小，僅僅只是簡(jiǎn)單粗暴的進(jìn)行直接遷移將導(dǎo)致負(fù)遷移問題，這不僅不能促進(jìn)對(duì)缺陷目標(biāo)檢測(cè)的性能，而且還會(huì)降低整體的檢測(cè)精度。同時(shí)，僅僅利用一個(gè)源域的數(shù)據(jù)也是對(duì)數(shù)據(jù)集資源的浪費(fèi)，因此有必要采取多源域深度遷移學(xué)習(xí)的方式，從多種不同相似任務(wù)的數(shù)據(jù)集上挖掘更多有用的特征信息，使得網(wǎng)絡(luò)具有更好的泛化性能和魯棒性。

本文的研究是在基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)基礎(chǔ)上進(jìn)行的，以Mask R-CNN網(wǎng)絡(luò)[17]為基礎(chǔ)框架，通過混淆域?qū)W習(xí)的遷移學(xué)習(xí)方式在多源域數(shù)據(jù)集上實(shí)現(xiàn)了對(duì)液晶面板缺陷目標(biāo)的精準(zhǔn)檢測(cè)。

2 多源域深度遷移學(xué)習(xí)定義

2.1 遷移學(xué)習(xí)問題的定義

定義1：（域）數(shù)據(jù)（domain）由兩個(gè)部分組成，特征空間X和邊緣概率分布P(X)，其中。

定義2：（任務(wù)）給定一個(gè)域D={X,P(X)}，一個(gè)任務(wù)T由一個(gè)標(biāo)簽空間Y以及一個(gè)條件概率分布P（Y|X）構(gòu)成，該條件概率分布是從由特征—標(biāo)簽對(duì)組成的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到。

如圖1所示，為深度遷移學(xué)習(xí)概念示意圖。

2.2 多源域深度遷移學(xué)習(xí)定義

圖1 深度遷移學(xué)習(xí)示意圖

3 多源域深度遷移學(xué)習(xí)的液晶面板缺陷檢測(cè)

圖2 多源域深度遷移學(xué)習(xí)示意圖

本文采用Mask R-CNN作為多源域遷移學(xué)習(xí)的主干網(wǎng)絡(luò)，Mask R-CNN是何凱明在2017年提出的目標(biāo)檢測(cè)深度神經(jīng)網(wǎng)絡(luò)框架,是目前領(lǐng)先的目標(biāo)檢測(cè)算法。該網(wǎng)絡(luò)使用了一個(gè)全卷積層Mask層，并整合了焦點(diǎn)損失[18]、特征金字塔[19]和Faster R-CNN等[20]算法，將檢測(cè)和目標(biāo)分割同時(shí)完成，實(shí)現(xiàn)了較高的檢測(cè)精度。但是直接將該算法應(yīng)用在液晶面板缺陷檢測(cè)的任務(wù)時(shí)，結(jié)果表明檢測(cè)性能達(dá)不到工業(yè)生產(chǎn)的要求，一是因?yàn)閿?shù)據(jù)質(zhì)量參次不齊，二是此類小目標(biāo)識(shí)別問題需要提取更加精細(xì)化的特征。本文以此框架為基礎(chǔ)，進(jìn)行了基于混淆域?qū)W習(xí)的方式遷移學(xué)習(xí)訓(xùn)練，最終得到了對(duì)液晶面板缺陷能夠精準(zhǔn)檢測(cè)的模型。

3.1 基于混淆域的深度遷移學(xué)習(xí)算法框架

設(shè)X為樣本的輸入空間，x∈X為一個(gè)輸入樣本；Y為缺陷類型的標(biāo)簽空間，y∈Y為一個(gè)對(duì)應(yīng)的標(biāo)簽。將源域和目標(biāo)域上存在的分布分別記作，他們均是未知的分布，且他們有著一定的相似性和差異性。整個(gè)目標(biāo)檢測(cè)任務(wù)的學(xué)習(xí)最終的目的是給定目標(biāo)域中的任一個(gè)樣本x，通過其分布能夠預(yù)測(cè)其準(zhǔn)確的標(biāo)簽y。由于目標(biāo)域的數(shù)據(jù)質(zhì)量和數(shù)量都不足以表達(dá)該目標(biāo)檢測(cè)任務(wù)的真實(shí)分布，所以僅僅只在目標(biāo)域上進(jìn)行訓(xùn)練得到的預(yù)測(cè)的性能并不理想。多源域遷移的作用就在于能夠利用多源域的分布對(duì)目標(biāo)域的分布進(jìn)行補(bǔ)充，將多種分布的知識(shí)整合至目標(biāo)域中。如圖3所示，整個(gè)網(wǎng)絡(luò)由四個(gè)部分組成，第一部分是由Mask R-CNN的特征提取骨干網(wǎng)絡(luò)組成的特征提取模塊（Feature extraction Module，F(xiàn)EM），第二部是由Mask R-CNN的分類回歸和全卷積網(wǎng)絡(luò)部分所組成的液晶面板缺陷目標(biāo)檢測(cè)模塊（LCD Defect target detection module，LDTDM），第三部分為全卷積層和交叉熵組成的域分類模塊（Domain classification module，DCM），第四部分則是多源域?qū)W習(xí)網(wǎng)絡(luò)結(jié)構(gòu)中承上啟下的關(guān)鍵部分：多源域逆梯度層（Multi-source domain reverse gradient layer，MDRGL）。

圖3 基于域混淆學(xué)習(xí)的多源域深度遷移學(xué)習(xí)算法框架

3.2 基于混淆域的深度遷移學(xué)習(xí)的損失函數(shù)及其反向傳播算法

為了保證源域數(shù)據(jù)集對(duì)目標(biāo)域做出正向影響，本算法在網(wǎng)絡(luò)的特征提取模塊進(jìn)行了混淆域?qū)W習(xí)，保證該模塊內(nèi)源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)均對(duì)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)均有貢獻(xiàn)。要保證源域數(shù)據(jù)對(duì)目標(biāo)域是正遷移（即對(duì)目標(biāo)域分類器性能有促進(jìn)而非破壞），則必須保證源域?qū)W習(xí)和目標(biāo)域?qū)W習(xí)具有域不變的特性，也即分布函數(shù)式子（1）和（2）

他們應(yīng)具有相似的分布，由于該分布函數(shù)均屬于高維空間，且隨著學(xué)習(xí)不斷迭代的過程會(huì)不斷改變，所以直接測(cè)量二者的相似度來做出調(diào)整是比較困難的。但從域分類損失函數(shù)的角度分析是可以解決這個(gè)問題的，可以觀察到如若要保證FEM部分對(duì)不同域數(shù)據(jù)具有域不變特性，只需保證該模塊輸出的特征對(duì)域的分類效果幾乎沒有即可，也即域分類損失最大。與此同時(shí)，域分類損失函數(shù)其本身的任務(wù)決定了其目標(biāo)是習(xí)得參數(shù) 使得損失函數(shù)最小，因此對(duì)特征提取模塊的域混淆學(xué)習(xí)變成了二者的對(duì)抗學(xué)習(xí)，將其公式化可以表述如式（3）所示的損失函數(shù)。

其中，n為源域數(shù)，本文選取了四個(gè)源數(shù)據(jù)域的數(shù)據(jù)集參與混淆訓(xùn)練，因此n取值為4。

基于式（3）混淆域損失，多源域深度遷移算法的訓(xùn)練最終要尋找的最佳參數(shù)如式（5）和（6）所示。

在參數(shù)學(xué)習(xí)階段，仍采用SGD的學(xué)習(xí)算法進(jìn)行反向傳播，特征提取模塊和缺陷檢測(cè)目標(biāo)檢測(cè)模塊所學(xué)習(xí)的參數(shù)和學(xué)習(xí)方法和Mask R-CNN一致?；煜龑W(xué)習(xí)在域分類模塊向后傳播的梯度為，在缺陷目標(biāo)檢測(cè)模塊其向后傳播的梯度為。MDRGL層為多源域逆梯度層，其目的是改變梯度方向流動(dòng)時(shí)的符號(hào)，為特定域的梯度附上不同的權(quán)值，保證域混淆過程中權(quán)值更新的進(jìn)行。網(wǎng)絡(luò)的各個(gè)部分參數(shù)更新規(guī)則如式（7）-（9）所示：

4 仿真實(shí)驗(yàn)

4.1 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

本論文中使用所有缺陷類別的平均準(zhǔn)確率（mean Average Precision，mAP）作為最終的評(píng)價(jià)指標(biāo)，其定義為所有缺陷類別的準(zhǔn)確率-召回率曲線面積之和除以缺陷類別數(shù)目，如式（11）所示。

4.2 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)的環(huán)境為Intel Core i7-7700HQ 、CPU2.80 GHz、GPU Nvidia1080、內(nèi)存8GB的平臺(tái)上，利用Tensor flow2.0平臺(tái)完成。本實(shí)驗(yàn)使用的數(shù)據(jù)集為自制的液晶面板缺陷數(shù)據(jù)集，該數(shù)據(jù)集主要由6種液晶面板缺陷組成，這六種缺陷類別分別是：Mura、劃痕、暗點(diǎn)、亮點(diǎn)、劃缺和漏光。數(shù)據(jù)集中包含每種缺陷類別的圖片數(shù)量約800張。為進(jìn)行多源域的遷移學(xué)習(xí)，本文收集了多種類似液晶面板圖像的四種源域數(shù)據(jù)集，它們分別是DAGM數(shù)據(jù)集、GDXay數(shù)據(jù)集、Crack Forest數(shù)據(jù)集和Isheet數(shù)據(jù)集。其中DAGM數(shù)據(jù)是一個(gè)在2007年在“工業(yè)光學(xué)檢測(cè)的弱監(jiān)督學(xué)習(xí)”比賽中所發(fā)布的數(shù)據(jù)集；GDXay數(shù)據(jù)集是論文[21]所發(fā)布的工業(yè)缺陷的X射線數(shù)據(jù)集。Crack Forest數(shù)據(jù)集是論文[22]所發(fā)布的針對(duì)城市道路缺陷的數(shù)據(jù)集。最后一個(gè)Isheet是本文所收集制作的鐵皮缺陷數(shù)據(jù)集。

表1 算法性能對(duì)比表

表1展示了本文所提出的算法和目前在遷移學(xué)習(xí)領(lǐng)域表現(xiàn)最好的幾種算法進(jìn)行對(duì)比的結(jié)果。表中涉及的算法如下：第一行為Mask R-CNN僅在目標(biāo)檢測(cè)數(shù)據(jù)集TFTLCD上進(jìn)行訓(xùn)練，第二行為Mask R-CNN網(wǎng)絡(luò)在對(duì)應(yīng)的源域數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練之后，在目標(biāo)數(shù)據(jù)集上進(jìn)行Fine-tuning，第三行為論文[23]所提出的基于遷移學(xué)習(xí)的RTN網(wǎng)絡(luò)，其主要算法為將網(wǎng)絡(luò)的前大半部分層的預(yù)訓(xùn)練參數(shù)遷移至目標(biāo)任務(wù)的網(wǎng)絡(luò)，作為其特征提取模塊，并在其后添加自適應(yīng)分類器（adaptive classifiers，AC）進(jìn)行預(yù)測(cè)。第四行為論文[24]在2017年所提出的VDA算法（Visual domain adaptation，VDA），其核心思想是將自適應(yīng)學(xué)習(xí)和遷移學(xué)習(xí)結(jié)合，基于自適應(yīng)的矩陣進(jìn)行知識(shí)的遷移。本文將上述四種算法框架在表1所示的四種源域數(shù)據(jù)集和液晶面板缺陷數(shù)據(jù)集上進(jìn)行了性能對(duì)比。

實(shí)驗(yàn)結(jié)果表明，來自多源數(shù)據(jù)的豐富度越明顯時(shí)，算法在目標(biāo)域上表現(xiàn)有顯著提升，但從表的最后一列觀察得到其性能有所下降，其主要原因在于該數(shù)據(jù)集Isheet為自制的鐵皮缺陷數(shù)據(jù)集，其與目標(biāo)域特征相差較大，因此產(chǎn)生了負(fù)遷移。從表的縱向結(jié)果可以看到，相對(duì)于僅在目標(biāo)域的液晶面板數(shù)據(jù)集TFT-LCD數(shù)據(jù)集上訓(xùn)練所得的檢測(cè)效果而言，本文所提的算法有23.8%的提升，達(dá)到了79.6%的mAP。同時(shí)，本文算法在液晶面板任務(wù)檢測(cè)中的性能也超過了目前性能最優(yōu)的VDA和RTN算法。同時(shí)，本文針對(duì)Mura缺陷對(duì)比了上述幾種學(xué)習(xí)算法框架，得到了他們的precision-recall圖，如圖4所示。

5 結(jié)束語(yǔ)

本文提出了基于Mask R-CNN的多源域遷移學(xué)習(xí)的液晶面板缺陷檢測(cè)方法，主要針對(duì)缺陷檢測(cè)問題中普遍存在的數(shù)據(jù)不足和模型泛化性能較差等問題，采用來源于四種源域的數(shù)據(jù)進(jìn)行混淆域?qū)W習(xí)。實(shí)驗(yàn)表明，該算法與已有的缺陷檢測(cè)算法對(duì)比，具有更高的檢測(cè)精度和泛化性能，在液晶面板數(shù)據(jù)集TFT-LCD上達(dá)到了79.6%的mAP，相比非遷移學(xué)習(xí)方法提升了23.8%。該算法還且擁有良好的檢測(cè)效率，適用于工業(yè)生產(chǎn)的要求。

本文認(rèn)為針對(duì)此類訓(xùn)練數(shù)據(jù)不充足的異常檢測(cè)類型的問題，在遷移學(xué)習(xí)方面仍有進(jìn)一步研究的空間，后續(xù)的研究將在針對(duì)優(yōu)化缺陷知識(shí)的遷移方式上展開。

圖4 不同算法下Mura缺陷的Precise-Recall圖