基于DCGAN的印刷缺陷檢測方法

王海濤 高玉棟 侯建新 何勇軍 陳德運

摘 要：近年來，深度學習被廣泛應用于缺陷檢測。目前方法可以檢測較大的缺陷，但對于細微缺陷還是無法準確檢測。針對這一問題，提出了一種基于深度卷積生成對抗網絡（Deep convolutional generative adversarial networks，DCGAN）網絡的印刷缺陷檢測方法。該方法通過以下幾點來提高檢測精度：①在原有網絡的基礎上增加上采樣模塊，減少上采樣中的損失;②提出一種自注意力機制，生成結構性更復雜和細節(jié)更準確的圖像;③統(tǒng)計分析生成圖像的噪聲分布，確定最佳閾值，去除噪聲，獲得準確的缺陷圖像。該方法加入了去噪處理，優(yōu)化了網絡結構，提高了DCGAN生成圖像的精度。實驗表明，與現(xiàn)有方法相比，在小于5像素的缺陷檢測實驗中，本方法可以使檢測精度提高10%。

關鍵詞：DCGAN;自注意力機制;缺陷檢測;圖像重建

DOI：10.15938/j.jhust.2021.06.004

中圖分類號： TP391;TH742

文獻標志碼： A

文章編號： 1007-2683（2021）06-0024-09

A Method of Printing Defect Detection Based on DCGAN

WANG Hai-tao1， GAO Yu-dong2， HOU Jian-xin2， HE Yong-jun2， CHEN De-yun2

（1.Moden Educational Technology Center，Harbin University of Science and Technology，Harbin 150080， China;

2.School of Computer Science and Technology，Harbin University of Science and Technology，Harbin 150080， China）

Abstract：In recent years， deep learning has been widely used in defect detection. At present， the method can detect large defects， but it is still unable to detect the fine defects accurately. In order to solve this problem， this paper proposes a new method of printing defect detection based on deep convolutional general advanced networks （DCGAN） networks. The method improves the detection accuracy by the following points： ①The upper sampling module is added on the basis of the original network， and the loss in the upper sampling is reduced; ②A self-attention mechanism is proposed to generate more complex and accurate images; ③The noise distribution of the image is analyzed statistically， the optimal threshold is determined， the noise is removed and the accurate defect image is obtained. This method adds denoising processing， optimizes the network structure， and improves the accuracy of DCGAN image generation.The experiment shows that the accuracy of the method can be improved by 10% in the defect detection experiment to less than 5 pixels compared with the existing method.

Keywords：DCGAN; self-attention mechanism; defect detection; image reconstruction

0 引 言

隨著生活水平的提高，人們對于印刷品的外觀質量也有了更高的要求。中國擁有巨大的印刷市場，印刷檢測也成為了學術界的研究熱點。傳統(tǒng)的人工檢測，不僅費時費力，而且不同質檢員有不同的檢測標準，同時還伴隨著疲勞而導致的誤檢漏檢。這種方式在追求質量與效率的當下逐漸被淘汰，已經由自動化的機器視覺檢測所替代。自動化檢測可以實現(xiàn)24h同標準同速度的檢測，不會有人工疲勞帶來的風險，同時極大的節(jié)約了人力物力，是當前最為流行的檢測方式。但是隨著深度學習的到來，人們慢慢不滿足于機器視覺的檢測效果。傳統(tǒng)的機器視覺通過模板匹配的方式來進行檢測缺陷。這種圖像相減獲得缺陷的方式，受限于圖像校準的性能。如果無法完美校準，則會有圖像和特征邊界處的缺陷出現(xiàn)。此時基于深度學習的缺陷檢測框架剛好可以彌補這一不足。與傳統(tǒng)的機器視覺方法相比，基于深度學習的方法可以自動提取圖像特征，簡化圖像預處理過程，有效的提高了缺陷檢測的準確性和效率[1]。Zhao等[2]利用生成式對抗網絡（GAN，generative adversarial networks）和自編碼器（autoencoder，AE）實現(xiàn)表面缺陷圖像的重建，然后將輸入圖像和重建圖像輸入到局部二值模式（local binary pattern，LBP）算法處理后再做差獲得缺陷。但是這種方式目前還無法檢測細微缺陷。

1 國內外相關研究

在印刷缺陷檢測領域，目前國內外的學者已經對此問題做出了很多的探索和研究。主要包括傳統(tǒng)檢測方法和基于深度學習的檢測方法。

1.1 傳統(tǒng)方法

傳統(tǒng)的檢測方法主要有以下幾種。馬斌武提出了一種二次模板匹配的算法。首先通過模板匹配定位待檢特征，使用閾值分割獲得特征區(qū)域，然后進行第二次模板匹配檢測缺陷。該方法可以靈活檢測不規(guī)則特征，但檢測精度受限于模板匹配之前的圖像校準，還無法準確檢測細微缺陷[3]。王一紅針對在線檢測提出了一種基于相似度的檢測方法，根據相似性可以檢測傾斜角度和是否含有缺陷[4]。

1.2 深度學習方法

近年來深度學習在缺陷檢測領域也有很多探索。按照訓練樣本的數據標簽的不同，可以分成全監(jiān)督學習模型、無監(jiān)督學習模型和半監(jiān)督學習模型。

其中全監(jiān)督學習模型的方法比較普遍。Cha[5]使用基于區(qū)域的快速卷積神經網絡（faster region-based convolutional neural network，F(xiàn)aster R-CNN）模型進行表面缺陷檢測，把核心替換成ZF-net，獲得了87.8%的mAP。Zhong等[6]提出了一種不同于Faster R-CNN的方法，他們先對低層兩組特征圖進行降采樣，然后對高層特征圖上采樣，將他們聯(lián)結形成新的超特征圖，最后對新的超特征圖進行proposal提取。Tao等[7]設計了一個兩階段的Faster R-CNN網絡用于缺陷定位，第一階段用于缺陷所在的區(qū)域定位，第二個階段實現(xiàn)區(qū)域中的缺陷定位。然后，Xue等[8]對Faster R-CNN模型進行了改進，其核心采用改進的Inception全卷積網絡得到特征圖，同時增加兩個錨框比例，使用位置敏感的ROIpooling替代傳統(tǒng)的ROIpooling，精度和速度都較之前有所提升。Ding等[9]提出了一種針對印制電路板（Printed Circuit Board，PCB）表面缺陷檢測網絡（TDD-Net），該方法使用k均值聚類設計合理錨框大小，從而加強了來自底層結構信息的融合，使得網絡適應微小的缺陷檢測。He等[10]提出了基于Faster R-CNN的帶鋼表面缺陷檢測網絡，該網絡通過將backbone中多級特征圖組合為一個多尺度特征圖，獲得了83.2%的mAP。Li等[11]提出了一種基于MobileNet-SSD的方法，利用MobileNet優(yōu)化了backbone結構，從而簡化了檢測模型參數。Liu等[12]同樣對MobileNet-SSD網絡加以改進，其改進點在于采用MobileNet作為backbone，并且只使用4 個不同的特征圖來加速目標檢測。而Zhang等[13]在原始YOLOv3網絡基礎上引入了預訓練權重、批再規(guī)范化和Focal loss，進一步提高了缺陷檢測率。另外還有人改進FCN網絡進行缺陷檢測。Wang等[14]提出一種基于FCN的缺陷分割方法，通過融合多尺度采樣層的特征圖來細化分割輪胎圖像中的缺陷。而Yu等[15]提出了一個基于FCN的兩階段表面缺陷分割模型，第一階段用輕量級的FCN網絡獲取粗略的缺陷區(qū)域，第二階段的FCN用于細化缺陷分割結果。Dung等[16]提出了一種基于FCN網絡的缺陷分割方法，引入了VGG16編碼器，其平均像素準確率達到90%。同時還有基于Unet網絡的缺陷檢測方法。Huang等[17]使用MCuePush Unet的模型用于檢測。其改進在于輸入為MCue模塊生成三通道圖像，一個為顯著性圖像，另外兩個為原始圖像。Li等[18]提出了一種基于改進Unet網絡的表面缺陷分割方法。在編碼器采用Dense Block模塊，同時用逐像素求和方法來替代跳層連接原始的concat操作。

無監(jiān)督學習模型是基于正常樣本學習的方法，只接受正常（無缺陷）樣本進行訓練，使其具備正常樣本分布的重建和判別能力。Mei等[19]通過卷積自動編碼網絡在不同的高斯金字塔等級上重建圖像子塊，并將這些不同分辨率通道的重建結果進行合并，取得了相比傳統(tǒng)圖像處理方法好的效果。Haselmann等[20]設計了一個基于全卷積的自動編碼器網絡，利用網絡對缺陷圖片的補全和重建的誤差實現(xiàn)缺陷檢測。Kang等[21]設計了一個深度去噪編碼器，通過計算重建誤差來檢測圖像中的缺陷。Youkachen等[22]使用卷積自動編碼器（convolutional autoencoder，CAE）重建圖像，通過銳化處理重建誤差獲取最終的缺陷分割結果。Bergmann等[23]首次將傳統(tǒng)圖像處理中的SSIM（structural similarity）重構損失，引入到基于自動編碼器的圖像重構中，實驗結果表明SSIM損失能大幅提高表面缺陷檢測的效果。Yang等[24]提出了一種基于無監(jiān)督多尺度特征聚類的全卷積自動編碼器（MS-FCAE）方法，利用不同等級的FCAE子網來重建背景圖像，以達到最大程度地提高效率和編碼特征圖的判別能力。Zhai等[25]采用多尺度融合策略融合GAN鑒別器的三個卷積層的響應，然后利用大津法分割在融合特征響應圖上分割出缺陷位置。Akcay等[26]提出了一種GANomaly檢測圖像異常，其創(chuàng)新點在于引入了編碼解碼和再編碼模塊。

目前的方法在細微缺陷的檢測方面，其性能仍然不理想。傳統(tǒng)的模板匹配方式受限于待檢圖像與模板圖像的校準性能。特別是圖像的邊緣位置。如果沒有校準，則會出現(xiàn)錯位，引起誤檢。

深度學習方法可以應對較為復雜的實際檢測環(huán)境。其中監(jiān)督學習利用大量的標記數據來進行模型訓練，可以檢測出訓練數據中標記缺陷類型，卻無法檢測出未標記的缺陷。使用正樣本訓練的無監(jiān)督學習可以實現(xiàn)對缺陷圖像的重建，利用重建圖像與原始圖像做差得到的結果，再進行優(yōu)化處理可以實現(xiàn)檢測任意缺陷。但目前只能用于簡單統(tǒng)一的紋理表面缺陷檢測，對于復雜表面的細微缺陷還無法實現(xiàn)高準確度的檢測。因此本文針對負樣本數據難以收集，圖像校對準確度要求高的特點，提出了一種DCGAN網絡缺陷檢測框架，用于實現(xiàn)印刷的細微缺陷檢測。

與原始的DCGAN相比，本文在以下3個方面做出了改進。第一，為了減少上采樣中的損失，在DCGAN的解碼過程中增加上采樣模塊，模塊內是使用兩種方式上采樣，然后取兩種上采樣結果的平均值。第二，提出了一種自注意力機制，加入閾值分割，提高目標區(qū)域的注意力權重，從而使得網絡可以生成結構性更為復雜和細節(jié)更為準確的圖像。第三，統(tǒng)計分析生成器生成圖像的噪聲分布，確定最佳閾值，去除噪聲，獲得缺陷圖像。提高了檢測精度。完整的流程如圖1所示。

2 方 法

2.1 DCGAN

基于GAN網絡的無監(jiān)督缺陷檢測目前還無法檢測細微缺陷，其關鍵點在于GAN網絡生成的圖像在細節(jié)處與原圖還是存在差異。所以本文通過減少網絡中特征提取的損失，得到與原圖差異更小的生成圖，做到比之前的細微檢測更好的效果。

DCGAN是對Goodfellow在2014年提出的原始GAN的一種改進。DCGAN網絡把卷積網絡引入到生成模型中，利用卷積網絡強大的特征提取特性，提高了生成網絡的學習效率。DCGAN和GAN的原理一樣，都是生成對抗模型。相比于GAN網絡做了以下幾點改進：①在生成網絡中使用轉置卷積（transposed convolutional layer）來進行上采樣，鑒別網絡中使用加入stride的卷積替代池化層;②除了網絡的輸入層，其他層全部使用了批量歸一化（batch normalization），使用BN可以穩(wěn)定學習，有助于在更深層的模型中實現(xiàn)梯度流;③去掉全連接層，使網絡變?yōu)槿矸e網絡。增加了模型的穩(wěn)定性;④生成網絡中使用ReLU作為激活函數，最后一層使用tanh;⑤鑒別網絡中使用LeakyReLU作為激活函數。

基于DCGAN網絡中的圖像檢測框架。訓練階段，先訓練GAN網絡，獲得一個可以修復缺陷圖像的生成網絡模型。將一維數據生成出一幅圖像，再交由鑒別器判斷。當鑒別器無法分辨出生成圖像與真實圖像的區(qū)別時，生成模型訓練完成。然后在檢測階段，對于待檢圖片，用生成模型對其進行修復，將修復前后的圖像進行對比做差操作，就可以定位缺陷位置。Kun Ren[27]提出了一種基于LS-DCGAN的語義修復算法，通過DCGAN網絡生成具有相似分布的損壞圖像的圖像來預測丟失的語義信息。

由于輸入的是一幅未知缺陷的圖片，而網絡所需要的輸入是一維噪聲數據，所以需要先通過下采樣將圖片處理成一維數據。然后再輸入給生成網絡。具體網絡結構見圖2中生成器網絡結構所示。下采樣過程包含7層網絡，每一層網絡由一個卷積層、一個批量歸一化層、一個ReLU層組成。其中卷積網絡的卷積核大小為4，步長為2，填充為1。其中第一層不加ReLU層。

將生成的一維向量數據，輸入給生成器，同樣經過7層網絡，每一層網絡由一個反卷積層、一個批量歸一化層、一個ReLU層組成。其中反卷積網絡的卷積核大小為4，步長為2，填充為1。

鑒別器網絡過程包含7層網絡，每一層網絡由一個卷積層、一個批量歸一化層、一個ReLU層組成。其中第一層不加ReLU層，最后一層使用sigmoid函數進行判斷。

DCGAN網絡中的生成層，只采用一層反卷積操作，其結果是圖像的細節(jié)部分修復之后不是很清晰。這對于后續(xù)的圖像處理有很大影響，間接導致無法檢測細小缺陷。所以我們在生成網絡上采樣過程中加入了上采樣模塊。模塊內容是每一層使用兩種不同方式進行上采樣。分別為一次反卷積，一次2D最近鄰上采樣，然后取兩次結果的平均值，獲得最后的輸出。該模塊相當于取兩次不同上采樣的結合數據，防止上采樣導致的信息流失和誤差，可以進一步有效的細化圖像的細節(jié)。使用不同的采樣方式可以提取到不同的淺層局部圖像特征，有助于紋理特征的提取，綜合所有層次獲得更好的重建效果，減弱外界因素的影響，更好的適應不同環(huán)境。上采樣模塊具體結構如圖3所示。

2.2 自注意力機制

注意力機制（attention mechanism）模仿了生物觀察行為的內部過程，即一種將內部經驗和外部感覺對齊從而增加部分區(qū)域的觀察精細度的機制。自注意力機制（self-attention mechanism）是注意力機制的改進，減少了對外部信息的依賴，更擅長捕捉數據或特征的內部相關性。

傳統(tǒng)的編碼器解碼器框架有一個問題就是編碼器需要將輸入轉化成一個固定長度的向量，將其傳遞給解碼器。在轉化向量過程中，會損失一些信息，而這些信息中有可能包含重要信息。本文力圖在編碼解碼階段可以把注意力放在一些重要區(qū)域，保留更多的有用信息，可以提升網絡提取特征的能力。同時忽略重要性低的區(qū)域，節(jié)省網絡計算力的消耗，減少時間。大多數用于圖像生成的基于GAN的模型是使用卷積層構建的。卷積處理局部鄰域中的信息，因此單獨使用卷積層對圖像中的長距離相關性建模在計算上效率低下。因此，將自我注意引入到GAN框架中，使得生成器和鑒別器都能夠有效地對彼此分離的空間區(qū)域之間的關系進行建模。Zhang H[28]提出在GAN網絡的基礎上引入注意力機制，可以彌補只能通過鄰近局部依賴生成近似圖像的不足，實現(xiàn)了遠程依賴關系建模，提高了對于細節(jié)部分的生成能力。

本文針對印刷品的缺陷檢測問題，主要關注于印刷圖案的邊界。應用自注意力機制逐步抑制DCGAN編碼路徑中不相關背景區(qū)域的特征響應，而聚焦于印刷圖案的邊界，產生更具分辨性的特征表示。圖4中引入的自注意力機制，x代表輸入的特征圖，f（t），g（x）和h（x）都是1x1卷積，差別在于輸出通道大小不同。對特征圖x做閾值分割獲得分割圖t，然后把分割圖t作為卷積處理的輸入，參與注意力圖的計算，可以提高目標區(qū)域的注意力權重，獲得更好的細節(jié)處理。通過三種卷積進行特征提取獲得三個特征圖。將f（t）的輸出特征圖轉置，并和g（x）的輸出特征圖相乘，再經過softmax歸一化得到一個注意圖（attention map），最后用softmax計算每個事件的概率占所有事件概率之和的比例。因此該圖表示了每個位置的重要性及注意程度。將得到的注意圖和h（x）逐像素點相乘，得到自適應的注意力特征圖。

卷積提取特征過程中會丟失一些數據，其中有可能包含缺陷信息。該過程可以自動注意重要部分的數據，利用所有位置的特征來幫助生成圖片的某一細節(jié)，可以生成結構性更為復雜的圖像。

2.3 去除噪聲影響

閾值分割是一種傳統(tǒng)的圖像分割方法，這種方式利用圖像中目標與背景在灰度值上的差異，把像素級分成若干類，從而實現(xiàn)目標與背景的分離。具體流程為：通過判斷圖像中每一個像素點的特征屬性是否滿足閾值的要求，來確定圖像中的該像素點是屬于目標區(qū)域還是背景區(qū)域，從而將一幅灰度圖像轉換成二值圖像。閾值分割方法計算簡單，可以形成閉合且邊界不交疊的區(qū)域，在圖像處理領域有著很好的普適性，通常情況下使用可以取得很好的結果。但是應對本文的情況，由于缺陷與特征有時會有同樣灰度值，閾值分割效果不太理想。

我們在生成圖像與原圖像生成的差圖上定位缺陷，差圖中會出現(xiàn)一些噪聲，影響檢測結果。這些噪聲是因為生成器生成的圖像與原圖在某些區(qū)域存在微小差異，從而在差圖上會產生噪聲。所以為了保證檢測結果的準確性，去除噪聲十分重要。因為正樣本可以排除缺陷的干擾，所以選擇50張正樣本圖像。使用正樣本圖像與其對應的生成圖做差產生差圖，統(tǒng)計這些差圖的直方圖進行匯總比較。這里需要把灰度值轉為整型，然后對兩圖灰度值相減的結果取絕對值，最后，我們利用直方圖來顯示噪聲分布。通過多次實驗，發(fā)現(xiàn)對于訓練穩(wěn)定的模型所產生的噪聲存在一定的分布規(guī)律。如圖5所示。

圖5中x軸表示灰度值，y軸表示像素個數。從圖中可以發(fā)現(xiàn)噪聲有規(guī)律的集中分布在的坐標軸的左側。這是因為生成圖像與原圖之間存在的差異肉眼無法分辨，所以計算出來的差值非常小，有的區(qū)域比原圖灰度值更高，有的區(qū)域更低，取絕對值之后，數值會很小，所以會產生噪聲的灰度值都分布在坐標軸的左側。

為了去除噪聲，我們通過選取20張無缺陷待檢圖像的差圖，統(tǒng)計分析差圖中的噪聲分布，從而去除噪聲，獲得最終的缺陷圖。步驟如下：

1）統(tǒng)計差圖中灰度值的像素個數，灰度值為x，像素個數為y。

2）對x，y擬合曲線，獲得噪聲分布y=m（x）。

3）計算y=0時的x的最小值，即為噪聲消失的x，設為閾值key。

4）差圖利用key進行閾值處理去噪，獲得最終缺陷圖。

通過該方法可以得出一個理想閾值，通過閾值分割能夠有效去除噪聲，保證檢測結果的準確性，從而滿足實驗要求。具體的實際情況可以參照圖6。

圖6（a）是帶有缺陷的圖片;（b）生成的重建圖是使用本文網絡生成的對應無缺陷圖片;（c）差圖是由重建圖與缺陷原圖做差產生的，其中不僅包含缺陷，還存在一些肉眼不可見的噪聲，該噪聲由于模型產生，所以符合模型的性能，穩(wěn)定出現(xiàn)在每一張生成圖片中;（d）最終效果圖，我們通過統(tǒng)計分析噪聲，確定噪聲分布，然后去除差圖中的噪聲，來獲得只含有缺陷的最終效果圖。

3 實驗結果

本節(jié)將展示本文算法的缺陷檢測細微缺陷效果，以及改進DCGAN網絡方法的一系列對比實驗，并從準確率上對本文方法作評價。首先介紹實驗數據準備和評價方法，然后設計DCGAN改進方法的對比實驗。在本數據集上用本文提出的算法和其他改進網絡檢測效果進行對比，驗證本文算法的有效性和高效性。

3.1 實驗準備

本模型訓練環(huán)境是基于ubuntu 16.04系統(tǒng)，配備NVIDIA GeForce RTX 2080顯卡，算法基于pytorch框架實現(xiàn)。

3.1.1 數據準備和預處理

根據本文的實驗目的，為了測試復雜環(huán)境下對于微小缺陷的檢測結果。我們從1000張模擬工業(yè)環(huán)境下拍攝的清晰手機盒l(wèi)ogo圖片中選出200張作為數據集。

由于選用2592×1944的圖片過大，所以對其提取ROI（region of interest，感興趣區(qū)域），尺寸為635×330。為了適應網絡訓練，我們將圖像分割成256×256大小的圖片。如果不能正好分割，就將其中一部分重復分割。具體的分割結果如圖7所示。

為了增加訓練模型可用數據，我們在訓練數據集上進行數據擴充，主要包括旋轉、翻轉等，最終得到3200張訓練圖像數據。

3.1.2 生成隨機缺陷

我們使用隨機生成的方式添加缺陷。步驟如下：

1）創(chuàng)建一個與原圖大小一致的0矩陣。

2）根據圖片大小及半徑的范圍隨機生成一個位置，以該位置為圓心生成半徑為R的圓。

3）提取圓的全部像素坐標，根據隨機數從中確定出8個隨機坐標。

4）利用8個坐標形成輪廓，再利用opencv中的凸包函數，生成隨機缺陷。

5）重復步驟1）-4）隨機生成1～5個缺陷，這樣就可以實現(xiàn)缺陷的數量、位置與大小隨機。

生成隨機缺陷如圖8所示。

3.1.3 損失函數

在DCGAN改進網絡中，本文網絡采用了BCEloss損失函數計算損失值，用于測量重構誤差，誤差最小時獲得最優(yōu)模型。損失函數為

loss（xi，yi）=-wi[yilogxi+（1-yi）log（1-xi）]（1）

其中：i為訓練樣本;y為模型預測的類別概率;w為權重。

3.1.4 評價指標

為了評估模型對印刷圖像的缺陷檢測性能，我們主要采用準確率（accuracy）、靈敏度（sensitivity）、精度（precision）以及F1值作為評價指標。其中F1值同時考慮精確率和召回率，讓兩者同時達到最高，取得平衡。計算方式如下：

Acc=TP+TNTP+TN+FP+FN（2）

SE=TPTP+FN（3）

PC=TPTP+FP（4）

F1=2×PC×SEPC+SE（5）

式中：TP為真正例（true positive），真實標簽和模型預測皆為無缺陷;TN為真負例（true negative），真實標簽和模型預測皆為有缺陷;FP為假正例（false positive），真實標簽為有缺陷而模型預測為無缺陷;FN為假負例（false negative），真實標簽為無缺陷而模型預測為有缺陷。

3.2 實驗結果及分析

3.2.1 對比實驗

主要對比本文方法與DCGAN方法在檢測細微缺陷大小的性能。制作缺陷大小分別為1-10像素10個類別的缺陷圖像，總計1000張圖片。對比方法有以下幾種：其中原始方法（DCGAN），在原來網絡的基礎上只增加上采樣模塊，在原來網絡的基礎上只增加改進的自注意力機制，兩者都增加的檢測方法Our。

從圖中可以看出，在5像素以上，兩個方法都能夠以較高的概率正確檢測。但是5像素以下，本文方法相較于原DCGAN網絡方法有明顯提升。圖10中的圖片可以顯示改進前后對于不同大小缺陷的檢測結果。（a）為缺陷圖片，（b）為原始的圖片，（c）為DCGAN網絡檢測結果，（d）為只增加上采樣模塊的結果，（e）為只增加改進的自注意力機制的結果，（f）為我們融合兩種方法的結果。其中對于后面三種方法都加入去噪處理，相較于改進之前，在大于5像素的缺陷檢測中，效果差別不大。在檢測缺陷面積小于5像素的圖片中，（d）和（e）方法都有所提升，我們綜合兩種方法的結果可以檢測細小缺陷，效果提升更好，準確率提高了10%。

3.2.2 缺陷檢測對比實驗

本節(jié)主要將本文算法（Our方法）與DCGAN方法（DCGAN）、用生成式對抗網絡進行無監(jiān)督異常監(jiān)測方法AnoGAN[29]，以及雙重程序自動檢測缺陷方法AMSDD[30]，在本文實驗數據上做對比實驗。

實驗結果如表1和圖11所示，可以看出，與其他算法相比，本文引入了自注意力機制，增強了長距離像素間的相互影響，可以生成結構性更為復雜的圖像。引入上采樣改進模塊，結合兩次上采樣結果，有效的保留了更多細節(jié)，可以獲得更高的準確率。所以本文方法在Acc、PC、SE、F1等多項指標上的準確率更高。AnoGAN在其他方法中準確率最高，本文提出的方法相較于AnoGAN方法提高了2.4%。相較于改進之前的DCGAN提高了6.4%。綜上所示，本文缺陷檢測方法在準確率上具有優(yōu)勢。

4 結 論

本文提出了基于DCGAN網絡的印刷缺陷檢測方法。通過引入上采樣改進模塊，自注意力機制和使用統(tǒng)計方式確定分割閾值的方法，提高了檢測精度和速度。首先在DCGAN的上采樣過程中引入改進模塊，結合兩種卷積層提取的特征，以保留更多細節(jié)，減少信息丟失。其次，引入自注意力機制，利用所有位置的特征來幫助生成圖片的細節(jié)，可以生成結構性更為復雜的圖像。最后，學習生成器生成圖像的噪聲分布，確定最佳閾值，去除噪聲，獲得缺陷圖像。試驗結果表明，本文方法在缺陷檢測方面具有較好的表現(xiàn)，相比于之前的方法在細小缺陷檢測中可以提高檢測精度。

參 考 文 獻：

[1] HU B， WANG J. Detection of PCB Surface Defects With Improved Faster-RCNN and Feature Pyramid Network[J]. IEEE Access，2020，8：108335.

[2] ZHAO Z，LI B，DONG R，et al. A Surface Defect Detection Method Based on Positive Samples[C]// Proceedings of the Pacific Rim International Conference on Artificial Intelligence. Nanjing，China： Springer，2018： 473.

[3] MA B， et al.，The Defect Detection of Personalized Print Based on Template Matching[C]// 2017 IEEE International Conference on Unmanned Systems （ICUS），Beijing，2017.

[4] LI Y，ZHAO W， PAN J. Deformable Patterned Fabric Defect Detection With Fisher Criterion-Based Deep Learning[J]. IEEE Transactions on Automation Science and Engineering，2017，14（2）：1256.

[5] CHA Y J，CHOI W，SUH G，et al. Autonomous Structural Visual Inspection Using Region-based Deep Learning for Detecting Multiple Damagetypes[J]. Computer-Aided Civil and Infrastructure Engineer-ing，2018，33（9）： 731.

[6] ZHONG J，LIU Z，HAN Z，et al. A CNN-Based Defect Inspection Method for Catenary Split Pins in High-Speed Railway[J]. IEEE Transactions on Instrumentation and Measurement，2018，68（8）：2849.

[7] TAO X，ZHANG D P，WANG Z H，et al. Detection of Power Line Insulator Defects Using Aerial Images Analyzed with Convolutional Neural Networks[J]. IEEE Transactions on Systems，Man，and Cybernetics： Systems，2020，50（4）：1486.

[8] XUE Y，LI Y. A Fast Detection Method Via Region-based Fully Convolutional Neural Networks for Shield Tunnel Lining Defects[J]. Computer-Aided Civil and Infrastructure Engineering，2018，33（8）： 638.

[9] DING R，DAI L，LI G，et al. TDD-net： A Tiny Defect Detection Network for Printed Circuit Boards[J]. CAAI Transactions on Intelligence Technology，2019，4（2）： 110.

[10]HE Y，SONG K，MENG Q，et al. An End-to-end Steel Surface Defect Detection Approach Via Fusing Multiple Hierarchical Features[J]. IEEE Transactions on Instrumentation and Measurement，2020，69（4）： 1493.

[11]LI Y，HUANG H，XIE Q，et al. Research on a Surface Defect Detection Algorithm Based on MobileNet-SSD[J]. Applied Sciences，2018，8（9）： 1678.

[12]LIU Z，LIU K，ZHONG J，et al. A High-Precision Positioning Approach for Catenary Support Components With Multiscale Difference[J]. IEEE Transactions on Instrumentation and Measurement，2020，69（3）： 700.

[13]ZHANG C，CHANG C C，JAMSHIDI M. Concrete Bridge Surface Damage Detection Using a Single-stage Detector[J]. Computer Aided Civil and Infrastructure Engineering，2020，35（4）：389.

[14]WANG R，GUO Q，LU S，et al. Tire Defect Detection Using Fully Convolutional Network[J]. IEEE Access，2019，7：43502.

[15]YU Z，WU X，GU X. Fully Convolutional Networks for Surface Defect Inspection in Industrial Environment[C]// Proceedings of International Conference on Computer Vision Systems.Shenzhen，China： Springer，2017： 417.

[16]DUNG C V. Autonomous Concrete Crack Detection Using Deep Fully Convolutional Neural Network[J]. Automation in Construction，2019，99： 52.

[17]HUANG Y，QIU C，GUO Y，et al. Surface Defect Saliency of Magnetic Tile[C]// Proceedings of 14th International Conference on Automation Science and Engineering （CASE）， Munich，Germany，2018： 612.

[18]LI S，ZHAO X，ZHOU G. Automatic Pixel-level Multiple Damage Detection of Concrete Structure Using Fully Convolutional Network[J]. Computer-Aided Civil and Infrastructure Engineering，2019，34（7）： 616.

[19]MEI S，YANG H，YIN Z. An Unsupervised-learning-based Approach for Automated Defect Inspection on Textured Surfaces[J].IEEE Transactions on Instrumentation and Measurement，2018，67（6）： 1266.

[20]HASELMANN M，GRUBER D P，TABATABAI P. Anomaly Detection Using Deep Learning Based Image Completion[C]// Proceedings of the 17th IEEE International Conference on Machine Learning and Applications （ICMLA）. Orlando，F(xiàn)lorida，USA，2018： 1237.

[21]KANG G，GAO S，YU L，et al. Deep Architecture for Highspeed Railway Insulator Surface Defect Detection： Denoising Autoencoder with Multitask Learning[J]. IEEE Transactions on Instrumentation and Measurement，2018，68（8）：2679.

[22]YOUKACHEN S，RUCHANURUCKS M，PHATRAPOMNANT T，et al. Defect Segmentation of Hot-rolled Steel Strip Surface by using Convolutional Auto-Encoder and Conventional Image Processing[C]// Proceedings of the 10th International Conference of Information and Communication Technology for Embedded Systems （IC-ICTES）. Bangkok，Thailand，Thailand，2019： 1.

[23]BERGMANN P，LOWE S，F(xiàn)AUSER M，et al. Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders[J]. arXiv Preprint arXiv：1807.02011，2018.

[24]YANG H，CHEN Y，SONG K，et al. Multiscale Feature Clustering-Based Fully Convolutional Autoencoder for Fast Accurate Visual Inspection of Texture Surface Defects[J].IEEE Transactions on Automation Science and Engineering，2019，16（3），1450.

[25]ZHAI W，ZHU J，CAO Y，et al. A Generative Adversarial Network Based Framework for Unsupervised Visual Surface Inspection[C]// Proceedings of the International Conference on Acoustics，Speech and Signal Processing （ICASSP）. Calgary，AB，Canada，2018：1283.

[26]AKCAY S，ATAPOUR-ABARGHOUEI A，BRECKON T P. Ganomaly：Semi-supervised Anomaly Detection Via Adversarial Training[C]// Proceedings of the Asian Conference on Computer Vision. Perth，Australia，2018： 622.

[27]REN K，MENG L，F(xiàn)AN C， et al. Least Squares DCGAN Based Semantic Image Inpainting[C]// 2018 5th IEEE International Conference on Cloud Computing and Intelligence Systems （CCIS），Nanjing，China，2018：890.

[28]ZHANG H，GOODFELLOW I，METAXAS D N，et al. Self-Attention Generative Adversarial Networks[J]. arXiv： Machine Learning，2018.

[29]SCHLEGL T，SEEBOCK P，WALDSTEIN S M，et al. Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery[C]// International Conference Information Processing，2017： 146.

[30]TAO Xian，ZHANG Dapeng，MA Wenzhi，et al. Automatic Metallic Surface Defect Detection and Recognition with Convolutional Neural Networks[J]. Applied Sciences-Basel， 2018，8（9）：1575.

（編輯：王 萍）

收稿日期： 2020-11-20

基金項目： 國家自然科學基金（61673142）;黑龍江省自然科學基金（JJ2019JQ0013）;哈爾濱市杰出青年人才基金（2017RAYXJ013）;黑龍江省自然科學基金（F2017013）;黑龍江省普通本科高等學校青年創(chuàng)新人才項目（UNPYSCT-2016034）;黑龍江省教育廳科學技術研究項目（12511096）;哈爾濱理工大學青年拔尖創(chuàng)新人才（20152）;中國博士后基金（20132303120003）.

作者簡介：

王海濤（1980—），男，高級工程師;

高玉棟（1995—），男，碩士研究生.

通信作者：

陳德運（1962—），男，博士，博士研究生導師，E-mail：chendeyun@hrbust.edu.cn.

3297501908261