基于機(jī)器視覺和深度學(xué)習(xí)的鋼板表面缺陷檢測研究綜述

李雪露，楊永輝，儲(chǔ)茂祥

（遼寧科技大學(xué) 電子與信息工程學(xué)院，遼寧 鞍山 114051）

受生產(chǎn)環(huán)境和機(jī)器裝置的影響，鋼板易產(chǎn)生麻點(diǎn)、劃傷、裂紋等缺陷。這些缺陷使鋼板的抗腐蝕和耐磨性能變差，產(chǎn)品質(zhì)量降低，美觀程度大打折扣［1］。隨著“工業(yè)4.0”“中國制造2025”等概念的提出，我國對制造業(yè)生產(chǎn)提出了更高的要求，不僅要求產(chǎn)品的使用性能要加強(qiáng)，對其質(zhì)量、形狀、美觀也提出較高標(biāo)準(zhǔn)。發(fā)展制造業(yè)必須提升企業(yè)綜合素質(zhì)，強(qiáng)化行業(yè)創(chuàng)新能力，加強(qiáng)產(chǎn)品質(zhì)量檢測。其中，鋼板表面缺陷檢測對降低生產(chǎn)成本，提高生產(chǎn)效率和產(chǎn)品質(zhì)量有著重要意義［2］。

早期的鋼板表面缺陷檢測方法主要包括人工檢測法、渦流檢測法［3］、紅外線檢測法［4］、漏磁檢測法［5］、超聲波檢測法［6］等。盡管這些方法取得了一定的成就，但是仍有許多不足，檢測效率低、適用范圍小、難以實(shí)現(xiàn)自動(dòng)化檢測。近年來，隨著以卷積神經(jīng)網(wǎng)絡(luò)為工具的深度學(xué)習(xí)技術(shù)的快速發(fā)展，已經(jīng)有很多深度學(xué)習(xí)網(wǎng)絡(luò)模型應(yīng)用于鋼板表面缺陷檢測中，但在一些評(píng)價(jià)指標(biāo)和小目標(biāo)檢測上效果表現(xiàn)較差，同時(shí)檢測速度也比較慢。針對上述檢測技術(shù)存在的問題，本文對基于機(jī)器視覺的鋼板表面缺陷檢測算法進(jìn)行全面、細(xì)致的梳理，既包括傳統(tǒng)機(jī)器視覺的鋼板表面缺陷檢測算法，也包括深度學(xué)習(xí)的鋼板表面缺陷算法，重點(diǎn)闡述基于深度學(xué)習(xí)表面缺陷檢測算法及其改進(jìn)的算法。

1 基于傳統(tǒng)機(jī)器視覺的鋼板表面缺陷檢測算法

機(jī)器視覺是一種無接觸的自動(dòng)檢測技術(shù)，是實(shí)現(xiàn)裝置自動(dòng)化檢測、智能化檢測的有效手段，主要特點(diǎn)是安全準(zhǔn)確、使用范圍大、不受檢測物件形狀的影響、檢測效率高。傳統(tǒng)機(jī)器視覺檢測技術(shù)主要由圖像采集和缺陷檢測兩方面構(gòu)成。圖像采集部分主要是選擇合適的光源、專業(yè)攝像頭、以及合適的圖像采集卡實(shí)現(xiàn)對樣本的圖片采集。受圖像采集裝置、攝像頭拍照角度、光源變化等環(huán)境因素的影響，會(huì)采集到不同質(zhì)量的鋼板缺陷。采集的圖像質(zhì)量，決定了圖像處理的難易程度［7］。缺陷檢測部分主要包括圖像去噪、圖像增強(qiáng)、邊緣檢測、圖像分割、特征提取、目標(biāo)檢測和分類等幾個(gè)方面。不同的圖像處理方法將直接影響鋼板表面缺陷檢測的正確率和漏檢率。傳統(tǒng)機(jī)器視覺檢測流程圖如圖1所示。

傳統(tǒng)機(jī)器視覺自動(dòng)檢測技術(shù)廣泛用于鋼板表面缺陷檢測。Wen等［8］提出一種將灰度圖像和3D深度信息相結(jié)合的檢測方法。測試結(jié)果表明，該算法對凹坑類型鋼板缺陷檢測效果較好。為了實(shí)現(xiàn)對厚鋼板表面缺陷的檢測，Yun等［9］提出了一種雙重照明結(jié)構(gòu)的缺陷檢測系統(tǒng)，通過表面噪聲區(qū)分不均勻缺陷和顏色變化，圖像處理算法由檢測切換模式的Gabor濾波器組成，并采用二值化方法提取缺陷形狀，在厚鋼板圖像上驗(yàn)證了該方法的有效性。Wang等［10］提出一種基于引導(dǎo)模板的帶鋼表面缺陷檢測算法，依據(jù)大量無缺陷圖像，獲取正常紋理的統(tǒng)計(jì)特征，利用高斯函數(shù)擬合無缺陷鋼板圖像的直方圖，并搭建缺陷匹配模板，通過與匹配模板進(jìn)行減法運(yùn)算、反向排序和自適應(yīng)閾值運(yùn)算，準(zhǔn)確找到缺陷位置，在1 500張測試圖像的數(shù)據(jù)集上達(dá)到96.2%的平均檢測率。為了提高缺陷識(shí)別的局部變形能力，Song等［11］采用基于小波變換的散射卷積網(wǎng)絡(luò)（Scattering convolution network，SCN）對熱軋帶鋼表面缺陷進(jìn)行檢測，檢測正確率為98.60%。Sun等［12］提出一種基于缺陷圖像奇異值分解的鋼板檢測方法，可以有效檢測及定位缺陷的位置。Hou等［13］提出二階錐規(guī)劃（Second-order cone programming，SOCP）優(yōu)化多核相關(guān)向量機(jī)（Multiple kernel relevance vector machine，MKRVM）的帶鋼表面缺陷檢測方法，可以對核函數(shù)進(jìn)行更優(yōu)的選擇，提高分類精度和泛化能力，實(shí)驗(yàn)結(jié)果表明SOCP-MKRVM算法在精度和運(yùn)行速度上都有顯著的優(yōu)勢。Tian等［14］提出改進(jìn)的極限學(xué)習(xí)機(jī)（Extreme learning machine，ELM）算法和遺傳算法相結(jié)合的熱軋鋼板表面缺陷識(shí)別算法，將ELM隱層的輸出矩陣作為染色體處理，并添加一些新的迭代規(guī)則，采用1 675個(gè)熱軋鋼板試樣對該算法進(jìn)行測試，訓(xùn)練集和測試集的最高識(shí)別準(zhǔn)確率分別為98.46%和94.30%。

雖然傳統(tǒng)機(jī)器視覺檢測技術(shù)在鋼板表面缺陷檢測方面得到很好應(yīng)用，但也存在著一些不足。第一，設(shè)備通用性較低，檢查尺寸一致且制造精良的帶鋼試樣時(shí)能夠可靠運(yùn)行，但在缺陷形狀特殊時(shí)，將無法檢測缺陷；第二，對光源環(huán)境和圖像采集設(shè)備等硬性條件要求過高；第三，缺陷檢測裝置需要較高使用和維護(hù)成本。

2 基于深度學(xué)習(xí)的鋼板表面缺陷檢測算法

深度學(xué)習(xí)檢測技術(shù)因通用性廣、適應(yīng)力強(qiáng)、省時(shí)高效等優(yōu)點(diǎn)被廣泛應(yīng)用于鋼板表面缺陷檢測。深度學(xué)習(xí)理論包含多種網(wǎng)絡(luò)模型，例如多層感知機(jī)（Multilayer perceptron，MLP）［15］、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）［16］、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent neural network，RNN）［17］、深層置信網(wǎng)絡(luò)（Deep belief networks，DBN）［18］、生成式對抗網(wǎng) 絡(luò)（Generative adversarial networks，GAN）［19］等。不同網(wǎng)絡(luò)模型適用于不同的場景，MLP適用于分類預(yù)測和回歸預(yù)測，CNN適用于圖像處理，RNN適用于語音識(shí)別，DBN適用于圖像識(shí)別，GAN適用于數(shù)據(jù)增強(qiáng)。不同網(wǎng)絡(luò)模型應(yīng)用在不同的領(lǐng)域。網(wǎng)絡(luò)模型總體框架如圖2所示。

2.1 缺陷分類

在鋼板制造生產(chǎn)中，受光源條件和檢測目標(biāo)的形狀、顏色、灰度、背景等復(fù)雜因素的影響，使鋼板表面缺陷分類成為一項(xiàng)艱巨的任務(wù)，深度學(xué)習(xí)網(wǎng)絡(luò)具有的強(qiáng)大特征提取能力可以較好地解決這一問題。根據(jù)缺陷樣本有無標(biāo)簽，深度學(xué)習(xí)分類模型分為有監(jiān)督學(xué)習(xí)模型、半監(jiān)督學(xué)習(xí)模型和無監(jiān)督學(xué)習(xí)模型［20］。

2.1.1 有監(jiān)督學(xué)習(xí)模型 卷積神經(jīng)網(wǎng)絡(luò)在分類領(lǐng)域避免了對圖像的復(fù)雜前期預(yù)處理，可以直接將原始圖像輸入，降低網(wǎng)絡(luò)模型的復(fù)雜度，減少權(quán)值的數(shù)量。采用局部連接和共享權(quán)值的方式，使網(wǎng)絡(luò)易于優(yōu)化，也降低了過擬合的風(fēng)險(xiǎn)。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括卷積層、采樣層和全鏈接層，基本結(jié)構(gòu)圖如圖3所示。

卷積神經(jīng)網(wǎng)絡(luò)是有監(jiān)督學(xué)習(xí)分類模型的經(jīng)典代表之一，廣泛用于解決鋼板表面缺陷分類問題。Liu等［21］提出一種基于CNN和長短時(shí)記憶（Long short-term memory，LSTM）的缺陷檢測方法。將CNN提取到的缺陷特征輸入到LSTM分類網(wǎng)絡(luò)中，檢測識(shí)別率為81.9%。

He等［22］提出一種分類優(yōu)先網(wǎng)絡(luò)（Classification priority network，CPN）的鋼板表面缺陷分類方法。使用多組卷積神經(jīng)網(wǎng)絡(luò)（MG-CNN）進(jìn)行圖像分類，提取不同種類缺陷的特征，根據(jù)分類結(jié)果，將可能包含缺陷的特征映射組單獨(dú)輸入到另一個(gè)基于YOLO構(gòu)建的神經(jīng)網(wǎng)絡(luò)中，回歸相應(yīng)缺陷邊界框。在不同鋼鐵生產(chǎn)線上進(jìn)行大量試驗(yàn)表明，熱軋鋼平均表面缺陷檢測率均在94%以上，分類率均在96%以上。

Liu等［23］提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的缺陷分類方法，采用GoogLeNet作為網(wǎng)絡(luò)基礎(chǔ)模型，并添加身份映射，同時(shí)對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，對六種類型缺陷進(jìn)行檢測，準(zhǔn)確率達(dá)到98.57%。

He等［24］提出一種基于深度學(xué)習(xí)的缺陷檢測系統(tǒng)，采用CNN提取缺陷特征，并利用多級(jí)特征融合網(wǎng)絡(luò)（Multilevel feature fusion network，MFN）將多個(gè)層次特征融合為一個(gè)特征，采用區(qū)域建議網(wǎng)絡(luò)用于感興趣區(qū)域的生成，由檢測器產(chǎn)生最終檢測結(jié)果。該算法在NEU-DET數(shù)據(jù)集上進(jìn)行驗(yàn)證，不僅實(shí)現(xiàn)了較高的檢測精度，還具有實(shí)時(shí)檢測的潛力。

Zhou等［25］提出利用CNN學(xué)習(xí)多種有用的特征，用于從低級(jí)到高級(jí)的分類，利用稀疏自編碼器學(xué)習(xí)的濾波核對卷積核進(jìn)行初始化，在訓(xùn)練過程中同時(shí)學(xué)習(xí)判別特征向量和softmax回歸的單個(gè)多類分類器，經(jīng)測試，平均分類準(zhǔn)確率高達(dá)99%。

Yi等［26］提出一種端到端帶鋼表面缺陷識(shí)別系統(tǒng)，由對稱環(huán)繞顯著圖和CNN組成，CNN在原始缺陷圖像上訓(xùn)練，并從網(wǎng)絡(luò)訓(xùn)練中學(xué)習(xí)到缺陷特征，避免特征提取和缺陷分類之間的分離，從而形成端到端的缺陷識(shí)別系統(tǒng)，實(shí)驗(yàn)結(jié)果表明該系統(tǒng)檢測和識(shí)別效果良好。

2.1.2 半監(jiān)督學(xué)習(xí)模型 在鋼板表面缺陷分類方法中，同時(shí)使用標(biāo)記和未標(biāo)記的樣本進(jìn)行模型訓(xùn)練的半監(jiān)督式分類方法也有一定的發(fā)展。He等［27］提出一種基于GAN（Generative adversarial network）和殘差網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)（Semi-supervised learning，SSL）缺陷分類方法。使用GAN生成大量未標(biāo)記的樣本，將有標(biāo)記和未標(biāo)記樣本都集成到SSL中，經(jīng)過多次訓(xùn)練進(jìn)行分類，分類準(zhǔn)確率達(dá)到99.56%。

Gao等［28］提出一種基CNN的半監(jiān)督學(xué)習(xí)方法識(shí)別鋼材表面缺陷，利用少樣本、未標(biāo)記的數(shù)據(jù)進(jìn)行訓(xùn)練，同時(shí)利用偽標(biāo)簽對CNN進(jìn)行改進(jìn)，該方法在標(biāo)注數(shù)據(jù)有限的情況下，識(shí)別準(zhǔn)確率達(dá)到90.7%。

Di等［29］提出一種基于卷積自動(dòng)編碼器（Convolutional auto encoder，CAE）和半監(jiān)督生成對抗網(wǎng)絡(luò)（Semi-supervised generative adversarial networks，SGAN）的鋼板表面缺陷分類方法，通過大量未標(biāo)記的數(shù)據(jù)訓(xùn)練一個(gè)堆疊的CAE，利用CAE提取特征，訓(xùn)練結(jié)束后，將CAE的編碼器網(wǎng)絡(luò)作為特征提取器，并將其送入softmax層，形成新的分類器。為了進(jìn)一步提高泛化能力，引入SGAN進(jìn)行半監(jiān)督學(xué)習(xí)，測試結(jié)果表明，CAE-SGAN算法與傳統(tǒng)方法相比具有更高的性能。

2.1.3 無監(jiān)督學(xué)習(xí)模型 有監(jiān)督和半監(jiān)督的學(xué)習(xí)方式需要大量有標(biāo)簽的缺陷圖像樣本進(jìn)行訓(xùn)練，然而，由于有標(biāo)簽的缺陷圖像樣本不足，會(huì)導(dǎo)致訓(xùn)練性能減弱。利用無標(biāo)簽缺陷圖像樣本進(jìn)行訓(xùn)練的無監(jiān)督式學(xué)習(xí)，可以較好解決這一問題。Liu等［30］提出一種Haar-Weibull-variance（HWV）模型，以無監(jiān)督方式檢測鋼材表面缺陷。利用各向異性擴(kuò)散模型消除偽缺陷的影響，利用新建立的HWV模型表征圖像中每個(gè)局部補(bǔ)丁的紋理分布。HWV模型只需兩個(gè)參數(shù)即可將每個(gè)補(bǔ)丁的紋理分布投影到低維空間中，通過參數(shù)分布的形成，提取可靠背景，進(jìn)一步優(yōu)化模型參數(shù)，確定自適應(yīng)閾值將缺陷與背景區(qū)分開，平均檢測率為96.2%。

2.2 目標(biāo)檢測

目標(biāo)檢測可以理解為是對缺陷識(shí)別和定位的綜合性任務(wù)，不僅要識(shí)別出缺陷的類別，還要準(zhǔn)確定位缺陷具體位置。隨著人工智能的發(fā)展和模型的優(yōu)化，深度學(xué)習(xí)技術(shù)在缺陷識(shí)別、軍事領(lǐng)域、無人駕駛［31］等多個(gè)領(lǐng)域有著廣泛應(yīng)用。目標(biāo)檢測算法分兩類，一類是雙階段算法，主要模型有RCNN［32］、SPP-Net［33］、Fast RCNN［34］、Faster R-CNN［35］等；另一類是單階段算法，主要模型有Yolov1［36］、Yolov2［37］、Yolov3［38］、Yolov4［39］、Yolov5［40］、Yolox［41］、SSD（Single shot multibox detector）［42］、Retina-Net［43］等。相關(guān)模型的信息列在表1中。

表1 目標(biāo)檢測網(wǎng)絡(luò)模型Tab.1 Target detection network models

2.2.1 雙階段算法 Faster R-CNN算法流程圖如圖4所示。首先，缺陷輸入圖像經(jīng)過骨干網(wǎng)絡(luò)輸出特征圖；然后，將生成的特征圖送入感興趣區(qū)域；最后得到缺陷的定位和類別結(jié)果。

Faster R-CNN是雙階段算法的代表，檢測效果好，在鋼板表面缺陷檢測領(lǐng)域應(yīng)用較廣。Li等［44］改進(jìn)Faster R-CNN和FPN網(wǎng)絡(luò)，并采用多尺度特征融合來鼓勵(lì)低級(jí)特征的重用，檢測平均精度達(dá)到98.26%。Ren等［45］針對帶鋼表面缺陷的實(shí)時(shí)檢測問題，構(gòu)建一個(gè)更輕量化的Faster R-CNN檢測算法，用深度可分離卷積代替Faster R-CNN卷積層，在原始損失函數(shù)中加入中心損失，以提高網(wǎng)絡(luò)區(qū)分不同類型缺陷的能力，在一個(gè)包含6類4 655張表面缺陷圖像的數(shù)據(jù)集上進(jìn)行訓(xùn)練測試，測試精度達(dá)到98.32%。Wang等［46］提出一種將改進(jìn)的ResNet50與改進(jìn)的Faster R-CNN相結(jié)合的方法，以減少平均運(yùn)行時(shí)間，提高準(zhǔn)確率，將圖像輸入到改進(jìn)的ResNet50模型中，對有缺陷和無缺陷的樣本進(jìn)行分類，當(dāng)存在缺陷的概率小于0.3時(shí)，算法直接輸出無缺陷的樣本，否則將樣本進(jìn)一步輸入到改進(jìn)的Faster R-CNN中，判斷有無缺陷，通過對實(shí)際工廠環(huán)境中獲得的數(shù)據(jù)集進(jìn)行測試，該方法的準(zhǔn)確率可達(dá)98.2%。

Yang等［47］提出一種基于CNN的紅外熱成像鋼板裂紋檢測方法，將經(jīng)過紅外處理的數(shù)據(jù)傳入數(shù)據(jù)庫，在數(shù)據(jù)庫上對CNN進(jìn)行訓(xùn)練和驗(yàn)證，對原有Faster R-CNN網(wǎng)絡(luò)進(jìn)行改進(jìn)，檢測準(zhǔn)確率和平均檢測精度分別為95.54%和92.41%。Yin等［48］在Faster R-CNN原始網(wǎng)絡(luò)中加入特征金字塔網(wǎng)絡(luò)（Feature pyramid network，F(xiàn)PN），使網(wǎng)絡(luò)可以結(jié)合高層特征信息和低層特征信息，并使用感興趣區(qū)域?qū)R算法，以減少量化誤差，測試結(jié)果表明，平均檢測精度增加約0.8%。Zhao等［49］提出一種改進(jìn)Faster R-CNN的算法，利用多尺度融合訓(xùn)練網(wǎng)絡(luò)檢測小缺陷，對于目標(biāo)的復(fù)雜特征，用可變形卷積網(wǎng)絡(luò)替換部分常規(guī)卷積網(wǎng)絡(luò)，實(shí)驗(yàn)結(jié)果表明，該方法具有良好的檢測性能，平均精度為75.2%，比原算法提高12.8%，其中，裂紋、夾雜、斑塊、麻點(diǎn)、氧化皮和劃痕的平均檢測精度分別為50.1%、79.1%、79.2%、87.4%、64.9%和90.5%。

2.2.2 單階段算法 YOLO算法是由Redmon等在2016年提出的一種單階段算法，通過非極大值抑制（Non maximum suppression，NMS）算法，減少對多余候選框的訓(xùn)練與計(jì)算，將檢測問題轉(zhuǎn)化為回歸問題，實(shí)現(xiàn)端到端的缺陷檢測。YOLOv3是YOLO系列發(fā)展的第三個(gè)階段，其特點(diǎn)是在YOLOv1、YOLOv2兩個(gè)版本的基礎(chǔ)上，融合深度殘差網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)，并使用邏輯回歸思想代替softmax函數(shù)進(jìn)行分類，既保證了檢測的實(shí)時(shí)性，又具有較高的檢測精度。YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

Zhang等［50］提出CP-YOLOv3-dense神經(jīng)網(wǎng)絡(luò)模型，以YOLOv3作為基本網(wǎng)絡(luò)，對圖像進(jìn)行優(yōu)先級(jí)分類，將密集網(wǎng)絡(luò)模塊代替殘差網(wǎng)絡(luò)模塊，利用改進(jìn)后的網(wǎng)絡(luò)對六種表面缺陷進(jìn)行檢測，檢測正確率為85.7%，召回率為82.3%，平均正確率為82.73%。

Kou等［51］提出一種基于YOLOv3的端到端帶鋼表面缺陷檢測模型，利用自由框特征選擇機(jī)制替代基礎(chǔ)框結(jié)構(gòu)，選擇合適的特征尺寸，在模型中引入密集卷積塊來提取特征信息。該模型在GC10-DET數(shù)據(jù)集上產(chǎn)生的平均檢測精度為71.3%，在NEU-DET數(shù)據(jù)集上的平均檢測精度為72.2%。

針對熱軋帶鋼表面缺陷檢測速度慢、精度低的問題，Ning等［52］提出一種改進(jìn)YOLOv3的算法，利用數(shù)據(jù)增強(qiáng)算法對數(shù)據(jù)集進(jìn)行擴(kuò)展，使用隨機(jī)性較小的K-means++算法代替K-means算法對缺陷標(biāo)簽進(jìn)行聚類分析，選擇合適的自由框改進(jìn)YOLOv3網(wǎng)絡(luò)的初始候選框，在YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)中增加了一層預(yù)測框并進(jìn)行特征融合，以提高網(wǎng)絡(luò)對小目標(biāo)的檢測能力。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的YOLOv3算法在NEU-DET數(shù)據(jù)集上的平均精度達(dá)到89.5%，比原YOLOV3算法提高了14.7%。

Li等［53］提出一種改進(jìn)YOLOv3算法的帶鋼表面缺陷檢測方法。使用K-means++算法優(yōu)化先驗(yàn)框參數(shù)，同時(shí)設(shè)計(jì)YOLOv3算法的網(wǎng)絡(luò)結(jié)構(gòu)，融合淺層特征信息與深層特征信息，形成新的檢測框，提高檢測精度。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的YOLOv3算法在NEU-DET數(shù)據(jù)集上平均精度達(dá)到80%，較原有的YOLOv3算法提高了11%。

2.3 缺陷分割

缺陷分割是指將圖像分成若干個(gè)感興趣區(qū)域的過程，不但要準(zhǔn)確分割出缺陷區(qū)域，還要精準(zhǔn)獲取缺陷形狀、位置以及類別。近年來，分割技術(shù)發(fā)展迅猛，廣泛應(yīng)用于人臉檢測、智能視頻監(jiān)控、醫(yī)學(xué)圖像處理［54］、自動(dòng)駕駛［55］等領(lǐng)域，基于深度學(xué)習(xí)的缺陷分割技術(shù)可以分為三個(gè)大類：缺陷語義分割、缺陷實(shí)例分割和缺陷全景分割。

2.3.1 缺陷語義分割 缺陷語義分割主要用于識(shí)別缺陷的類別。主要模型有FCN（Fully convolution network）［56］、U-Net［57］、SegNet［58］、DeconvNet［59］、DeepLab［60］等。其中，F(xiàn)CN是語義分割的經(jīng)典代表，不需要候選框的生成，接受多尺度的輸入圖像，可以實(shí)現(xiàn)端到端的圖像語分割。FCN網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，將一幅缺陷圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過多次卷積及池化操作得到多個(gè)特征圖，利用反卷積層對最后一個(gè)卷積層得到的特征圖進(jìn)行上采樣，使上采樣后特征圖與原圖像的尺寸一致，對上采樣特征圖進(jìn)行逐像素分類［61］。

常用的語義分割算法為FCN和U-net，因模型結(jié)構(gòu)簡單，省時(shí)高效，普遍應(yīng)用于鋼板表面缺陷檢測。為了進(jìn)一步提升檢測和分割的效果，Roberts等［62］設(shè)計(jì)一種基于SegNet的網(wǎng)絡(luò)對鋼板表面缺陷進(jìn)行語義分割，對位錯(cuò)、沉淀物、空隙三種鋼板缺陷的分類識(shí)別率分別為（91.60±1.77）%、（93.39±1.00）%、（98.85±0.56）%。

Qian等［63］提出一種基于U-Net和FPN的神經(jīng)網(wǎng)絡(luò)對鋼板表面缺陷實(shí)現(xiàn)語義分割。Neven等［64］利用U-Net分割網(wǎng)絡(luò)模型檢測鋼板表面缺陷，也具有較好的檢測性能。

2.3.2 缺陷實(shí)例分割和缺陷全景分割 目前，基于缺陷實(shí)例分割和缺陷全景分割的鋼板缺陷檢測算法應(yīng)用較少，有待進(jìn)一步研究。缺陷實(shí)例分割就是目標(biāo)檢測和缺陷語義分割的結(jié)合。相對目標(biāo)檢測的邊界框，缺陷實(shí)例分割可精確到缺陷的邊緣。相對缺陷語義分割，缺陷實(shí)例分割需要標(biāo)注出圖上同一缺陷的不同個(gè)體，主要模型有Mask R-CNN［65］和PANet［66］。缺陷全景分割是缺陷語義分割和缺陷實(shí)例分割的結(jié)合，缺陷實(shí)例分割只對圖像中的缺陷進(jìn)行檢測，并對檢測到的缺陷進(jìn)行分割，而全景分割需要檢測和分割圖中的所有物體包括缺陷背景，主要模型有OANet［67］和EfficientPS［68］等。

3 結(jié)論

鋼板表面缺陷檢測是一個(gè)復(fù)雜的應(yīng)用，包括缺陷分類、目標(biāo)檢測與定位、缺陷分割等多種環(huán)節(jié)。由于缺陷種類較多，傳統(tǒng)機(jī)器視覺檢測算法很難做到對鋼板表面缺陷特征完整的建模和遷移，每個(gè)環(huán)節(jié)需要分開工作，浪費(fèi)資源?；谏疃葘W(xué)習(xí)的方法可以直接實(shí)現(xiàn)端到端的鋼板表面缺陷檢測，在特征提取和定位上取得較好的效果。但是就目前而言，深度學(xué)習(xí)在鋼板表面缺陷檢測應(yīng)用的過程中仍有一些挑戰(zhàn)，在未來還有很大的發(fā)展空間。

（1）當(dāng)深度學(xué)習(xí)應(yīng)用于鋼板表面缺陷檢測領(lǐng)域時(shí)，經(jīng)常存在訓(xùn)練樣本不足的問題。鋼板表面缺陷數(shù)量較少，但是種類較多，在這樣的小樣本數(shù)據(jù)集上訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)模型，容易產(chǎn)生過擬合現(xiàn)象，泛化性能較差。因此，建立學(xué)習(xí)小樣本的網(wǎng)絡(luò)模型是深入研究的方向。（2）目前，大部分深度學(xué)習(xí)模型都是基于有標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練，這種有監(jiān)督式的學(xué)習(xí)方式受樣本數(shù)量的限制，并且很多數(shù)據(jù)標(biāo)簽需要人工標(biāo)注。而無監(jiān)督和半監(jiān)督的學(xué)習(xí)方式則不需要大量的數(shù)據(jù)標(biāo)簽，是基于深度學(xué)習(xí)的鋼板表面缺陷檢測未來發(fā)展方向。