基于優(yōu)化殘差網(wǎng)絡(luò)的復(fù)雜紋理表面缺陷檢測

林李興，夏振平,，徐 浩，宋 玉，胡伏原

（1. 蘇州科技大學(xué) 物理科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215009；2. 蘇州科技大學(xué) 電子與信息工程學(xué)院，江蘇 蘇州 215009）

引言

近年來，隨著科學(xué)技術(shù)的發(fā)展和人們生活水平的提高，各類工業(yè)產(chǎn)品的外形愈發(fā)復(fù)雜多樣，復(fù)雜的表面紋理為實(shí)際生產(chǎn)中的產(chǎn)品質(zhì)量檢測帶來巨大的困難。目前絕大多數(shù)工廠的復(fù)雜紋理產(chǎn)品表面質(zhì)量的檢測都是以人工目檢的方式進(jìn)行。復(fù)雜表面紋理使得質(zhì)量檢測出現(xiàn)人因干擾大、耗時(shí)久、準(zhǔn)確率無法保證等問題。以人造木質(zhì)板材為例，其表面花紋是通過模擬普通實(shí)木木材表面生成的天然復(fù)雜紋理，由于生產(chǎn)過程中存在冷壓、熱壓、裁邊等操作，導(dǎo)致產(chǎn)品出現(xiàn)表面油污、表面劃痕、板材缺損、花色缺失等缺陷[1]。

隨著工業(yè)4.0 的提出，各行業(yè)都在大力發(fā)展自動(dòng)化生產(chǎn)。機(jī)器視覺是智能制造裝備在自動(dòng)化生產(chǎn)過程中精準(zhǔn)識(shí)別和定位的關(guān)鍵部分，是機(jī)器人的“眼睛”[2]。機(jī)器視覺在圖形圖像學(xué)與信息學(xué)研究促進(jìn)下迅速發(fā)展，其成果被廣泛應(yīng)用于醫(yī)療、軍事、工業(yè)生產(chǎn)等領(lǐng)域[3]。工業(yè)生產(chǎn)中的產(chǎn)品質(zhì)量檢測，引入機(jī)器視覺檢測代替人工目檢的方法可以降低人工成本和提高檢測準(zhǔn)確率[4]，對(duì)復(fù)雜紋理產(chǎn)品表面進(jìn)行缺陷檢測是自動(dòng)化生產(chǎn)過程中必不可少的一個(gè)環(huán)節(jié)[5]，提升機(jī)器視覺中缺陷檢測方法的準(zhǔn)確率是自動(dòng)化生產(chǎn)設(shè)計(jì)中的關(guān)鍵點(diǎn)和難點(diǎn)。

復(fù)雜背景下的產(chǎn)品表面缺陷檢測問題是目標(biāo)檢測問題。針對(duì)這一問題，有許多研究者使用機(jī)器視覺中的圖形圖像學(xué)方法解決[6]。在被檢測的缺陷與其所在表面其他區(qū)域有較為明顯的區(qū)別時(shí)，缺陷的邊緣通常能夠通過特征提取的方式勾勒出來。例如Roberts[7]基于交叉熵的梯度算法提出交叉微分算法對(duì)目標(biāo)的輪廓進(jìn)行提取，該算法常用于玻璃、金屬表面等表面缺陷檢測。如果缺陷所在表面過于復(fù)雜并且規(guī)律性難以掌握時(shí)，需要提取更多特征信息加以整合。Zhang 等[8]采集了缺陷幾何區(qū)域特征、灰度紋理特征、不變矩特征等共25 個(gè)圖像特征，并基于主元分析法（PCA）將特征融合至最具代表性的8 個(gè)特征，據(jù)此建立數(shù)據(jù)特征字典，以減少數(shù)據(jù)冗余和特征維度，最后使用壓縮感知的方法對(duì)圖像進(jìn)行分類判別檢測，其準(zhǔn)確率達(dá)到了92.00%。在更為復(fù)雜的環(huán)境下，機(jī)器視覺的可見光紅綠藍(lán)（RGB）三通道信息無法提供足夠的特征。為了進(jìn)一步提取缺陷特征信息，研究者們引入了紅外光[9]、近紅外光等信息進(jìn)行特征融合。Li 等[10]使用紅外光與可見光RGB 的多通道圖像信息，提取并引入特征金字塔進(jìn)行特征融合，使得圖像的信息熵從0.778 提升至0.845。以上方法應(yīng)用于木質(zhì)板材的木結(jié)、裂紋等缺陷檢測時(shí)，因該類缺陷在圖像中的占比大且特征較為明顯，其表現(xiàn)較好，但是面對(duì)劃痕、油污等小尺寸缺陷表現(xiàn)能力較差。同時(shí)，當(dāng)前工業(yè)中生產(chǎn)環(huán)境要求檢測方法和檢測系統(tǒng)具備實(shí)時(shí)性和快速部署能力。在面對(duì)隨機(jī)性紋理和變化復(fù)雜度較高的紋理背景時(shí)，存在某些正常花紋有可能會(huì)被誤判為缺陷的情況。例如在人造木質(zhì)板材的表面會(huì)出現(xiàn)“死結(jié)”、“裂紋”等花紋，使用圖形圖像學(xué)方法會(huì)產(chǎn)生誤判，影響系統(tǒng)的準(zhǔn)確性，導(dǎo)致傳統(tǒng)缺陷檢測方法難以滿足人造木質(zhì)板材表面缺陷的檢測需要[11]。

發(fā)展迅速的機(jī)器學(xué)習(xí)技術(shù)使用神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取與分類識(shí)別，一定程度上解決了圖形圖像學(xué)檢測方法遇到的問題[12]。深度學(xué)習(xí)中調(diào)整參數(shù)方法通常能使得模型獲得較好的表現(xiàn)，例如Gao 等[13]優(yōu)化了ResNet34 網(wǎng)絡(luò)的損失函數(shù)并使用亞當(dāng)算法調(diào)整超參，該方法對(duì)“木結(jié)”這類較大缺陷分類檢測的準(zhǔn)確率達(dá)到了98.69%。由于實(shí)際工業(yè)應(yīng)用中沒有特定產(chǎn)品的高質(zhì)量公共數(shù)據(jù)集，同時(shí)對(duì)大量實(shí)際采集的圖像進(jìn)行手動(dòng)添加缺陷標(biāo)簽的成本高，需要使用其他方法來規(guī)避制作數(shù)據(jù)集困難的缺點(diǎn)[14]。預(yù)訓(xùn)練是通常會(huì)使用的降低數(shù)據(jù)集要求的方法，例如Ren 等[15]選擇使用圖像預(yù)訓(xùn)練方法獲取優(yōu)秀的圖像分類器，建立了一種深度學(xué)習(xí)的通用表面自動(dòng)檢測方法，該方法應(yīng)用于普通實(shí)木木材表面缺陷檢測的準(zhǔn)確率達(dá)到了91.55%。Urbonas 等[16]選擇使用數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)的方式強(qiáng)化FRB-CNN 網(wǎng)絡(luò)，對(duì)缺陷進(jìn)行識(shí)別、分類和定位，該方法應(yīng)用于普通實(shí)木木材表面木結(jié)檢測的準(zhǔn)確率達(dá)到了96.10%。目前深度學(xué)習(xí)在較多領(lǐng)域中都優(yōu)于傳統(tǒng)圖形圖像學(xué)算法，但絕大多數(shù)是面向復(fù)雜紋理上的大尺寸缺陷[17-18]，例如死結(jié)和裂紋等缺陷，這類缺陷在圖像中尺寸占比較大時(shí)，才能達(dá)到較高的準(zhǔn)確率。而在檢測人造木質(zhì)板材表面的小尺寸缺陷時(shí)，準(zhǔn)確率下降嚴(yán)重，難以滿足實(shí)際生產(chǎn)的需要。

為了解決復(fù)雜紋理表面的缺陷檢測準(zhǔn)確率低的問題，本文提出了一種結(jié)合網(wǎng)絡(luò)優(yōu)化和遷移學(xué)習(xí)的深度學(xué)習(xí)方法。該方法使用殘差網(wǎng)絡(luò)ResNet18作為骨干網(wǎng)絡(luò)，針對(duì)小樣本數(shù)據(jù)集的問題對(duì)模型進(jìn)行針對(duì)性優(yōu)化；同時(shí)利用遷移學(xué)習(xí)的特點(diǎn)，對(duì)模型的訓(xùn)練過程進(jìn)行優(yōu)化，提升了模型的特征提取能力，籍以優(yōu)化模型在小樣本數(shù)據(jù)集上的表現(xiàn)；此外該方法還解決了復(fù)雜紋理表面上缺陷檢測耗時(shí)久、模型訓(xùn)練成本高、對(duì)同類型不同復(fù)雜紋理適應(yīng)能力差的問題。

1 基于深度學(xué)習(xí)的圖像識(shí)別

解決復(fù)雜紋理表面的缺陷檢測問題，不僅需要面對(duì)實(shí)際應(yīng)用中數(shù)據(jù)集制作困難而導(dǎo)致的小樣本問題，同時(shí)也需要滿足實(shí)際部署中的兼容性、實(shí)時(shí)性等要求。實(shí)踐中，需要在網(wǎng)絡(luò)模型的復(fù)雜性和檢測速度之間找到平衡，并通過優(yōu)化訓(xùn)練過程使得模型在小樣本數(shù)據(jù)集上獲得更好的效果。本文提出的方法結(jié)合了殘差網(wǎng)絡(luò)的特征提取能力和遷移學(xué)習(xí)的特征映射優(yōu)勢(shì)，使得模型獲得更好的表現(xiàn)能力。

1.1 殘差網(wǎng)絡(luò)

在圖像識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)中，骨干網(wǎng)絡(luò)由特征提取網(wǎng)絡(luò)和分類網(wǎng)絡(luò)2 個(gè)部分組成。通常使用卷積神經(jīng)網(wǎng)絡(luò)CNN（convolutional neural networks）作為特征提取網(wǎng)絡(luò)，通過卷積層和池化層獲取圖像信息。不同的卷積神經(jīng)網(wǎng)絡(luò)模型性能不同。在面對(duì)人造木質(zhì)板材這類復(fù)雜紋理表面的缺陷檢測時(shí)，實(shí)際訓(xùn)練過程中選擇使用CNN、VGG（visual geometry group network）作為特征提取網(wǎng)絡(luò)，常常會(huì)出現(xiàn)梯度爆炸和過擬合的問題。為了解決這些問題，研究者提出了使用“殘差塊”結(jié)構(gòu)來優(yōu)化網(wǎng)絡(luò)框架的方法，使得模型達(dá)到較好的性能[13]。

殘差塊的結(jié)構(gòu)由1 個(gè)正常塊加上1 個(gè)映射層組成。正常塊沿用VGG 的卷積層設(shè)計(jì)，由2 個(gè)卷積層和1 個(gè)激活層組成。輸入信號(hào)經(jīng)過卷積層運(yùn)算獲得輸出殘差映射F(x)；殘差塊輸入x還需要通過1 個(gè)映射層將輸入映射到輸出。如果輸入與輸出的維度不同，則需要在映射層引入額外的1×1 卷積進(jìn)行維度統(tǒng)一。正常塊輸出F(x) 與映射輸出x做加權(quán)運(yùn)算，得到輸出理想映射H(x)。本文將權(quán)重和偏置參數(shù)設(shè)成0，即恒等映射，如（1）式所示。

殘差網(wǎng)絡(luò)是由多個(gè)殘差塊串聯(lián)組合而成，殘差塊映射的設(shè)計(jì)方式使得網(wǎng)絡(luò)深度較大時(shí)不會(huì)出現(xiàn)梯度消失現(xiàn)象。由于使用了更深的網(wǎng)絡(luò)，模型分類的準(zhǔn)確度得以提升，殘差塊的映射方式還解決了深層次網(wǎng)絡(luò)退化問題。在目前各種圖像識(shí)別深度學(xué)習(xí)網(wǎng)絡(luò)中，殘差網(wǎng)絡(luò)在圖像特征提取方面的性能最為優(yōu)秀[12]。

1.2 遷移學(xué)習(xí)特征映射

遷移學(xué)習(xí)是一種有效提升模型性能的深度學(xué)習(xí)模型訓(xùn)練方式，其可以同時(shí)根據(jù)不同的域和任務(wù)來選擇使用不同的遷移學(xué)習(xí)方式。目前主要的遷移學(xué)習(xí)方式有樣本遷移、特征遷移和模型遷移。

遷移學(xué)習(xí)是模型對(duì)任務(wù)參數(shù)與特征的繼承過程（如圖1 所示）。首先，使用理想狀態(tài)下大量高質(zhì)量標(biāo)注數(shù)據(jù)（圖1 中Dataset1）對(duì)原始模型進(jìn)行訓(xùn)練，得到對(duì)該類圖像具有優(yōu)秀特征提取能力的模型；其次，將第1 次訓(xùn)練獲得的模型參數(shù)繼承；最后，將另一個(gè)較少樣本數(shù)量但學(xué)習(xí)任務(wù)具有相關(guān)性的數(shù)據(jù)集（圖1 中Dataset2）加載到模型進(jìn)行進(jìn)一步訓(xùn)練，獲得分類結(jié)果表現(xiàn)較好的新模型。從以上流程可以看出，遷移學(xué)習(xí)利用了前后2 種數(shù)據(jù)之間的相關(guān)性，使得前一次訓(xùn)練模型獲得的特征提取能力分享給后一次的訓(xùn)練模型。

圖1 遷移學(xué)習(xí)特征映射的方法示意圖Fig. 1 Schematic diagram of method for transfer learning feature mapping

遷移學(xué)習(xí)過程的重要特點(diǎn)是遷移學(xué)習(xí)的共享域。如果前后兩個(gè)任務(wù)具有相關(guān)性，則它們的部分參數(shù)會(huì)相似，使得卷積運(yùn)算中獲取的特征也會(huì)相似。復(fù)雜紋理表面缺陷檢測任務(wù)中，復(fù)雜紋理的類型不同但缺陷類型一致。所以該檢測任務(wù)中的學(xué)習(xí)域相近并且任務(wù)相同，適合使用微調(diào)遷移學(xué)習(xí)。

本文選擇引入遷移學(xué)習(xí)的方法，先使用大量高質(zhì)量的仿真缺陷數(shù)據(jù)集對(duì)模型進(jìn)行第1 次訓(xùn)練，使得模型獲得對(duì)復(fù)雜紋理類表面缺陷的特征提取能力；再將模型遷移至由實(shí)際圖像數(shù)據(jù)組成的小樣本數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)，使最終模型在該類人造木質(zhì)板材復(fù)雜紋理上達(dá)到比直接使用真實(shí)小樣本數(shù)據(jù)集訓(xùn)練更好的效果。

2 復(fù)雜紋理表面缺陷檢測方法構(gòu)建

為了應(yīng)對(duì)實(shí)際應(yīng)用中復(fù)雜紋理小樣本數(shù)據(jù)存在的問題，本文提出的缺陷檢測方法主要從數(shù)據(jù)集構(gòu)建、深度學(xué)習(xí)模型優(yōu)化和遷移學(xué)習(xí)方法應(yīng)用這3 個(gè)部分進(jìn)行有針對(duì)性的優(yōu)化。數(shù)據(jù)集構(gòu)建部分是根據(jù)實(shí)際檢測要求和已有素材，構(gòu)建真實(shí)數(shù)據(jù)集和規(guī)模較大的仿真數(shù)據(jù)集；深度學(xué)習(xí)模型優(yōu)化部分，從網(wǎng)絡(luò)構(gòu)架和網(wǎng)絡(luò)函數(shù)兩個(gè)角度進(jìn)行優(yōu)化，使得模型獲得更好的收斂能力；遷移學(xué)習(xí)部分，利用遷移學(xué)習(xí)的特征映射原理，從模型訓(xùn)練角度進(jìn)行優(yōu)化，使得模型在多次訓(xùn)練中獲得較好的特征提取能力和泛化能力。

2.1 數(shù)據(jù)集構(gòu)建

構(gòu)建數(shù)據(jù)集是深度學(xué)習(xí)的必要環(huán)節(jié)。本文選用人造木質(zhì)板材為樣例數(shù)據(jù)集，以此驗(yàn)證復(fù)雜紋理缺陷檢測問題。人造木質(zhì)板材樣本是通過機(jī)器視覺方式進(jìn)行采集，復(fù)雜紋理表面在圖像中呈現(xiàn)矩形，其花紋是由生產(chǎn)過程中機(jī)械通過算法隨機(jī)生成，花紋具有隨機(jī)性。數(shù)據(jù)集原始圖片由3 個(gè)批次構(gòu)成，單個(gè)批次的板材數(shù)量少于40 張。由于原始數(shù)據(jù)集數(shù)據(jù)量過少且單張人造木質(zhì)板材的尺寸較大，直接輸入的方式會(huì)導(dǎo)致模型無法獲得足夠的特征信息。為了使模型盡可能獲得完整的缺陷信息，圖像預(yù)處理部分采用圖形圖像學(xué)的方法對(duì)產(chǎn)品表面區(qū)域進(jìn)行等比例像素切割（如圖2 所示）。實(shí)際流水線上的原始數(shù)據(jù)集采集可能導(dǎo)致圖像中，矩形復(fù)雜紋理表面區(qū)域與水平方向有一定角度，所以在切割前需要進(jìn)行圖像預(yù)處理將人造木質(zhì)板材表面圖像矯正成水平矩形。訓(xùn)練數(shù)據(jù)集（即真實(shí)數(shù)據(jù)集）是通過滑塊切割的方式將原始數(shù)據(jù)集切割成若干塊尺寸為512×512 像素的彩色圖像。具體數(shù)據(jù)集規(guī)模如表1 所示。

圖2 原始圖像經(jīng)過預(yù)處理制作成數(shù)據(jù)集Fig. 2 Data set preprocessed by original images

表1 真實(shí)數(shù)據(jù)集參數(shù)Table 1 Parameters of real data set

切割后的訓(xùn)練數(shù)據(jù)集不僅數(shù)量少，還存在樣本中缺陷數(shù)量過少的問題。表1 的3 個(gè)批次共950張圖片中，只有13 張圖片存在缺陷，這使得模型在訓(xùn)練過程中極易出現(xiàn)過擬合現(xiàn)象。在訓(xùn)練深度學(xué)習(xí)模型時(shí)，通常認(rèn)為數(shù)據(jù)集的規(guī)模過小會(huì)引起模型的過擬合問題并影響模型的泛化能力，所以一般數(shù)據(jù)集的規(guī)模在萬張或者十萬張以上，這種規(guī)模的數(shù)據(jù)集的標(biāo)注需要花費(fèi)大量人力物力完成。為了解決這一問題，本文基于遷移學(xué)習(xí)的特征映射原理，構(gòu)建缺陷數(shù)學(xué)模型并使用算法自動(dòng)生成缺陷仿真數(shù)據(jù)集，以此低成本地?cái)U(kuò)充數(shù)據(jù)集樣本數(shù)量。

要想構(gòu)建高質(zhì)量仿真數(shù)據(jù)集，首先需要掌握實(shí)際人造木質(zhì)板材的缺陷類型與缺陷特征。經(jīng)過產(chǎn)業(yè)經(jīng)驗(yàn)分類，實(shí)際人造木質(zhì)板材的缺陷類型主要有表面油污、表面劃痕、板材缺損和花色缺失（如圖3 所示）。圖3 中，對(duì)照?qǐng)D為人造木質(zhì)板材表面可能出現(xiàn)的4 類缺陷與無缺陷情況的對(duì)比，缺陷部分以紅色橢圓框體標(biāo)注。

圖3 4 組表面無缺陷與表面缺陷對(duì)比（紅色虛線框標(biāo)志部分為缺陷所在位置）Fig. 3 Comparison of four groups without and with surface defects, and red dotted line frame is location of defect

根據(jù)卷積神經(jīng)網(wǎng)絡(luò)原理，同種物體經(jīng)過卷積層多次運(yùn)算后采集的特征相近。那么可以假設(shè)各種缺陷的形成原理是一致的，單個(gè)缺陷的數(shù)學(xué)模型是相似的，生成的缺陷在卷積網(wǎng)絡(luò)中獲取的特征也一定是相似的。表面油污是機(jī)油意外濺落在人造木質(zhì)板材表面，呈現(xiàn)散斑狀。分析認(rèn)為，實(shí)際復(fù)雜表面油污樣本可以視為若干個(gè)單個(gè)油污斑塊隨機(jī)疊加而成。復(fù)雜表面油污可以表達(dá)為如（2）式所示的數(shù)學(xué)模型。

式中：Foil為生成的表面油污模型；Foil,i為第i個(gè)從真實(shí)表面油污樣本數(shù)據(jù)抽取的簡單的表面油污。Foil,i的中心坐標(biāo)D(x,y)概率呈現(xiàn)二維正態(tài)分布情況，如（3）式所示。

式中：μ1、μ2、σ1、σ2、ρ均為常數(shù)。同理，真實(shí)情況下，表面劃痕是人造木質(zhì)板材被尖銳物體劃破表面產(chǎn)生一道底板顏色的細(xì)條狀缺陷。分析認(rèn)為，表面劃痕的形狀是高度相似的，并且同批次人造木質(zhì)板材的劃痕缺陷色度分布情況是高度相似的。真實(shí)表面劃痕缺陷的一部分也是表面劃痕缺陷，復(fù)雜表面劃痕可以表達(dá)為如（4）式所示的數(shù)學(xué)模型。

式中：Fscr為生成的表面劃痕模型；Fscr,i為從真實(shí)表面油污樣本數(shù)據(jù)庫中隨機(jī)抽取的簡單的表面劃痕樣本；P是缺陷的矩陣位移量，表示將數(shù)據(jù)庫中的表面劃痕截取隨機(jī)部分并旋轉(zhuǎn)隨機(jī)角度后，擺放在無缺陷人造木質(zhì)板材圖像的隨機(jī)位置，以此生成仿真劃痕缺陷圖。

根據(jù)上述數(shù)學(xué)模型建立仿真表面油污和仿真表面劃痕仿真數(shù)據(jù)集（如圖4 所示）。首先，對(duì)真實(shí)數(shù)據(jù)集中的缺陷進(jìn)行分離提取，構(gòu)建真實(shí)缺陷圖庫；其次，根據(jù)數(shù)學(xué)模型生成具有相同特征的仿真缺陷；最后，通過圖形圖像學(xué)的方式在無缺陷圖像上生成仿真缺陷圖，并生成對(duì)應(yīng)的標(biāo)簽文件。

圖4 仿真數(shù)據(jù)集構(gòu)建方法示意圖Fig. 4 Schematic diagram of construction method for simulation data set

根據(jù)所采集到的圖像，人造木質(zhì)板材除了表面油污和表面劃痕外，還存在板材缺損和花色缺失2 種缺陷。板材缺損是生成過程中冷壓、熱壓、裁邊等操作，導(dǎo)致板材邊緣由于應(yīng)力擠壓而發(fā)生崩裂的情況，在矩形人造木質(zhì)板材的邊緣區(qū)域產(chǎn)生了缺口。花色缺失是機(jī)器打印表面花紋時(shí)，由于油墨變質(zhì)或者打印機(jī)故障等原因?qū)е碌姆钦４蛴?，使得該部分紋理在色度上與正常紋理不一致。相比表面油污和表面劃痕，板材缺損和花色缺失是在人造木質(zhì)板材表面上形成的尺寸大、形狀規(guī)則且區(qū)域色度與人造木質(zhì)板材表面花紋差距較大的缺陷。在構(gòu)建仿真缺陷時(shí)使用隨機(jī)種子生成的板材缺損和花色缺失的區(qū)域，并且填充相應(yīng)缺陷出現(xiàn)的像素，使得仿真缺陷獲得與真實(shí)缺陷相同的特征，可以達(dá)到模擬真實(shí)缺陷的效果。

通過上述數(shù)據(jù)增強(qiáng)的方法，本文構(gòu)建了一個(gè)由7000張仿真缺陷圖片和6690 張無缺陷圖片組合而成的仿真缺陷數(shù)據(jù)集。

2.2 殘差網(wǎng)絡(luò)模型

本文構(gòu)建的檢測方法使用GPU 進(jìn)行訓(xùn)練，實(shí)驗(yàn)中深度學(xué)習(xí)使用Python 程序和Anaconda 進(jìn)行環(huán)境配置，具體信息如表2 所示。為了解決小樣本數(shù)據(jù)集的模型劣化問題，以及模型冗余帶來的實(shí)際部署問題，本文選擇從激活函數(shù)和網(wǎng)絡(luò)深度兩個(gè)方面去尋找平衡點(diǎn)。

表2 實(shí)驗(yàn)環(huán)境和具體參數(shù)Table 2 Experimental environment and specific parameters

深度學(xué)習(xí)網(wǎng)絡(luò)的激活函數(shù)是使網(wǎng)絡(luò)非線性分類的主要元素之一。針對(duì)人造木質(zhì)板材這類復(fù)雜紋理表面的小樣本缺陷檢測，優(yōu)化激活函數(shù)能夠使模型擬合到更好的效果。傳統(tǒng)激活函數(shù)ReLU如（5）式所示。

當(dāng)卷積輸入x處于負(fù)值時(shí)神經(jīng)元失活，這導(dǎo)致數(shù)據(jù)量較少時(shí)容易出現(xiàn)過擬合現(xiàn)象。

為了解決這一問題，本文以訓(xùn)練數(shù)據(jù)集為測試數(shù)據(jù)，選擇使用多個(gè)不同的激活函數(shù)代替ReLU 函數(shù)對(duì)其進(jìn)行訓(xùn)練（如圖5 所示）。其中函數(shù)Leaky-ReLU 在該數(shù)據(jù)集上的準(zhǔn)確率（ACC）和損失值（LOSS）的表現(xiàn)明顯優(yōu)于其他激活函數(shù)，這是因?yàn)楹瘮?shù)LeakyReLU 在負(fù)區(qū)間也存在一定梯度值，這避免了梯度消失的問題（如（6）式所示）。

圖5 不同激活函數(shù)在測試數(shù)據(jù)集上的準(zhǔn)確率和收斂比較Fig. 5 Comparison of accuracy and convergence of different activation functions on test data sets

式中：ai是（0, +∞）的固定參數(shù)，其大小影響Leaky-ReLU 在負(fù)區(qū)間的斜率。ai過大會(huì)導(dǎo)致激活函數(shù)在負(fù)區(qū)間失活，ai過小會(huì)導(dǎo)致模型難以收斂，合適數(shù)值的ai會(huì)使得LeakyReLU 的區(qū)域線性代表其計(jì)算量相比ELU 這類激活函數(shù)更小并且收斂更快。通常認(rèn)為ai的理論最優(yōu)值受到不同數(shù)據(jù)集或者不同任務(wù)的影響較大，需要對(duì)ai進(jìn)行調(diào)參實(shí)驗(yàn)以獲得理論最優(yōu)值。經(jīng)測試，ai為1e-2 時(shí)模型有優(yōu)于其他參數(shù)的表現(xiàn)。

理論上，殘差網(wǎng)絡(luò)的深度越深對(duì)特征的提取越多，但到達(dá)一定深度時(shí)會(huì)達(dá)到飽和值。為獲得合適的殘差網(wǎng)絡(luò)飽和深度，同樣選擇訓(xùn)練數(shù)據(jù)集對(duì)模型進(jìn)行測試。如圖6 所示，ResNet18、ResNet34、ResNet50 這3 種殘差網(wǎng)絡(luò)深度對(duì)于數(shù)據(jù)集的表現(xiàn)水平相近，不同網(wǎng)絡(luò)深度的準(zhǔn)確率上升速度近似，最大準(zhǔn)確率也幾乎相同，損失函數(shù)收斂情況相近，所以ResNet18 網(wǎng)絡(luò)深度對(duì)于該類數(shù)據(jù)集已經(jīng)達(dá)到飽和狀態(tài)。

圖6 不同網(wǎng)絡(luò)深度在測試數(shù)據(jù)集上的準(zhǔn)確率和收斂比較Fig. 6 Comparison of accuracy and convergence of different network depths on test data sets

綜上所述，本方法構(gòu)建了一個(gè)基于ResNet18優(yōu)化的網(wǎng)絡(luò)模型。如圖7 所示，此改進(jìn)網(wǎng)絡(luò)由17個(gè)卷積層、3 個(gè)池化層和1 個(gè)全連接層組成。輸入模塊由1 個(gè)輸入模塊和平均池化層組成，輸入圖像信息通過簡單的池化壓縮，從RGB 三通道512×512像素圖像壓縮成三通道224×224 像素圖像，有效提升單張人造木質(zhì)板材的檢測效率。匯聚模塊由1 個(gè)步長為2 的7×7 卷積層和步長為2 的3×3 最大池化層組成，圖像信息通過大卷積和最大池化轉(zhuǎn)換成64 通道56×56 信息，從而達(dá)到優(yōu)秀的特征匯聚效果。殘差卷積部分由4 個(gè)階層、每個(gè)階層2 個(gè)殘差塊組成，每個(gè)殘差塊都由3×3 卷積層、激活層、映射層以及1×1 卷積組成。其中，殘差塊激活層選擇LeakyReLU 激活函數(shù)提升負(fù)區(qū)間的活性，映射層選擇使用恒等映射權(quán)重。分類模塊由平均池化層和全連接層組成，殘差塊輸出的信息通過平均池化層進(jìn)行信息平均匯聚，再傳遞到全連接層進(jìn)行分類。模型使用標(biāo)準(zhǔn)損失函數(shù)計(jì)算損失。

圖7 改進(jìn)ResNet18 模型結(jié)構(gòu)示意圖Fig. 7 Structure diagram of improved ResNet18 model

2.3 訓(xùn)練與遷移學(xué)習(xí)

遷移學(xué)習(xí)特征映射原理使得特征提取能力在不同的學(xué)習(xí)中可以繼承。基于這一特性，可以將仿真數(shù)據(jù)集中獲取的特征提取能力繼承到真實(shí)數(shù)據(jù)集訓(xùn)練模型中。如圖8 所示，該方法首先使用高質(zhì)量仿真數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，以此增強(qiáng)模型對(duì)缺陷特征的提取能力，從而解決小樣本訓(xùn)練時(shí)模型的劣化問題；其次，將模型的卷積層參數(shù)遷移到新的模型中，并使用樣本數(shù)較少的真實(shí)數(shù)據(jù)集進(jìn)行訓(xùn)練。圖8 中，模型①為使用高質(zhì)量仿真數(shù)據(jù)集進(jìn)行訓(xùn)練獲得的卷積層，模型②卷積層的參數(shù)與模型1 卷積層的參數(shù)相同。

圖8 遷移學(xué)習(xí)方法Fig. 8 Schematic diagram of transfer learning method

測試過程中，為了驗(yàn)證仿真數(shù)據(jù)集在不同類別人造木質(zhì)板材紋理檢測的兼容性，仿真數(shù)據(jù)集使用的原始數(shù)據(jù)集與真實(shí)數(shù)據(jù)集為不同批次類別紋理，以此避免使用同一類型紋理時(shí)，可能帶來的相似性導(dǎo)致的結(jié)果偏差。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 檢測系統(tǒng)性能

在工業(yè)檢測的實(shí)際應(yīng)用中，召回率（Recall）、精確度（Precision）、準(zhǔn)確率（Accuracy）和檢測時(shí)間（Time）是對(duì)于機(jī)器視覺檢測系統(tǒng)優(yōu)劣的主要評(píng)價(jià)指標(biāo)。其中，召回率是系統(tǒng)正確歸類所有缺陷板材的比例（（7）式）；精確度是正確歸類為缺陷板材數(shù)量占所有歸類為缺陷板材數(shù)量的比例（式（8））；準(zhǔn)確率表示所有正確歸類圖像數(shù)量與數(shù)據(jù)集總數(shù)量的比例（（9）式）。

式中：TP 是系統(tǒng)正確歸類為缺陷板材的數(shù)量；FP是系統(tǒng)錯(cuò)誤歸類為缺陷板材的數(shù)量；TN 是系統(tǒng)正確歸類為正常板材的數(shù)量；FN 是系統(tǒng)錯(cuò)誤歸類為正常板材的數(shù)量。

檢測系統(tǒng)的準(zhǔn)確率測試中，使用了模擬數(shù)據(jù)集。所選擇的數(shù)據(jù)集樣本包括250 張帶有缺陷的圖片與250 張無缺陷圖片組成訓(xùn)練集、105 張帶有缺陷的圖片與105 張無缺陷圖片組成驗(yàn)證集、2450張帶有缺陷的圖片和350 張無缺陷圖片組成測試集。測試結(jié)果如表3 所示，可以看出該方法對(duì)板材缺損、花色缺失這2 種缺陷能夠達(dá)到全部準(zhǔn)確檢測，對(duì)表面油污、表面劃痕這2 種缺陷該方法有較高準(zhǔn)確率。該深度學(xué)習(xí)模型在人造木質(zhì)板材表面缺陷檢測中，準(zhǔn)確率高且所花費(fèi)時(shí)間較短，能夠滿足工業(yè)流水線實(shí)時(shí)檢測需求。

表3 在模擬數(shù)據(jù)集上檢測系統(tǒng)對(duì)四類缺陷的實(shí)驗(yàn)結(jié)果Table 3 Experimental results of four types of defects by detection system on simulated data sets

3.2 遷移學(xué)習(xí)性能

為驗(yàn)證提出的方法中遷移學(xué)習(xí)所體現(xiàn)的優(yōu)勢(shì)，對(duì)是否使用遷移學(xué)習(xí)進(jìn)行了測試比較。真實(shí)測試實(shí)驗(yàn)從流水線上采集3 批次不同類型的人造木質(zhì)板材圖片并將其分為批次A、批次B 和批次C，以批次A 圖片預(yù)訓(xùn)練改進(jìn)ResNet18 網(wǎng)絡(luò)模型，并與普通直接訓(xùn)練方法在批次B 和批次C 上進(jìn)行實(shí)際場景對(duì)比驗(yàn)證實(shí)驗(yàn)：首先以批次A 的人造木質(zhì)板材圖片為基礎(chǔ)訓(xùn)練集，使用模擬缺陷的方式制作批次A 的仿真人造木質(zhì)板材數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，其中批次A 仿真人造木質(zhì)板材數(shù)據(jù)集由1050張帶有缺陷圖片和對(duì)應(yīng)的標(biāo)簽組成；再分別使用直接訓(xùn)練的方式或特征映射的方式驗(yàn)證模型在小規(guī)模批次B 人造木質(zhì)板材圖片和批次C 人造木質(zhì)板材圖片上的表現(xiàn)，其中經(jīng)過簡單數(shù)據(jù)擴(kuò)充（旋轉(zhuǎn)圖片）的批次B 人造木質(zhì)板材數(shù)據(jù)集由300 張無缺陷圖片、50 張帶有缺陷圖片和對(duì)應(yīng)的標(biāo)簽組成，經(jīng)過簡單數(shù)據(jù)擴(kuò)充的批次C 人造木質(zhì)板材數(shù)據(jù)集由300 張無缺陷圖片、50 張帶有缺陷圖片和對(duì)應(yīng)的標(biāo)簽組成。測試實(shí)驗(yàn)性能對(duì)比結(jié)果如圖9 所示，藍(lán)色實(shí)線代表模型使用遷移學(xué)習(xí)進(jìn)行優(yōu)化訓(xùn)練的平均準(zhǔn)確率和損失值，紅色虛線代表模型直接學(xué)習(xí)小樣本數(shù)據(jù)集訓(xùn)練的平均準(zhǔn)確率和損失值。結(jié)果表明，使用遷移學(xué)習(xí)的準(zhǔn)確率曲線上升速度更快并達(dá)到98.77%，并且損失函數(shù)的收斂程度更高，明顯優(yōu)于使用小樣本數(shù)據(jù)集進(jìn)行直接訓(xùn)練的結(jié)果。

圖9 遷移學(xué)習(xí)方法的準(zhǔn)確率驗(yàn)證Fig. 9 Accuracy verification of transfer learning method

為了進(jìn)一步驗(yàn)證本方法的優(yōu)越性，實(shí)驗(yàn)同時(shí)引入多種深度學(xué)習(xí)網(wǎng)絡(luò)在數(shù)據(jù)集上進(jìn)行測驗(yàn)：密集連接神經(jīng)網(wǎng)絡(luò)DenseNet(Densely connected convolutional networks)通常被用于小樣本學(xué)習(xí)中；經(jīng)典輕量級(jí)網(wǎng)絡(luò)SqueezeNet 和高效卷積神經(jīng)網(wǎng)絡(luò)Mobile-Net 常被應(yīng)用于工業(yè)領(lǐng)域的圖像分類問題。對(duì)比結(jié)果如表4 所示，可見，本文提出的方法準(zhǔn)確率明顯優(yōu)于其他方法，并且較小的模型尺寸利于工業(yè)實(shí)際部署。

表4 本文方法與其他方法在真實(shí)數(shù)據(jù)集上的結(jié)果對(duì)比Table 4 Results comparison of proposed method and other methods on real data sets

4 結(jié)論

本文使用優(yōu)化骨干網(wǎng)絡(luò)和遷移學(xué)習(xí)特征映射的深度學(xué)習(xí)方法，解決了實(shí)際生產(chǎn)問題中復(fù)雜紋理表面缺陷檢測遇到的樣本數(shù)量少、數(shù)據(jù)集制作困難、相似問題難以互相兼容等問題。該方法通過優(yōu)化殘差網(wǎng)絡(luò)模型提升對(duì)圖像特征的提取能力，同時(shí)使用仿真數(shù)據(jù)集對(duì)模型進(jìn)行遷移學(xué)習(xí)，有效提升了檢測準(zhǔn)確率，并滿足實(shí)際部署的實(shí)時(shí)性和簡易性。實(shí)驗(yàn)結(jié)果表明，本文構(gòu)建的方法在面對(duì)人造木質(zhì)板材等復(fù)雜紋理產(chǎn)品表面缺陷檢測具有較高的準(zhǔn)確率，同時(shí)對(duì)訓(xùn)練數(shù)據(jù)集的規(guī)模要求較低，滿足實(shí)際工業(yè)應(yīng)用的需求。