基于超分辨率特征融合的工件表面細微缺陷數(shù)據(jù)擴增方法

劉孝保，劉 佳，陰艷超，高 陽

(昆明理工大學(xué) 機電工程學(xué)院，云南 昆明 650500)

0 引言

表面細微缺陷影響著工件產(chǎn)品的使用性、外觀性和舒適性[1]，因此表面細微缺陷檢測成為工件缺陷檢測的重要工作之一。近年來，針對工件缺陷檢測的方法主要有傳統(tǒng)物理檢測方法與計算機視覺檢測方法，其中傳統(tǒng)物理檢測方法主要解決工件內(nèi)部缺陷問題，對操作人員的專業(yè)技能要求較高，且僅適用于部分材料工件；計算機視覺檢測方法主要包括深度學(xué)習(xí)檢測方法和傳統(tǒng)數(shù)字圖像處理方法等[2]，該方法具有實時性、非接觸性、客觀性等特點。針對傳統(tǒng)數(shù)字圖像處理方法，趙君愛等[3]提出一種基于像元搜索算法的微小缺陷檢測方法，用于分割弱小缺陷目標(biāo)；劉磊等[4]利用主成成分分析法對缺陷圖像特征數(shù)據(jù)進行降維計算獲得新的主成分，并采用支持向量機(Support Vector Machine, SVM)建立制動防抱死系統(tǒng)(Antilock Brake System, ABS)齒圈缺陷檢測模型；WIN等[5]針對鍍鈦表面小裂紋缺陷，改進Otsu閾值調(diào)節(jié)方法，對鍍鈦鋁表面進行自動檢測；馮毅雄等[6]利用缺陷特征完成軸件表面形貌重構(gòu)，消除了水漬偽缺陷對檢測過程的影響；JIAN等[7]采用基于輪廓的配準(zhǔn)方法，實現(xiàn)移動過程中震動狀態(tài)的手機玻璃屏(Mobile Phone Screen Glass, MPSG)圖像對準(zhǔn)，并結(jié)合減法與投影完成對MPSG圖像缺陷的識別。上述幾類傳統(tǒng)數(shù)字圖像處理方法對表面缺陷檢測均存在預(yù)處理數(shù)據(jù)量大、識別精度不高、魯棒性不強等問題。針對基于深度學(xué)習(xí)的缺陷檢測，虢韜等[8]通過構(gòu)建快速深度卷積神經(jīng)網(wǎng)絡(luò)(Faster Region-based Convolutional Neural Network, Faster-RCNN)網(wǎng)絡(luò)模型識別絕緣子自爆缺陷；范佳楠等[9]通過構(gòu)建Faster-RCNN識別工業(yè)CT圖像缺陷；AKRAM等[10]針對光伏組件缺陷，采用光卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)實現(xiàn)其缺陷的自動檢測，同時根據(jù)策略推廣模型預(yù)測特定缺陷類型；李宜汀等[11]針對油辣椒灌裝生產(chǎn)線的封蓋面缺陷檢測，在預(yù)處理階段裁剪缺陷主體，然后融合稀疏濾波，通過提取多重特征輸入卷積神經(jīng)網(wǎng)絡(luò)獲得缺陷識別模型；郭亞萍等[12]基于SegNet網(wǎng)絡(luò)重構(gòu)表面缺陷檢測問題，利用編碼—解碼結(jié)構(gòu)實現(xiàn)特征的像素級分類。常用的深度學(xué)習(xí)表面缺陷檢測模型對特征表征能力強、易于學(xué)習(xí)的明顯特征具有較好的檢測識別能力，而對缺陷目標(biāo)在整張圖像中像素占比小、信噪比極低、背景與目標(biāo)特征區(qū)分不明顯的細微缺陷，雖然可以增加網(wǎng)絡(luò)深度和復(fù)雜性來獲取更優(yōu)的學(xué)習(xí)能力與模型效果，但是總體學(xué)習(xí)效果仍然欠佳，模型能效比有待提升。

為此，針對工件表面細微特征難以識別的問題，本文構(gòu)建了一種基于超分辨率特征融合的數(shù)據(jù)擴增模型(data Amplification model for Super-Resolution feature Fusion, SRF-A)。該模型集成基于圖像修復(fù)與圖像融合的數(shù)據(jù)擴增，并融入圖像超分辨率機制，形成包括缺陷樣本數(shù)據(jù)層(Data)、超分辨率特征提取與樣本修復(fù)層(Super Resolution-image Repair, SR-Re)、數(shù)據(jù)擴增層(data Merge-Amplification，M-A)的3層模型結(jié)構(gòu)，著重解決了表面細微缺陷檢測模型構(gòu)建困難、圖像特征不明顯、工業(yè)應(yīng)用困難的問題，為工件表面細微缺陷檢測提供了一種新的思路與方法。

1 工件表面細微缺陷分析

表面缺陷檢測是零件加工過程中必不可少的環(huán)節(jié)。因為表面缺陷以工件為載體，而工件工藝流程多樣，生產(chǎn)環(huán)境復(fù)雜，表面缺陷種類繁多且成因各不相同，所以工件表面細微缺陷具有如下特點：

(1)圖像特征不明顯 圖像特征主要包括顏色特征、紋理特征、形狀特征和空間關(guān)系特征。針對細微缺陷，其顏色特征不明顯，顏色直方圖中細微缺陷的色彩像素點全局占比極?。辉诩y理特征上，紋理特征所表示的物理表面特性中，細微缺陷對圖像紋理改變較小，且由于圖像分辨率的原因，相同圖像在不同分辨率下對特征的紋理表征偏差較大，二維圖像對三維表面的表征會因圖像分辨率等特性而出現(xiàn)失真；在形狀特征上，細微缺陷區(qū)域的邊界非常接近，因此，描述缺陷的輪廓特征和區(qū)域特征比較困難，常用的邊界描述法、傅里葉形狀描述法、幾何參數(shù)法均因區(qū)域邊界影響而不能很好地對其形狀特征進行描述；在空間關(guān)系特征上，細微缺陷姿態(tài)不清晰，圖像內(nèi)容描述區(qū)分能力差，容易受噪聲影響。因此，可采用圖像超分辨率技術(shù)，通過增強細微缺陷特征來提高其表征能力。

(2)檢測模型構(gòu)建困難 常規(guī)卷積神經(jīng)網(wǎng)絡(luò)模型由卷積層、池化層、全連接層構(gòu)成，其模型的構(gòu)建過程實際上是特征學(xué)習(xí)與參數(shù)更新的過程，卷積層與池化層用于提取特征的高級表征，需要大量的訓(xùn)練數(shù)據(jù)，而且訓(xùn)練數(shù)據(jù)應(yīng)該標(biāo)簽清晰、特征突出，而細微缺陷因為在圖像中的特征占比小，圖像特征模糊，所以在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中對細微缺陷特征的學(xué)習(xí)能力較弱，且訓(xùn)練過程不易收斂，模型參數(shù)更新困難。因此，可通過超分辨率特征融合來強化細微缺陷的結(jié)構(gòu)與紋理信息，增強檢測模型對細微缺陷圖像特征的學(xué)習(xí)能力。

(3)檢測(應(yīng)用)困難 傳統(tǒng)工件表面細微缺陷檢測方法對操作人員技術(shù)水平和檢測設(shè)備要求較高，但對細微缺陷檢測的效果欠佳，因此現(xiàn)代工業(yè)對具有無接觸性、準(zhǔn)確率高、客觀快速、自學(xué)習(xí)等特性的計算機視覺檢測需求極大，然而細微缺陷具有圖像特征不明顯、樣本獲取困難與模型構(gòu)建困難等特點，限制了其應(yīng)用。為此，通過建立超分辨率特征融合數(shù)據(jù)擴增模型，在強化細微缺陷的結(jié)構(gòu)與紋理信息的同時，增強神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力和模型構(gòu)建能力，提高了工業(yè)應(yīng)用的場景適應(yīng)性與檢測模型能效比。

2 基于超分辨率特征融合的數(shù)據(jù)擴增模型

針對工件表面細微缺陷檢測中存在的問題，本文提出基于超分辨率特征融合的數(shù)據(jù)擴增模型(SRF-A)，該模型重點解決了工件表面細微缺陷的檢測模型構(gòu)建困難、檢測精度差、分類不準(zhǔn)確問題，模型結(jié)構(gòu)如圖1所示。

SRF-A由Data層、SR-Re層和M-A層3層結(jié)構(gòu)構(gòu)成，其中：Data層負(fù)責(zé)劃分初始樣本，輸入原始數(shù)據(jù)，輸出包括表面細微缺陷的工件圖像樣本數(shù)據(jù)，并作為SR-Re層的輸入；SR-Re層用于提取圖像特征的超分辨率和修復(fù)原始樣本，從而增強表面細微缺陷圖像特征的超分辨率并獲取無缺陷樣本ND-S；M-A層通過融合SR-Re層提取的超分辨特征和無缺陷樣本實現(xiàn)數(shù)據(jù)擴增。

深度學(xué)習(xí)模型的實際應(yīng)用效果不僅取決于其模型本身的合理性，還取決于模型訓(xùn)練中的樣本質(zhì)量水平。由于工件表面細微缺陷的隱蔽性，容易在深度學(xué)習(xí)訓(xùn)練的采樣過程中忽略細微特征而降低細微特征的學(xué)習(xí)能力。因此，SRF-A針對工件表面的細微缺陷特征，利用超分辨率特征融合對細微缺陷的超分辨率進行復(fù)原，在數(shù)據(jù)上強化細微缺陷的圖像特征表示，并通過融合無缺陷樣本，豐富細微缺陷的背景，完成數(shù)據(jù)擴增，提高常規(guī)深度學(xué)習(xí)模型對細微缺陷特征的更新學(xué)習(xí)和分類檢測能力。在實際的工件表面缺陷檢測過程中，采用本模型對訓(xùn)練數(shù)據(jù)進行預(yù)處理，能夠豐富模型的訓(xùn)練數(shù)據(jù)、突出細微類別的圖像表征，從而增強檢測模型的構(gòu)建能力，提升總體檢測精度和分類準(zhǔn)確率。

2.1 Data層樣本劃分

實驗數(shù)據(jù)樣本為單缺陷圖像(即一張圖像只包含一類標(biāo)簽特征)，而SRF-A只針對細微缺陷樣本，因此模型Data層需要將樣本劃分為細微缺陷和非細微缺陷，并將細微缺陷樣本作為Data層輸出。

劃分樣本時，需要提取圖像中的缺陷特征區(qū)域，并計算缺陷特征區(qū)域最小外接矩形在整張圖像中的像元占比，計算步驟為：首先完成樣本的預(yù)處理裁剪，減少樣本中無關(guān)背景的干擾；然后用灰度直方圖閾值分割技術(shù)分割缺陷特征區(qū)域；提取分割后的缺陷特征區(qū)域，并統(tǒng)計缺陷區(qū)域外接矩形中的像元數(shù)量，計算缺陷區(qū)域像元數(shù)量占圖像像元總數(shù)的比值，即缺陷特征區(qū)域像元占比。

將實驗經(jīng)驗值0.333%作為樣本中的細微缺陷劃分標(biāo)準(zhǔn)，缺陷特征區(qū)域像元占比小于0.333%的樣本劃分為細微缺陷樣本，否則劃分為非細微缺陷樣本。

2.2 樣本修復(fù)

樣本修復(fù)是指對樣本中不符合正常樣本數(shù)據(jù)概型分布的噪聲數(shù)據(jù)進行修復(fù)與替代，使數(shù)據(jù)的分布特性更加接近自然數(shù)據(jù)[13]，在SRF-A中，SR-Re層中并行結(jié)構(gòu)右側(cè)的樣本修復(fù)模塊(Re)通過修復(fù)Data層中樣本圖像的細微缺陷，為M-A層提供無缺陷樣本ND-Si(i=1,…,n)。采用快速行進法[14](Fast Marching Method, FMM)修復(fù)工件表面細微缺陷的小尺度圖像的原理如圖2所示。

圖中A為缺陷樣本中的缺陷特征區(qū)域，?A為缺陷區(qū)域邊界，p為邊界上一點，Bε(p)為點p的鄰域，q為Bε(p)內(nèi)部一點。對Bε(p)區(qū)域內(nèi)部像素點進行加權(quán)平均以估算p點像素值，即：

R(p)=

(1)

G(p)=

(2)

B(p)=

(3)

式中：R(p)，G(p)，B(p)分別為彩色圖像紅、綠、藍三通道的p點像素值；ω(p,q)為加權(quán)函數(shù)，用于衡量待修復(fù)像素點與相關(guān)鄰域像素點的相關(guān)性，像素點距離p點法線方向越近，對p點像素修復(fù)貢獻的權(quán)值越大，

ω(p,q)=direction(p,q)·distance(p,q)·

level(p,q)，

(4)

式中：direction(p,q)為方向權(quán)值，保證距離p點法線方向越近的鄰域像素點，對p點像素修復(fù)結(jié)果產(chǎn)生的影響越大；distance(p,q)為距離權(quán)值，保證距離p點越近的鄰域像素點，對p點像素點修復(fù)結(jié)果產(chǎn)生的影響越大；level(p,q)為水平集距離權(quán)值，保證距離待修復(fù)區(qū)域越近的鄰域像素，對待修復(fù)區(qū)域像素點修復(fù)結(jié)果的影響越大；d0和T0，分別為距離參數(shù)與水平集參數(shù)，d0=1，T0=1；T為缺陷特征區(qū)域像素點距離該區(qū)域邊緣最短的距離。

2.3 超分辨率特征提取

因為細微缺陷特征不易識別，所以構(gòu)建缺陷檢測模型需要對細微缺陷的圖像數(shù)據(jù)進行超分辨率重建，以保證缺陷特征在CNN的下采樣訓(xùn)練過程中不會丟失。細微缺陷在圖像中像元的占比雖然小，但是細微缺陷內(nèi)部具有豐富的紋理與結(jié)構(gòu)信息，如果直接采用線性插值法進行細微缺陷的超分辨率重建，則重建圖像雖然尺寸較大，但是會丟失細微缺陷大部分的結(jié)構(gòu)和紋理信息，為此采用超分辨率生成式對抗網(wǎng)絡(luò)[15](Super-Resolution Generative Adversarial Networks, SRGAN)對細微缺陷進行超分辨率重建，較好地恢復(fù)了細微缺陷內(nèi)部的結(jié)構(gòu)和紋理。超分辨率特征提取(Super-Resolution Feature Extraction, SR-FE)模型結(jié)構(gòu)如圖3所示。

低分辨率圖像生成高分辨率圖像的原理是將訓(xùn)練集中的高分辨率圖像與其對應(yīng)的低分辨率圖像作為訓(xùn)練數(shù)據(jù)，學(xué)習(xí)低分辨率圖像到高分辨率圖像的關(guān)系映射，并通過網(wǎng)絡(luò)模型儲存該類映射關(guān)系。超分辨率重建圖像是通過學(xué)習(xí)到的映射關(guān)系，利用低分辨率圖像生成高分辨率圖像。

SR-FE模型首先提取缺陷樣本(Si，i=1,…,n)中的缺陷特征(Fi，i=1,…,n)區(qū)域，輸入SRGAN中的生成模型G-Model，完成對SRGAN的訓(xùn)練。將原始高分辨率缺陷樣本作為真實數(shù)據(jù)輸入SRGAN中的判別模型D-Model，對原始高分辨率缺陷樣本進行圖像四倍下采樣，獲得高分辨率缺陷樣本對應(yīng)的低分辨率缺陷樣本，再將低分辨率缺陷樣本輸入SRGAN中的生成模型，生成超分辨率缺陷樣本，并將其作為虛假數(shù)據(jù)，將原始高分辨率缺陷樣本與虛假數(shù)據(jù)同時輸入判別模型，利用SRGAN的博弈和反饋過程對生成模型和判別模型的參數(shù)進行更新。利用生成模型已經(jīng)學(xué)習(xí)到的樣本映射關(guān)系，將缺陷特征輸入生成模型生成對應(yīng)的超分辨率特征SR-Fi，完成對樣本中細微缺陷超分辨率特征的提取。SRGAN的目標(biāo)函數(shù)為

(5)

通過高分辨率缺陷數(shù)據(jù)訓(xùn)練生成模型，通過注意力矩陣tn(n=1,…,N)提取樣本Sn中的缺陷特征fn，將fn作為生成模型的輸入，輸出四倍超分辨率缺陷特征SR-Fn，

SR-Fn=GθG(fn)；

(6)

fn=Sn×tn。

(7)

式中：SR-Fn為超分辨率缺陷特征；GθG為已完成訓(xùn)練的生成模型；Sn為缺陷樣本。

注意力機制的數(shù)學(xué)描述為從輸入集合中獲取特定子集，軟注意力機制意為生成與樣本矩陣大小相同、內(nèi)部元素數(shù)值介于0～1的注意力矩陣，硬注意力機制意為生成與樣本矩陣大小相同、內(nèi)部元素數(shù)值為0或1的注意力矩陣，本文采用硬注意力機制提取樣本中的缺陷特征。

注意力矩陣tn通過迭代法分割獲取全局閾值，具體步驟如下：

(1)針對本文數(shù)據(jù)預(yù)定義參數(shù)t=5，作為后續(xù)比較對象。

(2)隨機設(shè)定初始分割閾值a(a∈[avergegray±20],averagegray為圖像平均灰度值)。

(3)利用初始分割閾值a將原始圖像樣本分割為兩組像素的集合，即背景與前景。

(4)分別計算前景與背景的平均灰度值a1，a2，隨后計算a1和a2的平均值a3。

(5)計算a3與隨機初始分割閾值a的差值T。

(6)比較T與(1)中的預(yù)定義參數(shù)t，若T>t，則用a3替代初始分割閾值a，重復(fù)(3)～(5)，直到T≤t，結(jié)束迭代，獲取最優(yōu)閾值[16]。

執(zhí)行最新閾值分割前景和背景，獲取注意力矩陣，如圖4所示。圖4b中分割出的前景在注意力矩陣中所有位置的值為1，背景在注意力矩陣中所有位置的值為0。

2.4 基于圖像融合的數(shù)據(jù)擴增模型

數(shù)據(jù)擴增通過對原始數(shù)據(jù)進行一系列變換生成更多樣本數(shù)據(jù)來增加樣本數(shù)據(jù)的多樣性、提高模型泛化能力。CNN訓(xùn)練學(xué)習(xí)圖像特征需要大量訓(xùn)練數(shù)據(jù)，訓(xùn)練數(shù)據(jù)中的圖像特征通過卷積池化等數(shù)學(xué)操作壓縮提取，由于表面細微缺陷的圖像特征不明顯、像素占比小，容易在降采樣過程中丟失細微特征，造成分類不準(zhǔn)確、學(xué)習(xí)效率低下。本文采用超分辨率提取工件表面的細微特征，融合擴增修復(fù)樣本與超分辨率特征，使表面細微缺陷數(shù)據(jù)不易在訓(xùn)練過程中丟失，從而提高模型對表面細微缺陷的學(xué)習(xí)能力，并提高模型分類的效果?；趫D像融合的數(shù)據(jù)擴增(Data Merge Amplification, DMA)模型結(jié)構(gòu)如圖5所示。

DMA模型屬于SRF-A模型中的第3層M-A層，上接SR-Re層。DMA模型分為超分辨率特征層、單樣本擴增層、無缺陷樣本層、融合位置參數(shù)層、泊松融合層和新樣本層。其中超分辨率特征層以圖1中SR-Re層的SR-FE模型輸出的超分辨率缺陷特征SR-Fi為輸入數(shù)據(jù)；無缺陷樣本層以SRF-A中SR-Re層的樣本修復(fù)模塊(Re)輸出的無缺陷樣本為輸入數(shù)據(jù)s=[ND-S1,ND-S2,…,ND-Sn]T；融合位置參數(shù)層中位置參數(shù)position的選擇可以豐富圖像融合后的數(shù)據(jù)表征，屬于圖5 的內(nèi)部結(jié)構(gòu)參數(shù)，并不通過SRF-A的前兩層獲??；泊松融合層位于新樣本層之前，屬于泊松(Poission)圖像融合關(guān)鍵算法區(qū)域，連接DMA模型融合位置參數(shù)position-i、SRF-A模型第2層產(chǎn)生的超分辨率缺陷特征SR-Fi和無缺陷樣本ND-Si。

DMA模型首先以超分辨率缺陷特征SR-Fi作為輸入數(shù)據(jù)，通過單樣本擴增技術(shù)(圖像翻轉(zhuǎn)Flip、圖像旋轉(zhuǎn)Spin、…、圖像模糊blurry)對超分辨率缺陷特征SR-Fi進行變換，獲取變換數(shù)據(jù)x,在無缺陷樣本中選擇融合位置參數(shù)position-i(i-1,…,n)，然后通過泊松圖像融合[17]將無缺陷樣本層數(shù)據(jù)s=[ND-S1,ND-S2,…,ND-Sn]T與單樣本擴增數(shù)據(jù)x根據(jù)融合位置參數(shù)position-i進行超分辨率特征融合，獲得擴增樣本層數(shù)據(jù)d，

di,j=poisson(xi,j,si,1,position-i)。

(8)

2.5 工件表面細微缺陷數(shù)據(jù)擴增流程

對于工件表面缺陷樣本數(shù)據(jù)，原始樣本空間存在數(shù)量較少的細微缺陷類別樣本，導(dǎo)致樣本空間不均衡，而且細微缺陷特征的像元在圖像中占比過小，神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中多次下采樣后，細微缺陷的特征將被特征圖丟失，導(dǎo)致分類模型構(gòu)建失敗，因此采用SRF-A處理初始數(shù)據(jù)，生成新樣本空間。擴增流程如圖6所示。

數(shù)據(jù)擴增具體步驟如下：

步驟1將原始鋁型材待分類數(shù)據(jù)輸入模型作為初始樣本空間。

步驟2通過對原始樣本數(shù)據(jù)進行預(yù)處理裁剪，去除大多數(shù)無關(guān)環(huán)境噪聲的影響，獲取工件主體部分以及主體部分所承載的表面缺陷特征。

步驟3采用圖像閾值分割方法對步驟2經(jīng)過預(yù)處理裁剪獲取的圖像進行目標(biāo)缺陷的圖像分割，獲取缺陷區(qū)域。

步驟4通過多次實驗確定像元占比判別閾值為0.333%，計算步驟3獲取的鋁型材表面缺陷像元數(shù)量與圖像總體像元數(shù)量的比值，即表面缺陷區(qū)域的像元占比，并與0.333%比較，將像元占比小于等于0.333%的缺陷樣本劃分為細微缺陷樣本，將像元占比大于0.333%的缺陷樣本劃分為非細微缺陷樣本。

步驟5判定為細微缺陷樣本的數(shù)據(jù)將通過左側(cè)并行通路，分別進入并行通路的左側(cè)分支與右側(cè)分支。左側(cè)分支對細微缺陷樣本在步驟3獲取的細微缺陷進行四倍超分辨率特征復(fù)原，并采用旋轉(zhuǎn)、平移、噪聲添加等單樣本擴增技術(shù)，對細微缺陷的四倍超分辨率特征進行數(shù)據(jù)擴增；右側(cè)分支修復(fù)缺陷區(qū)域的細微缺陷樣本數(shù)據(jù)，獲得無缺陷樣本。判定為非細微缺陷樣本的圖像直接通過右側(cè)通路，不進行任何操作。

步驟6將步驟5中右側(cè)通路生成的無缺陷樣本與左側(cè)通路生成的細微缺陷四倍超分辨率特征進行泊松圖像融合，獲取包括超分辨率細微特征前景與鋁型材工件背景的新樣本。

步驟7接受步驟4判定的非細微缺陷樣本和步驟6生成的融合數(shù)據(jù)新樣本，獲取包括超分辨率細微缺陷的新樣本空間數(shù)據(jù)。

3 實驗分析

為驗證SRF-A對提升工件表面細微缺陷檢測精度的有效性與可行性，使用鋁型材常見表面缺陷數(shù)據(jù)集(https://tianchi.aliyun.com/competition/entrance/231682/information)，選擇數(shù)據(jù)集中的5類樣本(臟點、凸粉、碰凹、擦花、無缺陷)作為實驗數(shù)據(jù)。由于原始比賽數(shù)據(jù)存在標(biāo)注錯誤，手動更正錯誤后，獲取5類樣本的數(shù)量分別為擦花26張、碰凹20張、凸粉64張、臟點54張、無缺陷42張，樣本如圖7所示。

3.1 實驗數(shù)據(jù)準(zhǔn)備

原始樣本的小樣本與非均勻狀態(tài)會影響模型擬合和訓(xùn)練結(jié)果[18-19]，因此需要采用數(shù)據(jù)擴增方法消除原始樣本空間的不均勻分布，下面分別采用普通數(shù)據(jù)擴增方法與本文數(shù)據(jù)擴增方法進行實驗數(shù)據(jù)的擴增與準(zhǔn)備：

(1)普通數(shù)據(jù)擴增 首先采用普通數(shù)據(jù)擴增方法對原始5類樣本進行數(shù)據(jù)擴增，將每一類標(biāo)簽樣本擴充至400張(包括4類原始樣本)，其中用到的擴增方法有旋轉(zhuǎn)、平移、縮放、鏡像，設(shè)置旋轉(zhuǎn)角度不超過20°，平移距離不超過圖像尺寸40%，縮放尺寸不超過原始圖像尺寸的10%。

(2)本文數(shù)據(jù)擴增 將上述5類樣本中的4類缺陷樣本劃分為細微缺陷樣本和非細微缺陷樣本，本文數(shù)據(jù)集圖像的原始分辨率為2 560×1 920，單幅圖像的像元總數(shù)為4 915 200。提取缺陷連通區(qū)域的最小外接矩形，并計算該矩形的像元數(shù)量，像元數(shù)量小于128×128=16 384的樣本(即像元占比<0.333%)被劃分為細微缺陷樣本，利用本文SRF-A對細微缺陷樣本進行數(shù)據(jù)擴增，非細微缺陷樣本按比例采用普通數(shù)據(jù)擴增。在用SRF-A對細微缺陷區(qū)域進行超分辨率提取之前，需要對SR-FE模型中的超分辨率模塊(SR)進行訓(xùn)練，本文采用5類標(biāo)簽樣本共206張圖像訓(xùn)練SR模塊中的SRGAN。

首先切分206張原始樣本，獲得21 840張128×128分辨率圖像(高分辨率圖像)，作為SRGAN中D-Model的真實數(shù)據(jù)輸入；其次對128×128分辨率圖像進行四倍下采樣，生成32×32分辨率圖像(低分辨率圖像)，作為SRGAN中G-Model的輸入；最后將G-Model的輸出作為SRGAN中D-Model的虛假數(shù)據(jù)輸入，訓(xùn)練SRGAN模型生成四倍超分辨率圖像。細微缺陷的四倍超分辨率效果如圖8所示。

由圖8可知，經(jīng)過訓(xùn)練后的SR模型對缺陷區(qū)域進行超分后，較好地保留了圖像色彩信息和紋理結(jié)構(gòu)，而且在對非訓(xùn)練數(shù)據(jù)進行超分時，能夠重建低分辨率圖像。樣本劃分如表1所示，數(shù)據(jù)擴增情況如表2所示。

表1 樣本劃分統(tǒng)計

表2 數(shù)據(jù)擴增統(tǒng)計

3.2 實驗環(huán)境搭建與網(wǎng)絡(luò)構(gòu)建

使用個人計算機為硬件平臺，基于Windows 10操作系統(tǒng)，采用Keras平臺作為深度學(xué)習(xí)后端(Keras版本為2.3.1)，編程語言為Python 3.7.4。

采用經(jīng)典CNN網(wǎng)絡(luò)GoogLeNet和ResNet50分別構(gòu)建兩種分類網(wǎng)絡(luò)，并通過多次實驗調(diào)參優(yōu)化數(shù)據(jù)模型參數(shù)，其網(wǎng)絡(luò)參數(shù)設(shè)置如表3所示。

表3 神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置

GoogLeNet網(wǎng)絡(luò)于2014年提出，獲得當(dāng)年ImageNet挑戰(zhàn)賽第一名，其能夠以較小的參數(shù)量與相對更淺的網(wǎng)絡(luò)層數(shù)獲得更高的分類精度，具有其獨特的優(yōu)勢。

ResNet網(wǎng)絡(luò)于2015年提出，獲得當(dāng)年ImageNet挑戰(zhàn)賽第一名，其通過殘差學(xué)習(xí)的方式使得構(gòu)建深層網(wǎng)絡(luò)學(xué)習(xí)特征更加便捷。本文采用ResNet50網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建50層殘差網(wǎng)絡(luò)。

3.3 實驗驗證與結(jié)果分析

為評估SRF-A的性能與有效性，根據(jù)文獻[20]進行4.1節(jié)普通數(shù)據(jù)擴增與4.2節(jié)網(wǎng)絡(luò)初始參數(shù)設(shè)置(訓(xùn)練周期為60、學(xué)習(xí)率為0.001，采用交叉熵?fù)p失函數(shù))，采用SRF-A進行3.1節(jié)的超分融合擴增。將3.2節(jié)構(gòu)建的兩種分類網(wǎng)絡(luò)和3.1節(jié)準(zhǔn)備的兩種樣本數(shù)據(jù)(普通數(shù)據(jù)擴增、超分融合擴增)對應(yīng)的4種模型分別設(shè)置3組實驗，共12組實驗進行對比，實驗標(biāo)簽1為擦花、2為碰凹、3為凸粉、4為臟點、5為無缺陷。最后分別取3組實驗的平均值作圖，平均準(zhǔn)確率變化如圖9所示，具體結(jié)果如表4所示。

從文獻[20]可知，由于臟點這類小尺度缺陷的特征尺度細微且分布較廣，網(wǎng)絡(luò)對其識別能力較低。由圖9可見，網(wǎng)絡(luò)在訓(xùn)練20個輪次之前，兩類方法的精度相差并不明顯；在20個訓(xùn)練輪次之后，兩類方法開始出現(xiàn)一定差異，本文方法的精度持續(xù)上升直至穩(wěn)定，常規(guī)方法的精度提升效果不大。這是由于本文方法對樣本中的細微缺陷進行超分辨率特征融合，使網(wǎng)絡(luò)在20個訓(xùn)練輪次之后對數(shù)據(jù)仍然具有學(xué)習(xí)分類能力；常規(guī)方法則因細微缺陷樣本在學(xué)習(xí)下采樣過程中丟失了特征，導(dǎo)致與無缺陷樣本區(qū)分時出現(xiàn)困難，而持續(xù)學(xué)習(xí)導(dǎo)致網(wǎng)絡(luò)產(chǎn)生過擬合現(xiàn)象，降低了模型擬合非訓(xùn)練樣本的能力。在GoogLeNet網(wǎng)絡(luò)中，本文數(shù)據(jù)擴增方法的平均精度較普通數(shù)據(jù)擴增方法提高了8.1%；在ResNet網(wǎng)絡(luò)中，本文數(shù)據(jù)擴增方法的平均精度較普通數(shù)據(jù)擴增方法提高了5.7%；結(jié)合表4單標(biāo)簽精度與表1樣本劃分統(tǒng)計，標(biāo)簽4臟點類缺陷的細微樣本占比為100%，標(biāo)簽1擦花類缺陷的細微樣本占比為11.5%，標(biāo)簽3凸粉類缺陷的細微樣本占比為9.4%，這3類樣本在GoogLeNet網(wǎng)絡(luò)中的精度分別提升11.8%，10.5%，4.4%，在ResNet網(wǎng)絡(luò)中的精度分別提升10.4%，7.8%，1.1%，可見細微樣本占比與標(biāo)簽分類精度的提升有較為明顯的相關(guān)性。

標(biāo)簽4為臟點類缺陷，在樣本劃分中全部屬于細微缺陷，標(biāo)簽5為無缺陷樣本，其采樣特征圖與細微缺陷卷積采樣后的特征圖相似性較高，因此在分類網(wǎng)絡(luò)中標(biāo)簽4和標(biāo)簽5分類困難。采用本文方法處理后，標(biāo)簽4的精度提升最大，其次為標(biāo)簽5，而隨著細微缺陷識別率的提高，網(wǎng)絡(luò)對無缺陷樣本的識別能力得到相應(yīng)提升。

4 結(jié)束語

針對工業(yè)缺陷檢測中表面細微缺陷檢測存在的問題，提出一種基于超分辨率特征融合的工件表面細微缺陷數(shù)據(jù)擴增方法，該方法具有如下特點：①根據(jù)實驗將缺陷特征像元占比0.333%為標(biāo)準(zhǔn)劃分原始樣本中的細微缺陷樣本；②構(gòu)建并行結(jié)構(gòu)，分別融合SRGAN和圖像修復(fù)，進行樣本細微特征的超分辨率特征提取與無缺陷樣本獲?。虎弁ㄟ^泊松融合進行圖像擴增來豐富缺陷樣本數(shù)據(jù)量，從而擴增細微缺陷樣本數(shù)據(jù)，增強檢測模型的泛化能力和學(xué)習(xí)能力，提高模型能效比。然而，本文方法在將細微樣本的缺陷特征前景與無缺陷背景融合時，沒有利用非細微缺陷特征背景豐富擴增后的樣本，而且每類標(biāo)簽樣本數(shù)據(jù)都服從其類間特有分布，因此下一階段工作將融合Criminisi算法修復(fù)非細微缺陷樣本圖像，并利用類樣本概率分布理論進一步支撐無缺陷樣本與特征前景融合，優(yōu)化樣本結(jié)構(gòu)，增強模型的學(xué)習(xí)能力和檢測能力。