面向不均衡樣本空間的工件表面缺陷檢測(cè)方法

劉佳,劉孝保,陰艷超,孫海彬

(昆明理工大學(xué) 機(jī)電工程學(xué)院,昆明 650500)

工業(yè)作為國家經(jīng)濟(jì)的重要組成部分,工件質(zhì)量檢測(cè)是工業(yè)生產(chǎn)的重要工序,而工件表面缺陷檢測(cè)作為該工序的重要工作之一,對(duì)工業(yè)產(chǎn)品的使用性能、外觀性能與舒適性能有著極大的影響[1]。近年來,針對(duì)工件表面缺陷檢測(cè),主要有傳統(tǒng)檢測(cè)方法與機(jī)器視覺檢測(cè)方法。其中傳統(tǒng)檢測(cè)方法主要通過人工實(shí)現(xiàn)對(duì)工件表面上的缺陷檢測(cè),然而人工檢測(cè)抽檢效率低下、準(zhǔn)確率低、實(shí)時(shí)性差、效率低下、勞動(dòng)強(qiáng)度過大、對(duì)檢測(cè)人員經(jīng)驗(yàn)要求較高、且易受主觀性影響[2];機(jī)器視覺檢測(cè)主要有傳統(tǒng)數(shù)字圖像處理檢測(cè)方法與深度學(xué)習(xí)檢測(cè)方法,機(jī)器視覺檢測(cè)具有無接觸性、無損傷性、客觀性、效率高的特點(diǎn)。針對(duì)傳統(tǒng)數(shù)字圖像處理檢測(cè)方法,針對(duì)太陽片表面數(shù)字圖像,利用一維傅里葉變換構(gòu)建缺陷列在小波域中的欠定方程,通過內(nèi)積比較高頻系數(shù)大值位置,實(shí)現(xiàn)圖像中線型與點(diǎn)型缺陷的檢測(cè)[3];利用改進(jìn)的閾值迭代法實(shí)現(xiàn)缺陷特征的分割,結(jié)合分割圖像與軸件表面缺陷特征模型,利用深度信息完成缺陷信息重構(gòu),消除水漬類偽缺陷[4];利用各向異性擴(kuò)散模型消除偽缺陷,建立威布爾分布模型提取可靠背景,確定自適應(yīng)閾值分割缺陷,完成對(duì)鋼材表面缺陷的檢測(cè)[5];通過激光掃描捕獲光學(xué)元件表面圖像,利用紋理分割完成表面缺陷輪廓特征的提取,結(jié)合角點(diǎn)監(jiān)測(cè)算法完成對(duì)其表面缺陷的檢測(cè)[6]。上述傳統(tǒng)數(shù)字圖像處理檢測(cè)方法針對(duì)表面缺陷檢測(cè)中,均存在缺陷背景單一、魯棒性低、特征學(xué)習(xí)能力弱等問題。針對(duì)基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法,使用Adaboost級(jí)聯(lián)分類器提取木材表面缺陷區(qū)域候選框,使用大量樣本完成CNN模型的訓(xùn)練,完成對(duì)候選框的缺陷分類[7];構(gòu)建實(shí)例層次特征卷積神經(jīng)網(wǎng)絡(luò),利用不同卷積層生成特征缺陷掩膜圖,隨后利用全卷積網(wǎng)絡(luò)實(shí)現(xiàn)各級(jí)卷積特征的提取與缺陷的識(shí)別[8];首先利用高斯濾波完成圖像噪聲的去除,隨后建立深度CNN,通過利用CNN模型與特征字典實(shí)現(xiàn)圖像重構(gòu)與特征提取,通過圖像分割確定缺陷位置[9];改進(jìn)Mask RCNN模型,結(jié)合特征金字塔與深度卷積神經(jīng)網(wǎng)絡(luò),利用區(qū)域建議網(wǎng)絡(luò)生成回歸框,隨后完成分類[10]。常用的基于深度學(xué)習(xí)方法針對(duì)表面缺陷檢測(cè)時(shí),需要大量訓(xùn)練數(shù)據(jù),樣本數(shù)量豐富,類內(nèi)分布均勻,才能使得CNN模型具有較好的魯棒性與學(xué)習(xí)能力,然而在工業(yè)樣本采樣中,由于場(chǎng)景特殊導(dǎo)致樣本采樣困難,獲取代價(jià)昂貴,且樣本場(chǎng)景重復(fù)性大,場(chǎng)景單一,樣本空間呈現(xiàn)小樣本、非均勻狀態(tài)時(shí),由于樣本數(shù)據(jù)單一且不足,特征背景不夠豐富,增加CNN模型深度與訓(xùn)練次數(shù)會(huì)加重學(xué)習(xí)過程的過擬合現(xiàn)象,且模型魯棒性較低。

針對(duì)上述基于傳統(tǒng)檢測(cè)方法對(duì)工件表面缺陷識(shí)別效率低下、準(zhǔn)確率低、主觀性強(qiáng)問題,基于機(jī)器視覺檢測(cè)方法對(duì)非均勻小樣本數(shù)據(jù)造成的模型過擬合,魯棒性差問題。本文針對(duì)上述工件表面缺陷檢測(cè)中存在的問題與研究現(xiàn)狀,構(gòu)建了一種基于樣本空間均衡化的工件表面缺陷檢測(cè)模型。該模型集成了基于圖像融合與圖像修復(fù)的樣本空間均衡化結(jié)構(gòu),并融入基于殘差結(jié)構(gòu)的注意力機(jī)制,形成了包含樣本空間均衡化與缺陷檢測(cè)的模型結(jié)構(gòu),重點(diǎn)解決了在工件表面缺陷檢測(cè)中,由于工業(yè)采樣樣本空間中的非均勻、小樣本空間特性所導(dǎo)致的檢測(cè)模型訓(xùn)練過程難以擬合、識(shí)別精度不足、魯棒性低問題,為工件表面缺陷檢測(cè)中的小樣本、非均勻樣本空間的檢測(cè)模型構(gòu)建提供了一種新的思路與方法。

1 工件表面缺陷樣本分析

工件缺陷檢測(cè)是工件加工過程的重要環(huán)節(jié),而表面缺陷位于工件外部,可以通過圖像的方式獲取其特征,工業(yè)圖像樣本在初期采集過程中,由于工件取樣環(huán)境復(fù)雜,生產(chǎn)工藝繁多,光線不均、背景不一等因素的影響,導(dǎo)致采樣困難,且樣本質(zhì)量參差不齊,不同缺陷由于成因不同,采集難易程度差別較大,使得工件表面缺陷采樣樣本的空間分布呈現(xiàn)非均勻、小樣本狀態(tài)。綜合上述因素使得工件表面缺陷樣本具有以下特征。

1.1 樣本空間分布特征

工業(yè)圖像樣本中由于小樣本作為少數(shù)類樣本與多數(shù)類樣本數(shù)量比例相差過大,導(dǎo)致樣本空間分布呈非均勻、小樣本空間特征。非均勻即數(shù)據(jù)內(nèi)類不平衡,標(biāo)簽數(shù)量比例相差較大;小樣本即樣本數(shù)量少。由于通過CNN構(gòu)建的缺陷檢測(cè)模型是通過對(duì)輸入數(shù)據(jù)的反復(fù)訓(xùn)練與學(xué)習(xí),因此模型的最終檢測(cè)效果取決于樣本質(zhì)量的好壞,樣本內(nèi)類分布不均會(huì)導(dǎo)致CNN檢測(cè)模型在參數(shù)更新的過程中偏向高比例樣本,而低比例樣本則無法完成有效的模型訓(xùn)練,導(dǎo)致檢測(cè)模型失效,而樣本空間的小樣本空間狀態(tài)將會(huì)使得訓(xùn)練數(shù)據(jù)嚴(yán)重不足,模型產(chǎn)生過擬合,且魯棒性低。因此,本文通過均衡化采樣使初始樣本中少數(shù)類數(shù)量增加、各類樣本分布均勻。

1.2 缺陷樣本圖像特征

圖像特征主要有顏色特征、形狀特征、紋理特征與空間關(guān)系特征這4類。而工件表面缺陷由于其生產(chǎn)環(huán)境復(fù)雜多變、工藝繁多、采樣環(huán)境惡劣因素,使得缺陷樣本在圖像特征的4類表征上有著如下特點(diǎn):對(duì)于顏色特征,缺陷特征部像素點(diǎn)變化明顯,但其像素色彩直方圖占比相差較大,非缺陷特征與特征背景占比較大,特征區(qū)域像素點(diǎn)空間相關(guān)性強(qiáng);對(duì)于形狀特征,同類缺陷輪廓特征與區(qū)域特征具有較大相似性,可以通過常用形狀特征描述方法邊界特征法、幾何參數(shù)法、傅里葉描述子、形狀不變矩對(duì)其典型特征完成描述,而非缺陷背景,形狀特征更加突出易學(xué)習(xí);對(duì)于紋理特征,二維圖像在對(duì)三維表面完成的反映過程中,不能清晰反映真實(shí)紋理,只能通過圖像像素點(diǎn)位置三通道數(shù)值的變化得以局限性表示;對(duì)于空間關(guān)系特征,缺陷特征在工件表面分布的隨機(jī)性與圖像樣本的預(yù)處理方式,使得其特征旋轉(zhuǎn)、縮放、鏡像等相關(guān)操作對(duì)空間關(guān)系特征造成極大影響。工件表面缺陷圖像特征的不確定性與非缺陷區(qū)域的特征突出性,導(dǎo)致樣本在構(gòu)建檢測(cè)模型時(shí)所受無關(guān)區(qū)域特征影響大,無法更好的學(xué)習(xí)缺陷特征。因此構(gòu)建基于殘差機(jī)制的注意力分類模型,提升模型訓(xùn)練過程中對(duì)特征的學(xué)習(xí)權(quán)重,增強(qiáng)模型的分類能力。

2 基于樣本均衡化采樣的缺陷檢測(cè)模型

提出的基于樣本空間均衡化的缺陷檢測(cè)模型,重點(diǎn)解決工件表面缺陷檢測(cè)中的由于小樣本作為少數(shù)類樣本與多數(shù)類樣本比例相差過大導(dǎo)致的樣本空間不均衡問題,以及復(fù)雜圖像背景樣本使得模型對(duì)特征的學(xué)習(xí)能力不足問題,提升模型對(duì)工件表面缺陷檢測(cè)的場(chǎng)景適應(yīng)性與特征學(xué)習(xí)能力,模型結(jié)構(gòu)如圖1所示。

圖1 基于樣本均衡化采樣的缺陷檢測(cè)模型(SSE-D Model)

該模型主要分為兩個(gè)部分,包括樣本空間均衡化采樣模型SSE Model(Sample space equalization sampling model)與缺陷檢測(cè)模型A-C Model(Attention-CNN model)。其中SSE Model負(fù)責(zé)完成樣本空間的均衡化,將原始樣本作為模型輸入,實(shí)現(xiàn)小樣本數(shù)據(jù)的豐富與內(nèi)類樣本的均衡,生成新樣本空間;缺陷檢測(cè)模型A-C Model利用SSE Model生成的新樣本作為輸入數(shù)據(jù)完成模型的訓(xùn)練,用于實(shí)現(xiàn)工件表面缺陷的檢測(cè)與分類。

2.1 樣本空間均衡化采樣方法

由于工件缺陷樣本的小樣本、非均勻空間狀態(tài)使得檢測(cè)模型構(gòu)建失衡,因此需要對(duì)原始樣本空間均衡化采樣,以保證樣本質(zhì)量,通過SSE Model實(shí)現(xiàn)樣本均衡化,模型結(jié)構(gòu)如圖2所示。該模型由3層結(jié)構(gòu)組成,首先樣本數(shù)據(jù)作為輸入層負(fù)責(zé)數(shù)據(jù)輸入;數(shù)據(jù)處理層為并行結(jié)構(gòu)通路,分別完成樣本的缺陷提取與樣本修復(fù);數(shù)據(jù)融合層用于對(duì)樣本中的非均勻、小樣本數(shù)據(jù)完成樣本生成,實(shí)現(xiàn)樣本空間的均勻化,豐富樣本場(chǎng)景,并將均衡化后的樣本數(shù)據(jù)作為此模型輸出與缺陷檢測(cè)模型A-C Model輸入。

圖2 樣本均衡化采樣方法(SSE Model)

2.1.1 樣本修復(fù)

樣本修復(fù)是對(duì)樣本中存在的不符合正常樣本數(shù)據(jù)分布的噪聲數(shù)據(jù)實(shí)現(xiàn)替代與修復(fù),使得數(shù)據(jù)分布特性更加接近自然數(shù)據(jù)[11]。在SSE Model中,數(shù)據(jù)處理層的下行通路為樣本修復(fù)模塊,通過對(duì)輸入層樣本數(shù)據(jù)完成圖像修復(fù),用以獲取無缺陷樣本,為數(shù)據(jù)融合層提供豐富的無缺陷特征背景。

由4類缺陷樣本(擦花、凸粉、碰凹、漏底)特征分析可知,針對(duì)擦花、凸粉缺陷,其缺陷區(qū)域離散不連續(xù),可視為單個(gè)微小缺陷集合,因此適用于快速行進(jìn)法[12](FMM)完成區(qū)域樣本修復(fù),樣本修復(fù)主要針對(duì)缺陷樣本中的少數(shù)類樣本,而擦花、凸粉缺陷作為主要的少數(shù)類樣本。著重使用快速行進(jìn)法完成樣本修復(fù),其中針對(duì)碰凹與漏底此類連續(xù)大區(qū)域樣本修復(fù),通過基于紋理合成結(jié)構(gòu)的criminisi算法完成樣本修復(fù),由于少數(shù)類樣本作為主要修復(fù)與合成目標(biāo),而漏底作為多數(shù)類樣本,不需要生成新樣本實(shí)現(xiàn)原始樣本的數(shù)據(jù)擴(kuò)增。因此,本文主要描述了快速行進(jìn)法對(duì)文中少數(shù)類樣本的修復(fù),修復(fù)原理如圖3,樣本中包含缺陷區(qū)域Ω,缺陷區(qū)域邊界?Ω。Bε(p)為?Ω上點(diǎn)p的固定半徑鄰域,q為Bε(p)內(nèi)部一點(diǎn),Bε(p)內(nèi)部像素點(diǎn)加權(quán)平均用以估計(jì)p點(diǎn)像素值,藉此完成對(duì)p點(diǎn)的修復(fù)。

圖3 樣本修復(fù)原理圖

FMM完成對(duì)缺陷區(qū)域的修復(fù)實(shí)際為對(duì)缺陷區(qū)域像素點(diǎn)求解Eikonal方程

|T|=1

(1)

式中T為缺陷區(qū)域內(nèi)部點(diǎn)到缺陷區(qū)域邊界點(diǎn)的距離。

由圖3可見,樣本圖像中的像素點(diǎn)可分為3類:

1) 邊界點(diǎn)。即?Ω上的點(diǎn),其T值正在被處理,即像素點(diǎn)正在修復(fù)中;

2) 已知點(diǎn)。即樣本?Ω外部點(diǎn),其T值已知,像素值與灰度值已知;

3) 內(nèi)部點(diǎn)。即缺陷區(qū)域內(nèi)部點(diǎn),其T值未知,像素值與灰度值未知。

令D±x、D±y分別為x與y方向的差分,差分方程的穩(wěn)定解為

max(D-xT,-D+xT,0)2+

max(D-yT,-D+yT,0)2=1

(2)

式中:

D-xT(i,j)=T(i,j)-T(i-1,j);

D+xT=T(i+1,j)-T(i,j);

D-yT(i,j)=T(i,j)-T(i,j-1);

D+yT=T(i,j+1)-T(i,j)。

通過上式完成樣本缺陷區(qū)域內(nèi)部點(diǎn)到邊緣的距離T,根據(jù)T值從小到大的順序完成缺陷區(qū)域的修復(fù),直到缺陷區(qū)域所有像素點(diǎn)完成修復(fù)。

由于樣本空間中小樣本作為少數(shù)類樣本與多數(shù)類樣本比例相差過大,因此樣本空間均衡化采樣主要通過平衡樣本數(shù)量比例與增加原始樣本數(shù)量。因此在SSE Model數(shù)據(jù)處理層的上行通路中需要對(duì)樣本的特征完成提取,獲取工件表面缺陷特征,為數(shù)據(jù)融合層提供特征前景。

2.1.2 特征判斷與提取

針對(duì)樣本中的表面缺陷特征的判斷與提取,由于樣本無關(guān)背景環(huán)境影響過大,其中環(huán)境影響因素主要包括非工件區(qū)域占比過大,不同區(qū)域特征差別明顯,圖像亮度不均衡,通過普通數(shù)字圖像處理方式難以完成缺陷特征區(qū)域的精確提取,因此首先需要完成對(duì)樣本的預(yù)處理裁剪,去除大量無關(guān)環(huán)境影響,獲取包含缺陷的鋁型材載體,由于鋁型材質(zhì)地光滑且紋理均勻,樣本缺陷在主要的4類圖像特征(顏色、形狀、紋理、空間關(guān)系)中與鋁型材正常表面有著較為明顯的區(qū)別,因此通過迭代法閾值分割算法,獲取樣本缺陷區(qū)域最優(yōu)分割閾值,完成對(duì)樣本中缺陷特征的判斷與分割提取,特征提取流程見圖4。

圖4 缺陷特征提取

迭代法閾值分割在對(duì)預(yù)處理裁剪后的缺陷樣本完成特征分割具有一定的自適應(yīng)性能:

1) 首先設(shè)定參數(shù)T0,計(jì)算缺陷樣本的最大灰度值Zmax與最小灰度值Zmin,令初始估計(jì)閾值T1=(Zmax+Zmin)/2;

2) 隨后利用T1完成樣本的分割,將缺陷樣本分割為兩部分(G1、G2):G1為灰度值大于等于T1的所有樣本像素,G2為灰度值小于T1的所有樣本像素;

3) 完成對(duì)G1、G2所有像素點(diǎn)的平均灰度值計(jì)算(μ1、μ2),并計(jì)算新閾值T2=(μ1+μ2)/2;

4) 如果|T2-T1|

2.1.3 樣本均衡化

本文通過圖像融合的方式完成樣本空間均衡化。在SSE Model中,數(shù)據(jù)處理層輸出已修復(fù)樣本與缺陷特征作為數(shù)據(jù)融合層輸入數(shù)據(jù),利用泊松圖像編輯[13]完成缺陷特征與已修復(fù)樣本的融合,并通過對(duì)缺陷特征完成旋轉(zhuǎn)、縮放、鏡像、平移等單樣本數(shù)據(jù)擴(kuò)增處理,在不添加無關(guān)噪聲的情況下實(shí)現(xiàn)工件表面缺陷樣本中小樣本數(shù)據(jù)的擴(kuò)增,豐富特征背景,完成樣本的均勻化與擴(kuò)增等空間優(yōu)化處理。

數(shù)據(jù)融合層相關(guān)公式為

N-di,j=poisson(Ni,Xj,p)

(3)

式中:N-di,j為融合后新樣本;poisson表示泊松方程,poisson:Δf=Ω,Δ代表拉普拉斯算子,即圖像在直角坐標(biāo)系中的二階微分(散度),Ω為通過輸入?yún)?shù)獲取的已知量(本文中的無缺陷背景Ni、缺陷特征前景Xj、融合位置參數(shù)p);Ni(i=1,…,n1,n1為無缺陷樣本數(shù)量)為經(jīng)過數(shù)據(jù)處理層下行通路樣本修復(fù)后的無缺陷樣本作為融合過程中的無缺陷背景;Xj(j=1,…,n2,n2為缺陷特征數(shù)量)為經(jīng)過數(shù)據(jù)處理層上行通路特征提取后的缺陷特征作為融合過程中的特征前景;p為融合過程中的位置參數(shù),即樣本融合中心點(diǎn)。

2.2 缺陷檢測(cè)模型

樣本空間均衡化完成后,需要構(gòu)建缺陷檢測(cè)模型學(xué)習(xí)新樣本,在對(duì)工件表面缺陷檢測(cè)的過程中,由于采樣環(huán)境、光線、背景等相關(guān)因素造成圖像內(nèi)部非缺陷特征豐富,無關(guān)圖像特征占比大,常規(guī)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)模型提取圖像全局特征,缺乏對(duì)相關(guān)缺陷的識(shí)別能力,因此利用注意力思想提升網(wǎng)絡(luò)對(duì)相關(guān)缺陷的學(xué)習(xí)權(quán)重,并基于殘差結(jié)構(gòu),構(gòu)建深度學(xué)習(xí)模型,完成對(duì)工件表面缺陷檢測(cè)模型的構(gòu)建(A-C Model),模型結(jié)構(gòu)如圖5所示。

圖5 缺陷檢測(cè)模型(A-C Model)

2.2.1 分類神經(jīng)網(wǎng)絡(luò)構(gòu)建

為了完成對(duì)工件表面缺陷的分類檢測(cè),構(gòu)建了一個(gè)分類模型(A-C Model),如圖5所示。圖中數(shù)字分別表示特征圖像的尺寸與維度,模型總體結(jié)構(gòu)為:輸入層輸入尺寸為300×300×3的目標(biāo)圖像,通過利用卷積結(jié)構(gòu)(Conv+BN+Relu)、殘差注意力結(jié)構(gòu)(Res-Attention)與最大池化結(jié)構(gòu)(Maxpool)的反復(fù)堆疊,對(duì)圖特征完成提取,獲取特征圖像。其中,卷積結(jié)構(gòu)中卷積核尺寸為3×3,步長(zhǎng)為1,卷積模式為same,卷積過后使用批量歸一化(BN)與激活函數(shù)(Relu)完成非線性激活;殘差注意力結(jié)構(gòu)中卷積核尺寸為1×1與3×3,步長(zhǎng)為1,卷積模式為same,殘差網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)嵌注意力機(jī)制;最大池化結(jié)構(gòu)池化窗口尺寸為2×2,反復(fù)堆疊上述結(jié)構(gòu),擴(kuò)大高維特征圖中特征感受野尺寸,整合圖像中特征信息,直到獲取的特征圖形狀為14×14×64,最后使用兩層全連接實(shí)現(xiàn)類別的輸出,第一層全連接層128維,并通過丟棄率0.5的Dropout實(shí)現(xiàn)隨機(jī)半數(shù)神經(jīng)元的丟棄用以避免網(wǎng)絡(luò)過擬合,第二層全連接層作為分類網(wǎng)絡(luò)輸出層,神經(jīng)元個(gè)數(shù)取決于輸入樣本數(shù)據(jù)的類別。

2.2.2 基于殘差機(jī)制的注意力模型

為了使分類網(wǎng)絡(luò)在學(xué)習(xí)過程中更多的擬合目標(biāo)缺陷特征,并放棄無關(guān)特征,本文采用基于殘差結(jié)構(gòu)的注意力模型(Res-Attention)實(shí)現(xiàn)分類網(wǎng)絡(luò)中主要的特征提取。

由于缺陷樣本中存在大量的非缺陷特征,即圖像內(nèi)無關(guān)特征像元占比大,使得分類網(wǎng)絡(luò)在學(xué)習(xí)過程中更多的擬合像元占比更大的無關(guān)特征,不能充分學(xué)習(xí)到更加重要的缺陷特征,注意力機(jī)制在特征圖的獲取中為特征賦予不同的權(quán)重,使得網(wǎng)絡(luò)參數(shù)更新中更多的學(xué)習(xí)目標(biāo)區(qū)域,殘差網(wǎng)絡(luò)通過逐層殘差學(xué)習(xí)的方式使得構(gòu)建深度網(wǎng)絡(luò)并仍然能取得學(xué)習(xí)效果。本文基于殘差網(wǎng)絡(luò)中的Resnetv2[14]與空間通道注意力結(jié)構(gòu)[15]構(gòu)建殘差注意力結(jié)構(gòu),Attention結(jié)構(gòu)如圖6所示。

圖6 空間通道注意力機(jī)制(Attention)

對(duì)特征圖串行使用空間與通道注意力機(jī)制,其中通道注意力模塊對(duì)每個(gè)通道上的全局特征圖分別取最大池化與平均池化操作,空間注意力模塊對(duì)特征圖上每個(gè)位置的全部通道分別取最大池化與平均池化操作,將通過空間與通道注意力模塊獲取的帶有不同權(quán)重的矩陣按照先后順序依次與輸入特征圖相乘,輸出帶有空間與通道權(quán)重的特征圖,計(jì)算公式為:

Mt(F)=σ(MLP(avg(F))+MLP(max(F)))

(4)

Mk(F)=σ(f7*7([avg(F);max(F)]))

(5)

F=Mk((Mt(F)*F))*F

(6)

式中:Mt(F)表示通道注意力權(quán)重矩陣;σ表示激活函數(shù);MLP為共享全連接操作;avg與max分別為平均池化與最大池化;Mk(F)表示空間注意力權(quán)重矩陣;f7*7為卷積核大小7×7的卷積操作。

通過使用Resnetv2結(jié)構(gòu)模型并嵌入Attention機(jī)制作為檢測(cè)模型中的Res-Attention模塊,將Attention模塊放置于旁路末端,旁路三次卷積操作獲取特征圖,隨后利用注意力機(jī)制生成注意力模板為特征圖加權(quán),如圖7所示。

圖7 Res-Attention結(jié)構(gòu)示意圖

3 實(shí)驗(yàn)分析

為驗(yàn)證面向不均衡樣本空間的工件表面缺陷檢測(cè)方法的有效性。本文以鋁型材常見缺陷數(shù)據(jù)集作為樣本數(shù)據(jù),選擇其中的4類常見缺陷數(shù)據(jù)(擦花、碰凹、漏底、凸粉)以及表面無缺陷,共5類標(biāo)簽(擦花、碰凹、漏底、凸粉、無缺陷)。經(jīng)手動(dòng)修正數(shù)據(jù)標(biāo)注錯(cuò)誤后,獲取擦花26張、碰凹20張、漏底140張,凸粉64張、無缺陷42張,共292張?jiān)紭颖緮?shù)據(jù),類間最大比例1∶7,符合不均勻樣本空間特征,樣本示意圖如圖8所示。

圖8 5類樣本示意圖

3.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

基于上述的5類標(biāo)簽樣本,經(jīng)實(shí)驗(yàn)驗(yàn)證,原始樣本的小樣本與非均勻狀態(tài)會(huì)影響模型擬合與訓(xùn)練結(jié)果[16-17],因此將上述樣本原始數(shù)據(jù)使用數(shù)據(jù)擴(kuò)增方法分別擴(kuò)增至400張以實(shí)現(xiàn)樣本類間比例1∶1的均衡狀態(tài),5類樣本共2 000張圖像,樣本劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集(8∶1∶1),訓(xùn)練過程利用文件名作為分類標(biāo)簽,使用正則表達(dá)式分割標(biāo)簽,訓(xùn)練中隨機(jī)打亂數(shù)據(jù)保證訓(xùn)練過程的穩(wěn)定狀態(tài)。

1) 本文方法(SSE-D)。通過對(duì)上述5類樣本中的4類缺陷完成樣本修復(fù)與特征提取,獲取無缺陷樣本用以擴(kuò)增均衡第五類無缺陷類樣本,隨后通過對(duì)無缺陷樣本與缺陷特征的融合采樣,對(duì)原始樣本中的擦花、碰凹、凸粉實(shí)現(xiàn)數(shù)量均衡化;

2) 隨機(jī)過采樣(ROS[18])。過采樣是通過創(chuàng)建新的少數(shù)類樣本用以消除偏態(tài)分布,通過隨機(jī)過采樣(ROS)隨機(jī)復(fù)制少數(shù)類樣本實(shí)現(xiàn)樣本內(nèi)類數(shù)據(jù)的均衡化;

3) 隨機(jī)欠采樣(RUS[19])。欠采樣是通過對(duì)多數(shù)類樣本的隨機(jī)移除以消除偏態(tài)分布,通過隨機(jī)欠采樣(RUS)隨機(jī)移除多數(shù)類樣本實(shí)現(xiàn)內(nèi)類數(shù)據(jù)的均衡化。

表1 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

3.2 實(shí)驗(yàn)環(huán)境搭建與網(wǎng)絡(luò)構(gòu)建

以個(gè)人計(jì)算機(jī)作為硬件平臺(tái),利用TensorFlow平臺(tái)作為深度學(xué)習(xí)后端,Python3.7.4作為編程語言實(shí)現(xiàn)本文方法與分類神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,神經(jīng)網(wǎng)絡(luò)初始參數(shù)設(shè)置如表2所示。

表2 神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置

3.3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

為客觀評(píng)估本文方法有效性與可行性,利用文獻(xiàn)[18-19]中所用對(duì)比方法ROS與RUS實(shí)現(xiàn)樣本的均衡化采樣,并將兩種方法實(shí)驗(yàn)結(jié)果與本文方法實(shí)驗(yàn)結(jié)果完成對(duì)比。準(zhǔn)確率變化見圖9,具體結(jié)果如表3、表4所示(1-擦花、2-碰凹、3-凸粉、4-漏底、5-無缺陷)。

圖9 網(wǎng)絡(luò)測(cè)試結(jié)果

表3 不平衡數(shù)據(jù)采樣方法標(biāo)簽分類對(duì)比結(jié)果

表4 不均衡數(shù)據(jù)采樣方法分類對(duì)比結(jié)果

本文通過3種采樣方法完成樣本空間的均衡化采樣操作,而原始樣本空間呈現(xiàn)不均衡狀態(tài),因此利用準(zhǔn)確率、精確率、召回率與F1值、單類標(biāo)簽分類結(jié)果,實(shí)現(xiàn)全方位、多角度綜合評(píng)判模型性能指標(biāo),F1值作為平衡精確率與召回率的性能指標(biāo),對(duì)不均衡樣本空間有著較優(yōu)的評(píng)價(jià)效果,本文方法在F1值上與ROS、RUS分別有著2%與10%的提升效果,是由于本文通過豐富樣本背景,增加了樣本的多樣性,使得模型更加魯棒,在對(duì)每一類樣本的分類中效果更好,并且由于樣本采樣后是類分布均衡空間,因此準(zhǔn)確率也可以作為模型總體分類效果評(píng)價(jià)指標(biāo),本文方法在準(zhǔn)確率上與ROS與RUS方法分別有著2%與11%的提升效果,單類標(biāo)簽分類結(jié)果可以具體表達(dá)單類樣本在使用不同采樣方法后的具體分類效果,具體結(jié)果由表3可知,針對(duì)擦花、碰凹兩類主要的少數(shù)類缺陷,本文方法分類準(zhǔn)確率高達(dá)100%,而ROS與RUS兩種方法均遠(yuǎn)低于本文方法,通過少數(shù)類單類樣本準(zhǔn)確率的大幅提高,實(shí)現(xiàn)總體分類效果的提升,且本文方法對(duì)模型的擬合能力也有著大幅提升,由圖9網(wǎng)絡(luò)測(cè)試結(jié)果可知,本文方法模型學(xué)習(xí)能力遠(yuǎn)高于ROS與RUS,訓(xùn)練過程收斂快速且穩(wěn)定,準(zhǔn)確率無劇烈跳動(dòng)變化,可以看出,本文構(gòu)建的分類模型,在完成樣本空間的均衡化采樣之后,使用注意力機(jī)制得以更好的學(xué)習(xí)模型特征,并且對(duì)特征背景的適應(yīng)性更強(qiáng),ROS與RUS方法在針對(duì)不均衡樣本的分類任務(wù)時(shí),ROS方法簡(jiǎn)單復(fù)制大量少數(shù)類樣本會(huì)使得模型產(chǎn)生過擬合問題,而RUS在樣本比例相差過大的情況下刪除大量多數(shù)類樣本使得模型丟失重要分類信息問題,本文方法在各個(gè)指標(biāo)上的提升,證明了本文所提方法相較于傳統(tǒng)方法在面對(duì)不均衡樣本空間時(shí)能夠更好的提升模型的魯棒性與分類效果。

4 結(jié)論

針對(duì)工業(yè)表面缺陷檢測(cè)中的不均衡樣本空間問題,基于樣本空間與分類模型兩個(gè)角度,構(gòu)建基于樣本均衡化采樣的缺陷檢測(cè)模型,通過實(shí)驗(yàn)對(duì)比,驗(yàn)證了本文方法與常規(guī)兩種不均衡數(shù)據(jù)采樣方法相比,通過融合的方式平衡少數(shù)類樣本并藉此生成新樣本空間,能夠?qū)崿F(xiàn)更好的數(shù)據(jù)空間均衡效果,提升了模型的學(xué)習(xí)能力與分類準(zhǔn)確率。在下一個(gè)研究階段中,計(jì)劃利用少數(shù)類樣本特征背景的數(shù)據(jù)概率分布,進(jìn)一步優(yōu)化本文的樣本空間均衡化采樣方法使得樣本空間分布更加接近自然數(shù)據(jù),提升模型的使用性能。