基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的手機(jī)表面缺陷識(shí)別方法

韓紅桂, 甄曉玲, 李方昱, 杜永萍

(1.北京工業(yè)大學(xué)信息學(xué)部, 北京 100124; 2.計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室, 北京 100124;3.數(shù)字社區(qū)教育部工程研究中心, 北京 100124)

隨著智能手機(jī)行業(yè)的不斷發(fā)展,大量廢舊手機(jī)逐漸流入回收市場(chǎng),導(dǎo)致廢舊手機(jī)數(shù)量日益增多,可回收價(jià)值巨大[1-4]。手機(jī)屏幕外觀是否完好直接影響到廢舊手機(jī)的價(jià)格,因此,實(shí)現(xiàn)對(duì)廢舊手機(jī)表面缺陷的精準(zhǔn)檢測(cè)成為促進(jìn)手機(jī)回收的重要保障。但是,因?yàn)槿狈Ω咝?、?biāo)準(zhǔn)、精確的廢舊手機(jī)缺陷識(shí)別方法,所以很難對(duì)廢舊手機(jī)進(jìn)行快速準(zhǔn)確的分級(jí)與定價(jià),同時(shí)還限制了回收效率[5-6]。目前,廢舊手機(jī)表面缺陷檢測(cè)以人工檢測(cè)和機(jī)器視覺(jué)檢測(cè)為主,傳統(tǒng)的人工檢測(cè)法不僅成本高,而且過(guò)程煩瑣耗時(shí)、效率低。此外,人眼存在視覺(jué)疲勞,長(zhǎng)時(shí)間生產(chǎn)線工作易發(fā)生失誤操作,導(dǎo)致檢測(cè)準(zhǔn)確率難以滿足實(shí)際工業(yè)需求。機(jī)器視覺(jué)檢測(cè)法雖然相對(duì)于人工檢測(cè)法速度更快、可靠性更高、準(zhǔn)確性更強(qiáng),但是特征提取能力不太理想,準(zhǔn)確率仍不能滿足工業(yè)場(chǎng)景缺陷檢測(cè)的性能要求。快速、準(zhǔn)確地識(shí)別廢舊手機(jī)表面缺陷已經(jīng)成為影響手機(jī)回收效率的重要因素。因此,設(shè)計(jì)一種高效、準(zhǔn)確的廢舊手機(jī)表面缺陷檢測(cè)方法已經(jīng)成為手機(jī)高效自動(dòng)化回收的關(guān)鍵,能夠降低誤檢率,提高廢舊手機(jī)回收企業(yè)的經(jīng)濟(jì)效益和回收效率,從而避免資源浪費(fèi),創(chuàng)造更大的經(jīng)濟(jì)價(jià)值[7-10]。

針對(duì)手機(jī)表面缺陷難以識(shí)別的問(wèn)題,汪永勇等[11]設(shè)計(jì)了一種基于相對(duì)總變差模型的圖像結(jié)構(gòu)提取方法。該方法能夠抑制液晶屏紋理,將提取后的結(jié)構(gòu)信息通過(guò)高頻提升濾波器增強(qiáng)高頻分量,還能保持低頻分量的特性,對(duì)圖像中的缺陷進(jìn)行顯著性檢測(cè)。該方法能有效地檢測(cè)液晶屏的缺陷,但此方法只適用于檢測(cè)大面積缺陷,對(duì)細(xì)小的表面劃痕識(shí)別效率差[11]。Tsai等[12]提出針對(duì)手機(jī)配件的劃痕識(shí)別方法,該方法采用Gabor核函數(shù)提取劃痕特征,結(jié)合滯后多閾值分割與紋理抑制實(shí)現(xiàn)缺陷檢測(cè),能夠檢測(cè)碎裂等。然而,該方法只能檢測(cè)大面積碎裂,無(wú)法檢測(cè)劃痕,不能滿足工業(yè)上大規(guī)模的檢測(cè)需求,并且由于紋理抑制作用過(guò)強(qiáng),可能引起部分劃痕中斷,產(chǎn)生錯(cuò)誤的識(shí)別結(jié)果。Jiang等[13]運(yùn)用了統(tǒng)計(jì)學(xué)中的方差分析和指數(shù)加權(quán)移動(dòng)平均的方法檢測(cè)手機(jī)屏幕缺陷,實(shí)驗(yàn)結(jié)果表明,該檢測(cè)方法的識(shí)別準(zhǔn)確率顯著提升,但是該方法對(duì)細(xì)小劃痕造成漏檢現(xiàn)象,不能滿足工業(yè)的高標(biāo)準(zhǔn)要求。Wei等[14]使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)替代傳統(tǒng)的關(guān)鍵點(diǎn)特征提取方法,對(duì)廢舊手機(jī)外觀邊緣及其形狀進(jìn)行描述,實(shí)驗(yàn)結(jié)果顯示提出的方法在廢舊手機(jī)品牌外觀識(shí)別中取得了較好效果。然而,在對(duì)細(xì)小劃痕進(jìn)行識(shí)別時(shí),精度難以滿足需求,并且CNN在圖像特征提取時(shí)需要大量的標(biāo)注數(shù)據(jù)。結(jié)果表明,該算法雖然可以識(shí)別裂紋,但是精度較低。通過(guò)上述方法雖然能夠識(shí)別碎裂等特征,但對(duì)劃痕的識(shí)別準(zhǔn)確率有待提高,不能滿足工業(yè)回收中的高標(biāo)準(zhǔn)要求。

針對(duì)難以精準(zhǔn)識(shí)別細(xì)小劃痕的問(wèn)題,Tsai等[15]提出了一種用于檢測(cè)表面微小缺陷的卷積濾波方案,使用約束的獨(dú)立分量分析模型設(shè)計(jì)一個(gè)最優(yōu)濾波器,并且用約束中獨(dú)立分量的控制參數(shù)來(lái)設(shè)置閾值,該方法可以有效地識(shí)別手機(jī)表面圖像以及低對(duì)比度背光板中的細(xì)小缺陷,但是由于計(jì)算量大,導(dǎo)致處理速度較慢。Chao等[16]設(shè)計(jì)了各向異性擴(kuò)散的方案用于檢測(cè)手機(jī)表面圖像中的缺陷,該方法可以同時(shí)進(jìn)行平滑和銳化操作,從而利用簡(jiǎn)單的閾值分割技術(shù)對(duì)圖像進(jìn)行分割。該方法能有效地檢測(cè)圖像中的缺陷,然而,在模型訓(xùn)練過(guò)程中計(jì)算量較大,因此,檢測(cè)速度下降。Lin等[17]提出一種基于雙線性卷積神經(jīng)網(wǎng)絡(luò)方法(bilinear convolutional neural networks, B-CNN),該方法依靠2個(gè)深度CNN同時(shí)提取手機(jī)表面圖像中某一圖像塊的圖像特征與位置特征,通過(guò)外積相乘的方式組合成雙線性特征,并利用該特征進(jìn)行識(shí)別,在細(xì)粒度圖像基準(zhǔn)數(shù)據(jù)集中取得了較高的準(zhǔn)確率,但該方法在運(yùn)算時(shí)引入了大量的外積運(yùn)算,增加了卷積核中的冗余信息,導(dǎo)致運(yùn)算量大幅增加,不能滿足廢舊手機(jī)大規(guī)?；厥盏男枨?。盡管上述方法能夠識(shí)別缺陷,然而模型訓(xùn)練計(jì)算量大,耗時(shí)長(zhǎng),導(dǎo)致檢測(cè)速度下降,無(wú)法滿足目前復(fù)雜的缺陷檢測(cè)需求和工業(yè)上高標(biāo)準(zhǔn)的要求。

針對(duì)檢測(cè)速度慢的問(wèn)題,林琳等[18]提出了一種基于邊緣檢測(cè)的生產(chǎn)線手機(jī)膜缺陷識(shí)別方法,該方法采用旋轉(zhuǎn)、縮放和平移(rotation,scaling,translation,RST)不變性和圖像剪切方法進(jìn)行數(shù)據(jù)增強(qiáng),再使用不同的閾值方法提取出手機(jī)膜表面信息,最后,采用支持向量機(jī)(support vector machines, SVM)對(duì)手機(jī)膜的邊緣矩陣特征進(jìn)行識(shí)別。該方法處理速度快,能有效地檢測(cè)細(xì)小缺陷。李帥等[19]提出了一種基于Faster-RCNN[20]的目標(biāo)球識(shí)別算法,該方法利用ZF-Net網(wǎng)絡(luò)模型進(jìn)行特征提取,然后通過(guò)建立區(qū)域生成網(wǎng)絡(luò)(region proposal network, RPN)獲得感興趣區(qū)域,并使用回歸與分類網(wǎng)絡(luò)獲得待檢測(cè)目標(biāo)的類別概率和位置信息。實(shí)驗(yàn)結(jié)果顯示,該算法的魯棒性均優(yōu)于傳統(tǒng)的識(shí)別算法,然而,該算法的精度仍有待提高。Song等[21]提出了一種基于混合算子的圖像邊緣檢測(cè)算法,該算法將Sobel算子[22]和Hough變換[23]結(jié)合在噪聲干擾下能有效地進(jìn)行劃痕檢測(cè),同時(shí)采用概率Hough變換,降低了計(jì)算復(fù)雜度,提高了檢測(cè)速度。韓紅桂等[24]設(shè)計(jì)了一種基于孿生卷積神經(jīng)網(wǎng)絡(luò)(siamese convolutional neural networks, S-CNN)的手機(jī)型號(hào)識(shí)別方法,該方法構(gòu)造了一種共享權(quán)值的特征提取孿生卷積網(wǎng)絡(luò)方法,通過(guò)評(píng)估廢舊手機(jī)圖像特征和手機(jī)驗(yàn)機(jī)照片特征的相似性,實(shí)現(xiàn)了手機(jī)型號(hào)的快速識(shí)別,然而該方法適用于識(shí)別手機(jī)型號(hào)等較大特征的檢測(cè),對(duì)劃痕等缺陷的識(shí)別精度較低。Liu等[25]提出了單針多盒探測(cè)器(single shot multibox detector, SSD)算法,結(jié)合了YOLO算法[26]的回歸思想與Faster RCNN[20]的錨定框機(jī)制,做到了速度與準(zhǔn)確率并存。該算法首先使用基礎(chǔ)網(wǎng)絡(luò)提取低維度的特征映射圖,再使用輔助卷積層提取高維度的特征映射圖,最后使用預(yù)測(cè)卷積層輸出結(jié)果。但是,該類方法精度有待提高,并且上述方法能夠在單一的圖像場(chǎng)景中實(shí)現(xiàn)較好的識(shí)別效果,沒(méi)有對(duì)分級(jí)任務(wù)進(jìn)行實(shí)驗(yàn),難以應(yīng)對(duì)復(fù)雜的手機(jī)回收?qǐng)鼍啊?/p>

綜合上述問(wèn)題,并針對(duì)廢舊手機(jī)表面缺陷復(fù)雜、多樣的特點(diǎn),提出一種兼具Sobel算子、邏輯損失函數(shù)(logistic loss function,LLF)和多尺度卷積神經(jīng)網(wǎng)絡(luò)(multi-scale convolution neural networks,MSCNN)手機(jī)表面缺陷識(shí)別方法SL-MSCNN。

1 手機(jī)缺陷識(shí)別方法

1.1 基于Sobel的邊緣提取方法

根據(jù)手機(jī)屏幕類型缺陷特性和成因,本文的研究重點(diǎn)是識(shí)別2種最主要的缺陷:劃痕和碎裂。本文提出2個(gè)問(wèn)題:首先,劃痕和碎裂可能出現(xiàn)在同一張圖像中,還存在多個(gè)檢測(cè)目標(biāo)位置較近的情況,導(dǎo)致檢測(cè)難度提升;其次,沒(méi)有充足的樣本數(shù)據(jù),若將整個(gè)圖像或一個(gè)檢測(cè)目標(biāo)視為一個(gè)樣本集,那么,訓(xùn)練數(shù)據(jù)不足,不能獲得理想的參數(shù)。為了保證數(shù)據(jù)的有效性,獲得更加精準(zhǔn)的識(shí)別結(jié)果,并降低缺陷識(shí)別時(shí)無(wú)關(guān)因素的干擾,本文對(duì)圖片進(jìn)行了預(yù)處理,使圖像的邊界更加突出且其他細(xì)節(jié)更加精細(xì),以獲得有效的數(shù)據(jù)集,提高算法的識(shí)別精度。

首先,為了簡(jiǎn)化后期的處理并提升圖像處理速度,采用二值化方法對(duì)原始數(shù)據(jù)圖像處理,得到矩陣D(t)。其次,使用Sobel算子對(duì)圖像矩陣D(t)進(jìn)行細(xì)化,得到光滑、連續(xù)的圖像,而針對(duì)模糊的部分,重復(fù)上述過(guò)程,直至得到較清晰圖像[27-28]。Sobel算子的公式為

Gx(t)=Ex*D(t)

(1)

Gy(t)=Ey*D(t)

(2)

式中:D(t)表示經(jīng)過(guò)二值化后的圖像數(shù)據(jù);Gx(t)表示x方向邊緣檢測(cè)的圖像灰度矩陣;Gy(t)表示y方向邊緣檢測(cè)的圖像灰度矩陣;*表示Sobel算子矩陣與原始圖像像素點(diǎn)的卷積運(yùn)算;Ex、Ey分別表示x、y方向的Sobel算子卷積因子,公式為

(3)

(4)

圖像中每個(gè)像素x方向和y方向的灰度值表示公式為

|G(t)|=|Gx(t)|+|Gy(t)|

(5)

式中G(t)為像素點(diǎn)的灰度值。

1.2 CNN

CNN是前饋神經(jīng)網(wǎng)絡(luò),通常用于特征提取。CNN由輸入層、卷積層、激活層、池化層、全連接層組成。通常池化層和卷積層交換使用,因此,樣本提取的特征具有平移旋轉(zhuǎn)不變性,并且還能降低參數(shù)的數(shù)量,有利于網(wǎng)絡(luò)優(yōu)化。CNN的主要結(jié)構(gòu)包含以下幾個(gè)部分:

1) 卷積層。卷積層用于提取圖像的特征,是卷積網(wǎng)絡(luò)的核心點(diǎn)。

2) 池化層。池化層用于剔除冗余區(qū)域并且可以降低數(shù)據(jù)的維度。

3) 激活層。激活層用于激活每個(gè)元素。

1.3 MSCNN模型

廢舊手機(jī)表面缺陷主要有反光、缺陷細(xì)小和像素較低等特點(diǎn),并且廢舊手機(jī)表面缺陷大小不一、形式各異,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)方法難以精準(zhǔn)識(shí)別廢舊手機(jī)表面缺陷。為了降低手機(jī)表面缺陷識(shí)別誤檢率,本文提出了SL-MSCNN方法。該方法采用3個(gè)尺度針對(duì)性地識(shí)別大、中、小型目標(biāo),能夠提高廢舊手機(jī)表面缺陷的識(shí)別精度,整體框架結(jié)構(gòu)如圖1所示。其中:DBL組件由卷積、批正則化和激活函數(shù)組成,批正則化Resn中的n代表1、2、8,Resn表示具有殘差結(jié)構(gòu)的組件,不僅使得網(wǎng)絡(luò)結(jié)構(gòu)更深,并且還降低了梯度爆炸的風(fēng)險(xiǎn);concat拼接骨干中間層與后面某一層的上采樣,拓寬了張量維度。殘差組件是由2個(gè)卷積層和1個(gè)快捷鏈路組成。

表1 不同算法識(shí)別精度與速度對(duì)比

圖1 MSCNN結(jié)構(gòu)Fig.1 Structure of MSCNN

MSCNN采用多尺度思想進(jìn)行缺陷識(shí)別,即高層特征采取上采樣、低層特征進(jìn)行下采樣的思想。不同尺寸的網(wǎng)格單元用來(lái)檢測(cè)不同尺寸的目標(biāo),因此,能夠提升識(shí)別細(xì)小缺陷的準(zhǔn)確率。MSCNN包括輸入層、特征提取層和輸出層,特征提取層包含卷積層和池化層等。MSCNN輸入層是416×416的像素矩陣,特征提取層是104×104的像素矩陣,輸出層分別為52×52、26×26、13×13的像素矩陣,13×13的像素矩陣的尺度輸出用來(lái)識(shí)別小型缺陷,26×26的像素矩陣用來(lái)檢測(cè)缺陷,52×52的像素矩陣用來(lái)檢測(cè)大型缺陷。

MSCNN使用了提取圖片特征的全卷積網(wǎng)絡(luò)結(jié)構(gòu)。該結(jié)構(gòu)包括卷積層、批正則化以及躍層鏈接等。該網(wǎng)絡(luò)結(jié)構(gòu)采用多尺度的思想提高了物體的識(shí)別效率,躍層鏈接強(qiáng)化了收斂效果。MSCNN是由許多殘差模塊構(gòu)成,不僅能減小梯度爆炸的風(fēng)險(xiǎn),還可以增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。MSCNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。其中,1、2、4、8表示殘差組件的個(gè)數(shù)。

MSCNN各層表示如下。

1) 卷積層。卷積層是卷積網(wǎng)絡(luò)的核心部分。卷積核在上級(jí)輸入層上通過(guò)固定步長(zhǎng)的滑動(dòng)窗口計(jì)算得到卷積特征圖,計(jì)算公式為

Q(t)=f(ω(t)G(t)+λ)

(6)

式中:Q(t)表示激活特征圖;f(·)表示激活函數(shù);ω(t)表示MSCNN的權(quán)值;λ表示MSCNN的輸出偏置參數(shù),為0～1的常數(shù)。

2) 池化層。池化層主要用于降低冗余區(qū)域出現(xiàn)的概率并且提取特征。池化包含最大池化和平均池化2種方式。本文采用平均池化方法,平均池化公式為

(7)

式中:Hv(t)表示Q(t)經(jīng)過(guò)池化后的輸出向量;v是模型輸出的尺度,v=1, 2, 3;Z1為水平池化步長(zhǎng);Z2為垂直池化步長(zhǎng);a為平均池化后卷積特征圖的水平方向的維度;b為平均池化后卷積特征圖的垂直方向的維度;m為特征矩陣中的行數(shù);n為特征矩陣中的列數(shù)。

3) 輸出層。輸出的特征圖像是3個(gè)不同維度,分別為52×52、26×26和13×13。特征圖的維度不同預(yù)測(cè)的缺陷尺寸不同。輸出層的公式為

O(t)=[H1(t),H2(t),H3(t)]

(8)

式中O(t)表示MSCNN的輸出矩陣。

輸出的特征圖像是3個(gè)不同維度,分別為52×52、26×26和13×13。MSCNN使用卷積作為最后一層的目標(biāo)預(yù)測(cè),其中包含邊界框預(yù)測(cè)、框中目標(biāo)預(yù)測(cè)以及分類預(yù)測(cè)。如果每個(gè)尺寸的神經(jīng)網(wǎng)絡(luò)都預(yù)測(cè)了3個(gè)邊界框,得到邊界總預(yù)測(cè)量S的公式為

S=N×N×[3(4+1+A)]

(9)

式中:N×N表示先驗(yàn)框網(wǎng)格數(shù);4表示邊界框的偏移量;1表示目標(biāo)預(yù)測(cè)的個(gè)數(shù);A表示預(yù)測(cè)類別個(gè)數(shù)。

1.4 損失函數(shù)

損失函數(shù)作為深度神經(jīng)網(wǎng)絡(luò)對(duì)誤檢樣本的評(píng)價(jià)依據(jù),它能影響模型的收斂效果,恰當(dāng)?shù)膿p失函數(shù)能夠獲得良好的識(shí)別效果[25]。本文設(shè)計(jì)了一種新的損失函數(shù),其表達(dá)式為

L(t)=L1(t)+L2(t)+L3(t)+L4(t)

(10)

式中:L(t)表示LLF;L1(t)表示中心坐標(biāo)誤差損失函數(shù);L2(t)表示寬高坐標(biāo)誤差損失函數(shù);L3(t)表示置信度誤差損失函數(shù);L4(t)表示分類誤差損失函數(shù)。

L1(t)的公式為

(11)

L2(t)的公式為

(12)

L3(t)的公式為

(13)

L4(t)的公式為

(14)

利用梯度下降算法訓(xùn)練MSCNN模型參數(shù),更新表達(dá)式為

(15)

式中:ω(t+1)表示在t+1次迭代時(shí)CNN層中的權(quán)重;ω(t)表示在t次迭代時(shí)CNN層中的權(quán)重,初始值ω(1)的各元素均為0～1的常數(shù);ρ為梯度下降算法的學(xué)習(xí)率,在區(qū)間[0.01, 0.10]中隨機(jī)取值。

綜上,本文結(jié)合Sobel算子能夠排除無(wú)關(guān)因素干擾和細(xì)化邊緣特征、LLF可以降低梯度消失發(fā)生的概率并加快訓(xùn)練速度以及MSCNN骨干網(wǎng)絡(luò)能夠獲得手機(jī)表面圖像多尺度信息等優(yōu)點(diǎn),建立了SL-MSCNN。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集的構(gòu)建

在廢舊手機(jī)數(shù)據(jù)采集過(guò)程中,本文從華強(qiáng)北商業(yè)區(qū)、北京和上海的廢舊手機(jī)企業(yè)收集數(shù)據(jù)。本文使用手機(jī)和數(shù)碼相機(jī)拍攝廢舊手機(jī)的彩色圖像,并將拍攝的圖像數(shù)據(jù)整理成廢舊手機(jī)表面缺陷數(shù)據(jù)庫(kù)。這些數(shù)據(jù)于2021年7月收集,采集和整理的時(shí)間共耗時(shí)14 d。該數(shù)據(jù)庫(kù)包含2 000張照片,手機(jī)屏幕圖像的尺寸被調(diào)整為416×416像素。該數(shù)據(jù)庫(kù)包含6個(gè)主流手機(jī)品牌:蘋果、華為、oppo、vivo、三星和小米。

手機(jī)屏幕由玻璃等構(gòu)成,當(dāng)表面沒(méi)有缺陷時(shí),會(huì)呈現(xiàn)出顏色均勻的圖片,如果存在缺陷,就會(huì)呈現(xiàn)出不透光、缺陷顏色較深或圖像局部畸變的現(xiàn)象。影響手機(jī)表面缺陷識(shí)別準(zhǔn)確率的因素主要有反光、缺陷細(xì)小和像素較低等。反光易造成圖像缺失,難以對(duì)其進(jìn)行缺陷檢測(cè);缺陷細(xì)小則不易被檢測(cè);像素較低,使得圖像模糊,容易丟失重要信息。因此,如果不排除這些干擾因素的影響,極其容易發(fā)生誤檢和漏檢。為了提取圖像特征,實(shí)現(xiàn)手機(jī)表面缺陷識(shí)別,文中收集并整理了不同型號(hào)和不同缺陷的廢舊手機(jī)照片,并篩選計(jì)算機(jī)可識(shí)別的圖像數(shù)據(jù),圖像數(shù)據(jù)集如圖3所示。

圖3 圖像數(shù)據(jù)集Fig.3 Image dataset

此外,文中將廢舊手機(jī)特征數(shù)據(jù)集隨機(jī)分為兩部分,選取其中4/5的圖像特征數(shù)據(jù)集作為訓(xùn)練集,剩余1/5作為測(cè)試集。隨機(jī)選取4/5的訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)模型,剩余1/5進(jìn)行實(shí)驗(yàn)驗(yàn)證。

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)配置

本文實(shí)驗(yàn)環(huán)境為:Inter(R) Core(TM) i5-10210U CPU @ 1.60 GHz 2.11 GHz、16.0 GB內(nèi)存、Microsoft Windows 10、64位操作系統(tǒng),基于x64的處理器。本算法在Pytorch中實(shí)現(xiàn)。對(duì)比實(shí)驗(yàn)中硬件配置部分均相同。

本文對(duì)數(shù)據(jù)集類標(biāo)簽信息進(jìn)行了處理,將包含實(shí)驗(yàn)需要的劃痕類別設(shè)置為scratch、碎裂類別設(shè)置為crackle。選用2 000張圖像作為實(shí)驗(yàn)數(shù)據(jù)集,并分為兩部分,其中,1 600張圖像作為訓(xùn)練數(shù)據(jù)集,400張圖像作為測(cè)試數(shù)據(jù)集,迭代次數(shù)為 2 000次。

訓(xùn)練前,初始化模型中的各項(xiàng)參數(shù):訓(xùn)練批量表示同時(shí)輸入模型的樣本數(shù),將其設(shè)為64;最大迭代次數(shù)設(shè)置為2 000。在訓(xùn)練過(guò)程中,使用SL-MSCNN參數(shù)進(jìn)行調(diào)整,文中選取了SSD算法、YOLOV1與SL-MSCNN進(jìn)行對(duì)比訓(xùn)練實(shí)驗(yàn),每種方法各訓(xùn)練200次,損失函數(shù)收斂曲線如圖4所示。

圖4 訓(xùn)練收斂對(duì)比曲線Fig.4 Training convergence comparison curves

2.3 結(jié)果分析

2.3.1 預(yù)處理結(jié)果

為了保證數(shù)據(jù)的有效性,更高效地獲得檢測(cè)結(jié)果,降低缺陷檢測(cè)時(shí)無(wú)關(guān)因素的干擾,首先對(duì)圖片進(jìn)行二值化處理,使圖像的邊界更加突出且其他細(xì)節(jié)更加精細(xì),然后再進(jìn)行Sobel算子處理,通過(guò)細(xì)化圖像邊緣獲得光滑、連續(xù)的圖像,提高算法的檢測(cè)效率,對(duì)比結(jié)果如圖5所示。圖5(a)表示圖像數(shù)據(jù)的原圖;圖5(b)表示經(jīng)過(guò)二值化處理的結(jié)果圖;圖5(c)表示經(jīng)過(guò)Sobel算子xy方向處理的結(jié)果圖。通過(guò)上述對(duì)比實(shí)驗(yàn)結(jié)果可以得出,經(jīng)過(guò)二值化處理后的圖像數(shù)據(jù)排除了光照等無(wú)關(guān)因素的干擾,能夠降低誤檢率。通過(guò)圖5(c)可以明顯看出,經(jīng)過(guò)Sobel算子xy方向處理的結(jié)果圖不僅圖像邊界更加突出并且細(xì)節(jié)更加精細(xì),不但降低了計(jì)算量,還加快了識(shí)別速度。實(shí)驗(yàn)結(jié)果證明,通過(guò)Sobel算子進(jìn)行預(yù)處理能夠有效提取手機(jī)表面缺陷的特征。

圖5 圖像預(yù)處理結(jié)果對(duì)比Fig.5 Comparison of image pre-processing results

2.3.2 算法評(píng)價(jià)指標(biāo)

將平均識(shí)別精度Pma、精確率Pre和召回率Rec的調(diào)和平均數(shù)F1及幀率視為評(píng)價(jià)性能的指標(biāo),對(duì)比實(shí)驗(yàn)結(jié)果如表1所示。Pma的公式為

(16)

式中:k表示總類別數(shù);i表示類別的編號(hào);Ti表示第i類樣本被模型預(yù)測(cè)的正確個(gè)數(shù);Ni表示第i類樣本被模型預(yù)測(cè)的錯(cuò)誤個(gè)數(shù)。

F1是衡量分類問(wèn)題的指標(biāo)之一。第i類樣本的精確率公式為

(17)

第i類樣本的召回率公式為

(18)

第i類樣本的F1公式為

(19)

對(duì)每個(gè)類別求F1的平均值,公式為

(20)

F1運(yùn)用了調(diào)和平均數(shù)算法,能夠更加重視Pre和Rec中較低的值,因此,對(duì)這2個(gè)指標(biāo)的重視程度相同,避免極端情況的發(fā)生。

2.3.3 不同目標(biāo)檢測(cè)算法對(duì)比結(jié)果

為了驗(yàn)證SL-MSCNN算法在缺陷識(shí)別方面的優(yōu)越性以及經(jīng)過(guò)Sobel算子處理后的數(shù)據(jù)集邊緣更加精細(xì),文中選取了YOLOV1和SSD的目標(biāo)識(shí)別方法進(jìn)行對(duì)比實(shí)驗(yàn)。3種算法分別在經(jīng)過(guò)Sobel算子處理后的數(shù)據(jù)集中進(jìn)行訓(xùn)練與測(cè)試,并且3種算法分別在原始數(shù)據(jù)集進(jìn)行驗(yàn)證和測(cè)試,實(shí)驗(yàn)結(jié)果如表1所示。

表1顯示:SSD的幀率雖然較大,但是平均識(shí)別精度比較低,不適用于識(shí)別小劃痕,因此,不能滿足高標(biāo)準(zhǔn)的要求;相比SSD,YOLOV1的平均識(shí)別精度有較大的提升,但是YOLOV1的幀率較小,識(shí)別速度下降,不能滿足大規(guī)模識(shí)別的需求;SL-MSCNN的平均識(shí)別精度和識(shí)別速度都有顯著提升,在實(shí)現(xiàn)精準(zhǔn)識(shí)別的同時(shí)滿足了快速檢測(cè)的需求。

2.3.4 不同損失函數(shù)分析

為了驗(yàn)證SL-MSCNN中損失函數(shù)的有效性,在保證其他條件均相同的前提下,使用LLF、翻譯嵌入(translating embeddings,TSE)損失函數(shù)和Sigmoid損失函數(shù)分別對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練,并對(duì)缺陷檢測(cè)結(jié)果進(jìn)行比較。

從表2可以看出,使用LLF在數(shù)據(jù)集上的平均識(shí)別精度有明顯的提高,平均識(shí)別精度達(dá)到94.75%,比Sigmoid損失函數(shù)提高了5.73%,這是由于LLF考慮的特征信息更加全面,有利于更有效地判別和提取信息,并且?guī)首罡?檢測(cè)所用的時(shí)間也明顯縮短,表現(xiàn)出更高的識(shí)別效率。因此,SL-MSCNN在識(shí)別廢舊手機(jī)表面缺陷方面具有較好的識(shí)別精度和檢測(cè)速度。通過(guò)以上3組對(duì)比實(shí)驗(yàn)可以得知,文中所提的方法具有更精準(zhǔn)的識(shí)別準(zhǔn)確率和更快的識(shí)別速度。

表2 不同損失函數(shù)識(shí)別效果對(duì)比

3 結(jié)論

1) 文中基于MSCNN算法,結(jié)合Sobel算子和LLF,提高了算法在廢舊手機(jī)缺陷識(shí)別方面的準(zhǔn)確率。

2) 在圖像預(yù)處理方面,通過(guò)構(gòu)建基于Sobel算子的鄰域特征增強(qiáng)方法,排除了圖像中光照、陰影等無(wú)關(guān)因素的干擾。

3) 在網(wǎng)絡(luò)構(gòu)建方面,設(shè)計(jì)了基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的廢舊手機(jī)表面缺陷識(shí)別方法,獲得了更全面的手機(jī)表面圖像多尺度信息,識(shí)別準(zhǔn)確率提升至94.75%。

4) 在損失函數(shù)選取方面,通過(guò)引入LLF,不僅減少了梯度消失的發(fā)生,還加快了識(shí)別速度。

5) 文中的缺陷識(shí)別方法能夠精準(zhǔn)識(shí)別手機(jī)表面缺陷,具有良好的使用價(jià)值。在后續(xù)工作中,將會(huì)實(shí)現(xiàn)對(duì)手機(jī)顏色和攝像頭形狀等屬性的識(shí)別。