改進(jìn)的MobileNetV3熱軋鋼帶表面缺陷分類算法

熊 政, 車文剛*, 保永莉, 劉曉彤

1.昆明理工大學(xué) 信息工程與自動化學(xué)院, 云南 昆明 650504;2.昆明理工大學(xué) 生命科學(xué)與技術(shù)學(xué)院, 云南 昆明 650504

中國作為全球唯一一個擁有全部工業(yè)門類的國家,工業(yè)生產(chǎn)占據(jù)著經(jīng)濟(jì)的重要地位。而在金屬制品等工業(yè)產(chǎn)品生產(chǎn)過程中,無可避免的會產(chǎn)生一些如擦花、起坑、磕碰等表面缺陷問題,這些問題不僅影響產(chǎn)品美觀,還可能對產(chǎn)品的性能和質(zhì)量造成影響,損害企業(yè)利益。因此,利用一些技術(shù)方法來對產(chǎn)品表面缺陷進(jìn)行檢測、分類,可以有效把控產(chǎn)品質(zhì)量,降低企業(yè)損失。

傳統(tǒng)的方法主要有人工檢測法、紅外檢測法和漏磁檢測法等。傳統(tǒng)的人工檢測法主要通過工人用人眼去觀察,該方法存在主觀性強(qiáng)、效率低下、勞動強(qiáng)度高等缺點(diǎn)。紅外檢測法,由于需要對產(chǎn)品進(jìn)行加熱再通過紅外光對物體表面進(jìn)行缺陷檢測,對產(chǎn)品本身會產(chǎn)生一定的影響且效率不高,因此在工業(yè)生產(chǎn)中常使用被動式紅外檢測法,該方法雖然不需要對物體進(jìn)行加熱,但是受限于產(chǎn)品不同部位對紅外光線的吸收差異,很難對鋼材等金屬表面缺陷做到分類。漏磁檢測法可以根據(jù)金屬表面缺陷產(chǎn)生的磁場判斷是否存在缺陷,但是當(dāng)缺陷如開裂較窄時會出現(xiàn)識別不出來等現(xiàn)象。

傳統(tǒng)方法存在著各種弊端,而隨著深度學(xué)習(xí)的發(fā)展,利用深度學(xué)習(xí)網(wǎng)絡(luò)對物體表面進(jìn)行自動檢測、分類,在成本、效率和準(zhǔn)確率上都要優(yōu)于傳統(tǒng)的方法。張雪榮等[1]利用深度學(xué)習(xí)對Faster Region-CNN網(wǎng)絡(luò)進(jìn)行改進(jìn),在鋼卷缺陷分類任務(wù)中達(dá)到了90.8%的準(zhǔn)確率。管聲啟等[2]利用BP神經(jīng)網(wǎng)絡(luò)將帶鋼缺陷的判斷和類型的識別分開處理,從而減少了計(jì)算量,為帶鋼缺陷在線快速自動分類提供了途徑,準(zhǔn)確率達(dá)到了90%以上。Konovalenko等[3]基于兩個深度殘差網(wǎng)絡(luò)ResNet-50和Resnet-152的集合,構(gòu)建了一個分類器來檢測平面金屬表面上的三類缺陷,在測試集的訓(xùn)練中達(dá)到了96.7%的準(zhǔn)確率,但精確率下降為94.5%。

由于傳統(tǒng)的深度學(xué)習(xí)圖像分類網(wǎng)絡(luò)中存在參數(shù)量大、運(yùn)行速度慢等缺點(diǎn),為了進(jìn)一步提高分類效率和準(zhǔn)確率,同時降低運(yùn)行成本,輕量化、可移植的圖像分類算法開始備受關(guān)注。目前針對輕量型、可移植的深度學(xué)習(xí)算法的開發(fā)主要有兩個方向:一是對訓(xùn)練好的復(fù)雜網(wǎng)絡(luò)進(jìn)行壓縮得到輕量型算法,二是直接設(shè)計(jì)輕量型算法進(jìn)行訓(xùn)練。在開發(fā)算法方面較為典型的有谷歌公司的MobileNet系列[4-6]和MnasNet[7]、曠視科技的ShuffleNet系列[8-9]、FaceBook的FBNet系列[10-12]以及華為的GhostNet[13]算法。常江等[14]通過大量削減MobileNetV3的結(jié)構(gòu)層后,對帶鋼缺陷圖像進(jìn)行分類也取得了94.67%的準(zhǔn)確率,優(yōu)于VGG16等算法。

因此,本文選擇在MoblinetV3算法的基礎(chǔ)上對其進(jìn)行改進(jìn),期望在降低原模型參數(shù)量的同時,提高分類準(zhǔn)確率。首先,針對MobileNetV3中的Hard-Swish激活函數(shù)泛化能力較差、不平滑,導(dǎo)致準(zhǔn)確率較低的問題,通過在算法中引入Mish[15]激活函數(shù)對其進(jìn)行替換。然后,針對通道注意力機(jī)制[16](Squeeze and Excitation,SE)帶來的計(jì)算量較大的問題,引入改進(jìn)的置換注意力機(jī)制(Shuffle Attention based on Mish Module,SAMM)對其進(jìn)行替換,提高算法對通道特征和空間特征的關(guān)注能力,并結(jié)合Mish激活函數(shù)構(gòu)造新的Bneck模塊,期望得到一個在熱軋鋼帶缺陷分類任務(wù)中具有應(yīng)用價值的圖像分類算法。

1 相關(guān)工作

1.1 MobileNetV3算法

MobileNetV3算法集文獻(xiàn)[4-5,7]等特點(diǎn)于一身,是將文獻(xiàn)[4]中的深度可分離卷積、文獻(xiàn)[5]中的線性瓶頸與反向殘差結(jié)構(gòu)和文獻(xiàn)[7]中的通道注意力機(jī)制融合在一起構(gòu)建的算法,其網(wǎng)絡(luò)結(jié)構(gòu)見表1。表中,NL表示使用的非線性激活函數(shù),HS表示Hard-Swish激活函數(shù),RE表示ReLU,S表示步幅,√表示該Bneck層中使用了SE注意力機(jī)制。

表1 MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)

1.2 Hard-Swish激活函數(shù)

在文獻(xiàn)[6]中,由于Swish激活函數(shù)中的Sigmoid函數(shù)在移動CPU設(shè)備上的計(jì)算代價太大,本文使用ReLU6(x+3)/6來替換Swish中的Sigmoid函數(shù),從而得到Hard-Swish=x×ReLU6(x+3)/6激活函數(shù)。但是從圖1中可以看到Hard-Swish在輸入值小于3時會出現(xiàn)截斷,從而影響了較大的負(fù)值流入,而輸入值大于3時輸出值為輸入值本身,對準(zhǔn)確率造成一定影響。從圖2的梯度圖像也可以看出Hard-Swish的梯度硬直,而平滑的激活函數(shù)能夠允許信息更好地深入神經(jīng)網(wǎng)絡(luò),從而得到更好的精度和泛化能力。因此,本文選擇平滑的Mish激活函數(shù)對原模型進(jìn)行優(yōu)化。

圖1 激活函數(shù) 圖2 激活函數(shù)梯度

1.3 Mish激活函數(shù)

Mish激活函數(shù)無上界有下界的特點(diǎn)能夠避免由于封頂而導(dǎo)致的飽和現(xiàn)象,能夠保證在訓(xùn)練過程中不會有梯度消失的問題。同時,對于小的負(fù)值梯度回流較大,能夠加速網(wǎng)絡(luò)收斂,而對于大的負(fù)值又能縮小梯度回流,防止梯度爆炸,進(jìn)而能夠穩(wěn)定網(wǎng)絡(luò)梯度流。并且,無窮階連續(xù)性和光滑性使Mish激活函數(shù)能夠得到更好的網(wǎng)絡(luò)優(yōu)化能力和泛化能力。而在文獻(xiàn)[15]中的實(shí)驗(yàn)結(jié)果表明,Mish激活函數(shù)在各項(xiàng)性能上都要優(yōu)于Swish、ReLU等激活函數(shù),尤其在圖像分類和目標(biāo)檢測等任務(wù)中,Mish激活函數(shù)都取得了更好的效果。因此,本文選用Mish=x×tan(ln(1+ex))激活函數(shù)來對MobileNetV3算法進(jìn)行優(yōu)化。

1.4 SE注意力機(jī)制

人在觀察事物時,在整體觀察之后會選擇性的關(guān)注一些重要信息而忽略一些不重要的信息。計(jì)算機(jī)視覺中的注意力機(jī)制采用相同的思想,通過給重要信息賦予更高的權(quán)重,從而提高信息處理的效率與準(zhǔn)確率。

MnasNet算法基于MobileNetV2算法的結(jié)構(gòu),在瓶頸層中加入了SE注意力機(jī)制,而在MobileNetV3算法中沿用了該結(jié)構(gòu)設(shè)計(jì),結(jié)構(gòu)圖如圖3所示,該注意力模塊主要分為Squeeze和Excitation兩個操作。

圖3 Squeeze and Excitation模塊

1)Squeeze操作:首先將卷積得到的特征輸出為U∈RH×W×C,H代表通道的高度,W代表通道的寬度,C代表通道數(shù)量;將輸入特征通過全局池化壓縮空間維度,得到Z∈R1×1×C的全局描述特征。其中,Z的第C個元素的計(jì)算公式為

(1)

2)Excitation操作:通過一個簡單的閾值機(jī)制來充分利用Squeeze操作得到的信息,并將Sigmoid函數(shù)作為激活函數(shù),公式表示為

S=Fex(Z,W)=σ(g(Z,W))=σ(W2δ(W1Z)),

(2)

(3)

由于SE注意力機(jī)制存在較多的乘法運(yùn)算,而在程序的執(zhí)行中,乘法運(yùn)算相比于加法運(yùn)算的計(jì)算量增加較大,因此,本文選擇改進(jìn)的SA注意力機(jī)制來對其進(jìn)行替換。

1.5 改進(jìn)的SA注意力機(jī)制

Zhang Qinglong等[17]采用了類似SGE(Spatial Group-wise Enhance)注意力機(jī)制的特征分組和BAM(Bottlenet attention Module)注意力機(jī)制的雙重注意力機(jī)制的思想,在空間注意力和通道注意力的基礎(chǔ)上,引入特征分組和通道置換,提出了SA注意力機(jī)制。通過對該機(jī)制進(jìn)行分析發(fā)現(xiàn),該機(jī)制中的Sigmoid函數(shù)由于需要進(jìn)行指數(shù)運(yùn)算,在移動設(shè)備上的計(jì)算成本相對較高,且它的雙向飽和性會導(dǎo)致輸入值在大于或小于5的時候出現(xiàn)梯度消失,對準(zhǔn)確率造成較大影響。因此,本文基于SA注意力機(jī)制提出一種改進(jìn)的SAMM注意力機(jī)制,結(jié)構(gòu)如圖4所示,主要有4個步驟。

2)Channel Attention:通道注意力聚焦于“what”,在實(shí)現(xiàn)方面,SE模塊會帶來較多參數(shù),不利于輕量化注意力模塊的設(shè)計(jì)。因此,通過將SAMM注意力機(jī)制的通道注意力模塊修改為GAP+Scale+Mish的組合來更好地獲取通道特征:

(4)

(5)

3)Spatial Attention:空域注意力聚焦于“where”,與通道注意力形成互補(bǔ)。在實(shí)現(xiàn)方面,采用GN(Group Norm)對Xk2進(jìn)行處理得到空間層面的統(tǒng)計(jì)信息,然后采用FC()進(jìn)行增強(qiáng),并使用一個Mish激活函數(shù)來進(jìn)一步增強(qiáng)空間特征信息,提高與通道注意力模塊的互補(bǔ)能力:

(6)

4)Aggregation:在完成通道注意力和空域注意力兩種注意力計(jì)算后,將所有子特征聚合,采用“channel shuffle”來實(shí)現(xiàn)組間通信。

相比于SE注意力機(jī)制,SAMM注意力機(jī)制更多的采用加法而不是SE注意力機(jī)制中的乘法,因此,SAMM注意力機(jī)制的計(jì)算量相比于SE注意力機(jī)制更少一些。

2 改進(jìn)的MobileNetV3算法

針對MobileNetV3中的Hard-Swish激活函數(shù)泛化能力差、不平滑和SE注意力機(jī)制計(jì)算量較大的問題,本文分別在MobileNetV3的各部分引入Mish激活函數(shù),用來提高算法精度。在中間Bneck部分的可選支路和結(jié)尾部分分別引入SAMM注意力機(jī)制,構(gòu)成新的Bneck模塊和新的結(jié)尾部分。結(jié)構(gòu)分別見圖5—圖7,其中,圖6參數(shù)以第一個Bneck模塊為例。最后,通過堆疊Bneck模塊并與改進(jìn)的特征提取層和結(jié)尾部分組合,得到改進(jìn)的A-MobileNetV3算法,整體的網(wǎng)絡(luò)結(jié)構(gòu)見表2。其中,NL表示使用的非線性激活函數(shù),S表示步幅,√表示該Bneck層中使用了SAMM注意力機(jī)制。

圖5 改進(jìn)的起始部分

圖6 改進(jìn)的Bneck結(jié)構(gòu) 圖7 改進(jìn)的結(jié)尾部分

表2 A-MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

實(shí)驗(yàn)采用東北大學(xué)Song Kechen等[18]制作的公開的NEU-CLS熱軋鋼帶表面缺陷數(shù)據(jù)集,共有六類表面缺陷,部分?jǐn)?shù)據(jù)如圖8所示,從左邊第一列往右數(shù)分別是裂紋(Cr)、夾雜物(In)、斑塊(Pa)、麻點(diǎn)表面(PS)、氧化皮(RS)和劃痕(Sc),每類熱軋鋼帶表面缺陷圖像由300張尺寸為200像素×200像素的圖像表示,一共有1 800張表面缺陷圖像,按照7∶3的比例劃分訓(xùn)練集和測試集,即訓(xùn)練集共1 260張,每類缺陷210張,測試集共540張,每類缺陷90張。

圖8 NEU-CLS表面缺陷數(shù)據(jù)集

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為Windows10系統(tǒng),軟件工具為Pycharm,處理器為Intel(R)Core(TM)i5-7300HQ CPU@2.50 GHz,顯卡為NVIDIA GeForce GTX1050,內(nèi)存8 GB,腳本語言為Python3.8,深度學(xué)習(xí)框架為Pytorch1.8.1。

3.3 訓(xùn)練過程

實(shí)驗(yàn)將訓(xùn)練參數(shù)設(shè)置一個樣本數(shù)的Batch_size大小為8,學(xué)習(xí)率Learning Rate固定為0.001,訓(xùn)練輪次Epoch為100次。通過在同一平臺下,使用NEU-CLS熱軋鋼帶表面缺陷數(shù)據(jù)集進(jìn)行訓(xùn)練得出相應(yīng)的100個輪次中的最優(yōu)模型權(quán)重,并通過同一個測試集進(jìn)行測試,以測試的結(jié)果作為最終結(jié)果。同時,通過在實(shí)驗(yàn)平臺上對MobileNetV3、ResNet-34、ShuffleNetV2、SqueezeNet、EfficientNet-B0算法進(jìn)行復(fù)現(xiàn)作對比試驗(yàn)。

3.4 實(shí)驗(yàn)與結(jié)果分析

本文選用MobileNetV3、ResNet-34[19]、ShuffleNetV2、EfficientNet-B0[20]、SqueezeNet[21]算法作為對比算法,在同一實(shí)驗(yàn)環(huán)境下進(jìn)行訓(xùn)練和測試,結(jié)果見表3。實(shí)驗(yàn)結(jié)果表明,在100個Epoch的訓(xùn)練和測試中,本文提出的算法在各項(xiàng)指標(biāo)中均優(yōu)于MobileNetV3算法,準(zhǔn)確率達(dá)到了99.44%,相比于原算法提高了5.74%,參數(shù)量減少了35.59%,意味著改進(jìn)的算法能夠占用更少的計(jì)算資源而獲得更高的準(zhǔn)確率。而ResNet-34的準(zhǔn)確率雖然較高,但是參數(shù)量太大,以至于不能很好地應(yīng)用在低資源配置設(shè)備上。ShuffleNetV2和SqueezeNet算法雖然參數(shù)量更少,但是準(zhǔn)確率無法滿足生產(chǎn)需求。EfficientNet-B0算法由于是EfficientNet系列網(wǎng)絡(luò)中的基礎(chǔ)網(wǎng)絡(luò),在參數(shù)量較大的情況下,分類準(zhǔn)確率也較低。

表3 實(shí)驗(yàn)結(jié)果對比

圖9展示了多種算法的準(zhǔn)確率曲線和損失曲線。從準(zhǔn)確率曲線中可以看出,改進(jìn)的A-MobileNetV3算法最先趨于穩(wěn)定,且相比于其他算法準(zhǔn)確率更高,損失最小。證明了改進(jìn)的SAMM注意力機(jī)制和Mish激活函數(shù)不僅可以有效減少M(fèi)obileNetV3算法的參數(shù)量,還提高了分類準(zhǔn)確率和精確率。因此,本文提出的算法更適用于熱軋鋼帶表面缺陷分類任務(wù)。

(a) 準(zhǔn)確率曲線 (b) 損失曲線

4 結(jié)論

本文設(shè)計(jì)了一種改進(jìn)的A-MobileNetV3算法,通過引入改進(jìn)的SAMM注意力機(jī)制和Mish激活函數(shù)對MobileNetV3各部分進(jìn)行優(yōu)化,使得該算法不僅在圖像分類任務(wù)中的準(zhǔn)確率有所提高,在參數(shù)量和計(jì)算量上也得到了較大的優(yōu)化,可以勝任熱軋鋼帶表面缺陷分類的任務(wù)。未來可以嘗試通過剪枝等方法進(jìn)一步壓縮模型體積,并將該算法應(yīng)用到其他分類任務(wù)中。