基于多尺度特征融合的鋼材表面缺陷分類方法

田志新,徐 震,茅 健,林彬彬,廖 薇

(1.上海工程技術(shù)大學 機械與汽車工程學院,上海 201620;2.上海工程技術(shù)大學 電子電氣工程學院,上海 201620)

鋼材生產(chǎn)過程中的表面缺陷分類與識別較為重要,而基于人工經(jīng)驗的判斷不僅成本高且效率低下,利用計算機視覺替代人工實現(xiàn)缺陷檢測是一種較為高效的方法。缺陷圖像的紋理是一種重要的視覺線索,普遍存在但較難描述[1]。特征提取作為分類識別任務(wù)的關(guān)鍵環(huán)節(jié),直接影響分類結(jié)果。傳統(tǒng)方法通過手工設(shè)計特征提取模型進行特征提取[2],但是其在單一尺度上進行,不能反映圖像特有的多尺度特征,缺乏圖像的全局信息。紋理特征依賴于提取時采用的尺度[3],多個尺度下的圖像特征均具有較強的表示能力[4]。研究發(fā)現(xiàn)多尺度分析更能有效地描述紋理特征。文獻[5～11]針對多尺度特征融合、多尺度結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(Covolutional Neural Network,CNN)特征提取方式,結(jié)合灰度共生矩陣(Gray Level Co-occurrence Matrix,GLCM)的多尺度特征提取方式以及Gabor多尺度特征提取方式進行了深入研究,并在遙感圖像場景分類、航空圖像分類和醫(yī)學影像分類等領(lǐng)域進行了嘗試。在特征提取階段,CNN面向原始圖像數(shù)據(jù),在一定程度上可以彌補因圖像變換等操作造成的信息丟失。CNN模擬了動物皮層的功能,能夠感覺到不同空間特征的視覺刺激[12],且具有局部連接、權(quán)值共享等特點[13],能夠自動檢測出重要特征[14]。文獻[15]通過設(shè)計多尺度CNN網(wǎng)絡(luò),融合不同尺度特征信息實現(xiàn)了對手勢的精確識別。文獻[16]認為CNN能描述類的邊、角以及紋理等空間特征。

長短時記憶網(wǎng)絡(luò)(LSTM)[17]是一種常見的深度學習模型。有研究人員將LSTM用于分類任務(wù),取得了較好的效果。文獻[18～19]研究了LSTM網(wǎng)絡(luò),并結(jié)合CNN卷積特征提取能力開發(fā)出集成分類方法,分別應(yīng)用于圖像分類和水果識別等領(lǐng)域。

本文提出一種基于Gabor變換和GLCM的多尺度特征提取方法。將原始圖像通過Gabor濾波器進行多尺度變換,構(gòu)建圖像的多尺度空間。利用GLCM對多尺度空間下的圖像進行特征提取,在數(shù)據(jù)域建立特征向量,同時使用CNN卷積層對原始圖像進行特征提取。將GLCM提取的包含多尺度統(tǒng)計信息的特征與CNN提取的特征信息做特征融合。融和后的特征向量經(jīng)過以序列方式輸入LSTM網(wǎng)絡(luò)分類器,實現(xiàn)對缺陷圖像的準確分類。

1 方法原理

1.1 多尺度Gabor變換

Gabor濾波器是傅里葉變換的一種方式[20],也被稱為Gabor小波。受哺乳動物的簡單皮質(zhì)細胞概念啟發(fā)[21],其具有多尺度、多方向等特性,能夠捕捉圖像對應(yīng)的空間位置、尺度以及方向等結(jié)構(gòu)信息。

復(fù)數(shù)表達為

(1)

(2)

式中,λ代表波長;θ指定Gabor條紋方向;γ決定Gabor濾波器形狀;σ表示高斯因子的標準差,影響Gabor濾波器的帶寬;標準差和波長的關(guān)系為σ=0.56λ;Ψ表示相位偏移。

圖像經(jīng)過濾波器后生成各個尺度上的圖像,多尺度變換結(jié)果如圖1所示,圖像通過Gabor變換后產(chǎn)生多尺度子圖,各個子圖在保留一部分原圖信息的同時仍在各個方向上具有各自的特有信息。

圖1 圖像的多尺度變換Figure 1. Multi-scale transformation of image

1.2 灰度共生矩陣

圖像以數(shù)據(jù)矩陣為方式在計算機里進行存儲,攜帶較大數(shù)據(jù)量。為了減少運算成本,將輸入圖像數(shù)據(jù)轉(zhuǎn)換為特征向量的簡單集[22],該轉(zhuǎn)換過程被稱為特征提取過程。該特征向量包含相關(guān)信息,被作為分類的輸入向量。

對經(jīng)過多尺度變換后的子圖進行特征提取,GLCM是一種傳統(tǒng)且廣泛應(yīng)用的基于統(tǒng)計學思想的紋理特征提取方法[23-24],依據(jù)圖像中距離較近的像素之間各種距離和角度關(guān)系進行計算[25]。在實際操作時,本文方法對原始圖像統(tǒng)計一定方向和一定距離上像素對出現(xiàn)的次數(shù),構(gòu)成灰度共生矩陣,依據(jù)灰度共生矩陣計算并導出紋理特征數(shù)據(jù),構(gòu)成特征向量。

如果將14種紋理特征[24]都考慮進去,由于數(shù)據(jù)量較大將造成過擬合問題,并且有較多特征量線性相關(guān)性強(例如“和熵”、“差熵”與“熵”的意義相近),統(tǒng)計意義較小[26]。

本文選擇“對比度”、“熵”、“角二階矩”以及“逆差矩”4種特征量。

(3)

(4)

(5)

(6)

式中,對比度反映圖像中局部灰度變化;熵表示圖像所具有的信息量的復(fù)雜程度;角二階矩反映圖像灰度分布均勻程度;逆差矩反映圖像紋理的局部變化;P(i,j)表示灰度為i和j的像素對出現(xiàn)的概率;L表示灰度級。

f={Conk,Entk,Asmk,Idmk}

(7)

fg={Cong0,Entg0,Asmg0,Idmg0,…,Congk-1,
Entgk-1,Asmgk-1,Idmgk-1}

(8)

式中,f為灰度共生矩陣計算的特征向量;fg表示各尺度子圖的特征向量融合生成的高維向量;g表示Gabor變換后多尺度特征量;k表示第k幅圖像。

2 相關(guān)工作

2.1 多尺度特征提取

本文選取Gabor濾波器組的θ角范圍是[0,π],以π/6為增量分為6個方向,濾波器尺寸為3、5、7、9,構(gòu)建四尺度六方向濾波器組,圖2為多尺度特征提取過程。

圖2 多尺度特征提取Figure 2. Multi-scale feature extraction

2.2 CNN特征提取

CNN是圖像分類常用的網(wǎng)絡(luò)結(jié)構(gòu),圖像經(jīng)過卷積、池化層以及BN層等處理后實現(xiàn)圖像的特征提取。加深CNN層數(shù)可以的擴大感受野,但同時參數(shù)量也會增加?？紤]到計算成本問題,部分CNN層使用空洞卷積,在增加感受野的同時減少了參數(shù)量,CNN模塊的搭建如圖3所示。

圖3 CNN卷積模塊Figure 3. CNN convolution module

經(jīng)過兩次3×3卷積與最大池化層實現(xiàn)圖像下采樣操作,然后通過3層不同膨脹率的膨脹卷積。為了解決多層膨脹卷積引起的“gridding effect”問題,b本文引入混合膨脹卷積(Hybrid Dilated Convolution,HDC)模塊,膨脹率的選擇應(yīng)滿足式(9)[27]。

Mi=max[Mi+1-2ri,Mi+1-2(Mi+1-ri),ri]

(9)

式中,ri為膨脹率;Mi為空洞數(shù)。當卷積核尺寸為3時,M2必須小于3才能避免空洞的產(chǎn)生。基于此,HDC層的膨脹率分別取r=1、r=2、r=3。

對卷積層輸出的特征圖進行維數(shù)壓縮后輸入全連接層FC,FC輸出結(jié)點數(shù)與多尺度特征向量的維數(shù)相同。

2.3 多尺度特征融合

多尺度特征提取利用統(tǒng)計學方法,充分考慮了不同尺度下像素間的位置關(guān)系。而CNN卷積對圖像語義特征信息的提取能力強,將兩種特征向量進行融合得到增強版的紋理特征向量,在一定程度上豐富了多尺度提取的特征信息。圖4為多尺度特征融合過程。

圖4 多尺度特征融合Figure 4. Multi-scale feature fusion

2.4 分類模型

傳統(tǒng)分類器在處理高維特征向量前先進行數(shù)據(jù)降維操作,從一定程度上降低模型運算量,計算量也相應(yīng)減小。本文使用LSTM處理高維信息,其是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)的一種[28],引入“遺忘門”、“輸入門”和“輸出門”,有效解決了“梯度消失”和“梯度爆炸”問題,能更好地能處理長序列問題,其單元結(jié)構(gòu)如圖5所示。

圖5 LSTM網(wǎng)絡(luò)示意圖Figure 5. LSTM network

對于分類問題,本文將圖像提取出的多尺度特征向量fg定義為序列值xt,xt是一個96維向量。

ft=σ(Wxxt+Whfht-1+bf)

(10)

ft將參數(shù)xt與上一時刻輸出狀態(tài)ht-1合并后輸入Sigmoid函數(shù),實現(xiàn)將輸入值映射到0～1之間,實現(xiàn)“門”的功能。

gt=tanh(Wxgxt+Whght-1+bg)

(11)

it=σ(Wxixt+Whiht-1+bi)

(12)

ct=ct-1⊙ft+gt⊙it

(13)

gt和it處理輸入紋理信息,ct將當前時刻的信息累加到“記憶傳送帶”ct上,ct記錄了長記憶信息,當前的圖像紋理已經(jīng)在“記憶細胞”內(nèi)儲存。

ot=σ(Wxoxt+Whoht-1+bo)

(14)

ht=ot⊙tanh(ct)

(15)

yt=Wyhht+by

(16)

式中,σ為Sigmoid函數(shù);“⊙”為對應(yīng)元素相乘的運算符;W為權(quán)重參數(shù);xt為輸入序列;yt為輸出結(jié)果;b為偏置項;ot處理當前時刻輸出紋理信息,將輸出信息與長記憶帶信息結(jié)合作為此刻的輸出狀態(tài)ht,最終輸出采用“One-Hot”編碼。損失函數(shù)選擇交叉熵損失函數(shù),根據(jù)目標輸出值進行迭代,LSTM紋理分類器模型記錄了圖像在不同尺度下的紋理信息,從而充分利用了圖像的多尺度信息。

3 實驗與結(jié)果分析

實驗流程如圖6所示。原始圖像經(jīng)過圖像預(yù)處理后通過Gabor變換,將圖像映射到多尺度空間,經(jīng)過GLCM進行特征提取。另一支路經(jīng)過CNN網(wǎng)絡(luò)將兩路提取的特征進行融合,送入分類器網(wǎng)絡(luò)進行分類測試,結(jié)果采用混淆矩陣(Confusion Matrix,CM)進行指標評判。

圖6 實驗流程Figure 6. Experimental flow

為了驗證該方法的有效性,本文使用公開紋理數(shù)據(jù)集Brodatz進行實驗驗證,選取鵝卵石(cobble)、水波(wave)、磚墻(brick)、圓圈(circle)、地面(ground)以及石塊(stone)6種紋理圖片進行分類。紋理圖像進行分塊處理,生成100塊子圖,取前80塊子圖作為訓練集訓練模型,后20塊作為測試集,搭建長短時記憶神經(jīng)網(wǎng)絡(luò)(LSTM)分類器對圖像進行紋理分類,得到單尺度和多尺度下LSTM分類器的分類混淆矩陣和F1指標柱狀圖。

使用混淆矩陣記錄LSTM分類器在不同尺度下的分類結(jié)果,如圖7所示。

(a)

圖7(a)是單一尺度下LSTM分類器對6個類別的分類混淆矩陣,分類準確率為96.7%。圖7(b)是多尺度下LSTM分類器對6個類別的分類混淆矩陣,分類準確率為98.3%。

F1指標評價模型精確度,是準確率和召回率的調(diào)和平均數(shù),計算式如式(17)所示。

(17)

式中,Precision表示準確率;Recall表示召回率。

由圖8可知,多尺度下LSTM網(wǎng)絡(luò)分類結(jié)果F1指標普遍較單一尺度下的分類結(jié)果F1指標高,表明多尺度下對每個類的分類精度較高。

圖8 LSTM網(wǎng)絡(luò)分類F1指標Figure 8. F1 index of LSTM network classification

3.1 數(shù)據(jù)集

選擇NEU數(shù)據(jù)集[29]中6種表面缺陷圖片進行分類實驗,分別為開裂(crazing)、內(nèi)含物(inclusion)、斑塊(patches)、點蝕表面(pitted)、軋制氧化皮(rolled-in)以及劃痕(scratches)。如圖9所示,每種表面缺陷有300張圖像數(shù)據(jù),每張圖像為3通道200×200像素的bmp格式,按照8∶2的比例劃分訓練集與測試集。

圖9 NEU數(shù)據(jù)集6類表面缺陷Figure 9. Six kinds of surface defects of NEU data set

3.2 特征提取

訓練集圖像經(jīng)過預(yù)處理后,通過Gabor變換為多尺度圖像,經(jīng)過GLCM提取統(tǒng)計特征。文獻[30]從理論上證明了的計算GLCM并不需要選取所有參數(shù)即可完整描述圖像的紋理特征。

表1列出了在不做處理的單尺度圖像與Gabor多尺度變換后的圖像中,GLCM在像素對方向α取不同值時提取出的特征向量與α在0°時提取出來的特征向量的余弦相似度?？梢园l(fā)現(xiàn),余弦相似度均約為1,說明只提取一個方向的特征量即可滿足要求。因此,為了減少計算量,本文選擇在0°方向上做灰度共生矩陣提取特征。

表1 不同方向與0°提取的特征量余弦相似度對比Table 1. Comparison of cosine similarity of feature quantity extracted from different directions and 0°

3.3 特征融合

經(jīng)過預(yù)處理的訓練集圖像再經(jīng)過CNN卷積模塊提取特征。為了使CNN卷積模塊初始權(quán)重去隨機化,在參與特征提取前先將其FC層連接6分類Classifier結(jié)點在訓練集上進行有監(jiān)督訓練。在測試集中達到80%的驗證精度,然后去掉Classifier層,將其FC層接在GLCM特征輸出上。

特征融合的方式有兩種:1)直接進行特征向量的拼接;2)各元素數(shù)值相加。對這兩種融合方式進行實驗,結(jié)果如表2所示。

表2 不同融合方式的預(yù)測結(jié)果Table 2. Prediction results of different fusion methods

由表2可知,隨著特征維數(shù)增加,預(yù)測結(jié)果降低,所需的預(yù)測時間更多。該現(xiàn)象可能是由于數(shù)據(jù)量大造成了模型過擬合,因此需采用元素相加的融合方式。

3.4 結(jié)果與分析

使用混淆矩陣(CM)記錄LSTM分類器在本文方法下的分類結(jié)果,如圖10所示。

圖10 LSTM網(wǎng)絡(luò)分類混淆矩陣Figure 10. LSTM network classification confusion matrix

圖10表明,除了“點蝕表面”和“劃痕”兩類有錯分以外其他類都能被正確識別。

由式(18)計算得到模型分類準確率為97.5%。

(18)

式中,TP為正類分類正確的個數(shù);TN為負類分類正確的個數(shù);FP為正類分類錯誤的個數(shù);FN為負類分類錯誤的個數(shù)。由于本文為多分類問題,因此分子為所有類分類正確的總數(shù),分母為所有的樣本數(shù)。

在多尺度特征和CNN特征融合的前提下分別使用LSTM、BP網(wǎng)絡(luò)、SVM、KNN以及CART等分類器對紋理圖像進行分類并將分類結(jié)果進行對比。圖11為各個分類器對圖像的分類F1指標。

圖11 多尺度下各分類器F1指標Figure 11. F1 index of classifiers at multi-scale

圖11表明,在Gabor變換后多尺度下,在同時使用CNN卷積進行特征提取的各個分類器中,LSTM表現(xiàn)最好,對于較難分類的“點蝕表面”類,其F1指標高達94%,而對于其余5個類別的分類的F1指標也都在95%以上。

在多尺度下,圖像特征信息量較大,對KNN、SVM、CART等分類器易受到異常點影響,從而導致分類效果不佳。在這種情況下,神經(jīng)網(wǎng)絡(luò)分類器由于其復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu),具有較好的處理復(fù)雜信息的能力。對于一般的神經(jīng)網(wǎng)絡(luò),例如BP神經(jīng)網(wǎng)絡(luò)在一定程度上通過訓練迭代使分類效果有所提高,但是在多維數(shù)據(jù)下,泛化能力較弱。LSTM網(wǎng)絡(luò)在一定程度上對輸入輸出具有選擇篩選能力,對于紋理圖像的多尺度特征有一定的記憶能力,通過不斷地迭代學習,LSTM網(wǎng)絡(luò)模型可以充分利用多尺度特征信息,從而改善了分類效果。

為了驗證本文方法的普適性,進行了消融實驗。本文搭建了機器學習中常用的分類方法SVM、KNN、CART以及深度學習神經(jīng)網(wǎng)絡(luò)LSTM、BP、CNN和AlexNet網(wǎng)絡(luò),實驗結(jié)果如表3所示。表3中“√”表示使用了對應(yīng)的特征提取方式,并將每種分類結(jié)果的準確度計算出來。

表3 各分類器不同特征提取方式結(jié)果對比Table 3. Comparison of results of different feature extraction methods of various classifiers

表3表明,使用了Gabor多尺度變換和CNN卷積提取特征融合后的LSTM分類器準確率最高,達到97.5%。同等分類器情況下僅使用Gabor多尺度變換的準確率較低,而不使用Gabor多尺度變換和CNN卷積模塊的單一尺度分類效果較差。

CNN_Block為本文搭建的CNN模塊,表3顯示單獨使用CNN_Block模塊的效果并不好。由于神經(jīng)網(wǎng)絡(luò)深度以及迭代次數(shù)的影響,尤其是Alexnet等大型CNN網(wǎng)絡(luò)較耗時,在綜合考量檢測實時性以及檢測精度的情況下,采用本文方法能夠達到較好的效果。

4 結(jié)束語

針對鋼材表面缺陷分類問題,本文提出了一種基于紋理圖像多尺度特征融合的分類方法。利用多尺度Gabor變換將圖像映射到多尺度空間,并利用GLCM實現(xiàn)多尺度特征提取。其次采用引入HDC模塊的CNN模塊提取紋理圖像的特征,將兩種特征向量進行融合得到特征信息增強的特征向量。最后根據(jù)該融合特征向量的序列特性使用LSTM網(wǎng)絡(luò)作為分類器。為了驗證該方法的準確性,使用NEU數(shù)據(jù)集中熱軋帶鋼表面的不同缺陷進行分類識別。利用LSTM、BP網(wǎng)絡(luò)、SVM、KNN、CART,CNN以及AlexNet分類方法對測試集中的360張圖像進行了分類檢測,通過消融實驗驗證了該方法的普適性?；贚STM分類的分類方法的準確率達到97.5%,在分類器中表現(xiàn)最好。實驗結(jié)果表明,特征融合后以及采用LSTM進行分類的方法有效提升了紋理圖像的分類精度。

本文方法實現(xiàn)了圖像的多尺度特征信息提取,可同時用于缺陷等級劃分等后續(xù)研究,對于鋼材表面缺陷分類的研究具有意義。