基于深度學習和分段線性插值的短切氈缺陷分類

張君揚,景軍鋒

(西安工程大學 電子信息學院,陜西 西安 710048)

0 引 言

短切氈[1]是玻璃纖維短切原絲氈的簡稱,是將連續(xù)玻璃纖維原絲短切成50～75 mm的絲段在平面上隨機無定向均勻分布，并加以適當?shù)幕瘜W粘結劑粘合而制成的薄氈狀材料，它是復合材料中的一種主流增強材料.因其具有良好的機械力學和化學性能,以及很好的沖模性和覆膜性,逐漸代替一些鋼鐵材料,被廣泛應用于多種領域[2].目前,工業(yè)上對短切氈的質(zhì)量提出越來越高的要求.在質(zhì)量檢測中,研究短切氈缺陷的分類,對于判別在生產(chǎn)過程中產(chǎn)生的缺陷類型,找出原因并修復具有重要意義.

目前,針對圖像缺陷的分類問題,學者們進行了許多研究,提出不同的分類方法,主要集中在兩個方面:一方面是基于人工提取特征[3-5]的圖像分類方法.文獻[6]提出一種基于局部與全局描述疵點紋理特征相結合的織物疵點分類算法,完成對織物特征向量的提取,取得較好的分類效果,但該算法在執(zhí)行過程中需要消耗大量的計算資源.實時性較差.文獻[7]應用RBF訓練算法,提取織物疵點的特征參數(shù),并利用人工神經(jīng)網(wǎng)絡判斷織物疵點的類別,然而該方法的分類精度較低；另一方面是基于深度學習[8-9]的圖像分類方法.深度學習作為機器學習[10]的一個新的領域，在給定大量的輸入圖像的前提下，由機器學習算法自動提取出圖像的特征，并將特征提取[11]融入到模型建立的過程中，從而減少人工提取特征造成的不完備性.使用深度學習的方法來解決圖像的分類問題已經(jīng)成為學者們的研究熱點.YING等[12]使用三層深度信念網(wǎng)絡訓練模型進行分類，經(jīng)特征選擇和參數(shù)優(yōu)化之后，首先采用10倍交叉驗證實驗，分類的準確率達到97.2%，但模型的訓練過程非常耗時.

針對上述問題,本文提出一種基于深度學習和分段線性插值相結合的缺陷分類方法.首先采用深度時空推理網(wǎng)絡(DeSTIN)自動地分層學習,提取樣本的原始特征,避免傳統(tǒng)算法中的人為設計特征的復雜性和局限性.然后利用分段線性插值創(chuàng)建高維度信息的特征集合,提高原始圖像特征的維度,改善原始圖像的特征表示.最后使用Softmax分類器判斷缺陷的類型.實驗結果表明,提出的算法對短切氈缺陷可達到準確分類，縮短時間的目的,具有較高的準確性和適應性.

1 特征提取

特征提取是圖像分類任務的一個主要階段，分類結果在很大程度上依賴于選取的特征是否能夠合適地表征圖像中包含的有用信息.在采集到短切氈的缺陷圖像后，提取和使用短切氈缺陷的信息特征是成功構建一個有效的缺陷分類器的關鍵.在分析短切氈成型原因后，采用構建深度時空推理網(wǎng)絡(DeSTIN)對短切氈缺陷的圖像規(guī)律進行無偏差的估計，從而達到自動提取特征的目的，深度時空推理網(wǎng)絡是深度學習的一種實現(xiàn)形式，屬于深度神經(jīng)網(wǎng)絡模型[13-14].

圖 1 DeSTIN網(wǎng)絡結構圖Fig.1 Structure diagram of DeSTIN network

1.1 深度時空推理網(wǎng)絡

DeSTIN是一種金字塔型的深度學習網(wǎng)絡，它融合了無監(jiān)督學習和貝葉斯推理[15]，該網(wǎng)絡是一個多層次的階梯式結構，每個層次都由一組功能相同的節(jié)點構成.其工作原理為在DeSTIN的底層直接輸入短切氈的原始圖像，底層節(jié)點學習觀測到的數(shù)據(jù)序列，構建一個信念狀態(tài)空間來尋找和描繪輸入數(shù)據(jù)中存在的時間和空間規(guī)律，生成信念狀態(tài).然后，將底層節(jié)點生成的信念狀態(tài)作為輸入數(shù)據(jù)傳遞給上一層節(jié)點，構建該層相應的信念狀態(tài)空間，繼續(xù)捕獲這些輸入數(shù)據(jù)的內(nèi)在規(guī)律.依次類推，將每層節(jié)點生成的信念狀態(tài)輸入給上一層節(jié)點，直到頂層，形成一個階梯結構.DeSTIN頂層的輸出包含短切氈缺陷圖像的特征與規(guī)律，作為有監(jiān)督學習算法的輸入，從而進行后續(xù)的缺陷分類[16]處理.

DeSTIN網(wǎng)絡結構如圖1所示，該網(wǎng)絡模型是一個壓縮形式，僅用來表征數(shù)據(jù)傳輸?shù)闹饕?guī)律.圖1中每一層節(jié)點都是一個聚類集合，包含一定數(shù)量的聚類中心，每個節(jié)點的聚類中心都是一個與該層節(jié)點輸入數(shù)據(jù)維數(shù)相同的向量.DeSTIN的聚類算法采用Winner Takes A11的競爭學習機制.通過計算和比較輸入數(shù)據(jù)與每個聚類中心的歐式距離，找出距離最小的優(yōu)勝聚類中心，進行聚類更新.更新后，對當前時刻狀態(tài)的靜態(tài)相似度Pr(o|s′)進行計算，即

Pr(o|s′)=(dj)-1/∑i(dj)-1.

(1)

式中:o表示當前節(jié)點數(shù)據(jù)的觀測值;s′表示當前時刻狀態(tài);dj表示數(shù)據(jù)觀察值到聚類中心的距離.

DeSTIN基本的信念更新規(guī)則為

(2)

式中:b為當前節(jié)點的信念狀態(tài);b′為更新后節(jié)點的信念狀態(tài);c為上一層節(jié)點的信念狀態(tài);s表示上一時刻狀態(tài)；s″表示下一時刻狀態(tài).給定信念狀態(tài)c的公式為

c=argmaxsb.

(3)

在信念狀態(tài)更新過程中,當前節(jié)點的觀測數(shù)據(jù)o的信念狀態(tài)b映射到下一時間階段形成新的信念狀態(tài)b′,需要學習Pr(o|s′))和Pr(s′|s,c)這兩個核心結構.前者通過聚類學習算法,利用有限數(shù)量的聚類中心來表示聚類集合中的信念狀態(tài);后者需要在給定的信念狀態(tài)c的條件下,在經(jīng)驗的基礎上通過試驗來調(diào)整參數(shù),得到從上一時刻狀態(tài)s到當前時刻狀態(tài)s′的轉(zhuǎn)移概率,兩者共同形成1個魯棒性較好的結構,自動地學習復雜的數(shù)據(jù)表達形式.DeSTIN的輸入是一個圖像,其高維信號表示為

(4)

在經(jīng)過給定的網(wǎng)絡層傳輸之后,短切氈的原始圖像轉(zhuǎn)化為表示其特征向量的值,這些值為Voriginal=(O1,O2, …,On)T.

1.2 分段線性插值

為了保證短切氈缺陷分類的準確性，提取短切氈缺陷的特征向量希望具有充分的維度.因此使用分段線性插值對深度時空推理網(wǎng)絡(DeSTIN)提取的短切氈缺陷的特征進行升維，以滿足特征提取過程中對特征維度的需求.

分段線性差值[17]的基本思想是給定特征向量Voriginal=(O1,O2, …,On)T和一個數(shù)據(jù)集合M={(x0,y0),(x1,y1),(x2,y2),…,(xk,yk)},(k≥n),設置{x0,x1,x2,…,xk}的值為特定連續(xù)的整數(shù),將Voriginal值分配給{y0,y1,y2,…,yk}的1個子集.使用分段線性差值生成M集合中其他的(k+1-n)個缺失值,插值作用于Voriginal,直接生成額外的矢量元素Vadditional=(I1,I2, …,In)T.

分段線性插值函數(shù)可表示為基函數(shù)的組合形式

(5)

式中:P(x)表示插值函數(shù);ωj(x)表示插值基函數(shù);yj表示給定函數(shù)值.

基函數(shù)為

(6)

(7)

(8)

圖 2 DESTIN算法流程圖Fig.2 Flow chart of DESTIN algorithm

1.3 DESTIN算法

在短切氈缺陷分類的過程中，單獨使用DeSTIN提取短切氈缺陷的特征將會引入復雜的計算，影響整個特征提取過程的效率，因此需要權衡特征提取的工作量與分類結果的有效性之間的關系.本文將簡單的DeSTIN與分段線性插值串聯(lián)在一起，待分類的短切氈原始圖像經(jīng)過DeSTIN處理，利用分段線性插值將得到的短切氈低維特征向量轉(zhuǎn)換為高維度的特征集合，即

VD=(O1,I1,O2,I2,…,Im,…,On)T.

(9)

DESTIN算法工作流程如圖2所示.DeSTIN和分段線性插值的綜合使用顯著增加短切氈缺陷圖像特征向量的維數(shù),而不會產(chǎn)生過多的計算量.將擴展得到的特征輸入到Softmax分類器進行短切氈缺陷分類,提高分類的準確性.

2 多分類器

短切氈在生產(chǎn)過程中由機械故障和人為因素等影響，會產(chǎn)生多種類型的缺陷，如分散不良、并條、污漬和破洞.因此短切氈缺陷分類是一個多分類問題,將提取的缺陷特征作為新的輸入數(shù)據(jù),通過有監(jiān)督學習的方法來構建分類器.

本文采用Softmax回歸模型[18],Softmax回歸模型廣泛應用于深度學習中解決多分類問題.訓練樣本集合{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))},其中,類別標記y∈?k值,即y(m)∈{1,2,…,k}.給定一個測試輸入x,x被判定為j的概率為p(y=j|x),最大p值對應的j值就是x的類別,對于一個k分類問題,將會輸出一個k維向量(向量元素的和為1)來表示k個概率的估計值,該模型函數(shù)的輸出為

(10)

在Softmax回歸模型的代價函數(shù)中添加一個權重衰減項,用來懲罰過大的參數(shù)值,構成一個嚴格的凸函數(shù),保證得到全局的最優(yōu)解.新的代價函數(shù)為

(11)

3 實驗與分析

實驗在PyCharm 2017環(huán)境下，處理器為Intel(R) Core(TM)i5-2400CPU@ 3. 10 GHz的計算機下完成.在實驗室環(huán)境下，使用工業(yè)相機對短切氈的缺陷樣本進行采集，采集到的圖像大小為256×100像素.深度學習中需要大規(guī)模的訓練樣本進行特征參數(shù)的學習與提取，以避免樣本量不足時出現(xiàn)的過擬合問題.利用數(shù)據(jù)增強[19]方法，對采集到的圖像進行90°/180°/270°的旋轉(zhuǎn)以及在水平、垂直方向上作鏡像變換等操作，擴充樣本數(shù)據(jù).數(shù)據(jù)增強后的短切氈缺陷樣本集見表1.

目前,工業(yè)上短切氈的缺陷主要分為分散不良、并條、污漬和破洞4種類型,選取8 000張短切氈的缺陷樣本進行實驗,設定訓練集占比75%和測試集占比25%. 從表1可以看出， 4種缺陷樣本數(shù)量各2 000張,在每種樣本圖像中隨機選取1 500張作為訓練集,其余500張作為測試集.將帶標記的短切氈圖像輸入到DeSTIN網(wǎng)絡中并提取特征,利用分段線性插值擴充特征,輸出的特征送到Softmax多分類器中進行訓練.

表 1 短切氈缺陷樣本集

對短切氈的分散不良、并條、污漬、破洞4種缺陷類型進行訓練,得到相應的模型,每種缺陷類型訓練后的結果如圖3所示.

(a) 分散不良 (b) 并條 (c) 污漬 (d) 破洞圖 3 部分短切氈訓練結果Fig.3 Training results of partial chopped strand mats

類型精確率/%召回率/%調(diào)和平均數(shù)/% 分散不良91.9596.0093.93 并條91.2694.0092.61 污漬10092.6096.16 破洞100100100 平均值/%95.8095.6595.72

從圖3可以看出,在訓練集中,短切氈的原始圖像經(jīng)過DeSTIN和分段線性插值的綜合處理,顯著增加了圖像特征向量的維數(shù).在此基礎上,利用Softmax回歸模型構建訓練分類器,對分散不良、并條、污漬和破洞這4種缺陷類型進行學習,每種短切氈圖像的缺陷類型的學習率達到100%.最終得到一個訓練效果好、精度高的四分類模型.

輸入短切氈的測試集樣本圖像到分類模型中,對訓練好的短切氈分類模型進行測試結果見表2.從表2可以看出,該模型對破洞缺陷具有較好的分類效果,分類準確率達到100%,而對分散不良、并條和污漬這3種缺陷類型分類的準確率分別為93.93%，92.61%和96.16%．其中,并條的分類準確率僅為92.61%,這是因為在短切氈生產(chǎn)過程中,玻璃纖維由于分散不均,聚集成一束而形成并條缺陷,易于與分散不良類型混淆,模型難以識別;而破洞的分類準確率高達100%,原因是破洞類型的短切氈具有十分明顯、易于區(qū)分的特征．部分短切氈的測試結果如圖4所示.

從圖4可以看出,該模型對分散不良、并條和污漬3種缺陷類型出現(xiàn)誤檢現(xiàn)象.圖4(a)中模型將標記為分散不良的樣本判定成并條的百分比為59.2%,分類模型自動將其歸為并條類型;圖4(b)中模型將標記為并條的樣本判定成分散不良的百分比為58.4%,分類模型自動將其歸為分散不良類型;圖4(c)中模型將標記為污漬的樣本判定成分散不良的百分比為57.7%,分類模型自動將其歸為分散不良類型.出現(xiàn)誤檢現(xiàn)象有以下原因:一種是由于人工標記的缺陷樣本類型不夠精準,訓練樣本數(shù)量不夠,模型的學習與構建存在一定的偏差;另一種是用于測試的缺陷樣本特征比較模糊,符合兩種及以上的缺陷類型,相似度較高,分類器無法正確識別缺陷的類型.但是對于絕大多數(shù)的缺陷樣本,該模型的分類準確率較高,尤其是破洞缺陷分類實現(xiàn)零誤檢,整個模型的平均準確率達到95.72%,對于缺陷分類具有一定的適應性.短切氈缺陷分類結果的混淆矩陣及可視化圖如圖5所示.圖5表明,該模型誤將部分分散不良類型判別為并條,部分并條類型誤判為分散不良,部分污漬類型誤判為分散不良或并條.

(a) 分散不良 (b) 并條 (c) 污漬 (d) 破洞圖 4 部分短切氈測試結果Fig.4 Test results of partial chopped strand mats

圖 5 混淆矩陣及可視化Fig.5 Confusion matrix and visualization

在相同的實驗條件與樣本數(shù)據(jù)集下，分別采用主成分分析法(PCA)選擇短切氈缺陷圖像的灰度特征值[20]和單獨使用DeSTIN提取特征對短切氈缺陷進行分類，與文中提出的DeSTIN算法相比，準確率及運行時間結果比較見表3.

從表3可以看出,使用傳統(tǒng)的PCA和Softmax分類器對短切氈缺陷進行分類,平均準確率為87.31%,單張樣本的處理時間為107 ms,使用DeSTIN和Softmax分類的平均準確率為92.50%,單張樣本的處理時間為84 ms,而文中DeSTIN算法的分類平均準確率達95.72%,單張樣本的處理時間為68 ms.相比人工提取特征的方法,文中算法平均處理時間減少39 ms,準確率提高10%左右;在特征提取的過程中,與單獨使用DeSTIN提取有效特征相比,使用DeSTIN和分段線性插值提取相同維度的特征,特征提取的時間減少16 ms,平均準確率提高3%左右.實驗結果表明,本文算法具有較高的準確率,檢測時間較短,能夠?qū)崿F(xiàn)短切氈缺陷的有效分類,滿足工業(yè)生產(chǎn)需求.

表 3 短切氈分類模型結果比較

4 結束語

本文提出一種基于深度學習和分段線性插值的短切氈缺陷分類方法.利用DeSTIN網(wǎng)絡和分段線性插值提取短切氈缺陷的特征,避免了人工設計特征的不確定性和局限性,提高了特征提取的效率.為了提高分類的準確性,采用Softmax分類器進行缺陷分類,構建出一個高精度的四分類模型.實驗結果表明,該方法能夠高效、快速地提取短切氈的缺陷特征,為后續(xù)缺陷分類奠定良好的基礎,具有一定的有效性和適應性,對于短切氈的缺陷分類準確率達到95.72%,具有重要的工業(yè)應用前景.