基于遷移學(xué)習(xí)與殘差網(wǎng)絡(luò)的刀具磨損狀態(tài)監(jiān)測

周建民，王云慶，楊曉彤，黃熙亮，夏曉楓

(1.華東交通大學(xué)載運工具與裝備教育部重點實驗室，江西南昌 330013；2.軌道交通基礎(chǔ)設(shè)施性能監(jiān)測與保障國家重點實驗室，江西南昌 330013)

0 前言

21世紀以來，在以智能制造為主體的全球工業(yè)改革浪潮的新時代背景下，加速數(shù)控機床向著智能自動化的目標(biāo)邁進成為重中之重。刀具作為數(shù)控機床的關(guān)鍵部件之一，是最易損傷和浪費最嚴重的部件[1]。由于刀具與工件直接接觸發(fā)生磨損，其狀態(tài)會直接影響生產(chǎn)資源的消耗、工件加工質(zhì)量和效率，因此，在機械加工過程中對刀具狀態(tài)實時監(jiān)測以便制定換刀策略很有必要。刀具磨損狀態(tài)監(jiān)測方法分為直接監(jiān)測法和間接監(jiān)測法兩種[2]。直接監(jiān)測法是利用圖像處理和光學(xué)監(jiān)測等直接觀測刀具的磨損量；間接監(jiān)測法是通過采集在刀具加工過程中與磨損緊密相關(guān)的信號，建立監(jiān)測信號和刀具當(dāng)前狀態(tài)的模型，從而間接得到實時的磨損狀態(tài)。此方法不對加工過程造成干擾，且可以連續(xù)監(jiān)測加工過程，更適合于在線監(jiān)測。間接監(jiān)測法常用的方法有切削力監(jiān)測[3]、聲發(fā)射監(jiān)測[4]、振動監(jiān)測[5]等。對于監(jiān)測數(shù)據(jù)處理以及分類所用的傳統(tǒng)機器學(xué)習(xí)方法包括支持向量機[6]、貝葉斯網(wǎng)絡(luò)[7]、極限學(xué)習(xí)機[8]等，但這些方法屬于淺層機器學(xué)習(xí)方法，需要進行數(shù)據(jù)預(yù)處理、特征提取和特征選擇，要求相應(yīng)的先驗知識，費時費力，而且如果所采取的人工特征選擇方式不適合具體的任務(wù)情況時，就會導(dǎo)致分類效果快速下降。

深度學(xué)習(xí)方法是一種端對端的建模技術(shù)，它把原始數(shù)據(jù)直接輸入到深度學(xué)習(xí)模型中，通過一個模型進行特征提取、特征轉(zhuǎn)換、分類等一系列操作，克服了傳統(tǒng)的機器學(xué)習(xí)算法存在的缺陷，從而避免了人為提取特征信息[9]。雷亞國等[10]提出了運用深度學(xué)習(xí)對機械裝備進行狀態(tài)監(jiān)測的方法。SUN等[11]設(shè)計了一個長短期記憶網(wǎng)絡(luò)，用于根據(jù)歷史數(shù)據(jù)預(yù)測多個刀具側(cè)面磨損值，同時利用采集到的刀具加工信號，構(gòu)建了一個殘差神經(jīng)網(wǎng)絡(luò)，以實現(xiàn)在線刀具狀態(tài)監(jiān)測。FU等[12]應(yīng)用DBN分析了加工刀具振動信號的特征，監(jiān)測端銑操作的切削狀態(tài)。然而在深度學(xué)習(xí)網(wǎng)絡(luò)模型中，需要大量帶有標(biāo)簽的數(shù)據(jù)樣本以及相當(dāng)長的時間來訓(xùn)練和優(yōu)化模型參數(shù)，當(dāng)訓(xùn)練樣本的數(shù)量比較少時，深度學(xué)習(xí)的優(yōu)勢就不明顯了。所以，針對模型訓(xùn)練數(shù)據(jù)不足、訓(xùn)練時間長等問題，本文作者構(gòu)建了一種基于遷移學(xué)習(xí)結(jié)合深度殘差網(wǎng)絡(luò)(Transfer Learning Deep Residual Network，ResNet-TL)的刀具磨損狀態(tài)監(jiān)測模型。首先將銑削過程中所采集的振動信號通過連續(xù)小波變換(Continue Wavelet Transform，CWT)轉(zhuǎn)換為時頻圖，然后將ResNet50模型在ImageNet數(shù)據(jù)集中充分訓(xùn)練后作為預(yù)訓(xùn)練模型，將預(yù)訓(xùn)練模型中大多數(shù)參數(shù)凍結(jié)，最后將刀具加工振動信號的能量時頻圖像集數(shù)據(jù)再訓(xùn)練，從而實現(xiàn)刀具磨損狀態(tài)的分類。

1 基本原理

1.1 CWT時頻圖轉(zhuǎn)換

CWT時頻圖是通過連續(xù)小波變換獲得的信號能量密度的二維表示，并且與一維時間序列相比，能夠更詳細地反映原始信號的特性。文中，轉(zhuǎn)換的時頻圖用作模型訓(xùn)練的輸入。CWT通過對母小波的伸縮平移從而得到一系列小波基函數(shù)，對信號逐步進行多尺度細化，使得信號在低頻處頻率細分、高頻處時間細分，能自動適應(yīng)時頻信號分析的要求，準(zhǔn)確描述信號的局部細節(jié)時頻特征。本文作者采用Morlet小波用作母小波。對于給定的信號x(t)，將x(t)與Morlet小波進行尺度變換后得到CWT，如公式(1)所示：

(1)

其中：a是小波的尺度；b是時間平移；兩者都是實數(shù)。通過從母小波ψ(t)生成子小波ψa,b(t)(見公式(2))在有限的空間內(nèi)，可以提取更多的時頻信息。

(2)

時頻圖的紅-綠-藍(RGB)表示優(yōu)于灰度圖像，因為多通道包含更多的信息，能更全面地挖掘信號的頻域特征，具有抗干擾能力強等優(yōu)點。并且時頻圖的轉(zhuǎn)換過程無需任何專業(yè)人員介入，只需根據(jù)轉(zhuǎn)換公式完成全部的輸入和輸出，可以避免人為干擾，提高了系統(tǒng)的智能，從而實現(xiàn)了對圖像的自動識別，生成的圖像集便于深度卷積網(wǎng)絡(luò)的深層次特征學(xué)習(xí)，可以提高最終的分類結(jié)果。所以，本文作者采用連續(xù)小波變換生成RGB時頻圖。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的代表算法之一[13]。它具有深度特征提取結(jié)構(gòu)，能夠?qū)斎氲奶卣鬟M行更深層次的挖掘，在圖像識別領(lǐng)域中得到了廣泛的應(yīng)用。CNN的網(wǎng)絡(luò)結(jié)構(gòu)通常由卷積層、激活層、池化層和全連接層組成。其中卷積層又稱特征提取層，卷積核則類似于特征提取器，通過卷積核對輸入的信號或特征的局部進行卷積計算，從而獲得帶有深度特征表示的特征。池化層是通過對從卷積層中提取的特征進行降采樣處理，減少了網(wǎng)絡(luò)的參數(shù)，提高了計算速度，并能在一定程度上抑制過擬合現(xiàn)象。卷積層和池化層可以通過多次疊加改變網(wǎng)絡(luò)結(jié)構(gòu)從而提升網(wǎng)絡(luò)性能。在訓(xùn)練過程中，訓(xùn)練樣本經(jīng)過多次卷積、池化操作之后，再經(jīng)由全連接層和輸出層激活函數(shù)對結(jié)果進行分類。典型的CNN模型結(jié)構(gòu)如圖1所示。

圖1 典型的CNN結(jié)構(gòu)

1.3 深度殘差網(wǎng)絡(luò)

深度殘差網(wǎng)絡(luò)是一種通用的卷積神經(jīng)網(wǎng)絡(luò)特征提取器，應(yīng)用于許多圖像識別任務(wù)。根據(jù)以往的經(jīng)驗，網(wǎng)絡(luò)的深度是影響模型性能的關(guān)鍵因素，隨著網(wǎng)絡(luò)層數(shù)的增加，可以提取到更多的特征，但是隨著網(wǎng)絡(luò)進一步加深，網(wǎng)絡(luò)的精確度逐漸趨于飽和，甚至?xí)档汀Ｉ疃葰埐罹W(wǎng)絡(luò)通過添加殘差單元的短路機制巧妙解決了這些問題。圖2所示為ResNet模型中的殘差塊結(jié)構(gòu)。

圖2 ResNet模型的殘差塊結(jié)構(gòu)

相比于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)輸入樣本與輸出結(jié)果之間的關(guān)系映射X→H(X)，讓網(wǎng)絡(luò)學(xué)習(xí)殘差映射X→H(X)-X能夠有效降低學(xué)習(xí)難度，從而加快模型的收斂速度，因此，深度殘差網(wǎng)絡(luò)即使搭建了很深的網(wǎng)絡(luò)結(jié)構(gòu)，也能得到較好的結(jié)果。

在ResNet網(wǎng)絡(luò)結(jié)構(gòu)中包括兩種殘差單元：一種是將兩個3×3卷積網(wǎng)絡(luò)連接形成一個殘差單元，另外一種是將1×1、3×3、1×1的3個卷積網(wǎng)絡(luò)連接形成一個殘差單元。本文作者采用在ImageNet數(shù)據(jù)集下訓(xùn)練的ResNet50模型，作為狀態(tài)監(jiān)測的預(yù)訓(xùn)練模型，表1所示是ResNet50的網(wǎng)絡(luò)配置。

表1 ResNet50的網(wǎng)絡(luò)配置

1.4 遷移學(xué)習(xí)方法

遷移學(xué)習(xí)定義[14]如下：給定一個源域Ds={Xs,P(Xs)}和目標(biāo)域Dt={Xt,Q(Xt)}，學(xué)習(xí)任務(wù)分別為Ts={Ys,fs(·)}和Tt={Yt,ft(·)}，遷移學(xué)習(xí)的目的就是利用Ds和Ts中的知識改進Dt中的目標(biāo)預(yù)測函數(shù)ft(·)，其中Ds≠Dt或Ts≠Tt。

傳統(tǒng)的深度學(xué)習(xí)算法要求輸入大量的樣本以進行網(wǎng)絡(luò)參數(shù)擬合，通過對大量的圖像樣本進行多尺度的訓(xùn)練，且在訓(xùn)練時使各個層次的參數(shù)都能收斂，從而使分類結(jié)果具有良好的準(zhǔn)確率和魯棒性。而在刀具磨損狀態(tài)智能分類中存在難度，刀具磨損所測得的磨損信號樣本比較少，所以有必要建立一個在小樣本情況下分類的方法。因此，基于深度學(xué)習(xí)網(wǎng)絡(luò)的良好智能分類能力，提出一種結(jié)合遷移學(xué)習(xí)算法的刀具磨損狀態(tài)智能分類模型。在大多數(shù)情況下，特征提取第一層與具體的圖像數(shù)據(jù)集之間的聯(lián)系并不大，而在網(wǎng)絡(luò)的最后幾層，它與所選擇的數(shù)據(jù)集和任務(wù)的目標(biāo)有著密切的聯(lián)系，第一層提取的特征稱為一般特征或通用特征，而與數(shù)據(jù)集和任務(wù)有關(guān)的特征稱為特定特征。因此，本文作者使用了由ImageNet數(shù)據(jù)集充分訓(xùn)練的深度網(wǎng)絡(luò)，利用預(yù)先訓(xùn)練的網(wǎng)絡(luò)對大多數(shù)參數(shù)進行了凍結(jié)，也就是提取了圖像的一般特性，并利用小樣本的刀具振動小波時頻圖像集數(shù)據(jù)再訓(xùn)練，獲得與磨損特征有關(guān)的特定特征，以得到在小樣本情況下用時短、效率高的智能分類模型。

2 算法詳細

針對刀具磨損狀態(tài)智能分類提出一種基于二維圖像表示和ResNet-TL的分類方法，將ResNet-TL網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于智能分類，避免了人工特征提取的主觀性，降低了訓(xùn)練時間，提高了分類效率。所提模型的技術(shù)流程如圖3所示。

圖3 ResNet-TL模型的分類流程

(1)時頻圖像生成。將振動數(shù)據(jù)采用連續(xù)小波變換轉(zhuǎn)換為CWT時頻圖，使得原始的一維信號數(shù)據(jù)轉(zhuǎn)換為二維的圖像數(shù)據(jù)；

(2)預(yù)訓(xùn)練模型遷移。選用ResNet50根據(jù)100多萬張圖片進行訓(xùn)練，用以提取圖像的一般特征，保留ResNet50大部分架構(gòu)，對大多數(shù)參數(shù)進行了凍結(jié)；

(3)合理劃分刀具磨損狀態(tài)樣本的訓(xùn)練集和測試集，利用小樣本的刀具振動的小波時頻圖像集數(shù)據(jù)再訓(xùn)練，獲得與磨損特征有關(guān)的特定特征，最后通過Softmax激活函數(shù)得到分類結(jié)果；

(4)計算識別精度并輸出結(jié)果，可視化ResNet-TL模型的特征學(xué)習(xí)過程和測試集準(zhǔn)確率。

3 實驗驗證

3.1 實驗數(shù)據(jù)介紹

文中實驗數(shù)據(jù)來源于文獻[15]。銑削刀具為三刃硬質(zhì)合金球頭銑刀，加工參數(shù)如表2所示。

表2 銑削實驗切削參數(shù)

在銑刀加工過程中，采集銑刀每次走刀時的振動信號，采樣頻率為50 kHz，每把刀具一共進行315次走刀測試，每次走刀長度為108 mm，在每次走刀結(jié)束后用顯微鏡測量銑刀3個切削刃后刀面的磨損值，保存每次走刀所采集的振動信號和相應(yīng)的磨損值數(shù)據(jù)作為一個實驗樣本，共獲得315個樣本。在上述切削條件下重復(fù)進行3次全壽命周期實驗，得到3把銑刀的全壽命數(shù)據(jù)，因此，本文作者采用這3把銑刀的數(shù)據(jù)進行實驗。振動信號采集實驗平臺示意如圖4所示。

圖4 銑削實驗臺數(shù)據(jù)采集示意

為了避免3個切削刃的磨損值不同所帶來的干擾，將銑刀的3個切削刃的平均值作為實驗標(biāo)簽。根據(jù)刀具磨損狀態(tài)分為3種，分別為早期磨損、正常磨損、劇烈磨損。同時根據(jù)泰勒刀具壽命曲線二階導(dǎo)數(shù)[16]的近10 μm交叉點作為刀具磨損不同狀態(tài)之間的邊界。狀態(tài)1為早期磨損狀態(tài)，磨損范圍為0～60 μm，狀態(tài)2為正常磨損狀態(tài)，磨損范圍為60～120 μm；磨損大于120 μm的劇烈磨損狀態(tài)為狀態(tài)3。由于每個振動信號樣本中包含約20萬條數(shù)據(jù)，為了避免銑刀的切入和切出對磨損狀態(tài)分類產(chǎn)生影響，選擇每個樣本中的2×104～18×104之間共16萬條數(shù)據(jù)進行圖像化處理，將3把刀具每次走刀的振動數(shù)據(jù)通過小波變換生成一張時頻圖，共得到945張小波時頻圖，根據(jù)磨損狀態(tài)分類隨機選取銑刀實驗數(shù)據(jù)的70%作為訓(xùn)練數(shù)據(jù)集，30%作為測試數(shù)據(jù)集。Batch size的大小設(shè)置為32，迭代次數(shù)Epoch設(shè)置為100，初始學(xué)習(xí)率設(shè)置為0.000 01，深度殘差網(wǎng)絡(luò)的優(yōu)化方式為Adam優(yōu)化算法。

3.2 實驗結(jié)果分析

本文作者進行了2組實驗：第一組是使用遷移學(xué)習(xí)預(yù)訓(xùn)練參數(shù)的深度殘差網(wǎng)絡(luò)與沒有預(yù)訓(xùn)練的深度殘差網(wǎng)絡(luò)的對比；第二組是使用遷移學(xué)習(xí)的深度殘差網(wǎng)絡(luò)、EfficientNet網(wǎng)絡(luò)以及采用遷移學(xué)習(xí)預(yù)訓(xùn)練的EfficientNet網(wǎng)絡(luò)的對比。

(1)ResNet-TL模型與ResNet模型的刀具磨損狀態(tài)分類對比。

從圖5(a)看出：ResNet-TL模型訓(xùn)練集的損失誤差相對于ResNet模型降低得更快，在初始迭代中，基于ImageNet數(shù)據(jù)集預(yù)訓(xùn)練的網(wǎng)絡(luò)參數(shù)遷移到ResNet模型，采用刀具振動時頻圖進行二次訓(xùn)練來微調(diào)ResNet模型的損失誤差比直接訓(xùn)練的ResNet模型更小，經(jīng)過100次迭代，ResNet-TL模型訓(xùn)練集損失誤差更小，訓(xùn)練效果對比ResNet模型更好。類似地，圖5(b)顯示：ResNet-TL模型訓(xùn)練集的第二代準(zhǔn)確率就達到90%，而ResNet模型準(zhǔn)確率為40%，100次迭代中，ResNet-TL模型訓(xùn)練集準(zhǔn)確率都明顯高于ResNet模型，并且ResNet-TL模型的10～100次迭代的準(zhǔn)確率穩(wěn)定在95%～99%之間，而ResNet模型準(zhǔn)確率波動較大，模型參數(shù)反復(fù)調(diào)整和不穩(wěn)定，魯棒性較差。

圖5 ResNet-TL與ResNet訓(xùn)練集損失誤差(a)和準(zhǔn)確率(b)

(2)ResNet-TL、EfficientNet-TL、ResNet以及EfficientNet模型的刀具磨損狀態(tài)分類對比。

從圖6(a)可以看出：基于遷移學(xué)習(xí)預(yù)訓(xùn)練的ResNet-TL模型與EfficientNet-TL模型損失誤差在迭代初期就能快速下降，最終趨于穩(wěn)定；而直接訓(xùn)練的ResNet模型EfficientNet模型損失誤差下降緩慢，反復(fù)波動到一個穩(wěn)定值，最終損失誤差明顯高于遷移學(xué)習(xí)預(yù)訓(xùn)練的網(wǎng)絡(luò)損失誤差值。ResNet-TL模型的最終損失誤差也明顯小于EfficientNet-TL模型，但在前20代，ResNet-TL模型已經(jīng)訓(xùn)練完成。綜合考慮訓(xùn)練時間和模型結(jié)果的關(guān)系，ResNet-TL模型能夠在短時間的模型訓(xùn)練中達到較好結(jié)果。

從圖6(b)可以看出：ResNet-TL模型和EfficientNet-TL模型二次訓(xùn)練能快速收斂，在20代內(nèi)，訓(xùn)練集的準(zhǔn)確率就趨于穩(wěn)定；但ResNet-TL模型初始準(zhǔn)確率較高，表明基于ImageNet數(shù)據(jù)集預(yù)訓(xùn)練的網(wǎng)絡(luò)參數(shù)在ResNet網(wǎng)絡(luò)的二次訓(xùn)練參數(shù)微調(diào)較小，效果更好，適用于模型快速訓(xùn)練收斂。ResNet模型、EfficientNet模型在無參數(shù)預(yù)訓(xùn)練的情況下，相同的迭代次數(shù)，準(zhǔn)確率更低。綜上兩組對比實驗，ResNet-TL模型不管是在訓(xùn)練集的損失誤差還是準(zhǔn)確率上，效果都更優(yōu)異。

圖6 ResNet-TL、ResNet、EfficientNet-TL和EfficientNet訓(xùn)練集損失誤差(a)和準(zhǔn)確率(b)

為了體現(xiàn)模型的優(yōu)劣，并且考慮到測試結(jié)果可能出現(xiàn)偶然性，對兩組模型進行多次訓(xùn)練，取6次分類結(jié)果的平均值作為模型的最終準(zhǔn)確率。表3表明：ResNet-TL模型6次分類的平均準(zhǔn)確率為98.52%，平均分類結(jié)果優(yōu)于其他模型，證明所采用的方法具有很好的分類性能，且模型的穩(wěn)定性優(yōu)異。

表3 模型6次測試準(zhǔn)確率

4 結(jié)論

提出一種基于遷移學(xué)習(xí)理論結(jié)合深度殘差網(wǎng)絡(luò)的刀具磨損監(jiān)測方法，用于制造車間實時監(jiān)測刀具磨損狀態(tài)，該方法采用振動信號圖像化并且構(gòu)建了刀具磨損狀態(tài)監(jiān)測的神經(jīng)網(wǎng)絡(luò)模型。實驗結(jié)果表明，所提出的方法能夠達到穩(wěn)定且準(zhǔn)確的分類效果。

(1)將一維的振動信號數(shù)據(jù)集通過連續(xù)小波變換轉(zhuǎn)換為二維的圖像數(shù)據(jù)集，該方法不僅避免了人為因素對整個預(yù)處理過程的影響，而且還可以更好地保留振動信號內(nèi)部隱藏的刀具磨損狀態(tài)的信息，有效地減少信息缺失。

(2)采用遷移學(xué)習(xí)方法，使用ImageNet數(shù)據(jù)集上訓(xùn)練的ResNet50模型作為預(yù)訓(xùn)練模型，進行了圖片通用特征的預(yù)訓(xùn)練和刀具磨損特定特征的二次訓(xùn)練，并且與沒有預(yù)訓(xùn)練參數(shù)的ResNet50模型作對比，再與EfficientNet模型和未采用遷移學(xué)習(xí)預(yù)訓(xùn)練參數(shù)的EfficientNet模型作對比。實驗結(jié)果表明：同一模型采用遷移學(xué)習(xí)能夠更快收斂，分類結(jié)果的準(zhǔn)確率也更高，相比之下，ResNet50-TL模型的分類效果最佳。