旋轉(zhuǎn)機械故障診斷模型的泛化性能研究與改進

張曉鋒， 郝如江， 夏晗鐸， 段澤森， 程 旺

(石家莊鐵道大學 機械工程學院，河北 石家莊 050043)

0 引言

旋轉(zhuǎn)機械的負載變化在工作中很常見，在負載變化時傳感器采集到的信號也會發(fā)生改變，使得信號的特征分布變得更加分散。故障類型在不同負載下的信號特征分布不同，幅值大小與周期波動也不同[1]，這樣的特征分布問題會使網(wǎng)絡(luò)模型在故障分類時產(chǎn)生分類誤差，影響網(wǎng)絡(luò)模型的故障診斷性能。而負載變化在工業(yè)條件下是不可避免的，所以優(yōu)秀的故障診斷模型需要在負載不斷變化的情況下也能夠保持良好的故障診斷性能[2]。這要求網(wǎng)絡(luò)模型具有良好的泛化能力[3]，能夠在不同負載造成的差異數(shù)據(jù)集中保持優(yōu)秀的學習能力與測試能力[4]。

1 網(wǎng)絡(luò)結(jié)構(gòu)改進

1.1 首層卷積核尺度

卷積神經(jīng)網(wǎng)絡(luò)的首層卷積核尺寸對網(wǎng)絡(luò)的性能影響較大，因為振動信號是周期信號，每個輸入到網(wǎng)絡(luò)的數(shù)據(jù)信號的相位值不同。首層卷積層相當于一組帶通濾波器，濾波器的頻帶范圍直觀地影響故障特征提取，所以神經(jīng)網(wǎng)絡(luò)對首層卷積層十分敏感。首層卷積核的尺寸越大，頻帶范圍越大，此時提取的信號特征較多，但是包含負載變化產(chǎn)生的冗余信息也多；首層卷積和尺寸越小，此時提取的信號特征較少，但是包含的負載變化產(chǎn)生的冗余信息也少。所以為了尋求到最合適的首層卷積核尺寸，擬采用多種尺度大小的首層卷積核來測試相同的實驗數(shù)據(jù)，通過對比找到最適合變負載下齒輪箱故障診斷的首層卷積核尺寸。選取1×3、1×9、1×64、1×128、1×256、1×512共6種不同的首層卷積核尺寸。

圖1 不同首層卷積核尺寸驗證對比

使用美國凱斯西儲大學(Case Western Reserve University, CWRU)[5]的數(shù)據(jù)來驗證不同負載下的故障診斷準確率。數(shù)據(jù)負載分別為750、1 500、2 250 W 3種狀態(tài)，每種狀態(tài)都包含10種故障類型。分別在750、1 500、2 250 W以及無負載狀態(tài)下測試上述6種首層卷積核尺度。為了形象直觀，計算每種類型卷積核的平均準確率，繪成柱狀圖,見圖1。

可以發(fā)現(xiàn)當首層卷積核尺度為1×128的時候，平均故障分類準確率最高。說明在數(shù)據(jù)集下，此尺度下提取的信號特征最為合適，因此，選用尺度為1×128作為改進網(wǎng)絡(luò)首層卷積核尺度。

1.2 隨機失活

隨機失活(Dropout)是Krizhevsky et al[6]提出的，在網(wǎng)絡(luò)層數(shù)較深時，訓練后會出現(xiàn)過擬合現(xiàn)象，可以通過影響特征檢測器來抑制過擬合現(xiàn)象。Dropout可以在神經(jīng)網(wǎng)絡(luò)的前向傳播過程中，在dense層之前使每個批次以一定的概率P來忽略一部分特征檢測器，讓某個神經(jīng)元的激活值以P的概率停止工作，從而使網(wǎng)絡(luò)不會太過于依賴某些局部的特征，同時減少了網(wǎng)絡(luò)的計算參量，使模型泛化性更強[7]。

使用Dropout的神經(jīng)網(wǎng)絡(luò)訓練過程如圖2所示。首先，臨時隨機刪除網(wǎng)絡(luò)中一定數(shù)目的隱藏神經(jīng)元，據(jù)Srivastava et al[8]所提出的理論與多次實驗論證，失活概率采用0.5。圖2中虛線為臨時刪除的神經(jīng)元，同時輸入輸出的神經(jīng)元保持不變；然后，把輸入x通過隨機失活后的網(wǎng)絡(luò)進行前向傳播，把得到的損失結(jié)果通過隨機失活后的網(wǎng)絡(luò)進行反向傳播,一小批訓練樣本執(zhí)行完這個過程后，在沒有被刪除的神經(jīng)元上按照隨機梯度下降法更新對應(yīng)的參數(shù)(w，b)；最后,恢復被刪掉的神經(jīng)元，此時被刪除的神經(jīng)元保持原樣，而沒有被刪除的神經(jīng)元已經(jīng)有所更新，不斷更新沒有被刪除的那一部分參數(shù)，刪除的神經(jīng)元參數(shù)保持不變；不斷重復這一過程。

圖2 網(wǎng)絡(luò)模型對比

整個Dropout過程就相當于對很多個不同的神經(jīng)網(wǎng)絡(luò)取平均，同時減少權(quán)重使得網(wǎng)絡(luò)對丟失特定神經(jīng)元連接的魯棒性也得到了提高，從而使得網(wǎng)絡(luò)在整體上達到減少過擬合的目的。

1.3 測試分析

為了驗證基于多尺度特征融合與深度殘差收縮網(wǎng)絡(luò)的泛化能力，現(xiàn)采用3種負載下的數(shù)據(jù)來進行訓練驗證實驗。具體操作為使用其中一種負載訓練網(wǎng)絡(luò)模型，將網(wǎng)絡(luò)模型保存后對其余2種負載進行準確率測試，以此來驗證網(wǎng)絡(luò)的泛化能力。使用負載為750 W的數(shù)據(jù)集來訓練網(wǎng)絡(luò)模型，將模型保存后對負載為1 500、2 250 W的數(shù)據(jù)集進行測試，將其準確率分別記錄下來，然后依次進行負載為1 500、2 250 W的模型訓練與之后的交叉測試。其測試結(jié)果如表1所示。

表1 泛化能力測試結(jié)果

可以發(fā)現(xiàn)在2 250 W數(shù)據(jù)集下訓練的網(wǎng)絡(luò)模型對750 W數(shù)據(jù)集的故障識別正確率最低，為88.91%，當使用1 500 W下數(shù)據(jù)集來訓練網(wǎng)絡(luò)模型時，對其余2種數(shù)據(jù)集進行故障識別，此時的故障識別準確率最為穩(wěn)定且精度較高。以上結(jié)果表明，改進網(wǎng)絡(luò)的跨負載領(lǐng)域自適應(yīng)能力很強，為適應(yīng)多變的工作環(huán)境提供了合理性。

2 優(yōu)化算法改進

網(wǎng)絡(luò)模型在訓練過程中，學習初期迭代很快,訓練效果很好，而且沒有發(fā)生訓練變化異常等現(xiàn)象；結(jié)合表1發(fā)現(xiàn)，雖然訓練的模型故障診斷效果良好，但是在測試時的故障診斷準確率不太理想，為此使用數(shù)據(jù)降維來分析此想象的具體原因并采用優(yōu)化算法來增強泛化能力。

2.1 t-SNE數(shù)據(jù)降維

為了查出使用750 W數(shù)據(jù)集訓練模型來測試 2 250 W數(shù)據(jù)集與使用2 250 W數(shù)據(jù)集訓練模型來測試750 W數(shù)據(jù)集正確率偏低的原因，采用t-SNE[9]進行數(shù)據(jù)降維，t-SNE圖中不同的顏色代表不同的故障類型(見圖3)。選用750 W數(shù)據(jù)集訓練模型來測試2 250 W數(shù)據(jù)集來進行降維，其最后一層隱含層的分類結(jié)果如圖3(a)所示，可以發(fā)現(xiàn)在測試2 250 W數(shù)據(jù)集有3種故障存在明顯的混疊現(xiàn)象[10]，因為此3種故障分布具有相似性，使得網(wǎng)絡(luò)模型在分類故障時造成錯誤分類，這是導致準確率較低的主要原因。而訓練網(wǎng)絡(luò)模型過程中的降維分布如圖3(b)所示。

圖3 特征分布對比圖

可以發(fā)現(xiàn)，網(wǎng)絡(luò)模型雖然在750 W訓練數(shù)據(jù)集中具有良好的可分性，但是將模型應(yīng)用到2 250 W時卻發(fā)生少許的分布不一致現(xiàn)象，說明當訓練模型的數(shù)據(jù)集與測試模型的數(shù)據(jù)集相差較大時會使得網(wǎng)絡(luò)性能下降，故障分類正確率受到影響。為此擬采用AdaBN算法來解決這一問題，提高網(wǎng)絡(luò)的泛化能力。

2.2 AdaBN優(yōu)化算法

AdaBN算法是Lu et al[11]針對訓練集與測試集特征分布相差較多時對BN(Batch Normalization)進行改進的一種算法，以此來緩解神經(jīng)網(wǎng)絡(luò)性能退化這一問題，一般用于圖像識別領(lǐng)域[12]。該算法在網(wǎng)絡(luò)的每一次批量歸一化過程中將訓練集(目標域)在BN層的均值與方差一并記錄，在遇到訓練集的特征分布與測試集的特征分布不一致時，將測試集數(shù)據(jù)輸入到改進網(wǎng)絡(luò)中，此時網(wǎng)絡(luò)不再進行反向傳播只進行正向傳播。此時可以用之前記錄下來的訓練集方差與均值來代替測試集在進行BN時的均值與方差，其工作過程如圖4所示。

圖4 AdaBN算法工作流程

(1)

(2)

之后網(wǎng)絡(luò)將參數(shù)輸入到后續(xù)網(wǎng)絡(luò)，其他參數(shù)不再變化，由此，神經(jīng)網(wǎng)絡(luò)可以使源領(lǐng)域與目標領(lǐng)域的特征分布近似一致，從而達到緩解網(wǎng)絡(luò)性能退化的目的，計算BN層的輸出

(3)

(4)

在神經(jīng)網(wǎng)絡(luò)中添加AdaBN優(yōu)化算法，重復實驗，結(jié)果如表2所示。

表2 使用AdaBN優(yōu)化算法測試結(jié)果

其中在負載為750 W的情況下訓練時的正確率與損失的變化如圖5所示。

圖5 實驗測試結(jié)果圖

可以發(fā)現(xiàn)使用AdaBN優(yōu)化算法后，將訓練集在BN層的均值與方差代替測試集的均值與方差時，通過不同負載下的交叉訓練驗證，表明此種改進能提高網(wǎng)絡(luò)模型泛化能力。可以發(fā)現(xiàn)網(wǎng)絡(luò)模型的故障診斷正確率明顯提高，在使用750、2 250 W的數(shù)據(jù)集進行交叉訓練與驗證時正確率提升最為明顯，正確率分別上升3.4%、5.0%。通過使用AdaBN優(yōu)化算法,可以使網(wǎng)絡(luò)模型在訓練時750 W數(shù)據(jù)集與2 250 W數(shù)據(jù)集的特征分布基本吻合，故而模型可以很好地進行分類。綜上所述，AdaBN優(yōu)化算法可以很好地提升網(wǎng)絡(luò)在不同負載下的故障診斷性能，使得基于多尺度特征融合與殘差收縮網(wǎng)絡(luò)具有優(yōu)良的泛化能力。

3 結(jié)論

在凱斯西儲大學的數(shù)據(jù)基礎(chǔ)上進行測試之后得到以下結(jié)論：

(1)選擇合適的首層卷積核的尺寸可以提高網(wǎng)絡(luò)模型的故障診斷正確率，而且利用隨機失活能夠使得網(wǎng)絡(luò)模型的泛化能力得到很大提升，這對提升網(wǎng)絡(luò)的故障診斷性能提供了支持。

(2)AdaBN優(yōu)化算法可以很好地提升網(wǎng)絡(luò)在不同負載下的故障診斷性能，使得網(wǎng)絡(luò)模型具有優(yōu)良的泛化能力，實現(xiàn)了一種負載下訓練好的網(wǎng)絡(luò)模型對另一種負載的數(shù)據(jù)集進行故障診斷這一需求，滿足在不同負載下進行旋轉(zhuǎn)機械的故障診斷研究。

(3)為了驗證網(wǎng)絡(luò)更廣泛的適應(yīng)能力，對網(wǎng)絡(luò)模型及其算法參數(shù)進行改進，使其滿足負載差距更大的交叉驗證診斷要求，同時探究網(wǎng)絡(luò)在其他類型故障診斷的應(yīng)用及改進。