基于遷移學(xué)習(xí)的小樣本軸承故障診斷方法研究

張西寧,余迪,劉書語

(西安交通大學(xué)機械制造系統(tǒng)工程國家重點實驗室,710049,西安)

滾動軸承作為廣泛應(yīng)用的基礎(chǔ)零部件,其工作狀態(tài)直接影響著整臺設(shè)備的正常運行,在旋轉(zhuǎn)機械中有舉足輕重的作用[1]。隨著“大數(shù)據(jù)”時代的到來,以低密度、大數(shù)量、多形式為特征的大數(shù)據(jù)給軸承監(jiān)測診斷帶來了新的挑戰(zhàn)[2]。傳統(tǒng)基于人工信號處理的方法已不能滿足大數(shù)據(jù)的需求[3],以“數(shù)據(jù)驅(qū)動”的深度學(xué)習(xí)方法在診斷識別領(lǐng)域嶄露頭角,并取得了大量成果[4-7]。由于滾動軸承型號繁多,運行工況也相差各異,基于深度學(xué)習(xí)的軸承診斷方法在實踐中遇到了訓(xùn)練數(shù)據(jù)不足或樣本標(biāo)簽缺失等小樣本問題;且不同工況和型號下軸承狀態(tài)數(shù)據(jù)分布不同,無法使用同一網(wǎng)絡(luò)進行分類,需要開展遷移學(xué)習(xí)研究[8]。

為解決小樣本問題,目前診斷中常采用擴充數(shù)據(jù)以及改進網(wǎng)絡(luò)結(jié)構(gòu)的方法。黃南天等提出了一種改進輔助分類生成對抗網(wǎng)絡(luò),生成與少量數(shù)據(jù)概率分布相同的大量樣本[9]。Hu等使用階次跟蹤和重采樣處理不同轉(zhuǎn)速的軸承數(shù)據(jù),使用適應(yīng)批標(biāo)準化網(wǎng)絡(luò)進行跨工況故障分類[10]。Zhang等設(shè)計了一種多尺度緊湊卷積神經(jīng)網(wǎng)絡(luò),使用較少網(wǎng)絡(luò)層提取多尺度信號特征[11]。劉書語等對卷積核和池化方式進行改進,在變轉(zhuǎn)速多軸承數(shù)據(jù)集上達到了98.4%的準確率[12]。Li等使用參數(shù)遷移網(wǎng)絡(luò),實現(xiàn)了不同型號軸承數(shù)據(jù)的故障分類[13]。

本文對卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行改進,與參數(shù)遷移學(xué)習(xí)結(jié)合,提出了一種用于小樣本的遷移學(xué)習(xí)軸承診斷方法。

1 理論基礎(chǔ)

1.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)是采用已有知識對不同但相關(guān)領(lǐng)域問題進行求解的機器學(xué)習(xí)方法[14],在目標(biāo)域樣本稀少而相關(guān)領(lǐng)域樣本數(shù)充足的情況下具有很大優(yōu)勢。源域與目標(biāo)域不需要有相同數(shù)據(jù)分布,訓(xùn)練過程只需較少數(shù)據(jù),克服了傳統(tǒng)機器學(xué)習(xí)的缺點。遷移學(xué)習(xí)在軸承故障診斷研究中取得了一定的成果[15-18],具有重要意義。

因此,遷移學(xué)習(xí)的任務(wù)如圖1所示,對于給定的目標(biāo)域,借助已有源域和源任務(wù)的知識,建立從目標(biāo)域數(shù)據(jù)到標(biāo)簽的映射函數(shù),完成目標(biāo)任務(wù)。

圖1 遷移學(xué)習(xí)原理示意圖Fig.1 Schematic diagram of transfer learning principle

1.2 全局均值池化

卷積神經(jīng)網(wǎng)絡(luò)是最有代表性的深度學(xué)習(xí)網(wǎng)絡(luò)之一,結(jié)構(gòu)上由輸入層、特征提取層和分類層組成[20]。卷積層的局部感知、權(quán)值共享以及池化層的下采樣等結(jié)構(gòu)特點減少了特征提取網(wǎng)絡(luò)的參數(shù),降低了運算量,提高了其泛化能力。分類層的全連接網(wǎng)絡(luò)有大量的參數(shù),為了避免過擬合現(xiàn)象,網(wǎng)絡(luò)訓(xùn)練仍然需要大量的數(shù)據(jù)。

以計算機視覺中具有代表性的3個卷積神經(jīng)網(wǎng)絡(luò)模型LeNet-5、AlexNet、VGG16為例,分析其參數(shù)分布情況[21],卷積層和全連接層的參數(shù)占比如圖2所示。全連接層參數(shù)量占了網(wǎng)絡(luò)參數(shù)量的絕大部分,因而增大了訓(xùn)練的計算量,降低了模型的泛化能力。如果能減少全連接層的參數(shù)量,同時保證網(wǎng)絡(luò)的特征提取和分類能力,可以進一步降低網(wǎng)絡(luò)復(fù)雜度。

圖2 3種典型卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)分布情況Fig.2 Parameter distributions of three typical convolutional neural networks

全局均值池化層是可以取代全連接層的一種網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)提取特征后,將全局均值池化層處理的特征向量經(jīng)SoftMax函數(shù)計算得到輸出。SoftMax函數(shù)是對有限項離散概率做對數(shù)運算的歸一化

(1)

(a)全連接層 (b)全局均值池化層圖3 全連接層與全局均值池化層結(jié)構(gòu)對比示意圖Fig.3 Comparison of structure of fully connected layer and global average pooling layer

采用固定較淺層網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)、微調(diào)較深層的方式進行參數(shù)遷移學(xué)習(xí)。因此,當(dāng)目標(biāo)域有標(biāo)簽數(shù)據(jù)較少時,在小樣本下訓(xùn)練包含大量參數(shù)的全連接層,會產(chǎn)生過擬合現(xiàn)象,網(wǎng)絡(luò)會學(xué)習(xí)到大量與故障信息無關(guān)的特征,從而降低在測試集上的分類效果。采用基于全局均值池化層的改進網(wǎng)絡(luò),能有效避免這一問題。

2 改進遷移學(xué)習(xí)網(wǎng)絡(luò)模型

本文建立的基于全局均值池化層的改進卷積神經(jīng)網(wǎng)絡(luò)模型如圖4所示,信號經(jīng)多層網(wǎng)絡(luò)進行特征提取,對特征做全局均值池化處理后,經(jīng)SoftMax函數(shù)計算各分類標(biāo)簽的預(yù)測結(jié)果得到輸出層。每一卷積層都采用4個尺寸為15、步長為1的卷積核進行等長卷積;池化層采用尺寸為2、步長為2的最大值池化方式;激活函數(shù)采用指數(shù)線性單元函數(shù)[22],其數(shù)學(xué)表達式如下

(2)

圖4 基于全局均值池化層的改進卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Schematic diagram of improved convolutional neural network structure based on global mean pooling layer

該激活函數(shù)在正值區(qū)間輸出梯度始終為1,避免梯度彌散現(xiàn)象;在負值區(qū)間具有軟飽和特性,增強了網(wǎng)絡(luò)對噪聲的魯棒性。

本文所使用參數(shù)遷移學(xué)習(xí)方法如圖5所示。首先在源域上預(yù)訓(xùn)練改進卷積神經(jīng)網(wǎng)絡(luò);將網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)遷移至目標(biāo)域;固定較淺的前3層網(wǎng)絡(luò)不再進行訓(xùn)練;在目標(biāo)域上使用少量的訓(xùn)練數(shù)據(jù)微調(diào)深層網(wǎng)絡(luò);最后在目標(biāo)域的測試數(shù)據(jù)上進行預(yù)測分類。方法的數(shù)學(xué)描述如下

(3)

(4)

圖5 所提遷移學(xué)習(xí)方法示意圖Fig.5 Schematic diagram of the proposed transfer learning method

在圖3a中,假設(shè)全連接層兩層尺寸分別為300和50,改進前后網(wǎng)絡(luò)模型的參數(shù)量比較見表1。保持卷積層結(jié)構(gòu)不變,能夠保證其原有的特征提取能力;而全局均值池化層使網(wǎng)絡(luò)總參數(shù)和待微調(diào)參數(shù)分別減少至6.36%和3.09%,可以有效地減輕過擬合現(xiàn)象。

本文將隨機遺忘法[23]和學(xué)習(xí)率衰減法應(yīng)用于優(yōu)化網(wǎng)絡(luò)的訓(xùn)練過程。在每一批次訓(xùn)練中,以給定概率,隨機使部分隱層神經(jīng)元輸出為0,反向傳播過程中不對其進行更新,保留其梯度,待下個批次再恢復(fù)這部分神經(jīng)元。重復(fù)這一過程直至訓(xùn)練完成。隨機遺忘法減弱了不同神經(jīng)元間的聯(lián)合適應(yīng)性,增強了網(wǎng)絡(luò)的魯棒性。學(xué)習(xí)率衰減法在訓(xùn)練開始采用較大的學(xué)習(xí)率,隨著訓(xùn)練輪次的增加,以給定方式減小學(xué)習(xí)率。較大的初始學(xué)習(xí)率可以克服噪聲信息對網(wǎng)絡(luò)的干擾,而減小學(xué)習(xí)率可以提高網(wǎng)絡(luò)對復(fù)雜模式的提取能力。

表1 改進前后的網(wǎng)絡(luò)參數(shù)量對比Table 1 Comparison of network parameters before and after improvement

3 軸承故障診斷實驗驗證及分析

3.1 跨工況遷移故障診斷實驗

凱斯西儲大學(xué)軸承數(shù)據(jù)集是目前應(yīng)用最多的標(biāo)準軸承故障診斷數(shù)據(jù)集之一[24]。本文實驗平臺包括電機、軸承、轉(zhuǎn)矩傳感器、編碼器、功率器和其他電子控制設(shè)備等,被測試軸承為驅(qū)動端軸承,型號為SKF6205軸承,實驗采樣頻率為12 kHz。使用電火花燒傷的加工方式在軸承上布置了單點故障,類型分別是滾動體損傷、外圈損傷與內(nèi)圈損傷,共有4種健康狀態(tài)。軸承工作狀態(tài)以及故障信息見表2。

表2 凱斯西儲大學(xué)軸承數(shù)據(jù)集故障信息Table 2 Case Western Reserve University Bearing Data Set Failure Information

選擇不同的轉(zhuǎn)速及負載,構(gòu)建4組不同工況的軸承故障數(shù)據(jù)集,每個數(shù)據(jù)集里各健康狀態(tài)各有25個樣本數(shù)據(jù),共計400個。從時域信號的第1個點開始,取連續(xù)的2 400個點作為一個樣本,相鄰樣本之間重疊1 200個點。使用本文所提出的改進遷移學(xué)習(xí)網(wǎng)絡(luò)模型,進行小樣本下跨工況軸承故障診斷實驗。

實驗1:比較使用全連接層的卷積神經(jīng)網(wǎng)絡(luò)(CNN-FC)和使用全局均值池化層的改進卷積神經(jīng)網(wǎng)絡(luò)(CNN-GAP)。隨機選取1%的數(shù)據(jù)作為訓(xùn)練集,其余的數(shù)據(jù)作為測試集,在各個工況下進行訓(xùn)練和分類預(yù)測,取多次實驗的平均值作為結(jié)果,預(yù)測分類結(jié)果見表3。

表3 小樣本下兩種卷積網(wǎng)絡(luò)的故障分類結(jié)果Table 3 Fault classification results of two convolutional networks taking small samples

實驗2:比較兩種網(wǎng)絡(luò)跨工況遷移學(xué)習(xí)(TL-FC、TL-GAP)的預(yù)測分類結(jié)果。在源域上以100%的數(shù)據(jù)進行預(yù)訓(xùn)練,在目標(biāo)域上隨機選取1%的數(shù)據(jù)進行微調(diào),在其余數(shù)據(jù)上進行測試,結(jié)果見表4。

表4 小樣本下跨工況遷移學(xué)習(xí)方法故障分類結(jié)果Table 4 Fault classification results of cross-condition transfer learning method taking small samples

3.2 跨型號、跨工況遷移故障診斷實驗

實驗臺及采集系統(tǒng)如圖6所示。滾動軸承固定在安裝座內(nèi),通過預(yù)緊裝置對其進行軸向預(yù)緊,安裝座上的繩索通過滑輪與不同質(zhì)量的重物相連,模擬軸承的徑向載荷。測試軸承型號為6308軸承,采樣頻率為10 kHz。預(yù)制有4種健康狀態(tài),分別為正常、外圈剝落、內(nèi)圈剝落和滾動體剝落。其中內(nèi)圈和外圈采用激光加工的方法,設(shè)置損傷直徑分別約為0.5、1、2、3 mm,代表輕微、中等、嚴重、最嚴重4種故障程度,控制激光加工時間使損傷深度約為0.2 mm。滾動體采用砂輪機磨削的方法,損傷面積分別約為10、20、40、60 mm2。軸承工作轉(zhuǎn)速為1 200 r/min。

(a)結(jié)構(gòu)示意圖

(b)實驗臺圖6 實驗室軸承實驗臺及結(jié)構(gòu)示意圖Fig.6 Laboratory bearing test bench

如表5所示,分別將凱斯西儲大學(xué)數(shù)據(jù)集記為數(shù)據(jù)集A,實驗室軸承數(shù)據(jù)集記為數(shù)據(jù)集B,進行跨型號、跨工況的故障診斷。

表5 軸承數(shù)據(jù)集故障信息Table 5 Bearing data set failure information

實驗3:隨機選取1%的數(shù)據(jù)作為訓(xùn)練集,其余數(shù)據(jù)作為驗證集,比較使用全連接層的卷積神經(jīng)網(wǎng)絡(luò)(CNN-FC)和使用全局均值池化層的改進卷積神經(jīng)網(wǎng)絡(luò)(CNN-GAP),在兩個數(shù)據(jù)集上的預(yù)測分類結(jié)果見表6。

表6 小樣本下兩種卷積網(wǎng)絡(luò)的故障分類結(jié)果Table 6 Fault classification results of two convolutional networks with small samples

實驗4:比較兩種網(wǎng)絡(luò)跨工況跨型號遷移學(xué)習(xí)(TL-FC、TL-GAP)的預(yù)測分類結(jié)果。在源域上以100%的數(shù)據(jù)進行預(yù)訓(xùn)練,在目標(biāo)域上隨機選取1%的數(shù)據(jù)進行微調(diào),在其余數(shù)據(jù)上進行測試,預(yù)測分類結(jié)果見表7。

3.3 結(jié)果分析

由表3和表6中兩種卷積網(wǎng)絡(luò)的分類準確率可見。當(dāng)訓(xùn)練集僅占全部數(shù)據(jù)的1%時,使用全局均值池化層的效果明顯好于使用全連接層。在兩個數(shù)據(jù)集上的平均結(jié)果由54.61%提升到了86.68%,說明改進后的卷積神經(jīng)網(wǎng)絡(luò)使用全局均值池化層有效地避免了過擬合問題,同時保留了卷積層的特征提取能力。

表7 小樣本下跨工況、跨型號遷移學(xué)習(xí)故障分類結(jié)果Table 7 Cross-condition and cross-type transfer learning fault classification results with small samples

由表3和表4中使用全連接層卷積神經(jīng)網(wǎng)絡(luò)的分類結(jié)果可知,跨工況下遷移學(xué)習(xí)方法使分類準確率有一定提高,平均結(jié)果由44.25%提升至54.07%。由表6和表7可知,跨型號下遷移學(xué)習(xí)的分類準確率輕微地降低,說明此時數(shù)據(jù)集之間的差異太大,遷移學(xué)習(xí)方法起到的作用不是很大。

在全局均值池化的卷積神經(jīng)網(wǎng)絡(luò)中,遷移學(xué)習(xí)方法使分類準確率得到了進一步提升。在跨工況下,遷移學(xué)習(xí)使分類準確率由90.70%提升到了91.87%;在跨工況跨型號下,準確率由86.68%提升至了92.25%。

在一次以數(shù)據(jù)集A為源域、數(shù)據(jù)集B為目標(biāo)域的遷移學(xué)習(xí)訓(xùn)練中,實驗室實測軸承數(shù)據(jù)集上的混淆矩陣見圖7。全體分類準確率為94.40%,其中外圈故障和正常軸承分類準確率達到100.00%。對輸入數(shù)據(jù)經(jīng)卷積層提取到的300維特征進行t-SNE降維,結(jié)果見圖8,可以看出,大部分數(shù)據(jù)被正確地進行了分類,而內(nèi)圈故障和滾動體故障的分類效果較差。從故障機理上分析,滾動體與滾道之間可能會存在滑動現(xiàn)象,因此其故障特征復(fù)雜。從傳遞路徑上分析,滾動體故障與內(nèi)圈故障時引起的沖擊振動傳播至傳感器時,需要經(jīng)歷更多調(diào)制和轉(zhuǎn)換階段,傳遞路徑復(fù)雜[25]。因此,網(wǎng)絡(luò)在內(nèi)圈故障和滾動體故障上提取到的數(shù)據(jù)特征出現(xiàn)混合,導(dǎo)致分類準確率比較低。在后續(xù)研究中可以增加微調(diào)樣本數(shù)來進一步提升網(wǎng)絡(luò)分類效果。

圖7 實驗室數(shù)據(jù)集故障分類混淆矩陣Fig.7 Classification confusion matrix of laboratory data set

圖8 實驗室軸承數(shù)據(jù)特征t-SNE分布圖Fig.8 t-SNE distribution map of laboratory bearing data characteristics

4 結(jié) 論

針對機器學(xué)習(xí)在小樣本訓(xùn)練中的過擬合現(xiàn)象,本文從網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)量的角度,提出了以全局均值池化層取代全連接層的改進卷積神經(jīng)網(wǎng)絡(luò)。應(yīng)用預(yù)訓(xùn)練微調(diào)的遷移學(xué)習(xí)方法,在凱斯西儲大學(xué)軸承數(shù)據(jù)集和實驗室軸承數(shù)據(jù)集上進行了實驗驗證,得到如下結(jié)論。

(1)在訓(xùn)練數(shù)據(jù)很少時,網(wǎng)絡(luò)待訓(xùn)練參數(shù)量過大,傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)會出現(xiàn)過擬合現(xiàn)象。由于大部網(wǎng)絡(luò)參數(shù)集中在全連接層,采用預(yù)訓(xùn)練微調(diào)的遷移學(xué)習(xí)方法同樣會出現(xiàn)過擬合問題。

(2)在卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)中,使用全局均值池化層代替全連接層,減少了90%以上的網(wǎng)絡(luò)參數(shù),減輕了過擬合現(xiàn)象,同時保證了卷積層的特征提取能力。

(3)在改進后的卷積神經(jīng)網(wǎng)絡(luò)上使用預(yù)訓(xùn)練微調(diào)的遷移學(xué)習(xí)方法,可以進一步提升網(wǎng)絡(luò)的分類效果。在跨工況、跨型號的遷移學(xué)習(xí)故障診斷中,網(wǎng)絡(luò)在目標(biāo)域上的分類準確率平均達到了92.25%。該方法完成了遷移學(xué)習(xí)任務(wù),基本滿足了軸承故障診斷的需求。