基于shapelets時間序列的多源遷移學習滾動軸承故障診斷方法

李 可 燕 晗 顧杰斐 宿 磊 蘇文勝 薛志鋼

1.江南大學江蘇省食品先進制造裝備技術重點實驗室，無錫，2141222.江南大學機械工程學院，無錫，2141223.江蘇省特種設備安全檢驗監(jiān)督研究院無錫分院，無錫，214071

0 引言

滾動軸承作為旋轉機械的關鍵零部件，其運行狀態(tài)的好壞關系著機械系統(tǒng)的穩(wěn)定性。在機械設備長時間、高負荷的運轉過程中，滾動軸承難免會發(fā)生故障，輕則影響設備性能，重則引發(fā)安全事故,因此，對滾動軸承開展故障診斷研究具有重要的意義[1-2]。

隨著計算機運算能力的不斷提高，基于深度學習(deep learning，DL)的故障診斷方法近年來得到了研究者的廣泛關注[3]。基于深度學習的智能診斷模型具有強大的自適應非線性特征提取和表征能力[4]，無需依賴太多的先驗知識和信號處理技術，較基于淺層學習的方法表現(xiàn)出更好的故障診斷能力[5]。INCE等[6]采用一維卷積神經網(wǎng)絡實現(xiàn)了電機軸承的實時故障診斷，這種端到端的方式極大提高了故障診斷的效率。ZHANG等[7]將原始的時間信號作為深度神經網(wǎng)絡的輸入，實現(xiàn)了對滾動軸承故障的分類及相應損壞嚴重程度的精確判斷。SHAO等[8]將一種深度卷積信念網(wǎng)絡運用于高鐵軸承的故障診斷，診斷準確率達到97%。但是，以上方法的實現(xiàn)需要大量的標記數(shù)據(jù)，而工程實際中的滾動軸承數(shù)據(jù)具有以下特點：①價值密度低，機械裝備長期處于正常運行狀態(tài)，軸承故障數(shù)據(jù)較少；②使用成本高，采集信號蘊含大量噪聲，在不可頻繁停機檢查故障、人工標記數(shù)據(jù)費時費力的情況下，獲取大量帶標簽數(shù)據(jù)的過程十分耗時且昂貴。如何在數(shù)據(jù)有限的條件下獲得魯棒性強的滾動軸承故障診斷模型是一個艱巨的挑戰(zhàn)[9]。

遷移學習作為一種運用已有知識求解相似領域問題的方法，可以有效解決樣本稀缺的問題，已成為目前故障診斷領域的研究熱點。陳超等[10]提出了一種改進最小二乘支持向量機遷移學習方法，運用輔助數(shù)據(jù)彌補不同工況下滾動軸承可用數(shù)據(jù)不足的問題，軸承故障診斷精度最大能提高30%。HAN等[11]提出了一種深度對抗遷移網(wǎng)絡診斷模型，引入對抗學習作為跨域正則化項，分別將不同載荷工況下的數(shù)據(jù)作為源域與目標域，通過遷移學習實現(xiàn)了小樣本條件下滾動軸承故障的精確診斷。PANG等[12]利用跨域堆疊降噪自編碼器實現(xiàn)了跨領域滾動軸承故障診斷。上述基于遷移學習的故障診斷方法證明了通過知識遷移提高滾動軸承故障診斷精度的可行性，但它們都是采用相同設備在不同工況下的試驗數(shù)據(jù)來驗證遷移效果的。如果源域與目標域的相關性不強，那么遷移學習有可能出現(xiàn)負遷移與次優(yōu)解的問題。相比單源遷移學習，多源遷移學習不僅可以從多個源域中挖掘出更多的知識用于目標域的學習，還能通過發(fā)現(xiàn)與目標域更相似的源域來避免負遷移問題。ZHENG等[13]提出了一種基于多源域泛化的智能故障識別方法，有效降低了負遷移的風險；徐丹雅[14]提出了一種基于多源域自適應機械故障診斷方法，將多種工況下采集的數(shù)據(jù)融合為源域數(shù)據(jù)集，實現(xiàn)了新工況下的故障診斷。然而，以上方法局限于同一機械設備軸承的多工況故障診斷。SHI等[15]提出了一種基于多源域自適應的無監(jiān)督遷移學習方法，從多個來源學習通用診斷知識并用于完成目標任務；FENG等[16]構建了一個GlobalNet來融合多源信息，實現(xiàn)了跨域故障診斷。但他們提出的方法適用于目標域樣本數(shù)據(jù)充足的情況。針對小樣本問題，SUN等[17]利用基于元學習的多源遷移學習實現(xiàn)了圖片的準確識別，但如何基于多源遷移學習實現(xiàn)滾動軸承跨域故障診斷仍有待研究。

Shapelets是時間序列中最具辨別性的子序列[18]，通過提取軸承數(shù)據(jù)的shapelets來度量源域與目標域的相關性，可有效降低出現(xiàn)負遷移的可能性。本文提出一種基于shapelets的多源遷移學習滾動軸承故障診斷方法，該方法充分利用已有不同設備的軸承數(shù)據(jù)，通過多源遷移學習以訓練無法獲取充足數(shù)據(jù)、有強噪聲干擾的其他設備的軸承故障診斷模型，有效提高了小樣本與強噪聲情況下滾動軸承故障診斷精度。該方法首先利用基于動態(tài)時間規(guī)整(dynamic time warping，DTW)的shapelets學習算法提取源域與目標域的判別結構，然后度量判別結構之間的相關性，優(yōu)化源域網(wǎng)絡并進行參數(shù)遷移，再自適應地設置域權重，實現(xiàn)對分類結果的聚合。最后通過滾動軸承實驗驗證本文方法的有效性。

1 基于DTW的shapelets提取

1.1 DTW距離

DTW是一種能夠有效度量兩個不等長時間序列之間相似性的算法，它基于動態(tài)規(guī)劃的思想尋找兩個時間序列間的最優(yōu)彎曲路徑，可實現(xiàn)不等長時間序列距離的計算。如圖1所示，t和t′分別代表兩個時間序列，i和j代表時間序列中第i與第j個點。累積距離Dti,t′j為當前格點歐氏距離d(ti,t′j)與可以到達該點的最小的鄰近元素的累積距離之和：

Dti,t′j=d(ti,t′j)+min(Dti-1,t′j-1,Dti-1,t′j,Dti,t′j-1)

(1)

兩個時間序列之間DTW距離的計算公式如下：

D(t,t′)=Dtq,t′q′

(2)

式中，q、q′分別為時間序列t和t′的長度。

圖1 DTW示意圖

1.2 基于DTW的shapelets學習算法

滾動軸承振動信號具有信息冗余、噪聲大、非線性等特點，度量軸承數(shù)據(jù)相關性的難度較大。本文提取軸承振動信號的shapelets作為判別結構以度量源域與目標域的相關性，從而降低計算的空間與時間復雜度，提高相關性算法的可靠性與準確度。

以T表示一個時間序列，具有M個樣本的時間序列數(shù)據(jù)集可表示為T={T1,T2,…,TM}。以S表示一個shapelet，K表示要學習的shapelets的總數(shù)，則數(shù)據(jù)集的shapelets可表示為S={S1,S2,…,SK}。Shapelets學習算法[19](learning time-series shapelets，LTS)是一種基于隨機梯度學習算法求解最佳shapelets的方法，該算法首先通過在第i個時間序列Ti上滑動一個長為L的窗口，以提取Ti中所有可能的片段；然后以Ti，p:p+L-1代表Ti上第p個長度為L的片段，第k條shapelet與子序列Ti，p:p+L-1之間的距離可以表示為

Di,k,p=D(Ti,p:p+L-1,Sk)

(3)

Ti和Sk之間的距離Mi,k定義為Ti的每個片段與Sk的DTW距離中的最小值：

(4)

式中，P為Ti中片段總數(shù)。

以這些最小距離作為特征，用隨機梯度下降法學習邏輯回歸分類模型以求取時間序列數(shù)據(jù)集的shapelets，其學習對象為

(5)

損失函數(shù)為

(6)

式中，σ為sigmoid激活函數(shù)；Y為類別標簽。

目標函數(shù)為

(7)

式中，N為數(shù)據(jù)集的類別數(shù)；Ω為L2正則化項；λ為正則化系數(shù)；W為超平面參數(shù)。

可通過隨機梯度下降算法更新S和W[19]。

LTS算法中需要計算模型損失函數(shù)的導數(shù)，然而式(4)是不可導的,因此，本文采用軟最小化函數(shù)近似代替：

(8)

其中，參數(shù)α用來控制軟最小化函數(shù)和最小化函數(shù)的接近程度，當α→-∞時軟最小化函數(shù)近似等于最小化函數(shù)。

2 多源遷移學習網(wǎng)絡

本文提出的多源遷移學習算法根據(jù)多個源域與目標域之間的相關性，有選擇地將在源域上學習到的知識遷移到目標域上，從而避免學習到的模型被樣本上潛在的對抗性分布誤導。

2.1 源域網(wǎng)絡預訓練

選取一維全卷積網(wǎng)絡[20](fully convolutional networks，F(xiàn)CN)作為多源遷移學習的網(wǎng)絡結構，網(wǎng)絡的輸入為一個可變長度的時間序列，輸出為數(shù)據(jù)集N個可能類的概率分布。為了從源域中提取更多能有效區(qū)分故障的特征，每個源域Qi都需要預訓練特征提取器Fi和分類器Ci。Fi和Ci通過以下的交叉熵損失函數(shù)優(yōu)化：

L(Fi,Ci)=

(9)

式中，E為數(shù)學期望；pi為數(shù)據(jù)Ti的分布；R為指示函數(shù)。

值得注意的是，在源域網(wǎng)絡預訓練階段，不同源域之間的權重是不共享的。與共享特征提取器的網(wǎng)絡相比，非共享特征提取網(wǎng)絡可以有效避免領域偏移與類別偏移問題，將診斷結果進行聚合時可以更好地提高目標域的診斷能力。

在源域數(shù)據(jù)集上完成上述網(wǎng)絡的訓練之后，得到了等同源域數(shù)量U的全卷積網(wǎng)絡。它們在結構上的唯一區(qū)別是最后一層的softmax分類器Ci，其結構取決于對應數(shù)據(jù)集中的類別數(shù)。

2.2 源域網(wǎng)絡優(yōu)化

將提取的各數(shù)據(jù)集的shapelets作為判別結構，降低了度量源域與目標域之間相關性的難度。在此基礎上，可以進一步優(yōu)化源域數(shù)據(jù)，剔除與目標域相關性不大的樣本，并基于新的源域數(shù)據(jù)對預訓練模型進行微調。

2.3 診斷結果聚合

診斷模型的最終目的是能夠實現(xiàn)對目標信號Tt的準確分類。首先，對于訓練后的源域網(wǎng)絡，移除Ci并添加一個運用Glorot方法[22]初始化的C′i。然后運用目標域數(shù)據(jù)對整個源域網(wǎng)絡微調更新，以獲得更好的效果[23]。最后聚合各個源域分類器的結果獲得最終的診斷結果：

(10)

(11)

3 實驗驗證

風機滾動軸承是風機中極易產生故障的零部件,在工程實際中，采集的風機軸承監(jiān)測數(shù)據(jù)具有典型故障信息不足、標簽匱乏、環(huán)境噪聲大的特點，難以用于訓練高精度智能診斷模型。本文搭建風機軸承故障診斷實驗平臺，模擬實際運行過程中軸承故障情況。實驗設備如圖2所示，加速度傳感器型號為PCBMA352A60，輸出帶寬為5～60 000 Hz，靈敏度為10 mV/g。轉速恒定為1000 r/min，采樣頻率為10 kHz，采樣時間為2 s。如圖2所示，通過線切割技術分別在軸承內圈、外圈、滾動體加工出0.3 mm×0.05 mm(寬×深)的微小傷痕以模擬軸承故障。

3.1 遷移診斷數(shù)據(jù)集

(a)實驗平臺

(b)故障軸承圖2 實驗平臺及故障軸承

選用的滾動軸承數(shù)據(jù)集見表1。 數(shù)據(jù)集GA來自于德國帕德伯恩大學軸承數(shù)據(jù)中心。數(shù)據(jù)采自6203型滾動軸承，包括正常及損傷直徑為0.25 mm的內圈故障和外圈故障共三種狀態(tài)，采樣頻率設置為25 kHz，轉速為12 000 r/min。數(shù)據(jù)集GB來自美國凱斯西儲大學的軸承數(shù)據(jù)中心,數(shù)據(jù)采自SKF6205型滾動軸承，三種故障損傷均有0.1778、0.3556、0.5334 mm三種尺寸，共10類樣本。采樣頻率設置為12 kHz，電機轉速為1797 r/min。數(shù)據(jù)集GC源自多級齒輪傳動試驗臺，該試驗臺主要由電動機、定軸齒輪箱、行星齒輪箱等組成。數(shù)據(jù)采自定軸齒輪箱的LDK UER204型滾動軸承。每種狀態(tài)的樣本在電動機轉速為1200 r/min、空載下采集，故障損傷直徑均為0.3 mm，采樣頻率為12 kHz。數(shù)據(jù)集GD源自實驗室轉子試驗臺，該試驗臺主要由電動機、飛輪、帶傳動負載等組成，數(shù)據(jù)采自ER-12K型滾動軸承。電動機轉速為1450 r/min，采樣頻率為12 kHz。數(shù)據(jù)集GE源自本文的風機軸承故障診斷試驗平臺，共有1600個樣本，每種狀態(tài)的樣本數(shù)為400。

表1 滾動軸承數(shù)據(jù)集

從數(shù)據(jù)集GD中每類取10個樣本，共計40個樣本，構成小樣本數(shù)據(jù)集GD1，用于驗證本文方法在小樣本情況下的診斷效果。同時，對數(shù)據(jù)集GD添加-20 dB的高斯白噪聲構成強噪聲數(shù)據(jù)集GD2，用于驗證本文方法在強噪聲情況下的診斷效果。針對數(shù)據(jù)集GE以同樣的方式制作GE1、GE2數(shù)據(jù)集。

3.2 故障診斷結果

在診斷模型的訓練過程中，本文方法的主要參數(shù)設置如下：shapelets的長度L設置為50，shapelets數(shù)量K設置為10，軟最小化函數(shù)中的α設置為-100。

源域訓練過程中FCN參數(shù)設置如下：Batch size為16，迭代次數(shù)為2000，選用Adam優(yōu)化器自適應調整步長，學習率為0.001。目標域訓練過程中迭代次數(shù)為50。

3.2.1多源與單源遷移效果對比分析

單源遷移效果如圖3所示，圖中四種顏色分別代表四種數(shù)據(jù)集，灰色為無遷移FCN網(wǎng)絡迭代2000次訓練診斷結果，將計算10次的試驗平均值作為最終準確率。由圖3與表2可以看出，在單源域遷移情況下，小樣本數(shù)據(jù)集GD1和GE1的診斷準確率有所提高，但選擇的源域不同，準確率的提高效果有極大差別。當源域為GC時，GD1的診斷準確率取得了較大的提高；當源域為GB時，GE1的診斷準確率取得了極大的提高。從數(shù)據(jù)集GD2和GE2的結果可以看出，采用不同的數(shù)據(jù)集作為源域進行遷移時，強噪聲軸承數(shù)據(jù)的診斷結果存在較大差異。當源域為GA時，GE2出現(xiàn)了負遷移現(xiàn)象。當源域為GC時，GE2的遷移診斷效果達到了94.28%，為所有單源域遷移實驗中效果最好的，但GE1的遷移診斷效果并不突出，僅有55.85%，離目標域為GE1的所有實驗中準確率最高的86.70%有較大差距。同樣的現(xiàn)象也出現(xiàn)在GA對GD1和GD2的遷移結果上。當源域為GE2的時候，GD1的診斷準確度有很大的提高，GD2的提高效果卻不突出。說明源域網(wǎng)絡遷移的知識是有區(qū)別的，有些針對強噪聲目標域有優(yōu)勢，有些針對小樣本目標域有優(yōu)勢。

圖3 不同數(shù)據(jù)集單源遷移效果

表2 單源域遷移平均準確率

由于單源遷移對故障診斷提升效果不穩(wěn)定，因此通過多源遷移聚合診斷結果是有價值的。將本文所提出的方法與FCN、支持向量機[10](support vector machine，SVM)、遷移成分分析[24](transfer component analysis，TCA)、模型無關元學習[25](model-agnostic meta-learning，MAML)進行對比試驗，F(xiàn)CN為本文遷移學習方法的基礎網(wǎng)絡，由輸入層、128×8×1、256×5×1、128×3×1的三層卷積層，全局平均池化層與softmax分類層組成；SVM的核函數(shù)為高斯核函數(shù)，核函數(shù)參數(shù)σ=4，懲罰系數(shù)C=2；TCA中選擇線性核函數(shù)映射，其權衡參數(shù)μ=1、γ=0.5，源域為GC；MAML模型中元學習率為0.005，任務學習率為0.05。MAML與本文方法實驗中源域為GA、GB、GC，目標域分別為GD1、GD2、GE1、GE2。

如圖4與表3所示，本文方法在小樣本數(shù)據(jù)集GD1和GE1的故障診斷中，準確率相較于FCN、SVM、TCA與MAML有極大提高，體現(xiàn)了多源遷移診斷的優(yōu)越性，證明了利用典型故障信息充足的實驗室樣本可以實現(xiàn)精確的小樣本軸承故障診斷。在強噪聲數(shù)據(jù)集GE2的診斷結果中，多源遷移通過域權重的自適應選擇可以有效避免強噪聲情況下的負遷移現(xiàn)象，如表3所示，診斷準確率可達97.29%，GD2效果雖不如GE2，但依然取得了95.76%的準確率。

圖4 不同模型診斷準確率

表3 不同模型故障診斷平均準確率

3.2.2shapelets效果驗證

為了驗證shapelets在判別源域與目標域相似性上的優(yōu)勢，對數(shù)據(jù)集shapelets進行可視化處理，結果如圖5所示。圖中灰色線條是7組數(shù)據(jù)集的內圈故障信號，紅色部分為提取的shapelets。

(a)數(shù)據(jù)集GA的shapelets

(b)數(shù)據(jù)集GB的shapelets

(c)數(shù)據(jù)集GC的shapelets

(d)數(shù)據(jù)集GD1的shapelets

(e)數(shù)據(jù)集GD2的shapelets

(f)數(shù)據(jù)集GE1的shapelets

(g)數(shù)據(jù)集GE2的shapelets圖5 shapelets樣例

各數(shù)據(jù)集shapelets之間距離如表4所示。可以看出，單源域情況下對GE1遷移效果最好的數(shù)據(jù)集是GB，其shapelets與GE1也最接近，DTW距離為74.1，而提升效果最差的數(shù)據(jù)集GA距離為637.5。數(shù)據(jù)集GD2和GE2在有噪聲干擾下，依然可以提取出有效應用于目標域與源域判別的shapelets，其中GE2與GE1的距離為137.1，是GE2的shapelets與其他數(shù)據(jù)集shapelets中最短的，而GD2與GD1的距離也接近最短值。

表4 各數(shù)據(jù)集shapelets之間距離

4 結論

(1)提出了一種基于shapelets的多源遷移學習方法，并將其應用于滾動軸承的故障診斷。該方法充分利用已有軸承數(shù)據(jù)，幫助訓練無法獲取充足數(shù)據(jù)、有強噪聲干擾的其他設備的軸承故障診斷模型。

(2)所提出的基于shapelets的判別結構可以篩選源域中與目標域的近似樣本，并利用這些樣本對源域網(wǎng)絡進行微調，有效提高源域網(wǎng)絡的可遷移性能。通過設計權重機制實現(xiàn)了多源特征聚合分類，進一步降低了源域與目標域差異性的影響，相較于現(xiàn)有的多源故障診斷方法，有效解決了基于深度學習的故障診斷方法在樣本不足情況下精度低的問題。

(3)將提出的方法分別用于轉子試驗臺與模擬風機試驗臺軸承故障診斷，并與其他方法(全卷積網(wǎng)絡、支持同量機、遷移成分分析、模型無關元學習)進行對比，結果表明，所提方法在小樣本與高噪聲情況下具有更好的滾動軸承故障診斷性能。