杜小磊,陳志剛,張楠,許旭
(1.北京建筑大學(xué) 機(jī)電與車輛工程學(xué)院,北京 100044;2.北京市建筑安全監(jiān)測工程技術(shù)研究中心,北京 100044)
當(dāng)今大數(shù)據(jù)時(shí)代,由于反映軸承運(yùn)行工況的海量數(shù)據(jù)的積累,傳統(tǒng)的基于“人工特征提取+模式識別”的軸承故障診斷方法[1-4]越來越不能滿足現(xiàn)代自動(dòng)化診斷的要求[5]。深度學(xué)習(xí)[6]能自動(dòng)從原始數(shù)據(jù)中學(xué)習(xí)具有代表性的特征,很大程度上擺脫了對診斷人員信號處理與特征提取經(jīng)驗(yàn)的依賴,并已應(yīng)用于軸承故障診斷領(lǐng)域。文獻(xiàn)[7]將3層深層降噪自編碼器用于軸承故障診斷,并探究了輸入維數(shù)、深層結(jié)構(gòu)等因素對網(wǎng)絡(luò)性能的影響;文獻(xiàn)[8]采用深層稀疏自編碼器直接學(xué)習(xí)軸承振動(dòng)時(shí)域信號,省去了復(fù)雜的信號處理過程;文獻(xiàn)[9]將軸承振動(dòng)信號的包絡(luò)線作為深層自編碼器的輸入,取得98%以上的識別準(zhǔn)確率;然而,上述基于深層自編碼器的研究所使用的Sigmoid激活函數(shù)難以建立軸承故障與振動(dòng)信號之間的精確映射關(guān)系[10],且所使用的Softmax分類器存在收斂速度慢、泛化能力低的問題[11]。
小波函數(shù)包含尺度因子和位移因子,位移因子使小波沿著信號的時(shí)間軸進(jìn)行遍歷性分析,尺度因子用于分析信號不同的頻率,因此,將小波與深度學(xué)習(xí)模型相結(jié)合,將使深度模型具有更優(yōu)的自動(dòng)特征提取能力。目前,大多數(shù)基于深度學(xué)習(xí)的軸承故障診斷研究所使用的模型為單一深層模型,而由于軸承振動(dòng)信號的復(fù)雜性,使用單一深層模型進(jìn)行軸承故障診斷時(shí)存在網(wǎng)絡(luò)結(jié)構(gòu)單一、泛化能力低的問題[12]。
綜上,建立一種基于集成深度小波神經(jīng)網(wǎng)絡(luò)(Ensemble Deep Wavelet Neural Network,EDWNN)和深度小波支持向量機(jī)(Deep Wavelet Support Vector Machine,DW-SVM)的滾動(dòng)軸承故障診斷方法,將小波和深度模型相結(jié)合,采用不同的小波函數(shù)作為激活函數(shù),設(shè)計(jì)出一系列具有不同特性的改進(jìn)小波自編碼器(Wavelet Auto-Encoder,WAE)構(gòu)造相應(yīng)的DWNN,實(shí)現(xiàn)對軸承振動(dòng)數(shù)據(jù)的無監(jiān)督特征學(xué)習(xí),并將各DWNN頂層特征融合后輸入DW-SVM分類器,從而實(shí)現(xiàn)精確的滾動(dòng)軸承故障診斷。
深層自編碼器(Deep Auto-Encoder,DAE)[13]是一種無監(jiān)督深度學(xué)習(xí)模型,由多個(gè)自編碼器(Auto-Encoder,AE)構(gòu)成,每個(gè)AE由輸入層、隱含層和輸出層組成,輸入層維數(shù)等于輸出層維數(shù)。AE的目的是最小化輸入與輸出之間的重構(gòu)誤差,使其逼近一個(gè)恒等函數(shù),從而自動(dòng)完成特征提取。WAE結(jié)合了小波函數(shù)的時(shí)頻局部特性和AE自動(dòng)特征提取的優(yōu)點(diǎn),使用小波函數(shù)代替AE的Sigmoid激活函數(shù),具有比AE更好的特征提取和表示的性能。DWNN則由多個(gè)WAE堆疊構(gòu)成,標(biāo)準(zhǔn)WAE和2隱層DWNN的結(jié)構(gòu)如圖1所示。
設(shè)WAE輸入層有m個(gè)節(jié)點(diǎn),隱含層有L個(gè)節(jié)點(diǎn),輸出層有m個(gè)節(jié)點(diǎn),Wjk為隱含層小波節(jié)點(diǎn)j和輸入層節(jié)點(diǎn)k的連接權(quán)值,aj和cj分別為隱含層小波節(jié)點(diǎn)j的尺度因子和平移因子。給定m維輸入向量x=[x1,…,xm]T,隱層小波節(jié)點(diǎn)j的輸出為
圖1 WAE和DWNN結(jié)構(gòu)
(1)
式中:φ為小波激活函數(shù)。以Morlet小波函數(shù)的實(shí)部為例,φ的表達(dá)式為
(2)
于是,小波節(jié)點(diǎn)j的輸出改寫為
(3)
輸出層激活函數(shù)為Sigmoid函數(shù),則輸出層節(jié)點(diǎn)i的輸出為
(5)
式中:Wij為隱層小波節(jié)點(diǎn)j與輸出層節(jié)點(diǎn)i的連接權(quán)值。訓(xùn)練WAE就是不斷地調(diào)整參數(shù),最后找到一組最優(yōu)的參數(shù)θWAE={Wij,Wjk,aj,cj},使得輸入和輸出之間的重構(gòu)誤差最小化。DWNN堆疊多個(gè)WAE,采取逐層化訓(xùn)練方法,將上一層網(wǎng)絡(luò)中隱含層的輸出作為下一層網(wǎng)絡(luò)的輸入,并保證損失函數(shù)最小化,從而構(gòu)成多層次的網(wǎng)絡(luò)結(jié)構(gòu),直到整個(gè)DWNN完成訓(xùn)練,為了進(jìn)一步優(yōu)化所提取的特征,將帶有標(biāo)簽的樣本數(shù)據(jù)結(jié)合BP算法對DWNN網(wǎng)絡(luò)進(jìn)行微調(diào)。
原始的WAE抗噪能力弱,泛化能力弱,容易過擬合,因此,通過改進(jìn)誤差函數(shù)、加入降噪自編碼機(jī)制、Dropout機(jī)制和收縮自編碼機(jī)制對WAE進(jìn)行改進(jìn)。
1)改進(jìn)誤差函數(shù)。標(biāo)準(zhǔn)AE重構(gòu)誤差函數(shù)一般使用均方誤差代價(jià)函數(shù),對于軸承復(fù)雜振動(dòng)信號的特征學(xué)習(xí)魯棒性低,最大相關(guān)熵?fù)p失函數(shù)[14]能夠較好地改進(jìn)均方誤差函數(shù)的缺陷,且對復(fù)雜非平穩(wěn)背景噪聲不敏感,具有與復(fù)雜信號特征相匹配的潛力,因此將其作為WAE的損失函數(shù)。設(shè)2個(gè)隨機(jī)變量A=[a1,a2,…,aN]T,B=[b1,b2,…,bN]T之間的相關(guān)熵為
(6)
(7)
式中:σ為高斯核函數(shù)尺寸。
WAE重構(gòu)誤差函數(shù)可以通過最大化以下函數(shù)實(shí)現(xiàn)
(8)
式中:N為樣本個(gè)數(shù);xi為輸入樣本向量;yi為重構(gòu)樣本向量。
2)降噪自編碼機(jī)制。將訓(xùn)練數(shù)據(jù)的某些維度數(shù)值隨機(jī)設(shè)置為0,在訓(xùn)練時(shí)要求WAE仍然能夠還原原始輸入,從而使得網(wǎng)絡(luò)能無監(jiān)督地學(xué)習(xí)到更具魯棒性的特征,顯著降低網(wǎng)絡(luò)的過擬合。
3)Dropout機(jī)制。在WAE訓(xùn)練過程中,將隱層神經(jīng)元按一定概率P丟棄,以較低成本實(shí)現(xiàn)模型融合,且能明顯降低過擬合的風(fēng)險(xiǎn)。
4)收縮自編碼機(jī)制。收縮自編碼器(Contractive Auto-Encoder,CAE)以AE的激活函數(shù)對于輸入的雅克比矩陣的Frobenius Norm為懲罰項(xiàng),使CAE學(xué)到的特征對輸入的狹小變動(dòng)具有魯棒性。懲罰項(xiàng)為
(9)
則改進(jìn)后的WAE的損失函數(shù)為
(10)
各參數(shù)的更新公式[15]為
(11)
式中:η為學(xué)習(xí)率;LWAE(k)為第k次迭代時(shí)WAE的重構(gòu)誤差。
為克服單一DWNN的局限性,提高泛化性能,采用多個(gè)DWNN的集成。不同的小波函數(shù)構(gòu)成不同的DWNN網(wǎng)絡(luò),會(huì)表現(xiàn)出不同的特征和互補(bǔ)的學(xué)習(xí)行為。利用3種不同小波激活函數(shù)(表1)來構(gòu)造不同的DWNN網(wǎng)絡(luò)。
表1 3種激活函數(shù)的方程
Softmax分類器的收斂速度慢,泛化能力低;傳統(tǒng)SVM分類器不能充分挖掘數(shù)據(jù)的內(nèi)在特征信息[16]。深度支持向量機(jī)將深度學(xué)習(xí)模型應(yīng)用于SVM,將訓(xùn)練后的上一層SVM核激活函數(shù)值輸入到下一層SVM,兩層間的特征提取框架結(jié)構(gòu)如圖2所示。
圖2 兩層間的特征提取結(jié)構(gòu)圖
從原始輸入特征集中獲得第1層的訓(xùn)練權(quán)重。設(shè)N個(gè)輸入樣本xi∈R,從訓(xùn)練樣本可以得到p個(gè)支持向量s1,…,sp及其對應(yīng)的Lagrange乘子系數(shù)α1,…,αp,以及對應(yīng)的支持向量的標(biāo)簽y1,…,yp,則下一層的激活值為
h1(i)=αiyiK(si,x),
(12)
式中:h1(i)為第1個(gè)隱層的第i個(gè)元素。h1的維數(shù)為p。輸入層到第1隱層之間的權(quán)值訓(xùn)練完成,下一層的權(quán)值按照同樣的方式逐層訓(xùn)練。最后一層的分類結(jié)果為
(13)
式中:si為第i個(gè)支持向量;l為最后一層支持向量的數(shù)量;o(x)為數(shù)據(jù)經(jīng)隱層變化后的特征;b為分類偏差,只在最后一層使用;K為核函數(shù)。實(shí)際中,RBF核函數(shù)應(yīng)用廣泛,但RBF核函數(shù)不是正交基,不能任意逼近L2(R)空間中的曲線,導(dǎo)致RBF-SVM不能逼近L2(R)空間中的任意函數(shù);由于Morlet小波函數(shù)可以通過伸縮和平移建立正交基,并在L2(R)空間中有任意逼近的能力,且滿足SVM核函數(shù)的容許條件,因此,使用Morlet小波核函數(shù),其表達(dá)式為
(14)
為將DW-SVM應(yīng)用于多分類問題,采用基于決策樹的多分類算法[17]。綜上,滾動(dòng)軸承故障診斷的流程如圖3所示,主要步驟如下:
1)獲取不同故障狀態(tài)的軸承振動(dòng)數(shù)據(jù)樣本集并進(jìn)行歸一化操作,從樣本集中隨機(jī)選取70%作為訓(xùn)練樣本,其余作為測試樣本,再從訓(xùn)練樣本中隨機(jī)選取80%作為無標(biāo)簽樣本,其余作為有標(biāo)簽樣本。
2)采用不同的小波激活函數(shù)設(shè)計(jì)一系列性能不同的改進(jìn)WAE,并進(jìn)一步構(gòu)造相應(yīng)的DWNN。
3)第1階段,使用無標(biāo)簽樣本對DWNN網(wǎng)絡(luò)進(jìn)行無監(jiān)督預(yù)訓(xùn)練;第2階段,將各DWNN網(wǎng)絡(luò)學(xué)習(xí)到的深層特征進(jìn)行融合,即將DWNN頂層特征組成一維特征向量,輸入到DW-SVM分類器中進(jìn)行訓(xùn)練,無需任何人工特征提取,這一階段使用帶標(biāo)簽樣本數(shù)據(jù)。
4)測試樣本驗(yàn)證訓(xùn)練后模型的性能。
圖3 滾動(dòng)軸承故障診斷流程
為驗(yàn)證上述方法的有效性,以軸承故障模擬試驗(yàn)臺(tái)為對象,采集不同故障類型、不同故障程度的7種軸承工況。試驗(yàn)臺(tái)如圖4所示,加速度傳感器置于驅(qū)動(dòng)端附近,在SKF 6205深溝球軸承的內(nèi)、外圈和鋼球上用電火花加工技術(shù)加工直徑分別為0.18和0.36 mm的單點(diǎn)故障。采樣頻率為12 kHz,在1 800 r/min工況下采集軸承振動(dòng)信號。訓(xùn)練DWNN需要大量訓(xùn)練樣本,由于軸承的故障信息主要蘊(yùn)含在不同故障狀態(tài)產(chǎn)生的沖擊中,因此,對訓(xùn)練數(shù)據(jù)進(jìn)行有重疊樣本分割[18],從而實(shí)現(xiàn)數(shù)據(jù)擴(kuò)充,這種分割方式即增加了訓(xùn)練樣本數(shù)量,又可以使DWNN模型學(xué)習(xí)到更具魯棒性的特征。最后得到每種工況下1 000個(gè)樣本,每個(gè)樣本由600個(gè)采樣數(shù)據(jù)點(diǎn)組成。7種軸承工況描述見表2,滾動(dòng)軸承的故障診斷實(shí)際上就是對故障編碼進(jìn)行識別的過程[19],訓(xùn)練DW-SVM的過程為有監(jiān)督訓(xùn)練,必須對每個(gè)樣本設(shè)置編碼,以判斷樣本是否識別正確。由于共設(shè)置7 種工況狀態(tài),故設(shè)置樣本故障編碼樣式為7位數(shù)字組成。當(dāng)輸入某一種類型的振動(dòng)數(shù)據(jù)時(shí),輸出結(jié)果中7位數(shù)字只有 1位數(shù)字賦值為1,其余數(shù)字賦值為0。
圖4 軸承試驗(yàn)臺(tái)
表2 7種軸承工況
為減少噪聲干擾,將軸承原始信號歸一化到[0,1],7種工況軸承振動(dòng)信號的時(shí)、頻域波形如圖5所示。由時(shí)域圖可知,早期故障信號受噪聲干擾嚴(yán)重,部分沖擊淹沒在噪聲中,振動(dòng)情況較為復(fù)雜,難以區(qū)分軸承故障類型及故障程度。由頻域圖可知,同種故障類型的頻譜有一定的差異,但同種故障類型中不同程度的故障從頻譜上很難區(qū)分。而且,由于傳統(tǒng)特征提取方法的不確定性和復(fù)雜性,使得軸承早期輕微故障特征和復(fù)合故障特征難以提取,故障診斷難度很大。因此,有必要引入深度學(xué)習(xí),進(jìn)行逐層特征提取以建立各種故障狀態(tài)與輸入信號之間的精確映射關(guān)系。
圖5 7種工況下軸承振動(dòng)信號的時(shí)、頻域圖
為驗(yàn)證本文方法的優(yōu)越性,采用人工神經(jīng)網(wǎng)絡(luò)(ANN)、支持向量機(jī)(SVM)、深度置信網(wǎng)絡(luò)(DBN)、深度稀疏自動(dòng)編碼器(DSAE)和單一DWNN進(jìn)行分析比較,其中ANN和SVM的輸入為24個(gè)特征[20],包括11個(gè)時(shí)域特征和13個(gè)頻域特征。不同方法的參數(shù)設(shè)置及診斷結(jié)果見表3,5次試驗(yàn)的詳細(xì)診斷結(jié)果如圖6所示。
圖6 不同方法的5次測試結(jié)果
從表3中可以看出,方法1(即EDWNN+DW-SVM)的平均測試正確率達(dá)到99.18%,標(biāo)準(zhǔn)差為0.099,與其他方法相比具有最高的測試準(zhǔn)確率和最小的標(biāo)準(zhǔn)差。從圖6可以看出,方法1每次測試的平均準(zhǔn)確率分別為99.18%,99.16%,99.18%,99.18%和99.19%,均高于其他方法。在這幾種方法中,方法1訓(xùn)練用時(shí)最多,耗時(shí)比其他單一深度模型多4倍,但幾種方法的測試用時(shí)都不高,方法1僅0.089 s,具有較好的實(shí)用性。綜合分析表明,方法1具有更高的分類正確率和穩(wěn)定性,主要原因是:1)方法1將小波與深度學(xué)習(xí)相結(jié)合,通過多個(gè)非線性變換更有效地從軸承原始振動(dòng)數(shù)據(jù)中提取特征,而ANN和SVM等傳統(tǒng)方法的性能很大程度上依賴于人工特征提取,非常耗費(fèi)時(shí)間;2)方法1充分利用了不同DWNN相互提供的互補(bǔ)信息,結(jié)合DW-SVM優(yōu)異的分類性能,使得測試精度和穩(wěn)定性均優(yōu)于單一的深度模型。
表3 不同方法的診斷結(jié)果
方法1第1次測試結(jié)果的多分類混淆矩陣如圖7所示,其全面記錄了不同軸承故障狀態(tài)下的識別結(jié)果,包括正確分類信息和錯(cuò)誤分類信息。其中,縱坐標(biāo)表示軸承狀態(tài)的實(shí)際標(biāo)簽,橫坐標(biāo)表示預(yù)測標(biāo)簽,主對角線上的元素代表了各狀態(tài)的識別精度。從圖7可以看出,復(fù)合故障狀態(tài)b的分類正確率相對較低,但也達(dá)到了98%以上。
圖7 多分類混淆矩陣
為驗(yàn)證DW-SVM分類器對軸承故障識別的優(yōu)越性,與Softmax,SVM,ANN和D-SVM幾種分類器進(jìn)行對比,結(jié)果見表4。表中分類正確率為5次試驗(yàn)的平均結(jié)果,由于DW-SVM分類器通過Morlet小波的伸縮和平移建立小波和D-SVM的正交基,能夠刻畫數(shù)據(jù)的細(xì)節(jié),數(shù)據(jù)擬合率高,分類準(zhǔn)確率高于其他分類器。
表4 不同分類器的診斷結(jié)果
為直觀顯示DWNN所提取的特征,以軸承外圈故障振動(dòng)狀態(tài)f為例,由于網(wǎng)絡(luò)所提取的深層特征較抽象,因此只給出激活函數(shù)為Morlet小波的DWNN提取的第1隱層的特征(以序列方式),如圖8所示。從圖中可以看出,DWNN所提取的第1隱層的特征從不同角度反映了原始信號,這些特征比較好地滿足了Fisher判別準(zhǔn)則[23],更有利于最后的分類。
為深入了解DWNN的特征提取效果,通過t-SNE(t-Distributed Stochastic Neighbor Embedding)降維技術(shù)將測試集融合特征降為2維并進(jìn)行可視化,如圖9所示。從圖中可以看出,各故障類別已基本分開,表明該模型具有更強(qiáng)的從非平穩(wěn)振動(dòng)信號逐層學(xué)習(xí)以獲取具有代表性信息的能力。
圖9 深層特征的2維可視化
在實(shí)際情況下,不同工況狀態(tài)下的樣本數(shù)據(jù)是不平衡的,正常狀態(tài)的樣本比例要大于故障狀態(tài)的樣本比例。因此,設(shè)置4組不同比例的不平衡數(shù)據(jù)以研究方法1在不平衡訓(xùn)練樣本情況下的軸承故障分類性能。4組數(shù)據(jù)中,正常狀態(tài)和各種故障狀態(tài)下的測試樣本數(shù)量均設(shè)置為200,正常狀態(tài)和各故障狀態(tài)下的訓(xùn)練樣本數(shù)量比例分別設(shè)置為1 000∶1 000,1 000∶800,1 000∶600和1 000∶500,組1中的樣本數(shù)據(jù)情況與3.1節(jié)相同,即正常狀態(tài)和各故障狀態(tài)下的訓(xùn)練樣本數(shù)量均為1 000。
共進(jìn)行5次試驗(yàn)并取平均結(jié)果,幾種方法的分類正確率如圖10所示。從圖中可以看出:幾種模型的平均故障分類正確率隨著不平衡比例的增大整體上呈現(xiàn)下降趨勢;但4組數(shù)據(jù)中,方法1的分類效果均優(yōu)于其他幾種方法;甚至當(dāng)不平衡比例為1 000∶500時(shí),方法1的平均分類正確率仍可達(dá)98.14%,在面對不同比例的不平衡樣本時(shí)表現(xiàn)更加優(yōu)異。
圖10 不平衡數(shù)據(jù)下各方法的分類正確率
實(shí)際應(yīng)用中,目標(biāo)樣本數(shù)量不充分會(huì)造成深度網(wǎng)絡(luò)的泛化性能降低甚至失效。針對此問題,在原有DWNN基礎(chǔ)上引入迀移學(xué)習(xí)策略,構(gòu)建基于輔助訓(xùn)練集的DWNN模型,基本思想是將大量輔助樣本集用于網(wǎng)絡(luò)預(yù)訓(xùn)練過裎,將少量目標(biāo)樣本集用于網(wǎng)絡(luò)微調(diào)過程,以此實(shí)現(xiàn)遷移目的。為驗(yàn)證在目標(biāo)訓(xùn)練樣本集不足情況下模型的性能,將美國凱斯西儲(chǔ)大學(xué)(CWRU)實(shí)驗(yàn)室[24]采集的滾動(dòng)軸承故障數(shù)據(jù)作為輔助訓(xùn)練數(shù)據(jù),數(shù)據(jù)是采樣頻率為12 kHz、轉(zhuǎn)速為1 772 r/min時(shí)驅(qū)動(dòng)端軸承故障下的振動(dòng)數(shù)據(jù),包括表2中的7種狀態(tài),將3.1節(jié)試驗(yàn)中所測得的數(shù)據(jù)作為目標(biāo)數(shù)據(jù)。每個(gè)信號仍然取600個(gè)時(shí)域采樣點(diǎn),其中輔助樣本集的數(shù)量為對應(yīng)的目標(biāo)訓(xùn)練樣本集的5倍,目標(biāo)測試樣本每種狀態(tài)為100個(gè),同時(shí),使用標(biāo)準(zhǔn)DWNN模型(即僅用少量目標(biāo)訓(xùn)練樣本訓(xùn)練所得的模型)作為對比。2種模型診斷正確率隨目標(biāo)樣本數(shù)目的變化如圖11所示,從圖中可以看出:隨目標(biāo)樣本個(gè)數(shù)的增加,2種模型的診斷性能總體呈上升趨勢,在目標(biāo)訓(xùn)練樣本較少的情況下,基于遷移學(xué)習(xí)的DWNN模型對目標(biāo)測試樣本的診斷效果要好于標(biāo)準(zhǔn)DWNN模型;當(dāng)目標(biāo)樣數(shù)超過200時(shí),2種模型性能相當(dāng)。
圖11 2種模型的對比結(jié)果
提出一種基于EDWNN和DW-SVM的滾動(dòng)軸承智能故障診斷方法,實(shí)現(xiàn)了高精度的軸承故障診斷,較其他方法具有較大優(yōu)勢:
1) 將深度學(xué)習(xí)與小波理論相結(jié)合,使深度網(wǎng)絡(luò)具有更強(qiáng)大的自動(dòng)提取特征的能力,避免了復(fù)雜的人工提取特征過程,又改進(jìn)了WAE的誤差函數(shù),引入Dropout機(jī)制、降噪自編碼機(jī)制和收縮自編碼機(jī)制,對信號特征學(xué)習(xí)的魯棒性大大增強(qiáng),增強(qiáng)了網(wǎng)絡(luò)泛化性能。
2) 將單一DWNN模型進(jìn)行集成,充分利用了不同DWNN相互提供的互補(bǔ)信息,可以獲得比單一深度模型更好的學(xué)習(xí)效果。
3) DW-SVM分類器結(jié)合了小波和D-SVM模型的優(yōu)點(diǎn),能夠刻畫數(shù)據(jù)的細(xì)節(jié),對數(shù)據(jù)的擬合率高,分類精度也相對較高。
然而,關(guān)于深度學(xué)習(xí)滾動(dòng)軸承故障診斷的研究文獻(xiàn)所使用的數(shù)據(jù)對于深度學(xué)習(xí)來說仍然十分不足,且數(shù)據(jù)中軸承故障的類型較少,對新型故障類型難以判別,今后需不斷收集相關(guān)數(shù)據(jù),以進(jìn)行更深入的研究。