基于棧式降噪自編碼的故障診斷

朱煜奇，黃雙喜，楊天祺，孫潔香

（1.清華大學(xué) 自動(dòng)化系，北京 100084；2.北京機(jī)械工業(yè)自動(dòng)化研究所，北京 100120）

基于棧式降噪自編碼的故障診斷

朱煜奇1，黃雙喜1，楊天祺1，孫潔香2

（1.清華大學(xué) 自動(dòng)化系，北京 100084；2.北京機(jī)械工業(yè)自動(dòng)化研究所，北京 100120）

提出一種基于棧式降噪自編碼網(wǎng)絡(luò)的故障診斷方法，把深度學(xué)習(xí)應(yīng)用于設(shè)備故障診斷。建立深層網(wǎng)絡(luò)模型，采取逐層貪婪編碼的方式進(jìn)行預(yù)訓(xùn)練，實(shí)現(xiàn)高維深層故障特征的自適應(yīng)提取和挖掘，再使用反向傳播算法對(duì)模型進(jìn)行監(jiān)督式微調(diào)。方法集成了特征提取和狀態(tài)分類兩大步驟，擺脫了傳統(tǒng)機(jī)器學(xué)習(xí)方法對(duì)人為提取樣本特征的依賴，并有效克服梯度消失、局部極值等問題。通過滾動(dòng)軸承數(shù)據(jù)實(shí)驗(yàn)，驗(yàn)證該方法對(duì)故障的識(shí)別能力和泛化能力。

故障診斷；棧式降噪自編碼；深度學(xué)習(xí)；滾動(dòng)軸承

0 引言

通過機(jī)器學(xué)習(xí)挖掘生產(chǎn)數(shù)據(jù)的內(nèi)在信息，可以實(shí)現(xiàn)基于狀態(tài)的設(shè)備維護(hù)。滾動(dòng)軸承作為制造設(shè)備變速機(jī)構(gòu)的重要組成部分，具備豐富的數(shù)據(jù)積累，以滾動(dòng)軸承為對(duì)象研究智能化的故障診斷方法具有一定的典型性和可推廣性。

傳統(tǒng)故障診斷可歸納為特征提取和狀態(tài)分類兩個(gè)步驟。傳統(tǒng)特征提取需經(jīng)過復(fù)雜的信號(hào)處理和多變量的主觀選擇，對(duì)診斷結(jié)果造成主觀影響。傳統(tǒng)機(jī)器學(xué)習(xí)分類算法面臨維數(shù)災(zāi)難、過擬合等問題，只能學(xué)習(xí)樣本的低維淺層特征，且缺少必要的泛化能力[1～3]。深度學(xué)習(xí)為克服上述問題提供了新思路。Hinton等提出無監(jiān)督預(yù)訓(xùn)練加后期微調(diào)的訓(xùn)練框架，使用自編碼網(wǎng)絡(luò)[4]和深度置信網(wǎng)絡(luò)[5]等模型，實(shí)現(xiàn)深度網(wǎng)絡(luò)結(jié)構(gòu)對(duì)高維抽象特征的提取，并以逐層貪婪的訓(xùn)練原則克服了多層網(wǎng)絡(luò)結(jié)構(gòu)的梯度消失和局部極值問題[5,6]。目前深度學(xué)習(xí)對(duì)工業(yè)生產(chǎn)數(shù)據(jù)的挖掘仍處于摸索階段，在設(shè)備維護(hù)和故障診斷領(lǐng)域有著廣闊的想象空間。

綜合上述背景，本文提出一種基于棧式降噪自編碼網(wǎng)絡(luò)的故障診斷方法，將深度學(xué)習(xí)應(yīng)用于設(shè)備故障診斷。該方法建立深層網(wǎng)絡(luò)模型，利用逐層貪婪編碼的方法實(shí)現(xiàn)高維深層故障特征的自適應(yīng)挖掘，顯著提升故障識(shí)別能力和泛化能力。相比傳統(tǒng)機(jī)器學(xué)習(xí)，該方法集成了特征提取和狀態(tài)分類兩大步驟，擺脫了人為提取樣本特征對(duì)經(jīng)驗(yàn)的依賴和復(fù)雜運(yùn)算，有效克服梯度消失、局部極值等問題，能夠適應(yīng)復(fù)雜的設(shè)備診斷需求。

1 基于棧式降噪自編碼的故障診斷

1.1 基本自編碼網(wǎng)絡(luò)

自編碼網(wǎng)絡(luò)（Autoencoder，AE）基本模型是一個(gè)三層前向網(wǎng)絡(luò)結(jié)構(gòu)，包括輸入層X，中間層（隱層）Y，輸出層Z，其中輸入層和輸出層維數(shù)相同，隱層維數(shù)較小，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。理解AE可以分編碼和解碼兩個(gè)階段，其核心思想是逼近一個(gè)恒等函數(shù)，在隱層實(shí)現(xiàn)降維的同時(shí)盡可能完整地保留特征信息[7]。

圖1 基本自編碼網(wǎng)絡(luò)

解碼階段，m維隱層向量y通過同樣的方式反向重構(gòu)為n維向量z，非線性解碼函數(shù)可以作如下表示：

經(jīng)過編碼和解碼兩個(gè)步驟，AE將x壓縮為y再重構(gòu)為z。由于維度m＜n，隱層表達(dá)向量y實(shí)現(xiàn)了對(duì)輸入特征的編碼和降維；由于保證重構(gòu)誤差最小化，可以認(rèn)為編碼向量y很好地保留了輸入向量x所包含的特征信息；最后，以重構(gòu)輸入向量為目標(biāo)的訓(xùn)練過程避免了人為添加樣本標(biāo)簽，減少了對(duì)主觀經(jīng)驗(yàn)的依賴，也更加適應(yīng)海量數(shù)據(jù)的應(yīng)用場(chǎng)景。綜上所述，AE模型可以非監(jiān)督、自適應(yīng)地實(shí)現(xiàn)樣本特征的提取和降維。

1.2 降噪自編碼網(wǎng)絡(luò)

在現(xiàn)實(shí)場(chǎng)景中，考慮到樣本的個(gè)體差異以及噪聲對(duì)樣本輸入的影響，同類樣本往往不會(huì)表現(xiàn)出嚴(yán)格相同的特征。這就需要分類器具備一定的魯棒性和泛化能力?；続E的訓(xùn)練直接以真實(shí)信號(hào)為輸入進(jìn)行編碼重構(gòu)，因此在面對(duì)噪聲干擾時(shí)可能因?yàn)檫^擬合而影響分類效果。

降噪自編碼網(wǎng)絡(luò)（DenoisingAutoencoder，DAE）通過人為向輸入端引入噪聲解決上述問題[7]，實(shí)踐中可以采用masknoise作為修正，即隨機(jī)造成輸入缺失（置0）。記經(jīng)過修正的輸入向量為x′，則DAE的原理可作如下表示：

在DAE的訓(xùn)練過程中，輸入向量x′是含有人為噪聲的信號(hào)，而重構(gòu)誤差L(x,z)表達(dá)了編碼向量y對(duì)真實(shí)信號(hào)x的重構(gòu)能力，如圖2所示。由此可見，DAE追求的是存在擾動(dòng)的情況下對(duì)真實(shí)信號(hào)的重構(gòu)能力，由此得到的特征表達(dá)具有更好的魯棒性和泛化能力。

圖2 降噪自編碼網(wǎng)絡(luò)

1.3 棧式堆疊和逐層貪婪訓(xùn)練

堆疊多個(gè)DAE可以得到深層神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)高維深層特征的提取[4]。當(dāng)訓(xùn)練完一個(gè)DAE單元后，編碼部分已經(jīng)可以實(shí)現(xiàn)輸入向量到隱層編碼的映射，因此只需保留編碼部分作為DAE訓(xùn)練結(jié)果。已知DAE各層輸入輸出都滿足歸一化要求，因此可以將一個(gè)DAE的隱層編碼向量作為另一個(gè)DAE的輸入，作進(jìn)一步的編碼和降維。記原始輸入樣本為x0，第i層DAE的編碼結(jié)果為xi，則各層DAE編碼可以表示為：

如此層層堆疊得到的模型稱為棧式降噪自編碼網(wǎng)絡(luò)（Stacked Denoising Autoencoder，SDAE），整體訓(xùn)練這樣的深層網(wǎng)絡(luò)會(huì)引起梯度消失，因此需要采用逐層貪婪的原則，對(duì)每一層DAE進(jìn)行單獨(dú)訓(xùn)練，并保證重構(gòu)誤差最小化。假設(shè)每一層DAE編碼都能實(shí)現(xiàn)比較好的重構(gòu)效果，則SDAE作為整體就能實(shí)現(xiàn)高維特征的深度提取和降維，如圖3所示。

1.4 分類器預(yù)訓(xùn)練和微調(diào)

在傳統(tǒng)機(jī)器學(xué)習(xí)的觀點(diǎn)中，從原始數(shù)據(jù)到實(shí)現(xiàn)分類需要經(jīng)過特征提取和狀態(tài)分類兩步，其中基于樣本的機(jī)器學(xué)習(xí)主要發(fā)生在狀態(tài)分類階段，特征提取被認(rèn)為是訓(xùn)練模型之前的預(yù)處理。而在本文給出的方法中，逐層貪婪訓(xùn)練同樣能實(shí)現(xiàn)樣本特征的提取和降維，區(qū)別在于SDAE訓(xùn)練會(huì)使用到樣本數(shù)據(jù)，所以這是一種自適應(yīng)的非監(jiān)督的預(yù)訓(xùn)練[4]。

在SDAE的輸出特征之后接上分類模型即可實(shí)現(xiàn)樣本分類。例如以softmax分類作為輸出，可以得到以獨(dú)熱編碼（One-Hot code）表示分類結(jié)果的分類器，如圖3所示。一個(gè)N分類的獨(dú)熱編碼可作如下表示：

圖3 SDAE分類器

基于逐層貪婪訓(xùn)練得到的分類器已經(jīng)能實(shí)現(xiàn)較為準(zhǔn)確的分類，但是逐層最優(yōu)并不能保證堆疊之后分類器整體最優(yōu)。此時(shí)如果有經(jīng)過分類標(biāo)簽的樣本數(shù)據(jù)，就可以采用BP等算法對(duì)整個(gè)分類器進(jìn)行監(jiān)督式訓(xùn)練，進(jìn)一步實(shí)現(xiàn)微調(diào)[4]。因?yàn)橛凶跃幋a預(yù)訓(xùn)練作為基礎(chǔ)，此時(shí)的BP訓(xùn)練有較好的初值作為基礎(chǔ)，不容易陷入局部極值。

1.5 基于深度學(xué)習(xí)的軸承故障診斷

將SDAE深度分類模型應(yīng)用于設(shè)備狀態(tài)識(shí)別，可以實(shí)現(xiàn)設(shè)備故障診斷。分析軸承故障通常采用振動(dòng)信號(hào)作為對(duì)象，既可以采取時(shí)域分析，也可轉(zhuǎn)換到頻域分析，經(jīng)試驗(yàn)頻域信號(hào)所體現(xiàn)的特征更為顯著，更加適合用作分類器輸入。傳統(tǒng)機(jī)器學(xué)習(xí)能處理的特征維數(shù)有限，需要將原始頻域序列轉(zhuǎn)換為少數(shù)中間變量或人為選取某些特征頻率；本文提出的SDAE方法可以從高維特征出發(fā)進(jìn)行工作狀態(tài)識(shí)別，因此可以直接采用頻譜序列作為分類器輸入，最大限度保留了樣本信息，提升診斷效果和泛化能力。綜上，構(gòu)建以軸承振動(dòng)信號(hào)頻譜序列為輸入、以獨(dú)熱分類編碼為輸出的SDAE分類器，可以實(shí)現(xiàn)基于深度學(xué)習(xí)的軸承故障診斷。

2 應(yīng)用實(shí)例

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文采用美國(guó)Case Western Reserve University軸承數(shù)據(jù)中心的故障數(shù)據(jù)[8]驗(yàn)證SDAE模型的診斷效果，以SKF6205-2RS滾動(dòng)軸承為對(duì)象，通過電火花加工在軸承的內(nèi)圈、滾動(dòng)體、外圈制造人為損傷，在電機(jī)箱體采集振動(dòng)加速度信號(hào)，研究不同的軸承故障模式下振動(dòng)數(shù)據(jù)的表現(xiàn)。統(tǒng)一選取1馬力負(fù)載、每分鐘1772轉(zhuǎn)、采樣頻率12kHz的驅(qū)動(dòng)端振動(dòng)信號(hào)作為依據(jù)，每500個(gè)采樣點(diǎn)作為一條樣本序列，選取正常狀態(tài)加9種故障模式共10個(gè)工作狀態(tài)，對(duì)每種狀態(tài)隨機(jī)選取3/4的樣本用作訓(xùn)練集，剩余1/4樣本用作測(cè)試集。表1描述了樣本數(shù)據(jù)信息。

2.2 診斷模型設(shè)計(jì)

根據(jù)前文描述的方法，將上述樣本經(jīng)過FFT變換為頻譜序列并歸一化，SDAE分類器以500維的頻譜序列作為輸入，10位獨(dú)熱分類編碼作為輸出。經(jīng)試驗(yàn)，本文設(shè)計(jì)5層SDAE模型，各層神經(jīng)元數(shù)量為：500-300-100-50-10，noising mask概率設(shè)為0.1。在預(yù)訓(xùn)練階段，逐層貪婪訓(xùn)練的迭代次數(shù)設(shè)置為3；在微調(diào)階段，采用BP算法進(jìn)行整體優(yōu)化，迭代次數(shù)設(shè)置為30。為減少隨機(jī)影響，重復(fù)進(jìn)行10次診斷試驗(yàn)，并結(jié)合其他經(jīng)典方法比較診斷效果。

表1 樣本數(shù)據(jù)集描述

2.3 實(shí)驗(yàn)結(jié)果

圖4展示了SDAE及其他分類模型對(duì)測(cè)試樣本的診斷結(jié)果。在設(shè)定的實(shí)例場(chǎng)景下，SDAE診斷模型可以準(zhǔn)確識(shí)別不同位置、不同程度的軸承故障，10次試驗(yàn)均能保證100%的正確率，體現(xiàn)出色的識(shí)別和泛化能力。

圖4 各模型診斷準(zhǔn)確率

對(duì)照試驗(yàn)中，經(jīng)典反向傳播網(wǎng)絡(luò)BP采用和SDAE相同的5層結(jié)構(gòu)但不采用逐層貪婪預(yù)訓(xùn)練，識(shí)別能力整體遜于SDAE模型，診斷正確率在25.23%～79.81%之間浮動(dòng)，性能十分不穩(wěn)定。PCA+SVM方法選取10個(gè)特征分量作為SVM輸入，最終診斷正確率只能保持在46%左右，但是相比BP方法穩(wěn)定很多。文獻(xiàn)[9]給出的EMD+SVM方法在特征提取方面做出改進(jìn)，能保證94.61%的平均正確率，具有較高的識(shí)別率，診斷結(jié)果也十分穩(wěn)定。相較而言，本文提出的SDAE方法能夠自適應(yīng)地挖掘故障特征，具有更強(qiáng)的診斷能力和泛化性能。

深入分析訓(xùn)練方法對(duì)診斷效果的影響。圖5具體展示第5次SDAE試驗(yàn)、第5次BP試驗(yàn)和第8次BP試驗(yàn)的訓(xùn)練迭代誤差曲線。SDAE以逐層貪婪訓(xùn)練避免了梯度消失，又通過非監(jiān)督預(yù)訓(xùn)練得到更為合理的迭代初值，表現(xiàn)出更為穩(wěn)定的診斷效果。BP方法面對(duì)深層網(wǎng)絡(luò)會(huì)出現(xiàn)梯度消失陷入局部極值，迭代結(jié)果受隨機(jī)初值影響，故診斷效果不穩(wěn)定。

圖5 各模型診斷準(zhǔn)確率

深入分析特征提取對(duì)診斷效果的影響。對(duì)樣本進(jìn)行聚類并投影到以特征向量為坐標(biāo)的空間中，可以觀察所選特征對(duì)樣本的區(qū)分能力。圖6描述原始信號(hào)經(jīng)三層DAE挖掘得到的特征，可見同一故障模式下的樣本較好地聚集在一起，能比較明顯地區(qū)分不同狀態(tài)下的樣本。圖7描述PCA對(duì)樣本特征的提取，結(jié)果表明同類樣本能實(shí)現(xiàn)一定程度的聚集，但不同故障模式下的樣本有比較嚴(yán)重的重疊。這是因?yàn)楦呔S特征向低維空間投影的過程中損失了大量的特征信息，導(dǎo)致某些相似狀態(tài)不能得到很好地區(qū)分，最終影響診斷效果。

3 結(jié)論

本文提出一種基于棧式降噪自編碼網(wǎng)絡(luò)的故障診斷方法，將深度學(xué)習(xí)應(yīng)用于設(shè)備故障診斷，通過實(shí)驗(yàn)證明了方法的有效性，結(jié)果表明：

1）所提出的方法能實(shí)現(xiàn)故障特征的自適應(yīng)提取和降維，擺脫了對(duì)專家診斷經(jīng)驗(yàn)和復(fù)雜信號(hào)處理的依賴，成功實(shí)現(xiàn)特征提取和狀態(tài)分類兩大步驟的集成；

圖6 SDAE特征可視化

圖7 PCA特征可視化

2）所提出的的方法成功利用深層神經(jīng)網(wǎng)絡(luò)挖掘高維樣本特征，遵循逐層貪婪訓(xùn)練和預(yù)訓(xùn)練加微調(diào)的方式，有效克服傳統(tǒng)機(jī)器學(xué)習(xí)面臨的梯度消失和局部極值問題，顯著提升故障識(shí)別效果和泛化能力；

3）以滾動(dòng)軸承故障診斷為例驗(yàn)證所提出的的方法，對(duì)照傳統(tǒng)機(jī)器學(xué)習(xí)診斷方法進(jìn)行，證明了該方法的有效性。

[1] Bengio Y, Goodfellow I J,Courville A. Deep learning[J]. Nature, 2015,521:436-444.

[2] LeCun Y,Bengio Y, Hinton G. Deep learning[J].Nature, 2015, 521(7553):436-444.

[3] Bengio Y. Learning deep architectures for AI[J].Foundations and trends? in Machine Learning,2009,2(1):1-127.

[4] Hinton G E, Salakhutdinov R R.Reducing the Dimensionality of Data with Neural Networks[J].Science, 2006,313(5786):504.

[5] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets.[J].Neural Computation,1989,18(7):1527-1554.

[6] Bengio Y, Lamblin P, Popovici D,et al.Greedy layer-wise trainingof deep networks[C].Advances in Neural Information Processing Systems 19, Proceedings of the Twentieth Conference on Neural Information Processing Systems,Vancouver,British Columbia, Canada, December. DBLP,2007:153-160.

[7] Vincent P,Larochelle H,Bengio Y, et al.Extracting and composing robust features with denoisingautoencoders[C].International Conference.2008:1096-1103.

[8] Bearing data center.Case Western Reserve University[EB/ OL].[2016-12-31].Available: http://csegroups.case.edu/ bearingdatacenter/pages/download-data-file.

[9] 胡榮華,樓佩煌,唐敦兵,劉明燈.基于EMD和免疫參數(shù)自適應(yīng)SVM的滾動(dòng)軸承故障診斷[J].計(jì)算機(jī)集成制造系統(tǒng),2013,(02):438-447.

Fault diagnosis based on stacked denoising autoencoder

ZHU Yu-qi1, HUANG Shuang-xi1, YANG Tian-qi1, SUN Jie-xiang2

TP206+.3

A

1009-0134(2017)03-0152-04

2016-11-20

國(guó)家高技術(shù)研究發(fā)展計(jì)劃項(xiàng)目（2015AA043702）

朱煜奇（1992 -），男，上海人，碩士研究生，主要從事企業(yè)信息化與集成研究。