基于改進(jìn)深度學(xué)習(xí)混合網(wǎng)絡(luò)與小波分析的電機(jī)故障診斷方法

李志軍 陳偉根 周 湶 宗起振 盧應(yīng)強(qiáng)

(1.重慶大學(xué) 輸配電裝備及系統(tǒng)安全與新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室,重慶 400044;2.江蘇國電南自海吉科技有限公司,南京 211153)

電機(jī)作為現(xiàn)代工業(yè)的主要能源動力設(shè)備,在電力系統(tǒng)、動力系統(tǒng)中都發(fā)揮著不可代替的作用.如果電機(jī)發(fā)生故障,就會對電力系統(tǒng)造成巨大的損失.因此,對電力可靠性而言,不斷優(yōu)化電機(jī)故障模式診斷的方法具有重要意義[1].

近年來,機(jī)器學(xué)習(xí)算法在電機(jī)故障診斷中的應(yīng)用愈加受到重視.文獻(xiàn)[2-4]分別將小波和支持向量機(jī)相結(jié)合、支持向量機(jī)融合多傳感器信號、基于神經(jīng)網(wǎng)絡(luò)的方法用于電機(jī)故障診斷,并取得了一定的效果.但這些傳統(tǒng)淺層學(xué)習(xí)算法存在網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)難以確定、收斂速度慢、容易陷入局部極小等問題,從而導(dǎo)致機(jī)器學(xué)習(xí)性能的降低與附加特征提取量的增加.與傳統(tǒng)淺層學(xué)習(xí)算法不同,深度學(xué)習(xí)算法有多隱層結(jié)構(gòu),自上而下地對樣本數(shù)據(jù)進(jìn)行逐層學(xué)習(xí)并對特征量進(jìn)行提取,可以更好逼近原始特征的非線性表示[5-6].深度學(xué)習(xí)理論自提出以來,被廣泛應(yīng)用于語音識別、目標(biāo)識別、語言處理等方面,但在電機(jī)故障診斷的應(yīng)用上尚不成熟[7].基于深度學(xué)習(xí)混合網(wǎng)絡(luò)(DLHN)算法的電機(jī)診斷方法可以解決自編碼網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確度低,深度受限玻爾茲曼機(jī)訓(xùn)練效率低的問題,但仍存在網(wǎng)絡(luò)魯棒性有待提高,噪聲對訓(xùn)練影響較大的問題.

針對以上問題,本文將改進(jìn)的深度學(xué)習(xí)混合網(wǎng)絡(luò)與小波分析用于電機(jī)的故障診斷中.本文提出的改進(jìn)深度混合網(wǎng)絡(luò)(IDHN)算法在傳統(tǒng)深度學(xué)習(xí)混合網(wǎng)絡(luò)(DLHN)算法的基礎(chǔ)上進(jìn)行了改進(jìn):為了最小化損失,降低噪聲影響,將傳統(tǒng)的自動編碼器改用降噪自動編碼器(DAE),從而增強(qiáng)魯棒性;為了更好地重構(gòu)提取輸入信號的信息,將傳統(tǒng)的受限玻爾茲曼機(jī)(RBM)層改用高斯伯努利受限玻爾茲曼機(jī)(GRMB),以此提高模型準(zhǔn)確度.并基于實(shí)例研究,兼顧訓(xùn)練時(shí)間和準(zhǔn)確度,選取了最合理的隱藏層參數(shù)與訓(xùn)練樣本集.結(jié)果表明:與其他淺層算法與傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)相比,本文提出的方法能較好地提高電機(jī)故障診斷的可靠性和準(zhǔn)確率.

1 深度學(xué)習(xí)基本模型

2006年Hinton在研究中指出:增加網(wǎng)絡(luò)層數(shù)量可有效提高特征學(xué)習(xí)能力,采用無監(jiān)督逐層訓(xùn)練方法可實(shí)現(xiàn)多隱層網(wǎng)絡(luò)模型構(gòu)建,深度學(xué)習(xí)理論自此被提出[5].輸入層、多個(gè)隱藏層和輸出層共同構(gòu)建了深度學(xué)習(xí)模型.同時(shí),該層中的節(jié)點(diǎn)是獨(dú)立且互連的.其框架主要包括堆棧自動編碼器(AE)模型、受限玻爾茲曼機(jī)(RBM)、深度置信網(wǎng)絡(luò)(DBN)模型等[5-6].

1.1 自動編碼器

自動編碼器(AE)可以視為有相同神經(jīng)元個(gè)數(shù)的輸入層與輸出層的3層神經(jīng)網(wǎng)絡(luò),如圖1所示.

圖1 自動編碼器

圖1中,輸入層到隱含層的變換過程為編碼過程;相反,隱含層到輸出層的變換過程為解碼過程.記f(x)和g(x)分別為編碼函數(shù)和解碼函數(shù),其過程可表示為公式(1)～(2):

式中:S f和S g通常取為sigmoid函數(shù);隱藏層與輸入層間的權(quán)值矩陣表示為W;輸出層與隱藏層間的權(quán)值矩陣表示為WT;b表示隱藏層的偏置向量;b′表示輸出層的偏置向量.

編碼器通過正向傳導(dǎo)操作將原始輸入轉(zhuǎn)換為中間變量代碼code,即原始信息的特征表示.然后將code作為解碼器的輸入以獲得輸出.利用輸出和原始輸入之間的殘差,權(quán)重和偏差將通過梯度下降算法進(jìn)行更新,直到收斂為止,從而使輸出和輸入盡可能接近.

1.2 受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)(RBM)是由隱性層和顯性層共同構(gòu)成.隱性神經(jīng)元組成的隱性層用來接收輸入數(shù)據(jù),顯性神經(jīng)元組成的顯性層用來提取高級特征.RBM 各層之間節(jié)點(diǎn)保持連接,層中的節(jié)點(diǎn)保持不連接.使用隨機(jī)的1或0表示該神經(jīng)元處于激活狀態(tài)或非激活狀態(tài),并且該狀態(tài)由能量概率統(tǒng)計(jì)確定.如果RBM 具有n個(gè)顯式元素和m個(gè)隱藏元素,定義可見層偏置向量為a={a1,a2,…,a n},隱藏層偏置向量為b={b1,b2,…,b m},連接權(quán)重向量為w={w11,w12,…,w nm},則θ={w,a,b}可以表示RBM 的參數(shù).

該能量函數(shù)可以表示為式(3):

其中:v i表示第i個(gè)顯元狀態(tài);a i表示第i個(gè)隱元偏置;v={v1,v2,…,v n}表示顯層狀態(tài);h j表示第j個(gè)隱元狀態(tài);b j表示第j個(gè)隱元偏置;h={h1,h2,…,h n}表示隱層狀態(tài);w ij表示第i個(gè)顯元與第j個(gè)隱元的連接權(quán)重.

利用能量函數(shù)求得狀態(tài)(v,h)的聯(lián)合概率分布,見公式(4)～(5):

其中:Zθ為歸一化因子.

RBM 結(jié)構(gòu)表示如圖2所示.RBM 通過極大化似然估計(jì)來逼近真實(shí)的聯(lián)合概率分布,通過更新層之間的權(quán)重和神經(jīng)元之間的偏差來模擬給定的訓(xùn)練樣本.當(dāng)已知可見層v的分布時(shí),RBM 可以通過式(6)來得出隱藏層的節(jié)點(diǎn)概率,并進(jìn)一步得到隱藏層h.

圖2 受限玻爾茲曼機(jī)結(jié)構(gòu)圖

而當(dāng)已知隱藏層h時(shí),同樣可以獲得P(h|v),并進(jìn)一步采樣獲得可見層v′.重復(fù)上述過程,直到v′盡可能接近v.

1.3 深度學(xué)習(xí)混合網(wǎng)絡(luò)模型

深度學(xué)習(xí)混合網(wǎng)絡(luò)(DLHN)由若干層AE 層和RMB層堆疊組成,并在最后添加一層Softmax輸出分類層.在底層使用自動編碼器以有效提高網(wǎng)絡(luò)的訓(xùn)練效率,有限的玻爾茲曼機(jī)由于其自然概率生成模型而被用于中間層,分類層采用Softmax分類器.隱藏層將幾個(gè)AE層和RBM 層進(jìn)行堆疊混合,有效地結(jié)合了AE和RBM 的效率和高準(zhǔn)確度,以此提高診斷性能和效率.

2 改進(jìn)的深度學(xué)習(xí)混合網(wǎng)絡(luò)模型

2.1 改進(jìn)的深度學(xué)習(xí)混合網(wǎng)絡(luò)原理

雖然深度學(xué)習(xí)混合網(wǎng)絡(luò)(DLHN)方法可以解決自編碼網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確率低,深度受限玻爾茲曼機(jī)訓(xùn)練效率低的問題,但傳統(tǒng)的深度學(xué)習(xí)混合網(wǎng)絡(luò)魯棒性有待提高,噪聲對訓(xùn)練影響較大[7-9].為了進(jìn)一步提高DLHN 在電機(jī)故障診斷中的性能與準(zhǔn)確度,提出了改進(jìn)的深度混合網(wǎng)絡(luò)算法(IDHN).本文提出的IDHN 對傳統(tǒng)的DLHN 進(jìn)行了改進(jìn):為了最小化損失,降低噪聲影響,傳統(tǒng)的自動編碼器改用降噪自動編碼器(DAE),以此提高魯棒性;為了更好地重構(gòu)提取輸入信號的信息,傳統(tǒng)的RBM 層改用高斯伯努利受限玻爾茲曼機(jī)(GRMB)[10],使用概率實(shí)數(shù)值作為輸入,可以更加有效地重構(gòu)和復(fù)現(xiàn)輸入信號中的有用信息,進(jìn)一步降低噪聲的影響和特征提取,得到良好的初始化參數(shù),有效防止局部最優(yōu)問題,以此提高模型準(zhǔn)確度;Softmax分類器保持不變.如圖3所示.

圖3 改進(jìn)的深度學(xué)習(xí)混合網(wǎng)絡(luò)圖

與深度學(xué)習(xí)混合網(wǎng)絡(luò)相同,改進(jìn)后的方法也通過無監(jiān)督的預(yù)訓(xùn)練和有監(jiān)督的微調(diào)來訓(xùn)練整個(gè)網(wǎng)絡(luò).在預(yù)訓(xùn)練中,使用去標(biāo)簽樣本逐層訓(xùn)練所有DAE 和GRMB,以獲得相對更好的一組初始化參數(shù).然后使用有標(biāo)簽的數(shù)據(jù)進(jìn)一步優(yōu)化網(wǎng)絡(luò)的參數(shù),通過BP算法進(jìn)行微調(diào)提高分類的準(zhǔn)確性.

2.2 DAE層的訓(xùn)練過程

相比AE層,該模型使用DAE 的訓(xùn)練目標(biāo)是為了降低噪聲的影響,使學(xué)習(xí)的編碼器有更好的魯棒性,并提取輸入樣本的特征數(shù)據(jù).訓(xùn)練時(shí)使用無監(jiān)督的方法,讓輸出盡可能地復(fù)現(xiàn)輸入數(shù)據(jù),并使初始化參數(shù)θ更加優(yōu)越.相比于上文提到的AE 層,DAE 首先將原始輸入隨機(jī)擦除,實(shí)際輸入采用由輸入向量x更改為的x′,隱藏層的壓縮特征由公式(6)求得,并將原始未污染樣本信息x通過式(7)進(jìn)行重構(gòu),式(8)為重構(gòu)后的誤差公式.

其中:η為學(xué)習(xí)率;n為訓(xùn)練樣本的數(shù)量.

2.3 GRBM 層的訓(xùn)練過程

相比RBM 層,IDHN 算法使用GRBM 層是為了進(jìn)一步減少噪聲對特征提取的影響,防止局部最優(yōu),從而提高網(wǎng)絡(luò)的準(zhǔn)確率.GRBM 層的訓(xùn)練也通過無監(jiān)督的方法,輸入概率實(shí)值,以便對輸入信號的有用信息進(jìn)行提取重構(gòu).當(dāng)輸入數(shù)據(jù)通過DAE 層的特征提取時(shí),GRBM 將執(zhí)行進(jìn)一步的特征提取.通過公式(11),隱藏層每個(gè)節(jié)點(diǎn)的概率可以根據(jù)可見層v的分布進(jìn)行計(jì)算,并從中得出隱藏層的分布h.然后通過公式(12)計(jì)算可見層中所有節(jié)點(diǎn)的概率P(h j=1|h),并對可見層v完成采樣.

其中:S是sigmoid函數(shù);N為正態(tài)分布函數(shù),σ=1,為方差.

GRMB 使用對比散度算法進(jìn)行訓(xùn)練.按公式(13)～(15)對θ更新:

其中:〈·〉data為正階段的狀態(tài)數(shù)據(jù);〈·〉recon為重構(gòu)后的模型狀態(tài)分布.

3 基于IDHN 與小波分析的電機(jī)故障診斷

3.1 基于IDHN 的電機(jī)故障診斷步驟

基于IDHN 的電機(jī)故障診斷方法步驟如下:

1)對電機(jī)振動的樣本數(shù)據(jù)集進(jìn)行預(yù)處理歸一化,并完成狀態(tài)編碼;

2)設(shè)置網(wǎng)絡(luò)層數(shù)、神經(jīng)元參量、學(xué)習(xí)率,初始化模型權(quán)重W、偏置向量b;

3)利用無標(biāo)簽數(shù)據(jù)訓(xùn)練第一個(gè)DAE 層,不斷優(yōu)化參數(shù)W與b,并將上一層輸出作為下一層輸入;

4)重復(fù)步驟3),逐層訓(xùn)練DAE 層與GRBM 等,完成模型的預(yù)訓(xùn)練;

5)通過反向傳播算法進(jìn)一步進(jìn)行參數(shù)的優(yōu)化,通過有標(biāo)簽的數(shù)據(jù)進(jìn)行微調(diào);

6)在Softmax層進(jìn)行分類,對比故障診斷的輸出值與標(biāo)簽值,識別準(zhǔn)確率后進(jìn)行保存.

流程圖如圖4所示.

圖4 基于IDHN 的電機(jī)故障診斷流程圖

3.2 小波分析的特征量提取及狀態(tài)編碼

基于IDHN 與小波分析的電機(jī)故障診斷需要一定量的訓(xùn)練樣本,為了避免樣本單一或數(shù)據(jù)偏移,采集樣本需要多個(gè)型號相同的故障電機(jī),記錄前后一段時(shí)間的正常與故障數(shù)據(jù)的振動信號.目前,輸入的特征信號多采用傅里葉變換對噪聲信號分析.但針對實(shí)際電機(jī)振動診斷信號中可能包含的早期微弱信號與大量的非平穩(wěn)信號,傳統(tǒng)FFT 頻譜分析難以給出比較滿意的結(jié)果[11-13].

本文采用小波分析的方法對振動信號提取特征參量,分別對在正常狀態(tài)、轉(zhuǎn)子不對中狀態(tài)、軸承碰摩狀態(tài)下的振動信號進(jìn)行3層小波包分解.提取的小波包分解信號頻率分別為S0,S1,S2,S3,S4,S5,S6,S7.原始振動信號中的最低頻率記為0,最高頻率記為f,S0～S7分別代表0～0.125f,0.125f～0.25f,0.25f～0.375f,0.375f～0.5f,0.5f～0.625f,0.625f～0.75f,0.75f～0.875f,0.875f～f.將頻帶信號總能量作為特征數(shù)據(jù),如公式(16)所示,求各頻帶信號的總能量.

選取正常、轉(zhuǎn)子不對中、軸承碰摩3類電機(jī)狀態(tài)作為本次診斷的輸出類型,采用編碼法對上述故障狀態(tài)進(jìn)行編碼,具體見表1.

表1 電機(jī)故障狀態(tài)編碼

3.3 基于IDHN與小波分析電機(jī)故障診斷模型的實(shí)現(xiàn)

基于某電廠的電機(jī)運(yùn)行歷史數(shù)據(jù)庫,從中提取500組數(shù)據(jù)對該方法進(jìn)行校驗(yàn).其中訓(xùn)練樣本數(shù)據(jù)選其中的350組,另外的150組用作測試樣本數(shù)據(jù).不同狀態(tài)下的樣本數(shù)據(jù)組成見表2,其中典型的樣本數(shù)據(jù)見表3.

表3 電機(jī)狀態(tài)典型樣本數(shù)據(jù)

將經(jīng)3層小波包分解后的振動信號的8個(gè)頻帶信號總能量作為輸入,DAE 層和GRBM 層進(jìn)行輸入樣本特征信號的處理提取,最后經(jīng)Softmax層進(jìn)行判別分類,輸出診斷后的3種電機(jī)狀態(tài),如圖5所示.

圖5 基于IDHN 的電機(jī)故障診斷模型

隱藏層數(shù)目是影響收斂時(shí)間的一個(gè)重要因素,訓(xùn)練時(shí)間與隱藏層數(shù)目呈正相關(guān)關(guān)系,隱藏層數(shù)目越多,訓(xùn)練時(shí)間也將會隨之增加.為了保證診斷的準(zhǔn)確率,盡可能減少收斂時(shí)間,選擇較為合理的隱藏層數(shù)目,對不同隱藏層下的診斷準(zhǔn)確率進(jìn)行了計(jì)算.基于采集的350組樣本訓(xùn)練數(shù)據(jù),將預(yù)訓(xùn)練學(xué)習(xí)速率調(diào)為0.1、迭代次數(shù)調(diào)為250次,在0～1之間隨機(jī)對權(quán)重W與偏向向量進(jìn)行取值,將隱藏層數(shù)目從1依次取到8,對模型進(jìn)行訓(xùn)練后的診斷準(zhǔn)確率如圖6所示.

圖6 不同隱藏層數(shù)目的準(zhǔn)確率

從結(jié)果可以看出,診斷準(zhǔn)確率隨著隱藏層數(shù)目的提高是逐漸增加的.在隱藏層數(shù)目增加小于4前,診斷準(zhǔn)確率迅速上升;當(dāng)隱藏層數(shù)目大于4后,準(zhǔn)確率趨于平穩(wěn).綜合考慮到訓(xùn)練時(shí)間和準(zhǔn)確率,將本次診斷模型的隱藏?cái)?shù)目確定為4.

為了驗(yàn)證本方法的優(yōu)越性,將本次診斷與基于向量機(jī)、BP算法、傳統(tǒng)深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行了比較,最終診斷結(jié)果見表4.

表4 不同方法的診斷結(jié)果

不同方法下不同數(shù)量樣本訓(xùn)練后的準(zhǔn)確率如圖7所示.

圖7 不同數(shù)量樣本訓(xùn)練后的準(zhǔn)確率

上述比較結(jié)果表明,基于IDHN 與小波分析的診斷方法在訓(xùn)練集較小時(shí)就可以獲得較好的性能.隨著訓(xùn)練樣本集的增加,該方法的診斷準(zhǔn)確率基本呈上升趨勢,并且當(dāng)訓(xùn)練樣本集大于350之后,其診斷準(zhǔn)確率的增加不再明顯,準(zhǔn)確率可高達(dá)98.5%.該方法在保證診斷準(zhǔn)確率的前提下,所需的訓(xùn)練樣本越小,則該方法越具有可操作與可推廣性.相比較淺層機(jī)器算法和傳統(tǒng)的深度學(xué)習(xí)算法,在相同的訓(xùn)練樣本集下,本文提出的電機(jī)故障診斷算法診斷準(zhǔn)確率最高,具有更高的可靠性.

4 結(jié) 論

本文將深度學(xué)習(xí)混合網(wǎng)絡(luò)與小波分析用于電機(jī)的故障診斷中,同時(shí)針對深度學(xué)習(xí)混合網(wǎng)絡(luò)魯棒性有待提高、噪聲對訓(xùn)練影響較大的問題,對深度學(xué)習(xí)混合網(wǎng)絡(luò)做出了改進(jìn),提出了一種基于改進(jìn)深度學(xué)習(xí)混合網(wǎng)絡(luò)與小波分析的電機(jī)故障診斷方法.主要結(jié)論如下:

1)基于改進(jìn)的深度學(xué)習(xí)混合網(wǎng)絡(luò)與小波分析電機(jī)故障診斷模型的隱藏層取4時(shí),可以在保證準(zhǔn)確率的前提下,盡量減少收斂時(shí)間.該方法在訓(xùn)練集較小時(shí)就有較好的性能,當(dāng)訓(xùn)練樣本大于350時(shí),就可以獲得較高的診斷準(zhǔn)確率.

2)基于改進(jìn)的深度學(xué)習(xí)混合網(wǎng)絡(luò)與小波分析電機(jī)故障診斷方法,魯棒性與抗噪聲能力強(qiáng),診斷模型構(gòu)建精度較高.相比較淺層機(jī)器算法和傳統(tǒng)的深度學(xué)習(xí)算法,可以明顯地提高診斷準(zhǔn)確率.