一種面向深度信念網(wǎng)絡(luò)的故障診斷加速方法

宋旭東，楊杰，陳藝琳

(大連交通大學(xué) 計算機與通信工程學(xué)院，遼寧 大連 116028)

隨著新型傳感技術(shù)和智能制造的發(fā)展，現(xiàn)代機械設(shè)備可以實時采集到大量的反應(yīng)機械運行狀態(tài)的數(shù)據(jù)，利用這些實時采集的狀態(tài)數(shù)據(jù)和基于數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)方法等人工智能方法可以有效對機械設(shè)備運行狀態(tài)及其故障進行診斷.由于可能存在的設(shè)備故障呈現(xiàn)出多源異構(gòu)性、海量性、多樣性等特點，對于故障診斷的魯棒性、實時性、泛化能力等方面提出了更高要求.大量實驗表明，與傳統(tǒng)機器學(xué)習(xí)方法相比，深度學(xué)習(xí)(Deep Learning，DL)具有更強大的特征提取、數(shù)據(jù)壓縮、故障分類等能力，而且不需要過多的專業(yè)知識和人工干預(yù)，最大程度地減小了故障診斷的難度.近些年來的研究成果表明，以深度學(xué)習(xí)為代表的故障識別技術(shù)，極大豐富了故障診斷的技術(shù)，進而保證機械設(shè)備的正常運行[1-2].

深度信念網(wǎng)絡(luò)(Deep Belief Network，DBN)是深度學(xué)習(xí)中最為代表的一類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，它是在受限玻爾茲曼機(Restricted Boltzmann Machines，RBM)的基礎(chǔ)上設(shè)計出的一種無監(jiān)督逐層訓(xùn)練算法，能夠?qū)崿F(xiàn)數(shù)據(jù)特征的有效表達(dá)，有效實現(xiàn)模式識別[3-4].DBN具有兩個很大的優(yōu)點，它們很有吸引力并且適用于故障診斷.首先，DBN可以近似任何連續(xù)函數(shù)，可用于建模和控制多變量非線性系統(tǒng)[5-8].其次，DBN是非參數(shù)數(shù)據(jù)驅(qū)動的模型，它不需要對生成數(shù)據(jù)的基礎(chǔ)過程進行限制性假設(shè).因此，DBN可以準(zhǔn)確有效地識別振動信號,判斷滾動軸承早期的故障特征[9-10].

雖然現(xiàn)有的各種深度信念網(wǎng)絡(luò)學(xué)習(xí)模型可以通過大量的訓(xùn)練得到有效的故障診斷結(jié)果，但是許多計算模型在進行訓(xùn)練時具有計算復(fù)雜度高、訓(xùn)練時間長等問題.現(xiàn)有的解決該問題的方法一般是特征提取或者數(shù)據(jù)降維等數(shù)據(jù)預(yù)處理方法，但這種方法本質(zhì)上是通過減縮數(shù)據(jù)量來達(dá)到效率提升的目的，這種方法在數(shù)據(jù)減縮的同時也同樣會存在部分?jǐn)?shù)據(jù)特征的丟失，進而影響故障診斷的準(zhǔn)確率.本文提出一種通過修改模型本身的損失函數(shù)來減少計算量、加快訓(xùn)練、提升效率的方法，同時提出的方法不會降低故障診斷的準(zhǔn)確率.

1 深度信念網(wǎng)絡(luò)模型

深度信念網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，它是一種概率生成模型，由多個受限玻爾茲曼機RBM堆疊而成.網(wǎng)絡(luò)模型結(jié)構(gòu)的最下層是輸入層，最上層是輸出層.從輸入層到輸出層，可包括多個相鄰層的RBM層和一個BP層.

圖1 深度信念網(wǎng)絡(luò)模型結(jié)構(gòu)

深度信念網(wǎng)絡(luò)模型訓(xùn)練過程包含兩部分：一是使用貪心無監(jiān)督方法逐層構(gòu)建網(wǎng)絡(luò)，由低層到高層的前向RBM逐層學(xué)習(xí)；二是基于反向傳播的BP層監(jiān)督學(xué)習(xí)，在BP層完成后向微調(diào)學(xué)習(xí).

2 提出的故障診斷加速方法

為加速深度信念網(wǎng)絡(luò)模型訓(xùn)練，本文構(gòu)造的指數(shù)損失函數(shù)如下：

(1)

這里，選用均方誤差損失函數(shù)作為基本損失函數(shù)，式中Y是標(biāo)簽，DN是輸出層的節(jié)點個數(shù)，hN是模型的輸出.

用于深度信念網(wǎng)絡(luò)模型訓(xùn)練的代價函數(shù)的梯度計算可表示如下：

(2)

由此，本文構(gòu)造的新代價函數(shù)可以獲得更大的梯度來達(dá)到加速模型訓(xùn)練速度的效果.

提出的新的深度信念網(wǎng)絡(luò)故障診斷加速模型訓(xùn)練的流程如下：

輸入：數(shù)據(jù)集X，標(biāo)簽集Y

隱藏層h，層數(shù)N，每一層的單元個數(shù)D1,D2,…，DN,迭代次數(shù)Q1,Q2

參數(shù)空間W={w1,w2,…,wN},偏置a、b,沖量θ，學(xué)習(xí)率η

標(biāo)注數(shù)據(jù)的個數(shù)L，未標(biāo)注數(shù)據(jù)的個數(shù)U

輸出：包含訓(xùn)練后參數(shù)空間的DBN網(wǎng)絡(luò)

處理：

(1)使用貪心無監(jiān)督方法逐層構(gòu)建網(wǎng)絡(luò)

fork=1;k

fori=1;i

forj=1;j

計算非線性正向和反向狀態(tài)

CD算法更新權(quán)重和偏置

(2)基于反向傳播的監(jiān)督學(xué)習(xí)

計算代價函數(shù)并反向微調(diào)網(wǎng)絡(luò)參數(shù)以尋找模型最優(yōu)解

fori=1;i

損失函數(shù)：

目標(biāo)函數(shù)：

θ*=arg minθL(f(X;θ))

NAG算法更新權(quán)重：

3 實驗驗證

為驗證本文提出的故障診斷加速方法，選用美國凱斯西儲大學(xué)提供的軸承故障數(shù)據(jù)集[11].該數(shù)據(jù)集是世界公認(rèn)的軸承故障診斷標(biāo)準(zhǔn)數(shù)據(jù)集.提供的數(shù)據(jù)集包括了正常、滾動體、內(nèi)圈和外圈等4種不同軸承部位狀態(tài)；對于不同部位又分別提供了0.018、0.036和0.053 mm三種直徑尺寸故障；同時包括四種工 作 負(fù) 載1、2和3hp， 轉(zhuǎn)速為C=1 797、1 772、1 750、1 730 r/min.

為了便于提高訓(xùn)練速度和分類精度，對每段信號均做標(biāo)準(zhǔn)歸一化處理，標(biāo)準(zhǔn)歸一化處理如式(3)所示：

NewX=(X-mean)/std

(3)

式中,X為信號數(shù)據(jù)集，mean為其均值，std為其標(biāo)準(zhǔn)差.NewX是得到的標(biāo)準(zhǔn)歸一化數(shù)據(jù)，其均值為0，標(biāo)準(zhǔn)差為1，符合標(biāo)準(zhǔn)正態(tài)分布.

本文實驗是基于Python語言，采用以WTensorFlow為底層代碼實現(xiàn)，計算機硬件基本配置為i7-8750H處理器，8GB內(nèi)存，Windows系統(tǒng).

3.1 加速前后故障診斷對比實驗

設(shè)定輸入端節(jié)點數(shù)為800，為了便于學(xué)習(xí)和減少計算量，本文使用的兩層隱藏層節(jié)點數(shù)為500、500，輸出端為10.小批量mini-batch的大小設(shè)置為50，學(xué)習(xí)因子設(shè)置為0.01，每個RBM的預(yù)訓(xùn)練次數(shù)為2.使用動量(Momentum)的隨機梯度下降法加速訓(xùn)練過程，動量因子設(shè)置為0.9.對于數(shù)據(jù)集A、B和C，訓(xùn)練次數(shù)上限15 000次.由于神經(jīng)網(wǎng)絡(luò)的初值是隨機的，為了驗證每次訓(xùn)練結(jié)果的可靠性，對于每個數(shù)據(jù)集，多次測試，取其最接近平均值的單次訓(xùn)練作對比，如圖2所示.

圖2 加速前后故障診斷模型訓(xùn)練過程對比圖

從圖中可以看出，改進后的模型具有明顯的加速效果，使用更少的訓(xùn)練次數(shù)就可以到達(dá)很高的分類準(zhǔn)確率.并且因為計算復(fù)雜度與迭代次數(shù)成正比，實際模型獲得穩(wěn)定的故障診斷結(jié)果所需的訓(xùn)練時間不到改進前模型所需時間的一半.并且加速后的模型在整個訓(xùn)練過程中訓(xùn)練集和測試集的最大差值不超過0.035，具有良好的泛化能力.

圖3 改進前故障診斷模型訓(xùn)練過程可視化圖

圖4 改進后故障診斷模型訓(xùn)練過程可視化圖

3.2 加速前后故障診斷的可視化分析

為了更好地理解訓(xùn)練數(shù)據(jù)的效果，本文利用T-sne可視化技術(shù)展示部分實驗結(jié)果.圖3、圖4顯示了由迭代次數(shù)下的訓(xùn)練樣本訓(xùn)練的DBN模型中測試樣本的最后一個隱藏層表示.

從圖3、圖4可以看出，大約在迭代1 800次左右，改進后的模型就可以達(dá)到穩(wěn)定的高分類正確率，而原始模型需要大約迭代4 000次才能得到穩(wěn)定的高分類正確率.在不同的迭代次數(shù)下，改進后的模型可以更快地獲得明顯的區(qū)分、更好的故障診斷準(zhǔn)確率，這使得模型可以更快地得到很好的診斷故障類別.

4 結(jié)論

本文提出了一種面向深度信念網(wǎng)絡(luò)故障診斷加速方法，通過模型實驗表明提出的DBN故障診斷加速方法的實驗結(jié)果十分穩(wěn)定，均能在迭代2 000次以內(nèi)獲得最大的分類準(zhǔn)確率.比原有效果提升了一半以上的效率.并且分類結(jié)果清晰，不同的故障診斷類型間具有較大的分類間隔，不容易出現(xiàn)誤判.實驗說明了本文提出的模型訓(xùn)練加速方法具有更快、更強的尋優(yōu)能力，具有一定實際意義和應(yīng)用價值.