動(dòng)態(tài)自適應(yīng)學(xué)習(xí)率優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)軸承故障診斷方法

高淑芝，裴志明，張義民

（1.沈陽化工大學(xué)裝備可靠性研究所，遼寧 沈陽 110142；2.沈陽化工大學(xué)信息工程學(xué)院，遼寧 沈陽 110142）

1 引言

滾動(dòng)軸承作為旋轉(zhuǎn)機(jī)械支撐和減摩部件，其故障診斷對(duì)于機(jī)械設(shè)備的安全性和可靠性起著至關(guān)重要的作用。意外的軸承故障會(huì)使整個(gè)機(jī)械系統(tǒng)癱瘓，停機(jī)時(shí)間和維護(hù)成本大大增加了運(yùn)行成本。因此，對(duì)軸承故障的檢測(cè)至關(guān)重要。

由于故障診斷可以看作是一個(gè)模式識(shí)別問題，人工智能在學(xué)術(shù)研究和工業(yè)應(yīng)用方面都顯示出巨大的潛力。在基于人工智能的軸承故障診斷方法中，人工神經(jīng)網(wǎng)絡(luò)被研究并應(yīng)用于故障特征提取和故障分類。文獻(xiàn)［1］利用時(shí)域提取的特征識(shí)別軸承的狀態(tài)，并利用人工神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)對(duì)軸承故障進(jìn)行分類；文獻(xiàn)［2］利用小波包變換將加速度信號(hào)分解得到的特征作為三層神經(jīng)網(wǎng)絡(luò)的輸入，對(duì)滾動(dòng)軸承故障進(jìn)行識(shí)別、診斷。

在上述方法中，神經(jīng)網(wǎng)絡(luò)作為分類器，仍然依賴于時(shí)域和頻域信號(hào)處理方法提取的特征。采用基于人工神經(jīng)網(wǎng)絡(luò)的故障診斷方法有兩個(gè)主要缺點(diǎn)。首先，這種方法依賴于人工特征提取，而人工特征提取很大程度上依賴于對(duì)信號(hào)處理技術(shù)的先驗(yàn)知識(shí)。其次，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)較淺，缺乏足夠的能力來學(xué)習(xí)故障診斷問題中存在的復(fù)雜非線性特征之間的關(guān)系。

隨著深度學(xué)習(xí)的出現(xiàn)和發(fā)展，這些問題在一定程度上得到了解決。近年來，基于深度學(xué)習(xí)的故障診斷方法越來越受到重視，其中最具代表的就是卷積神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)［3］將卷積神經(jīng)網(wǎng)絡(luò)引入軸承故障診斷領(lǐng)域，并得出結(jié)論：在不需要大量的信號(hào)處理知識(shí)的情況下，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行故障診斷也可以取得很好的分類結(jié)果；文獻(xiàn)［4］提出了一種利用快速傅里葉變換將信號(hào)轉(zhuǎn)化為振動(dòng)頻譜和卷積神經(jīng)網(wǎng)絡(luò)的軸承故障分類方法；文獻(xiàn)［5］提出了一種基于二維時(shí)頻表示和遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的軸承故障診斷框架，并用于識(shí)別軸承在噪聲環(huán)境下的運(yùn)行狀態(tài)。然而，目前多數(shù)基于卷積神經(jīng)網(wǎng)絡(luò)的故障診斷文章只關(guān)注學(xué)習(xí)率的改變，對(duì)于學(xué)習(xí)率和動(dòng)量同時(shí)做出改變的較少。對(duì)此，提出基于Nesterov動(dòng)量的自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)軸承故障診斷方法。該方法使用誤差變化率對(duì)學(xué)習(xí)率進(jìn)行自適應(yīng)調(diào)整并使用Nesterov動(dòng)量對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。

2 卷積神經(jīng)網(wǎng)絡(luò)（CNN）及優(yōu)化方法概述

CNN是一種具有獨(dú)特網(wǎng)絡(luò)架構(gòu)的深度學(xué)習(xí)網(wǎng)絡(luò)。與全連接神經(jīng)網(wǎng)絡(luò)不同，CNN只對(duì)局部感受域敏感，并利用共享權(quán)值和空間池化操作來約減網(wǎng)絡(luò)參數(shù)，加速網(wǎng)絡(luò)訓(xùn)練。一個(gè)典型的CNN通常由一個(gè)或多個(gè)卷積層和池化層的多重組合。

2.1 卷積層

在卷積層中，利用不同的卷積核（濾波器）逐層對(duì)輸入信號(hào)進(jìn)行卷積運(yùn)算，輸入的信號(hào)經(jīng)過卷積運(yùn)算后會(huì)表現(xiàn)出不同的特征，稱為特征圖。將得到的特征圖加上一個(gè)可以訓(xùn)練的偏置量后，利用非線性激活函數(shù)對(duì)運(yùn)算后的數(shù)據(jù)進(jìn)行非線性變換，提高特征的線性可分性。卷積過程的數(shù)學(xué)模型為：

2.2 池化層

池化操作的本質(zhì)上是約減空間維數(shù)，降低計(jì)算復(fù)雜度，有效控制過擬合風(fēng)險(xiǎn)。常用的池化方法包括平均池化和最大池化。最大池化在故障診斷文章中應(yīng)用最多，其數(shù)學(xué)模型可表示為：

式中：P(l)—池化操作降維后的輸出；x*y—進(jìn)行池化操作時(shí)池化區(qū)域大小，一般設(shè)置為2*2。

2.3 Nesterov動(dòng)量法

CNN一般選用隨機(jī)梯度下降法進(jìn)行訓(xùn)練。然而，隨機(jī)梯度下降法通常在最優(yōu)值附近呈”Z”字型震蕩，逐漸向最優(yōu)值靠攏，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練較慢。動(dòng)量法可以有效地改善隨機(jī)梯度下降法的訓(xùn)練速度并減緩振蕩。然而，動(dòng)量梯度下降是盲目的，它不能根據(jù)參數(shù)的變化對(duì)下降速度進(jìn)行調(diào)節(jié)，只會(huì)一直加速下降，這將導(dǎo)致網(wǎng)絡(luò)在收斂時(shí)跨過最優(yōu)解。文獻(xiàn)［6］提出了一種Nesterov 動(dòng)量法，可以很好的解決上述問題。Nesterov動(dòng)量法可以看作是動(dòng)量法的變體，其利用修正因子對(duì)相關(guān)參數(shù)進(jìn)行修正，得到最終的更新方向。其公式如下：

式中：di、di-1—第i次和i-1 次的更新方向；g(θ)—目標(biāo)函數(shù)在θ處的梯度；β—修正因子；通常是0 到1 之間的常數(shù)；η—學(xué)習(xí)率。

2.4 自適應(yīng)學(xué)習(xí)率

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法中，學(xué)習(xí)率通常為一個(gè)全局常數(shù)。然而，學(xué)習(xí)率的選擇是一個(gè)難點(diǎn)，學(xué)習(xí)率較大，網(wǎng)絡(luò)收斂速度較快但可能出現(xiàn)過擬合的現(xiàn)象。反之，學(xué)習(xí)率較小，網(wǎng)絡(luò)收斂慢。為了更好的訓(xùn)練網(wǎng)絡(luò)，提出了一種根據(jù)誤差變化率動(dòng)態(tài)調(diào)整學(xué)習(xí)率的自適應(yīng)學(xué)習(xí)率規(guī)則。設(shè)置閾值因子α對(duì)誤差變化率較小的批次進(jìn)行篩選，保持學(xué)習(xí)率不變。其他情況下，通過誤差變化率對(duì)學(xué)習(xí)率進(jìn)行動(dòng)態(tài)調(diào)整。同時(shí)，為了防止學(xué)習(xí)率變化過快，設(shè)置懲罰因子減緩學(xué)習(xí)率的增加。此自適應(yīng)策略的規(guī)則如下：

式中：β(q)—誤差變化率；err(q)—q-th誤差；γ(q)—q-th學(xué)習(xí)率；α—閾值因子，屬于（0，0.2）；δ—懲罰因子，屬于（0，0.1）。

2.5 批量歸一化

批量歸一化（BN）［7］可以保證網(wǎng)絡(luò)在訓(xùn)練時(shí)非線性輸入的穩(wěn)定分布，可以是歸一化的神經(jīng)網(wǎng)絡(luò)的操作的任何中間層的，減少因飽和而產(chǎn)生的梯度消失或梯度爆炸等問題，同時(shí)可以加速網(wǎng)絡(luò)的訓(xùn)練。該論文中只在卷積層和池化層之間加入BN層。BN層的數(shù)學(xué)公式如下：

式中：Xlij、Nlij—第l層的輸入和響應(yīng)輸出；m—批量歸一化的樣本數(shù)；γl、βl—針對(duì)每一個(gè)特征映射圖的縮放和平移的參數(shù)。

3 基于Nesterov動(dòng)量法的自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)

在經(jīng)典CNN的基礎(chǔ)上結(jié)合誤差變化率動(dòng)態(tài)調(diào)整學(xué)習(xí)率的自適應(yīng)學(xué)習(xí)率、BN以及Nesterov動(dòng)量對(duì)CNN進(jìn)行了優(yōu)化。使用傳統(tǒng)動(dòng)量法訓(xùn)練網(wǎng)絡(luò)時(shí)，梯度下降是盲目的，利用Nesterov動(dòng)量法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練可以克服這一問題。同時(shí)，為了提升網(wǎng)絡(luò)的收斂速度，設(shè)計(jì)了一種根據(jù)誤差變化率動(dòng)態(tài)調(diào)整學(xué)習(xí)率的自適應(yīng)學(xué)習(xí)率規(guī)則，并且在卷積層和池化層之間加入BN層，詳細(xì)的參數(shù)設(shè)置參考了LeNET-5網(wǎng)絡(luò)［8］，如表1所示。提出方法的流程圖，如圖1所示。卷積層和池化層的步長(zhǎng)分別設(shè)置為1和2。提出的方法的詳細(xì)結(jié)構(gòu)參數(shù)在表1給出。初始學(xué)習(xí)率為0.02，批次大小為10，網(wǎng)絡(luò)訓(xùn)練次數(shù)為150次。具體步驟文字描述如下：

表1 提出的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)Tab.1 Structural Parameters of the Proposed CNN

圖1 提出方法的流程圖Fig.1 The Flow Chart of the Proposed Method

（1）利用加速度傳感器對(duì)軸承振動(dòng)信號(hào)進(jìn)行采集；

（2）將一維振動(dòng)信號(hào)轉(zhuǎn)換二維信號(hào)圖（32*32）；

（3）構(gòu)造CNN，并初始化參數(shù)（權(quán)重，偏置量，卷積核大小等）；

（4）將訓(xùn)練樣本輸入到網(wǎng)絡(luò)中，利用自適應(yīng)學(xué)習(xí)率和Nesterov動(dòng)量對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

（5）將測(cè)試樣本輸入到訓(xùn)練好的模型中，獲得最終診斷結(jié)果。

4 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證基于Nesterov動(dòng)量法的自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)故障診斷方法對(duì)軸承故障診斷的分類效果，利用采集的軸承故障數(shù)據(jù)進(jìn)行了驗(yàn)證。

4.1 數(shù)據(jù)描述

數(shù)據(jù)集來源于課題組在自己搭建的軸承壽命試驗(yàn)臺(tái)所做的實(shí)驗(yàn)。軸承壽命試驗(yàn)臺(tái)，如圖2所示。軸承壽命試驗(yàn)臺(tái)由機(jī)架，試驗(yàn)頭殼體，驅(qū)動(dòng)裝置部件，液壓加載裝置，潤(rùn)滑系統(tǒng)部件，上位機(jī)，數(shù)據(jù)采集裝置組成。驅(qū)動(dòng)裝置部件使用功率15kW的電主軸（200MDF04Z15）作為驅(qū)動(dòng)電機(jī)，通過聯(lián)軸節(jié)與試驗(yàn)軸連接。潤(rùn)滑系統(tǒng)部件由潤(rùn)滑油箱、抽油油泵機(jī)組、冷卻風(fēng)扇及過濾器組成，對(duì)被試軸承和承載軸承進(jìn)行潤(rùn)滑。試驗(yàn)軸承（6306）安裝在試驗(yàn)頭上。將PCB356A16型加速度計(jì)垂直安裝在損傷軸承的軸承座上，其采樣頻率為10kHz。每次采樣時(shí)間為10s，即采集102400個(gè)數(shù)據(jù)點(diǎn)。

圖2 軸承試驗(yàn)臺(tái)Fig.2 Bearing Test Bench

本次試驗(yàn)中，測(cè)試軸承包含三種損傷狀態(tài)和一種正常狀態(tài)，即：正常狀態(tài)（N），外圈單點(diǎn)故障（ORF），內(nèi)圈單點(diǎn)故障（IRF），球單點(diǎn)故障（BF）。展示了三種損傷軸承，損傷是利用電火花加工制成，如圖3所示。實(shí)驗(yàn)中電機(jī)速度為1500r/min，軸承載荷設(shè)置為4kN。每種狀態(tài)取90個(gè)樣本，以2：1的比例劃分，即每種狀態(tài)60個(gè)訓(xùn)練樣本，30個(gè)測(cè)試樣本。

圖3 軸承的三種損傷狀態(tài)Fig.3 Three Damage States of Bearings

4.2 實(shí)驗(yàn)結(jié)果及分析

利用實(shí)驗(yàn)室采集的振動(dòng)數(shù)據(jù)對(duì)基于Nesterov動(dòng)量的自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)故障診斷方法進(jìn)行了驗(yàn)證。主要從算法的損失函數(shù)收斂速度，訓(xùn)練誤差以及對(duì)分類精度上與傳統(tǒng)的CNN做了對(duì)比。傳統(tǒng)CNN在訓(xùn)練初期訓(xùn)練誤差基本保持不變，收斂曲線無法收斂，且在中期時(shí)誤差曲線有較大的波動(dòng)，不利于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，如圖4所示。

圖4 CNN與提出的方法收斂曲線圖Fig.4 The Convergence Curve of CNN and the Proposed Method

然而，提出的方法收斂速度較快且誤差曲線在下降過程中波動(dòng)較小。當(dāng)?shù)螖?shù)為150時(shí)，傳統(tǒng)CNN的訓(xùn)練誤差為0.052，而提出的方法訓(xùn)練誤差為0.004。對(duì)兩種方法的識(shí)別精度進(jìn)行了對(duì)比，如表2所示。提出的方法的總體識(shí)別精度為99.5%，CNN的總體識(shí)別精度為92.5%。從表中可以看出，提出的方法對(duì)正常工況，內(nèi)圈故障，外圈故障的是識(shí)別精度均為100%。CNN對(duì)每一類的識(shí)別精度都要弱于提出的方法。

表2 軸承工況分類精度（%）Tab.2 Classification Accuracy of Bearing Working Condition（%）

為了進(jìn)一步了解每種方法的誤分類情況，分別繪制了兩種方法結(jié)果的混淆矩陣，如圖5、圖6所示。從圖5中可以看出，提出的方法對(duì)正常，內(nèi)圈，外圈的識(shí)別精度均為100%，而對(duì)單點(diǎn)球故障的識(shí)別精度僅為98%，有2%的測(cè)試樣本誤分類到內(nèi)圈故障。從圖6可以看出，傳統(tǒng)的CNN對(duì)每一種工況均存在誤分類。正常的樣本有10%誤分類到球故障中。球故障的樣本有3.33%的樣本誤分類到正常樣本中，6.67%的樣本誤分類到內(nèi)圈故障中。內(nèi)圈故障中6.67%的樣本誤分類到球故障中。外圈故障的樣本中有3.33%的樣本誤分類到內(nèi)圈故障中。

圖5 提出方法的混淆矩陣圖Fig.5 Confusion Matrix Diagram of the Proposed Method

圖6 CNN的混淆矩陣圖Fig.6 Confusion Matrix Diagram of CNN

為了進(jìn)一步說明該方法的優(yōu)越性，將傳統(tǒng)的淺層學(xué)習(xí)方法應(yīng)用于同一數(shù)據(jù)集并進(jìn)行比較。

使用的淺層學(xué)習(xí)方法是反向傳播（BP）神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)（SVM）。

由于淺層學(xué)習(xí)方法不具備特征提取能力，所以本次實(shí)驗(yàn)提取了五種時(shí)域特征（Time Domain Feature，TDF），分別為方差、標(biāo)準(zhǔn)差、均方根、偏度和峭度。下面列出了不同算法參數(shù)配置的詳細(xì)信息。

BP：網(wǎng)絡(luò)結(jié)構(gòu)為5—30—10，學(xué)習(xí)率為0.1，訓(xùn)練次數(shù)為500。

SVM：核函數(shù)選擇多層感知機(jī)，懲罰因子設(shè)為20，正則化項(xiàng)C為0.1。

為了減少實(shí)驗(yàn)中隨機(jī)初始化對(duì)分類結(jié)果的影響，對(duì)每一種方法進(jìn)行10次試驗(yàn)平均最終結(jié)果，如表3所示。

表3 不同方法的軸承工況分類精度（%）Tab.3 Classification Accuracy of Bearing Working Conditions by Different Methods（%）

實(shí)驗(yàn)結(jié)果表明，利用五種時(shí)頻特征結(jié)合BP和SVM的識(shí)別精度分別為85.42%和90.84%。在診斷精度上均弱于CNN和提出的方法。

5 結(jié)論

主要通過對(duì)動(dòng)量和學(xué)習(xí)率部分進(jìn)行了優(yōu)化，提升了卷積神經(jīng)網(wǎng)絡(luò)的性能。

基于Nesterov動(dòng)量的自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)故障診斷方法可以直接從原始振動(dòng)信號(hào)中提取特征并且進(jìn)行分類，有效的減少了人為干預(yù)，提高了故障診斷的分類精度。

利用實(shí)驗(yàn)室采集的數(shù)據(jù)集對(duì)提出的方法進(jìn)行了驗(yàn)證，主要從損失函數(shù)收斂速度，訓(xùn)練誤差以及對(duì)分類精度上與傳統(tǒng)的CNN做了對(duì)比。

從對(duì)比結(jié)果中可以看出，提出方法的收斂速度優(yōu)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練誤差驗(yàn)證結(jié)果為傳統(tǒng)CNN的1/13，分類精度提升7%。

最后，通過與淺層學(xué)習(xí)算法結(jié)合五種時(shí)頻特征相比，驗(yàn)證了所提方法的性能。