一維改進LeNet-5及機械故障診斷應用

吳定海,曹進華,張云強,唐香珺

(1. 陸軍工程大學 石家莊校區(qū),石家莊 050003; 2. 廈門大學嘉庚學院 機電工程學院,福建漳州 363105)

機械故障診斷是監(jiān)測、診斷和預示機械設備的狀態(tài)和故障,對保障裝備安全運行具有重大意義[1]。狀態(tài)監(jiān)測已經(jīng)能夠?qū)崿F(xiàn)對多測點、全壽命的數(shù)據(jù)采集,進而獲得大量的數(shù)據(jù),而研究和利用先進的理論與方法,從機械裝備大數(shù)據(jù)中挖掘信息,高效、準確地識別裝備健康狀態(tài),成為裝備大數(shù)據(jù)健康監(jiān)測面臨的新問題[2]。

卷積神經(jīng)網(wǎng)絡作為經(jīng)典的深度學習模型并被不斷發(fā)展,出現(xiàn)了如LeNet-5、 AlexNet、 VGG、ResNet、 GoogleNet等網(wǎng)絡[3-4],在圖像識別領域取得了巨大成功。CNN主要源于其模型結構和訓練方式上的優(yōu)勢[5-6]:1) 以多層卷積變換為核心,具有更強的非線性深層次特征提取能力;2) 直接面向模式識別,實現(xiàn)了特征提取、選擇和分類的聯(lián)合優(yōu)化;3) 訓練時,首先以大樣本進行“逐層無監(jiān)督貪婪學習”對參數(shù)進行自適應調(diào)節(jié),然后以小樣本 “有監(jiān)督整體微調(diào)”,實現(xiàn)網(wǎng)絡學習的整體修正。

近年來,許多學者嘗試將卷積神經(jīng)網(wǎng)絡應用于機械故障診斷[7],主要可以分為兩大類:1) 將一維振動信號轉化圖像,進而使用卷積神經(jīng)網(wǎng)絡對圖像進行分析。轉換方法最為簡單的是將一維信號排列成二維矩陣即灰度圖像[8],其次是利用信號變換的方法形成圖像矩陣,如時頻分布[9]?；叶葓D像轉換方法簡單、計算量小,但是轉換后的圖像較為接近,而時頻分布信息豐富但是計算量巨大。2) 直接采用一維機械信號作為輸入,利用卷積神經(jīng)網(wǎng)絡深層次特征提取和分析,實現(xiàn)“端到端”的故障診斷,這種方法無需額外的處理和人工干預,避免了信息的丟失,簡化了故障診斷信息處理流程,正在成為故障診斷領域的研究熱點。

基于一維信號的卷積神經(jīng)網(wǎng)絡故障診斷,是利用數(shù)據(jù)驅(qū)動方式直接從大量機械故障數(shù)據(jù)中分析規(guī)律。部分學者進行了有益的嘗試:Zhang等[10]構建了包含6個卷積模塊的卷積神經(jīng)網(wǎng)絡,運用大尺寸卷積核和Dropout機制,對噪聲干擾仍具有較好的診斷效果。Wan等[11]研究了利用改進的2D和1D LeNet-5網(wǎng)絡對軸承進行故障診斷,改進的1D LeNet-5包含5個卷積模塊網(wǎng)絡結構,取得了不錯的效果。針對深度卷積網(wǎng)絡訓練和診斷計算量大,劉星辰等[12]在采用全局平均池化層代替LeNet-5的全連接層,降低計算量,在軸承和齒輪數(shù)據(jù)診斷方面具有較高的精度,但是需要大量的訓練樣本。Janssens等[13]更是嘗試單卷積層加全連接層的簡單網(wǎng)絡對軸承振動信號的故障診斷,計算量小但是模型的診斷精度較低,魯棒性差。

針對一維復雜機械振動信號的分析特點,在經(jīng)典LeNet-5網(wǎng)絡基礎上,合理整合了批量規(guī)范化、ReLu激活、重疊最大池化和Dropout機制,兼顧故障診斷網(wǎng)絡的實時性和魯棒性,對于往復機械的數(shù)據(jù)輸入方面,嘗試采用階次采樣提高訓練樣本數(shù)據(jù)質(zhì)量,在較小訓練樣本條件下也能優(yōu)良的訓練效果。

1 一維LeNet-5卷積神經(jīng)網(wǎng)絡

LeNet-5是LeCun在1998年提出的經(jīng)典卷積神經(jīng)網(wǎng)絡,對手寫字符識別具有非常高的精度,該模型包括2個卷積層、2個池化層和3個全連接層,網(wǎng)絡的具體細節(jié)如圖1所示[14]。

圖1 CNN的基本網(wǎng)絡結構

表1列出了LeNet-5網(wǎng)絡結構及參數(shù),2個卷積模塊由卷積層和最大池化層組成。卷積層固定采用5×5的卷積核,步長均設置為1,卷積核個數(shù)由6個增加到16個,池化層采用大小為2×2、步長為2的窗口進行最大池化。第1個全連接層神經(jīng)元個數(shù)為120,第2層為84,最后一層為輸出層,神經(jīng)元個數(shù)由分類類別數(shù)量決定,手寫字體0～9共10個類別,故設置為10個。

表1 LeNet-5經(jīng)典網(wǎng)絡結構及參數(shù)

2 改進一維LeNet-5網(wǎng)絡

2.1 LeNet-5網(wǎng)絡結構分析

LeNet-5作為一種經(jīng)典的卷積神經(jīng)網(wǎng)絡,其網(wǎng)絡結構設計也為后續(xù)卷積神經(jīng)網(wǎng)絡的發(fā)展奠定了基礎。針對一維機械故障信號的特點對LeNet-5經(jīng)典網(wǎng)絡結構進行如下分析和改進:

1) LeNet-5針對圖像分析采用固定5×5的卷積核,不能適應一維信號分析需求,故對卷積核結構進行改進,采用一維長卷積核和較大的池化步長;

2) 為提高模型的魯棒性,采用重疊最大池化層以突出信號的鄰域關聯(lián)性,卷積層后增加了批量規(guī)范化和ReLu激活層,構建了兩個卷積模塊,避免梯度飽和并提高網(wǎng)絡訓練速度;

3) LeNet-5采用3個卷積層,耗費計算量大,故刪減全連接層的數(shù)量,在卷積模塊后只采用一個全連接層配合Softmax及輸出層;

4) 在全連接層之前增加一個Dropout層,降低神經(jīng)元之間的依賴程度,避免網(wǎng)絡過擬合的發(fā)生,提高模型的泛化性能。

2.2 改進一維LeNet-5網(wǎng)絡結構

一維LeNet-5網(wǎng)絡結構設計如圖2所示,包含輸入層,兩個包含卷積層、批量規(guī)范化層、ReLu激活層和重疊池化層的卷積模塊,以及隨機失活Dropout層,全連接層、Softmax層和分類輸出層。

圖2 改進的一維LeNet-5網(wǎng)絡結構

1) 卷積層

卷積層是CNN的核心組成部分,一個深度卷積神經(jīng)網(wǎng)絡通過多個卷積模塊來增強對信號的特征提取和表示能力。一維卷積操作表達式為

(1)

2) 批量規(guī)范化層

在模型中引入了批量規(guī)范化層(Batch normalization, BN),用于將各層的輸入重新歸一化,以減小內(nèi)部數(shù)據(jù)分布偏移的影響,不僅可以提高網(wǎng)絡的訓練速度,還可以提高網(wǎng)絡的泛化性能。

(2)

3) Relu激活層

為了避免梯度飽和現(xiàn)象的發(fā)生,卷積模塊中加入了Relu激活層,用于把卷積層輸出結果做非線性映射,增強信息整合能力,使得其訓練簡單、快速。

(3)

4) 池化層

池化層一般位于連續(xù)的卷積層中間,包括平均池化和最大池化。池化層能夠逐漸減小表達空間的尺寸,降低網(wǎng)絡參數(shù)和計算量,也能起到控制過擬合的作用。最大池化被普遍證明有更好的效果而被廣泛采用,其運算公式為

(4)

式中:xl(i,t)為第l層中第i個特征圖的第t個神經(jīng)元;w為卷積核的寬度;j為第j個池化核。池化層實現(xiàn)數(shù)據(jù)降維的同時進一步突出提取特征。

5) 全連接層及輸出層

模型在兩個卷積模塊后連接一個全連接層,而后設置有Softmax層,以交叉熵損失函數(shù)作為多類分類目標函數(shù)。全連接層權重ω和偏差b,f為非線性激活函數(shù),對輸入X∈Rm全連接層輸出為

δ=f(ωX+b)

(5)

Softmax層得到輸入數(shù)據(jù)的標簽分布為

其中，?rb(m)=?b(m)+?NCO(m)+?PLL(m)-?ori(m)，載波恢復后的基帶信號只包含多普勒信息，由相位?rb(m)可直接得到多普勒跟蹤結果fd(m)=Δ?(m)/ΔT。

(6)

設計的一維LeNet-5網(wǎng)絡結構參數(shù)如表2所示,以12類輸出為例,輸入層參數(shù)由輸入一維信號的長度而定,一般采用2 048點,針對一維信號的特點,第一個卷積模塊采用64×1的長卷積核,數(shù)量為16,步長為8,重疊池化層窗口7×1,步長5,第二個卷積模塊采用32×1的卷積核,數(shù)量為32,步長為4,池化層窗口7×1,步長5,全連接層神經(jīng)元個數(shù)等同于識別信號類別數(shù)。

表2 改進一維LeNet-5網(wǎng)絡結構

3 軸承數(shù)據(jù)集分析

為驗證本文建立模型的有效性,以美國Case Western Reserve University (CWRU)的軸承數(shù)據(jù)集[15]進行驗證。選取正常工況和不同程度故障的驅(qū)動端軸承數(shù)據(jù)作為訓練和測試樣本,數(shù)據(jù)集和標簽設置如表3所示,對負載為0～3 HP的振動信號進行滑動窗采樣,數(shù)據(jù)長度為2 048點,滑動窗口為1 024(正常工況2 048),共獲得不同負載、不同轉速工況下的數(shù)據(jù)樣本5 645個。對所獲得的數(shù)據(jù)集打亂次序,選取70%作為訓練集,10%作為驗證集,20%作為測試集。

表3 數(shù)據(jù)集與標簽

構建網(wǎng)絡后,訓練參數(shù)設置如下:訓練樣本數(shù)量為3 376個,驗證樣本數(shù)量為573個,初始學習率設置為0.001,衰減率為0.9,批量規(guī)范化設置為80,Dropout設為0.5,驗證頻率為30,模型共進行30輪訓練,1 260次迭代。訓練過程如圖3所示,訓練時模型只要迭代幾步,分類準確率迅速上升,模型損失迅速下降,很快就超過90%以上,200步以后分類準確率和損失函數(shù)基本上就達能夠到收斂,整個過程訓練速度快,效率高。

圖3 訓練過程的識別率和交叉熵

模型訓練完畢后,采用測試樣本集進行性能測試,測試樣本數(shù)量為1 696個,最終驗證集的分類正確率能達到99.82%。模型的識別率混淆矩陣如圖4所示。對于所有12類數(shù)據(jù),模型均能夠獲得非常好的識別結果。

圖4 識別率混淆矩陣

表4是模型識別精度比較。從表4可見,本文方法能夠和文獻[10-12]的診斷精度相媲美:從模型上看,文獻[10-11]明顯網(wǎng)絡層數(shù)要多,結構較為復雜;從訓練與測試樣本數(shù)量來看,文獻[12]所采用的模型同樣較為簡單,但是為達到較高的精度文獻所采用的訓練樣本量較大,訓練測試樣本比為9∶1。綜上所述,本文所構建的模型結構簡單,計算效率高,訓練樣本較少時也具有非常高的識別準確率。

表4 模型識別精度比較

4 柴油機試驗數(shù)據(jù)分析

4.1 柴油機振動信號的采樣

利用階次采樣方法構建高質(zhì)量訓練樣本集,在訓練樣本集較小的條件下獲得較好的訓練效果。某8缸柴油機缸蓋振動信號測試系統(tǒng)如圖5所示,ADXL001型振動加速度傳感器安裝于左4缸缸蓋和氣缸體結合處。上止點和瞬時轉速信號測試選用霍爾傳感器,輸出軸上粘貼有磁鋼片,初始位置對應左4缸上止點,瞬時轉速測量選用M16-85型磁電式轉速傳感器,正對輸出端飛輪。多通道數(shù)據(jù)采集系統(tǒng)與計算機用于同步采集4缸缸蓋振動、曲軸上止點和飛輪瞬時轉速信號。

圖5 發(fā)動機缸蓋振動信號測試系統(tǒng)示意圖

實驗設置了正常、單缸失火、進氣不足和復合故障(單缸失火+進氣不足)這4種典型的工況,所有故障均設置于左4缸。采樣頻率為51.2 kHz,采集800 r/min時的上止點信號、瞬時轉速信號、缸蓋振動信號,如圖6所示。

圖6 柴油機同步采集信號

柴油機輸出端飛輪轉動一圈,產(chǎn)生一個上止點信號,轉動兩圈則為柴油機一個完整周期。磁電式轉速傳感器獲得的轉速信號為正弦波信號,每個波峰對應于飛輪轉過的一個輪齒,經(jīng)轉換可得瞬時轉速信號,由一個工作循環(huán)的轉速信號可見柴油機工作過程中具有較大的轉速波動性。柴油機缸蓋振動信號是在氣缸工作過程中由多種不同激振力共同作用產(chǎn)生的,包括氣體燃爆沖擊壓力、進排氣門關閉時的氣閥落座沖擊力、進排氣門開啟時的氣流沖擊力、噴油器針閥落座沖擊力、機體振動沖擊力以及各種隨機激振力,柴油機發(fā)生故障時,這些激振力的激振時刻和激振幅值大小將發(fā)生微弱改變。

4.2 模型訓練及診斷結果

卷積神經(jīng)網(wǎng)絡的學習訓練與所輸入的訓練數(shù)據(jù)樣本的質(zhì)量緊密相關。卷積神經(jīng)網(wǎng)絡具有良好的大數(shù)據(jù)學習能力,但是如果所輸入的數(shù)據(jù)樣本質(zhì)量較差,則網(wǎng)絡的學習效果也不好。對上述信號進行不重疊階次域滑動窗重采樣,獲得樣本數(shù)量分別為164、164、163、161個,對所獲得的數(shù)據(jù)集打亂次序,選取70%為訓練集,10%為驗證集,20%為測試集。訓練時初始學習率設置為0.001,衰減率為0.9,批量規(guī)范化設置為20,驗證頻率為30,模型共進行30輪訓練。

為了對比,采樣滑動窗采樣的方法對柴油機800 r/min勻速工況的振動信號進行采樣,分別取1 024、2 048、4 096和5 120的數(shù)據(jù)點數(shù),滑動間隔500點,分別獲得樣本數(shù)量分別為10 200、10 160、10 080、10 040,仍選取70%作為訓練集,10%作為驗證集,20%作為測試集,最大迭代步數(shù)設置為10 000步。訓練過程的識別率曲線經(jīng)平滑處理后如圖7所示,階次采樣的數(shù)據(jù)樣本輸入,網(wǎng)絡模型的學習訓練具有最大效率,只要迭代幾步識別率就迅速躍升,階次采樣訓練樣本識別率最終達到100%。采用滑動窗采樣的訓練樣本,樣本質(zhì)量較差,學習訓練效率低,模型的識別率上升緩慢。隨著滑動采樣點數(shù)的增加,每個數(shù)據(jù)樣本包含的信息量增大,能夠較好地反應柴油機的工況,訓練效果有所改善,但是滑動采樣的樣本信息量難免受原始信號采樣率和柴油機旋轉波動性等因素的影響,對模型的訓練效果影響較大。

圖7 階次采樣與滑動采樣輸入的網(wǎng)絡訓練過程

模型訓練完畢后,采用測試樣本對模型的泛化能力進行測試,識別精度如圖8所示。隨著數(shù)據(jù)點數(shù)的增加,輸入樣本所包含的信息量增大,模型的診斷精度不斷提高,當輸入信號為4 096點時達到最佳,之后輸入數(shù)據(jù)長度再增加,識別能力反而降低。這說明數(shù)據(jù)長度也不是越長越好,一方面所建網(wǎng)絡模型的結構已不適合此類型數(shù)據(jù),喪失最佳的分析能力,且計算量巨大;另一方面受采樣率、柴油機轉速變化等眾多因素的影響,滑動窗數(shù)據(jù)采樣長度不容易確定最佳值。而本文提出基于階次采樣能夠很好地包含了柴油機一個周期的信息,具有較高的訓練樣本數(shù)據(jù)質(zhì)量,大大提高網(wǎng)絡訓練學習的效果,識別精度遠高于滑動窗采樣方式,達到了98.48%。

圖8 階次采樣與滑動采樣對診斷結果的影響

5 結論

構建了基于一維振動信號輸入的改進LeNet-5網(wǎng)絡模型,融合了階次采樣的樣本數(shù)據(jù)集構建方法,從樣本數(shù)據(jù)質(zhì)量和模型學習能力著手,實現(xiàn)小樣本下的高效訓練學習,并利用柴油機和軸承數(shù)據(jù)集進行驗證,主要結論如下:

1) 借鑒經(jīng)典的LeNet-5網(wǎng)絡模型,構建了包含兩個卷積模塊、單一全連接層和輸出層的一維LeNet網(wǎng)絡,模型結構簡單緊湊,訓練參數(shù)較少。模型的卷積模塊結合批規(guī)范化層和Relu層,提高訓練速度和網(wǎng)絡泛化能力,利用重疊極大池化和隨機失活來緩解網(wǎng)絡出現(xiàn)過擬合現(xiàn)象。

2) 實驗對比分析了滑動窗采樣和階次采樣的樣本集構建方式,階次采樣有助于提高旋轉或往復機械數(shù)據(jù)樣本的構建質(zhì)量,減小轉速波動的影響,能夠使網(wǎng)絡模型在小樣本條件下仍具有非常高的訓練精度和泛化能力。