趙敬嬌, 趙志宏,2, 楊紹普,2
(1. 石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院,石家莊 050043;2. 石家莊鐵道大學(xué) 省部共建交通工程結(jié)構(gòu)力學(xué)行為與系統(tǒng)安全國(guó)家重點(diǎn)實(shí)驗(yàn)室,石家莊 050043)
隨著智能化時(shí)代的到來(lái),機(jī)械設(shè)備作為眾多生產(chǎn)領(lǐng)域的關(guān)鍵設(shè)備,對(duì)于制造業(yè)的發(fā)展十分關(guān)鍵[1]。旋轉(zhuǎn)機(jī)械設(shè)備中滾動(dòng)軸承是十分重要的部件,因長(zhǎng)期工作在惡劣的環(huán)境下而極易出現(xiàn)損傷。相關(guān)資料顯示,旋轉(zhuǎn)機(jī)械故障40%以上的原因是由軸承故障引起的[2]。軸承一旦出現(xiàn)故障,如果未能及時(shí)發(fā)現(xiàn)可能使整個(gè)設(shè)備停擺,甚至導(dǎo)致重大經(jīng)濟(jì)損失和安全事故,為此對(duì)滾動(dòng)軸承故障診斷方法的研究十分必要。
軸承故障診斷的研究至今已有多種方法,如基于頻譜分析、沖擊脈沖的故障診斷等[3-4]。隨著機(jī)器學(xué)習(xí)的發(fā)展,越來(lái)越多的專(zhuān)家和學(xué)者將目光放在智能診斷上,通過(guò)不同手段進(jìn)行特征提取,再用一定方法進(jìn)行狀態(tài)識(shí)別。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支,而近幾年由于其在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域的優(yōu)異成就,逐漸被應(yīng)用到更多的領(lǐng)域解決不同的問(wèn)題。在故障診斷方面,Tamilselvan等[5]采用深度信念網(wǎng)絡(luò),對(duì)發(fā)動(dòng)機(jī)振動(dòng)信號(hào)及其故障模式建模,實(shí)現(xiàn)了飛機(jī)發(fā)動(dòng)機(jī)故障的診斷,識(shí)別正確率達(dá)到 92%以上。楊宇等[6]以經(jīng)驗(yàn)?zāi)B(tài)分解的方法得到本征模態(tài)函數(shù)(intrinsic mode functions,IMF)分量,再提取部分分量能量特征參數(shù)輸入BP(back propagation)網(wǎng)絡(luò)中進(jìn)行分類(lèi)。杜小磊等[7]用多個(gè)小波卷積自編碼器堆疊后提取故障特征,輸入LSTM(long short-term memory)網(wǎng)絡(luò)后進(jìn)行分類(lèi)。眾多研究表明,通過(guò)建立多層神經(jīng)網(wǎng)絡(luò)進(jìn)行軸承故障診斷是可行并且有效的方法。
卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[8]是深度學(xué)習(xí)中的一種具有表征學(xué)習(xí)能力的前饋神經(jīng)網(wǎng)絡(luò),被廣泛應(yīng)用于機(jī)器視覺(jué)領(lǐng)域。李恒等[9]用短時(shí)傅里葉變化對(duì)振動(dòng)信號(hào)進(jìn)行處理后輸出到卷積神經(jīng)網(wǎng)絡(luò)中,經(jīng)過(guò)網(wǎng)絡(luò)訓(xùn)練最后進(jìn)行分類(lèi)得到故障類(lèi)型。Pan等[10]建立基于LSTM和CNN的模型進(jìn)行軸承的故障診斷,取得較好的試驗(yàn)結(jié)果。張立智等[11]提出用卷積降噪自編碼實(shí)現(xiàn)特征提取,用CNN進(jìn)行模式識(shí)別的軸承故障診斷方法。以上方法均取得了較好的診斷結(jié)果,但是有些并沒(méi)有發(fā)揮CNN強(qiáng)大的特征提取能力,或是由于維度變換損失了部分時(shí)序信息,或是只使用了淺層的網(wǎng)絡(luò)結(jié)構(gòu)。一般來(lái)說(shuō),網(wǎng)絡(luò)越深表達(dá)能力越強(qiáng),在處理大量數(shù)據(jù)時(shí)能夠取得更好的效果,而殘差網(wǎng)絡(luò)在精度和收斂等方面都展現(xiàn)出了很好的特性[12]。因此本文提出一種基于殘差連接和一維卷積神經(jīng)網(wǎng)絡(luò)(one-dimensional convolutional neural network,1D-CNN)的深層故障診斷模型,通過(guò)多層1D-CNN提取不同層次特征,通過(guò)殘差連接將深層特征信息與淺層特征信息結(jié)合,使網(wǎng)絡(luò)學(xué)習(xí)到更多的軸承故障特征信息。
CNN具有局部連接和權(quán)值共享的特性[13],參數(shù)共享能夠有效削弱過(guò)擬合的問(wèn)題,稀疏連接能夠讓網(wǎng)絡(luò)學(xué)習(xí)局部特征。一維卷積神經(jīng)網(wǎng)絡(luò)[14]是運(yùn)用一維卷積對(duì)一維時(shí)序序列進(jìn)行特征提取的卷積神經(jīng)網(wǎng)絡(luò),能夠保證在不損失時(shí)序特征的同時(shí)提取局部特征,對(duì)于軸承振動(dòng)信號(hào)這樣的周期的時(shí)間序列分析是非常有效的。
卷積神經(jīng)網(wǎng)絡(luò)通常包括以下三層:①卷積層,通過(guò)卷積核對(duì)輸入的特征進(jìn)行掃描,在“感受野”內(nèi)對(duì)輸入特征進(jìn)行矩陣運(yùn)算并疊加偏差量[15],從而實(shí)現(xiàn)特征提取的作用;②池化層,池化操作就是利用一個(gè)矩陣窗口在張量上進(jìn)行掃描,將最大值或者平均值作為特征的輸出,以減少參數(shù)數(shù)量和計(jì)算量;③全連接層,對(duì)提取的特征進(jìn)行非線性組合輸出到其他全連接層。卷積層和池化層能夠達(dá)到自動(dòng)提取數(shù)據(jù)局部特征的目的,而全連接層能夠?qū)崿F(xiàn)特征學(xué)習(xí)。
一維卷積公式為
(1)
最大池化公式為
(2)
已有研究發(fā)現(xiàn)構(gòu)建的網(wǎng)絡(luò)越深,越容易出現(xiàn)梯度消失、網(wǎng)絡(luò)過(guò)擬合的現(xiàn)象,殘差連接能有效解決網(wǎng)絡(luò)退化和梯度消失的問(wèn)題。殘差連接的思想源于LSTM的門(mén)控思想,將輸入做非線性變換,再和輸入進(jìn)行線性疊加輸出[16-17],如圖1所示。
圖1 殘差塊Fig.1 Residual block
網(wǎng)絡(luò)的一層通常可以看作y=H(x),而殘差網(wǎng)絡(luò)的殘差塊的輸出上可以表示為H(x)=x+F(x),也就是說(shuō)殘差為預(yù)測(cè)值H(x)與觀測(cè)值y=x的差值,即F(x)=H(x)-x。殘差網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)由學(xué)習(xí)H(x)變?yōu)閷W(xué)習(xí)殘差F(x),網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的部分,從而降低學(xué)習(xí)的難度。
殘差塊的輸出公式為
xl+1=xl+F(xl,wl)
(3)
式中:xl+1為第l+1層的輸出;xl為第l層的輸入;F(xl,wl)為第l層的殘差。
跳躍連接能夠在某個(gè)網(wǎng)絡(luò)層激活后迅速反饋給另外一層甚至更深層,從而避免傳統(tǒng)卷積層和全連接層在信息傳遞時(shí)的信息丟失和損耗。利用跳躍連接可以構(gòu)建深層網(wǎng)絡(luò)來(lái)訓(xùn)練更深的網(wǎng)絡(luò),可在確保網(wǎng)絡(luò)參數(shù)不變、計(jì)算量不增加的同時(shí),保證網(wǎng)絡(luò)有足夠的能力去處理更加復(fù)雜的數(shù)據(jù)。
在深度網(wǎng)絡(luò)中,輸入數(shù)據(jù)的均值和標(biāo)準(zhǔn)差會(huì)隨著網(wǎng)絡(luò)層數(shù)的增加在逐級(jí)傳遞中發(fā)生改變,即協(xié)變漂移現(xiàn)象[18],協(xié)變漂移也是導(dǎo)致深度網(wǎng)絡(luò)出現(xiàn)梯度消失的原因之一。批量標(biāo)準(zhǔn)化(batch normalization,BN)以引入部分額外學(xué)習(xí)參數(shù)為代價(jià)解決了此類(lèi)問(wèn)題:首先將特征標(biāo)準(zhǔn)化,然后標(biāo)準(zhǔn)化的特征會(huì)被2個(gè)線性參數(shù)放大,成為新的輸入,BN參數(shù)在學(xué)習(xí)過(guò)程中不斷更新。
卷積神經(jīng)網(wǎng)絡(luò)中的BN參數(shù)與卷積核參數(shù)具有相同的性質(zhì),即特征圖中同一個(gè)通道的像素共享一組BN參數(shù)[19]。此外,偏差項(xiàng)的功能可由BN參數(shù)代替,使用BN層時(shí)卷積層不必添加偏差項(xiàng)。通過(guò)加入BN層能夠:改善流經(jīng)網(wǎng)絡(luò)的梯度,允許更大的學(xué)習(xí)率,大幅提高訓(xùn)練速度;減少對(duì)初始化的強(qiáng)烈依賴(lài);改善正則化策略,并且減少了對(duì)Dropout的需求。
在實(shí)際的軸承故障診斷中,振動(dòng)信號(hào)數(shù)據(jù)量巨大,網(wǎng)絡(luò)單純采用CNN會(huì)耗費(fèi)很大的時(shí)間,并且深層網(wǎng)絡(luò)也會(huì)導(dǎo)致梯度消失問(wèn)題出現(xiàn)和泛化性能的下降。利用批量標(biāo)準(zhǔn)化技術(shù)的BN層代替部分池化層,能在一定程度上解決梯度消失問(wèn)題;添加Dropout層能夠有效減小過(guò)擬合問(wèn)題[20],使模型的診斷精度提升,提高泛化能力;Softmax層是進(jìn)行分類(lèi)的常用網(wǎng)絡(luò),能夠輸出概率分布圖;最終根據(jù)概率分布確定軸承信號(hào)的振動(dòng)信號(hào)類(lèi)型,并根據(jù)數(shù)據(jù)標(biāo)簽的診斷結(jié)果輸出正確率。
本文構(gòu)建的軸承故障診斷模型,如圖2所示。模型主要包括輸入層、特征提取層以及輸出層三部分。其過(guò)程為:①一維滾動(dòng)軸承振動(dòng)數(shù)據(jù)輸入網(wǎng)絡(luò)輸入層。②特征提取部分。首先對(duì)輸入進(jìn)行一次卷積,然后將此次卷積輸出分成兩部分:一部分保存為identity;另一部分繼續(xù)輸入到殘差塊部分。殘差塊部分由3個(gè)BN層和卷積(Conv1D)層組成,經(jīng)過(guò)其中的三次卷積的結(jié)果與保存的identity相加,得到殘差輸出。運(yùn)用2個(gè)殘差塊并進(jìn)行兩次跳躍連接構(gòu)成整個(gè)殘差連接部分。得到的結(jié)果再經(jīng)過(guò)1層BN層、Conv1D層和最大池化層,最終得到提取的特征。③將池化層得到的輸出經(jīng)過(guò)扁平層“壓平”,再添加Dropout層防止過(guò)擬合,最終通過(guò)Softmax層進(jìn)行分類(lèi)。
圖2 軸承故障診斷模型圖Fig.2 Bearing fault diagnosis model
試驗(yàn)數(shù)據(jù)采用美國(guó)凱斯西儲(chǔ)大學(xué)負(fù)載為0,轉(zhuǎn)速為1 797 r/min的6205-2RS JEM SKF深溝球型軸承試驗(yàn)臺(tái)數(shù)據(jù)。利用電火花加工技術(shù)對(duì)軸承進(jìn)行加工,以48 kHz的頻率采樣,人為地在內(nèi)圈、外圈以及滾動(dòng)體加工出損傷直徑分別為0.177 8 mm,0.355 6 mm,0.533 4 mm的單點(diǎn)故障。本文數(shù)據(jù)集共7 000個(gè),按70%,20%和10%的比例劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。數(shù)據(jù)集共包含10類(lèi)樣本、9種類(lèi)型的故障和1類(lèi)正常數(shù)據(jù),將標(biāo)簽數(shù)字從0~9按順序分別命名為“B007”,“B014”,“B021”,“IR007”,“IR014”等,詳細(xì)數(shù)據(jù)及標(biāo)簽如表1所示。
本試驗(yàn)的批大小設(shè)為128,學(xué)習(xí)率初始值為0.000 5,每隔50次的迭代降低為原來(lái)的20%,振動(dòng)信號(hào)的樣本輸入長(zhǎng)度為1 024。試驗(yàn)共在訓(xùn)練集上迭代300次,最終用測(cè)試集輸入到模型得到準(zhǔn)確率。
表1 試驗(yàn)數(shù)據(jù)集Tab.1 Experimental dataset
網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置如下:第一層卷積層濾波器個(gè)數(shù)為64,卷積長(zhǎng)度為2,卷積步長(zhǎng)為1;殘差塊的每個(gè)BN層后的卷積層均設(shè)為由64個(gè)2*1的卷積核的濾波器組成的網(wǎng)絡(luò)層;再經(jīng)過(guò)一個(gè)BN層、卷積層,卷積層由32個(gè)2*1的卷積核的濾波器組成。以上網(wǎng)絡(luò)層的激活函數(shù)均選用“relu”函數(shù),以及“same”的填充方式;最大池化層的池化塊尺寸為4,步長(zhǎng)為4,填充方式為“valid”。經(jīng)過(guò)扁平層和一個(gè)拋棄率為0.5的Dropout層,最后以“Softmax”為激活函數(shù)的Dense層做分類(lèi)。
軸承故障診斷的評(píng)價(jià)指標(biāo)有準(zhǔn)確率、損失率、召回率和F1值等,其中準(zhǔn)確率和損失率是判斷模型優(yōu)異的重要標(biāo)準(zhǔn)。經(jīng)過(guò)多次試驗(yàn)結(jié)果如圖3所示,準(zhǔn)確率和損失率分別如圖3(a)和圖3(b)所示,由于學(xué)習(xí)率設(shè)置,模型在前50次的學(xué)習(xí)速度很快,但波動(dòng)較大,50次之后準(zhǔn)確率緩慢變化,最終保持穩(wěn)定。本模型在數(shù)據(jù)集的1 000個(gè)測(cè)試集上的總準(zhǔn)確率達(dá)到98.6%,損失率為5.0%。圖3(c)為混淆矩陣表示的結(jié)果輸出,其中0.533 4 mm的滾動(dòng)體故障、0.177 8 mm的外圈故障和0.533 4 mm的外圈故障檢測(cè)出現(xiàn)錯(cuò)誤,其他故障均能有效識(shí)別。
圖3 試驗(yàn)結(jié)果Fig.3 Experimental results
3.3.1 不同殘差模型結(jié)構(gòu)對(duì)比
本文選用不同殘差塊以及跳躍連接設(shè)計(jì)建立多個(gè)故障診斷模型,在相同參數(shù)的設(shè)置情況下,試驗(yàn)中多個(gè)模型只改變圖2中殘差塊的結(jié)構(gòu),其他網(wǎng)絡(luò)層不變。殘差塊設(shè)計(jì)如圖4所示,殘差部分設(shè)置如下:
(1) 將圖2模型中的殘差塊部分換為2個(gè)BN層與Conv1D層,不加跳躍連接,如圖4(a)所示,模型命名為2-C-1;在相同BN層和Conv1D層的情況下,加1個(gè)跳躍連接,如圖4(b)所示,模型命名為2-R-1。
(2) 殘差塊部分換為3個(gè)BN層與Conv1D層,不加跳躍連接,如圖4(c)所示,模型命名為3-C-1;在相同BN層和Conv1D層的情況下,加1個(gè)跳躍連接,如圖4(d)所示,模型命名為3-R-1。
(3) 殘差塊部分換為4個(gè)BN層與Conv1D層,不加跳躍連接,如圖4(e)所示,模型命名為2-C-2;在相同的BN層和Conv1D層的情況下,加2個(gè)跳躍連接,如圖4(f)所示,模型命名為2-R-2。
(4) 殘差塊部分換為6個(gè)BN層與Conv1D層,不加跳躍連接,如圖4(g)所示,模型命名為3-C-2;在相同的BN層和Conv1D層的情況下,加2個(gè)跳躍連接,如圖4(h)所示,模型命名為3-R-2。
圖4 殘差塊結(jié)構(gòu)Fig.4 Residual block structure
不同殘差模型結(jié)構(gòu)的故障診斷試驗(yàn)結(jié)果,如表2所示。在相同超參數(shù)設(shè)置情況下,3-R-2模型的殘差設(shè)計(jì)的診斷效果最佳。同時(shí),本文嘗試比3-R-2模型更深的結(jié)構(gòu)進(jìn)行試驗(yàn),診斷效果差異并不大。由表2可知:①使用殘差連接的模型的故障診斷效果有了一定的提升,這是由于殘差連接能夠?qū)\層特征和深層特征融合作為特征輸出,比起單一的深層特征更有效;②模型網(wǎng)絡(luò)層數(shù)增加,故障診斷結(jié)果有一定的提升,這是因?yàn)槟P图由?,能夠提取軸承故障信號(hào)的一些深層特征信息。但并不是模型越深,故障診斷效果越好,網(wǎng)絡(luò)層數(shù)過(guò)多會(huì)出現(xiàn)學(xué)習(xí)參數(shù)的成倍增長(zhǎng)和過(guò)擬合嚴(yán)重現(xiàn)象。因此,基于殘差連接的1D-CNN模型能夠有效判斷各故障類(lèi)型,并且在此8個(gè)模型中,最優(yōu)模型為本文圖2所采用的滾動(dòng)軸承故障診斷模型結(jié)構(gòu)。
表2 不同網(wǎng)絡(luò)結(jié)構(gòu)的診斷準(zhǔn)確率和損失率Tab.2 Accuracy and loss rate of different network structures %
3.3.2 不同參數(shù)取值對(duì)試驗(yàn)結(jié)果的影響
軸承故障診斷模型的參數(shù)有學(xué)習(xí)率、批大小、濾波器個(gè)數(shù)等,這些參數(shù)的選擇會(huì)引起診斷效果的不同。本文對(duì)學(xué)習(xí)率、濾波器個(gè)數(shù)選擇進(jìn)行了對(duì)比試驗(yàn)。
(1) 學(xué)習(xí)率。如果學(xué)習(xí)率設(shè)置過(guò)大,可能導(dǎo)致參數(shù)更新幅度非常大,網(wǎng)絡(luò)難以收斂,使損失值過(guò)大;如果學(xué)習(xí)率設(shè)置太小,則網(wǎng)絡(luò)需要訓(xùn)練更長(zhǎng)時(shí)間才能達(dá)到穩(wěn)定,或者只收斂到局部最優(yōu)點(diǎn),無(wú)法達(dá)到全局最優(yōu)。
本文選擇先使用0.000 5的大學(xué)習(xí)率快速學(xué)習(xí)特征,使學(xué)習(xí)率快速提升。但是大學(xué)習(xí)率情況下準(zhǔn)確率波動(dòng)大,因此在每50次的訓(xùn)練后改變學(xué)習(xí)率,變?yōu)樵瓉?lái)的20%,使學(xué)習(xí)率平穩(wěn)提升。經(jīng)過(guò)多次試驗(yàn)證明此方法較為有效。
(2) 濾波器個(gè)數(shù)。濾波器是CNN網(wǎng)絡(luò)的一個(gè)重要參數(shù),數(shù)量多了會(huì)拖慢訓(xùn)練且易過(guò)擬合,少了會(huì)丟失特征,特征學(xué)習(xí)不好。因此本文在不同濾波器個(gè)數(shù)下進(jìn)行了對(duì)比試驗(yàn),根據(jù)試驗(yàn)結(jié)果選擇適合本文模型的濾波器參數(shù)設(shè)置。模型在不同濾波器數(shù)量下的準(zhǔn)確率,如表3所示,濾波器個(gè)數(shù)為32和64的診斷效果較好,但濾波器個(gè)數(shù)為64的情況下?lián)p失率更小,準(zhǔn)確率更高,因此本文選用濾波器個(gè)數(shù)為64。
表3 不同濾波器數(shù)量下模型的準(zhǔn)確率和損失率Tab.3 Accuracy and loss rate of different filter number
3.3.3 可視化分析
采用t-SNE(t-distributed stochastic neighbor embedding)算法[21]提取各層輸出向量的前二維以顯示模型不同網(wǎng)絡(luò)層特征提取的結(jié)果。原始輸入信號(hào)以及其經(jīng)過(guò)部分網(wǎng)絡(luò)層的特征圖,如圖5所示。圖5(a)為原始輸入信號(hào)的t-SNE可視化圖,可以看到原始信號(hào)比較雜亂,各類(lèi)數(shù)據(jù)相互混雜,難以區(qū)分。經(jīng)過(guò)第1個(gè)殘差塊的卷積層后的t-SNE可視化圖,如圖5(b)所示,標(biāo)簽5的數(shù)據(jù)被分類(lèi)出來(lái),其余部分的各類(lèi)樣本并沒(méi)有聚攏,而是十分混亂地聚在一起。經(jīng)過(guò)第1個(gè)殘差塊的第3個(gè)卷積層后的t-SNE可視化圖,如圖5(c)所示,雖然各類(lèi)并沒(méi)有完全分散,但是聚集的不同種類(lèi)的數(shù)據(jù)較之前分散,并且各類(lèi)數(shù)據(jù)成聚集的趨勢(shì),其中標(biāo)簽9和標(biāo)簽5已經(jīng)完全聚集,標(biāo)簽0、標(biāo)簽1、標(biāo)簽2、標(biāo)簽4、標(biāo)簽6、標(biāo)簽8等成聚集的形式匯聚。試驗(yàn)結(jié)果表明,模型各層能提取故障特征用于分類(lèi),最終分類(lèi)準(zhǔn)確率在98%以上。
圖5 原始信號(hào)及網(wǎng)絡(luò)層輸出可視化圖Fig.5 Visualization diagram of original signal and different network layers
對(duì)于滾動(dòng)軸承的故障診斷,本文提出了基于殘差連接的深層1D-CNN模型,解決了傳統(tǒng)故障診斷方法人工提取特征的不足。試驗(yàn)結(jié)果表明,本文提出的模型能夠根據(jù)輸入的軸承振動(dòng)信號(hào)有效識(shí)別滾動(dòng)軸承故障狀態(tài)。
(1) 基于殘差連接的1D-CNN能夠提取軸承故障特征,軸承故障識(shí)別率較高。
(2) 與無(wú)殘差連接的卷積神經(jīng)網(wǎng)絡(luò)相比,使用殘差連接的1D-CNN能夠提取多層次故障特征,診斷效果更好。
(3) 深層網(wǎng)絡(luò)模型較淺層網(wǎng)絡(luò)表達(dá)能力更強(qiáng),在“大數(shù)據(jù)”時(shí)代,本文提出的深層故障診斷模型具有一定的應(yīng)用價(jià)值。
故障診斷模型中各參數(shù)的取值會(huì)不同程度地影響診斷效果,而依據(jù)人工調(diào)參十分繁雜。因此,本文下一步的研究重點(diǎn)在參數(shù)選擇算法方面,并建立自適應(yīng)的故障診斷模型。