基于蒸餾學(xué)習(xí)的滾動(dòng)軸承異常診斷方法

張春青,畢 劍,高 月

(中國(guó)航發(fā)沈陽(yáng)黎明航空發(fā)動(dòng)機(jī)有限責(zé)任公司,沈陽(yáng) 110862)

0 引言

滾動(dòng)軸承是航空發(fā)動(dòng)機(jī)中極其重要的連接部件,其一旦失效,就會(huì)導(dǎo)致重大的事故,輕則增加發(fā)動(dòng)機(jī)維護(hù)成本,重則飛機(jī)墜毀,造成機(jī)毀人亡的慘劇。因此,研究針對(duì)航空發(fā)動(dòng)機(jī)滾動(dòng)軸承的智能診斷技術(shù),形成完善的航空發(fā)動(dòng)機(jī)健康管理體系,對(duì)于保障飛行安全、提高經(jīng)濟(jì)效益均具有重要的意義[1]。

當(dāng)前,通過(guò)提取特征頻率實(shí)現(xiàn)軸承狀態(tài)診斷的信號(hào)分析方法是完成滾動(dòng)軸承狀態(tài)監(jiān)測(cè)任務(wù)的有效手段之一。如MED[2]、EMD[3]、LMD[4]、變分模態(tài)分解(VMD)[5]、小波分析[6]等方法在滾動(dòng)軸承狀態(tài)監(jiān)測(cè)中均有不俗的表現(xiàn)。然而,對(duì)于航空發(fā)動(dòng)機(jī)這種復(fù)雜的機(jī)械系統(tǒng),通過(guò)機(jī)匣測(cè)點(diǎn)獲得的異常狀態(tài)的軸承沖擊信號(hào)本就十分微弱,再加之摻雜了各種氣動(dòng)和燃燒等噪聲成分以及各種其他的頻率成分,使得采用上述信號(hào)分析方法很難甚至無(wú)法提取有效的特征頻率,因此也很難實(shí)現(xiàn)精確的診斷。

鑒于此,能夠?qū)崿F(xiàn)端到端診斷的深度學(xué)習(xí)方法成為了解決該“瓶頸”問(wèn)題的有效手段之一。周奇才等[7]采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)很好的解決了滾動(dòng)軸承的診斷問(wèn)題。ZENG等[8]采用稀疏自編碼器實(shí)現(xiàn)了滾動(dòng)軸承的診斷。XU等[9]提出了一種基于遷移卷積神經(jīng)網(wǎng)絡(luò)的滾動(dòng)軸承在線診斷方法,并在多組數(shù)據(jù)集上進(jìn)行了方法有效性驗(yàn)證。上述方法雖取得了較好的診斷效果,但是均是需要大量的樣本進(jìn)行方法的訓(xùn)練,對(duì)于絕大多數(shù)機(jī)械系統(tǒng)而言,很難甚至無(wú)法獲取其異常狀態(tài)數(shù)據(jù),導(dǎo)致很難訓(xùn)練高精度的智能診斷方法。在此現(xiàn)實(shí)條件下,少量樣本下的智能診斷方法在滾動(dòng)軸承狀態(tài)監(jiān)測(cè)中也得到了一定的發(fā)展。邵海東等[10]將仿真數(shù)據(jù)和遷移學(xué)習(xí)方法相結(jié)合,提出了少樣本下滾動(dòng)軸承的遷移診斷方法。郭偉等[11]采用生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network,GAN)實(shí)現(xiàn)了少量異常樣本下滾動(dòng)軸承高精度的診斷。然而,當(dāng)前絕大部分少樣本智能診斷方法是在簡(jiǎn)單的滾動(dòng)軸承試驗(yàn)臺(tái)上完成的驗(yàn)證,且針對(duì)的是軸承座測(cè)點(diǎn)的振動(dòng)加速度信號(hào),并不能很好的適用于基于機(jī)匣測(cè)點(diǎn)的航空發(fā)動(dòng)機(jī)滾動(dòng)軸承的診斷。因此,當(dāng)前采用深度學(xué)習(xí)方法實(shí)現(xiàn)航空發(fā)動(dòng)機(jī)滾動(dòng)軸承的智能診斷,存在以下挑戰(zhàn):①很難獲得航空發(fā)動(dòng)機(jī)滾動(dòng)軸承各種異常狀態(tài)下的高質(zhì)量樣本;②如何在不改變現(xiàn)有結(jié)構(gòu)的前提下,開(kāi)發(fā)適用于機(jī)載測(cè)點(diǎn)的航空發(fā)動(dòng)機(jī)滾動(dòng)軸承高精度、高可靠性的診斷方法;③如何有效利用現(xiàn)有的滾動(dòng)軸承試驗(yàn)臺(tái)數(shù)據(jù)來(lái)提高航空發(fā)動(dòng)機(jī)滾動(dòng)軸承診斷的精度。

蒸餾學(xué)習(xí)[12-14]模型中包含有教師和學(xué)生兩個(gè)網(wǎng)絡(luò)。其中,教師網(wǎng)絡(luò)是由大規(guī)模數(shù)據(jù)集訓(xùn)練而來(lái),通過(guò)蒸餾的方式將教師網(wǎng)絡(luò)的知識(shí)傳遞給學(xué)生網(wǎng)絡(luò)。學(xué)生網(wǎng)絡(luò)只需少量的樣本即可完成網(wǎng)絡(luò)的訓(xùn)練。因此,可以采用現(xiàn)有的滾動(dòng)軸承公開(kāi)數(shù)據(jù)集完成教師網(wǎng)絡(luò)的訓(xùn)練。①可以解決航空發(fā)動(dòng)機(jī)滾動(dòng)軸承數(shù)據(jù)集難以獲取的問(wèn)題;②可以將教師網(wǎng)絡(luò)學(xué)習(xí)得到的滾動(dòng)軸承異常狀態(tài)中具有共性的特征知識(shí)傳遞給學(xué)生網(wǎng)絡(luò),以提高診斷精度。綜上所述,提出了一種基于蒸餾學(xué)習(xí)的航空發(fā)動(dòng)機(jī)滾動(dòng)軸承診斷方法。在同型號(hào)的多臺(tái)航空發(fā)動(dòng)機(jī)滾動(dòng)軸承數(shù)據(jù)上進(jìn)行了充分的驗(yàn)證,表明了所提方法的有效性。

1 Vision Transformer (ViT)

Vision Transformer[15]在圖像處理、機(jī)器視覺(jué)等領(lǐng)域相比CNN獲得了更大的成功,近年來(lái)也被廣泛用于滾動(dòng)軸承的診斷中。ViT中包含了多個(gè)Transformer編碼器,而Transformer編碼器中包含了由多頭自注意力機(jī)制、多層感知機(jī)以及殘差連接等部分。Vit的結(jié)構(gòu)如圖1所示。

圖1 ViT總體結(jié)構(gòu)

ViT首先將輸入切割為相同大小的塊(patch);然后,通過(guò)Embedding層將patch映射為二維向量,作為T(mén)ransformer編碼器的輸入;最后,將編碼器的輸出經(jīng)過(guò)全連接層后作為作為ViT的最終輸出。將ViT的輸入x∈Rw×h×c切割后獲得大小為p×p×c的N個(gè)塊xp∈RN×p×p,其中c、p、h、w分別表示圖像的通道數(shù)、patch塊的大小以及原始圖像的高、寬。則N=hw/p2。加入位置編碼cls以及類標(biāo)簽y后,Transformer編碼器的輸入z0為:

(1)

式中:E(x)為Embedding層。

Transformer編碼器中,首先對(duì)輸入進(jìn)行歸一化處理,記為:LN(zi),zi為第i層編碼器的輸入。多頭注意力機(jī)制計(jì)算方式如式(2)所示。

(2)

(3)

式中:dk為K的維度。

MLP多層感知器的運(yùn)算過(guò)程如式(4)所示。

FFN(x)=FC(Gelu(FC(x)))

(4)

式中:Gelu為激活函數(shù),FC為全連接層函數(shù)。

通過(guò)多個(gè)編碼器的疊加計(jì)算后,由全連接層輸出計(jì)算類別。

2 基于蒸餾學(xué)習(xí)的診斷方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

蒸餾學(xué)習(xí)由教師網(wǎng)絡(luò)和學(xué)生兩個(gè)網(wǎng)絡(luò)組成。其中,教師網(wǎng)絡(luò)是在大規(guī)模數(shù)據(jù)集上訓(xùn)練完成的模型,一般在蒸餾學(xué)習(xí)中僅提供計(jì)算結(jié)果,不參與訓(xùn)練?；谡麴s學(xué)習(xí)的診斷方法流程如圖2所示。

傳統(tǒng)的蒸餾學(xué)習(xí)中教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)為VGG[14]、CNN[15]等,相比VGG、CNN、Resnet[16]等網(wǎng)絡(luò),當(dāng)前ViT的性能表現(xiàn)更優(yōu),因此,為提高診斷精度本文采用ViT網(wǎng)絡(luò)替換原始的VGG模型,作為蒸餾學(xué)習(xí)的主干特征提取網(wǎng)絡(luò)?；谡麴s學(xué)習(xí)的滾動(dòng)軸承狀態(tài)診斷步驟為:

步驟1:采集原始的振動(dòng)加速度信號(hào),并采用FFT對(duì)數(shù)據(jù)進(jìn)行預(yù)處理;

步驟2:將預(yù)處理后的數(shù)據(jù)轉(zhuǎn)換為灰度圖,圖像大小為224×224×3。轉(zhuǎn)換后的3個(gè)通道的灰度圖相同;

步驟3:采用滾動(dòng)軸承公開(kāi)數(shù)據(jù)集完成教師網(wǎng)絡(luò)的預(yù)訓(xùn)練;

步驟4:將預(yù)處理完成的灰度圖輸入至教師和學(xué)生網(wǎng)絡(luò),計(jì)算特征對(duì)比損失。然后,采用優(yōu)化算法對(duì)學(xué)生網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化,完成學(xué)生網(wǎng)絡(luò)的訓(xùn)練;

步驟5:在測(cè)試階段僅利用學(xué)生網(wǎng)絡(luò)完成異常部位的識(shí)別。

2.2 損失函數(shù)及網(wǎng)絡(luò)參數(shù)

(5)

本文在式(5)所示的傳統(tǒng)特征對(duì)比損失函數(shù)的基礎(chǔ)上,增加了學(xué)生網(wǎng)絡(luò)輸出誤差引起的損失,包含交叉損失和距離損失,如式(6)所示。

(6)

本文采用的最終損失函數(shù)為L(zhǎng)=L1+L2。

本文所采用的模型參數(shù)如表1所示。

表1 模型參數(shù)

由于教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)采用了不同的層數(shù),在計(jì)算特征對(duì)比損失的時(shí)候,教師網(wǎng)絡(luò)每隔3層和學(xué)生網(wǎng)絡(luò)的一層輸出計(jì)算相應(yīng)的損失。之所以學(xué)生網(wǎng)絡(luò)的輸出維度是2,是因?yàn)槟承秃娇瞻l(fā)動(dòng)機(jī)滾動(dòng)軸承通常會(huì)出現(xiàn)外圈剝落異常,所收集樣本數(shù)據(jù)僅為正常和外圈異常兩類。

3 診斷實(shí)例

3.1 數(shù)據(jù)情況

為說(shuō)明本文所提方法的優(yōu)勢(shì)及泛化性能,選用某大學(xué)和NASA智能維護(hù)系統(tǒng)中心分別公開(kāi)的CWRU[17]和IMS[18]兩組開(kāi)源軸承數(shù)據(jù)集(試驗(yàn)平臺(tái)如圖3所示)分別完成教師網(wǎng)絡(luò)的訓(xùn)練,然后在航空發(fā)動(dòng)機(jī)滾動(dòng)軸承數(shù)據(jù)上進(jìn)行驗(yàn)證。為全面比較所提方法的優(yōu)勢(shì),和SVM、CNN、Resnet18、ViT等模型進(jìn)行了對(duì)比驗(yàn)證。

(a) CWRU軸承試驗(yàn)臺(tái) (b) IMS軸承試驗(yàn)臺(tái) (c) 真實(shí)的航空發(fā)動(dòng)機(jī)

CWRU滾動(dòng)軸承數(shù)據(jù)集是在圖3a所示的試驗(yàn)器上完成的試驗(yàn),本文中選用的軸承型號(hào)為SKF6205,數(shù)據(jù)采集過(guò)程中,振動(dòng)信號(hào)由16通道數(shù)據(jù)記錄儀采集得到,采樣頻率為12 kHz,試驗(yàn)轉(zhuǎn)速范圍為1720～1797 r/min。軸承共有正常、內(nèi)圈、外圈、滾動(dòng)體4種狀態(tài)。數(shù)據(jù)選擇時(shí)采用連續(xù)劃分的方式將數(shù)據(jù)劃分為1 s的數(shù)據(jù)。數(shù)據(jù)點(diǎn)數(shù)為12 000個(gè)點(diǎn)。連續(xù)劃分時(shí)的重疊樣本量為8000個(gè)樣本點(diǎn)。4種狀態(tài)均選擇300組樣本。

IMS滾動(dòng)軸承全壽命周期振動(dòng)數(shù)據(jù)采用了Rexnord ZA-2115滾動(dòng)軸承,軸承的主要參數(shù)如表2所示。使用PCB 353B33加速度傳感器進(jìn)行振動(dòng)信號(hào)監(jiān)測(cè),試驗(yàn)臺(tái)(如圖3b所示)由4個(gè)安裝在軸上的滾動(dòng)軸承組成,試驗(yàn)中轉(zhuǎn)速為2000 r/min,試驗(yàn)中向軸承施加26.67 kN的徑向載荷。使用某公司的DAQ6062E數(shù)據(jù)采集卡進(jìn)行信號(hào)采集,采樣頻率設(shè)置為20 480 Hz,每間隔10 min采集1 s數(shù)據(jù),作為一個(gè)數(shù)據(jù)樣本,每個(gè)樣本采樣點(diǎn)數(shù)為20 480。樣本信息如表3所示。

表2 滾動(dòng)軸承參數(shù)

表3 數(shù)據(jù)樣本信息

航空發(fā)動(dòng)機(jī)滾動(dòng)軸承樣本來(lái)自3臺(tái)同型號(hào)的發(fā)動(dòng)機(jī)試驗(yàn)數(shù)據(jù),(記為:發(fā)動(dòng)機(jī)1、發(fā)動(dòng)機(jī)2、發(fā)動(dòng)機(jī)3)。試驗(yàn)中采用頻率為64 kHz,連續(xù)采樣。選用轉(zhuǎn)速為13 900 r/min以上的數(shù)據(jù)進(jìn)行診斷分析。3種型號(hào)軸承的采集數(shù)據(jù)如圖3d～圖3f所示。

訓(xùn)練時(shí)按照7∶3的比例劃分訓(xùn)練集和測(cè)試集。分別采用CWRU和IMS數(shù)據(jù)集實(shí)現(xiàn)教師網(wǎng)絡(luò)的訓(xùn)練結(jié)果如表4所示。試驗(yàn)過(guò)程中由于CWRU和IMS兩個(gè)數(shù)據(jù)集中所得樣本中數(shù)據(jù)點(diǎn)數(shù)不盡相同,為了和真實(shí)發(fā)動(dòng)機(jī)數(shù)據(jù)的數(shù)據(jù)樣本大小相同,采用數(shù)據(jù)擴(kuò)充的方法,將這兩個(gè)數(shù)據(jù)集的1 s的數(shù)據(jù)進(jìn)行頻譜變換處理,并取頻譜中一半的數(shù)據(jù),同時(shí)擴(kuò)充變換為大小224×224×3的樣本,作為模型的輸入。模型的其余參數(shù)見(jiàn)表1中教師網(wǎng)絡(luò)的參數(shù)。采用T-SNE方法所獲的可視化結(jié)果如圖4所示。

表4 教師網(wǎng)絡(luò)訓(xùn)練結(jié)果

(a) CWRU數(shù)據(jù)集分類特征可視化 (b) IMS數(shù)據(jù)集分類特征可視化

結(jié)果表明,對(duì)于CWRU和IMS兩種數(shù)據(jù)集,均能實(shí)現(xiàn)很高的分類精度,其中CWRU數(shù)據(jù)集的分類精度達(dá)到了99.65%,IMS數(shù)據(jù)集的分類精度為98.74%。說(shuō)明本文教師網(wǎng)絡(luò)在兩種試驗(yàn)臺(tái)數(shù)據(jù)上具有很高的診斷精度。圖4中的結(jié)果同樣可以直觀的看出,教師網(wǎng)絡(luò)可以將4種狀態(tài)完全的進(jìn)行分開(kāi),進(jìn)一步反映了本文方法的有效性。

3.2 不同方法對(duì)比驗(yàn)證及泛化性能測(cè)試

為說(shuō)明本文方法的優(yōu)越性,在相同的數(shù)據(jù)集上對(duì)上述幾種方法進(jìn)行了測(cè)試。其中 CNN模型選用5層常用的模型、其中ViT模型的參數(shù)與本文中學(xué)生網(wǎng)絡(luò)的參數(shù)一致。所測(cè)試的幾種方法均通過(guò)發(fā)動(dòng)機(jī)實(shí)測(cè)數(shù)據(jù)進(jìn)行驗(yàn)證,此時(shí)不對(duì)發(fā)動(dòng)機(jī)進(jìn)行區(qū)分,采用所有的發(fā)動(dòng)機(jī)數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試。測(cè)試結(jié)果如表5所示。同時(shí)展示了表現(xiàn)最優(yōu)的ViT方法和本文方法的測(cè)試精度變化曲線,如圖5所示。

表5 不同方法對(duì)比結(jié)果

圖5 發(fā)動(dòng)機(jī)數(shù)據(jù)上測(cè)試精度變化趨勢(shì)

表5表明,將航空發(fā)動(dòng)機(jī)滾動(dòng)軸承振動(dòng)加速度數(shù)據(jù)經(jīng)過(guò)預(yù)處理后直接輸入至診斷模型,所獲得的效果并不理想。例如,SVM方法在航空發(fā)動(dòng)機(jī)滾動(dòng)軸承診斷中僅獲得了63.34%的診斷精度,說(shuō)明采用該方法不能很好的實(shí)現(xiàn)診斷。Resnet18的診斷精度高出CNN約6.75%,說(shuō)明殘差網(wǎng)絡(luò)相比于傳統(tǒng)的CNN網(wǎng)絡(luò)在航空發(fā)動(dòng)機(jī)滾動(dòng)軸承診斷中具有更加明顯的優(yōu)勢(shì)。而ViT則相比Resnet18精度提高了約2.57%,也從側(cè)面反映了ViT模型的性能要優(yōu)于Resnet18。診斷精度最高的是本文所提的蒸餾學(xué)習(xí)方法,其診斷準(zhǔn)確率為96.38%,相比診斷效果最優(yōu)的ViT精度提高11.42%。分析認(rèn)為,出現(xiàn)這種差異的主要原因是本文模型中的學(xué)生網(wǎng)絡(luò)通過(guò)蒸餾學(xué)習(xí)的方式,學(xué)習(xí)獲得了教師網(wǎng)絡(luò)中的知識(shí),且這種知識(shí)是不同型號(hào)軸承之間的共性。圖5中精度變化曲線同樣表明本文方法相比ViT模型,具有更高的診斷精度,且收斂速度更快。

為說(shuō)明本文方法的優(yōu)勢(shì),采用T-SNE方法對(duì)各個(gè)模型的輸出結(jié)果進(jìn)行了可視化顯示。如圖6所示。圖6中結(jié)果反映出,SVM、CNN、Resnet18三種網(wǎng)絡(luò)無(wú)法直觀的實(shí)現(xiàn)外圈可正常狀態(tài)的區(qū)分,很容易看出,其輸出結(jié)果和發(fā)動(dòng)機(jī)號(hào)有關(guān),比較分散。而ViT卻克服了這種不同發(fā)動(dòng)機(jī)之間的差異,結(jié)果相對(duì)更加集中。最直觀的是本文所提出的方法,正常狀態(tài)和外圈異常狀態(tài)的輸出結(jié)果完全不一致,且相對(duì)更加集中。

(a) SVM的結(jié)果可視化 (b) CNN的結(jié)果可視化

不同模型的對(duì)比結(jié)果能夠表征本文方法具有很高的診斷精度,而為了說(shuō)明本文方法的泛化性能,進(jìn)行了不同發(fā)動(dòng)機(jī)之間的對(duì)比試驗(yàn)。分別僅利用1臺(tái)發(fā)動(dòng)機(jī)完成學(xué)生網(wǎng)絡(luò)的訓(xùn)練,采用其余兩臺(tái)發(fā)動(dòng)機(jī)數(shù)據(jù)進(jìn)行測(cè)試。測(cè)試結(jié)果如表6所示。

表6 泛化性能驗(yàn)證結(jié)果

由表6可知,采用不同發(fā)動(dòng)機(jī)數(shù)據(jù)進(jìn)行訓(xùn)練所得到的了檢測(cè)精度略有差異,但是均保持了95%以上的診斷精度,具體而言,采用發(fā)動(dòng)機(jī)1的數(shù)據(jù)進(jìn)行訓(xùn)練,其余兩臺(tái)發(fā)動(dòng)機(jī)數(shù)據(jù)進(jìn)行測(cè)試的診斷精度最低,為95.98%;采用發(fā)動(dòng)機(jī)3的數(shù)據(jù)進(jìn)行訓(xùn)練,其余兩臺(tái)發(fā)動(dòng)機(jī)數(shù)據(jù)進(jìn)行測(cè)試,相比前一種情況診斷精度提高了0.54%;效果最好的是采用發(fā)動(dòng)機(jī)2的數(shù)據(jù)進(jìn)行訓(xùn)練,其余兩臺(tái)發(fā)動(dòng)機(jī)數(shù)據(jù)進(jìn)行測(cè)試,達(dá)到了97.64%的診斷精度。對(duì)比結(jié)果說(shuō)明無(wú)論是那臺(tái)發(fā)動(dòng)機(jī)數(shù)據(jù)進(jìn)行的測(cè)試,本文方法均表現(xiàn)了很高的穩(wěn)定性,表明該方法具有很強(qiáng)的泛化能力。

4 結(jié)論

提出了一種蒸餾學(xué)習(xí)的航空發(fā)動(dòng)機(jī)滾動(dòng)軸承診斷的方法,旨在解決航空發(fā)動(dòng)機(jī)滾動(dòng)軸承異常難檢測(cè)的問(wèn)題?？梢缘贸鋈缦陆Y(jié)論:

(1)直接采用傳統(tǒng)的智能方法很難獲得高精度的診斷結(jié)果,這是因?yàn)楹娇瞻l(fā)動(dòng)機(jī)振動(dòng)的傳遞路徑相對(duì)較長(zhǎng),基于機(jī)匣測(cè)點(diǎn)的航空發(fā)動(dòng)機(jī)滾動(dòng)軸承振動(dòng)加速度數(shù)據(jù)相對(duì)更加復(fù)雜,其中夾雜了各種振動(dòng)源數(shù)據(jù),使得高精度精度診斷難上加難。

(2)航空發(fā)動(dòng)機(jī)滾動(dòng)軸承異常狀態(tài)的數(shù)據(jù)很難獲取,采用現(xiàn)有的滾動(dòng)軸承試驗(yàn)臺(tái)數(shù)據(jù)集向?qū)崪y(cè)數(shù)據(jù)遷移可以獲得更高的診斷精度。

(3)在不同發(fā)動(dòng)機(jī)數(shù)據(jù)集上的測(cè)試結(jié)果表明本文方法具有很高的泛化性能。為實(shí)際的航空發(fā)動(dòng)機(jī)診斷提供了新的思路,且本文方法具有一定的實(shí)用價(jià)值。

然而,采用本文方法所得的模型具有參數(shù)量大,計(jì)算效率不高的不足,很難將其部署至飛機(jī)機(jī)載診斷設(shè)備中。因此,后續(xù)為了滿足機(jī)載診斷的要求,實(shí)現(xiàn)機(jī)載在線診斷,同時(shí)提高診斷的精度。一是研究輕量化的智能診斷方法;二是采用應(yīng)用遷移診斷方法,提高模型的診斷精度。