基于DR-VAE與自注意力機制的電機軸承故障診斷

楊青,劉彥俏,吳東升,崔寶才

(沈陽理工大學 自動化與電氣工程學院,沈陽 110159)

電機軸承通常在變工況下運行,而且故障數(shù)據(jù)少且樣本不平衡,電機軸承故障診斷精度與泛化能力低。傳統(tǒng)軸承故障診斷方法常用數(shù)據(jù)過采樣、欠采樣與混合采樣等解決故障數(shù)據(jù)不平衡問題:文獻[1]提出了一種基于生成對抗網(wǎng)絡不平衡故障診斷方法;文獻[2]提出了線性判別分析的欠采樣程序并使用灰狼優(yōu)化算法進行閾值調(diào)整;文獻[3]提出了將混合采樣法與支持向量機相結合的故障診斷方法。然而,過采樣由于過多重復正例會造成過擬合,欠采樣則會忽略一些反例數(shù)據(jù),使用采樣方法有過擬合風險且生成樣本單一。文獻[4]提出了矢量量化變分自編碼(Vector Quantised Variational Auto Encoder,VQ-VAE)生成模型,其生成樣本具有多樣性且質量好,更適用于解決軸承故障診斷中故障數(shù)據(jù)與正常數(shù)據(jù)不平衡問題。

針對實際工作中電機軸承變工況導致故障診斷精度低的問題,文獻[5]提出了一種子領域自適應的遷移學習故障診斷方法;文獻[6]提出基于自適應噪聲模態(tài)分解和正余弦算法優(yōu)化多核相關向量機的軸承故障診斷方法:這幾種方法都通過自適應遷移學習解決了變工況軸承振動數(shù)據(jù)特征分布不一致問題。另一種思路是進行多特征融合:文獻[7]將卷積神經(jīng)網(wǎng)絡(CNN)和門控循環(huán)單元(GRU)時序處理能力的優(yōu)勢結合,提出了一種雙通道特征融合CNN-GRU齒輪箱故障診斷方法;文獻[8]提出了一種由卷積神經(jīng)網(wǎng)絡實現(xiàn)的變分概率自動編碼器框架,在通過編碼器前對數(shù)據(jù)進行融合,然后提取融合特征,融合后的信息包含著空間和頻譜信息;文獻[9]提出了稀疏濾波網(wǎng)絡的電流信號無監(jiān)督特征學習與融合方法,解決了電流信號特征提取難的問題。

注意力機制來源于人類視覺的研究。文獻[10]提出了基于注意力機制的動態(tài)加權融合AdaBoost分類器。文獻[11]提出了基于注意力機制的多層雙向GRU的神經(jīng)網(wǎng)絡軸承故障診斷模型。文獻[12]提出了基于特征注意機制的改進多尺度卷積軸承故障診斷模型:注意力機制可以有效提取關鍵特征信息,提高故障診斷精度。

綜上分析可知,基于遷移自適應和特征融合的變工況軸承故障診斷方法仍存在不足:遷移后的模型對目標域以外數(shù)據(jù)的診斷泛化能力不夠,而且耗時適中,不適合實時性強的故障診斷任務;不同工況之間存在分布差異,無法確定符合融合的條件?；谏鲜鲂枨?本文構建一種新的變工況特征融合軸承故障診斷方法,即通過VQ-VAE對故障數(shù)據(jù)樣本進行增強使數(shù)據(jù)平衡,并將自注意力機制(Self-Attention Mechanism,SAM)與深度殘差變分自編碼器 (Deep Resnet-Variational Automatic Encoder,DR-VAE)結合以提取關鍵特征信息,最后通過DR-VAE-SAM網(wǎng)絡提取的故障特征融合形成全局特征,進行故障診斷。

1 理論基礎

1.1 VAE

變分自編碼(VAE)[13]是一種包含隱變量的生成模型,類似傳統(tǒng)自編碼器的編碼解碼過程,其結構如圖1所示。給定輸入數(shù)據(jù)xi,編碼器計算隱含特征向量zi,解碼器根據(jù)zi重構xi′,其中μi和σi從編碼器網(wǎng)絡獲得。

圖1 VAE結構圖

VAE模型的核心之一是通過最大化變分下界共同訓練近似后驗模型和生成模型。變分下界的表達式為

E(q)=Ez[logp(x′|z)]-

DKL[q(z|x)‖p(z)]。

(1)

1)最大化Ez[logp(x′︳z)]?；叶葓D取高斯分布,對數(shù)似然為平方差。通過最小化輸入數(shù)據(jù)的重構損失學習編碼器和解碼器的參數(shù),重構損失的表達式為

(2)

2)最小化DKL[q(z︳x)‖p(z)]。使后驗分布近似值q(z︳x)接近先驗分布p(z),當q(z︳x)p(z)都是高斯分布時可得

DKL(q(z︳x)‖p(z))=

(3)

式中:zi為單變量高斯分布,由輸入數(shù)據(jù)xi的采樣以及參數(shù)μi和σi生成。

綜上所述,VAE損失函數(shù)包括KL散度和重構損耗,可表示為

(4)

1.2 VQ-VAE

VQ-VAE[4]相對于VAE多了一步潛在變量離散化,如圖2所示。模型輸入x,則通過編碼器輸出ze(x),為簡單起見,將分布q(z︳x)概率定義為one-hot,即

圖2 VQ-VAE原理圖

(5)

將logp(x)與E(q)綁定,此時q(z=k︳x)是確定的。通過在z上定義簡單的均勻先驗,獲得KL散度常數(shù)并等于logk。其總訓練目標為

(6)

式中:sg為正向計算時被定義為標識的停止梯度運算符,具有零偏導數(shù)。

1.3 DR-VAE

DR-VAE是將深度殘差神經(jīng)網(wǎng)絡[14]與VAE結合,利用深度殘差編碼器提取特征,再由深度殘差解碼器根據(jù)內(nèi)在分布生成準確的數(shù)據(jù)。深度殘差網(wǎng)絡與VAE結合可以提高模型學習性能,避免傳統(tǒng)多層神經(jīng)網(wǎng)絡可能出現(xiàn)的梯度消失現(xiàn)象。

在DR-VAE中,深度殘差模塊由卷積層和直接映射2個部分組成,如圖3所示,殘差塊的表達式為

圖3 深度殘差模塊

F(x)=W2σ(W1x),

(7)

y=F(x,{Wi})+x,

(8)

式中:x為殘差塊的輸入;σ為非線性激活函數(shù)ReLU;W為神經(jīng)網(wǎng)絡的權重。通過直接映射和第2個ReLU激活函數(shù)獲得殘差塊的期望輸出y。

DR-VAE可以提取輸入數(shù)據(jù)的隱藏特征,將特征信息融合重構后輸入故障分類器進行故障分類。然而,其局限性在于編碼器必須將整個信息序列壓縮成一個固定長度的向量,造成部分微小故障特征不明顯,影響模型測試精度。因此本文在編解碼過程中引入自注意力機制,通過神經(jīng)網(wǎng)絡學習隱藏特征的注意力權重,并根據(jù)其重要性分配權重(故障相關性高的特征分配高的注意力權重);最后將隱變量及其相應的注意力權重的加權和輸入解碼器得到更準確的特征,從而在不增加模型參數(shù)的情況下提高模型的表達能力,進而提高模型測試精度。

1.4 自注意力機制

自注意機制是注意力機制[15]的一種變體,如圖4所示。本質是為輸入序列中的每個元素各自分配一個權重系數(shù)w,每個元素都以(q,k,v)的形式存儲,通過計算學習(q,k)的相似度完成尋址。

圖4 自注意力機制結構圖

相似度反映了所提取v值的重要程度,即注意力權重αi,可表示為

αi=sigmoid(kiqi),

(9)

注意力權重可用于構建內(nèi)容向量c,內(nèi)容向量cj是隱藏的特征狀態(tài)ai及其相應注意權重的加權和,即

(10)

每個輸出cj不僅依賴ai,還有其他輸入的隱藏特征狀態(tài),從而找到應該更加關注的輸入。

1.5 遷移特征融合

引入遷移學習中的最大均值差異(Maximum Mean Discrepancy,MMD)距離作為衡量各工況之間分布差異的指標,進而判斷各工況數(shù)據(jù)特征融合的難度,從中選取2個MMD距離最小的工況進行數(shù)據(jù)特征融合并輸入訓練網(wǎng)絡訓練,以提高模型特征融合的穩(wěn)定性。

MMD距離可表示為

(11)

式中:k(*)為將原變量映射到高維空間中的映射函數(shù);X,Y分別為2個工況的數(shù)據(jù)樣本集;x,y分別為2個工況的樣本矩陣;F為映射函數(shù)集;m,n分別為2個數(shù)據(jù)集的大小。

2 DR-VAE-SAM網(wǎng)絡模型

本文提出的DR-VAE-SAM集合型不平衡變工況軸承故障診斷模型的結構如圖5所示:首先,通過VQ-VAE對故障數(shù)據(jù)樣本進行增強,提高訓練模型的診斷精度,解決故障數(shù)據(jù)少和樣本不平衡問題;然后,將深度殘差網(wǎng)絡與變分自編碼結合提取故障特征,并使用MMD作為融合標準以提高特征融合的穩(wěn)定性;最后,引入自注意力機制層提取融合特征的關鍵信息并輸出分類結果。

圖5 DR-VAE-SAM結構圖

2.1 數(shù)據(jù)預處理

(12)

本文將原始一維振動信號轉化為二維灰度圖像,然后通過VQ-VAE模型進行故障數(shù)據(jù)擴充。

2.2 DR-VAE-SAM軸承故障診斷模型

通過DR-VAE模型提取輸入數(shù)據(jù)xi的隱藏特征zi,再將2種工況的隱藏特征進行融合,得到全局隱藏特征。如圖6所示,本文在編解碼過程中引入自注意力機制,使模型可以通過神經(jīng)網(wǎng)絡學習注意力權重αi;因此,DR-VAE-SAM模型能夠很好地區(qū)分不同隱變量的重要性,通過對注意力權重加權突出更多與故障診斷相關的部分。

圖6 模型原理圖

第i個隱藏特征狀態(tài)zi獲得的注意力權重為

(13)

在每個解碼器位置j,根據(jù)編碼器所有隱藏特征狀態(tài)zi及其相應注意權重的加權和得到狀態(tài)向量cj,即

(14)

cj不僅依賴zi,還有其他輸入的隱藏特征狀態(tài),從而找到應該更加關注的隱藏特征狀態(tài)。

DR-VAE-SAM模型的損失函數(shù)包括殘差網(wǎng)絡中均方損失函數(shù)L1與VAE損失函數(shù)LVAE,分別為

L1=(x1-yi)2+(x2-yi)2,

(15)

(16)

式中:μi,σi為從編碼器網(wǎng)絡獲得的均值方差參數(shù);x1,x2分別為參與融合的工況1和工況2數(shù)據(jù)。

2.3 基于DR-VAE-SAM的軸承故障診斷流程

DR-VAE-SAM軸承故障診斷模型可分為數(shù)據(jù)預處理、數(shù)據(jù)集平衡、離線階段、在線階段4個部分,其具體流程如圖7所示:

圖7 診斷流程圖

1)將采集的數(shù)據(jù)轉化為灰度圖,通過VQ-VAE處理不平衡的數(shù)據(jù)并計算各數(shù)據(jù)集之間的MMD距離,選擇MMD距離最小的數(shù)據(jù)集。

2)在歷史數(shù)據(jù)離線建模階段,通過深度殘差編碼器對輸入數(shù)據(jù)進行特征提取。

3)將需要融合的數(shù)據(jù)特征進行融合。

4)引入自注意機制層,根據(jù)融合后的特征信息對特征進行加權,提高模型特征提取能力。

5)將深度殘差解碼器解碼后的特征輸入GMM故障分類器進行分類,并根據(jù)注意力權重計算聯(lián)合重構損失和VAE損失,通過反向傳播更新網(wǎng)絡參數(shù),直到迭代結束,保存得到的模型。

6)在工廠數(shù)據(jù)在線診斷階段,采集在線數(shù)據(jù),將采集到的數(shù)據(jù)轉化為灰度圖,輸入到保存好的模型中,進行在線故障診斷并輸出診斷結果。

3 試驗驗證

為驗證DR-VAE-SAM軸承故障診斷模型的有效性和準確性,利用美國凱斯西儲大學(CWRU)和東南大學的軸承數(shù)據(jù)集進行驗證。試驗環(huán)境配置采用的CPU為Intel Core i7-8700,GPU為NVIDIA GTX 1080 Ti,深度學習框架為Pytorch,模型的主干網(wǎng)絡為Resnet18。模型初始狀態(tài)的學習率為0.001,動量因子的值調(diào)整為0.8,批訓練大小為64,epoch為50;模型采用適合軸承數(shù)據(jù)的AdamW優(yōu)化器,其對內(nèi)存需求小,同時能夠減小損失,加快找到最優(yōu)參數(shù)并得到目標函數(shù)最優(yōu)解,學習率設置為0.001,衰減率為10-8。

3.1 CWRU軸承數(shù)據(jù)

3.1.1 數(shù)據(jù)預處理

本試驗采用CWRU軸承數(shù)據(jù)集[16]中48 kHz采樣頻率下的軸承數(shù)據(jù),試驗軸承型號為6205,按照其轉速分為A,B,C這3類工況,每類工況包含1種正常數(shù)據(jù)和9種故障數(shù)據(jù)。故障數(shù)據(jù)分別由內(nèi)圈(IR)、外圈(OR)、鋼球(B)各3種損傷程度組成(損傷直徑分別為0.178,0.356,0.534 mm)。

在原始一維振動信號的基礎上,將其轉化為二維灰度圖像,以A工況為例,轉換后的灰度圖如圖8所示,根據(jù)試驗要求利用VQ-VAE模型擴充故障數(shù)據(jù)至滿足要求(正常數(shù)據(jù)無需擴充)。其中,0.534OR故障數(shù)據(jù)的灰度圖如圖9所示,VQ-VAE生成故障的圖像特征比原始故障明顯。VQ-VAE生成的數(shù)據(jù)樣本不僅保留了原輸入數(shù)據(jù)的特征,而且在其基礎上對相關特征數(shù)據(jù)進行了增強處理,解決了數(shù)據(jù)不平衡問題。

(a) 原始故障數(shù)據(jù)

(a) 真實樣本 (b) VQ-VAE生成樣本

本試驗在每類工況下采集10種故障的真實數(shù)據(jù)各115條,擴充數(shù)據(jù)85條,即每種故障數(shù)據(jù)有200條,最終得到的訓練集包括6 000張真實數(shù)據(jù)和擴充數(shù)據(jù)的二維灰度圖,每類工況各2 000張;訓練集與測試集的比例為4∶1,即每個測試集中包含一個工況真實數(shù)據(jù)二維灰度圖500張。

3.1.2 MMD距離計算

計算各工況數(shù)據(jù)之間的MMD距離,為盡可能地增強融合效果,降低融合難度,提高模型穩(wěn)定性,選擇MMD距離最小的2個工況數(shù)據(jù)進行特征融合。根據(jù)表1,本模型選擇融合工況A和工況B的數(shù)據(jù)特征并完成模型訓練。

表1 MMD距離統(tǒng)計表

3.2 數(shù)據(jù)不平衡試驗

為進一步驗證VQ-VAE模型解決故障診斷中數(shù)據(jù)不平衡問題的有效性,本文用VGG,ResNet,AleXNet,GoogLeNet模型對不同工況的原始數(shù)據(jù)和增強數(shù)據(jù)分別進行試驗,結果如圖10所示,對比可知,通過VQ-VAE模型增強后數(shù)據(jù)訓練出的模型的故障診斷準確率更高。深度學習網(wǎng)絡訓練通常需要大量的數(shù)據(jù),故障樣本過少時模型會過擬合,從而影響模型診斷精度;因此,通過VQ-VAE進行數(shù)據(jù)增強可以有效提高故障診斷精度。

圖10 原始數(shù)據(jù)與增強數(shù)據(jù)試驗對比圖

ResNet使用增強數(shù)據(jù)對工況A,B,C的故障診斷準確率分別為98.5%,99.0%和95.5%,比其他模型高0.2%～4.0%。ResNet也可以解決多層神經(jīng)網(wǎng)絡可能出現(xiàn)的梯度消失問題,從而深度提取數(shù)據(jù)特征。因此本文選擇ResNet作為基礎網(wǎng)絡架構。

3.3 變工況試驗

為驗證DR-VAE-SAM變工況故障診斷方法的有效性,設置9個試驗任務,試驗結果取平穩(wěn)階段的平均準確率,由表2可知:

表2 變工況試驗的準確率

1)任務1,2,4,6,8利用增強數(shù)據(jù)訓練可以提高故障診斷準確率。

2)任務1,2的準確率高于任務4。這是由于任務1,2測試的是參與融合的工況,而任務4測試的是未參與融合的工況,數(shù)據(jù)特征無法完全表示,具有局限性,因此診斷精度有一定幅度的下降。

3)任務1,2準確率高于任務6,8。這是由于任務1,2選擇融合的工況為MMD距離最小的AB工況,融合效果較好。

測試結果表明,DR-VAE-SAM模型具有一定的泛化能力,對未參與融合的數(shù)據(jù)仍有一定的診斷能力,可以滿足變工況故障診斷的要求。

3.4 對比分析

3.4.1 對比模型的選擇

目前,變工況軸承故障診斷主要思想是將不同工況分為源域和目標域,使用MMD或Coral等作為特征分布度量準則,利用深度神經(jīng)網(wǎng)絡的可遷移性進行特征空間的變換。深度適配網(wǎng)絡(Deep Adaptation Netowrk,DAN)與Deepcoral是經(jīng)典的遷移學習方法。DAN采用多核MMD減小域差異,從而增強網(wǎng)絡具體任務層的特征遷移能力;Deepcoral提出一個coral loss,通過線性變換將源域與目標域分布的二階統(tǒng)計特征進行對齊。

為驗證DR-VAE-SAM模型在變工況軸承故障診斷方面的有效性,將其與DAN,Deepcoral遷移學習模型進行對比,為保證對比試驗的有效性、合理性以及全面性,采用控制變量法,即測試數(shù)據(jù)集和迭代次數(shù)一致,環(huán)境配置均相同,均采用Pytorch框架訓練算法。

3.4.2 對比試驗結果

8組對比試驗及準確率結果見表3:與變工況試驗結果類似,使用VQ-VAE進行數(shù)據(jù)增強后,DAN,Deepcoral均取得了比原始數(shù)據(jù)訓練更高的的故障診斷準確率,進一步證明VQ-VAE可以提高模型的診斷精度。

表3 對比試驗結果

9組任務和8組對比的結果均證明了數(shù)據(jù)增強模塊的有效性,對于表2和表3種數(shù)據(jù)增強后的試驗結果:DR-VAE-SAM模型對于AB→B,AB→C的準確率分別為88.3%和75.5%,對于BC→B,BC→C的準確率分別為82.0%和78.1%,與DAN和Deepcoral變工況故障診斷模型對A→B和A→C工況的準確率分別高出4.1%,1.5%,4.7%和2.9%,證明了特征融合模塊的性能。

綜上,遷移學習雖然在一定程度上解決了變工況數(shù)據(jù)分布差異的問題,但仍可能出現(xiàn)特征空間轉換的誤差,導致特征分布無法完全匹配,從而降低變工況軸承故障診斷的精度。本文模型通過特征融合和自注意力機制,使故障特征具有區(qū)分性和代表性,能更有效地表達軸承故障數(shù)據(jù)的本質特征,提高故障診斷的精度和泛化能力?？傮w而言,DR-VAE-SAM模型在數(shù)據(jù)不平衡和變工況故障診斷方面都略優(yōu)于其他方法。

3.5 泛化性試驗

3.5.1 東南大學試驗數(shù)據(jù)

采用東南大學變速箱數(shù)據(jù)集[17]中的軸承數(shù)據(jù)進行DR-VAE-SAM模型的泛化能力試驗。本試驗采用通道2的數(shù)據(jù),包括正常、鋼球故障、外圈故障和內(nèi)外圈復合故障,每種故障選取200個樣本,按照2∶1的比例劃分訓練集和測試集。選取轉速-負載配置為20 Hz-0 V的數(shù)據(jù)為工況D,30 Hz-2 V的數(shù)據(jù)為工況E。

3.5.2 試驗結果

將DE工況融合后訓練模型。設置2個任務,進行4組對比試驗。任務一,使用工況D的500張真實數(shù)據(jù)二維灰度圖作為測試工況并輸出結果;任務二,使用工況E的500張真實數(shù)據(jù)二維灰度圖作為測試工況并輸出結果。2個任務均在本試驗訓練好的模型上測試。2組對比分別用DAN,Deepcoral進行工況D→E和E→D的試驗,其中,源域為有標簽的訓練樣本,目標域為無標簽的測試樣本。試驗測試結果見表4。

表4 泛化試驗結果

由表4可知,DAN,Deepcoral模型的故障診斷準確率均低于DR-VAE-SAM模型。遷移學習雖然可以解決變工況中源域與目標域數(shù)據(jù)分布差異問題,但遷移后的模型對于目標域以外數(shù)據(jù)的診斷仍具有局限性;而本文所提方法可以通過不同工況之間特征融合提取全局特征,使模型具有更強的泛化能力,故障診斷精度更高。

4 結束語

提出了基于DR-VAE-SAM的不平衡變工況軸承故障診斷方法,通過VQ-VAE對軸承故障數(shù)據(jù)進行增強可以提高軸承故障診斷的準確率;結合DR-VAE和自注意力機制并引入遷移學習中的最大均值差異(MMD)作為融合標準,可以提高特征融合的穩(wěn)定性,從而進一步提升軸承故障診斷的效率和精度。

盡管本研究取得了令人滿意的成果,但仍存在一些問題需要解決:需要深入研究該方法在實際工程應用中的適用性和可擴展性;需要考慮模型在大規(guī)模數(shù)據(jù)集上的訓練和測試,以驗證該方法的魯棒性和穩(wěn)定性;探索更多的特征提取和融合方法,以進一步提高軸承故障診斷精度。