基于深度動態(tài)密度估計的軸承異常檢測*

劉華杰,雷文平,王軍輝,陳新財,董辛?xí)F

(鄭州大學(xué)機(jī)械與動力工程學(xué)院,鄭州 450001)

0 引言

隨著從工業(yè)過程中收集到的傳感器數(shù)據(jù)越來越多,機(jī)械工業(yè)檢測已經(jīng)進(jìn)入“大數(shù)據(jù)時代”,這些數(shù)據(jù)可被視為行業(yè)所用設(shè)備運(yùn)行狀態(tài)檢查的關(guān)鍵資產(chǎn)[1]。滾動軸承是重要的工業(yè)機(jī)械基礎(chǔ)件,根據(jù)統(tǒng)計由于滾動軸承故障引起的故障占40%～70%[2],因此開發(fā)出一種滾動軸承軸承異常檢測算法具有重要意義。

人工智能算法作為強(qiáng)大的模式識別工具已經(jīng)受到工業(yè)領(lǐng)域的廣泛關(guān)注,如貝葉斯網(wǎng)絡(luò)[3]用于鐵路牽引系統(tǒng)故障檢測,基于支持向量機(jī)[4]的方法用于石油工業(yè)故障檢測,基于自動編碼器和支持向量機(jī)(SVM)[5]的方法用于軸承故障診斷領(lǐng)域。普通的機(jī)器學(xué)習(xí)方法都是基于數(shù)據(jù)類平衡的假設(shè),但在面對不平衡數(shù)據(jù)時模型它們的分類器有可能通過犧牲少數(shù)類來確保多數(shù)類的準(zhǔn)確性[6]。由于在工業(yè)過程中系統(tǒng)通常在正常狀態(tài)下運(yùn)行,導(dǎo)致在實踐中診斷系統(tǒng)收集到的一批數(shù)據(jù)中包含大量正常狀態(tài)的軸承信號樣本和少量的故障樣本。因此,工業(yè)系統(tǒng)的異常檢測任務(wù)可以建模為數(shù)據(jù)不平衡問題[3]。

異常檢測表明原始信號的降維特征和重建誤差對于異常檢測均有重要作用[7-8]。ZONG等[9]提出的一種用于無監(jiān)督異常檢測的密度估計模型(DAGMM)提取原始信號的降維特征在并在高斯混合模型(GMM)[10]框架下學(xué)習(xí)正常數(shù)據(jù)低維表示的概率分布,以此來區(qū)分正常異常。這種方法表明只學(xué)習(xí)正常樣本的模型應(yīng)對不平衡數(shù)據(jù)集是有效的。

受到以上研究的啟發(fā),特別是針對于不平衡的工業(yè)數(shù)據(jù),本文提出了一種基于深度動態(tài)密度估計的方法(DCEN)來解決軸承信號異常檢測問題。模型整體分為壓縮網(wǎng)絡(luò)和估計網(wǎng)絡(luò)兩部分并采取端到端方式進(jìn)行聯(lián)合訓(xùn)練。壓縮網(wǎng)絡(luò)由編碼器-解碼器-編碼器3個子網(wǎng)絡(luò)組成,提取原始信號的低維特征和重構(gòu)誤差組合為低維表示。估計網(wǎng)絡(luò)為多層神經(jīng)網(wǎng)絡(luò),學(xué)習(xí)模擬原始信號的概率分布。在凱斯西儲大學(xué)(CWRU)、江南大學(xué)(JNU)和帕德博恩大學(xué)(PU)的3個滾動軸承數(shù)據(jù)集上進(jìn)行了實驗,驗證了該方法的有效性和可行性。根據(jù)對比實驗結(jié)果本文所用方法具有優(yōu)越的異常檢測性能。

本文方法的主要特點(diǎn)如下:①針對工業(yè)領(lǐng)域中的軸承不平衡數(shù)據(jù),提出了一種新的異常檢測方法,為軸承異常檢測提供了一種新的方案;②本文的網(wǎng)絡(luò)模型只需要正常樣本。在實際工業(yè)場景中,異常樣本的數(shù)量往往不夠,因此這是一個更具有現(xiàn)實意義的網(wǎng)絡(luò);③本文方法在3個公開的軸承數(shù)據(jù)集上均表現(xiàn)出具有競爭力的異常檢測性能,驗證了模型的有效性和泛化性。

1 密度估計異常檢測模型

1.1 模型概述

本文的深度動態(tài)密度估計異常檢測模型(DCEN)將深度自編碼與高斯混合模型聯(lián)合,由兩部分組成,如圖1所示模型由1個壓縮子網(wǎng)絡(luò)和1個估計子網(wǎng)絡(luò)組成(deep compression network and estimation network,DCEN),該壓縮網(wǎng)絡(luò)通過深度自動編碼器對輸入樣本進(jìn)行降維,將降維特征和重建誤差特征作為它們的低維表示,并將低維表示提供給后續(xù)的估計網(wǎng)絡(luò);該估計子網(wǎng)絡(luò)根據(jù)每個數(shù)據(jù)樣本的低維表示進(jìn)行混合隸屬度預(yù)測,并利用這些預(yù)測的隸屬度值,在高斯混合模型框架內(nèi)預(yù)測其能量值,最后根據(jù)能量值區(qū)分異常。

圖1 模型框架

1.2 壓縮網(wǎng)絡(luò)

如圖1所示,壓縮網(wǎng)絡(luò)為具有“編碼器(Ce)-解碼器(Cd)-編碼器(Ce′)”3個子網(wǎng)絡(luò)。給定一個樣本X壓縮網(wǎng)絡(luò)為估計網(wǎng)絡(luò)提供由原始輸入的低維特征和重構(gòu)誤差組成的低維表示,并且在訓(xùn)練過程中為損失函數(shù)提供壓縮損失。整個過程為:

步驟1:Ce由批次標(biāo)準(zhǔn)化層、全連接層和ReLU激活層組成。Ce將計算出X的低維特征Zc;

Zc=h(X;θe)

(1)

步驟2:Cd由批次標(biāo)準(zhǔn)化層、全連接層和ReLU激活層組成。Cd使用Zc來重建X′;

X′=g(Zc;θd)

(2)

(3)

壓縮網(wǎng)絡(luò)提供的低維表示為:

Zr=f(X,X′)

(4)

Z=[Zc,Zr]

(5)

1.3 估計網(wǎng)絡(luò)

估計網(wǎng)絡(luò)對來自壓縮網(wǎng)絡(luò)的輸出z進(jìn)行密度估計。估計網(wǎng)絡(luò)在訓(xùn)練階段使用多層神經(jīng)網(wǎng)絡(luò)來預(yù)測每個樣本的混合隸屬度直接估計高斯混合模型(GMM)的參數(shù),而無需采用GMM模型常用的期望最大化(EM)迭代算法。給定低維表示Z和整數(shù)k作為混合成分的數(shù)量,估計網(wǎng)絡(luò)進(jìn)行成員預(yù)測如下:

p=MLN(z;θm)

(6)

(7)

(8)

(9)

(10)

根據(jù)估計的參數(shù),可以通過式(11)進(jìn)一步推斷樣本能量。

(11)

在測試階段模型具有學(xué)習(xí)之后的參數(shù),可以直接估計樣本能量,并樣本能量高于閾值的樣本標(biāo)記為異常。

1.4 目標(biāo)函數(shù)

在給定一個包含N個樣本的數(shù)據(jù)集時,指導(dǎo)DCEN訓(xùn)練的目標(biāo)函數(shù)構(gòu)造如下:

(12)

該目標(biāo)函數(shù)包括3個部分。

②E(zi)表示輸入樣本zi的能量。通過最小化樣本能量,我們尋找壓縮和估計網(wǎng)絡(luò)的最佳組合。

2 實驗設(shè)置

為了評估本文DCEN的可行性和有效性,在凱斯西儲大學(xué)(CWRU)軸承數(shù)據(jù)集、江南大學(xué)(JNU)軸承數(shù)據(jù)集和帕德博恩大學(xué)(PU)軸承數(shù)據(jù)集上進(jìn)行了對比試驗。

2.1 數(shù)據(jù)集描述

凱斯西儲大學(xué)(CWRU)數(shù)據(jù)集由凱斯西儲大學(xué)軸承數(shù)據(jù)中心提供[11]。人為在滾動體(B)、內(nèi)圈(IR)和外圈(OR)加工出損壞點(diǎn)作為故障軸承。以12 kHz或48 kHz在試驗臺上利用加速度傳感器在驅(qū)動端、風(fēng)扇端和基座上采集正常軸承和具有損壞點(diǎn)的軸承振動信號。

江南大學(xué)(JNU)數(shù)據(jù)集[12]由3個不同轉(zhuǎn)速的軸承振動數(shù)據(jù)集組成,數(shù)據(jù)采樣頻率為50 kHz。如表1所示,JNU數(shù)據(jù)集包含一種健康狀態(tài)(N)和3種故障模式,包括內(nèi)圈故障(IR)、外圈故障(OR)和滾動體故障(B)。

表1 JNU數(shù)據(jù)集參數(shù)

帕德博恩大學(xué)(PU)數(shù)據(jù)集由帕德伯恩大學(xué)軸承數(shù)據(jù)中心提供[13]。數(shù)據(jù)中心人員通過實驗臺獲取電流信號和采樣頻率為64 kHz的振動信號。數(shù)據(jù)集包含的軸承狀態(tài)分為3類:①6個未損壞的軸承;②12個人為損壞的軸承;③14個軸承因加速壽命試驗造成實際損壞。

2.2 數(shù)據(jù)集處理

在凱斯西儲大學(xué)數(shù)據(jù)集上選取采樣頻率為12 kHz的信號作為實驗樣本。在正常運(yùn)行條件下使用b=2531個正常樣本作為訓(xùn)練集來訓(xùn)練模型。使用v=588和u=2598個無標(biāo)簽樣本組成測試集。

在江南大學(xué)數(shù)據(jù)集上使用b=8788個正常樣本作為訓(xùn)練集來訓(xùn)練模型。使用v=2198和u=10 926個無標(biāo)簽樣本組成測試集。

在帕德博恩大學(xué)數(shù)據(jù)集上采用正常軸承振動數(shù)據(jù)和真實故障軸承振動數(shù)據(jù)。使用b=47 645個正常樣本作為訓(xùn)練集來訓(xùn)練模型。使用v=11 912和u=59 609個無標(biāo)簽樣本組成測試集。

2.3 實施細(xì)節(jié)

在實驗中用于單個數(shù)據(jù)集的深度動態(tài)密度估計網(wǎng)絡(luò)(DCEN)的結(jié)構(gòu)總結(jié)如下。

凱斯西儲大學(xué)(CWRU)數(shù)據(jù)集:對于該數(shù)據(jù)集,其壓縮網(wǎng)絡(luò)向估計網(wǎng)絡(luò)提供34維輸入,其中32個維度是降維特征,另兩個維度來自重建誤差。為獲得最佳性能該估計網(wǎng)絡(luò)采用了具有3個混合分量的GMM。具體而言,壓縮網(wǎng)絡(luò)以BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,128,relu)-BN(128)-FC(128,32,None)-BN(32)-FC(32,128,relu)-BN(128)-FC(128,256,relu)-BN(256)-FC(256,4096,None)-BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,128,relu)-BN(128)-FC(128,32,None)運(yùn)行,并且估計網(wǎng)絡(luò)以BN(34)-FC(34,100,tanh)-BN(100)-DP(0.5)-FC(10,3,softmax)執(zhí)行。

江南大學(xué)(JNU)數(shù)據(jù)集:對于該數(shù)據(jù)集,其壓縮網(wǎng)絡(luò)向估計網(wǎng)絡(luò)提供34維輸入,其中32個維度是降維特征,另兩個維度來自重建誤差。為獲得最佳性能該估計網(wǎng)絡(luò)采用了具有3個混合分量的GMM。具體而言,壓縮網(wǎng)絡(luò)以BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,128,relu)-BN(128)-FC(128,32,None)-BN(32)-FC(32,128,relu)-BN(128)-FC(128,256,relu)-BN(256)-FC(256,4096,None)-BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,128,relu)-BN(128)-FC(128,32,None)運(yùn)行,并且估計網(wǎng)絡(luò)以BN(34)-FC(34,100,tanh)-BN(100)-FC(100,10,tanh)-BN(10)-DP(0.5)-FC(10,3,softmax)執(zhí)行。

帕德博恩大學(xué)(PU)數(shù)據(jù)集:對于該數(shù)據(jù)集,其壓縮網(wǎng)絡(luò)向估計網(wǎng)絡(luò)提供34維輸入,其中32個維度是降維特征,另兩個維度來自重建誤差。為獲得最佳性能該估計網(wǎng)絡(luò)采用了具有6個混合分量的GMM。具體而言,壓縮網(wǎng)絡(luò)以BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,32,None)-BN(32)-FC(32,256,relu)-BN(256)-FC(256,4096,None)-BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,32,None)運(yùn)行,并且估計網(wǎng)絡(luò)以BN(34)-FC(34,10,tanh)-BN(10)-DP(0.5)-FC(10,6,softmax)執(zhí)行。

其中,FC(a,b,f)表示一個全連接結(jié)構(gòu),其中a輸入神經(jīng)元和b輸出神經(jīng)元由函數(shù)f激活(None表示不使用激活函數(shù)),BN(d)表示數(shù)據(jù)維度為d的批次標(biāo)準(zhǔn)化操作,DP(p)表示訓(xùn)練期間保持概率為p的丟棄層。

所有DCEN模型實例均由tensorflow2.5實現(xiàn),并由Adam優(yōu)化網(wǎng)絡(luò)來優(yōu)化算法訓(xùn)練。訓(xùn)練時學(xué)習(xí)率設(shè)置為0.000 1,λ1設(shè)置為0.1,將λ2設(shè)置為0.005。對于凱斯西儲大學(xué)(CWRU)數(shù)據(jù)集、江南大學(xué)(JNU)數(shù)據(jù)集和帕德博恩大學(xué)(PU)數(shù)據(jù)集,epochs數(shù)分別為200,300和20。batch-size的大小,均設(shè)置為256。

本實驗在3個不同數(shù)據(jù)源上將DCEN模型與具有徑向基函數(shù)核(RBF)的一類支持向量機(jī)(OC-SVM)和局部離群因子(LOF)兩種經(jīng)典無監(jiān)督異常檢測方法進(jìn)行比較。

3 實驗

3.1 評價指標(biāo)

在實驗中DCEN模型計算訓(xùn)練集和測試集的異常分?jǐn)?shù),并將訓(xùn)練集樣本異常分?jǐn)?shù)降序排列并且以99.5%分位點(diǎn)的異常分?jǐn)?shù)作為判別閾值。在測試集中異常得分大于閾值的將被認(rèn)定為異常值。為了評判模型性能,采用準(zhǔn)確率A(Accuracy)、精確率P(Precision),召回率R(Recall),和F1分?jǐn)?shù)(F1_score)作為展示模型異常檢測性能的指標(biāo)。表達(dá)式為:

(13)

(14)

(15)

(16)

式中:TP是預(yù)測為正例的正例樣本數(shù),FN是預(yù)測為反例的正例樣本數(shù),FP是預(yù)測為正例的反例樣本數(shù),TN是預(yù)測為反例的反例樣本數(shù)(本文測試階段異常值為正例)。

3.2 實驗結(jié)果

表2總結(jié)了深度動態(tài)密度估計異常檢測模型(DCEN)、一類支持向量機(jī)(OC-SVM)和局部離群因子(LOF)模型分別在凱斯西儲大學(xué)(CWRU)滾動軸承數(shù)據(jù)集、江南大學(xué)(JNU)軸承數(shù)據(jù)集和帕德博恩大學(xué)(PU)滾動軸承數(shù)據(jù)集上的結(jié)果(最優(yōu)結(jié)果已加粗)。根據(jù)準(zhǔn)確率(Accuracy)、精確率(Precision),召回率(Recall),和F1分?jǐn)?shù)(F1_score)指標(biāo),3個模型在凱斯西儲大學(xué)(CWRU)數(shù)據(jù)集上均有優(yōu)秀的異常檢測性能且性能差距不大,其中一類支持向量機(jī)(OC-SVM)在凱斯西儲大學(xué)數(shù)據(jù)集上的表現(xiàn)(CWRU)是3個模型中最優(yōu)的,但是在另外兩個數(shù)據(jù)集上一類支持向量機(jī)(OC-SVM)和局部離群因子(LOF)模型的性能有著明顯的下降。而深度動態(tài)密度估計異常檢測模型(DCEN)在3個數(shù)據(jù)集上均表現(xiàn)出優(yōu)秀的異常檢測性能,召回率均達(dá)到100%。

表2 實驗結(jié)果對比

續(xù)表

3.3 模型分析

通過對比實驗得到了深度動態(tài)密度估計模型(DCEN)在不同數(shù)據(jù)集的異常檢測效果,驗證了DCEN的有效性和更廣泛的適用性。

為了進(jìn)一步的分析模型特征提取能力,將正常數(shù)據(jù)和異常數(shù)據(jù)輸入到訓(xùn)練之后的深度動態(tài)密度估計模型(DCEN)中,利用t-SNE算法對壓縮網(wǎng)絡(luò)提供的低維表示降維至三維空間進(jìn)行分析。

圖3～圖5從不同角度展示了3個數(shù)據(jù)集中正常數(shù)據(jù)和異常數(shù)據(jù)(黑色:正常數(shù)據(jù),灰色:異常數(shù)據(jù))的低維表示經(jīng)過t-SNE降維之后的可視化效果。可以看出正常數(shù)據(jù)和異常數(shù)據(jù)的低維表示具有不同的分布,說明經(jīng)過訓(xùn)練,模型能夠有效的提取出正常樣本和異常樣本的特征進(jìn)而利用特征分布的不同進(jìn)行異常檢測。估計網(wǎng)絡(luò)引入的正則化有助于深度自動編碼器獲得具備原始數(shù)據(jù)特征的低維表示,而壓縮網(wǎng)絡(luò)為密度估計網(wǎng)絡(luò)提供更有意義的低維表示。

圖3 凱斯西儲大學(xué)數(shù)據(jù)集

圖4 江南大學(xué)數(shù)據(jù)集

圖5 帕德博恩大學(xué)數(shù)據(jù)集

4 結(jié)論

本文提出了一種基于深度動態(tài)密度估計的方法(DCEN)用于軸承信號異常檢測,解決了在實際工程領(lǐng)域中數(shù)據(jù)樣本不平衡的情況下,實現(xiàn)對異常信號樣本高質(zhì)量檢測的問題,并得出以下結(jié)論:

(1)提出一種基于深度動態(tài)密度估計模型,融合深度自編碼器的特征提取能力和GMM框架的密度估計能力,同時考慮原始輸入的低維特征和重構(gòu)誤差,模擬正常數(shù)據(jù)的特征分布,實現(xiàn)軸承信號的異常檢測。

(2)將提出的方法應(yīng)用于不同的異常檢測任務(wù)中,并與已有的傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行對比,結(jié)果表明本文所提方法具有更好的泛化能力和異常檢測性能。