兩級混淆對抗域自適應(yīng)網(wǎng)絡(luò)軸承故障診斷

鄔春明，朱海潮 ，馬 欣 ，郭曉利

（東北電力大學(xué) a.現(xiàn)代電力系統(tǒng)仿真控制與綠色電能新技術(shù)教育部重點實驗室，b.電氣工程學(xué)院,吉林 吉林 132012）

滾動軸承作為現(xiàn)代工業(yè)中廣泛使用的關(guān)鍵基本機(jī)械部件，由于工作條件復(fù)雜多變，容易出現(xiàn)各種形式的缺陷，影響機(jī)械設(shè)備的效率，產(chǎn)生經(jīng)濟(jì)損失，甚至威脅人身安全.因此，軸承故障診斷在工業(yè)領(lǐng)域具有重要意義［1］.

傳統(tǒng)的軸承故障診斷方法主要采用小波變換、傅里葉變換等信號處理方法手動提取特征，然后使用SVM、隨機(jī)森林等機(jī)器學(xué)習(xí)方法進(jìn)行故障識別，診斷結(jié)果依賴很強(qiáng)的專業(yè)背景和先驗知識.深度學(xué)習(xí)的發(fā)展，使得神經(jīng)網(wǎng)絡(luò)能夠自動提取特征，對專業(yè)知識依賴程度降低.在軸承故障診斷領(lǐng)域，包括自動編碼器、遞歸神經(jīng)網(wǎng)絡(luò)及卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）等在內(nèi)的幾種深層網(wǎng)絡(luò)被廣泛應(yīng)用，并取得了矚目的成果［2］.然而，目前大多數(shù)基于深度學(xué)習(xí)的故障診斷算法都有個前提，即訓(xùn)練和測試數(shù)據(jù)必須具有相同的概率分布，這要求設(shè)備必須恒工況運(yùn)轉(zhuǎn)，但在實際工業(yè)生產(chǎn)中，設(shè)備的運(yùn)行工況復(fù)雜多變，很難保證這一前提，因此傳統(tǒng)深度學(xué)習(xí)方法對變工況軸承故障診斷力有未逮.

為解決上述問題，無監(jiān)督領(lǐng)域自適應(yīng)［3］受到了廣泛關(guān)注，其通過學(xué)習(xí)源域和目標(biāo)域的域不變特征，使得目標(biāo)域在無標(biāo)簽情況下，將從源域?qū)W到的分類器用到目標(biāo)域，對目標(biāo)域樣本進(jìn)行分類.在軸承故障診斷領(lǐng)域，現(xiàn)有的域自適應(yīng)方法大致可分為兩類.第一類是匹配統(tǒng)計矩的方法，通過使用不同分布測度的損失函數(shù)，來減少域間差異，主要包括最大均值差異（Maximum Mean Discrepancy，MMD）［4］，相關(guān)對 齊（Correlation Alignment，CORAL）［5］等.例 如，Lu 等［6］提出了一種領(lǐng)域自適應(yīng)診斷方法，通過最小化最大均值差異來對齊兩個域，并使用權(quán)重正則化項來增強(qiáng)域不變特征.An 等［7］提出了一個基于MMD 的多層多核變量的診斷網(wǎng)絡(luò)，該方法用核函數(shù)法來代替高維特征的最大均值差異，使得來自不同域的特征在再生核希爾伯特空間中彼此接近，在保證診斷結(jié)果的穩(wěn)定性同時提高了診斷精度.第二類是基于對抗學(xué)習(xí)的方法，它由特征生成器、類別分類器和領(lǐng)域鑒別器組成.特征生成器用來學(xué)習(xí)領(lǐng)域無關(guān)的特征，將兩個領(lǐng)域的數(shù)據(jù)從原始的特征空間映射到一個共同的特征空間中.領(lǐng)域鑒別器用來判斷輸入的特征是來自哪個領(lǐng)域的，當(dāng)鑒別器很難分辨時，說明特征提取器學(xué)到的特征具備了領(lǐng)域無關(guān)的特性.分類器負(fù)責(zé)將領(lǐng)域無關(guān)的特征映射到類別空 間，完成分 類任務(wù).Wang 等［8］將領(lǐng)域 對抗網(wǎng) 絡(luò)（Domain-Adversarial Training of Neural Networks，DANN）引入跨域故障診斷，證明了在實際故障診斷環(huán)境中的適用性.Guo 等［9］結(jié)合MMD 與對抗性學(xué)習(xí)，并提出了一種深度卷積遷移網(wǎng)絡(luò)，用于軸承故障診斷.

盡管領(lǐng)域自適應(yīng)方法在軸承故障診斷領(lǐng)域取得了一定的成就，但還存在一定局限性：域?qū)顾惴▋H僅只是全局對齊源域和目標(biāo)域特征，沒有考慮特定的類別信息，特征和類別的聯(lián)合分布在數(shù)據(jù)域中沒有很好地對齊.因此，即使特征生成器經(jīng)過良好訓(xùn)練，能夠?qū)W得源域和目標(biāo)域樣本的領(lǐng)域不變特征，但因為分類器是在源域樣本上訓(xùn)練的，不能很好地推廣到目標(biāo)域樣本上.為解決上述問題，本文作者提出了一種兩級混淆域?qū)褂蜃赃m應(yīng)網(wǎng)絡(luò)（Confusion Adversarial Domain Adaptation Network，CADAN）來進(jìn)行跨域故障診斷，通過對抗性訓(xùn)練，使特征和類別的聯(lián)合分布在數(shù)據(jù)域之間保持一致.CADAN 的診斷模型由一個源域任務(wù)分類器、一個目標(biāo)域任務(wù)分類器、一個附加在它們之上的輔助分類器和一個特征提取器四個部分組成.通過附加的輔助分類器進(jìn)行領(lǐng)域鑒別，構(gòu)建了類別級和領(lǐng)域級的兩級混淆損失，從而增強(qiáng)面向類別級的領(lǐng)域不變特征學(xué)習(xí).通過在兩個軸承平臺上進(jìn)行了大量的故障診斷實驗，對所提出的方法進(jìn)行了評估，并與現(xiàn)有的診斷方法進(jìn)行了比較.實驗結(jié)果表明，在變工況故障診斷任務(wù)中，CADAN 的性能遠(yuǎn)遠(yuǎn)優(yōu)于其他5 種方法.

1 無監(jiān)督對抗領(lǐng)域自適應(yīng)

1.1 問題定義

本文主要研究基于無監(jiān)督域自適應(yīng)的軸承故障診斷問題，其中標(biāo)記數(shù)據(jù)只存在于源域，目標(biāo)域中沒有標(biāo)記數(shù)據(jù).假設(shè)源域為，其有ns個標(biāo)簽樣本，目標(biāo)域為，其有nt個無標(biāo)簽樣本，這里x和y分別代表數(shù)據(jù)樣本和所對應(yīng)的標(biāo)簽.另外，對于源域和目標(biāo)域，當(dāng)數(shù)據(jù)來自不同的分布時，標(biāo)簽空間是相同的，假設(shè)類別數(shù)都為K.本文的目標(biāo)是建立一個生成網(wǎng)絡(luò)f=F(x)和分類器y=G(f)，提取領(lǐng)域不變性和類別區(qū)分性特征，以最小化目標(biāo)域分類風(fēng)險ε(f)=其中E表示數(shù)學(xué)期望.

1.2 對抗領(lǐng)域自適應(yīng)

Ben［10］提出可以通過限制源域分類誤差和減小源域與目標(biāo)域分布之間的距離來降低目標(biāo)域分類誤差.而對抗學(xué)習(xí)能通過對抗訓(xùn)練，減小不同域分布之間距離［11］.在對抗域自適應(yīng)方法中，對抗性損失函數(shù)有各種不同的可能選擇，文獻(xiàn)［12］中給出了一個總結(jié)，這里只介紹與所研究內(nèi)容最相關(guān)的域混淆損失.

對抗域適應(yīng)網(wǎng)絡(luò)通常包含特征提取器F，標(biāo)簽分類器G和域鑒別器D.因為源域數(shù)據(jù)是帶標(biāo)簽的，通過以下?lián)p失函數(shù)，最小化源域分類誤差為

式中：Lcls是交叉熵?fù)p；I是指示函數(shù).

源域和目標(biāo)域分布不同，如果直接將上式訓(xùn)練的模型用在目標(biāo)域，可能會導(dǎo)致在目標(biāo)域中識別時性能降低.但可以直接訓(xùn)練一個域鑒別器D，在特征提取器提取到不同域樣本的特征后，識別樣本是來自源域還是目標(biāo)域，訓(xùn)練損失函數(shù)如下

在給定D之后，通過施加域混淆損失，即計算域預(yù)測與域標(biāo)簽的均勻分布之間的交叉熵，訓(xùn)練特征提取器F以最大程度地“混淆”兩個域

綜上所述，基于混淆損失的領(lǐng)域?qū)咕W(wǎng)絡(luò)的優(yōu)化目標(biāo)如下

2 研究方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖1 所示，CADAN 網(wǎng)絡(luò)框架包括特征發(fā)生器F（紅色）、源任務(wù)分類器Gs（黃色）、目標(biāo)任務(wù)分類器Gt（綠色）、輔助分類器Gst（藍(lán)色）以及相應(yīng)的損失函數(shù)，具體訓(xùn)練目標(biāo)損失函數(shù)見第2.2節(jié).為了有效地提取特征，減少復(fù)雜的信號預(yù)處理算法設(shè)計，采用一維卷積網(wǎng)絡(luò)作為特征提取器，直接對原始機(jī)械信號進(jìn)行處理.網(wǎng)絡(luò)的具體結(jié)構(gòu)如表1 所示，16-11×1 表示當(dāng)前卷積層有16 個11×1 大小的卷積核；Pad 為零填充運(yùn)算；BN 為批量歸一化；ReLU 表示所使用的激活函數(shù).在CADAN 中，不同域中的類別數(shù)目相同，因此Gs和Gt最后一層全連接層神經(jīng)元個數(shù)相同，假設(shè)其為K.給網(wǎng)絡(luò)一個輸入x，有as(x)=Gs(F(x))，at(x)=Gt(F(x))，其分別表示分類器Gs和Gt最后一層全連接層的輸出 .ps(x)=softmax(as(x))，pt(x)=softmax(at(x))為經(jīng)過softmax 操作后的輸出.對于輔助分類器Gst，其設(shè)計思路如下，給定輸入x，分類器Gs和Gt最后一層全連接層會輸出向量as(x)∈RK和at(x)∈RK，將其拼接成向量[as(x)；at(x)]∈R2K，然后使用softmax 函數(shù)，得到概率向量pst(x)∈[0，1]2K，即Gst(F(x))=pst(x).為了方便后續(xù)損失函數(shù)書寫，用(x)k∈{1，…，K}表示ps(x)的第k個元素，其中Gs(F(x))=ps(x)，同理有需要 說明的是，在CADAN 設(shè)計中沒有顯式的域判別器.域判別和域混淆都是通過對分類器Gst施加適當(dāng)?shù)膿p失來實現(xiàn)的.

表1 CADAN 網(wǎng)絡(luò)具體結(jié)構(gòu)Tab.1 Structure of the proposed model

圖1 CADAN 網(wǎng)絡(luò)框架Fig.1 The architecture of CADAN

2.2 網(wǎng)絡(luò)目標(biāo)函數(shù)

2.2.1 分類器學(xué)習(xí)

本文采用帶標(biāo)簽的源域樣本上的標(biāo)準(zhǔn)交叉熵?fù)p失來訓(xùn)練分類器Gs，損失函數(shù)可以定義為

對于目標(biāo)域分類器Gt，因為目標(biāo)樣本沒有被標(biāo)記，不能直接使用它們來訓(xùn)練.想法是利用帶標(biāo)簽的源樣本，并使用以下交叉熵?fù)p失進(jìn)行訓(xùn)練

初看之下，似乎Gt和Gs都是用源域數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)的，Gt的學(xué)習(xí)和Gs一樣.然而，通過Gst進(jìn)行域鑒別訓(xùn)練將會使它們區(qū)別開來.事實上，使用（6）可以在Gs和Gt之間建立神經(jīng)元級的對應(yīng)關(guān)系，這為實現(xiàn)第2.2.3 節(jié)中提出的類別級域混淆提供了基礎(chǔ).同時，使用式（6），通過帶標(biāo)簽的源域樣本訓(xùn)練Gt也為其能更準(zhǔn)確的分類目標(biāo)域樣本奠定基礎(chǔ).

2.2.2 域鑒別器學(xué)習(xí)

Gs和Gt都使用帶標(biāo)簽的源域樣本進(jìn)行訓(xùn)練，為了區(qū)分它們，利用輔助分類器Gst，并使用以下交叉熵?fù)p失來學(xué)習(xí)Gst

理想情況下，損失函數(shù)（5）、（6）和（7）的組合，不但使Gst前K個神經(jīng)元和后K個神經(jīng)元都具有很好的分類能力，而且還讓兩組神經(jīng)元有區(qū)分性.例如，對于第K 類的源域樣本xs，Gs和Gt都傾向于對其類別做出準(zhǔn)確的預(yù)測，而對于Gst，由于使用損失函數(shù)（7）的概率將大于同理，對于第K類的目標(biāo)域樣本xt，Gs和Gt也都傾向于對其所屬類別做出準(zhǔn)確的預(yù)測，而對于的概率將大于.

2.2.3 兩級域混淆損失

在CADAN 中，采用對抗訓(xùn)練的策略來學(xué)習(xí)特征提取器F，設(shè)計了域級混淆損失函數(shù)和類別級混淆損失函數(shù)，最大程度地“混淆”源域和目標(biāo)域，使特征和類別的聯(lián)合分布在兩個域之間對齊.

因為兩個域的全局混淆不需要標(biāo)簽信息，因此本文使用未標(biāo)記的目標(biāo)域樣本來構(gòu)建全局混淆損失.對于一個目標(biāo)域樣本，使用Gst中前K個和后K個神經(jīng)元，讓這兩組神經(jīng)元各自的預(yù)測結(jié)果之和與均勻分布[]之間的交叉熵作為損失，學(xué)習(xí)特征提取器F如下

在F上最小化式（9），使得其輸出盡可能滿足就能使得域鑒別器無法判別特征生成器生成的特征是源域樣本特征還是目標(biāo)域樣本特征，從而實現(xiàn)兩個域的全局對齊.

2.2.4 總目標(biāo)函數(shù)

結(jié)合損失函數(shù)（5）、（6）和（7）來更新所有分類器，類別級混淆損失（8）和域級全局混淆損失（9）來更新特征生成器F，CADAN 網(wǎng)絡(luò)的整體優(yōu)化目標(biāo)如下

這些損失很容易在標(biāo)準(zhǔn)的深度學(xué)習(xí)框架中實現(xiàn)，在適當(dāng)?shù)卦O(shè)置學(xué)習(xí)率以便等式（10）僅更新G的參數(shù)，等式（11）僅更新F的參數(shù)之后，可以通過標(biāo)準(zhǔn)反向傳播來執(zhí)行參數(shù)更新，總之，通過以上損失確保生成的特征在兩個域的相應(yīng)類別對齊.

3 實驗結(jié)果分析

3.1 實驗數(shù)據(jù)集

數(shù)據(jù)集一采用美國凱斯西儲大學(xué)（CWRU）的軸承數(shù)據(jù) 集［14］.數(shù)據(jù)是 在1 797 r/min/0 hp、1 772 r/min/1 hp、1 750 r/min/2 hp 和1 730 r/min/3 hp 四種工況下采集的，四種工況（A0、A1、A2、A3）可以建立12個遷移場景（A0→A1、A0→A2、A0→A3，A1→A0，A1→A2、A1→A3，A2→A0，A2→A1、A2→A3，A3→A0、A3→A1、A3→A2）.本文使用的數(shù)據(jù)采樣頻率為12kHz.此數(shù)據(jù)中有4 種不同健康狀況的軸承，包括正常狀況（NC）、內(nèi)圈故障（IF）、外圈故障（OF）和滾子故障（RF），每種故障類型有三種不同的嚴(yán)重程度，即7、14和21 mil（1 mil=0.177 8 mm）.因此，使用該數(shù)據(jù)可以形成10 個類別，即NC、IF-07、IF-14、IF-21、OF-07、OF-14、OF-21、RF-07、RF-14、RF-21.其中每個類別有500 個樣本，每個樣本由1024 個數(shù)據(jù)點組成，訓(xùn)練樣本和測試樣本劃分比例為7∶3.

數(shù)據(jù)集二是帕德伯恩大學(xué)（PU）的軸承數(shù)據(jù)集［15］.本文選取了5 種故障模式用于測試和分析，故障模式包括正常（NC）、外圈臨界損傷（OR-L）、外圈損傷（OR-H）、內(nèi)圈臨界損傷（IR-L）內(nèi)圈損傷（IR-H）.另外，如表2 所示，該實驗是在四種工況下進(jìn)行的.可以形成12 個遷移診斷場景（B0→B1、B0→B2、B0→B3，B1→B0，B1→B2、B1→B3，B2→B0，B2→B1、B2→B3，B3→B0、B3→B1、B3→B2）.在測試中，每類的軸承故障在每種工況下有1500 個樣本，每個樣本由1024 個點組成，訓(xùn)練樣本和測試樣本劃分比例為7∶3.

表2 PU 數(shù)據(jù)集不同工況信息Tab.2 The information of PU working conditions

3.2 實現(xiàn)細(xì)節(jié)與對比方法

為更全面的評價，選擇了傳統(tǒng)深度學(xué)習(xí)方法CNN 和4 種深度領(lǐng)域自適應(yīng)網(wǎng)絡(luò)MMD、CORAL、DANN、MCD［16］進(jìn)行對比分析.本文方法CADAN和DANN 用Adam 算法訓(xùn)練，CNN、MMD、MCD、CORAL 使用隨機(jī)梯度下降訓(xùn)練.所有方法訓(xùn)練迭代200 次，batch size 大小為64.

3.3 CWRU 數(shù)據(jù)集實驗結(jié)果

表3 顯示了12 組CWRU 軸承診斷任務(wù)的實驗結(jié)果.在五種比較方法中，領(lǐng)域自適應(yīng)的方法優(yōu)于傳統(tǒng)深度學(xué)習(xí)方法.DANN、CORAL 和MMD 只對齊全局分布，平均識別率分別為94.06%、95.95%和96.64%.MCD 不僅考慮了全局分布的對齊，還考慮了決策邊界的模糊性，識別準(zhǔn)確率為97.62%.CADAN 在全局對齊基礎(chǔ)上進(jìn)行了更細(xì)粒度的類別對齊，促使特征生成器學(xué)習(xí)到更多可遷移特征，使得平均準(zhǔn)確率達(dá)到99.04%.此外，CORAL、DANN 在不同的任務(wù)中有很大的差異，特別是A0-A1、A0-A3任務(wù)的準(zhǔn)確率明顯低于其他任務(wù).相比之下，CADAN 可以在各種遷移任務(wù)中獲得比較魯棒結(jié)果.總的來說，這些實驗結(jié)果表明了本文所提出方法的有效性和優(yōu)越性.

表3 CWRU 數(shù)據(jù)集測試準(zhǔn)確率Tab.3 Accuracy on CWRU dataset %

更進(jìn)一步，本文通過混淆矩陣來進(jìn)行較為詳細(xì)的各個類別的分類性能分析.隨機(jī)選取任務(wù)A0-A3，計算出CADAN 和精度較高的4 種方法（MCD、CORAL、MMD、DANN）的混淆矩陣.結(jié)果如圖2所示，從中可以看出，MMD、CORAL 和DANN 在RF-21 類中存在較大的分類錯誤，特別是DANN，其準(zhǔn)確率僅僅為23%，錯誤地將RF-21 故障識別為RF-14 或 者RF-7.此 外，DANN 在IF-14 類中準(zhǔn) 確率為57%，將大多數(shù)IF-14 樣本識別為OF-21 樣本.與此相 反，CADAN 對RF-21 和IF-4 故障樣 本的識別準(zhǔn)確率達(dá)到100%.以上結(jié)果表明，與僅全局域?qū)R的方法相比，CADAN 進(jìn)行更細(xì)粒度的類級對齊，可以更好地分類目標(biāo)域中更難區(qū)分的類別，在復(fù)雜的診斷場景中具有更準(zhǔn)確的診斷結(jié)果.

圖2 CWRU 混淆矩陣Fig.2 Confusion matrix on CWRU

此外，本文繪制了6 種方法在任務(wù)A0-A3的測試誤差曲線，如圖3 所示，可以觀察到6 種方法都表現(xiàn)出相對滿意的收斂性能，但本文所提出的方法測試誤差明顯更低，曲線也更平滑.其他比較方法的測試誤差曲線雖然呈現(xiàn)水平收斂趨勢，但存在較大的波動和分類誤差.該圖清楚地表明，本文所提出方法在故障診斷中訓(xùn)練更穩(wěn)定，結(jié)果更準(zhǔn)確.

圖3 CWRU 數(shù)據(jù)集測試誤差曲線圖Fig.3 Test error for all methods on CWRU

最后，為了進(jìn)一步展示CADAN 的性能，利用t-SNE 技術(shù)對CADAN 和精度較高的四種方法特征生成器生成的特征進(jìn)行可視化.在診斷任務(wù)A0-A3下的二維可視化結(jié)果如圖4 所示，其中不同的顏色表示不同的類別.可以看出，CADAN 不僅能將兩個領(lǐng)域的類別對齊，而且還能很好地區(qū)分開各種不同的故障模式.相反，其他比較方法中僅僅進(jìn)行了全局對齊，源特征和目標(biāo)特征在對應(yīng)的類別上沒有很好的對齊.可視化的特征圖直觀地證明了CADAN能夠獲得最佳的特征學(xué)習(xí)和分類能力.

圖4 CWRU 特征可視化Fig.4 Visualization of learned features on CWRU

3.4 PU 數(shù)據(jù)集實驗結(jié)果

PU 數(shù)據(jù)集分類結(jié)果如表4 所示.與未域適應(yīng)的CNN 相比，CADAN 獲得了大約27%的準(zhǔn)確率提升.與DANN、CORAL、MMD 三種只對齊全局分布，未進(jìn)行類別對齊的方法相比，CADAN 診斷精度分別提高約17%、6%、7%.與對齊了全局分布，并考慮到分類器邊界模糊性的MCD 相比，CADAN 診斷精度提高了2.44%.以上所有的結(jié)果都證明了CADAN 在變工故障診斷中的有效性和優(yōu)越性.

表4 PU 數(shù)據(jù)集的測試準(zhǔn)確率Tab.4 Accuracy on PU dataset %

本文用用t-SNE 對任務(wù)B3-B0特征生成器輸出的特征圖進(jìn)行可視化，從圖5 可以清楚地觀察到，對于本文所提出的方法來說，兩個域在相應(yīng)的類別上很好地對齊，因此CADAN 可以減少域之間的差異，學(xué)習(xí)更細(xì)粒度的域不變特征.相反，在其他的比較方法中，兩個領(lǐng)域在相應(yīng)類別上沒有很好的對齊，并且在類別之間可以觀察到很多混淆.總之，這些特征圖直觀體現(xiàn)了本文所提出方法的故障識別能力.

圖5 PU 上學(xué)習(xí)特征的可視化Fig.5 Visualization of learned features on PU

4 結(jié)論

1）提出了一種新的變工況軸承故障診斷方法CADAN，與傳統(tǒng)領(lǐng)域自適應(yīng)方法只進(jìn)行兩個域特征的全局對齊相比，該方法使特征和類別的聯(lián)合分布在域間保持一致，即實現(xiàn)了兩個域之間各個類別的對齊.

2）為了訓(xùn)練CADAN，提出了一種新的對抗性學(xué)習(xí)目標(biāo)函數(shù).在輔助分類器上實現(xiàn)域級和類級混淆損失，通過對抗訓(xùn)練驅(qū)動特征生成器生成更細(xì)粒度的類別對齊特征，提高診斷準(zhǔn)確率.

3）CWRU 和PU 兩個數(shù)據(jù)集的結(jié)果表明，與深度學(xué)習(xí)方法CNN 和4 種領(lǐng)域自適應(yīng)方法相比，本文所提出的方法在變工況軸承故障診斷任務(wù)中準(zhǔn)確率最高，證明了其有效性.