基于改進(jìn)對(duì)抗蒸餾的軸承故障分類方法

李星逸 付波 范秀香 權(quán)軼

摘要：針對(duì)工業(yè)現(xiàn)場條件下和農(nóng)業(yè)機(jī)械設(shè)備故障數(shù)據(jù)典型樣本不充足導(dǎo)致軸承故障診斷精度低的問題，提出一種基于改進(jìn)對(duì)抗蒸餾的軸承故障分類方法。使用對(duì)抗蒸餾方法進(jìn)行軸承故障分類，讓學(xué)生網(wǎng)絡(luò)通過對(duì)抗學(xué)習(xí)教師網(wǎng)絡(luò)的軟標(biāo)簽所提供的信息，同時(shí)生成器輸出與學(xué)生網(wǎng)絡(luò)輸出相似的樣本提供給判別器后修改學(xué)生網(wǎng)絡(luò)參數(shù)。提出退火改進(jìn)對(duì)抗蒸餾方法，在對(duì)抗蒸餾中使用動(dòng)態(tài)溫度進(jìn)行訓(xùn)練，增加生成器制作樣本難度，使教師網(wǎng)絡(luò)輸出的信息被更好地利用，以提高學(xué)生網(wǎng)絡(luò)泛化能力和魯棒性。試驗(yàn)使用美國凱斯西儲(chǔ)大學(xué)軸承故障數(shù)據(jù)集驗(yàn)證方法的有效性，利用所提出的方法訓(xùn)練出的學(xué)生網(wǎng)絡(luò)在模擬現(xiàn)場軸承故障診斷分類任務(wù)中僅使用214 602個(gè)參數(shù)參與計(jì)算，準(zhǔn)確率可達(dá)91.85%，提高故障診斷精度并節(jié)省設(shè)備的計(jì)算資源。

關(guān)鍵詞：軸承；故障診斷；知識(shí)蒸餾；對(duì)抗學(xué)習(xí)；模擬退火算法

中圖分類號(hào)：TP181

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-5553 （2024） 06-0178-06

收稿日期：2023年3月2日

修回日期：2023年4月23日

*基金項(xiàng)目：湖北省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2021BAA193）

第一作者：李星逸，男，1998年生，江蘇徐州人，碩士；研究方向?yàn)楣收显\斷、深度學(xué)習(xí)。E-mail： lixingyigu@163.com

通訊作者：范秀香，女，1974年生，江西臨川人，高級(jí)實(shí)驗(yàn)師；研究方向?yàn)樾盘?hào)處理。E-mail： fubofanxx@hbut.edu.cn

Bearing fault classification method based on improved countermeasures distillation

Li Xingyi， Fu Bo， Fan Xiuxiang， Quan Yi

（School of Electrical and Electronic Engineering， Hubei University of Technology， Wuhan， 430068， China）

Abstract： Aiming at the problem of low accuracy in bearing fault diagnosis caused by insufficient typical samples of fault data in the industrial domain and agricultural machinery， a bearing fault classification method based on improved adversarial distillation is proposed. The adversarial knowledge distillation method is used to classify the bearing faults. Based on the soft labels of the teacher network， the student network produces samples similar to those output by the student network. The modification of the parameters of the student network proceeds as the discriminator evaluates the samples. In this paper， an annealed modified adversarial distillation method is proposed to improve the robustness and generalization ability of the student network. With dynamic temperature training in adversarial distillation， the difficulty of generating samples is increased for more efficient utilization of information from the teacher network. The effectiveness of the method is verified through experiments based on the bearing fault dataset from Case Western Reserve University in the United States. The student network trained with the proposed method achieves an accuracy of 91.85% in the simulation of on-site bearing fault diagnosis classification task， with only 214602 parameters involved in the computation， which not only improves the accuracy of fault diagnosis but also saves computing resources of the equipment.

Keywords： bearing； fault diagnosis； knowledge distillation; adversarial learning; simulated annealing algorithm

0 引言

在各種大型裝備的旋轉(zhuǎn)機(jī)械、農(nóng)機(jī)設(shè)備和傳動(dòng)系統(tǒng)中，滾動(dòng)軸承是系統(tǒng)的關(guān)鍵組件之一。其運(yùn)行狀態(tài)對(duì)于設(shè)備的正常運(yùn)行和安全性至關(guān)重要，對(duì)其進(jìn)行故障診斷可以有效預(yù)防重大事故的發(fā)生^[1]。研究表明，電機(jī)故障中有40％～50％是由軸承故障引起的，而農(nóng)機(jī)的故障中80%是由軸承故障引起的。隨著機(jī)器學(xué)習(xí)領(lǐng)域的迅速發(fā)展，利用機(jī)械設(shè)備運(yùn)行數(shù)據(jù)特征訓(xùn)練分類模型已經(jīng)在該領(lǐng)域取得了巨大成功。深度神經(jīng)網(wǎng)絡(luò)^[2]、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）^[3]、自編碼器^[4]、支持向量機(jī)^[5]等在故障診斷領(lǐng)域發(fā)揮了重要的作用。本文將對(duì)故障數(shù)據(jù)進(jìn)行特征提取和分類，并利用模型進(jìn)行識(shí)別，以實(shí)現(xiàn)故障診斷的目的。

在實(shí)際農(nóng)機(jī)使用、工業(yè)應(yīng)用中，由于采集故障樣本的困難，往往無法滿足神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練需求，這會(huì)導(dǎo)致訓(xùn)練網(wǎng)絡(luò)模型時(shí)出現(xiàn)過擬合或者擬合誤差較大的情況，從而無法應(yīng)對(duì)該條件下的故障診斷。Zhu等^[6]將特征以分層的方式調(diào)整，將CNN的參數(shù)正則化，通過多個(gè)高斯核的線性組合計(jì)算采集過程中數(shù)據(jù)的損耗，提高了網(wǎng)絡(luò)自適應(yīng)能力，成功應(yīng)用于少標(biāo)簽樣本條件下的軸承故障診斷。Vu等^[7]采用自我知識(shí)蒸餾方法，在無預(yù)訓(xùn)練教師網(wǎng)絡(luò)的情況下，直接訓(xùn)練學(xué)生網(wǎng)絡(luò)，提取學(xué)生網(wǎng)絡(luò)自身的知識(shí)，利用最優(yōu)先前模型進(jìn)行自我更新，逐步培訓(xùn)學(xué)生網(wǎng)絡(luò)。邢曉松等^[8]提出了一種改進(jìn)的半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)，利用對(duì)抗學(xué)習(xí)來強(qiáng)化網(wǎng)絡(luò)的分類能力使用了增強(qiáng)特征匹配算法，加速網(wǎng)絡(luò)的收斂速度。黃仲浩等^[9]將整個(gè)訓(xùn)練過程分為多個(gè)階段的老師模型指導(dǎo)學(xué)生模型，采用逐層貪婪策略并在知識(shí)蒸餾框架中引入生成對(duì)抗結(jié)構(gòu)，促使學(xué)生模型在不斷提升。

為了克服故障樣本不足導(dǎo)致的網(wǎng)絡(luò)泛化能力不足和學(xué)生網(wǎng)絡(luò)分類準(zhǔn)確度低的問題，采用對(duì)抗知識(shí)蒸餾方法，讓學(xué)生網(wǎng)絡(luò)通過學(xué)習(xí)教師網(wǎng)絡(luò)提供的軟標(biāo)簽來獲取有價(jià)值的信息。同時(shí)，生成器被用于輸出隨機(jī)對(duì)抗樣本，并將類似于教師網(wǎng)絡(luò)輸出的樣本提供給判別器以修改學(xué)生網(wǎng)絡(luò)權(quán)重，以使其模仿教師網(wǎng)絡(luò)的行為。之后，模擬退火算法被引入對(duì)抗蒸餾的過程中，以提高學(xué)生網(wǎng)絡(luò)的泛化能力和魯棒性，并更加平滑地學(xué)習(xí)到教師網(wǎng)絡(luò)的知識(shí)^[10]。

本文提出一種基于改進(jìn)對(duì)抗蒸餾的學(xué)習(xí)軸承故障分類方法。使用知識(shí)蒸餾方法進(jìn)行軸承故障分類模型訓(xùn)練，并在試驗(yàn)中對(duì)模型進(jìn)行驗(yàn)證。

1 改進(jìn)對(duì)抗蒸餾

1.1 知識(shí)蒸餾

知識(shí)蒸餾的主要思想是以教師網(wǎng)絡(luò)預(yù)測結(jié)果的概率分布（即logits）為回歸目標(biāo)訓(xùn)練一個(gè)學(xué)生網(wǎng)絡(luò)模型，通過損失函數(shù)最小化的形式教師網(wǎng)絡(luò)把知識(shí)傳授給學(xué)生網(wǎng)絡(luò)模型。Hinton等^[11]提出知識(shí)蒸餾的概念，并對(duì)softmax功能進(jìn)行改進(jìn)，如式（1）所示。

式中：T——溫度參數(shù)；

z_i——前一級(jí)第i個(gè)神經(jīng)元的輸出值；

z_j——前一級(jí)第j個(gè)神經(jīng)元的輸出值；

P_i——第i個(gè)神經(jīng)元輸出值的指數(shù)與所有神經(jīng)元輸出值指數(shù)和的比值。

損失函數(shù)以教師網(wǎng)絡(luò)輸出的軟標(biāo)簽為回歸目標(biāo)，這個(gè)損失函數(shù)叫做蒸餾損失。在計(jì)算蒸餾損失時(shí)，添加原始數(shù)據(jù)標(biāo)簽（即T=1時(shí)的真實(shí)標(biāo)簽），采用軟標(biāo)簽計(jì)算散度損失函數(shù)與硬標(biāo)法計(jì)算標(biāo)準(zhǔn)損失（T=1）的加權(quán)和。這種損失被稱為“學(xué)生網(wǎng)絡(luò)損失”，如式（2）所示。

L=αL_CE（P_t，P_s）+（1－α）L_KD（Q_s，y_ture）（2）

式中：α——兩種損失函數(shù)的權(quán)重系數(shù)，根據(jù)不同數(shù)據(jù)樣本設(shè)定；

P_t——教師網(wǎng)絡(luò)在訓(xùn)練中輸出的軟標(biāo)簽；

P_s——學(xué)生網(wǎng)絡(luò)在訓(xùn)練中輸出的軟標(biāo)簽；

Q_s——學(xué)生網(wǎng)絡(luò)輸出的硬標(biāo)簽；

y_true——正確的數(shù)據(jù)標(biāo)簽；

L_CE——計(jì)算兩種網(wǎng)絡(luò)軟標(biāo)簽的散度損失函數(shù)；

L_KD——計(jì)算Q_s與y_true距離的交叉熵?fù)p失函數(shù)。

知識(shí)蒸餾定義了一個(gè)雙目標(biāo)損失函數(shù)，即式（2）中的L_KD和L_CE項(xiàng)，來最小化學(xué)生網(wǎng)絡(luò)的預(yù)測與軟標(biāo)簽、硬標(biāo)簽加權(quán)后的差值。在知識(shí)蒸餾訓(xùn)練中，學(xué)生網(wǎng)絡(luò)在學(xué)習(xí)時(shí)會(huì)同時(shí)參考教師網(wǎng)絡(luò)的軟標(biāo)簽和數(shù)據(jù)的偽標(biāo)簽。

1.2 對(duì)抗蒸餾

對(duì)抗蒸餾（Adversarial Knowledge Distillation，AKD）是對(duì)于知識(shí)蒸餾的改進(jìn)，它的目標(biāo)也是在學(xué)生網(wǎng)絡(luò)中捕捉教師網(wǎng)絡(luò)中的知識(shí)，不同之處在于，它主動(dòng)生成了一些對(duì)抗性樣本，這些樣本被用于在學(xué)生網(wǎng)絡(luò)中生成對(duì)抗性擾動(dòng)。具體地說，對(duì)于每個(gè)訓(xùn)練樣本，教師網(wǎng)絡(luò)會(huì)生成一個(gè)“軟標(biāo)簽”作為學(xué)生網(wǎng)絡(luò)的參考，同時(shí)學(xué)生網(wǎng)絡(luò)會(huì)生成一個(gè)對(duì)抗性擾動(dòng)來干擾原始樣本。學(xué)生網(wǎng)絡(luò)會(huì)嘗試最小化溫度縮放的KL散度以匹配教師網(wǎng)絡(luò)的軟目標(biāo)，并在對(duì)抗性樣本上提高其預(yù)測的準(zhǔn)確性^[12]。

對(duì)抗蒸餾采用的是GAN架構(gòu)，生成器是學(xué)生網(wǎng)絡(luò)；判別器包含在損失函數(shù)直接對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練；教師網(wǎng)絡(luò)使用真實(shí)樣本作為訓(xùn)練集；學(xué)生網(wǎng)絡(luò)用于生成所對(duì)應(yīng)教師網(wǎng)絡(luò)中的知識(shí)作為生成樣本；生成器用于生成網(wǎng)絡(luò)softmax層所輸出的結(jié)果；判別器用于判定輸入的樣本是否為真實(shí)樣本的概率；在訓(xùn)練的過程中，判別器的損失函數(shù)如式（3）～式（5）所示。

E_T=E_{FT（x）～PT（x）}[log（D（F_T（X）））]（3）

E_S=E_{FS（x）～PS（x）}[log（1－D（F_S（x）））]（4）

maxL_DD=E_T+E_S（5）

式中：E_T——教師網(wǎng)絡(luò)的分類損失；

E_S——學(xué)生網(wǎng)絡(luò)的分類損失；

F_T——教師網(wǎng)絡(luò)logits層前的特征圖；

F_S——學(xué)生網(wǎng)絡(luò)logits層前的特征圖；

P_T——教師網(wǎng)絡(luò)輸出的概率分布；

P_S——學(xué)生網(wǎng)絡(luò)輸出的概率分布；

L_D——分類器判別輸入樣本來自真實(shí)樣本的概率。

而生成器目標(biāo)是需要通過不斷優(yōu)化，盡可能使自己的輸出分布與教師網(wǎng)絡(luò)的輸出分布相似，達(dá)到讓判別器無法分辨程度。

在訓(xùn)練過程中，生成器的損失函數(shù)如式（6）所示。

minL_FsFs=E_{Fs（x）～Ps（x）}[log（1－D（F_T（X）））]（6）

根據(jù)式（6）、式（7）就可以構(gòu)造一組對(duì)抗學(xué)習(xí)的任務(wù)，優(yōu)化對(duì)抗學(xué)習(xí)的損失函數(shù)會(huì)迫使學(xué)生網(wǎng)絡(luò)盡可能擬合教師網(wǎng)絡(luò)的輸出，從而盡可能地避免模型精度損失過多^[13]。學(xué)生網(wǎng)絡(luò)在訓(xùn)練時(shí)，判別器會(huì)輸出結(jié)果并嘗試最小化其輸出后的教師網(wǎng)絡(luò)輸出之間的KL（Kullback-Leibler）散度損失，如式（7）所示。

L_KL=∑iP_ilogP_iQ_i（7）

式中：P_i——教師網(wǎng)絡(luò)在訓(xùn)練中輸出的軟標(biāo)簽；

Q_i——學(xué)生網(wǎng)絡(luò)在訓(xùn)練中輸出的軟標(biāo)簽。

以此通過最小化結(jié)果來對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行參數(shù)調(diào)整。

1.3 退火蒸餾

退火算法（Simulated Annealing）是一種全局優(yōu)化算法，其基本思路是：從一個(gè)隨機(jī)的初始解開始，逐步降低溫度直到停止搜索。在退火的過程中，概率接受更差解的概率會(huì)隨著溫度的降低而逐漸減小。知識(shí)蒸餾在其損失函數(shù)中存在溫度相關(guān)的參數(shù)，因此退火算法與知識(shí)蒸餾的邏輯契合度非常高。在本文所提出的方法中，退火算法的目標(biāo)將會(huì)變?yōu)槿绾芜x擇合適的溫度策略，以便在搜索過程中合理控制教師網(wǎng)絡(luò)的logits層結(jié)果分布改變步長，以及逐步降低溫度達(dá)到變溫蒸餾的效果^[14]。溫度策略應(yīng)該能夠平衡探索和利用的關(guān)系，以便在迭代訓(xùn)練中解決傳統(tǒng)知識(shí)蒸餾中教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)結(jié)構(gòu)差距越大訓(xùn)練越困難的問題^[12]。

1.3.1 退火思想改進(jìn)損失函數(shù)

退火思想改進(jìn)的損失函數(shù)，如式（8）所示。

L_A=L_AKD（i）階段Ⅰ：1≤T_i≤T_max

L_CE階段Ⅱ：T=1（8）

式中：i——訓(xùn)練過程中的當(dāng)前訓(xùn)練輪數(shù)；

T_i——溫度值在第i次訓(xùn)練輪數(shù)時(shí)的溫度。

在每個(gè)訓(xùn)練輪次中L_A（i）定義為

L_A（i）=||z_s（x）－z_t（x）×Γ（T_i）||²₂（9）

Γ（T）=T_max×1－T－1T_max1≤T≤T_max（10）

式中：Г（T）——退火函數(shù)；

Z_s——學(xué)生網(wǎng)絡(luò)的神經(jīng)元的輸出值；

Z_t——教師網(wǎng)絡(luò)的神經(jīng)元的輸出值。

退火算法的引入能夠在不同溫度下通過教師生成的軟標(biāo)簽的逐步過渡，平穩(wěn)地將教師的知識(shí)轉(zhuǎn)移到學(xué)生網(wǎng)絡(luò)中。

1.3.2 退火改進(jìn)對(duì)抗蒸餾訓(xùn)練過程

退火知識(shí)蒸餾將訓(xùn)練分為兩個(gè)階段：第一階段，使用退火知識(shí)蒸餾損失函數(shù)L_A逐步訓(xùn)練學(xué)生網(wǎng)絡(luò)模仿教師網(wǎng)絡(luò)的預(yù)測概率分布；第二階段，只使用L_CE硬標(biāo)簽（即α=1， T=1）對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行微調(diào)^[15]。

在階段Ⅰ開始時(shí)，設(shè)T₁=T_max使教師網(wǎng)絡(luò)以最“溫和”的方式指導(dǎo)學(xué)生網(wǎng)絡(luò)訓(xùn)練，并在每輪訓(xùn)練時(shí)隨著訓(xùn)練輪數(shù)i的變化逐漸減小溫度T。此時(shí)的損失函數(shù)如式（11）所示。

L_AKD=βT∑iP_ilogP_iQ_i+（1－β）L_A（11）

式中：β——兩種損失函數(shù)的權(quán)重系數(shù)，根據(jù)不同數(shù)據(jù)樣本設(shè)定。

將KL散度用溫度縮放后與退火損失加權(quán)和。根據(jù)試驗(yàn)的結(jié)果，可以發(fā)現(xiàn)增加溫度通常會(huì)使得對(duì)抗樣本制作更加困難，但此溫度下對(duì)于訓(xùn)練具有提高魯棒性的作用^[12]。當(dāng)訓(xùn)練輪數(shù)i到達(dá)階段Ⅰ所設(shè)的訓(xùn)練輪數(shù)最大值時(shí)，進(jìn)入階段Ⅱ，此時(shí)Г（T）=1，教師網(wǎng)絡(luò)使用原始的logits指導(dǎo)學(xué)生網(wǎng)絡(luò)訓(xùn)練。在不變且較低的溫度下，對(duì)抗樣本制作的成功率將會(huì)更高，此時(shí)學(xué)生網(wǎng)絡(luò)將進(jìn)行微調(diào)并結(jié)束網(wǎng)絡(luò)的訓(xùn)練。

退火知識(shí)蒸餾方法在動(dòng)態(tài)溫度參數(shù)的控制下通過一個(gè)逐步過渡的軟標(biāo)簽平穩(wěn)地把教師網(wǎng)絡(luò)的知識(shí)傳授給學(xué)生網(wǎng)絡(luò)。降溫過程的邏輯單元和軟標(biāo)簽變化示意圖如圖1所示。

邏輯單元值為迭代運(yùn)算時(shí)所可能出現(xiàn)的演示結(jié)果。從圖1可以看到，當(dāng)T增大時(shí)，softmax函數(shù)輸出的概率分布的差值會(huì)減小，被忽略邏輯單元的概率信息將會(huì)放大，但當(dāng)溫度升高到一定程度時(shí)分布差距將趨于飽和，此時(shí)每個(gè)概率將趨近于1/N，其中N是類別數(shù)。在本文的試驗(yàn)中，將預(yù)測集放入預(yù)訓(xùn)練的教師網(wǎng)絡(luò)輸出的平均最大概率來確認(rèn)的近似飽和溫度：經(jīng)過計(jì)算在T=1時(shí)約為0.81，在T=30時(shí)約為0.16，在T =45時(shí)約為0.11。因此，T=45處對(duì)應(yīng)于接近1/N=0.1的概率。

1.4 改進(jìn)對(duì)抗蒸餾

訓(xùn)練框架如圖2所示，首先利用軸承故障訓(xùn)練集訓(xùn)練教師網(wǎng)絡(luò)，設(shè)計(jì)退火函數(shù)、優(yōu)化網(wǎng)絡(luò)參數(shù)。進(jìn)行對(duì)抗蒸餾，利用教師網(wǎng)絡(luò)指導(dǎo)學(xué)生網(wǎng)絡(luò)學(xué)習(xí)軸承故障數(shù)據(jù)。最后通過損失函數(shù)不斷修正學(xué)生網(wǎng)絡(luò)^[16]。

2 試驗(yàn)與結(jié)果分析

通過使用西儲(chǔ)大學(xué)軸承故障數(shù)據(jù)集進(jìn)行對(duì)比試驗(yàn)。試驗(yàn)臺(tái)由一個(gè)1.5 kW的電動(dòng)機(jī)、一個(gè)扭矩傳感器、一個(gè)功率測試計(jì)和電子控制器所組成。試驗(yàn)對(duì)象為SKF6205驅(qū)動(dòng)端軸承，采樣頻率為12 kHz和48 kHz，試驗(yàn)數(shù)據(jù)采用48 kHz下的信號(hào)源^[17]。

2.1 試驗(yàn)條件

模型使用Google的Tensorflow2.0和keras工具箱搭建，試驗(yàn)平臺(tái)為python3.8+anaconda，所用的PC配置為AMD5800H，顯卡采用6 G NVIDIA GTX1660Ti。

2.2 模型參數(shù)

文中使用的知識(shí)蒸餾中教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)均為卷積神經(jīng)網(wǎng)絡(luò)，其模型參數(shù)如表1所示。

表1 網(wǎng)絡(luò)模型參數(shù)

Tab. 1 Network model parameter參數(shù)數(shù)值教師網(wǎng)絡(luò)卷積層數(shù)2教師網(wǎng)絡(luò)池化層數(shù)2學(xué)生網(wǎng)絡(luò)卷積層數(shù)1學(xué)生網(wǎng)絡(luò)池化層數(shù)1卷積核大小40×1卷積核數(shù)目4池化尺寸10×1優(yōu)化器SDG優(yōu)化器學(xué)習(xí)率0.01Dropout比率/%30

2.3 數(shù)據(jù)集介紹

試驗(yàn)平臺(tái)模擬的軸承故障為內(nèi)圈故障、外圈故障和滾動(dòng)體故障，另外使用正常軸承的信號(hào)數(shù)據(jù)作為比對(duì)，每個(gè)樣本包含800個(gè)數(shù)據(jù)采集點(diǎn)，選取三種不同故障直徑下的故障樣本組成訓(xùn)練集。在農(nóng)工業(yè)現(xiàn)場中，典型標(biāo)簽樣本在許多情況下不能滿足網(wǎng)絡(luò)訓(xùn)練需要，并且這些數(shù)據(jù)還可能存在標(biāo)簽分類極不均衡的情況，例如帶某種標(biāo)簽的監(jiān)督數(shù)據(jù)只有極少數(shù)或故障樣本間數(shù)量差異巨大?；诖祟惽闆r，將使用正常數(shù)據(jù)400個(gè)，第1～3類故障數(shù)據(jù)為故障直徑0.177 8 mm下的內(nèi)圈故障、外圈故障和滾動(dòng)體故障，每類100個(gè)，第4～6類為故障直徑0.355 6 mm下的組合故障，每類80個(gè)，第7類為故障直徑0.533 4 mm的內(nèi)圈故障每類30個(gè)，第8類為故障直徑0.533 4 mm下的外圈故障20個(gè)，第9類故障直徑0.533 4 mm下的滾動(dòng)體故障數(shù)據(jù)10個(gè)，總計(jì)1000個(gè)標(biāo)簽樣本數(shù)據(jù)以6∶2∶2的比例分為訓(xùn)練集、測試集和驗(yàn)證集作為模擬真實(shí)現(xiàn)場情況的數(shù)據(jù)集。其目的為測試在故障樣本數(shù)量不同時(shí)，網(wǎng)絡(luò)對(duì)于故障識(shí)別分類的能力。

2.4 試驗(yàn)過程及結(jié)果分析

本文基于知識(shí)蒸餾與對(duì)抗學(xué)習(xí)的理論結(jié)合，提出了一種軸承故障診斷方法，以確保學(xué)生網(wǎng)絡(luò)的軸承故障診斷分類的準(zhǔn)確度。使用西儲(chǔ)大學(xué)軸承故障數(shù)據(jù)集進(jìn)行三種消融試驗(yàn)來驗(yàn)證本文所提出的方法有效性。

2.4.1 不同網(wǎng)絡(luò)或不同訓(xùn)練方法結(jié)果對(duì)比

通過6組試驗(yàn)來驗(yàn)證此方法的有效性：第一組是直接訓(xùn)練與學(xué)生網(wǎng)絡(luò)相同結(jié)構(gòu)的卷積網(wǎng)絡(luò)；第二組是直接使用ResNet18網(wǎng)絡(luò)進(jìn)行訓(xùn)練；第三組是通過使用MobileNet網(wǎng)絡(luò)進(jìn)行訓(xùn)練；第四組是利用傳統(tǒng)知識(shí)蒸餾的方式使教師網(wǎng)絡(luò)指導(dǎo)學(xué)生網(wǎng)絡(luò)訓(xùn)練，溫度設(shè)定為8（T=8）；第五組是利用對(duì)抗知識(shí)蒸餾的方式訓(xùn)練學(xué)生網(wǎng)絡(luò)，溫度設(shè)定為8（T=8）；第六組是教師網(wǎng)絡(luò)通過改進(jìn)知識(shí)蒸餾的方式引導(dǎo)學(xué)生網(wǎng)絡(luò)訓(xùn)練。

采用少量數(shù)據(jù)預(yù)訓(xùn)練，對(duì)比目前對(duì)于不同輕量級(jí)網(wǎng)絡(luò)或不同訓(xùn)練方法所得的分類準(zhǔn)確率，表2為不同網(wǎng)絡(luò)或訓(xùn)練方法的訓(xùn)練結(jié)果，試驗(yàn)中設(shè)置網(wǎng)絡(luò)最大迭代次數(shù)為300，使用隨機(jī)梯度下降方法。

從表2中可以看出：小型的卷積神經(jīng)網(wǎng)絡(luò)在進(jìn)行直接數(shù)據(jù)訓(xùn)練時(shí)容易過擬合導(dǎo)致訓(xùn)練效果不佳；知識(shí)蒸餾所訓(xùn)練出的學(xué)生網(wǎng)絡(luò)與目前常用的ResNet和MobileNet差距不大，但參數(shù)量卻小很多，僅為214 602，約為MobileNet的十分之一；本文所提出的改進(jìn)知識(shí)蒸餾的分類準(zhǔn)確率明顯高于另外兩種深度網(wǎng)絡(luò)?？傮w而言，改進(jìn)對(duì)抗蒸餾的方式在六組試驗(yàn)中具有更高的診斷準(zhǔn)確性。

2.4.2 不同溫度下的對(duì)抗蒸餾對(duì)比

在溫度較高時(shí)訓(xùn)練的教師網(wǎng)絡(luò)輸出的結(jié)果信息將會(huì)被放大，這些信息中包含著對(duì)于非對(duì)映標(biāo)簽樣本對(duì)于此標(biāo)簽的特征相似度；而當(dāng)溫度較低時(shí)，這些特征相似信息將被忽略。在高溫下模型雖然可以接收到此類信息但由于教師網(wǎng)絡(luò)輸出結(jié)果差異較小，往往會(huì)誤導(dǎo)學(xué)生網(wǎng)絡(luò)，導(dǎo)致學(xué)生網(wǎng)絡(luò)故障分類準(zhǔn)確率低。所以最為理想的情況便是在訓(xùn)練開始使用高溫，而在訓(xùn)練后期使用低溫。接下來的試驗(yàn)測量了溫度對(duì)對(duì)抗樣本生成的影響，在知識(shí)蒸餾中不同的溫度設(shè)置會(huì)影響softmax層輸出的概率分布，即溫度只在訓(xùn)練時(shí)起作用。這里的目標(biāo)是確定“最佳”的訓(xùn)練溫度，從而實(shí)現(xiàn)對(duì)于學(xué)生網(wǎng)絡(luò)和數(shù)據(jù)集的對(duì)抗樣本的魯棒性。測量了在2，5，10，20，50，100和本文退火思想優(yōu)化后的蒸餾溫度T對(duì)學(xué)生網(wǎng)絡(luò)的診斷準(zhǔn)確度。表3為蒸餾溫度對(duì)對(duì)抗蒸餾的對(duì)于故障分類準(zhǔn)確率的比較。根據(jù)上文所提到的溫度飽和度計(jì)算，當(dāng)初始溫度T=45時(shí)，各個(gè)結(jié)果之間輸出結(jié)果較小，效果不佳，經(jīng)過多次試驗(yàn)比較選擇T=30為初始溫度。

根據(jù)試驗(yàn)可以看出對(duì)抗知識(shí)蒸餾的溫度對(duì)于訓(xùn)練結(jié)果有一定的影響，本文提出的退火溫度對(duì)比溫度不變的訓(xùn)練，在一定程度上有著不錯(cuò)的效果。

2.4.3 不同訓(xùn)練方法下的各類故障分類準(zhǔn)確率

在2.4.1節(jié)已經(jīng)探討了對(duì)10分類標(biāo)簽樣本的分類準(zhǔn)確率，而本試驗(yàn)將會(huì)通過不同數(shù)量的標(biāo)簽樣本通過對(duì)學(xué)生網(wǎng)絡(luò)在不同方法的訓(xùn)練下的故障分類準(zhǔn)確性。以內(nèi)圈故障為例，將數(shù)據(jù)集重新創(chuàng)建為每組樣本數(shù)為600的四分類數(shù)據(jù)集5組進(jìn)行試驗(yàn)，分別為內(nèi)圈故障樣本150、100、75、50、25個(gè)，其余部分將使用正常數(shù)據(jù)、外圈故障和滾動(dòng)體故障以相同的數(shù)量進(jìn)行填充。內(nèi)圈試驗(yàn)完成后以相同的邏輯重新為外圈故障和滾動(dòng)體故障制作數(shù)據(jù)集。如圖3所示，其結(jié)果為多次訓(xùn)練的平均值，表明本文提出的基于改進(jìn)對(duì)抗蒸餾軸承故障分類方法的有效性。在樣本數(shù)量不足的情況下讓與學(xué)生網(wǎng)絡(luò)結(jié)構(gòu)相同的卷積神經(jīng)網(wǎng)絡(luò)直接進(jìn)行訓(xùn)練^[18]，其故障識(shí)別分類的準(zhǔn)確率會(huì)有著明顯降低，而采用知識(shí)蒸餾方法利用教師網(wǎng)絡(luò)指導(dǎo)學(xué)生網(wǎng)絡(luò)訓(xùn)練即使樣本數(shù)量很少，也保持著較高的準(zhǔn)確率。對(duì)抗蒸餾通過學(xué)生網(wǎng)絡(luò)不斷生成對(duì)抗樣本的方式進(jìn)行類似半監(jiān)督訓(xùn)練，無論樣本數(shù)量是否充足，都對(duì)于故障有著較高的分類準(zhǔn)確率?；诟倪M(jìn)對(duì)抗蒸餾軸承故障分類方法都在此數(shù)據(jù)集中得到了有效驗(yàn)證。由于樣本數(shù)據(jù)的不同，分類準(zhǔn)確率會(huì)有著不同程度的改變，例如外圈故障的故障分類準(zhǔn)確率低于內(nèi)圈故障和滾動(dòng)體故障，但總體趨勢(shì)并未改變，本文提出的方法依然存在著優(yōu)勢(shì)。

由此可見，本文提出的基于改進(jìn)對(duì)抗蒸餾軸承故障分類方法不僅提升學(xué)生網(wǎng)絡(luò)對(duì)于軸承故障診斷分類能力，還可節(jié)省農(nóng)機(jī)、工業(yè)現(xiàn)場所使用智能設(shè)備的計(jì)算資源。

3 結(jié)論

1） 本文提出一種改進(jìn)對(duì)抗蒸餾方法，旨在解決農(nóng)業(yè)機(jī)械、工業(yè)現(xiàn)場軸承故障樣本數(shù)量不足、故障樣本數(shù)量分布不均衡等問題，以提高軸承故障診斷分類的準(zhǔn)確性。

2） 為了使學(xué)生網(wǎng)絡(luò)能夠準(zhǔn)確地判斷出復(fù)雜的現(xiàn)場情況，本文提出了不斷進(jìn)行對(duì)抗方法，保證了學(xué)生網(wǎng)絡(luò)對(duì)于不同環(huán)境下軸承故障診斷分類的性能。在迭代過程中逐步過渡溫度，使得學(xué)生網(wǎng)絡(luò)以循序漸進(jìn)的方式跟隨訓(xùn)練輪次的訓(xùn)練學(xué)生網(wǎng)絡(luò)。為了模擬典型標(biāo)簽樣本較少的場景，試驗(yàn)中使用差異化故障樣本數(shù)量，驗(yàn)證了訓(xùn)練的學(xué)生網(wǎng)絡(luò)對(duì)軸承故障診斷分類相較于傳統(tǒng)方法的有效性和準(zhǔn)確率增長。

3） 利用改進(jìn)對(duì)抗蒸餾方法訓(xùn)練出的學(xué)生網(wǎng)絡(luò)進(jìn)行模擬現(xiàn)場軸承故障診斷分類任務(wù)，僅使用214602個(gè)參數(shù)參與計(jì)算，準(zhǔn)確率可達(dá)91.85%。

4） 此方法在農(nóng)機(jī)、工業(yè)使用的軸承故障檢測的應(yīng)用中具有更好的優(yōu)勢(shì)和實(shí)際的應(yīng)用價(jià)值。

參 考 文 獻(xiàn)

[1]Wang Jing， Zhao Bo， Zhou Hua. Rolling bear fault recognition based on improved sparse decomposition [J]. 2018 37th Chinese Control Conference（CCC）， 2018： 676-680.

[2]Abbasion S， Rafsanjani A， Farshidianfar A， et al. Rolling element bearings multi-fault classification based on the wavelet denoising and support vector machine [J]. Mechanical Systems and Signal Processing， 2007， 21（7）： 2933-2945.

[3]Han J H， Choi D J， Hong S K， et al. Motor fault diagnosis using CNN based deep learning algorithm considering motor rotating speed [C]. 2019 IEEE 6th International Conference on Industrial Engineering and Applications （ICIEA）. IEEE， 2019， 68（3）： 440-445.

[4]Zhong Xu， Mo Wenxiong， Wang Yong， et al. Transformer fault diagnosis based on deep brief sparse autoencoder [C]. 中國自動(dòng)化學(xué)會(huì)控制理論專業(yè)委員會(huì)， 中國自動(dòng)化學(xué)會(huì)， 中國系統(tǒng)工程學(xué)會(huì). 第三十八屆中國控制會(huì)議論文集（5）.上海系統(tǒng)科學(xué)出版社， 2019： 1087-1090.

[5]Lu P， Xu D P， Liu Y B. Study of fault diagnosis model based on multi-class wavelet support vector machines [C]. International Conference on Machine Learning & Cybernetics. IEEE， 2005， 7： 4319-4321.

[6]Zhu Jun， Chen Nan， Shen Changqing. A new deep transfer learning method for bearing fault diagnosis under different working conditions [J]. IEEE Sensors Journal， 2020， 20（15）： 8394-8402.

[7]Vu D Q， Le N， Wang J C. Teaching yourself： A self-knowledge distillation approach to action recognition [J]. IEEE Access， 2021（9）： 105711-105723.

[8]邢曉松， 郭偉. 基于改進(jìn)半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)的少量標(biāo)簽軸承智能診斷方法[J]. 振動(dòng)與沖擊， 2022， 41（22）： 184-192.

Xing Xiaosong， Guo Wei. Intelligent diagnosis method for bearings with few labelled samples based on an improved semi-supervised learning-based generative adversarial network [J]. Journal of Vibration and Shock， 2022， 41（22）： 184-192.

[9]黃仲浩， 楊興耀， 于炯， 等. 基于多階段多生成對(duì)抗網(wǎng)絡(luò)的互學(xué)習(xí)知識(shí)蒸餾方法[J]. 計(jì)算機(jī)科學(xué)， 2022， 49（10）： 169-175.

Huang Zhonghao， Yang Xingyao， Yu Jiong， et al. Mutual learning knowledge distillation based on multi-stage multi-generative adversarial network [J]. Computer Science， 2022， 49（10）： 169-175.

[10]Heo B， Lee M， Yun S， et al. Knowledge distillation with adversarial samples supporting decision boundary [C]. AAAI Conference on Artificial Intelligence. Honolulu， USA： AAAI， 2019： 3771-3778.

[11]Hinton G， Vinyals O， Dean J. Distilling the knowledge in a neural network [J]. Computer Science， 2015， 14（7）： 38-39， 9.

[12]Papernot N， Mcdaniel P， Wu X， et al. Distillation as a Defense to adversarial perturbations against deep neural networks [C]. 2016 IEEE Symposium on Security and Privacy （SP）. IEEE， 2016.

[13]Jafari A， Rezagholizadeh M， Sharma P. Annealing knowledge distillation [J]. Association for Computational Linguistics， 2021： 2493-2504.

[14]費(fèi)霞. 基于對(duì)抗蒸餾與自動(dòng)機(jī)器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)壓縮研究[D]. 西安：西安電子科技大學(xué)， 2021.

Fei Xia. Research on deep neural network compression based on knowledge distillation with adversarial learning and automated machine learning [D]. Xian： Xidian University， 2021

[15]陶啟生. 基于CNN和遷移學(xué)習(xí)的軸承故障診斷方法研究[D]. 株洲： 湖南工業(yè)大學(xué)， 2021.

Tao Qisheng. Research on bearing fault diagnosis method based on CNN and transfer learning [D]. Zhuzhou： Hunan University of Technology， 2021.

[16]趙振兵， 金超熊， 戚銀城， 等. 基于動(dòng)態(tài)監(jiān)督知識(shí)蒸餾的輸電線路螺栓缺陷圖像分類[J]. 高電壓技術(shù)， 2021， 47（2）： 406-414.

Zhao Zhenbing， Jin Chaoxiong， Qi Yincheng， et al. Image classification of transmission line bolt defects based on dynamic supervision knowledge distillation [J]. High Voltage Engineering， 2021， 47（2）： 406-414.

[17]Xu D， Xiao J， Zhao Z， et al. Self-supervised spatiotemporal learning via video clip order prediction [C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2019： 10326-10335.

[18]Papernot N， Mcdaniel P， Goodfellow I， et al. Practical black-box attacks against machine learning [J]. In： Proc. of the 2017 ACM on Asia Conf. on Computer and Communications Security， 2017： 506-519.