基于兩種改進RedNet的滾動軸承故障診斷方法研究

鄭直，單思然，曾魁魁，王志軍，朱勇

(1.華北理工大學(xué)機械工程學(xué)院，河北唐山 063210；2.江蘇大學(xué)國家水泵及系統(tǒng)工程技術(shù)研究中心，江蘇鎮(zhèn)江 212013)

0 前言

在機械設(shè)備中，滾動軸承主要用于支承機械旋轉(zhuǎn)體、減小軸系運轉(zhuǎn)摩擦力，起到高精度回轉(zhuǎn)傳動作用[1]，它已被廣泛地應(yīng)用在工程機械、航空航天、石油化工、船舶等重要國計民生領(lǐng)域。但其大多工作在高濕、高溫、高速或重負載等惡劣環(huán)境，導(dǎo)致其故障率很高[2-4]。

目前，國內(nèi)外很多學(xué)者利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)對滾動軸承進行了故障診斷分析[5-11]。WANG等[5]提出了基于注意力機制的CNN任務(wù)診斷網(wǎng)絡(luò)，并利用滾動軸承故障驗證了方法的有效性。CAO等[6]提出了一種無監(jiān)督域共享CNN，用于滾動軸承從恒轉(zhuǎn)速到變轉(zhuǎn)速的遷移學(xué)習(xí)故障診斷。SU等[7]提出了一種分層分支的CNN，在考慮噪聲和工況變化條件下，實現(xiàn)了滾動軸承的故障診斷。XU等[8]為了有效地實時診斷滾動軸承故障，構(gòu)建了一種基于在線傳遞的CNN診斷模型。CHEN等[9]為了提高滾動軸承故障診斷性能，提出了一種基于循環(huán)譜相干性二維映射表示和CNN相結(jié)合的故障診斷方法。PENG等[10]針對滾動軸承振動信號的高復(fù)雜性、強耦合性和低信噪比的特點，提出了一種新穎的多分支、多尺度的CNN。為了準(zhǔn)確預(yù)測滾動軸承在不同失效行為下的剩余壽命，提出了一種可轉(zhuǎn)移CNN來學(xué)習(xí)域不變特征[11]。

隨著深度神經(jīng)網(wǎng)絡(luò)的深入研究，HOWARD等[12]在MobileNetV1基礎(chǔ)上提出了MobileNetV3。MobileNetV3將CNN中的常規(guī)卷積替換為深度可分離卷積，大大減少了參數(shù)量；引入了線性瓶頸和反向殘差結(jié)構(gòu)，利用該結(jié)構(gòu)處理后的低秩性質(zhì)使層結(jié)構(gòu)間的信息利用率更加高效。近期，國內(nèi)外學(xué)者開始利用MobileNetV3對滾動軸承進行故障診斷[13-15]。針對提高滾動軸承故障特征的提取能力問題，YAO等[13]提出了一種基于蝴蝶變換的MobileNetV3故障診斷模型。YANG等[14]利用改進的MobileNetV3提取圖像中裂紋的線性結(jié)構(gòu)特征和灰度分布特征，并診斷它是否存在缺陷。針對滾動軸承的小樣本問題，XUE等[15]提出了一種基于結(jié)構(gòu)相似生成對抗網(wǎng)絡(luò)和改進MobileNetv3的故障診斷方法。

2020年，LI等[16]提出了微分解卷積和新的動態(tài)激活函數(shù)，以此構(gòu)建了MicroNet網(wǎng)絡(luò)，并應(yīng)用于圖像分類、目標(biāo)檢測和人體姿態(tài)估計領(lǐng)域。它將卷積矩陣分解成低秩矩陣，以及將稀疏連通性整合到卷積中；通過最大化輸入特征圖和圓形通道位移之間的多次動態(tài)融合來提高非線性。由于其新穎性，國內(nèi)外學(xué)者尚未將它應(yīng)用于包括故障診斷等其他方面。

2021年，LI等[17]提出了Involution核，并基于此構(gòu)建了RedNet網(wǎng)絡(luò)，應(yīng)用于圖像識別領(lǐng)域。基于通道共享可使Involution核在不同空間位置共享權(quán)值，也不會導(dǎo)致參數(shù)量和計算量的顯著增長；空間特異性能夠在不同空間位置上保證信息共享和遷移。因此，Involution核相較卷積核能夠獲取更好的性能表現(xiàn)。由于此方法的新穎性，RedNet尚未得到其他方面的應(yīng)用研究。

分析傳統(tǒng)的RedNet應(yīng)用于滾動軸承故障診斷，發(fā)現(xiàn)RedNet自帶的余弦退火算法易陷入局部極小值，出現(xiàn)過擬合現(xiàn)象，導(dǎo)致診斷精度過低。

因此，本文作者利用MobileNetV3和MicroNet分別對RedNet進行改進處理，提出MobileNetV3-RedNet和MicroNet-RedNet新型網(wǎng)絡(luò)。通過滾動軸承的內(nèi)圈、外圈和滾動體實測故障實驗驗證所提方法的有效性。

1 RedNet網(wǎng)絡(luò)

LI等[17]提出了Involution核，通過它替代ResNet網(wǎng)絡(luò)的部分傳統(tǒng)卷積，進而構(gòu)建了RedNet網(wǎng)絡(luò)。其通道特異性可使通道共享，減少大量參數(shù)、降低通道維度冗余；其空間特異性可動態(tài)調(diào)整核尺寸，自適應(yīng)地提取更多特征信息。

1.1 Involution核

利用Involution核對輸入進行處理，得到輸出特征映射為

(1)

其中：(i，j)表示像素位置；k為通道編號；表示Involution卷積核，∈RH×W×K×K×G；X表示輸入特征張量；H、W分別表示X的高度、寬度，K×K為卷積核大小；ΔK={-[K/2],…,[K/2]}×{-[K/2],…,[K/2]}，為對像素進行卷積的鄰域偏移量集合。

與傳統(tǒng)卷積核不同，Involution核和輸入特征張量X在空間維度上能夠自動對齊。單個像素Xi，j基于核生成函數(shù)φ，經(jīng)如下變換得到Involution核i，j：

(2)

其中：W0∈RC/r×C和W1∈R(K×K×G)×C/r代表2個線性變換矩陣；r為通道縮減比率；δ表示ReLU激活函數(shù)。

Involution核的形成過程(G=1)如圖1所示。

圖1 Involution核示意

在圖1中，第一步，基于像素位置(i，j)，運用核生成函數(shù)φ生成Involution核，之后進行通道到空間的重排列；第二步，Involution核的乘加運算分解為2個步驟，將(i,j)鄰域的特征向量進行圖1中的乘加運算得到特征圖，?表示跨C個信道傳播的乘法運算，?表示在空間鄰域內(nèi)聚合的求和運算。

1.2 基于Involution核的RedNet網(wǎng)絡(luò)

為了構(gòu)建具有Involution核的RedNet網(wǎng)絡(luò)，通過堆疊剩余模塊來模仿ResNet網(wǎng)絡(luò)結(jié)構(gòu)。在ResNet的所有瓶頸位置用Involution核替換掉原來的3×3卷核積，但保留所有1×1卷積核用于通道投影和融合。經(jīng)過調(diào)整后，形成了一種新的高性能神經(jīng)網(wǎng)絡(luò)模型，稱為RedNet網(wǎng)絡(luò)。RedNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 RedNet網(wǎng)絡(luò)結(jié)構(gòu)

在RedNet網(wǎng)絡(luò)中，信道空間、空間單獨和信道單獨交互交替且獨立地作用于信息傳播流，協(xié)同促進網(wǎng)絡(luò)架構(gòu)的高效化，同時確保特征提取能力。

2 MicroNet網(wǎng)絡(luò)

LI等[16]提出了微分解卷積核和Dynamic Shift-Max動態(tài)激活函數(shù)，并在此基礎(chǔ)上構(gòu)建了MicroNet網(wǎng)絡(luò)。在不降低網(wǎng)絡(luò)寬度的情況下，微分解卷積核可降低網(wǎng)絡(luò)節(jié)點間的連通性，進而剔除冗余參數(shù)；Dynamic Shift-Max動態(tài)激活函數(shù)加強了由微分解卷積核創(chuàng)建的組之間的連接，可解決參數(shù)大幅度減少而導(dǎo)致的性能降低問題，進而提升精度。

2.1 微分解卷積核

微分解卷積核分為微分解逐點卷積核和微分解深度可分離卷積核。微分解卷積核將MobileNet系列網(wǎng)絡(luò)中的逐點卷積核和深度可分離卷積核分解為低秩矩陣，從而使通道數(shù)和輸入輸出的連通性得到良好平衡。

微分解逐點卷積核：假設(shè)卷積核W具有相同的輸入和輸出通道數(shù)，它可分解為兩組自適應(yīng)卷積：

W=PΦQT

(3)

其中：組數(shù)G取決于通道C，W為C×C矩陣；Q為C×C/R矩陣，它將通道數(shù)壓縮1/R；P為C×C/R矩陣，它將通道數(shù)擴展回C；Q和P均為包含G個塊的對角矩陣；Φ為C/R×(C/R)排列矩陣。卷積示意如圖3所示。

圖3 Micro-Factorized pointwise convolution示意

微分解深度可分離卷積核：將k×k深度可分離卷積核分解為k×1傳統(tǒng)卷積核與1×k傳統(tǒng)卷積核，每個卷積核W大小為k×k，將其分解為k×1向量P和1×k向量QT，Φ為1的標(biāo)量，如圖4所示。

圖4 Micro-Factorized depthwise convolution示意

2.2 Dynamic Shift-Max動態(tài)激活函數(shù)

和傳統(tǒng)h-swish激活函數(shù)不同，Dynamic Shift-Max是動態(tài)激活函數(shù)，它通過最大化輸入特征與其循環(huán)通道偏移之間的多重動態(tài)融合來增強非線性特征，且加強了微分解卷積創(chuàng)建的組之間的連接。

設(shè)輸入x={xi}(i=1,…,C)，將x分為G組，每組包含C/G維。x的循環(huán)偏移為xN(i)=x(i+N)modC，將維度循環(huán)偏移擴展到分組循環(huán)偏移，具體操作如下：

xC/G(i,j)=x(i+jC/G)modCj=0,…,G-1

(4)

其中：xC/G(i，j)對應(yīng)第i維輸入xi關(guān)于j分組的偏移，該激活函數(shù)將多個j分組偏移進行結(jié)合，遵循如下規(guī)則：

(5)

3 MobileNetV3網(wǎng)絡(luò)

Google于2019年發(fā)布了新一代MobileNet系列網(wǎng)絡(luò)的V3版本，即MobileNetV3。h-swish激活函數(shù)通常應(yīng)用在網(wǎng)絡(luò)結(jié)構(gòu)的深層次處，且性能較ReLU激活函數(shù)優(yōu)異，可降低應(yīng)用成本、提升泛化能力；Squeeze-and-Excitation模塊可將所有通道的全局空間信息壓縮成一個通道描述符，之后完全捕獲通道間依賴關(guān)系，進而可更好地了解全局特征，實現(xiàn)高質(zhì)量特征提取[12]。

3.1 h-swish激活函數(shù)

為進一步提高網(wǎng)絡(luò)精度，MobileNetV3引入了h-swish激活函數(shù)：

(6)

激活函數(shù)的改變會帶來響應(yīng)延遲，為此，僅在網(wǎng)絡(luò)后半部分采用h-swish激活函數(shù)，前半部分仍采用ReLU激活函數(shù)。

3.2 Squeeze-and-Excitation模塊

Squeeze-and-Excitation模塊可將全局空間信息壓縮到信道描述符中，進而捕獲全局通道依賴性。

Squeeze操作：提出將全局空間信息壓縮成一個通道信息。通過在空間維度W×H上收縮特征圖U，可生成z∈RC，z的第c個元素可通過下式獲得：

(7)

其中：uc(i,j)為U的局部特征圖譜。

Excitation操作：利用Squeeze壓縮后的通道信息，進行全局捕獲通道依賴性。因此，執(zhí)行一個簡單的門機制，并使用Sigmoid函數(shù)激活：

s=Fex(z,W)=σ(g(z,W))=σ(W4δ(W3z))

(8)

其中：δ代表ReLU函數(shù)；W3∈RC/r×C和W4∈RC×C/r分別為降維層和升維層；r為降維系數(shù)。最終U通過激活函數(shù)的重新排列得到如下輸出：

(9)

Squeeze-and-Excitation模塊示意如圖5所示。

圖5 Squeeze-and-Excitation模塊的示意

4 所提MicroNet-RedNet新型網(wǎng)絡(luò)

RedNet網(wǎng)絡(luò)自帶余弦退火衰減算法用于動態(tài)調(diào)整學(xué)習(xí)率，易在訓(xùn)練中陷入局部最小值，出現(xiàn)過擬合現(xiàn)象，導(dǎo)致精度過低。

針對上述問題，文中利用MicroNet網(wǎng)絡(luò)中的微分解卷積核和Dynamic Shift-Max動態(tài)激活函數(shù)對RedNet網(wǎng)絡(luò)進行改進處理，提出MicroNet-RedNet新型網(wǎng)絡(luò)。

具體改進步驟為：

(1)將圖2中的第四堆疊層1×1卷積核替換為3×3卷積核，進而保證上述輸出與微分解卷積的輸入大小一致；

(2)在Involution核的表達式(2)中，利用W1與W0進行特征提取，激活函數(shù)δ用于非線性映射。為了進一步體現(xiàn)Involution核的思想，分別用微分解卷積代替實現(xiàn)W1和W0的功能，深度可分離卷積代替實現(xiàn)δ的功能。因此，加入微分解卷積層和深度可分離卷積層，從而可進一步剔除冗余參數(shù)、提高特征提取能力。

改進后，MicroNet-RedNet新型網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 MicroNet-RedNet網(wǎng)絡(luò)結(jié)構(gòu)

5 所提MobileNetV3-RedNet新型網(wǎng)絡(luò)

同樣，針對RedNet網(wǎng)絡(luò)存在的問題，文中也利用MobileNetV3網(wǎng)絡(luò)中的h-swish激活函數(shù)和Squeeze-and-Excitation模塊對RedNet網(wǎng)絡(luò)進行改進處理，提出MobileNetV3-RedNet新型網(wǎng)絡(luò)。

具體改進步驟為：

(1)將圖2中第七堆疊層的ReLU激活函數(shù)替換為h-swish激活函數(shù)，進而可使h-swish激活函數(shù)在深層網(wǎng)絡(luò)中發(fā)揮強提取能力。

(2)將圖2中第六和七堆疊層之間，引入Squeeze-and-Excitation模塊，可將全局空間信息壓縮融合到一個通道中進行描述，完全捕獲通道依賴關(guān)系，進而提升特征提取能力。

改進后，MobileNetV3-RedNet新型網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

圖7 MobileNetV3-RedNet網(wǎng)絡(luò)結(jié)構(gòu)

6 滾動軸承實測故障診斷分析

6.1 實驗臺

文中基于凱斯西儲大學(xué)的軸承故障診斷實驗臺進行實驗驗證。實驗對象為SKF6250滾動軸承，故障形式為內(nèi)圈故障、外圈故障和滾動體故障。電機轉(zhuǎn)速為1 797 r/min，載荷為0 kW。用加速度傳感器對電機驅(qū)動端進行數(shù)據(jù)采集，采樣頻率為48 kHz。

6.2 基于所提MicroNet-RedNet和所提MobileNetV3-RedNet的故障診斷分析

內(nèi)圈、外圈和滾動體故障各有370個樣本，其中每個樣本的信號長度為324點。將70%樣本作為訓(xùn)練集，剩余30%作為測試集。將預(yù)熱率設(shè)為0.25、迭代終止次數(shù)設(shè)為300，在[1×10-5，7×10-5]內(nèi)對學(xué)習(xí)率進行尋優(yōu)，之后再以該最優(yōu)學(xué)習(xí)率對預(yù)熱率在[0.1，0.4]內(nèi)進行細化尋優(yōu)，進而保證找到各個網(wǎng)絡(luò)的最優(yōu)性能。尋優(yōu)結(jié)果如圖8—10所示。

圖8 基于RedNet的故障診斷結(jié)果

圖9 基于所提MobileNetV3-RedNet的故障診斷結(jié)果

圖10 基于所提MicroNet-RedNet的故障診斷結(jié)果

基于圖8—10的診斷結(jié)果，將其最優(yōu)診斷結(jié)果在表1中進行展示，并將其和傳統(tǒng)CNN進行了對比分析。

表1 最優(yōu)診斷結(jié)果

由表1可知：

(1)所提MicroNet-RedNet和所提MobileNetV3-RedNet的最優(yōu)診斷率分別為最高和次高，分別高達98.57%和93.81%；所提MicroNet-RedNet的最優(yōu)診斷率分別較傳統(tǒng)CNN、原算法RedNet、所提MobileNetV3-RedNet提高了34.6%、24.65%、5.07%；所提MobileNetV3-RedNet的最優(yōu)診斷率分別較傳統(tǒng)CNN、原算法RedNet提高了28.10%、18.63%；

(2)所提MicroNet-RedNet和所提MobileNetV3-RedNet達到最優(yōu)診斷精度時，對應(yīng)最優(yōu)迭代步數(shù)分別為最少和次最少，分別低至93和242；所提MicroNet-RedNet的最優(yōu)迭代步數(shù)分別較傳統(tǒng)CNN、原算法RedNet、所提MobileNetV3-RedNet顯著降低了67.82%、66.67%、61.57%。

7 結(jié)論

RedNet網(wǎng)絡(luò)自帶余弦退火衰減算法，在動態(tài)調(diào)整學(xué)習(xí)率時，容易陷入局部極小值，出現(xiàn)過擬合現(xiàn)象，導(dǎo)致診斷精度過低等。針對此問題，作者提出2種新型網(wǎng)絡(luò)：(1)利用MicroNet網(wǎng)絡(luò)的微分解卷積和Dynamic Shift-Max動態(tài)激活函數(shù)，對RedNet網(wǎng)絡(luò)進行改進處理，提出MicroNet-RedNet新型網(wǎng)絡(luò)；(2)利用MobileNetV3網(wǎng)絡(luò)的h-swish激活函數(shù)和Squeeze-and-Excitation模塊將RedNet網(wǎng)絡(luò)進行改進處理，提出MobileNetV3-RedNet新型網(wǎng)絡(luò)。通過分析滾動軸承實測故障，可得出如下結(jié)論：

(1)所提MicroNet-RedNet新型網(wǎng)絡(luò)可有效診斷出滾動軸承故障，診斷精度高達98.57%，較傳統(tǒng)CNN、原算法RedNet分別提高了34.6%、24.65%；

(2)同樣，所提MobileNetV3-RedNet新型網(wǎng)絡(luò)也可有效地診斷出滾動軸承故障，診斷精度高達93.81%，較傳統(tǒng)CNN、原算法RedNet分別提高了28.10%、18.63%；

(3)所提MicroNet-RedNet新型網(wǎng)絡(luò)相較所提MobileNetV3-RedNet新型網(wǎng)絡(luò)更具有效性和優(yōu)越性，前者最優(yōu)診斷精度較后者高出5.07%；達到最優(yōu)診斷精度時，前者的對應(yīng)最優(yōu)迭代步數(shù)較后者減少61.57%。