基于深度可分離卷積神經(jīng)網(wǎng)絡(luò)的軸承故障診斷模型

金鈺森,丁 飛,*,陳 竺,鄭雁鵬,黃偉韜

(1.南京郵電大學(xué) 智慧物聯(lián)網(wǎng)應(yīng)用技術(shù)研究院,江蘇 南京 210003;2.上海市工業(yè)物聯(lián)網(wǎng)與大數(shù)據(jù)專家工作站,上海 200233)

0 引言

在工業(yè)活動中,為了避免由于設(shè)備故障而產(chǎn)生的經(jīng)濟損失,對相關(guān)工業(yè)設(shè)備進(jìn)行有效的故障診斷尤為重要。旋轉(zhuǎn)機械在現(xiàn)代工業(yè)設(shè)備中應(yīng)用最廣泛,比如壓縮機、發(fā)動機、感應(yīng)電機等[1]。旋轉(zhuǎn)機械常常處于高度負(fù)荷或惡劣的工作環(huán)境中,導(dǎo)致其發(fā)生故障的概率大大增加,若不能及時對故障進(jìn)行診斷,可能會導(dǎo)致整個系統(tǒng)的中斷甚至是災(zāi)難性的故障[2]。軸承作為旋轉(zhuǎn)機械中的核心部件,如何快速準(zhǔn)確識別其工作狀態(tài)并進(jìn)行故障診斷一直受到廣泛關(guān)注[3]。

近年來,隨著機器學(xué)習(xí)算法研究的不斷深入,深度學(xué)習(xí)已被應(yīng)用于諸多領(lǐng)域中[4]。作為深度學(xué)習(xí)中的一個重要分支,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在機械設(shè)備故障診斷中表現(xiàn)出了優(yōu)異的性能[5]。當(dāng)前的深度學(xué)習(xí)方法主要處理的是二維結(jié)構(gòu)數(shù)據(jù),在機械故障信號的處理中,起初主要將原始振動信號經(jīng)過圖像變換從一維時序信號轉(zhuǎn)變?yōu)槎S圖像信號作為CNN的輸入[6],然后進(jìn)行特征提取和識別分類,劉星辰等人[7]通過短時傅里葉變換獲得振動數(shù)據(jù)集的頻率圖,對訓(xùn)練數(shù)據(jù)集進(jìn)行交叉驗證來更新CNN參數(shù),根據(jù)訓(xùn)練好的模型來對振動數(shù)據(jù)集的頻率圖進(jìn)行分類。Shao等人[8]利用小波變換對旋轉(zhuǎn)機械振動信號進(jìn)行分解,通過連續(xù)小波變換獲得振動頻率圖,將其作為CNN的輸入來對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,根據(jù)訓(xùn)練后的CNN模型進(jìn)行故障特征識別。Verstraete等人[9]通過短時傅里葉變換和小波變換將原始振動信號轉(zhuǎn)為二維圖像信息,然后將其作為深度CNN輸入來進(jìn)行故障分類和診斷。

以上方法都需要將一維信號轉(zhuǎn)換為圖像形式作為輸入,但是由于振動數(shù)據(jù)在時間上具有相關(guān)性,將其轉(zhuǎn)換為二維結(jié)構(gòu)容易破壞時間相關(guān)性,丟失部分故障信息,因此可以通過構(gòu)建一維卷積神經(jīng)網(wǎng)絡(luò) (One-Dimensional Convolutional Neural Network,1D-CNN),直接將原始一維信號作為網(wǎng)絡(luò)的輸入,在保留原始信息的同時,降低網(wǎng)絡(luò)復(fù)雜度,實現(xiàn)端對端的故障識別[10]。楊潔等人[11]通過多個傳感器采集航空發(fā)動機故障數(shù)據(jù),將多個傳感器的數(shù)據(jù)進(jìn)行融合后輸入到1D-CNN中實現(xiàn)了較高精度的故障分類;卞景藝等人[12]提出一種多尺度深度CNN,通過構(gòu)造不同卷積池化層的多通道網(wǎng)絡(luò)對軸承和齒輪故障數(shù)據(jù)進(jìn)行分析;Liang等人[13]以滾動軸承的一維時序信號作為CNN的輸入,通過包含空洞卷積的殘差網(wǎng)絡(luò)結(jié)構(gòu)和通道域注意力方法提出了基于殘差連接的一維空洞卷積網(wǎng)絡(luò)方法,該方法能夠有效診斷不同噪聲環(huán)境和不同載荷下的滾動軸承故障;Wang等人[14]基于視覺幾何組(Visual Geometry Group,VGG)16改進(jìn)1D-CNN模型,將原始振動信號作為網(wǎng)絡(luò)輸入進(jìn)行特征融合,提出一種基于最優(yōu)SWD和1D-CNN的多傳感器數(shù)據(jù)融合層混合模型,將提取的特征在融合層中進(jìn)行融合,該模型可以準(zhǔn)確有效地識別故障類型并具有良好的泛化能力。

1D-CNN也存在一定的不足,當(dāng)網(wǎng)絡(luò)層數(shù)較少時故障信息提取不完整,對含噪聲較大的數(shù)據(jù)的非線性擬合能力較差,網(wǎng)絡(luò)層數(shù)過多則會使模型計算量過大、訓(xùn)練困難,且容易出現(xiàn)梯度爆炸。為了解決以上問題,并滿足實際工業(yè)場景中對計算開銷和計算時延的需求,提出了一種基于深度一維可分離CNN的軸承遷移故障診斷方法,通過對卷積層進(jìn)行可分離操作來降低計算時間并向構(gòu)建的網(wǎng)絡(luò)中添加殘差層來保證故障診斷準(zhǔn)確率。對軸承數(shù)據(jù)集根據(jù)不同工況進(jìn)行任務(wù)劃分來驗證不同工作條件的設(shè)備之間的遷移診斷效果,通過對比不同的訓(xùn)練網(wǎng)絡(luò)來驗證方法的有效性。

1 1D-CNN

1.1 CNN

一個完整的CNN結(jié)構(gòu)包含輸入層、卷積層、激活層、池化層、全連接層以及輸出層。卷積層通過卷積核進(jìn)行數(shù)據(jù)之間的特征提取和特征映射;激活層將卷積層的運算結(jié)果進(jìn)行非線性映射,將特征映射到高維的非線性空間;池化層對數(shù)據(jù)進(jìn)行下采樣操作,通過對特征圖進(jìn)行稀疏處理進(jìn)而減少數(shù)據(jù)運算量;全連接層通常位于卷積運算的末尾,通過對數(shù)據(jù)重新擬合來減少特征信息的損失。

CNN通常有多個卷積層,作為CNN的核心組件,卷積層通過卷積核根據(jù)設(shè)定步長對所在層的輸入進(jìn)行局部卷積操作,輸入數(shù)據(jù)經(jīng)過卷積運算后輸出相應(yīng)特征圖,卷積核通常為一個權(quán)值矩陣,CNN通過卷積過程實現(xiàn)權(quán)值共享,通過權(quán)值共享可以極大減少CNN的參數(shù)量,降低模型的復(fù)雜度[15]。卷積計算的公式為：

(1)

1.2 1D-CNN模型

1.2.1 1D-VGG16

VGG16神經(jīng)網(wǎng)絡(luò)模型是由牛津大學(xué)計算機視覺組開發(fā)的一個CNN結(jié)構(gòu),作為一個經(jīng)典的CNN模型,VGG16的簡潔性和易于實現(xiàn)的特點至今仍有研究價值[16]。

1D-VGG16神經(jīng)網(wǎng)絡(luò)模型通過組合與堆疊多個卷積維度為3×1的卷積核來提取輸入數(shù)據(jù)的細(xì)微特征;通過卷積核對輸入數(shù)據(jù)進(jìn)行卷積操作;通過最大池化操作對數(shù)據(jù)進(jìn)行降維處理,提取數(shù)據(jù)主要特征;通過全連接層進(jìn)一步降低網(wǎng)絡(luò)參數(shù)量并結(jié)合Softmax分類器達(dá)到分類的目的。1D-VGG16網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

圖1 1D-VGG16網(wǎng)絡(luò)模型Fig.1 1D-VGG16 network model

1.2.2 1D-ResNet50

在CNN結(jié)構(gòu)中,隨著網(wǎng)絡(luò)模型深度的增加,傳統(tǒng)CNN容易出現(xiàn)梯度消失/爆炸等問題,導(dǎo)致網(wǎng)絡(luò)模型訓(xùn)練困難和準(zhǔn)確率下降。針對這一問題,文獻(xiàn)[17]通過引入跨連接層來構(gòu)建殘差網(wǎng)絡(luò),實現(xiàn)網(wǎng)絡(luò)層數(shù)增加并提高訓(xùn)練準(zhǔn)確率,殘差單元結(jié)構(gòu)如圖2所示。

圖2 一維殘差單元結(jié)構(gòu)圖Fig.2 1D structure diagram of residual unit

在一維殘差單元中,輸入數(shù)據(jù)x進(jìn)入網(wǎng)絡(luò),經(jīng)過權(quán)重層后得到映射函數(shù)F(x),然后通過ReLU函數(shù)進(jìn)行激活后進(jìn)入第2個權(quán)重層,并和輸入數(shù)據(jù)x進(jìn)行連接得到最終映射函數(shù)F(x)+x。在這種映射下,可以保證淺層特征直接映射到深層,降低訓(xùn)練產(chǎn)生的誤差。

由于殘差塊的結(jié)構(gòu)是相似的,通過構(gòu)建一個可變參數(shù)的殘差塊并進(jìn)行反復(fù)調(diào)用來實現(xiàn)不同的卷積塊。當(dāng)輸入通道與輸出通道不一致的時候,讓輸入經(jīng)過一個卷積核大小為1的卷積層,讓該卷積層的輸出與主體卷積的輸出通道相同,實現(xiàn)直接相加操作。此外,當(dāng)輸入通道和輸出通道數(shù)目一致并需要進(jìn)行降采樣操作時,將卷積層中第1個卷積核的步長由1更改為2;當(dāng)輸入通道和輸出通道數(shù)目不一致并需要進(jìn)行降采樣操作時,需要將主體卷積層中第1個卷積核的步長由1更改為2,同時也需要更改為了統(tǒng)一輸入輸出通道數(shù)目的卷積層的卷積核,將其步長由1更改為2。

在1D-ResNet50網(wǎng)絡(luò)中包含了49個卷積層和1個全連接層,每個卷積層所包含卷積核的卷積維度是3×1,1D-ResNet50網(wǎng)絡(luò)結(jié)構(gòu)可以分成7部分：第1部分不包含殘差塊,主要對輸入數(shù)據(jù)進(jìn)行卷積、正則化、激活、最大池化操作,第2～5部分的卷積都包含殘差塊,每個殘差塊有3層卷積,1D-ResNet50網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 1D-ResNet50網(wǎng)絡(luò)模型Fig.3 1D-ResNet50 network model

1.2.3 可分離卷積神經(jīng)網(wǎng)絡(luò)

可分離卷積神經(jīng)網(wǎng)絡(luò)(Separable Convolutional Neural Network,SCNN)相比傳統(tǒng)CNN,具有更少的參數(shù),并且實現(xiàn)了訓(xùn)練過程中通道和區(qū)域的分離。SCNN由逐通道卷積和逐點卷積組成。在逐通道卷積過程中,卷積層的輸入與輸出均為具有相同通道數(shù)目的特征圖;在逐點卷積過程中,對輸入特征采用1×1的卷積核進(jìn)行卷積操作,重復(fù)該過程n次即可增加通道數(shù)至n層。普通卷積過程與可分離卷積過程分別如圖4和圖5所示。

圖4 普通卷積過程圖Fig.4 Ordinary convolution process diagram

(b) 逐點卷積過程

通過可分離卷積操作可以減少卷積過程中的運算次數(shù),假設(shè)輸入數(shù)據(jù)大小為DK×DK×M,輸出通道數(shù)目為N的特征圖。若采用傳統(tǒng)卷積操作,需要將N個DK×DK×M的卷積核完成卷積操作,共需參數(shù)數(shù)量為DK×DK×M×N×DF×DF。

若采用可分離卷積操作,在逐通道卷積過程中通過M個DK×DK×1的卷積核進(jìn)行卷積操作,在逐點卷積過程中通過N個1×1×M的卷積核進(jìn)行卷積操作即可完成普通卷積的卷積效果,共需參數(shù)數(shù)量為DK×DK×M×DF×DF+M×N×DF×DF?？煞蛛x卷積操作與傳統(tǒng)卷積操作所需參數(shù)數(shù)量之比如式(2)所示：

(2)

所節(jié)省的計算資源成本與卷積核大小及輸出通道數(shù)目成正比。

2 網(wǎng)絡(luò)模型構(gòu)建

2.1 主干網(wǎng)絡(luò)

由于輸入數(shù)據(jù)為滾動軸承一維振動信號,通過構(gòu)建1D-CNN作為故障診斷模型的主干,所構(gòu)建主干網(wǎng)絡(luò)模型的卷積層和池化層均為一維結(jié)構(gòu)。圖6為 1D-CNN模型結(jié)構(gòu),模型包括4個卷積層、1個最大池化層、1個自適應(yīng)最大池化層以及1個全連接層和瓶頸層。瓶頸層由1個輸入輸出維度相同的全連接層、1個ReLU激活函數(shù)以及1個丟失層組成,作用是更改通道數(shù)目,消除對輸入特征維度的限制并減少網(wǎng)絡(luò)訓(xùn)練所需參數(shù)的數(shù)量,并讓源域和目標(biāo)域共享相同的模型和參數(shù)。相比于傳統(tǒng)CNN,主要做了如下改進(jìn)：

圖6 1D-CNN結(jié)構(gòu)圖Fig.6 1D-CNN structure diagram

① 在每次卷積操作后需要對輸出進(jìn)行批歸一化和激活處理,通過批歸一化處理可以增加模型的泛化能力。

② 在模型的第1個卷積層中,采用大尺度卷積核來提取短時特征,并為后續(xù)網(wǎng)絡(luò)的構(gòu)建提供更多的數(shù)據(jù)。

③ 在網(wǎng)絡(luò)結(jié)構(gòu)末尾添加瓶頸層,從而消除維度限制,使得源域和目標(biāo)域可以共享相同的模型和參數(shù)。

2.2 深度1D-SCNN

在主干CNN的基礎(chǔ)上,引入可分離卷積操作以及殘差模塊,將主干CNN的卷積層替換為可分類卷積層構(gòu)建一維可分離卷積神經(jīng)網(wǎng)絡(luò)(One-dimensional Separable Convolutional Neural Network,1D-SCNN)。在主干CNN中,若輸入通道數(shù)為16、輸出通道數(shù)為32,卷積層采用32個卷積寬度為3的卷積核進(jìn)行卷積操作,所需運算參數(shù)為16×3×32。在1D-SCNN中,首先進(jìn)行逐通道卷積,采用16個卷積寬度為3的卷積核進(jìn)行卷積操作,再進(jìn)行逐點卷積,采用32個卷積寬度為1的卷積核進(jìn)行卷積操作。通過對卷積層進(jìn)行可分離操作,共需運算次數(shù)為16×3+16×1×32,可以降低的參數(shù)量為976。圖7為1D-SCNN模型結(jié)構(gòu),1D-SCNN和傳統(tǒng)CNN相比有如下優(yōu)勢：

圖7 1D-SCNN結(jié)構(gòu)圖Fig.7 1D-SCNN structure diagram

① 減少了卷積過程中所需的參數(shù),降低了網(wǎng)絡(luò)訓(xùn)練所需的時間。

② 改變傳統(tǒng)卷積模式,實現(xiàn)了通道和區(qū)域的分離。

③ 通過添加殘差連接模塊,保證網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)確率。

3 實驗驗證

3.1 數(shù)據(jù)集介紹

為驗證1D-SCNN在滾動軸承故障中的效果,采用美國凱斯西儲大學(xué)(CWRU)的軸承數(shù)據(jù)集[18]進(jìn)行實驗。該數(shù)據(jù)集為Matlab的mat格式,數(shù)據(jù)內(nèi)容分為風(fēng)扇端和驅(qū)動端,采樣頻率為12 kHz和48 kHz,故障類型包括滾動體故障、外圈故障以及內(nèi)圈故障,損傷直徑包含0.177 8、0.335 6、0.533 4 mm,不同負(fù)載對應(yīng)不同轉(zhuǎn)速,分別為1 730、1 750、1 772、1 797 r/min。

采用12 kHz采樣頻率下的驅(qū)動端軸承振動信號為數(shù)據(jù)集,共13組故障數(shù)據(jù)以及1組健康數(shù)據(jù),如表1所示。取1 024個采樣點作為采樣長度,按照的8∶2的比例,將每種類型的數(shù)據(jù)劃分為訓(xùn)練集和測試集。

表1 CWRU軸承故障數(shù)據(jù)集

為了更直觀地展示CWRU軸承振動信號,繪制其時域以及經(jīng)過快速傅里葉變換的頻域數(shù)據(jù)圖,圖8為12 kHz下驅(qū)動端軸承在0負(fù)載情況下的內(nèi)圈故障數(shù)據(jù)時域以及頻域信號圖。

(a) 時域信號

(b) 頻域信號

3.2 參數(shù)設(shè)置

對12 kHz的驅(qū)動端軸承數(shù)據(jù)進(jìn)行分類,表2列出了14種軸承工況,根據(jù)故障尺寸將1種正常軸承數(shù)據(jù)和3種故障類型(內(nèi)圈故障、滾子故障、外圈故障)分為14種狀態(tài)(1種健康狀態(tài)和13種故障狀態(tài))。

表2 CWRU軸承工況劃分

在遷移學(xué)習(xí)任務(wù)設(shè)置中,所獲取的數(shù)據(jù)集在4種負(fù)載狀態(tài)下,對應(yīng)4種不同工作速度,將這些工作條件視為不同的任務(wù),如表3所示,包括0、1、2、3,例如0→1表示電機負(fù)載為0 kW的源域遷移到電機負(fù)載為0.735 kW的目標(biāo)域,共有12個遷移學(xué)習(xí)任務(wù)。

表3 CWRU遷移學(xué)習(xí)任務(wù)設(shè)置

根據(jù)模型構(gòu)建部分所描述的模型結(jié)構(gòu)搭建1D-CNN網(wǎng)絡(luò),通過反復(fù)實驗最終確定1D-CNN模型的相關(guān)參數(shù),如表4所示。按照輸出特征圖的大小,1D-CNN共有5個卷積層。從卷積層1～4依次減小特征向量大小,最終輸出大小為256的特征向量。為提取短時特征,第1個卷積層中采用大尺度卷積核,在模塊2和模塊3中卷積核設(shè)置大小為3,在網(wǎng)絡(luò)結(jié)構(gòu)末尾添加一維全連接層,從而消除輸入特征維度的限制并減少網(wǎng)絡(luò)訓(xùn)練所需參數(shù)的數(shù)量。

表4 1D-CNN參數(shù)

通過將可分離卷積替代普通卷積實現(xiàn)1D-SCNN模型的構(gòu)建,1D-SCNN模型的相關(guān)參數(shù)如表5所示。

表5 1D-SCNN參數(shù)

3.3 實驗結(jié)果分析

為驗證所提網(wǎng)絡(luò)的有效性,基于深度學(xué)習(xí)框架為Pytorch1.1構(gòu)建改進(jìn)的SCNN,仿真硬件為Intel(R) Core(TM) i5-7300HQ CPU @ 2.50 GHz、8 GB內(nèi)存的計算機。

3.3.1 模型訓(xùn)練

首先訓(xùn)練普通遷移學(xué)習(xí),按照設(shè)置的參數(shù)構(gòu)建網(wǎng)絡(luò)模型,通過帶標(biāo)簽的源域數(shù)據(jù)集分別對構(gòu)建好的 1D-CNN、1D-SCNN、1D-VGG16及1D-ResNet50網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練,獲取預(yù)訓(xùn)練模型,根據(jù)獲取的預(yù)訓(xùn)練模型對不帶標(biāo)簽的目標(biāo)域數(shù)據(jù)進(jìn)行測試,模型訓(xùn)練過程如圖9所示。為觀測訓(xùn)練效果,選取前300 epoch進(jìn)行展示。4個網(wǎng)絡(luò)模型均在150 epoch內(nèi)收斂穩(wěn)定,在源域和目標(biāo)域的訓(xùn)練準(zhǔn)確率都可以達(dá)到99%,但是SCNN模型具有更好的收斂效果。

(a) SCNN模型

(d) VGG16模型

3.3.2 對比分析

從時間角度對不同網(wǎng)絡(luò)進(jìn)行分析,在域?qū)惯w移學(xué)習(xí)中,4種網(wǎng)絡(luò)的源域訓(xùn)練過程、源域測試過程以及目標(biāo)域測試過程的200 epoch訓(xùn)練時間分別如圖10所示。由于網(wǎng)絡(luò)層數(shù)不同,1D-SCNN相比1D-VGG16以及1D-ResNet50在網(wǎng)絡(luò)訓(xùn)練所需的時間上具有明顯優(yōu)勢,此外1D-SCNN為了實現(xiàn)和 1D-CNN相同的卷積操作需要更多的卷積層,但是1D-SCNN相比1D-CNN的網(wǎng)絡(luò)訓(xùn)練時間在源域訓(xùn)練集、源域測試集以及目標(biāo)域測試集上分別降低了4.8%、8.9%以及8.0%。

圖10 不同網(wǎng)絡(luò)訓(xùn)練消耗時間Fig.10 Time spent on training different networks

從準(zhǔn)確率以及損失值角度對不同網(wǎng)絡(luò)進(jìn)行分析,對比數(shù)據(jù)為網(wǎng)絡(luò)收斂穩(wěn)定后所獲取的最大準(zhǔn)確率以及該準(zhǔn)確率對應(yīng)的損失值。圖11為4種遷移學(xué)習(xí)任務(wù)對應(yīng)的最大準(zhǔn)確率和損失值,在4種遷移學(xué)習(xí)任務(wù)中,1D-SCNN在各個遷移學(xué)習(xí)任務(wù)中具有最高的識別準(zhǔn)確率,并且識別效果越好的網(wǎng)絡(luò)損失值越小。

圖11 不同遷移學(xué)習(xí)任務(wù)的準(zhǔn)確率以及損失值對比Fig.11 Comparison of accuracy and loss values of different transfer learning tasks

為進(jìn)一步驗證1D-SCNN模型的特征提取能力,采用t-SNE降維算法將原始輸入和所提取特征按相似度投影到二維空間中進(jìn)行分析,圖12為原始樣本分布。在1D-SCNN、1D-CNN、1D-VGG16、1D-ResNet50 這4種網(wǎng)絡(luò)模型中,1D-ResNet50模型和1D-SCNN模型訓(xùn)練效果相近。對于遷移學(xué)習(xí)任務(wù)T01,圖13(a)為1D-SCNN模型輸出結(jié)果,圖13(b)為1D-ResNet50模型輸出結(jié)果,1D-SCNN可以將13種故障類型和1種正常數(shù)據(jù)類型完全區(qū)分,且不同標(biāo)簽樣本在二維空間分布中很集中,1D-ResNet50模型的輸出特征也可以區(qū)分不同的樣本但是分類界限以及樣本集中程度均不如1D-SCNN模型。

圖12 原始樣本分布Fig.12 Raw sample input

(b) 1D-ResNet50模型輸出結(jié)果

4 結(jié)論

針對工業(yè)故障診斷過程中的低時延和高準(zhǔn)確性需求,在傳統(tǒng)CNN的基礎(chǔ)上提出深度SCNN,通過對卷積層進(jìn)行可分離操作,降低卷積過程中所需的參數(shù)數(shù)量進(jìn)而降低計算時延,并向SCNN中添加殘差網(wǎng)絡(luò)來保證診斷準(zhǔn)確率。通過構(gòu)建主干CNN、SCNN、VGG16以及ResNet50這4種CNN模型,分別對CWRU滾動軸承振動數(shù)據(jù)進(jìn)行分類識別來驗證所構(gòu)建網(wǎng)絡(luò)的有效性。實驗結(jié)果表明,本研究方法在滾動軸承故障識別中具有較高的識別準(zhǔn)確率以及更快的訓(xùn)練速度。