一種深度卷積自編碼網(wǎng)絡(luò)及其在滾動軸承故障診斷中的應(yīng)用

張西寧, 向宙, 唐春華

(西安交通大學(xué)機(jī)械制造系統(tǒng)工程國家重點實驗室, 710049, 西安)

隨著計算機(jī)、傳感器及通信技術(shù)的發(fā)展,機(jī)電產(chǎn)品的狀態(tài)監(jiān)測邁入了“大數(shù)據(jù)”時代,這給機(jī)械故障診斷帶來了數(shù)據(jù)量大、種類繁多、高速率等新的挑戰(zhàn)[1-2]。在機(jī)電大數(shù)據(jù)時代,利用先進(jìn)的理論與方法,從機(jī)械裝備大數(shù)據(jù)中自動挖掘信息,取代診斷專家進(jìn)行特征提取,對軸承等基礎(chǔ)零部件進(jìn)行實時監(jiān)測診斷,并保證故障診斷及預(yù)測的準(zhǔn)確性與高效性,成為了當(dāng)前研究的熱點[3]。

近年來,深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界發(fā)展迅猛,在很多傳統(tǒng)的識別任務(wù)上取得了顯著的成果。深度學(xué)習(xí)模型依靠其多個隱含層,可以很好地實現(xiàn)高變函數(shù)等復(fù)雜高維函數(shù)的表示,在特征提取能力上具有很多其他網(wǎng)絡(luò)學(xué)習(xí)算法不可比擬的優(yōu)勢[4-6]。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)是深度學(xué)習(xí)中最重要的模型之一,在二維圖像識別、一維時間序列分類與診斷等領(lǐng)域取得了重大突破。2012年,加拿大多倫多大學(xué)的Krizhevsky等設(shè)計的具有5個卷積層的深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet在ImageNet圖像識別挑戰(zhàn)賽上取得了驚人的效果,將準(zhǔn)確率從傳統(tǒng)智能方法的74.2%提升到了83.6%[7];2014年,Google通過建立更深層的模型,將ImageNet圖像識別準(zhǔn)確率提高到了93.3%[8];2015年,微軟研究院提出的殘差卷積神經(jīng)網(wǎng)絡(luò)ResNet將這個紀(jì)錄提高到了95.06%,高于人眼識別正確率的94.9%[9];2017年,斯坦福大學(xué)的Esteva等在《Nature》上發(fā)表的卷積神經(jīng)網(wǎng)絡(luò)在皮膚癌的診斷上正確率達(dá)到了91%,超過了人類專家的水平[10]。在機(jī)械故障診斷領(lǐng)域,華南理工大學(xué)的賈京龍等人利用卷積神經(jīng)網(wǎng)絡(luò)成功識別出了變壓器故障,并探討了卷積核個數(shù)、卷積核大小以及采樣寬度等對分類效果的影響[11]。西安交通大學(xué)的趙明等人對比了不同結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)在軸承故障診斷中的效果[12]。Zhang等人研究了卷積神經(jīng)網(wǎng)絡(luò)在多負(fù)載高噪聲環(huán)境下的識別能力,通過分批規(guī)范化和小批量訓(xùn)練,極大地提高了網(wǎng)絡(luò)對負(fù)載和噪聲的適應(yīng)能力[13]。

卷積神經(jīng)網(wǎng)絡(luò)通過局部權(quán)值共享極大地減少了網(wǎng)絡(luò)參數(shù)的數(shù)量,能夠在一定程度上避免樣本數(shù)量不足時網(wǎng)絡(luò)產(chǎn)生過擬合[14]。但是,用于機(jī)械故障診斷的卷積神經(jīng)網(wǎng)絡(luò)一般都具有大卷積核[15],網(wǎng)絡(luò)的參數(shù)依然較多,傳統(tǒng)的權(quán)值隨機(jī)初始化方法依然會有陷入局部最優(yōu)的風(fēng)險。針對這種情況,本文提出了一種利用卷積自編碼器對深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化的方法:首先,將卷積池化后的特征通過“固定步長疊加”反卷積回原信號空間,并優(yōu)化權(quán)值,使重構(gòu)信號與原信號誤差最小;之后,將編碼特征作為新的輸入,利用同樣的方式進(jìn)行編碼,依次循環(huán);最后,給網(wǎng)絡(luò)加上全連接網(wǎng)絡(luò)和分類器,用少量帶標(biāo)簽樣本微調(diào),使網(wǎng)絡(luò)具有故障識別能力。

1 基礎(chǔ)理論

1.1 卷積神經(jīng)網(wǎng)絡(luò)

Hubel和Wiesel對貓視覺皮層細(xì)胞的研究表明,視覺信息從視網(wǎng)膜傳遞到大腦中是通過多個層次感受野(receptive field)激發(fā)完成的[16]。卷積神經(jīng)網(wǎng)絡(luò)正是受此啟發(fā),通過堆疊的卷積層和池化層將原始圖像轉(zhuǎn)化成一系列特征圖,然后使用全連接神經(jīng)網(wǎng)絡(luò)對特征進(jìn)行分類,最后采用反向傳播算法對網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練。

圖1 用在一維時間序列上的典型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

用在一維時間序列上的典型卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。卷積神經(jīng)網(wǎng)絡(luò)的卷積層通常包含若干個特征平面,每個特征平面由同一個濾波器對原信號進(jìn)行濾波而來,這里濾波器就是卷積核。每個特征平面使用同一個濾波器的直接好處是權(quán)值共享減少了網(wǎng)絡(luò)各層之間的連接,進(jìn)而降低了網(wǎng)絡(luò)過擬合的風(fēng)險。卷積核一般以隨機(jī)小數(shù)的形式初始化,在網(wǎng)絡(luò)的訓(xùn)練過程中卷積核通過學(xué)習(xí)得到合理的權(quán)值。池化也叫作子采樣,通常有均值子采樣和最大值子采樣兩種形式。池化的目的是為了對主要特征進(jìn)行提取,降低特征維數(shù)[15]。

對目標(biāo)誤差的反向傳播進(jìn)行求解是神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)值優(yōu)化的關(guān)鍵步驟,典型卷積神經(jīng)網(wǎng)絡(luò)主要由全連接、池化、卷積3部分構(gòu)成。在對這3部分的梯度進(jìn)行求解后,即可通過鏈?zhǔn)角髮?dǎo)法則對整個網(wǎng)絡(luò)的梯度傳播進(jìn)行計算。

(1)

(2)

池化層沒有權(quán)值,只需要計算L關(guān)于池化層的輸入神經(jīng)元的導(dǎo)數(shù)。對于最大值池化:正向傳播時記錄最大值位置,設(shè)t=tm時,max{al(i,t),(j-1)W+1≤t≤jW}=al(i,tm);反向傳播時,只將梯度傳遞給第tm個神經(jīng)元,其余神經(jīng)元不參與傳遞,即

(3)

(4)

式中:yl(i,j)為卷積層的輸出;xl(j)為卷積層的輸入。

1.2 卷積自編碼器

為了解決深度神經(jīng)網(wǎng)絡(luò)隨著網(wǎng)絡(luò)層數(shù)的加深梯度傳遞衰減嚴(yán)重、優(yōu)化目標(biāo)函數(shù)非凸等問題,Hinton等人提出了用無監(jiān)督預(yù)訓(xùn)練來初始化網(wǎng)絡(luò)權(quán)值的方法,這就是自編碼器[17]。自編碼器的核心思想是基于有效的準(zhǔn)則,建立輸入與其編碼的良好拓?fù)鋵?yīng)關(guān)系,以致編碼可以以合理的誤差重構(gòu)回原信號。常見的自編碼器都是基于全連接神經(jīng)網(wǎng)絡(luò)的,基于卷積神經(jīng)網(wǎng)絡(luò)權(quán)值初始化的方法還比較少見?；诖?本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的自編碼器,原理如圖2所示。其主要思想是將卷積池化后的信號通過反卷積核進(jìn)行重構(gòu),具體做法是以池化后的特征為權(quán)值,對反卷積核進(jìn)行加權(quán)疊加,疊加時的步長為池化時的步長,將池化后的信號還原到原信號空間。

圖2 卷積自編碼器

卷積自編碼器的求解主要是以重構(gòu)信號與原信號的差最小為優(yōu)化目標(biāo),對卷積核和反卷積核進(jìn)行優(yōu)化求解。由圖2可知,卷積自編碼器主要由卷積、池化、反卷積3部分構(gòu)成,卷積和池化層的梯度計算見式(3)(4),反卷積層的梯度傳遞如下

(5)

(6)

式中:K為反卷積核;y為反卷積層輸出;x為反卷積層輸入;t為反卷積層輸入信號長度;m為反卷積時的疊加步長。

1.3 深度卷積自編碼網(wǎng)絡(luò)

如圖3所示,將卷積自編碼器堆疊,即將上一層的池化層作為下一層卷積自編碼器的輸入,即可構(gòu)成深度卷積自編碼網(wǎng)絡(luò)。在卷積自編碼過程中,不需要用到數(shù)據(jù)的標(biāo)簽,因此是一種非監(jiān)督的逐層學(xué)習(xí)方式。每一層自編碼器都是淺層神經(jīng)網(wǎng)絡(luò),可充分發(fā)揮淺層神經(jīng)網(wǎng)絡(luò)凸優(yōu)化的優(yōu)勢,降低網(wǎng)絡(luò)陷入局部最優(yōu)的風(fēng)險。在自編碼完成后,用少量帶標(biāo)簽數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行微調(diào),即可使網(wǎng)絡(luò)達(dá)到比較好的效果。本質(zhì)上,這種逐層編碼就是將抽象特征進(jìn)行逐步提取的過程,隨著層級的增加,這種特征就愈加抽象,愈加具有全局整體特性。

圖3 深度卷積自編碼網(wǎng)絡(luò)

1.4 Adam優(yōu)化算法

利用鏈?zhǔn)角髮?dǎo)法則計算了誤差反向傳播后,下一步就是用優(yōu)化算法更新權(quán)值,以期目標(biāo)函數(shù)達(dá)到最小。本文的優(yōu)化算法采用了自適應(yīng)動量項(adaptive moments,Adam)算法。Adam算法是一種利用梯度一階矩和二階矩估計自適應(yīng)調(diào)整學(xué)習(xí)率的優(yōu)化算法,其主要優(yōu)點是經(jīng)過偏置矯正后,可以修正一階矩(動量項)和二階矩估計,使得每次的學(xué)習(xí)率都有穩(wěn)定的范圍。由于Adam對超參數(shù)具有很強(qiáng)的魯棒性,因而在深度學(xué)習(xí)領(lǐng)域被廣泛應(yīng)用,其算法流程如下[18]。

步驟1更新時間步:t←t+1

步驟2從訓(xùn)練集中隨機(jī)抽取m個樣本x1,x2…,xm,對應(yīng)的目標(biāo)為y1,y2…,ym。

步驟4更新一階矩估計:s←ρ1s+(1-ρ1)g

步驟5更新二階矩估計:v←ρ2v+(1-ρ2)g?g

步驟9達(dá)到終止條件則終止訓(xùn)練,否則回到步驟1。

參數(shù)說明:λ為學(xué)習(xí)率;ρ1和ρ2為矩估計衰減率,推薦0.9和0.999;ε為數(shù)值穩(wěn)定常數(shù),推薦10-8;初始化時間步t、一階矩s、二階矩v均為0。

2 基于卷積自編碼網(wǎng)絡(luò)的軸承故障診斷

為了驗證本文提出的卷積神經(jīng)網(wǎng)絡(luò)的性能,在公共數(shù)據(jù)集——西儲大學(xué)軸承數(shù)據(jù)集以及實驗室實測數(shù)據(jù)集上,進(jìn)行了深度卷積自編碼網(wǎng)絡(luò)與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對滾動軸承故障識別的實驗。識別直接在時域上進(jìn)行,無需對數(shù)據(jù)進(jìn)行預(yù)處理,卷積神經(jīng)網(wǎng)絡(luò)模型為“第一層寬卷積核深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network with wide first-layer kernel,WDCNN)”。

WDCNN的特點是第一層為大卷積核,其余各層均為小卷積核。第一層采用大卷積核的目的是為了提取短時特征,其作用與短時傅里葉變換類似,只不過將短時傅里葉變換的正弦函數(shù)換為了第一層的大卷積核,而大卷積核是通過網(wǎng)絡(luò)訓(xùn)練得到的,可以自動地學(xué)習(xí)面向診斷對象的有用特征,過濾掉無用信息。其余各層均采用小卷積核的目的是為了減少網(wǎng)絡(luò)的參數(shù),有助于加深網(wǎng)絡(luò),同時可以抑制過擬合[13]。每層卷積之后均進(jìn)行激活操作,激活函數(shù)選擇ELU(exponential linear unit)函數(shù),其表達(dá)式為

(7)

式中:α為系數(shù),可取為1。ELU函數(shù)在正值區(qū)間減輕了梯度彌散問題,在負(fù)值區(qū)間具有軟飽和的特性,提升了網(wǎng)絡(luò)對噪聲的魯棒性。

2.1 西儲大學(xué)軸承數(shù)據(jù)集

西儲大學(xué)滾動軸承數(shù)據(jù)集是學(xué)術(shù)界常用的軸承故障診斷標(biāo)準(zhǔn)數(shù)據(jù)集,截至2015年,機(jī)械故障診斷領(lǐng)域著名期刊《Mechanical System and Signal Processing》就發(fā)表過41篇利用此數(shù)據(jù)集進(jìn)行軸承故障診斷的文章[19]。將本文方法與原有方法在第三方數(shù)據(jù)集上進(jìn)行比較,可以有效地驗證本文方法的有效性。

利用數(shù)據(jù)集中采樣頻率為12 kHz的數(shù)據(jù),診斷對象為深溝球軸承SKF6205,軸承故障由電火花加工而來,故障位置分別位于外圈滾道、內(nèi)圈滾道、滾動體,每個位置均有損傷直徑為0.18 mm、0.36 mm、0.54 mm三類不同程度的故障,加上無損傷軸承,共計10類。實驗中,選擇樣本長度為1 200點,每類狀態(tài)100個樣本,共計1 000個樣本,測試時選擇不同比例樣本用于訓(xùn)練,其余樣本用于測試。

實驗使用Google公司的深度學(xué)習(xí)框架TensorFlow,編程語言為Python,所用計算機(jī)配置為Core i5-6500 CPU @3.20 GHz,內(nèi)存為16 GB。實驗時先利用Python在TensorFlow環(huán)境中搭建出卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)流圖,然后將訓(xùn)練數(shù)據(jù)輸入到圖中,啟動數(shù)據(jù)流圖,利用權(quán)值更新模塊自動更新權(quán)值,待網(wǎng)絡(luò)訓(xùn)練完畢后,將測試數(shù)據(jù)輸入數(shù)據(jù)流圖進(jìn)行診斷。對于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò),所有卷積核均采用隨機(jī)小數(shù)進(jìn)行初始化,對于卷積自編碼神經(jīng)網(wǎng)絡(luò),卷積核采用經(jīng)過卷積自編碼器預(yù)訓(xùn)練后的卷積核進(jìn)行初始化,二者網(wǎng)絡(luò)結(jié)構(gòu)保持一致。

分別選用20%、40%、60%、80%的樣本用于訓(xùn)練,其余樣本用于測試,網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)及訓(xùn)練超參數(shù)如表1所示。

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)及訓(xùn)練超參數(shù)

為了測試網(wǎng)絡(luò)的穩(wěn)定性,每個實驗重復(fù)20次,統(tǒng)計結(jié)果如表2所示,各次實驗的測試正確率如圖4所示。從表2、圖4中可以看出,卷積自編碼神經(jīng)網(wǎng)絡(luò)可提高故障平均識別率,且穩(wěn)定性較傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)得到了極大的提升,可有效地避免傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)由于不恰當(dāng)?shù)某跏蓟萑刖植孔顑?yōu)的情形。

表2 不同比例訓(xùn)練樣本下測試正確率統(tǒng)計結(jié)果

(a)20%訓(xùn)練樣本 (b)40%訓(xùn)練樣本

(c)60%訓(xùn)練樣本 (d)80%訓(xùn)練樣本圖4 不同比例訓(xùn)練樣本下的測試正確率

為了深入了解深度卷積神經(jīng)網(wǎng)絡(luò)的逐層特征提取效果,對20%樣本訓(xùn)練下的測試集各層特征通過t-SNE(t-distributed stochastic neighbor embedding)降維技術(shù)降為2維并進(jìn)行可視化[20],可視化結(jié)果如圖5所示。由結(jié)果可以看出,每經(jīng)過一次卷積池化,各個類別的特征都進(jìn)行了一次聚集,這說明每一個卷積池化層都具有特征提取能力,到第5層卷積池化后,各個類別已經(jīng)基本分開。

2.2 實驗室實測數(shù)據(jù)集

為了進(jìn)一步驗證本文方法的性能,在實驗室實測數(shù)據(jù)集上進(jìn)行了測試,并對網(wǎng)絡(luò)結(jié)構(gòu)的含義做了進(jìn)一步分析。

實驗所用軸承實驗臺包括直流電機(jī)、滾動軸承安裝架、滾動軸承和加載裝置等部分,如圖6所示。被診斷對象為5種狀態(tài)下的6308深溝球軸承,分別為正常、外圈剝落、內(nèi)圈剝落、滾動體剝落和保持架故障狀態(tài)。實驗時保持軸承內(nèi)圈轉(zhuǎn)速為1 200 r/min,傳感器為IMI的601A11加速度傳感器,數(shù)據(jù)采集卡為UA300系列數(shù)據(jù)采集卡。采樣頻率為10 kHz,每個樣本采樣長度為2 400點,每種狀態(tài)采集400個樣本,共計2 000個樣本。

卷積神經(jīng)網(wǎng)絡(luò)各層數(shù)據(jù)長度以及通道數(shù)為:2 400@1;1 200@4;600@4;300@4;150@4;75@4;300@1;5@1。第1層卷積核長度為64,其余各層均為15,各池化層長度均為2,分類器選擇Softmax。選取50%樣本用于訓(xùn)練,剩下50%樣本用于測試,重復(fù)實驗20次,各次實驗結(jié)果如圖7所示。

由測試結(jié)果可以看出,隨機(jī)初始化CNN的測試正確率在0.2到1之間變化,而卷積自編碼CNN測試正確率均在0.8以上。兩種網(wǎng)絡(luò)第5、6次訓(xùn)練時誤差的變化如圖8所示,可以看出,隨機(jī)初始化卷積神經(jīng)網(wǎng)絡(luò)誤差收斂的不確定性較大,網(wǎng)絡(luò)有陷入局部最優(yōu)的可能,當(dāng)網(wǎng)絡(luò)如第6次訓(xùn)練那樣過早陷入局部最優(yōu)后,網(wǎng)絡(luò)的性能將變得格外糟糕。卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值由于經(jīng)過了卷積自編碼器的逐層預(yù)訓(xùn)練,網(wǎng)絡(luò)的初始誤差較小,經(jīng)過微調(diào)后網(wǎng)絡(luò)的誤差都收斂到了一個較小值。對訓(xùn)練誤差的分析再一次說明,本文提出的深度卷積自編碼網(wǎng)絡(luò)可有效地避免卷積神經(jīng)網(wǎng)絡(luò)由于隨機(jī)初始化而陷入局部最優(yōu)。對20次實驗結(jié)果進(jìn)行統(tǒng)計,卷積自編碼神經(jīng)網(wǎng)絡(luò)將故障識別正確率由0.799提高到了0.921。

圖5 各層可視化結(jié)果

圖6 滾動軸承實驗臺

圖7 兩種網(wǎng)絡(luò)測試集的正確率對比

圖8 兩種網(wǎng)絡(luò)訓(xùn)練時誤差的變化

為了對卷積神經(jīng)網(wǎng)絡(luò)提取的特征有一個直觀的了解,利用圖3中的反卷積核將網(wǎng)絡(luò)底層提取的特征反卷積回原信號空間,其中外圈故障和內(nèi)圈故障的原信號與特征重構(gòu)信號的對比如圖9所示。

(a)外圈故障

(b)內(nèi)圈故障圖9 原信號與特征重構(gòu)信號的對比

圖9a中,重構(gòu)信號的噪聲明顯減少,這說明網(wǎng)絡(luò)在特征提取的過程中有消除噪聲的作用。圖9b中,原始信號被轉(zhuǎn)頻調(diào)制嚴(yán)重,內(nèi)圈故障的沖擊信號不明顯,但是在重構(gòu)信號中,故障沖擊信號得到了明顯的加強(qiáng),轉(zhuǎn)頻信號相對被減弱,這說明網(wǎng)絡(luò)在提取特征的過程中還有加強(qiáng)故障特征信號、衰減非特征沖擊信號的能力。

在本實驗中,卷積自編碼神經(jīng)網(wǎng)絡(luò)的底層為4個通道,每個通道75個特征,為了更加形象地了解每個特征的含義,對各通道的每個特征都單獨置為1,其余特征都置為0,然后同樣通過圖3中的反卷積核將各單獨置1后的特征分別反卷積回原信號空間,部分重構(gòu)信號如圖10所示。

圖10 單個特征的重構(gòu)信號

反卷積回原信號空間的過程,實際上是通過圖2所示的以池化長度為步長、特征為權(quán)值、對反卷積核進(jìn)行疊加的方式進(jìn)行的,因而當(dāng)反卷積核固定后,網(wǎng)絡(luò)底層每個通道內(nèi)的特征重構(gòu)回的信號也是一樣的,只不過由于特征所在的位置不一樣,所以在原信號空間中所在的時間點也不一樣。網(wǎng)絡(luò)底層不同通道的特征在反卷積回原信號空間時由于被疊加的反卷積核不一樣,因而在原信號空間的表征也不一樣。對各特征重構(gòu)信號的頻域進(jìn)行分析,發(fā)現(xiàn)它們都集中在低頻段,且有重疊部分;對時域進(jìn)行分析,發(fā)現(xiàn)它們之間的相位有較大差異。

通過觀察各單個特征的重構(gòu)信號可以看出,卷積神經(jīng)網(wǎng)絡(luò)對信號特征的提取實際上就是對信號的一種分解,特征反卷積回的信號為分解的基函數(shù),網(wǎng)絡(luò)底層的通道數(shù)為基函數(shù)的數(shù)量,通道內(nèi)單個特征對應(yīng)分解時所在的時間點。

3 結(jié) 論

為了更好地從機(jī)械裝備大數(shù)據(jù)中自動提取特征,本文提出了一種卷積自編碼器,并使用其對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了預(yù)訓(xùn)練。在滾動軸承故障診斷上進(jìn)行的實驗結(jié)果表明,改進(jìn)后的網(wǎng)絡(luò)取得了更加穩(wěn)定可靠的性能,故障識別正確率由0.799提高到了0.921。通過反卷積核對改進(jìn)后的網(wǎng)絡(luò)提取的特征進(jìn)行重構(gòu),并對改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行分析,得出了如下結(jié)論。

(1)本文提出的卷積自編碼器能夠有效地對輸入進(jìn)行編碼,保留有效特征。由編碼層、全連接層和分類器堆疊而成的深度卷積自編碼網(wǎng)絡(luò)能夠有效地防止由于不恰當(dāng)?shù)仉S機(jī)初始化使網(wǎng)絡(luò)過早陷入局部最優(yōu),無監(jiān)督逐層學(xué)習(xí)策略可使網(wǎng)絡(luò)繞開深度神經(jīng)網(wǎng)絡(luò)非凸優(yōu)化的問題,使網(wǎng)絡(luò)性能更加穩(wěn)定可靠。

(2)通過反卷積核將被提取的特征逐層重構(gòu)回原信號空間,第一次在原信號空間看到了神經(jīng)網(wǎng)絡(luò)到底“學(xué)”到了什么。對比原信號與重構(gòu)信號發(fā)現(xiàn),網(wǎng)絡(luò)不僅能夠明顯削弱原信號的噪聲,而且還具有加強(qiáng)故障特征信號、衰減非特征信號的能力。

(3)對網(wǎng)絡(luò)底層提取的特征逐個置1其余置0,分別重構(gòu)回原信號空間,對重構(gòu)信號分析發(fā)現(xiàn):卷積神經(jīng)網(wǎng)絡(luò)對信號特征的提取本質(zhì)上是對信號的一種分解,特征反卷積回的信號為分解的基函數(shù),網(wǎng)絡(luò)底層的通道數(shù)為基函數(shù)的數(shù)量,單個通道內(nèi)的不同特征代表分解時所在的時間。

本文提出的卷積自編碼器為科研人員設(shè)計卷積神經(jīng)網(wǎng)絡(luò)時的初始化提供了一種策略,避免了網(wǎng)絡(luò)由于非凸優(yōu)化陷入局部最優(yōu)的問題,同時,對網(wǎng)絡(luò)結(jié)構(gòu)含義的分析也可為網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整提供參考。