基于深度Q學(xué)習(xí)策略的旋轉(zhuǎn)機(jī)械故障診斷方法研究*

辛 闊,王建國(guó)*,張文興

(1.內(nèi)蒙古科技大學(xué) 機(jī)械工程學(xué)院,內(nèi)蒙古 包頭 014010;2.內(nèi)蒙古自治區(qū)機(jī)電系統(tǒng)智能診斷與控制重點(diǎn)實(shí)驗(yàn)室,內(nèi)蒙古 包頭 014010)

0 引 言

隨著現(xiàn)代領(lǐng)域生產(chǎn)的發(fā)展和科學(xué)技術(shù)的進(jìn)步,機(jī)械設(shè)備的復(fù)雜度也大大提高。因此，高效的基于狀態(tài)的維護(hù)(condition-based maintenance,CBM)方法已成為現(xiàn)代機(jī)械設(shè)備維護(hù)的發(fā)展趨勢(shì)[1]。

在工業(yè)領(lǐng)域，CBM思想的應(yīng)用有效地減少了因機(jī)械故障所造成的經(jīng)濟(jì)損失。機(jī)械裝備的重要組成部分是軸承和齒輪等部件,而軸承和齒輪對(duì)機(jī)械設(shè)備的工況有比較大的影響,因此，軸承、齒輪的維護(hù)成為提高裝備使用壽命的關(guān)鍵之一。

近年來(lái),隨著人工智能的興起,有關(guān)于機(jī)械設(shè)備智能診斷方面的研究越來(lái)越熱。由于能夠處理大量數(shù)據(jù)并且進(jìn)行辨別,在機(jī)械的故障診斷領(lǐng)域,傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)有著普遍的應(yīng)用。這些方法大多包括兩個(gè)部分:(1)提取故障的特征;(2)對(duì)故障狀態(tài)進(jìn)行分類(lèi)。

鄢仁武等人[2]通過(guò)對(duì)斷路器的小波時(shí)頻圖分析,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了對(duì)斷路器的故障識(shí)別。柳青秀等人[3]提出了一種基于長(zhǎng)短時(shí)記憶—自編碼(LSTM-AE)神經(jīng)網(wǎng)絡(luò)的風(fēng)電機(jī)組性能評(píng)估及異常檢測(cè)方法,有效地提高了對(duì)風(fēng)機(jī)異常檢測(cè)的準(zhǔn)確性。曹惠玲[4]通過(guò)AdaBoost算法及其改進(jìn)算法的結(jié)合,建立了一種多分類(lèi)的AdaBoost算法,以支持向量機(jī)(SVM)為基礎(chǔ)分類(lèi)器,對(duì)航空發(fā)動(dòng)機(jī)進(jìn)行了良好的故障診斷。李恒等人[5]利用短時(shí)傅里葉變換對(duì)振動(dòng)數(shù)據(jù)進(jìn)行了處理,得到了時(shí)頻譜樣本,將其輸入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行了學(xué)習(xí),獲得了比較好的識(shí)別精度和優(yōu)良的魯棒性。吳春志等人[6]利用原始復(fù)合故障數(shù)據(jù)訓(xùn)練了一維卷積神經(jīng)網(wǎng)絡(luò)(CNN),使網(wǎng)絡(luò)有了良好的故障識(shí)別效果;并探索了不同卷積核及CNN層數(shù),對(duì)網(wǎng)絡(luò)精度和訓(xùn)練速度的影響。陳仁祥等人[7]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和離散小波變換的滾動(dòng)軸承故障診斷方法。

2015年Google DeepMind團(tuán)隊(duì)[8]成功將深度學(xué)習(xí)(DL)和強(qiáng)化學(xué)習(xí)(RL)結(jié)合,并很好地將其應(yīng)用于游戲控制中,掀起了新一輪強(qiáng)化學(xué)習(xí)的研究高潮。QIAO Jun-fei等人[9]通過(guò)應(yīng)用深度自編碼器提取了圖片特征,并使用Q學(xué)習(xí)策略實(shí)現(xiàn)了分類(lèi)的對(duì)手寫(xiě)數(shù)字的識(shí)別方法,有效增強(qiáng)了準(zhǔn)確性,并減少了識(shí)別運(yùn)行時(shí)間。MEHRTASH T[10]通過(guò)使用強(qiáng)化學(xué)習(xí)來(lái)尋找人臉圖像上的特征,從而完成了對(duì)人臉的識(shí)別。

上述方法雖然都在識(shí)別精度上有著良好的表現(xiàn),但仍存在下列問(wèn)題:(1)輸入信號(hào)多為人工經(jīng)信號(hào)處理后的特征向量或圖片,這不僅需要比較強(qiáng)的先驗(yàn)知識(shí),而且可能造成對(duì)原始信號(hào)的破壞;(2)當(dāng)前所見(jiàn)到的大多數(shù)模型未考慮到參雜噪聲信號(hào)情況下的故障診斷,而在實(shí)際生產(chǎn)的復(fù)雜環(huán)境下難免會(huì)有噪聲信號(hào),這會(huì)大大降低模型的診斷精度和魯棒性;(3)傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)多存在局部最小值和過(guò)擬合等問(wèn)題,使得模型訓(xùn)練后出現(xiàn)準(zhǔn)確率不高且穩(wěn)定性較差的現(xiàn)象。

為解決上述問(wèn)題,筆者采用一種端到端的故障診斷方法。該方法使用隨機(jī)置零策略處理過(guò)的振動(dòng)數(shù)據(jù),用于提高模型對(duì)不同噪聲的魯棒性;通過(guò)訓(xùn)練具有感知能力和決策能力的深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò),提高模型對(duì)不同噪聲環(huán)境下的故障識(shí)別精度,進(jìn)而使模型具有良好的抗噪性能。

1 深度強(qiáng)化學(xué)習(xí)

深度強(qiáng)化學(xué)習(xí)是將深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)結(jié)合的一種通過(guò)智能體與環(huán)境不斷交互的試錯(cuò)算法。深度強(qiáng)化學(xué)習(xí)使網(wǎng)絡(luò)既有感知能力又有決策能力,形成了一種更接近人類(lèi)思維的智能算法。

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種模仿生物自然視覺(jué)認(rèn)知機(jī)制,一種采用圖像卷積計(jì)算的深度學(xué)習(xí)網(wǎng)絡(luò)框架。典型的CNN主要由:卷積層、池化層和全連接層構(gòu)成。

卷積層采用矩形卷積核與輸入信號(hào)的局部感受域進(jìn)行卷積計(jì)算,使用相同數(shù)值權(quán)重的卷積核對(duì)輸入數(shù)據(jù),并進(jìn)行掃描,使其參數(shù)得到共享。

卷積操作的數(shù)學(xué)模型為:

g(i)=Wi?xi+bi,i=1,2,…,I

(1)

式中:xi—當(dāng)前的輸入特征向量;xi+1—卷積計(jì)算后的特征向量;?—卷積運(yùn)算符號(hào);Wi—卷積核的權(quán)重;bi—偏置;i—第i個(gè)卷積核。

完成卷積操作后,通過(guò)激活函數(shù)實(shí)現(xiàn)非線性變換,以提高模型的表達(dá)能力。其表達(dá)式為:

yi=f(g(i))，i=1,2,…,I

(2)

式中:yi—激活層輸出后的特征;f(·)—激活函數(shù)。

卷積運(yùn)算后特征向量的數(shù)量會(huì)有較大的增加,雖然可以提高特征提取能力,但同時(shí)也會(huì)出現(xiàn)維數(shù)過(guò)大的問(wèn)題,增加輸出的維度。而池化層可以有效地減少參數(shù)的數(shù)量,池化操作可以有效地保留特征信息,同時(shí)降低特征向量的尺寸維度。

CNN中應(yīng)用最多的是最大池化,其表達(dá)式為:

(3)

1.2 馬爾可夫決策過(guò)程

馬爾可夫決策過(guò)程一般用來(lái)描述強(qiáng)化學(xué)習(xí)任務(wù)。馬爾可夫決策過(guò)程包含四元組,其中:S—狀態(tài)空間集,s—狀態(tài)空間集中的一個(gè)狀態(tài),s∈S;A—?jiǎng)幼骺臻g集,a—?jiǎng)幼骺臻g集中的一個(gè)動(dòng)作,a∈A;p—?jiǎng)幼鱝被智能體執(zhí)行后當(dāng)前時(shí)刻狀態(tài)s轉(zhuǎn)化到下一時(shí)刻狀態(tài)s′的概率;r—?jiǎng)幼鰽被智能體執(zhí)行后當(dāng)前時(shí)刻狀態(tài)s轉(zhuǎn)化到下一時(shí)刻狀態(tài)s′所獲得的獎(jiǎng)勵(lì)。

馬爾可夫決策過(guò)程具有馬爾可夫?qū)傩?即當(dāng)前時(shí)刻下,環(huán)境的反饋只取決于上一時(shí)刻的狀態(tài)和動(dòng)作,與之前更早的時(shí)刻沒(méi)有關(guān)聯(lián)性。

在本文的故障識(shí)別任務(wù)中,狀態(tài)s為一維故障信號(hào);動(dòng)作a為機(jī)械故障的類(lèi)別:0,1,2,…,Y-1,其中:Y—故障類(lèi)別數(shù)量;模型識(shí)別結(jié)果與故障樣本類(lèi)型是否一致是給予獎(jiǎng)勵(lì)r的重要標(biāo)準(zhǔn),樣本類(lèi)型與識(shí)別結(jié)果一致時(shí)r取+1,否則r取-1;對(duì)于狀態(tài)轉(zhuǎn)移概率p而言,盡管各個(gè)狀態(tài)之間沒(méi)有關(guān)聯(lián),在網(wǎng)絡(luò)運(yùn)行時(shí),為避免出現(xiàn)過(guò)擬合現(xiàn)象,會(huì)任意打亂訓(xùn)練數(shù)據(jù)樣本,且使各個(gè)訓(xùn)練數(shù)據(jù)樣本數(shù)目均勻分布,狀態(tài)轉(zhuǎn)移概率也就成為了p=1/Y;且s′只有在動(dòng)作a被執(zhí)行后,狀態(tài)s以概率p轉(zhuǎn)移得到,和前一時(shí)刻的狀態(tài)沒(méi)有關(guān)聯(lián),就符合馬爾可夫?qū)傩浴?/p>

1.3 策略

強(qiáng)化學(xué)習(xí)就是為了求解馬爾可夫決策過(guò)程的最優(yōu)策略。最優(yōu)策略可以通過(guò)求解最優(yōu)值函數(shù)得到[11],簡(jiǎn)而言之,強(qiáng)化學(xué)習(xí)的求解最后演化成了優(yōu)化貝爾曼方程,其數(shù)學(xué)模型為:

Rt=rt+rr+1+…+rn
V(st)=E[Rt+γ(Rt+1+γ(Rt+2…))]
V(st)=E[Rt+γV(st+1)]

(4)

式中:γ—折扣系數(shù),是介于[0,1]的常數(shù),γ的存在可以保證模型更容易獲取長(zhǎng)期累計(jì)獎(jiǎng)勵(lì);Rt—未來(lái)累計(jì)獎(jiǎng)勵(lì);r—執(zhí)行動(dòng)作后獲得的獎(jiǎng)勵(lì)。在訓(xùn)練時(shí),初始化V(s)=0。

上式展示了當(dāng)前狀態(tài)值函數(shù)V(s)與未來(lái)狀態(tài)值函數(shù)V(st+1)的遞歸關(guān)系。顯然上式較關(guān)注的是狀態(tài),但要知道在狀態(tài)s下,利用某個(gè)策略π采用動(dòng)作a獲取的期望回報(bào),就有了Q函數(shù),即:

(5)

當(dāng)前狀態(tài)值函數(shù)V(s)的表達(dá)式為:

V(s)=∑a∈Aπ(a|s)Q(s,a)

(6)

所以,在最優(yōu)策略下的最優(yōu)Q函數(shù)為:

(7)

(8)

上式經(jīng)過(guò)處理后使用了關(guān)于a的指數(shù)加權(quán)平均[12],即為貝爾曼最優(yōu)化方程。

在故障診斷任務(wù)中,狀態(tài)空間集S的數(shù)量非常大,而有限的空間并不能有效地存儲(chǔ)使用狀態(tài)動(dòng)作對(duì)的Q值。較強(qiáng)的函數(shù)泛化能力是深度學(xué)習(xí)網(wǎng)絡(luò)的一大特點(diǎn),可以用于對(duì)Q函數(shù)進(jìn)行擬合,記作Q(s,a;θ),其中:θ—神經(jīng)網(wǎng)絡(luò)的未知參數(shù)。

此處筆者使用了一個(gè)權(quán)重參數(shù)為θ的卷積神經(jīng)網(wǎng)絡(luò),來(lái)作為動(dòng)作值函數(shù)的網(wǎng)絡(luò)模型,并通過(guò)該網(wǎng)絡(luò)模型Q(s,a;θ)模擬動(dòng)作值函數(shù)Q*(s,a),即:

Q(s,a,θ)≈Q*(s,a)

(9)

在執(zhí)行動(dòng)作a后,當(dāng)前狀態(tài)s以概率P轉(zhuǎn)移到s′,此時(shí)的Q函數(shù)為:

(10)

式中:r—狀態(tài)s執(zhí)行動(dòng)作a后得到的獎(jiǎng)勵(lì)。

根據(jù)ε-貪心策略,筆者根據(jù)概率ε選取當(dāng)前Q值最大的動(dòng)作,根據(jù)概率1-ε隨機(jī)選擇動(dòng)作后得到Q(s,a),故損失函數(shù)為:

L(θ)=(y-Q(s,a;θ))2

(11)

上式可以使Q函數(shù)依據(jù)ε-貪心策略在最小均方誤差下收斂,得到最優(yōu)Q值函數(shù)。

筆者根據(jù)式(10)來(lái)計(jì)算神經(jīng)網(wǎng)絡(luò)參數(shù)θ的梯度:

(12)

對(duì)于損失函數(shù),筆者采用Adam算法進(jìn)行訓(xùn)練。其中,動(dòng)量β1為0.9,平方梯度動(dòng)量β2為0.999,誤差e為10-8。

1.4 ε-貪心策略

在強(qiáng)化學(xué)習(xí)任務(wù)中,對(duì)外界環(huán)境的探索是智能體獲取知識(shí)的主要方式,所以在探索和利用之間平衡也就成了強(qiáng)化學(xué)習(xí)需要解決的問(wèn)題。探索過(guò)多會(huì)使模型的收斂速度有所影響,太多的利用又會(huì)使強(qiáng)化學(xué)習(xí)模型進(jìn)入局部最優(yōu)。常用的ε-貪心策略多為固定值。本文使用一種隨訓(xùn)練步數(shù)而變化的方法,使模型在前期多探索,后期多利用。

ε的設(shè)定方法為:

(13)

式中:i—當(dāng)前的步數(shù);T—總步數(shù)。

2 隨機(jī)置零

為使模型有不錯(cuò)的抗噪性能,筆者使用隨機(jī)置零的方法,即在信號(hào)輸入后利用Dropout進(jìn)行處理。在實(shí)際工況下,測(cè)試信號(hào)往往都會(huì)摻雜隨機(jī)噪聲,可認(rèn)為是對(duì)測(cè)試純凈信號(hào)的隨機(jī)干擾;在輸入信號(hào)后引入隨機(jī)置零,可以使原始信號(hào)更好地模擬真實(shí)環(huán)境中的隨機(jī)噪聲環(huán)境。

隨機(jī)置零的具體實(shí)現(xiàn)方式如下:

p～Uniform(0.1,0.8)
R～Bernoulli(p)
Z=Y*R

(14)

式中:Y—原始振動(dòng)信號(hào);Z—隨機(jī)置零后的振動(dòng)信號(hào);p—隨機(jī)置零率,服從均勻分布U(0.1,0.8);R—服從概率為p的伯努利分布。

隨機(jī)置零的使用可以看作是為原始信號(hào)添加隨機(jī)干擾。當(dāng)模型學(xué)習(xí)到這種經(jīng)過(guò)被隨機(jī)干擾過(guò)的樣本后,模型的抗干擾性就會(huì)有所增強(qiáng)。

當(dāng)然,隨機(jī)置零方法也可以豐富訓(xùn)練樣本的數(shù)量,即使是同一個(gè)樣本信號(hào),在經(jīng)過(guò)隨機(jī)置零后,輸入模型的信號(hào)也很難保持一致。使用隨機(jī)置零方法破壞了原始信號(hào)的局部特征,但可以迫使模型學(xué)習(xí)其他更為有效的細(xì)節(jié)特征或樣本的整體特征[13]33-34。

隨機(jī)置零與無(wú)監(jiān)督學(xué)習(xí)方法中的去噪自編碼器有相似之處,都向原始輸入信號(hào)中加入隨機(jī)干擾;其與去噪自編碼器類(lèi)似,都可以學(xué)習(xí)魯棒性更強(qiáng)的特征。

3 深度Q網(wǎng)絡(luò)故障診斷模型

此處筆者提出一種基于深度Q網(wǎng)絡(luò)的智能故障診斷模型,并在抗噪性和提高準(zhǔn)確率上進(jìn)行了探索。

為了使模型得到不錯(cuò)的抗噪性能,筆者加入了隨機(jī)置零的方法。

文獻(xiàn)[13]31中指出,在原始數(shù)據(jù)輸入后為其按一定比例隨機(jī)置零,當(dāng)數(shù)據(jù)被置零后,可以看作為數(shù)據(jù)引入了噪聲;由于傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)多存在局部最小值和過(guò)擬合等問(wèn)題,使得模型訓(xùn)練后存在準(zhǔn)確率不高,且穩(wěn)定性較差的問(wèn)題。

筆者在深度神經(jīng)網(wǎng)絡(luò)中加入了Q學(xué)習(xí)策略,用來(lái)提高模型的識(shí)別準(zhǔn)確率和穩(wěn)定性。深度Q網(wǎng)絡(luò)的故障診斷流程如圖1所示。

圖1 深度Q網(wǎng)絡(luò)故障診斷流程圖

模型通過(guò)環(huán)境與智能體的交互來(lái)實(shí)現(xiàn)對(duì)故障的智能診斷。首先環(huán)境給智能體輸入初始數(shù)據(jù)s,經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)擬合狀態(tài)動(dòng)作值函數(shù)Q(s,a)輸出動(dòng)作a,與環(huán)境中數(shù)據(jù)s的故障類(lèi)型做對(duì)比,通過(guò)給予智能體獎(jiǎng)勵(lì)來(lái)更新卷積網(wǎng)絡(luò)的參數(shù),使模型達(dá)到預(yù)期效果。

模型的學(xué)習(xí)過(guò)程如下:

(1)初始化擬合Q值函數(shù)的權(quán)重參數(shù)θ;

(2)重復(fù)經(jīng)驗(yàn)軌跡,從1到M:初始化狀態(tài)(故障樣本數(shù)據(jù))s;

(3)重復(fù)對(duì)于當(dāng)前輸入狀態(tài)(故)s,利用ε-貪心算法選擇下一個(gè)動(dòng)作a(某個(gè)故障類(lèi)型);

(4)觀察輸出動(dòng)作與環(huán)境中該故障數(shù)據(jù)對(duì)應(yīng)的樣本標(biāo)簽是否一致,一致則獎(jiǎng)勵(lì)r=+1,否則r=-1;

(6)對(duì)(y-Q(s,a;θ))2使用梯度下降類(lèi)算法更新網(wǎng)絡(luò)參數(shù)。

4 實(shí)驗(yàn)與結(jié)果驗(yàn)證

為了驗(yàn)證該模型的有效性,筆者使用SpectraQuest公司設(shè)計(jì)的實(shí)驗(yàn)臺(tái)進(jìn)行故障模擬實(shí)驗(yàn)。故障診斷試驗(yàn)臺(tái)如圖2所示。

圖2 動(dòng)力傳動(dòng)故障診斷試驗(yàn)臺(tái)

實(shí)驗(yàn)所用齒輪箱為定軸齒輪箱,深溝球軸承的型號(hào)為ER-10K,節(jié)徑D=33.5 mm,軸承的滾動(dòng)體直徑為7.9 mm,接觸角α=0^°(該軸承有8個(gè)滾動(dòng)體)。

定軸齒輪箱的結(jié)構(gòu)圖如圖3所示。

圖3 定軸齒輪箱構(gòu)造圖

加速度傳感器分別采集水平、垂直、軸向方向上的信號(hào),通過(guò)數(shù)據(jù)采集儀(型號(hào)為DT9837)存儲(chǔ)在計(jì)算機(jī)上。數(shù)據(jù)采集過(guò)程中,電機(jī)轉(zhuǎn)速為1 200 r/min;軸承數(shù)據(jù)使用垂直徑向采集的故障數(shù)據(jù),信號(hào)的采樣頻率Fs為2 560 Hz;齒輪信號(hào)的采樣頻率Fs為5 120 Hz,采樣時(shí)間均為10 s;

使用的信號(hào)故障類(lèi)型為:外圈故障、內(nèi)圈故障、正常軸承、滾動(dòng)體故障、正常齒、磨損齒、缺齒、斷齒、齒根裂紋[14]。

4.1 數(shù)據(jù)處理

模型的輸入為一維時(shí)域信號(hào)。由于深度學(xué)習(xí)網(wǎng)絡(luò)需要大批的數(shù)據(jù)作為訓(xùn)練樣本,本文使用樣本擴(kuò)充的方式,其示意圖如圖4所示。

圖4 樣本擴(kuò)充示意圖

與沒(méi)有樣本重疊分割的方式相比,采用有重疊的樣本分割策略,不但可以保留樣本相鄰數(shù)據(jù)之間的關(guān)聯(lián)性,也可以滿足深度學(xué)習(xí)方法對(duì)樣本數(shù)量的要求[15]。

為保證在測(cè)試樣本中有沒(méi)有被訓(xùn)練的數(shù)據(jù),此處取樣本長(zhǎng)度為1 200,重疊部分長(zhǎng)度為300。

4.2 深度Q學(xué)習(xí)模型可行性驗(yàn)證

為了驗(yàn)證深度Q網(wǎng)絡(luò)模型在故障識(shí)別方面的性能,本文使用上述試驗(yàn)臺(tái)中采集的軸承數(shù)據(jù)進(jìn)行驗(yàn)證實(shí)驗(yàn)。所使用的軸承數(shù)據(jù)包含:內(nèi)圈故障、外圈故障、滾動(dòng)體故障和正常軸承4類(lèi)故障(均未添加負(fù)載)。

4種故障類(lèi)型的時(shí)域圖如圖5所示。

圖5 故障時(shí)域圖

此處,對(duì)應(yīng)4種軸承狀態(tài),每種狀態(tài)取1 000個(gè)樣本,共4 000個(gè)樣本,每個(gè)樣本包含1 200個(gè)數(shù)據(jù)點(diǎn)。其中,90%是訓(xùn)練樣本,10%是測(cè)試樣本。

實(shí)驗(yàn)軟件環(huán)境為:Python+Tensorflow2.0;硬件環(huán)境為:Intel i5-8250U。

模型使用的卷積神經(jīng)網(wǎng)絡(luò)擬合Q函數(shù)結(jié)構(gòu)如圖6所示。

圖6 卷積神經(jīng)網(wǎng)絡(luò)擬合Q函數(shù)

本文使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)擬合Q值函數(shù)[16]。第一層卷積層的卷積核大小為,步長(zhǎng)為6,共32個(gè)特征圖(較大的卷積核可以用于有效地提取大尺度下時(shí)域信號(hào)特征)。

本文將第二、三層卷積層用于提取信號(hào)的深層特征,卷積核大小均為5×1,步長(zhǎng)為3,網(wǎng)絡(luò)在該位置的輸出由具有局部不變性的卷積層處理;通過(guò)對(duì)卷積的輸出特征使用最大池化,使網(wǎng)絡(luò)在保持信號(hào)本質(zhì)的同時(shí)減少數(shù)據(jù)量(池化核的寬度均為3×1,步長(zhǎng)為2)。

激活層使用的激活函數(shù)為Relu。全連接層可以把這些特征都連接起來(lái),并且可以使網(wǎng)絡(luò)增強(qiáng)學(xué)習(xí)特征的能力,其中分別包含128個(gè)和4個(gè)神經(jīng)元。

在原始數(shù)據(jù)輸入后加入隨機(jī)置零,即加入一層Dorpout層,置零比例在0.1～0.8之間均勻分布。

模型的訓(xùn)練參數(shù)如下:

在每輪訓(xùn)練中,該模型每輪設(shè)置的步數(shù)為512步。由于模型開(kāi)始時(shí)沒(méi)有學(xué)習(xí)任何內(nèi)容,一開(kāi)始有1/4的概率可以被猜中,也就是首輪的得分應(yīng)該在-512～-456分之間,模型共訓(xùn)練2 000輪。本文對(duì)2 000輪訓(xùn)練的每10輪計(jì)算獎(jiǎng)勵(lì)和損失值的平均值。

模型訓(xùn)練后的Q函數(shù)累計(jì)值隨迭代次數(shù)的關(guān)系,即Q函數(shù)累計(jì)值變化圖,如圖7所示。

圖7 Q函數(shù)累計(jì)值變化圖

由圖7可知:模型幾乎是線性遞增的,最后最高得分達(dá)到了488分;模型的識(shí)別準(zhǔn)確率可以達(dá)到98.87%。

損失值變化圖如圖8所示。

圖8 損失值變化圖

從圖8可以看到:每輪訓(xùn)練后模型的損失值都可以保持在比較低的狀態(tài),表明模型每輪訓(xùn)練都學(xué)習(xí)到了東西;在迭代到150次時(shí),損失值會(huì)有明顯降幅,模型開(kāi)始收斂,在訓(xùn)練過(guò)程中由于模型不定時(shí)“探索”會(huì)出現(xiàn)損失值的跳動(dòng)。

上述實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法在故障診斷中的可行性。

4.3 探索與利用的平衡

在強(qiáng)化學(xué)習(xí)任務(wù)中,探索與利用的平衡通常由ε-貪心策略來(lái)實(shí)現(xiàn)。過(guò)大或是過(guò)小的ε都會(huì)極大地影響探索和利用的平衡。研究人員在訓(xùn)練前期可以進(jìn)行探索,后期可以利用已學(xué)到的內(nèi)容,所以本文在此處使用動(dòng)態(tài)值。

為驗(yàn)證動(dòng)態(tài)值的優(yōu)勢(shì),筆者使用固定ε值進(jìn)行了比較,其實(shí)驗(yàn)結(jié)果如表1所示。

表1 ε值對(duì)Q函數(shù)累計(jì)值的影響

由表1可知:當(dāng)ε=0.75時(shí),模型探索過(guò)多,不能被有效利用,Q函數(shù)累計(jì)值較低;當(dāng)ε=0.3時(shí),模型不能很好地進(jìn)行探索,但在充分迭代后,Q函數(shù)累計(jì)值也可以達(dá)到458;使用動(dòng)態(tài)ε值時(shí),可隨迭代步數(shù)變化,使前期探索后期利用,可以看到Q函數(shù)累計(jì)值達(dá)到了488。

4.4 抗噪能力驗(yàn)證

為研究模型在不同噪聲環(huán)境下對(duì)旋轉(zhuǎn)機(jī)械故障的識(shí)別能力,筆者在上述模型分中別輸入不同信噪比(σSNR)的測(cè)試樣本。信噪比公式為:

(15)

式中:Psignal,Pnoise—信號(hào)的有效功率和噪聲的功率。

在采集到的不同故障的測(cè)試集中,筆者分別添加了不同信噪比的高斯白噪聲。

正常齒輪信號(hào)中再加入0 dB噪聲后的時(shí)域圖,如圖9所示。

圖9 正常齒輪信號(hào)加入0 dB噪聲

此處仍然利用SpectraQuest公司的試驗(yàn)臺(tái)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)。樣本的具體劃分如表2所示。

表2 數(shù)據(jù)集劃分

樣本共41 250個(gè),其中,訓(xùn)練樣本37 125個(gè),測(cè)試樣本4 125個(gè)。測(cè)試樣本中都包含著數(shù)量相同的加噪信號(hào)。

本文通過(guò)向原始信號(hào)隨機(jī)置零加入Dropout層,以增加模型對(duì)噪聲的泛化性。

有隨機(jī)置零策略、沒(méi)有隨機(jī)置零策略以及置零比例在0.1,0.3,0.5,0.6時(shí),抗噪性能的對(duì)比結(jié)果如圖10所示。

圖10 有無(wú)隨機(jī)置零輸入信號(hào)的診斷性能

從圖10中可以看出:模型在沒(méi)有隨機(jī)置零輸入信號(hào)的情況下,故障診斷的識(shí)別精度會(huì)隨信噪比的降低而迅速下降;而在有隨機(jī)置零輸入信號(hào)的情況下,模型則表現(xiàn)出了良好的抗噪性。

4.5 美國(guó)凱斯西儲(chǔ)大學(xué)數(shù)據(jù)驗(yàn)證

由于上述軸承和齒輪的故障數(shù)據(jù)都是在固定負(fù)載下獲取的,此處本文使用美國(guó)的凱斯西儲(chǔ)大學(xué)的軸承數(shù)據(jù)集來(lái)驗(yàn)證變載條件下的準(zhǔn)確性[17]。

此處利用的數(shù)據(jù)是驅(qū)動(dòng)端數(shù)據(jù),數(shù)據(jù)中包含軸承正常、滾子故障、內(nèi)圈故障、外圈故障4種故障狀態(tài),每種故障類(lèi)型各包含(1 hp、2 hp、3 hp、4 hp)4種負(fù)載的數(shù)據(jù),它們所對(duì)應(yīng)的轉(zhuǎn)速分別是1 797 r/min、1 772 r/min、1 750 r/min和1 730 r/min,大致可以認(rèn)為是定速;振動(dòng)數(shù)據(jù)的采樣頻率為12 kHz。

對(duì)于上述的4種故障類(lèi)型,每種故障類(lèi)型都有8 100個(gè)樣本數(shù)據(jù)。西儲(chǔ)的數(shù)據(jù)集劃分如表3所示。

表3 西儲(chǔ)數(shù)據(jù)集劃分

筆者使用經(jīng)過(guò)隨機(jī)置零處理的數(shù)據(jù)和沒(méi)有隨機(jī)置零的數(shù)據(jù)訓(xùn)練模型進(jìn)行測(cè)試和對(duì)比,其結(jié)果如表4所示。

表4 有無(wú)隨機(jī)置零輸入時(shí)模型的準(zhǔn)確率

由表4可知:在測(cè)試集上的故障識(shí)別準(zhǔn)確率方面,經(jīng)隨機(jī)置零處理的數(shù)據(jù)訓(xùn)練的模型均遠(yuǎn)高于干凈信號(hào)輸入訓(xùn)練的模型,并且模型在信噪比為-2 dB時(shí)仍有著90.85%的診斷精度,而采用干凈信號(hào)輸入的模型僅有43.52%的識(shí)別準(zhǔn)確率;模型在信噪比>2 dB時(shí)識(shí)別準(zhǔn)確率可以達(dá)到98%,信噪比>5 dB時(shí)模型的識(shí)別準(zhǔn)確率更是有99%。

由此可見(jiàn),在變載的條件下,該模型有著較好的識(shí)別準(zhǔn)確率。

4.6 模型對(duì)比實(shí)驗(yàn)

本文對(duì)一維卷積神經(jīng)網(wǎng)絡(luò)(1DCNN)、支持向量機(jī)(SVM)、BP神經(jīng)網(wǎng)絡(luò)(BP-NN)和本文模型進(jìn)行對(duì)比實(shí)驗(yàn)。其中,三層卷積池化層、兩層全連接層和Softmax分類(lèi)層構(gòu)成了1DCNN,支持向量機(jī)采用高斯核函數(shù),BP-NN采用三層網(wǎng)絡(luò)結(jié)構(gòu)。

模型的訓(xùn)練結(jié)果如圖11所示。

圖11 不同噪聲環(huán)境下方法診斷性能對(duì)比

由圖11可知:與1DCNN相比,本文模型在高信噪比時(shí)都有著不錯(cuò)的故障識(shí)別精度,而當(dāng)信噪比<2 B時(shí),1DCNN的診斷精度略低于本文的方法,在信噪比為-4 dB時(shí)該模型的識(shí)別準(zhǔn)確率也有78%;

在穩(wěn)定性方面,1DCNN在噪聲比較嚴(yán)重的情況下有2.15%的識(shí)別誤差,而本文方法則表現(xiàn)相對(duì)穩(wěn)定,誤差在0.86%。

與相對(duì)典型的SVM、BP-NN相比,本文模型在識(shí)別準(zhǔn)確率、穩(wěn)定性上均有不錯(cuò)的優(yōu)勢(shì);而SVM、BP-NN即使在噪聲較小的數(shù)據(jù)集上診斷效果也不佳,其原因主要在于淺層模型無(wú)法有效學(xué)習(xí)特征,同時(shí)學(xué)習(xí)到的特征也沒(méi)有具備較好的分類(lèi)特征。

5 結(jié)束語(yǔ)

由于傳統(tǒng)的旋轉(zhuǎn)機(jī)械故障診斷方法需要人工提取故障特征,且受環(huán)境噪聲的影響較大,筆者提出了一種基于深度Q網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)的故障診斷模型,探索了一種端到端的,基于深度強(qiáng)化學(xué)習(xí)的旋轉(zhuǎn)機(jī)械故障診斷的方法,并使其能夠準(zhǔn)確且穩(wěn)定地在噪聲環(huán)境下和變載條件下對(duì)旋轉(zhuǎn)機(jī)械進(jìn)行故障診斷。

該研究過(guò)程和結(jié)果如下:

(1)該方法使用原始信號(hào)作為輸入,可有效省去現(xiàn)有方法需要通過(guò)人工進(jìn)行信號(hào)處理和特征提取的繁瑣過(guò)程;

(2)采用隨機(jī)置零的方法,使模型對(duì)不同程度噪聲均產(chǎn)生抗噪性,經(jīng)過(guò)訓(xùn)練的模型可以大大地提升其抗噪水平;

(3)通過(guò)不同模型的對(duì)比實(shí)驗(yàn)表明,與1DCNN、BP-NN和SVM相比,在準(zhǔn)確度和穩(wěn)定性方面,本文提出的模型都有著不錯(cuò)的表現(xiàn)。在信噪比>-2 dB時(shí),模型識(shí)別準(zhǔn)確率可達(dá)90%左右;在信噪比>-4 dB時(shí),準(zhǔn)確率也可達(dá)78%。

在后續(xù)的研究中,筆者將探索不同獎(jiǎng)勵(lì)函數(shù)對(duì)網(wǎng)絡(luò)的影響,并將其結(jié)果與遷移學(xué)習(xí)相結(jié)合,以拓寬該模型在不同設(shè)備間的適用性。