基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方法

陳子兆，矯文成，孫慧賢，李月武

(陸軍工程大學(xué)石家莊校區(qū)，河北 石家莊 050003)

0 引言

故障診斷[1]是指在系統(tǒng)運(yùn)行過(guò)程中，通過(guò)各種監(jiān)測(cè)手段判別其工作是否正常，分析指出系統(tǒng)當(dāng)前所處的狀態(tài)，便于管理人員維修的一種技術(shù)診斷方法分為基于圖論的方法[2]、基于專家系統(tǒng)的方法[3]、基于解析模型的方法[4]、基于數(shù)據(jù)驅(qū)動(dòng)的方法[5]等?；谏疃戎眯啪W(wǎng)絡(luò)的故障診斷方法便是基于數(shù)據(jù)驅(qū)動(dòng)方法中較為常用的一種。

深度置信網(wǎng)絡(luò)(deep belief network)是一種具有高維數(shù)據(jù)訓(xùn)練能力的多層神經(jīng)網(wǎng)絡(luò)模型[6]。其通過(guò)訓(xùn)練多層限制波爾茨曼機(jī)(restricted boltzmann machine)對(duì)輸入數(shù)據(jù)特征進(jìn)行學(xué)習(xí)和識(shí)別，已成功應(yīng)用于文本檢測(cè)[7]、序列預(yù)測(cè)[8]、情感分析[9]等領(lǐng)域。在故障診斷[10]領(lǐng)域，基于深度置信網(wǎng)絡(luò)的故障診斷方法也已經(jīng)在模擬電路[11]、機(jī)械軸承[12]、風(fēng)力電機(jī)[13]等方向展露風(fēng)采。美中不足的是，該故障診斷方法仍存在著諸多關(guān)鍵問(wèn)題亟待解決，其一是深度置信網(wǎng)絡(luò)(DBN)出現(xiàn)過(guò)擬合后，導(dǎo)致故障診斷的準(zhǔn)確率下降的問(wèn)題，目前較好的解決方法是Hinton教授提出dropout策略[14-15]和添加稀疏正則項(xiàng)[16]策略；其二是訓(xùn)練小樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)模型訓(xùn)練不充分導(dǎo)致準(zhǔn)確率低的問(wèn)題，現(xiàn)階段主要有遷移學(xué)習(xí)、強(qiáng)化特征提取、重復(fù)訓(xùn)練數(shù)據(jù)集、增加數(shù)據(jù)集數(shù)據(jù)量等解決方案。

遷移學(xué)習(xí)也稱為歸納學(xué)習(xí)，是將某個(gè)領(lǐng)域上學(xué)習(xí)到的知識(shí)應(yīng)用于不同但相關(guān)的領(lǐng)域中的一種學(xué)習(xí)策略，文獻(xiàn)[17—19]中便成功將遷移學(xué)習(xí)應(yīng)用于小樣本數(shù)據(jù)集上。但是由于無(wú)法確定遷移學(xué)習(xí)中原域和目標(biāo)域的界限，所以遷移學(xué)習(xí)在故障診斷中的應(yīng)用也十分有限。在強(qiáng)化特征提取的解決方案中，文獻(xiàn)[20]受神經(jīng)科學(xué)啟發(fā)，在深度置信網(wǎng)絡(luò)中添加一層膠質(zhì)細(xì)胞層，強(qiáng)化相鄰的隱藏層神經(jīng)元的激活概率，從而優(yōu)化學(xué)習(xí)過(guò)程中的關(guān)聯(lián)性和特征提取能力。

針對(duì)深度置信網(wǎng)絡(luò)對(duì)小樣本故障數(shù)據(jù)集故障診斷時(shí)準(zhǔn)確率低的問(wèn)題，本文提出了基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方案。

1 原理介紹

1.1 深度置信網(wǎng)絡(luò)

受限玻爾茲曼機(jī)(RBM)作為深度置信網(wǎng)絡(luò)模型的基本單位，是由可視層v和隱藏層h構(gòu)成的雙層神經(jīng)網(wǎng)絡(luò)。類似于熱動(dòng)力學(xué)，其能量函數(shù)定義為：

(1)

式(1)中，θ=[Wij,ai,bj]分別表示可視層與隱藏層之間網(wǎng)絡(luò)權(quán)重、可視層偏置和隱藏層偏置，n為可視層節(jié)點(diǎn)數(shù)，m為隱藏層節(jié)點(diǎn)數(shù)。

限制玻爾茲曼機(jī)的本質(zhì)是一種概率生成模型，可見(jiàn)層與隱藏層的聯(lián)合概率分布和可見(jiàn)層的概率分布可表示為：

(2)

由此可以推導(dǎo)出隱藏節(jié)點(diǎn)的激活概率與可視節(jié)點(diǎn)重構(gòu)激活概率分別為：

(3)

而傳統(tǒng)的深度置信網(wǎng)絡(luò)模型(圖1)是由多層限制波爾茨曼機(jī)堆疊構(gòu)成的。其在訓(xùn)練過(guò)程中采用了對(duì)比散度(CD)算法、貪婪學(xué)習(xí)算法、梯度下降算法(GD)等方法，訓(xùn)練目標(biāo)是使誤差函數(shù)最小。深度置信網(wǎng)絡(luò)訓(xùn)練的本質(zhì)就是求取最大似然概率的過(guò)程。

圖1 DBN(3 hidden layer)結(jié)構(gòu)模型圖Fig.1 Structural model of DBN(3 hidden layer)

1.2 自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)

自適應(yīng)諧振(adaptive resonance theory)神經(jīng)網(wǎng)絡(luò)是一種無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)模型，在學(xué)習(xí)無(wú)標(biāo)簽數(shù)據(jù)方面具有較大的靈活性。自適應(yīng)諧振(ART Ⅰ)神經(jīng)網(wǎng)絡(luò)模型如圖2所示，其中比較層C負(fù)責(zé)對(duì)匹配程度與參考閾值進(jìn)行比較；識(shí)別層R依據(jù)比較層的比較結(jié)果做出對(duì)應(yīng)的操作，復(fù)位信號(hào)Reset、邏輯控制信號(hào)G1和G2作為神經(jīng)網(wǎng)絡(luò)的控制信號(hào)。

圖2 ART Ⅰ結(jié)構(gòu)模型圖Fig.2 Structural model of ART Ⅰ

自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟可以分為匹配階段、比較階段、搜索階段和學(xué)習(xí)階段四個(gè)階段，具體訓(xùn)練流程如下：

1) 匹配階段

當(dāng)輸入數(shù)據(jù)X通過(guò)比較層C前向傳遞至識(shí)別層R時(shí)，與識(shí)別層R神經(jīng)元前向權(quán)值bij進(jìn)行匹配度計(jì)算：

(4)

選擇具有最大匹配度的競(jìng)爭(zhēng)獲勝神經(jīng)元：

(5)

2) 比較階段

使得識(shí)別層R中獲勝的神經(jīng)元j激活，將其相連的反向權(quán)值aij與該輸入數(shù)據(jù)X進(jìn)行相似度計(jì)算：

(6)

因?yàn)檩斎霐?shù)據(jù)X為二進(jìn)制數(shù)據(jù)，N0實(shí)際表示獲勝神經(jīng)元的代表向量與輸入模式向量之間向量同為1的次數(shù)。計(jì)輸入模式向量中的非零個(gè)數(shù)為N1。設(shè)定門(mén)限閾值ρ，如果兩者比值大于ρ則進(jìn)入學(xué)習(xí)階段，否則進(jìn)入搜索階段。

3) 搜索階段

網(wǎng)絡(luò)進(jìn)入搜索階段，使得競(jìng)爭(zhēng)獲勝的神經(jīng)元持續(xù)受到抑制，并且重復(fù)匹配階段和比較階段，直至大于門(mén)限閾值ρ。如果所有神經(jīng)元都無(wú)法滿足要求，則在網(wǎng)絡(luò)中增加一個(gè)神經(jīng)元并用該輸入模式向量作為該神經(jīng)元的代表向量，然后進(jìn)入匹配階段。

4) 學(xué)習(xí)階段

學(xué)習(xí)階段主要是對(duì)獲勝神經(jīng)元的權(quán)值向量進(jìn)行調(diào)整，使得再次出現(xiàn)該模式相似的輸入數(shù)據(jù)時(shí)獲得更大的共振和相似度。修改反向權(quán)值aij和前向權(quán)值bij公式如下：

(7)

1.3 改進(jìn)ART-DBN模型的探討與分析

自適應(yīng)神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)無(wú)標(biāo)簽數(shù)據(jù)方面具有極大的靈活性。其通過(guò)強(qiáng)化特定神經(jīng)元的連接權(quán)值，使得網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中具有相似特征的數(shù)據(jù)聚成一類，達(dá)到對(duì)無(wú)標(biāo)簽數(shù)據(jù)分類的目的。深度置信網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中，通過(guò)逐層激活神經(jīng)元，提取數(shù)據(jù)深層特征，從而對(duì)標(biāo)簽數(shù)據(jù)進(jìn)行學(xué)習(xí)和無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行識(shí)別。當(dāng)面對(duì)相同或相似輸入數(shù)據(jù)時(shí)，因?yàn)榫哂邢嗨频挠行卣?，各隱藏層層激活的神經(jīng)元應(yīng)當(dāng)大致相同。

受到兩種模型的啟發(fā)，本文嘗試將自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)模型與深度置信網(wǎng)絡(luò)模型相結(jié)合，將自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程與深度置信網(wǎng)絡(luò)訓(xùn)練過(guò)程相結(jié)合，提出了一種改進(jìn)的網(wǎng)絡(luò)模型ART-DBN，通過(guò)利用自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)對(duì)無(wú)標(biāo)簽數(shù)據(jù)的學(xué)習(xí)和分類優(yōu)勢(shì)，強(qiáng)化深度置信網(wǎng)絡(luò)隱藏層中相關(guān)神經(jīng)元節(jié)點(diǎn)的激活概率，進(jìn)一步強(qiáng)化深度置信網(wǎng)絡(luò)的特征提取和分類能力，最終達(dá)到提升深度置信網(wǎng)絡(luò)分類準(zhǔn)確率，改善網(wǎng)絡(luò)訓(xùn)練效果的目的。

網(wǎng)絡(luò)模型整體設(shè)計(jì)的思路是對(duì)相似度較大且差異度大的隱藏層神經(jīng)元進(jìn)行權(quán)值強(qiáng)化，使得其相似度進(jìn)一步增大而差異度減少，從而強(qiáng)化對(duì)數(shù)據(jù)特征的提取能力；對(duì)相似度較大而差異度較小的隱藏層神經(jīng)元，因?yàn)槠浼せ罡怕瘦^大且模式代表向量與輸入模式向量類型相似，故而跳過(guò)對(duì)其權(quán)值的調(diào)整。

同時(shí)為了避免特征向量全1或者全0時(shí)出現(xiàn)差異度全局過(guò)小而陷入死循環(huán)，首先應(yīng)當(dāng)對(duì)初始化特征代表向量進(jìn)行0或1的隨機(jī)賦值；再者考慮到輸入數(shù)據(jù)與權(quán)值參數(shù)的維度和度量上不一致，在相似度度量指標(biāo)上選取用余弦距離替代歐式距離；最后因?yàn)橐云ヅ涠葹檎{(diào)整指標(biāo)的網(wǎng)絡(luò)模型中，權(quán)值參數(shù)在調(diào)整過(guò)程中會(huì)使得相似程度和匹配程度不斷增大，最終使得多次權(quán)值參數(shù)的更新只是針對(duì)同一個(gè)或幾個(gè)神經(jīng)元，反而導(dǎo)致準(zhǔn)確率極度下降，所以我們拋棄了匹配度而選擇差異度作為調(diào)整指標(biāo)，以期對(duì)更多的神經(jīng)元進(jìn)行優(yōu)化。

綜上所述，改進(jìn)網(wǎng)絡(luò)模型的RBM結(jié)構(gòu)如圖3所示，在每一層RBM中添加了一層由星形表示的ART層，ART層由與隱藏層節(jié)點(diǎn)數(shù)相同的ART神經(jīng)元組成，ART神經(jīng)元分別與對(duì)應(yīng)的隱藏層節(jié)點(diǎn)相連，與可視層神經(jīng)元節(jié)點(diǎn)全連接。對(duì)此，符合要求的隱藏層節(jié)點(diǎn)便可通過(guò)ART層影響整個(gè)RBM，進(jìn)而影響由ART-RBM堆疊構(gòu)成的ART-DBN。

圖3 ART-RBM結(jié)構(gòu)模型圖Fig.3 Structural model of ART-RBM

2 基于改進(jìn)模型的故障診斷方法

2.1 改進(jìn)模型的故障診斷方法

深度置信網(wǎng)絡(luò)作為一種基于數(shù)據(jù)驅(qū)動(dòng)的故障診斷方法，能夠自動(dòng)從復(fù)雜的原始故障數(shù)據(jù)分布中提取有效的特征向量，通過(guò)自帶的Softmax分類器對(duì)故障類型進(jìn)行分類診斷?；跀?shù)據(jù)驅(qū)動(dòng)的故障診斷方法需要在龐大的故障數(shù)據(jù)支持下才能較好地完成診斷任務(wù)，但是在實(shí)際應(yīng)用中，因?yàn)樵O(shè)備發(fā)生故障的幾率微小，而發(fā)生故障時(shí)因?yàn)樵O(shè)備損壞又難以獲取數(shù)據(jù)等原因，導(dǎo)致能夠采集得到的故障數(shù)據(jù)極其稀少，極大程度地影響著故障診斷結(jié)果的準(zhǔn)確率。因此本文提出了一種基于改進(jìn)深度置信網(wǎng)絡(luò)模型的故障診斷方法，圖4直觀地表示出基于傳統(tǒng)深度置信網(wǎng)絡(luò)的故障診斷方法和基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方法的區(qū)別。

圖4 兩種故障診斷方法的對(duì)比Fig.4 Comparison of two fault diagnosis methods

與基于傳統(tǒng)模型的故障診斷方法相比，改進(jìn)方法將傳統(tǒng)的DBN模型替換為改進(jìn)的ART-DBN網(wǎng)絡(luò)模型，同時(shí)使用改進(jìn)的訓(xùn)練規(guī)則對(duì)整個(gè)改進(jìn)ART-DBN模型進(jìn)行訓(xùn)練調(diào)優(yōu)。待改進(jìn)模型訓(xùn)練完成后，以優(yōu)化后的權(quán)值參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)對(duì)輸入的原始故障數(shù)據(jù)進(jìn)行特征提取、分類識(shí)別，完成對(duì)故障類型的識(shí)別診斷。

2.2 ART-RBM訓(xùn)練規(guī)則

傳統(tǒng)的DBN采用一步對(duì)比散度(CD-1)算法訓(xùn)練RBM模型，在此我們?nèi)宰裱璈inton教授在文獻(xiàn)[21]給出訓(xùn)練RBM的相關(guān)建議，同時(shí)結(jié)合ART神經(jīng)網(wǎng)絡(luò)的訓(xùn)練規(guī)則，提出ART-RBM的訓(xùn)練規(guī)則。

改進(jìn)的ART-RBM訓(xùn)練規(guī)則如下：

步驟1 輸入訓(xùn)練數(shù)據(jù)v1，計(jì)算隱藏層激活狀態(tài)h1：

h1←sigmoid(Wijv1+bj)

對(duì)隱藏層神經(jīng)元賦值0或1：

ifh1> 0到1之間隨機(jī)數(shù)

thenh1= 1

elseh1= 0

依據(jù)CD-1算法重構(gòu)可視層神經(jīng)元：

v2←sigmoid(Wijh1+ai)

對(duì)隱藏層神經(jīng)元賦值0或1：

ifv2> 0到1之間隨機(jī)數(shù)

thenv2= 1

elsev2= 0

再次計(jì)算隱藏層激活概率h2：

h2←sigmoid(Wijv2+bj)

步驟2 根據(jù)CD-1算法更新網(wǎng)絡(luò)參數(shù)：

Wij←Wij+Wv

ai←ai+av

bj←bj+bv

步驟3 計(jì)算輸入數(shù)據(jù)與隱藏層神經(jīng)元之間的相似度：

選取相似度最優(yōu)的隱藏層神經(jīng)元：

Sk←Fmax(Scos(j))

步驟4 選取最優(yōu)隱藏層神經(jīng)元的特征代表向量與重構(gòu)后的輸入向量v2計(jì)算差異度：

對(duì)滿足不同條件差異度的神經(jīng)元采取不同的措施：

ifσ>ρ

thenWik←Wik+kασWik

Wi,j≠k←Wi,j≠k-kασWik

dik←dikv2

else拋棄最優(yōu)神經(jīng)元，重新搜索

步驟5 重復(fù)迭代直至達(dá)到最大網(wǎng)路迭代次數(shù)epoch。

2.3 ART-DBN訓(xùn)練規(guī)則及其故障診斷應(yīng)用

作為構(gòu)成ART-DBN模型的基礎(chǔ)單元，改進(jìn)的ART-DBN訓(xùn)練規(guī)則與傳統(tǒng)DBN訓(xùn)練規(guī)則的流程相似，ART-DBN也是采用貪婪學(xué)習(xí)算法的方法逐層訓(xùn)練ART-RBM，而后采用反向傳播算法對(duì)ART-DBN模型全局調(diào)優(yōu)。不同的是將傳統(tǒng)的DBN網(wǎng)絡(luò)中針對(duì)RBM預(yù)訓(xùn)練步驟更新為針對(duì)ART-RBM的預(yù)訓(xùn)練步驟。故而基于ART-DBN網(wǎng)絡(luò)模型的故障診斷方法如圖5所示。

圖5 基于ART-DBN網(wǎng)絡(luò)的故障診斷圖Fig.5 Fault diagnosis based on ART-DBN network

ART-DBN網(wǎng)絡(luò)模型通過(guò)對(duì)原始故障數(shù)據(jù)的訓(xùn)練和學(xué)習(xí)，完成對(duì)已知故障類別的識(shí)別，然后將待診斷的故障數(shù)據(jù)輸入網(wǎng)絡(luò)模型中，由模型提取待診斷故障數(shù)據(jù)的特征向量并進(jìn)行識(shí)別診斷，完成對(duì)待診斷故障數(shù)據(jù)的診斷工作。

3 實(shí)驗(yàn)分析

本章首先在三種網(wǎng)絡(luò)公開(kāi)數(shù)據(jù)集上，將提出的ART-DBN網(wǎng)絡(luò)模型與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型、文獻(xiàn)[17]所提出的改進(jìn)網(wǎng)絡(luò)模型(以下簡(jiǎn)稱SP-DBN)等進(jìn)行對(duì)比實(shí)驗(yàn)，以觀察提出的ART-DBN網(wǎng)絡(luò)模型的性能優(yōu)劣；然后將所提出的網(wǎng)絡(luò)應(yīng)用于實(shí)際的小樣本數(shù)據(jù)集故障診斷以檢驗(yàn)?zāi)Ｐ偷膶?shí)時(shí)性和實(shí)用性。

3.1 參數(shù)選取

實(shí)驗(yàn)中設(shè)定的各項(xiàng)基本參數(shù)為：學(xué)習(xí)率α為0.01，稀疏正則化參數(shù)λ為0.000 5，沖量p為0，批訓(xùn)練量batchsizes在ORL數(shù)據(jù)集下為30，在MNIST和CIFAR-10數(shù)據(jù)集下為100，網(wǎng)絡(luò)搜索次數(shù)epoch在ORL數(shù)據(jù)集下為1 000次，在MNIST和CIFAR-10數(shù)據(jù)集下為3 000次。實(shí)驗(yàn)開(kāi)發(fā)環(huán)境為Matlab R2015b。

3.2 特征可視化實(shí)驗(yàn)

本節(jié)首先對(duì)所提出的ART-DBN網(wǎng)絡(luò)、傳統(tǒng)的DBN網(wǎng)絡(luò)和稀疏DBN網(wǎng)絡(luò)三種模型在ORL數(shù)據(jù)集上進(jìn)行可視化操作，以檢驗(yàn)三種模型的特征提取能力。實(shí)驗(yàn)一中，三種模型均選取可視層節(jié)點(diǎn)數(shù)為784和隱藏層節(jié)點(diǎn)數(shù)為100的RBM網(wǎng)絡(luò)結(jié)構(gòu)，模型學(xué)習(xí)得到的可視化圖形如圖6所示。

圖6 特征可視化圖Fig.6 Feature visualization

從圖6可以看出，三類網(wǎng)絡(luò)結(jié)構(gòu)與原圖相比，傳統(tǒng)的DBN網(wǎng)絡(luò)模型對(duì)特征提取較差，特征點(diǎn)分布的雜亂無(wú)章，無(wú)法人眼識(shí)別出所提取的內(nèi)容；稀疏的DBN網(wǎng)絡(luò)模型對(duì)特征提取較好，圍繞著原圖形的亮點(diǎn)出現(xiàn)有規(guī)則的分布，人眼對(duì)少數(shù)圖片能識(shí)別出所提取的內(nèi)容；ART-DBN網(wǎng)絡(luò)模型對(duì)特征提取最好，特征點(diǎn)基本與原圖形相吻合，人眼大致能識(shí)別出所提取的內(nèi)容。

由此可以得出所提出的ART-DBN網(wǎng)絡(luò)模型通過(guò)添加ART層強(qiáng)化某一種類型的神經(jīng)元，使得網(wǎng)絡(luò)模型對(duì)某一類圖形特征提取的能力顯著提高，能夠較好地學(xué)習(xí)輸入圖片中所包含的特征數(shù)據(jù)并且能較完整地還原出原圖形。

3.3 MNIST數(shù)據(jù)集下對(duì)比實(shí)驗(yàn)

MNIST數(shù)據(jù)集包含10組，每組7 000張，共70 000張手寫(xiě)黑白照片。本文選取其中每組6 000張照片，共60 000張照片作為訓(xùn)練數(shù)據(jù)集用以訓(xùn)練網(wǎng)絡(luò)，選取余下的每組1 000張照片，共10 000張照片作為測(cè)試數(shù)據(jù)集用以測(cè)試網(wǎng)絡(luò)性能。

在MNSIT數(shù)據(jù)集下，本小節(jié)進(jìn)行了兩組實(shí)驗(yàn)以驗(yàn)證ART-DBN網(wǎng)絡(luò)模型的優(yōu)越性。實(shí)驗(yàn)二為雙隱藏層數(shù)200，100條件下，不同差異度取值的準(zhǔn)確率比較，實(shí)驗(yàn)結(jié)果如圖7所示。實(shí)驗(yàn)三為固定差異度條件下，不同雙隱藏層節(jié)點(diǎn)數(shù)的準(zhǔn)確率比較，實(shí)驗(yàn)結(jié)果如表1所示。

表1 MNIST數(shù)據(jù)集上四種模型的準(zhǔn)確度

圖7 MNIST數(shù)據(jù)集上差異度變化圖Fig.7 Different degrees on MNIST

從圖7可以看出，本文提出的ART-DBN網(wǎng)絡(luò)模型的準(zhǔn)確率始終高于稀疏的DBN網(wǎng)絡(luò)模型的準(zhǔn)確率，說(shuō)明了MNIST數(shù)據(jù)集下改進(jìn)的DBN較稀疏DBN網(wǎng)絡(luò)更加優(yōu)異，同時(shí)可以看出ART-DBN網(wǎng)絡(luò)模型在200，100雙隱藏層條件下，準(zhǔn)確率處于98%左右。選取差異度σ為0.45，具有一定的代表性。

表1為ART-DBN網(wǎng)絡(luò)模型與BP、傳統(tǒng)DBN、稀疏DBN三種網(wǎng)絡(luò)模型不同隱藏層數(shù)條件下的對(duì)比實(shí)驗(yàn)，其中ART-DBN網(wǎng)絡(luò)模型中的差異度σ根據(jù)實(shí)驗(yàn)四賦值為0.45。從表1中可以看出，BP網(wǎng)絡(luò)模型表現(xiàn)最差，稀疏DBN與傳統(tǒng)DBN網(wǎng)絡(luò)模型其次，ART-DBN網(wǎng)絡(luò)模型表現(xiàn)更為優(yōu)異。實(shí)驗(yàn)證明了BP神經(jīng)網(wǎng)絡(luò)對(duì)于大數(shù)據(jù)量的學(xué)習(xí)與分類已不相適應(yīng)，同時(shí)在MNIST數(shù)據(jù)集上，ART-DBN網(wǎng)絡(luò)模型較傳統(tǒng)的DBN網(wǎng)絡(luò)模型和稀疏的DBN網(wǎng)絡(luò)模型準(zhǔn)確率更高。但是由于傳統(tǒng)的DBN網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率已經(jīng)達(dá)到98%，提升準(zhǔn)確率的幅度不是很大。

3.4 CIFAR-10數(shù)據(jù)集下對(duì)比實(shí)驗(yàn)

CIFAR-10數(shù)據(jù)集包含10組，每組6 000張，共60 000張彩色圖像。本文提取所有彩色圖像RGB三色作為特征數(shù)據(jù)，可視層神經(jīng)元節(jié)點(diǎn)數(shù)為3×1 024個(gè)。本文選取其中每組5 000張圖片，共50 000張圖片作為訓(xùn)練數(shù)據(jù)集用以訓(xùn)練網(wǎng)絡(luò)，選取余下的每組1 000張圖片，共10 000張圖片作為測(cè)試數(shù)據(jù)集用以測(cè)試網(wǎng)絡(luò)性能。

在CIFAR-10數(shù)據(jù)集下，本小節(jié)進(jìn)行了兩組實(shí)驗(yàn)以驗(yàn)證ART-DBN網(wǎng)絡(luò)模型的優(yōu)越性。實(shí)驗(yàn)四為雙隱藏層數(shù)100，100條件下，不同差異度取值的準(zhǔn)確率比較，實(shí)驗(yàn)結(jié)果如圖8所示。實(shí)驗(yàn)五為固定差異度條件下，不同雙隱藏層節(jié)點(diǎn)數(shù)的準(zhǔn)確率比較，實(shí)驗(yàn)結(jié)果如表2所示。

從圖8可以看出，在雙隱藏層數(shù)為100，100的條件下，變化差異度的取值，ART-DBN網(wǎng)絡(luò)模型較稀疏DBN網(wǎng)絡(luò)模型表現(xiàn)略有下降，準(zhǔn)確率略有降低。分析原因可能是由于隱藏層數(shù)較少，網(wǎng)絡(luò)參數(shù)的更新調(diào)整使得網(wǎng)絡(luò)出現(xiàn)的正常范圍內(nèi)波動(dòng)。因?yàn)镃IFAR-10數(shù)據(jù)集的可視層節(jié)點(diǎn)數(shù)為3 072，較一般數(shù)據(jù)集偏多，為此選取差異度為0.35，降低差異度的取值是為了使得ART層更易滿足差異度閾值，從而極大程度對(duì)神經(jīng)元的權(quán)值更新調(diào)整。

圖8 CIFAR-10數(shù)據(jù)集上差異度變化圖Fig.8 Different degrees on CIFAR-10

表2為ART-DBN網(wǎng)絡(luò)模型與BP、傳統(tǒng)DBN、稀疏DBN三種網(wǎng)絡(luò)模型不同隱藏層數(shù)條件下的對(duì)比實(shí)驗(yàn)結(jié)果，其中ART-DBN網(wǎng)絡(luò)模型中的差異度σ根據(jù)實(shí)驗(yàn)四賦值為0.35。從表2中可以看出，BP網(wǎng)絡(luò)模型表現(xiàn)最差，稀疏DBN與傳統(tǒng)DBN網(wǎng)絡(luò)模型其次，ART-DBN網(wǎng)絡(luò)模型表現(xiàn)更為優(yōu)異。因?yàn)閷?duì)CIFAR-10數(shù)據(jù)集的學(xué)習(xí)，一般的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)后準(zhǔn)確率為50%左右，而B(niǎo)P神經(jīng)網(wǎng)絡(luò)屬于淺層神經(jīng)網(wǎng)絡(luò)，準(zhǔn)確率有所下降。實(shí)驗(yàn)證明了通過(guò)添加ART層的改進(jìn)神經(jīng)網(wǎng)絡(luò)較傳統(tǒng)DBN和稀疏DBN在準(zhǔn)確率上有所改善。

表2 CIFAR-10數(shù)據(jù)集上四種模型的準(zhǔn)確度

3.5 小樣本故障數(shù)據(jù)集的對(duì)比實(shí)驗(yàn)

小樣本故障數(shù)據(jù)集是對(duì)軍內(nèi)某通信控制裝備的正常狀態(tài)和六種故障狀態(tài)下的時(shí)域波形圖采樣1 000點(diǎn)并均值歸一化后得到的數(shù)據(jù)集，包含7組，每組200～1 000組數(shù)據(jù)不等，共計(jì)4 042組。本文選取每組80%左右數(shù)據(jù)，共3 470組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集用以訓(xùn)練網(wǎng)絡(luò)，選取余下的數(shù)據(jù)，共572組數(shù)據(jù)作為測(cè)試數(shù)據(jù)集用以測(cè)試網(wǎng)絡(luò)性能。

在武器裝備故障數(shù)據(jù)集下，本小節(jié)進(jìn)行了兩組實(shí)驗(yàn)以驗(yàn)證ART-DBN網(wǎng)絡(luò)模型的優(yōu)越性。實(shí)驗(yàn)六為固定差異度條件下，不同雙隱藏層節(jié)點(diǎn)數(shù)的準(zhǔn)確率比較，實(shí)驗(yàn)結(jié)果如表3所示。實(shí)驗(yàn)七為固定網(wǎng)絡(luò)參數(shù)條件下，各網(wǎng)絡(luò)模型對(duì)故障數(shù)據(jù)集分類準(zhǔn)確率上限的測(cè)試，實(shí)驗(yàn)結(jié)果如表4所示。

表3 故障數(shù)據(jù)集上四種模型的準(zhǔn)確度

表4 故障數(shù)據(jù)集上準(zhǔn)確度的上限

表3為ART-DBN網(wǎng)絡(luò)模型與BP、稀疏DBN、SP-DBN三種網(wǎng)絡(luò)模型不同隱藏層數(shù)條件下的對(duì)比實(shí)驗(yàn)結(jié)果，其中ART-DBN網(wǎng)絡(luò)模型中差異度σ賦值為0.7。從表3中可以看出，本文改進(jìn)的DBN模型對(duì)裝備故障數(shù)據(jù)集的學(xué)習(xí)和分類能力強(qiáng)過(guò)傳統(tǒng)的BP、DBN網(wǎng)絡(luò)模型。但是由于本文未對(duì)時(shí)域波形圖采取如小波變化等方法的特征提取，所以準(zhǔn)確較低。

表4為裝備故障數(shù)據(jù)集下，五種網(wǎng)絡(luò)模型準(zhǔn)確率上限的測(cè)試實(shí)驗(yàn)結(jié)果。通過(guò)反復(fù)實(shí)驗(yàn)嘗試，得出改進(jìn)DBN網(wǎng)絡(luò)模型的準(zhǔn)確率上限為90%左右，較其他四種網(wǎng)絡(luò)模型有一定改善，在武器裝備故障診斷領(lǐng)域的表現(xiàn)優(yōu)于其他四種網(wǎng)絡(luò)模型。

3.6 小樣本故障診斷的性能分析

為了更好地評(píng)價(jià)改進(jìn)的方案，我們引入準(zhǔn)確率、召回率、精確率等指標(biāo)全面衡量其性能優(yōu)劣。如果以P(Positive)和N(Negative)分別代表真實(shí)的正常數(shù)據(jù)和故障數(shù)據(jù)的數(shù)量，以T(Ture)和F(False)代表模型判斷正確和錯(cuò)誤的數(shù)量，那么TP則表示模型判斷為正常數(shù)據(jù)，實(shí)際也是正常數(shù)據(jù)的數(shù)量；TN則表示模型判斷為故障數(shù)據(jù)，實(shí)際也是故障數(shù)據(jù)的數(shù)量；FP則表示模型判斷為故障數(shù)據(jù)，但實(shí)際卻是正常數(shù)據(jù)的數(shù)量；FN則表示模型判斷為正常數(shù)據(jù)，但實(shí)際也是故障數(shù)據(jù)的數(shù)量。需要說(shuō)明的是上述三種指標(biāo)適用于基于二分類的機(jī)器學(xué)習(xí)方法，但在此處我們將所有的不同類型的故障數(shù)據(jù)統(tǒng)稱為故障數(shù)據(jù)，因此該指標(biāo)參數(shù)同樣適用于本實(shí)驗(yàn)。

由此即可定義：

實(shí)驗(yàn)八為對(duì)上述三種模型在隱藏層為100-40條件下各識(shí)別結(jié)果的統(tǒng)計(jì)，結(jié)果如表5。

表5 故障數(shù)據(jù)集上各模型指標(biāo)對(duì)比表

從表5可以得知：改進(jìn)模型的召回率為45.45%，精確率為75%。分別與其他兩種模型對(duì)比發(fā)現(xiàn)，改進(jìn)模型在召回率上表現(xiàn)最好，說(shuō)明對(duì)于正常樣本，改進(jìn)模型能起到很好的識(shí)別作用，同時(shí)計(jì)算得出在所有故障樣本中，改進(jìn)模型識(shí)別為故障樣本的比例為95.73%，漏警概率為54.55%，在三種模型中表現(xiàn)最好。通過(guò)實(shí)驗(yàn)可以證明小樣本數(shù)據(jù)集的故障診斷，改進(jìn)模型性能優(yōu)于其他兩種模型，一定程度上解決了小樣本故障數(shù)據(jù)集下網(wǎng)絡(luò)訓(xùn)練效果差的問(wèn)題。

3.7 小樣本故障診斷的訓(xùn)練時(shí)間分析

不可否認(rèn)的是通過(guò)在網(wǎng)絡(luò)中額外加入了一層用于強(qiáng)化特征提取的ART層，會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練的時(shí)間額外增加，故此又進(jìn)行了一組實(shí)驗(yàn)以測(cè)算改進(jìn)模型用于故障診斷所耗費(fèi)的時(shí)間。實(shí)驗(yàn)九為在通信控制設(shè)備故障數(shù)據(jù)條件下的網(wǎng)絡(luò)訓(xùn)練耗時(shí)測(cè)算實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表6所示。

從表6可以看出改進(jìn)網(wǎng)絡(luò)模型較傳統(tǒng)模型訓(xùn)練時(shí)間延長(zhǎng)了2～3倍，但對(duì)于故障診斷領(lǐng)域，適當(dāng)犧牲訓(xùn)練時(shí)長(zhǎng)而換取更好的訓(xùn)練效果和更高的分類準(zhǔn)確率是值得的。

表6 故障數(shù)據(jù)集上的訓(xùn)練耗時(shí)

4 結(jié)論

本文提出了基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方法。該方法通過(guò)將深度置信網(wǎng)絡(luò)與自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)結(jié)合，優(yōu)化網(wǎng)絡(luò)特征提取的能力，提升網(wǎng)絡(luò)學(xué)習(xí)和分類能力以減少網(wǎng)絡(luò)訓(xùn)練對(duì)數(shù)據(jù)的依賴程度，利用ORL，MNIST和CIFAR-10等網(wǎng)絡(luò)公開(kāi)數(shù)據(jù)集測(cè)試改進(jìn)的深度置信網(wǎng)絡(luò)模型的性能，并將改進(jìn)網(wǎng)絡(luò)模型應(yīng)用于小樣本故障數(shù)據(jù)集上。實(shí)驗(yàn)驗(yàn)證結(jié)果表明，較基于傳統(tǒng)網(wǎng)絡(luò)模型的故障診斷而言，基于改進(jìn)模型的方法通過(guò)添加新的隱藏層，強(qiáng)化了模型特征提取能力，提高了故障診斷的準(zhǔn)確率。