深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在電力變壓器故障診斷中的應(yīng)用

石鑫，朱永利

(華北電力大學(xué)控制與計算機工程學(xué)院，河北省保定市071003)

0 引言

由于油浸式電力變壓器在不同運行狀態(tài)時油中溶解氣體的類型和含量不同，油中溶解氣體分析(dissolved gas-in-oil analysis，DGA)長期以來成為判別其運行狀態(tài)的一種有效手段［1-5］。隨著人工智能技術(shù)的發(fā)展，國內(nèi)外學(xué)者基于DGA提出了人工神經(jīng)網(wǎng)絡(luò)(artficial neural network，ANN)［6-7］、支持向量機(support vector machine，SVM)［8-9］和極限學(xué)習(xí)機(extreme learning machine，ELM)［10］等電力變壓器智能診斷方法。但是ANN方法收斂速度慢、易發(fā)生震蕩［6-7］;SVM方法本質(zhì)上屬于二分類算法，在多分類問題上存在構(gòu)造學(xué)習(xí)器困難及分類效率低的缺點，而且核函數(shù)的選擇和參數(shù)的確定比較困難［8-9］;ELM方法訓(xùn)練速度快，但是穩(wěn)定性比較差［10］。同時，上述方法均屬于淺層機器學(xué)習(xí)方法，學(xué)習(xí)能力有限，診斷準(zhǔn)確率達到一定高度時很難再有大的提高;而且它們要求樣本準(zhǔn)確、完備，方能得到比較滿意的診斷結(jié)果，這樣便無法有效利用變壓器油色譜在線監(jiān)測所獲得的大量無標(biāo)簽樣本。

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(deeplearningneural network，DLNN)是2006年由Hinton教授提出的一種深層機器學(xué)習(xí)方法［11］，具有較強的從樣本中提取特征以及對特征進行轉(zhuǎn)換的能力，學(xué)習(xí)能力強，是近幾年國內(nèi)外研究和探討的一個熱點［12-15］。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時采用無監(jiān)督機器學(xué)習(xí)方法，從而可以利用變壓器油色譜在線監(jiān)測所獲得的大量無標(biāo)簽樣本完成模型的預(yù)訓(xùn)練過程，優(yōu)化模型參數(shù)，進而提高模型分類的準(zhǔn)確率。目前，它已經(jīng)成功應(yīng)用于語音識別［16-17］、目標(biāo)識別［18-19］、自然語言處理［20］等方面，但在電力變壓器故障診斷方面應(yīng)用的研究才剛剛起步。

基于DLNN，本文首先構(gòu)建分類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，并用典型的分類數(shù)據(jù)集對其分類性能進行分析驗證。然后，結(jié)合電力變壓器油色譜在線監(jiān)測數(shù)據(jù)和DGA數(shù)據(jù)特征及故障類型，提出一種新的變壓器故障診斷方法。該方法采用半監(jiān)督機器學(xué)習(xí)方法，學(xué)習(xí)能力強，能夠診斷出電力變壓器各種運行狀態(tài)的概率，為工作人員決定是否對變壓器進行檢修提供更多參考信息。最后，對文中提出的方法予以工程實例測試，并與基于BP神經(jīng)網(wǎng)絡(luò)和SVM的故障診斷方法進行對比分析。

1 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)介紹

DLNN簡單可以理解為具有多個隱含層的神經(jīng)網(wǎng)絡(luò)，通過特征轉(zhuǎn)換或特征提取來發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在屬性，使其分類更加容易，進而提高分類的準(zhǔn)確率。DLNN的方法主要包括自動編碼器(autoencoder，AE)、受 限 玻 爾 茲 曼 機 (restricted Boltzmann machine，RBM)和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)［21-22］，其 中，CNN主要用于圖像處理方面，并不適用于變壓器故障診斷，這里不再作過多介紹。

1.1 自動編碼器

根據(jù)美國斯坦福大學(xué)教授Andrew Ng的課程筆記［23］，自動編碼器的相關(guān)理論簡單介紹如下。

一個基本的AE可視為一個3層的神經(jīng)網(wǎng)絡(luò)，其中輸出層與輸入層具有相同的規(guī)模，結(jié)構(gòu)如圖1所示。通常，將輸入層到隱含層的變換過程稱為編碼，將隱含層到輸出層的變換過程稱為解碼。設(shè)f和g分別表示編碼和解碼函數(shù)，則2個過程可分別表示如下:

式中:Sf和Sg通常取為sigmoid函數(shù);W表示輸入層與隱含層之間的權(quán)值矩陣;WT表示隱含層與輸出層之間的權(quán)值矩陣;p表示隱含層的偏置向量;q表示輸出層的偏置向量。為下面表示方便，將AE的參數(shù)記為θ。

圖1 AE結(jié)構(gòu)Fig.1 AE structure

假設(shè)訓(xùn)練樣本集S={x1，…，xn}，預(yù)訓(xùn)練AE的過程實質(zhì)上就是利用S對參數(shù)θ進行訓(xùn)練的過程。為此，我們首先需定義一個訓(xùn)練目標(biāo)，即解碼后的y應(yīng)與輸入x盡可能接近，這種接近程度可以通過重構(gòu)誤差函數(shù)L(x，y)來刻畫，L(x，y)定義為

基于重構(gòu)誤差函數(shù)，針對訓(xùn)練數(shù)據(jù)集S，損失函數(shù)如式(4)所示，通過對損失函數(shù)作極小化處理便可以得到該層AE參數(shù)θ。

然而，在實際應(yīng)用中，如果直接對損失函數(shù)作極小化，有時候很可能得到的是一個恒等函數(shù)。為了避免這種情況，我們可以對損失函數(shù)進行稀疏性限制，即稀疏自編碼。實現(xiàn)時通常采用一種基于相對熵的方法，則損失函數(shù)如式(5)所示:

式中:β為控制稀疏性懲罰項的權(quán)重系數(shù);ρ為稀疏性參數(shù);ρ∧j表示輸入為xi時隱藏層上第j號神經(jīng)元在訓(xùn)練集S上的平均激活度。KL(ρ||ρ∧j)的表達式如式(6)所示:

1.2 受限玻爾茲曼機

依據(jù)文獻［12］和［13］，RBM 相關(guān)理論簡單介紹如下。

一層RBM包含一個可視層v和一個隱含層h，結(jié)構(gòu)如圖2所示。假設(shè)v層有r個可見單元，h層有t個隱單元。那么，一個RBM的能量可以表示為

式中:vi為可見層單元i的取值;hj為隱含層單元j的取值，取值為1時表示該單元處于激活態(tài)，為0時表示處于未激活態(tài);RBM的參數(shù)W、a和b簡記為θ，W為可視層與隱含層之間的連接權(quán)重;a為可視層的偏置向量;b為隱含層的偏置向量。基于RBM的能量表示，(v，h)的聯(lián)合概率分布可以表示為

式中:Z(θ)= ∑v，he－E(v，h|θ)為歸一化因子，即配分函數(shù)，則P(v|θ)的似然函數(shù)可以表示為

圖2 RBM結(jié)構(gòu)Fig.2 RBM structure

通過梯度下降法對式(9)進行極大化便可求得參數(shù)θ，為計算簡便，等效為對其對數(shù)進行極大化，關(guān)鍵步驟是計算lnP(v|θ)關(guān)于參數(shù)θ的偏導(dǎo)數(shù)，即

式中:＜·＞P表示關(guān)于分布P的數(shù)學(xué)期望;P(h|v，θ)表示可視層限定為已知的訓(xùn)練樣本v時隱含層的概率分布;P(v|h，θ)表示可視層與隱含層的聯(lián)合概率分布。

為方便表示，用“data”表示 P(h|v，θ)，用“model”表示 P(v|h，θ)，現(xiàn)在假設(shè)只有1 個樣本，則lnP(v|θ)關(guān)于參數(shù)θ的偏導(dǎo)數(shù)分別為:

式中:＜·＞data表示對數(shù)據(jù)集的期望;＜·＞model表示模型中定義的期望值。

實際應(yīng)用中，很難得到無偏樣本，所以＜·＞model難以計算，通常采用CD算法對重構(gòu)數(shù)據(jù)近似采樣，更新網(wǎng)絡(luò)參數(shù)θ［12］。以從訓(xùn)練集中選取的一個訓(xùn)練樣本x0為例，算法步驟如下。

步驟1:初始化網(wǎng)絡(luò)參數(shù)θ及可視層單元的初始值v0=x0，設(shè)定RBM最大訓(xùn)練迭代次數(shù)。

步驟2:對所有隱單元計算P(h0j=1|v0)=

步驟3:對所有可見單元，計算P(v1i=1|h0)=中抽取 v1～P(v1|h0)。

步驟4:對所有隱單元計算P(h1j=1|v0)=

步驟5:按下列各式更新各個參數(shù):

步驟6:重復(fù)步驟2到5，直至達到最大迭代次數(shù)或重構(gòu)誤差足夠小，結(jié)束該層RBM的訓(xùn)練。

2 分類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

2.1 分類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型

本文構(gòu)建了分類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(classification deep learning neural network，CDLNN)模型，它的前部由若干層AE或RBM堆疊而成，頂部增加代表期望輸出變量的最后層，即分類層，框架如圖3所示。這里，分類器選用Softmax，它適用于多分類問題，能夠以概率形式給出各分類結(jié)果，與CDLNN結(jié)合起來，往往會獲得較優(yōu)的判別性能［24-25］。

圖3 CDLNN模型Fig.3 CDLNN mo del

CDLNN用于多分類問題時，訓(xùn)練過程分為預(yù)訓(xùn)練和調(diào)優(yōu)2個階段。預(yù)訓(xùn)練主要是采用無標(biāo)簽樣本或去標(biāo)簽樣本作為網(wǎng)絡(luò)的輸入，通過BP算法或CD算法完成底部若干層AE或RBM參數(shù)的初始化;調(diào)優(yōu)則是通過標(biāo)簽樣本對包括分類層在內(nèi)的整個網(wǎng)絡(luò)參數(shù)進行微調(diào)，使得網(wǎng)絡(luò)判別性能達到最優(yōu)。

2.2 CDLNN分類性能測試

采用2.1節(jié)中構(gòu)建的CDLNN對Iris、Synthetic、Fourclass、Diabetes這4個數(shù)據(jù)集進行分類，網(wǎng)絡(luò)參數(shù)θ初始化為服從高斯分布的隨機較小數(shù)值，初始學(xué)習(xí)速率值設(shè)為0.1，參數(shù)更新速率值設(shè)為0.01。

為便于下面描述，筆者將CDLNN分為CDLNN1和CDLNN2，CDLNN1表示模型前部由若干層AE堆疊而成，CDLNN2表示模型前部由若干層RBM堆疊而成。表1給出了CDLNN1和CDLNN2對不同數(shù)據(jù)集的分類情況。從表1中可以看出，CDLNN1和CDLNN2對不同數(shù)據(jù)集均具有較高的平均分類正確率，表明所構(gòu)建的CDLNN模型適用于多分類問題。

表1 CDLNN對不同數(shù)據(jù)集分類情況Table 1 CDLNN classification on different datasets

3 基于CDLNN的變壓器故障診斷方法

3.1 選取樣本數(shù)據(jù)

為避免樣本集偏斜，同時又能保證得到足夠多的樣本，可以選取多個工程現(xiàn)場記錄的投運年限相近的相同型號變壓器發(fā)生故障前后較短一段時間內(nèi)的油色譜在線監(jiān)測數(shù)據(jù)，這些數(shù)據(jù)為無標(biāo)簽數(shù)據(jù)，可以用作預(yù)訓(xùn)練樣本。對于調(diào)優(yōu)階段采用的少量調(diào)優(yōu)樣本，可以通過搜集相同型號故障變壓器DGA結(jié)果樣本數(shù)據(jù)獲得，這些樣本為帶標(biāo)簽樣本。

3.2 選取特征變量

根據(jù)工程現(xiàn)場在線監(jiān)測數(shù)據(jù)特點，考慮到CDLNN具有較強的樣本特征轉(zhuǎn)換及特征提取能力，選取 H2、CH4、C2H6、C2H4、C2H2、CO、CO2這 7 種特征氣體變量。為了縮小特征氣體含量值的差異，減小計算誤差，采用式(14)對各特征氣體含量值進行標(biāo)準(zhǔn)化處理。

式中:xnew為標(biāo)準(zhǔn)化后氣體的含量值;x為氣體原始含量值;xmean為訓(xùn)練集或測試集X中該類氣體含量的均值;xstd為X中該類氣體含量的標(biāo)準(zhǔn)差值。

3.3 變壓器狀態(tài)編碼

根據(jù)電力變壓器運行過程中易發(fā)生的故障，將其診斷結(jié)果分為6種，具體故障類型及編碼如表2所示。

表2 變壓器狀態(tài)編碼Table 2 Transformer status encoding

3.4 變壓器故障診斷CDLNN模型

變壓器故障診斷的CDLNN模型，結(jié)構(gòu)如圖4所示。模型的輸入為3.2節(jié)中經(jīng)標(biāo)準(zhǔn)化處理的7種油中溶解特征氣體含量值，模型的輸出為變壓器處于各種運行狀態(tài)的概率，概率值最大的狀態(tài)即為故障診斷結(jié)果。

變壓器故障診斷CDLNN模型的訓(xùn)練過程同CDLNN一樣，分為預(yù)訓(xùn)練和調(diào)優(yōu)。預(yù)訓(xùn)練主要是采用大量預(yù)訓(xùn)練樣本完成網(wǎng)絡(luò)底部若干層AE或RBM參數(shù)的初始化;調(diào)優(yōu)則是通過少量調(diào)優(yōu)樣本對包括分9類器層在內(nèi)的整個網(wǎng)絡(luò)參數(shù)進行微調(diào)，使得網(wǎng)絡(luò)的故障診斷性能達到最優(yōu)。

圖4 基于CDLNN的變壓器故障診斷模型Fig.4 Transformer fault diagnosis model based on CDLNN

3.5 基于CDLNN的變壓器故障診斷方法

基于CDLNN的變壓器故障診斷步驟如下:

(1)選取樣本數(shù)據(jù)和特征變量;

(2)對變壓器狀態(tài)進行編碼;

(3)建立變壓器故障診斷CDLNN模型;

(4)初始化變壓器故障診斷CDLNN模型參數(shù)為服從高斯分布的較小隨機數(shù)值;

(5)采用預(yù)訓(xùn)練集中無標(biāo)簽樣本通過BP算法或CD算法對模型底部若干層AE或RBM進行預(yù)訓(xùn)練;

(6)采用調(diào)優(yōu)集中標(biāo)簽樣本通過BP算法對整個CDLNN網(wǎng)絡(luò)進行微調(diào);

(7)保存訓(xùn)練好的網(wǎng)絡(luò)并利用測試集樣本對網(wǎng)絡(luò)診斷性能進行測試。

4 工程實例分析

本文選用某變壓器廠多個工程現(xiàn)場記錄的同一型號變壓器發(fā)生故障前后某段時間內(nèi)的油色譜在線監(jiān)測數(shù)據(jù)，通過DBSCAN算法對其進行聚類，平衡選取正常簇、近似故障簇和故障簇樣本數(shù)據(jù)共1 500條作為預(yù)訓(xùn)練集，另用工程現(xiàn)場搜集到的300組相同型號故障變壓器DGA實驗樣本用作調(diào)優(yōu)集和測試集，比例為2∶1。與2.2節(jié)相同，用CDLNN1和CDLNN2分別表示模型前部由若干層AE和RBM堆疊而成的CDLNN模型，對于CDLNN故障診斷方法，筆者由工程數(shù)據(jù)作了如下測試。

(1)不同AE層數(shù)時CDLNN1故障診斷情況。

分別測試了AE層數(shù)從0到10時基于CDLNN1的變壓器故障診斷平均正確率，如圖5所示。圖5中“診斷平均正確率－AE層數(shù)”曲線表明，AE層數(shù)達到3層時，故障診斷平均正確率已經(jīng)很高，之后隨著AE層數(shù)增加，正確率增長緩慢。實際訓(xùn)練時，隨著AE層數(shù)的增加，訓(xùn)練時間增長，綜合考慮故障診斷效果和訓(xùn)練時間2個因素，下面測試中選取AE層數(shù)為3層。

圖5 不同AE層數(shù)時基于CDLNN1的變壓器故障診斷情況Fig.5 Correct fault diagnosis rate of transformers based on CDLNN1 with different AE layers

(2)CDLNN2故障診斷情況與預(yù)訓(xùn)練集、網(wǎng)絡(luò)層數(shù)的關(guān)系。

測試中，筆者發(fā)現(xiàn)基于CDLNN2的變壓器故障診斷平均正確率與預(yù)訓(xùn)練集大小和網(wǎng)絡(luò)層數(shù)均有一定的關(guān)系，而且預(yù)訓(xùn)練集不同時，網(wǎng)絡(luò)最優(yōu)層數(shù)也會發(fā)生相應(yīng)變化。由實測數(shù)據(jù)經(jīng)過大量實驗，繪制出三者之間的關(guān)系圖，如圖6所示。

圖6 不同網(wǎng)絡(luò)層數(shù)、預(yù)訓(xùn)練集時基于CDLNN2的變壓器故障診斷情況Fig.6 Correct fault diagnosis rate of transformers based on CDLNN2 with different network layers and pre-training sets

由圖6可知，隨著預(yù)訓(xùn)練集的增大，CDLNN2故障診斷平均正確率達到最高時的最少網(wǎng)絡(luò)層數(shù)由開始時的6層增加到8層，層數(shù)逐漸增加。在預(yù)訓(xùn)練集一定的情況下，隨著網(wǎng)絡(luò)層數(shù)的增加，故障診斷平均正確率呈上升趨勢，達到一定層數(shù)時，上升趨勢變緩。

(3)不同預(yù)訓(xùn)練集時CDLNN故障診斷情況。

筆者測試了不同預(yù)訓(xùn)練集時CDLNN1和CDLNN2這2種方法的故障診斷情況，如表3所示。

表3 不同預(yù)訓(xùn)練集時基于CDLNN的變壓器故障診斷情況Table 3 Transformer fault diagnosis based on CDLNN in different pre-training sets

從表3中能夠看出，隨著預(yù)訓(xùn)練集的增大，基于CDLNN1和CDLNN2的變壓器故障診斷平均正確率不斷提高。同時，基于CDLNN1的變壓器故障診斷平均正確率略高于CDLNN2，但總體來看，二者均具有較優(yōu)的故障診斷性能，這表明CDLNN適用于變壓器故障診斷。

作為對比，相同實驗條件下筆者對GB 7252—2001推薦的改良三比值法［26］、BPNN和SVM 這3種故障診斷方法分別進行了實驗，實驗結(jié)果如表4所示。表4中，cepochs和vlr分別表示BPNN最大訓(xùn)練迭代次數(shù)和學(xué)習(xí)速率，C和γ分別表示SVM規(guī)則化系數(shù)和核函數(shù)參數(shù)，這里核函數(shù)選用RBF。

表4 不同訓(xùn)練集時基于BPNN、SVM的變壓器故障診斷情況Table 4 Transformer fault diagnosis based on BPNN and SVM in different training sets

通過表3和表4的故障診斷結(jié)果對比可知，本文提出的CDLNN故障診斷方法同三比值法、BPNN、SVM方法相比，具有更高的平均故障診斷準(zhǔn)確率，可以為檢修人員提供更為準(zhǔn)確的參考信息。此外，筆者在測試中發(fā)現(xiàn)CDLNN故障診斷方法平均診斷正確率會隨著訓(xùn)練集的增大不斷增高，增長趨勢逐漸變緩;而BPNN和SVM診斷方法的平均診斷正確率在訓(xùn)練集超過200時基本保持不變，甚至?xí)杂薪档?。這表明CDLNN相對于BPNN和SVM方法，訓(xùn)練時采用半監(jiān)督學(xué)習(xí)方法，具有更強的學(xué)習(xí)能力，可擴展性更好。

5 結(jié)論

(1)構(gòu)建了分類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，并對其分類性能進行了分析，典型數(shù)據(jù)集測試表明，CDLNN適用于多分類問題。

(2)提出了基于CDLNN的電力變壓器故障診斷新方法，它采用半監(jiān)督機器學(xué)習(xí)方法，可以有效利用油色譜在線監(jiān)測所獲得的無標(biāo)簽樣本對網(wǎng)絡(luò)進行預(yù)訓(xùn)練，克服了BPNN、SVM方法無法利用無標(biāo)簽樣本訓(xùn)練的缺點，具有更強的學(xué)習(xí)能力，故障診斷性能更優(yōu)。

(3)工程實例分析表明，CDLNN診斷方法隨著預(yù)訓(xùn)練集增大，故障診斷平均正確率不斷增高，該方法適用于大量樣本的訓(xùn)練，可擴展性好，與BPNN、SVM故障診斷方法相比，診斷平均正確率更高，可以為變壓器檢修提供更為準(zhǔn)確的參考信息。

致 謝

本研究受到國家電網(wǎng)公司浙北—福州特高壓輸變電工程專項研究經(jīng)費資助，在此表示感謝!

［1］ Tang W H，Wu Q H．Condition monitoring and assessment of power transformers using computational intelligence［M］．New York:Springer-Verlag Press，2011．

［2］朱德恒，嚴(yán)璋，談克雄，等．電氣設(shè)備狀態(tài)監(jiān)測與故障診斷技術(shù)［M］．北京:中國電力出版社，2009．

［3］王國平，余濤，傅森木，等．基于DGA的變壓器故障診斷智能方法分析［J］．電力建設(shè)，2015，36(6):34-39．Wang Guoping，Yu Tao，F(xiàn)u Senmu，et al．Intelligent methods for transformer fault diagnosis based on DGA［J］．Electric Power Construction，2015，36(6):34-39．

［4］尹金良，朱永利，俞國勤，等．基于高斯過程分類器的變壓器故障診斷［J］．電工技術(shù)學(xué)報，2013，28(1):158-164．Yin Jinliang，Zhu Yongli，Yu Guoqin，et al．Fault diagnosis of transformers based on Gaussian process classifier［J］．Transactions of China Electrotechnical Society，2013，28(1):158-164．

［5］王致杰，徐余法，劉三明，等．電力設(shè)備狀態(tài)監(jiān)測與故障診斷［M］．上海:上海交通大學(xué)出版社，2012．

［6］王濤，王曉霞．基于改進PSO-BP算法的變壓器故障診斷［J］．中國電力，2009，42(5):13-16．Wang Tao，Wang Xiaoxia．Power transformer fault diagnosis based on modified PSO-BP algorithm ［J］．Electric Power，2009，42(5):13-16．

［7］周建華，胡敏強，周鶚．基于共軛梯度方向的CP-BP算法在變壓器油中溶解氣體診斷法中的應(yīng)用［J］．中國電機工程學(xué)報，1999，19(3):41-45．Zhou Jianhua，Hu Minqiang，Zhou E．On the application of CP-BP algorithm for DGA-NN diagnosis in power transformer［J］．Proceedings of the CSEE，1999，19(3):41-45．

［8］張艷，吳玲．基于支持向量機和交叉驗證的變壓器故障診斷［J］．中國電力，2012，45(11):52-55．Zhang Yan，Wu Ling．Transformer fault diagnosis based on C-SVC and cross-validation algorithm ［J］．Electric Power，2012，45(11):52-55．

［9］尹玉娟，王媚，張金江，等．一種自主核優(yōu)化的二值粒子群優(yōu)化-多核學(xué)習(xí)支持向量機變壓器故障診斷方法［J］．電網(wǎng)技術(shù)，2012，36(7):249-254．Yin Yujuan，Wang Mei，Zhang Jinjiang，et al．An autonomic kernel optimization method to diagnose transformer faults by multi-kernel learning support vector classifier based on binary particle swarm optimization［J］．Power System Technology，2012，36(7):249-254．

［10］遇炳杰，朱永利．加權(quán)極限學(xué)習(xí)機在變壓器故障診斷中的應(yīng)用［J］．計算機工程與設(shè)計，2013，34(12):4340-4344．Yu Bingjie，Zhu Yongli．Transformer fault diagnosis using weighted extreme learning machine［J］．Computer Engineering and Design，2013，34(12):4340-4344．

［11］Hinton G E，Salakhutdinov R R．Reducing the dimension-ality of data with neural networks［J］．Science，2006，313(5786):504-507．

［12］Hinton G E，Osindero S，Teh Y W．A fast learning algorithm for deep belief nets［J］．Neural Computation，2006，18(7):1527–1554．

［13］ Bengio Y．Learning deep architectures for AI［J］．Foundations and Trends in Machine Learning，2009，2(1):1 – 127．

［14］Bengio Y，Courville A，Bincent P．Unsupervised feature learning and deep learning:a review and new perspectives［R］．Montreal:DepartmentofComputerScience and OperationsResearch，University of Montreal，2012．

［15］ Hinton G E．A practical guide to training restricted Boltzmann machines［R］．UMTL Tech Report 2010-003．Toronto，Canada:University of Toronto，2010．

［16］Baker J，Deng L，Glass J，et al．Developments and directions in speech recognition and understanding，Part 1［J］．IEEE Signal Processing Magazine，2009，26(3):75-80．

［17］Yu D，Deng L．Deep learning and its applications to signal and information processing ［J］．IEEE Signal Processing Magazine，2011，28(1):145-154．

［18］ Zhang Lijing，Liang Yingli．A fast method of face detection in video images［C］//The 2nd IEEE International Conference on Advanced Computer Control(ICACC 2010)，Shenyang，China，2010:490-494．

［19］Kalal Z，Mikolajczyk K，Matas J．Face-tld:Tracking-learningdetection applied to faces［C］//2010 International Conference on Image Processing(ICIP2010)，HongKong， China， 2010:3789-3792．

［20］ Collobert R，Weston J．A unified architecture for natural language processing:deep neural networks with multitask learning［C］//Proceedings ofthe 25th International Conference on Machine Learning，2008:160-167．

［21］余凱，賈磊，陳雨強，等．深度學(xué)習(xí)的昨天、今天和明天［J］．計算機研究與發(fā)展，2013，50(9):1799-1804．Yu Kai，Jia Lei，Chen Yuqiang，et al．Deep learning:yesterday，today，and tomorrow［J］．Journal of Computer Research and Development，2013，50(9):1799-1804．

［22］孫志軍，薛磊，許陽明，等．深度學(xué)習(xí)研究綜述［J］．計算機應(yīng)用研究，2012，29(8):2806-2809．Sun Zhijun，Xue Lei，Xu Yangming，et al．Overview of deeplearning［J］．Application Research of Computers，2012，29(8):2806-2809．

［23］Andrew Ng．UFLDL Tutorial． http://openclassroom．stanford．edu/MainFolder/CoursePage．php?course=DeepLearning

［24］馬勇，鮑長春，夏丙寅．基于辨別性深度信念網(wǎng)絡(luò)的說話人分割［J］．清華大學(xué)學(xué)報:自然科學(xué)版，2013，53(6):804-807．Ma Yong，Bao Changchun，Xia Bingyin．Speaker segmentation based on discriminative deep belief networks［J］．Journal of Tsinghua University:Science and Technology，2013，53(6):804-807．

［25］孫勁光，蔣金葉，孟祥福，等．一種數(shù)值屬性的深度置信網(wǎng)絡(luò)分類方法［J］．計算機工程與應(yīng)用，2014，50(2):112-115．Sun Jinguang， Jiang Jinye， Meng Xiangfu， etal． DBN classification algorithm for numerical attribute［J］．Computer Engineering and Applications，2014，50(2):112-115．

［26］王昌長，李福祺，高勝友．電力設(shè)備的在線監(jiān)測與故障診斷［M］．北京:清華大學(xué)出版社，2006．