長(zhǎng)短時(shí)記憶的風(fēng)電機(jī)組故障預(yù)測(cè)系統(tǒng)

鄭修楷，曾憲文

（上海電機(jī)學(xué)院電子信息學(xué)院，上海 201306）

風(fēng)力發(fā)電是一種新能源發(fā)電方式，在全球能源緊缺、環(huán)境污染嚴(yán)重的情況下，受到了世界各國(guó)的高度重視。我國(guó)風(fēng)電設(shè)備通常建立在風(fēng)力資源豐富的西北地區(qū)和東南、華北沿海地區(qū)，一旦發(fā)生停機(jī)事故，一方面維修復(fù)雜，另一方面根據(jù)實(shí)際情況，故障會(huì)造成3～8天的停機(jī)［1］，帶來(lái)巨大的經(jīng)濟(jì)損失?？紤]到風(fēng)機(jī)設(shè)備的故障機(jī)理多為應(yīng)力疲勞的累計(jì)，且應(yīng)力負(fù)載的累計(jì)難以統(tǒng)計(jì)和建模，在實(shí)際運(yùn)行維護(hù)過(guò)程中，往往槳距角發(fā)生明顯的異常后才進(jìn)行緊急停機(jī)處理［2］。

故障預(yù)測(cè)技術(shù)通過(guò)監(jiān)測(cè)設(shè)備的實(shí)時(shí)運(yùn)行數(shù)據(jù)，在故障發(fā)生之前以一定概率對(duì)未來(lái)的設(shè)備運(yùn)行狀態(tài)進(jìn)行預(yù)估［3］，從而做好充分的準(zhǔn)備工作，保證風(fēng)電機(jī)組的平穩(wěn)運(yùn)行。目前，故障預(yù)測(cè)技術(shù)都是以數(shù)據(jù)為驅(qū)動(dòng)，對(duì)歷史數(shù)據(jù)進(jìn)行訓(xùn)練，形成對(duì)未來(lái)運(yùn)行狀態(tài)的評(píng)估。Zhang等［4］運(yùn)用自組織神經(jīng)網(wǎng)絡(luò)建立故障發(fā)展的描述變量，并對(duì)狀態(tài)變量進(jìn)行跟蹤，從而預(yù)測(cè)軸承剩余壽命。馬玉峰［5］提出了一種小波神經(jīng)網(wǎng)絡(luò)，利用傳感器檢測(cè)數(shù)據(jù)建立故障演變模型，預(yù)測(cè)軸承剩余壽命。但這些模型仍屬于淺層學(xué)習(xí)模型，風(fēng)機(jī)運(yùn)行時(shí)，各部件之間具有復(fù)雜的耦合關(guān)系，淺層學(xué)習(xí)模型很難表示出其中的關(guān)聯(lián)性。

深度學(xué)習(xí)憑借其強(qiáng)大的特征學(xué)習(xí)能力，已廣泛應(yīng)用于圖像處理、語(yǔ)音識(shí)別等［6］各個(gè)領(lǐng)域，但目前在風(fēng)電機(jī)組故障領(lǐng)域的應(yīng)用較少。文獻(xiàn)［7］將長(zhǎng)短時(shí)記憶（Long Short Term Memory，LSTM）網(wǎng)絡(luò)用于非結(jié)構(gòu)化文本的故障分類(lèi)。Wang等[8]利用LSTM進(jìn)行航空發(fā)動(dòng)機(jī)的故障檢測(cè)，保證發(fā)動(dòng)機(jī)正常運(yùn)行。風(fēng)電設(shè)備各子部件之間相互關(guān)聯(lián)、耦合，使得數(shù)據(jù)存在空間上的關(guān)聯(lián)性，并且時(shí)序數(shù)據(jù)當(dāng)前時(shí)刻值與歷史數(shù)據(jù)亦存在時(shí)間上的關(guān)聯(lián)性［9］，這與LSTM善于處理高維、強(qiáng)耦合、高度時(shí)間相關(guān)性數(shù)據(jù)的特點(diǎn)相吻合。由于風(fēng)電機(jī)組發(fā)生故障是一個(gè)設(shè)備狀態(tài)逐漸演化的過(guò)程，具有強(qiáng)烈的時(shí)間特性，因此，提出了一種基于LSTM網(wǎng)絡(luò)的故障預(yù)測(cè)方法。通過(guò)上海電氣集團(tuán)故障診斷平臺(tái)采集數(shù)據(jù)，驗(yàn)證了該模型在故障隨時(shí)間序列演變過(guò)程中，能盡早地做出預(yù)測(cè)，且具有較高的精確度。

1 風(fēng)電機(jī)組故障預(yù)測(cè)方法研究

傳統(tǒng)的前饋型神經(jīng)網(wǎng)絡(luò)，輸入信號(hào)只能在相鄰信號(hào)源之間進(jìn)行正向傳播，同層級(jí)的神經(jīng)元之間沒(méi)有相互連接，因此不能發(fā)現(xiàn)數(shù)據(jù)在時(shí)間上的相關(guān)性［9］。而循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）在前饋型神經(jīng)網(wǎng)絡(luò)同層級(jí)神經(jīng)元之間引入反饋機(jī)制，不僅能使隱藏層神經(jīng)元獲取輸入層的輸出信號(hào)，同時(shí)也能獲取來(lái)自其下一層的神經(jīng)元反饋信號(hào)，使得神經(jīng)網(wǎng)絡(luò)在處理數(shù)據(jù)時(shí)能獲取數(shù)據(jù)關(guān)于時(shí)間的相關(guān)性。

1.1 RNN

基本的RNN結(jié)構(gòu)可看作同一層神經(jīng)結(jié)構(gòu)在時(shí)間序列方向上的連接，形成完整的神經(jīng)網(wǎng)絡(luò)循環(huán)體，如圖1所示。圖中，x t為t時(shí)刻的輸入；yt為t時(shí)刻的輸出；st為t時(shí)刻的隱藏層狀態(tài)。神經(jīng)網(wǎng)絡(luò)在計(jì)算輸出值yt時(shí)會(huì)將當(dāng)前時(shí)刻的隱藏層狀態(tài)傳遞到下一時(shí)刻，從而表達(dá)數(shù)據(jù)在時(shí)序上的相關(guān)性。

圖1 RNN模型圖

1.2 LSTM神經(jīng)網(wǎng)絡(luò)

RNN的結(jié)構(gòu)比較簡(jiǎn)單，相鄰兩個(gè)時(shí)刻的神經(jīng)元會(huì)相互共享隱藏層的信息，如圖2所示。但RNN在時(shí)間序列過(guò)長(zhǎng)時(shí)很容易產(chǎn)生梯度爆炸和梯度消失的問(wèn)題，導(dǎo)致在訓(xùn)練時(shí)梯度的傳遞性不高［10］，即梯度不能在長(zhǎng)序列中傳遞，使RNN無(wú)法檢測(cè)到長(zhǎng)序列的影響。對(duì)LSTM神經(jīng)網(wǎng)絡(luò)引入門(mén)控機(jī)制，提高了網(wǎng)絡(luò)的長(zhǎng)期依賴(lài)能力，解決了RNN的梯度爆炸和梯度消失問(wèn)題［11］。

圖2 RNN結(jié)構(gòu)

圖2中，tanh為RNN模型的激活函數(shù)，tanh的數(shù)學(xué)表達(dá)式為

tanh將輸入數(shù)據(jù)歸算到[-1，1]之間，使RNN模型減少迭代次數(shù)。

LSTM模型訓(xùn)練的關(guān)鍵是細(xì)胞狀態(tài)的更迭，ct表示細(xì)胞狀態(tài)的這條線水平地穿過(guò)圖的頂部。細(xì)胞的狀態(tài)類(lèi)似于輸送帶，其在整個(gè)鏈上運(yùn)行，只有一些小的線性操作，保持信息不變流過(guò)整個(gè)鏈［12］。而LSTM具有刪除或添加信息到細(xì)胞狀態(tài)的能力，這個(gè)能力是由被稱(chēng)為門(mén)（Gates）的結(jié)構(gòu)所賦予。門(mén)是一種可選地讓信息通過(guò)的方式。LSTM單元中，包含3種類(lèi)型的門(mén)控，通過(guò)門(mén)控對(duì)信息存儲(chǔ)和更新，如圖3所示。

圖3 LSTM模型

門(mén)控分別為：輸入門(mén)、遺忘門(mén)和輸出門(mén)。每個(gè)門(mén)結(jié)構(gòu)包含了一個(gè)以Sigmoid為激活函數(shù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其輸出值（表示控制信息傳遞的比例）范圍為0～1。輸出值越小，信息傳遞的比例就越小，從而實(shí)現(xiàn)對(duì)歷史信息的選擇性遺忘。門(mén)控的一般形式可以表示為

其中，

式中：W為輸入向量的權(quán)重；b為輸入向量的偏置。

LSTM決定了上一步輸出結(jié)果st-1的丟失和遺忘。該決定由被稱(chēng)為“遺忘門(mén)”的Sigmoid激活函數(shù)來(lái)實(shí)現(xiàn)。ft為“遺忘門(mén)”的門(mén)限，即歷史狀態(tài)ct-1被遺忘的比例，數(shù)學(xué)表達(dá)式為

式中：Uf、Wf分別為當(dāng)前輸入值x t和上一時(shí)刻記憶單元中輸出st-1對(duì)應(yīng)的權(quán)重系數(shù)。

“遺忘門(mén)”決定了對(duì)上一時(shí)刻信息是否保留。當(dāng)前輸出值為0時(shí)，前一時(shí)刻輸出值清除；輸出為1時(shí)，上一時(shí)刻輸出值保留。

“輸入門(mén)”決定了當(dāng)前輸入值x t有多少被保留在ct之中，實(shí)現(xiàn)對(duì)狀態(tài)c的更新，其數(shù)學(xué)表達(dá)式為

式中：it為經(jīng)σ結(jié)構(gòu)計(jì)算當(dāng)前輸入x t與歷史輸入st-1后輸入數(shù)據(jù)被保留下來(lái)的比例；Ui、Wi分別為當(dāng)前輸入x t與歷史輸入st-1的權(quán)重系數(shù)；c~t為當(dāng)前時(shí)刻記憶單元所更新的狀態(tài)值；Uc、Wc為更新細(xì)胞狀態(tài)ct時(shí)刻輸入x t與歷史輸入st-1的權(quán)重系數(shù)。

“遺忘門(mén)”和“輸入門(mén)”可以實(shí)現(xiàn)對(duì)狀態(tài)c的刪除和更新。數(shù)據(jù)經(jīng)過(guò)“遺忘門(mén)”與“輸入門(mén)”之后被保留下來(lái)的狀態(tài)數(shù)據(jù)如下：

“輸出門(mén)”用來(lái)表示隱藏層的輸出，其數(shù)學(xué)表達(dá)式如下：

式中：ot為輸出門(mén)，決定當(dāng)前記憶單元（cell）中的信息輸出程度，ot為0時(shí)表示數(shù)據(jù)完全不輸出，ot為1時(shí)表示數(shù)據(jù)完全輸出；Uo、Wo分別為x t、st-1的權(quán)重系數(shù)。

1.3 基于LSTM的故障預(yù)測(cè)流程

本文以風(fēng)電機(jī)組的齒輪箱為例，基于LSTM建立故障預(yù)測(cè)的數(shù)學(xué)模型，流程如圖4所示。其中，包括對(duì)歷史數(shù)據(jù)的學(xué)習(xí)和實(shí)時(shí)數(shù)據(jù)的監(jiān)測(cè)。通過(guò)經(jīng)驗(yàn)設(shè)定故障閾值，當(dāng)模型計(jì)算數(shù)據(jù)超出閾值時(shí)，發(fā)出故障預(yù)警信號(hào)。

圖4 風(fēng)電設(shè)備故障預(yù)測(cè)流程

1.3.1 模型構(gòu)建本文以加速度傳感器采樣得到齒輪在正常、磨損狀況下的振動(dòng)信號(hào)。由于輸入信號(hào)維度較多，因此選取輸入軸電機(jī)側(cè)軸承y1、輸出軸電機(jī)側(cè)軸承y2，檢測(cè)得到數(shù)據(jù)構(gòu)造模型。模型的輸入為

1.3.2 模型參數(shù)優(yōu)化在LSTM中，參數(shù)的選擇關(guān)系到整個(gè)模型的性能，其中超參數(shù)對(duì)模型的復(fù)雜性和學(xué)習(xí)能力起著決定性的作用。因此，對(duì)其進(jìn)行優(yōu)化能提高模型的學(xué)習(xí)能力和預(yù)測(cè)效果。優(yōu)化參數(shù)如下：

（1）激活函數(shù)。激活函數(shù)能夠給神經(jīng)網(wǎng)絡(luò)加入非線性因素，使得神經(jīng)網(wǎng)絡(luò)可以更好地解決較為復(fù)雜的問(wèn)題［13］。雖然普遍使用tanh激活函數(shù)，但在本模型中使用Softsign激活函數(shù)代替tanh函數(shù)，Softsign函數(shù)相比tanh函數(shù)，速度更快且不易飽和。Softsign函數(shù)公式為

（2）訓(xùn)練周期。一個(gè)訓(xùn)練周期的定義是完整地遍歷數(shù)據(jù)集一次。在訓(xùn)練中，一般應(yīng)讓訓(xùn)練持續(xù)多個(gè)訓(xùn)練周期，并將迭代次數(shù)設(shè)為一次。一般僅對(duì)非常小的數(shù)據(jù)集進(jìn)行完整批次的訓(xùn)練時(shí)，才會(huì)采用大于1的迭代次數(shù)［14］。若訓(xùn)練周期數(shù)量太少，網(wǎng)絡(luò)就沒(méi)有足夠的時(shí)間選取合適的參數(shù)；訓(xùn)練周期數(shù)量太多則有可能導(dǎo)致網(wǎng)絡(luò)對(duì)訓(xùn)練數(shù)據(jù)過(guò)擬合。

（3）批尺寸。批尺寸定義為一次訓(xùn)練所選取的樣本數(shù)，其決定了訓(xùn)練樣本每次訓(xùn)練的樣本數(shù)量，代表控制更新網(wǎng)絡(luò)權(quán)重的頻率。

（4）正則化。正則化方法有助于避免在訓(xùn)練時(shí)發(fā)生過(guò)擬合。Dropout是一種常見(jiàn)的正則化方法［15］，可以隨機(jī)地臨時(shí)選擇一些中間層的神經(jīng)元，使這些神經(jīng)在本次迭代中輸出為零，同時(shí)保持輸入層和輸出層的神經(jīng)元數(shù)目不變。在反向傳播并更新參數(shù)的過(guò)程中，與這些節(jié)點(diǎn)相連的權(quán)值不需要更新。但是這些節(jié)點(diǎn)并不從網(wǎng)絡(luò)中刪除，并且保留其權(quán)值，使這些節(jié)點(diǎn)在下一次迭代時(shí)重新被選中，作為起始作用點(diǎn)參與權(quán)值的更新。

（5）網(wǎng)絡(luò)層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)。采用網(wǎng)格搜索的方法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化。對(duì)比訓(xùn)練模型的輸出預(yù)測(cè)結(jié)果在不同模型層數(shù)、隱藏層神經(jīng)元個(gè)數(shù)下的均方根值和損失后，選擇模型表現(xiàn)最優(yōu)的參數(shù)值［16］。網(wǎng)絡(luò)參數(shù)如表1所示，模型設(shè)定了2層LSTM神經(jīng)網(wǎng)絡(luò)，第1層記憶單元數(shù)為32個(gè)，第2層為16個(gè)。

表1 網(wǎng)絡(luò)參數(shù)

（6）網(wǎng)格搜索法。網(wǎng)格搜索法作為一種常見(jiàn)的調(diào)參手段，是一種窮舉方法。給定一系列超參數(shù)，在所有超參數(shù)組合中窮舉遍歷，從所有組合中選出最優(yōu)的一組超參數(shù)作為最優(yōu)解。

2 故障預(yù)測(cè)方法的實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)數(shù)據(jù)來(lái)源與分析

本文數(shù)據(jù)來(lái)源于上海電氣集團(tuán)故障診斷平臺(tái)。實(shí)驗(yàn)平臺(tái)由風(fēng)機(jī)齒輪箱、變速驅(qū)動(dòng)電機(jī)、軸承、傳感器、主軸等各部件組成，通過(guò)安裝、調(diào)試可模擬齒輪箱的各種故障。

選擇振動(dòng)能量較為集中和突出的齒輪箱輸出端的軸承座作為測(cè)點(diǎn)位置，對(duì)輸入軸電機(jī)側(cè)軸承y1、輸出軸電機(jī)側(cè)軸承y2進(jìn)行監(jiān)測(cè)，獲取其振動(dòng)加速度信號(hào)。實(shí)驗(yàn)采用電火花加工技術(shù)在不同的齒輪上分別植入損傷點(diǎn)，模擬高速軸小齒輪齒面磨損和低速軸大齒輪斷齒所引起的故障狀態(tài)。設(shè)定采樣頻率為（2 000×2.56）Hz，利用加速度傳感器在轉(zhuǎn)速為1 470 r/min，加載電流為0.1 A時(shí)正常、磨損狀態(tài)下的振動(dòng)信號(hào)，對(duì)信號(hào)進(jìn)行預(yù)處理得到齒輪振動(dòng)信號(hào)50組，每種狀態(tài)各25組。

2.2 故障狀態(tài)下的模型測(cè)試

對(duì)數(shù)據(jù)劃分后，使用驗(yàn)證數(shù)據(jù)集在LSTM模型上進(jìn)行故障預(yù)測(cè)，驗(yàn)證數(shù)據(jù)集有5 771個(gè)數(shù)據(jù)。為了反映預(yù)測(cè)模型對(duì)于該數(shù)據(jù)預(yù)測(cè)的精確程度，數(shù)據(jù)在迭代訓(xùn)練中的損失值如圖5所示。由圖可知，訓(xùn)練集的損失在0～60次訓(xùn)練中迅速下降，但稍有波動(dòng)；在60～85次之間逐漸平緩，之后又出現(xiàn)波動(dòng)?？紤]到模型訓(xùn)練耗時(shí)，以及在訓(xùn)練過(guò)程中會(huì)出現(xiàn)過(guò)擬合的問(wèn)題，選取訓(xùn)練次數(shù)為80次。

圖5 損失隨迭代次數(shù)變化曲線

根據(jù)經(jīng)驗(yàn)設(shè)定閾值（在齒輪故障中設(shè)定閾值T=0.2）之后，對(duì)比模型輸出預(yù)測(cè)值和真實(shí)值加權(quán)殘差，故障殘差預(yù)測(cè)結(jié)果如圖6所示。

圖6 基于LSTM的故障預(yù)測(cè)結(jié)果

機(jī)組在正常運(yùn)行狀態(tài)下其故障殘差很小，但故障狀態(tài)出現(xiàn)時(shí)數(shù)據(jù)殘差迅速增大，并且在隨后工作中殘差超出閾值線判定為故障，從而報(bào)警以利于盡早安排檢修以及供電計(jì)劃，避免故障的發(fā)生。

為了更好地反映LSTM模型的預(yù)測(cè)精確程度，迭代次數(shù)為80次時(shí)的預(yù)測(cè)結(jié)果分類(lèi)混淆矩陣如圖7所示。混淆矩陣中，對(duì)角元素對(duì)應(yīng)預(yù)測(cè)結(jié)果的精確度。由圖7可知，利用LSTM模型進(jìn)行故障預(yù)測(cè)，預(yù)測(cè)結(jié)果具有較高的準(zhǔn)確率。

圖7 LSTM模型預(yù)測(cè)結(jié)果的混淆矩陣

3 結(jié) 語(yǔ)

本文針對(duì)風(fēng)電機(jī)組運(yùn)行時(shí)，各監(jiān)測(cè)數(shù)據(jù)間耦合關(guān)系復(fù)雜的特點(diǎn)，提出以LSTM為模型的風(fēng)電機(jī)組故障預(yù)測(cè)技術(shù)。首先，建立健康狀態(tài)下的LSTM模型；然后，根據(jù)其運(yùn)行數(shù)據(jù)與預(yù)測(cè)數(shù)據(jù)進(jìn)行對(duì)比計(jì)算得出殘差，當(dāng)殘差超出閾值時(shí)，預(yù)測(cè)其發(fā)生故障。但在建立模型過(guò)程中，模型計(jì)算時(shí)間相對(duì)較長(zhǎng)，可進(jìn)一步優(yōu)化隱藏層數(shù)與神經(jīng)元個(gè)數(shù)，使預(yù)測(cè)準(zhǔn)確率進(jìn)一步提升，從而使模型能夠更快、更精確地預(yù)測(cè)出故障的發(fā)生，滿足風(fēng)電正常生產(chǎn)運(yùn)行的需要。