基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的核電設(shè)備狀態(tài)預(yù)測

龔 安，馬光明，郭文婷，陳 臣

(中國石油大學(xué)(華東) 計(jì)算機(jī)與通信工程學(xué)院，山東 青島 266580)

0 引 言

隨著中國經(jīng)濟(jì)的迅速發(fā)展，核電站的發(fā)展規(guī)模日益擴(kuò)大[1]，為保證對核電系統(tǒng)安全狀態(tài)的及時(shí)掌控，核電設(shè)備運(yùn)行狀態(tài)的預(yù)測變得越來越重要。然而，基于核電數(shù)據(jù)的保密性等原因，通過核電數(shù)據(jù)對核電設(shè)備運(yùn)行狀態(tài)進(jìn)行預(yù)測，還未發(fā)現(xiàn)相關(guān)的研究，因此研究核電設(shè)備運(yùn)行狀態(tài)的預(yù)測方法很有意義。

核電系統(tǒng)屬于復(fù)雜結(jié)構(gòu)系統(tǒng)，結(jié)構(gòu)越復(fù)雜，系統(tǒng)數(shù)據(jù)的復(fù)雜性越大。普通的預(yù)測方法如灰色預(yù)測模型[2]、比例風(fēng)險(xiǎn)模型[3]、非線性濾波器模型[4]都局限于因果回歸，并不能有效反映時(shí)序數(shù)據(jù)和設(shè)備運(yùn)行狀態(tài)之間的關(guān)系。

近年來，深度學(xué)習(xí)模型在時(shí)序數(shù)據(jù)的研究越來越深入[5]，其中LSTM神經(jīng)網(wǎng)絡(luò)[6]通過設(shè)備產(chǎn)生的時(shí)序數(shù)據(jù)預(yù)測其運(yùn)行狀態(tài)已經(jīng)取得了不少成功的案例。例如，Noriaki Hirose等提出基于LSTM的滾動(dòng)摩擦預(yù)測模型[7]，對機(jī)械系統(tǒng)的滾動(dòng)摩擦進(jìn)行研究，實(shí)驗(yàn)結(jié)果精確預(yù)測了設(shè)備的滾動(dòng)摩擦系數(shù)；Chen Zaifa等將LSTM模型和經(jīng)驗(yàn)?zāi)Ｊ椒纸馑惴ㄏ嘟Y(jié)合，用LSTM模型處理軸承數(shù)據(jù)的本征模函數(shù)分量，并將實(shí)驗(yàn)結(jié)果與支持向量機(jī)相對比，更好地實(shí)現(xiàn)了機(jī)械狀態(tài)的單步預(yù)測[8]；AbdElRahman ElSaid等使用LSTM模型實(shí)現(xiàn)了飛機(jī)發(fā)動(dòng)機(jī)振動(dòng)值的預(yù)測[9]，并由此建立了飛機(jī)發(fā)動(dòng)機(jī)狀態(tài)預(yù)警系統(tǒng)，避免了過渡振動(dòng)對飛機(jī)的不利影響；Zhao Rui等使用LSTM獲取磨損數(shù)據(jù)的依賴關(guān)系，提出基于LSTM評估的生活工具健康檢測系統(tǒng)[10]，并通過對比實(shí)驗(yàn)展示了LSTM模型的優(yōu)越性。

在上述研究的基礎(chǔ)上，文中采用LSTM神經(jīng)網(wǎng)絡(luò)對核電設(shè)備運(yùn)行狀態(tài)進(jìn)行預(yù)測，選擇某核電站數(shù)據(jù)中的主泵繞組溫度作為實(shí)驗(yàn)數(shù)據(jù)進(jìn)行對比實(shí)驗(yàn)，包括數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和預(yù)測等算法的實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明該方法對核電設(shè)備運(yùn)行狀態(tài)有更高的預(yù)測精度。

1 相關(guān)理論

1.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理是數(shù)據(jù)挖掘的重要步驟，同時(shí)也是必不可少的一環(huán)。為了更有效地挖掘出知識(shí)，必須為數(shù)據(jù)挖掘模型提供簡潔、干凈、有效的數(shù)據(jù)。然而，實(shí)際應(yīng)用系統(tǒng)中獲得的原始數(shù)據(jù)通常含有臟數(shù)據(jù)，存在雜亂性、重復(fù)性、不完整性等方面的問題。

通過數(shù)據(jù)預(yù)處理對應(yīng)的模塊，以領(lǐng)域知識(shí)作為指導(dǎo)，對原始數(shù)據(jù)進(jìn)行處理，擯棄與數(shù)據(jù)挖掘目標(biāo)無關(guān)的屬性，為數(shù)據(jù)挖掘的核心算法模型提供更準(zhǔn)確和更有針對性的數(shù)據(jù)，以提高數(shù)據(jù)挖掘的效率和準(zhǔn)確度。

數(shù)據(jù)預(yù)處理相關(guān)理論與方法很多，然而，對于復(fù)雜設(shè)備時(shí)序數(shù)據(jù)的預(yù)處理，目前還沒有相關(guān)理論方法的深入研究。為了提高實(shí)驗(yàn)精度，除了手動(dòng)除去噪點(diǎn)之外，實(shí)驗(yàn)采用z-score標(biāo)準(zhǔn)化方法對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行預(yù)處理，其公式可表示為：

z=(x-μ)/σ

(1)

x為具體的實(shí)驗(yàn)數(shù)值；μ為平均數(shù)；σ為標(biāo)準(zhǔn)差。

1.2 LSTM神經(jīng)網(wǎng)絡(luò)的相關(guān)理論

循環(huán)神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中引入時(shí)序數(shù)據(jù)的概念，使其在時(shí)序數(shù)據(jù)處理中具有更強(qiáng)的適應(yīng)性。RNN (recurrent neural network)雖然能夠有效處理時(shí)間序列數(shù)據(jù)，但仍存在以下兩個(gè)問題：(1)RNN存在梯度消失和梯度爆炸問題，無法有效處理時(shí)間維度過長的時(shí)間序列數(shù)據(jù)；(2)RNN模型的訓(xùn)練過程中需要預(yù)先設(shè)定延遲窗口的長度，但是這一參數(shù)的最優(yōu)值難以獲取。

LSTM神經(jīng)網(wǎng)絡(luò)是眾多RNN的變體之一，在普通RNN的基礎(chǔ)上，在各隱藏層神經(jīng)單元中加入記憶單元，實(shí)現(xiàn)時(shí)間序列上的記憶信息可控。每次序列數(shù)據(jù)在隱藏層各單元之間傳遞時(shí)會(huì)通過遺忘門、輸入門、輸出門等可控門，控制時(shí)序數(shù)據(jù)中之前數(shù)據(jù)和當(dāng)前數(shù)據(jù)的記憶和遺忘程度，從而使神經(jīng)網(wǎng)絡(luò)具有長期記憶功能。通過這種方式，LSTM神經(jīng)網(wǎng)絡(luò)有效改善了循環(huán)神經(jīng)網(wǎng)絡(luò)梯度消失、長期記憶力不足等缺點(diǎn)[11-12]，能夠有效地利用長距離的時(shí)序數(shù)據(jù)。

圖1 RNN隱藏層細(xì)胞結(jié)構(gòu)

ht=f(Wxhxt+Whhht-1+bh)

(2)

yt=Whyht+by

(3)

其中，W表示權(quán)重系數(shù)矩陣；b表示偏置向量；f表示激活函數(shù)。

LSTM神經(jīng)網(wǎng)絡(luò)的神經(jīng)元細(xì)胞結(jié)構(gòu)如圖2所示[13]，計(jì)算公式可表示為：

圖2 LSTM隱藏層細(xì)胞結(jié)構(gòu)

it=σ(Wxixt+Whiht-1+Wcict-1+bi)

(4)

ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf)

(5)

ct=ftct-1+ittanh(Wxcxt+Whcht-1+bc)

(6)

ot=σ(Wxoxt+Whoht-1+Wcoct+bo)

(7)

ht=ottanh(ct)

(8)

其中，i,f,c,o分別表示輸入門、遺忘門、細(xì)胞狀態(tài)、輸出門；W和b分別對應(yīng)權(quán)重系數(shù)矩陣和偏執(zhí)系數(shù)；σ和tanh分別對應(yīng)sigmod和雙曲正切激活函數(shù)。

訓(xùn)練過程可分為四個(gè)步驟：

(1)由式4～式8計(jì)算LSTM細(xì)胞的輸出值；

(2)計(jì)算每個(gè)LSTM細(xì)胞的誤差；

(3)根據(jù)誤差計(jì)算每個(gè)權(quán)重的梯度；

(4)應(yīng)用基于梯度的優(yōu)化算法更新權(quán)重。

LSTM有許多變體，最成功的是門限循環(huán)單元(gated recurrent unit，GRU)。GRU模型保留了LSTM的長期記憶能力，將LSTM細(xì)胞中的輸入門、遺忘門、輸出門替換為更新門和重置門，并將細(xì)胞狀態(tài)和輸出兩個(gè)向量合二為一。GRU結(jié)構(gòu)相對簡單，參數(shù)數(shù)量少，訓(xùn)練效率較高，在實(shí)際應(yīng)用中，兩者的可比性很強(qiáng)。

1.3 梯度下降算法

梯度下降算法是機(jī)器學(xué)習(xí)領(lǐng)域使用最廣泛的優(yōu)化算法，在許多流行的深度學(xué)習(xí)庫中都包含了不同版本的梯度下降算法的實(shí)現(xiàn)?；谔荻认陆档膬?yōu)化算法有多種，比如Adam[14-15]、AdaGrad[16]、RMSProp[17]等。文中選用隨機(jī)梯度下降算法(stochastic gradient descent，SGD)[18]。SGD算法的優(yōu)化過程為：在給定的樣本M中，隨機(jī)取出副本N代替原始樣本M來作為全集，對模型進(jìn)行訓(xùn)練。這種訓(xùn)練方式優(yōu)勢明顯，如果樣本抽取在合適范圍內(nèi)，既會(huì)求出結(jié)果，并且速度更快。

SGD算法能夠有效解決訓(xùn)練過程隨實(shí)驗(yàn)樣本數(shù)量加大而變得異常緩慢的問題，有效提高收斂速度并減少占用的設(shè)備資源。

2 構(gòu)建LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測模型

根據(jù)設(shè)備運(yùn)行數(shù)據(jù)的特點(diǎn)，結(jié)合第一節(jié)提到的相關(guān)理論，給出基于LSTM模型的核電設(shè)備運(yùn)行狀態(tài)預(yù)測方法，包括模型的搭建、訓(xùn)練和預(yù)測。

2.1 預(yù)測模型框架的搭建

考慮到實(shí)驗(yàn)數(shù)據(jù)是單變量時(shí)間序列數(shù)據(jù)，構(gòu)建的LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測模型如圖3所示。該模型由五個(gè)功能模塊組成，包括輸入層、隱藏層、輸出層、網(wǎng)絡(luò)訓(xùn)練和網(wǎng)絡(luò)數(shù)據(jù)預(yù)測。輸入層對實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行初步處理：劃分?jǐn)?shù)據(jù)集，數(shù)據(jù)標(biāo)準(zhǔn)化，數(shù)據(jù)分割等以滿足LSTM神經(jīng)網(wǎng)絡(luò)的輸入要求；隱藏層用LSTM細(xì)胞搭建循環(huán)神經(jīng)網(wǎng)絡(luò)：遺忘門決定保留多少上一時(shí)刻的神經(jīng)元狀態(tài)到當(dāng)前時(shí)刻神經(jīng)元狀態(tài)，輸入門決定保留多少當(dāng)前時(shí)刻的輸入到當(dāng)前時(shí)刻的神經(jīng)元狀態(tài)，輸出門決定當(dāng)前時(shí)刻的神經(jīng)元狀態(tài)輸出的多少；輸出層提供預(yù)測結(jié)果。網(wǎng)絡(luò)訓(xùn)練使用SGD算法更新權(quán)重，在保證精度的前提下提高了優(yōu)化效率。網(wǎng)絡(luò)數(shù)據(jù)預(yù)測使用迭代的方法進(jìn)行數(shù)據(jù)預(yù)測。

圖3 LSTM模型框架

2.2 LSTM模型的訓(xùn)練和預(yù)測

首先，定義原始的設(shè)備狀態(tài)時(shí)間序列數(shù)據(jù)為：

f={f1,f2,…,fn}

(9)

為了適應(yīng)隱藏層輸入的特點(diǎn)，應(yīng)用數(shù)據(jù)分割方法對數(shù)據(jù)集f進(jìn)行處理。設(shè)定分割窗口長度(數(shù)據(jù)步長)為L，分割后的數(shù)據(jù)集為：

F={F0,F1,…,Fn}

(10)

Fp={fp*L+1,fp*L+2,…,fp*L+L}，0≤p≤t

(11)

然后，將實(shí)驗(yàn)劃分為訓(xùn)練集train_x,train_y和測試集test_x,test_y兩部分。

訓(xùn)練集可表示為：

Ftrain_x={fp*L+1,fp*L+2,…,fp*L+m}

(12)

Ftrain_y={fp*L+m+1,fp*L+m+2,…,fp*L+L}，1

(13)

測試集可表示為：

(14)

(15)

train_y,test_y分別為train_x,test_x的理論輸出。

接下來將訓(xùn)練集train-x,train-y輸入到隱藏層訓(xùn)練神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)設(shè)定訓(xùn)練集與測試集的大小比值為9∶1,則模型隱藏層輸出C和train-y均為(0.9*t,L-m)的二維數(shù)組。選擇均方誤差作為誤差計(jì)算公式，訓(xùn)練過程的損失函數(shù)可表示為：

(16)

把損失函數(shù)最小化作為實(shí)驗(yàn)的優(yōu)化目標(biāo)，選擇不同的學(xué)習(xí)率和訓(xùn)練步長，應(yīng)用SGD優(yōu)化算法不斷更新權(quán)重，得到最終的預(yù)測模型。

應(yīng)用訓(xùn)練好的LSTM模型進(jìn)行預(yù)測，將測試集test_x輸入到模型，利用測試集test_y作為理論輸出和模型的實(shí)際輸出來計(jì)算模型的預(yù)測精度。

3 實(shí)驗(yàn)驗(yàn)證

本節(jié)使用核電數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集，應(yīng)用第一節(jié)的相關(guān)理論和第二節(jié)的模型構(gòu)建方法展開實(shí)驗(yàn)驗(yàn)證，具體包括數(shù)據(jù)準(zhǔn)備、實(shí)驗(yàn)結(jié)果、對比實(shí)驗(yàn)分析三部分。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)采用主泵繞組溫度作為實(shí)驗(yàn)對象。主泵繞組溫度是反映核電設(shè)備運(yùn)行狀態(tài)的重要參數(shù)，主泵繞組溫度的高低決定著核電設(shè)備實(shí)時(shí)的運(yùn)行狀態(tài)。數(shù)據(jù)時(shí)間范圍：從2010年1月17日13點(diǎn)56分到2017年02月16日15點(diǎn)0分，數(shù)據(jù)量：采樣頻率為1分鐘1條數(shù)據(jù)，總數(shù)據(jù)量為3 725 343。

部分時(shí)間序列數(shù)據(jù)如圖4所示。

圖4 主泵電機(jī)繞組溫度

3.2 度量指標(biāo)

誤差度量方式的選擇對模型誤差的計(jì)算有很大影響。常見的誤差度量方式有：均方誤差(mean squared error，MSE)，計(jì)算參數(shù)估計(jì)值與參數(shù)真值之差平方的期望值；均方根誤差(root mean squared error，RMSE),計(jì)算均方誤差的算術(shù)平方根；平均絕對誤差(mean absolute error，MAE)，計(jì)算絕對誤差的平均值。對于預(yù)測模型精度的計(jì)算，通常選擇平均絕對誤差作為度量標(biāo)準(zhǔn)。MAE的計(jì)算公式可表示為：

(17)

其中，ft和yt分別為設(shè)備運(yùn)行狀態(tài)時(shí)間序列數(shù)據(jù)在t時(shí)刻的實(shí)際值和模型的輸出值；T為數(shù)據(jù)點(diǎn)個(gè)數(shù)。通過對測試集計(jì)算MAE值來評估模型的預(yù)測精度。

3.3 實(shí)驗(yàn)平臺(tái)和環(huán)境

實(shí)驗(yàn)所使用的計(jì)算機(jī)配置如下：處理器為(英特爾)Intel(R) Core(TM) i7-4720HQ CPU @ 2.60 GHz(2601 MHz)；內(nèi)存為8.00 GB；操作系統(tǒng)為Ubuntu 16.04；程序設(shè)計(jì)語言為Python3.5.2;集成開發(fā)環(huán)境為PyCharm Community Edition 2016.3;實(shí)驗(yàn)程序中所用到的RNN，LSTM和GRU模型由Python的TensorFlow程序包實(shí)現(xiàn)。

3.4 實(shí)驗(yàn)結(jié)果

3.4.1 獲取精度較高的模型參數(shù)

根據(jù)經(jīng)驗(yàn)確定模型參數(shù)。分別選用5、10、15和20作為數(shù)據(jù)步長，選用不同的學(xué)習(xí)率(η=0.001,0.002,0.005,0.01,0.02,0.05,0.1)來訓(xùn)練LSTM模型。通過測試數(shù)據(jù)來檢驗(yàn)?zāi)Ｐ途?實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同參數(shù)下LSTM模型的MAE

由表1可看出，當(dāng)數(shù)據(jù)步長為15、學(xué)習(xí)率η=0.02時(shí)，LSTM模型的預(yù)測精度最高，MAE為0.030 5。

3.4.2 LSTM模型與RNN模型和GRU模型的對比

為了驗(yàn)證LSTM模型在不同類型的循環(huán)神經(jīng)網(wǎng)絡(luò)中的優(yōu)勢，實(shí)驗(yàn)中改變模型的隱藏層神經(jīng)單元，構(gòu)建RNN和GRU網(wǎng)絡(luò)模型，并采用相同的多組參數(shù)對RNN模型和GRU模型進(jìn)行訓(xùn)練，得到預(yù)測精度最高的RNN模型和GRU模型。實(shí)驗(yàn)結(jié)果表明，RNN模型預(yù)測精度最高時(shí)MAE=0.034 5，GRU模型預(yù)測精度最高時(shí)MAE=0.032 6。

LSTM與RNN對比結(jié)果如圖5所示。

LSTM與GRU對比結(jié)果如圖6所示。

實(shí)驗(yàn)結(jié)果表明，LSTM模型的預(yù)測精度明顯高于RNN模型，略高于GRU模型。

4 結(jié)束語

文中深入探究了設(shè)備狀態(tài)預(yù)測的主要方法，針對所獲得的核電數(shù)據(jù)的特點(diǎn)和核電設(shè)備運(yùn)行狀態(tài)預(yù)測的需求，提出了基于LSTM神經(jīng)網(wǎng)絡(luò)的核電設(shè)備運(yùn)行狀態(tài)預(yù)測方法。對比實(shí)驗(yàn)結(jié)果表明：基于LSTM模型的預(yù)測方法與RNN模型和GRU模型相比，有更高的預(yù)測精度；LSTM模型在訓(xùn)練過程中模型精度對學(xué)習(xí)率的取值較為敏感，過高和過低都會(huì)影響模型的預(yù)測性能；與其他循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN和GRU)相比，LSTM的預(yù)測精度更高，但訓(xùn)練過程耗時(shí)更多。

圖5 LSTM與RNN對比結(jié)果

圖6 LSTM與GRU對比結(jié)果

總的來說，驗(yàn)證了LSTM模型在核電數(shù)據(jù)分析領(lǐng)域的適用性，擴(kuò)展了深度學(xué)習(xí)的應(yīng)用范疇?；诋?dāng)前的工作，后續(xù)將從以下方面繼續(xù)研究：擴(kuò)展隱藏層的數(shù)目，檢驗(yàn)多隱藏層的實(shí)驗(yàn)結(jié)果；尋找有效的參數(shù)優(yōu)化方法，提高參數(shù)優(yōu)化效率和預(yù)測精度。