基于LSTM網(wǎng)絡(luò)的汽輪機(jī)轉(zhuǎn)子熱應(yīng)力預(yù)測(cè)方法

楊 晨，柴 京，張 濤，王曉升

(重慶大學(xué)能源與動(dòng)力工程學(xué)院，重慶 400044)

1 引言

隨著可再生能源的發(fā)展，傳統(tǒng)的燃煤電廠將承擔(dān)更多的調(diào)峰任務(wù)，這對(duì)電廠的靈活運(yùn)行提出了更高的要求[1]。在機(jī)組快速啟動(dòng)或突然的變負(fù)荷過(guò)程中，局部過(guò)熱的部位可能會(huì)出現(xiàn)較大的溫度梯度，從而導(dǎo)致有害的熱應(yīng)力。因此，在傳統(tǒng)的燃煤電廠中，汽輪機(jī)轉(zhuǎn)子危險(xiǎn)部位熱應(yīng)力的監(jiān)測(cè)對(duì)于機(jī)組的安全運(yùn)行至關(guān)重要。

一直以來(lái)，國(guó)內(nèi)外關(guān)于熱應(yīng)力研究都是通過(guò)理論計(jì)算來(lái)解決，一種基于導(dǎo)熱微分方程的解析法；一種采用數(shù)值仿真方法求解轉(zhuǎn)子溫度場(chǎng)和熱應(yīng)力場(chǎng)[2]。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，許多學(xué)者提出了一種基于數(shù)據(jù)利用深度學(xué)習(xí)技術(shù)來(lái)建模的方法，目的是尋找輸入特征數(shù)據(jù)與輸出變量之間最佳映射關(guān)系。這種數(shù)據(jù)驅(qū)動(dòng)的方法能夠充分利用歷史數(shù)據(jù)并且降低計(jì)算時(shí)間及成本，為熱應(yīng)力的監(jiān)測(cè)提供了新的研究思路[3]。

許多研究人員已經(jīng)應(yīng)用機(jī)器學(xué)習(xí)技術(shù)來(lái)預(yù)測(cè)燃煤電廠中難以直接測(cè)量的重要運(yùn)行參數(shù)[4]。Shi[5]等使用超臨界燃煤鍋爐的運(yùn)行數(shù)據(jù)訓(xùn)練了兩個(gè)神經(jīng)網(wǎng)絡(luò)模型(NN)，一個(gè)用來(lái)預(yù)測(cè)NOX排放，另一個(gè)用來(lái)預(yù)測(cè)鍋爐的熱效率，然后將兩個(gè)模型用于優(yōu)化NOX的排放和熱效率。Li[6]等人使用極限學(xué)習(xí)機(jī)器(ELM)的框架和改進(jìn)的蟻群優(yōu)化算法對(duì)300MW燃煤鍋爐的各種運(yùn)行變量和熱效率之間的關(guān)系進(jìn)行訓(xùn)練。Lv[7]等使用最小二乘支持向量機(jī)(LS-SVM)模型來(lái)擬合和預(yù)測(cè)燃煤循環(huán)流化床鍋爐的瞬態(tài)溫度，輸入按照時(shí)間順序依次遞推。Tan[8]等人使用遞歸神經(jīng)網(wǎng)絡(luò)(RNN)來(lái)預(yù)測(cè)鍋爐下一時(shí)間步的NOX值。Tang[9]等人使用LSTM神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)船用蒸汽輪機(jī)轉(zhuǎn)子的應(yīng)力，輸入采用滑動(dòng)時(shí)間窗形式來(lái)實(shí)現(xiàn)多對(duì)一的序列數(shù)據(jù)預(yù)測(cè)。從國(guó)內(nèi)外的研究現(xiàn)狀中可以看出，學(xué)者利用歷史數(shù)據(jù)、傳統(tǒng)技術(shù)(有限元)得到的特征數(shù)據(jù)作為樣本，基于機(jī)器學(xué)習(xí)技術(shù)(向量機(jī)(SVM)、神經(jīng)網(wǎng)絡(luò)等)建立輸入與輸出的映射關(guān)系，得到難以測(cè)量的重要參數(shù)的預(yù)測(cè)值[10][20][7]。

本文基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)建立了一種汽輪機(jī)轉(zhuǎn)子熱應(yīng)力的預(yù)測(cè)模型。對(duì)比不同超參數(shù)、不同Dropout比例下LSTM模型與有限元計(jì)算結(jié)果，驗(yàn)證所建立模型的有效性及合理性。

2 LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)

LSTM神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的一種改進(jìn)架構(gòu)，由Schmidhuber于1997年首次提出。而LSTM則已經(jīng)可以成功的解決傳統(tǒng)RNN中存在的問(wèn)題，并且還可以有效的用于預(yù)測(cè)長(zhǎng)時(shí)信息。

LSTM是一種特殊的RNN，可對(duì)時(shí)序序列數(shù)據(jù)進(jìn)行建模。RNN之所以稱(chēng)為循環(huán)神經(jīng)網(wǎng)絡(luò)，是因?yàn)樾蛄械漠?dāng)前輸出還與先前的輸出有關(guān)，即隱藏層在神經(jīng)元之間具有連接，并且網(wǎng)絡(luò)的結(jié)構(gòu)就像一條鏈。其結(jié)構(gòu)如圖1所示。RNN可以看作是在時(shí)間軸上傳遞的神經(jīng)網(wǎng)絡(luò)，其深度是時(shí)間的長(zhǎng)度。RNN將最后一刻的隱藏層輸出作為計(jì)算過(guò)程的輸入。但是，如果網(wǎng)絡(luò)深度越長(zhǎng)，則后一個(gè)時(shí)間節(jié)點(diǎn)對(duì)前一個(gè)時(shí)間節(jié)點(diǎn)的學(xué)習(xí)能力將隨著時(shí)間步長(zhǎng)逐漸降低，即“消失梯度”。

圖1 RNN單元結(jié)構(gòu)

為了解決RNN在運(yùn)行過(guò)程中的消失梯度問(wèn)題，LSTM在原有RNN網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，用LSTM單元代替了隱藏層的RNN單元，并重置計(jì)算節(jié)點(diǎn)。隱藏層在RNN的基礎(chǔ)上增加了自連接的存儲(chǔ)和乘法單元，為神經(jīng)網(wǎng)絡(luò)提供讀寫(xiě)和判斷功能。LSTM隱藏層的單元結(jié)構(gòu)如圖2所示。

圖2 LSTM單元結(jié)構(gòu)

LSTM在隱藏層中的單元結(jié)構(gòu)包含稱(chēng)為內(nèi)存塊的特殊單元，用于長(zhǎng)時(shí)間存儲(chǔ)信息。此外，在每個(gè)LSTM單元中加入了三個(gè)門(mén)控結(jié)構(gòu)，即輸入門(mén)、遺忘門(mén)和輸出門(mén)，以形成一個(gè)新的計(jì)算單元[20]。輸入門(mén)控制信息輸入，遺忘門(mén)控制計(jì)算單元的歷史狀態(tài)信息的保留，輸出門(mén)控制信息輸出。該過(guò)程可用以下公式表示：

輸入門(mén)

it=σ(Wixt+Uiht-1+Vict-1+bi)

(1)

遺忘門(mén)

ft=σ(Wfxt+Ufht-1+Vfct-1+bf)

(2)

記憶細(xì)胞

ct=ft?ct-1+it?tanh(Wcxt+Ucht-1+bc)

(3)

輸出門(mén)

ot=σ(Woxt+Uoht-1+Voct+bo)

(4)

輸出

ht=ot?tanh(ct)

(5)

其中：ct代表單元在t時(shí)刻的長(zhǎng)期記憶狀態(tài)；ht代表t時(shí)刻的短期記憶狀態(tài)；W、U、V分別代表輸入門(mén)、遺忘門(mén)、輸出門(mén)權(quán)重矩陣；b代表偏執(zhí)向量；?(element-wise multiplication)代表同位元素對(duì)應(yīng)相乘；σ()、tanh()代表激活函數(shù)

(6)

(7)

3 LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)汽輪機(jī)轉(zhuǎn)子熱應(yīng)力預(yù)測(cè)模型

3.1 模型結(jié)構(gòu)

本文設(shè)計(jì)的網(wǎng)絡(luò)的基本框架包括1層LSTM、1層Dropout、1層Dense全連接網(wǎng)，結(jié)構(gòu)如圖3所示。LSTM神經(jīng)網(wǎng)絡(luò)是將輸入的特征進(jìn)行記憶和篩選，并進(jìn)行擬合預(yù)測(cè)，最后通過(guò)全連接層輸出預(yù)測(cè)結(jié)果。LSTM的輸入即為樣本輸入序列，LSTM的隱藏層循環(huán)神經(jīng)元的數(shù)量為時(shí)間步長(zhǎng)。全連接層可以增強(qiáng)模型的非線性表達(dá)能力。在深層神經(jīng)網(wǎng)絡(luò)中，因其參數(shù)量大，容易發(fā)生過(guò)擬合的現(xiàn)象，而Dropout技術(shù)就是一種常用的防止過(guò)擬合技術(shù)，即在訓(xùn)練中以一定的比例隨機(jī)讓一些神經(jīng)元失活，不會(huì)向前傳遞信息。Dense層將多個(gè)神經(jīng)元的結(jié)果作為輸入進(jìn)行加權(quán)輸出，從而計(jì)算出預(yù)測(cè)數(shù)據(jù)。

圖3 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

3.2 損失函數(shù)和優(yōu)化算法

損失函數(shù)是計(jì)算神經(jīng)網(wǎng)絡(luò)輸出值與實(shí)際值之間偏差的函數(shù)，用來(lái)衡量模型預(yù)測(cè)的準(zhǔn)確性，目的就是使得總體損失函數(shù)值之和最小。本模型的損失函數(shù)選擇RMSE和MAPE，它在接近收斂點(diǎn)處的梯度會(huì)慢慢變小，利于收斂。定義如下：

均方根誤差(標(biāo)準(zhǔn)誤差)RMSE

(8)

平均絕對(duì)百分比誤差MAPE

(9)

式中：yi為樣本期望值，f(xi)為樣本預(yù)測(cè)值。

LSTM網(wǎng)絡(luò)的訓(xùn)練過(guò)程采用Adam優(yōu)化器。優(yōu)化的核心是獲得可以通過(guò)迭代使目標(biāo)函數(shù)最小化的模型參數(shù)。Adam結(jié)合了自適應(yīng)梯度(AdaGrad)和RMSProp的優(yōu)點(diǎn)，更新的步長(zhǎng)由梯度的第一矩估計(jì)(梯度的平均值)和第二矩估計(jì)(無(wú)中心梯度的方差)得到。Adam優(yōu)化器本質(zhì)上是時(shí)間反向傳播BPTT的一種實(shí)現(xiàn)方法。Adam優(yōu)化算法的公式為

(10)

式中：mt為梯度第一矩估計(jì)；β1、β2為超參數(shù)；vt為第二矩估計(jì)。

為了使參數(shù)能正常更新，需做如下的偏差修正

(11)

Adam算法對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行更新的公式如下

(12)

式中：α為神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)率；ε為防止除零誤差常數(shù)。

3.3 數(shù)據(jù)樣本標(biāo)準(zhǔn)化處理

樣本輸入特征數(shù)據(jù)來(lái)源于冷態(tài)啟動(dòng)曲線，原始數(shù)據(jù)如圖4所示。應(yīng)用有限元計(jì)算轉(zhuǎn)子熱應(yīng)力涉及的相關(guān)參數(shù)包括蒸汽壓力、蒸汽溫度、轉(zhuǎn)子表面換熱系數(shù)、轉(zhuǎn)子轉(zhuǎn)速。熱應(yīng)力值是隨著啟動(dòng)時(shí)間在不斷變化，相鄰時(shí)刻的樣本之間存在一定的聯(lián)系。為了讓神經(jīng)網(wǎng)絡(luò)獲取輸入特征和輸出值之間的關(guān)系，設(shè)計(jì)LSTM神經(jīng)網(wǎng)絡(luò)輸入特征向量為7，特征量分別是蒸汽壓力P、蒸汽溫度T、一個(gè)時(shí)間步長(zhǎng)下的溫升率Tr、一個(gè)時(shí)間步長(zhǎng)下的壓力變化Pr、轉(zhuǎn)速n、轉(zhuǎn)子初始溫度Ts、表面換熱系數(shù)H，即輸入向量為Xτ=(P，Pr，T，Tr，n，Ts，H)。

圖4 樣本原始數(shù)據(jù)

原始特征數(shù)據(jù)中值域分布差別很大，為了保證神經(jīng)網(wǎng)絡(luò)的輸入不受量綱的影響，使特征分布范圍大致相同，需要對(duì)不同特征進(jìn)行標(biāo)準(zhǔn)化處理。本文選擇Z-score標(biāo)準(zhǔn)化方法處理原始數(shù)據(jù)，計(jì)算公式為

(13)

(14)

4 實(shí)驗(yàn)結(jié)果與分析

利用ANSYS有限元分析軟件計(jì)算的汽輪機(jī)轉(zhuǎn)子的危險(xiǎn)截面(調(diào)節(jié)級(jí)葉輪根部過(guò)渡段)在冷態(tài)啟動(dòng)過(guò)程中熱應(yīng)力隨時(shí)間的變化值。汽輪機(jī)轉(zhuǎn)子熱應(yīng)力值為時(shí)間序列，對(duì)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)進(jìn)行分區(qū)，序列的前83%用于訓(xùn)練，后17%用于測(cè)試。LSTM網(wǎng)絡(luò)訓(xùn)練框圖如圖5所示。

圖5 LSTM網(wǎng)絡(luò)訓(xùn)練框圖

4.1 超參數(shù)的選擇

在LSTM神經(jīng)網(wǎng)絡(luò)中，隱藏層神經(jīng)元數(shù)量為網(wǎng)絡(luò)中循環(huán)單元的個(gè)數(shù)，表示了可以獲得該時(shí)刻之前的單元信息的量。數(shù)量少會(huì)失去之前單元的信息，數(shù)量過(guò)多則會(huì)減弱神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力；學(xué)習(xí)率(Learning Rate)大會(huì)導(dǎo)致?lián)p失值爆炸，容易錯(cuò)過(guò)最佳值，學(xué)習(xí)率小容易過(guò)擬合，收斂速度慢；隱藏層中單元節(jié)點(diǎn)的個(gè)數(shù)也同樣影響模型的準(zhǔn)確性，一般來(lái)說(shuō)節(jié)點(diǎn)數(shù)越多精度越高，但是同樣也會(huì)增加模型訓(xùn)練的時(shí)間。表1顯示了在不同學(xué)習(xí)率及神經(jīng)元數(shù)量下模型的RMSE和MAPE，圖2顯示了不同節(jié)點(diǎn)數(shù)下模型RMSE和MAPE。

表1 不同學(xué)習(xí)率和時(shí)間步長(zhǎng)下RMSE和MAPE

從表中數(shù)據(jù)及以往文獻(xiàn)經(jīng)驗(yàn)，本次實(shí)驗(yàn)選擇適合的模型參數(shù)為神經(jīng)元數(shù)為6，學(xué)習(xí)率為0.005。表2顯示了不同神經(jīng)元節(jié)點(diǎn)下模型的RMSE和MAPE。

表2 不同神經(jīng)元節(jié)點(diǎn)下RMSE和MAPE

從表中可以看出，隨著神經(jīng)元中節(jié)點(diǎn)個(gè)數(shù)增多，模型誤差越來(lái)越小。但是隨著節(jié)點(diǎn)越來(lái)越多，精度變化小，模型訓(xùn)練速度變慢，因此，神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)設(shè)為21。

4.2 Dropout比例

深度神經(jīng)網(wǎng)絡(luò)包含多個(gè)非線性隱藏層，這使得它能夠?qū)W習(xí)輸入和輸出之間的復(fù)雜關(guān)系，但是即使測(cè)試集和訓(xùn)練集來(lái)自同一分布，訓(xùn)練集仍會(huì)存在噪聲，那么網(wǎng)絡(luò)就會(huì)同時(shí)學(xué)習(xí)數(shù)據(jù)和噪聲的分布，這樣就會(huì)容易導(dǎo)致過(guò)擬合。因此引入Dropout。Dropout就是隨機(jī)丟棄神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元，所謂的丟棄就是將神經(jīng)元從神經(jīng)網(wǎng)絡(luò)中移除，包括它與前向和后向的連接，具體哪個(gè)神經(jīng)元被丟棄是隨機(jī)的。Dropout能很好的解決過(guò)擬合問(wèn)題，當(dāng)dropout比例越小，越接近原始的網(wǎng)絡(luò)結(jié)構(gòu)，dropout過(guò)大則會(huì)導(dǎo)致神經(jīng)元失效過(guò)多失去學(xué)習(xí)的效果，dropout比例的選擇對(duì)于模型的訓(xùn)練結(jié)果也是至關(guān)重要。保持超參數(shù)不變，對(duì)0、0.2、0.5和0.8比例下的模型誤差進(jìn)行了比較，實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同Dropout下模型RMSE和MAPE

從表中可以看出有Dropout層后模型誤差減小，但是隨著比例升高，誤差先降低后升高。Dropout比例設(shè)定為0.5。

4.3 LSTM模型預(yù)測(cè)

確定好網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)后，訓(xùn)練數(shù)據(jù)及預(yù)測(cè)數(shù)據(jù)的分別如圖6、圖7所示。

圖 6 訓(xùn)練結(jié)果 圖7 預(yù)測(cè)結(jié)果

從圖中6可以看出，預(yù)測(cè)結(jié)果與實(shí)驗(yàn)數(shù)據(jù)吻合的很好，模型的準(zhǔn)確度為0.47，即實(shí)驗(yàn)數(shù)據(jù)的47%的相對(duì)誤差小于0.01，模型誤差RMSE為7.874MPa，MAPE為1.181%。

為了檢驗(yàn)?zāi)Ｐ偷臄U(kuò)展性，利用相同結(jié)構(gòu)的LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)660MW超超臨界汽輪機(jī)轉(zhuǎn)子在冷態(tài)啟動(dòng)過(guò)程中機(jī)組從帶基本負(fù)荷到100%負(fù)荷的熱應(yīng)力，結(jié)果如圖8所示。

圖8 預(yù)測(cè)結(jié)果

從圖8可以看到，最大熱應(yīng)力值點(diǎn)的預(yù)測(cè)值與有限元值誤差2.3341MPa，預(yù)測(cè)數(shù)據(jù)與有限元數(shù)據(jù)之間RMSE為5.4471MPa，MAPE為0.88%。結(jié)果表面，LSTM神經(jīng)網(wǎng)絡(luò)模型可以應(yīng)用到其它機(jī)型，利用歷史數(shù)據(jù)，即輸入特征與輸出是序列關(guān)系的數(shù)據(jù)，就可以通過(guò)訓(xùn)練來(lái)預(yù)測(cè)輸出值。并且有限元計(jì)算轉(zhuǎn)子應(yīng)力時(shí)，網(wǎng)格數(shù)達(dá)到萬(wàn)級(jí)，迭代計(jì)算復(fù)雜且耗時(shí)長(zhǎng)，不能用于汽輪機(jī)轉(zhuǎn)子熱應(yīng)力的實(shí)時(shí)計(jì)算，而基于數(shù)據(jù)驅(qū)動(dòng)的LSTM神經(jīng)網(wǎng)絡(luò)用時(shí)大大減少，體現(xiàn)了模型的高效性。

5 結(jié)論

本文介紹了基于LSTM神經(jīng)網(wǎng)絡(luò)建立了汽輪機(jī)轉(zhuǎn)子在冷態(tài)啟動(dòng)下的熱應(yīng)力預(yù)測(cè)網(wǎng)絡(luò)，介紹了數(shù)據(jù)驅(qū)動(dòng)方法下的快速預(yù)測(cè)轉(zhuǎn)子熱應(yīng)力的分析方法，為汽輪機(jī)轉(zhuǎn)子的在線監(jiān)測(cè)提供了新的技術(shù)手段。針對(duì)影響網(wǎng)絡(luò)預(yù)測(cè)效果多種超參數(shù)條件，進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表面：神經(jīng)元數(shù)量、學(xué)習(xí)率、隱藏單元節(jié)點(diǎn)數(shù)量、Dropout比例對(duì)網(wǎng)絡(luò)的性能都有影響。在本文中構(gòu)造的網(wǎng)絡(luò)結(jié)構(gòu)下，神經(jīng)元數(shù)為6，學(xué)習(xí)率為0.005，隱藏層單元節(jié)點(diǎn)為28，Dropout比例為0.5時(shí)，模型的預(yù)測(cè)結(jié)果較好。預(yù)測(cè)冷態(tài)啟動(dòng)階段下轉(zhuǎn)子危險(xiǎn)截面最大熱應(yīng)力與有限元計(jì)算結(jié)果相差9.7480MPa，標(biāo)準(zhǔn)誤差不超過(guò)7.8740MPa，并且網(wǎng)絡(luò)計(jì)算所需時(shí)間對(duì)比有限元大大降低。