自適應(yīng)反歸一化改進(jìn)多層神經(jīng)網(wǎng)絡(luò)軸流轉(zhuǎn)槳水輪機(jī)協(xié)聯(lián)功率預(yù)測

陸文玲, 夏家輝, 孔繁鎳*

(1.南寧職業(yè)技術(shù)學(xué)院 智能制造學(xué)院, 廣西 南寧 530008;2.廣西大學(xué) 電氣工程學(xué)院, 廣西 南寧 530004)

0 引言

為了保證水電機(jī)組運(yùn)行效率,機(jī)組運(yùn)行部門一般要對新安裝或長時間運(yùn)行的軸流轉(zhuǎn)槳水輪機(jī)進(jìn)行協(xié)聯(lián)、非協(xié)聯(lián)試驗(yàn),獲取機(jī)組最優(yōu)運(yùn)行調(diào)控規(guī)律及效率等數(shù)據(jù),為制定水電機(jī)組持續(xù)高效運(yùn)行操作規(guī)范提供依據(jù),但協(xié)聯(lián)、非協(xié)聯(lián)試驗(yàn)需要大量的經(jīng)濟(jì)和時間成本[1],通常只能獲取有限的數(shù)據(jù)量。通過搭建預(yù)測模型可以有效彌補(bǔ)試驗(yàn)數(shù)據(jù)不足,指導(dǎo)現(xiàn)場測試,提高測試效率。

軸流轉(zhuǎn)槳水輪機(jī)系統(tǒng)天然具有復(fù)雜的水機(jī)電耦合特性,因而其物理預(yù)測模型呈現(xiàn)高度非線性化[2]?？紤]到實(shí)際協(xié)聯(lián)試驗(yàn)現(xiàn)場存在諸如蝸殼、管壁壓力、摩擦系數(shù)等隨時波動問題,無法保證物理模型的準(zhǔn)確性和普適性。數(shù)學(xué)模型通過數(shù)據(jù)學(xué)習(xí)抽象各輸入輸出特征關(guān)系,使其具備相對廣泛的適用性,本文通過搭建神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型進(jìn)行水輪機(jī)協(xié)聯(lián)數(shù)據(jù)預(yù)測。

神經(jīng)網(wǎng)絡(luò)是具有強(qiáng)大的非線性數(shù)據(jù)擬合能力,諸多學(xué)者開展相關(guān)的應(yīng)用基礎(chǔ)研究。文獻(xiàn)[3]結(jié)合BP(back propagation)神經(jīng)網(wǎng)絡(luò)建立水輪機(jī)組非線性模型,實(shí)現(xiàn)流量和力矩的仿真。BP神經(jīng)網(wǎng)絡(luò)可實(shí)現(xiàn)復(fù)雜非線性映射,但存在收斂速度慢,梯度下降法容易陷入局部最優(yōu)[4]等問題。針對收斂問題,文獻(xiàn)[5]提出了一種多層人工神經(jīng)網(wǎng)絡(luò)過電壓預(yù)測模型,通過增加隱藏層數(shù)目提高模型收斂速度。當(dāng)激活函數(shù)為sigmoid進(jìn)行權(quán)閾值修正時,需要從輸入層至輸出層逐層鏈?zhǔn)角髮?dǎo),當(dāng)層數(shù)過深時,多層導(dǎo)數(shù)連續(xù)相乘會產(chǎn)生梯度消失,參數(shù)無法更新。考慮到梯度下降算法存在局限性,文獻(xiàn)[6]采用Adam優(yōu)化器進(jìn)行改進(jìn),但只介紹Adam算法[7]流程,未詳細(xì)推導(dǎo)其與神經(jīng)網(wǎng)絡(luò)參數(shù)更新結(jié)合過程,而且其優(yōu)化器的學(xué)習(xí)率等重要參數(shù)設(shè)置為定值,其收斂速率和迭代精度無法達(dá)到最優(yōu)。數(shù)據(jù)處理方面,文獻(xiàn)[8-10]將歷史數(shù)據(jù)分為訓(xùn)練集和測試集,對其歸一化處理,實(shí)現(xiàn)對歷史數(shù)據(jù)預(yù)測，但都未體現(xiàn)反歸一化過程對于實(shí)際預(yù)測的作用,僅將歸一化公式按原格式逆運(yùn)算,沒有具體詳細(xì)說明對應(yīng)參數(shù)的物理意義。

針對上述不足,本文提出一種改進(jìn)多層神經(jīng)網(wǎng)絡(luò)(improved multilayer neural network,IMNN)預(yù)測模型,基于BP網(wǎng)絡(luò)框架基礎(chǔ)上,為提高網(wǎng)絡(luò)收斂速度和避免梯度消失問題,將隱藏層數(shù)目擴(kuò)展為有限數(shù)目,從數(shù)學(xué)角度分析利用激活函數(shù)Rule加快網(wǎng)絡(luò)計算速度和收斂的原理。由于梯度下降法存在局部最優(yōu)、收斂緩慢等問題,因此采用粒子群算法優(yōu)化Adam優(yōu)化器參數(shù)設(shè)置。采用L2正則化防止過擬合現(xiàn)象。本文對IMNN模型自身運(yùn)作原理及優(yōu)化方面進(jìn)行詳細(xì)的數(shù)學(xué)推導(dǎo),并針對神經(jīng)網(wǎng)絡(luò)實(shí)踐預(yù)測應(yīng)用提出自適應(yīng)反歸一化區(qū)間策略,結(jié)合水輪機(jī)協(xié)聯(lián)與非協(xié)聯(lián)試驗(yàn)證明該數(shù)學(xué)模型和自適應(yīng)策略的有效性。

1 改進(jìn)多層神經(jīng)網(wǎng)絡(luò)設(shè)計

1.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)[11]結(jié)構(gòu)如圖1所示。BP神經(jīng)網(wǎng)絡(luò)主要包含2個運(yùn)算過程:前向傳播和反向?qū)W習(xí)。數(shù)據(jù)樣本由輸入層進(jìn)入網(wǎng)絡(luò),經(jīng)權(quán)值和閾值計算后抵達(dá)隱藏層,在隱藏層經(jīng)激活函數(shù)作用后,通過新一輪的權(quán)、閾值計算到達(dá)輸出層,輸出層輸出預(yù)測值。反向?qū)W習(xí)是依據(jù)損失函數(shù)對網(wǎng)絡(luò)中的權(quán)值和閾值進(jìn)行修正,使網(wǎng)絡(luò)誤差在精度范圍內(nèi)。

BP神經(jīng)網(wǎng)絡(luò)主要涉及到輸出層輸出y計算、權(quán)值Wij計算及更新[12]。

圖1中xj為輸入層第j個神經(jīng)元接受樣本,bi分別為隱藏層第i個神經(jīng)元閾值,Vi為層間權(quán)值。

圖 1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of BP neural network

1.2 IMNN網(wǎng)絡(luò)框架

為提高網(wǎng)絡(luò)收斂速度,同時防止層數(shù)過深導(dǎo)致的梯度消失問題,改進(jìn)多層神經(jīng)網(wǎng)絡(luò)在BP結(jié)構(gòu)基礎(chǔ)上將隱藏層數(shù)目擴(kuò)展為3。其結(jié)構(gòu)如圖2所示:

圖2 IMNN結(jié)構(gòu)Fig.2 Structure of IMNN

選Rule函數(shù)為激活函數(shù):

R(x)=max(0,x)。

(1)

如圖2所示IMNN的前向計算過程的矩陣表達(dá)式為

(2)

式中:W1、W2、W3為權(quán)值矩陣；bk=[bk1,bk2,bk3]T,(k=1,2,3)為閾值向量；V=[V1,V2,V3]為隱藏層最后層與輸出層間的權(quán)值向量；y為輸出值向量。

推導(dǎo)得到Rule函數(shù)梯度更新公式:

(3)

樣本p權(quán)閾值的梯度為

(4)

1.3 過擬合正則化與梯度優(yōu)化器

過擬合現(xiàn)象是模型對當(dāng)前數(shù)據(jù)擬合過深,對未學(xué)習(xí)的新數(shù)據(jù)難以做出正確的判斷,模型缺乏泛化力。采用L2正則,防止數(shù)值模型過擬合,在損失函數(shù)中加入正則項(xiàng)來表征模型的復(fù)雜度,

。

(5)

總樣本的損失函數(shù)定義為

。

(6)

式(5)-(6)中:λ為正則項(xiàng)系數(shù)；ξ=[W1,W2,W3,V]T為總權(quán)值矩陣。梯度公式(4)進(jìn)一步更新為

(7)

(8)

(9)

，

(9)

，

(10)

，

(11)

。

(12)

同理可以推導(dǎo)得到bi、Vi的更新公式,

，

(13)

。

(14)

1.4 PSO優(yōu)化梯度參數(shù)

為了提高Adam優(yōu)化器參數(shù)收斂速度和準(zhǔn)確度,本文利用粒子群優(yōu)化算法[13-14]對網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化。粒子群的適應(yīng)值函數(shù)[15-16]選取為IMNN迭代后的總損失函數(shù),3個待優(yōu)化粒子為Adam改進(jìn)梯度法學(xué)習(xí)率c1,一階、二階動量系數(shù)β1、β2。Adam參數(shù)優(yōu)化流程如圖3所示。

圖3 粒子群算法優(yōu)化Adam參數(shù)流程圖Fig.3 Flow chart of the optimized Adam parameters based on PSO

2 自適應(yīng)反歸一化區(qū)間策略

為了統(tǒng)一各特征xj的量綱,通常需要對樣本數(shù)據(jù)x=[x1,x2,…xj,…,xn]T采用歸一化處理,采用歸一化公式[11]為

(15)

式中:α=0.95;β=0.05;xmax、xmin分為為輸入特征向量中的最大值和最小值。

(16)

對應(yīng)學(xué)習(xí)樣本xⅠ和預(yù)測樣本xⅡ,其反歸一化公式為

,

(17)

,

(18)

式(17)中:YⅠ,max=tmax;YⅠ,min=tmin。對于實(shí)際預(yù)測場景,式(18)中值YⅡ,max和YⅡ,min一般是未確定,故需要合理分析、逼近,最終找到一組合適的數(shù)據(jù)替代YⅡ,max和YⅡ,min的值,從而實(shí)現(xiàn)式(18)反歸一化運(yùn)算。

為了找到一組數(shù)Nmax和Nmin實(shí)現(xiàn)YⅡ,max=Nmax,YⅡ,min=Nmin。Nmax和Nmin的數(shù)值替代效果越逼近,式(18)計算的模型預(yù)測輸出越接近真實(shí)情況。為判斷Nmax和Nmin取值,本文構(gòu)建設(shè)計了如下方案:

方案1:直接選取Nmax和Nmin為學(xué)習(xí)樣本期望值的最大值最小值,即Nmax=tmax,Nmin=tmin。

圖4 自適應(yīng)區(qū)間策略方案2流程圖Fig.4 Flow chart of adaptive interval Strategy 2

(19)

(20)

(21)

方案3:假定獲得了現(xiàn)場試驗(yàn)的真實(shí)值,即真實(shí)值向量YⅡ已知,故能獲取YⅡ，max和YⅡ，min的值,則Nmax=YⅡ，max,Nmin=YⅡ，min。

3 算例分析

3.1 梯度優(yōu)化

在保持IMNN網(wǎng)絡(luò)參數(shù)一致條件下,將Adam梯度優(yōu)化算法優(yōu)化結(jié)果與SDG、SGDM、Adagrad[17-19]梯度算法和 BP網(wǎng)絡(luò)比較。損失函數(shù)在迭代300次后的收斂曲線如圖5所示。

由圖5可以看出,Adam算法的損失函數(shù)收斂速度最快,誤差精度最小。保持學(xué)習(xí)率相同前提下,Adagrad梯度算法誤差在IMNN迭代到104次時與Adam算法相近,但總體收斂精度大于Adam結(jié)果,收斂速度明顯比Adam梯度算法慢。各梯度算法學(xué)習(xí)率見表1。

表 1 各梯度算法參數(shù)Tab.1 Parameters of different gradient algorithm

為驗(yàn)證粒子群算法優(yōu)化Adam梯度參數(shù)效果,設(shè)粒子數(shù)目為20,迭代50次,仿真結(jié)果如圖6所示。由圖6可看出,PSO-Adam梯度優(yōu)化算法的收斂速度及收斂精度都顯著提高,優(yōu)化后PSO-Adam參數(shù)設(shè)置見表2。

圖5 IMNN不同梯度算法收斂速度

圖6 PSO優(yōu)化Adam參數(shù)效果對比

表2 PSO優(yōu)化參數(shù)數(shù)據(jù)Tab.2 Data of optimized parameters based on PSO

3.2 仿真預(yù)測

仿真分析一:取廣西某水電站某臺軸流轉(zhuǎn)漿水輪機(jī)非協(xié)聯(lián)試驗(yàn)獲得的153組數(shù)據(jù)進(jìn)行仿真,其中水輪機(jī)整定水頭H=9.3 m。將153組歷史數(shù)據(jù)分為學(xué)習(xí)集和預(yù)測集,學(xué)習(xí)集為總樣本集的80%,其包含輸入槳角φⅠ、導(dǎo)葉開度aⅠ和換算水輪機(jī)功率輸出PⅠ,預(yù)測集為總樣本集的20%,待預(yù)測輸入為φⅡ、aⅡ。數(shù)據(jù)集見表3。

應(yīng)用IMNN模型對訓(xùn)練集訓(xùn)練,其效果如圖7所示,訓(xùn)練值與真實(shí)值曲線的高度重合說明IMNN模型訓(xùn)練效果良好并具備預(yù)測能力。

學(xué)習(xí)集樣本訓(xùn)練完成后向模型輸入預(yù)測集,不同反歸一化策略方案預(yù)測效果如圖8所示。

為了進(jìn)一步驗(yàn)證本文所提出的自適應(yīng)反歸一化區(qū)間策略方案,繪制了如圖9所示的反歸一化策略方案1-3仿真預(yù)測效果圖,各方案預(yù)測數(shù)據(jù)如表4所示。其中方案3所獲得的預(yù)測值可視為最理想的情況,即對已知真實(shí)值的復(fù)現(xiàn)預(yù)測值。

表3 非協(xié)聯(lián)試驗(yàn)學(xué)習(xí)集與預(yù)測集數(shù)據(jù)Tab.3 Data of learning and prediction with non-coordination test

圖7 非協(xié)聯(lián)試驗(yàn)IMNN訓(xùn)練效果

圖8 非協(xié)聯(lián)試驗(yàn)IMNN預(yù)測效果

表4 非協(xié)聯(lián)試驗(yàn)預(yù)測值與試驗(yàn)真實(shí)值數(shù)據(jù)Tab.4 Prediction data of experiments with non-coordination test

方案3預(yù)測值逼近試驗(yàn)真實(shí)值線,這是反歸一化策略方案3的必然結(jié)果。以相對誤差,均方根誤差(root mean square error, RMSE),平均絕對誤差(mean absolute error, MAE)等指標(biāo)評測預(yù)測值與試驗(yàn)真實(shí)值的距離。如表5所示的仿真結(jié)果表明本文所提出的自適應(yīng)反歸一化區(qū)間策略具有對真實(shí)值的逼近能力。

表5 非協(xié)聯(lián)試驗(yàn)預(yù)測值評測指標(biāo)Tab.5 Evaluative indicators of predictive value with non-coordination test

仿真分析二:以廣西某水電站水輪機(jī)協(xié)聯(lián)試驗(yàn)獲取的94組協(xié)聯(lián)樣本數(shù)據(jù)為仿真數(shù)據(jù),其中整定水頭H=6.0 m。協(xié)聯(lián)試驗(yàn)時按照軸流轉(zhuǎn)漿水輪機(jī)運(yùn)行規(guī)范協(xié)聯(lián)改變槳葉角度φ、導(dǎo)葉開度a, 在94組協(xié)聯(lián)樣本數(shù)據(jù)中取樣本數(shù)據(jù)集的80%為學(xué)習(xí)集,預(yù)測集取樣本數(shù)據(jù)集的20%,學(xué)習(xí)集和預(yù)測集數(shù)據(jù)見表6。

圖9 非協(xié)聯(lián)試驗(yàn)預(yù)測復(fù)現(xiàn)圖

圖10 協(xié)聯(lián)試驗(yàn)IMNN預(yù)測效果圖

表6 協(xié)聯(lián)試驗(yàn)學(xué)習(xí)集與預(yù)測集數(shù)據(jù)Tab.6 Data of learning and prediction with coordination test

應(yīng)用協(xié)聯(lián)數(shù)據(jù)樣本集,經(jīng)過IMNN訓(xùn)練并進(jìn)行預(yù)測,預(yù)測效果結(jié)果如圖10和表7所示。自適應(yīng)反歸一化預(yù)測值(方案2)比方案3預(yù)測值效果略差,本質(zhì)是由于方案3反歸一化區(qū)間均為真實(shí)值,因此其仿真得到的預(yù)測值等于真值,方案2預(yù)測結(jié)果已經(jīng)最大限度接近真實(shí)值,因此自適應(yīng)反歸一化區(qū)間策略方案2具有可行性。

協(xié)聯(lián)預(yù)測值評測指標(biāo)見表8。在小樣本學(xué)習(xí)數(shù)據(jù)情況下,由表8協(xié)聯(lián)預(yù)測評測指標(biāo)結(jié)果表明,自適應(yīng)反歸一化預(yù)測值仍能逼近試驗(yàn)真實(shí)值,具有良好的實(shí)際預(yù)測效果，進(jìn)一步證明了所提IMNN模型以及自適應(yīng)反歸一化策略的有效性。

表 7 協(xié)聯(lián)試驗(yàn)預(yù)測值與試驗(yàn)真實(shí)值數(shù)據(jù)Tab.7 Prediction data of experiments with coordination test

表8 協(xié)聯(lián)預(yù)測值評測指標(biāo)Tab.8 Evaluative indicators of predictive value with coordination test

4 結(jié)論

為了解決水輪機(jī)協(xié)聯(lián)試驗(yàn)中數(shù)據(jù)不足導(dǎo)致的機(jī)組運(yùn)行參數(shù)設(shè)置問題，本文針對BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的梯度下降法收斂速度慢、激活函數(shù)在多層網(wǎng)絡(luò)結(jié)構(gòu)中易造成梯度消失、數(shù)據(jù)過擬合等問題,提出并推導(dǎo)了改進(jìn)多層神經(jīng)網(wǎng)絡(luò)IMNN的優(yōu)化過程,根據(jù)神經(jīng)網(wǎng)絡(luò)實(shí)際應(yīng)用時難以獲取預(yù)測真實(shí)值的區(qū)間邊界值問題,提出了自適應(yīng)反歸一化區(qū)間策略?；谒啓C(jī)協(xié)聯(lián)與非協(xié)聯(lián)工況案例分析驗(yàn)證了所搭建的軸流轉(zhuǎn)漿水輪機(jī)功率預(yù)測模型的準(zhǔn)確性和反歸一化策略的有效性,模型預(yù)測結(jié)果可以為科學(xué)設(shè)置軸流轉(zhuǎn)漿水輪機(jī)運(yùn)行參數(shù)提供技術(shù)指導(dǎo)。