采用限定記憶極限學(xué)習(xí)機(jī)的過(guò)熱汽溫逆建模研究

王萬(wàn)召，王杰

（鄭州大學(xué)電氣工程學(xué)院，450001，鄭州）

自適應(yīng)逆控制是由美國(guó)斯坦福大學(xué)Widrow教授于1986年首次提出來(lái)的，現(xiàn)已成為解決參數(shù)時(shí)變、非線性的熱工對(duì)象控制問(wèn)題的一個(gè)研究熱點(diǎn)［1-3］。如何利用生產(chǎn)現(xiàn)場(chǎng)采樣數(shù)據(jù)來(lái)實(shí)時(shí)在線辨識(shí)被控?zé)峁?duì)象的逆模型，成為實(shí)現(xiàn)自適應(yīng)逆控制方案的關(guān)鍵問(wèn)題［4-7］。

針對(duì)神經(jīng)網(wǎng)絡(luò)傳統(tǒng)梯度學(xué)習(xí)算法存在的訓(xùn)練速度慢，容易陷入局部極小點(diǎn)等問(wèn)題，Huang等提出了一種新學(xué)習(xí)算法——極限學(xué)習(xí)機(jī) （Extreme Learning Machine，ELM）［8-9］，憑借其卓越的學(xué)習(xí)能力，受到國(guó)內(nèi)外研究者的廣泛重視，并已在模式識(shí)別和函數(shù)估計(jì)領(lǐng)域得到了廣泛應(yīng)用［10-12］。近年來(lái)一些學(xué)者又提出了極限學(xué)習(xí)機(jī)在線學(xué)習(xí)算法［13-14］，但隨著學(xué)習(xí)時(shí)間的推移，這些在線算法的增益矩陣將漸漸趨于零，導(dǎo)致在線學(xué)習(xí)算法慢慢失去權(quán)值修正能力，并最終出現(xiàn)“數(shù)據(jù)飽和”現(xiàn)象。

本文提出一種新的極限學(xué)習(xí)機(jī)在線學(xué)習(xí)算法，該算法中神經(jīng)網(wǎng)絡(luò)權(quán)值僅依賴(lài)于有限個(gè)新采樣數(shù)據(jù)，每增加一個(gè)新采樣數(shù)據(jù)，就去掉一個(gè)舊采樣數(shù)據(jù)，學(xué)習(xí)數(shù)據(jù)長(zhǎng)度始終保持不變，因此該算法可稱(chēng)為限定記憶法在線學(xué)習(xí)算法。隨后，將該算法應(yīng)用于參數(shù)時(shí)變的過(guò)熱汽溫對(duì)象的逆模型建模過(guò)程，仿真結(jié)果表明，該算法能有效地克服 “數(shù)據(jù)飽和”現(xiàn)象，提高學(xué)習(xí)精度，是一種先進(jìn)的過(guò)熱汽溫對(duì)象在線逆建模方法。

1 極限學(xué)習(xí)機(jī)批量式學(xué)習(xí)算法

典型的具有N個(gè)隱含層節(jié)點(diǎn)的單隱層前饋神經(jīng)網(wǎng)絡(luò)的輸出可以表示為

式中：ai為輸入層對(duì)隱含層第i個(gè)神經(jīng)元的連接權(quán)值；bi為隱含層第i個(gè)神經(jīng)元的閾值；βi為隱含層第i個(gè)神經(jīng)元到輸出的連接權(quán)值；G（ai，bi，x）為隱含層的激活函數(shù)；x為輸入向量。

假設(shè)從k時(shí)刻到k+L-1時(shí)刻的時(shí)間段內(nèi)具有L個(gè)樣本的訓(xùn)練集輸入矩陣X0和輸出向量Y0分別為

當(dāng)激活函數(shù)G（ai，bi，x）無(wú)限可微時(shí)，SFLN 的參數(shù)不需要全部進(jìn)行調(diào)整，ai和bi可以在學(xué)習(xí)前隨機(jī)選擇，且在訓(xùn)練過(guò)程中保持恒定，而隱含層與輸出的連接權(quán)值β（0）可通過(guò)求解以下方程的最小二乘解［12］得到

式中：H0是包含k至k+L-1時(shí)刻間共L個(gè)采樣數(shù)據(jù)的隱含層數(shù)據(jù)矩陣

其解為

其中

顯然，批量式學(xué)習(xí)算法的特點(diǎn)是一次注入所有的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，因此只能離線應(yīng)用，如果學(xué)習(xí)樣本是在線采集的話，就必須使用在線學(xué)習(xí)算法。

2 極限學(xué)習(xí)機(jī)限定記憶學(xué)習(xí)算法

2.1 增長(zhǎng)記憶極限學(xué)習(xí)機(jī)算法

假設(shè)隨著采樣過(guò)程的進(jìn)行，增加一組新的采樣數(shù)據(jù)（xk+L，yk+L），這時(shí)包含k至k+L時(shí)刻共L+1個(gè)采樣數(shù)據(jù)的隱含層數(shù)據(jù)矩陣為

采用批量學(xué)習(xí)算法，則包含k至k+L時(shí)刻共L+1個(gè)采樣數(shù)據(jù)信息的隱含層與輸出連接權(quán)值向量β（1）可通過(guò)求解以下方程的最小化獲得

由式（12），利用矩陣反演公式得

由式（13）、（14），基于第一步的辨識(shí)結(jié)果β（0）、加上第k+L+1時(shí)刻的采樣信息（xk+L，yk+L），可以通過(guò)遞推運(yùn)算，獲得包含k至k+L時(shí)刻共k+L+1個(gè)采樣數(shù)據(jù)信息的隱含層與輸出連接權(quán)值向量β（1）。這樣能夠充分利用以前的辨識(shí)結(jié)果，避免重復(fù)計(jì)算［15］。但是，如果僅采用上述增加新采樣數(shù)據(jù)信息的方法進(jìn)行迭代運(yùn)算，就會(huì)帶來(lái)“數(shù)據(jù)飽和”問(wèn)題。

由式 （7）、（12）可知，K0、K1均是正定的，則

可見(jiàn)，增量記憶極限學(xué)習(xí)機(jī)中的增益矩陣是隨著采樣時(shí)間k的增加而遞減的正定陣。令K-1表示增量記憶極限學(xué)習(xí)機(jī)的增益矩陣，則當(dāng)k→∞時(shí)，K-1→0。當(dāng)增益矩陣K-1趨近于零矩陣，由式（13）可知修正項(xiàng)不再起作用，遞推算法失去修正能力，并最終出現(xiàn)“數(shù)據(jù)飽和”問(wèn)題。

2.2 限定記憶極限學(xué)習(xí)機(jī)算法

產(chǎn)生“數(shù)據(jù)飽和”的原因是學(xué)習(xí)算法對(duì)新、老采樣數(shù)據(jù)給予相同的信任度，這樣隨著從新采樣數(shù)據(jù)中獲得的信息量相對(duì)下降，學(xué)習(xí)算法就會(huì)漸漸失去修正能力?？朔皵?shù)據(jù)飽和”最有效的方法是確保權(quán)值β始終只依賴(lài)于有限個(gè)最新采樣數(shù)據(jù)所提供的信息，每增加一個(gè)新采樣數(shù)據(jù)，就去掉一個(gè)最舊的采樣數(shù)據(jù)，學(xué)習(xí)數(shù)據(jù)長(zhǎng)度始終保持不變。因此，每當(dāng)增加一組新的k+L時(shí)刻采樣數(shù)據(jù)（xk+L，yk+L），為保持辨識(shí)信息數(shù)據(jù)長(zhǎng)度L不變，就需要去掉k時(shí)刻信息（xk，yk）的影響。僅考慮包含k+1至k+L時(shí)刻共L個(gè)采樣數(shù)據(jù)信息，與此對(duì)應(yīng)的隱含層數(shù)據(jù)矩陣為

采用批量學(xué)習(xí)算法，則包含k+1至k+L時(shí)刻共L個(gè)采樣數(shù)據(jù)信息的隱含層與輸出連接權(quán)值向量

式中

由式（18），利用矩陣反演公式可得由式（21），基于第二步的辨識(shí)結(jié)果β（1）、消去第k時(shí)刻的采樣信息（xk，yk），可以通過(guò)遞推運(yùn)算獲得包含k+1至k+L時(shí)刻共L個(gè)采樣數(shù)據(jù)信息的隱含層與輸出連接權(quán)值向量β（2）。

根據(jù)以上的推導(dǎo)過(guò)程，限定記憶極限學(xué)習(xí)機(jī)算法主要包括以下幾個(gè)具體學(xué)習(xí)步驟。

步驟1 確定隱含層神經(jīng)元的數(shù)目，隨機(jī)選擇輸入層與隱含層的連接權(quán)值ai和隱含層神經(jīng)元的閾值bi。

步驟2 選擇一個(gè)無(wú)限可微的函數(shù)作為隱含層神經(jīng)元的激活函數(shù)G（ai，bi，x），并計(jì)算隱含層輸出矩陣。

步驟3 根據(jù)一批采樣數(shù)據(jù)，利用極限學(xué)習(xí)機(jī)批量算法，預(yù)先求得β（0）、，為了減少計(jì)算量，數(shù)據(jù)長(zhǎng)度L不宜取太大。

步驟4 每獲得一組新的采樣數(shù)據(jù)（ak+L，yk+L），先利用式（13）、（14）計(jì)算β（1）、，增加新數(shù)據(jù)的信息；再利用式（20）、（21）計(jì)算β（2）、，去掉老數(shù)據(jù)的信息。

不斷迭代，始終保持著固定不變的數(shù)據(jù)長(zhǎng)度，可以防止出現(xiàn)“數(shù)據(jù)飽和”現(xiàn)象，最終獲得隱含層與輸出層連接權(quán)值的理想值。

3 仿真實(shí)驗(yàn)及分析

為比較驗(yàn)證本文所提限定記憶極限學(xué)習(xí)機(jī)算法與文獻(xiàn)［15］中的數(shù)據(jù)長(zhǎng)度隨采樣進(jìn)行不斷增長(zhǎng)的增長(zhǎng)記憶極限學(xué)習(xí)機(jī)算法的性能，將這兩種算法同時(shí)應(yīng)用于參數(shù)時(shí)變的過(guò)熱汽溫對(duì)象逆模型的學(xué)習(xí)過(guò)程。文獻(xiàn)［2，16］給出了某臺(tái)超臨界壓力鍋爐在不同負(fù)荷時(shí)的傳遞函數(shù)，如表1所示。

過(guò)熱汽溫對(duì)象的輸入u為減溫水流量的變化，單位為kg／s，輸出y為鍋爐過(guò)熱汽溫的變化，單位為℃。取逆動(dòng)力學(xué)模型的輸入向量為

表1 過(guò)熱汽溫的動(dòng)態(tài)特性（傳遞函數(shù)）

為了檢驗(yàn)所提算法對(duì)于時(shí)變對(duì)象逆模型的學(xué)習(xí)能力，這里以輸入函數(shù)

在大負(fù)荷變化范圍內(nèi)驅(qū)動(dòng)過(guò)熱汽溫對(duì)象，對(duì)象在0～500s位于100%負(fù)荷，500～1 000s位于75%負(fù)荷，1 000～1 500s位于50%負(fù)荷。采樣時(shí)間取1s，獲得1 500組采樣數(shù)據(jù)［u（k），y（k）］。利用這些采樣數(shù)據(jù)，根據(jù)式（22）獲得辨識(shí)逆模型所需的輸入向量。采用單隱含層前饋神經(jīng)網(wǎng)絡(luò)來(lái)逼近逆模型，網(wǎng)絡(luò)結(jié)構(gòu)為4-5-1，隱含層的激活函數(shù)選用Sigmoid函數(shù)，輸出層為純線性函數(shù)，網(wǎng)絡(luò)的輸入為x（k），輸出為u（k）。在仿真中比較本文所提出的限定記憶ELM學(xué)習(xí)算法與文獻(xiàn)［15］所提到的增長(zhǎng)記憶ELM學(xué)習(xí)算法，初始值β（0）、K-10使用批量極限學(xué)習(xí)機(jī)離線事先求得，增長(zhǎng)記憶ELM學(xué)習(xí)算法的仿真結(jié)果分別如圖1、圖2所示，限定記憶ELM學(xué)習(xí)算法的仿真結(jié)果分別如圖3、圖4所示。

圖1、圖3上面子圖中的虛線表示過(guò)熱汽溫對(duì)象的輸入u（k）（逆模型學(xué)習(xí)網(wǎng)絡(luò)的期望輸出），實(shí)線表示逆模型學(xué)習(xí)網(wǎng)絡(luò)的實(shí)際輸出um（k）；下面的子圖表示逆模型實(shí)際輸出與期望輸出的誤差曲線。圖2、圖4中曲線表示神經(jīng)網(wǎng)絡(luò)隱含層與輸出連接權(quán)值向量β的5個(gè)分量（隱含層有5個(gè)節(jié)點(diǎn)）的學(xué)習(xí)過(guò)程。

為比較精度，本文采用式（24）的性能指標(biāo)來(lái)衡量所建逆模型的精度

式中：l為總的采樣點(diǎn)數(shù)；u（k）為過(guò)熱汽溫對(duì)象的實(shí)際輸入；um（k）為過(guò)熱汽溫對(duì)象逆模型的輸出；e（k）為過(guò)熱汽溫對(duì)象逆模型的輸出與對(duì)象實(shí)際輸入的差值，即逆模型建模誤差。

圖1 增長(zhǎng)記憶在線極限學(xué)習(xí)機(jī)的仿真結(jié)果（RMSE=0.001 0）

圖2 增長(zhǎng)記憶在線極限學(xué)習(xí)機(jī)權(quán)值學(xué)習(xí)過(guò)程

圖3 限定記憶在線極限學(xué)習(xí)機(jī)的仿真結(jié)果（RMSE=4.176×10-6）

由圖1、圖3比較可以看出，相比于增長(zhǎng)記憶學(xué)習(xí)算法，限定記憶學(xué)習(xí)算法的學(xué)習(xí)精度有了很大的提高。由圖2、圖4比較可以看出，當(dāng)時(shí)間t＞500s以后，常規(guī)增長(zhǎng)記憶學(xué)習(xí)算法就喪失了權(quán)值修正能力，繼續(xù)遞推下去也不會(huì)改善學(xué)習(xí)結(jié)果，即出現(xiàn)了“數(shù)據(jù)飽和”現(xiàn)象。而限定記憶極限學(xué)習(xí)機(jī)隨著時(shí)間的增長(zhǎng)權(quán)值會(huì)不斷改善，說(shuō)明它具有克服“數(shù)據(jù)飽和”的能力，這也說(shuō)明了為何限定記憶極限學(xué)習(xí)機(jī)具有更高的學(xué)習(xí)精度。

圖4 限定記憶在線極限學(xué)習(xí)機(jī)權(quán)值學(xué)習(xí)過(guò)程

4 結(jié) 論

本文提出的限定記憶極限學(xué)習(xí)機(jī)在線學(xué)習(xí)算法能有效克服“數(shù)據(jù)飽和”現(xiàn)象，可以在遞推計(jì)算中不斷改善權(quán)值學(xué)習(xí)結(jié)果。尤其對(duì)于時(shí)變對(duì)象逆建模來(lái)說(shuō)，可以保證權(quán)值學(xué)習(xí)，及時(shí)跟蹤對(duì)象特性參數(shù)的變化，相對(duì)于常規(guī)的增量記憶學(xué)習(xí)算法具有更高的學(xué)習(xí)精度。利用本文所提出的學(xué)習(xí)算法對(duì)過(guò)熱汽溫對(duì)象在線逆建模，結(jié)果顯示了該方法的有效性和優(yōu)越性，是一種實(shí)用的參數(shù)時(shí)變對(duì)象在線逆建模技術(shù)。

［1］ 韓璞，張海琳，張麗靜.神經(jīng)網(wǎng)絡(luò)自適應(yīng)逆控制的仿真研究 ［J］.華北電力大學(xué)學(xué)報(bào)，2001，28（3）：26-30.HAN Pu，ZHANG Hailin，ZHANG Lijing.Simulation study of neural network based adaptive inverse control［J］.Journal of North China Electric Power University，2001，28（3）：26-30.

［2］ 黨映農(nóng)，韓崇昭.基于Volterra基函數(shù)網(wǎng)絡(luò)的自適應(yīng)逆控制方法 ［J］.西安交通大學(xué)學(xué)報(bào)，2000，34（9）：8-12.DANG Yingnong，HAN Chongzhao.Adaptive inverse control based on Volterra polynomial basis function neural networks［J］.Journal of Xi’an Jiaotong University，2000，34（9）：8-12.

［3］ 王廣軍，鄧良才，陳紅.鍋爐汽溫對(duì)象逆動(dòng)力學(xué)過(guò)程模糊辨識(shí) ［J］.中國(guó)電機(jī)工程學(xué)報(bào)，2007，27（20）：76-80.WANG Guangjun，DENG Liangcai，CHEN Hong.Fuzzy identification on inverse dynamic process of steam temperature object of boiler［J］.Proceedings of the Chinese Society for Electrical Engineering，2007，27（20）：76-80.

［4］ GELFAND S B，GMEIER J V.The stability of varia-ble step-size LMS algorithms ［J］.IEEE Transactions on Signal Processing，1999，47（12）：3277-3288.

［5］ 羅小東，賈振紅，王強(qiáng).一種新的變步長(zhǎng)LMS自適應(yīng)濾波算法 ［J］.電子學(xué)報(bào)，2006，6（6）：1123-1126.LUO Xiaodong，JIA Zhenhong，WANG Qiang.A new variable step size LMS adaptive filtering algorithm［J］.Acta Electronica Sinica，2006，6（6）：1123-1126.

［6］ 劉亞秋，馬廣富，石忠.NARX網(wǎng)絡(luò)在自適應(yīng)逆控制動(dòng)態(tài)系統(tǒng)辨識(shí)中的應(yīng)用 ［J］.哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2005，37（2）：173-176.LIU Yaqiu，MA Guangfu，SHI Zhong.NARX network for dynamic system identification in adaptive inverse control［J］.Journal of Harbin Institute of Technology，2005，37（2）：173-176.

［7］ 鐘偉民，皮道映，孫優(yōu)賢.基于支持向量機(jī)的直接逆模型辨識(shí) ［J］.控制理論與應(yīng)用，2005，22（2）：307-310.ZHONG Weimin，PI Daoying，SUN Youxian.Support vector machine based direct inverse-model identification［J］.Control Theory and Application，2005，22（2）：307-310.

［8］ HUANG Guangbin，SIEW C K.Extreme learning machine：RBF network case［C］∥Proceedings of the 8th International Conference on Control，Automation，Robotics and Vision.Piscataway，NJ，USA：IEEE，2004：1029-1036.

［9］ HUANG Guangbin，SIEW C K.Extreme learning machine with randomly assigned RBF kernels［J］.International Journal of Information Technology，2005，11（1）：16-25.

［10］HANDOKO S D，KEONG K C，SOON O Y，et al.Extreme learning machine for predicting HLA-peptide binding［C］∥Proceedings of the Advances in Neural Networks.Berlin，Germany：Springer-Verlag，2006：716-721.

［11］LIANG Nanying，SARATCHANDRAN P，HUANG Guangbin.Classification of mental tasks from EEG signals using extreme learning machine ［J］.International Journal of Neural Systems，2006，16（1）：29-38.

［12］HUANG Guangbin，ZHU Qinyu，SIEW C K.Extreme learning machine：theory and applications ［J］.Neurocomputing，2006，70（1）：489-501.

［13］LIANG Nanying，HUANG Guangbin，SARATCHANDRAN P，et al.A fast and accurate online sequential learning algorithms for feedforward networks ［J］.IEEE Transactions on Neural Networks，2006，17（6）：1411-1423.

［14］HUANG Guangbin，SARATCHANDRAN P，SUN-DARAAJAN N.An efficient sequential learning algorithm for growing and pruning RBF （GAP-RBF）networks［J］.IEEE Transactions on System，Man，and Cybernetics，2004，34（6）：2284-2292.

［15］FENG Guorui，HUANG Guangbin，LIN Qingping，et al.Error minimized extreme learning machine with growth of hidden nodes and incremental learning ［J］.IEEE Transactions on Neural Networks，2009，20（8）：1352-1357.

［16］范永勝，徐治皋，陳來(lái)久.基于動(dòng)態(tài)特性機(jī)理分析的鍋爐過(guò)熱汽溫自適應(yīng)模糊控制系統(tǒng)研究 ［J］.中國(guó)電機(jī)工程學(xué)報(bào)，1997，7（1）：23-28.FAN Yongsheng，XU Zhigao，CHEN Laijiu.Study of adaptive fuzzy control of boiler superheated steam temperature based on dynamic mechanism analysis ［J］.Proceedings of the Chinese Society for Electrical Engineering，1997，7（1）：23-28.