基于L2正則化LSTM的非線性動(dòng)態(tài)系統(tǒng)辨識(shí)

徐寶昌 呂 爽 董秀娟 王 健

（1.中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院；2.中石油北京天然氣管道有限公司）

實(shí)現(xiàn)良好的控制是提高工業(yè)生產(chǎn)過程經(jīng)濟(jì)效益、保障生產(chǎn)安全的關(guān)鍵，而實(shí)現(xiàn)良好控制的基礎(chǔ)就是建立準(zhǔn)確的模型。 但現(xiàn)有的化工過程辨識(shí)方法大多過于依賴實(shí)驗(yàn)獲得的數(shù)據(jù)，這嚴(yán)重地限制了其使用范圍。 隨著計(jì)算機(jī)計(jì)算能力的提升，DCS在實(shí)際生產(chǎn)中逐漸普及，大量的生產(chǎn)數(shù)據(jù)被存儲(chǔ)在本地或云端，這些數(shù)據(jù)中蘊(yùn)含著生產(chǎn)過程的各種動(dòng)靜態(tài)信息， 如果能充分挖掘DCS中數(shù)據(jù)的信息，通過一定的模型結(jié)構(gòu)和參數(shù)來表達(dá)非線性的動(dòng)態(tài)過程，建立良好的替代模型，將能夠更好地掌握過程的內(nèi)在特性，便于研究出更加高效穩(wěn)定的控制方法， 實(shí)現(xiàn)對(duì)整個(gè)流程的故障預(yù)測(cè)、控制、監(jiān)督以及經(jīng)濟(jì)效益優(yōu)化等。

為解決上述問題， 筆者引入深度學(xué)習(xí)算法中的模型——長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）［1］。 LSTM 在 循 環(huán) 神 經(jīng) 網(wǎng) 絡(luò)（Recurrent Neural Network，RNN） 的基礎(chǔ)上引入長(zhǎng)短期記憶結(jié)構(gòu)，既考慮了過往信息的影響，也有效地解決了梯度消失或爆炸問題，在手寫識(shí)別［2］、圖像分析［3］及時(shí)間序列預(yù)測(cè)等方面表現(xiàn)出良好的效果。 Yadav A等利用LSTM對(duì)印度股票市場(chǎng)進(jìn)行預(yù)測(cè)，通過有無狀態(tài)模型和隱藏層數(shù)量對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，結(jié)果表明LSTM在股票預(yù)測(cè)上具有可行性［4］；Gonzalez J和Yu W則利用LSTM與神經(jīng)網(wǎng)絡(luò)的結(jié)合，證明了改進(jìn)后的方法對(duì)于只使用測(cè)試輸入、不利用以往測(cè)試輸出的模型而言具有更好的效果［5］；Joohyun W等利用LSTM進(jìn)行無人水面車輛（SUV）模型的建立，該方法相比傳統(tǒng)的線性動(dòng)態(tài)模型降低了浪涌預(yù)測(cè)誤差、偏航率預(yù)測(cè)誤差等，表現(xiàn)出良好的性能［6］。 針對(duì)基本結(jié)構(gòu)對(duì)數(shù)據(jù)契合不高的問題，學(xué)者們對(duì)其結(jié)構(gòu)進(jìn)行了改變或采用與其他模型、方法相結(jié)合的思路，如韓恒貴利用LSTM的變體GRU和混合模型進(jìn)行絕緣雙極性晶體管的故障預(yù)測(cè)，實(shí)驗(yàn)結(jié)果表明新方法進(jìn)行故障預(yù)測(cè)的均方根值為0.075 6，預(yù)測(cè)效果有了很大的提升［7］；Yu R等提出一種基于序列相關(guān)特征的LSTM-EFG模型用于風(fēng)力發(fā)電預(yù)測(cè)，該方法對(duì)遺忘門功能進(jìn)行了增強(qiáng)，提高了預(yù)測(cè)的效果［8］。

在實(shí)際應(yīng)用中，LSTM基礎(chǔ)網(wǎng)絡(luò)由于結(jié)構(gòu)和輸入數(shù)據(jù)不足等問題， 往往會(huì)出現(xiàn)模型過擬合、泛化能力低等問題，為此筆者結(jié)合常用于解決過擬合現(xiàn)象的正則化［9，10］方法提出基于L2正則化LSTM辨識(shí)策略， 并利用非自衡系統(tǒng)TE過程（Tennessee Eastman Process）進(jìn)行方法有效性的驗(yàn)證。 通過實(shí)驗(yàn)表明，該方法具有更快的收斂速度，模型泛化能力更強(qiáng)，對(duì)所需辨識(shí)數(shù)據(jù)要求更低，辨識(shí)得到的模型可以很好地反映系統(tǒng)的階躍響應(yīng)過程，預(yù)測(cè)系統(tǒng)的輸出。

1 L2正則化LSTM模型

1.1 LSTM模型

LSTM 是由RNN 發(fā)展而來的重要結(jié)構(gòu)，由Hochreiter S和Schmidhuber J于1997年提出［1］，它在RNN的基礎(chǔ)上增加了輸入門、輸出門、遺忘門和記憶單元4個(gè)門限， 能夠?qū)﹂L(zhǎng)距離依賴問題進(jìn)行處理，避免梯度消失或爆炸的問題。 LSTM內(nèi)部結(jié)構(gòu)如圖1所示。

圖1 LSTM內(nèi)部結(jié)構(gòu)

在LSTM的結(jié)構(gòu)中，以t時(shí)刻的輸入xt和前一時(shí)刻的狀態(tài)信息ht-1作為輸入信息，通過內(nèi)部細(xì)胞進(jìn)行狀態(tài)單元的填充或移除完成信息更新。 原始的LSTM結(jié)構(gòu)的門限由sigmoid函數(shù)與矩陣點(diǎn)乘組成，由于sigmoid函數(shù)的輸出為0～1之間的數(shù)字，因此可以描述信息的通過程度， 其中0代表移除，1代表全部信息通過。 LSTM網(wǎng)絡(luò)的前向傳播可以表示為：

1.2 基于L2正則化LSTM模型

為增強(qiáng)辨識(shí)模型的泛化能力，筆者采用可以對(duì)參數(shù)進(jìn)行稀疏化的L2正則化方法對(duì)LSTM基礎(chǔ)模型進(jìn)行優(yōu)化，即在原損失函數(shù)上加上L2范數(shù)正則化項(xiàng)，得到的損失函數(shù)J公式如下：

其中，λ為正則化系數(shù)，用于權(quán)衡正則項(xiàng)與原始函數(shù)的比重；n為訓(xùn)練集樣本大?。籎0為原始的損失函數(shù)；ω為權(quán)重；yi為模型實(shí)際輸出；為模型預(yù)測(cè)輸出。

根據(jù)上述公式，權(quán)重ω的更新為：

其中，η為學(xué)習(xí)率。

根據(jù)式 （7）、（8）， 可以得到基于L2正則化LSTM辨識(shí)策略的權(quán)值更新公式：

其中，Wfx、Wfh分別為遺忘門更新時(shí)輸入信息和上一層狀態(tài)所對(duì)應(yīng)的更新權(quán)重；k為時(shí)刻；δf，t為損失函數(shù)J對(duì)于Wf·［ht-1，xt］+bf的偏導(dǎo)數(shù)。

其余權(quán)值更新公式同理。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)來源及預(yù)處理

筆者采用非自衡系統(tǒng)TE過程作為辨識(shí)對(duì)象。TE過程是一個(gè)實(shí)際化工過程的仿真模擬，它是由美國(guó)Tennessee Eastman化學(xué)公司過程控制小組的Downs J J和Vogel E F提出的［11］，被廣泛地應(yīng)用于過程控制技術(shù)的研究［12］。整個(gè)TE過程可以被用來進(jìn)行各種各樣的過程研究，主要包括裝置的控制策略設(shè)計(jì)、多變量控制、過程優(yōu)化及預(yù)測(cè)控制等。

TE過程包含12個(gè)操縱變量和41個(gè)測(cè)量變量，所給出的已知數(shù)據(jù)集中包含21個(gè)預(yù)先設(shè)定好的故障，其中16個(gè)為已知故障（包含階躍、隨機(jī)變量等），5個(gè)為未知故障。 每一種故障對(duì)應(yīng)兩組數(shù)據(jù)，分別為具有498個(gè)數(shù)據(jù)的訓(xùn)練集和948個(gè)數(shù)據(jù)的測(cè)試集。 文中筆者選取12個(gè)操縱變量作為輸入，產(chǎn)品分離器溫度XMEAS11的測(cè)量值作為輸出，具體的訓(xùn)練集、測(cè)試集、驗(yàn)證集來源見表1。

表1 實(shí)驗(yàn)中涉及的幾組數(shù)據(jù)集組合

TE過程所提供的數(shù)據(jù)集來自仿真實(shí)驗(yàn)，需要進(jìn)行時(shí)序處理才能符合L2正則化LSTM網(wǎng)絡(luò)的輸入形式。 同時(shí)，為消除不同量綱和數(shù)量級(jí)帶來的影響，需將數(shù)據(jù)集進(jìn)行0～1標(biāo)準(zhǔn)化處理。 筆者選用以下幾種模型評(píng)價(jià)指標(biāo)來對(duì)辨識(shí)效果進(jìn)行評(píng)估，包括ACC （精確度）、MAPE （平均相對(duì)百分比誤差）、RMSE（均方根誤差）及R2（擬合優(yōu)度）等。 其中，MAPE和RMSE的值越小， 說明模型建立的效果越好；R2衡量的是回歸方程整體的擬合度，R2的值越接近1，說明模型的擬合效果越好。 具體評(píng)價(jià)指標(biāo)如下：

其中，y-為實(shí)際輸出的平均值。

2.2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)定

文中用前n步時(shí)間狀態(tài)的11個(gè)操縱變量數(shù)據(jù)預(yù)測(cè)后m步產(chǎn)品分離器溫度XMEAS11，即網(wǎng)絡(luò)輸入X={X1（t），X2（t），…，X11（t），…，X1（t-n），X2（tn），…，X11（t-n）}，輸出Y={Y（t），…，Y（t+m）}。

利用L2正則化LSTM辨識(shí)策略和表1中的第4組數(shù)據(jù)集進(jìn)行TE過程辨識(shí)，根據(jù)網(wǎng)格搜索法確定標(biāo)準(zhǔn)LSTM辨識(shí)時(shí)的最優(yōu)參數(shù)組合為：隱藏層參數(shù)為25，學(xué)習(xí)率η為0.3，時(shí)間步長(zhǎng)time_step為2，迭代次數(shù)為1 000次。 從［0，10］中選取正則化系數(shù)λ的值，觀察訓(xùn)練集、測(cè)試集和驗(yàn)證集的評(píng)價(jià)指標(biāo)變化，其中驗(yàn)證集變化曲線如圖2所示。

圖2 驗(yàn)證集偏差隨正則化系數(shù)λ的變化曲線

根據(jù)仿真結(jié)果可以得到：驗(yàn)證集偏差隨正則化系數(shù)λ的增加先減小后增大，當(dāng)正則化系數(shù)λ=2時(shí)，驗(yàn)證集偏差最小，正則化方法使用前后的評(píng)價(jià)指標(biāo)見表2。

表2 正則化方法使用前后評(píng)價(jià)指標(biāo)的對(duì)比

2.3 實(shí)驗(yàn)對(duì)比分析

現(xiàn)利用支持向量回歸（SVR）、BP和基于L2正則化LSTM的網(wǎng)絡(luò)（L2-G-LSTM）對(duì)TE過程進(jìn)行辨識(shí)與比較，得到的訓(xùn)練結(jié)果如圖3、4所示，評(píng)價(jià)指見標(biāo)表3～6。 所采用的數(shù)據(jù)集為表1中的4組數(shù)據(jù)集。

圖3 測(cè)試集各個(gè)樣本預(yù)測(cè)誤差百分比

圖4 基于第2組數(shù)據(jù)集各算法的預(yù)測(cè)結(jié)果

表3 基于第1組數(shù)據(jù)集的評(píng)價(jià)指標(biāo)

（續(xù)表3）

表4 基于第2組數(shù)據(jù)集的評(píng)價(jià)指標(biāo)

表5 基于第3組數(shù)據(jù)集的評(píng)價(jià)指標(biāo)

表6 基于第4組數(shù)據(jù)集的評(píng)價(jià)指標(biāo)

從表3～6的結(jié)果可以看出， 相較于BP和SVR而言，L2-G-LSTM對(duì)TE過程進(jìn)行辨識(shí)時(shí)，在訓(xùn)練集和測(cè)試集上得到的RMSE、MAPE相對(duì)較小，R2和ACC更接近于1，得到的擬合模型更加接近真實(shí)模型。 同時(shí)根據(jù)預(yù)測(cè)結(jié)果和實(shí)際輸出的對(duì)比，L2-GLSTM在驗(yàn)證集上進(jìn)行驗(yàn)證時(shí)，能夠更好地反映出系統(tǒng)階躍響應(yīng)的各項(xiàng)指標(biāo)，綜合評(píng)價(jià)指標(biāo)和預(yù)測(cè)結(jié)果對(duì)比結(jié)果， 可以充分說明L2-G-LSTM具有更高的泛化能力和更高的辨識(shí)精度，能夠更好地對(duì)非線性動(dòng)態(tài)系統(tǒng)進(jìn)行建模。 實(shí)驗(yàn)中的4組數(shù)據(jù)集分別對(duì)應(yīng)4種情況，無論在哪種情況下L2-G-LSTM網(wǎng)絡(luò)基本都能得到綜合評(píng)價(jià)下的最優(yōu)結(jié)果，基于這一點(diǎn)說明基于L2正則化的LSTM對(duì)于輸入數(shù)據(jù)的要求較低，為化工實(shí)際生產(chǎn)過程的建模提供了更多可能。

3 結(jié)束語

筆者提出的基于L2正則化的LSTM辨識(shí)策略，能夠有效地避免過擬合現(xiàn)象的發(fā)生，完成對(duì)非線性動(dòng)態(tài)系統(tǒng)的辨識(shí)。 與BP、SVR方法相比，具有更快的收斂速度和辨識(shí)精度，在測(cè)試集上的誤差控制在0.15%左右； 在訓(xùn)練集和測(cè)試集上的輸出偏差控制在0.5℃以下； 擬合優(yōu)度R2控制在3以內(nèi)，表明對(duì)實(shí)際數(shù)據(jù)的動(dòng)態(tài)走勢(shì)預(yù)測(cè)良好。 從對(duì)不同數(shù)據(jù)集的辨識(shí)結(jié)果來看， 基于L2正則化的LSTM辨識(shí)策略能夠降低對(duì)辨識(shí)數(shù)據(jù)的要求，對(duì)含有少量噪聲的正常工況數(shù)據(jù) （表1中的第1組數(shù)據(jù)）辨識(shí)時(shí)，仍然得到了良好的辨識(shí)效果，為離線辨識(shí)，得到“孿生”模型提供了可能。 將來應(yīng)考慮利用其他優(yōu)化算法對(duì)LSTM進(jìn)行優(yōu)化，以進(jìn)一步提高辨識(shí)精度。