基于回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)逼近式灰箱建模

雷曉義

摘 ?要：針對(duì)化工生產(chǎn)過(guò)程中反應(yīng)機(jī)理大致清楚，而參數(shù)及結(jié)構(gòu)部分未知這樣一大類(lèi)對(duì)象，提出了一種基于回聲狀態(tài)網(wǎng)絡(luò)（ESN）和反應(yīng)基元相結(jié)合的結(jié)構(gòu)逼近式灰箱建模方法。首先，根據(jù)對(duì)象的先驗(yàn)知識(shí)及反應(yīng)機(jī)理，選擇反應(yīng)基元代替結(jié)構(gòu)未知部分。其次，將反應(yīng)基元與先驗(yàn)知識(shí)作為回聲狀態(tài)網(wǎng)絡(luò)狀態(tài)池內(nèi)的神經(jīng)元，賦予網(wǎng)絡(luò)節(jié)點(diǎn)實(shí)際的物理意義建立結(jié)構(gòu)逼近式模型。最后，通過(guò)帶遺忘因子的遞推最小二乘算法訓(xùn)練所建模型，進(jìn)而建立起表示系統(tǒng)結(jié)構(gòu)的灰箱模型。該建模方法不但可以充分利用對(duì)象的先驗(yàn)知識(shí)，而且可以更好的從結(jié)構(gòu)上逼近對(duì)象模型，可更好地解釋和描述系統(tǒng)各變量間的關(guān)系。通過(guò)對(duì)石化工業(yè)中廣泛應(yīng)用的連續(xù)攪拌釜式反應(yīng)器（CSTR）的仿真，實(shí)驗(yàn)結(jié)果證明了所提方法的有效性。

關(guān)鍵詞：結(jié)構(gòu)逼近式灰箱建模;回聲狀態(tài)網(wǎng)絡(luò);迭代線(xiàn)性化

1、引言（Introduction）

隨著工業(yè)規(guī)模朝復(fù)雜化方向發(fā)展，建立準(zhǔn)確的過(guò)程模型是設(shè)計(jì)性能優(yōu)良控制系統(tǒng)的前提。當(dāng)今對(duì)于過(guò)程的建模方法主要有以下三種方式：一是利用機(jī)理的方法建立“白箱”模型[1]。由于過(guò)程對(duì)象嚴(yán)重的非線(xiàn)性以及眾多不可在線(xiàn)測(cè)量信息等因素的制，該建模方法在實(shí)際應(yīng)用中實(shí)施難度較大。二是利用神經(jīng)網(wǎng)絡(luò)擬合的方法建立黑箱模型，如Cao Liulin等人應(yīng)用串聯(lián)、并聯(lián)神經(jīng)網(wǎng)絡(luò)和混合神經(jīng)網(wǎng)絡(luò)[2-3]等多種方法實(shí)現(xiàn)了化工過(guò)程建模。該建模方法雖然易于實(shí)現(xiàn)，但是沒(méi)有充分利用先驗(yàn)知識(shí)。三是被廣泛研究并應(yīng)用的灰箱建模方法，如Zahedi等人用灰箱建模方法實(shí)現(xiàn)了環(huán)氧乙烷反應(yīng)器的建模[4]。CHEN Jindong等將發(fā)酵動(dòng)力學(xué)模型和RBF神經(jīng)網(wǎng)絡(luò)相結(jié)合建立了灰箱模型[5]?；蚁浣７椒ㄓ捎诔浞掷昧恕鞍紫洹苯７椒ê汀昂谙洹苯７椒ǖ膬?yōu)點(diǎn)，因此得到了越來(lái)越多的研究和被廣泛的應(yīng)用。

在工業(yè)生產(chǎn)中反應(yīng)器的種類(lèi)頗多并且有其各自不同的特點(diǎn)，在眾多的反應(yīng)器中連續(xù)攪拌釜式反應(yīng)器（CSTR）由于運(yùn)行投資少，熱交換能力強(qiáng)和產(chǎn)品質(zhì)量穩(wěn)定[6]等優(yōu)點(diǎn)，被廣泛地應(yīng)用到化工工業(yè)過(guò)程中[7]，并且取得了顯著的發(fā)展。因此，本文在考慮化工反應(yīng)過(guò)程中如CSTR這樣的一大類(lèi)對(duì)象（模型結(jié)構(gòu)基本清楚，但是部分結(jié)構(gòu)和參數(shù)未知且因?qū)ο蠖悾┖偷诙?lèi)、第三類(lèi)建模方法以及深入、細(xì)致分析對(duì)象特征的基礎(chǔ)之上，提出了基于回聲狀態(tài)網(wǎng)絡(luò)和反應(yīng)基元的結(jié)構(gòu)逼近式灰箱建模方法，試圖最大可能的逼近系統(tǒng)模型，并通過(guò)實(shí)驗(yàn)證明了方法的可行性。

2、回聲狀態(tài)網(wǎng)絡(luò)（Echo State Network）

經(jīng)典的回聲狀態(tài)網(wǎng)絡(luò)是由Jaeger [8]提出的一種離散型神經(jīng)網(wǎng)絡(luò)，并在非線(xiàn)性時(shí)間序列預(yù)測(cè)等領(lǐng)域取得了成功應(yīng)用。與通常的遞歸神經(jīng)網(wǎng)絡(luò)不同，回聲狀態(tài)網(wǎng)絡(luò)狀態(tài)池內(nèi)的狀態(tài)可任意連接，并且狀態(tài)之間的連接權(quán)值可隨機(jī)產(chǎn)生，而輸入至輸出的映射關(guān)系僅需訓(xùn)練輸入、狀態(tài)與輸出變量之間的連接權(quán)值即可實(shí)現(xiàn)。考慮到回聲狀態(tài)網(wǎng)絡(luò)狀態(tài)池內(nèi)狀態(tài)可任意連接，且其內(nèi)部線(xiàn)性、非線(xiàn)性元素可靈活組合的特點(diǎn)。因此，本文將其與反應(yīng)基元相結(jié)合構(gòu)成結(jié)構(gòu)逼近式灰箱模型，進(jìn)而提高所建模型的泛化能力。回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，其狀態(tài)更新方程和輸出方程分別如公式（1），（2）所示。

，分別表示k時(shí)刻的輸入向量，k時(shí)刻的狀態(tài)向量，k時(shí)刻的輸出向量。取值矩陣 ， ， 分別表示輸入連接權(quán)矩陣，狀態(tài)池內(nèi)部連接權(quán)矩陣，反饋連接權(quán)矩陣，這些權(quán)值在初始化時(shí)隨機(jī)生成并且固定不變。

表示輸出連接權(quán)矩陣，需要訓(xùn)練得到。 表示狀態(tài)池內(nèi)神經(jīng)元激活函數(shù)，一般選為sigmoid函數(shù)。 為輸出神經(jīng)元函數(shù)，根據(jù)問(wèn)題的不同可以選為線(xiàn)性函數(shù)或非線(xiàn)性函數(shù)。

3、灰箱建模方法（Hybird modeling method）

3.1 建模方法介紹（Introducing modeling method）

實(shí)際化工過(guò)程中存在一大類(lèi)反應(yīng)機(jī)理基本清楚，但部分結(jié)構(gòu)和參數(shù)等未知且因?qū)ο蠖惖姆蔷€(xiàn)性對(duì)象。而非線(xiàn)性因素 是系統(tǒng)狀態(tài)變量的非線(xiàn)性函數(shù)，可使用非線(xiàn)性代數(shù)方程進(jìn)行描述，此外其還具有穩(wěn)態(tài)可分離特性。因此可用線(xiàn)性狀態(tài)空間描述方法描述這類(lèi)對(duì)象模型如式（3）所示。

其中，X、U、Y分別表示對(duì)象的狀態(tài)向量，輸入向量和輸出向量。R非代表非線(xiàn)性部分輸出， 、 、 分別為線(xiàn)性函數(shù)， 為非線(xiàn)性函數(shù)， 、 、 、 分別代表狀態(tài)轉(zhuǎn)移矩陣。在此把非線(xiàn)性部分帶入到狀態(tài)方程中得到對(duì)象模型如式（4）。

由于回聲狀態(tài)網(wǎng)絡(luò)的狀態(tài)池是稀疏鏈接的并且狀態(tài)池內(nèi)神經(jīng)元函數(shù)和輸出神經(jīng)元函數(shù)可以為線(xiàn)性或非線(xiàn)性函數(shù)。因此為了實(shí)現(xiàn)結(jié)構(gòu)逼近式灰箱建模需要將公式（1）（2）轉(zhuǎn)化為公式（5）所示的形式。

其中： ， ， ， ， 代表狀態(tài)池內(nèi)神經(jīng)元為線(xiàn)性函數(shù)的個(gè)數(shù)。

通過(guò)對(duì)比公式（4）與（5）后，可以清楚的看到回聲狀態(tài)網(wǎng)絡(luò)方程和對(duì)象的狀態(tài)空間方程具有相似的結(jié)構(gòu)。這樣將對(duì)象已知的部分和用反應(yīng)基元代替的未知部分同時(shí)融入到回聲狀態(tài)網(wǎng)絡(luò)的狀態(tài)池內(nèi)，賦予神經(jīng)元實(shí)際的物理意義，并按照已知的結(jié)構(gòu)進(jìn)行連接，進(jìn)而從結(jié)構(gòu)上逼近對(duì)象模型。將對(duì)象部分先驗(yàn)知識(shí)作為回聲狀態(tài)網(wǎng)絡(luò)的輸入權(quán)值或狀態(tài)池內(nèi)權(quán)值固定下來(lái)。通?；芈暊顟B(tài)網(wǎng)絡(luò)通過(guò)訓(xùn)練輸出權(quán)值Wout來(lái)滿(mǎn)足建模要求，而本文為了真正的實(shí)現(xiàn)結(jié)構(gòu)上逼近原系統(tǒng)，對(duì)于Wout按照實(shí)際需要進(jìn)行固定，而對(duì)于狀態(tài)池內(nèi)未知的參數(shù)作為訓(xùn)練的權(quán)值通過(guò)采用帶遺忘因子的遞推最小二乘算法進(jìn)行訓(xùn)練求得。因此，將上述建模方法稱(chēng)為結(jié)構(gòu)逼近式灰箱建模方法，其結(jié)構(gòu)如圖2所示。對(duì)于上述建模方法而言，如何合理的選取系統(tǒng)的反應(yīng)基元以及如何進(jìn)行權(quán)值訓(xùn)練進(jìn)而實(shí)現(xiàn)反應(yīng)基元間的關(guān)聯(lián)是實(shí)現(xiàn)結(jié)構(gòu)逼近式灰箱建模方法的關(guān)鍵和難點(diǎn)。

3.2 反應(yīng)基元的選?。–hoosing fundmental genes）

如今化工過(guò)程中的很多模型存在3.1節(jié)所述的特點(diǎn)，即其可以被分解成非線(xiàn)性靜態(tài)和線(xiàn)性動(dòng)態(tài)兩部分，而反應(yīng)器的非線(xiàn)性因素主要體現(xiàn)在反應(yīng)速率方程中[9]，但是實(shí)際過(guò)程中反應(yīng)速率方程又由于反應(yīng)級(jí)數(shù)以及反應(yīng)速率常數(shù)等不同致使有很大的不同。通過(guò)化學(xué)知識(shí)可知反應(yīng)速率方程是一個(gè)冪指形式的表達(dá)式并且反應(yīng)速率常數(shù)、反應(yīng)級(jí)數(shù)和活化能等往往未知如公式（6）所示。

其中 代表反應(yīng)速率常數(shù)、 和 代表反應(yīng)級(jí)數(shù)、 代表活化能與溫度的商， 和 代表反應(yīng)物的濃度，H代表反應(yīng)速率方程的個(gè)數(shù)。

通過(guò)前文可知為了能夠?qū)崿F(xiàn)結(jié)構(gòu)逼近式灰箱建模，需要選擇合適的反應(yīng)基元，而通過(guò)公式（6）建立準(zhǔn)確的模型，又需要準(zhǔn)確的求得上述未知參數(shù)。針對(duì)反應(yīng)基元的選取問(wèn)題，可以通過(guò)對(duì)化工過(guò)程的機(jī)理分析，獲取系統(tǒng)的某些先驗(yàn)知識(shí)作為反映基元，然后再進(jìn)一步通過(guò)優(yōu)化算法進(jìn)行優(yōu)化選取。這種方法雖然可行，但是該方法存在以下問(wèn)題：（1）先驗(yàn)知識(shí)常常無(wú)法適合系統(tǒng)建模的具體表達(dá)。（2）采用先進(jìn)的優(yōu)化算法對(duì)眾多的反應(yīng)基元進(jìn)行優(yōu)化選擇，不但工作量大而且可靠性也不容易保證。針對(duì)參數(shù)估計(jì)問(wèn)題，通過(guò)辨識(shí)的方法可以得到參數(shù)值，但是對(duì)于上述非線(xiàn)性嚴(yán)重的冪指形式表達(dá)式以及數(shù)量級(jí)相差懸殊的速率常數(shù)和反應(yīng)級(jí)數(shù)同時(shí)辨識(shí)的準(zhǔn)確性難以保證。

考慮到上述問(wèn)題本文首先將（6）變換為公式（7）所示的形式解決了后續(xù)訓(xùn)練中因參數(shù)數(shù)量級(jí)相差懸殊造成的不準(zhǔn)確問(wèn)題。然后在考慮上述反應(yīng)基元選取的缺點(diǎn)以及通常泰勒級(jí)數(shù)展開(kāi)的一階項(xiàng)可以很好的近似非線(xiàn)性函數(shù)等因素后，將公式（7）進(jìn)行一階泰勒級(jí)數(shù)展開(kāi)并舍棄二階及二階以上的高階項(xiàng)如公式（8）所示。而將公式（8）中除未知參數(shù)以外的已知項(xiàng)與已知的機(jī)理部分當(dāng)作反應(yīng)基元，作為狀態(tài)池內(nèi)的神經(jīng)元進(jìn)行連接，實(shí)現(xiàn)結(jié)構(gòu)上逼近系統(tǒng)模型。

其中 ， ， 為未知參數(shù)，而 ， ， 為穩(wěn)態(tài)工作點(diǎn)。

3.3 網(wǎng)絡(luò)的訓(xùn)練（Training network）

針對(duì)3.1節(jié)中提到的參數(shù)估計(jì)這個(gè)關(guān)鍵點(diǎn)和難點(diǎn)以及3.2節(jié)中初始時(shí)刻在隨意點(diǎn)進(jìn)行泰勒級(jí)數(shù)展開(kāi)進(jìn)行線(xiàn)性化而造成的誤差等問(wèn)題，本文采用迭代線(xiàn)性化和帶遺忘因子的遞推最小二乘算法相結(jié)合將參數(shù)估計(jì)轉(zhuǎn)變?yōu)闋顟B(tài)池內(nèi)的權(quán)值訓(xùn)練。其基本思想為：首先對(duì)于3.2節(jié)中線(xiàn)性化后的公式（8）應(yīng)用帶遺忘因子的遞推最小二乘算法得到一組新的權(quán)值。其次將非線(xiàn)性函數(shù)在新的權(quán)值附近線(xiàn)性化，對(duì)新線(xiàn)性化的模型再應(yīng)用帶遺忘因子的遞推最小二乘算法，又得到一組新的權(quán)值。重復(fù)此過(guò)程，直到權(quán)值收斂為止。

為了使用簡(jiǎn)便、有效的帶遺忘因子的遞推最小二乘算法實(shí)現(xiàn)權(quán)值的訓(xùn)練，得到所需要的參數(shù)值進(jìn)而建立對(duì)象模型，需將公式（8）轉(zhuǎn)換為公式（9）所示的形式。

4、仿真及分析（simulating and analysising）

為了驗(yàn)證本文所提方法的有效性，本文選取一類(lèi)典型的CSTR為建模對(duì)象。通過(guò)對(duì)反應(yīng)過(guò)程、實(shí)際情況以及所提結(jié)構(gòu)逼近式灰箱建模方法的分析，將反應(yīng)過(guò)程的動(dòng)態(tài)方程及反應(yīng)速率方程轉(zhuǎn)變?yōu)闋顟B(tài)方程（10）和（11）所示的形式，有關(guān)對(duì)象參數(shù)的理論值見(jiàn)表1所示。

建模時(shí)將反應(yīng)物A的進(jìn)料濃度CAf，反應(yīng)物B的進(jìn)料濃度CBf，進(jìn)料溫度Tf，冷卻劑溫度Tcf及進(jìn)料流量q作為作為模型的輸入變量（操縱變量和擾動(dòng)變量）即 ，將反應(yīng)物A濃度，反應(yīng)物B濃度，生成物C濃度和溫度T作為狀態(tài)變量（含輸出變量）， 。

根據(jù)3.1-3.3節(jié)可將基于回聲狀態(tài)網(wǎng)絡(luò)和反應(yīng)基元的結(jié)構(gòu)逼近式灰箱建模步驟概括如下：

（1）使模型的輸入信號(hào)在取值域內(nèi)隨即變化，生成模型的訓(xùn)練樣本集。為了模擬生產(chǎn)實(shí)際，在輸入變量中加入白噪聲信號(hào)。

（2）將公式（11）按照公式（9）所示的形式展開(kāi)，并將公式（10）按照3.1節(jié)所述建立結(jié)構(gòu)逼近模型，考慮到濃度C方程受反應(yīng)速率方程的影響更大，因此另外加入CC作為一個(gè)反應(yīng)基元并與濃度C相連接。

（3）根據(jù)濃度A方程、濃度C方程、溫度方程利用帶遺忘因子最小二乘對(duì)Q、D、S、反應(yīng)基元CC的權(quán)值、 、 進(jìn)行遞推訓(xùn)練。

（4）將訓(xùn)練好的權(quán)值帶入到模型結(jié)構(gòu)中，即得到結(jié)構(gòu)逼近式灰箱模型。

為了驗(yàn)證所提方法的有效性，本文將所提方法與傳統(tǒng)回聲狀態(tài)網(wǎng)絡(luò)的黑箱建模方法作比較。為了定量的說(shuō)明所提方法的有效性，在此引入式（12）所述的平均相對(duì)誤差。

其中 為樣本個(gè)數(shù)， 、 為理論值、預(yù)測(cè)值。

為了能夠更直觀(guān)的說(shuō)明所提方法的有效性，本文給出了灰箱建模情況下部分參數(shù)估計(jì)值如圖（3）-（6）以及黑箱建模方法和基于回聲狀態(tài)網(wǎng)絡(luò)和反應(yīng)基元的結(jié)構(gòu)逼近式灰箱建模方法濃度C的泛化相對(duì)誤差曲線(xiàn)、泛化相對(duì)誤差分布情況如圖（7）-（10）。

5、結(jié)論（Conclusion）

本文所提的基于回聲狀態(tài)網(wǎng)絡(luò)和反應(yīng)基元相結(jié)合的結(jié)構(gòu)逼近式灰箱建模方法，不但充分利用了已知對(duì)象的結(jié)構(gòu)信息、參數(shù)信息和特點(diǎn)，而且將結(jié)構(gòu)未知且非線(xiàn)性嚴(yán)重的部分合理線(xiàn)性化，并用反應(yīng)基元代替。進(jìn)而將已知信息與反應(yīng)基元按照對(duì)象結(jié)構(gòu)實(shí)現(xiàn)狀態(tài)池內(nèi)狀態(tài)的合理連接。此外，利用遺忘因子的遞推最小二乘對(duì)權(quán)值進(jìn)行訓(xùn)練建立了結(jié)構(gòu)逼近式網(wǎng)絡(luò)，從而提高了所建模型的泛化精度和可靠性。仿真結(jié)果也證明了該方法的有效性。

參考文獻(xiàn)

[1] Gentric G，Pla R，Corriou J P.Experimental study of the nonliner geometric control of a batch emulsion polymerization reactor.Computers Chem.Engng.1997，12（suppl.）：1043-1048

[2] Li X G.Research and Application on Hybird Modeling Approach for Chemical Processes[D].BeiJing University of Chemical Technology，2008.

[3] Liulin Cao，Dazi Li，Chunyu Zhang，et al.Control and modeling of temperature distribution in a tubular polymerization process[J].Computers &，Chemical Engineering，2007，31（11）：1516-1524

[4] Zahedi G，Lohi A，Mahdi K A.Hybird modeling of ethylene to ethylene oxide heterogeneous reactor[J].Fuel Processing Technology，2011，92（9）：1725-1732

[5] CHEN JINGdong（陳進(jìn)東），Pan Feng（潘豐）.Hybird modeling for penicillin fermentation process[J].Journal of Chemical Industry and Engineering.2010，61（8）：2092-2096.

[6] MacGreor JF，Penlidis A，Hamielec A E.Control of polymerization reactors：a review，5th IFAC PRP Conf..Antwerp，1983

[7] DU Jingjing，SONG Chunyue，LI Ping.Modeling and control of a continuous stirred tank reactor based on a mixed logical dynamical model[J]，Chinese Journal of Chemical Engineering 2007，15（4）：533-538

[8] Jaeger H.The “echo state”approach to analyzing and training recurrent neural network[R].Bremen：GMD Report 148，GMD-German National Reasearch Institute for Computer Science，2001

[9] CAO Liulin（曹柳林），LI Xiaoguang（李曉光），Wang Jing（王晶）.Modeling of batch reactor based on structure ? ?approaching hybird neural networks approach[J].Journal of Daizhan Cheng，R.Ortega，E.Panteley，On port controlled Hamiltonian systems，in Advanced Robust and Adaptive Control –Theory and Applications，（D.Cheng，Y.Sun，T.Shen，H.Ohmori eds），3-16，，2005.Chemical Industry and Engineering.2008，59（4）：958-96