互信息深度稀疏自編碼融合DLSTM預(yù)測網(wǎng)絡(luò)

李江坤，黃海燕

華東理工大學(xué) 化工過程先進(jìn)控制和優(yōu)化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，上海 200030

在現(xiàn)代流程化工業(yè)生產(chǎn)過程中，對于生產(chǎn)安全、能源節(jié)約、改善產(chǎn)品質(zhì)量有著嚴(yán)格要求。這些指標(biāo)很大程度上依賴長時(shí)間有效監(jiān)控和對質(zhì)量的生產(chǎn)調(diào)控。對于難以直接在線測量的關(guān)鍵變量通常采用軟測量的方法對數(shù)據(jù)進(jìn)行在線處理預(yù)測[1-3]。軟測量成功應(yīng)用于冶金工程、化工過程、生物工程和制藥工程等一些大型流程工業(yè)生產(chǎn)活動(dòng)。

軟測量技術(shù)可以劃分為主成分模型（白盒模型）和數(shù)據(jù)驅(qū)動(dòng)模型（黑盒模型）。數(shù)據(jù)驅(qū)動(dòng)建模以多變量統(tǒng)計(jì)和機(jī)器學(xué)習(xí)方法為主，如主成分回歸（PCR）[4-5]、偏最小二乘回歸（PLSR）[6-7]、支持向量回歸（SVR）[8]和人工神經(jīng)網(wǎng)絡(luò)（ANN）[9-10]。由于這些方法大多是淺層網(wǎng)絡(luò)結(jié)構(gòu)，因而在一定程度上限制了非線性映射能力。

相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)方法，深度神經(jīng)網(wǎng)絡(luò)DNN對于數(shù)據(jù)特征提取更加具有優(yōu)勢，在一定程度能夠捕捉到數(shù)據(jù)重要特征，也增強(qiáng)對非線性數(shù)據(jù)處理能力，例如文獻(xiàn)[11]采用深度置信網(wǎng)絡(luò)DBN對工業(yè)原油蒸餾裝置的95%重柴油臨界點(diǎn)進(jìn)行估計(jì)。文獻(xiàn)[12]提出一種半監(jiān)督層疊式極限機(jī)學(xué)習(xí)網(wǎng)絡(luò)，用來提取標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)的樣本特征信息。然而，大多數(shù)基于深度神經(jīng)網(wǎng)絡(luò)軟測量方法的假設(shè)條件是樣本獨(dú)立且同分布，但實(shí)際工業(yè)過程中變量之間存在動(dòng)態(tài)和相互影響關(guān)系。因此，對于流程化工業(yè)生產(chǎn)過程動(dòng)態(tài)建模至關(guān)重要。例如，線性動(dòng)態(tài)系統(tǒng)[13]、動(dòng)態(tài)偏最小二乘建模[14]。但淺層的動(dòng)態(tài)特征提取方法對復(fù)雜且非線性的模型無法有效處理。最近，一些動(dòng)態(tài)網(wǎng)絡(luò)方法如循環(huán)神經(jīng)網(wǎng)絡(luò)RNN[15]和長短期記憶網(wǎng)絡(luò)LSTM已經(jīng)被應(yīng)用在工業(yè)軟測量建模任務(wù)中[16]。其中，LSTM網(wǎng)絡(luò)通過增加三個(gè)控制門構(gòu)建細(xì)胞記憶單元，從而解決傳統(tǒng)RNN網(wǎng)絡(luò)梯度爆炸和梯度消失問題。LSTM網(wǎng)絡(luò)也能夠?qū)W習(xí)序列數(shù)據(jù)的內(nèi)部獨(dú)立性與相關(guān)性，因此適用于動(dòng)態(tài)建模。文獻(xiàn)[17]采用長短期記憶網(wǎng)絡(luò)提取間歇過程質(zhì)量預(yù)測的動(dòng)態(tài)信息。文獻(xiàn)[15]基于高斯-伯努利約束玻耳茲曼機(jī)（GRBM）和遞歸神經(jīng)網(wǎng)絡(luò)（RNN），采用概率序列網(wǎng)絡(luò)（PSN）融合無監(jiān)督特征數(shù)據(jù)的提取和有監(jiān)督動(dòng)態(tài)建模方法，提高建模精度。文獻(xiàn)[18]結(jié)合空間相關(guān)性提出大氣污染物濃度預(yù)測的記憶擴(kuò)展LSTM模型。文獻(xiàn)[19]通過引入目標(biāo)變量，提出帶監(jiān)督的長短期記憶（SLSTM）網(wǎng)絡(luò)用于工業(yè)過程質(zhì)量預(yù)測。借鑒圖像處理深度CNN卷積神經(jīng)網(wǎng)絡(luò)[20]中卷積、池化、卷積等重復(fù)深度操作，以達(dá)到對數(shù)據(jù)深度特征提取。本文對多變量數(shù)據(jù)通過深度編碼解碼方法進(jìn)而提取深度特征。首先將原有稀疏自編碼器由原來的單隱層進(jìn)行擴(kuò)展至多隱層，并引入互信息因子作為重構(gòu)損失權(quán)重，以此保證提取特征有效性，采用稀疏自編碼器目的在于增加對數(shù)據(jù)特征提取的魯棒性，然后搭建多個(gè)互信息堆疊稀疏自編碼器，并將隱層進(jìn)行遷移得到互信息深度堆疊稀疏自編碼特征提取網(wǎng)絡(luò)?？紤]數(shù)據(jù)動(dòng)態(tài)性和LSTM網(wǎng)絡(luò)對序列數(shù)據(jù)的數(shù)據(jù)處理優(yōu)勢，本文改進(jìn)原有LSTM網(wǎng)絡(luò)的架構(gòu)，融合Bi-LSTM網(wǎng)絡(luò)對數(shù)據(jù)動(dòng)態(tài)特征的處理能力，提出一種深度DLSTM序列數(shù)據(jù)預(yù)測模型。

1 互信息深度堆疊稀疏自編碼器

1.1 堆疊稀疏自編碼器

稀疏自編碼器[21-22]通過單隱含層將輸入數(shù)據(jù)進(jìn)行高維特征映射，單隱層的結(jié)構(gòu)可以減少網(wǎng)絡(luò)待定參數(shù)，加快網(wǎng)絡(luò)訓(xùn)練速度，但網(wǎng)絡(luò)較淺的隱含層不能夠?qū)W習(xí)到原始數(shù)據(jù)中深層隱含特征，本文對稀疏自編碼器進(jìn)行改進(jìn)，將編碼器隱層進(jìn)行多層擴(kuò)展，將普通稀疏編碼器改進(jìn)為堆疊稀疏編碼器[23]，結(jié)構(gòu)如圖1所示。首先輸入層接收原始輸入數(shù)據(jù)x∈Rd,其中d表示輸入樣本的特征維數(shù)，將數(shù)據(jù)進(jìn)行非線性變換到第一個(gè)隱含層h1∈Rs1,s1為第一隱含層的神經(jīng)元數(shù)目，隱含層的輸出為h1：

圖1 堆疊稀疏自編碼器Fig.1 Stacked sparse auto-encoder

其中，W1代表輸入層與第一個(gè)隱含層連接權(quán)重矩陣，b1為第一個(gè)隱含層的偏置向量，f(·)表示激活函數(shù)，第二個(gè)隱含層記為h2,該層的輸出記為h2=f(W2h1+b2)，以此類推，可進(jìn)行多個(gè)隱含層的搭建連接，最后的隱含層記為hn,輸出為hn=f(Wnhn-1+bn)，網(wǎng)絡(luò)最后連接的是重構(gòu)輸出層x?,其輸出為x?=Wohn+bo,Wo代表最后一個(gè)隱含層與輸出重構(gòu)層連接權(quán)重矩陣，bo為網(wǎng)絡(luò)最后一層偏置向量。

堆疊稀疏編碼網(wǎng)絡(luò)計(jì)算公式如下：

x代表網(wǎng)絡(luò)輸入數(shù)據(jù)，x?代表網(wǎng)絡(luò)輸出數(shù)據(jù)，HW,b(·)為整個(gè)稀疏自編碼器映射函數(shù)，稀疏自編碼器的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)訓(xùn)練主要通過最小化損失函數(shù)進(jìn)行優(yōu)化，損失函數(shù)公式如下：

整個(gè)網(wǎng)絡(luò)參數(shù)通過L-BFGS算法進(jìn)行得出，目的將損失函數(shù)達(dá)到最小值，其中公式（3）第一項(xiàng)代表誤差平方和，其作用是將整個(gè)稀疏自編碼器的重構(gòu)誤差和達(dá)到最小，損失函數(shù)的第二項(xiàng)是正則項(xiàng)，也稱作權(quán)重系數(shù)衰減項(xiàng)，該項(xiàng)的作用是避免過擬合現(xiàn)象發(fā)生，正則項(xiàng)的系數(shù)記為λ1，損失函數(shù)的最后一項(xiàng)代表隱含層的稀疏懲罰項(xiàng)，β是該項(xiàng)的系數(shù)。L是整個(gè)稀疏自編碼器的中間隱層和輸出層層數(shù)總和，Wl代表第l層的每個(gè)神經(jīng)元與第l+1層連接神經(jīng)元的權(quán)重矩陣，s是隱含層的神經(jīng)元個(gè)數(shù)，其中KL(ρ||ρ?j)散度衡量兩個(gè)分布的差異，計(jì)算公式如下：

ρ是稀疏參數(shù)，通常設(shè)置很小接近于0，在稀疏自編碼器中ρ?j代表隱含層其中第j神經(jīng)元的平均激活程度，計(jì)算公式如下：

其中，aj表示隱層第j個(gè)神經(jīng)元的激活函數(shù)輸出。

1.2 互信息深度堆疊稀疏自編器

互信息[24]是衡量變量之間相關(guān)性的指標(biāo)，具體定義如下：

其中，p(x,y)是x,y的聯(lián)合概率密度，p(x)、p(y)分別代表x、y的邊緣概率密度，進(jìn)一步引入香農(nóng)熵定義：

得到x、y對應(yīng)的聯(lián)合香農(nóng)熵如下公式：

結(jié)合以上公式，得到互信息的簡化公式：

互信息深度堆疊稀疏自編碼器是一種深度網(wǎng)絡(luò)，其網(wǎng)絡(luò)組件為互信息堆疊稀疏自編碼器，首先搭建單個(gè)互信息堆疊稀疏自編碼器，設(shè)置中間隱含層數(shù)為L，每個(gè)隱含層神經(jīng)元數(shù)目記為s，輸入層與重構(gòu)輸出層的神經(jīng)元數(shù)目相等，都為輸入樣本的特征維數(shù)d，網(wǎng)絡(luò)損失函數(shù)如下：

互信息權(quán)重ωn的計(jì)算如下：

經(jīng)過逐層迭代的預(yù)訓(xùn)練確定單個(gè)堆疊稀疏自編碼器的各層權(quán)重參數(shù)Wl和偏置參數(shù)bl，然后將上述過程中搭建好的單個(gè)堆疊稀編碼器進(jìn)行遷移，遷移部分是每個(gè)稀疏自編碼器的隱含層部分，具體遷移結(jié)構(gòu)如圖2所示。這里對整個(gè)深度堆疊自編碼器再進(jìn)行微調(diào)，損失函數(shù)定義如下：

其中，L代表堆疊稀疏自編碼器遷移到深度堆疊稀疏自編碼器的隱含層數(shù)目，K是堆疊稀疏自編碼器個(gè)數(shù)，Hθ(·)表示深度堆疊自編碼器映射關(guān)系，θ代表所有的網(wǎng)絡(luò)權(quán)重連接矩陣以及偏置參數(shù)。在圖2中，每一個(gè)預(yù)訓(xùn)練的堆疊自編碼中隱層采用不同顏色標(biāo)記，深度堆疊自編碼器內(nèi)部的網(wǎng)絡(luò)則由帶有顏色隱層進(jìn)行遷移堆疊組成，在這一階段整個(gè)網(wǎng)絡(luò)只需要微調(diào)參數(shù)就可以達(dá)到收斂效果。

圖2 互信息深度堆疊稀疏自編碼Fig.2 Mutual information deep stack sparse auto-encoder

2 深度DLSTM網(wǎng)絡(luò)

2.1 LSTM

LSTM網(wǎng)絡(luò)[25]采用一種復(fù)雜的細(xì)胞結(jié)構(gòu)，其能夠?qū)W習(xí)并處理長時(shí)期序列數(shù)據(jù)的復(fù)雜關(guān)系。LSTM細(xì)胞機(jī)制中存在三個(gè)主要的構(gòu)件，稱為輸入門，遺忘門和輸出門，在整個(gè)LSTM網(wǎng)絡(luò)運(yùn)行時(shí)，三個(gè)門能夠控制整個(gè)信息流的存儲(chǔ)和流向，LSTM神經(jīng)元的結(jié)構(gòu)如圖3所示。

圖3 LSTM神經(jīng)元Fig.3 LSTM neuron

從圖3中的結(jié)構(gòu)可以看到每一個(gè)LSTM細(xì)胞結(jié)構(gòu)中在t時(shí)刻都包含三個(gè)輸入信息，分別是上一時(shí)刻細(xì)胞的狀態(tài)信息C(t-1)，細(xì)胞隱藏狀態(tài)信息h(t-1)和當(dāng)前時(shí)刻的輸入信息x(t)，對于當(dāng)前t時(shí)刻LSTM細(xì)胞的計(jì)算輸出如下，遺忘門f(t)的計(jì)算為：

輸入門i(t)：

輸出門o(t)：

其中，σ是sigmoid激活函數(shù)，計(jì)算公式如下：

tanh代表雙曲正切函數(shù)，計(jì)算公式如下：

Wfx代表輸入數(shù)據(jù)與遺忘門連接的權(quán)重矩陣，Wix是輸入數(shù)據(jù)與輸入門連接的權(quán)重矩陣，Wox是輸入數(shù)據(jù)與輸出門連接的權(quán)重，Wcx是輸入數(shù)據(jù)與內(nèi)部細(xì)胞狀態(tài)門連接的權(quán)重矩陣。與之對應(yīng)，Wfh、Wih、Woh、Wch表示上一時(shí)刻LSTM細(xì)胞隱藏狀態(tài)信息h(t-1)與各個(gè)門連接的權(quán)重矩陣。

關(guān)于LSTM記憶細(xì)胞內(nèi)部狀態(tài)輸出C(t)和細(xì)胞隱含狀態(tài)輸出h(t)在當(dāng)前t時(shí)刻的計(jì)算如下：

2.2 深度長短期記憶網(wǎng)絡(luò)DLSTM

Bi-LSTM雙向長短期記憶網(wǎng)絡(luò)[26]是基于LSTM網(wǎng)絡(luò)構(gòu)成，其內(nèi)部分別引入前向傳輸輸入序列和逆向傳輸輸入序列，Bi-LSTM具體結(jié)構(gòu)如圖4所示。

圖4 Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Bi-LSTM network

同樣，反向序列的計(jì)算如下：

傳統(tǒng)LSTM模型能夠很好地去處理大多數(shù)序列問題。例如在文本任務(wù)中，編碼層能夠?qū)⒁欢卧捵儞Q成一個(gè)固定長度的文本向量，然后再將這個(gè)文本向量進(jìn)行輸出解碼得到一串輸出文字，這種單層LSTM網(wǎng)絡(luò)結(jié)構(gòu)連接權(quán)重可以共享，且結(jié)構(gòu)可以重復(fù)，帶來較快迭代速度。但由于其網(wǎng)絡(luò)結(jié)構(gòu)是單層的，對于數(shù)據(jù)動(dòng)態(tài)特征進(jìn)行捕捉和記憶由于受到網(wǎng)絡(luò)單層結(jié)構(gòu)的限制，本文改進(jìn)普通LSTM長短期記憶網(wǎng)絡(luò)為深度DLSTM網(wǎng)絡(luò)結(jié)構(gòu)，通過增加網(wǎng)絡(luò)的記憶細(xì)胞深層次結(jié)構(gòu)以此增強(qiáng)網(wǎng)絡(luò)對數(shù)據(jù)動(dòng)態(tài)特征的緩存記憶能力。

結(jié)合上述改進(jìn)方案，并考慮到現(xiàn)實(shí)工業(yè)系統(tǒng)產(chǎn)生的工況數(shù)據(jù)為前后有較強(qiáng)相關(guān)關(guān)系的序列化特征數(shù)據(jù)，單向數(shù)據(jù)輸入的LSTM網(wǎng)絡(luò)結(jié)構(gòu)只能建立單一序列預(yù)測模型，對于其中的數(shù)據(jù)動(dòng)態(tài)變化并不能夠較好地建立數(shù)據(jù)特征背后深度預(yù)測模型，本文引入雙向Bi-LSTM模型使得對于序列化特征數(shù)據(jù)的處理更加高效，通過對數(shù)據(jù)進(jìn)行雙向輸入來動(dòng)態(tài)融合序列的多維度信息，具體信息融合算法由計(jì)算公式（23）～（28）處理。

本文提出深度DLSTM網(wǎng)絡(luò)，其結(jié)構(gòu)如圖5所示。

圖5 DLSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 DLSTM neural network

改進(jìn)原有LSTM網(wǎng)絡(luò)提出深度DLSTM長短期記憶網(wǎng)絡(luò)，采用雙層雙向LSTM迭代設(shè)計(jì)結(jié)構(gòu)，該結(jié)構(gòu)中第一層Bi-LSTM中前向輸出如下：

反向輸出：

其中，x(t)、x′(t)分別為正向輸入序列和反向輸入序列，Wn?x為輸入序列與n?連接權(quán)重，Wn?h為隱含狀態(tài)與n?連接權(quán)重，bn?為對應(yīng)的偏置向量。將雙向隱層狀態(tài)n?1(t)和n?′1(t)合并得到第一層Bi-LSTM輸出：

對于第二層Bi-LSTM前向序列輸出計(jì)算如下：

逆向輸出計(jì)算：

得到第二層Bi-LSTM輸出：

每個(gè)Bi-LSTM細(xì)胞內(nèi)記憶細(xì)胞的隱含狀態(tài)信號為Bi-LSTM網(wǎng)絡(luò)的主要信息流，該通道將維持和記憶淺層數(shù)據(jù)信息。對于第二層也采用Bi-LSTM網(wǎng)絡(luò)，輸入信號為第一層的隱含狀態(tài)信號o?1，第二層Bi-LSTM網(wǎng)絡(luò)的主要功能是將第一層提取的表層數(shù)據(jù)信息進(jìn)行二次深度提取，這樣做的目的是將第一層的隱含狀態(tài)信號o?1中包含的高階動(dòng)態(tài)信息進(jìn)行篩選。將第二層Bi-LSTM網(wǎng)絡(luò)得到的o?2信息輸入到第三層LSTM網(wǎng)絡(luò)層，得到該層輸出為o3(t)，具體計(jì)算如下。

控制遺忘門：

輸入門：

輸出門：

細(xì)胞內(nèi)部狀態(tài)信息：

輸出計(jì)算如下：

最后將o3進(jìn)行全連接層映射，得到最終預(yù)測結(jié)果：

Wyo是全連層接輸出權(quán)重向量，bo是偏置參數(shù)。

3 MI-DSSAE-DLSTM預(yù)測模型

MI-DSSAE-DLSTM建模過程分為兩個(gè)部分，分別是搭建互信息深度堆疊稀疏編碼器MI-DSSAE數(shù)據(jù)特征模型和DLSTM模型。首先是對原始數(shù)據(jù)進(jìn)行編碼，先進(jìn)行單個(gè)稀疏編碼器的構(gòu)造和訓(xùn)練，得到多個(gè)不同的稀疏編碼隱含層，每個(gè)稀疏編碼器預(yù)訓(xùn)練根據(jù)損失公式（10）通過誤差反向傳播SGD梯度下降優(yōu)化網(wǎng)絡(luò)參數(shù)，將得到的單個(gè)稀疏編碼器的隱含層進(jìn)行遷移到深度迭代稀疏編碼器中，再對整個(gè)MI-DSSAE網(wǎng)絡(luò)進(jìn)行微調(diào)。本文采用互信息深度稀疏自編碼器是考慮到在工業(yè)現(xiàn)場實(shí)際采集的數(shù)據(jù)具有高噪聲、高維度等特點(diǎn)，普通單層自編碼器無法有效映射出因變量與自變量之間的非線性關(guān)系，采用深度策略一定程度上增加編碼器對于非線性數(shù)據(jù)特征提取的有效性，滿足非線性映射需求，而誤差函數(shù)中的稀疏項(xiàng)可以緩解高噪聲數(shù)據(jù)帶來的影響，最后加入互信息權(quán)重指標(biāo)來保證采用深度稀疏自編碼提取的數(shù)據(jù)特征與最后預(yù)測的關(guān)鍵質(zhì)量變量之間相關(guān)性。

DLSTM的網(wǎng)絡(luò)架構(gòu)包括兩個(gè)Bi-LSTM層，一個(gè)LSTM層和全連接輸出預(yù)測層，搭建整個(gè)MI-DSSAEDLSTM網(wǎng)絡(luò)流程如圖6所示。

圖6 MI-DSSAE-DLSTM建模Fig.6 MI-DSSAE-DLSTM neural network modeling

算法實(shí)現(xiàn)過程如圖7所示：

（1）將工業(yè)傳感器采集的數(shù)據(jù)進(jìn)行歸一化預(yù)處理，歸一化準(zhǔn)則采用z-score，得到預(yù)處理后的數(shù)據(jù)Xn=

（2）設(shè)置每個(gè)堆疊稀疏編碼器的隱層數(shù)目L，初始化堆疊稀疏自編碼器SAE1、SAE2、SAE3，對每個(gè)稀疏自編碼器進(jìn)行參數(shù)訓(xùn)練，得到的隱層單元H1、H2、H3。

（3）遷移H1、H2、H3網(wǎng)絡(luò)層，搭建互信息深度堆疊稀疏自編碼器MI-DSSAE，并得到編碼后數(shù)據(jù)是編碼后數(shù)據(jù)特征維數(shù)。

（4）設(shè)置雙層Bi-LSTM網(wǎng)絡(luò)，LSTM和預(yù)測輸出全連接網(wǎng)絡(luò)的結(jié)構(gòu)，初始化各個(gè)網(wǎng)絡(luò)層的參數(shù)。

（5）將經(jīng)過互信息深度堆疊稀疏自編碼處理過的新特征輸入數(shù)據(jù)輸入到雙向Bi-LSTM網(wǎng)絡(luò)中，雙向Bi-LSTM網(wǎng)絡(luò)的細(xì)胞狀態(tài)C0、h0和根據(jù)公式（23）～（34）計(jì)算得到輸入門、遺忘門、細(xì)胞隱含信息、細(xì)胞狀態(tài)信息，輸出記為o1(t)。

（6）將o1(t)輸入第二層Bi-LSTM網(wǎng)絡(luò)中，得到該層網(wǎng)絡(luò)狀態(tài)輸出信號o2(t)。

（7）將單層LSTM的序列輸出o3(t)作為全連接層的輸入，進(jìn)行特征加權(quán)計(jì)算得到最后輸出y(t)。

（8）計(jì)算網(wǎng)絡(luò)輸出與真實(shí)值的差異損失，通過梯度下降SGD算法對整個(gè)DLSTM網(wǎng)絡(luò)參數(shù)更新迭代。

4 算法案例

4.1 數(shù)據(jù)集

脫丁烷塔是石油化工廠重要精煉單元[20]，旨在分裂石腦油和脫硫[21]。該過程主要包括六種裝置：頂置冷凝器、熱交換器、塔頂回流泵、底部再沸器、回流蓄能器和給水泵液化石油氣分離器。其中石腦油流中有丁烷（C4）需要除去，因此需要及時(shí)監(jiān)測丁烷（C4）含量變化。在生產(chǎn)過程中，收集7個(gè)相關(guān)過程變量用于建模預(yù)測丁烷（C4）含量，具體過程變量如圖8所示。

圖8 模型自變量Fig.8 Independent variables for modeling

模型評價(jià)指標(biāo)選取均方根誤差RMSE（root mean squared error）、決定系數(shù)R2（R-square）和平均絕對誤差MAE（mean absolute error），計(jì)算公式如下：

數(shù)據(jù)集共包含2 394個(gè)樣本，劃分樣本為訓(xùn)練集前1 000個(gè)，測試集為后1 394個(gè)。在進(jìn)行模型搭建和訓(xùn)練之前，對數(shù)據(jù)進(jìn)行歸一化處理，以降低模型訓(xùn)練時(shí)間，并解決梯度爆炸問題，同時(shí)保證量綱統(tǒng)一。對于MI-DSSAE自編碼器的編碼數(shù)據(jù)采用z-score方法對數(shù)據(jù)進(jìn)行預(yù)處理：

x是原始數(shù)據(jù)，μ、σ是原始數(shù)據(jù)的均值標(biāo)準(zhǔn)差，z是歸一化后的數(shù)據(jù)。

4.2 模型參數(shù)設(shè)置

設(shè)置互信息堆疊稀疏自編碼器隱含層數(shù)分別為[2，3，4，5]，訓(xùn)練batch為32個(gè)，epoch為30次，經(jīng)過K折交叉驗(yàn)證，對于不同隱層結(jié)構(gòu)互信息堆疊稀疏自編碼器的訓(xùn)練損失如圖9所示。由圖中可以看出不同隱層結(jié)構(gòu)都可以保持收斂效果，當(dāng)隱層數(shù)目取得3層效果最優(yōu)，且訓(xùn)練數(shù)據(jù)損失迭代較快，為保證采用3層隱層自編碼結(jié)構(gòu)的有效性，將互信息深度稀疏自編碼器在測試數(shù)據(jù)上進(jìn)行重構(gòu)誤差測試，結(jié)果如圖10所示。因此本文采用堆疊稀疏自編碼器隱層數(shù)目為3層。構(gòu)建互信息堆疊稀疏自編碼器結(jié)構(gòu)為[7，20，20，20，7]，其中7代表輸原始數(shù)據(jù)維數(shù)，20代表隱層神經(jīng)元數(shù)目。搭建深度稀疏堆疊自編碼器，其內(nèi)部隱含層由預(yù)訓(xùn)練好的互信息堆疊稀疏自編碼器構(gòu)成，深度堆疊稀疏自編碼器結(jié)構(gòu)和各層參數(shù)設(shè)置如表1所示。圖11表明互信息深度堆疊稀疏自編碼器訓(xùn)練數(shù)據(jù)重構(gòu)誤變化曲線差經(jīng)過微調(diào)很快達(dá)到收斂效果，且保持較低誤差。誤差收斂的原因在誤差梯度下降算法有效性和采用多層的自編碼結(jié)構(gòu)在一定程度上可以映射出原始數(shù)據(jù)更加豐富的多維度非線性特征，尤其對于工業(yè)高維度、高噪聲數(shù)據(jù)，其數(shù)據(jù)深度特征提取尤為重要，保持較低的重構(gòu)損失在于稀疏項(xiàng)的對噪聲抑制能力以及本文引入互信息權(quán)重因子保留用于建模的高質(zhì)量特征參數(shù)。

圖11 互信息深度堆疊稀疏編碼器微調(diào)訓(xùn)練損失Fig.11 Fine tuning training loss of mutual information deep stacked sparse encoder

表1 互信息深度堆疊稀疏編碼器結(jié)構(gòu)Table 1 Mutual information deep stack sparse encoder structure

圖9 不同隱層互信息堆疊稀疏編碼器訓(xùn)練損失Fig.9 Training loss of stacked sparse auto-encoder with different hidden layer based on mutual information

圖10 不同隱層互信息堆疊稀疏編碼器測試數(shù)據(jù)重構(gòu)誤差Fig.10 Reconstruction error of testing dataset of stacked sparse encoder with different hidden layers

將上述預(yù)訓(xùn)練好的堆疊稀疏自編碼器進(jìn)行深度堆疊，將其中的隱層進(jìn)行遷移抽取微調(diào)，得到互信息深度堆疊稀疏自編碼器。

在本實(shí)驗(yàn)中，參數(shù)的選擇使用貝葉斯調(diào)參方法，每次實(shí)驗(yàn)選取一組參數(shù)用來矯正后驗(yàn)概率的評估，且貝葉斯調(diào)參每次迭代過程會(huì)融合上次參數(shù)信息，具有迭代速度更快。確定DLSTM的網(wǎng)絡(luò)層如表2所示，網(wǎng)絡(luò)第一層和第二層都為Bi-LSTM，其中每層LSTM輸出單元個(gè)數(shù)為4，第三層為單向LSTM，其輸出神經(jīng)元個(gè)數(shù)為4，最后連接全連接層連接預(yù)測輸出。時(shí)間窗大小設(shè)為5，每個(gè)時(shí)間窗內(nèi)包含7個(gè)影響因素和窗口內(nèi)最后時(shí)刻的丁烷C4含量。

表2 DLSTM模型結(jié)構(gòu)Table 2 DLSTM model structure

4.3 實(shí)驗(yàn)仿真驗(yàn)證

實(shí)驗(yàn)首先基于原始數(shù)據(jù)進(jìn)行建模，為了驗(yàn)證DLSTM的模型性能，本文同時(shí)引入RNN、LSTM、GRU等方法與本文提出的DLSTM方法進(jìn)行對比，預(yù)測誤差如表3所示。

表3 不同方法預(yù)測結(jié)果Table 3 Prediction results of different methods

從表3可以看出，DLSTM模型具有更好的預(yù)測性能，RMSE值 為0.069 0，R2值 為0.872 0，MAE值 為0.039 4，在其他對比的方法中，LSTM模型預(yù)測誤差RMSE值為0.074 6，R2值為0.850 1，MAE值為0.032 9。圖12給出了不同模型真實(shí)變化曲線與預(yù)測曲線的對比效果。其中，RNN和L-STM的預(yù)測效果較差，在小波動(dòng)預(yù)測細(xì)節(jié)上并未表現(xiàn)出良好的預(yù)測性能，對于C4含量較大波動(dòng)情況總出現(xiàn)預(yù)測值偏差較大，而GRU方法對預(yù)測峰值波動(dòng)變化較大的情況時(shí)，不能較好地預(yù)測C4含量的突變趨勢，DLSTM模由于融入Bi-LSTM雙向記憶細(xì)胞單元，將輸入的序列數(shù)據(jù)進(jìn)行雙向并進(jìn)行深度提取，融合多層信息模型表現(xiàn)出更好的預(yù)測性能。為了驗(yàn)證本文互信息深度堆疊稀疏編碼器的編碼特征效果，本文現(xiàn)將MI-DSSAE互信息深度堆疊稀疏編碼器與上述方法進(jìn)行結(jié)合，不同方法預(yù)測誤差如圖13所示。當(dāng)預(yù)測值分布在紅線周圍是較為理想的預(yù)測結(jié)果。

圖12 不同模型真實(shí)曲線與預(yù)測曲線對比Fig.12 Comparison of real and predicted curves in different models

從圖13得出，MI-DSSAE-RNN、MI-DSSAE-GRU和MI-DSSAE-LSTM等模型的預(yù)測值大多數(shù)位于紅色擬合線真實(shí)值的單側(cè)，帶來較大預(yù)測誤差，而MI-DSSAEDLSTM模型的預(yù)測值較多能夠聚集在真實(shí)值左右附近，即更多預(yù)測值落在擬合紅色直線上，表現(xiàn)出更準(zhǔn)確的預(yù)測性能。最后，本文將上述所有的方法進(jìn)行對比，結(jié)果如表4所示。從表4結(jié)果可以得出經(jīng)過MI-DSSAE網(wǎng)絡(luò)對數(shù)據(jù)特征提取比未加特征提取的預(yù)測模型預(yù)測的準(zhǔn)確度高，相比原來相同的預(yù)測方法有著不同程度的提高，其中MI-DSSAE-RNN的RMSE誤差指標(biāo)方法降低32.8%，MI-DSSAE-GRU的RMSE誤差指標(biāo)降低19.5%，MI-DSSAE-LSTM的RMSE誤差指標(biāo)降低5.6%，本文提出的MI-DSSAE-DLSTM建模方法的誤差指標(biāo)在所有對比方法中達(dá)到最優(yōu)，RMSE誤差為0.046 7，R2值為0.941 4，MAE值為0.032 2。

圖13 結(jié)合MI-DSSAE編碼的不同預(yù)測模型結(jié)果對比Fig.13 Comparison of results of different prediction models combined with MI-DSSAE encoding

表4 不同模型預(yù)測誤差對比表Table 4 Comparison of prediction errors of different models

5 結(jié)束語

本文為了解決流程化工業(yè)生產(chǎn)中由于各個(gè)參數(shù)變量之間存在相互影響和動(dòng)態(tài)變化特性，針對序列數(shù)據(jù)預(yù)測關(guān)鍵變量精度下降問題，首先對多變量動(dòng)態(tài)序列數(shù)據(jù)提出一種深度堆疊稀疏編碼器結(jié)構(gòu)的深度特征提取模型，為保證提取特征的有效性，加入互信息權(quán)重因子對損失函數(shù)進(jìn)行限制，對于提取的隱含深度特征信息，建立深度長短記憶DLSTM模型，充分捕捉動(dòng)態(tài)數(shù)據(jù)的變化特性，并進(jìn)行預(yù)測。通過脫丁烷塔實(shí)際工業(yè)案例進(jìn)行模型驗(yàn)證，為增加方法對比性和有效性，引入RNN、GRU、LSTM以及MI-DSSAE-RNN、MI-DSSAE-GRU、MI-DSSAE-LSTM與本文模型進(jìn)行對比，本文模型表現(xiàn)出較好的預(yù)測精度，為工業(yè)流程化生產(chǎn)時(shí)的監(jiān)控預(yù)測提供有效方法和參考方案。