基于工廠數(shù)據(jù)的注意力LSTM 網(wǎng)絡(luò)辨識(shí)方法

王雅欣，徐寶昌，徐朝農(nóng)，董秀娟，許立偉

（1 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院，北京102249； 2 中國(guó)石油北京天然氣管道有限公司，北京100012）

引 言

近年來，化工企業(yè)過程裝置控制的復(fù)雜性不斷提高，先進(jìn)控制理論的應(yīng)用日益廣泛，內(nèi)?？刂芠1]、自適應(yīng)控制[2]和模型預(yù)測(cè)控制[3]等一系列先進(jìn)控制方法被相繼提出，其帶來的安全和經(jīng)濟(jì)效果十分顯著?？刂评碚摰膶?shí)際應(yīng)用不能脫離描述系統(tǒng)行為的動(dòng)態(tài)模型，然而在多數(shù)情況下，被控對(duì)象的模型是未知的，或在正常運(yùn)行期間模型參數(shù)會(huì)發(fā)生改變，辨識(shí)被控對(duì)象的動(dòng)態(tài)模型是控制理論在解決實(shí)際問題時(shí)的關(guān)鍵[4]。隨著系統(tǒng)的日益復(fù)雜化，對(duì)模型精度要求的提高以及系統(tǒng)非線性等問題，系統(tǒng)辨識(shí)方法已由經(jīng)典的階躍響應(yīng)法、脈沖響應(yīng)法、頻率響應(yīng)法、最小二乘法等發(fā)展到集員辨識(shí)[5]、基于遺傳算法的系統(tǒng)辨識(shí)[6]、神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)[7]、模糊邏輯系統(tǒng)辨識(shí)[8]、小波網(wǎng)絡(luò)系統(tǒng)辨識(shí)[9]等現(xiàn)代辨識(shí)方法。

在化工領(lǐng)域，工業(yè)先進(jìn)控制軟件用于預(yù)測(cè)控制模型的辨識(shí)方法較為普遍的仍是基于階躍響應(yīng)的傳遞函數(shù)矩陣模型辨識(shí)方法[10-11]。該辨識(shí)方法通常需要在實(shí)際生產(chǎn)過程中進(jìn)行階躍測(cè)試實(shí)驗(yàn)，并且測(cè)試信號(hào)要足夠強(qiáng)才能保證辨識(shí)精度，因此可能會(huì)導(dǎo)致工藝過程不穩(wěn)定運(yùn)行，輕則影響生產(chǎn)，重則引起嚴(yán)重安全事故。且一次階躍響應(yīng)實(shí)驗(yàn)只能得到適用于描述一個(gè)工作點(diǎn)附近若干個(gè)輸入輸出通道的動(dòng)態(tài)特性的傳遞函數(shù)模型，獲取多個(gè)工作點(diǎn)的模型則需要耗費(fèi)大量時(shí)間進(jìn)行多次階躍響應(yīng)實(shí)驗(yàn)。這使得先進(jìn)控制器難以長(zhǎng)期高效投用，對(duì)于復(fù)雜變工況的情況存在很大局限性[11]。

隨著化工企業(yè)智能化的不斷發(fā)展以及內(nèi)存價(jià)格的下降，分散控制系統(tǒng)（DCS）海量工廠日常運(yùn)行數(shù)據(jù)被存儲(chǔ)在工廠歷史數(shù)據(jù)庫(kù)中[12]，這些數(shù)據(jù)往往涵蓋各類不同工況點(diǎn)下系統(tǒng)的變化和運(yùn)行狀態(tài)，其中可能包含有足夠充分的用于辨識(shí)的信息。神經(jīng)網(wǎng)絡(luò)是一種模擬人腦大數(shù)據(jù)分析機(jī)制的計(jì)算方法。隨著深度神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，基于神經(jīng)網(wǎng)絡(luò)的大數(shù)據(jù)分析方法在各領(lǐng)域都取得了巨大成功[13]。與傳統(tǒng)辨識(shí)方法相比，神經(jīng)網(wǎng)絡(luò)對(duì)于大數(shù)據(jù)具有強(qiáng)大的特征提取與抽象能力，對(duì)數(shù)據(jù)質(zhì)量的要求較弱，可以脫離數(shù)據(jù)可辨識(shí)性的約束，利用強(qiáng)大的學(xué)習(xí)算法有效地獲取描述對(duì)象動(dòng)態(tài)的神經(jīng)網(wǎng)絡(luò)模型。

然而神經(jīng)網(wǎng)絡(luò)模型缺乏特定的物理意義，并且往往無法直接應(yīng)用到諸如預(yù)測(cè)控制等先進(jìn)控制方法。因此，本文致力于研究如何在此大數(shù)據(jù)背景下，利用深度神經(jīng)網(wǎng)絡(luò)模型建立可以反映系統(tǒng)動(dòng)、穩(wěn)態(tài)非線性特性的數(shù)字化虛擬裝置，作為實(shí)際裝置的孿生體。在虛擬裝置上可以不受約束地施加各種人工測(cè)試信號(hào)以獲取適用于先進(jìn)控制算法應(yīng)用的傳遞函數(shù)模型，有重要的工程應(yīng)用價(jià)值。

圖1 描述這一思想：在樣本數(shù)據(jù)足夠充分且涵蓋不同工作點(diǎn)的條件下，利用神經(jīng)網(wǎng)絡(luò)辨識(shí)，得到能描述各工況下系統(tǒng)動(dòng)態(tài)行為的非線性動(dòng)態(tài)模型，在該模型上給定工作點(diǎn)，加入變化豐富的輸入信號(hào)，可預(yù)測(cè)到相對(duì)應(yīng)的輸出。而后傳統(tǒng)辨識(shí)算法便可利用神經(jīng)網(wǎng)絡(luò)模型仿真實(shí)驗(yàn)數(shù)據(jù)獲得在先進(jìn)控制器實(shí)施控制時(shí)需要的某一工作點(diǎn)下各操作變量與被控變量間的傳遞模型函數(shù)，這種在神經(jīng)網(wǎng)絡(luò)模型上進(jìn)行離線實(shí)驗(yàn)實(shí)現(xiàn)的模型預(yù)測(cè)避免了先進(jìn)控制為獲取對(duì)象模型而進(jìn)行的階躍測(cè)試對(duì)實(shí)際生產(chǎn)帶來的影響。

圖1 基于工廠數(shù)據(jù)的過程模型辨識(shí)框架Fig.1 Process model identification framework based on plant data

Narendra 等[14]最早提出了基于人工神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)算法。有別于其他系統(tǒng)辨識(shí)方法，神經(jīng)網(wǎng)絡(luò)本身就是一種辨識(shí)模型，是系統(tǒng)的一種物理實(shí)現(xiàn)，因此無須再對(duì)系統(tǒng)的結(jié)構(gòu)進(jìn)行建模。利用神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任意非線性函數(shù)的能力，可得到本質(zhì)非線性系統(tǒng)的模型[15]。文獻(xiàn)[16]提出用循環(huán)神經(jīng)網(wǎng)絡(luò)辨識(shí)非線性系統(tǒng)，在線性條件下網(wǎng)絡(luò)隱藏層采用線性核函數(shù)，非線性條件下采用ReLu或tanh核函數(shù)，模型擬合效果好。文獻(xiàn)[17]利用前饋神經(jīng)網(wǎng)絡(luò)建立對(duì)象的非線性模型預(yù)測(cè)系統(tǒng)輸出和矯正線性模型用于DMC 預(yù)測(cè)控制。耿志強(qiáng)等[18]將帶有注意力機(jī)制的深度學(xué)習(xí)算法應(yīng)用于對(duì)苯二甲酸生產(chǎn)裝置乙酸消耗量的預(yù)測(cè)分析中。另外，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的收斂速度只與所選擇的網(wǎng)絡(luò)結(jié)構(gòu)以及學(xué)習(xí)規(guī)則有關(guān)，不受辨識(shí)對(duì)象的影響。神經(jīng)網(wǎng)絡(luò)輸入與輸出層神經(jīng)元個(gè)數(shù)不是固定的，可以隨著實(shí)際系統(tǒng)的變化而變化，且不用考慮各輸入之間的內(nèi)在聯(lián)系，可以應(yīng)用到多變量系統(tǒng)的辨識(shí)，適用于化工裝置的高階、非線性、生產(chǎn)過程高度連續(xù)、高度自動(dòng)化復(fù)雜過程。

Hochreiter 等[19]提出的LSTM 網(wǎng)絡(luò)是深度學(xué)習(xí)中最流行的網(wǎng)絡(luò)之一，被廣泛用于語音識(shí)別[20]、時(shí)間序列預(yù)測(cè)[21]、自然語言處理[22]等許多領(lǐng)域。作為一種循環(huán)神經(jīng)網(wǎng)絡(luò)，LSTM 通過增加三個(gè)單元門：遺忘門、輸入門和輸出門來有效地控制過去狀態(tài)的記憶，避免了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)梯度消失/爆炸的問題[23]。近年來，由于LSTM 對(duì)高度時(shí)間相關(guān)性、高維、強(qiáng)耦合數(shù)據(jù)有較強(qiáng)的適應(yīng)性，也逐漸被應(yīng)用在化工領(lǐng)域中。文獻(xiàn)[24]利用LSTM 處理序列數(shù)據(jù)的能力提出一種基于LSTM 的故障識(shí)別方法。文獻(xiàn)[25]利用LSTM 深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)作為處理硫磺回收裝置的一種軟測(cè)量方法。

本文提出利用工廠中DCS 存儲(chǔ)的日常運(yùn)行數(shù)據(jù)訓(xùn)練LSTM 網(wǎng)絡(luò)得到描述對(duì)象動(dòng)態(tài)特性的神經(jīng)網(wǎng)絡(luò)模型，并在神經(jīng)網(wǎng)絡(luò)模型上施加各種人工測(cè)試信號(hào)以獲取適用于先進(jìn)控制算法應(yīng)用的傳遞函數(shù)模型?？紤]到分別采用不同類型的數(shù)據(jù)在線訓(xùn)練LSTM 網(wǎng)絡(luò)和離線辨識(shí)傳遞函數(shù)模型，因此，要求LSTM 網(wǎng)絡(luò)必須具備較強(qiáng)的魯棒性和泛化能力。因此，本文引入當(dāng)前在文本處理、圖像識(shí)別及語音識(shí)別等領(lǐng)域中廣泛應(yīng)用的注意力機(jī)制[26-28]的思想提升模型的泛化能力，提出通過利用不同輸入與輸出之間的相關(guān)系數(shù)計(jì)算不同輸入量的注意力權(quán)重，對(duì)與輸出相關(guān)性高的輸入分配更多的注意力，從而提高模型泛化能力。最后，以辨識(shí)Tennessee-Eastman（TE）[29]過程的反應(yīng)器壓力與其操作變量關(guān)系的模型為例，驗(yàn)證本文提出方法的有效性。

1 LSTM神經(jīng)網(wǎng)絡(luò)模型

雖然在時(shí)間序列預(yù)測(cè)任務(wù)中，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）已經(jīng)被證明是有效的，但由于循環(huán)神經(jīng)網(wǎng)絡(luò)在多層上的梯度傳播引起的梯度爆炸和梯度消失問題致使其仍然在學(xué)習(xí)長(zhǎng)期依賴時(shí)存在困難。LSTM 作為一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)，通過引入細(xì)胞狀態(tài)門控實(shí)現(xiàn)了對(duì)過去狀態(tài)的過濾，選擇出對(duì)當(dāng)前更有影響的過去狀態(tài)，避免了RNN 中存在的長(zhǎng)期依賴問題和梯度消失/爆炸問題。

LSTM 結(jié)構(gòu)如圖2 所示，含有d 個(gè)變量的長(zhǎng)度為T 的多變量時(shí)間序列表示為X =(x1,x2,…,xT)，其中xt(t = 1,2,…,T)代表第t時(shí)刻觀測(cè)變量。

圖2 LSTM結(jié)構(gòu)圖Fig.2 Architectures of LSTM

LSTM 模型的主要特點(diǎn)是引入了單元狀態(tài)（cell state）ct，它包含了時(shí)間步t 時(shí)在該步獲得的觀測(cè)信息。除單元狀態(tài)外，LSTM 還引入了門控結(jié)構(gòu)（gate），一 般 包括遺 忘門（forget gate）ft，輸入門（input gate）it和輸出門（output gate）ot三種。通過多個(gè)門的控制，可根據(jù)門的狀態(tài)保持或更新單元狀態(tài)。此外，還引入了輸入調(diào)制門c～t用于描述當(dāng)前輸入的單元狀態(tài)。門和單元在t 時(shí)刻的更新和輸出定義如下：

遺忘門ft

輸入門it

輸入調(diào)制門ct

輸出門ot

單元輸出ht

式（1）～式（6）即為L(zhǎng)STM 前向計(jì)算的全部公式。其中符號(hào)·表示按元素乘；Wf、Wi、Wc、Wo分別是遺忘門、輸入門、輸入調(diào)制門和輸出門的權(quán)重矩陣；bf、bi、bc、bo分別為遺忘門、輸入門、輸入調(diào)制門和輸出門的偏置項(xiàng)；[ht-1,xt]表示把兩個(gè)向量連接成一個(gè)更長(zhǎng)的向量。門（gate）的激活函數(shù)σ 定義為sigmoid函數(shù)，σ與其導(dǎo)數(shù)σ′的關(guān)系為

輸出的激活函數(shù)為tanh 函數(shù)，tanh 與其導(dǎo)數(shù)tanh′的關(guān)系為

2 結(jié)合注意力機(jī)制思想的LSTM 辨識(shí)算法

本文將注意力機(jī)制的思想與LSTM 算法結(jié)合，并應(yīng)用于基于工廠數(shù)據(jù)的化工裝置非線性動(dòng)態(tài)模型辨識(shí)。目前大多數(shù)注意力模型都伴隨在Encoder-Decoder 框架下，但注意力機(jī)制本身可以看作一種不依賴于特定框架的通用的思想——選擇出對(duì)目標(biāo)任務(wù)更關(guān)鍵的信息，分配更多的注意力。

為了更好地學(xué)習(xí)輸入序列中的信息，使辨識(shí)模型的準(zhǔn)確度提升，本文以輸入與輸出變量間的spearman 相關(guān)系數(shù)[30]為參考，相關(guān)系數(shù)越大注意力系數(shù)越大，為輸入序列分配合理注意力系數(shù)，體現(xiàn)不同輸入變量對(duì)輸出變量的影響。注意力系數(shù)ak的計(jì)算公式為

其中m 表示一共有m 維輸入變量，Xk表示第k維輸入變量，Y 表示輸出變量。s(·,· )為spearman相關(guān)系數(shù)，是衡量?jī)蓚€(gè)變量間依賴性的非參數(shù)指標(biāo)，可用于總體分布未知的連續(xù)變量。

LSTM 需要學(xué)習(xí)8組參數(shù)，分別是遺忘門的權(quán)重矩陣Wf、遺忘門的偏置項(xiàng)bf、輸入門的權(quán)重矩陣Wi、輸入門的偏置項(xiàng)bi、輸入調(diào)制門的權(quán)重矩陣Wc、輸入調(diào)制門的偏置項(xiàng)bc、輸出門的權(quán)重矩陣Wo、輸出門的偏置項(xiàng)bo。LSTM的訓(xùn)練算法為反向傳播算法，主要有三步。

（1）前向計(jì)算每個(gè)神經(jīng)元的輸出值，即向量ft、it、ct、ot、ht的值，計(jì)算方法如第1節(jié)所示。

（2）反向計(jì)算每個(gè)神經(jīng)元的損失函數(shù)。

本文損失函數(shù)為均方根誤差（root mean squared error，RMSE），反映了真實(shí)值與預(yù)測(cè)值之間的偏離程度。RMSE計(jì)算方式如下：

（3）根據(jù)相應(yīng)誤差項(xiàng)，計(jì)算權(quán)重梯度。

訓(xùn)練過程采用DFP 算法[31]代替?zhèn)鹘y(tǒng)梯度下降（gradient descent，GD）算法作為網(wǎng)絡(luò)權(quán)重更新的優(yōu)化算法。DFP 算法只需計(jì)算一階偏導(dǎo)數(shù)，避免了牛頓法對(duì)二階偏導(dǎo)數(shù)及其逆矩陣的復(fù)雜計(jì)算，對(duì)目標(biāo)函數(shù)的初始點(diǎn)選擇無嚴(yán)格要求。

結(jié)合注意力機(jī)制思想的LSTM 算法的整體流程如圖3所示。

圖3 結(jié)合注意力機(jī)制思想的LSTM算法流程圖Fig.3 Flow chart of LSTM algorithm combined with attention mechanism

圖4 結(jié)合注意力機(jī)制思想的LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 LSTM network structure combined with attention mechanism

3 算例分析

TE 過程包括反應(yīng)器、冷凝器、壓縮機(jī)、分離器和汽提塔5 個(gè)單元，生產(chǎn)過程包括41 個(gè)被控變量(XMEAS(1)～XMEAS(41))和12個(gè)操作變量(XMV(1)～XMV(12))，是控制領(lǐng)域常用的檢驗(yàn)控制、建模、故障檢測(cè)算法性能的模型之一，本文以TE過程反應(yīng)器壓力為辨識(shí)對(duì)象，仿真數(shù)據(jù)來自華盛頓大學(xué)過程控制研究室利用MATLAB 的SIMULINK 環(huán)境改寫的TE模型（http://depts. washington. edu/ control/ LARRY/TE/download.html#MATLAB_5x）。

3.1 數(shù)據(jù)集描述

實(shí)驗(yàn)選取A物料流量、D物料流量、E物料流量、A/C 混合流量、放空閥、分離器液體流量、汽提塔液體流量、反應(yīng)器冷凝水流量、反應(yīng)器壓力工作點(diǎn)9個(gè)變量的時(shí)間序列作為神經(jīng)網(wǎng)絡(luò)的輸入，反應(yīng)器壓力值時(shí)間序列數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸出，其中工作點(diǎn)的具體數(shù)值為前一時(shí)刻反應(yīng)器壓力值。

選取TE 過程反應(yīng)器壓力涵蓋2810 kPa、2820 kPa、2830 kPa 三個(gè)工作點(diǎn)附近的30 h 正常生產(chǎn)數(shù)據(jù)，共9000 組輸入輸出數(shù)據(jù)，本文采用固定劃分方式將其中6000組數(shù)據(jù)作為訓(xùn)練樣本，3000組數(shù)據(jù)作為測(cè)試樣本。

3.2 數(shù)據(jù)預(yù)處理

因本文實(shí)驗(yàn)數(shù)據(jù)由TE仿真模型產(chǎn)生，未存在數(shù)據(jù)缺失和異常，本文采用min-max 標(biāo)準(zhǔn)化方法直接對(duì)樣本數(shù)據(jù)進(jìn)行歸一化處理，將數(shù)據(jù)集矩陣每個(gè)變量的元素值映射至[0,1]內(nèi)。

DCS 采集的數(shù)據(jù)會(huì)受到傳感器、信號(hào)傳輸或現(xiàn)場(chǎng)環(huán)境等因素影響而產(chǎn)生部分?jǐn)?shù)據(jù)缺失、異常的問題。因此在利用深度學(xué)習(xí)構(gòu)建高可靠性模型前首先應(yīng)當(dāng)對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理。對(duì)于數(shù)據(jù)的異常值，采取的處理方法是將異常值作為缺失值。數(shù)據(jù)缺失的處理方法有直接刪除缺失記錄、取前點(diǎn)、均值插補(bǔ)、回歸插補(bǔ)、極大似然估計(jì)等。為減少不同特征的數(shù)量級(jí)和量綱對(duì)辨識(shí)結(jié)果的影響，補(bǔ)齊后的數(shù)據(jù)需要再進(jìn)行歸一化處理。

3.3 模型訓(xùn)練

在win10 系統(tǒng)，MATLAB R2016b 環(huán)境下構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，網(wǎng)絡(luò)參數(shù)設(shè)置如表1所示。

表1 網(wǎng)絡(luò)模型參數(shù)Table 1 Parameters of network model

設(shè)置學(xué)習(xí)率0.2，最大迭代次數(shù)1000，誤差閾值10-6。根據(jù)以上參數(shù)初始化模型并進(jìn)行訓(xùn)練，圖5為2810 kPa 工作點(diǎn)2000 組訓(xùn)練數(shù)據(jù)分別采用梯度下降法和DFP 算法作為權(quán)重梯度優(yōu)化算法時(shí)模型訓(xùn)練的誤差曲線，兩種算法均能較好地學(xué)習(xí)TE 模型，但是以DFP 算法為權(quán)重梯度優(yōu)化算法的學(xué)習(xí)迭代步數(shù)有明顯改進(jìn)。

圖5 DFP算法與梯度下降算法訓(xùn)練誤差Fig.5 Training error of DFP algorithm and gradient descent algorithm

3.4 結(jié)果分析

輸出數(shù)據(jù)反歸一化后得到結(jié)合注意力機(jī)制思想的LSTM 網(wǎng)絡(luò)與常規(guī)LSTM 網(wǎng)絡(luò)測(cè)試結(jié)果，圖6 為反應(yīng)器壓力在三個(gè)工作點(diǎn)附近的擬合曲線。

圖6 模型預(yù)測(cè)結(jié)果對(duì)比Fig.6 Comparison of model prediction

分別以常規(guī)LSTM 網(wǎng)絡(luò)模型和結(jié)合注意力思想的LSTM 網(wǎng)絡(luò)模型作為離線辨識(shí)實(shí)驗(yàn)對(duì)象模型，在三個(gè)工作點(diǎn)處E 流量輸入中加入人工測(cè)試噪聲信號(hào)，得到模型輸入輸出數(shù)據(jù)。圖7 所示為工作點(diǎn)2820 kPa處離線實(shí)驗(yàn)擬合曲線。

模型測(cè)試結(jié)果采用平均絕對(duì)百分比誤差（mean absolute percentage error,MAPE）作為評(píng)價(jià)指標(biāo)

圖7 工作點(diǎn)2820 kPa處離線實(shí)驗(yàn)結(jié)果對(duì)比Fig.7 Comparison of off-line experimental results at 2820 kPa

表2 模型測(cè)試與離線實(shí)驗(yàn)結(jié)果Table 2 Model test and off-line experimental results

由表2 可知結(jié)合了注意力機(jī)制思想的LSTM 網(wǎng)絡(luò)泛化能力比常規(guī)LSTM 更高，所以在模型測(cè)試和離線實(shí)驗(yàn)中得到的輸出值更準(zhǔn)確。值得注意的是，與模型測(cè)試不同，離線實(shí)驗(yàn)中LSTM 網(wǎng)絡(luò)輸入中的工作點(diǎn)，也就是前一時(shí)刻反應(yīng)器壓力值是由LSTM網(wǎng)絡(luò)計(jì)算得到的，而非直接由給定測(cè)試數(shù)據(jù)集的輸入數(shù)據(jù)中獲取，前一時(shí)刻輸出的誤差會(huì)影響當(dāng)前時(shí)刻的輸出，因此神經(jīng)網(wǎng)絡(luò)模型輸出的誤差比模型測(cè)試時(shí)大。

利用結(jié)合注意力思想的LSTM 網(wǎng)絡(luò)模型的輸入輸出，在MATLAB 的system identification 工具箱計(jì)算得到2820 kPa工作點(diǎn)處反應(yīng)器壓力與E流量的傳遞函數(shù)及其階躍響應(yīng)曲線如圖8所示，其中s表示復(fù)變量，可知由此得到的傳遞函數(shù)模型能反映對(duì)象的局部線性動(dòng)態(tài)特性，將結(jié)合注意力機(jī)制思想的LSTM 模型作為被控對(duì)象的數(shù)字化虛擬模型是可行的。

4 結(jié) 論

圖8 傳遞函數(shù)模型及其階躍響應(yīng)曲線(s表示復(fù)變量)Fig.8 Transfer function model and its step response curves

本文基于工廠大數(shù)據(jù)背景，提出采用LSTM 神經(jīng)網(wǎng)絡(luò)結(jié)合注意力機(jī)制思想，利用工廠日常運(yùn)行數(shù)據(jù)辨識(shí)化工過程裝置的非線性動(dòng)態(tài)模型（數(shù)字化虛擬裝置），在虛擬裝置上進(jìn)行辨識(shí)、控制等實(shí)驗(yàn)可避免為獲取用于先進(jìn)控制的傳遞函數(shù)模型而在實(shí)際裝置中加入測(cè)試信號(hào)對(duì)生產(chǎn)的影響。由于離線實(shí)驗(yàn)的準(zhǔn)確性與神經(jīng)網(wǎng)絡(luò)模型的泛化能力直接相關(guān)，本文將LSTM 結(jié)合注意力機(jī)制的思想以提高網(wǎng)絡(luò)模型泛化能力。算例分析表明，神經(jīng)網(wǎng)絡(luò)模型可以克服工作點(diǎn)變化的影響，擬合出不同工作點(diǎn)下非線性動(dòng)態(tài)系統(tǒng)的輸出，且結(jié)合了注意力機(jī)制思想和DFP優(yōu)化算法的LSTM 網(wǎng)絡(luò)收斂速度更快，模型精度比常規(guī)LSTM 模型更高。利用該模型可實(shí)現(xiàn)用于獲取先進(jìn)控制對(duì)象局部線性模型的離線辨識(shí)實(shí)驗(yàn)及仿真控制過程等功能。本文方法為實(shí)現(xiàn)基于工廠數(shù)據(jù)的非線性動(dòng)態(tài)模型辨識(shí)提供了一種有效的思路。