基于長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)和支持向量數(shù)據(jù)描述的間歇過程監(jiān)測(cè)方法

紀(jì) 成顧俊發(fā)王健紅王璟德孫 巍

(北京化工大學(xué)化學(xué)工程學(xué)院,北京 100029)

間歇過程是工業(yè)過程的一種重要的生產(chǎn)方式,常用于生物化學(xué)、制藥、食品加工和精細(xì)化工等領(lǐng)域[1]。間歇過程操作難度高,產(chǎn)品質(zhì)量容易受到環(huán)境條件和設(shè)備因素影響。這些因素在過程中的異常變化輕則會(huì)影響產(chǎn)品質(zhì)量,重則將危及生產(chǎn)安全。因此需要對(duì)間歇過程進(jìn)行實(shí)時(shí)的監(jiān)測(cè),及時(shí)地發(fā)現(xiàn)過程中的異常變化,并指導(dǎo)操作人員消除異?；蛘咛崆敖K止反應(yīng)。

與連續(xù)過程不同,間歇過程具有動(dòng)態(tài)特性,間歇操作沒有穩(wěn)定的工作點(diǎn),物料濃度和反應(yīng)速率等關(guān)鍵變量隨時(shí)間變化,即操作的正常工況是一個(gè)隨時(shí)間變化的軌跡[2]。另外間歇過程具有非連續(xù)性的特點(diǎn),產(chǎn)品分批次生產(chǎn)并輸出,每個(gè)批次可以根據(jù)要求設(shè)置不同的初始條件和操作條件,且不同的條件下反應(yīng)速率不同,各批次具有一定程度的差異性和不等長(zhǎng)性。以上特點(diǎn)為間歇過程的監(jiān)測(cè)帶來了巨大挑戰(zhàn)。為了解決多批次和批次不等長(zhǎng)問題,多項(xiàng)主成分分析被提出并應(yīng)用于間歇過程的監(jiān)測(cè)[3]。該方法將多個(gè)批次的數(shù)據(jù)進(jìn)行軌跡同步化,將每個(gè)批次的數(shù)據(jù)處理成相同長(zhǎng)度,并展開為二維矩陣,再利用傳統(tǒng)的主元分析法監(jiān)測(cè)。但是這種基于數(shù)據(jù)展開的線性方法不僅計(jì)算復(fù)雜,且無法提取間歇過程多階段下的動(dòng)態(tài)特性。在數(shù)據(jù)展開的基礎(chǔ)上,有許多學(xué)者提出了改進(jìn)方法,如自適應(yīng)階段識(shí)別算法[4]、非線性特征提取算法[5]和基于動(dòng)態(tài)模型的方法[6]等。但是這些方法都沒有能夠同時(shí)考慮過程的非線性和動(dòng)態(tài)特性,因此無法及時(shí)地識(shí)別出故障的發(fā)生。

本論文提出了一種基于長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)和支持向量數(shù)據(jù)描述的間歇過程監(jiān)測(cè)方法。該方法無需對(duì)多批次數(shù)據(jù)進(jìn)行展開處理,且不用對(duì)批次的不等長(zhǎng)特性進(jìn)行特殊處理,可以說實(shí)現(xiàn)了間歇過程監(jiān)測(cè)問題的連續(xù)化處理,不僅減少了計(jì)算的復(fù)雜度,而且能夠有效提取過程變量的動(dòng)態(tài)性和非線性,實(shí)時(shí)地檢測(cè)到過程故障的發(fā)生。

首先,多個(gè)批次的正常運(yùn)行狀態(tài)下的歷史數(shù)據(jù)被用來建立長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)回歸模型。然后用支持向量數(shù)據(jù)描述對(duì)正常工況下得到的殘差進(jìn)行超球體描述,測(cè)試集樣本點(diǎn)到超球體中心的距離作為監(jiān)測(cè)統(tǒng)計(jì)量,對(duì)故障樣本進(jìn)行檢測(cè)。本方法被應(yīng)用于青霉素發(fā)酵仿真過程,結(jié)果表明該方法能夠?qū)﹂g歇過程的故障進(jìn)行早期報(bào)警。

1 基于神經(jīng)網(wǎng)絡(luò)和支持向量數(shù)據(jù)描述的監(jiān)測(cè)方法

結(jié)合了長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)和支持向量數(shù)據(jù)描述算法,提出一種基于殘差的間歇過程監(jiān)測(cè)模型,具體算法及監(jiān)測(cè)策略在本節(jié)中進(jìn)行介紹。

1.1 長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)

長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)是由 Hochreiter 和Schmidhuber 提出的一種循環(huán)神經(jīng)網(wǎng)絡(luò)的變體[7]。該網(wǎng)絡(luò)在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入了記憶的思想,構(gòu)造了遺忘門、輸入門和輸出門。遺忘門用來決定要保留或舍棄哪些信息,如式(1)所示,遺忘門將之前狀態(tài)信息ht-1和當(dāng)前狀態(tài)xt輸入到激活函數(shù)σ中,其中:Wf是遺忘門的權(quán)重;bf是偏置;ft是遺忘門的輸出,輸出值在0 與1 之間,0 表示完全遺忘,1 表示全部保留。

輸入門決定單元中更新的信息,式(2)可以用來決定需要更新的新信息,其中:ht-1表示上一歷史狀態(tài);xt表示當(dāng)前狀態(tài);Wi表示權(quán)重;bi表示偏置;σ是Sigmoid 激活函數(shù)。

式(3)用1 個(gè)tanh激活函數(shù)決定用于更新狀態(tài)的候選新信息,其中:ht-1表示上一歷史狀態(tài);xt表示當(dāng)前狀態(tài);WC表示權(quán)重;bC表示偏置。將式(2)相乘得到要加入該單元的更新信息。式(4)為單元狀態(tài)值的更新。

輸出門決定輸出的信息,式(5)決定需要輸出多少當(dāng)前狀態(tài)的信息,其中:ht-1表示上一歷史狀態(tài);xt表示當(dāng)前狀態(tài);Wo表示權(quán)重;bo表示偏置;σ是Sigmoid 激活函數(shù)。然后式(6)將式(5)與激活后的當(dāng)前單元狀態(tài)相乘得到神經(jīng)網(wǎng)絡(luò)的輸出。

由于長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)能夠同時(shí)考慮當(dāng)前值和歷史值的信息,因此能夠提取過程的動(dòng)態(tài)和非線性特征,適用于建立間歇過程時(shí)間序列的回歸模型。

1.2 支持向量數(shù)據(jù)描述

支持向量數(shù)據(jù)描述是一種常用的異常值檢測(cè)算法,它的原理可以轉(zhuǎn)化為式(7)中的優(yōu)化問題[8]。

將訓(xùn)練數(shù)據(jù)x通過變換函數(shù)映射到特征空間,在特征空間尋找一個(gè)最小體積的超球體。其中:R是超球體的半徑;a是球心;ξ是松弛因子;C是懲罰項(xiàng)。引入式(8)所示的核函數(shù),結(jié)合拉格朗日乘子法,超球體的半徑R可以由任意支持向量xk用式(9)求得。

其中:αi是樣本xi對(duì)應(yīng)的拉格朗日系數(shù),對(duì)于測(cè)試樣本xtest,用式(10)計(jì)算其與球心a的距離作為統(tǒng)計(jì)量,如果距離超過超球體的半徑,則說明該樣本為異常樣本。

1.3 提出的監(jiān)測(cè)策略及實(shí)現(xiàn)步驟

將以上2 種方法相結(jié)合,提出了一種新的間歇過程監(jiān)測(cè)方法,將殘差作為監(jiān)測(cè)對(duì)象,將復(fù)雜的間歇過程監(jiān)測(cè)轉(zhuǎn)化為連續(xù)過程監(jiān)測(cè)問題來處理。具體的實(shí)現(xiàn)策略如圖1所示,首先將包含不同初始條件的多個(gè)正常批次數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),訓(xùn)練長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)回歸模型,迭代至模型的損失不再明顯下降為止。然后將從回歸模型獲取的殘差數(shù)據(jù)用支持向量數(shù)據(jù)描述模型從原始空間投影到特征空間,尋找最小超球體來確定正常殘差數(shù)據(jù)的范圍。至此,監(jiān)測(cè)模型建立完成。當(dāng)新的批次生產(chǎn)時(shí),將實(shí)時(shí)數(shù)據(jù)帶入建立好的神經(jīng)網(wǎng)絡(luò)回歸模型得到實(shí)時(shí)的殘差數(shù)據(jù),再計(jì)算殘差數(shù)據(jù)到超球體球心的距離并與超球體的半徑進(jìn)行比較,若該距離小于半徑,過程處于正常運(yùn)行狀態(tài),否則,說明過程出現(xiàn)了異常,監(jiān)測(cè)模型開始報(bào)警。

圖1 本研究過程監(jiān)測(cè)方法流程圖Fig.1 The flow chart of the proposed monitoring method

2 案例分析

本節(jié)將1.3 所提出的監(jiān)測(cè)方法應(yīng)用于青霉素發(fā)酵仿真過程,對(duì)該方法的有效性進(jìn)行驗(yàn)證。

2.1 青霉素發(fā)酵過程

青霉素發(fā)酵過程是一種典型的間歇操作過程,發(fā)酵初期為間歇操作,產(chǎn)生大量菌體,菌體消耗掉葡萄糖底物后,進(jìn)入半間歇補(bǔ)料階段,再向發(fā)酵罐中連續(xù)加入葡萄糖。發(fā)酵期間,無論是環(huán)境條件、培養(yǎng)基初始條件還是操作變量的波動(dòng)都會(huì)影響最終得到的青霉素濃度,青霉素濃度難以在線測(cè)量[9],因此需要對(duì)過程中涉及到的測(cè)量變量與操作變量進(jìn)行實(shí)時(shí)監(jiān)測(cè),以便能夠及時(shí)消除故障,保證過程按照正常工況的發(fā)酵軌跡運(yùn)行。該過程具有很強(qiáng)的動(dòng)態(tài)時(shí)變性和非線性,監(jiān)測(cè)難度大。本論文采用Cinar 教授團(tuán)隊(duì)[10]開發(fā)的Pensim 軟件來對(duì)該過程進(jìn)行模擬并獲取數(shù)據(jù)。

2.2 數(shù)據(jù)描述和模型構(gòu)建

首先模擬10 個(gè)批次不同初始條件的正常工況數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),過程變量信息如表1所示。反應(yīng)時(shí)間395 h 到405 h 不等,采樣頻率為0.1 h,以窗口的形式輸入到長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,根據(jù)過程數(shù)據(jù)的復(fù)雜度,模型層數(shù)選為2 層,隱藏單元個(gè)數(shù)設(shè)為64 個(gè)。當(dāng)訓(xùn)練的損失不再有明顯下降后,停止迭代,確定回歸模型。并生成1 組隨機(jī)初始條件和批次長(zhǎng)度的正常工況數(shù)據(jù)測(cè)試回歸模型的效果。以圖2所示的CO2濃度的回歸效果為例,可以看出該模型對(duì)青霉素發(fā)酵過程的不同階段都是良好的回歸效果,通過計(jì)算評(píng)價(jià)回歸效果的指標(biāo)得到R2為0.983,均方根誤差為0.060 6,說明該模型可以滿足回歸要求。

表1 青霉素發(fā)酵過程變量Table 1 Variables in penicillin fermentation process

圖2 CO2 濃度的回歸結(jié)果Fig.2 Regression result for carbon dioxide concentration

確定回歸模型后,計(jì)算正常工況數(shù)據(jù)的殘差作為監(jiān)測(cè)模型的訓(xùn)練數(shù)據(jù),為了驗(yàn)證本方法的監(jiān)測(cè)效果,通過Pensim 仿真平臺(tái)設(shè)定3 個(gè)常見的故障,分別在反應(yīng)進(jìn)行到100 h 時(shí)分別引入于3 個(gè)不同批次中,故障信息如表2所示,故障引入于操作變量,且有階躍和斜坡2 種故障方式。同時(shí)補(bǔ)充1 個(gè)不引入故障的正常批次數(shù)據(jù)來測(cè)試模型對(duì)正常工況的監(jiān)測(cè)效果。

表2 本文引入的故障信息Table 2 Faults information introduced in this work

2.3 結(jié)果與討論

將這1 個(gè)批次的正常數(shù)據(jù)和3 個(gè)批次的故障測(cè)試數(shù)據(jù)分別帶入建立好的回歸模型,得到殘差,即通過模型得到的回歸值與真實(shí)值之間的差值,再將殘差帶入監(jiān)測(cè)模型計(jì)算距離統(tǒng)計(jì)量與控制限進(jìn)行比較來判斷當(dāng)前樣本所處的運(yùn)行狀態(tài)。

監(jiān)測(cè)結(jié)果如圖3、圖4、圖5和圖6所示,可以看出,針對(duì)正常工況的測(cè)試數(shù)據(jù),監(jiān)測(cè)統(tǒng)計(jì)量保持在控制限以下,說明模型具有極低的誤報(bào)率。對(duì)于階躍故障,該模型能夠在故障發(fā)生的第1 個(gè)時(shí)間點(diǎn)進(jìn)行實(shí)時(shí)報(bào)警,對(duì)于故障2 和3 的斜坡故障,即使故障幅度較小,也能夠在1 100 樣本點(diǎn)之前進(jìn)行及時(shí)的報(bào)警。結(jié)果表明,本研究提出的監(jiān)測(cè)方法能夠有效地提取間歇過程中復(fù)雜的動(dòng)態(tài)及非線性特征,并實(shí)時(shí)地檢測(cè)到故障的發(fā)生。同時(shí),本方法還可以免去傳統(tǒng)方法對(duì)變量展開和批次軌跡同步化的復(fù)雜運(yùn)算

圖3 正常數(shù)據(jù)的監(jiān)測(cè)結(jié)果Fig.3 Monitoring result under normal condition

圖4 故障1 的監(jiān)測(cè)結(jié)果Fig.4 Monitoring result of fault 1

圖5 故障2 的監(jiān)測(cè)結(jié)果Fig.5 Monitoring result of fault 2

圖6 故障3 的監(jiān)測(cè)結(jié)果Fig.6 Monitoring result of fault 3

3 結(jié)論

提出了一種基于神經(jīng)網(wǎng)絡(luò)和支持向量描述的間歇過程監(jiān)測(cè)方法,通過提取過程的動(dòng)態(tài)和非線性特征建立回歸模型,并以殘差為監(jiān)測(cè)對(duì)象,可以避免數(shù)據(jù)展開和批次不等長(zhǎng)處理等復(fù)雜計(jì)算,以連續(xù)過程監(jiān)測(cè)的處理方式解決了間歇過程監(jiān)測(cè)的問題,并應(yīng)用于青霉素發(fā)酵過程,結(jié)果表明該方法能夠?qū)崿F(xiàn)對(duì)該過程中的異常偏離的實(shí)時(shí)監(jiān)測(cè),本方法的監(jiān)測(cè)思想為間歇過程的監(jiān)測(cè)提供了一種新的思路。