基于注意力機(jī)制的LSTM液體管道非穩(wěn)態(tài)工況檢測(cè)

于濤*，張文煊

（1.國(guó)家管網(wǎng)集團(tuán)數(shù)字化部；2.昆侖數(shù)智科技有限責(zé)任公司）

0 引言

長(zhǎng)輸液體管道利用SCADA（數(shù)據(jù)采集與監(jiān)視控制）系統(tǒng)實(shí)現(xiàn)遠(yuǎn)程調(diào)控運(yùn)行，運(yùn)行過(guò)程中對(duì)異常工況的發(fā)現(xiàn)處置，均由調(diào)控人員根據(jù)設(shè)備狀態(tài)量報(bào)警信息及壓力、流量等參數(shù)閾值分析確定。一般而言，液體管道的判斷分析處置時(shí)間較短，對(duì)調(diào)控人員的業(yè)務(wù)技能、事件應(yīng)急能力、工作狀態(tài)等要求較高；尤其是對(duì)于泄漏等工況，若不能及時(shí)發(fā)現(xiàn)，將影響后續(xù)工況的識(shí)別和應(yīng)急處置，從而危及管道運(yùn)行安全，嚴(yán)重時(shí)可能產(chǎn)生較大的次生災(zāi)害，進(jìn)而造成環(huán)境污染等問(wèn)題。同時(shí)，工況實(shí)時(shí)檢測(cè)是未來(lái)管道智能化的前提，只有實(shí)時(shí)性、準(zhǔn)確性提高后，檢測(cè)結(jié)果才可用于后續(xù)管道的工況智能識(shí)別和控制。

近年來(lái)，隨著管道SCADA系統(tǒng)的推廣應(yīng)用，信息傳送、數(shù)據(jù)收集存儲(chǔ)等方面的完善提升，企業(yè)積累了大量的實(shí)際生產(chǎn)數(shù)據(jù)。長(zhǎng)輸油氣管道生產(chǎn)數(shù)據(jù)具有工業(yè)大數(shù)據(jù)的“6V”特性[1]，同時(shí)具有更強(qiáng)的專業(yè)性、關(guān)聯(lián)性、流程性、時(shí)序性和解析性等特點(diǎn)。國(guó)內(nèi)外學(xué)者利用數(shù)據(jù)驅(qū)動(dòng)智能應(yīng)用和控制，實(shí)現(xiàn)了工業(yè)設(shè)備監(jiān)測(cè)[2]、工況識(shí)別[3-4]、參數(shù)預(yù)測(cè)等功能[5-6]?？梢姡剿骰跀?shù)據(jù)驅(qū)動(dòng)的算法模型，研究油氣管道非穩(wěn)態(tài)工況檢測(cè)和智能識(shí)別是未來(lái)管道智能調(diào)控的方向[7-8]。

目前對(duì)于油氣管道異常工況的研究多側(cè)重于泄漏工況的識(shí)別與特征提取[9-11]。武瑞娟[12]通過(guò)實(shí)驗(yàn)?zāi)M傳感光纖主體在輸油溫度和應(yīng)力變化環(huán)境中的監(jiān)測(cè)穩(wěn)定性、精度，實(shí)現(xiàn)管道泄漏的檢測(cè)；陳志剛等人[13]提出基于多元支持向量機(jī)的管道泄漏診斷方法，并建立了識(shí)別模型，實(shí)現(xiàn)多種工況下對(duì)壓力波動(dòng)信號(hào)的分類識(shí)別，從而提高泄漏工況識(shí)別準(zhǔn)確性。當(dāng)前學(xué)者的研究成果主要針對(duì)特定設(shè)備與泄漏等工況，沒(méi)有將管道非穩(wěn)態(tài)工況作為整體納入研究，無(wú)法應(yīng)用于未來(lái)管道工況的智能識(shí)別與控制。本文利用 LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)）可學(xué)習(xí)并記憶序列長(zhǎng)期信息的優(yōu)點(diǎn)，提出了一種基于注意力機(jī)制的LSTM時(shí)間序列預(yù)測(cè)的算法，該算法可用于長(zhǎng)輸液體管道非穩(wěn)態(tài)工況檢測(cè)。

1 理論和方法

1.1 算法原理

1.1.1 LSTM網(wǎng)絡(luò)原理

LSTM是 RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）的一種變體，由于其彌補(bǔ)了RNN的梯度消失或爆炸，以及長(zhǎng)期記憶不足的問(wèn)題而被廣泛使用于各個(gè)領(lǐng)域[14-16]。每個(gè)LSTM單元包括輸入門i(t)，遺忘門f(t)，輸出門o(t)以及兩個(gè)神經(jīng)元狀態(tài)c(t)和h(t)。LSTM神經(jīng)元的前向傳播計(jì)算過(guò)程見式（1）～式（5），其中W和b為相應(yīng)權(quán)重。

在時(shí)間序列分析中，深度學(xué)習(xí)通常由多層LSTM單元來(lái)實(shí)現(xiàn)，即每一層的輸出作為下一層的輸入。循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練通過(guò)基于時(shí)間的反向傳播算法實(shí)現(xiàn)，包括以下幾步：①前向傳播計(jì)算神經(jīng)網(wǎng)絡(luò)的輸出；②計(jì)算誤差并在深度和時(shí)間兩個(gè)方向上反向傳播至每個(gè)神經(jīng)元；③計(jì)算每個(gè)權(quán)重的梯度；④根據(jù)梯度更新權(quán)重。求解過(guò)程可以由多種梯度最優(yōu)化算法實(shí)現(xiàn)，如，隨機(jī)梯度下降 AdaGrad、Adam、RMSProp等。

1.1.2 注意力機(jī)制

針對(duì) LSTM的 Encoder-Decoder（編碼-解碼）框架因中間碼保存的信息量有固定上限，當(dāng)輸入信息量大于中間碼時(shí)，導(dǎo)致信息丟失解碼準(zhǔn)確度下降，陶云松等學(xué)者引入注意力機(jī)制用于圖像處理[17]，其本質(zhì)是對(duì)感興趣的特征中的每個(gè)特征用 softmax函數(shù)打分。通常注意力機(jī)制的輸入是當(dāng)前狀態(tài)h(t)和側(cè)重關(guān)注的f=(f1,f2,···,fn)，輸出是對(duì)n個(gè)特征的softmax打分s= (s1,s2,···,sn)，在后續(xù)處理中，使用該打分功能進(jìn)行過(guò)濾[18]。

增加注意力機(jī)制可看成在單獨(dú)的編碼、解碼器框架上，增加了一個(gè)單層RNN，輸出數(shù)據(jù)對(duì)應(yīng)輸入數(shù)據(jù)的注意力權(quán)重，不僅受輸入數(shù)據(jù)的隱藏層決定，還取決于前一個(gè)數(shù)列的隱藏層，通過(guò)softmax獲得概率值，如式（6）～式（8）和圖1所示。

圖1 包含注意力機(jī)制的編碼、解碼框架

首先，單獨(dú)計(jì)算si-1與每個(gè)隱層狀態(tài)h一個(gè)數(shù)值，再通過(guò)softmax獲得i數(shù)據(jù)對(duì)應(yīng)的Tx個(gè)編碼時(shí)隱層狀態(tài)內(nèi)的注意力權(quán)重分配，從而求出ci分配向量權(quán)重。如式（9）～式（11）和圖2所示：

圖2 編碼器解碼器結(jié)構(gòu)圖

1.2 非穩(wěn)態(tài)工況檢測(cè)模型架構(gòu)

根據(jù)液體管道SCADA系統(tǒng)數(shù)據(jù)特點(diǎn)，非穩(wěn)態(tài)工況檢測(cè)研究架構(gòu)如圖3所示。

圖3 非穩(wěn)態(tài)工況檢測(cè)模型結(jié)構(gòu)圖

非穩(wěn)態(tài)工況檢測(cè)模型包含兩部分：一是使用一個(gè)基于LSTM的時(shí)間序列預(yù)測(cè)模型學(xué)習(xí)正常數(shù)據(jù)的行為模式，并對(duì)未來(lái)數(shù)據(jù)給出時(shí)間序列預(yù)測(cè)；二是通過(guò)建立注意力機(jī)制調(diào)整模型輸出值，對(duì)預(yù)測(cè)數(shù)據(jù)與實(shí)際數(shù)據(jù)的誤差進(jìn)行評(píng)分，給出是否異常的分類?；谧⒁饬C(jī)制的LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，其具體實(shí)施過(guò)程如下：

圖4 基于注意力機(jī)制的LSTM網(wǎng)絡(luò)結(jié)構(gòu)

首先，LSTM作為時(shí)間序列預(yù)測(cè)模型，使用當(dāng)前時(shí)間的前一時(shí)間點(diǎn)作為輸入值，后一時(shí)間點(diǎn)作為輸出值，輸出層的維度與管道的數(shù)據(jù)集特征維度相符。由于模型用于回歸問(wèn)題的訓(xùn)練，本文使用線性激活函數(shù)，并使用MSE作為損失函數(shù)。

其次，使用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)注意力機(jī)制，利用注意力機(jī)制調(diào)整模型輸出，增強(qiáng)模型應(yīng)對(duì)多種數(shù)據(jù)變化模式的能力。深度神經(jīng)網(wǎng)絡(luò)由3層全連接層構(gòu)成，維度與 LSTM模型的神經(jīng)元輸量一樣，使用 Sigmoid函數(shù)作為激活函數(shù)，并使用MLE（極大似然估計(jì)法）作為損失函數(shù)。

最后，模型輸入?yún)?shù)5個(gè)維度，隱藏層100節(jié)點(diǎn)個(gè)數(shù)，循環(huán)50次數(shù)，學(xué)習(xí)率0.001。

工況檢測(cè)模型的訓(xùn)練基于如下假設(shè)：一是利用穩(wěn)態(tài)運(yùn)行數(shù)據(jù)訓(xùn)練的LSTM模型，模型工況檢測(cè)時(shí)，在工況數(shù)據(jù)區(qū)間上給出的預(yù)測(cè)誤差應(yīng)比正常數(shù)據(jù)上的誤差更大，從而可使用平均對(duì)數(shù)誤差對(duì)預(yù)測(cè)誤差進(jìn)行評(píng)估，指導(dǎo)調(diào)整 LSTM輸出結(jié)果；二是模型的預(yù)測(cè)誤差符合高斯分布。

1.2.1 算法步驟

將樣本數(shù)據(jù)分為四組進(jìn)行訓(xùn)練和驗(yàn)證：①訓(xùn)練集N，僅包含正常數(shù)據(jù)；②驗(yàn)證集VN，僅包含正常數(shù)據(jù)；③驗(yàn)證集VA，同時(shí)包含正常與異常數(shù)據(jù)；④測(cè)試集T，同時(shí)包含正常與異常數(shù)據(jù)。

（1）N被用來(lái)訓(xùn)練檢測(cè)模型；

（2）使用驗(yàn)證集VN防止訓(xùn)練早期出現(xiàn)模型的過(guò)擬合；

（3）對(duì)N上的預(yù)測(cè)誤差使用注意力機(jī)制進(jìn)行訓(xùn)練，并使用MLE對(duì)誤差進(jìn)行評(píng)估；

（4）對(duì)檢測(cè)模型的預(yù)測(cè)結(jié)果在VA上再次進(jìn)行訓(xùn)練，并更新注意力機(jī)制的權(quán)重；

（5）根據(jù)模型的輸出結(jié)果設(shè)定非穩(wěn)態(tài)工況閾值，對(duì)輸出進(jìn)行二值化處理；

（6）使用測(cè)試集T估計(jì)模型的效果。

在算法中，使用 Adam優(yōu)化器對(duì)模型超參數(shù)進(jìn)行訓(xùn)練，并根據(jù)模型效果對(duì)訓(xùn)練集的大小與窗口進(jìn)行調(diào)整與優(yōu)化。

1.2.2 MLE估計(jì)非穩(wěn)態(tài)工況得分

假設(shè)時(shí)刻ti非穩(wěn)態(tài)工況得分pi隨重建誤差ei呈高斯分布[19]，即p～N(μ,Σ)利用 MLE 在數(shù)據(jù)集NV1上對(duì)參數(shù)μ,Σ進(jìn)行估計(jì)。MLE參數(shù)估計(jì)步驟如下：

1.2.3 非穩(wěn)態(tài)工況判定

式中：Y——決策值；x——特征值。對(duì)于常見二分類，邏輯回歸通過(guò)一個(gè)區(qū)間分布進(jìn)行劃分，即：如果Y值大于等于0.5，則屬于正樣本，如果Y值小于0.5，則屬于負(fù)樣本。判別函數(shù)如下：

建立模型的目標(biāo)是保證各類工況的檢測(cè)率，同時(shí)盡量篩選出更多的穩(wěn)態(tài)工況數(shù)據(jù)，即在其他工況召回率100%的情況下，盡量提高正常運(yùn)行數(shù)據(jù)的召回率。

1.3 實(shí)驗(yàn)過(guò)程

1.3.1 數(shù)據(jù)準(zhǔn)備

本文使用SL原油管道SCADA系統(tǒng)實(shí)際生產(chǎn)數(shù)據(jù)作為模型訓(xùn)練驗(yàn)證樣本，數(shù)據(jù)點(diǎn)包括各個(gè)站場(chǎng)重點(diǎn)監(jiān)控的變量，包括各站的進(jìn)出站壓力、流量以及主泵匯管的進(jìn)出壓力，管道站場(chǎng)設(shè)置及數(shù)據(jù)采集點(diǎn)如表1所示。各管道數(shù)據(jù)采集自2018年2月至11月，選取記錄兩個(gè)管道操作較少的時(shí)間段：5:00—6:00和19:00—20:00，每次持續(xù)1 h，采樣頻率為1 s，由業(yè)務(wù)人員對(duì)數(shù)據(jù)進(jìn)行梳理，剔除異常值及穩(wěn)態(tài)工況值，提升數(shù)據(jù)的質(zhì)量。

表1 SL原油管道站場(chǎng)參數(shù)及數(shù)據(jù)采集點(diǎn)

1.3.2 數(shù)據(jù)預(yù)處理

由于采集數(shù)據(jù)的分布隨時(shí)間差異較大，首先進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化。具體過(guò)程為，將各變量映射至零均值、單位標(biāo)準(zhǔn)差的分布上，計(jì)算公式如下：

式中：μ和σ取樣本x當(dāng)月及所在晝夜對(duì)應(yīng)樣本集的均值和標(biāo)準(zhǔn)差。通過(guò)此標(biāo)準(zhǔn)化過(guò)程，保證數(shù)據(jù)分布在不同時(shí)間段大體相似。

1.3.3 模型評(píng)價(jià)標(biāo)準(zhǔn)

本文采用Recall（召回率）作為模型性能評(píng)價(jià)指標(biāo)，表示的是樣本中的正例有多少被預(yù)測(cè)正確，即：使用所有樣本數(shù)據(jù)作為分母，檢索到的作為分子，計(jì)算公式如式（20）。利用Accuracy（準(zhǔn)確率）表示預(yù)測(cè)結(jié)果的準(zhǔn)確度，針對(duì)預(yù)測(cè)結(jié)果而言的，表示預(yù)測(cè)為正的樣本中有多少是真正的正樣本，計(jì)算公式如式（21）：

式中：TP——正類預(yù)測(cè)為正類數(shù)目；FP——負(fù)類預(yù)測(cè)為正類數(shù)目；TN——負(fù)類預(yù)測(cè)為負(fù)類數(shù)目；FN——正類預(yù)測(cè)為負(fù)類數(shù)目。使用分析速度作為模型效率評(píng)價(jià)指標(biāo)，反映若模型在部署至真實(shí)環(huán)境下時(shí)所需的系統(tǒng)資源開銷以及可能帶來(lái)的延遲。

2 結(jié)果和討論

2.1 模型測(cè)試分析

使用實(shí)際生產(chǎn)數(shù)據(jù)驗(yàn)證預(yù)測(cè)模型，并與RNN、one-class SVM與IF（孤立森林）等在機(jī)器學(xué)習(xí)領(lǐng)域常用的非穩(wěn)態(tài)工況檢測(cè)模型進(jìn)行對(duì)照實(shí)驗(yàn)。各模型均使用表1的數(shù)據(jù)進(jìn)行訓(xùn)練，選擇使用SL原油管道在2019年6月的生產(chǎn)運(yùn)行數(shù)據(jù)進(jìn)行測(cè)試。測(cè)試結(jié)果如表2所示，其包括下載燃料油、切罐及甩泵等工況數(shù)據(jù)，實(shí)現(xiàn)管道壓力快速劇烈變化和較小變化的捕捉，通過(guò)下載燃料油模擬管道泄漏工況，利用模型將不同工況非穩(wěn)態(tài)的水力特點(diǎn)與正常工況進(jìn)行識(shí)別區(qū)分，實(shí)現(xiàn)壓力的異常檢測(cè)。

表2 模型對(duì)比分析

由表2可知，RNN與one-class SVM兩種模型對(duì)下載燃料油的預(yù)測(cè)誤差較大，切罐和甩泵的準(zhǔn)確率和召回率均較好，說(shuō)明RNN和one-class SVM對(duì)于穩(wěn)態(tài)工況數(shù)據(jù)的學(xué)習(xí)效果較好。但對(duì)于下載燃料油工況這兩種模型的準(zhǔn)確率較低，實(shí)驗(yàn)過(guò)程中嘗試多種窗口和批量大小，仍然無(wú)法改變兩種模型對(duì)下載燃油工況的判斷精度，經(jīng)分析主要原因可能在于下載燃料油的持續(xù)時(shí)間過(guò)長(zhǎng)，以及壓力、流量變化相對(duì)平緩，導(dǎo)致無(wú)法將下載燃料油工況的開始階段與正常運(yùn)行數(shù)據(jù)有效區(qū)分。Isolation Forest對(duì)工況檢測(cè)的檢測(cè)精度最低，無(wú)法實(shí)際應(yīng)用。

相比其他模型，基于注意力機(jī)制的 LSTM模型不僅能夠更好地記憶穩(wěn)態(tài)工況的狀態(tài)與模式，還不受長(zhǎng)時(shí)間工況與復(fù)雜變化的影響，模型對(duì)數(shù)據(jù)的變化狀態(tài)與正常工況進(jìn)行比較和計(jì)算，最終達(dá)到準(zhǔn)確率100%的效果。

2.2 模型實(shí)際應(yīng)用

利用構(gòu)建的工況檢測(cè)模型，識(shí)別SL原油管道甩泵、下載燃料油工況，其工況趨勢(shì)圖和預(yù)測(cè)偏差，如圖5、圖6所示。

圖5 SL管道2#泵站甩泵工況

圖6 SL管道2#泵站下載燃料油工況

由圖5、圖6可知，將基于注意力機(jī)制的LSTM工況檢測(cè)模型用于實(shí)際工況檢測(cè)，通過(guò)設(shè)定實(shí)際值與模型預(yù)測(cè)值的偏差閾值（本實(shí)驗(yàn)的閾值為0.03 MPa），可實(shí)現(xiàn)工況的實(shí)時(shí)準(zhǔn)確檢測(cè)。

3 結(jié)論

根據(jù)原油管道工況發(fā)生后的數(shù)據(jù)特點(diǎn)，提出了利用 LSTM神經(jīng)網(wǎng)絡(luò)對(duì)參數(shù)重建的工況檢測(cè)方法。針對(duì) LSTM神經(jīng)網(wǎng)絡(luò)在輸入信息量大于中間碼時(shí)，導(dǎo)致信息丟失解碼準(zhǔn)確度下降等問(wèn)題，提出了利用注意力機(jī)制提高模型準(zhǔn)確性的方法。使用LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)管道的未來(lái)數(shù)據(jù)，利用注意力機(jī)制調(diào)整模型輸出值，對(duì)預(yù)測(cè)數(shù)據(jù)與實(shí)際數(shù)據(jù)的誤差進(jìn)行MLE評(píng)分，設(shè)定評(píng)分閾值，利用二分法區(qū)分閾值實(shí)現(xiàn)工況的實(shí)時(shí)檢測(cè)，最終研究建立了基于注意力機(jī)制的LSTM工況檢測(cè)模型。

基于注意力機(jī)制的 LSTM網(wǎng)絡(luò)結(jié)構(gòu)既保證了穩(wěn)態(tài)工況的數(shù)據(jù)可以長(zhǎng)時(shí)間不受復(fù)雜變化的影響，同時(shí)還可以有效的對(duì)非穩(wěn)態(tài)工況數(shù)據(jù)進(jìn)行比較計(jì)算，提升預(yù)測(cè)準(zhǔn)確率。

非穩(wěn)態(tài)工況檢測(cè)模型實(shí)現(xiàn)了穩(wěn)態(tài)工況和非穩(wěn)態(tài)工況的有效區(qū)分，模型的準(zhǔn)確應(yīng)用是工況智能識(shí)別的研究前提，其可有效降低工況智能識(shí)別模型的系統(tǒng)資源開銷，提高模型運(yùn)行效率。