基于注意力機(jī)制的LSTM液體管道非穩(wěn)態(tài)工況檢測

于濤，張文煊

（1.國家管網(wǎng)集團(tuán)數(shù)字化部；2.昆侖數(shù)智科技有限責(zé)任公司）

0 引言

長輸液體管道利用SCADA（數(shù)據(jù)采集與監(jiān)視控制）系統(tǒng)實現(xiàn)遠(yuǎn)程調(diào)控運行，運行過程中對異常工況的發(fā)現(xiàn)處置，均由調(diào)控人員根據(jù)設(shè)備狀態(tài)量報警信息及壓力、流量等參數(shù)閾值分析確定。一般而言，液體管道的判斷分析處置時間較短，對調(diào)控人員的業(yè)務(wù)技能、事件應(yīng)急能力、工作狀態(tài)等要求較高；尤其是對于泄漏等工況，若不能及時發(fā)現(xiàn)，將影響后續(xù)工況的識別和應(yīng)急處置，從而危及管道運行安全，嚴(yán)重時可能產(chǎn)生較大的次生災(zāi)害，進(jìn)而造成環(huán)境污染等問題。同時，工況實時檢測是未來管道智能化的前提，只有實時性、準(zhǔn)確性提高后，檢測結(jié)果才可用于后續(xù)管道的工況智能識別和控制。

近年來，隨著管道SCADA系統(tǒng)的推廣應(yīng)用，信息傳送、數(shù)據(jù)收集存儲等方面的完善提升，企業(yè)積累了大量的實際生產(chǎn)數(shù)據(jù)。長輸油氣管道生產(chǎn)數(shù)據(jù)具有工業(yè)大數(shù)據(jù)的“6V”特性［1］，同時具有更強(qiáng)的專業(yè)性、關(guān)聯(lián)性、流程性、時序性和解析性等特點。國內(nèi)外學(xué)者利用數(shù)據(jù)驅(qū)動智能應(yīng)用和控制，實現(xiàn)了工業(yè)設(shè)備監(jiān)測［2］、工況識別［3-4］、參數(shù)預(yù)測等功能［5-6］?？梢姡剿骰跀?shù)據(jù)驅(qū)動的算法模型，研究油氣管道非穩(wěn)態(tài)工況檢測和智能識別是未來管道智能調(diào)控的方向［7-8］。

目前對于油氣管道異常工況的研究多側(cè)重于泄漏工況的識別與特征提?。?-11］。武瑞娟［12］通過實驗?zāi)M傳感光纖主體在輸油溫度和應(yīng)力變化環(huán)境中的監(jiān)測穩(wěn)定性、精度，實現(xiàn)管道泄漏的檢測；陳志剛等人［13］提出基于多元支持向量機(jī)的管道泄漏診斷方法，并建立了識別模型，實現(xiàn)多種工況下對壓力波動信號的分類識別，從而提高泄漏工況識別準(zhǔn)確性。當(dāng)前學(xué)者的研究成果主要針對特定設(shè)備與泄漏等工況，沒有將管道非穩(wěn)態(tài)工況作為整體納入研究，無法應(yīng)用于未來管道工況的智能識別與控制。本文利用 LSTM（長短期記憶網(wǎng)絡(luò)）可學(xué)習(xí)并記憶序列長期信息的優(yōu)點，提出了一種基于注意力機(jī)制的LSTM時間序列預(yù)測的算法，該算法可用于長輸液體管道非穩(wěn)態(tài)工況檢測。

1 理論和方法

1.1 算法原理

1.1.1 LSTM網(wǎng)絡(luò)原理

LSTM是RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）的一種變體，由于其彌補(bǔ)了RNN的梯度消失或爆炸，以及長期記憶不足的問題而被廣泛使用于各個領(lǐng)域［14-16］。每個LSTM單元包括輸入門i(t)，遺忘門f(t)，輸出門o(t)以及兩個神經(jīng)元狀態(tài)c(t)和h(t)。LSTM神經(jīng)元的前向傳播計算過程見式（1）～式（5），其中W和b為相應(yīng)權(quán)重。

在時間序列分析中，深度學(xué)習(xí)通常由多層LSTM單元來實現(xiàn)，即每一層的輸出作為下一層的輸入。循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練通過基于時間的反向傳播算法實現(xiàn)，包括以下幾步：①前向傳播計算神經(jīng)網(wǎng)絡(luò)的輸出；②計算誤差并在深度和時間兩個方向上反向傳播至每個神經(jīng)元；③計算每個權(quán)重的梯度；④根據(jù)梯度更新權(quán)重。求解過程可以由多種梯度最優(yōu)化算法實現(xiàn)，如，隨機(jī)梯度下降 AdaGrad、Adam、RMSProp等。

1.1.2 注意力機(jī)制

針對 LSTM的 Encoder-Decoder（編碼-解碼）框架因中間碼保存的信息量有固定上限，當(dāng)輸入信息量大于中間碼時，導(dǎo)致信息丟失解碼準(zhǔn)確度下降，陶云松等學(xué)者引入注意力機(jī)制用于圖像處理［17］，其本質(zhì)是對感興趣的特征中的每個特征用 softmax函數(shù)打分。通常注意力機(jī)制的輸入是當(dāng)前狀態(tài)h(t)和側(cè)重關(guān)注的f=(f1,f2,···,fn)，輸出是對n個特征的softmax打分s=(s1,s2,···,sn)，在后續(xù)處理中，使用該打分功能進(jìn)行過濾［18］。

增加注意力機(jī)制可看成在單獨的編碼、解碼器框架上，增加了一個單層RNN，輸出數(shù)據(jù)對應(yīng)輸入數(shù)據(jù)的注意力權(quán)重，不僅受輸入數(shù)據(jù)的隱藏層決定，還取決于前一個數(shù)列的隱藏層，通過softmax獲得概率值，如式（6）～式（8）和圖1所示。

圖1 包含注意力機(jī)制的編碼、解碼框架

首先，單獨計算si-1與每個隱層狀態(tài)h一個數(shù)值，再通過softmax獲得i數(shù)據(jù)對應(yīng)的Tx個編碼時隱層狀態(tài)內(nèi)的注意力權(quán)重分配，從而求出ci分配向量權(quán)重。如式（9）～式（11）和圖2所示：

圖2 編碼器解碼器結(jié)構(gòu)圖

1.2 非穩(wěn)態(tài)工況檢測模型架構(gòu)

根據(jù)液體管道SCADA系統(tǒng)數(shù)據(jù)特點，非穩(wěn)態(tài)工況檢測研究架構(gòu)如圖3所示。

圖3 非穩(wěn)態(tài)工況檢測模型結(jié)構(gòu)圖

非穩(wěn)態(tài)工況檢測模型包含兩部分：一是使用一個基于LSTM的時間序列預(yù)測模型學(xué)習(xí)正常數(shù)據(jù)的行為模式，并對未來數(shù)據(jù)給出時間序列預(yù)測；二是通過建立注意力機(jī)制調(diào)整模型輸出值，對預(yù)測數(shù)據(jù)與實際數(shù)據(jù)的誤差進(jìn)行評分，給出是否異常的分類。基于注意力機(jī)制的LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，其具體實施過程如下：

圖4 基于注意力機(jī)制的LSTM網(wǎng)絡(luò)結(jié)構(gòu)

首先，LSTM作為時間序列預(yù)測模型，使用當(dāng)前時間的前一時間點作為輸入值，后一時間點作為輸出值，輸出層的維度與管道的數(shù)據(jù)集特征維度相符。由于模型用于回歸問題的訓(xùn)練，本文使用線性激活函數(shù)，并使用MSE作為損失函數(shù)。

其次，使用深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)注意力機(jī)制，利用注意力機(jī)制調(diào)整模型輸出，增強(qiáng)模型應(yīng)對多種數(shù)據(jù)變化模式的能力。深度神經(jīng)網(wǎng)絡(luò)由3層全連接層構(gòu)成，維度與 LSTM模型的神經(jīng)元輸量一樣，使用 Sigmoid函數(shù)作為激活函數(shù)，并使用MLE（極大似然估計法）作為損失函數(shù)。

最后，模型輸入?yún)?shù)5個維度，隱藏層100節(jié)點個數(shù)，循環(huán)50次數(shù)，學(xué)習(xí)率0.001。

工況檢測模型的訓(xùn)練基于如下假設(shè)：一是利用穩(wěn)態(tài)運行數(shù)據(jù)訓(xùn)練的LSTM模型，模型工況檢測時，在工況數(shù)據(jù)區(qū)間上給出的預(yù)測誤差應(yīng)比正常數(shù)據(jù)上的誤差更大，從而可使用平均對數(shù)誤差對預(yù)測誤差進(jìn)行評估，指導(dǎo)調(diào)整 LSTM輸出結(jié)果；二是模型的預(yù)測誤差符合高斯分布。

1.2.1 算法步驟

將樣本數(shù)據(jù)分為四組進(jìn)行訓(xùn)練和驗證：①訓(xùn)練集N，僅包含正常數(shù)據(jù)；②驗證集VN，僅包含正常數(shù)據(jù)；③驗證集VA，同時包含正常與異常數(shù)據(jù)；④測試集T，同時包含正常與異常數(shù)據(jù)。

（1）N被用來訓(xùn)練檢測模型；

（2）使用驗證集VN防止訓(xùn)練早期出現(xiàn)模型的過擬合；

（3）對N上的預(yù)測誤差使用注意力機(jī)制進(jìn)行訓(xùn)練，并使用MLE對誤差進(jìn)行評估；

（4）對檢測模型的預(yù)測結(jié)果在VA上再次進(jìn)行訓(xùn)練，并更新注意力機(jī)制的權(quán)重；

（5）根據(jù)模型的輸出結(jié)果設(shè)定非穩(wěn)態(tài)工況閾值，對輸出進(jìn)行二值化處理；

（6）使用測試集T估計模型的效果。

在算法中，使用 Adam優(yōu)化器對模型超參數(shù)進(jìn)行訓(xùn)練，并根據(jù)模型效果對訓(xùn)練集的大小與窗口進(jìn)行調(diào)整與優(yōu)化。

1.2.2 MLE估計非穩(wěn)態(tài)工況得分

假設(shè)時刻ti非穩(wěn)態(tài)工況得分pi隨重建誤差ei呈高斯分布［19］，即p～N(μ,Σ)利用MLE在數(shù)據(jù)集NV1上對參數(shù)μ,Σ進(jìn)行估計。MLE參數(shù)估計步驟如下：

（1）假設(shè)異常概率p與重建誤差e呈高斯分布，則時刻ti正常的概率pi如下：

（2）對似然函數(shù)取對數(shù)并求和如下：

（3）對H(μ,Σ)求偏導(dǎo)：

（4）求解獲得參數(shù)數(shù)據(jù)估計值如下：

（5）非穩(wěn)態(tài)工況得分如下：

1.2.3 非穩(wěn)態(tài)工況判定

式中：Y——決策值；x——特征值。對于常見二分類，邏輯回歸通過一個區(qū)間分布進(jìn)行劃分，即：如果Y值大于等于0.5，則屬于正樣本，如果Y值小于0.5，則屬于負(fù)樣本。判別函數(shù)如下：

建立模型的目標(biāo)是保證各類工況的檢測率，同時盡量篩選出更多的穩(wěn)態(tài)工況數(shù)據(jù)，即在其他工況召回率100%的情況下，盡量提高正常運行數(shù)據(jù)的召回率。

1.3 實驗過程

1.3.1 數(shù)據(jù)準(zhǔn)備

本文使用SL原油管道SCADA系統(tǒng)實際生產(chǎn)數(shù)據(jù)作為模型訓(xùn)練驗證樣本，數(shù)據(jù)點包括各個站場重點監(jiān)控的變量，包括各站的進(jìn)出站壓力、流量以及主泵匯管的進(jìn)出壓力，管道站場設(shè)置及數(shù)據(jù)采集點如表1所示。各管道數(shù)據(jù)采集自2018年2月至11月，選取記錄兩個管道操作較少的時間段：5:00—6:00和19:00—20:00，每次持續(xù)1 h，采樣頻率為1 s，由業(yè)務(wù)人員對數(shù)據(jù)進(jìn)行梳理，剔除異常值及穩(wěn)態(tài)工況值，提升數(shù)據(jù)的質(zhì)量。

表1 SL原油管道站場參數(shù)及數(shù)據(jù)采集點

1.3.2 數(shù)據(jù)預(yù)處理

由于采集數(shù)據(jù)的分布隨時間差異較大，首先進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化。具體過程為，將各變量映射至零均值、單位標(biāo)準(zhǔn)差的分布上，計算公式如下：

式中：μ和σ取樣本x當(dāng)月及所在晝夜對應(yīng)樣本集的均值和標(biāo)準(zhǔn)差。通過此標(biāo)準(zhǔn)化過程，保證數(shù)據(jù)分布在不同時間段大體相似。

1.3.3 模型評價標(biāo)準(zhǔn)

本文采用Recall（召回率）作為模型性能評價指標(biāo)，表示的是樣本中的正例有多少被預(yù)測正確，即：使用所有樣本數(shù)據(jù)作為分母，檢索到的作為分子，計算公式如式（20）。利用Accuracy（準(zhǔn)確率）表示預(yù)測結(jié)果的準(zhǔn)確度，針對預(yù)測結(jié)果而言的，表示預(yù)測為正的樣本中有多少是真正的正樣本，計算公式如式（21）：

式中：TP——正類預(yù)測為正類數(shù)目；FP——負(fù)類預(yù)測為正類數(shù)目；TN——負(fù)類預(yù)測為負(fù)類數(shù)目；FN——正類預(yù)測為負(fù)類數(shù)目。使用分析速度作為模型效率評價指標(biāo)，反映若模型在部署至真實環(huán)境下時所需的系統(tǒng)資源開銷以及可能帶來的延遲。

2 結(jié)果和討論

2.1 模型測試分析

使用實際生產(chǎn)數(shù)據(jù)驗證預(yù)測模型，并與RNN、one-class SVM與IF（孤立森林）等在機(jī)器學(xué)習(xí)領(lǐng)域常用的非穩(wěn)態(tài)工況檢測模型進(jìn)行對照實驗。各模型均使用表1的數(shù)據(jù)進(jìn)行訓(xùn)練，選擇使用SL原油管道在2019年6月的生產(chǎn)運行數(shù)據(jù)進(jìn)行測試。測試結(jié)果如表2所示，其包括下載燃料油、切罐及甩泵等工況數(shù)據(jù)，實現(xiàn)管道壓力快速劇烈變化和較小變化的捕捉，通過下載燃料油模擬管道泄漏工況，利用模型將不同工況非穩(wěn)態(tài)的水力特點與正常工況進(jìn)行識別區(qū)分，實現(xiàn)壓力的異常檢測。

表2 模型對比分析

由表2可知，RNN與one-class SVM兩種模型對下載燃料油的預(yù)測誤差較大，切罐和甩泵的準(zhǔn)確率和召回率均較好，說明RNN和one-class SVM對于穩(wěn)態(tài)工況數(shù)據(jù)的學(xué)習(xí)效果較好。但對于下載燃料油工況這兩種模型的準(zhǔn)確率較低，實驗過程中嘗試多種窗口和批量大小，仍然無法改變兩種模型對下載燃油工況的判斷精度，經(jīng)分析主要原因可能在于下載燃料油的持續(xù)時間過長，以及壓力、流量變化相對平緩，導(dǎo)致無法將下載燃料油工況的開始階段與正常運行數(shù)據(jù)有效區(qū)分。Isolation Forest對工況檢測的檢測精度最低，無法實際應(yīng)用。

相比其他模型，基于注意力機(jī)制的 LSTM模型不僅能夠更好地記憶穩(wěn)態(tài)工況的狀態(tài)與模式，還不受長時間工況與復(fù)雜變化的影響，模型對數(shù)據(jù)的變化狀態(tài)與正常工況進(jìn)行比較和計算，最終達(dá)到準(zhǔn)確率100%的效果。

2.2 模型實際應(yīng)用

利用構(gòu)建的工況檢測模型，識別SL原油管道甩泵、下載燃料油工況，其工況趨勢圖和預(yù)測偏差，如圖5、圖6所示。

由圖5、圖6可知，將基于注意力機(jī)制的LSTM工況檢測模型用于實際工況檢測，通過設(shè)定實際值與模型預(yù)測值的偏差閾值（本實驗的閾值為0.03 MPa），可實現(xiàn)工況的實時準(zhǔn)確檢測。

圖5 SL管道2#泵站甩泵工況

圖6 SL管道2#泵站下載燃料油工況

3 結(jié)論

根據(jù)原油管道工況發(fā)生后的數(shù)據(jù)特點，提出了利用LSTM神經(jīng)網(wǎng)絡(luò)對參數(shù)重建的工況檢測方法。針對LSTM神經(jīng)網(wǎng)絡(luò)在輸入信息量大于中間碼時，導(dǎo)致信息丟失解碼準(zhǔn)確度下降等問題，提出了利用注意力機(jī)制提高模型準(zhǔn)確性的方法。使用LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測管道的未來數(shù)據(jù)，利用注意力機(jī)制調(diào)整模型輸出值，對預(yù)測數(shù)據(jù)與實際數(shù)據(jù)的誤差進(jìn)行MLE評分，設(shè)定評分閾值，利用二分法區(qū)分閾值實現(xiàn)工況的實時檢測，最終研究建立了基于注意力機(jī)制的LSTM工況檢測模型。

基于注意力機(jī)制的 LSTM網(wǎng)絡(luò)結(jié)構(gòu)既保證了穩(wěn)態(tài)工況的數(shù)據(jù)可以長時間不受復(fù)雜變化的影響，同時還可以有效的對非穩(wěn)態(tài)工況數(shù)據(jù)進(jìn)行比較計算，提升預(yù)測準(zhǔn)確率。

非穩(wěn)態(tài)工況檢測模型實現(xiàn)了穩(wěn)態(tài)工況和非穩(wěn)態(tài)工況的有效區(qū)分，模型的準(zhǔn)確應(yīng)用是工況智能識別的研究前提，其可有效降低工況智能識別模型的系統(tǒng)資源開銷，提高模型運行效率。