探討天然氣管網(wǎng)大數(shù)據(jù)分析方法及發(fā)展建議

王興軍 王瑞林

河北省任丘市華北油田華港燃氣集團有限公司 河北 任丘 062552

1 天然氣管網(wǎng)大數(shù)據(jù)概述

1.1 天然氣管網(wǎng)大數(shù)據(jù)的內(nèi)涵

在長期運行過程中，天然氣管網(wǎng)積累了大量的運行數(shù)據(jù)與管理數(shù)據(jù)，例如故障數(shù)據(jù)、歷史負荷數(shù)據(jù)、性能監(jiān)測數(shù)據(jù)等，需利用大數(shù)據(jù)分析技術(shù)開展數(shù)據(jù)采集與處理等工作，加強管網(wǎng)建設(shè)[1]。

1.2 天然氣管網(wǎng)大數(shù)據(jù)的特點

（1）數(shù)據(jù)量大。首先，天然氣管網(wǎng)的SCADA 系統(tǒng)、智能視頻監(jiān)控系統(tǒng)與設(shè)備運行監(jiān)測系統(tǒng)等系統(tǒng)在運行過程中會產(chǎn)生和積累大量的運行數(shù)據(jù)。其次，天然氣管網(wǎng)的運行管理會受到市場供需、環(huán)境以及天氣等各個方面因素的影響應(yīng)收集外部數(shù)據(jù)，為運行管理提供關(guān)鍵依據(jù)。

（2）采集速度跨度大。天然氣管網(wǎng)具有多種不同類型的傳感器與業(yè)務(wù)場景，且數(shù)據(jù)采集覆蓋管網(wǎng)的各個階段，毫秒級數(shù)據(jù)、日常檢修記錄等都需要采集，數(shù)據(jù)類型不同，具有不同的實效性，對相應(yīng)速度也有不同要求。

（3）類型多樣。天然氣管網(wǎng)的數(shù)據(jù)來自多個環(huán)節(jié)與部門的數(shù)據(jù)系統(tǒng)，例如調(diào)度運行、市場營銷等環(huán)節(jié)以及管道生產(chǎn)管理系統(tǒng)、SCADA 系統(tǒng)等。同時，天然氣管網(wǎng)的數(shù)據(jù)類型較多，其中常見類型有結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化等類型。非結(jié)構(gòu)化數(shù)據(jù)即圖像、視頻等，半結(jié)構(gòu)化數(shù)據(jù)有地質(zhì)與氣象等信息數(shù)據(jù)，這些數(shù)據(jù)不斷增加，導(dǎo)致分析工作愈加困難。

（4）價值密度差異大。天然氣管網(wǎng)的數(shù)據(jù)類型多樣，其信息含量與價值密度也不同。

（5）數(shù)據(jù)具有較強的關(guān)聯(lián)性、時序性與復(fù)雜性。天然氣管道的可靠性決定于設(shè)備、環(huán)境等狀態(tài)，所以數(shù)據(jù)具有關(guān)聯(lián)性；天然氣管網(wǎng)的運行工藝是環(huán)環(huán)相扣的，所以運行數(shù)據(jù)的時序性較強；天然氣管網(wǎng)的運行管理覆蓋了多個平臺，業(yè)務(wù)場景十分復(fù)雜，數(shù)據(jù)的復(fù)雜性也較強。

2 天然氣管網(wǎng)大數(shù)據(jù)分析方法

近年來，我國不斷研究天然氣管道數(shù)字化，積累了數(shù)據(jù)處理的經(jīng)驗。因此中石油、中石化等企業(yè)以管道智慧化發(fā)展為目標(biāo)進行了天然氣管網(wǎng)大數(shù)據(jù)分析基本邏輯與思路的探索（圖1），也明確了大數(shù)據(jù)分析方法（圖2）。

圖1 天然氣管網(wǎng)大數(shù)據(jù)分析的基本邏輯

2.1 數(shù)據(jù)處理方法

當(dāng)前，在處理天然氣管網(wǎng)數(shù)據(jù)時出現(xiàn)了諸多問題，需明確問題并解決。第一，管網(wǎng)運行數(shù)據(jù)可能會丟失或重復(fù)。第二，管網(wǎng)數(shù)據(jù)會出現(xiàn)噪聲。第三，管網(wǎng)數(shù)據(jù)具有多源異構(gòu)的特點。第四，天然氣管網(wǎng)中的傳感器較多，數(shù)據(jù)間的非線性關(guān)系較為復(fù)雜，需要通過降維處理解決信息冗余等問題。為了解決這些問題，應(yīng)當(dāng)深入研究數(shù)據(jù)清洗、特征篩選與特征重構(gòu)等方法。

（1）數(shù)據(jù)清洗。數(shù)據(jù)清洗是解決數(shù)據(jù)處理問題的關(guān)鍵手段，其準備工作是利用數(shù)據(jù)解析以及一致性驗證等不同的方法檢測數(shù)據(jù)，從而發(fā)現(xiàn)數(shù)據(jù)當(dāng)中的問題，例如值域格式錯誤、語法錯誤等。之后，需要通過相關(guān)統(tǒng)計方法與數(shù)據(jù)轉(zhuǎn)換方法進行異常數(shù)據(jù)的修正與剔除。天然氣管道的生產(chǎn)數(shù)據(jù)是以時間序列為主的，常出現(xiàn)的數(shù)據(jù)異常情況包括傳感器故障等因素造成的數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)等，需要通過插值、統(tǒng)計分析以及聚類等方法進行異常數(shù)據(jù)的檢測與糾正[2]。同時，若數(shù)據(jù)噪聲影響到了分析結(jié)果，需要利用小波分解、濾波等方法消除噪聲。

（2）數(shù)據(jù)特征篩選。一般情況下，數(shù)據(jù)處理人員都會直接將數(shù)據(jù)特征輸入數(shù)據(jù)分析模型當(dāng)中，模型雖然可以處理這些問題，但是會加大計算量，降低運行效率，且過多的數(shù)據(jù)特征也會導(dǎo)致模型專注學(xué)習(xí)數(shù)據(jù)當(dāng)中的偽規(guī)律，降低分析結(jié)果的準確性。這一問題需通過數(shù)據(jù)特征篩選解決，即從天然氣管網(wǎng)數(shù)據(jù)特征集合當(dāng)中篩選出具有代表性的數(shù)據(jù)特征子集，減小分析模型的計算量，提高運行效率，且通過篩選不會改變數(shù)據(jù)特征的表現(xiàn)形式。

（3）數(shù)據(jù)特征重構(gòu)。數(shù)據(jù)處理人員會以數(shù)據(jù)- 任務(wù)映射關(guān)系為基礎(chǔ)選擇天然氣管網(wǎng)數(shù)據(jù)特征。但是，由于數(shù)據(jù)分析具有復(fù)雜的分析場景，若情況復(fù)雜，便無法明確數(shù)據(jù)與任務(wù)之間的映射關(guān)系，便無法有效選擇數(shù)據(jù)特征。為此，需要進行數(shù)據(jù)特征重構(gòu)。重構(gòu)數(shù)據(jù)特征即在保證原始數(shù)據(jù)不發(fā)生改變的基礎(chǔ)上，通過有效措施將原始數(shù)據(jù)轉(zhuǎn)變?yōu)樾碌臄?shù)據(jù)特征。常用的轉(zhuǎn)換方法為無監(jiān)督學(xué)習(xí)，例如成分分析等，可為數(shù)據(jù)特征的降維處理提供幫助。但是這種方法比較適用于線性數(shù)據(jù)特征重構(gòu)，對于非線性數(shù)據(jù)特征重構(gòu)來說，需要應(yīng)用多層神經(jīng)網(wǎng)絡(luò)的無監(jiān)督學(xué)習(xí)方法，例如深度自編碼器模型。

2.2 數(shù)據(jù)挖掘

在天然氣管網(wǎng)大數(shù)據(jù)分析中，數(shù)據(jù)挖掘占據(jù)著重要地位，進行數(shù)據(jù)挖掘是利用數(shù)據(jù)分析模型與算法在海量數(shù)據(jù)中選取有效數(shù)據(jù)。從智慧管網(wǎng)的實際需求來看，需要通過預(yù)測預(yù)警、模式識別等手段挖掘數(shù)據(jù)。

（1）預(yù)測預(yù)警。智慧管網(wǎng)有兩大功能的實現(xiàn)難度較大，即預(yù)測預(yù)警可控與綜合性預(yù)判，只有利用預(yù)測預(yù)警才能夠?qū)崿F(xiàn)這兩個功能。管網(wǎng)中的預(yù)測預(yù)警方法包括兩種類型，一是預(yù)測天然氣管網(wǎng)運行壓力流量、用戶需求等方面參數(shù)的方法，二是預(yù)測管網(wǎng)運行異常的方法。

（2）模式識別，有利于實現(xiàn)智慧管網(wǎng)的全方位感知。天然氣管網(wǎng)中的數(shù)據(jù)模式識別方法有模式挖掘與模式區(qū)分。挖掘模式的依據(jù)有先驗知識與數(shù)據(jù)關(guān)系。若想明確天然氣管網(wǎng)數(shù)據(jù)的模式就需要明確表征數(shù)據(jù)與量化數(shù)據(jù)之間的屬性差異，完整這一項任務(wù)后需要進行模式區(qū)分，繼而形成聚類方法。有很多常用的聚類方法，例如距離聚類、層次與密度聚類等，不同聚類方法的應(yīng)用場景與適用的數(shù)據(jù)類型不同。其中距離聚類方法的應(yīng)用范圍最為廣泛，可以通過距離判斷數(shù)據(jù)對象間的相似度。假設(shè)兩個數(shù)據(jù)對象分別為a 和b，兩者之間的相似度為Sim（a,b），兩者之間的距離為d（a,b），可以通過Sim（a,b）=1/［1+d（a,b）］這一公式得到兩者之間的相似度。

（3）模式區(qū)分。模式挖掘可以解決數(shù)據(jù)認識問題，而模式區(qū)分可以解決數(shù)據(jù)識別問題。模式挖掘即判斷數(shù)據(jù)對象的所屬模式，常用的模式區(qū)分方法包括判別式與生成式這兩種類型。判別式區(qū)分方法主要是通過學(xué)習(xí)歷史數(shù)據(jù)，在特征與模式類別之間構(gòu)建相應(yīng)聯(lián)系，繼而建模。生成式區(qū)分方法是根據(jù)大量數(shù)據(jù)的特點進行分布學(xué)習(xí)，算出給定特征條件下不同類別出現(xiàn)的概率分布情況。

2.3 數(shù)據(jù)分析與決策

天然氣管網(wǎng)的子系統(tǒng)較多，所以其決策場景較為復(fù)雜，涉及諸多數(shù)據(jù)，而多元化數(shù)據(jù)之間存在人為阻隔或天然壁壘，阻礙了智慧管網(wǎng)的發(fā)展。只有突破這些壁壘才能夠為智能決策奠定基礎(chǔ)，常用的方法有多源異構(gòu)數(shù)據(jù)的綜合分析方法、跨部門數(shù)據(jù)的協(xié)同分析方法。

（1）多源異構(gòu)數(shù)據(jù)的綜合分析方法。天然氣管網(wǎng)的數(shù)據(jù)類型較多，具有多源異構(gòu)的特點，加大了數(shù)據(jù)應(yīng)用的難度。需要通過多種手段發(fā)展天然氣管網(wǎng)多源異構(gòu)數(shù)據(jù)的多模態(tài)學(xué)習(xí)方法，從而解決數(shù)據(jù)分析問題。首先，需要發(fā)展管網(wǎng)數(shù)據(jù)的多模態(tài)表示學(xué)習(xí)。對于結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)表示學(xué)習(xí)可以將原始信息轉(zhuǎn)變?yōu)橛嬎銠C可處理的數(shù)值向量，主要是將結(jié)構(gòu)性數(shù)據(jù)映射到統(tǒng)一表示空間當(dāng)中或者將不同模態(tài)的信息映射到各自滿足統(tǒng)一約束的表示空間[3]。其次，需要發(fā)展管網(wǎng)數(shù)據(jù)的多模態(tài)融合學(xué)習(xí)。多模態(tài)融合學(xué)習(xí)可以整合多個模態(tài)的信息，從而提高分析與決策質(zhì)量。

（2）跨部門數(shù)據(jù)的協(xié)同分析方法。人為壁壘也是數(shù)據(jù)間的主要壁壘，需要通過有效手段打破這些壁壘，進行跨部門數(shù)據(jù)的協(xié)同分析。近年來，醫(yī)療、金融業(yè)等多個領(lǐng)域都深入研究了人為壁壘這一問題，掌握了邊緣計算、加密算法等解決方法，其中企業(yè)對企業(yè)的數(shù)據(jù)可以稱為B2B 模式，企業(yè)對客戶的數(shù)據(jù)屬于B2C 模式。在天然氣管網(wǎng)建設(shè)中，管道企業(yè)與政府之間的數(shù)據(jù)屬于B2B 模式，管道運營部門利用個體用戶的消費數(shù)據(jù)與員工的移動設(shè)備數(shù)據(jù)屬于B2C 模式。在B2B 模式中，可以利用縱向聯(lián)邦學(xué)習(xí)架構(gòu)進行數(shù)據(jù)分析模型的構(gòu)建，而在B2C 模式中可以利用面向隱私保護的分布式加密機器學(xué)習(xí)方法構(gòu)建個體隱私數(shù)據(jù)的模型。

3 天然氣管網(wǎng)大數(shù)據(jù)分析發(fā)展建議

大數(shù)據(jù)分析在天然氣管網(wǎng)運行管理中發(fā)揮著重要作用，但是從實際情況來看，天然氣管網(wǎng)大數(shù)據(jù)分析方法在發(fā)展過程中仍存在一些問題。

（1）需完善天然氣管網(wǎng)的大數(shù)據(jù)應(yīng)用環(huán)境。首先，天然氣管網(wǎng)數(shù)據(jù)的分析場景復(fù)雜，且具有多源異構(gòu)的特點，數(shù)據(jù)分析會跨越多個學(xué)科與領(lǐng)域，只通過幾個簡單的框架與技術(shù)無法完成這項工作。同時，天然氣管網(wǎng)大數(shù)據(jù)分析發(fā)展需要很多專家根據(jù)業(yè)務(wù)場景進行數(shù)據(jù)分析軟件的開發(fā)，從而形成完善的天然氣管網(wǎng)大數(shù)據(jù)分析技術(shù)體系。其次，需要完善大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)，為數(shù)據(jù)采集等提供支持，繼而提高數(shù)據(jù)維度與質(zhì)量。與此同時，應(yīng)當(dāng)完善與世界接軌的傳感器接口、各方面技術(shù)標(biāo)準，優(yōu)化軟件研發(fā)環(huán)境，增強算法兼容性。

（2）需深入研究天然氣管網(wǎng)大數(shù)據(jù)分析的核心算法。當(dāng)前，互聯(lián)網(wǎng)領(lǐng)域中的大數(shù)據(jù)分析方法在計算機視覺、推薦系統(tǒng)、自然語言處理等方面較為完善，但是天然氣管網(wǎng)在數(shù)據(jù)運行管理、分析以及決策等各方面的需求與互聯(lián)網(wǎng)領(lǐng)域的數(shù)據(jù)分析需求不同。且天然氣管網(wǎng)內(nèi)部中有多個部門，不同部門采用的數(shù)據(jù)分析方法不同。這就要求相關(guān)人員研究適用天然氣管網(wǎng)系統(tǒng)特點以及業(yè)務(wù)邏輯的數(shù)據(jù)分析方法。在數(shù)據(jù)驅(qū)動機制的“黑箱”特質(zhì)這一因素的限制下，主流機器學(xué)習(xí)模型的輸出結(jié)果可能會出現(xiàn)較大的誤差，甚至?xí)?dǎo)致分析結(jié)果不符合常識，若盲目應(yīng)用不合適的數(shù)據(jù)分析方法可能會加大安全隱患。為此，在解決天然氣管網(wǎng)運行管理、分析評價等方面的問題時，需要深入研究人工智能算法并發(fā)展管網(wǎng)大數(shù)據(jù)分析方法體系。

4 結(jié)語

大數(shù)據(jù)分析在智慧管網(wǎng)中處于核心地位，需加強重視，并不斷完善大數(shù)據(jù)基礎(chǔ)設(shè)施，從而為數(shù)據(jù)采集、傳輸、存儲、計算等各個方面奠定基礎(chǔ)，并根據(jù)實際情況發(fā)展適用天然氣管網(wǎng)系統(tǒng)特性的數(shù)據(jù)分析方法，提高管網(wǎng)智能化水平。