基于大數(shù)據(jù)云平臺(tái)的天然氣運(yùn)營(yíng)管理系統(tǒng)設(shè)計(jì)

許宜菲，梅玉杰，杜石存，梁洪弋，段芳斌

(1.新天綠色能源股份有限公司，河北 石家莊 050000； 2.中科星圖空間技術(shù)有限公司，陜西 西安 710100)

根據(jù)國(guó)家發(fā)改委、能源局發(fā)布的《中長(zhǎng)期油氣管網(wǎng)規(guī)劃》，到2025年全國(guó)油氣管網(wǎng)將從12萬(wàn)km發(fā)展到24萬(wàn)km，倍增式增長(zhǎng)對(duì)管道的安全和運(yùn)營(yíng)效率提出更高的要求。天然氣運(yùn)營(yíng)管理單位由于能源產(chǎn)業(yè)結(jié)構(gòu)升級(jí)、環(huán)保要求提升，管網(wǎng)規(guī)模增大和輸氣量增長(zhǎng)，企業(yè)需要耗費(fèi)大量人力物力用于生產(chǎn)數(shù)據(jù)的維護(hù)和更新，即便是這樣，數(shù)據(jù)準(zhǔn)確性和對(duì)緊急情況下的快速反應(yīng)能力仍然難以保障[1]，如何增值保值、快速、有效地利用這些數(shù)據(jù)，成為亟待需要的新課題，云計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)、移動(dòng)應(yīng)用等技術(shù)的興起，為這一課題的解決提供了技術(shù)資源。

天然氣管道在規(guī)劃、可行性研究、初步設(shè)計(jì)、施工圖設(shè)計(jì)、工程施工、投產(chǎn)、竣工驗(yàn)收、運(yùn)維、變更、報(bào)廢等整個(gè)生命周期中會(huì)產(chǎn)生各類數(shù)據(jù)[2]，這些數(shù)據(jù)具有以下特點(diǎn)：①非結(jié)構(gòu)化數(shù)據(jù)比例大，數(shù)據(jù)來(lái)源廣泛且分散：數(shù)據(jù)有來(lái)源于生產(chǎn)現(xiàn)場(chǎng)工業(yè)控制網(wǎng)絡(luò)的監(jiān)控?cái)?shù)據(jù)，有來(lái)源于現(xiàn)有的信息化系統(tǒng)數(shù)據(jù)，也有來(lái)源于各生產(chǎn)運(yùn)營(yíng)子公司或合作商[3]；②數(shù)據(jù)相關(guān)性強(qiáng)，既存在關(guān)聯(lián)關(guān)系，也存在因果關(guān)系：天然氣大數(shù)據(jù)的產(chǎn)生和應(yīng)用都圍繞管道全生命周期，數(shù)據(jù)之間存在很強(qiáng)的關(guān)聯(lián)性，并且分析準(zhǔn)確性要求高[3]；③時(shí)空序列特性強(qiáng)，信息量大：數(shù)據(jù)來(lái)源于各信息化系統(tǒng)或傳感設(shè)備，具有產(chǎn)生頻率快、信息量大和穩(wěn)定性要求高等特點(diǎn)，需要采用可靠的數(shù)據(jù)采集、高效的數(shù)據(jù)存儲(chǔ)、快速的海量數(shù)據(jù)處理工具進(jìn)行管理[3]；④面向天然氣運(yùn)營(yíng)管理領(lǐng)域，專業(yè)性強(qiáng)：數(shù)據(jù)需要解決面向信息化、智能化的全生命周期、故障檢測(cè)、健康預(yù)測(cè)等深層次分析和應(yīng)用的問(wèn)題[3]。

本設(shè)計(jì)將天然氣管道全生命周期中各類數(shù)據(jù)進(jìn)行統(tǒng)一接入、集成并建立私有云平臺(tái)系統(tǒng)進(jìn)行統(tǒng)一的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)分享、數(shù)據(jù)檢索、數(shù)據(jù)分析、數(shù)據(jù)可視化展示[4]。在建立標(biāo)準(zhǔn)化業(yè)務(wù)規(guī)范和數(shù)字化信息庫(kù)的基礎(chǔ)上，系統(tǒng)以數(shù)據(jù)全面統(tǒng)一、感知交互可視、系統(tǒng)融合互聯(lián)、運(yùn)行智能高效為特征，通過(guò)“端+云+大數(shù)據(jù)”體系架構(gòu)集成管網(wǎng)、場(chǎng)站全生命周期生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)，提供智能分析支持，用信息化手段實(shí)現(xiàn)燃?xì)獍鍓K業(yè)務(wù)的可視化、集成化、智能化，具備全方位感知、綜合性展示、標(biāo)準(zhǔn)化管控的能力。

1 總體設(shè)計(jì)

1.1 架構(gòu)設(shè)計(jì)

需要對(duì)企業(yè)核心數(shù)據(jù)進(jìn)行整合、管理并提供對(duì)外服務(wù)，需要保證引入數(shù)據(jù)的有效性、收益性及可擴(kuò)展性[5]，這就需要對(duì)系統(tǒng)進(jìn)行合理的架構(gòu)設(shè)計(jì)以滿足需求企業(yè)運(yùn)營(yíng)管理需求。本系統(tǒng)整體分為4個(gè)層次，即基礎(chǔ)設(shè)施層、數(shù)據(jù)匯聚傳輸層、數(shù)據(jù)中心層、平臺(tái)應(yīng)用層，總體架構(gòu)如圖1所示。

圖1 系統(tǒng)總體架構(gòu)Fig.1 Overall system architecture

(1)基礎(chǔ)設(shè)施?；A(chǔ)設(shè)施主要包含燃?xì)鈽I(yè)務(wù)板塊下數(shù)據(jù)中心的底層數(shù)據(jù)采集、轉(zhuǎn)發(fā)服務(wù)器及相關(guān)操作系統(tǒng)、網(wǎng)絡(luò)安全通信設(shè)施、通信運(yùn)營(yíng)商專線等，為系統(tǒng)提供平臺(tái)底層基礎(chǔ)設(shè)施和功能保障。

(2)數(shù)據(jù)匯聚傳輸。數(shù)據(jù)匯聚傳輸基于不同的開發(fā)接口協(xié)議，采用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范通過(guò)加密服務(wù)、SSL證書、DDoS防護(hù)、傳輸身份認(rèn)證等安全措施，實(shí)現(xiàn)集成SCADA數(shù)據(jù)、生產(chǎn)經(jīng)營(yíng)計(jì)劃各系統(tǒng)數(shù)據(jù)、服務(wù)資源及第三方數(shù)據(jù)的準(zhǔn)確采集及安全轉(zhuǎn)發(fā)。數(shù)據(jù)匯聚傳輸形式可以是公司各信息化系統(tǒng)的數(shù)據(jù)庫(kù)，可以是各單位上報(bào)的報(bào)表，也可以是手工導(dǎo)入系統(tǒng)的公司歷史檔案數(shù)據(jù)?？傊?，凡是在公司生產(chǎn)經(jīng)營(yíng)計(jì)劃管理中產(chǎn)生的數(shù)據(jù)，均能夠成為數(shù)據(jù)匯聚的組成部分。

(3)數(shù)據(jù)中心。在軟硬件基礎(chǔ)之上，構(gòu)建天然氣大數(shù)據(jù)云存儲(chǔ)與應(yīng)用服務(wù)中心，提供大數(shù)據(jù)下的對(duì)象存儲(chǔ)、文件存儲(chǔ)，采用時(shí)空組織框架提供大數(shù)據(jù)展示與智能分析服務(wù)，為各類綜合應(yīng)用提供平臺(tái)服務(wù)插件、功能服務(wù)插件、數(shù)據(jù)服務(wù)插件、接口開發(fā)插件、可視化展示插件、應(yīng)用插件和二次開發(fā)工具，實(shí)現(xiàn)數(shù)據(jù)資源各核心業(yè)務(wù)數(shù)據(jù)集中管理，固化統(tǒng)一數(shù)據(jù)管理流程。數(shù)據(jù)中心通過(guò)企業(yè)服務(wù)總線(ESB)、主數(shù)據(jù)庫(kù)、主數(shù)據(jù)管理平臺(tái)的建設(shè)，實(shí)現(xiàn)多個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)統(tǒng)一共享，集中對(duì)核心業(yè)務(wù)數(shù)據(jù)進(jìn)行清洗、脫敏等管理，最終以服務(wù)的形式把統(tǒng)一的、完整的、準(zhǔn)確的數(shù)據(jù)分發(fā)給其他需要使用這些數(shù)據(jù)的業(yè)務(wù)系統(tǒng)。

(4)平臺(tái)應(yīng)用。平臺(tái)應(yīng)用包括：場(chǎng)站SCADA實(shí)時(shí)監(jiān)控展示、場(chǎng)站生產(chǎn)工藝流程組態(tài)展示、管網(wǎng)仿真數(shù)據(jù)可視化展示、氣源/用戶資源目錄展示、綜合報(bào)表展示、信息查詢定位、GIS可視化展示、生產(chǎn)經(jīng)營(yíng)計(jì)劃指標(biāo)體系展示、指標(biāo)趨勢(shì)對(duì)比分析、場(chǎng)站二三維展示、數(shù)據(jù)挖掘二次開發(fā)、數(shù)據(jù)接口開發(fā)等功能，提供面向精益化管理決策，精準(zhǔn)運(yùn)營(yíng)以及合作伙伴的各種智能化應(yīng)用[5]。

1.2 拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)

天然氣運(yùn)營(yíng)管理系統(tǒng)需要接入生產(chǎn)運(yùn)行、三維模型、地理信息等數(shù)據(jù)，需要向其他第三方系統(tǒng)提供數(shù)據(jù)，系統(tǒng)制定了標(biāo)準(zhǔn)化數(shù)據(jù)方案和數(shù)據(jù)管理權(quán)限，設(shè)計(jì)了統(tǒng)一的數(shù)據(jù)訪問(wèn)接口，可根據(jù)不同的需求提供生產(chǎn)運(yùn)行、三維模型、地理信息等數(shù)據(jù)，保證有效范圍內(nèi)數(shù)據(jù)的安全接入。同時(shí)規(guī)范了數(shù)據(jù)轉(zhuǎn)發(fā)、接入?yún)^(qū)域，用于接收和獲取天然氣廠商的運(yùn)營(yíng)管理數(shù)據(jù)。數(shù)據(jù)通過(guò)聯(lián)通專線接入運(yùn)營(yíng)系統(tǒng)中，具體網(wǎng)絡(luò)拓?fù)淙鐖D2所示。

圖2 系統(tǒng)拓?fù)銯ig.2 System topology

1.3 數(shù)據(jù)接口設(shè)計(jì)

系統(tǒng)從邏輯功能上可以抽象為數(shù)據(jù)采集、數(shù)據(jù)引接存儲(chǔ)、數(shù)據(jù)管理和數(shù)據(jù)展示3個(gè)部分。數(shù)據(jù)管理部分通過(guò)數(shù)據(jù)服務(wù)接口，向云平臺(tái)寫入或更新基礎(chǔ)空間信息數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)部分向數(shù)據(jù)管理部分發(fā)送基礎(chǔ)數(shù)據(jù)，數(shù)據(jù)展示部分向數(shù)據(jù)管理部分請(qǐng)求數(shù)據(jù)，云平臺(tái)保持?jǐn)?shù)據(jù)庫(kù)與其他數(shù)據(jù)庫(kù)之間消息與數(shù)據(jù)的同步，并通過(guò)地圖服務(wù)接口，為數(shù)據(jù)管理提供地圖服務(wù)。具體如圖3所示。

圖3 接口設(shè)計(jì)Fig.3 Interface design

1.4 功能設(shè)計(jì)

天然氣運(yùn)營(yíng)管理系統(tǒng)主要包含大數(shù)據(jù)云平臺(tái)、智慧綜合信息展示系統(tǒng)、協(xié)同管理駕駛艙建設(shè)等3部分內(nèi)容。

(1)大數(shù)據(jù)云平臺(tái)。大數(shù)據(jù)云平臺(tái)的核心與基礎(chǔ)，可引接物聯(lián)網(wǎng)平臺(tái)采集的各類型結(jié)構(gòu)化、半結(jié)構(gòu)化的海量數(shù)據(jù)，平臺(tái)采用分布式高速可靠數(shù)據(jù)采集、

高速數(shù)據(jù)全映像等大數(shù)據(jù)技術(shù)，采用高數(shù)據(jù)解析、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術(shù)[6]。平臺(tái)滿足運(yùn)營(yíng)單位未來(lái)數(shù)據(jù)擴(kuò)展與應(yīng)用，建立起基礎(chǔ)支撐平臺(tái)，具體的組成結(jié)構(gòu)圖如圖4所示。

圖4 大數(shù)據(jù)云平臺(tái)組成結(jié)構(gòu)Fig.4 Composition diagram of big data cloud platform

大數(shù)據(jù)云平臺(tái)實(shí)現(xiàn)對(duì)數(shù)據(jù)的引接、治理、存儲(chǔ)、計(jì)算和分析，平臺(tái)按照滿足天然氣未來(lái)5年業(yè)務(wù)發(fā)展的需求設(shè)計(jì)，同時(shí)滿足大數(shù)據(jù)快速存儲(chǔ)及分析需求。①數(shù)據(jù)引接。要求單機(jī)吞吐高，數(shù)據(jù)記錄不丟、不重，在單點(diǎn)故障發(fā)生的情況下，不影響數(shù)據(jù)的持續(xù)接入。同時(shí)要求數(shù)據(jù)質(zhì)量治理在采集和接收“前端”完成，數(shù)據(jù)接收過(guò)程中逐條核查時(shí)序數(shù)據(jù)的質(zhì)量，避免“垃圾進(jìn)—垃圾出”。 ②數(shù)據(jù)治理。數(shù)據(jù)治理實(shí)現(xiàn)對(duì)接入的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、數(shù)據(jù)過(guò)濾清洗、數(shù)據(jù)效驗(yàn)核對(duì)等功能。③數(shù)據(jù)管理。數(shù)據(jù)管理主要包含數(shù)據(jù)瀏覽、數(shù)據(jù)標(biāo)準(zhǔn)化、生命周期管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理等功能。數(shù)據(jù)瀏覽提供圖形化的數(shù)據(jù)瀏覽展示，將總體的表數(shù)量及各子系統(tǒng)的數(shù)據(jù)量以圖表的形式直觀地展示出來(lái)；系統(tǒng)提供數(shù)據(jù)全生命周期的流動(dòng)管理(包括從數(shù)據(jù)到數(shù)據(jù)過(guò)時(shí)被刪除)；數(shù)據(jù)質(zhì)量管理實(shí)現(xiàn)對(duì)數(shù)據(jù)從計(jì)劃、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用、失效全生命周期里可能引發(fā)的各類質(zhì)量問(wèn)題進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警，采集到數(shù)據(jù)中心的各類數(shù)據(jù)經(jīng)過(guò)質(zhì)量管理、標(biāo)準(zhǔn)化處理后，方可流入業(yè)務(wù)模型中。④數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)存儲(chǔ)建立并存儲(chǔ)通過(guò)關(guān)聯(lián)規(guī)則和序列模式挖掘基于時(shí)間、空間、屬性和事件的多維關(guān)聯(lián)關(guān)系，實(shí)現(xiàn)數(shù)據(jù)資源管理、塑化劑更新管理、歷史數(shù)據(jù)數(shù)據(jù)管理及數(shù)據(jù)傳輸管理。⑤數(shù)據(jù)計(jì)算?；趯?shí)時(shí)接入能力和服務(wù)能力擴(kuò)展的需要，在萬(wàn)兆網(wǎng)絡(luò)、使用雙副本的條件下，對(duì)于高效模式單臺(tái)數(shù)據(jù)總線服務(wù)器支持的業(yè)務(wù)數(shù)據(jù)加載速度不低于300 Mb/s，可以線性擴(kuò)展。對(duì)于可靠模式支持的業(yè)務(wù)數(shù)據(jù)加載速度不低于20 Mb/s，可以線性擴(kuò)展。高效模式下數(shù)據(jù)允許有萬(wàn)分之一以內(nèi)的丟失?？煽磕Ｊ较录虞d數(shù)據(jù)要求與輸入數(shù)據(jù)一致。單集群支持的數(shù)據(jù)總線服務(wù)器總數(shù)不少于100臺(tái)。數(shù)據(jù)從輸入到訂閱者能夠訂閱到時(shí)延不高于1 s。⑥資產(chǎn)分析。資產(chǎn)分析通過(guò)圖、表等可視化的方式，直觀的對(duì)資產(chǎn)大數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。⑦安全管理。采用防火墻、防病毒軟件等保護(hù)工具，利用磁盤的RAID機(jī)制、容災(zāi)備份、軟件服務(wù)主備自動(dòng)切換、數(shù)據(jù)可備份與恢復(fù)、數(shù)據(jù)加密、數(shù)據(jù)脫敏等安全措施預(yù)防和解決系統(tǒng)或應(yīng)用程序在使用過(guò)程中出現(xiàn)計(jì)算、傳輸數(shù)據(jù)泄漏或數(shù)據(jù)失竊等問(wèn)題。⑧平臺(tái)管理。平臺(tái)管理是天然氣運(yùn)營(yíng)管理系統(tǒng)的運(yùn)行管家，包括資源管理、業(yè)務(wù)監(jiān)控、平臺(tái)監(jiān)控、平臺(tái)用戶管理、權(quán)限管理、配置管理、日志管理等。

(2)智慧綜合信息展示系統(tǒng)。智慧綜合信息展示在大數(shù)據(jù)云平臺(tái)服務(wù)基礎(chǔ)上，形成以二維、三維綜合展示能力為主的信息顯示。系統(tǒng)需要具備良好的擴(kuò)展能力和靈活部署能力，可以滿足不同用戶對(duì)天然氣生產(chǎn)運(yùn)營(yíng)的監(jiān)視需求。智慧綜合信息展示系統(tǒng)功能結(jié)構(gòu)如圖5所示。智慧綜合信息展示系統(tǒng)分大屏展示和PC端展示，大屏展示主視圖采用GIS二三維可視化展示手段，結(jié)合高分辨率衛(wèi)星影像數(shù)據(jù)、管網(wǎng)空間地理數(shù)據(jù)、生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)、SCADA歷史數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、在線仿真數(shù)據(jù)、仿真預(yù)測(cè)數(shù)據(jù)、管道巡檢數(shù)據(jù)、設(shè)備完好率數(shù)據(jù)，通過(guò)多維度的監(jiān)控，直觀顯示用戶關(guān)注的所有重要數(shù)據(jù)，實(shí)現(xiàn)對(duì)管網(wǎng)的溫度、壓力、流量、管存量等燃?xì)獯髷?shù)據(jù)的綜合展示與監(jiān)控，使調(diào)度員快速掌握管網(wǎng)過(guò)去、現(xiàn)在、未來(lái)的運(yùn)行情況。

圖5 綜合信息展示功能結(jié)構(gòu)Fig.5 Composition diagram of integrated information presentation

(3)協(xié)同管理駕駛艙建設(shè)。協(xié)同管理駕駛艙作為本系統(tǒng)的頂層設(shè)計(jì)，滿足管理生產(chǎn)、經(jīng)營(yíng)的建設(shè)需求，是推倒產(chǎn)生“信息孤島”的部門墻，搭接貫通“信息群島”的業(yè)務(wù)橋[7]。云平臺(tái)系統(tǒng)單獨(dú)開發(fā)數(shù)據(jù)接口為其提供需求數(shù)據(jù)，并保證數(shù)據(jù)傳輸準(zhǔn)確性、完整性、及時(shí)性。為滿足數(shù)據(jù)與管理駕駛艙的共享和交換，建立統(tǒng)一的數(shù)據(jù)交換平臺(tái)，統(tǒng)一協(xié)議，統(tǒng)一接口對(duì)外提供數(shù)據(jù)交換。主要是建設(shè)統(tǒng)一接口的數(shù)據(jù)交換服務(wù)平臺(tái)，包含基本數(shù)據(jù)和GIS數(shù)據(jù)以及其他數(shù)據(jù)。①建設(shè)統(tǒng)一接口數(shù)據(jù)交換服務(wù)，以燃?xì)饣灸K數(shù)據(jù)為基準(zhǔn)，統(tǒng)一接口服務(wù)的協(xié)議和標(biāo)準(zhǔn)，數(shù)據(jù)協(xié)議采用http協(xié)議，報(bào)文交換采用JSON格式。②建設(shè)統(tǒng)一接口數(shù)據(jù)交換服務(wù)，GIS數(shù)據(jù)根據(jù)項(xiàng)目需要可通過(guò)統(tǒng)一服務(wù)和矢量數(shù)據(jù)的形式統(tǒng)一對(duì)外提供。③建設(shè)統(tǒng)一接口數(shù)據(jù)交換服務(wù)，其他數(shù)據(jù)(三維模型)可根據(jù)與其他廠商協(xié)調(diào)溝通的方式統(tǒng)一轉(zhuǎn)化和處理[8]。

3 結(jié)語(yǔ)

天然氣運(yùn)營(yíng)管理系統(tǒng)以大數(shù)據(jù)云平臺(tái)為中心，通過(guò)多維度，多角度對(duì)天然氣管道全生命周期中的各類生產(chǎn)經(jīng)營(yíng)、仿真、SCADA等數(shù)據(jù)進(jìn)行挖掘、分析、統(tǒng)計(jì)，結(jié)合三維GIS地理信息手段、站場(chǎng)、閥室二三維模型進(jìn)行展示，打通了應(yīng)用系統(tǒng)的信息孤島模式，滿足了企業(yè)對(duì)燃?xì)獍鍓K的數(shù)據(jù)接入要求，提高了企業(yè)對(duì)不同設(shè)備收集的海量信息進(jìn)行梳理的能力，提升了企業(yè)信息系統(tǒng)的計(jì)算能力和數(shù)據(jù)消化能力，實(shí)現(xiàn)了對(duì)天然氣運(yùn)營(yíng)數(shù)據(jù)的實(shí)時(shí)而有針對(duì)性的分析，對(duì)企業(yè)的研發(fā)、運(yùn)營(yíng)和管理方式進(jìn)行智能化創(chuàng)新，實(shí)現(xiàn)了信息流、知識(shí)流、服務(wù)流的高度集成與融合，使得企業(yè)持續(xù)創(chuàng)新，并不斷開發(fā)新業(yè)務(wù)、新服務(wù)。