基于大數(shù)據(jù)技術(shù)的油庫(kù)生產(chǎn)遠(yuǎn)程監(jiān)控系統(tǒng)設(shè)計(jì)

徐敬波,李天峰,張錫年

(中國(guó)石油西北銷售公司，甘肅 蘭州 730070)

0 引言

成品油庫(kù)的高效安全生產(chǎn)是保障區(qū)域成品油產(chǎn)銷穩(wěn)定的重要因素。運(yùn)用先進(jìn)的信息化技術(shù)、自動(dòng)化技術(shù)、網(wǎng)絡(luò)化以及數(shù)據(jù)處理技術(shù)，構(gòu)建高效、實(shí)時(shí)的油庫(kù)生產(chǎn)監(jiān)控系統(tǒng)，是降低安全生產(chǎn)風(fēng)險(xiǎn)、提升生產(chǎn)效率效益的必然舉措。目前，我國(guó)煉化、礦山、制造、化工等行業(yè)主要利用生產(chǎn)制造執(zhí)行系統(tǒng)(manufacturing execution system，MES)[1-2]對(duì)生產(chǎn)過(guò)程進(jìn)行實(shí)時(shí)監(jiān)控和預(yù)警。MES受規(guī)模、功能和部署要求等限制，難以完全滿足異地分布的多座油庫(kù)遠(yuǎn)程實(shí)時(shí)監(jiān)控的應(yīng)用要求。同時(shí)，現(xiàn)有生產(chǎn)監(jiān)控系統(tǒng)中海量的實(shí)時(shí)傳感、測(cè)量、控制數(shù)據(jù)的讀寫、集成、處理和存儲(chǔ)[3]，主要依托實(shí)時(shí)數(shù)據(jù)庫(kù)技術(shù)，存在采購(gòu)和運(yùn)維成本高、并發(fā)處理能力相對(duì)低、擴(kuò)展和維護(hù)難度大、綜合檢索和分析能力差等不足，限制了后續(xù)對(duì)生產(chǎn)、設(shè)備、作業(yè)等數(shù)據(jù)的進(jìn)一步分析、挖掘和利用的潛力。

為提升對(duì)油庫(kù)等生產(chǎn)過(guò)程的遠(yuǎn)程實(shí)時(shí)監(jiān)控和預(yù)警能力，以及對(duì)實(shí)時(shí)數(shù)據(jù)的處理和分析能力，結(jié)合Storm大數(shù)據(jù)流處理、Kafka高速消息隊(duì)列、Flume數(shù)據(jù)采集技術(shù)[4-6]，設(shè)計(jì)并實(shí)現(xiàn)了基于實(shí)時(shí)數(shù)據(jù)處理、可擴(kuò)展的油庫(kù)生產(chǎn)遠(yuǎn)程監(jiān)控系統(tǒng)。該系統(tǒng)能對(duì)油庫(kù)實(shí)時(shí)生產(chǎn)狀態(tài)進(jìn)行同步監(jiān)控和預(yù)警，為廣域分布的油庫(kù)在線監(jiān)測(cè)提供了一種新思路。

1 成品油庫(kù)生產(chǎn)過(guò)程和關(guān)鍵監(jiān)控參數(shù)

成品油庫(kù)是收發(fā)和儲(chǔ)存汽油、柴油和乙醇等輕質(zhì)油品的倉(cāng)庫(kù)或設(shè)施，按生產(chǎn)功能分為油區(qū)、工藝控制區(qū)、收發(fā)油區(qū)、行政管理及輔助生產(chǎn)區(qū)等單元。

油庫(kù)自動(dòng)化系統(tǒng)主要由儲(chǔ)運(yùn)、消防自動(dòng)化、安防自動(dòng)化、環(huán)保自動(dòng)化四類系統(tǒng)及其他輔助監(jiān)控系統(tǒng)構(gòu)成。各系統(tǒng)之間互相關(guān)聯(lián)，形成油庫(kù)的整體自動(dòng)化系統(tǒng)。為確保對(duì)成品油庫(kù)安全生產(chǎn)運(yùn)行的全面監(jiān)控，需要監(jiān)控的儲(chǔ)運(yùn)、消防、安防及環(huán)保主要參數(shù)如下。

①儲(chǔ)油區(qū)作業(yè)：對(duì)防火堤以內(nèi)的儲(chǔ)罐、管線、工藝閥等設(shè)備進(jìn)行監(jiān)控。采集和監(jiān)控的參數(shù)包括儲(chǔ)罐液位、溫度、體積、空容、油品質(zhì)量、進(jìn)出管流速、管線壓力、浮盤升降、閥門開(kāi)度、存儲(chǔ)周期、化驗(yàn)時(shí)間等。

②工藝控制區(qū)作業(yè)：對(duì)工藝泵房/棚中電機(jī)、泵、電動(dòng)閥等設(shè)備進(jìn)行監(jiān)控。采集和監(jiān)控的參數(shù)包括機(jī)泵進(jìn)出口壓力、機(jī)泵啟停、機(jī)泵運(yùn)行時(shí)長(zhǎng)、機(jī)泵故障、機(jī)泵振動(dòng)等。

③收發(fā)油區(qū)作業(yè)：對(duì)收發(fā)油作業(yè)中鐵路棧橋、公路發(fā)油島、碼頭等設(shè)施的鶴管、裝/卸油泵、閥門、計(jì)量設(shè)備、車輛、船舶、靜電/溢油/道閘/接地傳感等設(shè)備進(jìn)行監(jiān)控。采集和監(jiān)控的參數(shù)包括油品、車牌、收發(fā)油流量/流速、機(jī)泵啟停、機(jī)泵運(yùn)行時(shí)長(zhǎng)、壓力、靜電連接、溢油、接地等。

④消防/安防區(qū)作業(yè)：對(duì)分布在油庫(kù)各區(qū)域可燃?xì)怏w探測(cè)、手動(dòng)報(bào)警、周界報(bào)警、光纖光柵測(cè)溫、火焰探測(cè)等設(shè)備，以及消防池液位、消防泵啟停、消防閥門開(kāi)啟、消防管線壓力等參數(shù)進(jìn)行采集和監(jiān)控。視頻監(jiān)控系統(tǒng)對(duì)油庫(kù)主要生產(chǎn)作業(yè)區(qū)域進(jìn)行全覆蓋。

⑤環(huán)保設(shè)備區(qū)作業(yè)：對(duì)油氣回收、污水處理裝置的相關(guān)參數(shù)進(jìn)行采集和監(jiān)控。

⑥行政管理及輔助生產(chǎn)區(qū)作業(yè)：對(duì)變配電能耗、溫度等參數(shù)進(jìn)行采集和監(jiān)控。

2 油庫(kù)生產(chǎn)遠(yuǎn)程監(jiān)控系統(tǒng)架構(gòu)功能分析

2.1 遠(yuǎn)程監(jiān)控系統(tǒng)體系架構(gòu)

針對(duì)油庫(kù)遠(yuǎn)程實(shí)時(shí)監(jiān)控的要求，設(shè)計(jì)的安全生產(chǎn)遠(yuǎn)程監(jiān)控系統(tǒng)功能架構(gòu)分為基礎(chǔ)層、傳輸層、平臺(tái)層和生產(chǎn)管理應(yīng)用層四部分。系統(tǒng)具有數(shù)據(jù)采集、數(shù)據(jù)實(shí)時(shí)和批處理、油庫(kù)綜合監(jiān)控的特點(diǎn)[7]。遠(yuǎn)程監(jiān)控系統(tǒng)功能架構(gòu)如圖1所示。

圖1 遠(yuǎn)程監(jiān)控系統(tǒng)功能架構(gòu)圖

①基礎(chǔ)層。

基礎(chǔ)層是安全生產(chǎn)遠(yuǎn)程監(jiān)控系統(tǒng)的物理最底層。監(jiān)控系統(tǒng)基礎(chǔ)層通過(guò)包含OPC、Modbus等協(xié)議集的混合標(biāo)準(zhǔn)接口，對(duì)油庫(kù)各自動(dòng)化系統(tǒng)關(guān)鍵監(jiān)控參數(shù)進(jìn)行自動(dòng)采集，實(shí)現(xiàn)對(duì)油庫(kù)安全生產(chǎn)過(guò)程中多源、多類型數(shù)據(jù)的可靠獲取。

②傳輸層。

傳輸層采用現(xiàn)場(chǎng)的無(wú)線、有線相結(jié)合的組網(wǎng)方式，為基礎(chǔ)層采集的數(shù)據(jù)提供安全、可靠的網(wǎng)絡(luò)傳輸系統(tǒng)。在廣域網(wǎng)傳輸中，為確保工控網(wǎng)絡(luò)及設(shè)備的信息安全，采用數(shù)據(jù)照相傳送技術(shù)的數(shù)采安全隔離設(shè)備實(shí)現(xiàn)企業(yè)網(wǎng)與工控網(wǎng)信息的單向隔離[8]。

③平臺(tái)層。

平臺(tái)層主要在區(qū)域監(jiān)控中心部署分布式大數(shù)據(jù)處理系統(tǒng)集群，包含實(shí)時(shí)處理集群(Flume+Kafka+Storm+MySQL)和歷史數(shù)據(jù)處理集群(Hadoop+Hive)。

實(shí)時(shí)數(shù)據(jù)處理流程如圖2所示。

圖2 實(shí)時(shí)數(shù)據(jù)處理流程圖

由圖2可知：Flume agent接收基礎(chǔ)層采集的數(shù)據(jù)和其他來(lái)源數(shù)據(jù)；Kafka集群持久化存儲(chǔ)采集的數(shù)據(jù)；Storm流處理集群對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理；處理過(guò)程的中間數(shù)據(jù)、最終數(shù)據(jù)、元數(shù)據(jù)等由MySQL數(shù)據(jù)庫(kù)存儲(chǔ)。處理集群系統(tǒng)通過(guò)面向服務(wù)架構(gòu)(service-oriented architecture，SOA)套件對(duì)外提供Web Service服務(wù)。Web Service服務(wù)與其他生產(chǎn)管理系統(tǒng)進(jìn)行交互，作為支持生產(chǎn)管理應(yīng)用層的數(shù)據(jù)、應(yīng)用服務(wù)器和Web服務(wù)器，支持二次開(kāi)發(fā)，具備和其他系統(tǒng)的融合能力。

④生產(chǎn)管理應(yīng)用層。

生產(chǎn)管理應(yīng)用層基于SOA架構(gòu)，實(shí)現(xiàn)對(duì)油庫(kù)生產(chǎn)狀態(tài)遠(yuǎn)程實(shí)時(shí)監(jiān)控的服務(wù)化；按照油庫(kù)監(jiān)控管理的要求，提供實(shí)時(shí)監(jiān)控、專項(xiàng)管理、統(tǒng)計(jì)分析和綜合展示四大服務(wù)[9]，實(shí)現(xiàn)油庫(kù)生產(chǎn)狀態(tài)監(jiān)控的服務(wù)化。遠(yuǎn)程監(jiān)控系統(tǒng)數(shù)據(jù)處理結(jié)構(gòu)如圖3所示。

圖3 遠(yuǎn)程監(jiān)控系統(tǒng)數(shù)據(jù)處理結(jié)構(gòu)圖

2.2 遠(yuǎn)程監(jiān)控系統(tǒng)的功能設(shè)計(jì)

油庫(kù)安全生產(chǎn)遠(yuǎn)程集中監(jiān)控平臺(tái)系統(tǒng)的主要功能設(shè)計(jì)如下：建立了統(tǒng)一、實(shí)時(shí)的生產(chǎn)運(yùn)行數(shù)據(jù)倉(cāng)庫(kù)，實(shí)現(xiàn)了綜合展示、運(yùn)行監(jiān)控、儲(chǔ)罐監(jiān)控、收發(fā)油監(jiān)控、消防/安防監(jiān)控、設(shè)備監(jiān)控、計(jì)質(zhì)量監(jiān)控、報(bào)警管理、數(shù)據(jù)分析和統(tǒng)計(jì)等功能。

2.3 遠(yuǎn)程監(jiān)控系統(tǒng)的軟件架構(gòu)

為便于支持多種應(yīng)用服務(wù)的遠(yuǎn)程使用和訂閱，油庫(kù)生產(chǎn)遠(yuǎn)程監(jiān)控系統(tǒng)的設(shè)計(jì)采用了基于服務(wù)的軟件架構(gòu)設(shè)計(jì)模式。監(jiān)控平臺(tái)系統(tǒng)軟件架構(gòu)如圖4所示。每個(gè)服務(wù)實(shí)現(xiàn)一個(gè)不同的應(yīng)用特性或者功能，且相互獨(dú)立運(yùn)行在系統(tǒng)進(jìn)程中。每個(gè)服務(wù)可通過(guò)基于簡(jiǎn)單對(duì)象訪問(wèn)協(xié)議(simple object access protocol，SOAP)Web service API對(duì)外提供服務(wù)資源調(diào)用，確保系統(tǒng)靈活滿足整體應(yīng)用的需求，能夠適用于構(gòu)建基于云服務(wù)的分布式應(yīng)用系統(tǒng)。

圖4 監(jiān)控平臺(tái)系統(tǒng)軟件架構(gòu)圖

3 油庫(kù)生產(chǎn)遠(yuǎn)程監(jiān)控系統(tǒng)的關(guān)鍵技術(shù)

3.1 數(shù)據(jù)采集技術(shù)

在監(jiān)控系統(tǒng)基礎(chǔ)層，根據(jù)各地區(qū)油庫(kù)自動(dòng)化系統(tǒng)實(shí)際情況，利用混合協(xié)議軟件接口，實(shí)現(xiàn)對(duì)庫(kù)級(jí)自動(dòng)化系統(tǒng)的實(shí)時(shí)數(shù)據(jù)自動(dòng)采集和數(shù)據(jù)格式轉(zhuǎn)換。油庫(kù)數(shù)據(jù)采集接口如圖5所示。

圖5 油庫(kù)數(shù)據(jù)采集接口示意圖

對(duì)已具備PKS、WinCC、iFiX等數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)(supervisory control and data acquisition，SCADA)軟件的自動(dòng)化系統(tǒng)，采用用于過(guò)程控制的對(duì)象鏈接與嵌入工業(yè)標(biāo)準(zhǔn)(object linking and embedding for process control,OPC)2.0標(biāo)準(zhǔn)軟件接口進(jìn)行數(shù)據(jù)采集，以實(shí)現(xiàn)異構(gòu)環(huán)境中自動(dòng)化控制網(wǎng)絡(luò)數(shù)據(jù)的統(tǒng)一集成[10]。對(duì)部分不具備SCADA系統(tǒng)的油庫(kù)，則從PLC、智能儀表等自動(dòng)化設(shè)備直接采集實(shí)時(shí)數(shù)據(jù)。數(shù)據(jù)采集協(xié)議則采用標(biāo)準(zhǔn)或統(tǒng)一擴(kuò)展的Modbus協(xié)議。

為保證各油庫(kù)實(shí)時(shí)過(guò)程數(shù)據(jù)的采集時(shí)間標(biāo)簽同步，使用網(wǎng)絡(luò)時(shí)間協(xié)議(network time protocol，NTP)服務(wù)，利用同一GPS時(shí)鐘，將監(jiān)控系統(tǒng)實(shí)時(shí)數(shù)據(jù)庫(kù)服務(wù)器作為時(shí)間源，其他服務(wù)器、緩存機(jī)配置與該服務(wù)器同步，保證平臺(tái)系統(tǒng)時(shí)間同步。

高中生，因?yàn)槲睦矸挚?，往往在高二時(shí)就會(huì)進(jìn)行分班。在這個(gè)時(shí)候，我們通常會(huì)通過(guò)其他班主任了解高一時(shí)學(xué)生擔(dān)任班干部的情況，然后初步確定班干部人選。

3.2 數(shù)據(jù)接入技術(shù)

為確保多個(gè)油庫(kù)基礎(chǔ)層感知、測(cè)量的大量現(xiàn)場(chǎng)生產(chǎn)數(shù)據(jù)，能通過(guò)安全、可靠、高效的方式實(shí)時(shí)上傳至系統(tǒng)平臺(tái)層，對(duì)生產(chǎn)管理應(yīng)用層提供數(shù)據(jù)支持。本文采用Flume和kafka組合，對(duì)以現(xiàn)場(chǎng)位號(hào)、時(shí)間戳為標(biāo)簽的實(shí)時(shí)數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和處理。

Flume是一個(gè)分布式、可靠、高可用的海量日志采集、聚合和傳輸?shù)氖占到y(tǒng)，具備從console、rpc、text、tail、syslog、exec等數(shù)據(jù)源高速收集數(shù)據(jù)的能力，同時(shí)能夠解決不同數(shù)據(jù)源接入的差異性問(wèn)題。Flume采集數(shù)據(jù)基本單位Event，運(yùn)行核心是Agent，含有Source、Channel、Sink三個(gè)核心組件，分別實(shí)現(xiàn)從外部數(shù)據(jù)源采集數(shù)據(jù)、簡(jiǎn)單處理和中間存儲(chǔ)數(shù)據(jù)、將數(shù)據(jù)寫入接收方的功能。

針對(duì)監(jiān)控系統(tǒng)基礎(chǔ)層采集的實(shí)時(shí)數(shù)據(jù)，首先通過(guò)設(shè)置OPC接口 Client中Group Item的名字、激活狀態(tài)、服務(wù)器向客戶程序提交數(shù)據(jù)變化的刷新速率、數(shù)據(jù)死區(qū)以及數(shù)據(jù)寫入的TXT文件等參數(shù)，實(shí)現(xiàn)油庫(kù)系統(tǒng)設(shè)備實(shí)時(shí)數(shù)據(jù)向Flume agent服務(wù)器的實(shí)時(shí)傳遞。為保證各油庫(kù)設(shè)備位號(hào)產(chǎn)生的實(shí)時(shí)數(shù)據(jù)與后續(xù)數(shù)據(jù)處理隊(duì)列相對(duì)應(yīng)，在各油庫(kù)設(shè)備位號(hào)與Flume agent、Kafka Topic消息隊(duì)列之間建立實(shí)時(shí)映射關(guān)系。

各Flume agent實(shí)時(shí)監(jiān)聽(tīng)TXT文件中的新增數(shù)據(jù)后，對(duì)新增數(shù)據(jù)進(jìn)行實(shí)時(shí)采集并匯集到總Flume agent中?？侳lume agent對(duì)不同的來(lái)源數(shù)據(jù)，按照公司、油庫(kù)、自動(dòng)化系統(tǒng)、監(jiān)測(cè)點(diǎn)(位號(hào))、監(jiān)測(cè)點(diǎn)類型(開(kāi)關(guān)量、模擬量)、儀表類型(開(kāi)關(guān)、溫度、壓力、流量、液位等)、監(jiān)測(cè)點(diǎn)采樣時(shí)間、監(jiān)測(cè)值，整體處理成統(tǒng)一的數(shù)據(jù)格式，具體如下所示。

{公司4位字節(jié)；油庫(kù)8位字節(jié)；自動(dòng)化系統(tǒng)(裝置)8位字節(jié)；監(jiān)測(cè)點(diǎn)(位號(hào))12位字節(jié)；監(jiān)測(cè)點(diǎn)類型2位字節(jié)；儀表類型8個(gè)字節(jié)；監(jiān)測(cè)點(diǎn)采樣時(shí)間8個(gè)字節(jié)；監(jiān)測(cè)值16位字節(jié)；}

Flume采集的實(shí)時(shí)數(shù)據(jù)需要實(shí)時(shí)寫入Kafka，實(shí)現(xiàn)對(duì)大量、高速數(shù)據(jù)的實(shí)時(shí)發(fā)布和訂閱，以及數(shù)據(jù)的存儲(chǔ)，以確保后續(xù)的實(shí)時(shí)數(shù)據(jù)處理的實(shí)施、減少可能的數(shù)據(jù)丟失風(fēng)險(xiǎn)。

Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，主要用于處理活躍的流式數(shù)據(jù)。Kafka通過(guò)0(1)的磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久化，保持對(duì)于TB級(jí)別的消息存儲(chǔ)的長(zhǎng)時(shí)間穩(wěn)定性能，同時(shí)具備較強(qiáng)橫向擴(kuò)展、并行處理能力。Kafka消息傳輸吞吐量高，一般超過(guò)105～106條/s。

Kafka中的消息(record記錄，也被稱為消息)由一個(gè)key、一個(gè)value和時(shí)間戳構(gòu)成。消息發(fā)送者稱為生產(chǎn)者(producer)；消息接收者稱為消費(fèi)者(consumer)；消息類別記錄稱為topic，每一類的消息稱之為一個(gè)主題(topic)。為實(shí)現(xiàn)Flume與Kafka的整合，接收Flume傳輸?shù)母饔蛶?kù)系統(tǒng)設(shè)備的實(shí)時(shí)數(shù)據(jù)，在Kafka Cluster中創(chuàng)建與各油庫(kù)系統(tǒng)設(shè)備位號(hào)相對(duì)應(yīng)的Topic。然后，F(xiàn)lume將其采集到的數(shù)據(jù)分別發(fā)送到相對(duì)應(yīng)的topic上進(jìn)行發(fā)布，為后續(xù)系統(tǒng)對(duì)各設(shè)備位號(hào)狀態(tài)信息的實(shí)時(shí)處理以及特定時(shí)段特定設(shè)備的復(fù)雜處理奠定了良好的基礎(chǔ)。

3.3 實(shí)時(shí)數(shù)據(jù)處理技術(shù)

實(shí)時(shí)數(shù)據(jù)處理是遠(yuǎn)程監(jiān)控系統(tǒng)平臺(tái)層的核心模塊，從各地區(qū)油庫(kù)現(xiàn)場(chǎng)采集的工業(yè)實(shí)時(shí)數(shù)據(jù)經(jīng)實(shí)時(shí)處理后，實(shí)現(xiàn)作業(yè)操作分析、故障識(shí)別與診斷、監(jiān)控預(yù)警報(bào)警、實(shí)時(shí)決策支持、即時(shí)消息推送等功能，提升整體管理效率。本文針對(duì)油庫(kù)生產(chǎn)管理安全預(yù)警的實(shí)時(shí)性要求，選擇Storm流處理框架作為實(shí)時(shí)數(shù)據(jù)處理的平臺(tái)模塊。

Storm是一個(gè)免費(fèi)開(kāi)源、分布式、高容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，支持集群化部署，在實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、持續(xù)計(jì)算、分布式遠(yuǎn)程調(diào)用等領(lǐng)域具有廣泛的應(yīng)用。在Storm應(yīng)用中，Storm提交面向需求的運(yùn)行程序稱為Topology，由Spout和Bolt構(gòu)成，兩者通過(guò)消息Tuple機(jī)制進(jìn)行數(shù)據(jù)傳遞。Spout是發(fā)出Tuple的節(jié)點(diǎn)，Bolt則負(fù)責(zé)數(shù)據(jù)流(Streams可以包含多個(gè)Tuple)接收、轉(zhuǎn)換、計(jì)算、過(guò)濾和發(fā)出其他Tuple等操作，Bolt可以隨意訂閱某個(gè)Spout或者Bolt發(fā)出的Tuple。Topology處理的最小消息單位是一個(gè)Tuple，可以是一個(gè)任意對(duì)象的數(shù)組。在實(shí)際集群運(yùn)行中，Topology由集群中的主控節(jié)點(diǎn)(Nimbus)將任務(wù)分配給工作節(jié)點(diǎn)(Supervisor)，工作節(jié)點(diǎn)管理多個(gè)工作進(jìn)程(Worker)，工作進(jìn)程包含多個(gè)運(yùn)算任務(wù)(Task)，每個(gè)Spout和Bolt都由若干個(gè)運(yùn)算任務(wù)來(lái)具體執(zhí)行。

Storm對(duì)實(shí)時(shí)數(shù)據(jù)流處理的關(guān)鍵是Kafka與Storm的整合，由Storm中Spout實(shí)時(shí)獲取Kafka發(fā)布的topic消息數(shù)據(jù)，即利用Storm-Kafka的整合庫(kù)中Storm-Kafka API提供的KafkaSpout對(duì)象實(shí)現(xiàn)Spout對(duì)kafka中實(shí)時(shí)數(shù)據(jù)的獲取，完成Kafka與Storm之間數(shù)據(jù)的傳遞和流處理。

本系統(tǒng)利用Storm，實(shí)現(xiàn)了油庫(kù)儲(chǔ)運(yùn)、消防、安防等工藝參數(shù)的實(shí)時(shí)監(jiān)控，油庫(kù)儲(chǔ)罐液位、溫度、壓力、流速、靜電、溢油、可燃?xì)怏w、火焰探測(cè)等參數(shù)的實(shí)時(shí)超閾值報(bào)警以及儲(chǔ)罐液位異常、管線流速異常、設(shè)備狀態(tài)異常等規(guī)則的實(shí)時(shí)判斷預(yù)警，以及報(bào)警預(yù)警的實(shí)時(shí)推送等功能。

油庫(kù)數(shù)據(jù)采集、處理過(guò)程中的非實(shí)時(shí)數(shù)據(jù)存儲(chǔ)和查詢采用MySQL數(shù)據(jù)庫(kù)，包括類型、配置、元數(shù)據(jù)、處理的中間數(shù)據(jù)等。實(shí)時(shí)數(shù)據(jù)、非實(shí)時(shí)數(shù)據(jù)最后導(dǎo)入歷史數(shù)據(jù)庫(kù)集群，實(shí)現(xiàn)整體監(jiān)控?cái)?shù)據(jù)的歸檔存儲(chǔ)和離線的大數(shù)據(jù)挖掘。

4 油庫(kù)生產(chǎn)遠(yuǎn)程監(jiān)控系統(tǒng)的實(shí)現(xiàn)和測(cè)試

基于上述研究?jī)?nèi)容，對(duì)油庫(kù)遠(yuǎn)程監(jiān)控系統(tǒng)進(jìn)行設(shè)計(jì)和試點(diǎn)。該系統(tǒng)試點(diǎn)部署于蘭州，對(duì)分布在甘肅、四川、陜西、湖北等多座大型油庫(kù)的儲(chǔ)運(yùn)生產(chǎn)、消防安防、設(shè)備等過(guò)程數(shù)據(jù)進(jìn)行了實(shí)時(shí)采集、監(jiān)控和預(yù)警。系統(tǒng)實(shí)現(xiàn)的具體功能描述如下。

①運(yùn)行監(jiān)控。該監(jiān)控用于實(shí)現(xiàn)對(duì)油庫(kù)儲(chǔ)運(yùn)工藝中電動(dòng)閥、儲(chǔ)罐液位、泵、儲(chǔ)罐液位、動(dòng)轉(zhuǎn)管線的圖形化實(shí)時(shí)監(jiān)控；實(shí)現(xiàn)對(duì)油氣回收、污水處理等成套輔助裝置的工藝參數(shù)、設(shè)備異常、運(yùn)行記錄等進(jìn)行圖形化實(shí)時(shí)監(jiān)控和異常報(bào)警推送。

②儲(chǔ)罐監(jiān)控。該監(jiān)控用于實(shí)現(xiàn)對(duì)油庫(kù)分罐液位、溫度、體積、質(zhì)量、空容、油品質(zhì)量、進(jìn)出罐流速、進(jìn)出油狀態(tài)、存儲(chǔ)時(shí)長(zhǎng)等進(jìn)行圖形化實(shí)時(shí)數(shù)據(jù)監(jiān)控和記錄自動(dòng)存儲(chǔ)，對(duì)液位超限、溫度超限、進(jìn)出罐流速超限進(jìn)行遠(yuǎn)程實(shí)時(shí)報(bào)警推送。

③公路、鐵路收發(fā)油監(jiān)控。該監(jiān)控用于實(shí)現(xiàn)對(duì)鐵路棧橋、公路發(fā)油島等收發(fā)油作業(yè)中的收發(fā)油種類、分倉(cāng)、油品體積/質(zhì)量、溫度、車輛車牌、靜電/溢油/道閘/接地傳感等數(shù)據(jù)進(jìn)行圖形化的實(shí)時(shí)監(jiān)控和記錄存儲(chǔ)，并對(duì)靜電/溢油/道閘/接地等參數(shù)異常進(jìn)行遠(yuǎn)程實(shí)時(shí)報(bào)警推送。

④消防安防監(jiān)控。該監(jiān)控用于對(duì)分布在油庫(kù)各區(qū)域可燃?xì)怏w探測(cè)、手動(dòng)報(bào)警、周界報(bào)警、光纖光柵測(cè)溫、火焰探測(cè)等設(shè)備以及消防池液位、消防泵啟停、消防閥門開(kāi)啟、消防管線壓力等參數(shù)進(jìn)行實(shí)時(shí)監(jiān)控、記錄和報(bào)警。

⑤設(shè)備監(jiān)控。該監(jiān)控用于對(duì)油庫(kù)機(jī)泵的啟停、電動(dòng)閥的啟停、機(jī)泵運(yùn)行時(shí)長(zhǎng)、管線壓力、數(shù)據(jù)采集設(shè)備、網(wǎng)絡(luò)設(shè)備等進(jìn)行實(shí)時(shí)監(jiān)控和異常報(bào)警。

⑥計(jì)質(zhì)量監(jiān)控。該監(jiān)控用于對(duì)進(jìn)出庫(kù)油品數(shù)量與儲(chǔ)罐進(jìn)出罐油品數(shù)量進(jìn)行實(shí)時(shí)監(jiān)控和比對(duì)，對(duì)誤差超限進(jìn)行報(bào)警推送。

⑦報(bào)警管理。該監(jiān)控用于跟蹤實(shí)時(shí)報(bào)警推送的油庫(kù)異常情況的后續(xù)處理、審核、確認(rèn)流程，報(bào)警記錄的查詢和統(tǒng)計(jì)，實(shí)現(xiàn)報(bào)警流程的閉環(huán)管理。

⑧數(shù)據(jù)管理。該監(jiān)控用于實(shí)時(shí)采集和匯總各油庫(kù)生產(chǎn)實(shí)時(shí)數(shù)據(jù)，構(gòu)建統(tǒng)一、實(shí)時(shí)的生產(chǎn)運(yùn)行數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)生產(chǎn)運(yùn)行數(shù)據(jù)的標(biāo)準(zhǔn)化管理，為其他生產(chǎn)應(yīng)用提供完備和標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù)源。

油庫(kù)生產(chǎn)遠(yuǎn)程監(jiān)控系統(tǒng)試點(diǎn)的硬件環(huán)境為：浪潮x86架構(gòu)計(jì)算機(jī)服務(wù)器節(jié)點(diǎn)6個(gè)(1個(gè)管理節(jié)點(diǎn)、3個(gè)流處理節(jié)點(diǎn)、2個(gè)歷史數(shù)據(jù)處理節(jié)點(diǎn))，CPU為2路8核處理器，ECC DDR4內(nèi)存128 GB，硬盤為32 TB，核心交換機(jī)配備多模光纖光接口板，油庫(kù)數(shù)采工作站4臺(tái)。

為保證系統(tǒng)的實(shí)際應(yīng)用效果，使用自動(dòng)化軟件測(cè)試工具UFT、性能測(cè)試工具Loadrunner以及測(cè)試管理工具ALM，對(duì)試點(diǎn)的監(jiān)控系統(tǒng)進(jìn)行了功能、性能和應(yīng)用的全面測(cè)試。

功能測(cè)試全面覆蓋系統(tǒng)模塊，包括運(yùn)行監(jiān)控、儲(chǔ)罐監(jiān)控、收發(fā)油監(jiān)控、消防/安防監(jiān)控、設(shè)備監(jiān)控、計(jì)質(zhì)量監(jiān)控、報(bào)警管理和綜合展示，測(cè)試功能點(diǎn)174個(gè)，執(zhí)行2385個(gè)測(cè)試用例。測(cè)試結(jié)果顯示，系統(tǒng)實(shí)現(xiàn)了油庫(kù)生產(chǎn)監(jiān)控、報(bào)警、報(bào)警處理和統(tǒng)計(jì)分析等功能，能夠滿足油庫(kù)遠(yuǎn)程監(jiān)控的功能要求。

性能測(cè)試內(nèi)容主要包括運(yùn)行監(jiān)控、儲(chǔ)罐監(jiān)控、收發(fā)油監(jiān)控、設(shè)備監(jiān)控、消防/安防監(jiān)控等功能點(diǎn)的并發(fā)能力和實(shí)時(shí)數(shù)據(jù)處理的系統(tǒng)響應(yīng)。測(cè)試結(jié)果顯示在模擬最大并發(fā)用戶500個(gè)、最大測(cè)試點(diǎn)為100 000個(gè)的壓力測(cè)試條件下，平均事物處理的響應(yīng)時(shí)間≤6 s。

試點(diǎn)該油庫(kù)生產(chǎn)遠(yuǎn)程監(jiān)控系統(tǒng)對(duì)西固、彭州、咸陽(yáng)、武漢四座油庫(kù)進(jìn)行了實(shí)際應(yīng)用測(cè)試。監(jiān)控系統(tǒng)部署在蘭州，在4座油庫(kù)部署的實(shí)時(shí)監(jiān)控點(diǎn)超過(guò)5000個(gè)，系統(tǒng)整體功能正常，最大響應(yīng)時(shí)延低于5 s，能夠滿足油庫(kù)實(shí)時(shí)監(jiān)控和預(yù)警的要求。

總體來(lái)說(shuō)，通過(guò)功能、性能和應(yīng)用測(cè)試，表明該監(jiān)控系統(tǒng)具備一定實(shí)際推廣應(yīng)用的潛力。利用大數(shù)據(jù)流處理框架處理生產(chǎn)實(shí)時(shí)數(shù)據(jù)，為油庫(kù)或其他工業(yè)環(huán)境遠(yuǎn)程實(shí)時(shí)監(jiān)控和預(yù)警提供了一種可選擇的解決方案。

5 結(jié)束語(yǔ)

本文從滿足多座油庫(kù)生產(chǎn)過(guò)程遠(yuǎn)程實(shí)時(shí)監(jiān)控的需求入手，為整體提升區(qū)域多座油庫(kù)生產(chǎn)管理智能化水平、降低遠(yuǎn)程監(jiān)控管理成本，基于大數(shù)據(jù)流處理技術(shù)，搭建了一套油庫(kù)生產(chǎn)遠(yuǎn)程監(jiān)控系統(tǒng)，實(shí)現(xiàn)了對(duì)西部地區(qū)多座大型油庫(kù)生產(chǎn)、安全等過(guò)程數(shù)據(jù)的實(shí)時(shí)監(jiān)控和預(yù)警。該系統(tǒng)能夠滿足油庫(kù)日常生產(chǎn)遠(yuǎn)程實(shí)時(shí)監(jiān)控的要求。

該系統(tǒng)利用Flume、Kafka、Storm、MySQL實(shí)時(shí)數(shù)據(jù)處理框架，代替目前工業(yè)MES、工業(yè)監(jiān)控等系統(tǒng)常用的實(shí)時(shí)數(shù)據(jù)庫(kù)技術(shù)。系統(tǒng)具有成本低、易擴(kuò)展、并行能力強(qiáng)等特點(diǎn)，在后期的裝備在線狀態(tài)監(jiān)測(cè)、復(fù)雜故障預(yù)測(cè)和診斷、視頻融合處理、綜合決策支持等大數(shù)據(jù)應(yīng)用方面具有潛力。