油田場站分布式實時數(shù)據(jù)庫設(shè)計與應(yīng)用研究

◆張馨元

（安達市慶新油田開發(fā)有限責任公司 黑龍江 151413）

1 主要研究內(nèi)容及規(guī)模

1.1 主要內(nèi)容

1.1.1 實時數(shù)據(jù)庫的分布式技術(shù)研發(fā)

采用Erlang 開發(fā)語言，使用分布式技術(shù)，研發(fā)生產(chǎn)數(shù)據(jù)自動采集、數(shù)據(jù)過濾存儲技術(shù)。研究并發(fā)體技術(shù)，在采集與存儲時采用并發(fā)體實現(xiàn)分布式計算。需支持多個標準接口，可與PLC，DCS，以及現(xiàn)場各種關(guān)系型數(shù)據(jù)實現(xiàn)數(shù)據(jù)交換。實現(xiàn)對海量實時數(shù)據(jù)收集、壓縮、存儲、檢索。根據(jù)數(shù)據(jù)記錄特點，對冗余數(shù)據(jù)，可考慮有損壓縮和無損壓縮處理。數(shù)據(jù)緩存技術(shù)研究，網(wǎng)絡(luò)中斷建立本地緩存機制。自動根據(jù)網(wǎng)絡(luò)連接情況推動到實時數(shù)據(jù)庫。

1.1.2 分布式實時數(shù)據(jù)采集

基于TCP 協(xié)議的工業(yè)PC 與PLC 的以太網(wǎng)通信。工業(yè)PC 與PLC通過以太網(wǎng)基于TCP 協(xié)議通信具有廣泛的適用性，工業(yè)PC 端不受操作系統(tǒng)環(huán)境的制約，PLC 端也不受PLC 品牌的限制，只需通信雙方具備以太網(wǎng)通信硬件和支持TCP 協(xié)議軟件環(huán)境即可。目前這種條件非常容易滿足，同時通信的報文格式和內(nèi)容也可以根據(jù)通信的具體應(yīng)用自由定義，具有非常大的靈活性。

支持四則運算法則及精度處理，從而得到具有物理含義的數(shù)值。

實現(xiàn)數(shù)據(jù)采集點規(guī)則的配置，能夠控制數(shù)據(jù)采集的頻率和采集器的批量啟停。

1.1.3 實時數(shù)據(jù)的海量存儲

有效的利用實時數(shù)據(jù)的特性，采用先進的數(shù)據(jù)壓縮算法，對大量的實時數(shù)據(jù)進行原型壓縮，同時結(jié)合高效的檢索策略設(shè)計了實時數(shù)據(jù)庫的存儲系統(tǒng)。針對不同的應(yīng)用，數(shù)據(jù)壓縮有多種算法，實時數(shù)據(jù)庫系統(tǒng)不僅要求能夠在有限的硬盤空間中存儲大量歷史數(shù)據(jù)，而且還要求這些數(shù)據(jù)能夠快速被訪問。采用基于時間和空間維度的高效的壓縮算法，死區(qū)與線性壓縮相結(jié)合。

1.2 研究的技術(shù)指標

根據(jù)油田實際生產(chǎn)需求，油田站庫實時數(shù)據(jù)信息量越來越大，對數(shù)據(jù)處理的功能要求也越來越高。這些應(yīng)用有著與傳統(tǒng)應(yīng)用不同的特征，主要表現(xiàn)在兩個方面：一方面，要維護大量共享數(shù)據(jù)和控制知識；另一方面，其應(yīng)用活動（任務(wù)或事務(wù)）有很強的時間性，要求在規(guī)定的時刻和（或）一定的時間內(nèi)完成其處理。

1.2.1 研究目標

（1）實時正確采集聯(lián)合站及中轉(zhuǎn)站實時數(shù)據(jù)。

（2）實時海量數(shù)據(jù)存儲，并壓縮存儲空間。

（3）查詢實時數(shù)據(jù)的快速響應(yīng)。

1.2.2 主要技術(shù)經(jīng)濟考核指標

（1）數(shù)據(jù)采集正確性不低于99%。

（2）實時海量數(shù)據(jù)存儲，實現(xiàn)數(shù)據(jù)永久保存。

（3）查詢實時數(shù)據(jù)的響應(yīng)速度不應(yīng)高于5s。

2 技術(shù)原理

2.1 研究現(xiàn)狀

隨著油田自動化與數(shù)字化范圍的擴大，企業(yè)數(shù)據(jù)容量很快從TB級擴展到PB 級，傳統(tǒng)的數(shù)據(jù)處理與分析技術(shù)無法滿足百萬甚至千萬級設(shè)備同時在線的性能需求，建立符合油氣生產(chǎn)規(guī)則的大數(shù)據(jù)處理云平臺以及應(yīng)用標準成為當務(wù)之急：

（1）油氣大數(shù)據(jù)云能同時管理海量物聯(lián)設(shè)備，不僅能夠滿足千萬級并發(fā)處理要求，而且需要確保數(shù)據(jù)的實時性響應(yīng)達到工業(yè)級（低于20ms）。

（2）油氣大數(shù)據(jù)云通過制定數(shù)據(jù)行業(yè)標準，規(guī)范設(shè)備接入數(shù)據(jù)格式，實現(xiàn)設(shè)備即插即用，為物聯(lián)網(wǎng)快速擴展提供基礎(chǔ)。

目前我國在社交網(wǎng)絡(luò)、金融等領(lǐng)域，已經(jīng)相繼建設(shè)了大數(shù)據(jù)平臺，但是在傳統(tǒng)油氣工業(yè)領(lǐng)域，存在著大數(shù)據(jù)產(chǎn)品數(shù)據(jù)格式不統(tǒng)一，諸多新技術(shù)應(yīng)用標準化研究還比較匱乏的問題。為建立油氣行業(yè)大數(shù)據(jù)云平臺，需要如下幾個角度開展研究：

（1）大數(shù)據(jù)采集與存儲技術(shù)

在油氣開采領(lǐng)域需要處理的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)量巨大、類型多樣，主要包括各類數(shù)據(jù)體、成果文檔、圖件報表及“四化”（標準化設(shè)計、模塊化建設(shè)、標準化采購、信息化提升）建設(shè)實施采集監(jiān)控、儀表數(shù)據(jù)等。對于非結(jié)構(gòu)化數(shù)據(jù)、整體管理比較弱、除部分實時數(shù)據(jù)，更多數(shù)據(jù)存儲在磁盤上，存在各數(shù)據(jù)橫向間無法聯(lián)通等應(yīng)用瓶頸，數(shù)據(jù)應(yīng)用間標準缺乏。為了準確地對多個數(shù)據(jù)源進行數(shù)據(jù)分析，所有數(shù)據(jù)集應(yīng)包含一致的元數(shù)據(jù)或描述性信息來解釋測試數(shù)據(jù)被保存的原因。元數(shù)據(jù)模型包括數(shù)據(jù)結(jié)構(gòu)的定義、全局數(shù)據(jù)的分片、分布、授權(quán)、事務(wù)恢復等描述。在底層架構(gòu)和文件系統(tǒng)上要高于傳統(tǒng)技術(shù)，能夠彈性擴展。以往存儲系統(tǒng)和存儲區(qū)域網(wǎng)絡(luò)等體系，存儲和計算物理設(shè)備分類，之間通過網(wǎng)絡(luò)接口連接，處理數(shù)據(jù)密集型計算，I/O 容易形成瓶頸。通過分布式文件系統(tǒng)將計算和存儲在物理上結(jié)合在一起，可解決I/O 吞吐量制約。大數(shù)據(jù)對存儲另一個技術(shù)要點就是數(shù)據(jù)格式可擴展性，對各種非結(jié)構(gòu)數(shù)據(jù)進行高效管理需求。

（2）大數(shù)據(jù)管理技術(shù)體系

大數(shù)據(jù)管理及處理能力已經(jīng)成為引領(lǐng)網(wǎng)絡(luò)時代IT發(fā)展的關(guān)鍵；獲取大量運行數(shù)據(jù)并建立對其進行動態(tài)高效處理的能力，已經(jīng)成為產(chǎn)業(yè)競爭力的體現(xiàn)。 從數(shù)據(jù)庫（DB）到大數(shù)據(jù)（BD），看似是簡單技術(shù)演進，其實還是有本質(zhì)差別，有些地方顛覆了傳統(tǒng)數(shù)據(jù)管理方式。大數(shù)據(jù)管理系統(tǒng)需建立類似于傳統(tǒng)數(shù)據(jù)管理評測基準。具體有用于評測、比較不同數(shù)據(jù)庫系統(tǒng)性能的規(guī)范，性能指標值能夠客觀、全面地評測各個數(shù)據(jù)庫系統(tǒng)的性能差距。大數(shù)據(jù)價值完整體現(xiàn)需要多種技術(shù)協(xié)同。

因此，伴隨著油田下一步智能化建設(shè)需要，首先應(yīng)結(jié)合目前業(yè)界已有的云技術(shù)和大數(shù)據(jù)分類方法、通過油田大數(shù)據(jù)現(xiàn)狀進行分析、梳理油田大數(shù)據(jù)的種類和數(shù)量、界定大數(shù)據(jù)采集范圍、大數(shù)據(jù)處理及管理技術(shù)規(guī)范制定。針對不同類型數(shù)據(jù)采取不同策略。參考工業(yè)大數(shù)據(jù)白皮書，結(jié)合油氣生產(chǎn)需要制定規(guī)范如下標準。1）基礎(chǔ)標準。如：術(shù)語、架構(gòu)、平臺標準等；2）數(shù)據(jù)表示標準、如編碼規(guī)范、元數(shù)據(jù)規(guī)范；3）數(shù)據(jù)處理標準、采集標準、處理階段相關(guān)標準規(guī)范

2.2 數(shù)據(jù)采集引擎設(shè)計原理

2.2.1 對接協(xié)議

根據(jù)PLC 設(shè)備型號進行數(shù)據(jù)格式解析，建立見解析規(guī)則，可與PLC 直接配置連接，可輕松接入各類自動化數(shù)據(jù)、設(shè)備管理信息。

2.2.2 采集引擎

支持分布式采集，使用Erlang 并發(fā)特性，即每個PLC 使用一個單獨的進程根據(jù)PLC 點表規(guī)則去采集數(shù)據(jù)，每個進程之間無共享數(shù)據(jù)，每個進程都是一個單獨的個體，一個PLC 出現(xiàn)問題，并不影響其他PLC 的數(shù)據(jù)采集。充分利用服務(wù)器的多核處理器和多服務(wù)器進行分布式的采集。保證讀取數(shù)據(jù)的高效性、穩(wěn)定性、容錯性。

3 經(jīng)濟和社會效益分析

3.1 經(jīng)濟效益分析

在油田領(lǐng)域，由于存在不同時期的系統(tǒng)，存在多個系統(tǒng)，形成“信息孤島”，從而使得企業(yè)內(nèi)部各部門間協(xié)作效率低，如何保證在既有系統(tǒng)上設(shè)計一種簡便、有效、安全的異構(gòu)數(shù)據(jù)（實時數(shù)據(jù)到關(guān)系數(shù)據(jù)）交換方案，成為亟待解決的問題。在油田網(wǎng)絡(luò)管理、過程控制及智能設(shè)備不斷升級基礎(chǔ)上，本系統(tǒng)對擴展原有系統(tǒng)數(shù)據(jù)應(yīng)用，提高數(shù)據(jù)有效收集、存儲、應(yīng)用具有一定創(chuàng)新性解決方案和思路，隨著現(xiàn)代數(shù)據(jù)庫技術(shù)的發(fā)展和實時庫應(yīng)用認識的進一步深入?；谀壳胺桨傅膶崟r數(shù)據(jù)庫系統(tǒng)以其靈活性和開發(fā)性的價格必將有著更廣闊的應(yīng)用，也能夠基于實時數(shù)據(jù)應(yīng)用門檻的降低提高數(shù)據(jù)的應(yīng)用價值，能夠給油氣生產(chǎn)帶來更多的信息，從而為油田生產(chǎn)潛力的挖掘提供更強有力的支撐，帶來更大的經(jīng)濟效益。

3.2 社會效益評價

一方面，通過實時數(shù)據(jù)的有效采集通道的建立，節(jié)省了油氣生產(chǎn)現(xiàn)場數(shù)據(jù)采集與設(shè)備維護人員的投入，不斷改善一線工作人員的工作環(huán)境，提升其工作滿意度和工作熱情；另一方面，通過實時數(shù)據(jù)的永久保存和應(yīng)用分析，能夠?qū)崟r掌握油氣生產(chǎn)各工藝環(huán)節(jié)的生產(chǎn)狀態(tài)，及時發(fā)現(xiàn)油氣生產(chǎn)中的各類問題，提前介入，在保證正常生產(chǎn)的前提下，降低生產(chǎn)故障發(fā)生的概率，為油田周邊生態(tài)環(huán)境提供了一道保障，為打造油田生態(tài)系統(tǒng)奠定了良好基礎(chǔ)。

4 結(jié)論及認識

4.1 結(jié)論

（1）按照研究內(nèi)容要求，按時保質(zhì)保量完成了實時數(shù)據(jù)庫的設(shè)計、數(shù)據(jù)采集協(xié)議的解析與采集設(shè)備的接入、數(shù)據(jù)應(yīng)用與數(shù)據(jù)對外服務(wù)接口的開發(fā)，并且經(jīng)過四次正式的部署測試，達到了正式上線運行和驗收的要求。

（2）建立了異構(gòu)數(shù)據(jù)庫交互規(guī)范、可視化點表管理機制，采用了Erlang 分布式編程、數(shù)據(jù)編解碼算法處理等先進技術(shù)，能夠確保實時數(shù)據(jù)的永久存儲與系統(tǒng)應(yīng)用平臺的高效率。

（3）該系統(tǒng)平臺的搭建，能夠大幅降低操控人員對數(shù)據(jù)庫業(yè)務(wù)知識的掌握要求，提高多應(yīng)用訪問實時數(shù)據(jù)的便捷性、數(shù)據(jù)流轉(zhuǎn)的實時性與安全性、油田數(shù)據(jù)的利用率，提升對歷史數(shù)據(jù)的全方位分析能力，實現(xiàn)生產(chǎn)全生命周期管理。

4.2 建議

該系統(tǒng)正式上線運行后，能夠?qū)λ蠵LC 采集的數(shù)據(jù)進行自動采集存儲，但站庫采集對象的梳理不是特別明確，建議對站庫靜態(tài)數(shù)據(jù)進行梳理，從而確保實時數(shù)據(jù)結(jié)構(gòu)的合理性。