大數(shù)據(jù)下的數(shù)據(jù)集成研究

摘要：數(shù)字油田、智能油田的不斷建設(shè)完善，推動(dòng)著石油企業(yè)信息化建設(shè)進(jìn)入了新的階段，即大數(shù)據(jù)建設(shè)階段。為了在大數(shù)據(jù)環(huán)境中獲得一定競(jìng)爭(zhēng)優(yōu)勢(shì)，石油企業(yè)就需要對(duì)大數(shù)據(jù)技術(shù)進(jìn)行更加細(xì)致的分析，首先就要進(jìn)行數(shù)據(jù)集成。因此，本文以大數(shù)據(jù)為研究背景，分析了勝利油田數(shù)據(jù)中心數(shù)據(jù)集成現(xiàn)狀，闡述了目前數(shù)據(jù)存在的問(wèn)題，針對(duì)性地制定數(shù)據(jù)集成技術(shù)路線，通過(guò)數(shù)據(jù)集成，解決數(shù)據(jù)重復(fù)錄入，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一、統(tǒng)一管理、共享應(yīng)用。

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)集成;數(shù)據(jù)挖掘;數(shù)據(jù)中心;數(shù)據(jù)服務(wù)

前言

隨著勘探開(kāi)發(fā)的不斷深入，我國(guó)油氣行業(yè)在地質(zhì)、測(cè)井、物探、開(kāi)發(fā)等各個(gè)環(huán)節(jié)均積累了海量的數(shù)據(jù)資源，隨著油田的信息化、數(shù)字化、智能化建設(shè)，對(duì)油氣生產(chǎn)過(guò)程中積累的數(shù)據(jù)資源的分析利用也逐步展開(kāi)，油氣勘探開(kāi)發(fā)步入“大數(shù)據(jù)時(shí)代”。通過(guò)大數(shù)據(jù)挖掘，對(duì)油氣生產(chǎn)過(guò)程中各個(gè)環(huán)節(jié)的數(shù)據(jù)進(jìn)行充分的信息采集，并且對(duì)所采集到的信息進(jìn)行全方位的分析利用，進(jìn)而可以對(duì)生產(chǎn)環(huán)節(jié)中指標(biāo)的變化趨勢(shì)、工況效率、工藝流程的安全性以及成本控制等方面提出預(yù)測(cè)、預(yù)警和優(yōu)化，運(yùn)用已獲取的信息、規(guī)律、趨勢(shì)，適時(shí)調(diào)整生產(chǎn)方案和策略，達(dá)到提升油氣產(chǎn)量和效益的目的。

數(shù)據(jù)集成是數(shù)據(jù)挖掘的前提，先要對(duì)數(shù)據(jù)進(jìn)行集成，然后才能進(jìn)一步挖掘利用。數(shù)據(jù)集成和數(shù)據(jù)挖掘是一種大數(shù)據(jù)應(yīng)用，數(shù)據(jù)集成簡(jiǎn)而言之就是對(duì)數(shù)據(jù)進(jìn)行搜集，然后按照一定的規(guī)范進(jìn)行數(shù)據(jù)整理，形成分門(mén)別類(lèi)的數(shù)據(jù)信息。數(shù)據(jù)挖掘是對(duì)集成的數(shù)據(jù)進(jìn)行讀取與分析，發(fā)現(xiàn)數(shù)據(jù)背后隱藏的更深層次的信息。

1 勝利油田數(shù)據(jù)中心數(shù)據(jù)集成概述

數(shù)據(jù)中心運(yùn)用面向?qū)ο蟮募夹g(shù)方法，對(duì)數(shù)據(jù)的采集、存儲(chǔ)、管理和服務(wù)進(jìn)行了規(guī)范的流程梳理和關(guān)鍵技術(shù)攻關(guān)，建立了“標(biāo)準(zhǔn)統(tǒng)一、上下一致、結(jié)構(gòu)合理、安全可靠”的管理模式，規(guī)劃、設(shè)計(jì)了企業(yè)級(jí)數(shù)據(jù)管理體系，為油田實(shí)現(xiàn)數(shù)據(jù)—信息—知識(shí)的數(shù)據(jù)價(jià)值鏈管理提供了技術(shù)保障。

數(shù)據(jù)集成就是為異構(gòu)數(shù)據(jù)交流提供支撐工具，能夠?yàn)樾畔⒔换ズ凸蚕硖峁┲С?。?duì)信息系統(tǒng)進(jìn)行集成，需要實(shí)現(xiàn)最基本的集成，即數(shù)據(jù)集成。在數(shù)據(jù)集成基礎(chǔ)上，才能對(duì)系統(tǒng)各種數(shù)據(jù)進(jìn)行加工整理，對(duì)數(shù)據(jù)規(guī)則、格式等進(jìn)行定義。通過(guò)數(shù)據(jù)集成，能夠解決數(shù)據(jù)重復(fù)錄入，實(shí)現(xiàn)數(shù)據(jù)及成果的標(biāo)準(zhǔn)化采集和在數(shù)據(jù)中心的統(tǒng)一管理、共享應(yīng)用。

2 目前數(shù)據(jù)存在的問(wèn)題

由于各應(yīng)用系統(tǒng)單獨(dú)采集、獨(dú)立建庫(kù)，缺乏統(tǒng)一規(guī)劃、整體設(shè)計(jì)，在不同程度上存在著數(shù)據(jù)采集標(biāo)準(zhǔn)不統(tǒng)一、采集不全、編碼不完善等問(wèn)題，致使標(biāo)準(zhǔn)不一致、數(shù)據(jù)一致性差、冗余高，給跨應(yīng)用系統(tǒng)、跨專(zhuān)業(yè)、跨部門(mén)的綜合應(yīng)用帶來(lái)了困難。具體分為以下四類(lèi)問(wèn)題：

①用戶(hù)在信息系統(tǒng)應(yīng)用中，統(tǒng)一數(shù)據(jù)需要在不同系統(tǒng)中多次錄入，導(dǎo)致重復(fù)操作;

②系統(tǒng)之間需要共享的數(shù)據(jù)未實(shí)現(xiàn)集成，導(dǎo)致用戶(hù)手工線下轉(zhuǎn)換、辦理業(yè)務(wù);

③統(tǒng)一數(shù)據(jù)，不同崗位都在采集，源頭不唯一，導(dǎo)致數(shù)據(jù)冗余、數(shù)據(jù)一致性無(wú)法保證。

④系統(tǒng)之間統(tǒng)一數(shù)據(jù)的分類(lèi)標(biāo)準(zhǔn)不統(tǒng)一，編碼不完善，不對(duì)應(yīng)。

數(shù)據(jù)集成的過(guò)程中就是要解決數(shù)據(jù)重復(fù)錄入、不能共享、唯一性不能保證等問(wèn)題。還需要做到：

①需要提升多源異構(gòu)數(shù)據(jù)管理能力：目前對(duì)分散管理的文檔、圖件數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、音視頻、體數(shù)據(jù)等尚沒(méi)有建立有效的管理體系，需要增加直觀、簡(jiǎn)便的線上管理手段，將數(shù)據(jù)進(jìn)行資產(chǎn)管理，進(jìn)一步支撐數(shù)據(jù)挖掘，實(shí)現(xiàn)數(shù)據(jù)增值。

②需要提升應(yīng)用庫(kù)數(shù)據(jù)共享能力：目前應(yīng)用系統(tǒng)產(chǎn)生的數(shù)據(jù)都分散的存儲(chǔ)在各應(yīng)用庫(kù)，沒(méi)有實(shí)現(xiàn)集中管理，數(shù)據(jù)共享困難，需要提升數(shù)據(jù)管理范圍，將應(yīng)用庫(kù)數(shù)據(jù)納入數(shù)據(jù)湖統(tǒng)一存儲(chǔ)、管理。

③需要提升數(shù)據(jù)資源的統(tǒng)一管控能力和服務(wù)能力：需要提升主數(shù)據(jù)和元數(shù)據(jù)管理能力，滿足業(yè)務(wù)應(yīng)用和大數(shù)據(jù)分析對(duì)于跨業(yè)務(wù)協(xié)同及數(shù)據(jù)朔源的需求;需要提升數(shù)據(jù)服務(wù)能力，滿足業(yè)務(wù)變化對(duì)數(shù)據(jù)的多變需求和性能彈性變化需求。

3 數(shù)據(jù)集成技術(shù)路線

基于數(shù)據(jù)中心：數(shù)據(jù)統(tǒng)一進(jìn)入數(shù)據(jù)中心，通過(guò)數(shù)據(jù)中心數(shù)據(jù)服務(wù)集成;按照數(shù)據(jù)集成分析、數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)匯集、數(shù)據(jù)服務(wù)共享四大步驟，參照數(shù)據(jù)集成技術(shù)規(guī)范進(jìn)行數(shù)據(jù)集成實(shí)施。

（1）數(shù)據(jù)集成分析

通過(guò)數(shù)據(jù)集成需求，結(jié)合業(yè)務(wù)情況分析數(shù)據(jù)的集成關(guān)系，分析系統(tǒng)數(shù)據(jù)基礎(chǔ)情況，同時(shí)分析具體數(shù)據(jù)項(xiàng)，并結(jié)合數(shù)據(jù)中心，確定數(shù)據(jù)集成方案，明確數(shù)據(jù)服務(wù)模式。

（2）數(shù)據(jù)模型設(shè)計(jì)

通過(guò)對(duì)集成業(yè)務(wù)的分析，結(jié)合主數(shù)據(jù)、數(shù)據(jù)維度、數(shù)據(jù)標(biāo)準(zhǔn)等構(gòu)建統(tǒng)一的數(shù)據(jù)模型。

（3）數(shù)據(jù)匯集

基于數(shù)據(jù)中心，實(shí)現(xiàn)數(shù)據(jù)集中，通過(guò)數(shù)據(jù)服務(wù)或者ETL工具，基于統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，將數(shù)據(jù)匯集至數(shù)據(jù)中心。

（4）數(shù)據(jù)服務(wù)共享

擴(kuò)展數(shù)據(jù)服務(wù)，實(shí)現(xiàn)服務(wù)接口的動(dòng)態(tài)定制和解析，標(biāo)準(zhǔn)化的輸入和輸出，滿足業(yè)務(wù)應(yīng)用的復(fù)雜的數(shù)據(jù)服務(wù)接口要求，通過(guò)集成系統(tǒng)改造，實(shí)現(xiàn)數(shù)據(jù)共享。

統(tǒng)一管理數(shù)據(jù)資源，系統(tǒng)進(jìn)行數(shù)據(jù)集成時(shí)通過(guò)統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄找到數(shù)據(jù)來(lái)源，通過(guò)數(shù)據(jù)中心或系統(tǒng)接口的方式實(shí)現(xiàn)數(shù)據(jù)的集成。

基于數(shù)據(jù)中心提供數(shù)據(jù)服務(wù)支持，在現(xiàn)有服務(wù)方式的基礎(chǔ)上，擴(kuò)展數(shù)據(jù)服務(wù)能力：

1）對(duì)上云應(yīng)用，構(gòu)建基礎(chǔ)數(shù)據(jù)服務(wù)、主題數(shù)據(jù)服務(wù)、應(yīng)用數(shù)據(jù)服務(wù)微服務(wù)群，實(shí)現(xiàn)數(shù)據(jù)服務(wù)靈活部署和快速擴(kuò)展。

2）對(duì)未上云傳統(tǒng)應(yīng)用，沿用原有數(shù)據(jù)推送、數(shù)據(jù)投影、數(shù)據(jù)接口等服務(wù)方式，實(shí)現(xiàn)原有應(yīng)用的平滑移植。

3）對(duì)大數(shù)據(jù)應(yīng)用，通過(guò)數(shù)據(jù)服務(wù)引擎，實(shí)現(xiàn)在線數(shù)據(jù)實(shí)時(shí)處理和離線數(shù)據(jù)分析挖掘，支撐上端大數(shù)據(jù)應(yīng)用。

對(duì)于基于數(shù)據(jù)中心的應(yīng)用，充分利用數(shù)據(jù)中心的數(shù)據(jù)共享功能，實(shí)現(xiàn)系統(tǒng)間的數(shù)據(jù)貫通：

1）集成系統(tǒng)：按模塊集成到平臺(tái)，以數(shù)據(jù)服務(wù)的方式從數(shù)據(jù)中心獲取數(shù)據(jù)，產(chǎn)生的成果數(shù)據(jù)同步回存數(shù)據(jù)中心。

2）統(tǒng)建系統(tǒng)、專(zhuān)業(yè)軟件：無(wú)法按模塊集成，以數(shù)據(jù)接口的方式從數(shù)據(jù)中心提供所需數(shù)據(jù)。

4 結(jié)束語(yǔ)

通過(guò)數(shù)據(jù)集成，將各應(yīng)用系統(tǒng)的底層數(shù)據(jù)打通，完成全局油藏勘探開(kāi)發(fā)、生產(chǎn)運(yùn)行、經(jīng)營(yíng)管理等相關(guān)的數(shù)據(jù)資源管理，實(shí)現(xiàn)數(shù)據(jù)融合、互聯(lián)互通、數(shù)據(jù)一致，完善了數(shù)據(jù)中心的建設(shè)，提升了數(shù)據(jù)中心的服務(wù)能力，解決了數(shù)據(jù)重復(fù)錄入、不能共享、唯一性不能保證的問(wèn)題，支撐了跨業(yè)務(wù)的數(shù)據(jù)聯(lián)動(dòng)以及基于數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)協(xié)同，為下一步大數(shù)據(jù)挖掘奠定了基礎(chǔ)。

參考文獻(xiàn)

[1]劉彬，劉凱.關(guān)于信息系統(tǒng)集成與數(shù)據(jù)集成的策略探討[J].電子質(zhì)量，2018（9）：58-61.

[2]趙磊.信息系統(tǒng)集成與數(shù)據(jù)集成策略應(yīng)用研究[J].科技風(fēng)，2018（26）：246.

[3]林小村，馬玉林，翁小云.數(shù)據(jù)中心建設(shè)與運(yùn)行管理[M].北京：科學(xué)出版社，2011：5.

[4]孟小峰，馬如霞，馬友忠等譯.數(shù)據(jù)集成原理[M].北京：機(jī)械工業(yè)出版社，2014：201-204.

作者簡(jiǎn)介

楊琴琴，2005年畢業(yè)于濟(jì)南大學(xué)信控學(xué)院電子信息科學(xué)與技術(shù)專(zhuān)業(yè)，中國(guó)石化集團(tuán)勝利石油管理局有限公司信息化技術(shù)服務(wù)中心數(shù)據(jù)管理崗，從事數(shù)據(jù)運(yùn)維、數(shù)據(jù)應(yīng)用、數(shù)據(jù)治理等方面工作。