大數(shù)據(jù)技術(shù)在石油石化企業(yè)生產(chǎn)經(jīng)營管理中的應(yīng)用路徑探討

劉倩 閻君 杜國敏 徐舜華 王進(jìn)

（1.中國石油天然氣股份有限公司規(guī)劃總院；2.中國石油國際事業(yè)有限公司）

0 引言

隨著石油石化企業(yè)自動化與信息化建設(shè)的不斷發(fā)展，以 SCADA（Supervisory Control And Data Acquisition，數(shù)據(jù)采集與監(jiān)控系統(tǒng)）系統(tǒng)為代表的自控系統(tǒng)和以ERP（Enterprise Resource Planning，企業(yè)資源計劃）系統(tǒng)為代表的信息系統(tǒng)得到廣泛應(yīng)用。這些系統(tǒng)的建立和應(yīng)用將企業(yè)從上游勘探、開發(fā)到下游煉化、銷售所產(chǎn)生的大量生產(chǎn)數(shù)據(jù)和管理數(shù)據(jù)積累起來，但是，這些海量數(shù)據(jù)獨(dú)立存在于各信息系統(tǒng)和數(shù)據(jù)庫之中，并沒有得到很好的共享和銜接，數(shù)據(jù)分析和利用也存在不足，而且一些具有潛在價值的外部信息尚未被充分采集和綜合利用，越來越不適應(yīng)石油石化企業(yè)上下游統(tǒng)籌協(xié)調(diào)發(fā)展、快速有效應(yīng)對市場變化的業(yè)務(wù)需要。

大數(shù)據(jù)技術(shù)是讓花費(fèi)巨大人力、物力和財力獲得的數(shù)據(jù)充分燃燒，讓數(shù)據(jù)發(fā)音，讓數(shù)據(jù)說話［1］。將大數(shù)據(jù)技術(shù)應(yīng)用到石油石化企業(yè)的生產(chǎn)經(jīng)營環(huán)節(jié)，充分利用自控系統(tǒng)和信息系統(tǒng)獲取到的數(shù)據(jù)，對現(xiàn)有未開發(fā)或未利用的數(shù)據(jù)資產(chǎn)重新認(rèn)識，從大數(shù)據(jù)資源中不斷挖掘更多的規(guī)律和趨勢，協(xié)助企業(yè)進(jìn)行生產(chǎn)經(jīng)營決策分析，指導(dǎo)生產(chǎn)經(jīng)營策略適時調(diào)整，對提高企業(yè)的核心競爭力和提升效益具有重要作用。

1 典型項目效果分析

1.1 生產(chǎn)經(jīng)營數(shù)據(jù)類別

綜合數(shù)據(jù)類型和數(shù)據(jù)來源，石油石化企業(yè)的生產(chǎn)經(jīng)營數(shù)據(jù)主要分為宏觀經(jīng)濟(jì)數(shù)據(jù)、市場數(shù)據(jù)、價格數(shù)據(jù)、財務(wù)數(shù)據(jù)、生產(chǎn)數(shù)據(jù)和成果數(shù)據(jù)6大類，具體情況見表1。

表1 生產(chǎn)經(jīng)營數(shù)據(jù)類別

1.2 生產(chǎn)經(jīng)營數(shù)據(jù)特點(diǎn)

生產(chǎn)經(jīng)營數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)來源多、數(shù)據(jù)結(jié)構(gòu)復(fù)雜的特點(diǎn)，與大數(shù)據(jù)概念相符。

1）數(shù)據(jù)量大

石油石化企業(yè)長期從事勘探開發(fā)、煉油化工、油氣儲運(yùn)和銷售等業(yè)務(wù)，屬于數(shù)據(jù)密集型行業(yè)，歷史上已經(jīng)累積了海量的生產(chǎn)數(shù)據(jù)，并隨著時間的推移繼續(xù)呈指數(shù)級增長。同時，隨著實時監(jiān)測系統(tǒng)的大量應(yīng)用，數(shù)據(jù)生成的顆粒度和維度不斷精細(xì)化；而隨著一些計劃信息系統(tǒng)和優(yōu)化系統(tǒng)的應(yīng)用，又將不斷產(chǎn)生著大量的管理類數(shù)據(jù)，加之移動互聯(lián)網(wǎng)絡(luò)、智能終端的廣泛普及，生產(chǎn)經(jīng)營數(shù)據(jù)的體量在不斷擴(kuò)展。

2）數(shù)據(jù)來源多

石油石化企業(yè)規(guī)模體量大、業(yè)務(wù)鏈條長，這決定了其生產(chǎn)經(jīng)營數(shù)據(jù)來源較多：既有來源于企業(yè)內(nèi)部眾多信息系統(tǒng)的海量經(jīng)營和財務(wù)等數(shù)據(jù)，又有來源于外部網(wǎng)站或系統(tǒng)的行業(yè)相關(guān)數(shù)據(jù)，還有企業(yè)眾多管理部門在日常業(yè)務(wù)過程中形成的各類數(shù)據(jù)。如何打破這些數(shù)據(jù)源在行政和管理上的壁壘，實現(xiàn)高效集成，是大數(shù)據(jù)技術(shù)在石油石化企業(yè)生產(chǎn)經(jīng)營管理中有效應(yīng)用的關(guān)鍵。

3）數(shù)據(jù)結(jié)構(gòu)復(fù)雜

生產(chǎn)經(jīng)營數(shù)據(jù)涉及的數(shù)據(jù)結(jié)構(gòu)復(fù)雜：既有來源于企業(yè)已建信息系統(tǒng)的標(biāo)準(zhǔn)結(jié)構(gòu)化數(shù)據(jù)，又有來源于日常業(yè)務(wù)過程的電子表格、報告、成果文檔等半結(jié)構(gòu)化數(shù)據(jù)，以及來源于企業(yè)內(nèi)外部和互聯(lián)網(wǎng)的一些非結(jié)構(gòu)化數(shù)據(jù)。

1.3 數(shù)據(jù)管理現(xiàn)狀

1）對生產(chǎn)經(jīng)營數(shù)據(jù)的管理手段有待提升

隨著時間推移，生產(chǎn)經(jīng)營數(shù)據(jù)呈現(xiàn)數(shù)據(jù)量龐大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)來源多的特點(diǎn)，石油石化企業(yè)傳統(tǒng)的數(shù)據(jù)庫存儲能力和計算能力已難以應(yīng)對體量龐大、結(jié)構(gòu)復(fù)雜、來源眾多的生產(chǎn)經(jīng)營數(shù)據(jù)，尤其是難以適應(yīng)當(dāng)前大數(shù)據(jù)帶來的變化。

2）生產(chǎn)經(jīng)營各類數(shù)據(jù)之間共享和銜接不足

目前，生產(chǎn)經(jīng)營數(shù)據(jù)來源渠道較多，生產(chǎn)數(shù)據(jù)、內(nèi)部價格數(shù)據(jù)、財務(wù)數(shù)據(jù)等分散于企業(yè)內(nèi)部各獨(dú)立信息系統(tǒng)之中，各層次的數(shù)據(jù)共享程度有限；宏觀經(jīng)濟(jì)數(shù)據(jù)、市場數(shù)據(jù)、外部價格數(shù)據(jù)等來源于互聯(lián)網(wǎng)的有價值數(shù)據(jù)，大部分石油石化企業(yè)尚未實現(xiàn)自動化與常態(tài)化的數(shù)據(jù)獲取，生產(chǎn)經(jīng)營分析和決策需要的各類數(shù)據(jù)之間共享和銜接不足。

3）對生產(chǎn)經(jīng)營數(shù)據(jù)深入挖掘和利用不充分

雖然石油石化企業(yè)傳統(tǒng)的信息系統(tǒng)已經(jīng)能夠?qū)崿F(xiàn)對系統(tǒng)內(nèi)生產(chǎn)數(shù)據(jù)，經(jīng)營數(shù)據(jù)的分類、匯總、統(tǒng)計和綜合分析利用，但是利用大數(shù)據(jù)技術(shù)挖掘數(shù)據(jù)規(guī)律和趨勢的比較少見，尚未對半結(jié)構(gòu)化和非結(jié)構(gòu)化等復(fù)雜類型的數(shù)據(jù)進(jìn)行采集和深度分析，尚未提供一個方便快捷的數(shù)據(jù)分析平臺對企業(yè)生產(chǎn)經(jīng)營全鏈條數(shù)據(jù)進(jìn)行快速有效的分析與應(yīng)用。同時，企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)向信息、知識轉(zhuǎn)化方面仍存在較大不足。

2 大數(shù)據(jù)技術(shù)在石油石化企業(yè)生產(chǎn)經(jīng)營管理中的應(yīng)用

2.1 大數(shù)據(jù)技術(shù)應(yīng)用必要性

2.1.1 業(yè)務(wù)發(fā)展需求

“十三五”及未來一段時間，石油石化企業(yè)發(fā)展面臨的外部環(huán)境具有較大不確定性，隨著國際油價的持續(xù)低迷，如何利用大數(shù)據(jù)技術(shù)，準(zhǔn)確捕捉市場信息，及時根據(jù)市場變化調(diào)整企業(yè)生產(chǎn)經(jīng)營方案，是企業(yè)掌握生產(chǎn)經(jīng)營主動權(quán)、提升市場競爭力的關(guān)鍵性問題。

同時在“互聯(lián)網(wǎng)+能源行業(yè)”發(fā)展模式的持續(xù)發(fā)酵下，數(shù)據(jù)已被視為石油石化企業(yè)的核心資產(chǎn)，數(shù)據(jù)管理與分析已成為企業(yè)創(chuàng)新發(fā)展的重要手段，數(shù)據(jù)分析能力正在成為石油行業(yè)的核心競爭力。利用大數(shù)據(jù)技術(shù)來提升企業(yè)市場快速響應(yīng)能力、提高生產(chǎn)經(jīng)營管理和運(yùn)作水平的必要性和緊迫性日益凸顯。

2.1.2 應(yīng)用大數(shù)據(jù)技術(shù)的意義

1）發(fā)現(xiàn)和解決企業(yè)生產(chǎn)經(jīng)營實際問題

企業(yè)應(yīng)用大數(shù)據(jù)技術(shù)，有利于揭示隱藏在數(shù)據(jù)中的經(jīng)營規(guī)律與特點(diǎn)，有利于生產(chǎn)經(jīng)營管理人員和決策支持研究人員及時發(fā)現(xiàn)生產(chǎn)經(jīng)營中存在的問題、瓶頸和矛盾，通過分析問題、解決問題，適時調(diào)整生產(chǎn)經(jīng)營方案，提出相應(yīng)的策略建議，從而實現(xiàn)企業(yè)上下游協(xié)調(diào)發(fā)展和整體效益的最大化。

2）為企業(yè)生產(chǎn)經(jīng)營決策提供依據(jù)

企業(yè)內(nèi)部生產(chǎn)經(jīng)營數(shù)據(jù)、外部宏觀經(jīng)濟(jì)數(shù)據(jù)、市場數(shù)據(jù)、價格數(shù)據(jù)，均是企業(yè)進(jìn)行生產(chǎn)經(jīng)營分析和生產(chǎn)經(jīng)營策略制定的重要基礎(chǔ)。利用大數(shù)據(jù)技術(shù)，實現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)等復(fù)雜類型數(shù)據(jù)的收集和分析利用，提升各類數(shù)據(jù)的資產(chǎn)化價值，從而為生產(chǎn)經(jīng)營決策提供更加全面和準(zhǔn)確的依據(jù)。

3）提升企業(yè)數(shù)據(jù)管理能力和信息化水平

利用大數(shù)據(jù)技術(shù)，可以滿足石油石化企業(yè)對于計算能力和數(shù)據(jù)處理能力的高需求，實現(xiàn)計算能力的靈活可伸縮性，實現(xiàn)對計算能力和資源更好的管理，從而提升企業(yè)數(shù)據(jù)管理和利用的效能，提高企業(yè)信息化建設(shè)水平。

2.2 大數(shù)據(jù)技術(shù)應(yīng)用場景

就生產(chǎn)經(jīng)營管理來說，大數(shù)據(jù)技術(shù)在石油石化企業(yè)的應(yīng)用場景可以分為兩個層次：一是總部層面業(yè)務(wù)鏈整體優(yōu)化的應(yīng)用，二是在企業(yè)上中下游各項業(yè)務(wù)領(lǐng)域的專業(yè)應(yīng)用。

2.2.1 總部層面的應(yīng)用

對于國有大型石油石化企業(yè)而言，大數(shù)據(jù)技術(shù)在總部層面的應(yīng)用更能體現(xiàn)大數(shù)據(jù)技術(shù)本身的優(yōu)越性和必要性。主要應(yīng)用場景包括：業(yè)務(wù)鏈上中下游一體化優(yōu)化、國內(nèi)國外市場統(tǒng)籌優(yōu)化、不同油價情景的資源配置優(yōu)化、不同工況情景的生產(chǎn)方案優(yōu)化等。

2.2.2 主要業(yè)務(wù)領(lǐng)域的應(yīng)用

1）在勘探開發(fā)領(lǐng)域

大數(shù)據(jù)技術(shù)在勘探開發(fā)領(lǐng)域可用于產(chǎn)量預(yù)測分析、勘探開發(fā)分析、地震數(shù)據(jù)分析、鉆井分析、提高采收率分析、油氣完整性分析等［2］。

2）在煉油化工領(lǐng)域

大數(shù)據(jù)技術(shù)在煉油化工領(lǐng)域可用于生產(chǎn)運(yùn)行分析與優(yōu)化、能效預(yù)測分析與優(yōu)化、煉化裝置運(yùn)行分析等。

3）在銷售領(lǐng)域

大數(shù)據(jù)技術(shù)在銷售領(lǐng)域可用于市場需求預(yù)測、油價預(yù)測、物流優(yōu)化、銷售分析、營銷活動分析、客戶分析、關(guān)聯(lián)商品分析等。

2.3 大數(shù)據(jù)技術(shù)應(yīng)用路徑

大數(shù)據(jù)技術(shù)在石油石化企業(yè)生產(chǎn)經(jīng)營管理中的應(yīng)用路徑，主要包括以下三方面：大數(shù)據(jù)存儲技術(shù)、大數(shù)據(jù)并行處理技術(shù)、面向業(yè)務(wù)的數(shù)據(jù)分析技術(shù)。

1）大數(shù)據(jù)存儲技術(shù)

隨著企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)量的日益龐大，常常存在對數(shù)據(jù)庫高并發(fā)讀寫的需求、海量數(shù)據(jù)高效率存儲和訪問的需求、數(shù)據(jù)庫高可擴(kuò)展性和高可用性的需求、海量異源異構(gòu)數(shù)據(jù)的存儲需求，而石油石化企業(yè)現(xiàn)有的數(shù)據(jù)存儲方式已無法滿足以上需要。將海量的數(shù)據(jù)低成本、低能耗、高可靠性的進(jìn)行存儲是大數(shù)據(jù)面臨的嚴(yán)峻挑戰(zhàn)。

基于工業(yè)大數(shù)據(jù)云平臺的分布式數(shù)據(jù)集群存儲技術(shù)，能夠靈活擴(kuò)展數(shù)據(jù)節(jié)點(diǎn)，便捷地設(shè)置數(shù)據(jù)副本配置策略，為集群環(huán)境提供高擴(kuò)展和高可用的容量存儲能力，大幅降低海量數(shù)據(jù)應(yīng)用的軟硬件成本。該技術(shù)支持海量結(jié)構(gòu)化數(shù)據(jù)的快速檢索和非結(jié)構(gòu)化數(shù)據(jù)的存儲應(yīng)用，能夠保障查詢應(yīng)用的快速響應(yīng)，提升各類數(shù)據(jù)的訪問和處理速度，保障業(yè)務(wù)數(shù)據(jù)和優(yōu)化成果的快速訪問。

HDFS（Hadoop Distributed File System，分布式文件系統(tǒng)）是適合在大規(guī)模集群中存儲海量數(shù)據(jù)文件的Hadoop分布式文件系統(tǒng)，通過HDFS能夠有效滿足大數(shù)據(jù)存儲要求，實現(xiàn)海量數(shù)據(jù)的存儲。

2）大數(shù)據(jù)并行處理技術(shù)

企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)規(guī)模大且分布在多個信息系統(tǒng)的多臺服務(wù)器上，傳統(tǒng)的數(shù)據(jù)處理方法效率低，需要合適的算法和高性能計算能力才能為大數(shù)據(jù)分析帶來有意義的結(jié)果，所以需要一種能在多臺服務(wù)器上并行計算的框架。

MapReduce（映射規(guī)約）是一個高效的對海量數(shù)據(jù)進(jìn)行分布式計算的模型框架，它可以并行處理超大規(guī)模數(shù)據(jù)量，很容易將計算擴(kuò)展到多臺機(jī)器上并行進(jìn)行，提高計算效率。利用MapReduce計算框架，可以實現(xiàn)海量數(shù)據(jù)的并行處理和復(fù)雜計算。

3）面向業(yè)務(wù)的數(shù)據(jù)分析

通過集成統(tǒng)計分析工具和數(shù)據(jù)挖掘工具，可實現(xiàn)對生產(chǎn)經(jīng)營領(lǐng)域的海量數(shù)據(jù)的深入挖掘和分析。常用的統(tǒng)計分析工具有Hive，常用的數(shù)據(jù)挖掘工具有 Mahout。

2.4 企業(yè)大數(shù)據(jù)應(yīng)用架構(gòu)設(shè)計

石油石化企業(yè)構(gòu)建大數(shù)據(jù)應(yīng)用架構(gòu)可以包括三個層次：大數(shù)據(jù)集成與管理、大數(shù)據(jù)分析、大數(shù)據(jù)應(yīng)用與展示。

2.4.1 建立統(tǒng)一的生產(chǎn)經(jīng)營數(shù)據(jù)管理平臺

充分利用企業(yè)已建的各類信息系統(tǒng)數(shù)據(jù)集成成果，進(jìn)一步擴(kuò)展集成宏觀經(jīng)濟(jì)、市場、價格及產(chǎn)業(yè)政策等外部數(shù)據(jù)，搭建覆蓋全面、高效可靠、集成共享的生產(chǎn)經(jīng)營數(shù)據(jù)管理平臺，為生產(chǎn)經(jīng)營決策提供常態(tài)化、穩(wěn)定的數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)管理平臺一般包括數(shù)據(jù)集成模塊和數(shù)據(jù)存儲管理模塊。

1）數(shù)據(jù)集成模塊

數(shù)據(jù)集成模塊應(yīng)當(dāng)包括8大功能：數(shù)據(jù)源接口管理、數(shù)據(jù)映射管理、數(shù)據(jù)監(jiān)控管理、數(shù)據(jù)編碼轉(zhuǎn)換管理、任務(wù)調(diào)度管理、數(shù)據(jù)調(diào)整管理、數(shù)據(jù)供給管理和平臺管理。

數(shù)據(jù)集成模塊能夠提供內(nèi)外部多類數(shù)據(jù)實時抽取、采集調(diào)度、清洗管理等功能，為數(shù)據(jù)實時采集和入庫提供保障。根據(jù)數(shù)據(jù)來源和數(shù)據(jù)形式的不同，可采取多種采集方式，主要包括集成接口方式、網(wǎng)絡(luò)抓取方式和手工填報錄入三種。

2）數(shù)據(jù)存儲管理模塊

采用工業(yè)大數(shù)據(jù)云平臺的分布式數(shù)據(jù)集群存儲技術(shù)，集成各類結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，提供海量存儲環(huán)境和實時應(yīng)用能力。同時建立6大類數(shù)據(jù)庫，即宏觀經(jīng)濟(jì)數(shù)據(jù)庫、市場數(shù)據(jù)庫、價格數(shù)據(jù)庫、生產(chǎn)數(shù)據(jù)庫、財務(wù)數(shù)據(jù)庫和成果數(shù)據(jù)庫，實現(xiàn)對海量數(shù)據(jù)的分類管理。

2.4.2 建立統(tǒng)一的數(shù)據(jù)分析平臺

采用工業(yè)大數(shù)據(jù)云化技術(shù)，構(gòu)建滿足企業(yè)生產(chǎn)經(jīng)營海量數(shù)據(jù)大規(guī)模并行計算的軟件系統(tǒng)，利用MapReduce計算框架實現(xiàn)對各類數(shù)據(jù)的并行處理；對生產(chǎn)經(jīng)營相關(guān)應(yīng)用軟件和分析工具進(jìn)行整合，利用Hive、Mahout等工具實現(xiàn)對各類數(shù)據(jù)的多維相關(guān)性分析；生產(chǎn)經(jīng)營人員可依據(jù)需求選取相對應(yīng)的專業(yè)應(yīng)用軟件和工具進(jìn)行數(shù)據(jù)分析，從而搭建大數(shù)據(jù)分析環(huán)境，便捷地實現(xiàn)數(shù)據(jù)加載、軟件及工具應(yīng)用、數(shù)據(jù)的深入挖掘。

2.4.3 建立統(tǒng)一的應(yīng)用展示平臺

數(shù)據(jù)只有通過動態(tài)展示，才能更好地發(fā)揮他的價值。應(yīng)用多媒體交互技術(shù)，通過大屏幕、桌面、移動設(shè)備等媒介，實現(xiàn)各類生產(chǎn)經(jīng)營數(shù)據(jù)，分析成果的在線查詢、可視化呈現(xiàn)與發(fā)布，輔助生產(chǎn)經(jīng)營管理人員快速決策，為生產(chǎn)經(jīng)營管理人員提供統(tǒng)一的生產(chǎn)經(jīng)營應(yīng)用展示平臺。

3 結(jié)束語

運(yùn)用大數(shù)據(jù)技術(shù)，實現(xiàn)對石油石化企業(yè)海量結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化生產(chǎn)經(jīng)營數(shù)據(jù)的統(tǒng)一采集、處理、存儲、分析、應(yīng)用和共享，并建立統(tǒng)一的生產(chǎn)經(jīng)營數(shù)據(jù)管理平臺、大數(shù)據(jù)分析平臺和應(yīng)用展示平臺，是將大數(shù)據(jù)技術(shù)應(yīng)用到石油石化企業(yè)生產(chǎn)經(jīng)營管理中的一種實踐，對石油石化企業(yè)不斷探索實現(xiàn)大數(shù)據(jù)技術(shù)的應(yīng)用具有借鑒意義。