大數(shù)據(jù)技術背景下石油數(shù)字化平臺設計

姚爽

（中國海洋石油國際有限公司 北京市 100028）

目前，隨著大數(shù)據(jù)技術的崛起，社會各領域?qū)τ谄浼夹g依賴性愈發(fā)強烈，尤其是它顛覆了傳統(tǒng)的生產(chǎn)管理模式，極大地提升了管理的便捷性和質(zhì)量效率，對于社會的重要性不言而喻。如今，隨著石油產(chǎn)品需求的急劇增加，更應利用大數(shù)據(jù)技術優(yōu)勢，形成科學、合理、規(guī)范的數(shù)字化平臺，強化信息流通及數(shù)據(jù)應用，挖掘大數(shù)據(jù)技術的深刻價值，從根本上實現(xiàn)動作效率及決策質(zhì)量的升級。石油工業(yè)數(shù)字化平臺設計，通常以實現(xiàn)業(yè)務融合管理為主，以數(shù)據(jù)指導業(yè)務為主要模式，通過多個業(yè)務板塊的串聯(lián)及融合，持續(xù)改善和創(chuàng)新石油管理體系，建立更具創(chuàng)新優(yōu)勢的數(shù)字化平臺。

1 大數(shù)據(jù)技術在石油工業(yè)的應用背景

大數(shù)據(jù)屬于信息時代的產(chǎn)物，要想發(fā)揮其中所蘊含的巨大技術能量，則必須要配合科學的處理模式，以此來彰顯其極強的決策力、洞察力及管理力，將大數(shù)據(jù)信息快速轉(zhuǎn)化為海量、高效、多樣的信息資產(chǎn)。同時，大數(shù)據(jù)技術的戰(zhàn)略意義并不在于過度掌握數(shù)據(jù)信息，而是能夠從中挖掘出其價值，再實施專業(yè)化的數(shù)據(jù)信息處理，賦予企業(yè)數(shù)字化平臺的信息加工能力，并通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。事實上，依據(jù)目前的發(fā)展需求及形勢，石油工業(yè)在面臨復雜的環(huán)境時，對于大數(shù)據(jù)技術下的石油數(shù)字化平臺，具有較強的依賴性。

從根本上看，石油工業(yè)仍然屬于傳統(tǒng)生產(chǎn)型行業(yè)，一方面是隨著時代的變遷，社會對于石油工業(yè)的需求也在持續(xù)發(fā)生著改變，如從早期的照明、取暖等，到日常生產(chǎn)中的化學纖維、化工產(chǎn)品，再到如今的交通運輸?shù)绒D(zhuǎn)變，無形推動著管理的變革。另一方面，隨著油氣勘探與開發(fā)水平的變化，由早期的人工勘察到聲光電磁等技術應用，再到數(shù)字化二維、三維模擬技術，實現(xiàn)了技術層面的革新?，F(xiàn)階段，利益于大數(shù)據(jù)技術的誕生和應用，逐步構建了“大智移云”的技術融合形態(tài)，石油數(shù)字化平臺更具備了應用價值，通過數(shù)字化及智能化的創(chuàng)新，以推動我國石油行業(yè)的高質(zhì)量發(fā)展。

2 大數(shù)據(jù)技術下石油數(shù)字化平臺的基本特點

石油數(shù)字化平臺的開發(fā)及應用價值在于，能夠有效提升石油工業(yè)的管理效能，適應大數(shù)據(jù)技術的時代特征，逐步通過技術的優(yōu)化與應用，推動管理與需求上的平衡。具體而言，石油數(shù)字化平臺應具備如下特點：

（1）分類管理結(jié)構。石油工業(yè)所涉及的管理范圍眾多，因此需要實施分類管理結(jié)構，以滿足不同的管理需求，在數(shù)字化平臺的構建中同樣要通過網(wǎng)絡設備、服務器、數(shù)據(jù)庫及應用軟件等，通過大數(shù)據(jù)技術進行銜接和設計，以解決好平臺的功能應用問題。

（2）即時性與高效性。大數(shù)據(jù)技術的優(yōu)勢是能夠提升管理效率，解決傳統(tǒng)管理模式中缺乏時效性和便捷性的問題，同時通過各類創(chuàng)新功能的融入，極大地優(yōu)化管理渠道和能力，實現(xiàn)各類管理資源的分配與整合，實現(xiàn)科學合理的監(jiān)控及管理。

（3）靈活性和擴展性。伴隨石油業(yè)務的發(fā)展，大數(shù)據(jù)技術將發(fā)揮著重要的銜接功能，這便要求在數(shù)字化平臺的應用中，必須要具備良好的靈活性及拓展性，以滿足不同層面和環(huán)節(jié)的工作要求，如增加與上下游廠商之間的合作平臺整合，提升大數(shù)據(jù)信息資源的挖掘，形成互聯(lián)互通、相輔相成的機制。

（4）可靠性和安全性。在網(wǎng)絡信息時代，數(shù)據(jù)信息可靠性與安全性極為重要，在數(shù)字化平臺的構建中，應當以此為基礎和重點，展現(xiàn)數(shù)據(jù)信息的管理優(yōu)勢，確保各類數(shù)據(jù)信息的安全，最大程度地發(fā)揮出數(shù)字化平臺的效能。

3 基于大數(shù)據(jù)技術的石油數(shù)字化平臺設計

3.1 石油數(shù)字化平臺的結(jié)構設計

針對于石油工業(yè)的發(fā)展特點，為適應大數(shù)據(jù)背景下的管理訴求，部分石油企業(yè)開始融入數(shù)字化平臺，如中石化所部署Hp-Openview 監(jiān)控管理系統(tǒng)等，通過管理平臺的改進和完善，使其發(fā)揮出重要的協(xié)同管理職能。通常而言，石油數(shù)字化平臺的管理主體包含硬件設備、系統(tǒng)軟件、互聯(lián)網(wǎng)及安全系統(tǒng)等，借助大數(shù)據(jù)技術構建便捷、安全、完整、高效的管理體系，以確保各個管理層面的有序運行，其基本結(jié)構框架如圖1 所示。

圖1： 石油數(shù)字化平臺結(jié)構框架

根據(jù)以上石油數(shù)字化平臺的結(jié)構看，旨在通過各業(yè)務之間的銜接，實現(xiàn)大數(shù)據(jù)基礎上的信息數(shù)據(jù)融合管理，大幅提升企業(yè)的管理效率，并實現(xiàn)管理成本的壓縮，運用相應的技術工具加以推動，達到大數(shù)據(jù)技術應用的實效。同時，基于數(shù)字化平臺結(jié)構框架的優(yōu)勢，將大幅改善傳統(tǒng)的石油系統(tǒng)平臺瓶頸，實現(xiàn)事件管理、配置管理、變更管理、服務等級管理、幫助臺管理等融合應用，依托統(tǒng)一的管理平臺及報表系統(tǒng)，極大提升管理的可操作性和便捷性，及時反饋相關的數(shù)據(jù)信息以供決策，全面提升石油數(shù)字化平臺的管理效率，使大數(shù)據(jù)技術的優(yōu)勢全面發(fā)揮，有助于石油行業(yè)的整體邁進。

3.2 石油數(shù)字化平臺的功能需求

3.2.1 監(jiān)控管理功能

監(jiān)控管理是大數(shù)據(jù)技術的關鍵所在，也是石油數(shù)字化平臺的主體之一（如圖2）。在數(shù)字化平臺的設計中，必須要賦予其突出的位置，實現(xiàn)對種類信息數(shù)據(jù)的實時監(jiān)控和管理，及時掌握石油管理信息和實際需求，進一步提升石油生產(chǎn)管理效益，不斷適應新時代背景下的管理需求，具體來說可以應涉及三個領域的監(jiān)控管理：

圖2： 平臺監(jiān)控管理

（1）網(wǎng)絡監(jiān)控。石油工業(yè)屬于龐大的能源體系，其在監(jiān)控管理中具有結(jié)構復雜的特點，因此對于數(shù)字化平臺的構建及完善需求極為迫切。在具體的功能設計上，應當以網(wǎng)絡運行狀態(tài)為核心，及時發(fā)現(xiàn)和洞察管理中存在的問題，包括網(wǎng)絡拓撲結(jié)構自動發(fā)現(xiàn)、網(wǎng)絡節(jié)點流量數(shù)據(jù)采集、網(wǎng)絡鏈路帶寬的使用情況等，以掌握數(shù)字化平臺下的管理需求。當出現(xiàn)異常情況下應具備告警功能，以幫助技術及管理人員及時發(fā)現(xiàn)和處理。

（2）服務器監(jiān)控。服務器是數(shù)字化平臺的管理中心，應根據(jù)實際需要設計事物告警、關鍵進程服務、性能數(shù)據(jù)、系統(tǒng)日志等功能，建立起全方位的運維管理機制，在實際管理中發(fā)現(xiàn)性能閾值時，能夠及時生成相關信息以反饋至管理層級。依托對服務器的有效監(jiān)控，使數(shù)字化平臺及時發(fā)揮管理作用，便于為管理者提供科學的決策依據(jù)，打造及時、高效、便捷的服務機制。

（3）數(shù)據(jù)庫監(jiān)控。目前，常用的數(shù)據(jù)庫以Sql Server 和Oracle 兩大類為主，在石油數(shù)字化平臺的構建中，均應對數(shù)據(jù)庫的內(nèi)存、I/O 性能、用戶連接數(shù)、數(shù)據(jù)庫表空間等指標實施監(jiān)控，具體可以由終端用戶、模擬用戶向互聯(lián)網(wǎng)發(fā)起訪問，通過防火墻功能、交換機數(shù)字交換、負載均衡及Web服務器，由應用服務器終端實現(xiàn)數(shù)據(jù)庫訪問，建立相對完善的管理流程，全面實現(xiàn)對數(shù)字庫的監(jiān)控，保證種類信息數(shù)據(jù)的完整，并確保數(shù)據(jù)庫應用的有效性和安全性。

3.2.2 服務流程管理功能

為滿足石油數(shù)字化平臺服務功能，應建立電子化、規(guī)范化、可視化、統(tǒng)一化的平臺體系，通過對大數(shù)據(jù)信息的挖掘和處理，以達到流程系統(tǒng)集成的目標。通常而言，實現(xiàn)各項活動環(huán)節(jié)之間的銜接，需要落實好同步監(jiān)測及聚齊式指揮，增強服務臺與用戶間的連接，提升平臺服務的質(zhì)量，降低在管理中的成本支出，具體涵蓋事件、問題、配置、變更、發(fā)布、服務級別及知識管理模塊，如圖3 所示。

圖3： 服務流程管理

根據(jù)石油數(shù)字化平臺的服務特點，數(shù)字智能挖掘?qū)儆谥匾膬?nèi)容之一，應用海量數(shù)據(jù)挖掘、分析及處理功能，能夠?qū)崿F(xiàn)服務功能的不斷優(yōu)化?；诖髷?shù)據(jù)、云計算及物聯(lián)網(wǎng)等優(yōu)質(zhì)技術，提升石油數(shù)字化平臺的服務流程優(yōu)化，符合智慧化管理的要求。在本平臺的設計框架中，重點在于數(shù)據(jù)信息的挖掘，涉及數(shù)據(jù)統(tǒng)計、模糊數(shù)學、神經(jīng)網(wǎng)絡、數(shù)據(jù)庫、粗糙集、模式識別等諸多技術，以完成石油數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計、數(shù)據(jù)存儲、智能分析和風險識別等任務。

3.2.3 配置管理數(shù)據(jù)庫功能

配置管理數(shù)據(jù)庫（CMDB）旨在通過對各類配置信息的管理，以建立集中監(jiān)控系統(tǒng)服務模型，實現(xiàn)告警事件的關聯(lián)、過濾和壓縮。在石油數(shù)字化平臺中，該功能能夠?qū)崿F(xiàn)對各類系統(tǒng)的有效支撐，增強平臺服務的可靠性和安全性。另外，實施統(tǒng)一的CMDB 能夠有助于信息的整合與修改，針對各個程序標準進行判斷，保持平臺運行的科學性。其基本結(jié)構如圖4 所示。

圖4： CMDB 基本結(jié)構

同時，CMDB 與服務流程管理之間相互關聯(lián)，通過各類數(shù)據(jù)信息的整合處理，為服務流程提供充實、準確、全面的配置數(shù)據(jù)，管理人員可以利用CMDB 數(shù)據(jù)進行問題定位，以滿足各類信息數(shù)據(jù)的需求。

3.3 數(shù)字化平臺模塊設計實現(xiàn)

3.3.1 應用數(shù)據(jù)收集與數(shù)據(jù)倉庫模塊

在石油數(shù)字化平臺的實際應用中，豐富的功能模塊是極為關鍵的支持，其中涉及海量的信息數(shù)據(jù)，為管理決策提供充足的依據(jù)。在應用數(shù)據(jù)收集與數(shù)據(jù)倉庫模塊中，系統(tǒng)功能的發(fā)揮離不開對信息的依賴，無論數(shù)據(jù)信息類型是實時數(shù)據(jù)還是離線數(shù)據(jù)，均需要由大數(shù)據(jù)平臺實施分析。如將HDFS 文件導入系統(tǒng)中，再利用歷史數(shù)據(jù)與中間結(jié)果間的銜接，從而為關聯(lián)模塊提供豐富的數(shù)據(jù)，如數(shù)據(jù)中間結(jié)果的可視化、結(jié)果的多次查看等。

具體而言，應用數(shù)據(jù)收集與數(shù)據(jù)倉庫的作用體現(xiàn)在多個方面，包括實時數(shù)據(jù)收集、油田業(yè)務結(jié)構數(shù)據(jù)收集等，并依托數(shù)據(jù)倉庫作為基礎載體，將HDFS、HBase 或Hive 納入信息管理平臺。

一方面，實時數(shù)據(jù)采集。在石油數(shù)字化平臺的運行中，將源源不斷地產(chǎn)生不同的海量數(shù)據(jù)，為實現(xiàn)數(shù)據(jù)信息的有效處理，以及改善數(shù)字化平臺的功能性，應當對所生成的日志信息加以收集處理，利用Flume 模塊實現(xiàn)日志的實時監(jiān)測，了解實時的信息數(shù)據(jù)變化，并通過數(shù)據(jù)倉庫生成相應存儲渠道，為后續(xù)的數(shù)據(jù)處理提供支持。

另一方面，結(jié)構數(shù)據(jù)采集。在石油數(shù)字化平臺應用之前，企業(yè)往往采用關系型數(shù)據(jù)庫、txt 文件或Excel 等完成數(shù)據(jù)收集工作，而在云計算模式之下，可大幅提升數(shù)據(jù)收集的實效性和精準性，在數(shù)字化平臺的應用過程中，能夠形成完整的數(shù)據(jù)收集架構，利用數(shù)據(jù)信息的快速轉(zhuǎn)化，將傳統(tǒng)的數(shù)據(jù)庫形式導入HDFS/HBase/Hive，由用戶通過Web 頁面填寫SQL 語句和數(shù)據(jù)集描述等信息，以完成相關數(shù)據(jù)的獲取和管理。

3.3.2 平臺任務管理模塊

任務管理模式的功能在于執(zhí)行用戶所創(chuàng)建的任務，由任務狀態(tài)查看、提交和取消任務、各階段數(shù)據(jù)可視化等。在石油數(shù)字化平臺的呈現(xiàn)上，通常該任務平臺由基于于Oozie 工作流調(diào)度引擎來實現(xiàn)，具體是由用戶在Web 界面操作任務請示，由JOB ID 信息向Oozie 傳遞至平臺，再調(diào)用Spark相關接口執(zhí)行任務。同時，依據(jù)用戶對任務請求的需求，可調(diào)動Backend 的Receive Offers 函數(shù)實現(xiàn)與底層YARN 資源調(diào)度系統(tǒng)交互，同時調(diào)用status Update 接口實現(xiàn)任務狀態(tài)的更新。此外，用戶還可對Spark 任務進行狀況查詢，從平臺反饋中了解任務的完成情況。

3.3.3 離線任務處理模塊

離線處理是石油數(shù)字化平臺中的重要功能模塊，主要用于滿足用戶對于歷史數(shù)據(jù)的提取和分析，在離線任務處理模塊中通常由于Spark 實現(xiàn)對RDD 算子的轉(zhuǎn)換，利用相應的數(shù)據(jù)處理算法實現(xiàn)油田數(shù)據(jù)處理。

4 基于大數(shù)據(jù)技術的石油數(shù)字化平臺發(fā)展趨勢

在大數(shù)據(jù)技術時代，各類技術應用已經(jīng)成為石油工業(yè)的必然選擇，尤其是針對于全過程管理領域，更提出了現(xiàn)高的應用需求。在未來的石油數(shù)字化平臺設計中，為適應全新的變革與管理標準，應當側(cè)重于四個方面的發(fā)展。

（1）加強布局數(shù)字化戰(zhàn)略，由石油企業(yè)決策者強化數(shù)字化意識，將數(shù)字化平臺建設納入核心體系，明確企業(yè)轉(zhuǎn)型發(fā)展管理目標，利用數(shù)字化平臺形成扁平化管理結(jié)構。

（2）全過程數(shù)據(jù)管理與共享，即利用大數(shù)據(jù)技術應用優(yōu)勢，增強信息技術、虛擬技術、人工智能、工業(yè)機器人等技術融合，逐步拓展數(shù)字化管理途徑和方法，改變傳統(tǒng)的數(shù)據(jù)信息管理模式，提升石油工業(yè)信息管理集成度，構成共享服務目錄、數(shù)據(jù)按需授權和全局共享。同時，利用業(yè)務模式、業(yè)務流程、企業(yè)組織等層面變革，切實形成更強大的大數(shù)據(jù)技術驅(qū)動力，為企業(yè)及用戶帶來優(yōu)質(zhì)的服務體驗，竭力創(chuàng)造數(shù)字化平臺的價值。

（3）業(yè)務應用全線上協(xié)同，打破傳統(tǒng)管理中各自為政的模式，加強各個子公司、部門及崗位間數(shù)字化銜接，形成定制化的數(shù)字化平臺服務體系，打造線上業(yè)務的協(xié)同結(jié)構，確保企業(yè)在管理中建立統(tǒng)一標準，實現(xiàn)數(shù)據(jù)信息資源的價值挖掘。

（4）構建資源共享與一體化運維平臺，借助大數(shù)據(jù)技術中的自動化、智能化管理，進一步提升管理數(shù)據(jù)應用能力，實現(xiàn)更高層面的資源共享。

5 結(jié)語

綜上所述，隨著大數(shù)據(jù)技術的持續(xù)發(fā)展，石油工業(yè)迎來了寶貴的轉(zhuǎn)型契機，企業(yè)應當適應環(huán)境的變革，將技術優(yōu)勢轉(zhuǎn)化為管理優(yōu)勢，借助石油數(shù)字化平臺的設計開發(fā)及實踐應用，逐步形成更加高效、便捷和安全的管理體系，推動行業(yè)的自動化、智能化發(fā)展。另外，從石油工業(yè)的發(fā)展角度看，大數(shù)據(jù)技術中蘊含著豐富的價值，對行業(yè)的發(fā)展推動作用極為突出，應當不斷強化信息時代下的優(yōu)勢功能，打造一體化的數(shù)字管理平臺，提升數(shù)據(jù)組織與處理能力，實現(xiàn)管理能力與業(yè)務需求的契合，進一步改進數(shù)據(jù)操作服務性能，提升石油企業(yè)數(shù)字化水平和價值創(chuàng)造能力。