基于油氣田企業(yè)的數(shù)據(jù)治理方法研究

鄧紅梅 DENG Hong-mei；姚衛(wèi)華 YAO Wei-hua；焦揚 JIAO Yang；武璠 WU Fan

（長慶油田勘探開發(fā)研究院，西安 710018）

0 引言

當前全球數(shù)據(jù)正在以前所未有的速度增長，IDC曾發(fā)布報告稱，到2025年，全球數(shù)據(jù)圈預計將增長至175ZB。機器學習、AI等依賴數(shù)據(jù)質(zhì)量的人工智能技術持續(xù)火熱，全球數(shù)字化轉(zhuǎn)型浪潮也在全面推進，如何在這樣一個數(shù)據(jù)大爆發(fā)的時代奪得先機，充分把握數(shù)字紅利，成為各類企業(yè)面臨的一個重要課題。

伴隨著油田的快速發(fā)展和信息技術的進步，企業(yè)信息化建設先后經(jīng)歷了專業(yè)數(shù)據(jù)庫建設、數(shù)字化油氣田建設、智能化油氣田探索三個階段，歷經(jīng)20余年，產(chǎn)生了海量的勘探開發(fā)數(shù)據(jù)資源，如何將油氣田企業(yè)沉淀的數(shù)據(jù)資源轉(zhuǎn)變?yōu)閿?shù)據(jù)資產(chǎn)，提升企業(yè)數(shù)據(jù)治理能力具有奠基意義。

何為數(shù)據(jù)治理？目前業(yè)界并沒有對其概念的統(tǒng)一標準定義，我們可以這么認為，數(shù)據(jù)治理從本質(zhì)上看就是對一個機構（企業(yè)或政府部門）的數(shù)據(jù)從收集融合到分析管理和利用進行評估、指導和監(jiān)督（EDM）的過程，通過數(shù)據(jù)治理實現(xiàn)企業(yè)數(shù)據(jù)的標準化、提高數(shù)據(jù)質(zhì)量、提升業(yè)務處理的效率，為數(shù)據(jù)分析提供準確的數(shù)據(jù)支撐，賦能業(yè)務，助力企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型，為企業(yè)創(chuàng)造價值。

1 油氣田企業(yè)數(shù)據(jù)管理問題分析

現(xiàn)階段，國內(nèi)大部分油氣田的井口已基本覆蓋物聯(lián)網(wǎng)系統(tǒng)，能夠?qū)τ陂_采過程中的實時數(shù)據(jù)實現(xiàn)自動采集。但是，由于油氣行業(yè)具有生產(chǎn)環(huán)節(jié)鏈條較長、涉及專業(yè)較多、各類數(shù)據(jù)分散存儲的特點，由多個獨立系統(tǒng)之間難以進行數(shù)據(jù)共享產(chǎn)生的“數(shù)據(jù)孤島”現(xiàn)象依舊較為多見。

縱觀油氣行業(yè)數(shù)據(jù)管理現(xiàn)狀，存在的問題大同小異，主要表現(xiàn)在以下方面：對數(shù)據(jù)治理不夠重視，缺乏系統(tǒng)和深入的理解，且信心不足，在資源投入方面有所顧慮；數(shù)據(jù)管理制度尚不健全，未建立專門的數(shù)據(jù)管理崗位，缺乏數(shù)據(jù)安全、數(shù)據(jù)共享等領域的標準規(guī)范；各級部門職責分工和工作邊界尚不清晰，未建立有效的工作機制；技術部門與業(yè)務部門以及不同的部門之間融合程度不夠，溝通不充分；數(shù)據(jù)冗余多、數(shù)據(jù)應用效率低、相關信息系統(tǒng)落標不徹底；數(shù)據(jù)獲取智能化程度低，大部分數(shù)據(jù)還是通過手工填報，數(shù)據(jù)口徑、標準不統(tǒng)一；大量在用數(shù)據(jù)未定義可信數(shù)據(jù)源，存在一數(shù)多源、多點采集的問題。

因此，各油氣田企業(yè)對數(shù)據(jù)資產(chǎn)普遍利用程度不高，海量數(shù)據(jù)價值尚未充分挖掘，不具備多樣性特征的大數(shù)據(jù)較難反映問題特征，使得后續(xù)的人工智能等技術在油氣勘探開發(fā)領域難以落地。同時，海量數(shù)據(jù)中包含大量冗余和無效的信息，這些信息的存儲反而造成了資源浪費，影響到整個系統(tǒng)的運營效率。

2 數(shù)據(jù)管理能力評估

全國信息技術標準化技術委員會于2018年3月15日發(fā)布國家標準《數(shù)據(jù)管理能力成熟度評估模型GB/T 36073-2018》，將數(shù)據(jù)管理能力成熟度評估模型分為八個一級能力域（圖1）。

圖1 DCMM數(shù)據(jù)管理能力成熟度評估模型

各類企業(yè)可以根據(jù)數(shù)據(jù)管理現(xiàn)狀，設計符合本企業(yè)特點的數(shù)據(jù)能力評價模型。本企業(yè)也是根據(jù)數(shù)據(jù)管理藍圖框架，參考業(yè)界成熟度數(shù)據(jù)管理評估模型（DCMM），設計了覆蓋現(xiàn)階段數(shù)據(jù)治理關注點的數(shù)據(jù)能力評價模型，由十大能力域構成（圖2）。

圖2 企業(yè)數(shù)據(jù)能力評價模型

通過對本企業(yè)開展數(shù)據(jù)管理能力評價，掌握本企業(yè)數(shù)據(jù)管理能力成熟度階段，為數(shù)據(jù)治理解決方案提供依據(jù)。

3 數(shù)據(jù)治理解決方案

在DAMA數(shù)據(jù)管理知識體系指南中（圖3），數(shù)據(jù)治理位于數(shù)據(jù)管理“車輪圖”的正中央，是數(shù)據(jù)架構、數(shù)據(jù)建模、數(shù)據(jù)存儲、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理等10大數(shù)據(jù)管理領域的總綱，為各項數(shù)據(jù)管理活動提供總體指導策略。

圖3 DAMA-DMBOK2.0數(shù)據(jù)管理車輪圖

數(shù)據(jù)治理解決方案應適用于解決在前期數(shù)據(jù)管理能力評價中凸顯的問題，通過數(shù)據(jù)治理解決方案的實施，為企業(yè)數(shù)據(jù)質(zhì)量提供持續(xù)保障，幫助企業(yè)構建數(shù)據(jù)資產(chǎn)體系，實現(xiàn)數(shù)據(jù)價值的最大化，最終完成企業(yè)數(shù)字化轉(zhuǎn)型。

通過油氣田企業(yè)在數(shù)據(jù)治理工作的開展，總結(jié)出在數(shù)據(jù)治理解決方案中四個關鍵環(huán)節(jié)，包括體系規(guī)劃、頂層設計、資源盤點、工具平臺。

3.1 數(shù)據(jù)治理體系規(guī)劃

數(shù)據(jù)管理各項工作龐雜，如何體系化地開展工作？實際在第一步企業(yè)數(shù)據(jù)管理能力評估的過程中，我們就可以掌握各大能力域的管理現(xiàn)狀，基本可以更有針對性地進行數(shù)據(jù)治理總體規(guī)劃。

無論是國際數(shù)據(jù)管理協(xié)會（DAMA）數(shù)據(jù)治理框架還是DCMM數(shù)據(jù)治理體系框架（圖4），企業(yè)都無法照搬，而應在法律法規(guī)、國家標準、行業(yè)標準的框架下，根據(jù)企業(yè)自身的特點作出調(diào)整。組織制度、數(shù)據(jù)安全、數(shù)據(jù)標準、數(shù)據(jù)治理、數(shù)據(jù)共享等都需要通過專項的方式進行深入建設，支持業(yè)務發(fā)展，實現(xiàn)數(shù)據(jù)價值。

圖4 企業(yè)數(shù)據(jù)治理體系規(guī)劃

3.2 數(shù)據(jù)治理頂層設計

數(shù)據(jù)治理要定戰(zhàn)略、定制度、建組織，這是頂層策略，并不是簡單的組建一個臨時團隊，也不僅僅意味著有了專業(yè)的人就能做專業(yè)的事，而是要建立一個能足夠支撐企業(yè)數(shù)據(jù)業(yè)務化的完整體系，包括組織體系、管理體系、執(zhí)行體系、技術體系等方面。這每一項都牽一發(fā)而動全身，都需要高層領導的大力支持和推動，業(yè)務部門和技術部門的緊密協(xié)同。

數(shù)據(jù)治理的頂層設計必須在數(shù)據(jù)治理工作開展前做好，通常企業(yè)數(shù)據(jù)現(xiàn)狀有兩種：一種是“零建設”，就是數(shù)據(jù)還在各個源頭上沒有采集，或者計劃準備實施源頭采集；另外一種是在建設中采取多期次、多廠商、多技術、多方法等多元化建設方式，這樣的建設方式產(chǎn)生了數(shù)據(jù)“孤島”和“碎片化”的問題。

上述兩種情況需要用不同的辦法來治理，其中“零建設”的數(shù)據(jù)基本上不需要治理，但需要用數(shù)據(jù)治理的思想和機理去建設，實現(xiàn)數(shù)據(jù)“正常化”。第二種是必須進行數(shù)據(jù)治理的，油氣田企業(yè)數(shù)據(jù)建設也是這樣一種現(xiàn)狀，這就需要企業(yè)在開展數(shù)據(jù)治理工作前全面做好頂層設計。頂層設計的關鍵是將源頭數(shù)據(jù)與業(yè)務流程搞清楚，然后形成數(shù)據(jù)流，完全掌握了數(shù)據(jù)“從哪來、到哪去”和數(shù)據(jù)的“采、存、管、用”的規(guī)律，給予自頂向下的設計。在數(shù)據(jù)治理中必須逐步地執(zhí)行頂層設計的措施，在規(guī)劃的過程中需要有明確的目標，因為數(shù)據(jù)治理中有其不同的階段和領域，需要對每一個小的環(huán)節(jié)都要建立好要落實的目標，最終逐一實現(xiàn)。

3.3 數(shù)據(jù)治理資源盤點

數(shù)據(jù)治理的第一步是必須掌握數(shù)據(jù)現(xiàn)狀，需要對自身的數(shù)據(jù)資源和應用情況進行盤點，要確保數(shù)據(jù)符合業(yè)務需求，就需要人工逐條、逐字段地定義數(shù)據(jù)標準、核實數(shù)據(jù)質(zhì)量，最終完成數(shù)據(jù)治理現(xiàn)狀分析。

數(shù)據(jù)資產(chǎn)劃分：根據(jù)行業(yè)標準和特點對于數(shù)據(jù)資源進行分類，將數(shù)據(jù)資源劃分為公開、內(nèi)部、敏感等不同的敏感等級。

數(shù)據(jù)關系及定義盤點：梳理主數(shù)據(jù)及定義范圍以及數(shù)據(jù)所有人，梳理指標數(shù)據(jù)及使用部門和使用人，梳理數(shù)據(jù)字典以及通用數(shù)據(jù)定義。

數(shù)據(jù)標準梳理：對于業(yè)務數(shù)據(jù)按照主體、參考、交易、統(tǒng)計進行分類，并梳理出數(shù)據(jù)的技術標準和業(yè)務標準。結(jié)合數(shù)據(jù)標準、關系、定義的梳理，補充和整理完整的數(shù)據(jù)字典。

數(shù)據(jù)應用評估：評估數(shù)據(jù)應用的范圍及引用數(shù)據(jù)的系統(tǒng)，按照領域和場景梳理數(shù)據(jù)應用范圍；根據(jù)企業(yè)所在行業(yè)和業(yè)務范圍，梳理相應的國家、國際上對應的數(shù)據(jù)法律法規(guī)要求，并制定數(shù)據(jù)合規(guī)方案；根據(jù)企業(yè)對于數(shù)據(jù)使用等級、安全級別梳理數(shù)據(jù)脫敏的要求和規(guī)范，根據(jù)數(shù)據(jù)被業(yè)務系統(tǒng)調(diào)用的情況，制定數(shù)據(jù)引用熱度管理方法和基于熱度來調(diào)整數(shù)據(jù)資產(chǎn)的方法。

3.4 數(shù)據(jù)治理工具平臺

數(shù)據(jù)治理平臺的搭建基本都是“因人而異”的，不同的企業(yè)對于搭建數(shù)據(jù)治理平臺的需求及各業(yè)務模塊的重視程度都不一樣，也有一定程度的輕重緩急。這里建議結(jié)合數(shù)據(jù)管理能力評價情況進行數(shù)據(jù)治理平臺功能設計，不外乎包括數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標準管理、數(shù)據(jù)安全管理、數(shù)據(jù)模型工具、元數(shù)據(jù)管理、主數(shù)據(jù)管理等功能模塊。

數(shù)據(jù)治理平臺涉及面廣，體系龐大而又復雜，想要完全依靠自身力量搭建這樣一個平臺基本上是很難的。目前市面上有許多數(shù)據(jù)治理的工具平臺，但都不能直接照搬應用，可以選擇一個在業(yè)界有口皆碑的工具，借鑒已成功運用落地的行業(yè)解決方案，則會在最短的時間內(nèi)完成治理目標，達到事半功倍的效果。

4 總結(jié)

我們所說的數(shù)據(jù)治理項目不是為治理數(shù)據(jù)而構建，而是與大數(shù)據(jù)平臺、數(shù)據(jù)分析挖掘等項目相結(jié)合，通過提高數(shù)據(jù)質(zhì)量、控制數(shù)據(jù)安全性，使數(shù)據(jù)發(fā)揮最大效益。通過數(shù)據(jù)治理工作的開展，數(shù)據(jù)變得可信且易于理解，并能有效地支撐業(yè)務人員的決策分析工作。越來越多的人員轉(zhuǎn)變?yōu)椤皵?shù)據(jù)專家”，工作方式也隨之改變，但是它并不是一個一蹴而就的事情。

數(shù)據(jù)治理是一個螺旋上升模型，需要不斷的迭代和優(yōu)化，需要進行長效的持續(xù)運營，要將其變成企業(yè)的一種機制、一種文化、一種習慣，而油氣田企業(yè)數(shù)據(jù)治理每一次迭代優(yōu)化都推動數(shù)字技術與油氣產(chǎn)業(yè)深度融合。