數(shù)據(jù)治理體系建設與應用

郭云飛 高博 何建 任田路 王健

［收稿日期］2023-12-15

［摘 要］大數(shù)據(jù)分析治理體系建設對井下作業(yè)公司生產(chǎn)管理和輔助決策有著重要作用。文章通過對井下作業(yè)公司多個應用系統(tǒng)的分散數(shù)據(jù)進行研究，結合先進的大數(shù)據(jù)治理平臺的數(shù)據(jù)治理理念、數(shù)據(jù)治理體系架構及數(shù)據(jù)治理方法論，建設井下數(shù)據(jù)治理體系架構，并對井下作業(yè)公司各系統(tǒng)數(shù)據(jù)進行多源匯聚、分層分域治理、分析建模，詳細介紹該數(shù)據(jù)治理體系建設的實用性和先進性。

［關鍵詞］大數(shù)據(jù)；數(shù)據(jù)治理體系；數(shù)據(jù)融合；油田

doi：10.3969/j.issn.1673 - 0194.2024.10.039

［中圖分類號］TE34；P618.13［文獻標識碼］A［文章編號］1673-0194（2024）10-0-03

0? ? ?引 言

大數(shù)據(jù)治理體系建設在企業(yè)數(shù)字化轉型過程中發(fā)揮著越來越重要的作用，各大廠商在該領域開展了大量的研究和生產(chǎn)實踐工作。西部鉆探井下作業(yè)公司按照“先易后難，穩(wěn)步推進，結合產(chǎn)能建設”的原則，先后安裝了多個應用系統(tǒng)，并進行了局部應用。各系統(tǒng)形成了大量基礎數(shù)據(jù)，數(shù)據(jù)之間相互孤立。數(shù)據(jù)“孤島”阻礙了企業(yè)信息化建設水平的進一步提升，迫切需要企業(yè)打通各系統(tǒng)，進行數(shù)據(jù)融合，構建一套完整的數(shù)據(jù)治理體系，使數(shù)據(jù)發(fā)揮資產(chǎn)價值，提高企業(yè)生產(chǎn)效率，最終達到企業(yè)降本增效的目的。

1? ? ?井下作業(yè)公司數(shù)據(jù)治理現(xiàn)狀及存在的問題

井下作業(yè)公司在數(shù)智化轉型過程中，在業(yè)務管理方面基于公有云平臺進行各業(yè)務管理系統(tǒng)的井下輕應用開發(fā)，實現(xiàn)了業(yè)務的在線協(xié)同管理；在生產(chǎn)指揮方面，圍繞中油技服工程作業(yè)智能支持系統(tǒng)（Engineering Opertion? Intelligent Support System，EISS）的深入應用，基于內(nèi)網(wǎng)環(huán)境實現(xiàn)了生產(chǎn)數(shù)據(jù)、遠程音視頻數(shù)據(jù)的實時采集。前期為了滿足業(yè)務需求進行的快速輕應用開發(fā)，導致目前企業(yè)數(shù)字化轉型存在以下問題：①數(shù)據(jù)“孤島”，由于“煙囪式”輕應用系統(tǒng)建設，數(shù)據(jù)分散在各業(yè)務系統(tǒng)，形成數(shù)據(jù)“孤島”，如何打破數(shù)據(jù)“孤島”、實現(xiàn)數(shù)據(jù)融合是關鍵；②數(shù)據(jù)標準不統(tǒng)一，各個系統(tǒng)由于應用場景的差異，選用的數(shù)據(jù)庫種類不同，導致異構數(shù)據(jù)源之間難以統(tǒng)一管控；③數(shù)據(jù)質(zhì)量差，數(shù)據(jù)不連通、不規(guī)范等，導致數(shù)據(jù)質(zhì)量差，應用價值低，難以發(fā)揮應有的作用；④數(shù)據(jù)安全性無法保證，由于氚云輕應用系統(tǒng)數(shù)據(jù)存儲于阿里公有云，其不符合企業(yè)資產(chǎn)安全可控要求。解決以上問題需要運用先進的數(shù)據(jù)治理工具，通過多源異構數(shù)據(jù)匯聚，實現(xiàn)元數(shù)據(jù)管理、數(shù)據(jù)標準管理、質(zhì)量管理、全生命周期管理、安全和服務管理。構建井下作業(yè)公司數(shù)據(jù)治理體系，為現(xiàn)場生產(chǎn)和第三方應用系統(tǒng)提供服務，為管理者決策提供依據(jù)。企業(yè)通過對數(shù)據(jù)的分析來實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務發(fā)展，將業(yè)務數(shù)據(jù)化和數(shù)據(jù)業(yè)務化，以此提高企業(yè)整體效能，實現(xiàn)降本增效。

2? ? ?數(shù)據(jù)治理體系總體架構設計

2.1? ?設計理念

數(shù)據(jù)治理體系總體架構設計采用具有行業(yè)特色的4 One數(shù)據(jù)中臺理念，即OneData（統(tǒng)一數(shù)據(jù)）、OneID+（統(tǒng)一視圖）、OneService（統(tǒng)一服務）和OneOpt（統(tǒng)一運維）。

①OneData：統(tǒng)一數(shù)據(jù)集成開發(fā)，在集約化OneData理念的基礎上，形成在線化、集約化、標準化、流程化、自動化的OneData體系，實現(xiàn)垂直化數(shù)據(jù)接入和智能化數(shù)據(jù)加工。②OneID+：統(tǒng)一數(shù)據(jù)ID與視圖，在用戶ID萃取的基礎上，使人、物、事等各種業(yè)務關注對象的ID統(tǒng)一，形成信息集約的OneID+體系，實現(xiàn)智能化數(shù)據(jù)融合和價值化數(shù)據(jù)資產(chǎn)管理。③OneService：統(tǒng)一數(shù)據(jù)服務，在所有數(shù)據(jù)在線服務化的基礎上，形成在線服務與送貨到家兩種服務模式，實現(xiàn)超市化數(shù)據(jù)服務和便捷化數(shù)據(jù)應用。④OneOpt：統(tǒng)一數(shù)據(jù)運維，打造全集群、全鏈路的集約化運維體系，實現(xiàn)端到端數(shù)據(jù)質(zhì)量和安全保證。

2.2? ?數(shù)據(jù)治理體系架構

數(shù)據(jù)治理服務體系建設在“運營合規(guī)、風險可控”的基本原則下，構建完善的組織、制度和流程，制定數(shù)據(jù)標準并實施數(shù)據(jù)安全管控，形成有機組合的數(shù)據(jù)治理體系，數(shù)據(jù)服務體系包括數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)組織、數(shù)據(jù)服務和數(shù)據(jù)治理，對接氚云及其他數(shù)據(jù)源，完成數(shù)據(jù)治理后，為上層應用系統(tǒng)提供數(shù)據(jù)［1］。數(shù)據(jù)治理體系總體架構如圖1所示。

3? ? ?數(shù)據(jù)治理體系建設方法

數(shù)據(jù)治理體系的建設，需要完整的方法論進行理論指導。井下作業(yè)公司通過引進實施團隊，傳授先進的鯨智數(shù)據(jù)治理七步法，理論與實際相結合，實現(xiàn)井下作業(yè)公司數(shù)據(jù)治理體系建設。數(shù)據(jù)治理=方法+產(chǎn)品+實施，三部分詳細組成如下。

方法：鯨智數(shù)據(jù)治理理念4One和鯨智數(shù)據(jù)治理七步法。

產(chǎn)品：鯨智大數(shù)據(jù)平臺ZSmartBDP+鯨智數(shù)據(jù)治理平臺ZSmartDGP+鯨智數(shù)據(jù)智能工具ZSmartDIT。

實施：實施團隊和實施經(jīng)驗。

鯨智數(shù)據(jù)治理七步法如下。第一，搭架子。數(shù)據(jù)中臺頂層規(guī)劃，覆蓋運營、應用、數(shù)據(jù)、技術、安全領域。第二，定標準。與權威機構合作共建行業(yè)數(shù)據(jù)標準規(guī)范。第三，清家底。企業(yè)數(shù)據(jù)資源規(guī)劃和厘清，基于數(shù)據(jù)資源/資產(chǎn)登記平臺落地。第四，智能化數(shù)據(jù)加工?；邛L智數(shù)據(jù)治理平臺ZSmartDGP進行數(shù)據(jù)構建，包括數(shù)據(jù)集成、全程（數(shù)據(jù)）調(diào)度、數(shù)據(jù)開發(fā)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)開放基礎組件。第五，價值化數(shù)據(jù)資產(chǎn)。實現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)化和價值化運營，包括數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)資產(chǎn)地圖、數(shù)據(jù)資產(chǎn)運營、數(shù)據(jù)資產(chǎn)分析。第六，超市化數(shù)據(jù)服務。對內(nèi)，數(shù)據(jù)共享交換平臺；對外，數(shù)據(jù)開放交易平臺。第七，便捷化數(shù)據(jù)應用?；跀?shù)據(jù)智能工具快速實現(xiàn)數(shù)據(jù)應用，包括BI（指標計算與梳理）、VI（數(shù)據(jù)可視化與價值傳播）、DI（數(shù)據(jù)探索與價值洞察）、AI（人工智能應用）。

4? ? ?數(shù)據(jù)治理體系建設實施要點

數(shù)據(jù)服務體系建設以智能應用為實戰(zhàn)目標，圍繞數(shù)據(jù)治理域的工作內(nèi)容，重點針對數(shù)據(jù)標準、接入、處理、建模、質(zhì)量、安全、運營、服務和價值實現(xiàn)展開建設。

4.1? ?數(shù)據(jù)接入

井下作業(yè)公司的數(shù)據(jù)呈現(xiàn)多源異構特征，主要數(shù)據(jù)源來自互聯(lián)網(wǎng)氚云系統(tǒng)數(shù)據(jù)、網(wǎng)絡附屬存儲（Network Attached Storage，NAS）本地文件系統(tǒng)數(shù)據(jù)、MySQL生產(chǎn)數(shù)據(jù)庫數(shù)據(jù)。數(shù)據(jù)接入管理平臺可以根據(jù)數(shù)據(jù)接入業(yè)務需求，在初始階段定義數(shù)據(jù)獲取、處理、治理、組織、服務各環(huán)境的流程、方法和流轉機制，并根據(jù)數(shù)據(jù)探查和定義將多源異構數(shù)據(jù)接入大數(shù)據(jù)中心，完成與數(shù)據(jù)提供方的數(shù)據(jù)對賬［2］。主要工作包括統(tǒng)一任務配置、統(tǒng)一調(diào)度、數(shù)據(jù)傳輸、傳輸協(xié)議定義、數(shù)據(jù)探索、數(shù)據(jù)對賬等。

4.2? ?數(shù)據(jù)處理

數(shù)據(jù)處理工作主要是完成數(shù)據(jù)提取、清洗、關聯(lián)、比對、標識、分發(fā)。大數(shù)據(jù)處理基礎平臺支持標準化、規(guī)范化的處理流程，建立標準化的數(shù)據(jù)匯聚適配模式，按照提取、清洗、關聯(lián)、比對、標識等規(guī)范化流程進行轉換處理，全面構建智能處理、自動化處理的數(shù)據(jù)處理體系。開展標準統(tǒng)一的數(shù)據(jù)處理工作，提高數(shù)據(jù)關聯(lián)度和業(yè)務緊密度，提升數(shù)據(jù)質(zhì)量和精準授權的能力［3］。

4.3? ?數(shù)據(jù)標準建設

要結合標準與實際業(yè)務現(xiàn)狀和需求，在標準體系下，豐富補充數(shù)據(jù)標準，完善數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)服務、生存周期、主/元數(shù)據(jù)的管理規(guī)范，在數(shù)據(jù)治理過程中落地標準規(guī)范；建立一套標準規(guī)范的管理方法，對標準規(guī)范進行沉淀積累，優(yōu)化落地管理；依托數(shù)據(jù)標準指導數(shù)據(jù)治理的開展實施，對標準規(guī)范的落地情況進行監(jiān)測評價，評估標準規(guī)范的合理性和實用性，優(yōu)化標準規(guī)范的制定和修編，打造數(shù)據(jù)治理的標準化體系，強化數(shù)據(jù)治理過程管控，促進數(shù)據(jù)治理的價值實現(xiàn)。

4.4? ?數(shù)據(jù)資源目錄

數(shù)據(jù)資源是各單位在工作過程中搜集、獲取、加工、存儲、使用、共享的以數(shù)據(jù)化形式留存的信息資源。數(shù)據(jù)資源目錄由數(shù)據(jù)資源信息和數(shù)據(jù)資源數(shù)據(jù)項信息兩大部分構成。

數(shù)據(jù)資源信息由29個信息項及其對應的5個維度說明構成，維度信息包括數(shù)據(jù)元內(nèi)部標識符、限定詞標識符、數(shù)據(jù)項標識符、是否為查詢條件、是否必填。維度用于控制對資源信息項的管理，對任一數(shù)據(jù)資源逐個收集或同步其29項數(shù)據(jù)資源信息項。數(shù)據(jù)資源數(shù)據(jù)項信息由17個項及其對應的5個維度說明構建，維度信息與數(shù)據(jù)資源信息相同。維度用于控制對資源數(shù)據(jù)項信息的管理，對任一數(shù)據(jù)資源的指定數(shù)據(jù)項（即屬性或字段）逐個收集或同步其17項數(shù)據(jù)資源信息項。

4.5? ?模型管理

模型管理是對模型進行統(tǒng)一管理和生成，涵蓋其全生命周期，包含模型構建流程、模型修改流程、模型刪除流程。模型服務的模型由一個或多個算子組合而成，每個算子同時對應若干個輸入和輸出，通過組合算子、數(shù)據(jù)集、元素集，可以用來描述數(shù)據(jù)的處理方法、分析步驟、分析方法和分析結果，實現(xiàn)復雜的數(shù)據(jù)分析功能［4］。

4.6? ?質(zhì)量管理

數(shù)據(jù)質(zhì)量是檢驗大數(shù)據(jù)中心數(shù)據(jù)治理和數(shù)據(jù)服務體系建設成敗的關鍵指標，其直接影響大數(shù)據(jù)中心數(shù)據(jù)資源的價值實現(xiàn)，是數(shù)據(jù)治理的重點工作之一。數(shù)據(jù)質(zhì)量全鏈路處置流程包括數(shù)據(jù)質(zhì)量監(jiān)控、質(zhì)量稽查、質(zhì)量分析、質(zhì)量評價、質(zhì)量處置、質(zhì)量反饋、質(zhì)量跟蹤和質(zhì)量評價。

4.7? ?數(shù)據(jù)運維管理

數(shù)據(jù)運維是通過定期對數(shù)據(jù)質(zhì)量的監(jiān)控，識別業(yè)務開展、數(shù)據(jù)采集、數(shù)據(jù)治理過程中可能存在的問題，提出改進建議來促進數(shù)據(jù)質(zhì)量提升，保障大數(shù)據(jù)平臺及其數(shù)據(jù)和應用穩(wěn)定運行，高效可用。

4.8? ?數(shù)據(jù)安全管理

數(shù)據(jù)是大數(shù)據(jù)平臺的基礎，數(shù)據(jù)安全是保證大數(shù)據(jù)中心運行的“生命線”。本部分聚焦于從采集到服務應用全鏈路的數(shù)據(jù)安全，包括數(shù)據(jù)本身在傳輸、存儲、訪問過程中的安全措施，主要措施有數(shù)據(jù)加密控制、數(shù)據(jù)分級分類管理、數(shù)據(jù)權限管理、數(shù)據(jù)脫敏和安全日志。

4.9? ?數(shù)據(jù)組織管理

要結合大數(shù)據(jù)處理國家標準，將數(shù)據(jù)從來源逐級提煉，形成原始庫、資源庫、主題庫、知識庫、業(yè)務庫和業(yè)務要素索引庫等。利用這種模型進行數(shù)據(jù)組織，達到數(shù)據(jù)融合和知識沉淀的目的。

4.10? ?數(shù)據(jù)服務

數(shù)據(jù)服務總線定位為大數(shù)據(jù)中心與上層應用或用戶之間實現(xiàn)快速、無縫、實時、安全的數(shù)據(jù)對接的統(tǒng)一渠道，是大數(shù)據(jù)中心對外提供數(shù)據(jù)資源的主要手段，是大數(shù)據(jù)中心數(shù)據(jù)服務總線的重要組成部分。

5? ? ?數(shù)據(jù)治理建設成果

第一，搭建了以鯨智數(shù)據(jù)中臺為核心的數(shù)據(jù)治理體系架構。引進了完整的數(shù)據(jù)治理理念和數(shù)據(jù)治理方法，形成《井下作業(yè)公司數(shù)據(jù)治理標準規(guī)范》《井下作業(yè)公司數(shù)據(jù)治理質(zhì)量管理規(guī)范》《井下作業(yè)公司數(shù)據(jù)治理安全管理規(guī)范》。該體系為后續(xù)擴展數(shù)據(jù)資產(chǎn)建設提供了標準方法和實施路徑。第二，通過數(shù)據(jù)治理形成數(shù)據(jù)資產(chǎn)后，以數(shù)據(jù)服務方式為第三方應用提供服務?；跀?shù)據(jù)服務在應用層實現(xiàn)了77個指標數(shù)據(jù)的統(tǒng)計報表展示［5］，包括26個生產(chǎn)指標，51個經(jīng)營指標。同時，開發(fā)千人千面桌面應用系統(tǒng)，在用戶桌面顯示報表系統(tǒng)，方便管理者查看生產(chǎn)現(xiàn)場實時數(shù)據(jù)和經(jīng)營統(tǒng)計數(shù)據(jù)，有效實現(xiàn)了多部門數(shù)據(jù)共享、聯(lián)通及輔助決策。第三，本次數(shù)據(jù)治理將原本存儲于阿里公有云的氚云系統(tǒng)數(shù)據(jù)回遷本地并實時更新，增強了企業(yè)數(shù)據(jù)的安全性，實現(xiàn)了數(shù)據(jù)統(tǒng)一和規(guī)范，為今后數(shù)智化轉型打下了堅實基礎。

主要參考文獻

［1］汪洋，王柯，張?zhí)覍?，?工業(yè)數(shù)字化轉型中的數(shù)據(jù)治理研究［J］.信息技術與網(wǎng)絡安全，2022（4）：25-31.

［2］周冰冰，王國瓦，陳慧，等.塔里木油田錄井歷史數(shù)據(jù)治理技術［J］.價值工程，2023（33）：150-152.

［3］杜小勇，陳躍國，范舉，等.數(shù)據(jù)整理：大數(shù)據(jù)治理的關鍵技術［J］.大數(shù)據(jù)，2019（3）：13-22.

［4］陳利強.大數(shù)據(jù)建模方法與實踐［J］.金融電子化，2015（11）：56-58，6.

［5］陳明.大數(shù)據(jù)可視化分析［J］.計算機教育，2015（5）：94-97.