基于大數(shù)據(jù)平臺的數(shù)據(jù)治理系統(tǒng)建設

胡方 顧曉光

摘要：數(shù)據(jù)治理系統(tǒng)作為大數(shù)據(jù)平臺的核心基礎支撐系統(tǒng)，旨在為數(shù)據(jù)倉庫、數(shù)據(jù)服務平臺、大數(shù)據(jù)基礎平臺以及實時共享交換平臺，提供統(tǒng)一、便捷、高質量和價值最大化的數(shù)據(jù)資源，是數(shù)據(jù)應用和實現(xiàn)數(shù)據(jù)跨部門聯(lián)通的基本保障。該文提出基于大數(shù)據(jù)平臺的數(shù)據(jù)治理系統(tǒng)建設方案，為降低后續(xù)數(shù)據(jù)治理的改造成本、實現(xiàn)各部門互聯(lián)互通和達到數(shù)據(jù)資源價值最大化，提供有效基礎支撐。

關鍵詞：數(shù)據(jù)治理系統(tǒng);大數(shù)據(jù)平臺;數(shù)據(jù)倉庫;數(shù)據(jù)服務平臺;數(shù)據(jù)資源

中圖分類號：TP303? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）30-0044-02

開放科學（資源服務）標識碼（OSID）：

Construction of Data Governance System based on Big Data Platform

HU Fang1， GU Xiao-guang1，2

（1.Henan Big Data Center， Zhengzhou 450003， China; 2.Nanjing University Business School， Nanjing 210093，China）

Abstract： As the basic support system of big data platform， data governance system aims to provide unified， convenient， high-quality and value maximized data resources for data warehouse， data service platform， big data basic platform and real-time sharing and exchange platform. It is the basic guarantee for data application and cross departmental data connectivity. In this paper， the construction scheme of data governance system based on big data platform was put forward， which provides effective basic support for reducing the transformation cost of subsequent data governance， realizing the interconnection of various departments and maximizing the value of data resources.

Key words：data governance system; big data platform; data warehouse; data service platform; data resource

1 引言

大數(shù)據(jù)時代數(shù)據(jù)是公認的一項重要資產(chǎn)。數(shù)據(jù)作為對真實世界的對象、事件和概念的被選擇屬性的抽象表示，由可明確定義的約定對其含義、采集與存儲進行表達和理解[1]。數(shù)據(jù)治理是將數(shù)據(jù)作為資產(chǎn)進行管理，建立統(tǒng)一標準，檢核數(shù)據(jù)質量，準確描述數(shù)據(jù)元屬性，分析數(shù)據(jù)之間關聯(lián)關系，形成數(shù)據(jù)資源目錄，實現(xiàn)數(shù)據(jù)快速檢索，對數(shù)據(jù)全生命周期進行管理的整套流程體系[2]。

數(shù)據(jù)治理系統(tǒng)作為大數(shù)據(jù)中心的核心基礎支撐系統(tǒng)，旨在為數(shù)據(jù)倉庫、數(shù)據(jù)服務平臺、大數(shù)據(jù)基礎平臺以及實時共享交換平臺，提供統(tǒng)一、便捷、高質量、價值最大化的數(shù)據(jù)資源。本研究從數(shù)據(jù)全生命周期的整體視角，通過統(tǒng)籌規(guī)劃數(shù)據(jù)治理系統(tǒng)，在系統(tǒng)建設伊始就實現(xiàn)統(tǒng)一的數(shù)據(jù)高質量、高標準管理，有效避免后續(xù)為數(shù)據(jù)統(tǒng)一治理而帶來的高昂改造成本，以實現(xiàn)數(shù)據(jù)資源互聯(lián)互通和價值最大化。

2 基于大數(shù)據(jù)平臺的數(shù)據(jù)治理系統(tǒng)設計

2.1系統(tǒng)目標

數(shù)據(jù)治理系統(tǒng)的目標是提高數(shù)據(jù)的質量（準確性和完整性），保證數(shù)據(jù)的安全性（保密性、完整性及可用性），實現(xiàn)數(shù)據(jù)資源在各組織機構部門的共享;推進信息資源的整合、對接和共享，提升組織的整體信息化水平，充分發(fā)揮信息化作用[3]。

2.2系統(tǒng)設計

數(shù)據(jù)治理系統(tǒng)所涉及的技術及功能主要包括數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)質量管理、血緣管理、影響分析、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)目錄管理、數(shù)據(jù)生命周期管理等，具體結構可見圖1。

2.2.1數(shù)據(jù)標準管理

數(shù)據(jù)標準管理對數(shù)據(jù)進行全生命周期管控，支持數(shù)據(jù)標準的制定及審核。落地映射的標準數(shù)據(jù)進入系統(tǒng)，可供數(shù)據(jù)使用者對標準進行查詢，同時提供標準版本管理。數(shù)據(jù)標準管理內容包含數(shù)據(jù)標準集成、數(shù)據(jù)標準映射、標準查詢和標準版本管理。

2.2.2元數(shù)據(jù)管理

元數(shù)據(jù)是一種電子式目錄，為了達到編制目錄的目的，必須描述并收藏數(shù)據(jù)的內容或特色，進而達成協(xié)助數(shù)據(jù)檢索的目的。元數(shù)據(jù)描述了數(shù)據(jù)屬性的信息，用于支持如指示存儲位置、歷史數(shù)據(jù)、資源查找、文件記錄等功能[4]。元數(shù)據(jù)管理主要包含元數(shù)據(jù)分析管理和采集管理，通過元數(shù)據(jù)管理可以降低了用戶理解和使用數(shù)據(jù)的難度。

2.2.3數(shù)據(jù)質量管理

數(shù)據(jù)質量管理是通過統(tǒng)一的數(shù)據(jù)標準來提升數(shù)據(jù)質量，為政務數(shù)據(jù)的質量管控提供技術支撐。借助數(shù)據(jù)標準和元數(shù)據(jù)工具體系，可以有效識別各類數(shù)據(jù)的質量問題;針對質量問題，通過血緣管理和影響分析，可以快速定位到責任人，具體數(shù)據(jù)質量管理流程如圖2所示。

2.2.4血緣管理

數(shù)據(jù)血緣管理以目標對象為起點、目標分析為終點，按照引用關系逐層擴展。為了能清楚地了解數(shù)據(jù)加工過程和更完善地處理數(shù)據(jù)更新機制，需要建立數(shù)據(jù)血緣分析功能，以使用戶清楚數(shù)據(jù)生成的來龍去脈，并實現(xiàn)在數(shù)據(jù)產(chǎn)生、加工融合、數(shù)據(jù)流通到最終消亡等數(shù)據(jù)處理過程中形成關聯(lián)關系集合。

2.2.5影響分析

影響分析，研究數(shù)據(jù)變更對業(yè)務邏輯、業(yè)務流程、數(shù)據(jù)標準以及平臺技術層面的影響，提供為實現(xiàn)業(yè)務所寫的程序代碼等改變并輸出評估報告，給數(shù)據(jù)更改方和受影響方等參考，幫助數(shù)據(jù)所有者判斷是否必要進行數(shù)據(jù)的更改，以及提出受影響方需要做出的準備。

2.2.6數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)資產(chǎn)是能夠為政府治理及社會服務產(chǎn)生價值的數(shù)據(jù)資源，而非所有的數(shù)據(jù)都構成數(shù)據(jù)資產(chǎn)。數(shù)據(jù)資產(chǎn)管理對數(shù)據(jù)資產(chǎn)進行分級分類，篩選出有效的數(shù)據(jù)資產(chǎn)。在資產(chǎn)權限管理的指導下，對內可進行共享和交換數(shù)據(jù)，對外可開放共享數(shù)據(jù)及提供API接口、供應用層訪問，同時支持資產(chǎn)使用情況的調用統(tǒng)計。

2.2.7數(shù)據(jù)目錄管理

數(shù)據(jù)目錄管理實現(xiàn)數(shù)據(jù)目錄從創(chuàng)建、發(fā)布、維護到對接的動態(tài)規(guī)范管理。通過對采集的數(shù)據(jù)源及元數(shù)據(jù)按目錄層級進行存儲，可存儲表數(shù)據(jù)、圖片和視頻等數(shù)據(jù)資源及元數(shù)據(jù)，支持數(shù)據(jù)服務平臺和上層應用展示，方便用戶快速查找數(shù)據(jù)資源，同時支持政務信息資源目錄的編制以及與各級目錄平臺的對接。

2.2.8數(shù)據(jù)生命周期管理

數(shù)據(jù)生命周期管理，是對信息系統(tǒng)的數(shù)據(jù)在整個生命周期內的流動進行管理（創(chuàng)建、初始存儲、過期刪除等）。數(shù)據(jù)生命周期管理支持將所涉及過程自動化，根據(jù)指定的策略將數(shù)據(jù)組織成各個不同的層，并基于關鍵條件自動地將數(shù)據(jù)從一個層移動到另一個層。

3 結論

本文從數(shù)據(jù)全生命周期的整體視角，設計基于大數(shù)據(jù)平臺的數(shù)據(jù)治理系統(tǒng)。該系統(tǒng)在建設之初就為實現(xiàn)統(tǒng)一的數(shù)據(jù)高質量、高標準管理而設計，預期能夠滿足組織在數(shù)據(jù)治理方面的功能需求，并有效避免系統(tǒng)為實現(xiàn)數(shù)據(jù)的統(tǒng)一治理而帶來的高昂改造成本，為數(shù)據(jù)資源互聯(lián)互通和價值最大化提供支撐。

參考文獻：

[1] 胡銳， 芮忠. 基于數(shù)據(jù)中臺的高校數(shù)據(jù)治理系統(tǒng)的設計[J]. 電子世界， 2020（12）：187-188.

[2] 安倩楠. 基于大數(shù)據(jù)技術的智慧校園整體構建研究[J]. 電腦知識與技術， 2021，17（17）：94-95+107.

[3] 林海.數(shù)據(jù)治理在合肥市政府大數(shù)據(jù)平臺中的應用和實踐[J].電腦知識與技術， 2019，15（10）：281-283.

[4] 姚洪.基于數(shù)據(jù)中臺的數(shù)據(jù)治理系統(tǒng)的設計與實現(xiàn)[J].科學技術創(chuàng)新， 2020（35）：74-75.

【通聯(lián)編輯：王力】