數(shù)據(jù)治理助力數(shù)據(jù)中臺能力建設(shè)的探索與實踐

鄧娟 羅秀 陳偉

摘要：解讀互聯(lián)網(wǎng)、電信、金融、零售、能源等各行業(yè)數(shù)據(jù)中臺建設(shè)方案，數(shù)據(jù)治理已然成為數(shù)據(jù)中臺建設(shè)中必不可少的一部分，國內(nèi)企業(yè)對數(shù)據(jù)治理的重視程度也達(dá)到了前所未有的高度。對企業(yè)而言，數(shù)據(jù)治理是一項具有戰(zhàn)略性，同時需要長期、系統(tǒng)、持續(xù)開展的艱巨任務(wù)，其治理范圍包括數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全、組織架構(gòu)、主數(shù)據(jù)、模型設(shè)計與開發(fā)等各方面。貴州移動在數(shù)據(jù)治理方面，進(jìn)行了長期的探索和嘗試，目前已實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)有效落地、元數(shù)據(jù)有效管理、數(shù)據(jù)質(zhì)量有效管理、數(shù)據(jù)安全分類分級管理、數(shù)據(jù)開發(fā)過程可視可管等，夯實了數(shù)據(jù)中臺的基礎(chǔ)能力，本文結(jié)合貴州移動數(shù)據(jù)治理落地經(jīng)驗，為正在進(jìn)行數(shù)據(jù)治理或者計劃即將進(jìn)行數(shù)據(jù)治理的企業(yè)提供實踐經(jīng)驗參考及借鑒，盡可能幫助企業(yè)少走彎路、減少不必要的投入，提升數(shù)據(jù)治理成功率。

關(guān)鍵詞：數(shù)據(jù)資產(chǎn)管控;數(shù)據(jù)治理;大數(shù)據(jù)價值;管理成本;運營

中圖分類號：TP3 ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）31-0056-03

為了建立“以大數(shù)據(jù)為載體、規(guī)范統(tǒng)一、物理分散、邏輯集中、百家爭鳴”的貴州移動大數(shù)據(jù)平臺生態(tài)，加速公司數(shù)據(jù)轉(zhuǎn)換為價值的過程，提高數(shù)據(jù)平臺的業(yè)務(wù)響應(yīng)能力，貴州移動逐步打造省級數(shù)據(jù)中臺，實現(xiàn)數(shù)據(jù)采集、融合、治理、開放共享等能力。貴州移動數(shù)據(jù)中臺建設(shè)歷程可總結(jié)為四個階段：第一階段實現(xiàn)全域數(shù)據(jù)融合、打通信息壁壘和數(shù)據(jù)孤島;第二階段建立企業(yè)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，實現(xiàn)數(shù)據(jù)匯聚、共享、使用全環(huán)節(jié)統(tǒng)一語言;第三階段建立統(tǒng)一資產(chǎn)管理平臺，萃取價值數(shù)據(jù)形成全域資產(chǎn);第四階段打造統(tǒng)一服務(wù)開放平臺，提供多樣高效標(biāo)準(zhǔn)安全的數(shù)據(jù)服務(wù)。為了保障數(shù)據(jù)中臺建設(shè)有效推進(jìn)及中臺價值能夠最終得到最大程度的發(fā)揮，貴州移動探索了數(shù)據(jù)中臺數(shù)據(jù)治理之路，保障一階段和二階段的能力能夠得到有效夯實。貴州移動數(shù)據(jù)治理整體思路在國際及行業(yè)數(shù)據(jù)治理相關(guān)方法論指導(dǎo)下，結(jié)合公司數(shù)據(jù)管理實際，圍繞數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)開發(fā)規(guī)范管理等方面進(jìn)行積極探索和實踐，取得了明顯的成效。本文對貴州移動數(shù)據(jù)治理過程中數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)開發(fā)管控幾個方面進(jìn)行實踐經(jīng)驗分享。

1數(shù)據(jù)治理思路

貴州移動在數(shù)據(jù)治理過程中充分考慮本公司數(shù)據(jù)中臺系統(tǒng)、數(shù)據(jù)實際情況，以國際數(shù)據(jù)治理DAMM理論作為理論參考，理論聯(lián)系實際、以成本最小化效果最大化原則，圍繞數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)開發(fā)過程管控等開展數(shù)據(jù)治理工作。

1.1數(shù)據(jù)標(biāo)準(zhǔn)管理思路

正所謂“書同文、車同軌”、“無規(guī)矩不成方圓”，數(shù)據(jù)中臺整合了公司各域、各業(yè)務(wù)類的數(shù)據(jù)，只有確保了平臺數(shù)據(jù)的標(biāo)準(zhǔn)化、規(guī)范化，才能進(jìn)一步通過數(shù)據(jù)應(yīng)用和數(shù)據(jù)運營發(fā)揮數(shù)據(jù)的最大價值，實現(xiàn)數(shù)據(jù)資產(chǎn)統(tǒng)一管理、最終盤活數(shù)據(jù)資產(chǎn)助力公司市場運營。為了保障數(shù)據(jù)中臺數(shù)據(jù)標(biāo)準(zhǔn)的有效落地，貴州移動采用了將標(biāo)準(zhǔn)提煉為技術(shù)規(guī)則嵌入到數(shù)據(jù)開發(fā)平臺的方式，實現(xiàn)標(biāo)準(zhǔn)管理的落地。

1.2元數(shù)據(jù)管理思路

貴州移動采用以元模型驅(qū)動進(jìn)行元數(shù)據(jù)管理的方式對元數(shù)據(jù)進(jìn)行管理，實現(xiàn)元數(shù)據(jù)前向管理、元數(shù)據(jù)規(guī)范事前管控的效果。按照行業(yè)元數(shù)據(jù)管理能力成熟度評估參考，貴州移動達(dá)到了L4級別的元數(shù)據(jù)管理，這在整個行業(yè)也算是比較靠前的。

1.3數(shù)據(jù)質(zhì)量管理思路

數(shù)據(jù)質(zhì)量管理的最終目標(biāo)是通過一系列的管理手段、稽核規(guī)則以及可量化的指標(biāo)，最終使業(yè)務(wù)和技術(shù)關(guān)于數(shù)據(jù)質(zhì)量準(zhǔn)確的定義達(dá)成一致，讓技術(shù)為業(yè)務(wù)提供的數(shù)據(jù)盡可能逼近數(shù)據(jù)的真實情況，以便支持管理層能夠做出最佳的運營決策。在這方面，貴州移動探索建立數(shù)據(jù)質(zhì)量從規(guī)則定義、規(guī)則稽核、規(guī)則稽核結(jié)果、數(shù)據(jù)質(zhì)量量化報告完整的閉環(huán)流程，實現(xiàn)數(shù)據(jù)質(zhì)量的可稽核、可量化。

1.4數(shù)據(jù)安全管理思路

數(shù)據(jù)安全是數(shù)據(jù)中臺建設(shè)中的核心部分，貴州移動在這方面也做了積極的探索，主要建立了數(shù)據(jù)安全基礎(chǔ)數(shù)據(jù)圖譜，能夠?qū)崟r分析敏感數(shù)據(jù)的分布情況，實現(xiàn)數(shù)據(jù)安全可分析、敏感數(shù)據(jù)分布可分析。

1.5數(shù)據(jù)開發(fā)過程可管可控思路

數(shù)據(jù)開發(fā)過程和數(shù)據(jù)管理過程脫節(jié)是普遍存在的問題，造成該問題的主要原因還是開發(fā)過程全程不透明，廠商數(shù)據(jù)開發(fā)人員開發(fā)的處理邏輯、數(shù)據(jù)的來龍去脈信息全部淹沒在程序腳本中，對于管理人員而言開發(fā)過程全程黑盒子，不可管不可控，導(dǎo)致管理和開發(fā)的脫節(jié)。貴州移動在這方面的思路通過對數(shù)據(jù)開發(fā)過程進(jìn)行可視化，“以業(yè)務(wù)驅(qū)動設(shè)計、以設(shè)計驅(qū)動開發(fā)”實現(xiàn)數(shù)據(jù)開發(fā)過程的可管、可控、可視化。

2數(shù)據(jù)治理實踐

2.1 數(shù)據(jù)標(biāo)準(zhǔn)管理實踐

貴州移動數(shù)據(jù)標(biāo)準(zhǔn)管理實踐過程包括以下步驟：

第一步：制定數(shù)據(jù)中臺數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，包括模型命名、字段命名、分層架構(gòu)、數(shù)據(jù)引用規(guī)范、存儲規(guī)范等。

第二步：將規(guī)范提煉為一個個技術(shù)規(guī)則，并將規(guī)則嵌入到數(shù)據(jù)開發(fā)平臺，在數(shù)據(jù)開發(fā)過程強(qiáng)制執(zhí)行標(biāo)準(zhǔn)規(guī)范管控，標(biāo)準(zhǔn)管理實現(xiàn)了與數(shù)據(jù)生產(chǎn)過程的無縫對接，實現(xiàn)標(biāo)準(zhǔn)管理成為生產(chǎn)的一部分。

2.2 元數(shù)據(jù)管理實踐

貴州移動元數(shù)據(jù)管理采用以元模型驅(qū)動進(jìn)行管理元數(shù)據(jù)的方式對元數(shù)據(jù)進(jìn)行管理，實現(xiàn)元數(shù)據(jù)的前向管理、元數(shù)據(jù)規(guī)范事前管控的效果。實踐過程包括以下步驟：

第一步：自主設(shè)計貴州移動元模型

貴州移動整個數(shù)據(jù)中臺元模型全部是貴州移動公司內(nèi)部數(shù)據(jù)倉庫架構(gòu)師、數(shù)據(jù)管理員共同參與設(shè)計，設(shè)計過程中充分考慮需要管理的業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)，一共設(shè)計了13類元模型，覆蓋范圍包括文件采集、入庫、清洗、庫內(nèi)處理、數(shù)據(jù)分發(fā)、API、AI模型管理等。

第二步：基于元模型進(jìn)行元數(shù)據(jù)的填充式開發(fā)

數(shù)據(jù)開發(fā)人員基于設(shè)計的元模型進(jìn)行填充式的元數(shù)據(jù)的開發(fā)，在數(shù)據(jù)開發(fā)過程中按照設(shè)計的元模型要素同步填充元數(shù)據(jù)，實現(xiàn)元數(shù)據(jù)的前向管理。