基于數(shù)據(jù)中臺的數(shù)據(jù)治理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

姚洪

（蘇州科技大學(xué) 天平學(xué)院，江蘇 蘇州215009）

隨著信息化的發(fā)展，教育信息化2.0 的提出，信息化越來越得到高校單位高層的重視，而數(shù)據(jù)作為最重要的數(shù)字資產(chǎn)，如何高效的管理和治理數(shù)據(jù)，是當(dāng)下信息化發(fā)展的一個(gè)重要課題。隨著華為數(shù)據(jù)中臺概念的提出，高校單位開始意識數(shù)據(jù)的治理的重要性，數(shù)據(jù)即是資產(chǎn)，也是財(cái)富，對數(shù)據(jù)的存儲和分析是是高效的利用數(shù)據(jù)的基礎(chǔ)，高校的利用數(shù)據(jù)可以高效的實(shí)現(xiàn)事務(wù)的發(fā)展。

本文針對大數(shù)據(jù)在高校的應(yīng)用，提出了一套基于數(shù)據(jù)中臺的數(shù)據(jù)治理系統(tǒng)，利用數(shù)據(jù)中臺實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的流轉(zhuǎn)，數(shù)據(jù)流向的梳理，數(shù)據(jù)質(zhì)量的清洗，數(shù)據(jù)提供的能力。結(jié)合用戶的實(shí)現(xiàn)的業(yè)務(wù)需求，定制化符合用戶要求的數(shù)據(jù)流，數(shù)據(jù)質(zhì)量和數(shù)據(jù)能力與實(shí)際事務(wù)流程的實(shí)現(xiàn)點(diǎn)對點(diǎn)的融合，進(jìn)而實(shí)現(xiàn)事務(wù)的線上辦事等各種應(yīng)用系統(tǒng)的建設(shè)。利用數(shù)據(jù)治理最大限度的挖掘數(shù)據(jù)的隱含價(jià)值，幫助用戶通過數(shù)據(jù)梳理業(yè)務(wù)，更好科學(xué)進(jìn)行發(fā)展。

1 相關(guān)技術(shù)研究

1.1 數(shù)據(jù)治理

數(shù)據(jù)治理類型可分為應(yīng)對型治理和主動(dòng)型治理。應(yīng)對型數(shù)據(jù)治理指的是通過客戶關(guān)系管理（CRM）等“前臺”應(yīng)用程序，以及企業(yè)資源規(guī)劃（ERP）等“后臺”應(yīng)用程序授權(quán)主數(shù)據(jù)（比如客戶、供應(yīng)商、產(chǎn)品等）[4]。

數(shù)據(jù)治理可以更有效地將數(shù)據(jù)價(jià)值轉(zhuǎn)化為實(shí)際業(yè)務(wù)價(jià)值。而當(dāng)前數(shù)據(jù)的“井噴”狀態(tài)仍在持續(xù)，機(jī)器學(xué)習(xí)、AI（人工智能）等一類對數(shù)據(jù)質(zhì)量高依賴的技術(shù)也非常的火熱，全球數(shù)字化轉(zhuǎn)型浪潮也在有條不紊的全面推進(jìn)中，殼及數(shù)據(jù)治理勢在必行且在未來也將會(huì)持續(xù)在數(shù)字戰(zhàn)略計(jì)劃里占據(jù)核心地位[5]。而現(xiàn)有的基于數(shù)據(jù)治理相關(guān)理論基礎(chǔ)可明確本文要設(shè)計(jì)和實(shí)現(xiàn)的數(shù)據(jù)治理系統(tǒng)的目標(biāo)及預(yù)期效果。

1.2 數(shù)據(jù)中臺

數(shù)據(jù)中臺是一個(gè)相對性概念，是對于數(shù)據(jù)后臺和數(shù)據(jù)前臺，將數(shù)據(jù)分為三層，數(shù)據(jù)后臺是各分散業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)存儲在各業(yè)務(wù)系統(tǒng)里，不具有數(shù)據(jù)提供能力和數(shù)據(jù)服務(wù)能力；而數(shù)據(jù)前臺是提供給用戶的已經(jīng)治理的有效數(shù)據(jù)；數(shù)據(jù)中臺是鏈接數(shù)據(jù)后臺和數(shù)據(jù)前后，將無質(zhì)量的后臺數(shù)據(jù)匯集在一起，形成大數(shù)據(jù)，通過數(shù)據(jù)治理，梳理出有效的數(shù)據(jù)來。

數(shù)據(jù)中臺是數(shù)據(jù)三層結(jié)構(gòu)中的中間層，主要功能是負(fù)責(zé)據(jù)匯集，數(shù)據(jù)治理和數(shù)據(jù)能力三方面，為應(yīng)用服務(wù)提供個(gè)性化數(shù)據(jù)服務(wù)能力。

圖1 數(shù)據(jù)治理系統(tǒng)操作流程圖

在大數(shù)據(jù)時(shí)代，本課題考慮采用最新的數(shù)據(jù)中臺建設(shè)思想來解決數(shù)據(jù)中臺建設(shè)過程中可能會(huì)出現(xiàn)的問題，實(shí)現(xiàn)智能數(shù)據(jù)的構(gòu)建、管理和應(yīng)用，為智慧應(yīng)用的深度建設(shè)奠定基礎(chǔ)。

2 數(shù)據(jù)治理系統(tǒng)分析與設(shè)計(jì)

基于數(shù)據(jù)中臺的數(shù)據(jù)治理系統(tǒng)以全業(yè)務(wù)散分?jǐn)?shù)據(jù)為基礎(chǔ)，將數(shù)據(jù)進(jìn)梳理，通過元數(shù)據(jù)對數(shù)據(jù)進(jìn)顆粒度度量，用于進(jìn)數(shù)據(jù)驅(qū)動(dòng)。

數(shù)據(jù)治理系統(tǒng)可以分為以下幾個(gè)模塊：數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)監(jiān)測查詢這個(gè)四部分，這四部分以元數(shù)據(jù)為驅(qū)動(dòng)，以業(yè)務(wù)需求的動(dòng)力，以數(shù)據(jù)能力為目的。

元數(shù)據(jù)管理實(shí)現(xiàn)數(shù)據(jù)源的梳理，數(shù)據(jù)引流，數(shù)據(jù)模型的建模，元數(shù)據(jù)屬性模型的建模等。

主數(shù)據(jù)管理實(shí)現(xiàn)數(shù)據(jù)的分類，數(shù)據(jù)的編編輯等。

數(shù)據(jù)質(zhì)量管理實(shí)現(xiàn)數(shù)據(jù)的規(guī)制管理，質(zhì)量校驗(yàn)，數(shù)據(jù)的血緣關(guān)系的梳理及數(shù)據(jù)共享與交換等。

數(shù)據(jù)監(jiān)控實(shí)現(xiàn)數(shù)據(jù)的異常行為分析，全文檢索等。

2.1 數(shù)據(jù)治理系統(tǒng)操作流程圖

圖1 給出了數(shù)據(jù)治理系統(tǒng)的操作流程圖，當(dāng)用戶新增數(shù)據(jù)治理操作時(shí)可按照該操作流程進(jìn)行，其中數(shù)據(jù)治理信息管理部分負(fù)責(zé)數(shù)據(jù)治理操作的基本信息的管理。數(shù)據(jù)的管理與操作以及系統(tǒng)的操作等過程均會(huì)受到監(jiān)測，以便及時(shí)發(fā)現(xiàn)并解決異常問題。

2.2 屬性配置功能流程圖

在創(chuàng)建數(shù)據(jù)表時(shí)數(shù)據(jù)庫管理人員已給每個(gè)屬性加以說明，但在數(shù)據(jù)分析階段獲取的結(jié)果可能與原先的說明不吻合，所以需要為每個(gè)應(yīng)用在數(shù)據(jù)分析階段的屬性配置提供新的注釋和說明，功能流程圖如圖2 所示。

圖2 屬性配置功能流程圖

2.3 編碼設(shè)置功能流程圖

在屬性配置環(huán)節(jié)僅是給每一屬性添加了前端呈現(xiàn)的相關(guān)說明，但對varchar 類型屬性來說，為方便存儲并節(jié)省空間，所以會(huì)選擇數(shù)值類型的數(shù)字進(jìn)行存儲，而數(shù)值型數(shù)據(jù)并不能用作直觀的數(shù)據(jù)分析，所以利用編碼設(shè)置功能來實(shí)現(xiàn)原先存儲數(shù)值型數(shù)據(jù)的轉(zhuǎn)換，功能流程圖如圖3 所示。

圖3 編碼設(shè)置功能流程圖

2.4 Web 頁面呈現(xiàn)方案

系統(tǒng)獲取數(shù)據(jù)源的相關(guān)元數(shù)據(jù)信息時(shí)會(huì)一次性完成信息的獲取，但就用戶而言，難以理解直接呈現(xiàn)的數(shù)據(jù)信息，因此需要在前端部分分為數(shù)據(jù)預(yù)覽與單源元數(shù)據(jù)管理兩部分。元數(shù)據(jù)可分為技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)與過程元數(shù)據(jù)三類，系統(tǒng)自動(dòng)采集計(jì)算這三類數(shù)據(jù)后展示在Web 頁面，如圖4 所示。

圖4 元數(shù)據(jù)信息頁面呈現(xiàn)

3 結(jié)論

本文針對大數(shù)據(jù)在高校的應(yīng)用，提出了一套基于數(shù)據(jù)中臺的數(shù)據(jù)治理系統(tǒng)，以全業(yè)務(wù)散分?jǐn)?shù)據(jù)為基礎(chǔ)，將數(shù)據(jù)進(jìn)梳理，通過元數(shù)據(jù)對數(shù)據(jù)進(jìn)顆粒度度量，用于進(jìn)數(shù)據(jù)驅(qū)動(dòng)，利用數(shù)據(jù)中臺實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的流轉(zhuǎn)，數(shù)據(jù)流向的梳理，數(shù)據(jù)質(zhì)量的清洗，數(shù)據(jù)提供的能力。數(shù)據(jù)治理要貼合業(yè)務(wù)需求，才有意義，因此數(shù)據(jù)治理是一個(gè)定制化數(shù)據(jù)服務(wù)，拋開業(yè)務(wù)談數(shù)據(jù)治理是沒有意義，本文只是高校數(shù)據(jù)治理研究的冰山一角。