數(shù)據(jù)中臺(tái)的數(shù)據(jù)治理系統(tǒng)設(shè)計(jì)

趙磊 李云 方紅旺

摘 要 本文主要針對(duì)數(shù)據(jù)中臺(tái)的數(shù)據(jù)治理系統(tǒng)設(shè)計(jì)進(jìn)行了深入的分析和詳細(xì)的探討，對(duì)現(xiàn)階段我國(guó)在數(shù)據(jù)中臺(tái)的數(shù)據(jù)治理系統(tǒng)設(shè)計(jì)中存在的一些具體問(wèn)題給出了具有指導(dǎo)性的意見(jiàn)和建議，并提出了具有針對(duì)性的解決策略，希望能夠進(jìn)一步促進(jìn)數(shù)據(jù)中臺(tái)的數(shù)據(jù)治理系統(tǒng)的不斷完善。

關(guān)鍵詞 數(shù)據(jù)中臺(tái);數(shù)據(jù)治理;治理系統(tǒng);系統(tǒng)設(shè)計(jì)

引言

隨著大數(shù)據(jù)時(shí)代的到來(lái)，新興技術(shù)正以驚人的速度發(fā)展著，本文主要針對(duì)數(shù)據(jù)中臺(tái)的數(shù)據(jù)治理系統(tǒng)設(shè)計(jì)進(jìn)行了深入的探討和詳細(xì)的研究，對(duì)在新形勢(shì)下數(shù)據(jù)中臺(tái)的數(shù)據(jù)治理系統(tǒng)設(shè)計(jì)相關(guān)問(wèn)題給出了具體的意見(jiàn)或者建議。

1數(shù)據(jù)治理的相關(guān)技術(shù)研究

（1）數(shù)據(jù)治理基本概念。一說(shuō)到數(shù)據(jù)治理的工作，人們一般情況下都第一個(gè)想到的是數(shù)據(jù)。從概念上來(lái)說(shuō)，數(shù)據(jù)總體指的是對(duì)真實(shí)世界的對(duì)象、事件被選擇屬性的抽象表示，是通過(guò)具體定義的約定對(duì)其含義、與存儲(chǔ)進(jìn)行表達(dá)和理解，治理從概念上來(lái)說(shuō)指的是公立單位或私人單位經(jīng)營(yíng)管理相同事物方式的共同形式，是通過(guò)采取聯(lián)合行動(dòng)的持續(xù)過(guò)程，來(lái)調(diào)和各種相互沖突以及利益的一種過(guò)程。

（2）元數(shù)據(jù)相關(guān)理論。在現(xiàn)如今社會(huì)中，大數(shù)據(jù)時(shí)代已經(jīng)悄然地來(lái)到了我們身邊，數(shù)據(jù)已經(jīng)成為人們的一種重要的無(wú)形資產(chǎn)，對(duì)于數(shù)據(jù)的管理框架而言，元數(shù)據(jù)管理無(wú)疑在其中占有絕對(duì)性的重要地位，元數(shù)據(jù)管理隨著它不斷地廣泛應(yīng)用受到了越來(lái)越多的人的關(guān)注。原數(shù)據(jù)的基礎(chǔ)性概念指的是數(shù)據(jù)對(duì)數(shù)據(jù)的描述，它的主要作用是針對(duì)具體的信息和資源進(jìn)行精確性的描述[1]。

2數(shù)據(jù)中臺(tái)相關(guān)理論

（1）數(shù)據(jù)中臺(tái)基本概念。數(shù)據(jù)中臺(tái)與大數(shù)據(jù)平臺(tái)對(duì)于大多數(shù)人而言是非常容易混淆的，然而這兩個(gè)概念之間并沒(méi)有本質(zhì)性的聯(lián)系，數(shù)據(jù)中臺(tái)主要指的是通過(guò)數(shù)據(jù)技術(shù)對(duì)大量的數(shù)據(jù)進(jìn)行整體型的采集、計(jì)算、存儲(chǔ)和加工，并且統(tǒng)一標(biāo)準(zhǔn)的和口徑。數(shù)據(jù)中臺(tái)在針對(duì)具體性的數(shù)據(jù)完成數(shù)據(jù)統(tǒng)一之后，會(huì)逐漸形成標(biāo)準(zhǔn)型的數(shù)據(jù)，接下來(lái)再對(duì)這些數(shù)據(jù)進(jìn)行有效的存儲(chǔ)，從而進(jìn)一步的形成大數(shù)據(jù)資產(chǎn)層，為客戶提供更好的優(yōu)質(zhì)服務(wù)。

數(shù)據(jù)中臺(tái)可以通過(guò)自身強(qiáng)大的功能影響開(kāi)發(fā)團(tuán)隊(duì)的開(kāi)發(fā)速度，解決具體的效率問(wèn)題、 協(xié)作問(wèn)題、和能力問(wèn)題，通過(guò)影響開(kāi)發(fā)團(tuán)隊(duì)的開(kāi)發(fā)速度能夠讓前臺(tái)的開(kāi)發(fā)團(tuán)隊(duì)在具體工作執(zhí)行過(guò)程中當(dāng)中的開(kāi)發(fā)速度不受后臺(tái)數(shù)據(jù)開(kāi)發(fā)的影響。這在很大程度上解決了開(kāi)發(fā)團(tuán)隊(duì)在開(kāi)發(fā)過(guò)程當(dāng)中的主要干擾因素，加速了開(kāi)發(fā)的速度 。簡(jiǎn)單來(lái)說(shuō)，數(shù)據(jù)中臺(tái)主要是通過(guò)聚合和治理兩方面功能來(lái)影響具體的數(shù)據(jù)，把各種類型的不同數(shù)據(jù)抽象封裝成為一種具體的服務(wù)，從而進(jìn)一步以業(yè)務(wù)價(jià)值的邏輯概念發(fā)送給前臺(tái)。

（2）數(shù)據(jù)中臺(tái)的建設(shè)原則。數(shù)據(jù)中臺(tái)的建設(shè)是一項(xiàng)漫長(zhǎng)而又冗雜的工程，相關(guān)單位根據(jù)自身實(shí)際情況，建設(shè)具有自身特色的中臺(tái)能力，在具體的建設(shè)過(guò)程當(dāng)中需要遵循以下建設(shè)原則：第一，相關(guān)企事業(yè)單位具體組織架構(gòu)以及企業(yè)機(jī)制應(yīng)該順應(yīng)時(shí)代的潮流而進(jìn)行改革;第二，企業(yè)內(nèi)部工作人員的工作方式需要進(jìn)一步做出變革，具體的數(shù)據(jù)工作人員應(yīng)該深入研究業(yè)務(wù)、數(shù)據(jù)和模型，在日常工作中頻繁的進(jìn)行端到端的實(shí)踐工作;第三，數(shù)據(jù)中臺(tái)的具體團(tuán)隊(duì)人員要順應(yīng)需求的變化，轉(zhuǎn)變傳統(tǒng)支撐角色向運(yùn)營(yíng)靠攏，在工作中不斷推陳出新，為企業(yè)的進(jìn)一步發(fā)展尋找多個(gè)不同的突破口;第四，中臺(tái)建設(shè)的結(jié)果一定要適合企業(yè)自身的特色，在建設(shè)過(guò)程當(dāng)中一定要注重對(duì)企業(yè)自身的針對(duì)性。

3數(shù)據(jù)治理系統(tǒng)分析與設(shè)計(jì)

（1）功能性需求。①元數(shù)據(jù)管理功能的建設(shè)。在企業(yè)內(nèi)部針對(duì)原數(shù)據(jù)管理功能進(jìn)行具體的建設(shè)工作，從而對(duì)原數(shù)據(jù)實(shí)行統(tǒng)一化的管理，這在很大程度上為數(shù)據(jù)標(biāo)準(zhǔn)化的工作奠定了結(jié)實(shí)的基礎(chǔ)。原數(shù)據(jù)整體包括了兩部分，一部分是技術(shù)元數(shù)據(jù)，另一部分是業(yè)務(wù)元數(shù)據(jù)，元數(shù)據(jù)管理部分主要職責(zé)是關(guān)于數(shù)據(jù)源的配置以及數(shù)據(jù)模型的管理等工作。②數(shù)據(jù)質(zhì)量管理功能。數(shù)據(jù)質(zhì)量管理的主要功能是實(shí)現(xiàn)對(duì)數(shù)據(jù)的自主查找、開(kāi)發(fā)、數(shù)據(jù)共享和數(shù)據(jù)交換，從而確保數(shù)據(jù)的高質(zhì)高量 。通過(guò)對(duì)數(shù)據(jù)的完整性與準(zhǔn)確性進(jìn)行進(jìn)一步的效驗(yàn)工作，并與數(shù)據(jù)業(yè)務(wù)的實(shí)際需要相結(jié)合，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量情況的有效監(jiān)測(cè)。由于通過(guò)數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái)具體作用，從而建立和支撐起基于數(shù)據(jù)指標(biāo)、質(zhì)量檢測(cè) 、問(wèn)題發(fā)現(xiàn)和監(jiān)控的完善的數(shù)據(jù)治理體系，通過(guò)采用事前、事中和事后等三個(gè)不同環(huán)節(jié)預(yù)測(cè)、發(fā)現(xiàn)和解決相關(guān)的數(shù)據(jù)問(wèn)題。從而進(jìn)一步的保證數(shù)據(jù)在應(yīng)用的過(guò)程當(dāng)中不會(huì)出現(xiàn)任何干擾因素。③數(shù)據(jù)安全管理。在保證數(shù)據(jù)能夠在共享的前提下，相關(guān)的工作人員還需要進(jìn)一步的考慮數(shù)據(jù)共享的安全性，保證數(shù)據(jù)共享的安全性能夠在較大程度上規(guī)避因各種原因而導(dǎo)致的數(shù)據(jù)丟失以及數(shù)據(jù)泄露等安全隱患問(wèn)題，所以平臺(tái)必須確保對(duì)共享數(shù)據(jù)的脫敏需求，既要確保滿足使用方對(duì)數(shù)據(jù)的特殊需求，還要對(duì)敏感信息進(jìn)行進(jìn)一步的加密與仿真等工作。④數(shù)據(jù)監(jiān)測(cè)查詢管理。數(shù)據(jù)監(jiān)測(cè)查詢管理的主要作用是針對(duì)數(shù)據(jù)中心的各種海量數(shù)據(jù)提供各種便捷化的管理與服務(wù)。其主要內(nèi)容包括：各類的數(shù)據(jù)庫(kù)查詢工具，例如Web端的數(shù)據(jù)庫(kù)查詢器，以及能夠支持在線數(shù)據(jù)庫(kù)SQL查詢，對(duì)SQL查詢腳本采取復(fù)雜的多需求的以及多表關(guān)聯(lián)的自定義查詢; 對(duì)于日常工作常用查詢支持 “常用收藏 ”，把復(fù)雜化的操作進(jìn)一步簡(jiǎn)化，在相當(dāng)大的程度上提升了工作效率。

（2）系統(tǒng)總體架構(gòu)。數(shù)據(jù)中臺(tái)的數(shù)據(jù)治理系統(tǒng)按其不同功能分類大致可以劃分為以下三類主要的功能模塊兒：一類是數(shù)據(jù)的管理 ，另一類是數(shù)據(jù)質(zhì)量的管理，第三類是數(shù)據(jù)監(jiān)測(cè)的查詢。系統(tǒng)按其功能可分為元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)監(jiān)測(cè)與查詢這四個(gè)主要的功能模塊，以上這些內(nèi)容中元數(shù)據(jù)管理主要職責(zé)是負(fù)責(zé)數(shù)據(jù)源的配置，數(shù)據(jù)模型的管理以及元數(shù)據(jù)屬性模型的管理工作，主數(shù)據(jù)模塊兒的主要工作內(nèi)容是以服務(wù)的形式把統(tǒng)一、完整、 準(zhǔn)確且具有權(quán)威性的主組數(shù)據(jù)傳送給企業(yè)內(nèi)需要使用這些數(shù)據(jù)的應(yīng)用系統(tǒng)，數(shù)據(jù)質(zhì)量管理模塊的主要職責(zé)是對(duì)數(shù)據(jù)質(zhì)量的效驗(yàn)和管理，數(shù)據(jù)監(jiān)測(cè)模塊對(duì)電腦系統(tǒng)內(nèi)的全部數(shù)據(jù)進(jìn)行異常監(jiān)控，并可以針對(duì)全局?jǐn)?shù)據(jù)進(jìn)行檢索。

4結(jié)束語(yǔ)

基于數(shù)據(jù)中臺(tái)的高校數(shù)據(jù)治理系統(tǒng)，在很大程度上滿足了數(shù)據(jù)在治理方面的迫切需求，顯示出了較為良好的應(yīng)用效果，但是由于系統(tǒng)也存在一些多方面因素干擾的問(wèn)題，在實(shí)際的應(yīng)用過(guò)程當(dāng)中還是需要不斷的改進(jìn)與發(fā)展，由于數(shù)據(jù)治理系統(tǒng)仍然處于較為新生的狀態(tài)，因此在后期的發(fā)展過(guò)程當(dāng)中還是需要不斷的探索與健全。

參考文獻(xiàn)

[1] 劉俊良.新時(shí)代數(shù)據(jù)中臺(tái)研究與設(shè)計(jì)[J].電子世界，2020（5）：119.