基于大數(shù)據(jù)環(huán)境的高校數(shù)據(jù)治理平臺設計

潘銀芳

摘要：隨著高校大數(shù)據(jù)技術的應用與推廣，數(shù)據(jù)治理的問題逐步凸顯：很多高校沒有整體數(shù)據(jù)標準，缺乏數(shù)據(jù)校驗，問題數(shù)據(jù)不斷沉積，造成大數(shù)據(jù)分析對領導決策的支持功能失靈甚至錯誤。同時，在智慧校園環(huán)境下應用系統(tǒng)微服務化、移動化增多，數(shù)據(jù)共享交換平臺中數(shù)據(jù)交換的壓力呈指數(shù)增長，數(shù)據(jù)管理部門對數(shù)據(jù)交換管理的難度和工作量迅速上升，利用傳統(tǒng)的數(shù)據(jù)交換共享平臺進行數(shù)據(jù)交換管理已經(jīng)越來越不適應新的業(yè)務需求。該文作者對高?，F(xiàn)有業(yè)務系統(tǒng)大數(shù)據(jù)進行分析，通過構(gòu)建恰當?shù)臄?shù)據(jù)治理模型，制定高校數(shù)據(jù)標準和工作規(guī)范，提出了高校數(shù)據(jù)治理委員會等機構(gòu)的設立和功能建設，采用可視化設計方案設計數(shù)據(jù)治理平臺，提出全生命周期數(shù)據(jù)治理概念，覆蓋了數(shù)據(jù)對象動態(tài)發(fā)展的全過程，進而建立數(shù)據(jù)治理體系，在此過程中高校中信息化涵蓋的邊界得到重塑，信息化與高校核心業(yè)務實現(xiàn)進一步融合。

關鍵詞：數(shù)據(jù)治理;高校;全生命周期

中圖分類號：TP311.13? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2020）36-0029-03

Abstract： With the application and promotion of big data technology in colleges and universities， the problem of data governance has gradually emerged： many colleges lack a school-wide overall plan for data standards and implement them in accordance with the plan， lack a data verification mechanism， and continue to deposit problematic data， resulting in big data analysis for supporting leadership decision-making malfunctioned or even wrong. At the same time， in the smart campus environment， application systems have become more micro-services and mobile， and the pressure of data exchange in the data sharing and exchange platform has increased exponentially. The difficulty and workload of data exchange management by the data management department has increased rapidly， using traditional data exchange. The traditional sharing platform for data exchange management has become increasingly unsuitable for new business needs. The author of this article analyzes the big data of the existing business systems in colleges， and by constructing an appropriate data governance model， formulating university data standards and work specifications， proposing the establishment and functional construction of institutions such as the university data governance committee， and adopting a visual design plan to design data governance. The platform puts forward the concept of full life cycle data governance， covering the entire process of the dynamic development of data objects， and then establishing a data governance system. In this process， the boundaries covered by informatization in colleges and universities are reshaped， and informatization is further integrated with the core business of colleges and universities.

Key words： data governance; colleges and universities; full life cycle

1 引言

近年來，隨著大數(shù)據(jù)技術的推廣應用，高校信息化建設進一步發(fā)展，在原有業(yè)務系統(tǒng)信息化的基礎上，利用其產(chǎn)生的海量數(shù)據(jù)以及其他外部數(shù)據(jù)，進行挖掘和分析，通過建立分析模型，開發(fā)出了很多諸如行為畫像、與情監(jiān)控預警、就業(yè)指導建設、消費分析等大數(shù)據(jù)應用。在這些應用的開發(fā)和使用過程中，數(shù)據(jù)治理的問題逐步凸顯：很多高校沒有整體數(shù)據(jù)標準，缺乏數(shù)據(jù)校驗，問題數(shù)據(jù)不斷沉積，造成大數(shù)據(jù)分析對領導決策的支持功能失靈甚至錯誤。同時，在智慧校園環(huán)境下應用系統(tǒng)微服務化、移動化增多，數(shù)據(jù)共享交換平臺中數(shù)據(jù)交換的壓力呈指數(shù)增長，數(shù)據(jù)管理部門對數(shù)據(jù)交換管理的難度和工作量迅速上升，利用傳統(tǒng)的數(shù)據(jù)交換共享平臺進行數(shù)據(jù)交換管理已經(jīng)越來越不適應新的業(yè)務需求。

在這種情況下，通過高校數(shù)據(jù)治理平臺，對數(shù)據(jù)進行統(tǒng)一治理，將學?，F(xiàn)有分散、重疊、雜亂的數(shù)據(jù)，進行統(tǒng)一整理，制定全校性的數(shù)據(jù)標準，對數(shù)據(jù)進行全生命周期管理，使業(yè)務系統(tǒng)保持數(shù)據(jù)健康、業(yè)務穩(wěn)定，進而為學校決策提供大數(shù)據(jù)支持。

1.1 研究意義

運用對高校現(xiàn)有業(yè)務系統(tǒng)大數(shù)據(jù)進行分析，通過構(gòu)建恰當?shù)臄?shù)據(jù)治理模型，制定高校數(shù)據(jù)標準和工作規(guī)范，提出了高校數(shù)據(jù)治理委員會等機構(gòu)的設立和功能建設，從中觀層面上完善了數(shù)據(jù)治理管理體系建設的相關理論。數(shù)據(jù)治理平臺在設計過程中采用可視化設計方案，提出全生命周期數(shù)據(jù)治理概念，覆蓋了數(shù)據(jù)對象動態(tài)發(fā)展的全過程，具備較強的創(chuàng)新意義，本項目設計的數(shù)據(jù)治理平臺，是高校大數(shù)據(jù)應用建設中必不可少的前提條件，只有對經(jīng)過有效治理的信息化業(yè)務數(shù)據(jù)進行挖掘、建模、分析才能產(chǎn)生正確、科學的決策支持;另一方面，通過數(shù)據(jù)治理體系的建立，高校中信息化涵蓋的邊界得到重塑，信息化與高校核心業(yè)務進一步融合，教育信息化在高校發(fā)展過程中的實際作用日益增強。

1.2 國內(nèi)外同類研究工作現(xiàn)狀

數(shù)據(jù)治理的概念起源于信息（IT）治理，李維安等[1]認為IT治理概念的分析包含對諸多概念的理解。美國學者索尼爾.索雷斯[2]認為大數(shù)據(jù)治理是廣義信息治理計劃的一部分。鄭大慶[3]從大數(shù)據(jù)治理目標、權(quán)力層次、對象及范圍、解決的實際問題4個維度，闡述了大數(shù)據(jù)治理概念的內(nèi)涵。Weber[4]從IT治理和組織理論的概念延伸到數(shù)據(jù)治理，他提出了一個包含數(shù)據(jù)質(zhì)量角色、決策區(qū)域、責任的職責分配矩陣。

1）數(shù)據(jù)治理模型和框架：包冬梅等[5]提出包含促成因素、范圍和實施評估三個內(nèi)容的數(shù)據(jù)治理框架;曾凱[6]提出包含數(shù)據(jù)各個層次的通用數(shù)據(jù)治理框架;趙安新[7]提出包含數(shù)據(jù)層、交換層、平臺層和展示層的數(shù)據(jù)治理框架;李林、錢丹丹[8]提出RACI模型矩陣，通過包含（R）負責執(zhí)行活動的角色、（A）對活動負全責的角色、（C）擁有完成項目所需的信息或能力的人員和（I）應及時通知結(jié)果的角色構(gòu)成模型矩陣 ;余鵬[9]提出基于“五元管理”的教育大數(shù)據(jù)治理系統(tǒng)功能框架。Otto[10]針對電信行業(yè)數(shù)據(jù)治理的組織架構(gòu)設計進行了研究，他挑選了兩個具有代表性的架構(gòu)設計：一種以BT公司為代表的項目驅(qū)動，自底向上的架構(gòu)，另一種以德意志電信（Deutsche Telekom）為代表性的結(jié)構(gòu)化，自頂向下的架構(gòu);Lai Kuan Cheong[11]通過調(diào)研發(fā)現(xiàn)：一旦缺乏清晰的角色定位和責任界定、缺乏對改進數(shù)據(jù)質(zhì)量任務的授權(quán)，自適應數(shù)據(jù)治理模型的數(shù)據(jù)管理功能會受阻，他針對此種情況提出了一種強調(diào)IT和業(yè)務相協(xié)作的數(shù)據(jù)治理框架。

2）數(shù)據(jù)治理平臺設計：張寶國[12]提出了一種閉環(huán)數(shù)據(jù)治理體系架構(gòu)。金釗[13]設計的數(shù)據(jù)治理平臺主要包括數(shù)據(jù)資產(chǎn)、數(shù)據(jù)安全以及數(shù)據(jù)質(zhì)量管理三個應用功能和一個數(shù)據(jù)服務功能。

國內(nèi)外文獻調(diào)研顯示，學術界針對大數(shù)據(jù)環(huán)境下高校數(shù)據(jù)治理進行了大量的研究，這為本研究提供了良好的現(xiàn)實基礎，但這些研究重點在于宏觀和中觀層次上探討大數(shù)據(jù)治理的體系內(nèi)涵，對于大數(shù)據(jù)治理平臺的設計和實現(xiàn)還僅僅停留在理論階段，僅有部分研究者提出了傳統(tǒng)的針對數(shù)據(jù)管理的治理平臺實現(xiàn)方案。本項目提出將數(shù)據(jù)治理過程可視化，降低數(shù)據(jù)管理門檻，從而構(gòu)建一個包含數(shù)據(jù)起源、清洗、開放的全生命周期數(shù)據(jù)治理平臺，更加符合高校信息化管理實際需求，具備可操作性和創(chuàng)新性。

2 數(shù)據(jù)治理平臺功能設計

2.1 數(shù)據(jù)治理規(guī)范制度建立

數(shù)據(jù)是學校重要資產(chǎn)，通過對學校各個業(yè)務系統(tǒng)數(shù)據(jù)資源進行充分調(diào)研，形成數(shù)據(jù)資源情況報告，以教育部信息標準為基礎，結(jié)合學?，F(xiàn)有數(shù)據(jù)情況和各管理業(yè)務標準，如人事處、教學處、學工處標準，然后再經(jīng)過充分的實際調(diào)研工作之后，將根據(jù)學校的實際情況進行刪減，并形成最終的學校事實信息標準。

制定校園數(shù)據(jù)集成、更新管理辦法等制度和規(guī)范，以保證數(shù)據(jù)集成、更新、管理等活動正常運行，保證學校大數(shù)據(jù)系統(tǒng)的正常服務。

在學校數(shù)據(jù)治理建設的工作中，會基于學校的實施檢驗，最終出臺《學校數(shù)據(jù)標準》《數(shù)據(jù)管理辦法》《數(shù)據(jù)標準管理辦法》《元數(shù)據(jù)管理辦法》《數(shù)據(jù)質(zhì)量管理辦法》等管理制度，將學校的數(shù)據(jù)治理工作形成體系化的建設

2.2 數(shù)據(jù)治理平臺功能模塊

2.2.1 元數(shù)據(jù)管理功能模塊

元數(shù)據(jù)是數(shù)據(jù)治理的基礎，元數(shù)據(jù)管理功能模塊包含元數(shù)據(jù)的采集、存儲、分析。

元數(shù)據(jù)管理基于OMG的CWM標準規(guī)范，形成整個校園信息系統(tǒng)的數(shù)據(jù)視圖，梳理業(yè)務系統(tǒng)數(shù)據(jù)之間的關系，以實現(xiàn)對各個業(yè)務系統(tǒng)數(shù)據(jù)運行的全面分析。

2.2.2 數(shù)據(jù)集成管理模塊

數(shù)據(jù)集成管理模塊主要包括數(shù)據(jù)清洗和數(shù)據(jù)集成兩部分。主要包含以下功能：

數(shù)據(jù)清洗列表，顯示數(shù)據(jù)清洗作業(yè)列表以及狀態(tài)，設置批量和個性化操作。數(shù)據(jù)清洗按照預處理、格式處理、邏輯處理、業(yè)務關聯(lián)性以及驗證的步驟進行。數(shù)據(jù)集成作業(yè)列表，展示了當前已設置的作業(yè)。支持作業(yè)的批量開啟和關閉，作業(yè)的調(diào)度時間設置。數(shù)據(jù)集成作業(yè)設置，在數(shù)據(jù)屬性維度上進行處理，即可以是多個表的屬性合并為一個表的屬性，也可以把一個表的部分屬性生成一個新表，可以設置表中字段之間的對應關系以及表與表直接的關聯(lián)關系。

2.2.3 數(shù)據(jù)質(zhì)量管理模塊

我們設計的數(shù)據(jù)質(zhì)量管理定位在多維度的全生命周期數(shù)據(jù)質(zhì)量管理，通過量化數(shù)據(jù)質(zhì)量指標對數(shù)據(jù)質(zhì)量進行全生命周期監(jiān)測，選擇通用數(shù)據(jù)質(zhì)量標準，建立一個監(jiān)測、評價、分析、改進的閉環(huán)過程。

2.2.4 系統(tǒng)管理模塊

包含賬戶管理、角色權(quán)限管理、數(shù)據(jù)權(quán)限管理、功能權(quán)限管理、角色用戶查詢、用戶訪問日志、系統(tǒng)數(shù)據(jù)備份等系統(tǒng)功能。

3 數(shù)據(jù)治理平臺實施

3.1 數(shù)據(jù)調(diào)研