高校數(shù)據(jù)中臺中數(shù)據(jù)管控及服務的研究與實踐

潘旭

摘要：本文介紹了高校數(shù)據(jù)中臺實現(xiàn)的技術路線，其中數(shù)據(jù)監(jiān)控提供數(shù)據(jù)結構管控、數(shù)據(jù)交換管控、數(shù)據(jù)質量管控、數(shù)據(jù)安全管控和數(shù)據(jù)存儲服務等通用服務。

關鍵詞：數(shù)據(jù)管控 ?數(shù)據(jù)中臺 ?數(shù)據(jù)服務

高等學校一直以來使用共享數(shù)據(jù)中心、統(tǒng)一身份認證和統(tǒng)一信息門戶為核心的“三大基礎平臺”數(shù)字校園建設模式，面臨數(shù)據(jù)質量不佳和業(yè)務流不健全的諸多問題。采用基于共享服務中臺支撐智慧校園建設模式，實現(xiàn)統(tǒng)一技術架構、統(tǒng)一數(shù)據(jù)存儲和統(tǒng)一業(yè)務服務，保障數(shù)據(jù)質量持續(xù)提升和業(yè)務服務持續(xù)擴展成為主流解決方案。

1.數(shù)據(jù)管控中心數(shù)據(jù)結構和交換

數(shù)據(jù)中臺中數(shù)據(jù)管控中心提供數(shù)據(jù)結構管控、數(shù)據(jù)交換管控、數(shù)據(jù)質量管控、數(shù)據(jù)安全管控和數(shù)據(jù)存儲服務等通用服務。

1.1數(shù)據(jù)結構管控

基于元數(shù)據(jù)可視化管理工具，實現(xiàn)元數(shù)據(jù)建模、信息標準元數(shù)據(jù)管理、業(yè)務應用元數(shù)據(jù)管理、元數(shù)據(jù)版本管理、元數(shù)據(jù)譜系跟蹤、代碼規(guī)范管理和數(shù)據(jù)照管管理，并形成數(shù)據(jù)管控制度。主要服務能力包括：元數(shù)據(jù)配置建模：支持學校按需新建、配置、發(fā)布和管理信息標準、業(yè)務服務和應用系統(tǒng)的元模型數(shù)據(jù)結構和關聯(lián)關系。標準元數(shù)據(jù)管理：支持查看、導出國家信息標準、行業(yè)信息標準和自建信息標準的元數(shù)據(jù)結構。業(yè)務元數(shù)據(jù)管理：支持查看、導出信息創(chuàng)新業(yè)務服務和已建應用系統(tǒng)的元數(shù)據(jù)結構。數(shù)據(jù)表維度配置：支持自定義數(shù)據(jù)中心表維度，

支撐智能圖表和智能搜索對表維度的配置 ?要求。元數(shù)據(jù)版本管理：定義元數(shù)據(jù)版本跟蹤元數(shù)據(jù)模型變化，支持不同版本元數(shù)據(jù)模型之間的對比分析。元數(shù)據(jù)譜系跟蹤：支持元數(shù)據(jù)血統(tǒng)分析、元數(shù)據(jù)影響分析、元數(shù)據(jù)關聯(lián)分析，呈現(xiàn)元數(shù)據(jù)在數(shù)據(jù)中心的上下游關聯(lián)關系、重要程度和影響范圍。代碼規(guī)范管理：支持國家代碼、行業(yè)代碼和自編代碼的編輯與管理，支持自定義代碼編碼規(guī)范。數(shù)據(jù)照管管理：按學校職能域配置元數(shù)據(jù)照管歸屬關系，明晰學校數(shù)據(jù)照管人員或崗位，形成數(shù)據(jù)生產(chǎn)、使用、照管、管理數(shù)據(jù)權責矩陣。數(shù)據(jù)管控制度：發(fā)布和管理數(shù)據(jù)管理制度和文檔，

支持文檔的分類、上傳、下載、在線查看。

1.2數(shù)據(jù)交換管控

基于數(shù)據(jù)交換可視化配置工具，實現(xiàn)數(shù)據(jù)清洗整合作業(yè)建模、多引擎任務調度、集群部署與監(jiān)控，實現(xiàn)數(shù)據(jù)在各部門和各應用系統(tǒng)中的共享與交換。主要服務能力包括：數(shù)據(jù)清洗整合工具：通過圖形化界面，采用拖、拉、拽的操作方式，無須編碼即可實現(xiàn)數(shù)據(jù)清洗整合ETL作業(yè)的配置。數(shù)據(jù)清洗整合組件：提供豐富的數(shù)據(jù)清洗整合組件，提供常用固化的常用清洗模塊，提供組件二次開發(fā)接口支持自定義數(shù)據(jù)清洗整合組件。多引擎任務調度：實現(xiàn)多引擎作業(yè)調度管理，按

需新增和配置數(shù)據(jù)清洗整合引擎，實現(xiàn)數(shù)據(jù)清洗整合任務運行管理，提供批量設置、暫停、恢復、停止、啟動ETL作業(yè)服務。集群部署監(jiān)控：支持集群部署，保障負載均衡，實現(xiàn)服務集群管理，可以新增和編輯服務集群和服務器節(jié)點，提供集群、節(jié)點和任務運行監(jiān)控，能夠監(jiān)控ETL服務集群運行狀態(tài)和服務器節(jié)點性能指標。異構數(shù)據(jù)源處理：支持關系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、桌面文本文件、XML文件等各種類型數(shù)據(jù)庫與數(shù)據(jù)中心對接。數(shù)據(jù)流向監(jiān)控：提供數(shù)據(jù)流向共享關系監(jiān)控服務，通過數(shù)據(jù)資源供需拓撲視圖監(jiān)控數(shù)據(jù)中心數(shù)據(jù)資源的歸屬系統(tǒng)和數(shù)據(jù)表。

2. 數(shù)據(jù)質量和安全管控

2.1數(shù)據(jù)質量管控

基于數(shù)據(jù)質量管控可視化配置工具，實現(xiàn)質量目標設定、校驗規(guī)則定義、治理任務調度、治理結果反饋、問題數(shù)據(jù)追蹤、質量對比分析和質量績效考核的閉環(huán)質量管控。主要服務能力包括：數(shù)據(jù)質量治理方法庫：提供多個維度的數(shù)據(jù)治理方法形成學校自己的治理方法庫，支持數(shù)據(jù)唯一性、完整性、有效性、規(guī)范性、一致性、穩(wěn)定性、準確性方面的數(shù)據(jù)治理，治理方法可以根據(jù)學校實際需要擴展。

數(shù)據(jù)質量治理方案配置：提供數(shù)據(jù)質量治理方案在線配置工具，可配置數(shù)據(jù)治理范圍、數(shù)據(jù)治理方法、數(shù)據(jù)治理周期，實時監(jiān)控數(shù)據(jù)治理方案的總體運行狀況。

數(shù)據(jù)質量治理任務監(jiān)控：實現(xiàn)自動或手動兩種方式啟動數(shù)據(jù)治理任務，實時監(jiān)控數(shù)據(jù)治理任務運行指標。問題數(shù)據(jù)治理任務跟蹤：實現(xiàn)問題數(shù)據(jù)治理任務監(jiān)控與追蹤，查看問題數(shù)據(jù)的維護人、告警數(shù)量、治理任務分配情況等信息。多維數(shù)據(jù)質量報告：提供全校、部門、照管熱、數(shù)據(jù)表多個維度的數(shù)據(jù)質量報告，監(jiān)控數(shù)據(jù)稽核狀態(tài)和數(shù)據(jù)完整性、規(guī)范性、一致性、穩(wěn)定性、有效性、唯一性質量指標狀態(tài)。數(shù)據(jù)質量問題預警：設置重點告警內容、告警閾值、告警級別，支持告警信息推送至相關的數(shù)據(jù)管控責任人。數(shù)據(jù)治理工作考核：實現(xiàn)質量績效評分依據(jù)和權重可配置，根據(jù)問題數(shù)據(jù)督辦事項和管控數(shù)據(jù)質量進行考核評分。

2.2數(shù)據(jù)安全管控

基于數(shù)據(jù)安全可視化配置工具，管理數(shù)據(jù)存儲、數(shù)據(jù)交換、數(shù)據(jù)接口、數(shù)據(jù)管控、數(shù)據(jù)歸檔等多場景數(shù)據(jù)安全。主要服務能力包括：數(shù)據(jù)加密存儲安全：提供多種加密方式，實現(xiàn)數(shù)據(jù)中心所有數(shù)據(jù)的加密存儲，保障數(shù)據(jù)安全。數(shù)據(jù)管控權限安全：為保證數(shù)據(jù)中心的數(shù)據(jù)訪問的安全性，實現(xiàn)系統(tǒng)角色、工作崗位、業(yè)務部門等多個維度的數(shù)據(jù)權限控制，可配置所有數(shù)據(jù)的搜索、查詢、新增、編輯權限。數(shù)據(jù)接口服務安全：提供數(shù)據(jù)接口申請和審核服務，實現(xiàn)數(shù)據(jù)服務接口在線自定義配置，支持配置限制單次訪問最大數(shù)據(jù)量、兩次請求時間間隔、數(shù)據(jù)傳輸加密方式等安全策略。敏感信息脫敏安全：提供數(shù)據(jù)加密和脫敏服務，支持多種加密方式可選擇，支持對敏感信息進行脫敏替換。訪問緩慢接口控制：支持設置訪問緩慢判定標準，監(jiān)控新增類、更新類和查詢類緩慢服務總量等性能指標信息，指導系統(tǒng)訪問效率優(yōu)化。

結束語：高校數(shù)據(jù)中臺職能由“業(yè)務支持”、“項目管理”向“業(yè)務創(chuàng)新”、“自主運維”方向轉變，構建學校與廠商合能共創(chuàng)服務模式，通過培訓掌握共享服務中臺的運維體系，在深入研究本校業(yè)務特點的基礎上，實時響應信息化業(yè)務需求變化，全面支撐學校信息化建設與服務工作。

參考文獻

[1]蔡興振， 喻術剛， 張鑫. 基于數(shù)據(jù)中臺的高校綜合服務系統(tǒng)架構研究與設計[J]. 經(jīng)濟技術協(xié)作信息（33）：1.

[2]吳陽吉. 智能數(shù)據(jù)交換平臺的研究與應用[D]. ?2010.