基于微服務(wù)的高校主數(shù)據(jù)管理平臺研究

烏云娜, 劉 鵬, 劉松旭, 王秋爽

(吉林大學(xué) a. 大數(shù)據(jù)和網(wǎng)絡(luò)管理中心; b. 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 長春 130012)

0 引 言

高校經(jīng)過多年“智慧校園”信息化建設(shè), 目前已經(jīng)建立多套業(yè)務(wù)系統(tǒng), 積累海量數(shù)據(jù), 支撐高校業(yè)務(wù)發(fā)展, 建設(shè)成果顯著。但是由于前期缺乏統(tǒng)一規(guī)劃和頂層設(shè)計(jì), 導(dǎo)致各個(gè)系統(tǒng)孤立存在, 產(chǎn)生“信息孤島”和數(shù)據(jù)質(zhì)量問題, 例如數(shù)據(jù)資源分散、 共享困難、 標(biāo)準(zhǔn)不一致、 冗余度高等[1-3]。如何高效存取、 管理、 分析高校數(shù)據(jù)以增強(qiáng)數(shù)據(jù)的可視性和可操作性, 提高服務(wù)質(zhì)量, 優(yōu)化用戶體驗(yàn)成為當(dāng)前高校信息化建設(shè)的關(guān)鍵。

在高校十四五信息化建設(shè)目標(biāo)中, 著重強(qiáng)調(diào)重點(diǎn)加強(qiáng)數(shù)據(jù)治理, 實(shí)現(xiàn)數(shù)據(jù)共享, 依托大數(shù)據(jù)支持科學(xué)決策, 提升高校辦學(xué)效益。數(shù)據(jù)治理包括數(shù)據(jù)清洗、 標(biāo)準(zhǔn)制定、 模型和流程制定, 主數(shù)據(jù)管理, 元數(shù)據(jù)管理, 數(shù)據(jù)集成、 共享、 管理等內(nèi)容, 其中主數(shù)據(jù)管理是核心工作內(nèi)容之一[4-6]。筆者將結(jié)合主流微服務(wù)架構(gòu)建設(shè)一個(gè)高校主數(shù)據(jù)管理平臺, 探索高校主數(shù)據(jù)管理實(shí)踐途徑。

1 主數(shù)據(jù)平臺架構(gòu)設(shè)計(jì)

1.1 主數(shù)據(jù)及主數(shù)據(jù)管理

主數(shù)據(jù)(Master Data)是組織內(nèi)核心業(yè)務(wù)實(shí)體的參考數(shù)據(jù), 其具有相對靜態(tài)、 重要價(jià)值、 跨部門共享、 重復(fù)應(yīng)用等特點(diǎn)。主數(shù)據(jù)管理(MDM: Master Data Management)能實(shí)現(xiàn)主數(shù)據(jù)管理的標(biāo)準(zhǔn)規(guī)范與解決方案, 保證數(shù)據(jù)的完整性與一致性, 解決信息孤島問題[7-8]。在組織單位內(nèi)部, 主數(shù)據(jù)管理通過技術(shù)與工具有效降低數(shù)據(jù)差錯(cuò), 建立數(shù)據(jù)聚集、 匹配、 整合、 持久化與分發(fā)的完整數(shù)據(jù)生命周期管理, 提升數(shù)據(jù)權(quán)威性, 保持?jǐn)?shù)據(jù)控制力, 發(fā)揮數(shù)據(jù)最大價(jià)值。

高校主數(shù)據(jù)管理主要是從高校的各個(gè)業(yè)務(wù)系統(tǒng)中整合核心數(shù)據(jù), 對數(shù)據(jù)進(jìn)行處理、 匹配、 聚合等操作, 并以服務(wù)的方式分發(fā)給高校業(yè)務(wù)系統(tǒng), 實(shí)現(xiàn)高校核心數(shù)據(jù)的集中存儲(chǔ)管理, 改進(jìn)數(shù)據(jù)一致性和合規(guī)性, 減少數(shù)據(jù)使用和治理成本。目前已有的主數(shù)據(jù)管理平臺解決方案, 例如思愛普、 Oracle和Denodo等軟件平臺, 存在開發(fā)周期長, 數(shù)據(jù)集成建模復(fù)雜, 不利于高校應(yīng)用[9]。國內(nèi)高校主數(shù)據(jù)平臺研究和應(yīng)用十分缺乏, 需要進(jìn)一步加強(qiáng)高校主數(shù)據(jù)管理研究[10]。

1.2 平臺設(shè)計(jì)思路

為提升高校主數(shù)據(jù)管理和治理能力, 筆者提出一種基于微服務(wù)架構(gòu)的高校主數(shù)據(jù)管理平臺, 實(shí)現(xiàn)高校數(shù)據(jù)的完備性、 有效性、 及時(shí)性、 完整性以及一致性目標(biāo)。

微服務(wù)架構(gòu)是從單體應(yīng)用架構(gòu)、 SOA(Service-Oriented Architecture)架構(gòu)、 微服務(wù)架構(gòu)的脈絡(luò)演變而來。相比于傳統(tǒng)體系架構(gòu), 微服務(wù)架構(gòu)具有動(dòng)態(tài)擴(kuò)展、 資源占據(jù)容量小、 獨(dú)立部署運(yùn)行、 服務(wù)粒度小、 獨(dú)立開發(fā)、 服務(wù)自治、 去中心化等特點(diǎn)。相比于SOA體系架構(gòu), 微服務(wù)架構(gòu)借鑒了SOA架構(gòu)、 組件化架構(gòu)以及領(lǐng)域建模思想, 將業(yè)務(wù)系統(tǒng)拆分多個(gè)可獨(dú)立開發(fā)、 設(shè)計(jì)與運(yùn)行的小應(yīng)用； 解耦SOA服務(wù)之間的相互依賴, 將使主數(shù)據(jù)的服務(wù)治理更加靈活可行； 通過組件化服務(wù)實(shí)現(xiàn)各類組件, 無需協(xié)調(diào)不同服務(wù)之間的影響； 去中心化的業(yè)務(wù)服務(wù)建設(shè), 降低不同服務(wù)之間的耦合度。

高校主數(shù)據(jù)管理平臺通過引入微服務(wù)設(shè)計(jì)思想, 采用模塊化的架構(gòu), 按照不同功能點(diǎn)將整個(gè)平臺拆分成多個(gè)細(xì)粒度的服務(wù), 并且每個(gè)服務(wù)獨(dú)立擴(kuò)展運(yùn)行, 保證平臺升級與維護(hù)的方便性[11-12]。傳統(tǒng)中心化主數(shù)據(jù)平臺建設(shè)引入的系統(tǒng)壓力只能通過升級服務(wù)器硬件配置進(jìn)行緩解, 無法帶來本質(zhì)提升, 而通過筆者基于微服務(wù)的高校主數(shù)據(jù)管理平臺建設(shè), 可對高頻率訪問微服務(wù)進(jìn)行分布式和集群部署, 從而提升并發(fā)訪問能力。

2 平臺技術(shù)實(shí)現(xiàn)

2.1 體系結(jié)構(gòu)

充分利用現(xiàn)有高校信息化建設(shè)成果, 經(jīng)過對高校主數(shù)據(jù)管理需求的分析與整理, 完成高校主數(shù)據(jù)管理平臺的體系架構(gòu)設(shè)計(jì)工作。平臺體系結(jié)構(gòu)如圖1所示, 其以主數(shù)據(jù)為核心對全校核心數(shù)據(jù)進(jìn)行分類、 管理和監(jiān)控, 建立從業(yè)務(wù)系統(tǒng)→主數(shù)據(jù)管理平臺→業(yè)務(wù)系統(tǒng)的完整閉環(huán)流程。主數(shù)據(jù)管理平臺在高?，F(xiàn)有業(yè)務(wù)系統(tǒng)(例如人事、 科研、 財(cái)務(wù)、 教務(wù)、 后勤、 資產(chǎn)等)的基礎(chǔ)上, 將多源異構(gòu)的核心數(shù)據(jù)轉(zhuǎn)換成符合標(biāo)準(zhǔn)的主數(shù)據(jù), 并按照相應(yīng)規(guī)則與標(biāo)準(zhǔn)實(shí)現(xiàn)數(shù)據(jù)共享, 提供給其他業(yè)務(wù)系統(tǒng)(如校情分析、 辦事大廳、 學(xué)工、 采購以及門戶等), 從而消除信息孤島, 實(shí)現(xiàn)資源信息的整合管理, 為智慧化高校建設(shè)奠定基礎(chǔ)。

在高校主數(shù)據(jù)管理平臺建設(shè)中需要構(gòu)建微服務(wù)集群, 主要包括接口、 業(yè)務(wù)以及基礎(chǔ)3類微服務(wù)集群。接口微服務(wù)集群主要是面向其他系統(tǒng)服務(wù)的接口配置與管理服務(wù), 例如數(shù)據(jù)訂閱分發(fā)、 接口配置管理、 數(shù)據(jù)查詢管理微服務(wù)等； 業(yè)務(wù)微服務(wù)集群按照數(shù)據(jù)業(yè)務(wù)場景進(jìn)行劃分, 包括人員、 教務(wù)數(shù)據(jù)管理等場景下的模型管理、 審批微服務(wù)等, 實(shí)現(xiàn)主數(shù)據(jù)的實(shí)體模型管理以及歸口部門審批； 基礎(chǔ)微服務(wù)集群用于支撐整個(gè)平臺運(yùn)行, 包括標(biāo)準(zhǔn)代碼數(shù)據(jù)管理、 數(shù)據(jù)質(zhì)量監(jiān)測、 運(yùn)行監(jiān)控管理、 日志管理、 平臺系統(tǒng)管理微服務(wù)等。

圖1 平臺體系結(jié)構(gòu)Fig.1 Platform architecture

在高校主數(shù)據(jù)管理平臺的建設(shè)過程中, 構(gòu)建高校數(shù)據(jù)標(biāo)準(zhǔn)體系。高校數(shù)據(jù)標(biāo)準(zhǔn)體系需要參照國家、 行業(yè)、 教育部、 地方以及學(xué)校標(biāo)準(zhǔn)建立執(zhí)行標(biāo)準(zhǔn)體系, 同時(shí)構(gòu)建以公共、 業(yè)務(wù)編碼規(guī)范為核心的數(shù)據(jù)代碼標(biāo)準(zhǔn)編碼體系。對已有標(biāo)準(zhǔn)的編碼信息, 需直接引用相關(guān)標(biāo)準(zhǔn)進(jìn)行編碼, 其他編碼則采用主數(shù)據(jù)平臺自定義編碼體系, 并將其進(jìn)行發(fā)布與共享。

在筆者主數(shù)據(jù)平臺建設(shè)實(shí)施過程中, 需要梳理和識別主數(shù)據(jù), 然后對識別出的主數(shù)據(jù)確定實(shí)施優(yōu)先級, 并對主數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化分析、 整理、 清洗、 整合、 集成以及共享工作。在高校數(shù)據(jù)標(biāo)準(zhǔn)體系下, 構(gòu)建教職工、 學(xué)生、 科研、 財(cái)務(wù)、 教學(xué)、 學(xué)校、 資產(chǎn)、 外事、 檔案、 辦公、 圖書和一卡通數(shù)據(jù)子集等高校數(shù)據(jù)主數(shù)據(jù)子集, 實(shí)現(xiàn)主數(shù)據(jù)統(tǒng)一規(guī)范管理。

2.2 技術(shù)架構(gòu)

從技術(shù)架構(gòu)實(shí)現(xiàn)角度看, 高校主數(shù)據(jù)管理平臺自底向上劃分為硬件基礎(chǔ)存儲(chǔ)、 數(shù)據(jù)處理以及平臺應(yīng)用層3個(gè)層次。

硬件基礎(chǔ)存儲(chǔ)層采用云計(jì)算平臺進(jìn)行建設(shè)。平臺依托虛擬化云計(jì)算平臺實(shí)現(xiàn)彈性可擴(kuò)展服務(wù), 并能提供海量的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理能力, 實(shí)現(xiàn)全局的資源監(jiān)控與調(diào)度。為保證平臺大規(guī)模并發(fā)訪問能力, 采用Docker容器技術(shù)進(jìn)行集群配置, 每個(gè)微服務(wù)根據(jù)訪問情況支持動(dòng)態(tài)負(fù)載均衡, 可根據(jù)需要進(jìn)行遷移、 關(guān)閉、 擴(kuò)容, 從而顯著降低資源能耗, 提升硬件資源利用率。

數(shù)據(jù)處理層主要是實(shí)現(xiàn)數(shù)據(jù)采集、 傳輸、 存儲(chǔ)、 匯聚、 加工以及可視化等工作。同時(shí)在數(shù)據(jù)平臺處理過程中也會(huì)納入深度學(xué)習(xí)、 機(jī)器學(xué)習(xí)、 自然語言處理、 圖像識別算法等高級數(shù)據(jù)處理功能, 提升平臺數(shù)據(jù)公共處理能力。

平臺應(yīng)用層采用Spring Cloud框架進(jìn)行微服務(wù)開發(fā)和架構(gòu)的整體管理?？蚣軆?nèi)部集成了Spring Cloud Config配置管理工具、 Eureka服務(wù)發(fā)現(xiàn)、 Hystrix容錯(cuò)管理、 Zuul動(dòng)態(tài)路由、 Ribbon負(fù)載均衡等插件工具包, 實(shí)現(xiàn)業(yè)務(wù)資源重復(fù)利用, 提升業(yè)務(wù)服務(wù)開發(fā)效率。通過微服務(wù)架構(gòu)實(shí)現(xiàn)高校主數(shù)據(jù)平臺的服務(wù)拆分以及多個(gè)互相獨(dú)立的微服務(wù)。在微服務(wù)架構(gòu)的開發(fā)過程中, 采用DevOps開發(fā)模式, 其實(shí)現(xiàn)模塊開發(fā)、 測試、 發(fā)布、 維護(hù)、 更新的一體化。

為加強(qiáng)平臺應(yīng)用層微服務(wù)接口設(shè)計(jì), 將遵循公開數(shù)據(jù)協(xié)議(OData: Open Data Protocol)標(biāo)準(zhǔn)進(jìn)行Restful API接口的構(gòu)建, 從而實(shí)現(xiàn)不同系統(tǒng)服務(wù)之間的跨平臺調(diào)用。在該項(xiàng)目實(shí)施過程中采用Apache Olingo框架來實(shí)現(xiàn)OData協(xié)議, 包括元數(shù)據(jù)定義、 請求運(yùn)行時(shí)處理、 Web環(huán)境定義等部分, 同時(shí)還支持URL(Uniform Resource Locator)解析、 輸入驗(yàn)證、 序列化、 請求分發(fā)等功能。

3 平臺實(shí)現(xiàn)效果與分析

目前本平臺已經(jīng)構(gòu)建完成, 并且運(yùn)維近一年, 接入主數(shù)據(jù)13 628 234條, 建立數(shù)據(jù)子集15個(gè), 為校情分析、 網(wǎng)上辦事大廳、 學(xué)生在線課堂、 社科管理、 創(chuàng)新創(chuàng)業(yè)管理和財(cái)務(wù)管理等6個(gè)系統(tǒng)提供數(shù)據(jù)接口與共享, 提升了高校數(shù)據(jù)管理的敏捷開發(fā)、 持續(xù)集成以及彈性擴(kuò)展能力, 帶動(dòng)高校其他系統(tǒng)的建設(shè)工作。高校主數(shù)據(jù)管理平臺的部分系統(tǒng)界面如圖2所示, 其中圖2a對每個(gè)數(shù)據(jù)子集的數(shù)據(jù)情況進(jìn)行統(tǒng)計(jì), 圖2b對以科研成果統(tǒng)計(jì)為例進(jìn)行接口開發(fā)應(yīng)用效果展示, 從學(xué)科類別、 著作類型、 出版社類型等角度進(jìn)行狀態(tài)分析與統(tǒng)計(jì)。

圖2 平臺部分運(yùn)行界面截圖Fig.2 Platform operation interface screenshot

筆者對平臺服務(wù)性能以及業(yè)務(wù)穩(wěn)定性進(jìn)行驗(yàn)證分析, 以高校最常用的學(xué)生信息請求為例進(jìn)行測試, 生產(chǎn)環(huán)境系統(tǒng)配置信息列入表1。測試平臺在大并發(fā)情況下的性能, 并發(fā)用戶數(shù)為10、100、1 000和10 000, 并發(fā)時(shí)間10 s, 輪詢1次。并發(fā)數(shù)據(jù)訪問延遲時(shí)間統(tǒng)計(jì)結(jié)果如表2所示。

表1 生產(chǎn)系統(tǒng)配置信息

表2 并發(fā)延遲時(shí)間統(tǒng)計(jì)

從表2可看出, 當(dāng)平臺增長到10 000并發(fā)訪問量時(shí), 請求訪問的隨機(jī)性對平臺并無強(qiáng)烈影響, 最大值達(dá)到232 ms, 滿足平臺設(shè)計(jì)500 ms范圍要求, 具備較高的訪問效率和響應(yīng)速度。

4 結(jié) 語

基于微服務(wù)的高校主數(shù)據(jù)管理平臺充分利用微服務(wù)技術(shù)、 云平臺技術(shù)、 DevOPS開發(fā)模式, 可以完成高校各類系統(tǒng)的業(yè)務(wù)數(shù)據(jù)匯聚、 管理、 共享與分發(fā)工作, 滿足高校數(shù)據(jù)管理的完備性、 有效性、 及時(shí)性、 完整性以及一致性目標(biāo)。本平臺構(gòu)建了科學(xué)的主數(shù)據(jù)管理體系, 實(shí)現(xiàn)高校核心數(shù)據(jù)的集中存儲(chǔ)管理, 改進(jìn)數(shù)據(jù)一致性和合規(guī)性, 提升高校數(shù)據(jù)的數(shù)據(jù)管理能力, 實(shí)現(xiàn)了高校業(yè)務(wù)系統(tǒng)的互聯(lián)互通, 同時(shí)對高頻率訪問微服務(wù)進(jìn)行分布式和集群部署, 從而提升并發(fā)訪問能力。筆者提出的高校微服務(wù)方案是實(shí)施微服務(wù)的通用方案, 可推廣到高校其他領(lǐng)域建設(shè)。