基于智慧校園的高校數(shù)據(jù)治理體系研究

王艷武　馮新培

關(guān)鍵詞：智慧校園；數(shù)據(jù)治理；平臺設(shè)計(jì)

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2023）12-0071-03

1 業(yè)務(wù)信息系統(tǒng)之間存在的問題

1） 業(yè)務(wù)信息相互獨(dú)立問題

西安歐亞學(xué)院經(jīng)過多年的信息化建設(shè)，基于各業(yè)務(wù)部門的具體需求，從業(yè)務(wù)局部出發(fā)，構(gòu)建了大量的信息化應(yīng)用平臺，用以解決部門當(dāng)前問題。但各業(yè)務(wù)系統(tǒng)獨(dú)立建設(shè)與維護(hù)，缺乏信息溝通與對接。由于建設(shè)之初缺少技術(shù)及功能的長期規(guī)劃，沒有統(tǒng)一的管理維護(hù)平臺，導(dǎo)致各業(yè)務(wù)信息相互獨(dú)立，甚至出現(xiàn)系統(tǒng)功能的重復(fù)建設(shè)問題，造成了嚴(yán)重的資源浪費(fèi)[1]。

2） 數(shù)據(jù)中心庫問題

西安歐亞學(xué)院還未建成統(tǒng)一的數(shù)據(jù)中心庫和資源池，沒有開始著手整合和集成各業(yè)務(wù)系統(tǒng)的各類數(shù)據(jù)，同時還存在著缺乏統(tǒng)一的數(shù)據(jù)集成、共享交換平臺和數(shù)據(jù)治理手段。隨著學(xué)校信息化發(fā)展和業(yè)務(wù)的不斷深入，如何保障學(xué)校數(shù)據(jù)的集中管控和按需共享，保障各類數(shù)據(jù)的準(zhǔn)確性和一致性，都是信息網(wǎng)絡(luò)中心現(xiàn)在面臨的主要問題。

3） 數(shù)據(jù)治理和價值挖掘問題

在辦學(xué)過程中西安歐亞學(xué)院各部門原始數(shù)據(jù)逐年累積，這些數(shù)據(jù)需要按照不同的主題進(jìn)行歸類收集與整理。高校需構(gòu)建數(shù)據(jù)中心倉庫系統(tǒng)，加強(qiáng)對各業(yè)務(wù)數(shù)據(jù)的分析與利用，建設(shè)關(guān)于“人”“財(cái)”“物”“行為”四個維度的主題庫，基于四類主題庫獲取例如教學(xué)大數(shù)據(jù)、教學(xué)診斷與改進(jìn)評估、學(xué)生管理、學(xué)生行為分析、教學(xué)評估、就業(yè)評估等方向的專業(yè)數(shù)據(jù)分析，從而構(gòu)建學(xué)校技術(shù)架構(gòu)革新以及數(shù)據(jù)價值深度挖掘[2]。

4） 數(shù)據(jù)與業(yè)務(wù)強(qiáng)耦合問題

西安歐亞學(xué)院已建的業(yè)務(wù)系統(tǒng)功能雖然豐富，但隨著學(xué)校的發(fā)展，師生個性化需求不斷增加，由于數(shù)據(jù)和業(yè)務(wù)強(qiáng)耦合，學(xué)校容易被業(yè)務(wù)系統(tǒng)開發(fā)廠家綁架，業(yè)務(wù)創(chuàng)新耗時耗力，甚至需要半年乃至一年的研發(fā)時間，效率低下，阻礙了學(xué)校信息化的發(fā)展。

2 智慧校園數(shù)據(jù)中臺及數(shù)據(jù)治理體系設(shè)計(jì)

智慧校園數(shù)據(jù)中臺及數(shù)據(jù)治理體系平臺總體框架如圖1所示，主要分為三部分建設(shè)內(nèi)容：第一部分為校園數(shù)據(jù)治理體系的建設(shè)，主要包括：數(shù)據(jù)集成平臺、數(shù)據(jù)治理平臺、數(shù)據(jù)開發(fā)平臺、數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)及管理服務(wù)、“人、財(cái)、物、行為”四大主題庫的建設(shè)。第二部分為校園數(shù)據(jù)共享開發(fā)體系建設(shè)，主要包括：數(shù)據(jù)交換平臺、基礎(chǔ)大數(shù)據(jù)平臺、數(shù)據(jù)共享與開放平臺、數(shù)據(jù)資源目錄管理系統(tǒng)以及數(shù)據(jù)中心庫建設(shè)和數(shù)據(jù)目錄梳理服務(wù)等內(nèi)容。第三部分為應(yīng)用體系建設(shè)，包括：智能BI統(tǒng)一報(bào)表分析平臺、校園微應(yīng)用服務(wù)大平臺等內(nèi)容。

學(xué)校以數(shù)據(jù)集成/共享交換及數(shù)據(jù)中心庫為基礎(chǔ)，依托于大數(shù)據(jù)平臺和數(shù)據(jù)治理體系的建設(shè)，將實(shí)現(xiàn)學(xué)校結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的標(biāo)準(zhǔn)化、統(tǒng)一歸集和管理，消除架構(gòu)零散、數(shù)據(jù)缺失、孤島壁壘等諸多信息化建設(shè)問題，有效支撐學(xué)校教育資源公共服務(wù)體系、微應(yīng)用服務(wù)體系、教育教學(xué)科研服務(wù)體系的構(gòu)建，實(shí)現(xiàn)學(xué)校全量數(shù)據(jù)的歸集，同時對數(shù)據(jù)資源目錄進(jìn)行統(tǒng)一的安全管控，對數(shù)據(jù)進(jìn)行準(zhǔn)確的類型、權(quán)屬關(guān)系和保護(hù)級別的劃分，為今后各部門、信息化應(yīng)用提供按需匹配的數(shù)據(jù)服務(wù)[3]。

1） 建成開放共享的數(shù)據(jù)資源利用體系。依托學(xué)校數(shù)據(jù)共享與開放平臺和數(shù)據(jù)交換工具，建成全校統(tǒng)一的教育數(shù)據(jù)資源共享開放目錄，制定相對完備的共享開放工作機(jī)制，形成完善的教育數(shù)據(jù)資源池。

2） 建成高效互通的數(shù)據(jù)管理和數(shù)據(jù)治理體系。通過對全校各業(yè)務(wù)系統(tǒng)、各職能部門的數(shù)據(jù)匯聚，建設(shè)統(tǒng)一的全域數(shù)據(jù)管理資源池，實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)、部門數(shù)據(jù)融合、互通，在統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、統(tǒng)一存儲標(biāo)準(zhǔn)、統(tǒng)一治理標(biāo)準(zhǔn)、統(tǒng)一服務(wù)標(biāo)準(zhǔn)對外提供高效的數(shù)據(jù)服務(wù)和數(shù)據(jù)應(yīng)用。

3） 數(shù)據(jù)服務(wù)一體化，實(shí)現(xiàn)數(shù)據(jù)多跑路，師生少跑路。通過數(shù)據(jù)治理平臺和大數(shù)據(jù)平臺完成數(shù)據(jù)質(zhì)量建設(shè)，建立數(shù)據(jù)服務(wù)閉環(huán)，完成對一項(xiàng)業(yè)務(wù)數(shù)據(jù)從采集、填報(bào)、管理到分析的全過程，形成完整的工具化支持閉環(huán)，全程完全配置化實(shí)現(xiàn)，無須程序員參與，零代碼開發(fā)。支持以主動任務(wù)式下發(fā)的數(shù)據(jù)填報(bào)，支持互聯(lián)網(wǎng)式的數(shù)據(jù)分享，支持面向業(yè)務(wù)管理人員的自主可配置的簡單數(shù)據(jù)分析[4]。

3 數(shù)據(jù)治理平臺設(shè)計(jì)

數(shù)據(jù)治理平臺是數(shù)據(jù)集成和管理的一站式平臺，包括資產(chǎn)目錄管理、數(shù)據(jù)源管理、可視化建表、數(shù)據(jù)查看、全局的元數(shù)據(jù)管理，實(shí)現(xiàn)數(shù)據(jù)的資產(chǎn)化，同時實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的集中管理、生產(chǎn)保障、分類檢索，為數(shù)據(jù)管理者和使用者理解數(shù)據(jù)、增強(qiáng)共享和使用數(shù)據(jù)的信心提供幫助。

提供數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量管理機(jī)制，提升數(shù)據(jù)資產(chǎn)的價值；提供數(shù)據(jù)安全管理機(jī)制，監(jiān)控被管理數(shù)據(jù)所有相關(guān)的活動，防止數(shù)據(jù)泄露，保障數(shù)據(jù)被合適的人以正確的方式使用；提供工作流機(jī)制，使得大部分日常的數(shù)據(jù)管理和監(jiān)控工作都可以自動執(zhí)行。同時，可以在數(shù)據(jù)治理運(yùn)營平臺中調(diào)度和執(zhí)行數(shù)據(jù)加工和數(shù)據(jù)挖掘任務(wù)。提供平臺管理功能，準(zhǔn)確地監(jiān)控全局和部門數(shù)據(jù)計(jì)算、存儲的使用情況，便于擴(kuò)容規(guī)劃和成本控制。

數(shù)據(jù)治理包括：數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量、生命周期管理、元數(shù)據(jù)管理、數(shù)據(jù)血緣。數(shù)據(jù)治理平臺架構(gòu)設(shè)計(jì)如圖2所示。

1） 前端應(yīng)用層：用于展示給用戶的應(yīng)用，主要包括質(zhì)量管理、數(shù)據(jù)模型、數(shù)據(jù)集成、數(shù)據(jù)標(biāo)準(zhǔn)、各類數(shù)據(jù)指標(biāo)管理、數(shù)據(jù)地圖等。

2） SDK與集成橋接系統(tǒng)：與外部系統(tǒng)之間的元數(shù)據(jù)交互和通信的模塊。

3） 接口層：負(fù)責(zé)與外部之間數(shù)據(jù)交互的統(tǒng)一的接口定義，支持Restful接口。

4） 功能層：用于支撐各類應(yīng)用功能的后臺服務(wù)，主要有元模型管理、元數(shù)據(jù)管理、任務(wù)調(diào)度、租戶管理、權(quán)限管理、行為日志、引擎管理、規(guī)則管理等。

5） 邏輯層：用于支撐各類基礎(chǔ)功能的基礎(chǔ)邏輯數(shù)據(jù)模型和數(shù)據(jù)庫，包括數(shù)據(jù)字典、血緣和關(guān)系基礎(chǔ)數(shù)據(jù)、術(shù)語和類目數(shù)據(jù)、數(shù)據(jù)特征和指標(biāo)數(shù)據(jù)、用戶行為信息、數(shù)據(jù)質(zhì)量信息等。

6） 存儲層：用于永久存儲平臺各類數(shù)據(jù)的軟件系統(tǒng)，包括MySQL 數(shù)據(jù)庫、搜索引擎和NoSQL 數(shù)據(jù)庫等。

7） 引擎層：用于進(jìn)行數(shù)據(jù)處理和加工的后臺系統(tǒng)，包括ODPS、Spark等。

4 數(shù)據(jù)開發(fā)平臺設(shè)計(jì)

數(shù)據(jù)開發(fā)平臺提供一站式的多人集成開發(fā)環(huán)境，滿足大數(shù)據(jù)環(huán)境下的數(shù)據(jù)查詢、數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘、算法開發(fā)等需求，同時可用于構(gòu)建PB級別的數(shù)據(jù)倉庫，實(shí)現(xiàn)超大規(guī)模數(shù)據(jù)集成，對數(shù)據(jù)進(jìn)行資產(chǎn)化管理，通過對數(shù)據(jù)價值的深度挖掘?qū)崿F(xiàn)業(yè)務(wù)的數(shù)據(jù)化運(yùn)營[5]。通過可視化的開發(fā)界面，降低了大數(shù)據(jù)開發(fā)的門檻，使大數(shù)據(jù)開發(fā)變得更加便捷、易用，實(shí)現(xiàn)大數(shù)據(jù)的價值化，有效降低開發(fā)成本并保障數(shù)據(jù)安全。數(shù)據(jù)開發(fā)平臺架構(gòu)如圖3所示。

1） 應(yīng)用層：提供系統(tǒng)配置管理、工作空間管理、空間內(nèi)的基于工作流的作業(yè)開發(fā)以及運(yùn)維大盤監(jiān)控的功能。

2） 運(yùn)行層：在工作空間內(nèi)提供工作流的周期調(diào)度、補(bǔ)充數(shù)據(jù)以及重跑能力。

3） 業(yè)務(wù)層：提供豐富的業(yè)務(wù)節(jié)點(diǎn)，包括SparkSQL、ETL、Shell、Machine Learning、AppLauncher、Phoenix?SQL、AdbSQL以及TableConnector節(jié)點(diǎn)。通過這些節(jié)點(diǎn)組成的工作流能覆蓋大數(shù)據(jù)開發(fā)的絕大多數(shù)業(yè)務(wù)場景。

4） 引擎層：數(shù)據(jù)開發(fā)平臺基于引擎層提供數(shù)據(jù)集成和計(jì)算能力，包括數(shù)據(jù)集成引擎、計(jì)算引擎、分析引擎ADB。

5） 數(shù)據(jù)層：數(shù)據(jù)開發(fā)平臺基于MySQL實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)存儲，基于大數(shù)據(jù)平臺提供的Hive、HBase和HDFS分別存儲數(shù)據(jù)表和資源文件。

6） 用戶中心：提供用戶認(rèn)證和管理能力。

5 平臺建設(shè)要求

1） 全數(shù)據(jù)鏈閉環(huán)。平臺具備統(tǒng)一的底層數(shù)據(jù)體系，數(shù)據(jù)應(yīng)完全打通，平臺不同模塊和功能間應(yīng)共享相同的數(shù)據(jù)信息，必要時子平臺或子模塊間可互相調(diào)用功能；平臺內(nèi)不同模塊（如數(shù)據(jù)交換、數(shù)據(jù)治理、數(shù)據(jù)采集、數(shù)據(jù)呈現(xiàn)等）應(yīng)共用相同的信息和元信息，實(shí)現(xiàn)信息和元信息的統(tǒng)一配置，實(shí)現(xiàn)“一次配置，全平臺使用”，即在平臺的某模塊中配置一次即可在其他模塊中使用，避免多處配置導(dǎo)致的不一致性。

2） 數(shù)據(jù)集成共享。平臺數(shù)據(jù)集成過程支持Linux、Unix、Windows 等操作系統(tǒng)平臺，能滿足不同數(shù)據(jù)源、不同數(shù)據(jù)格式，不同管理邏輯下的數(shù)據(jù)交換需求，支持?jǐn)?shù)據(jù)在全量數(shù)據(jù)管理平臺和校內(nèi)各業(yè)務(wù)系統(tǒng)間的雙向傳遞，實(shí)現(xiàn)對各類系統(tǒng)業(yè)務(wù)數(shù)據(jù)的實(shí)時共享。

3） 系統(tǒng)可集成性。平臺支持開放的ETL 代碼生成器，提供豐富的接口程序，支持異構(gòu)數(shù)據(jù)源的共享和交換，支持與主流關(guān)系型數(shù)據(jù)庫（包括但不限于Oracle、Sybase、DB2、SQL Server、MySQL 等）、消息中間件、Web Service、Tabled-Txt 文件、XML 文件、Excel文件、DBF 文件、Word 文件等進(jìn)行對接，滿足不同數(shù)據(jù)源的交換需求。

4） 支持多數(shù)據(jù)采集。支持校內(nèi)業(yè)務(wù)基本信息數(shù)據(jù)、既有業(yè)務(wù)系統(tǒng)、校內(nèi)數(shù)據(jù)文件實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)采集；能夠提供針對表格數(shù)據(jù)的結(jié)構(gòu)化采集、辦公文檔（PDF、Word 等）數(shù)據(jù)采集、圖片信息采集等功能，支持文件在線瀏覽模式。

5） 數(shù)據(jù)呈現(xiàn)豐富。平臺支持分析指標(biāo)、主題、UI效果等數(shù)據(jù)呈現(xiàn)界面的自定義組合和定制功能，支持界面拖拽生成方式，界面展現(xiàn)形式動態(tài)美觀，種類豐富，可通過餅形圖、柱狀圖、折線圖、儀表盤、雷達(dá)圖、氣泡圖、面積圖、詞云、瀑布圖、漏斗圖等多種圖表形式進(jìn)行形象直觀地展現(xiàn)，具有較強(qiáng)的動畫效果。

6） 建設(shè)過程規(guī)范。平臺的信息定義、采集策略、接口協(xié)議、傳輸協(xié)議等應(yīng)符合相關(guān)國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)和技術(shù)規(guī)范；平臺本身支持構(gòu)建信息標(biāo)準(zhǔn)模型，避免直接操作數(shù)據(jù)庫等不規(guī)范操作。

7） 標(biāo)準(zhǔn)設(shè)計(jì)科學(xué)。平臺信息標(biāo)準(zhǔn)建設(shè)遵循國家、教育部、學(xué)校、自主定義標(biāo)準(zhǔn)，能夠建立適合學(xué)校實(shí)際需求的信息標(biāo)準(zhǔn)，支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程和制度建設(shè)，提供數(shù)據(jù)標(biāo)準(zhǔn)管理功能，保證標(biāo)準(zhǔn)變遷與歷史數(shù)據(jù)的兼容。

8） 移動端自適應(yīng)。平臺生成的數(shù)據(jù)可視化頁面須支持HTML5 規(guī)范，支持集成到學(xué)校智慧校園App和微信中；平臺功能應(yīng)根據(jù)數(shù)據(jù)管理和呈現(xiàn)需要，提供移動端訪問手段，支持自動化自適應(yīng)展示。

6 數(shù)據(jù)治理平臺設(shè)計(jì)原則

1） 數(shù)據(jù)匯聚統(tǒng)籌規(guī)劃，穩(wěn)步實(shí)施

按照整體統(tǒng)籌的建設(shè)思路，做好項(xiàng)目框架與架構(gòu)設(shè)計(jì)，夯實(shí)平臺基礎(chǔ)，突出應(yīng)用亮點(diǎn)，堅(jiān)持整體規(guī)劃，分步實(shí)施的建設(shè)原則，明確責(zé)任分工，分步驟、分階段穩(wěn)步推進(jìn)。

2） 技術(shù)先進(jìn)，適度超前

借鑒國內(nèi)先進(jìn)院校的建設(shè)經(jīng)驗(yàn)，在設(shè)計(jì)思想、系統(tǒng)架構(gòu)、技術(shù)路線等方面具有先進(jìn)性、前瞻性，借助領(lǐng)先的互聯(lián)網(wǎng)技術(shù)確保應(yīng)用系統(tǒng)架構(gòu)滿足未來業(yè)務(wù)發(fā)展需求。

3） 接口開放，擴(kuò)展便利

充分考慮未來發(fā)展，平臺架構(gòu)應(yīng)該采用層次化、組件化設(shè)計(jì)，既要充分考慮與現(xiàn)有系統(tǒng)的對接，同時又具有性能及功能的線性擴(kuò)展能力，滿足數(shù)據(jù)量不斷增長的可持續(xù)處理需求。平臺應(yīng)具備良好的開放性，提供開放接口便于和第三方系統(tǒng)對接或者基于該接口構(gòu)建新的業(yè)務(wù)，成為業(yè)務(wù)與服務(wù)創(chuàng)新的重要引擎。

4） 安全可靠，運(yùn)行穩(wěn)定

按照數(shù)據(jù)安全要求做好主題庫的安全保障。依托云安全保障體系，重點(diǎn)考慮數(shù)據(jù)安全、訪問控制、權(quán)限管理、數(shù)據(jù)安全監(jiān)控等防范措施，確保實(shí)現(xiàn)安全可控；充分考慮信息系統(tǒng)的高可用性，在性能、容錯、應(yīng)急、負(fù)載等多方面予以考慮，保證系統(tǒng)的高可用性、良好的維護(hù)性，方便今后的擴(kuò)展應(yīng)用和運(yùn)行維護(hù)。

5） 數(shù)據(jù)融合，共享服務(wù)

以數(shù)據(jù)資源整合為基礎(chǔ)，以數(shù)據(jù)共享開放為重點(diǎn)，以分析應(yīng)用服務(wù)為核心，以體制機(jī)制創(chuàng)新為保障，統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)籌建設(shè)、拓展應(yīng)用，創(chuàng)新工作機(jī)制，打破信息孤島，實(shí)現(xiàn)“橫向到邊，縱向到底”全方位立體化的數(shù)據(jù)資源的共享服務(wù)。

7 結(jié)束語

文章基于智慧校園建設(shè)，通過匯聚高校各方面數(shù)據(jù)，梳理各種分析指標(biāo)，建立具有管理和業(yè)務(wù)專業(yè)性的分析模型及相關(guān)算法，實(shí)現(xiàn)符合學(xué)校需求、有價值的輔助決策分析。文章運(yùn)用綜合數(shù)據(jù)分析技術(shù)，計(jì)算各類指標(biāo)及數(shù)據(jù)運(yùn)行情況，并通過豐富的圖表界面展示相關(guān)數(shù)據(jù)、指標(biāo)以及變化趨勢，從而為高校教學(xué)管理及領(lǐng)導(dǎo)決策，提供數(shù)據(jù)支持，提高辦事效率，滿足師生需求。