智慧校園數(shù)據(jù)中臺建設(shè)研究

魏祥麗

（北華航天工業(yè)學(xué)院圖書館，廊坊 065000）

0 引言

國家標(biāo)準(zhǔn)化管理委員會2018年6月7日發(fā)布的國家標(biāo)準(zhǔn)《智慧校園總體框架》（GB/T 36342-2018）指出，智慧校園是數(shù)字校園的進一步發(fā)展和提升，實現(xiàn)校園物理空間和信息空間的有機銜接，保證校園范圍內(nèi)的所有人隨時隨地都能方便快捷地獲取資源和服務(wù)。這就需要校園數(shù)據(jù)開放共享。智慧校園總體框架分為基礎(chǔ)設(shè)施層、支撐平臺層、應(yīng)用平臺層、應(yīng)用終端和信息安全體系等，其中容納數(shù)據(jù)交換、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)和統(tǒng)一接口等功能的支撐平臺層，是智慧校園大數(shù)據(jù)計算及服務(wù)的核心層，保障智慧校園的各類應(yīng)用正常持續(xù)運行。數(shù)據(jù)中臺可以從數(shù)據(jù)層面打破“煙囪式”的系統(tǒng)建設(shè)，規(guī)范數(shù)據(jù)的存儲、轉(zhuǎn)換、分析和應(yīng)用，最大化數(shù)據(jù)的價值，實現(xiàn)數(shù)據(jù)的業(yè)務(wù)化。因此，數(shù)據(jù)中臺在智慧校園總體架構(gòu)中能夠起到支撐作用。

1 數(shù)據(jù)中臺在智慧校園建設(shè)中的意義

校園在信息化發(fā)展的過程中建設(shè)了多個信息系統(tǒng)，比如統(tǒng)一校園門戶、教務(wù)系統(tǒng)、人事系統(tǒng)、學(xué)工系統(tǒng)等，這些系統(tǒng)獨立運行，造成了以下問題：①校園內(nèi)各項垂直業(yè)務(wù)各自為營，各類應(yīng)用系統(tǒng)煙囪式建立，缺少互聯(lián)互通接口；②各系統(tǒng)的底層存儲介質(zhì)沒有統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，缺乏數(shù)據(jù)共享接口，導(dǎo)致數(shù)據(jù)孤島現(xiàn)象；③存在數(shù)據(jù)不全、冗余、錯誤等數(shù)據(jù)質(zhì)量問題。以上問題導(dǎo)致各應(yīng)用之間數(shù)據(jù)共享程度低、數(shù)據(jù)獲取難、數(shù)據(jù)不好用，嚴重制約了智慧校園的建設(shè)。

因此，為了解決上述問題，亟需依托大數(shù)據(jù)技術(shù)構(gòu)建校園數(shù)據(jù)中臺，實現(xiàn)從數(shù)據(jù)接入到數(shù)據(jù)服務(wù)的全生命周期數(shù)據(jù)處理方法，為智慧校園建設(shè)提供數(shù)據(jù)和服務(wù)支撐。數(shù)據(jù)中臺在智慧校園的建設(shè)中有以下幾點意義：①數(shù)據(jù)中臺的核心是讓數(shù)據(jù)用起來，盤活校園全域數(shù)據(jù)，實現(xiàn)數(shù)據(jù)統(tǒng)一采集、集中管理、整合分析，實現(xiàn)數(shù)據(jù)共享，做到數(shù)據(jù)處處可見、人人可用；②數(shù)據(jù)中臺將穩(wěn)定、通用的業(yè)務(wù)能力下沉到中臺層，簡化前臺以提升前臺的響應(yīng)能力，能夠為領(lǐng)導(dǎo)決策、部門賦能和師生個人業(yè)務(wù)提供快速準(zhǔn)確的數(shù)據(jù)服務(wù)；③實現(xiàn)服務(wù)的可重用性，通用性強的基礎(chǔ)服務(wù)通過抽取和封裝直接供外部調(diào)用，可以大大降低開發(fā)成本。

數(shù)據(jù)中臺將全校數(shù)據(jù)進行資產(chǎn)化管理，具備數(shù)據(jù)采集匯聚、數(shù)據(jù)開發(fā)分析、數(shù)據(jù)服務(wù)可視化、數(shù)據(jù)賦能應(yīng)用四大核心能力，以數(shù)據(jù)驅(qū)動校園管理決策，促進校園從功能提供向數(shù)據(jù)服務(wù)轉(zhuǎn)變，提升校園智慧化服務(wù)水平。

2 智慧校園數(shù)據(jù)中臺架構(gòu)設(shè)計

數(shù)據(jù)中臺讓數(shù)據(jù)充分發(fā)揮其隱藏的價值，實現(xiàn)業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化、資產(chǎn)平臺化、平臺服務(wù)化，當(dāng)需要構(gòu)建新的業(yè)務(wù)應(yīng)用時，通過提供的服務(wù)接口迅速實現(xiàn)業(yè)務(wù)，即服務(wù)業(yè)務(wù)化，形成數(shù)據(jù)與業(yè)務(wù)的閉環(huán)，如圖1所示。

圖1 數(shù)據(jù)與業(yè)務(wù)閉環(huán)

本文在立足智慧校園的建設(shè)目標(biāo)之上，結(jié)合其他領(lǐng)域比較成熟的數(shù)據(jù)中臺技術(shù)路徑，給出了智慧校園數(shù)據(jù)中臺架構(gòu)，如圖2所示。

圖2 智慧校園數(shù)據(jù)中臺架構(gòu)

數(shù)據(jù)中臺將多源異構(gòu)數(shù)據(jù)進行采集、清洗、存儲、分析，形成一個可靠的、穩(wěn)定的大數(shù)據(jù)資產(chǎn)層，并以接口和組件的形式與各業(yè)務(wù)單元共享，從而打通前臺需求和后臺資源，在滿足數(shù)據(jù)分析需求的同時，為業(yè)務(wù)創(chuàng)新提供依據(jù)。

2.1 數(shù)據(jù)源

數(shù)據(jù)源指的是校園全域數(shù)據(jù)，根據(jù)校園數(shù)據(jù)的來源分為內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)，根據(jù)數(shù)據(jù)的存儲形式分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

2.2 數(shù)據(jù)采集

數(shù)據(jù)采集是數(shù)據(jù)中臺接入數(shù)據(jù)的入口，數(shù)據(jù)采集的主要工作是實現(xiàn)數(shù)據(jù)同步，將來自異構(gòu)數(shù)據(jù)源、異構(gòu)網(wǎng)絡(luò)的校園原始數(shù)據(jù)，通過標(biāo)準(zhǔn)手段統(tǒng)一采集、匯集形成校園“數(shù)據(jù)湖”，為數(shù)據(jù)中臺的后續(xù)工作做準(zhǔn)備。

2.3 數(shù)據(jù)開發(fā)

校園數(shù)據(jù)經(jīng)過數(shù)據(jù)采集層存儲到各種介質(zhì)中，數(shù)據(jù)流進入數(shù)據(jù)開發(fā)層，首先進行數(shù)據(jù)倉庫的建設(shè)，然后利用大數(shù)據(jù)處理技術(shù)對數(shù)據(jù)進行挖掘、分析，生成數(shù)據(jù)資產(chǎn)，為用戶提供前端可視化頁面查看、使用數(shù)據(jù)。其中，數(shù)據(jù)倉庫有兩種，分別是離線數(shù)倉和實時數(shù)倉，兩者的主要區(qū)別在于時效性、存儲介質(zhì)和處理組件。實時數(shù)倉時效性要求高，一般為分鐘級別甚至秒級別，而離線數(shù)倉對時效性要求一般為T+1天。對于存儲介質(zhì)，實時數(shù)據(jù)采集之后一般存儲到Clickhouse、ES等中，離線數(shù)據(jù)可以存儲在Hive、HDFS 等中。對于處理組件，借助目前主流的引擎spark、Flink 等實現(xiàn)實時開發(fā)平臺，實時數(shù)據(jù)要求強大的計算能力實時處理采集來的數(shù)據(jù)，針對離線數(shù)據(jù)，基于離線數(shù)倉建模理論、結(jié)合業(yè)務(wù)場景，抽取出一個離線開發(fā)平臺。實時開發(fā)平臺和離線開發(fā)平臺可以為智能運維賦能。

2.4 數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)層對外提供數(shù)據(jù)服務(wù)，實現(xiàn)數(shù)據(jù)中臺的核心能力——數(shù)據(jù)轉(zhuǎn)化為服務(wù)。數(shù)據(jù)服務(wù)層依據(jù)中臺的方法論OneData、OneService，提供統(tǒng)一的服務(wù)接口用來被調(diào)用，為數(shù)據(jù)應(yīng)用層賦能。

2.5 運維管理和數(shù)據(jù)治理平臺

數(shù)據(jù)中臺的數(shù)據(jù)流向從數(shù)據(jù)源到數(shù)據(jù)采集至存儲介質(zhì)，然后進行數(shù)據(jù)開發(fā)實現(xiàn)數(shù)據(jù)資產(chǎn)化，再通過數(shù)據(jù)服務(wù)暴露給各種業(yè)務(wù)應(yīng)用賦能，在整個過程中有兩個重要的平臺，一個是運維管理，一個是數(shù)據(jù)治理平臺。

數(shù)據(jù)治理平臺包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)血緣管理、數(shù)據(jù)標(biāo)準(zhǔn)管理等，其中數(shù)據(jù)血緣管理用來幫助追蹤問題數(shù)據(jù)，當(dāng)數(shù)據(jù)分析出現(xiàn)問題時追溯問題數(shù)據(jù)從哪來，一步步追溯問題環(huán)節(jié)。數(shù)據(jù)標(biāo)準(zhǔn)管理為校園數(shù)據(jù)提供一套統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，保障智慧校園數(shù)據(jù)中臺數(shù)據(jù)的規(guī)范性和有效性。數(shù)據(jù)治理得好，才能提高數(shù)據(jù)質(zhì)量，讓數(shù)據(jù)更好地為業(yè)務(wù)應(yīng)用賦能。

運維管理平臺是數(shù)據(jù)中臺持續(xù)運營的重要保障，主要包括監(jiān)控告警、部署管理、故障診斷、任務(wù)調(diào)度、日志審計等，對異常情況進行及時處理，確保數(shù)據(jù)的準(zhǔn)確性、完整性。

綜上，運維管理和數(shù)據(jù)治理這兩個平臺能夠保證數(shù)據(jù)中臺正常持續(xù)運轉(zhuǎn)。

2.6 智慧校園應(yīng)用

智慧校園應(yīng)用層通過調(diào)用數(shù)據(jù)中臺服務(wù)層API接口實現(xiàn)校園智慧服務(wù)。包括教務(wù)科研應(yīng)用（如科研管理、教學(xué)資源、在線學(xué)習(xí)等）、學(xué)生服務(wù)（如招生管理、就業(yè)服務(wù)等）、后勤服務(wù)（公寓管理、安保管理、車輛調(diào)度等）、管理決策（領(lǐng)導(dǎo)決策、個人畫像、專業(yè)評估等）等。數(shù)據(jù)中臺能夠為校園業(yè)務(wù)應(yīng)用提供多方位的分析機制，為智慧校園的運行提供高效支撐。

3 智慧校園數(shù)據(jù)中臺建設(shè)關(guān)鍵技術(shù)

數(shù)據(jù)中臺的核心是讓數(shù)據(jù)產(chǎn)生價值，為了實現(xiàn)這一目標(biāo)，需要三個關(guān)鍵步驟：①盡可能地收集數(shù)據(jù)；②更好地整理數(shù)據(jù)；③挖掘數(shù)據(jù)潛藏的價值。

3.1 盡可能地收集數(shù)據(jù)

為了盡可能全面地獲取校園數(shù)據(jù)，需要利用多種手段將校園全域數(shù)據(jù)采集到數(shù)據(jù)中臺的大數(shù)據(jù)平臺中。數(shù)據(jù)采集主要包括結(jié)構(gòu)化數(shù)據(jù)采集和非結(jié)構(gòu)化數(shù)據(jù)采集，對于結(jié)構(gòu)化業(yè)務(wù)系統(tǒng)數(shù)據(jù)，通過sqoop 腳本進行采集，寫入到大數(shù)據(jù)平臺的Hive 中。對于非結(jié)構(gòu)化數(shù)據(jù)，比如業(yè)務(wù)系統(tǒng)產(chǎn)生的日志數(shù)據(jù)，則利用Kafka 進行采集，形成一個個消息，再通過Spark Streaming對產(chǎn)生的消息進行批量采集。

3.2 更好地整理數(shù)據(jù)

數(shù)據(jù)采集之后進入數(shù)據(jù)倉庫的建設(shè)，根據(jù)數(shù)據(jù)倉庫的建設(shè)思路，原始數(shù)據(jù)采集過來之后經(jīng)過ETL 過程進行清洗、轉(zhuǎn)換、集成，形成ODS，然后對數(shù)據(jù)進行輕度綜合形成數(shù)據(jù)倉庫。數(shù)據(jù)倉庫的建設(shè)底層采用大數(shù)據(jù)技術(shù)Spark、Hive、SparkSQL來操作整個處理過程。

ETL 的關(guān)鍵操作是T（數(shù)據(jù)轉(zhuǎn)換），數(shù)據(jù)轉(zhuǎn)換包括表粒度數(shù)據(jù)同步、多表同步、數(shù)據(jù)庫整庫同步。單表來說，直接把數(shù)據(jù)原封不動搬過去，但是對于異構(gòu)數(shù)據(jù)源，不同數(shù)據(jù)庫字段表達方式可能不一樣，數(shù)據(jù)無法在數(shù)據(jù)中臺中流通。為了打通數(shù)據(jù)，解決數(shù)據(jù)孤島的問題，需要制定統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，把不同數(shù)據(jù)庫的字段映射成統(tǒng)一的表達形式。教育部2021 年3 月26 日發(fā)布《高等學(xué)校數(shù)字校園建設(shè)規(guī)范（試行）》，指出高校數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)應(yīng)符合GB/T 29808的要求。本文結(jié)合教育部要求制定校園數(shù)據(jù)標(biāo)準(zhǔn)，完成異構(gòu)數(shù)據(jù)源之間字段、數(shù)據(jù)類型等的映射，實現(xiàn)數(shù)據(jù)統(tǒng)一管理、統(tǒng)一定義。

3.3 挖掘數(shù)據(jù)潛藏的價值

數(shù)據(jù)采集、整理之后形成數(shù)據(jù)倉庫，通過大數(shù)據(jù)手段挖掘數(shù)據(jù)價值。利用數(shù)據(jù)挖掘算法發(fā)現(xiàn)數(shù)據(jù)的底層規(guī)律，通過機器學(xué)習(xí)建立數(shù)據(jù)模型，進而去開展人工智能。

數(shù)據(jù)的挖掘分析方式有三種，分別是在線分析、近線分析和離線分析。在線分析將業(yè)務(wù)數(shù)據(jù)實時寫入關(guān)系型數(shù)據(jù)庫中，通過前端可視化頁面，利用SQL 語句進行查詢、分析展現(xiàn)數(shù)據(jù)，這種方式對數(shù)據(jù)的分析時效性高，數(shù)據(jù)有變化，能立即反映在前端。但是隨著數(shù)據(jù)量的增長，關(guān)系型數(shù)據(jù)庫的壓力增大，造成系統(tǒng)性能降低，因此出現(xiàn)了近線分析。相較于在線分析，這種方式的分析結(jié)果有一定的延時，幾分鐘或幾小時，但是能提高系統(tǒng)性能，實現(xiàn)時效換性能。這兩種方式適合簡單業(yè)務(wù)，對于復(fù)雜的、實時性要求不高的業(yè)務(wù)數(shù)據(jù)分析，采用離線分析方式，通常延時一天，每天晚上對當(dāng)天的數(shù)據(jù)進行采集分析處理，第二天展示分析結(jié)果。

根據(jù)分析的業(yè)務(wù)，抽取數(shù)據(jù)倉庫中的一部分數(shù)據(jù)建立數(shù)據(jù)集市（DM），在DM 基礎(chǔ)上進行數(shù)據(jù)標(biāo)簽建設(shè)。利用Kylin 對數(shù)據(jù)進行多維分析，利用SparkML 進行數(shù)據(jù)挖掘，利用Elastic-Search 建立數(shù)據(jù)索引，實現(xiàn)對海量數(shù)據(jù)的秒級查詢。最后利用eCharts、VUE 等可視化工具將數(shù)據(jù)分析結(jié)果以前端應(yīng)用的形式展示給用戶。

有了以上基礎(chǔ)，就可以進行各種各樣的智慧校園應(yīng)用，比如教學(xué)科研、學(xué)生服務(wù)、決策支持、師生畫像等各種智能應(yīng)用。

4 結(jié)語

數(shù)據(jù)中臺的應(yīng)用領(lǐng)域越來越廣泛，其主要原因是數(shù)據(jù)中臺的核心是讓數(shù)據(jù)用起來，實現(xiàn)數(shù)據(jù)資產(chǎn)可視化，使得數(shù)據(jù)看得見、可以用、容易用。數(shù)據(jù)資源是智慧校園的“軟財富”，通過構(gòu)建數(shù)據(jù)中臺可以盤活校園全量數(shù)據(jù)，通過可視化界面，校園內(nèi)人員可以隨時隨地查看權(quán)限范圍內(nèi)的數(shù)據(jù)，方便快捷使用數(shù)據(jù)服務(wù)，提高校園決策、精細化管理水平，打造健康、持續(xù)運行的智慧校園。