基于大數(shù)據(jù)技術的智慧校園數(shù)據(jù)服務平臺設計與實現(xiàn)

楊子天 李濤

摘 要：文章針對國內(nèi)目前高校智慧化校園中存在的信息數(shù)據(jù)處理問題，運用新興大數(shù)據(jù)技術，設計開發(fā)智慧校園中的數(shù)據(jù)服務平臺，著力解決各高校信息孤島問題，通過對高校各系統(tǒng)數(shù)據(jù)的整合、分析、挖掘，為高校提供精準的輔助決策數(shù)據(jù)和分析報告，主要包括海量、多樣的高校大數(shù)據(jù)的采集、清洗、計算與分析，海量高校大數(shù)據(jù)的動態(tài)圖表與可視化報告以及通過人工智能手段進行數(shù)據(jù)挖掘等功能。

關鍵詞：大數(shù)據(jù)技術;智慧校園;數(shù)據(jù)服務平臺

中圖分類號：G647??文獻標識碼：A??收稿日期：2018-08-06

文章編號：2095-624X（2018）31-0042-01

一、平臺的設計與實現(xiàn)

為了解決傳統(tǒng)手段難以滿足高校對信息化輔助管理決策的新需求，數(shù)據(jù)處理和存儲效率低下及建設門檻和成本高的問題，平臺先利用流式架構(gòu)整合智慧校園中的各類關系型和非關系型數(shù)據(jù)，研究多種異構(gòu)數(shù)據(jù)源數(shù)據(jù)的統(tǒng)一采集、匯聚和存儲及快速訪問。在此基礎上結(jié)合校園業(yè)務應用場景，利用機器學習框架，構(gòu)建特征模型，對數(shù)據(jù)進行監(jiān)督和非監(jiān)督訓練，確定其間的關聯(lián)關系并作出預測判斷。實現(xiàn)對學校內(nèi)所有數(shù)據(jù)資源的統(tǒng)一、科學的組織與管理，提高數(shù)據(jù)質(zhì)量，釋放數(shù)據(jù)價值。

1.設計目標

本平臺以智慧校園為基礎，利用流式數(shù)據(jù)處理、機器學習分析等大數(shù)據(jù)技術，高效地收集整合高校各方面所產(chǎn)生數(shù)據(jù)，從其中提取出有價值的信息和模型，推動高校教育的全面創(chuàng)新，是根本目的。本平臺的設計開發(fā)目標有以下三點：①針對異構(gòu)且更新頻次不一的數(shù)據(jù)源構(gòu)建統(tǒng)一的數(shù)據(jù)采集平臺。②針對使用要求不一的數(shù)據(jù)構(gòu)建統(tǒng)一的分布式數(shù)據(jù)存儲服務平臺，提供統(tǒng)一的數(shù)據(jù)接口。③結(jié)合智慧校園的業(yè)務場景應用，利用機器學習技術，挖掘數(shù)據(jù)的新價值。

2.平臺架構(gòu)

平臺系統(tǒng)整體架構(gòu)包括大數(shù)據(jù)處理、數(shù)據(jù)挖掘、硬件環(huán)境、客戶端等四個部分。其中大數(shù)據(jù)部分構(gòu)成整個平臺的基礎，硬件和軟件系統(tǒng)構(gòu)成平臺的容器，客戶端是平臺的出口。

（1）業(yè)務架構(gòu)。在集群硬件環(huán)境支持下，利用微服務架構(gòu)加上SpringCloud技術以及docker+kubernetes等技術實現(xiàn)一鍵布署。各微服務支撐高校大數(shù)據(jù)的所有業(yè)務場景、功能以及展示、報表所需要的資源;微服務通過Restful WebAPI實現(xiàn)與客戶終端的連接，微服務以這種接口形式實現(xiàn)服務與客戶端的分離，從而可以靈活地實現(xiàn)多終端的接入以及為第三方提供服務能力。如SpringCloud為微服務提供安全、熔斷、負載均衡、治理等能力。

（2）技術架構(gòu)。本次系統(tǒng)平臺技術框架設計從數(shù)據(jù)采集到數(shù)據(jù)處理、分析、計算，使用hadoop技術棧中大部分技術?？梢圆杉瘡慕Y(jié)構(gòu)化到非結(jié)構(gòu)化數(shù)據(jù)以及syslog 、消息隊列等，幾乎涵蓋了目前行業(yè)內(nèi)的大多數(shù)數(shù)據(jù)類型。能夠處理離線和實時流數(shù)據(jù)，數(shù)據(jù)量可達TB級別，實時處理千萬條數(shù)據(jù)可達到秒級或亞秒級，且所用設備量較少。

二、平臺建設的意義及價值

1.實踐意義

本平臺設計是以高校信息化建設綱要及大數(shù)據(jù)發(fā)展行動綱要為依據(jù)進行創(chuàng)新性探索，主要實踐意義有三點：運用新興技術，全面推進高校發(fā)展;建立有效的數(shù)據(jù)處理通道，推動業(yè)務融合;充分釋放數(shù)據(jù)價值，探索業(yè)務規(guī)律。

2.理論價值

本平臺實現(xiàn)的理論價值有建立新的數(shù)據(jù)處理方式：根據(jù)高校數(shù)據(jù)的特點，設計節(jié)省存儲空間、查詢效率高的數(shù)據(jù)處理機制。建立新的智慧模型：通過對普通高校大量數(shù)據(jù)和應用需求的分析和實踐探索，建立可推廣的模型。推動管理理論的變革：將大數(shù)據(jù)技術應用于教學管理實踐過程中，在提高管理決策科學性的同時，推動學校管理理念的變革，進一步提高管理水平，提升學校的綜合競爭力。

本次智慧校園數(shù)據(jù)服務平臺依據(jù)現(xiàn)階段高校數(shù)據(jù)計算特點，重點著力于“智慧”應用，充分運用當前新興的大數(shù)據(jù)技術，探索出一套“存儲—計算—挖掘”一體化的高校大數(shù)據(jù)框架。目前整套平臺實現(xiàn)運行，在海量數(shù)據(jù)中獲取價值，產(chǎn)生“智慧”，進而推動決策層向數(shù)據(jù)決策化發(fā)展，為未來高校的發(fā)展探索出一條新的道路。

參考文獻：

[1]葉曉斌.提高高校教育教學管理信息化水平的思路探索[J].時代教育，2017（9）：240.

[2]杜 渂，張嘉成.消防大數(shù)據(jù)分析服務平臺架構(gòu)設計研究[J].電信快報，2017（8）：24-28.