高校大數(shù)據(jù)平臺構(gòu)建及應(yīng)用

文/劉香玉 徐紅彥 侯英哲 齊嘉亮 顏玲

1 引言

近年來，大數(shù)據(jù)被世界各國視為塑造國家競爭力的戰(zhàn)略制高點(diǎn)之一。2015年國家發(fā)布《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》，將大數(shù)據(jù)正式上升為國家戰(zhàn)略，從國家意志層面將大數(shù)據(jù)作為推動社會轉(zhuǎn)型的新動力和提升社會治理能力的新途徑。高校作為新觀念和新人才聚集的社會重要構(gòu)成單元，也紛紛抓住機(jī)遇，探索利用大數(shù)據(jù)促進(jìn)學(xué)校發(fā)展的現(xiàn)實(shí)路徑。而在實(shí)施過程中，大數(shù)據(jù)平臺的構(gòu)建和示范性應(yīng)用是兩個(gè)至關(guān)重要的方面，分別關(guān)系到大數(shù)據(jù)項(xiàng)目的落地實(shí)現(xiàn)和最終的價(jià)值體現(xiàn)，是未來高校大數(shù)據(jù)戰(zhàn)略的必經(jīng)之路。

2 平臺構(gòu)建

大數(shù)據(jù)至今尚無統(tǒng)一的嚴(yán)格定義，被廣泛接受的是Laney 提出的3V特點(diǎn)（Volume，Velocity，Variety），即大量、高速、多樣性，決定了大數(shù)據(jù)平臺與傳統(tǒng)數(shù)據(jù)平臺有明顯區(qū)別。大數(shù)據(jù)平臺應(yīng)該能夠滿足海量、多模態(tài)（結(jié)構(gòu)、半結(jié)構(gòu)、非結(jié)構(gòu)化）數(shù)據(jù)高效甚至實(shí)時(shí)的采集、存儲、分析計(jì)算、呈現(xiàn)共享需求，平臺框架和關(guān)鍵技術(shù)如下。

2.1 平臺框架

高校大數(shù)據(jù)處理的過程通常包含數(shù)據(jù)采集、存儲、清洗規(guī)范、分析計(jì)算、結(jié)果展現(xiàn)等步驟，因此大數(shù)據(jù)平臺架構(gòu)可大致分為三層：底部數(shù)據(jù)源層、中部大數(shù)據(jù)處理平臺層、頂部用戶端層，如圖1所示。數(shù)據(jù)源層負(fù)責(zé)多模態(tài)數(shù)據(jù)的廣泛采集，包括結(jié)構(gòu)化的業(yè)務(wù)數(shù)據(jù)，半結(jié)構(gòu)化或非結(jié)構(gòu)化的機(jī)器數(shù)據(jù)、學(xué)校外部互聯(lián)網(wǎng)數(shù)據(jù)，ETL、日志處理集群、爬蟲引擎工具采集數(shù)據(jù)后完成初步的數(shù)據(jù)清洗預(yù)處理工作。中部大數(shù)據(jù)處理平臺層負(fù)責(zé)數(shù)據(jù)的存儲、交換、建模和分析計(jì)算，是整個(gè)架構(gòu)的核心部分，為上次的數(shù)據(jù)呈現(xiàn)和應(yīng)用提供支撐。頂部用戶端提供數(shù)據(jù)的具體應(yīng)用以及可視化輸出。

2.2 關(guān)鍵技術(shù)

2.2.1 數(shù)據(jù)采集、預(yù)處理技術(shù)

數(shù)據(jù)獲取和清洗預(yù)處理需要考慮到多種多樣的數(shù)據(jù)來源，例如RFID射頻、傳感器、社交網(wǎng)絡(luò)、移動互聯(lián)網(wǎng)數(shù)據(jù)等。除傳統(tǒng)關(guān)系型數(shù)據(jù)庫MySQL、Oracle的數(shù)據(jù)采集外，統(tǒng)日志采集方面，主要利用開源的Flume、Scribe等系統(tǒng)；網(wǎng)絡(luò)數(shù)據(jù)采集主要研究網(wǎng)絡(luò)爬蟲、網(wǎng)站提供的API以及DPI等網(wǎng)絡(luò)流量采集。由于大數(shù)據(jù)的“低值性”，數(shù)據(jù)在采集后還應(yīng)該進(jìn)行過濾去噪、集成變換、規(guī)約等預(yù)處理。

2.2.2 數(shù)據(jù)存儲、分析處理、可視化技術(shù)

存儲方面主要涉及Hadoop、Hive等分布式存儲技術(shù)，具體包括分布式文件系統(tǒng)、分布式數(shù)據(jù)倉庫、分布式緩存等；并行計(jì)算技術(shù)，包含批處理、流處理、內(nèi)存計(jì)算、圖計(jì)算技術(shù)等；數(shù)據(jù)分析挖掘技術(shù)，包括數(shù)據(jù)建模、分類、聚類、回歸分析、關(guān)聯(lián)規(guī)則挖掘、語義分析、算法推薦技術(shù)等；數(shù)據(jù)可視化呈現(xiàn)與利用技術(shù)，提供友好的分析圖表呈現(xiàn)模式、靈活便捷的數(shù)據(jù)接口供其他應(yīng)用調(diào)用。

3 高校大數(shù)據(jù)的應(yīng)用

3.1 科研領(lǐng)域

3.1.1 學(xué)科“雙一流”競爭力評估和發(fā)展定位

提供精準(zhǔn)、明晰的學(xué)校學(xué)科競爭指標(biāo)對比，分析優(yōu)勢劣勢，更加科學(xué)、理性的凝練學(xué)科發(fā)展方向定位。分析學(xué)科熱點(diǎn)領(lǐng)域，啟發(fā)學(xué)校學(xué)科制定未來發(fā)展方向。模擬學(xué)科評估，進(jìn)行本校自評定位，精準(zhǔn)對比和分析學(xué)科各項(xiàng)指標(biāo)的差距，制定未來發(fā)展規(guī)劃。

3.1.2 師資隊(duì)伍和學(xué)科梯隊(duì)數(shù)據(jù)分析

從學(xué)科發(fā)展的角度分析師資隊(duì)伍和學(xué)科梯隊(duì)結(jié)構(gòu)，有目的的優(yōu)化師資隊(duì)伍整體水平。提供人才數(shù)量、專業(yè)技術(shù)職務(wù)、學(xué)科分布、學(xué)歷學(xué)緣背景、年齡構(gòu)成等多角度的綜合分析和院校間對比，為高端人才引進(jìn)、完善考核晉升機(jī)制等措施明確方向。

3.1.3 教師個(gè)人科研評價(jià)和輔助定位

為教師個(gè)人提供科研自畫像和研究優(yōu)勢、劣勢定位分析報(bào)告。根據(jù)學(xué)科熱點(diǎn)，協(xié)助教師形成未來科研發(fā)展方向定位。根據(jù)教師研究興趣分析，智能推薦各級別層次的文獻(xiàn)資料，提高教師科研效率等。

3.2 教學(xué)領(lǐng)域

3.2.1 學(xué)校辦學(xué)趨勢分析

聚焦學(xué)校辦學(xué)方向和實(shí)際辦學(xué)效果的關(guān)系，提供學(xué)?？傮w和各學(xué)科專業(yè)的生源招收、培養(yǎng)方案、教學(xué)質(zhì)量、學(xué)生成績的數(shù)據(jù)挖掘分析情況，對比同類專業(yè)的優(yōu)勢劣勢，提供辦學(xué)趨勢、課程設(shè)置、學(xué)習(xí)資源等方面的分析建議等。

3.2.2 學(xué)習(xí)行為數(shù)據(jù)分析和學(xué)業(yè)預(yù)警

根據(jù)學(xué)生學(xué)業(yè)成績、課堂考勤、實(shí)踐活動、獲獎情況、學(xué)習(xí)時(shí)間分布等方面的數(shù)據(jù)分析，構(gòu)建學(xué)生畫像，提供與優(yōu)秀學(xué)生之間學(xué)習(xí)行為數(shù)據(jù)對比，描繪學(xué)生學(xué)業(yè)發(fā)展趨勢和診斷，在掛科、排名突降之前給予學(xué)生和相關(guān)教師預(yù)先提醒，提供針對性引導(dǎo)、學(xué)習(xí)經(jīng)驗(yàn)分享和相關(guān)資源推薦等。

3.2.3 教師教學(xué)能力數(shù)據(jù)分析

根據(jù)學(xué)生成績和評價(jià)提供多角度教學(xué)效果分析，如科目整體教學(xué)效果同校、同專業(yè)、國內(nèi)對比，科目中知識點(diǎn)和技能弱勢不足分析，便于教師改進(jìn)教學(xué)。提供教學(xué)經(jīng)驗(yàn)、教學(xué)資源個(gè)性化推薦。

3.3 管理領(lǐng)域

3.3.1 學(xué)生管理：大數(shù)據(jù)輔助就業(yè)、資助評估、行為預(yù)警、健康預(yù)警

大數(shù)據(jù)在學(xué)生管理方面有較大用武之地。大數(shù)據(jù)輔助就業(yè)方面，通過網(wǎng)絡(luò)爬蟲、網(wǎng)站接口等技術(shù)廣泛搜集各企事業(yè)單位公布的就業(yè)招聘信息，并根據(jù)專業(yè)、興趣等實(shí)現(xiàn)精準(zhǔn)推薦，分析應(yīng)聘情況和學(xué)生實(shí)力成功率，大量節(jié)約學(xué)生就業(yè)精力。困難生經(jīng)濟(jì)資助、行為預(yù)警方面，可以根據(jù)校園卡用餐用水消費(fèi)、圖書借閱、門禁、Wi-Fi等數(shù)據(jù)，判斷學(xué)生真實(shí)經(jīng)濟(jì)情況，或者是否有失聯(lián)情況。此外還可根據(jù)學(xué)校體檢、用餐、健身記錄和體育課成績?yōu)閷W(xué)生提供健康預(yù)警和提醒。

3.3.2 基建財(cái)務(wù)資產(chǎn)管理

通過分析學(xué)校多年基建、財(cái)務(wù)、資產(chǎn)數(shù)據(jù)，得出學(xué)校發(fā)展投入、預(yù)算和支出趨勢分析，便于提高財(cái)務(wù)績效，加強(qiáng)房產(chǎn)、設(shè)備、家具等資產(chǎn)的合理配置，加強(qiáng)水、電等能源的監(jiān)控，制定節(jié)能減排措施。

4 結(jié)語

大數(shù)據(jù)平臺的構(gòu)建和大數(shù)據(jù)示范應(yīng)用僅是大數(shù)據(jù)賦能高校信息化的兩個(gè)關(guān)鍵環(huán)節(jié)，以大數(shù)據(jù)為基礎(chǔ)的現(xiàn)代大學(xué)生態(tài)治理是一項(xiàng)復(fù)雜的系統(tǒng)工程，遠(yuǎn)不止技術(shù)實(shí)現(xiàn)這么簡單，還涉及到學(xué)校發(fā)展戰(zhàn)略思維的轉(zhuǎn)變、學(xué)校政策規(guī)劃、多元主體之間的相互作用、配套體制機(jī)制、隊(duì)伍建設(shè)等方面的模式和策略。技術(shù)實(shí)現(xiàn)層面也還有其他一些重要問題需要關(guān)注，包括但不限于個(gè)人隱私問題、數(shù)據(jù)標(biāo)準(zhǔn)問題、數(shù)據(jù)質(zhì)量質(zhì)量問題，以及如何通過校企合作模式克服學(xué)校不足、形成成果共享和優(yōu)勢互補(bǔ)的長期共贏策略。但總體核心思想應(yīng)該是圍繞學(xué)校發(fā)展的核心關(guān)鍵需求，走好與科研、教學(xué)和服務(wù)管理深度融合之路。