基于Hadoop大數(shù)據(jù)分析學(xué)生行為的校務(wù)管理平臺

符龍生

（海南經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院 海南省?？谑?571100）

為提升我國高等職業(yè)教育發(fā)展水平，有關(guān)職能部門相繼出臺多項部門規(guī)章與發(fā)展規(guī)劃，從制度、政策維度為相關(guān)建設(shè)工作提供科學(xué)指導(dǎo)。若想實現(xiàn)高職學(xué)校的創(chuàng)新發(fā)展與科學(xué)轉(zhuǎn)型提升其專業(yè)化水平，首先需要確保學(xué)校管理制度的科學(xué)性與先進性。本文探討基于現(xiàn)代大數(shù)據(jù)技術(shù)的新型學(xué)校事務(wù)管理系統(tǒng)，在全面提升管理效率的基礎(chǔ)上為“雙高”建設(shè)目標(biāo)的實現(xiàn)提供有力支持。在發(fā)揮本系統(tǒng)學(xué)生行為分析功能的基礎(chǔ)上，能夠明確管理工作的目標(biāo)和重點，再提升工作效率的同時提高學(xué)校綜合管理水平。

1 校務(wù)大數(shù)據(jù)平臺的建設(shè)

1.1 背景及存在的問題

信息時代實現(xiàn)了現(xiàn)代信息技術(shù)的高速發(fā)展與廣泛應(yīng)用。高等職業(yè)院校作為我國高等教育的重要組成，同樣需要持續(xù)開展信息化建設(shè)工作，明確職能目標(biāo)，以提升工作效率為目的積極推動信息系統(tǒng)建設(shè)管理工作，打造一套由人事管理系統(tǒng)、財務(wù)管理系統(tǒng)、教務(wù)系統(tǒng)，一卡通系統(tǒng)，教學(xué)資源平臺等為核心的信息化管理系統(tǒng)。各類信息化系統(tǒng)的使用雖然能夠極大提升管理效率，但是也會形成大規(guī)模的數(shù)據(jù)信息，導(dǎo)致了巨大的數(shù)據(jù)管理工作量。以學(xué)生為例，其基本信息涵蓋了姓名、學(xué)號、院系、年級、籍貫等信息，同時也包含了學(xué)校消費、后勤消費等生活信息；同時還涉及考試成績、選課考評、圖書借閱等方面的信息。高職院校在自身信息化發(fā)展方面雖然取得一些成果，但尚有許多問題需要解決。

（1）不同職能部門使用信息系統(tǒng)時會形成大量數(shù)據(jù)，在缺乏數(shù)據(jù)交互機制的情況下，某一環(huán)節(jié)的數(shù)據(jù)變動不能及時反饋給其他環(huán)節(jié)，導(dǎo)致了十分嚴重的滯后性問題，也產(chǎn)生了大量冗余數(shù)據(jù)。

（2）現(xiàn)有的各類業(yè)務(wù)信息系統(tǒng)缺乏集成化，無法實現(xiàn)數(shù)據(jù)集中共享和管理，只能局限于數(shù)據(jù)管理、維護等基本操作層面，產(chǎn)生了十分突出的“信息孤島”問題，未能構(gòu)建起完整的信息系統(tǒng)，無法實現(xiàn)數(shù)據(jù)資源的合理共享與高效利用。

（3）各應(yīng)用系統(tǒng)在設(shè)計開發(fā)時缺乏統(tǒng)一技術(shù)標(biāo)準(zhǔn)，難以保證數(shù)據(jù)的規(guī)范性與標(biāo)準(zhǔn)化，加大了數(shù)據(jù)分析和處理的難度。

（4）缺少符合高職校發(fā)展現(xiàn)狀的數(shù)據(jù)管理系統(tǒng)。這就使得高職校所特有的大數(shù)據(jù)平臺的開發(fā)與設(shè)計工作成為信息技術(shù)領(lǐng)域的熱點研究課題。

1.2 數(shù)據(jù)標(biāo)準(zhǔn)的建立

圖1：校務(wù)大數(shù)據(jù)分析與決策平臺架構(gòu)

為了打破“信息孤島”，實現(xiàn)數(shù)據(jù)信息的高度共享，首先需要制定統(tǒng)一規(guī)范和標(biāo)準(zhǔn)，確保數(shù)據(jù)傳遞效率，學(xué)院網(wǎng)絡(luò)中心對全學(xué)校已有的信息系統(tǒng)開展了深入細致的調(diào)研工作，建立大數(shù)據(jù)平臺，準(zhǔn)備實現(xiàn)源頭數(shù)據(jù)匯集到學(xué)校大數(shù)據(jù)平臺，形成三大基礎(chǔ)信息。包括教學(xué)管理信息標(biāo)準(zhǔn)、借閱管理信息標(biāo)準(zhǔn)集、校園一卡通信息標(biāo)準(zhǔn)集等，然后綜合考慮高職院校數(shù)據(jù)信息的具體特征與國家信息化工作的技術(shù)標(biāo)準(zhǔn)，制定本校《信息化數(shù)據(jù)標(biāo)準(zhǔn)》，具體從校外標(biāo)準(zhǔn)、校內(nèi)標(biāo)準(zhǔn)兩個維度出發(fā)對數(shù)據(jù)進行集中管理。其中，校外標(biāo)準(zhǔn)包括國家標(biāo)準(zhǔn)代碼子集、教育部標(biāo)準(zhǔn)子集、高教行業(yè)標(biāo)準(zhǔn)子集。校內(nèi)標(biāo)準(zhǔn)則包括學(xué)生管理數(shù)據(jù)、教學(xué)管理、教職工管理、科研管理、資產(chǎn)管理、行政管理、財務(wù)管理等相應(yīng)的數(shù)據(jù)子集。這些數(shù)據(jù)標(biāo)準(zhǔn)為高職校大數(shù)據(jù)平臺建設(shè)奠定了良好基礎(chǔ)，充分保證了數(shù)據(jù)交互、共享的效率水平與質(zhì)量水平，也為數(shù)據(jù)標(biāo)準(zhǔn)化管理創(chuàng)造了有利條件。此外，還需要考慮到各信息系統(tǒng)運行過程中所存在的數(shù)據(jù)變化問題，制定必要的更新優(yōu)化策略及時進行調(diào)整確保數(shù)據(jù)可靠性。

1.3 數(shù)據(jù)的治理基本流程

依據(jù)高等職業(yè)院校的數(shù)據(jù)標(biāo)準(zhǔn)，制定數(shù)據(jù)采集計劃對學(xué)校相關(guān)數(shù)據(jù)信息開展采集工作，確保數(shù)據(jù)源頭與大數(shù)據(jù)平臺的關(guān)聯(lián)性實現(xiàn)同步更新。在具體工作中，需要根據(jù)信息系統(tǒng)的具體特征制定差異性的同步更新策略。數(shù)據(jù)信息的管理流程大致上包含三個階段：首先是收集各信息系統(tǒng)分散存儲的各類數(shù)據(jù)信息。其次是針對這些數(shù)據(jù)可使用ODI、Kettle 等軟件工具對各信息系統(tǒng)的原始數(shù)據(jù)進行篩選和提取，將其作為中心數(shù)據(jù)庫的信息來源，然后開展質(zhì)量分析明確數(shù)據(jù)庫的數(shù)據(jù)質(zhì)量，根據(jù)質(zhì)量分析結(jié)果對數(shù)據(jù)預(yù)處理工作的必要性進行判斷。最后，在完成必要性的數(shù)據(jù)預(yù)處理工作的基礎(chǔ)上，于數(shù)據(jù)中心內(nèi)形成國家標(biāo)準(zhǔn)集、行業(yè)標(biāo)準(zhǔn)集和校內(nèi)標(biāo)準(zhǔn)子集。在對各信息系統(tǒng)數(shù)據(jù)信息進行預(yù)處理和提取的基礎(chǔ)上充實中心數(shù)據(jù)庫，以標(biāo)準(zhǔn)化數(shù)據(jù)的形式進行集中管理，然后由各信息系統(tǒng)根據(jù)需要對中心數(shù)據(jù)庫數(shù)據(jù)進行調(diào)用，實現(xiàn)數(shù)據(jù)信息的高度共享和高效交互。以上策略能夠打破不同信息系統(tǒng)之間的數(shù)據(jù)隔閡，形成了一條條“數(shù)據(jù)流”，進而為大數(shù)據(jù)挖掘、分析工作提供有力支持。

1.4 校務(wù)大數(shù)據(jù)精準(zhǔn)服務(wù)平臺的建立

作為一個開源性的軟件工具，Hadoop 具備海量數(shù)據(jù)分析和處理能力，最核心的設(shè)計是 HDFS 和 MapReduce。HDFS 為大規(guī)模、復(fù)雜數(shù)據(jù)提供了一個高效、可靠的管理工具，處理非結(jié)構(gòu)化的數(shù)據(jù)，MapReduce 自動實現(xiàn)分布式并行計算，其功能的科學(xué)整合使 Hadoop 充分滿足海量數(shù)據(jù)的高效管理需求。從圖1 可以看出,校務(wù)信息管理系統(tǒng)的技術(shù)基礎(chǔ)為大數(shù)據(jù)平臺的標(biāo)準(zhǔn)數(shù)據(jù)子集，能夠?qū)Ω呗毿，F(xiàn)有的數(shù)據(jù)資源進行高效整合，構(gòu)建起以教務(wù)、教師、學(xué)生等為主體的數(shù)據(jù)信息庫，然后使用ETL 工具，確保數(shù)據(jù)信息的標(biāo)準(zhǔn)化、集中管理與高效交互，在實現(xiàn)數(shù)據(jù)安全的同時具備數(shù)據(jù)資源的高度共享與高效交互優(yōu)勢。此外，F(xiàn)lume 軟件還能夠?qū)Ξ悩?gòu)數(shù)據(jù)進行處理，將其轉(zhuǎn)換為標(biāo)準(zhǔn)化數(shù)據(jù)為數(shù)據(jù)挖掘和分析提供有力支持，并且能夠在分析評估用戶網(wǎng)絡(luò)行為的基礎(chǔ)上形成了一個綜合大數(shù)據(jù)分析平臺。在結(jié)合Hadoop 數(shù)據(jù)分析處理優(yōu)勢的基礎(chǔ)上為系統(tǒng)數(shù)據(jù)分析提供更加充分、更加可靠的數(shù)據(jù)信息，從而提高決策水平。

1.5 學(xué)生數(shù)據(jù)標(biāo)簽體系建立

在大數(shù)據(jù)分析學(xué)生行為中，標(biāo)簽體系的建立尤其重要。從其概念來看，標(biāo)簽屬于基于特定定義標(biāo)準(zhǔn)的一系列精煉、準(zhǔn)確的標(biāo)識，表現(xiàn)出獨特的特征。標(biāo)簽化作為用戶定性畫像的關(guān)鍵要素，能夠降低用戶畫像解讀的難度，又方便計集機分析和程序化處理。標(biāo)簽化之后，首先，計算機可以自動完成分類統(tǒng)計功能。例如從多角度刻畫學(xué)生畫像、為各項管理工作提供信息支持。此外，學(xué)生數(shù)據(jù)信息也可以進行標(biāo)簽化處理，使其成為學(xué)生的唯一信息化標(biāo)識。具體標(biāo)簽內(nèi)容包括：一是基本數(shù)據(jù)，即學(xué)生的個人信息；二是學(xué)業(yè)數(shù)據(jù)，即學(xué)生的選課情況、考試成績、閱覽信息、網(wǎng)課進度信息等內(nèi)容；三是生活數(shù)據(jù)，即以校園一卡通為工具完成的各類消費支付行為；四是社交數(shù)據(jù)，即學(xué)生電腦連入互聯(lián)網(wǎng)之后的使用記錄。在此基礎(chǔ)上可對相關(guān)數(shù)據(jù)進行挖掘和分析，創(chuàng)建相應(yīng)的標(biāo)簽，為各項數(shù)據(jù)信息的管理創(chuàng)造便利條件。在事實標(biāo)簽的基本上，可以通過預(yù)測標(biāo)簽對學(xué)生潛在需求進行分析，明確其需求內(nèi)容為學(xué)校服務(wù)提供科學(xué)依據(jù)。

1.6 學(xué)生群體行為畫像構(gòu)建和分析

在完成標(biāo)簽設(shè)計開發(fā)工作之后，基本上都需對數(shù)據(jù)進行必要的挖掘與分析處理。借助聚類分析、回歸分析等方法工具，可對標(biāo)簽信息進行提取與整合并以群體畫像（如院系畫像、專業(yè)畫像）的形式進行結(jié)果輸出。學(xué)生標(biāo)簽的復(fù)雜性決定了聚類分析的困難性，往往需要對多個標(biāo)簽進行分析和整合才能獲得一種相對可靠的分析結(jié)果。在具體分析處理過程中，需要明確不同標(biāo)簽的權(quán)重，根據(jù)其權(quán)重設(shè)計聚類分析的規(guī)則和方法，而歸一化處理則是聚類分析之前的一項重要工作。之后是學(xué)生畫像聚類分析，主要工作任務(wù)是對學(xué)生行為的相似度進行界定，并對相似度較高（滿足閾值條件）的行為作為同類行為，同類行為之間的差異相對較小，而不同類行為之間的差異則相對顯著。聚類分析能夠明確不同行為畫像所含信息的相似水平，從中提取相似度較高的行為構(gòu)建起聚類子集，從而明確共性特征為學(xué)生管理提供準(zhǔn)確依據(jù)。代表性的聚類分析方法有K-Means 算法，該工具能夠高效、準(zhǔn)確的分析和描述學(xué)生共性行為特征，并可在分析學(xué)生行為畫像的基礎(chǔ)上開展學(xué)習(xí)成績、上課考勤等監(jiān)督管理工作，實現(xiàn)學(xué)生行為的動態(tài)監(jiān)控，能夠更好的發(fā)現(xiàn)學(xué)生問題并采取科學(xué)的應(yīng)對策略，進一步提升學(xué)生管理水平確保教學(xué)質(zhì)量。

2 校務(wù)大數(shù)據(jù)平臺精準(zhǔn)服務(wù)管理水平場景

2.1 促進學(xué)生個體自我認知與發(fā)展的完善

學(xué)生在自我認知方面往往表現(xiàn)出顯著的主觀，感性特征，這就將導(dǎo)致學(xué)生自身發(fā)展與管理工作的不確定性。大數(shù)據(jù)技術(shù)的應(yīng)用將實現(xiàn)學(xué)生復(fù)雜數(shù)據(jù)信息的分析功能，以學(xué)生畫像的形式對其行為特征進行描述，從而提高學(xué)生對自身的科學(xué)認知水平，明確自身發(fā)展方向和需求，能夠根據(jù)具體情況及時調(diào)整自身狀態(tài)實現(xiàn)科學(xué)成長。

2.2 為師生提供精準(zhǔn)化、個性化服務(wù)

基于學(xué)生畫像結(jié)果可開展精準(zhǔn)管理，明確學(xué)生潛在需求并提供相應(yīng)服務(wù)，以此保證學(xué)生管理工作的質(zhì)量水平和效率水平，提高學(xué)生對學(xué)校管理與服務(wù)的滿意度，為學(xué)校管理工作的開展奠定良好基礎(chǔ)。

基于校務(wù)數(shù)據(jù)的學(xué)生標(biāo)簽?zāi)軌驅(qū)W(xué)生的行為習(xí)慣、潛在需求、發(fā)展趨勢進行分析和預(yù)測，從而為學(xué)生工作提供更加準(zhǔn)確的依據(jù)，便于教師、學(xué)校對學(xué)生開展針對性的管理，實現(xiàn)管理與服務(wù)的精準(zhǔn)轉(zhuǎn)型，發(fā)揮大數(shù)據(jù)技術(shù)的優(yōu)勢作用切實有效的提升高職院校管理水平。

2.3 為學(xué)校宏觀決策與管理奠定基礎(chǔ)

學(xué)生標(biāo)簽的繪制能夠為信息化管理工作提供可靠依據(jù)，從而提升學(xué)校管理決策的科學(xué)水平。學(xué)生畫像能夠直觀、準(zhǔn)確的展示學(xué)生在生活、學(xué)習(xí)等領(lǐng)域的規(guī)律和特征，能夠為學(xué)校管理工作提供更加準(zhǔn)確的依據(jù)，便于學(xué)校、教師開展相應(yīng)的管理與服務(wù)工作，滿足學(xué)生需求并改善其學(xué)習(xí)、生活環(huán)境，從面提高整體學(xué)生成績，對招生數(shù)據(jù)的分析能夠從中挖掘出優(yōu)質(zhì)生源，明確學(xué)校招生工作的重點提高其管理資源綜合利用水平。

基于校務(wù)數(shù)據(jù)的數(shù)據(jù)分析處理工作，能夠?qū)崿F(xiàn)對學(xué)生的精準(zhǔn)畫像、為學(xué)校精準(zhǔn)管理和服務(wù)提供可靠依據(jù)，充分保證學(xué)生的科學(xué)成長。與傳統(tǒng)管理機制相比，基于大數(shù)據(jù)技術(shù)的信息管理系統(tǒng)能夠進一步提升學(xué)校管理的精準(zhǔn)性和效率水平，從而極大提升高職院校綜合建設(shè)水平，實現(xiàn)高職院校科學(xué)發(fā)展。