基于校園大數(shù)據(jù)的學(xué)生畫像系統(tǒng)應(yīng)用研究

馮廣 何雅萱 賀敏慧

摘 ?要： 隨著我國教育事業(yè)的蓬勃發(fā)展，各高校都在經(jīng)歷著從數(shù)字校園到智慧校園的信息化形態(tài)升級，開始將大數(shù)據(jù)技術(shù)運(yùn)用到教學(xué)管理、資源優(yōu)化等工作上，旨在提高教師和行政人員的工作效率，同時也更加全面、具體地開展學(xué)生的培養(yǎng)工作，更好地服務(wù)于學(xué)生。因此，基于校園大數(shù)據(jù)的學(xué)生畫像系統(tǒng)應(yīng)運(yùn)而生，為精準(zhǔn)教學(xué)管理、提高教育質(zhì)量開創(chuàng)了新的方法。本文提出了基于校園大數(shù)據(jù)的學(xué)生畫像系統(tǒng)，介紹了該系統(tǒng)的數(shù)據(jù)來源與實(shí)現(xiàn)技術(shù)，驗(yàn)證了該系統(tǒng)的實(shí)用場景。

關(guān)鍵詞： 學(xué)生畫像;畫像系統(tǒng);校園大數(shù)據(jù);大數(shù)據(jù)技術(shù);數(shù)據(jù)分析

中圖分類號： TP393 ? ?文獻(xiàn)標(biāo)識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2020.08.012

本文著錄格式：馮廣，何雅萱，賀敏慧. 基于校園大數(shù)據(jù)的學(xué)生畫像系統(tǒng)應(yīng)用研究[J]. 軟件，2020，41（08）：40-42

【Abstract】： With the vigorous development of education cause in our country， various universities are experiencing wisdom from digital campus to campus information form of upgrade， began to big data technologies into teaching management， resource optimization， etc， to improve the working efficiency of the teachers and administrators， but also a more comprehensive， specifically the cultivation of students work， better service to students. Therefore， the student portrait system based on campus big data emerges as The Times require， creating a new method for accurate teaching management and improving education quality. This paper proposes a student portrait system based on campus big data， introduces the data source and implementation technology of the system， and verifies the practical scenario of the system.

【Key words】： Student portraits; Portrait system; Campus big data; Big data technology; Data analysis

0 ?引言

在校園學(xué)生管理和大數(shù)據(jù)的時代背景下，校園大數(shù)據(jù)開始流行，各高校都開始運(yùn)用人工智能和大數(shù)據(jù)等新興技術(shù)來提高教學(xué)質(zhì)量、優(yōu)化資源管理和教學(xué)管理等，將大數(shù)據(jù)技術(shù)應(yīng)用在校園的信息化建設(shè)已經(jīng)成為一種趨勢[1]。眾所周知，隨著網(wǎng)絡(luò)的不斷發(fā)展，學(xué)生的日常學(xué)習(xí)和生活會產(chǎn)生數(shù)量繁多且趨于復(fù)雜的數(shù)據(jù)，如何有序高效地管理這些數(shù)據(jù)，并從中得到有用的數(shù)據(jù)進(jìn)行分析成為當(dāng)下最需要解決的問題。

學(xué)生畫像系統(tǒng)建立在海量學(xué)生的學(xué)習(xí)生活數(shù)據(jù)的基礎(chǔ)上，以學(xué)生為主體，通過對學(xué)生個人特征以及其學(xué)習(xí)習(xí)慣和生活行為進(jìn)行數(shù)據(jù)挖掘，從學(xué)生的特征出發(fā)， 賦予學(xué)生畫像標(biāo)簽，分析不同學(xué)生的行為習(xí)慣之間的差異，為學(xué)校智能化管理提供理論依據(jù)[2]。因此，本文提出基于校園大數(shù)據(jù)的學(xué)生畫像系統(tǒng)，以學(xué)生學(xué)習(xí)生活特征為主體，從畫像的角度挖掘?qū)W生差異，并分析學(xué)生學(xué)習(xí)生活習(xí)慣是否正常。

1 ?主要數(shù)據(jù)來源及技術(shù)框架

1.1 ?主要數(shù)據(jù)來源

以某高校學(xué)生學(xué)習(xí)生活行為作為主要研究對象，搭建大數(shù)據(jù)平臺，對學(xué)生畫像進(jìn)行分析，得到每個學(xué)生畫像對應(yīng)的個性標(biāo)簽。由于學(xué)生的各項(xiàng)原始數(shù)據(jù)量龐大且相對比較分散，需要經(jīng)過篩選才能應(yīng)用到實(shí)際中，本文對原始數(shù)據(jù)進(jìn)行剔除或者補(bǔ)充操作等相關(guān)數(shù)據(jù)預(yù)處理（包括數(shù)據(jù)的修復(fù)和剔除以及數(shù)據(jù)的歸一化處理等）后，形成相關(guān)數(shù)據(jù)集。表1為學(xué)生的學(xué)習(xí)生活數(shù)據(jù)來源，數(shù)據(jù)大致分為五部分：一卡通系統(tǒng)數(shù)據(jù)、學(xué)習(xí)數(shù)據(jù)、圖書館數(shù)據(jù)、門禁系統(tǒng)數(shù)據(jù)、校園Wi-Fi系統(tǒng)數(shù)據(jù)。大數(shù)據(jù)平臺可根據(jù)這幾部分的數(shù)據(jù)對每個學(xué)生進(jìn)行行為畫像，從多個方面來分析每個學(xué)生的日常生活軌跡，實(shí)時獲取各學(xué)生的學(xué)習(xí)生活動態(tài)，為學(xué)生提供更加個性化的服務(wù)，使校園生活變得更加豐富多彩。

1.2 ?技術(shù)架構(gòu)

任何系統(tǒng)都不是孤立的，它和周圍環(huán)境在相互作用下可以按特定關(guān)系組成較高一級的系統(tǒng)。為保證本系統(tǒng)的有序性與層次性，本文將系統(tǒng)層次結(jié)構(gòu)劃分為4層：（服務(wù)）應(yīng)用層、平臺層、采集層、數(shù)據(jù)源。系統(tǒng)層次之間，各依自己的職能，實(shí)現(xiàn)系統(tǒng)的目標(biāo)計劃，保證系統(tǒng)有序高效的進(jìn)行運(yùn)轉(zhuǎn)。如圖1所示。

（1）數(shù)據(jù)源：數(shù)據(jù)源大致包括一卡通系統(tǒng)數(shù)據(jù)、學(xué)習(xí)數(shù)據(jù)、圖書館數(shù)據(jù)、門禁系統(tǒng)數(shù)據(jù)、校園Wi-Fi系統(tǒng)數(shù)據(jù)、門禁系統(tǒng)數(shù)據(jù)。

（2）采集層：本文采用ETL工具實(shí)現(xiàn)對各數(shù)據(jù)源的采集，配合基于Flume的實(shí)時流數(shù)據(jù)采集，采用Kafaka實(shí)現(xiàn)實(shí)時流調(diào)度處理，為實(shí)現(xiàn)大數(shù)據(jù)實(shí)時計算與分析作準(zhǔn)備。同時，對采集的數(shù)據(jù)源進(jìn)行數(shù)據(jù)清洗與處理，解決數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)、數(shù)據(jù)錯誤等問題，最后將數(shù)據(jù)提取并傳送到大數(shù)據(jù)CDH平臺。

（3）平臺層：本文采用CDH平臺對大數(shù)據(jù)的存儲、備份、查詢以及運(yùn)算提供服務(wù)，承擔(dān)數(shù)據(jù)管理的核心功能。在CDH平臺上安裝Hadoop組件，快速搭建能夠穩(wěn)定運(yùn)行的數(shù)據(jù)計算框架。本文CDH平臺中，采用HDFS分布式文件系統(tǒng)，利用Hive分布式存儲技術(shù)，實(shí)現(xiàn)對大數(shù)據(jù)倉庫平臺中的數(shù)據(jù)分類存儲。最后根據(jù)某高校的需求，對大數(shù)據(jù)倉庫平臺中的數(shù)據(jù)進(jìn)行分析與挖掘處理，通過sqoop導(dǎo)出至MySQL數(shù)據(jù)庫。

（4）（服務(wù)）應(yīng)用層：提供統(tǒng)一的應(yīng)用操作界面和信息展示窗口，是系統(tǒng)直接面向操作用戶的部分，將所有收集分析的數(shù)據(jù)結(jié)果以客觀的形式呈現(xiàn)在界面上，供學(xué)校師生查看，老師能實(shí)時關(guān)注學(xué)生的近期狀態(tài)，及時發(fā)現(xiàn)問題，對同學(xué)采取一對一幫助，而同學(xué)也能過通過此界面進(jìn)一步了解自己的生活學(xué)習(xí)狀態(tài)，及時調(diào)整，讓自己的生活變得更加的積極向上。

1.3 ?學(xué)生個性標(biāo)簽

學(xué)生群體基數(shù)很大，需要運(yùn)用大數(shù)據(jù)技術(shù)收集和掌握學(xué)生信息，對學(xué)生數(shù)據(jù)進(jìn)行處理，從而根據(jù)收集到的學(xué)生信息行為構(gòu)建全方位的學(xué)生畫像。標(biāo)簽提取來源于各個數(shù)據(jù)源系統(tǒng)，數(shù)據(jù)通過ETL 抽取后，經(jīng)過數(shù)據(jù)清洗、提取，制定學(xué)生標(biāo)簽維度，并將標(biāo)簽應(yīng)用于大數(shù)據(jù)平臺中。學(xué)生的標(biāo)簽維度如圖2所示。基于一卡通系統(tǒng)數(shù)據(jù)、學(xué)習(xí)數(shù)據(jù)、圖書館數(shù)據(jù)等數(shù)據(jù)源，構(gòu)建立體式學(xué)生畫像，形成集數(shù)據(jù)匯聚、標(biāo)簽管理、標(biāo)簽庫、服務(wù)策略、場景輸出于一體的學(xué)生標(biāo)簽管理體系，在學(xué)生行為存在異常時及時預(yù)警，從而保證學(xué)生的安全。

學(xué)生標(biāo)簽體系分為數(shù)據(jù)采集層、標(biāo)簽庫層與應(yīng)用層。通過數(shù)據(jù)的歸一化處理，并結(jié)合學(xué)生標(biāo)簽維度及標(biāo)簽體系的生命周期給學(xué)生標(biāo)注標(biāo)簽，形成學(xué)生畫像。學(xué)生標(biāo)簽體系如圖3所示。數(shù)據(jù)采集層包括一卡通系統(tǒng)數(shù)據(jù)、學(xué)習(xí)數(shù)據(jù)、圖書館數(shù)據(jù)、門禁系統(tǒng)數(shù)據(jù)、校園Wi-Fi系統(tǒng)數(shù)據(jù)、門禁系統(tǒng)數(shù)據(jù)。數(shù)據(jù)預(yù)處理后放入CDH平臺。標(biāo)簽庫層包括學(xué)生的基本屬性以及其他行為兩大塊?；緦傩詾閷W(xué)生的詳細(xì)個人信息，即姓名、學(xué)號、宿舍號等。其他行為為學(xué)生的日?；顒榆壽E，即三餐消費(fèi)、進(jìn)出圖書館情況、上網(wǎng)時長等。兩大塊相輔相成，當(dāng)某學(xué)生行為出現(xiàn)異常時，管理人員可根據(jù)基本屬性板塊快速了解異常學(xué)生的個人信息，做出應(yīng)對措施。應(yīng)用層包含綜合畫像分析、標(biāo)簽查詢、標(biāo)簽反饋等功能。可對標(biāo)簽進(jìn)行成果查詢展示，可以展示個體、群體、分類群體的畫像，也可以查詢展示具備某一共同特征的自定義群體畫像。

2 ?學(xué)生畫像系統(tǒng)在某高校的應(yīng)用場景

某高校的學(xué)生畫像系統(tǒng)主要是依據(jù)大數(shù)據(jù)平臺搭建前端服務(wù)應(yīng)用，通過后端業(yè)務(wù)和平臺整合，充分考慮系統(tǒng)建設(shè)的前瞻性和可擴(kuò)展性，構(gòu)建智能服務(wù)外部應(yīng)用一體化服務(wù)平臺。基于校園大數(shù)據(jù)，根據(jù)學(xué)生多維度畫像，多方位描述學(xué)生的行為特征，為服務(wù)決策提供數(shù)據(jù)支撐，為學(xué)生更好地提供差異化服務(wù)。

校園大數(shù)據(jù)是教育大數(shù)據(jù)的一個子集，是師生生活、教學(xué)、科研、管理和服務(wù)過程中產(chǎn)生的各類數(shù)據(jù)，以及各類校務(wù)管理的狀態(tài)數(shù)據(jù)，具有數(shù)據(jù)種類繁多的特點(diǎn)，其中蘊(yùn)含極大信息價值，充分發(fā)揮其作用是實(shí)現(xiàn)學(xué)校戰(zhàn)略目標(biāo)不可或缺的一部分。某高校通過采集一卡通系統(tǒng)數(shù)據(jù)、學(xué)習(xí)數(shù)據(jù)、圖書館數(shù)據(jù)、門禁系統(tǒng)數(shù)據(jù)、校園Wi-Fi系統(tǒng)數(shù)據(jù)、門禁系統(tǒng)數(shù)據(jù)，對學(xué)生個人以及群體畫像，對全校整體狀態(tài)進(jìn)行分析，如圖4所示。

根據(jù)收集到的數(shù)據(jù)，某高校根據(jù)學(xué)生的消費(fèi)情況、圖書館圖書借閱情況、學(xué)業(yè)成績情況等完善學(xué)校管理，在不改變現(xiàn)有校園信息系統(tǒng)建設(shè)模式，最大限度利用現(xiàn)有信息系統(tǒng)等基礎(chǔ)設(shè)施的前提下，為校園的教育、教學(xué)創(chuàng)新提供數(shù)據(jù)分析支持。與此同時，本系統(tǒng)還能通過數(shù)據(jù)分析得出危險預(yù)警，讓老師即使發(fā)現(xiàn)學(xué)生的不良情況，如心理危機(jī)、學(xué)業(yè)困難、身體疾病等。如圖5所示。

3 ?結(jié)束語

總而言之，大數(shù)據(jù)帶來的巨大價值正在逐漸地被人們認(rèn)可，基于校園大數(shù)據(jù)的學(xué)生畫像系統(tǒng)的應(yīng)用對學(xué)校與學(xué)生都起到了積極作用，學(xué)校通過此系統(tǒng)能更好更快速地進(jìn)行學(xué)生工作的組織與管理，學(xué)生也能通過此系統(tǒng)更全面的了解自己。大數(shù)據(jù)與校園管理的結(jié)合日漸成熟與普及，通過大數(shù)據(jù)技術(shù)的不斷創(chuàng)新與發(fā)展，以及對數(shù)據(jù)的全面感知、收集、分析與共享，我相信基于校園大數(shù)據(jù)的學(xué)生畫像系統(tǒng)一定會會成為學(xué)生管理的全新方法，是學(xué)生工作與管理得到最優(yōu)化，讓人們充分利用數(shù)據(jù)資源，挖掘數(shù)據(jù)價值，為校園管理智能化的發(fā)展提供有力支撐。

參考文獻(xiàn)

[1] Big data： The next frontier for innovation， competition， and productivity[R]. USA： McKinsey and Company， 2011.

[2] HU Q Q， Analysis of behavior characteristics based on students personal data [D]. Central China Normal University， 2019.

[3] DATA CENTER FILE SYSTEM DEBUTS ON GOOGLE CLOUD[J]. Worldwide Videotex Update， 2019， 38（1）.

[4] GE L H， GUO H， etc. Research overview of big data industry [J]. Journal of North China University of Water Resources and Electric Power （Social Science Edition）， 2019， 35（03）： 1-8.

[5] The Analysis and Application of the C4. 5 Algorithm in Decision Tree Technology[J]. Zhao Hong Yan. Advanced Materials Research. 2012 （457）.

[6] Predicting distresses using deep learning of text segments in annual reports[J]. Rastin Matin， Casper Hansen， Christian Hansen， Pia M？lgaard. Expert Systems With Applications. 2019.

[7] A profile of physical activity， sedentary behaviors， sleep， and dietary habits of Saudi college female students[J]. Hana Alzamil， Manan Alhakbany， Nora Alfadda， Sarah Almu-sallam， Hazzaa Al-Hazzaa. Journal of Family and Community Medicine. 2019 （1）

[8] Adolescent digital profiles： A process-based typology of highly engaged internet users[J]. Eleni C. Tzavela， Chry-ssoula Karakitsou， Eva Halapi， Artemis K. Tsitsika. Com-puters in Human Behavior. 2017.

[9] HUBERMAN B A. Sociology of science： big data deserve a bigger audience[J]. Nature， 2012， 482（7385）： 308.

[10] GOLDSTON D. Data wrangling[J]. Nature， 2008， 455. （7209）： 15.

[11] SONG I Y， ZHU Y. Big data and data science： opportunities and challenges of iSchools[J]. Journal of Data and Infor-mation Science， 2017， 2（3）： 1-18.

[12] ZAKI A M， THEODOULIDIS B， SHAPIRA P， et al. The Role of Big Data to Facilitate Redistributed Manufacturing Using a Co-creation Lens： Patterns from Consumer Goods[J]. The soth CIRP Conference on Manufacturing Systems， 2017， 63： 680-685.

[13] ISMAIL M， IBRAHIM M M， SANUSI Z M， et al. Data mining in electronic commerce： benefits and challenges[J]. International Journal of Communications Networkand Sys-tem Sciences， 2015， 8（12）： 501-509. http：//dx.doi.org/10. 4236/ijcns. 2015. 812045.

[14] IBM. The 5 Vs of big data[EB/OL]. （2016-09-17） [2018-12- 21]. https：//www.ibm.com/blogs/Watson-health/the-5-vs-of- big-data/.

[15] Yesheng Cui， Sami Kara， Ka C. Chan. Manufacturing big data ecosystem： A systematic literature review[J]. Robotics and Computer-Integrated Manufacturing， 2020， 62.