高校教育創(chuàng)新如何應(yīng)用大數(shù)據(jù)

文/李奇濤 管 佳

高校教育創(chuàng)新如何應(yīng)用大數(shù)據(jù)

文/李奇濤1管 佳2

高校的大數(shù)據(jù)創(chuàng)新（應(yīng)用）大多是一種倒逼式的創(chuàng)新，即大數(shù)據(jù)技術(shù)成熟促使互聯(lián)網(wǎng)教育企業(yè)采取創(chuàng)新模式來改變學(xué)習(xí)方式（大多以營利為目的），這種方式在社會上引起關(guān)注，最終被高校關(guān)注，并應(yīng)用到高校教育創(chuàng)新中。

無論是在科技文獻(xiàn)、論文還是技術(shù)演講、討論中，提到大數(shù)據(jù)，通常會聽到兩種解釋，一是數(shù)據(jù)本身，即海量、高增長率、多樣化和真實(shí)的數(shù)據(jù)，本身無法使用傳統(tǒng)工具或流程處理或分析，是一種有價(jià)值的數(shù)據(jù)資產(chǎn)；二是大數(shù)據(jù)分析及應(yīng)用技術(shù)，指通過數(shù)據(jù)挖掘、云計(jì)算、分布式存儲等技術(shù)對具有價(jià)值的海量真實(shí)數(shù)據(jù)進(jìn)行處理，從中獲得數(shù)據(jù)中隱含的聯(lián)系、規(guī)律、價(jià)值。這里有必要闡明，以區(qū)分?jǐn)?shù)據(jù)和數(shù)據(jù)處理技術(shù)。本文中提到的大數(shù)據(jù)，多指大數(shù)據(jù)分析及應(yīng)用技術(shù)。

大數(shù)據(jù)分析在一些領(lǐng)域取得了不錯(cuò)成績而且技術(shù)也比較成熟，如互聯(lián)網(wǎng)、銷售、人口遷移等，2014、2015年央視和百度聯(lián)合推出的“百度遷徙”，更是將大數(shù)據(jù)推向了風(fēng)口浪尖。大數(shù)據(jù)分析在教育領(lǐng)域的應(yīng)用可以說是鳳毛麟角，相對較少，大多是在互聯(lián)網(wǎng)教育領(lǐng)域，在高校中的應(yīng)用鮮有出色且技術(shù)儲備也不充足。而部分發(fā)達(dá)國家已經(jīng)將大數(shù)據(jù)提升到國家戰(zhàn)略層面，并投入巨資對大數(shù)據(jù)相關(guān)核心技術(shù)進(jìn)行研究，尤其是在教育層面，2012年美國教育部發(fā)表《通過教育數(shù)據(jù)挖掘和學(xué)習(xí)分析促進(jìn)教與學(xué)》報(bào)告及2014年美國政府發(fā)布的《大數(shù)據(jù)》白皮書，指出大數(shù)據(jù)將變革生活中的每一個(gè)領(lǐng)域，教育領(lǐng)域已經(jīng)進(jìn)入了一個(gè)“數(shù)據(jù)驅(qū)動學(xué)校，分析變革教育”的大數(shù)據(jù)時(shí)代，大數(shù)據(jù)必將改變傳統(tǒng)教育的面貌。

教育大數(shù)據(jù)分析架構(gòu)

數(shù)據(jù)來源

大數(shù)據(jù)的來源種類繁多，格式不一，常見的來源包括物聯(lián)網(wǎng)應(yīng)用中的傳感數(shù)據(jù)；用戶上網(wǎng)瀏覽網(wǎng)頁產(chǎn)生的瀏覽記錄；玩游戲、聊天產(chǎn)生等社交網(wǎng)絡(luò)應(yīng)用產(chǎn)生的交互數(shù)據(jù)；消費(fèi)者網(wǎng)絡(luò)或者實(shí)體的消費(fèi)記錄等等。教育大數(shù)據(jù)有自己獨(dú)特的特點(diǎn)，如數(shù)據(jù)產(chǎn)生范圍比較集中；數(shù)據(jù)量達(dá)到一定規(guī)模，但不是特別大；數(shù)據(jù)格式不一，多為半結(jié)構(gòu)化數(shù)據(jù)等。類型大致可分為以下幾類：一是教育教學(xué)中課程資料及對應(yīng)的各種文本、音頻、視頻資料；二是老師、學(xué)生在線學(xué)習(xí)中產(chǎn)生的交互記錄、瀏覽資料產(chǎn)生的行為記錄；三是高校等教育機(jī)構(gòu)的師資、學(xué)生資料；四是師生上網(wǎng)行為資料及網(wǎng)絡(luò)社交行為資料；五是消費(fèi)資料尤其是校園一卡通的消費(fèi)記錄；六是學(xué)校的固定資產(chǎn)資料；七是圖書館的書籍資料及用戶的借閱資料等等。其中，最主要的來源是師生在學(xué)習(xí)、生活和工作過程中留下的大量數(shù)字化足跡碎片，如在線學(xué)習(xí)和網(wǎng)絡(luò)社交行為、一卡通的使用等。

這些資料有的增長、變動快慢不一。有的變動較慢如師資、學(xué)生資料，固定資產(chǎn)資料等；有些資料變動較快，如各種課程資料，圖書館的書籍資料等，這些都成為教育大數(shù)據(jù)分析中的輔助資料；有些資料則呈指數(shù)級增長，如各種文本、音視頻資料，師生的交互資料、社交資料、消費(fèi)資料、圖書借閱資料等等，這些則是數(shù)據(jù)分析中最有價(jià)值的信息，也是分析的重點(diǎn)。

大數(shù)據(jù)的應(yīng)用場景多發(fā)生在互聯(lián)網(wǎng)、銷售等領(lǐng)域，如沃爾瑪超市利用銷售大數(shù)據(jù)調(diào)整商品擺放排列提高銷售額度。

大數(shù)據(jù)分析相關(guān)技術(shù)概述

1.數(shù)據(jù)采集及處理

目前，常用的數(shù)據(jù)采集技術(shù)稱為ETL，既抽取(Extract)、轉(zhuǎn)換(Transform)和加載(Load)3個(gè)步驟。常用的ETL工具包括Informatica、Datastage、OWB、微軟DTS及開源的eclipse插件cloveretl。ETL工具負(fù)責(zé)將網(wǎng)頁上的，分布式或者關(guān)系數(shù)據(jù)庫中結(jié)構(gòu)化、半結(jié)構(gòu)或者非結(jié)構(gòu)化的數(shù)據(jù)抽取到臨時(shí)中間層后進(jìn)行一系列處理，包括清洗、轉(zhuǎn)換、集成，最后加載到核心數(shù)據(jù)庫中，成為后續(xù)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

常用的網(wǎng)絡(luò)爬蟲工具種類繁多，既包括通用型的爬蟲VietSpider、Heritrix、Nutch、MetaSeeker、Nagios等，也包括專題型的爬蟲BaiduSpider、Yahoo Slurp、Googlebot等。這些工具大多是開源的，采用Java語言編寫，具有很高的擴(kuò)展性和適用性，方便根據(jù)不同的網(wǎng)頁類型采取不同的抽取規(guī)則，采集的數(shù)據(jù)更加規(guī)范。

常用的數(shù)據(jù)處理工具包括一些常見的Java中間件，如SSH工具，即Spring + Struts + Hibernate。還包括一些成熟的框架結(jié)構(gòu)如Hadoop、Tableau等，在此基礎(chǔ)上基于Map-Reduce機(jī)制做數(shù)據(jù)清洗和分析。通過這些工具可以將不同數(shù)據(jù)庫中不同格式的數(shù)據(jù)進(jìn)行整理、分析、提取，最終形成格式統(tǒng)一的有價(jià)值的初步數(shù)據(jù)。

2.數(shù)據(jù)存儲

數(shù)據(jù)存儲技術(shù)的發(fā)展，經(jīng)歷了關(guān)系數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫，分布式存儲、云存儲等技術(shù)。不同的數(shù)據(jù)類型、數(shù)據(jù)量對數(shù)據(jù)存儲技術(shù)的要求也不同。大數(shù)據(jù)分析技術(shù)要求對各類數(shù)據(jù)進(jìn)行整理、交叉分析、比對，對數(shù)據(jù)進(jìn)行深度挖掘，實(shí)現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的特征提取，以及半結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容檢索、理解等。

常見的大數(shù)據(jù)存儲技術(shù)包括基于Hadoop環(huán)境下的各種NoSQL技術(shù)，分布式云存儲技術(shù)等。

3.數(shù)據(jù)分析

數(shù)據(jù)分析技術(shù)主要是基于各種算法對存儲于分布式數(shù)據(jù)庫或者分布式計(jì)算集群中的海量數(shù)據(jù)進(jìn)行計(jì)算、分析和分類匯總，以滿足大多數(shù)常見的分析需求或者實(shí)現(xiàn)一些高級別數(shù)據(jù)分析的需求。

常用數(shù)據(jù)分析工具包括EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。

4.數(shù)據(jù)可視化

數(shù)據(jù)可視化是對數(shù)據(jù)分析結(jié)果的最終呈現(xiàn)方式，信息只有展示出來，呈現(xiàn)給最終用戶才能顯示其價(jià)值。而且這種可視化、直觀展示給用戶的是一種“信息地圖”，使用戶能夠更好地理解數(shù)據(jù)分析結(jié)果，使結(jié)果得到更好利用。

常用的數(shù)據(jù)可視化工具繁多，既包括常用的入門級工具如Excel、XCEl、JSON，也包括一些在線的數(shù)據(jù)可視化工具如Google Chart API、Flot、D3，還包括GUI（互動圖形用戶界面）控制工具如Crossfilter、Tangle，其他的還包括地圖工具、一些高級進(jìn)階工具如OpenLayers、Processing等。

圖1 數(shù)據(jù)分析流程

應(yīng)用場景分析

場景分析

大數(shù)據(jù)的應(yīng)用場景多發(fā)生在互聯(lián)網(wǎng)、銷售等領(lǐng)域，如沃爾瑪超市利用銷售大數(shù)據(jù)調(diào)整商品擺放排列提高銷售額度。2014、2015年春節(jié)期間，中央電視臺和百度聯(lián)合推出的“百度遷徙”，利用基于地理位置服務(wù)的大數(shù)據(jù)進(jìn)行計(jì)算分析，在PC和移動客戶端提供可視化的呈現(xiàn)方式，實(shí)現(xiàn)了全程、動態(tài)、即時(shí)、直觀地展現(xiàn)中國春節(jié)前后人口大遷徙的軌跡與特征。這是大數(shù)據(jù)首次在國家層面直觀應(yīng)用，更是將大數(shù)據(jù)推向了全國數(shù)億用戶，是大數(shù)據(jù)的一次成功應(yīng)用案例。

大數(shù)據(jù)應(yīng)用場景頗多，但教育領(lǐng)域相對較少，卻頗有創(chuàng)新，大多發(fā)生在互聯(lián)網(wǎng)教育領(lǐng)域，高校、教育事業(yè)單位應(yīng)用不多。而且高校的這種創(chuàng)新（應(yīng)用）大多是一種倒逼式的創(chuàng)新，即大數(shù)據(jù)技術(shù)成熟促使互聯(lián)網(wǎng)教育企業(yè)采取創(chuàng)新模式來改變學(xué)習(xí)方式（大多以營利為目的），這種方式在社會上引起關(guān)注，最終被高校關(guān)注（實(shí)際是被高校中活躍人士關(guān)注，這部分人往往占少數(shù)，但卻是高校領(lǐng)域引領(lǐng)教育創(chuàng)新最活躍的一群人），并應(yīng)用到高校教育創(chuàng)新中。MOOC模式在國內(nèi)的大熱就是技術(shù)倒逼教育創(chuàng)新的最典型案例。

教育企業(yè)應(yīng)用

教育企業(yè)中大數(shù)據(jù)應(yīng)用大多應(yīng)用在課程定制、課程設(shè)計(jì)、學(xué)員在線學(xué)習(xí)行為分析以及由此產(chǎn)生的課程推薦、后續(xù)營銷等。數(shù)據(jù)來源既包括網(wǎng)絡(luò)中的文本、音視頻資源，也包括學(xué)員學(xué)習(xí)過程中瀏覽記錄，課上課下的交互記錄等。通過網(wǎng)絡(luò)采集、數(shù)據(jù)存數(shù)、分布式計(jì)算等技術(shù)，對這些數(shù)據(jù)進(jìn)行分析，發(fā)掘其中關(guān)聯(lián)項(xiàng)，以用作課程改進(jìn)或者后續(xù)課程開發(fā)。

教育企業(yè)大數(shù)據(jù)應(yīng)用的另一個(gè)方向就是數(shù)據(jù)本身的買賣（需要在保證用戶隱私的前提下，但往往無法保證）。企業(yè)通過一些技術(shù)手段或者通過較低的成本從數(shù)據(jù)產(chǎn)生企業(yè)（這些企業(yè)往往缺乏數(shù)據(jù)分析能力）購得海量數(shù)據(jù)，通過運(yùn)用自身技術(shù)優(yōu)勢對這些數(shù)據(jù)進(jìn)行整理，發(fā)掘其中的規(guī)律，如用戶的行為習(xí)慣，常用的學(xué)習(xí)模板，有效的交互方式等，然后再把這些有價(jià)值的信息賣給其他用戶甚至是原本數(shù)據(jù)生產(chǎn)企業(yè)。大數(shù)據(jù)分析技術(shù)催生教育資源信息買賣。

高校應(yīng)用

高校大數(shù)據(jù)應(yīng)用多是圍繞教學(xué)、學(xué)生開展的，但也有部分應(yīng)用涉及教育政策制定、行政領(lǐng)域改革。常見的創(chuàng)新應(yīng)用包括教學(xué)類，如個(gè)性化課程分析、個(gè)性化教育、學(xué)科規(guī)劃、學(xué)術(shù)研究趨勢分析等；助學(xué)類，如學(xué)習(xí)行為分析、學(xué)習(xí)策略探討、輟學(xué)行為預(yù)測、助學(xué)需求預(yù)測、就業(yè)分析、心理咨詢等；輔助類，如智慧圖書館、智慧后勤、數(shù)字保衛(wèi)、信息公開、校友聯(lián)絡(luò)等。

教學(xué)類應(yīng)用主要通過對歷年來某一門課或某幾門課甚至某一學(xué)科課程教學(xué)過程中選課人數(shù)、教學(xué)方式、完成作業(yè)情況、課下交流、考試成績、未來就業(yè)情況、工作應(yīng)用情況等數(shù)據(jù)資料進(jìn)行搜集整理，分析其中課程受歡迎程度、學(xué)習(xí)成績差異原因，工作待遇差別等，找出影響這些差異的原因，同時(shí)分析學(xué)科間、課程間關(guān)聯(lián)，以便在未來個(gè)性化課程開發(fā)、學(xué)科規(guī)劃等方面有所創(chuàng)新。

助學(xué)類應(yīng)用更加廣泛，是目前高校教育創(chuàng)新核心，主要是通過對歷屆學(xué)生日常生活、學(xué)習(xí)、工作中產(chǎn)生的海量數(shù)據(jù)進(jìn)行匯總分析，這些數(shù)據(jù)可以是課程選擇、學(xué)習(xí)成績、參加的競賽及獲獎情況、社團(tuán)活動、實(shí)習(xí)情況等學(xué)習(xí)信息，性格特點(diǎn)、消費(fèi)狀況、在線社交，課外活動，論壇發(fā)帖、婚戀狀況等生活信息，以及就業(yè)單位、就業(yè)崗位、工作福利待遇、晉升狀況等工作信息。通過綜合分析這些信息，可以找出歷屆學(xué)生輟學(xué)、就業(yè)等行為共同特點(diǎn)，再通過比較在校學(xué)生的相關(guān)屬性，分析發(fā)現(xiàn)是否存在面臨輟學(xué)、需要補(bǔ)助或者心理輔導(dǎo)學(xué)生，及時(shí)對學(xué)生和班主任老師給出預(yù)警，以便其在后續(xù)的學(xué)習(xí)和生活中加以關(guān)注。同時(shí)也可以計(jì)算出學(xué)生之間（往屆和應(yīng)屆）在就業(yè)方面相似度，為即將畢業(yè)的學(xué)生推薦適合的就業(yè)單位和崗位，提供個(gè)性化的服務(wù)。

輔助類應(yīng)用相對較少，主要是針對改善高校行政管理，方便師生學(xué)習(xí)、生活和工作等。如通過分析圖書館圖書借閱數(shù)據(jù)，可以為后期圖書購買，書籍分類，優(yōu)化擺放等提供依據(jù)；通過分析高校食堂、超市等一卡通消費(fèi)信息，可以幫助高校在更新菜肴、商品，每日飯菜制作量，商品購買量等方面更加合理。

實(shí)際案例

建立學(xué)生多元評價(jià)體系，打造學(xué)生第二張成績單

目前，高校學(xué)生評價(jià)體系，多以成績?yōu)橹?，例如獎學(xué)金評定、優(yōu)干評定等，而我們收集的成績信息，并不總是正確的信息，即便正確，信息的數(shù)量也遠(yuǎn)遠(yuǎn)不足，缺乏一套有效的多元化評價(jià)體系。學(xué)生在大學(xué)中的成長經(jīng)歷，往往缺乏有效記錄，造成信息缺失。大數(shù)據(jù)技術(shù)的發(fā)展，為全面評價(jià)學(xué)生的成長提供了技術(shù)翅膀。利用大數(shù)據(jù)技術(shù)，南方某高校開發(fā)了一套記錄大學(xué)生在校期間所有活動的第二課堂評價(jià)平臺。其中既包括學(xué)生參加的通識類、思想教育類課程記錄，也包括學(xué)生參加的社會實(shí)踐、志愿服務(wù)，校內(nèi)外實(shí)習(xí)等社會活動類記錄，還包括學(xué)生參加的各種比賽及其獲得的獎項(xiàng)，發(fā)表的論文、專利等成績類記錄。通過不斷累積學(xué)生在校期間的成長軌跡記錄，利用大數(shù)據(jù)技術(shù)分析這些鮮活、真實(shí)數(shù)據(jù)中包含的有價(jià)值信息，一方面為學(xué)生以后工作提供第二張多元化的成績單，另一方面為學(xué)校人才培養(yǎng)模式改革提供重要的參考依據(jù)。

擁抱大數(shù)據(jù)時(shí)代，一卡通掌握師生生活

在高校校園里，幾乎所有學(xué)校都采用一卡通方式來維持學(xué)校的日常運(yùn)行，每天這些卡片都產(chǎn)生大量數(shù)據(jù)，然而這些校園卡所積累的數(shù)據(jù)卻很少得到利用，上海某高校在這方面進(jìn)行了嘗試。小小一卡通雖然體積很小，但是它包含的信息確實(shí)不少，幾乎涉及學(xué)校的方方面面。師生的圖書借閱信息，食堂、超市、浴室、水果店的消費(fèi)記錄，醫(yī)院的看病記錄，樓宇的出入記錄等等。數(shù)據(jù)時(shí)時(shí)不停地產(chǎn)生，每天都會生成大量的記錄，每個(gè)人都會對應(yīng)產(chǎn)生自己的數(shù)據(jù)資料庫。通過對這些資料庫分析，既可以分析出某人在消費(fèi)等方面的變化，從而針對性地對其做出預(yù)警提示；也可以把這些資料庫綜合起來，分析出某一方面將來變化趨勢。如通過對數(shù)據(jù)分析，該校成功建立起對高校在校生的全面助學(xué)預(yù)警模型，當(dāng)某個(gè)學(xué)生在一段時(shí)間內(nèi)消費(fèi)記錄或者看病記錄有異常波動，就可以啟動預(yù)警機(jī)制，判斷其是否需要幫助，彰顯校方對學(xué)生的關(guān)愛。

整合校內(nèi)外信息資源，提升學(xué)生競爭力

通過對學(xué)生在校積累的大量數(shù)據(jù)進(jìn)行個(gè)性化分析，有助于學(xué)生了解自身學(xué)習(xí)狀況進(jìn)行完善，學(xué)校也可由此隨時(shí)了解學(xué)生學(xué)習(xí)狀況，并結(jié)合校內(nèi)外資源為學(xué)生提供個(gè)性化指導(dǎo)，提升學(xué)生職場競爭力。臺灣某高校利用大數(shù)據(jù)技術(shù)全方位整合學(xué)工、教務(wù)、科研、后勤等多方面校務(wù)信息，通過對海量數(shù)據(jù)分析，有針對性開發(fā)學(xué)工、教務(wù)等智能化運(yùn)行的各項(xiàng)應(yīng)用系統(tǒng)。同時(shí)深化與企業(yè)合作，開發(fā)學(xué)生學(xué)業(yè)發(fā)展指導(dǎo)、學(xué)習(xí)成效長期追蹤分析等應(yīng)用系統(tǒng)，協(xié)助建立校內(nèi)大數(shù)據(jù)相關(guān)課程、人才培訓(xùn)和實(shí)習(xí)機(jī)制，使學(xué)生自入學(xué)就開始不斷提升其未來職場所需的關(guān)鍵競爭力，進(jìn)一步促進(jìn)高等教育學(xué)用合一，縮小學(xué)校教育與企業(yè)需求之間的差距。大數(shù)據(jù)的高校創(chuàng)新應(yīng)用案例還有很多，如智能實(shí)驗(yàn)室管理，智慧圖書館，招生與就業(yè)情況預(yù)測，教育質(zhì)量以及輿情的分析等。

大數(shù)據(jù)分析技術(shù)在電子商務(wù)、物流、醫(yī)療、能源、通信等領(lǐng)域取得了巨大成功，在教育領(lǐng)域也取得了一些成績。但是，在高校教育創(chuàng)新應(yīng)用中，還存在一些困難和挑戰(zhàn)，如技術(shù)挑戰(zhàn)、組織體制挑戰(zhàn)、隱私和倫理道德限制等。目前的創(chuàng)新應(yīng)用還多限制在具體應(yīng)用層面，真正涉及教學(xué)改革、教學(xué)政策制定等宏觀層面的應(yīng)用較少。這些都是在后續(xù)的教育創(chuàng)新應(yīng)用中需要注意的問題。

（作者單位：1為對外經(jīng)濟(jì)貿(mào)易大學(xué)信息化管理處，2為中央電化教育館資源綜合部）