大數(shù)據(jù)時代教育數(shù)據(jù)治理探索

張曉慧

(浙江財經(jīng)大學(xué) 黨校辦，浙江 杭州 310018)

在信息爆炸時代，人們越來越多地用“大數(shù)據(jù)(Big data[1])”來定義和描述工作、學(xué)習(xí)和生活等過程中產(chǎn)生的海量數(shù)據(jù).隨著大數(shù)據(jù)技術(shù)的飛速發(fā)展，大數(shù)據(jù)已滲透入各行各業(yè)，價值逐日凸顯，國家試圖通過大數(shù)據(jù)來推動社會變革[2]，把其列為國家戰(zhàn)略[3].在我國，大數(shù)據(jù)也早已被列為國家發(fā)展戰(zhàn)略，對于學(xué)校而言，由于受地域、經(jīng)濟(jì)等因素的影響，各地各校信息化發(fā)展不一致，但大多已從基于服務(wù)器、網(wǎng)絡(luò)等硬件設(shè)備的MIS系統(tǒng)，轉(zhuǎn)變?yōu)榛谔摂M化、專用數(shù)據(jù)中心機(jī)房等硬件設(shè)備的一站式信息服務(wù)平臺.信息化過程中產(chǎn)生了結(jié)構(gòu)化的常規(guī)業(yè)務(wù)管理數(shù)據(jù)、非結(jié)構(gòu)化的多媒體教學(xué)資源數(shù)據(jù)、以及位置追蹤數(shù)據(jù)等多維度、大體量的教育數(shù)據(jù).“當(dāng)今社會所獨有的一種新型的能力:以一未有的方式，通過對海量數(shù)據(jù)進(jìn)行分析，獲大價值的產(chǎn)品和服務(wù)，或深刻的洞見”[4].因此，數(shù)據(jù)問題限制了智慧能夠達(dá)到的高度，如何更好地建立大數(shù)據(jù)思維[5]，分析教育大數(shù)據(jù)治理的現(xiàn)狀和瓶頸，合理規(guī)劃應(yīng)對之策，著重攻克教育大數(shù)據(jù)治理中的技術(shù)難點，是教育大數(shù)據(jù)建設(shè)的必然趨勢和努力方向.

1 教育大數(shù)據(jù)治理的現(xiàn)狀與瓶頸

首先，從數(shù)據(jù)治理基礎(chǔ)來看，現(xiàn)有數(shù)據(jù)范圍不足，在質(zhì)量上也有困擾.不同于互聯(lián)網(wǎng)企業(yè)基于盈利導(dǎo)向的數(shù)據(jù)處理方式，金字塔結(jié)構(gòu)、高效執(zhí)行的數(shù)據(jù)底層結(jié)構(gòu)，主動全面收集用戶數(shù)據(jù)甚至收購公司補充數(shù)據(jù)形成的數(shù)據(jù)基礎(chǔ)強的局面，學(xué)校數(shù)據(jù)處理基礎(chǔ)是非盈利的，基于煙囪式系統(tǒng)建設(shè)，各塊業(yè)務(wù)呈現(xiàn)割裂狀態(tài)，不可避免地產(chǎn)生了“信息孤島”[6]：一方面，在信息化發(fā)展的起步階段，學(xué)校綜合考慮各個部門之間的業(yè)務(wù)關(guān)聯(lián)意識淡薄，沒有站在學(xué)校發(fā)展的立場完成頂層設(shè)計的理念[7]；另一方面，整體上未具有數(shù)據(jù)規(guī)范和數(shù)據(jù)化管理思維，隨著信息技術(shù)的不斷升級，各個系統(tǒng)之間的差別逐漸顯現(xiàn)出來，所采用的信息編碼標(biāo)準(zhǔn)不統(tǒng)一，資源分類方式不規(guī)范，信息儲存格式不一致[8]，數(shù)據(jù)底層薄.在進(jìn)行數(shù)據(jù)治理時，現(xiàn)有的數(shù)據(jù)范圍明顯不足以滿足需求，即便是已有的數(shù)據(jù)，也無法便捷地對其進(jìn)行挖掘和分析.

第二，從數(shù)據(jù)治理現(xiàn)狀看，需求日益強烈，底層計算組件無法有效融合，在實施時有困難.隨著學(xué)校建成的信息管理系統(tǒng)越來越多，跨部門、跨系統(tǒng)、跨數(shù)據(jù)庫的數(shù)據(jù)需求越來越強烈，大家都希望能以靈活便捷的方式對數(shù)據(jù)進(jìn)行收集、分析，獲取其中蘊含的巨大價值[9].其中，多維數(shù)據(jù)分析挖掘、一站式服務(wù)應(yīng)用、各類數(shù)據(jù)上報業(yè)務(wù)(高基表、人才狀態(tài)數(shù)據(jù)等)已成為當(dāng)前及未來主要數(shù)據(jù)消費場景，“分析型、服務(wù)型”應(yīng)用對于數(shù)據(jù)提出了更高的要求.使用需求越來越強烈，但事實上，底層計算組件無法有效融合給數(shù)據(jù)治理帶來了極大的資源浪費和運維困難，各已有的應(yīng)用系統(tǒng)數(shù)據(jù)只存不用，能夠使用表數(shù)據(jù)表個數(shù)、貢獻(xiàn)表數(shù)據(jù)表個數(shù)非常少.

第三，從數(shù)據(jù)治理發(fā)展來看，數(shù)據(jù)治理成果無法便捷復(fù)用，數(shù)據(jù)對接耗時耗力，每負(fù)責(zé)一個項目就像“掉了層皮”.應(yīng)對當(dāng)前數(shù)據(jù)消費的強烈需求，部分高校已建成了相當(dāng)數(shù)量的數(shù)據(jù)應(yīng)用平臺，然而數(shù)據(jù)治理成果無法便捷復(fù)用是困擾當(dāng)前學(xué)校數(shù)據(jù)治理的最大的因素.一是各校建設(shè)大數(shù)據(jù)分析項目，引入了不同廠商，結(jié)果數(shù)據(jù)集成對接工作復(fù)雜，且項目建設(shè)期間廠商底層環(huán)境不同，各自部署了不同的數(shù)據(jù)集群；二是在數(shù)據(jù)治理整個項目周期中，前期人工實施占據(jù)80%左右的時間，所有過程都在線下或人的腦海里，導(dǎo)致項目驗收后無法將數(shù)據(jù)治理體系傳承下來，無法保證數(shù)據(jù)的持續(xù)擴(kuò)充，工作量大且無經(jīng)驗可循.數(shù)據(jù)對接耗時耗力，每負(fù)責(zé)一個項目就像“掉了層皮”.

2 教育大數(shù)據(jù)治理的關(guān)鍵技術(shù)

教育大數(shù)據(jù)的現(xiàn)狀和瓶頸決定了大數(shù)據(jù)治理之路不會一帆風(fēng)順，需要從數(shù)據(jù)底層結(jié)構(gòu)、系統(tǒng)設(shè)計等方面進(jìn)行總體規(guī)劃、分步實施，著重攻克數(shù)據(jù)挖掘、學(xué)習(xí)分析、測評分析等技術(shù)難點[10]，任重道遠(yuǎn).

2.1 數(shù)據(jù)挖掘模塊

傳統(tǒng)數(shù)據(jù)治理范圍僅對中心庫(或稱主數(shù)據(jù)庫)內(nèi)容進(jìn)行數(shù)據(jù)治理，無法覆蓋全量的學(xué)校數(shù)據(jù)，包括學(xué)校歸檔數(shù)據(jù)，歷史版本數(shù)據(jù)等.數(shù)據(jù)治理與共享交換平臺是以“統(tǒng)一標(biāo)準(zhǔn)”“統(tǒng)一處理”“統(tǒng)一交換”[11]“保證質(zhì)量”“透明開放”的方式，允許全量數(shù)據(jù)(第三方系統(tǒng)數(shù)據(jù)源)在平臺進(jìn)行注冊，并納入到數(shù)據(jù)服務(wù)體系的治理流程中，為各類數(shù)據(jù)格式、數(shù)據(jù)庫、底層架構(gòu)和業(yè)務(wù)系統(tǒng)之間提供數(shù)據(jù)交換與共享服務(wù)的平臺，重新梳理數(shù)據(jù)資產(chǎn)，實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)管理、標(biāo)準(zhǔn)調(diào)研、導(dǎo)入、交換、形成報表等功能，同時常態(tài)化監(jiān)控學(xué)?，F(xiàn)有數(shù)據(jù)情況.

2.1.1 數(shù)據(jù)量

教育大數(shù)據(jù)的單位通常為TB、PB，乃至EB[12]，數(shù)據(jù)量大并不代表有效數(shù)據(jù)量大，因此，在數(shù)據(jù)分析之前必須對其進(jìn)行數(shù)據(jù)清洗，通過合理應(yīng)用數(shù)據(jù)挖掘算法，提取其中的有效數(shù)據(jù).

2.1.2 特征維度

創(chuàng)建適用的算法，如基于列存儲的大數(shù)據(jù)分析系統(tǒng)物化策略、MapReduce并行連接算法等，應(yīng)對可能出現(xiàn)的因數(shù)據(jù)對象屬性矩陣中的屬性、對象數(shù)量龐大而導(dǎo)致的維度災(zāi)難.

2.1.3 數(shù)據(jù)關(guān)系

通過設(shè)置關(guān)聯(lián)條件、屬性等方法，有效揭示分散于不同數(shù)據(jù)源中的關(guān)聯(lián)信息與知識.

2.1.4 算法性能

應(yīng)充分考慮算法的實時性、伸縮性、擴(kuò)展性等性能，選擇最優(yōu)算法.

2.2 分析與測評模塊

數(shù)據(jù)治理與共享交換平臺提供各業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入的接口，實現(xiàn)數(shù)據(jù)交換平臺和各信息系統(tǒng)的有機(jī)結(jié)合[13]，以統(tǒng)一的數(shù)據(jù)模型、接口規(guī)范和質(zhì)量標(biāo)準(zhǔn)，實現(xiàn)數(shù)據(jù)自動提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)校驗、數(shù)據(jù)審核等功能，支持?jǐn)?shù)據(jù)同步、歷史數(shù)據(jù)遷移等，在此基礎(chǔ)上可設(shè)計實際運行的分析與測評模型[14]，實現(xiàn)動態(tài)鉆取.

2.2.1 相關(guān)分析

通過挖掘數(shù)據(jù)中的關(guān)聯(lián)規(guī)則和序列模式，從學(xué)習(xí)到的數(shù)據(jù)中挖掘出相關(guān)的規(guī)則，揭示某種規(guī)律.

2.2.2 模式識別

通過應(yīng)用仿真模擬、拓?fù)浞治?、?shù)據(jù)建模等模式識別技術(shù)，實現(xiàn)智能化的自動處理和判讀，使學(xué)習(xí)到的圖像、語音等數(shù)據(jù)發(fā)揮其真正的作用.

2.2.3 預(yù)測分析

通過應(yīng)用時序分析、決策樹、回歸分析等預(yù)測分析技術(shù)，預(yù)測學(xué)習(xí)到的圖像、語音等數(shù)據(jù)的發(fā)展結(jié)果.

2.2.4 文本分析

通過應(yīng)用概念挖掘、文檔摘要、文本聚類等文本分析技術(shù)，發(fā)現(xiàn)學(xué)習(xí)到的文本中隱含的信息.

2.3 權(quán)限管理模塊

根據(jù)不同系統(tǒng)用戶的類型、賬號、組織信息和角色，為其分配不同級別的訪問權(quán)限，并可以對按不同業(yè)務(wù)主題建立的信息集中的數(shù)據(jù)內(nèi)容進(jìn)行管理,包括數(shù)據(jù)內(nèi)容的訪問權(quán)限以及系統(tǒng)元數(shù)據(jù)的訪問權(quán)限進(jìn)行控制,修改增加新的業(yè)務(wù)數(shù)據(jù)集，查看數(shù)據(jù)詳細(xì)內(nèi)容，并且可以實現(xiàn)數(shù)據(jù)的導(dǎo)入與導(dǎo)出.同時，數(shù)據(jù)治理與共享交換平臺使用分布式技術(shù)，將數(shù)據(jù)統(tǒng)一集成在一套任務(wù)流程下，通過任務(wù)監(jiān)控可以清晰看到數(shù)據(jù)從采集、ETL、供數(shù)等環(huán)節(jié)的執(zhí)行情況，實現(xiàn)全流程監(jiān)控.

2.4 查詢模塊

數(shù)據(jù)治理與共享交換平臺的連接方式依托數(shù)據(jù)項的組合進(jìn)行資源目錄的發(fā)布，實現(xiàn)任意兩點的數(shù)據(jù)同步，并在同步過程中執(zhí)行治理，實現(xiàn)的數(shù)據(jù)聯(lián)動，快速反應(yīng)，為實時、可靠查詢提供可能.

1)實現(xiàn)高綜報表、學(xué)科報表、專項報表等服務(wù)，支持報表的歷史管理、日志管理、數(shù)據(jù)調(diào)整和校對.

2)提供各類信息查詢服務(wù).

2.5 系統(tǒng)架構(gòu)及功能要求

目前市場上，很多廠商提供的數(shù)據(jù)治理或者共享數(shù)據(jù)交換平臺，以O(shè)DI和Kettle工具居多，隨著任務(wù)量增多，就容易出現(xiàn)瓶頸，數(shù)據(jù)治理出現(xiàn)誤差，工作效率降低.因此，數(shù)據(jù)服務(wù)平臺將學(xué)校信息資源依據(jù)規(guī)范的數(shù)據(jù)描述，按照一定的分類方法進(jìn)行排序的一組信息[15]，用以描述學(xué)校各個信息資源的特征，以便于對全校信息資源的檢索、定位與獲取，為學(xué)校數(shù)據(jù)共享提供支持與指導(dǎo)，同時具有良好的擴(kuò)展性，支持對各類服務(wù)進(jìn)行分布式部署和注冊，支持設(shè)定應(yīng)用管理員.

3 教育大數(shù)據(jù)治理的應(yīng)對之策

應(yīng)對數(shù)據(jù)治理的現(xiàn)狀和瓶頸，可以通過建設(shè)“大中臺、小前臺”的智慧校園架構(gòu)(見圖1)，自下而上地封裝底層計算組件，可視化計算任務(wù)調(diào)度，自上而下地統(tǒng)一應(yīng)用編程接口(簡稱API)，給數(shù)據(jù)中心插上海量數(shù)據(jù)“存儲”和“計算”翅膀，實現(xiàn)應(yīng)用與數(shù)據(jù)“解耦”，通過接口“屏蔽”底層，提升數(shù)據(jù)可“復(fù)用”性，讓數(shù)據(jù)管控變得“簡單”.

圖1 大中臺、小前臺的智慧校園架構(gòu)(基于數(shù)據(jù)角度)

3.1 實現(xiàn)全量數(shù)據(jù)兼容

建立關(guān)系型/非關(guān)系型數(shù)據(jù)統(tǒng)一匯聚端的數(shù)據(jù)平臺，融會貫通關(guān)系型數(shù)據(jù)庫(Oracle、MySQL、SQLServer、Postgress……)、非關(guān)系型數(shù)據(jù)庫(HDFS、MongoDB、Hive、ElasticSearch……)和擴(kuò)展支持?jǐn)?shù)據(jù)庫(第三方WebService、Redis、Kafka……)的各類數(shù)據(jù)，實現(xiàn)全量數(shù)據(jù)兼容[16].

3.2 標(biāo)準(zhǔn)化數(shù)據(jù)資產(chǎn)集

標(biāo)準(zhǔn)化設(shè)置校內(nèi)全量數(shù)據(jù)的統(tǒng)一資源目錄[17]，預(yù)置全量標(biāo)準(zhǔn)數(shù)據(jù)集，建立清晰明了的數(shù)據(jù)資源目錄結(jié)構(gòu)，依托數(shù)據(jù)項的組合進(jìn)行資源目錄的發(fā)布，實現(xiàn)任意兩點的數(shù)據(jù)同步，并在同步中執(zhí)行治理，同時構(gòu)建統(tǒng)一的數(shù)據(jù)返回格式.

3.3 統(tǒng)一API數(shù)據(jù)服務(wù)

構(gòu)建統(tǒng)一的API數(shù)據(jù)服務(wù)，只要能夠獲取到數(shù)據(jù)表/視圖，便支持封裝為API發(fā)布(兼容任何廠商)；實現(xiàn)無編碼化操作、可視化配置，1分鐘內(nèi)發(fā)布一個數(shù)據(jù)API；支持跨庫、多表關(guān)聯(lián)發(fā)布為API，實現(xiàn)一次治理，多次復(fù)用.

3.4 在線數(shù)據(jù)調(diào)用體系

通過數(shù)據(jù)項與資源目錄管理，建立連接開發(fā)商、校內(nèi)核心數(shù)據(jù)、信息中心的統(tǒng)一渠道，將數(shù)據(jù)治理與數(shù)據(jù)交換融合打通，極大限度地降低數(shù)據(jù)對接和共享的門檻，一套流程，完成在線數(shù)據(jù)調(diào)用體系建設(shè)，實現(xiàn)全面盤活數(shù)據(jù)資產(chǎn)的最終目的[18].

3.5 可視化計算能力輸出

通過屏蔽底層組件的復(fù)雜性，提供高性能計算服務(wù)，如復(fù)雜數(shù)據(jù)計算處理、分析模型構(gòu)建管理能力、調(diào)度能力的統(tǒng)一支撐和下放等；改變當(dāng)前大數(shù)據(jù)應(yīng)用開發(fā)方式，分析應(yīng)用只需要考慮前端頁面邏輯和展現(xiàn)；支持多種語言，并提供自動化調(diào)度功能.

本文分析了大數(shù)據(jù)時代教育數(shù)據(jù)治理的現(xiàn)狀和瓶頸，認(rèn)為在教育大數(shù)據(jù)治理時應(yīng)將分散在教、學(xué)、研、管多層面的有效數(shù)據(jù)整合起來，建立大中臺、小前臺的智慧校園架構(gòu)，融合底層計算組件，復(fù)用數(shù)據(jù)治理成果，總體規(guī)劃、合理設(shè)計教育數(shù)據(jù)治理中的關(guān)鍵技術(shù)點，使教育大數(shù)據(jù)治理得到本質(zhì)上的提升，最大限度地發(fā)揮數(shù)據(jù)本身蘊含的巨大價值，更好地為學(xué)習(xí)者、教師、管理者提供服務(wù).