高校大數(shù)據(jù)平臺(tái)的構(gòu)建與應(yīng)用探索

曾楊

【摘 要】隨著高校信息化建設(shè)的全面發(fā)展，許多信息化系統(tǒng)都在陸續(xù)實(shí)施，規(guī)范和簡(jiǎn)化了許多的業(yè)務(wù)工作。但是，各業(yè)務(wù)系統(tǒng)并沒(méi)有統(tǒng)一建設(shè)和管理，數(shù)據(jù)共享效果不顯著。結(jié)合對(duì)大數(shù)據(jù)技術(shù)的認(rèn)知和其他高校對(duì)于大數(shù)據(jù)平臺(tái)的研究，論文提出一種大數(shù)據(jù)平臺(tái)的構(gòu)建方法，包含四個(gè)部分：數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析、算法推薦，重點(diǎn)介紹了這四部分涉及的設(shè)計(jì)、技術(shù)和應(yīng)用。

【Abstract】With the comprehensive development of the informatization construction in colleges and universities， many information systems has been implemented in succession， which has standardized and simplified a lot of business work. However， there is no uniform construction and management of the business systems， and the data sharing effect is not significant. Combined with the cognition of big data technology and other universities' research on big data platform， a method of constructing big data platform is put forward， which includes four parts of data platform， data warehouse， data analysis and algorithm recommendation. The paper mainly introduces the design， technology and application of the four parts.

【關(guān)鍵詞】教育大數(shù)據(jù)平臺(tái)；數(shù)據(jù)分析；算法推薦

【Keywords】educational big data platform； data analysis； algorithm recommendation

【中圖分類(lèi)號(hào)】G718.5 【文獻(xiàn)標(biāo)志碼】A 【文章編號(hào)】1673-1069（2018）10-0169-02

1 高校信息化建設(shè)背景

各高校在近十年全面發(fā)展信息化建設(shè)，統(tǒng)一身份認(rèn)證、公共數(shù)據(jù)庫(kù)、服務(wù)器、網(wǎng)絡(luò)、各系統(tǒng)平臺(tái)都陸續(xù)建設(shè)實(shí)施。在數(shù)字化校園的建設(shè)過(guò)程中，各高校相繼建設(shè)了許多的業(yè)務(wù)系統(tǒng)，業(yè)務(wù)邏輯得以梳理，辦理步驟得以簡(jiǎn)化，信息數(shù)據(jù)得以采集。但是，各業(yè)務(wù)系統(tǒng)在建設(shè)之初沒(méi)有進(jìn)行較好的統(tǒng)籌規(guī)劃和統(tǒng)一管理，這就造成后期維護(hù)成本高、數(shù)據(jù)共享難度大、數(shù)據(jù)利用率低，數(shù)據(jù)展示效果差。為解決上述存在的問(wèn)題，上海大學(xué)依靠表單+流程+數(shù)據(jù)+展示的開(kāi)發(fā)理念，圍繞統(tǒng)一數(shù)據(jù)平臺(tái)、一站式服務(wù)大廳、數(shù)據(jù)分析展示三個(gè)方面進(jìn)行重點(diǎn)建設(shè)。但是，這三個(gè)平臺(tái)主要還是依托傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)自底向上地建設(shè)教育信息化，這就成為目前智慧化校園的建設(shè)瓶頸。

2 高校大數(shù)據(jù)平臺(tái)的現(xiàn)狀

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)和人工智能的崛起標(biāo)志著大數(shù)據(jù)時(shí)代的到來(lái)，許多領(lǐng)域包括教育信息化相繼進(jìn)入大數(shù)據(jù)時(shí)代。有些高校和研究者已經(jīng)從理論上定義了大數(shù)據(jù)，從思維上提煉了大數(shù)據(jù)時(shí)代的思維轉(zhuǎn)變[1]，從技術(shù)上構(gòu)建了計(jì)算、存儲(chǔ)和分析挖掘模型[2]。高校大數(shù)據(jù)從理論到實(shí)踐的過(guò)程中，平臺(tái)的構(gòu)建是至關(guān)重要的環(huán)節(jié)。東北師范大學(xué)針對(duì)數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、分析挖掘四個(gè)方面的需求進(jìn)行分析，提出了自底向上分別是數(shù)據(jù)源、采集層、存儲(chǔ)層、計(jì)算層、分析挖掘?qū)?、?yīng)用層的教育大數(shù)據(jù)平臺(tái)[3]。不同于傳統(tǒng)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)源的分類(lèi)，其從應(yīng)用場(chǎng)景出發(fā)將數(shù)據(jù)源分為管理、資源、行為、評(píng)價(jià)四大類(lèi)。數(shù)據(jù)源中的各類(lèi)數(shù)據(jù)依照實(shí)際需求實(shí)時(shí)采集或者批量采集到分布式架構(gòu)的存儲(chǔ)層中，再通過(guò)計(jì)算層的各類(lèi)數(shù)據(jù)計(jì)算引擎實(shí)現(xiàn)數(shù)據(jù)的過(guò)濾和整合，經(jīng)過(guò)分析挖掘?qū)拥奶幚懋a(chǎn)生新的數(shù)據(jù)，繼而在應(yīng)用層表現(xiàn)出來(lái)。

3 高校大數(shù)據(jù)平臺(tái)的構(gòu)建

受其他高校大數(shù)據(jù)平臺(tái)構(gòu)建的啟發(fā)，并結(jié)合本校教育信息化的實(shí)際情況，本文從數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析、算法推薦四個(gè)部分構(gòu)建符合本校人員結(jié)構(gòu)、管理方式、應(yīng)用實(shí)踐的教育大數(shù)據(jù)平臺(tái)。

3.1 數(shù)據(jù)平臺(tái)

利用Java技術(shù)對(duì)各類(lèi)數(shù)據(jù)源采集的數(shù)據(jù)進(jìn)行ETL操作，并把處理后的數(shù)據(jù)存入Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）。對(duì)于一部分需要在報(bào)表中顯示的數(shù)據(jù)，存入MongoDB中，利用Python進(jìn)行查詢(xún)，快速在報(bào)表中進(jìn)行分頁(yè)展示，還可以利用Storm對(duì)數(shù)據(jù)進(jìn)行快速的流處理[4]。例如：通過(guò)師生在食堂的校園卡消費(fèi)記錄，獲取到實(shí)時(shí)消費(fèi)的熱力圖，提供給后勤部門(mén)，后勤部門(mén)可以根據(jù)圖例實(shí)時(shí)調(diào)整開(kāi)放窗口的數(shù)量，增加或者減少菜的供應(yīng)，根據(jù)食堂的刷卡人數(shù)科學(xué)管理食堂的供應(yīng)，發(fā)現(xiàn)各個(gè)食堂潛在的營(yíng)業(yè)差異。

3.2 數(shù)據(jù)倉(cāng)庫(kù)

在數(shù)據(jù)平臺(tái)部門(mén)將數(shù)據(jù)存入HDFS之后，需要利用Hive、Postgres等客戶(hù)端，根據(jù)數(shù)據(jù)分析的業(yè)務(wù)需求，將數(shù)據(jù)進(jìn)行重新的分庫(kù)和分表操作，以便應(yīng)對(duì)用戶(hù)個(gè)性化的需求。數(shù)據(jù)倉(cāng)庫(kù)將原先分散的數(shù)據(jù)根據(jù)主題的不同，集成為新的數(shù)據(jù)源，產(chǎn)生新的數(shù)據(jù)接口，供平臺(tái)和業(yè)務(wù)系統(tǒng)調(diào)用。例如：高校各部門(mén)的業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)后可以根據(jù)不同的主題集成學(xué)校管理、學(xué)生管理、教學(xué)管理、教職工管理、科研管理、資產(chǎn)設(shè)備管理、辦公管理、財(cái)務(wù)管理等數(shù)據(jù)子集。學(xué)生的獎(jiǎng)學(xué)金評(píng)定、老師的績(jī)效考核、部門(mén)的年終考核都可以調(diào)用這些數(shù)據(jù)子集。

3.3 數(shù)據(jù)分析

基于數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)和Hive客戶(hù)端，運(yùn)用Python、Go、R等編程語(yǔ)言，結(jié)合Spark等計(jì)算工具[5]，對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行多維度、全方位的分析以便給領(lǐng)導(dǎo)層和決策者提供政策擬定和結(jié)果判斷的依據(jù)。運(yùn)用關(guān)聯(lián)規(guī)則分析、線性回歸、非線性回歸等分析模型擬合出相應(yīng)的數(shù)學(xué)模擬，從而發(fā)現(xiàn)問(wèn)題、描繪趨勢(shì)、預(yù)測(cè)結(jié)果。例如：可以對(duì)學(xué)校的學(xué)生進(jìn)行行為分析，通過(guò)填寫(xiě)調(diào)查問(wèn)卷直接獲取數(shù)據(jù)或者提取學(xué)生在校的相關(guān)行為日志數(shù)據(jù)，從這些數(shù)據(jù)中訓(xùn)練出學(xué)生的性格、興趣、作息，以此作為社區(qū)分配寢室的依據(jù)。

3.4 算法推薦

利用聚類(lèi)、分類(lèi)算法可以得到不同屬性的數(shù)據(jù)分類(lèi)情況，這些屬性稱(chēng)為特征，根據(jù)不同的特征用戶(hù)群體，可以有不同的報(bào)表推薦。協(xié)同過(guò)濾算法可以過(guò)濾出相似的用戶(hù)，之后再用共現(xiàn)規(guī)則算法或者互信息算法可以分析出有關(guān)聯(lián)的特征。所以，運(yùn)用協(xié)同過(guò)濾算法、共現(xiàn)規(guī)則算法、互信息算法可以向?qū)W生推薦適合的社團(tuán)，也可以向師生推薦可能感興趣的學(xué)?；顒?dòng)。如果有新的特征的加入，可以采用諸如神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法，根據(jù)不同的事務(wù)訓(xùn)練不同的特征參數(shù)。如果研究深入也可以嘗試多層神經(jīng)網(wǎng)絡(luò)，進(jìn)入深度學(xué)習(xí)的研究范圍。高校中的學(xué)生獎(jiǎng)學(xué)金評(píng)定和績(jī)效考核就可以采用神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方面，從而得到符合每個(gè)高校自身的評(píng)價(jià)指標(biāo)體系。

4 結(jié)論與展望

本文從自身高校實(shí)際部門(mén)人員結(jié)構(gòu)出發(fā)構(gòu)建了大數(shù)據(jù)平臺(tái)的四個(gè)部分，這四個(gè)部分都包含許多的大數(shù)據(jù)技術(shù)。伴隨著管理方式的更新和機(jī)構(gòu)改革的實(shí)施，上述教育大數(shù)據(jù)平臺(tái)的四個(gè)部分可以對(duì)應(yīng)四個(gè)機(jī)構(gòu)部門(mén)，四個(gè)機(jī)構(gòu)部門(mén)既獨(dú)立運(yùn)作，又相互聯(lián)系，分配清晰，便于統(tǒng)籌管理。

教育大數(shù)據(jù)平臺(tái)也包含了傳統(tǒng)領(lǐng)域大數(shù)據(jù)平臺(tái)中的開(kāi)發(fā)平臺(tái)、查詢(xún)系統(tǒng)、計(jì)算框架、存儲(chǔ)、消息傳遞。但其更側(cè)重于分析，教育大數(shù)據(jù)平臺(tái)的分析廣義上可以分為兩塊，一塊是實(shí)時(shí)計(jì)算，另一塊是定時(shí)運(yùn)算。

實(shí)時(shí)計(jì)算可以體現(xiàn)在對(duì)頁(yè)面或者日志進(jìn)行埋點(diǎn)的分析中。平臺(tái)獲取到一些操作或者特定行為的時(shí)候，將信息通過(guò)消息系統(tǒng)傳遞給實(shí)時(shí)計(jì)算平臺(tái)Storm，Storm收到消息完成計(jì)算并持久化結(jié)果。例如：對(duì)于Web數(shù)據(jù)可以通過(guò)埋點(diǎn)的方式，實(shí)時(shí)獲取已發(fā)布活動(dòng)的關(guān)注熱度，對(duì)于關(guān)注度高的活動(dòng)可以適當(dāng)?shù)卦黾踊顒?dòng)場(chǎng)次來(lái)滿(mǎn)足大家的需求，對(duì)于關(guān)注度低的活動(dòng)可以通過(guò)校內(nèi)推廣、彈窗、算法推薦等方式增加關(guān)注。對(duì)于關(guān)注度高，但是，轉(zhuǎn)化率低的活動(dòng)，可以進(jìn)一步分析其產(chǎn)生的原因。

定時(shí)運(yùn)算可以體現(xiàn)在學(xué)生畫(huà)像的分析中。平臺(tái)每天定時(shí)獲取學(xué)生的上網(wǎng)數(shù)據(jù)、門(mén)禁數(shù)據(jù)、活動(dòng)參與數(shù)據(jù)、借書(shū)數(shù)據(jù)、校園卡消費(fèi)數(shù)據(jù)等，利用大數(shù)據(jù)平臺(tái)分析其學(xué)習(xí)、生活、消費(fèi)等習(xí)慣，在學(xué)生畫(huà)像上以分析出的特征屬性作為標(biāo)簽，方便學(xué)校和企業(yè)對(duì)于學(xué)生有更好的認(rèn)知。對(duì)學(xué)生進(jìn)行畫(huà)像數(shù)據(jù)的采集和分析，有利于學(xué)校通過(guò)分析學(xué)生的行為來(lái)改變教學(xué)模式、改善管理制度，建設(shè)更符合學(xué)生意識(shí)形態(tài)的智慧校園。

【參考文獻(xiàn)】

【1】（英）維克托·邁爾-舍恩伯格，肯尼思·庫(kù)克耶.大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革[M].盛楊燕，周濤，譯.杭州：浙江人民出版社，2013.

【2】鄧仲華，劉偉偉，陸穎雋.基于云計(jì)算的大數(shù)據(jù)挖掘內(nèi)涵及解決方案研究[J].情報(bào)理論與實(shí)踐，2015，38（07）：103-108.

【3】李振，周東岱，劉娜，等.教育大數(shù)據(jù)的平臺(tái)構(gòu)建與關(guān)鍵實(shí)現(xiàn)技術(shù)[J].現(xiàn)代教育技術(shù)，2018，28（01）：100-106.

【4】李川，鄂海紅，宋美娜.基于Storm的實(shí)時(shí)計(jì)算框架的研究與應(yīng)用[J].軟件，2014，35（10）：16-20.

【5】胡俊，胡賢德，程家興.基于Spark的大數(shù)據(jù)混合計(jì)算模型[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2015，24（04）：214-218.