基于Hadoop的高校校園大數(shù)據(jù)系統(tǒng)設(shè)計

趙亮

（錦州醫(yī)科大學(xué) 公共基礎(chǔ)學(xué)院，遼寧 錦州 121000）

[摘 要]隨著信息技術(shù)的不斷發(fā)展應(yīng)用，高校數(shù)字校園、智慧校園工程的持續(xù)建設(shè)，高校校園環(huán)境中存儲的各類數(shù)據(jù)數(shù)量急劇增加，一個高校校園大數(shù)據(jù)環(huán)境已初步形成。建立基于Hadoop技術(shù)的高校校園大數(shù)據(jù)系統(tǒng)，可采集、存儲、處理校園大數(shù)據(jù)環(huán)境中的各類數(shù)據(jù)，能夠為高校教學(xué)和管理提供可靠的數(shù)據(jù)支撐。基于此，本文分析了基于Hadoop的高校校園大數(shù)據(jù)系統(tǒng)設(shè)計。

[關(guān)鍵詞]大數(shù)據(jù)；Hadoop；高校

doi：10.3969/j.issn.1673 - 0194.2017.10.142

[中圖分類號]TP333 [文獻標識碼]A [文章編號]1673-0194（2017）10-0-02

大數(shù)據(jù)（Big Data）又稱為海量數(shù)據(jù)（Massive Data），數(shù)據(jù)科學(xué)家維克托·邁爾·舍恩伯格和肯尼斯.庫克耶在所著《大數(shù)據(jù)時代》中，指出大數(shù)據(jù)不采用隨機分析法而應(yīng)對所有數(shù)據(jù)進行分析處理。研究機構(gòu)Gartner則提出大數(shù)據(jù)是一種具備多樣化、高增長率的信息資產(chǎn)，在新型處理技術(shù)、處理模式下能夠?qū)崿F(xiàn)更強的流程優(yōu)化效率、提供更科學(xué)的決策依據(jù)，且大數(shù)據(jù)具有大量、高速、多樣、價值和真實性的特點。高校校園中存在多類大數(shù)據(jù)，通過信息化手段的采集和數(shù)據(jù)挖掘，能夠體現(xiàn)出巨大價值，這在傳統(tǒng)的高校校園教學(xué)和管理中往往被忽視了。設(shè)計構(gòu)建高校校園大數(shù)據(jù)系統(tǒng)，有助于當今信息時代高校校園大數(shù)據(jù)的采集、存儲、管理乃至應(yīng)用，是相關(guān)教育和科研人員正在進行的研究之一。

1 高校大數(shù)據(jù)環(huán)境現(xiàn)狀

當下高校校園大數(shù)據(jù)環(huán)境已初步形成，各類校園數(shù)據(jù)來源廣泛、類型復(fù)雜、數(shù)據(jù)量龐大。以高校學(xué)生為例，高校學(xué)生的大數(shù)據(jù)可以分為兩大類，一是學(xué)業(yè)大數(shù)據(jù)：其包括高校生的選課數(shù)據(jù)、每門功課的出勤數(shù)據(jù)、各門功課的平時測驗和考試成績等數(shù)據(jù)；二是生活大數(shù)據(jù)：其包括門禁卡通行數(shù)據(jù)、圖書館閱覽數(shù)據(jù)、校內(nèi)超市消費數(shù)據(jù)，甚至包括學(xué)生的微信、微博等數(shù)據(jù)。大規(guī)模數(shù)據(jù)集和多等級數(shù)據(jù)質(zhì)量對高校校園數(shù)據(jù)的存儲、分析、研究、應(yīng)用提出了挑戰(zhàn)。傳統(tǒng)的管理理念和方法漸漸無法滿足日益增長的數(shù)據(jù)處理需求，設(shè)計和構(gòu)建基于Hadoop的高校校園大數(shù)據(jù)系統(tǒng)，以用來采集、存儲、處理高校校園中的多類數(shù)據(jù)，并通過數(shù)據(jù)挖掘和數(shù)據(jù)分析，為高校教學(xué)和管理提供數(shù)據(jù)支撐，特別是為高校學(xué)生的學(xué)業(yè)、生活提供風(fēng)險識別和預(yù)警功能。

2 基于Hadoop的高校校園大數(shù)據(jù)系統(tǒng)設(shè)計

2.1 Hadoop

Hadoop由開源組織Apache基金會開發(fā)，是一個分布式系統(tǒng)基礎(chǔ)框架，它能夠?qū)崿F(xiàn)在多硬件集群上運行應(yīng)用程序，組成具有高性能、高可靠性、高擴展性、低成本的并行分布式系統(tǒng)。Hadoop由多種元素構(gòu)成，其三大核心技術(shù)包括分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS），用于存儲集群硬件中的文件；編程模型Map Reduce，用來處理多種數(shù)據(jù)集合；分布式數(shù)據(jù)庫HBase。利用Hadoop的分布式技術(shù)，設(shè)計構(gòu)建高校校園大數(shù)據(jù)系統(tǒng)，能夠?qū)崿F(xiàn)對高校學(xué)生的大量多類數(shù)據(jù)進行存儲、分析和高效處理，進一步推進高校智慧校園建設(shè)的進程。

2.2 高校校園大數(shù)據(jù)系統(tǒng)設(shè)計

2.2.1 高校校園大數(shù)據(jù)系統(tǒng)總體框架

基于Hadoop技術(shù)的高校校園大數(shù)據(jù)系統(tǒng)的總體技術(shù)框架，可將系統(tǒng)分為三層，其中大數(shù)據(jù)采集與存儲層應(yīng)用HDFS文件系統(tǒng)，校園數(shù)據(jù)分析層應(yīng)用Map Reduce計算模型，數(shù)據(jù)源層、大數(shù)據(jù)采集與存儲層的數(shù)據(jù)抽取，對接需要開發(fā)適合的底層適配接口模塊，用來采集高校校園大數(shù)據(jù)環(huán)境中的多類數(shù)據(jù)?；贖adoop技術(shù)的高校校園大數(shù)據(jù)系統(tǒng)總體框架，如圖1所示。

基于Hadoop技術(shù)的高校校園大數(shù)據(jù)系統(tǒng)分為數(shù)據(jù)源層、大數(shù)據(jù)采集與存儲層和校園大數(shù)據(jù)分析層。

數(shù)據(jù)源層用來采集數(shù)據(jù)，包括學(xué)業(yè)數(shù)據(jù)和生活數(shù)據(jù)，其中學(xué)業(yè)數(shù)據(jù)包括學(xué)生自然情況數(shù)據(jù)、選課數(shù)據(jù)、出勤數(shù)據(jù)、平時測驗成績數(shù)據(jù)、考試成績數(shù)據(jù)；生活數(shù)據(jù)包括一卡通數(shù)據(jù)（門禁卡通行數(shù)據(jù)、圖書館閱覽數(shù)據(jù)、校內(nèi)超市消費數(shù)據(jù)）、微博、微信等媒體數(shù)據(jù)。

大數(shù)據(jù)采集與存儲層通過數(shù)據(jù)共享接口獲取數(shù)據(jù)源層提供的各類數(shù)據(jù)，校外數(shù)據(jù)需要開發(fā)商提供開放接口才能獲取。大數(shù)據(jù)采集與存儲層對收集到的數(shù)據(jù)進行抽取、轉(zhuǎn)換和存儲。

大數(shù)據(jù)分析層在Hadoop的Map Reduce編程模型上，構(gòu)建各類數(shù)據(jù)分析包，對提交的學(xué)生大數(shù)據(jù)進行分析。從學(xué)生近些年的數(shù)據(jù)信息中得出學(xué)生的學(xué)業(yè)情況，對異常數(shù)據(jù)進行判斷、分析和預(yù)警，為高校教學(xué)和管理人員及時關(guān)注學(xué)生、制定針對性教學(xué)策略、幫助學(xué)生全面、健康發(fā)展提供決策依據(jù)。

2.2.2 功能設(shè)計

基于Hadoop的高校校園大數(shù)據(jù)系統(tǒng)，使用Java語言編寫后臺代碼，分層設(shè)計預(yù)留多個擴展接口，方便后期添加新的校園大數(shù)據(jù)功能。前臺使用B/S模式采用ASP.NET語言開發(fā)，對分析結(jié)果進行展示。基于Hadoop的高校校園大數(shù)據(jù)系統(tǒng)的功能架構(gòu)如圖2所示。

基于Hadoop的高校校園大數(shù)據(jù)系統(tǒng)具體功能架構(gòu)分為以下3個部分：分析結(jié)果發(fā)布層、大數(shù)據(jù)分析層、管理功能層。分別提供公告和查詢等數(shù)據(jù)分析結(jié)果的發(fā)布功能；學(xué)生個體關(guān)注、歷史分析、實時分析的大數(shù)據(jù)分析功能；多用戶管理和數(shù)據(jù)管理的管理功能。

3 結(jié) 語

隨著信息技術(shù)在高校校園中的進一步應(yīng)用，智慧校園工程的持續(xù)建設(shè)，高校校園教學(xué)和管理理念的不斷發(fā)展，高校校園大數(shù)據(jù)環(huán)境一定會愈加完善。建立基于Hadoop技術(shù)的高校校園大數(shù)據(jù)系統(tǒng)，能夠使原本被忽視的重要數(shù)據(jù)變廢為寶，通過科學(xué)合理的大數(shù)據(jù)管理和大數(shù)據(jù)挖掘，能為高校教學(xué)管理人員關(guān)注學(xué)生學(xué)業(yè)和生活提供數(shù)據(jù)分析依據(jù)，也能為高校制定教學(xué)管理方針提供可靠的據(jù)數(shù)據(jù)支撐。

主要參考文獻

[1]李學(xué)龍，龔海剛.大數(shù)據(jù)系統(tǒng)綜述[J].中國科學(xué)：信息科學(xué)，2015（1）.

[2]張?zhí)m廷.大數(shù)據(jù)的社會價值與戰(zhàn)略選擇[D].北京：中共中央黨校，2014.

[3]孫丹.基于TOE-RBV理論的大數(shù)據(jù)采納影響因素的實證研究[D].青島：中國海洋大學(xué)，2015.

[4]崔杰，李陶深，蘭紅星.基于Hadoop的海量數(shù)據(jù)存儲平臺設(shè)計與開發(fā)[J].計算機研究與發(fā)展，2012（z1）.

[5]王格芳.某金融系統(tǒng)海量數(shù)據(jù)并行處理架構(gòu)優(yōu)化設(shè)計與實現(xiàn)[D].北京：中國科學(xué)院大學(xué)，2014.