基于Hadoop的課程云平臺設計與實現

胡安明 陳惠娥

摘 要：隨著信息化教學的推進，高校在信息化教學的發(fā)展和進步，已積累大量課程資源和課程數據，如何在這些課程資源數據進行有效存儲管理，并在此基礎上挖掘出有意義的數據，對課程資源進行關聯歸類，形成課程體系智慧學習，成為目前高校課程大數據的主要研究對象。文章以高校計算機類課程為基礎，搭建Hadoop集群環(huán)境，研究基于Hadoop平臺的課程云平臺，為高校課程信息化建設提供方案。

關鍵詞：Hadoop；課程云平臺；智慧學習

近年來隨著互聯網技術，云計算技術，大數據技術，物聯網技術等各方面的迅速發(fā)展，各個行業(yè)已經進入大數據的信息化時代。大數據技術逐漸以應用為中心的信息化系統(tǒng)轉變?yōu)橐詳祿橹行模髷祿峁┐笠?guī)模數據的存儲、管理、處理、挖掘等技術，更進一步加快了信息化的發(fā)展。

高校在信息化教學、信息化課程建設方面已發(fā)展多年，累積了大量課程資源和課程數據，如何在這些課程資源數據進行有效存儲管理，并在此基礎上挖掘出有意義的數據，對課程資源進行關聯歸類，形成課程體系智慧學習。Hadoop[1]大數據技術的發(fā)展與成熟，正好提供了一個非常好的技術平臺；因此應用Hadoop平臺技術，來構建一個課程云平臺系統(tǒng)是非常有意義的。

1 Hadoop

Hadoop平臺是Apache基金會所開發(fā)發(fā)布的分布式系統(tǒng)數據存儲平臺，Hadoop平臺提供了高效、可靠、大規(guī)模數據分布式處理和存儲能力，在Hadoop平臺下一個控制節(jié)點控制整個集群的運行處理，協(xié)調各個數據節(jié)點間數據管理和計算任務[2]。Hadoop的核心由分布式文件處理HDFS，MapReduce并行計算框架和HBase分布式數據庫系統(tǒng)組成。Hadoop結構如圖1所示。

2 課程云平臺系統(tǒng)

傳統(tǒng)信息化課程的建設，往往只關注某一門課程知識體系的構建和知識點的建設，容易忽略整個知識體系的構建，及該課程與其他課程間的知識點關聯，例如，計算機類課程中某一門專業(yè)課程，其背后又關聯到多門專業(yè)基礎課程的應用[3]（以計算機專業(yè)中“Java EE程序設計”課程為例，如圖2所示），專業(yè)課程間又存在交叉和先后順序，以往課程建設都是任課教師基于本門課程的相關資源建設，課程與課程間無銜接、無關聯，這樣就形成課程上的信息孤島，不利于學生學習。所以運用Hadoop大數據技術，存儲特性、覆蓋性和靈活性，構建開發(fā)一個課程云平臺，將以往的課程教學資源整合起來。

應用Hadoop大數據技術，以計算機專業(yè)中某一門專業(yè)核心課程為例構建起該課程的課程云平臺，通過課程云平臺構建起該關聯課程體系，將該課程所涉及的多門課程有序地融合起來，形成完善的課程云平臺。

同時通過Hadoop技術海量數據管理功能，對課程中每個知識點進行數據深度挖掘，提供課程間知識點快速檢索和訪問。也對各個課程中所涉及的視頻圖片各類資源進行有效存儲管理。

云課程平臺也與實踐應用對接，將實訓項目引入到云平臺中，通過云課程平臺，對項目進行分解，將項目中所應用的各知識點與各課程進行關聯，讓云課程平臺引導學生進行項目實訓，對項目中所涉及的知識點能快速地檢索訪問，如圖3所示。

從圖3可以看出，一門課程的背后往往涉及多門課程知識體系的數據支撐，而一個學科的知識體系會涉及更加復雜、龐大的課程體系數據的支撐。而這些課程數據中又包含有各類型的結構化和非結構的數據，因此使用Hadoop平臺實現是非?？尚械摹?/p>

3 課程云平臺的設計

本課題應用Hadoop平臺技術，針對高校課程信息化的特點，構建課程云平臺系統(tǒng)，期系統(tǒng)結構如下：數據源、數據清洗與整合、分布式數據存儲、數據分析與挖掘，Hadoop平臺管理、應用程序接口（Application Program Interface，API）平臺管理等，其結構如圖4所示。

課程資源平臺：指目前高?，F有課程建設平臺，包括現有平臺上的各類課程資源信息，如結構化數據和非結構化數據，結構化數據主要是現有課程資源的數據庫信息，例如（MySQL數據庫數據、Oracle數據庫中數據等）；非結構化數據主要包含課程資源中的各類數據文件、圖片、音頻、視頻資源等。

數據采集：包含數據采集，數據清洗，數據整合等，指對現有數據資源使用Sqoop等技術將課程資源平臺中的結構化數據導入到Hadoop的HDFS和Hive進行存儲，結構化數據可以使用表或者Key-Value方式存放，非結構化數據則以目錄文件的方式進行存放。

大數據分析：指使用Hadoop中MapReduce或Spark技術等，對Hadoop平臺中的數據進行流式分析計算或離線分析計算，產生出各個知識點間的關聯及學習情境分析等。

智能分析與可視化：使用Tableau，D3，Flot等技術[4]，利用機器學習、數據挖掘算法等對課程數據進行深層次的分析，并以圖表的方式直觀的展示給師生。

API接口層：提供平臺各類數據的訪問接口，以便WebAPP或移動APP等應用系統(tǒng)可以從平臺方便地獲取課程信息資源，為平臺的二次開發(fā)提供便利[5]。

4 實現過程

實現環(huán)境：這里選用了5臺服務器作為Hadoop平臺實現基礎，其配置如表1所示。

服務器軟件運行環(huán)境如表2所示。

（1）運行環(huán)境：首先配置每臺服務器的SSH無密碼登錄，然后配置服務器上Java運行環(huán)境，最后配置Hadoop運行環(huán)境。配置完成后在NameNode上輸入start-all.sh命令，啟動Hadoop。

（2）數據遷移：數據遷移可分為結構化數據遷移和非結構化數據遷移，其中結構化數據遷移導入過程可分成3步。第一，將My SQL數據先導入到HDFS中；第二，在Hive中創(chuàng)建表結構；第三，將HDFS中數據加載到Hive已創(chuàng)建的表中。非結構化數據可以轉化文本化與HBase整合進行遷移處理[6]。

5 運行測試

課程云平臺的建設主要是將各類分散的課程資源進行整合挖掘，使用Hadoop平臺技術對課程資源數據進行管理、深度挖掘、處理等。在Hadoop平臺下既節(jié)省了服務器資源又提高教學資源的利用率，并對課程進行深度挖掘，實現智慧學習。課程云平臺WebAPP端使用SpringMVC框架開發(fā)、Tomcat服務、JSP頁面等技術，運行效果如圖5所示。

6 結語

本文以Hadoop技術為基礎，以高校計算機類課程為研究案例，研究基于Hadoop平臺的課程云平臺，通過對Hadoop平臺的技術特點及搭建配置過程，以及開發(fā)方法等進行詳細論述，為高校課程信息化建設提供思路。

[參考文獻]

[1]陳一龍.基于云平臺的英語專業(yè)核心課程數字化教學資源的共建共享機制研究[J].荊楚學術，2017（9）：5.

[2]王鵬.云計算的關鍵技術與應用實例[M].北京：人民郵電出版社，2010.

[3]楚京予.MOOC平臺課程資源組織模型與體系架構研究[D].合肥：合肥工業(yè)大學，2016.

[4]王潤，周先進.云課程的實施困境及其突破[J].教育發(fā)展研究，2015（12）：34-39.

[5]徐毅.湖北地方課程教育云資源的設計與應用實踐[D].武漢：華中師范大學，2015.

[6]王玥.云課程平臺聚合社會化媒體的網絡教學研究[D].南京：南京郵電大學，2014.