大數(shù)據(jù)技術(shù)與應(yīng)用課程的內(nèi)容與教學(xué)方法研究

劉廣鐘等

摘要：大數(shù)據(jù)作為時(shí)下熱詞，是目前技術(shù)發(fā)展和應(yīng)用的熱點(diǎn)。大數(shù)據(jù)技術(shù)與應(yīng)用是計(jì)算機(jī)及相關(guān)專業(yè)的重要課程。本文結(jié)合當(dāng)前大數(shù)據(jù)技術(shù)發(fā)展的趨勢，分析該課程教學(xué)中存在的問題，并針對這些問題提出解決方案，進(jìn)而提高教學(xué)質(zhì)量。

關(guān)鍵詞：大數(shù)據(jù)；Hadoop；云計(jì)算；課程建設(shè)

中圖分類號：G642 文獻(xiàn)標(biāo)識碼：A 論文編號：1674-2117（2015）10-0120-02

前言

“大數(shù)據(jù)”時(shí)代是由于互聯(lián)網(wǎng)使用者人數(shù)和廣泛的數(shù)據(jù)密集型應(yīng)用程序暴漲而產(chǎn)生的。在過去的五年時(shí)間里，全球IP流量增加了8倍，預(yù)計(jì)到2016年底，全球每年的IP流量將超過1.3澤字節(jié)。[1]因此，社會對具有大數(shù)據(jù)管理和分析能力的人才需求大幅增長。目前很多高校有關(guān)大數(shù)據(jù)的課程已經(jīng)開始出現(xiàn)[2]，以筆者所在的上海海事大學(xué)為例，學(xué)校已將該門課程列入到2013級學(xué)生的教學(xué)計(jì)劃中。

存在的問題

第一，理論教學(xué)和實(shí)驗(yàn)教學(xué)內(nèi)容亟待優(yōu)化。大數(shù)據(jù)分析需要以云計(jì)算平臺作為支撐，但鍛煉學(xué)生實(shí)踐能力的實(shí)驗(yàn)往往因?qū)嶒?yàn)條件、實(shí)驗(yàn)設(shè)備不夠而較少涉及。[3]

第二，在教學(xué)中缺乏真實(shí)平臺的構(gòu)建，學(xué)生難以對所學(xué)的理論知識形成良好的理解，也缺乏真實(shí)編程的平臺。

第三，教學(xué)中，不注重理論和實(shí)驗(yàn)相結(jié)合。單純進(jìn)行理論教學(xué)或?qū)嶒?yàn)教學(xué)，教學(xué)內(nèi)容和方式死板教條。

第四，考核方法和評價(jià)機(jī)制不科學(xué)。使用單純的書面閉卷考試，對基礎(chǔ)理論、基礎(chǔ)實(shí)驗(yàn)、設(shè)計(jì)實(shí)驗(yàn)沒采用不同的考核方式進(jìn)行考核。

解決措施

1.搭建大數(shù)據(jù)實(shí)驗(yàn)教學(xué)平臺

在教學(xué)過程中，通過引入虛擬化技術(shù)克服實(shí)驗(yàn)設(shè)備硬件要求限制，搭建大數(shù)據(jù)實(shí)驗(yàn)教學(xué)平臺，在Hadoop平臺上完成MapReduce編程模型的開發(fā)與應(yīng)用，建立相關(guān)虛擬環(huán)境，為學(xué)生用戶提供隨時(shí)訪問、使用平臺處理數(shù)據(jù)的機(jī)會。筆者使用Oracle VM VirtualBox[4]來搭建虛擬機(jī)環(huán)境，下載安裝VirtualBox。

2.搭建虛擬化的Hadoop環(huán)境

在VirtualBox上安裝centos 6.5操作系統(tǒng)，開始搭建虛擬化的Hadoop環(huán)境。Hadoop作為一個(gè)開源的軟件平臺使得編寫和運(yùn)行用于處理海量數(shù)據(jù)的應(yīng)用程序更加容易。[5]Hadoop是MapReduce的實(shí)現(xiàn)，它使用了Hadoop分布式文件系統(tǒng)。完成后，使用命令hadoop namenode–format來格式化HDFS文件系統(tǒng)。啟動Hadoop后，在master和slave上分別運(yùn)行JPS查看當(dāng)前運(yùn)行的進(jìn)程。至此，Hadoop平臺搭建完成。把海量數(shù)據(jù)存儲在HDFS上之后，將數(shù)據(jù)在集群中分而存儲，然后集群的各個(gè)節(jié)點(diǎn)在本地任務(wù)中處理本地?cái)?shù)據(jù)，最后把結(jié)果匯總，這就是MapReduce的過程。之后提取海量數(shù)據(jù)的關(guān)鍵信息作為索引，把這些非索引的數(shù)據(jù)索引存入到HBase中，方便后續(xù)數(shù)據(jù)查找和處理。

3.改革教學(xué)模式

在教學(xué)中，將理論和實(shí)驗(yàn)相結(jié)合，采用自主式、團(tuán)隊(duì)式、研究式學(xué)習(xí)模式。在創(chuàng)新實(shí)驗(yàn)部分由學(xué)生自主選擇實(shí)驗(yàn)課題，或自主擬定實(shí)驗(yàn)課題，同時(shí)開展團(tuán)隊(duì)協(xié)作模式完成創(chuàng)新實(shí)驗(yàn)內(nèi)容。實(shí)驗(yàn)要求學(xué)生2～4人為一組，共同擬定實(shí)驗(yàn)方案，集體完成實(shí)驗(yàn)項(xiàng)目并寫出總結(jié)報(bào)告，培養(yǎng)學(xué)生查閱資料的能力，根據(jù)具體要求設(shè)計(jì)實(shí)驗(yàn)的能力，以及總結(jié)、歸納、撰寫、宣讀論文的能力。由于大數(shù)據(jù)實(shí)驗(yàn)教學(xué)緊跟學(xué)術(shù)前沿，所以研究式學(xué)習(xí)十分有必要，如將實(shí)驗(yàn)教學(xué)與科研進(jìn)行結(jié)合。以上實(shí)驗(yàn)教學(xué)模式的改革能激發(fā)學(xué)生的學(xué)習(xí)熱情，調(diào)動學(xué)生的積極性和主動性，提高學(xué)生的動手能力、分析問題和解決問題的能力，以及培養(yǎng)學(xué)生的綜合素質(zhì)和創(chuàng)新精神。

4.改革考核方法和評價(jià)機(jī)制

根據(jù)理論和實(shí)踐教學(xué)的特點(diǎn)，我們從有利于激發(fā)學(xué)生學(xué)習(xí)興趣、提高學(xué)習(xí)能力的目的出發(fā)，建立了多元化考核辦法?；A(chǔ)理論主要采用書面閉卷考試的形式進(jìn)行考核；基礎(chǔ)訓(xùn)練類實(shí)驗(yàn)主要考查學(xué)生對指定技術(shù)方法的掌握程度，重點(diǎn)考查學(xué)生對實(shí)驗(yàn)原理的理解和實(shí)際操作能力；綜合設(shè)計(jì)類實(shí)驗(yàn)成績評定主要參考項(xiàng)目的任務(wù)指標(biāo)，以答辯等形式進(jìn)行考核，成績需經(jīng)過答辯小組審核后認(rèn)定為相關(guān)實(shí)踐環(huán)節(jié)的學(xué)分；研究創(chuàng)新型實(shí)驗(yàn)，由學(xué)生自擬或教師提出實(shí)驗(yàn)項(xiàng)目，方案設(shè)計(jì)以及作品制作均由學(xué)生自主完成，以科研論文或技術(shù)總結(jié)的形式提交設(shè)計(jì)報(bào)告，其考核的依據(jù)是學(xué)生是否發(fā)表科技論文、申請專利、獲得各類獎(jiǎng)項(xiàng)等。

參考文獻(xiàn)：

[1]Cisco White Paper. Cicso Visual Networking Index：Forecast and Methodology[N].2011-2016，May 2012.

[2]劉海永.IBM攜手西電助力大數(shù)據(jù)及云計(jì)算人才培養(yǎng)[J].中國教育信息化，2014（14）：94-95.

[3]陳玲.高校云計(jì)算教學(xué)初探[J].價(jià)值工程，2013（27）：189-190.

[4]fengchenkan.Virtualbox使用圖文教程[EB/OL].http：//jingyan.baidu.com/article/9c69d48f49186b13c9024e30.html.2013-10-22.

[5]K.Shvachko，H.Kuang，S.Radia，et al.The Hadoop distributed file system[C].IEEE Twenty-Sixth Symposium on Massive Storage Systems and Technologies Proceedings，Washington，2010，1-10.

本文獲上海市2014年上海高校本科重點(diǎn)教學(xué)改革項(xiàng)目：基于“校企協(xié)同”的計(jì)算機(jī)專業(yè)卓越工程人才培養(yǎng)模式改革與研究支持。