“基于Hadoop的大數(shù)據(jù)分析”課程規(guī)劃與設(shè)計(jì)

王濤　邵國(guó)強(qiáng)　鄒紅　付丹丹

摘要：大數(shù)據(jù)時(shí)代社會(huì)各行業(yè)對(duì)大數(shù)據(jù)方向人才的需求凸顯，為順應(yīng)產(chǎn)業(yè)發(fā)展需要，我校改革課程設(shè)置，建設(shè)以開源分布式框架Hadoop為技術(shù)基礎(chǔ)的大數(shù)據(jù)分析課程。文章從目標(biāo)內(nèi)容設(shè)置、師資團(tuán)隊(duì)建設(shè)、實(shí)踐中心配備、授課方式特色，以及考核制度革新多個(gè)方面展開對(duì)課程規(guī)劃與設(shè)計(jì)的詳細(xì)論述，藉此為國(guó)家和社會(huì)培養(yǎng)具有工程意識(shí)和創(chuàng)新思維的高素質(zhì)精英人才，也為其他高校同類課程的開設(shè)提供一定的借鑒和參考。

關(guān)鍵詞： Hadoop；大數(shù)據(jù)；課程規(guī)劃；人才培養(yǎng)；授課方式

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）07-0190-03

Abstract： In the era of big data， the demand for talents from all walks of life is increasing. In order to adapt to the need of industrial development， we are carrying out the curriculum reform by constructing a big data analysis course based on Hadoop. Several aspects of the course on the design and planning are discussed in detail. They are the target and content settings， the construction of teaching team， the equipment of practice center， the teaching methods specialties and the appraisal system innovations. Our work helps to cultivate talents with the awareness of engineering and innovative thinking， and also does good for other colleges offering similar courses.

Key words： hadoop； big data； course planning； talent cultivation； teaching method

1 引言

當(dāng)前計(jì)算機(jī)技術(shù)全面融入人們的社會(huì)生活，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓寬了互聯(lián)網(wǎng)的邊界和應(yīng)用領(lǐng)域。大數(shù)據(jù)浪潮正洶涌來(lái)襲，并滲透到社會(huì)的方方面面。越來(lái)越多的企業(yè)期望使用大數(shù)據(jù)和云計(jì)算的技術(shù)來(lái)對(duì)海量數(shù)據(jù)進(jìn)行整合分析，以解決生產(chǎn)經(jīng)營(yíng)業(yè)務(wù)中的難題[1-3]。而與此大的發(fā)展趨勢(shì)不相協(xié)調(diào)的則是高校計(jì)算機(jī)專業(yè)畢業(yè)生在大數(shù)據(jù)方向上基礎(chǔ)薄弱，真正掌握大數(shù)據(jù)管理、分析和產(chǎn)品研發(fā)等相關(guān)技術(shù)的人才極度匱乏。高等院校需要以實(shí)際行動(dòng)回應(yīng)社會(huì)對(duì)計(jì)算機(jī)專業(yè)人才培養(yǎng)的需求，以更為有力的方式來(lái)承擔(dān)大學(xué)應(yīng)有的責(zé)任，培養(yǎng)出高水平人才以適應(yīng)產(chǎn)業(yè)發(fā)展需要[4-6]。這也是我校建設(shè)大數(shù)據(jù)分析課程的初衷。

經(jīng)過(guò)最近短短幾年的發(fā)展，Hadoop已經(jīng)成為架構(gòu)云計(jì)算平臺(tái)進(jìn)行大數(shù)據(jù)存儲(chǔ)和計(jì)算分析的首選。Hadoop以HDFS和MapReduce為核心，為開發(fā)者提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)，從而輕松地組織計(jì)算資源，利用集群的能力完成海量數(shù)據(jù)的處理，目前其已發(fā)展成為包含很多開源框架項(xiàng)目的生態(tài)系統(tǒng)[7-8]。因此該課程即以Hadoop為基礎(chǔ)來(lái)展開對(duì)大數(shù)據(jù)分析的原理、技術(shù)和方法的講授。

2 明確目標(biāo)，落實(shí)人才培養(yǎng)

2.1 培養(yǎng)對(duì)象

大數(shù)據(jù)分析涉及到眾多學(xué)科內(nèi)容，如計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)原理、數(shù)據(jù)結(jié)構(gòu)、分布式系統(tǒng)、LINUX操作系統(tǒng)、云計(jì)算、數(shù)據(jù)挖掘、算法設(shè)計(jì)與分析等基礎(chǔ)性課程等，本課程可作為計(jì)算機(jī)學(xué)科研究生的專業(yè)課和本科高年級(jí)學(xué)生的專業(yè)選修課。因?yàn)樘幱谠撾A段的學(xué)生有了足夠的知識(shí)儲(chǔ)備，并且對(duì)學(xué)科方向有了清晰的認(rèn)識(shí)，對(duì)未來(lái)的就業(yè)前景也不再迷茫，有更多學(xué)習(xí)上的主動(dòng)性和進(jìn)取心。此外，鼓勵(lì)學(xué)生拓展知識(shí)領(lǐng)域，自覺閱讀國(guó)內(nèi)外文獻(xiàn)資料和網(wǎng)絡(luò)資源，為該門課程的學(xué)習(xí)打下堅(jiān)實(shí)的基礎(chǔ)。

2.2 培養(yǎng)目標(biāo)

很多行業(yè)領(lǐng)域都為大數(shù)據(jù)方向的專業(yè)技術(shù)人才提供了施展才華的舞臺(tái)，如電子商務(wù)、金融證券、科研院所、互聯(lián)網(wǎng)企業(yè)、大公司的數(shù)據(jù)中心，以及政府機(jī)關(guān)部門等。當(dāng)前大數(shù)據(jù)方向的崗位需求大致分為三類，分別是：系統(tǒng)研發(fā)工程師，負(fù)責(zé)海量數(shù)據(jù)業(yè)務(wù)模型構(gòu)建、分布式云存儲(chǔ)、NoSQL數(shù)據(jù)庫(kù)架構(gòu)以及數(shù)據(jù)平臺(tái)優(yōu)化升級(jí)等；應(yīng)用開發(fā)工程師，負(fù)責(zé)利用海量非結(jié)構(gòu)化數(shù)據(jù)研發(fā)基于大數(shù)據(jù)技術(shù)的應(yīng)用程序及行業(yè)解決方案，為單位創(chuàng)造良好的經(jīng)濟(jì)效益或社會(huì)效益；大數(shù)據(jù)分析師，負(fù)責(zé)從紛繁復(fù)雜的海量數(shù)據(jù)中找到數(shù)據(jù)間的潛在關(guān)系，挖掘大數(shù)據(jù)蘊(yùn)藏的巨大利益并指導(dǎo)產(chǎn)品研發(fā)。

課程即從系統(tǒng)框架搭建、應(yīng)用研發(fā)及數(shù)據(jù)分析三個(gè)主要層面培養(yǎng)具有扎實(shí)理論基礎(chǔ)和實(shí)戰(zhàn)經(jīng)驗(yàn)的高素質(zhì)、實(shí)用型大數(shù)據(jù)人才。在授課過(guò)程中，注重學(xué)生工程意識(shí)和實(shí)踐創(chuàng)新能力養(yǎng)成，指導(dǎo)學(xué)生密切結(jié)合自身對(duì)未來(lái)職業(yè)的發(fā)展規(guī)劃，在通識(shí)整體的前提下選擇某一特定領(lǐng)域進(jìn)行深入鉆研。對(duì)于有意繼續(xù)深造的學(xué)生，則引導(dǎo)其深入學(xué)科領(lǐng)域前沿，掌握最新的原理方法，并大膽提出自己的設(shè)想，小心地科研探索求證。

2.3 教學(xué)內(nèi)容

課程內(nèi)容把基礎(chǔ)理論與工程實(shí)踐相結(jié)合，詳細(xì)講述大數(shù)據(jù)分析的原理和關(guān)鍵技術(shù)，系統(tǒng)闡釋大數(shù)據(jù)平臺(tái)搭建、優(yōu)化和數(shù)據(jù)分析方法，并深入探究當(dāng)今世界大數(shù)據(jù)分析的成功案例及典型應(yīng)用。在授課時(shí)不局限于Hadoop框架本身，而是擴(kuò)展到其整個(gè)生態(tài)系統(tǒng)，如圖1所示，引導(dǎo)學(xué)生充分利用這些開源框架提供的便利，并在技術(shù)精深后為開源社區(qū)貢獻(xiàn)出自己的才智。

本課程內(nèi)容分為三個(gè)部分，第一部分介紹Hadoop的發(fā)展史和技術(shù)特點(diǎn)，從而把握分布式計(jì)算框架現(xiàn)狀及未來(lái)發(fā)展方向，為企業(yè)的技術(shù)選型和架構(gòu)設(shè)計(jì)提供決策支持；第二部分全面掌握Hadoop的宏觀架構(gòu)和應(yīng)用場(chǎng)景，并通過(guò)貫穿課程的服務(wù)器日志分析項(xiàng)目進(jìn)行實(shí)戰(zhàn)鍛煉，從而熟練使用Hadoop進(jìn)行MapReduce程序開發(fā)，課程還涵蓋分布式計(jì)算領(lǐng)域的常用算法，幫助學(xué)生拓寬視野，在利用大數(shù)據(jù)方面取得積極進(jìn)展；第三部分將深入理解Hadoop技術(shù)架構(gòu)的原理細(xì)節(jié)，對(duì)Hadoop運(yùn)作機(jī)制和管理優(yōu)化有清晰全面的把握，可以獨(dú)立規(guī)劃和部署生產(chǎn)環(huán)境的Hadoop集群，掌握Hadoop基本運(yùn)維思路和方法，對(duì)Hadoop集群進(jìn)行管理和優(yōu)化。

3 多舉措并舉，打造課程精品

3.1校企合作，建設(shè)優(yōu)秀的師資團(tuán)隊(duì)

大數(shù)據(jù)分析是一門理論性和實(shí)踐性都很強(qiáng)的課程，對(duì)其原理性和前沿性的理解高校中從事該學(xué)科教學(xué)和研究的教師理解更為深刻，但對(duì)該產(chǎn)業(yè)應(yīng)用領(lǐng)域的理解沒人比在大企業(yè)一線從事該方向的工程師更有發(fā)言權(quán)。因此，要充分結(jié)合雙方的特長(zhǎng)，終結(jié)“一師”時(shí)代，開創(chuàng)師資團(tuán)隊(duì)組合授課模式，每位教師只在自己最擅長(zhǎng)的專業(yè)領(lǐng)域授課。

通過(guò)校企合作，聘任企業(yè)中有大數(shù)據(jù)分析實(shí)踐工作經(jīng)驗(yàn)的工程技術(shù)人員擔(dān)任實(shí)踐性內(nèi)容的主講教師。他們能把實(shí)際工作中的項(xiàng)目案例和經(jīng)驗(yàn)技巧等引入到課堂教學(xué)中，這些教師充分理解企業(yè)需求，從而能增強(qiáng)教學(xué)的針對(duì)性和有效性，激發(fā)學(xué)生的興趣，培養(yǎng)目標(biāo)感和方向性，切實(shí)提高教學(xué)和就業(yè)質(zhì)量。

在從企業(yè)聘任教師的同時(shí)，優(yōu)化高校內(nèi)部教師隊(duì)伍結(jié)構(gòu)，選拔出有潛力的中青年教師，到合作企業(yè)中進(jìn)行培養(yǎng)鍛煉，提高中青年教師的實(shí)踐水平，培養(yǎng)“雙師型”教師，為應(yīng)用型本科院校的發(fā)展積蓄儲(chǔ)備力量。此外，還應(yīng)充分發(fā)揮老教師的模范帶頭作用，用他們嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度來(lái)帶動(dòng)中青年教師，形成良好的教風(fēng)和學(xué)風(fēng)。

總之，通過(guò)一系列的措施和手段，打造一支理論上過(guò)硬，實(shí)踐上夠強(qiáng)的師資隊(duì)伍。

3.2 完善設(shè)施，推進(jìn)實(shí)踐中心建設(shè)

大數(shù)據(jù)的教學(xué)實(shí)踐需要一個(gè)良好的專業(yè)環(huán)境。在硬件上，進(jìn)行大數(shù)據(jù)集分析需要使用分布式計(jì)算框架來(lái)向數(shù)十、數(shù)百甚至數(shù)千的計(jì)算機(jī)集群分派工作，由此對(duì)服務(wù)器平臺(tái)有很高的要求。但在課程構(gòu)建的初期，完全可以進(jìn)行小規(guī)模的集群測(cè)試運(yùn)行，比如以每5-10臺(tái)計(jì)算機(jī)搭建一個(gè)集群，并建立有保障的實(shí)驗(yàn)室高速傳輸網(wǎng)絡(luò)。軟件上，大數(shù)據(jù)實(shí)踐平臺(tái)需要搭建開發(fā)和處理大規(guī)模數(shù)據(jù)的Hadoop系統(tǒng)平臺(tái)，實(shí)現(xiàn)海量數(shù)據(jù)的計(jì)算與處理，進(jìn)而為大數(shù)據(jù)的挖掘、存儲(chǔ)和分析提供支撐；學(xué)生可通過(guò)設(shè)計(jì)新的算法、開發(fā)新的應(yīng)用，為決策服務(wù)提供更好的支持。在海量數(shù)據(jù)源的選擇上，大數(shù)據(jù)實(shí)踐平臺(tái)可以部署多個(gè)企業(yè)級(jí)的數(shù)據(jù)源，其中包括社交網(wǎng)絡(luò)數(shù)據(jù)、服務(wù)器日志記錄、氣象歷史數(shù)據(jù)等，學(xué)生可在平臺(tái)上展開數(shù)據(jù)分析、數(shù)據(jù)挖掘和數(shù)據(jù)統(tǒng)計(jì)等應(yīng)用，不斷提升運(yùn)用、解釋及挖掘數(shù)據(jù)的能力。

3.3 變換形式，突出授課方式特色

第一，基礎(chǔ)理論與項(xiàng)目實(shí)踐并重。大數(shù)據(jù)分析的基礎(chǔ)理論具有指導(dǎo)和優(yōu)化項(xiàng)目實(shí)踐的功能，可以為實(shí)踐提供信息資料、方法策略和目標(biāo)方向，如果不能深刻領(lǐng)會(huì)理論教學(xué)的內(nèi)容，那項(xiàng)目實(shí)踐的意義就會(huì)大打折扣。項(xiàng)目實(shí)踐應(yīng)該與理論緊密結(jié)合，讓學(xué)生從實(shí)踐中總結(jié)理論經(jīng)驗(yàn)，又可以從實(shí)踐中獲得對(duì)理論理解的升華，從而真正掌握知識(shí)。

第二，轉(zhuǎn)換傳統(tǒng)講授模式為研究性互動(dòng)式教學(xué)。在講解一個(gè)全新的框架時(shí)，把學(xué)生預(yù)設(shè)為框架設(shè)計(jì)師的角色，教師充當(dāng)課程的設(shè)計(jì)者、引導(dǎo)者和推進(jìn)者，由教師引導(dǎo)學(xué)生進(jìn)行框架功能設(shè)計(jì)和架構(gòu)設(shè)計(jì)，集中精力進(jìn)行核心功能處理，之后完善設(shè)計(jì)應(yīng)對(duì)各種異常情形。在學(xué)生自主設(shè)計(jì)的框架版本構(gòu)想完成（不需要具體實(shí)現(xiàn)）之后，與將要學(xué)習(xí)的框架作對(duì)比，捕捉學(xué)生創(chuàng)意的閃光點(diǎn)，分析存在的不足，以此種方式吸引學(xué)生的注意力，培養(yǎng)其創(chuàng)新能力，而不僅僅是知識(shí)的傳授。

第三，深入Hadoop等開源框架內(nèi)部進(jìn)行源碼分析與解讀。首先學(xué)習(xí)并熟練應(yīng)用框架的核心功能，明晰框架的關(guān)鍵運(yùn)行流程；之后按程序邏輯的執(zhí)行過(guò)程采用斷點(diǎn)調(diào)試的方法一步步追蹤，搞清業(yè)務(wù)執(zhí)行背后的代碼邏輯，但不需要理清每一個(gè)具體細(xì)節(jié)；最后在不修改其源碼的基礎(chǔ)上做一些擴(kuò)展開發(fā)的工作。以后工作中可以在源碼的基礎(chǔ)上進(jìn)行修改并優(yōu)化，做開源框架的二次開發(fā)。

第四，進(jìn)行企業(yè)級(jí)案例分析和實(shí)際項(xiàng)目演練。培養(yǎng)學(xué)生處理復(fù)雜數(shù)據(jù)、整合異構(gòu)數(shù)據(jù)的能力，掌握和利用Hadoop平臺(tái)技術(shù)進(jìn)行分析、處理、預(yù)測(cè)和優(yōu)化的工作技能，鼓勵(lì)學(xué)生通過(guò)實(shí)習(xí)參與商業(yè)化大數(shù)據(jù)平臺(tái)建設(shè)。在實(shí)踐中獲得能力和素質(zhì)的提升，快速汲取開發(fā)經(jīng)驗(yàn)，盡快領(lǐng)悟開發(fā)真諦，化理論知識(shí)為實(shí)際項(xiàng)目經(jīng)驗(yàn)。

3.4 多項(xiàng)評(píng)價(jià)，改革課程考核制度

課程的改革不僅體現(xiàn)在知識(shí)內(nèi)容的演進(jìn)、師資和硬件的配備更新上，考核評(píng)定方式的革新也是非常重要的一個(gè)環(huán)節(jié)。傳統(tǒng)的期末卷面一次考試的評(píng)價(jià)方式暴露出了如考核形式單一、考核內(nèi)容片面、考核重結(jié)果輕過(guò)程等很多缺陷和短板，并不能建立起對(duì)學(xué)生的合理評(píng)價(jià)，造成培養(yǎng)的學(xué)生實(shí)際工程能力較弱，也制約了教學(xué)水平和教育質(zhì)量的提高。為適應(yīng)時(shí)代的發(fā)展，培養(yǎng)高素質(zhì)創(chuàng)新型的專業(yè)人才，結(jié)合本門課程的性質(zhì)和特點(diǎn)，采用基于核心能力（包括崗位職業(yè)能力和通用職業(yè)能力）的課程考核方式，加強(qiáng)平時(shí)考核在總成績(jī)中的權(quán)重，將考核貫穿于課程教學(xué)的全過(guò)程，采取“平時(shí)成績(jī)+實(shí)驗(yàn)成績(jī)+項(xiàng)目成績(jī)+期末考試”的考評(píng)方式，并將重點(diǎn)放在過(guò)程性考核上。每學(xué)完一個(gè)核心的框架，即組織一次針對(duì)該框架的應(yīng)用和編程演練，以此激發(fā)學(xué)生學(xué)習(xí)的主動(dòng)性和積極性，加強(qiáng)學(xué)生的實(shí)踐應(yīng)用能力、創(chuàng)新能力和團(tuán)隊(duì)合作能力。

4結(jié) 論

大數(shù)據(jù)被譽(yù)為“21世紀(jì)的新石油”，在各個(gè)行業(yè)領(lǐng)域遍地開花，產(chǎn)業(yè)前景光明。在大數(shù)據(jù)的背景之下，精通大數(shù)據(jù)分析處理的專業(yè)人才成為眾多企業(yè)爭(zhēng)搶的對(duì)象，人才缺口巨大?！痘贖adoop的大數(shù)據(jù)分析》課程的設(shè)立就是在積極踐行為國(guó)家戰(zhàn)略新興產(chǎn)業(yè)培育高水平、復(fù)合型精英人才，該課程及相關(guān)課程的設(shè)立將拉近信息產(chǎn)業(yè)界與高校學(xué)生專業(yè)教育的距離，讓學(xué)生在學(xué)校內(nèi)就可以在大數(shù)據(jù)環(huán)境中參與企業(yè)項(xiàng)目實(shí)踐，把握未來(lái)企業(yè)需求，掌握好大數(shù)據(jù)的管理、分析、挖掘以及產(chǎn)品研發(fā)等方面的核心技能，從而在走向工作崗位后成為大數(shù)據(jù)業(yè)務(wù)領(lǐng)域的中流砥柱。

參考文獻(xiàn)：

[1] 孟小峰， 慈祥. 大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J]. 計(jì)算機(jī)研究與發(fā)展，2013，50（1）：146-169.

[2] 馮芷艷，郭訓(xùn)華，曾大軍，等. 大數(shù)據(jù)背景下商務(wù)管理研究若干前沿課題[J]. 管理科學(xué)學(xué)報(bào)，2013，16（1）：1-9.

[3] 王元卓，靳小龍，程學(xué)旗. 網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與展望[J]. 計(jì)算機(jī)學(xué)報(bào)， 2013，36（6）：1125-1138.

[4] 曾明星，周清平，等. 軟件開發(fā)類課程翻轉(zhuǎn)課堂教學(xué)模式研究[J]. 實(shí)驗(yàn)室研究與探索， 2014，33（2）：203-209.

[5] 劉在英，楊平，張麗曉. 程序設(shè)計(jì)課程實(shí)踐教學(xué)模式的探討[J]. 實(shí)驗(yàn)室研究與探索， 2013，32（10）：156-159.

[6] 李海林. 大數(shù)據(jù)環(huán)境下的數(shù)據(jù)挖掘課程教學(xué)探索[J]. 計(jì)算機(jī)時(shí)代， 2014（2）：54-55.

[7] 陳吉榮，樂嘉錦. 基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J]. 計(jì)算機(jī)工程與科學(xué)， 2013， 35（10）：25-35.

[8] 欒亞建，黃翀民，等. Hadoop 平臺(tái)的性能優(yōu)化研究[J].計(jì)算機(jī)工程， 2010， 36（14）：262-266.