基于Hadoop2.0的大數(shù)據(jù)課程體系實(shí)驗(yàn)平臺(tái)建設(shè)

李玥

摘要：大數(shù)據(jù)時(shí)代來(lái)臨，而高校大數(shù)據(jù)人才極為匱乏，培養(yǎng)大數(shù)據(jù)人才迫在眉睫。本項(xiàng)目以Hadoop2.0為底層框架建設(shè)大數(shù)據(jù)課程體系實(shí)驗(yàn)平臺(tái)，項(xiàng)目課程包含Hadoop2.0、HBase、Spark、Mahout、Hive等，以校企結(jié)合方式設(shè)計(jì)課程實(shí)驗(yàn)平臺(tái)項(xiàng)目案例，使用案例驅(qū)動(dòng)模式促使學(xué)生學(xué)習(xí)體會(huì)大數(shù)據(jù)課程的特點(diǎn)以及大數(shù)據(jù)相關(guān)技術(shù)的優(yōu)勢(shì)，注重培養(yǎng)學(xué)生從實(shí)際案例轉(zhuǎn)移到相關(guān)知識(shí)、技能的能力。本平臺(tái)建設(shè)也可給其他開(kāi)設(shè)及將要開(kāi)設(shè)大數(shù)據(jù)課程的高校提供參考，共同促進(jìn)大數(shù)據(jù)教育事業(yè)的發(fā)展，為市場(chǎng)培養(yǎng)更好的大數(shù)據(jù)技術(shù)人才。

關(guān)鍵詞：Hadoop;大數(shù)據(jù);實(shí)驗(yàn)平臺(tái);人才培養(yǎng)

中圖分類號(hào)：TP399? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? 文章編號(hào)：1009-3044（2019）02-0143-03

Construction of Big Data Curriculum System Experimental Platform Based on Hadoop2.0

LI Yue

（Jincheng College of Sichuan University， Chengdu 611731， China）

Abstract：Large data era is coming， but the related university students is extremely scarcity. Training big data talent is imminent. The project constructs big data curriculum system experimental platform which based on Hadoop2.0， and includes Hadoop2.0， HBase， Spark， Mahout， Hive curriculums and so on. These courses are designed with the combination of school and enterprise. The cases of these courses are used in the project. This driving model can promote students learn the characteristics of big data courses， big data related technology advantages. This project focus on training students from the actual case transfer to the relevant knowledge and skills. The platform can also be opened to other big data courses and universities to provide reference， promote the development of big data education， and bring up big data technology students? for the market.

Key words：Hadoop; big data; experimental platform; talent development

大數(shù)據(jù)浪潮席卷而來(lái)，滲透到了社會(huì)的方方面面。從“互聯(lián)網(wǎng)+”到“大數(shù)據(jù)+”概念的提出，大數(shù)據(jù)全面融入人們的社會(huì)生活。與此同時(shí)，高校大數(shù)據(jù)人才極為匱乏，培養(yǎng)大數(shù)據(jù)人才迫在眉睫。作為云計(jì)算科學(xué)與技術(shù)系，如何讓學(xué)生所學(xué)的云計(jì)算大數(shù)據(jù)知識(shí)更好的得到實(shí)踐與落地是教學(xué)關(guān)注的重要內(nèi)容。在2015年3月5日舉行的十二屆全國(guó)人大三次會(huì)議上，李克強(qiáng)總理也提出“‘互聯(lián)網(wǎng)+行動(dòng)計(jì)劃，推動(dòng)移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等與現(xiàn)代制造業(yè)結(jié)合”，這就需要高校能夠培育出適應(yīng)社會(huì)發(fā)展的云計(jì)算及大數(shù)據(jù)人才，能夠?qū)⑺鶎W(xué)知識(shí)與社會(huì)實(shí)踐密切結(jié)合的專業(yè)技術(shù)人才。

Hadoop是Apache軟件基金會(huì)旗下的一個(gè)開(kāi)源分布式計(jì)算平臺(tái)，以HDFS和Mapreduce為核心，為用戶提供了系統(tǒng)低層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。本項(xiàng)目以Hadoop2.0為底層框架建立起Hadoop生態(tài)圈的大數(shù)據(jù)課程體系實(shí)驗(yàn)平臺(tái)。

1 落實(shí)人才培養(yǎng)

1.1? 培養(yǎng)目標(biāo)

由于大數(shù)據(jù)相關(guān)應(yīng)用課程為新興課程，傳統(tǒng)的教學(xué)模式重視傳授知識(shí)，按一個(gè)模式培養(yǎng)學(xué)生，不利于調(diào)動(dòng)學(xué)生的積極性，不利于具有創(chuàng)新思維和創(chuàng)新能力的創(chuàng)造型人才的成長(zhǎng)。鑒于此，大數(shù)據(jù)課程體系的實(shí)驗(yàn)平臺(tái)建設(shè)工作刻不容緩。

本項(xiàng)目以課程體系實(shí)驗(yàn)平臺(tái)為主，沿著項(xiàng)目主線進(jìn)行教學(xué)，充分發(fā)揮學(xué)生自主學(xué)習(xí)能力和動(dòng)手能力。重點(diǎn)培養(yǎng)熟練掌握Hadoop平臺(tái)架構(gòu)原理和使用場(chǎng)景，并且可以設(shè)計(jì)、開(kāi)發(fā)海量數(shù)據(jù)存儲(chǔ)、海量數(shù)據(jù)處理、數(shù)據(jù)挖掘等大數(shù)據(jù)應(yīng)用系統(tǒng)的實(shí)用型技術(shù)人才。通過(guò)系統(tǒng)學(xué)習(xí)和大量實(shí)踐項(xiàng)目訓(xùn)練，掌握使用大數(shù)據(jù)處理技術(shù)進(jìn)行系統(tǒng)搭建、開(kāi)發(fā)、調(diào)優(yōu)、運(yùn)維等技能。同時(shí)，本平臺(tái)建設(shè)也可給其他開(kāi)設(shè)及將要開(kāi)設(shè)大數(shù)據(jù)課程的高校提供參考，共同促進(jìn)云計(jì)算大數(shù)據(jù)教育事業(yè)的發(fā)展，為市場(chǎng)培養(yǎng)更好的云計(jì)算大數(shù)據(jù)技術(shù)人才，學(xué)成后可在軟件公司、政府機(jī)構(gòu)、系統(tǒng)運(yùn)營(yíng)商、金融保險(xiǎn)、移動(dòng)互聯(lián)企業(yè)從事大數(shù)據(jù)應(yīng)用開(kāi)發(fā)、數(shù)據(jù)挖掘應(yīng)用開(kāi)發(fā)、數(shù)據(jù)中心運(yùn)維、解決方案規(guī)劃和設(shè)計(jì)、大數(shù)據(jù)產(chǎn)品部署等工作。

1.2 培養(yǎng)內(nèi)容

經(jīng)過(guò)大數(shù)據(jù)相關(guān)應(yīng)用課程的教學(xué)，我系獲取了大量的教學(xué)經(jīng)驗(yàn)，也積累了傳統(tǒng)教學(xué)方式下的不足之處，本項(xiàng)目課程包含Hadoop2.0、HBase、Spark、Mahout、Hive等多門(mén)課程。依托前國(guó)騰創(chuàng)智云公司的研究人員的實(shí)際工作經(jīng)驗(yàn)，設(shè)計(jì)關(guān)于這些課程實(shí)驗(yàn)平臺(tái)使用項(xiàng)目案例，使用案例驅(qū)動(dòng)模式促使學(xué)生學(xué)習(xí)體會(huì)大數(shù)據(jù)課程的特點(diǎn)，大數(shù)據(jù)相關(guān)技術(shù)的優(yōu)勢(shì)，注重培養(yǎng)學(xué)生從實(shí)際案例轉(zhuǎn)移到相關(guān)知識(shí)、技能的能力。

在實(shí)驗(yàn)平臺(tái)上整合了以上課程的實(shí)驗(yàn)課程，老師可根據(jù)不同課程動(dòng)態(tài)實(shí)時(shí)的為學(xué)生分配云主機(jī)，學(xué)生可根據(jù)實(shí)際需求申請(qǐng)使用云主機(jī)，課程結(jié)束后老師可根據(jù)實(shí)際需求銷(xiāo)毀或者保存學(xué)生的云主機(jī)，解決了傳統(tǒng)實(shí)驗(yàn)室無(wú)法保存學(xué)生上機(jī)成果的問(wèn)題。學(xué)生可在該平臺(tái)上動(dòng)手搭建各種大數(shù)據(jù)技術(shù)平臺(tái)，模擬真實(shí)企業(yè)的生產(chǎn)環(huán)境。 教師也可在實(shí)驗(yàn)平臺(tái)上設(shè)計(jì)多種多樣具有特色的實(shí)驗(yàn)案例，根據(jù)學(xué)生掌握情況，設(shè)計(jì)不同級(jí)別難度的實(shí)驗(yàn)課題，詳細(xì)到每一個(gè)步驟，讓學(xué)生可以根據(jù)實(shí)驗(yàn)方案，獨(dú)立完成實(shí)驗(yàn)。有針對(duì)性的分層次地進(jìn)行實(shí)驗(yàn)教學(xué)，為社會(huì)培育出不同領(lǐng)域不同層次的人才。

大數(shù)據(jù)系列課程采取實(shí)驗(yàn)課與理論課緊密結(jié)合的方式進(jìn)行教學(xué)，有助于學(xué)生更加清晰直接的理解理論知識(shí)，加深對(duì)知識(shí)的理解與印象，避免了以往教學(xué)過(guò)程中注重理論知識(shí)的講解，課后學(xué)生不復(fù)習(xí)，再次上課時(shí)前面所學(xué)知識(shí)容易忘記的缺陷;以一個(gè)項(xiàng)目為中心，圍繞項(xiàng)目進(jìn)行相關(guān)知識(shí)的講解，有助于形成大數(shù)據(jù)實(shí)踐教學(xué)的整套體系，讓學(xué)生了解本門(mén)課程的實(shí)際作用，更加積極主動(dòng)認(rèn)真的去聽(tīng)講，去學(xué)習(xí)。此外學(xué)生可以隨時(shí)隨地遠(yuǎn)程登錄實(shí)驗(yàn)平臺(tái)進(jìn)行學(xué)習(xí)，無(wú)需要獨(dú)立實(shí)驗(yàn)室，并且，可以授權(quán)學(xué)生把虛擬實(shí)驗(yàn)環(huán)境搭建在學(xué)生的電腦上離線使用，從而可以節(jié)約學(xué)院大量實(shí)驗(yàn)室資源。避免過(guò)多的課題教學(xué)，提高學(xué)生學(xué)習(xí)積極性。

實(shí)驗(yàn)平臺(tái)示例如下：

1.3? 校企合作打造優(yōu)秀師資團(tuán)隊(duì)

對(duì)本科類學(xué)生而言，學(xué)習(xí)大數(shù)據(jù)相關(guān)課程，主要學(xué)習(xí)其中的應(yīng)用和實(shí)踐操作。這一部分教學(xué)采用公司實(shí)際項(xiàng)目案例，教學(xué)更有針對(duì)性，并能讓學(xué)生更好地理解企業(yè)需求，激發(fā)學(xué)生興趣，學(xué)習(xí)過(guò)程更有目標(biāo)性和方向性。校企合作的教學(xué)方式為該平臺(tái)實(shí)驗(yàn)課程體系的建設(shè)提供了生產(chǎn)實(shí)驗(yàn)的基地。在本項(xiàng)目平臺(tái)上，教師可利用創(chuàng)智云公司優(yōu)秀的硬件資源進(jìn)行平臺(tái)的建立部署及測(cè)試，豐富的大數(shù)據(jù)經(jīng)驗(yàn)方面的專家可提供更加切合社會(huì)實(shí)際的指導(dǎo)。本系聘任了一部分企業(yè)兼職教師來(lái)進(jìn)行指導(dǎo)教學(xué)，與專職教師結(jié)合，構(gòu)成了一支理論上過(guò)硬、實(shí)踐上夠強(qiáng)的師資隊(duì)伍。

1.4? 推進(jìn)產(chǎn)學(xué)研一體

通過(guò)該實(shí)驗(yàn)平臺(tái)上課程體系的建設(shè)，讓學(xué)生對(duì)課堂上學(xué)習(xí)的理論有直觀的理解，采取理論課后直接連著上實(shí)驗(yàn)課，理論與實(shí)驗(yàn)緊密結(jié)合的方式，以做一個(gè)項(xiàng)目為主線，貫穿整個(gè)大數(shù)據(jù)課程的學(xué)習(xí)過(guò)程。通過(guò)以實(shí)踐項(xiàng)目為引導(dǎo)的教學(xué)指導(dǎo)思想建立起適合新型課堂和實(shí)驗(yàn)室的教學(xué)理論和方法。以一個(gè)項(xiàng)目為中心，圍繞項(xiàng)目進(jìn)行相關(guān)知識(shí)的講解，有助于形成大數(shù)據(jù)實(shí)踐教學(xué)的整套體系，讓學(xué)生了解本門(mén)課程的實(shí)際作用，更加積極主動(dòng)認(rèn)真地去聽(tīng)講，去學(xué)習(xí)。此外學(xué)生可以隨時(shí)隨地遠(yuǎn)程登錄實(shí)驗(yàn)平臺(tái)進(jìn)行學(xué)習(xí)，無(wú)需要獨(dú)立實(shí)驗(yàn)室，并且，可以授權(quán)學(xué)生把虛擬實(shí)驗(yàn)環(huán)境搭建在學(xué)生的電腦上離線使用，從而可以節(jié)約學(xué)院大量實(shí)驗(yàn)室資源。避免過(guò)多的課題教學(xué)，提高學(xué)生學(xué)習(xí)積極性。這種新型的教學(xué)方式可以對(duì)大數(shù)據(jù)教學(xué)帶來(lái)新的力量和成果，讓學(xué)生對(duì)學(xué)習(xí)產(chǎn)生更加濃厚的興趣。讓學(xué)生真正學(xué)習(xí)到社會(huì)需要的東西，為社會(huì)培養(yǎng)實(shí)際有用的人才。通過(guò)研究與實(shí)踐，帶動(dòng)學(xué)與教質(zhì)量和效率的提高，促進(jìn)學(xué)校的信息化建設(shè)，提高學(xué)校整體辦學(xué)水平，使教師撰寫(xiě)符合實(shí)踐的實(shí)驗(yàn)報(bào)告、論文、制作優(yōu)秀課件集錦，提高教師的信息素養(yǎng)， 改善教師的教學(xué)行為，轉(zhuǎn)變教師的教學(xué)觀念，使教師的“教”切實(shí)地為學(xué)生的“學(xué)”服務(wù)，使課堂教學(xué)適應(yīng)形勢(shì)發(fā)展的需要，培養(yǎng)信息化社會(huì)的新型人才。

課程體系以就業(yè)崗位為導(dǎo)向，以能力培養(yǎng)為目標(biāo)，以平臺(tái)產(chǎn)品為載體，以項(xiàng)目化教學(xué)為模式，以教育云平臺(tái)為輔助手段，按角色、分層次，培養(yǎng)具有行業(yè)領(lǐng)先知識(shí)和實(shí)際動(dòng)手能力的技術(shù)型人才;以新技術(shù)為引領(lǐng)，以學(xué)科帶頭人為核心、專職教師為主導(dǎo)、企業(yè)兼職教師做支撐，細(xì)化人才培養(yǎng)方案、自編高端核心教材、填補(bǔ)國(guó)內(nèi)云計(jì)算大數(shù)據(jù)技術(shù)高校本科教學(xué)空白;以教學(xué)改革為契機(jī)，以高新企業(yè)為同盟，構(gòu)建產(chǎn)學(xué)研一體化教學(xué)格局。

2 發(fā)展趨勢(shì)

大數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn)，已經(jīng)不同程度地滲透到每個(gè)行業(yè)領(lǐng)域和部門(mén)，其深度應(yīng)用不僅有助于企業(yè)經(jīng)營(yíng)活動(dòng)，還有利于推動(dòng)國(guó)民經(jīng)濟(jì)發(fā)展。它對(duì)于推動(dòng)信息產(chǎn)業(yè)創(chuàng)新、大數(shù)據(jù)存儲(chǔ)管理挑戰(zhàn)、改變經(jīng)濟(jì)社會(huì)管理面貌等方面也意義重大。2015年，大數(shù)據(jù)將為全球帶來(lái)440萬(wàn)個(gè)IT崗位，其中190萬(wàn)個(gè)IT崗位在美國(guó)。此外，在美國(guó)，每個(gè)大數(shù)據(jù)相關(guān)的崗位將催生三個(gè)非IT的就業(yè)機(jī)會(huì)。在未來(lái)的四年里，信息經(jīng)濟(jì)將推動(dòng)美國(guó)產(chǎn)生600萬(wàn)個(gè)就業(yè)機(jī)會(huì)。 由于市場(chǎng)的巨大需求，許多培訓(xùn)機(jī)構(gòu)已在陸續(xù)開(kāi)設(shè)企業(yè)人員的大數(shù)據(jù)培訓(xùn)課程，如何將高校的大數(shù)據(jù)教學(xué)辦的有特色有創(chuàng)新有市場(chǎng)競(jìng)爭(zhēng)力，是時(shí)不我待的事情。

3 結(jié)論

本項(xiàng)目對(duì)學(xué)生和學(xué)校都具有巨大的現(xiàn)實(shí)意義。就學(xué)生而言，實(shí)驗(yàn)時(shí)間可以在任何時(shí)候進(jìn)行，因?yàn)楸卷?xiàng)目部署在學(xué)校的云平臺(tái)上，學(xué)生可在寢室、教室等地方通過(guò)網(wǎng)絡(luò)連接。就學(xué)校而言，本課程實(shí)驗(yàn)內(nèi)容屬于國(guó)內(nèi)空白領(lǐng)域，可為其他學(xué)校的大數(shù)據(jù)教育事業(yè)提供技術(shù)支持與指導(dǎo)。該項(xiàng)目可為培養(yǎng)社會(huì)有用、急需的高素質(zhì)人才提供一個(gè)全面的大數(shù)據(jù)實(shí)踐平臺(tái)，使畢業(yè)生能找到更加適應(yīng)社會(huì)需求的工作，通過(guò)向其他學(xué)校推廣該平臺(tái)，可為社會(huì)輸送更多實(shí)際的高質(zhì)量的人才，促進(jìn)人才的培養(yǎng)。使國(guó)家的“互聯(lián)網(wǎng)+”政策和改革的落地有了人才的支撐。

參考文獻(xiàn)：

[1] 陳娜，徐歆壹，宋紅兵. 基于Hadoop的電信BSS大數(shù)據(jù)平臺(tái)建設(shè)研究[J]. 電信科學(xué)，2013，29（3）：36-40.

[2] 司雅楠. 基于MapReduce的高校大數(shù)據(jù)分析挖掘[J]. 河南師范大學(xué)，2016.

[3] 裴浩.大數(shù)據(jù)背景下高職Hadoop課程內(nèi)容體系建設(shè)[J]. 電腦知識(shí)與技術(shù)， 2016，12（10X）：131-132.