Hadoop框架核心技術(shù)在高校大數(shù)據(jù)教學(xué)系統(tǒng)中的應(yīng)用分析

孫榮明

摘要：在大數(shù)據(jù)時(shí)代，數(shù)據(jù)集或數(shù)據(jù)處理能力是市場(chǎng)與企業(yè)對(duì)人才的一大關(guān)鍵要求。在高校大數(shù)據(jù)專業(yè)教學(xué)中，數(shù)據(jù)的安全與運(yùn)算能力開始備受重視。而大數(shù)據(jù)教學(xué)系統(tǒng)的有序運(yùn)轉(zhuǎn)經(jīng)常受各種因素影響，尤其是硬件故障與不足等。但是，Hadoop框架核心技術(shù)具有其自身的獨(dú)特優(yōu)勢(shì)，即可靠性、拓展性、容錯(cuò)性、有效性都非常高，主要是通過大型的分布式集群，建立并布置數(shù)據(jù)儲(chǔ)存與分析系統(tǒng)，這是最佳的數(shù)據(jù)解決方案，能夠?qū)崿F(xiàn)高效管理。本文主要對(duì)Hadoop框架核心技術(shù)在高校大數(shù)據(jù)教學(xué)系統(tǒng)中的應(yīng)用進(jìn)行了深入探究。

關(guān)鍵詞：Hadoop框架核心技術(shù)；高校；大數(shù)據(jù)教學(xué)系統(tǒng)；應(yīng)用

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）25-0129-02

1 大數(shù)據(jù)Hadoop兩大核心技術(shù)

Hadoop框架核心技術(shù)實(shí)際上主要包括HDFS與Map Reduce。其中，HDFS是數(shù)據(jù)存儲(chǔ)文件系統(tǒng)，是大數(shù)據(jù)的重要基礎(chǔ)。而Map Reduce直接為大數(shù)據(jù)提供了一定的數(shù)據(jù)調(diào)度與管理算法。HDFS屬于Hadoop的文件格式系統(tǒng)。在單機(jī)版的系統(tǒng)內(nèi)，數(shù)據(jù)主要在物理硬盤上進(jìn)行儲(chǔ)存，而文件系統(tǒng)將硬盤劃分為多個(gè)存儲(chǔ)盤，即呈現(xiàn)為C盤和D盤等等。但是，在Hadoop系統(tǒng)中，數(shù)據(jù)的存儲(chǔ)位置在集群不同的物理主機(jī)上，所呈現(xiàn)的是網(wǎng)絡(luò)路徑形式。用戶只需要網(wǎng)絡(luò)路徑，便能夠進(jìn)行數(shù)據(jù)儲(chǔ)存，而HDFS則需要格式化數(shù)據(jù)物理硬盤，并將數(shù)據(jù)分配到物理主機(jī)上加以儲(chǔ)存、管理即可。Map Reduce屬于Hadoop系統(tǒng)數(shù)據(jù)調(diào)度、傳輸、硬件資源管理算法，其主要利用分離治理的理念，將大型任務(wù)劃分成小任務(wù)，再把小任務(wù)分配到集群結(jié)點(diǎn)上，在結(jié)點(diǎn)完成任務(wù)，匯總整理中間結(jié)果，以完成最終結(jié)果?？傊褪欠纸馊蝿?wù)，匯總結(jié)果，以此促使Hadoop系統(tǒng)運(yùn)行效率與水平得以明顯提升。

2 Hadoop框架核心技術(shù)在高校大數(shù)據(jù)教學(xué)系統(tǒng)中的應(yīng)用分析

2.1 Hadoop教學(xué)系統(tǒng)的應(yīng)用現(xiàn)狀

S高校Hadoop大數(shù)據(jù)教學(xué)系統(tǒng)是學(xué)校相關(guān)部門統(tǒng)一進(jìn)行招標(biāo)購置，在實(shí)訓(xùn)中心進(jìn)行布置，并由其進(jìn)行統(tǒng)一管理與維護(hù)的。既有Hadoop系統(tǒng)單獨(dú)布置在物理計(jì)算機(jī)上，導(dǎo)致硬件的利用率相對(duì)較低，而且學(xué)生規(guī)模不斷擴(kuò)大，需求也隨之明顯增加，根本無法確保正常教學(xué)工作的開展。由于大數(shù)據(jù)相關(guān)專業(yè)招生數(shù)量在逐漸增加，高校根據(jù)相關(guān)需求，安置了大數(shù)據(jù)教學(xué)平臺(tái)。而S院校采購了Hadoop大數(shù)據(jù)教學(xué)系統(tǒng)云中實(shí)驗(yàn)室，通過發(fā)揮服務(wù)器虛擬化技術(shù)的優(yōu)勢(shì)，在服務(wù)器上模擬學(xué)生機(jī)教學(xué)環(huán)境Linux系統(tǒng)。這樣一來，不僅促使服務(wù)器硬件的利用率得到了明顯提高，還進(jìn)一步縮減了管理人員的工作量，從而保障了教學(xué)系統(tǒng)的正常運(yùn)行。

2.2 在教學(xué)系統(tǒng)中的詳細(xì)應(yīng)用

S院校在浪潮服務(wù)器與寶德服務(wù)器上，安裝了Ubuntu，并構(gòu)建了云中實(shí)驗(yàn)室系統(tǒng)，主要?jiǎng)澐譃閮刹糠?，即Web教師端與學(xué)生端。學(xué)生利用Web學(xué)生端，構(gòu)建多項(xiàng)系統(tǒng)，在系統(tǒng)上創(chuàng)建并布置Hadoop，以此開展HDFS與Map Reduce等各項(xiàng)試驗(yàn)。學(xué)生利用云中實(shí)驗(yàn)室系統(tǒng)的Web學(xué)生端，還可以實(shí)現(xiàn)與教師之間的實(shí)時(shí)互動(dòng)交流，教師則可以以Web教師端為載體，查看并評(píng)估學(xué)生的實(shí)驗(yàn)情況，及時(shí)給予一定的有效指導(dǎo)建議。

2.3 應(yīng)用效果分析

經(jīng)過多次測(cè)試應(yīng)用可知，Hadoop服務(wù)器集群的高效利用性技術(shù)，在很大程度上能夠滿足大數(shù)據(jù)教學(xué)系統(tǒng)正常有序運(yùn)行的多元化要求。而適當(dāng)增加云中實(shí)驗(yàn)室的投入力度，直接提高了物理服務(wù)器的有效利用率和水平。通過利用高校利用性功能，大數(shù)據(jù)教學(xué)系統(tǒng)服務(wù)器中斷不會(huì)產(chǎn)生較大的代價(jià)，可以進(jìn)一步滿足大部分教學(xué)系統(tǒng)運(yùn)行的需求，從而為建立高校大數(shù)據(jù)教學(xué)系統(tǒng)奠定了堅(jiān)實(shí)的基礎(chǔ)。

3 基于Hadoop框架核心技術(shù)的高校大數(shù)據(jù)分析教學(xué)設(shè)計(jì)

3.1 明確目標(biāo)

目前，我國各行各業(yè)都為大數(shù)據(jù)專業(yè)技術(shù)人才提供了一系列發(fā)揮自我才能的平臺(tái)，而大數(shù)據(jù)專業(yè)的崗位需求主要可以劃分為三大類。其一，系統(tǒng)研發(fā)工程師，主要任務(wù)是構(gòu)建數(shù)據(jù)業(yè)務(wù)模型，分布式云存儲(chǔ)，數(shù)據(jù)庫架構(gòu)，數(shù)據(jù)平臺(tái)的優(yōu)化升級(jí)等等；其二，大數(shù)據(jù)分析師，主要承擔(dān)的工作是在海量數(shù)據(jù)中，尋找數(shù)據(jù)信息之間的潛在聯(lián)系，將大數(shù)據(jù)中所潛藏的利益開發(fā)出來，以便于進(jìn)行產(chǎn)品研發(fā)；其三，應(yīng)用開發(fā)工程師，主要負(fù)責(zé)通過非結(jié)構(gòu)化數(shù)據(jù)研發(fā)以大數(shù)據(jù)技術(shù)為基礎(chǔ)的應(yīng)用程序和行業(yè)應(yīng)對(duì)策略，從而為企業(yè)帶來良好的綜合效益。課程主要是從系統(tǒng)框架構(gòu)建、應(yīng)用研發(fā)、數(shù)據(jù)分析三個(gè)角度，進(jìn)一步培養(yǎng)出同時(shí)具備理論基礎(chǔ)知識(shí)與實(shí)踐經(jīng)驗(yàn)的復(fù)合型人才。在教學(xué)過程中，還需要培養(yǎng)學(xué)生的實(shí)踐創(chuàng)新意識(shí)與能力，以此指導(dǎo)學(xué)生根據(jù)自身職業(yè)規(guī)劃，在通識(shí)整體的基礎(chǔ)上，選擇特定領(lǐng)域深層探究。而想要深造的學(xué)生，教師則應(yīng)該正確引導(dǎo)其走進(jìn)學(xué)科的領(lǐng)域前沿，實(shí)時(shí)掌握最新的相關(guān)動(dòng)態(tài)與原理，提出設(shè)想，并深入求證。

3.2 健全內(nèi)容

所謂大數(shù)據(jù)專業(yè)課程內(nèi)容主要就是切實(shí)結(jié)合理論知識(shí)與工程實(shí)踐，對(duì)其相關(guān)原理、技術(shù)進(jìn)行詳細(xì)講解，同時(shí)闡述大數(shù)據(jù)平臺(tái)構(gòu)建、優(yōu)化、數(shù)據(jù)分析的方式方法，深入探索成功經(jīng)典案例。在教學(xué)中，應(yīng)在Hadoop框架核心技術(shù)的基礎(chǔ)上，向整體生態(tài)系統(tǒng)擴(kuò)展，積極引領(lǐng)學(xué)生發(fā)揮框架優(yōu)勢(shì)，獲取一定的技術(shù)能力?？梢詫⒋髷?shù)據(jù)專業(yè)內(nèi)容劃分為三大部分，即Hadoop的發(fā)展歷史與技術(shù)特點(diǎn)、Hadoop宏觀架構(gòu)與應(yīng)用場(chǎng)景、深入理解Hadoop技術(shù)架構(gòu)的原理細(xì)節(jié)。

3.3 多元化教學(xué)方式方法

首先，將基礎(chǔ)理論與工程實(shí)踐放置在同等位置。大數(shù)據(jù)分析基礎(chǔ)理論具有其自身的獨(dú)特性，即指導(dǎo)并優(yōu)化工程實(shí)踐，從而為實(shí)踐指明信息資料、方法策略、目標(biāo)方向等。工程實(shí)踐應(yīng)做到與基礎(chǔ)理論密切相結(jié)合，促使學(xué)生以實(shí)踐總結(jié)經(jīng)驗(yàn)，并從中深入理解和掌握基礎(chǔ)理論。其次，采取研究性互動(dòng)式教學(xué)模式。在講解全新框架的時(shí)候，將學(xué)生預(yù)設(shè)成角色，教師則作為設(shè)計(jì)者、引導(dǎo)者，教師引領(lǐng)學(xué)生設(shè)計(jì)框架功能與結(jié)構(gòu)，并處理核心功能，以此完善設(shè)計(jì)，有效應(yīng)對(duì)其中出現(xiàn)的各種異常。在自主設(shè)計(jì)框架設(shè)想完成后，與所需學(xué)習(xí)的框架進(jìn)行對(duì)比分析，突出學(xué)生創(chuàng)意，并對(duì)其中的不足進(jìn)行詳細(xì)分析，以此激發(fā)學(xué)生的積極性和主動(dòng)性，培養(yǎng)學(xué)生的創(chuàng)新意識(shí)與能力。再次，深入Hadoop開源框架內(nèi)部，分析并解讀源碼。學(xué)習(xí)并掌握框架的核心功能，明確框架的運(yùn)行過程，按照程序邏輯執(zhí)行過程，利用斷點(diǎn)調(diào)試形式，逐步跟蹤，以此詳細(xì)了解業(yè)務(wù)執(zhí)行的代碼邏輯。然后，在不改變?cè)创a的同時(shí)，進(jìn)行擴(kuò)展開發(fā)。后續(xù)工作中可以基于源碼，進(jìn)行完善與優(yōu)化，以二次開發(fā)。最后，分析企業(yè)案例，演練實(shí)際工程。培養(yǎng)處理數(shù)據(jù)，整合數(shù)據(jù)的能力，熟練應(yīng)用Hadoop平臺(tái)技術(shù)，分析、處理、預(yù)測(cè)并優(yōu)化工作，督促學(xué)生積極參加實(shí)習(xí)，參與到大數(shù)據(jù)平臺(tái)構(gòu)建工作中，從而提高自身的綜合素質(zhì)與能力。

3.4 構(gòu)建一支完善的師資隊(duì)伍

充分結(jié)合學(xué)校與企業(yè)的優(yōu)勢(shì)，構(gòu)建師資隊(duì)伍組合授課模式，教師在擅長的領(lǐng)域進(jìn)行專業(yè)教學(xué)。加強(qiáng)校企合作，邀請(qǐng)企業(yè)中具有豐富實(shí)踐經(jīng)驗(yàn)的數(shù)據(jù)分析工程技術(shù)人員，承擔(dān)實(shí)踐教學(xué)任務(wù)。將工程案例與實(shí)踐經(jīng)驗(yàn)引入教學(xué)過程中去，需要教師充分理解企業(yè)的多元化需求，才能確保教學(xué)的針對(duì)性，調(diào)動(dòng)學(xué)生的積極性，為學(xué)生指明方向，以此提高教學(xué)效率與質(zhì)量。在企業(yè)邀請(qǐng)員工擔(dān)任教師，以完善優(yōu)化師資隊(duì)伍結(jié)構(gòu)。還可以定期安排專業(yè)教師到企業(yè)參加實(shí)踐工作，以鍛煉并吸收更多經(jīng)驗(yàn)，了解市場(chǎng)與企業(yè)的大數(shù)據(jù)最新動(dòng)態(tài)，以便于后續(xù)開展教學(xué)工作。

3.5 加強(qiáng)實(shí)踐訓(xùn)練基地的建設(shè)

在硬件設(shè)施上，大數(shù)據(jù)分析需要利用分布式計(jì)算框架，分派工作任務(wù)，這就進(jìn)一步提高了服務(wù)器平臺(tái)要求。但是，在構(gòu)建課程時(shí)，可以小規(guī)模做集群測(cè)試運(yùn)行，搭建集群，構(gòu)建具有一定保障的實(shí)驗(yàn)室高速傳輸網(wǎng)絡(luò)。在軟件設(shè)施上，大數(shù)據(jù)實(shí)踐平臺(tái)應(yīng)搭建開發(fā)和處理大規(guī)模數(shù)據(jù)的Hadoop系統(tǒng)平臺(tái)，以計(jì)算和處理數(shù)據(jù)，為挖掘、儲(chǔ)存、分析大數(shù)據(jù)奠定堅(jiān)實(shí)的基礎(chǔ)。學(xué)生也可以設(shè)計(jì)新算法，開發(fā)新應(yīng)用，以此為做出正確決策提供有效依據(jù)。

3.6 多元化課程考核評(píng)估制度

為了適應(yīng)時(shí)代變化發(fā)展需求，培養(yǎng)高素質(zhì)、高能力的創(chuàng)新人才，結(jié)合大數(shù)據(jù)分析課程的特性，利用以核心能力考核為基礎(chǔ)的方式，強(qiáng)化平時(shí)考核所占比重，把考核始終貫穿于整個(gè)教學(xué)過程中，采取平時(shí)成績、實(shí)驗(yàn)成績、項(xiàng)目成績、期末考試有機(jī)融合的評(píng)估方式，其中應(yīng)將過程考核放在關(guān)鍵環(huán)節(jié)。完成核心框架實(shí)際上就是組織針對(duì)此框架應(yīng)用與編程的演習(xí)，據(jù)此調(diào)動(dòng)學(xué)生的學(xué)習(xí)興趣和熱情，提高學(xué)生的實(shí)踐能力和創(chuàng)新能力，實(shí)現(xiàn)學(xué)生的綜合發(fā)展。

4 結(jié)語

總而言之，通過Hadoop框架核心技術(shù)，構(gòu)建高效利用性大數(shù)據(jù)教學(xué)系統(tǒng)集群，將各種高等技術(shù)應(yīng)用到大數(shù)據(jù)專業(yè)日常教學(xué)過程中去，不僅可以確保大數(shù)據(jù)專業(yè)教學(xué)工作的有序進(jìn)行，還能夠保障大數(shù)據(jù)教學(xué)系統(tǒng)運(yùn)行的穩(wěn)定性與可持續(xù)性，從而為高校開展大數(shù)據(jù)實(shí)驗(yàn)提供更加完善的基礎(chǔ)條件。

參考文獻(xiàn)：

[1] 任建新.基于Hadoop平臺(tái)的大數(shù)據(jù)應(yīng)用系統(tǒng)架構(gòu)的研究與實(shí)現(xiàn)[D].北京郵電大學(xué)，2014.

[2] 趙亮.基于Hadoop的高校校園大數(shù)據(jù)系統(tǒng)設(shè)計(jì)[J].中國管理信息化，2017，20（10）：222-223.

[3] 唐燕，劉仁權(quán)，王蘋，等.基于Hadoop的高校大數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].信息技術(shù)，2017（12）：105-109.

[4] 王濤，邵國強(qiáng)，鄒紅，等.“基于Hadoop的大數(shù)據(jù)分析”課程規(guī)劃與設(shè)計(jì)[J].電腦知識(shí)與技術(shù)，2015，11（7）：190-192.

【通聯(lián)編輯：張薇】