大數(shù)據(jù)專業(yè)實訓平臺構(gòu)建的研究

王國珺

（福州職業(yè)技術學院福建福州 350000）

1 引言

大數(shù)據(jù)專業(yè)教學實訓平臺旨在為高校大數(shù)據(jù)相關專業(yè)提供一體化教學實訓環(huán)境及課程資源。是提升大數(shù)據(jù)專業(yè)實踐能力的有效途徑和手段，是大數(shù)據(jù)專業(yè)學生培養(yǎng)中不可或缺的環(huán)節(jié)。

2 專業(yè)前景分析

近幾年來，互聯(lián)網(wǎng)行業(yè)發(fā)展風起云涌，而這其中，“大數(shù)據(jù)”更是炙手可熱，很有可能成為新一輪的技術革命。“大數(shù)據(jù)”能給企業(yè)帶來前所未有的商業(yè)價值與機會，它可以幫助企業(yè)將現(xiàn)有的數(shù)據(jù)與實時產(chǎn)生的數(shù)據(jù)有效整合，以少量的投入獲得更大的回報。

據(jù)前瞻產(chǎn)業(yè)研究院《2014—2018年中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展前景與投資戰(zhàn)略規(guī)劃分析報告》顯示，全球大數(shù)據(jù)技術及服務市場年復合增長率將達31.7%，預計2016年收入將飆至238億美元，其增速約為ICT市場整體增速的7倍之多。

國際數(shù)據(jù)公司（IDC）表示，未來八年內(nèi)全球產(chǎn)生的數(shù)據(jù)量將超過40ZB，并且全球的數(shù)據(jù)使用量到2020年會增長44倍，其中主要的增長來源將會是大數(shù)據(jù)形式。這表明，數(shù)據(jù)將逐漸成為重要的生產(chǎn)因素，人們對于海量數(shù)據(jù)的運用將預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。

圖12012 —2020年全球數(shù)據(jù)產(chǎn)生量預測

3 大數(shù)據(jù)實訓平臺建設必要性分析

“互聯(lián)網(wǎng)+”創(chuàng)新創(chuàng)業(yè)時代，大數(shù)據(jù)開發(fā)、分析及應用在金融、零售、交通、制造等各行業(yè)的應用廣泛，促進行業(yè)價值鏈條的深遠變革，需要大量實戰(zhàn)型人才。在人才培養(yǎng)中，結(jié)合行業(yè)應用特點的實驗教學是關鍵環(huán)節(jié)，為滿足行業(yè)人才技能要求，需要在大數(shù)據(jù)學院大數(shù)據(jù)專業(yè)的教學中，強化基于真實大數(shù)據(jù)平臺的眾多訓練教學環(huán)節(jié)。故為使學生掌握大數(shù)據(jù)開發(fā)、分析管理技能，應對新經(jīng)濟挑戰(zhàn)等技術，建設具備行業(yè)大數(shù)據(jù)開發(fā)、分析及應用教學、實訓、實踐的平臺及環(huán)境的綜合性大數(shù)據(jù)實驗室迫在眉睫。

構(gòu)建“面向科學前沿、行業(yè)產(chǎn)業(yè)、區(qū)域發(fā)展”的協(xié)同創(chuàng)新模式，培養(yǎng)全方位、多層次的大數(shù)據(jù)人才，搭建創(chuàng)新人才實訓基地，對大專院校來說，建設大數(shù)據(jù)專業(yè)實訓平臺是非常必要的。

大數(shù)據(jù)專業(yè)需要掌握的專業(yè)核心技能主要包括：掌握計算機技術、Java 開發(fā)、mysql數(shù)據(jù)庫、Linux 操作系統(tǒng)等基礎知識，具備分布式存儲、分布式計算框架等基本技術，熟悉大數(shù)據(jù)處理和分析技術，面向云計算和大數(shù)據(jù)平臺建設與服務企業(yè)。本專業(yè)畢業(yè)生能在生產(chǎn)、管理及服務第一線從事大數(shù)據(jù)系統(tǒng)建設與規(guī)劃、運維、測試、技術支持與銷售工作，也可勝任企事業(yè)單位的大數(shù)據(jù)應用開發(fā)、管理與維護、培訓教育機構(gòu)的大數(shù)據(jù)教育與培訓等工作。

大數(shù)據(jù)專業(yè)主要的就業(yè)職業(yè)崗位有根據(jù)大數(shù)據(jù)崗位的定位，針對學生特點，適合于畢業(yè)生的崗位包含大數(shù)據(jù)助理分析工程師、運維工程師、開發(fā)工程師、數(shù)據(jù)分析師等崗位。

國內(nèi)一些知名重點高校已率先建成大數(shù)據(jù)實驗室，在持續(xù)開展大數(shù)據(jù)技術的研究、開發(fā)的基礎上，結(jié)合學科資源與專業(yè)應用，如貴州師范大學、貴州大學、山東大學、西南交通大學、山東大學、北京大學、華南理工大學、中國傳媒大學等。目前河北工業(yè)大學、北京工業(yè)大學等多所高校，均已建立大數(shù)據(jù)實驗室，并將大數(shù)據(jù)課程正式帶入相關專業(yè)課堂，大數(shù)據(jù)實驗室、實訓室處于招投標或?qū)嵤┰诮A段的高等院校有很多家。

4 實訓平臺構(gòu)建原則

第一，實訓室行業(yè)技術的可靠性。

云平臺目前業(yè)界已有成熟可用的大數(shù)據(jù)平臺，提供開放數(shù)據(jù)處理服務（Open Data Processing Service，簡稱ODPS），提供云服務器ECS、關系型數(shù)據(jù)庫服務RDS、開放存儲服務OSS、內(nèi)容分發(fā)網(wǎng)絡CDN等產(chǎn)品服務。阿里云是全球領先的云計算服務平臺，云計算第一平臺，云產(chǎn)品解決方案，享多線獨享帶寬，開發(fā)者合作平臺，站長云集平臺。服務范圍覆蓋全球200多個國家和地區(qū)。阿里云致力于為企業(yè)、政府等組織機構(gòu)，提供最安全、可靠的計算和數(shù)據(jù)處理能力，讓計算成為普惠科技和公共服務。

第二，大數(shù)據(jù)云計算大數(shù)據(jù)平臺的穩(wěn)定性。

大數(shù)據(jù)云計算實訓實驗室分為IaaS層的混合資源池，Paas層的開發(fā)平臺，SaaS層的云上數(shù)據(jù)應用三層架構(gòu)，幫助學校搭建開放、可配置且安全的混合云平臺?？奢p松實現(xiàn)大數(shù)據(jù)存儲、數(shù)據(jù)挖掘、數(shù)據(jù)可視化、商務智能等大數(shù)據(jù)應用領域，成熟產(chǎn)品模型覆蓋數(shù)據(jù)采集、計算引擎、數(shù)據(jù)加工、數(shù)據(jù)分析、機器學習、數(shù)據(jù)應用等數(shù)據(jù)生產(chǎn)全鏈條。不僅可幫助學生提升大數(shù)據(jù)相關行業(yè)技能，還可有力的推動學校的師資能力提升和科研課題合作。

第三，實驗室課程體系的成熟度。

大數(shù)據(jù)云計算實訓軟件平臺按照學校教學思路及教學特點制定出與大數(shù)據(jù)專業(yè)人才培養(yǎng)所配套使用的實驗室課程體系，包含理論講解的視頻教程、實踐環(huán)節(jié)的真實企業(yè)案例的實驗環(huán)境及操作實驗手冊及項目實戰(zhàn)環(huán)節(jié)中的真實企業(yè)項目案例的教學訓練，通過在線學習平臺跟蹤學生學習行為，并管理學生教學活動，通過完善的云中沙箱平臺完成眾多行業(yè)案例的實訓項目，提高學生大數(shù)據(jù)技術的實操能力及知識掌握能力，為大數(shù)據(jù)學院的人才培養(yǎng)奠定技術基礎及搭建真實實驗環(huán)境。提升教師隊伍的大數(shù)據(jù)開發(fā)、分析及可視化等綜合應用的教學水平，促成更多教學科研創(chuàng)新成果涌現(xiàn)。成為大數(shù)據(jù)實驗室建設、高效運轉(zhuǎn)的堅實后盾。

綜上，一方面，集成大數(shù)據(jù)開發(fā)系統(tǒng)、數(shù)據(jù)挖掘系統(tǒng)、大數(shù)據(jù)教學系統(tǒng)、案例分析系統(tǒng)等優(yōu)勢，從大數(shù)據(jù)應用工具、算法實現(xiàn)、數(shù)據(jù)可視化按時實驗等角度，由淺入深，幫助學生掌握大數(shù)據(jù)領域的基礎理論學習、單點技能訓練和綜合實戰(zhàn)演練；另一方面輔以線上課程、線下項目實訓，進行優(yōu)化整合，高度集成，形成實現(xiàn)專業(yè)實驗教學的多層次實驗體系，為學生提供完整的高可用性的教學、實訓支持。這樣能夠支撐大數(shù)據(jù)實驗實訓平臺及數(shù)據(jù)資源、成功的部署及順利的運轉(zhuǎn)，保障大數(shù)據(jù)學院的大數(shù)據(jù)專業(yè)教學實驗、實訓的成功開展。

5 滿足教學程度

（1）滿足云計算與大數(shù)據(jù)、數(shù)據(jù)倉庫與商業(yè)智能導論、數(shù)據(jù)倉庫與商業(yè)智能核心技術數(shù)據(jù)倉庫與商業(yè)智能核心技術、互聯(lián)網(wǎng)+數(shù)據(jù)可視化、企業(yè)綜合實訓上（大數(shù)據(jù)分析與應用實戰(zhàn)）、企業(yè)綜合實訓下（大數(shù)據(jù)分析與應用實戰(zhàn)）、自動化數(shù)據(jù)處理分析等課程教學使用。

（2）滿足大數(shù)據(jù)專業(yè)學生相關課程實訓實習使用。

（3）依托大數(shù)據(jù)人才培養(yǎng)基地的實訓環(huán)境，引入領先的教學資源與實訓體系。開展大數(shù)據(jù)相關技能認證培訓；可針對相關專業(yè)師生、企業(yè)技術人員、社會培訓人員，進行相關認證技術培訓及認證考試服務。

（4）依托大數(shù)據(jù)實驗室的實訓環(huán)境學生可進行大數(shù)據(jù)相關技能大賽的訓練，實驗室課程體系中提供豐富了豐富的案例進行訓練，提高學生迎戰(zhàn)大賽所需的技能，并且實驗室可支持校內(nèi)自主開展大賽的環(huán)境基礎，豐富相關專業(yè)學生的高校生活，并激發(fā)學生學習大數(shù)據(jù)技術的熱情。

6 實訓平臺詳細部署

（1）實驗實訓室網(wǎng)絡環(huán)境部署如下圖所示。其中交換機等網(wǎng)絡設備將PC端和云服務器集群連接起來，是PC端之間以及PC端與資源之間的通信設備；云服務器平臺，包括Master節(jié)點、Slave節(jié)點和Client/監(jiān)控節(jié)點和應用服務器，提供云存儲和統(tǒng)一資源調(diào)度系統(tǒng)功能，提高設備的虛擬化能力，并提供實訓項目所需的計算能力和存儲資源。

圖2 大數(shù)據(jù)實訓平臺硬件結(jié)構(gòu)

實訓實驗室作為教學做一體化教學及研究實驗場所，應滿足課程教學、項目實訓和技術研究等方面的需要，以服務器集群為云端，PC機為云終端，構(gòu)成可以支撐大數(shù)據(jù)與云計算專業(yè)實驗的硬件環(huán)境，結(jié)合實訓實驗平臺，構(gòu)成教學及實驗實訓軟環(huán)境，同時利用原教學設備達到展示、互動、網(wǎng)絡實時傳送等多元化效果。

（2）涉及到的課程的主要實訓內(nèi)容

表1 課程實訓內(nèi)容

7 總結(jié)

數(shù)據(jù)技術目前正處在蓬勃發(fā)展的階段，技術在不斷更新，我們的實訓平臺的架構(gòu)和集成的課程也要根據(jù)技術的發(fā)展，不斷的更新?lián)Q代，才能滿足教學需求。