高校大數(shù)據(jù)實驗室建設(shè)體系研究與分析

廖 軍, 張 毅, 王成良, 文俊浩, 羅 西, 熊慶宇

(重慶大學(xué) 大數(shù)據(jù)與軟件學(xué)院, 重慶 400000)

大數(shù)據(jù)產(chǎn)業(yè)發(fā)展正在迅猛增長,產(chǎn)生的數(shù)據(jù)量相當龐大。據(jù)統(tǒng)計,全球數(shù)據(jù)量每年以超過50%的速度增長。在2017年1月17日工業(yè)和信息化部正式發(fā)布《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016—2020 年)》,各行業(yè),如電信、交通和金融等,產(chǎn)生并形成的豐富數(shù)據(jù)資源,為大數(shù)據(jù)信息技術(shù)創(chuàng)新及服務(wù)優(yōu)化奠定了堅實的基礎(chǔ),從而引導(dǎo)著大數(shù)據(jù)的穩(wěn)健發(fā)展,有力支撐網(wǎng)絡(luò)強國建設(shè)[1-2]。大數(shù)據(jù)是從一些數(shù)據(jù)生成源記錄的，科學(xué)實驗和模擬每天可以很容易地產(chǎn)生PB量級的數(shù)據(jù)。據(jù)IDC分析,到2020年中國數(shù)據(jù)量將超過8ZB,對該類人才的培養(yǎng)也逐步成為高校信息技術(shù)教學(xué)的重要內(nèi)容[3]。

如今,大數(shù)據(jù)在各行各業(yè)都有廣泛的應(yīng)用[4],如教育、互聯(lián)網(wǎng)、水利、醫(yī)療、交通和農(nóng)業(yè)等行業(yè)。對于教育行業(yè),高校大數(shù)據(jù)計算機專業(yè)實驗室的建設(shè)是大學(xué)發(fā)展中很重要的部分。例如,許多高校開設(shè)的相關(guān)大數(shù)據(jù)課程(Hadoop, Mahout, Spark, hbase等),云計算課程和人工智能課程都離不開大數(shù)據(jù)實驗室平臺；同時利用“互聯(lián)網(wǎng)+”相關(guān)的慕課以及翻轉(zhuǎn)教學(xué)課程在大數(shù)據(jù)實驗室進行也能夠促進學(xué)生的學(xué)習(xí)效率和提供教師的教學(xué)便捷[5]。因此高校大數(shù)據(jù)實驗室的建設(shè)勢在必行。

為了滿足社會人才需求,擴大高校實驗實踐平臺,本文探討高校大數(shù)據(jù)實驗室建設(shè)體系,提出了大數(shù)據(jù)實驗室教學(xué)建設(shè)實踐方案,通過課程實驗、科研競賽、創(chuàng)新實訓(xùn)等方面建設(shè),為學(xué)生提供良好的創(chuàng)新環(huán)境,從而達到產(chǎn)學(xué)研結(jié)合培養(yǎng)的目的[6]。

1 高校大數(shù)據(jù)實驗室建設(shè)的需求分析

1.1 傳統(tǒng)實驗室的大數(shù)據(jù)應(yīng)用現(xiàn)狀

隨著大數(shù)據(jù)產(chǎn)業(yè)和信息技術(shù)時代的迅猛發(fā)展,高校學(xué)生數(shù)量在不斷擴大,對學(xué)生實驗實踐能力要求相應(yīng)提高,相應(yīng)的支撐提高學(xué)生實踐能力的實驗室建設(shè)需求也越來越高,為達到目前學(xué)生的實踐目的,傳統(tǒng)實驗室已不能滿足大數(shù)據(jù)時代發(fā)展的趨勢?，F(xiàn)部分高校實驗室設(shè)備比較陳舊,實驗教學(xué)課程還處于僅針對解決單一的課程實驗?zāi)M操作,缺少實驗相關(guān)支撐平臺,科研和實踐實訓(xùn)開展相對較困難,因此這樣的實驗環(huán)境并不能滿足教學(xué)、科研和實驗實訓(xùn)以及社會對人才的需求。以下主要從大數(shù)據(jù)技術(shù)人才培養(yǎng)、教學(xué)學(xué)科、科研發(fā)展和實驗實訓(xùn)等幾個方面來分析大數(shù)據(jù)實驗室建設(shè)需求。

1.2 大數(shù)據(jù)技術(shù)人才的需求

據(jù)麥肯錫(McKinsey)公司分析,在2018年大數(shù)據(jù)相關(guān)技術(shù)崗位人才需求將大幅度增加,其中對大數(shù)據(jù)決策分析師有150萬左右的需求,在未來10年內(nèi),僅美國就需要相關(guān)人才200～400萬[7]。

針對社會及各大企業(yè)對大數(shù)據(jù)人才的迫切需求,高校應(yīng)該注重培養(yǎng)適應(yīng)數(shù)據(jù)時代的創(chuàng)新人才,積極建設(shè)大數(shù)據(jù)計算機實驗室。從高校角度出發(fā),計算機實驗室是高校順利開展教學(xué)實踐、學(xué)生競賽及學(xué)生實驗實訓(xùn)等工作的重要基礎(chǔ)平臺,因此大數(shù)據(jù)方面人才的培養(yǎng)離不開相應(yīng)實驗室平臺的建設(shè)。

1.3 教學(xué)的需求

大數(shù)據(jù)實驗室建設(shè)要結(jié)合學(xué)校教學(xué)開設(shè)的學(xué)科與其相關(guān)的課程的需求主要是大數(shù)據(jù)基礎(chǔ)、Hadoop實戰(zhàn)、機器學(xué)習(xí)、云計算、Spark實戰(zhàn)、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘、數(shù)據(jù)分析等專業(yè)課程,通過這些前沿性學(xué)科課程來引導(dǎo)學(xué)生系統(tǒng)了解并掌握大數(shù)據(jù)行業(yè)前沿技術(shù)。如果相應(yīng)課程開設(shè)僅局限于理論學(xué)習(xí),而沒有相應(yīng)的實踐實驗平臺,這樣的教學(xué)設(shè)計也只是紙上談兵。要掌握課程的實質(zhì),學(xué)生不僅需要課程理論學(xué)習(xí),還應(yīng)有實驗操作來提高技術(shù)能力。因此,對于這些學(xué)科開設(shè)的應(yīng)用實驗操作而言,高校實驗室除了提供基礎(chǔ)的實驗環(huán)境,大數(shù)據(jù)實驗所涉及的實驗案例和數(shù)據(jù)集等也是必不可少的。

1.4 科研的需求

大數(shù)據(jù)實驗室的建設(shè)不僅要滿足學(xué)校教學(xué)、學(xué)科建設(shè)的需求,對學(xué)校的科研也應(yīng)該提供相應(yīng)的支撐。對于高校實驗室建設(shè)的平臺,目前大部分實驗環(huán)境僅針對課程實驗需要,造成實驗室環(huán)境單一,設(shè)備技術(shù)和信息來源不足,在一定程度上影響著學(xué)生科學(xué)創(chuàng)新能力,從而很難發(fā)揮學(xué)生通過科研項目來達到產(chǎn)學(xué)研結(jié)合的目的。因此要獲得大數(shù)據(jù)相關(guān)科研方面的技術(shù)成果,高校計算機實驗室應(yīng)打造以大數(shù)據(jù)技術(shù)為核心的教學(xué)科研平臺。

同時,建設(shè)大數(shù)據(jù)實驗室將帶給教師和學(xué)生領(lǐng)略大數(shù)據(jù)技術(shù)的魅力和廣闊前景,使學(xué)生掌握主流的大數(shù)據(jù)存儲、管理、分析處理技術(shù),以及大數(shù)據(jù)平臺架構(gòu)和建設(shè),分享成功的大數(shù)據(jù)應(yīng)用項目實施經(jīng)驗,學(xué)習(xí)大數(shù)據(jù)應(yīng)用項目解決方案咨詢服務(wù)。

1.5 實驗實訓(xùn)的需求

很多高校為培養(yǎng)學(xué)生的工程實踐創(chuàng)新能力,專業(yè)培養(yǎng)體系都設(shè)有相應(yīng)的實驗實訓(xùn)環(huán)節(jié),讓學(xué)生了解到整個開發(fā)實訓(xùn)項目的實現(xiàn)過程,以實現(xiàn)為社會輸送專業(yè)技術(shù)人才的標準[8]。對于創(chuàng)建大數(shù)據(jù)實驗室而言,如果沒有大數(shù)據(jù)方面的創(chuàng)新實踐環(huán)境,再好的大數(shù)據(jù)專業(yè)的培養(yǎng)體系也只是擺設(shè)。開設(shè)大數(shù)據(jù)實驗實訓(xùn)實驗室主要是能為學(xué)生提供一套系統(tǒng)的實踐環(huán)境,通過基礎(chǔ)實訓(xùn)、綜合案例實訓(xùn)、企業(yè)真實環(huán)境實訓(xùn)等實踐經(jīng)歷,使學(xué)生學(xué)習(xí)到相關(guān)數(shù)據(jù)挖掘、數(shù)據(jù)存儲、平臺搭建、數(shù)據(jù)案例分析等實驗實訓(xùn)的技術(shù)內(nèi)容,領(lǐng)略到主流技術(shù)的魅力。

實驗實訓(xùn)的項目創(chuàng)新實踐,能讓學(xué)生在項目實踐過程中全面認識到真實企業(yè)對人才的需求,從而使學(xué)生能夠進一步明確未來職業(yè)規(guī)劃中努力的方向。

2 大數(shù)據(jù)實驗室建設(shè)架構(gòu)分析

2.1 大數(shù)據(jù)實驗室建設(shè)的目標

根據(jù)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展,高校大數(shù)據(jù)實驗室建設(shè)應(yīng)以為社會輸送科技技術(shù)人才為總體目標,將實驗環(huán)境、教學(xué)科研和學(xué)生實訓(xùn)競賽等分析因素作為主要建設(shè)目標,從而形成以大數(shù)據(jù)前沿技術(shù)為核心的實驗基地,以便更好地為學(xué)生提供有特色的學(xué)習(xí)環(huán)境和教學(xué)資源。

針對大數(shù)據(jù)實驗室主要滿足的社會需求,建設(shè)目標有以下幾點：

(1) 基礎(chǔ)設(shè)備：保證實驗室基礎(chǔ)硬件及虛擬環(huán)境建設(shè)[9],在現(xiàn)有實驗基礎(chǔ)設(shè)備上配備相應(yīng)大數(shù)據(jù)相關(guān)的環(huán)境設(shè)備及虛擬平臺,為后續(xù)學(xué)生大數(shù)據(jù)課程、科研、實訓(xùn)作準備。

(2) 教學(xué)科研數(shù)據(jù)資源配備：為提供大數(shù)據(jù)課程及科研環(huán)境,需在基礎(chǔ)設(shè)備的支撐上,建設(shè)數(shù)據(jù)挖掘,數(shù)據(jù)可視化等課程的教學(xué)平臺,確保教學(xué)科研數(shù)據(jù)資源完善,從而使學(xué)生充分利用實驗資源進行實際操作,達到教學(xué)課程目的。

(3) 學(xué)生實訓(xùn)分析：學(xué)生創(chuàng)新技術(shù)的培養(yǎng)不僅僅是完成教學(xué)課程實驗,通過企業(yè)真實案例進行實踐訓(xùn)練也是至關(guān)重要的。實訓(xùn)項目環(huán)節(jié)的設(shè)置,有助于學(xué)生在數(shù)據(jù)實戰(zhàn)層面快速提升,從而使學(xué)生對未來職業(yè)更有信心,因此建立學(xué)生實訓(xùn)平臺,為學(xué)生進一步提高大數(shù)據(jù)技術(shù)的認識奠定堅實的基礎(chǔ)。

2.2 大數(shù)據(jù)實驗室建設(shè)架構(gòu)

通過分析探索大數(shù)據(jù)實驗室建設(shè)需求及目標,本文主要以基礎(chǔ)硬件層、虛擬資源層、教學(xué)科研平臺和學(xué)生實訓(xùn)創(chuàng)新平臺四個層次模式來建設(shè)大數(shù)據(jù)實驗室,創(chuàng)新實驗室建設(shè)架構(gòu)見圖1。架構(gòu)的建設(shè)依據(jù)大數(shù)據(jù)人才培養(yǎng)的理念,采用智能科學(xué)與大數(shù)據(jù)先進技術(shù),結(jié)合虛擬資源等創(chuàng)新形式,實現(xiàn)智能數(shù)據(jù)交互式的實踐教學(xué)模式。同時大數(shù)據(jù)實驗室建設(shè)平臺可支持教學(xué)數(shù)據(jù)資源與虛擬云桌面有機結(jié)合,逐步為學(xué)校打造一個多層次、多元化的科學(xué)大數(shù)據(jù)的實驗環(huán)境。

圖1 大數(shù)據(jù)創(chuàng)新實驗室建設(shè)架構(gòu)圖

2.3 架構(gòu)體系分析

針對大數(shù)據(jù)實驗室建設(shè)體系架構(gòu),具體分析如下：

(1) 基礎(chǔ)硬件層?；A(chǔ)硬件層是為了給教師和學(xué)生提供實驗所需的硬件基礎(chǔ)設(shè)施環(huán)境,為保證實驗環(huán)境的整體搭建,基礎(chǔ)硬件環(huán)境層主要是從支撐實驗室基礎(chǔ)教學(xué)設(shè)備、網(wǎng)絡(luò)環(huán)境和存儲資源等方面來配備相應(yīng)設(shè)施,其中主要包含有學(xué)生用普通終端PC,相應(yīng)的網(wǎng)絡(luò)配備交換機,服務(wù)器和數(shù)據(jù)庫,網(wǎng)絡(luò)綜合布局等基礎(chǔ)設(shè)施。

(2) 虛擬資源層。虛擬資源層是為教學(xué)科研及實訓(xùn)平臺提供虛擬化資源服務(wù),利用虛擬化工具和資源為教師和學(xué)生提供所需要的實驗服務(wù)請求。該層主要是由VMWare虛擬軟件體系、虛擬桌面云、服務(wù)器池等組成,其中VMWare軟件體系主要承擔實驗室的虛擬化任務(wù),負責(zé)將物理資源虛擬化成虛擬資源；虛擬桌面云中的虛擬機一般作為學(xué)生實驗用的虛擬機,安裝的軟件一般為客戶端軟件,通過虛擬桌面云來管理實驗工作,大大減少實驗人員的工作任務(wù)。服務(wù)器池中的虛擬機為科研實訓(xùn)等對計算運行要求較高的軟件環(huán)境提供服務(wù)器。針對學(xué)生部分實驗運行情況,可以設(shè)置特定的時間開啟和關(guān)閉指定的虛擬機,以便最大限度地讓實驗管理員從繁瑣的日常實驗管理工作中解放出來,提高工作效率。

(3) 教學(xué)科研平臺。教學(xué)科研平臺旨在讓學(xué)生掌握大數(shù)據(jù)相關(guān)課程理論知識同時,培養(yǎng)他們的實驗操作能力。該實驗平臺主要由開設(shè)大數(shù)據(jù)相關(guān)的實驗課程教學(xué)管理、課程實驗和科研競賽等項目組成,其中實驗課程教學(xué)管理主要是進行實驗室教學(xué)計劃規(guī)定的各課程科目的教學(xué)及管理,教學(xué)課程包含數(shù)理統(tǒng)計、大數(shù)據(jù)基礎(chǔ),Java技術(shù)、python開發(fā)實踐,分布式并行算法、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘、機器學(xué)習(xí)、人工智能、數(shù)據(jù)分析技術(shù)等相關(guān)大數(shù)據(jù)課程教學(xué)；課程實驗主要包括Java/python技術(shù)實驗、hadoop基礎(chǔ)集群搭建、Hive的簡單使用、分布式數(shù)據(jù)庫hbase部署、MapReduce基礎(chǔ)實驗、簡單的數(shù)據(jù)分析、數(shù)據(jù)清洗等實驗,通過這些實驗使學(xué)生養(yǎng)成良好的實驗操作思維；科研競賽主要是分為針對醫(yī)療、交通、金融、旅游等相關(guān)的大數(shù)據(jù)科研項目和計算機類競賽項目兩個部分,目的是在幫助學(xué)生掌握大數(shù)據(jù)基本實驗技能的同時,通過科研競賽的形式更好地激發(fā)學(xué)生對大數(shù)據(jù)實驗項目的思維,為之后學(xué)生實訓(xùn)階段打下堅實的基礎(chǔ)。

(4) 學(xué)生實訓(xùn)創(chuàng)新平臺。學(xué)生實訓(xùn)創(chuàng)新平臺目標是讓每位學(xué)生都完整地參與開發(fā)并完成一個真實項目、了解一套軟件開發(fā)流程、熟悉一種編程框架,最終提升職業(yè)能力與綜合素質(zhì)。實訓(xùn)實驗室將充分滿足專業(yè)實習(xí)實訓(xùn)要求,形式多樣化,主要包含課程綜合實訓(xùn),大數(shù)據(jù)創(chuàng)新實訓(xùn)和企業(yè)大數(shù)據(jù)真實案例實訓(xùn)[10]。其中課程綜合能力的實訓(xùn)將在平時課程實驗的基礎(chǔ)上,結(jié)合所學(xué)知識進行綜合實訓(xùn),提高學(xué)生綜合創(chuàng)新能力。大數(shù)據(jù)創(chuàng)新實訓(xùn)階段主要是針對大數(shù)據(jù)專業(yè)實踐課程的進階,如分布式數(shù)據(jù)倉庫學(xué)習(xí),數(shù)據(jù)挖掘算法優(yōu)化實踐,數(shù)據(jù)可視化開發(fā)和Spark開發(fā)應(yīng)用等創(chuàng)新實戰(zhàn),其中數(shù)據(jù)可視化開發(fā)可以深入分析文本可視化、社交網(wǎng)絡(luò)可視化和金融交易日志數(shù)據(jù)可視化等訓(xùn)練。企業(yè)真實案例實訓(xùn)將在企業(yè)真實數(shù)據(jù)下體驗網(wǎng)商等企業(yè)用戶購物行為數(shù)據(jù),學(xué)生可以對這些企業(yè)產(chǎn)業(yè)運作進行推薦算法設(shè)計分析,提前體驗企業(yè)的工作模式。

3 大數(shù)據(jù)實驗室建設(shè)的優(yōu)勢

大數(shù)據(jù)實驗室建設(shè)為適應(yīng)時代的發(fā)展,具有如下優(yōu)勢[11]：

(1) 結(jié)合大數(shù)據(jù)技術(shù),優(yōu)化實驗教學(xué)體系。大數(shù)據(jù)實驗室建設(shè)結(jié)合課程教學(xué)、課程實驗、科研競賽、創(chuàng)新實訓(xùn)和企業(yè)案例實踐,不僅能夠提高學(xué)生的動手創(chuàng)新實踐能力,還可以使學(xué)生真正體驗到所學(xué)的知識與企業(yè)結(jié)合的實驗經(jīng)歷。

(2) 與社會對人才需求緊密接軌,培養(yǎng)高質(zhì)量的人才。大數(shù)據(jù)實驗平臺建設(shè)充分滿足了社會創(chuàng)新人才的需求,通過科研、教學(xué)實踐與企業(yè)緊密結(jié)合,將為大數(shù)據(jù)實驗未來建設(shè)發(fā)展提供強有力的支撐,實現(xiàn)大數(shù)據(jù)專業(yè)人才培養(yǎng)與改善人才培養(yǎng)環(huán)境的雙向互補,輸送高質(zhì)量的大數(shù)據(jù)應(yīng)用核心人才。

(3) 吸引更多先進的技術(shù)和高水平的師資力量。實驗平臺建設(shè)能有效實現(xiàn)引進國內(nèi)外先進的大數(shù)據(jù)技術(shù)和高水平的師資隊伍,提高師資的科研水平與教學(xué)質(zhì)量。

4 結(jié)語

通過對大數(shù)據(jù)發(fā)展前景的分析,以社會人才趨向為目標,將教學(xué)、科研以及學(xué)生實訓(xùn)等需求考慮到大數(shù)據(jù)實驗室的建設(shè)中,一方面加強了學(xué)生的創(chuàng)新實踐能力和科學(xué)研究能力,另一方面,以企業(yè)創(chuàng)新實踐為導(dǎo)向,提升了教學(xué)質(zhì)量、師資能力,以及學(xué)生就業(yè)競爭能力,從而真正達到了產(chǎn)學(xué)研一體的目標。