基于應(yīng)用型高校的大數(shù)據(jù)實驗室建設(shè)研究

蔡宇

摘要：隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、云計算、企業(yè)級軟件的快速發(fā)展，企業(yè)數(shù)據(jù)量已呈幾何倍數(shù)增長，大數(shù)據(jù)技術(shù)應(yīng)運而生，高校大數(shù)據(jù)實驗室的建設(shè)勢在必行。該文首先對高校大數(shù)據(jù)實驗室建設(shè)的必要性進(jìn)行了分析，然后列舉了目前高校實驗室中存在的問題，在此基礎(chǔ)上，闡述了大數(shù)據(jù)實驗室建設(shè)的理念，并提出大數(shù)據(jù)實驗室的建設(shè)方案。

關(guān)鍵詞：大數(shù)據(jù)；云計算；大數(shù)據(jù)實驗室；理念；方案

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2018）17-0001-02

1 必要性

移動互聯(lián)網(wǎng)、電子商務(wù)以及社交媒體的快速發(fā)展使得企業(yè)需要面臨的數(shù)據(jù)量成指數(shù)增長。在中國以Hadoop、Spark、storm、數(shù)據(jù)庫一體機以及內(nèi)存計算技術(shù)為代表的大數(shù)據(jù)相關(guān)技術(shù)，從互聯(lián)網(wǎng)企業(yè)，到電信、金融、政府這樣的傳統(tǒng)行業(yè)都在大規(guī)模應(yīng)用，特別互聯(lián)網(wǎng)公司利用大數(shù)據(jù)進(jìn)行大數(shù)據(jù)云存儲、大數(shù)據(jù)分析和深度學(xué)習(xí)，應(yīng)用場景也在逐漸拓展，從結(jié)構(gòu)化數(shù)據(jù)的分析，發(fā)展到半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的分析。

目前，許多高校申請了云計算與大數(shù)據(jù)專業(yè)，未來相關(guān)專業(yè)的學(xué)生需要分別從原理、技術(shù)與應(yīng)用等不同的角度掌握大數(shù)據(jù)分析的理論與分析方法，除了課堂學(xué)習(xí)，還需要通過實驗來加深理解和提高實際應(yīng)用操作能力。而大數(shù)據(jù)相關(guān)實驗所需要的算法、計算環(huán)境以及數(shù)據(jù)等，都無法在現(xiàn)有的實驗室中完成。因此，建設(shè)大數(shù)據(jù)實驗室是十分必要的。

2 目前高校實驗室中存在的問題

目前高?，F(xiàn)有的實驗室中普遍存在以下問題：

2.1 基礎(chǔ)實驗設(shè)備匱乏

大數(shù)據(jù)實驗硬件配置要求高，學(xué)校無法為每個學(xué)院提供大數(shù)據(jù)集群實驗環(huán)境。

2.2 基礎(chǔ)實驗環(huán)境薄弱

大數(shù)據(jù)分布式軟件系統(tǒng)部署、配置、維護(hù)難度大，實驗環(huán)境不容易保持；大數(shù)據(jù)分布式軟件系統(tǒng)安裝、配置難度大，實驗環(huán)境容易被破壞；實驗數(shù)據(jù)、實驗教案、實驗手冊不足，實驗開展束手束腳；大數(shù)據(jù)實驗室比較欠缺。

2.3 實驗教學(xué)標(biāo)準(zhǔn)缺失

大數(shù)據(jù)組件更新速度快，實驗難度大，實驗步驟繁瑣，實驗教學(xué)缺乏統(tǒng)一的標(biāo)準(zhǔn)規(guī)范。

2.4 項目實訓(xùn)案例稀缺

缺少大數(shù)據(jù)項目實訓(xùn)，難以培養(yǎng)實用型人才所需的專業(yè)項目能力。

2.5 課程體系待完善，大數(shù)據(jù)教學(xué)科研入門難

各大學(xué)校的大數(shù)據(jù)專業(yè)處于起步階段，人才培養(yǎng)課程體系缺乏系統(tǒng)性；大數(shù)據(jù)教學(xué)科研資源匱乏，可配置和指導(dǎo)實驗環(huán)境的專業(yè)師資不足。

3 大數(shù)據(jù)實驗室建設(shè)理念

針對上述問題，結(jié)合大數(shù)據(jù)的特點，提出大數(shù)據(jù)實驗室建設(shè)的理念如下：

3.1 理論與實踐相結(jié)合

理論與實踐相結(jié)合是知識經(jīng)濟(jì)背景下歷史發(fā)展的必然要求。在知識經(jīng)濟(jì)社會，高校是理論產(chǎn)生和傳播的主體，積累并傳承專業(yè)方向理論知識，指導(dǎo)學(xué)習(xí)者的實踐活動與生產(chǎn)技能訓(xùn)練。多國國際知名高校案例經(jīng)驗表明，對于我國起步較晚的大數(shù)據(jù)學(xué)科方向建設(shè)發(fā)展，該專業(yè)應(yīng)在理論與實踐相結(jié)合的基礎(chǔ)上側(cè)重于實踐，才能厚積薄發(fā)、趕超國際水準(zhǔn)。

3.2 適應(yīng)社會人才需求

高端大數(shù)據(jù)人才培養(yǎng)是大數(shù)據(jù)實驗室建設(shè)的重要目標(biāo)。當(dāng)前各地院校在人才培養(yǎng)過程中必須以社會崗位的實際需求作為根本出發(fā)點，深入了解電信、零售、電力、銀行、證券、期貨、基金等眾多行業(yè)機構(gòu)對大數(shù)據(jù)學(xué)科高端人才的需求。根據(jù)權(quán)威調(diào)查，2015年以前，大數(shù)據(jù)將在全球范圍增加440萬就業(yè)機會。

3.3 堅持創(chuàng)新

創(chuàng)新必須是與時俱進(jìn)，國內(nèi)信息技術(shù)的發(fā)展為大數(shù)據(jù)的創(chuàng)新提供了沃土，但這些遠(yuǎn)遠(yuǎn)不夠。大數(shù)據(jù)教學(xué)實驗室建設(shè)首先樹立創(chuàng)新機制、激勵制度；其次是尊重鼓勵創(chuàng)新人才；再者是為了大數(shù)據(jù)創(chuàng)新提供必要的物質(zhì)條件。各類院校都可以選擇一條適合自己創(chuàng)新理念和模式，有利于促進(jìn)院?？缭绞桨l(fā)展與品牌影響力提升。

3.4 專業(yè)深度與廣度

專業(yè)的深度與廣度并重是加強大數(shù)據(jù)實驗室建設(shè)與創(chuàng)新的基本條件，也是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的必然目標(biāo)導(dǎo)向。不斷縱向深入大數(shù)據(jù)的研究和創(chuàng)新大數(shù)據(jù)新的專業(yè)方向交叉點是推動新理論、新技術(shù)、新產(chǎn)品的必要條件。深度建設(shè)有利于大數(shù)據(jù)解決更為深層次性的大數(shù)據(jù)問題及工具方法創(chuàng)新；廣度可以使大數(shù)據(jù)與更多專業(yè)相結(jié)合，發(fā)展更多前沿方向與分支研究領(lǐng)域，同時也有利于解決各行各業(yè)出現(xiàn)的大數(shù)據(jù)的問題。

3.5 產(chǎn)學(xué)研一體化

堅持產(chǎn)學(xué)研一體化建設(shè)是科教興國戰(zhàn)略中必然的制度安排。在科教興國戰(zhàn)略體系中，教育、科研、生產(chǎn)相結(jié)合是一項重要的戰(zhàn)略措施，國家出臺了一系列政策法規(guī)支持高等學(xué)校推行教育、科研、生產(chǎn)相結(jié)合。當(dāng)前國內(nèi)，一方面產(chǎn)學(xué)研合作沒有形成很好的發(fā)展模式，另一方面部分院校對大數(shù)據(jù)方向定位及建設(shè)理念不恰當(dāng)，從而造成國內(nèi)大數(shù)據(jù)的研究成果能夠解決國內(nèi)大數(shù)據(jù)行業(yè)問題的不多，院校亦不能從這個模式中為其獲得長久的發(fā)展經(jīng)濟(jì)動力。

3.6 院校特色定位

在借鑒國際經(jīng)驗和標(biāo)準(zhǔn)基礎(chǔ)上，各類院校在建設(shè)大數(shù)據(jù)實驗室的過程中，應(yīng)該按照各自的總體發(fā)展目標(biāo)為核心，依據(jù)自身區(qū)域、師資力量、專業(yè)方向優(yōu)勢定位，采取不同模式的專業(yè)方向建設(shè)來確定自身的發(fā)展特色定位。我國經(jīng)濟(jì)發(fā)展各區(qū)各省都呈現(xiàn)不均衡狀態(tài)，各行各業(yè)改革發(fā)展深度不一致，為院校大數(shù)據(jù)學(xué)科方向建設(shè)的特色定位提供了發(fā)展空間。

4 大數(shù)據(jù)實驗室建設(shè)方案

大數(shù)據(jù)實驗室整體方案可以劃分為六個層級，如下圖所示：

4.1 大數(shù)據(jù)平臺層

該平臺應(yīng)選擇基于業(yè)界最先進(jìn)的硬件平臺，應(yīng)是一個包括了數(shù)據(jù)存儲、數(shù)據(jù)整合、數(shù)據(jù)分析與處理以及應(yīng)用API服務(wù)的綜合產(chǎn)品。在滿足批處理的基本功能上，既支持企業(yè)級的數(shù)據(jù)整合與處理，又整合了多種開源的ETL以及數(shù)據(jù)處理和分析工具；既包括了內(nèi)存式數(shù)據(jù)分析（Spark）引擎，又支持Ad Hoc查詢；既提供了實時檢索引擎，又支持深度分析和挖掘工具。

4.2 平臺管理

可對平臺中的集群（服務(wù)/主機）、分布式作業(yè)、分布式調(diào)度、Hive表以及Hive數(shù)據(jù)、Hbase表、Hbase數(shù)據(jù)、Hive數(shù)據(jù)等進(jìn)行可視化監(jiān)控和訪問。

4.3 可擴(kuò)展的課程體系

一方面，大數(shù)據(jù)課程體系根據(jù)不同學(xué)歷和職業(yè)方向設(shè)置不同的課程學(xué)習(xí)路線，針對每門課程提供教學(xué)實驗指導(dǎo)手冊、在線視頻、資源包、實驗示例代碼等，讓學(xué)生學(xué)以致用。通過在線學(xué)習(xí)、原理驗證、實訓(xùn)應(yīng)用、綜合分析及自主設(shè)計等多層次的實驗操作，為大數(shù)據(jù)教學(xué)提供一個完整的一體化的實驗教學(xué)體系。

另一方面，在大數(shù)據(jù)實驗教學(xué)平臺中結(jié)合實際需求，能夠構(gòu)建全新的實驗教學(xué)課程的教學(xué)計劃和能力測評，從而滿足可持續(xù)的拓展與完善在大數(shù)據(jù)實驗教學(xué)平臺上開展各種實驗教學(xué)課程需求，建立更多不同的實驗教學(xué)課程應(yīng)用。

4.4 大數(shù)據(jù)行業(yè)項目案例

提供行業(yè)典型項目案例及行業(yè)數(shù)據(jù)，項目涉及互聯(lián)網(wǎng)、運營商、金融、電子商務(wù)、政府等10多個領(lǐng)域，每個項目案例都配備項目指導(dǎo)手冊、講解視頻、行業(yè)數(shù)據(jù)及項目代碼。

每個教學(xué)項目案例包數(shù)據(jù)量應(yīng)達(dá)到GB-TB以上，均為真實數(shù)據(jù)，每個案例有詳細(xì)的分析步驟。通過完整的端到端到業(yè)務(wù)流程演示與上機操作訓(xùn)練，讓學(xué)生真正了解大數(shù)據(jù)行業(yè)背景以及企業(yè)實施技術(shù)需求。通過極具針對性的訓(xùn)練，動手操作，使學(xué)生在最短時間內(nèi)得到應(yīng)用技術(shù)技能的提升，理進(jìn)一步滿足職業(yè)崗位對工作技能的需求。

4.5 教學(xué)系統(tǒng)

教學(xué)系統(tǒng)應(yīng)合理對大數(shù)據(jù)平臺資源集中調(diào)度和管理，構(gòu)建各門課程所需的軟件系統(tǒng)，支持較全面的大數(shù)據(jù)高級特性，經(jīng)過專業(yè)的性能優(yōu)化和軟硬件集成測試，保證高性能與穩(wěn)定可靠運行。

4.6 科研系統(tǒng)

通過大數(shù)據(jù)分析平臺、數(shù)據(jù)挖掘平臺，可以充分匹配教師科研需求，提升教師的科研創(chuàng)新能力，有效提升科研成效。

5 結(jié)束語

本文對大數(shù)據(jù)實驗室建設(shè)的理念從六個方面進(jìn)行了闡釋，符合目前高校建設(shè)大數(shù)據(jù)實驗室的需求，具有一定的參考價值。在大數(shù)據(jù)實驗室的建設(shè)方案上，本文將大數(shù)據(jù)實驗室劃分為了六個層次，每個層次作用鮮明，適用范圍廣，具有一定的實用價值。

參看文獻(xiàn)：

[1] 吳明念. 基于應(yīng)用型高校的大數(shù)據(jù)實驗室探究[J]. 電腦知識與技術(shù)， 2015，11（16）.

[2] 王鵬. 云計算與大數(shù)據(jù)技術(shù)[M]. 北京： 人民郵電出版社， 2014.