我國普通高校大數(shù)據(jù)管理與應用專業(yè)實驗課程體系建設研究

王穎純，張紫荊，馮 嬌，賈雪琳

（天津理工大學管理學院，天津 300384）

0 引言

目前，全國各大高校都在陸續(xù)開設大數(shù)據(jù)管理與應用專業(yè)，專業(yè)性質(zhì)決定了該專業(yè)的學生需要了解大數(shù)據(jù)管理的相關(guān)原理，掌握相關(guān)理論和技術(shù)，理解大數(shù)據(jù)技術(shù)在實際管理和決策中的應用。當前社會信息化發(fā)展速度迅猛，大數(shù)據(jù)管理與應用作為一門新興應用技術(shù)型專業(yè)在課程設計等方面尚不夠成熟，各高校大數(shù)據(jù)管理與應用專業(yè)的實驗課程體系較社會需求來說相對滯后，各高校有必要完善該專業(yè)的實驗課程體系，對該專業(yè)的教學內(nèi)容進行課程改革，在學習理論課程的同時，加強實踐能力，加快學生對社會環(huán)境的適應速度。本文以天津理工大學大數(shù)據(jù)管理與應用實驗室建設為背景，對該專業(yè)的實驗課程體系的建設進行探析。

1 大數(shù)據(jù)管理與應用專業(yè)實驗課程體系的研究現(xiàn)狀及所存在的問題

1.1 存在的問題

大數(shù)據(jù)管理與應用專業(yè)是一門多學科交叉的綜合性學科，旨在培養(yǎng)復合型人才，要求學生不僅要具備信息系統(tǒng)方面的專業(yè)技術(shù)，還要具備管理能力。因此，該專業(yè)雖然屬于管理類，但是要求學生在具備信息化方面的專業(yè)知識的同時也要擁有實際操作能力，現(xiàn)在的企事業(yè)單位非常重視該專業(yè)學生能否在工作中充分發(fā)揮大數(shù)據(jù)的優(yōu)勢處理實際問題。然而目前該專業(yè)的實驗課程體系在專業(yè)技術(shù)知識和處理實際問題方面的融合與社會要求相比依然滯后，這也說明該專業(yè)的實驗課程體系不夠完善，實驗課程設計不能接軌業(yè)界需求，學生難以將專業(yè)技術(shù)知識向解決問題的行為能力順利過渡。當前大數(shù)據(jù)管理與應用專業(yè)的實驗課程體系不夠合理主要表現(xiàn)在兩個方面：其一是上機實驗課時占總學時的比重不足；其二是具體實驗課程中實驗操作內(nèi)容綜合性不足。

1.2 研究現(xiàn)狀

劉莉[1]認為大數(shù)據(jù)管理與應用專業(yè)的改革應結(jié)合本專業(yè)培養(yǎng)目標，做到教師主導，學生主體，讓學生對專業(yè)感興趣，主動學習思考，提高實踐能力，在畢業(yè)求職過程中有較強的自身優(yōu)勢。魏小龍[2]認為目前實驗教學出現(xiàn)為題的原因在于對課程在專業(yè)體系中的作用分析不到位，學生進行實驗的主動性較差，應該重構(gòu)課程內(nèi)容，聯(lián)系運維實際，以實際操作考核的形式進行考核。劉海燕[3]認為大數(shù)據(jù)管理與應用專業(yè)應注重實踐過程，堅持“理論與實踐并重，知識與運用相結(jié)合”原則，及時更新和改革現(xiàn)行的教學內(nèi)容，通過拓寬學生的知識面，培養(yǎng)學生分析和解決實際問題的能力，發(fā)展學生的創(chuàng)新能力，逐步縮小社會需求與人才培養(yǎng)之間的差距和矛盾。吳湘寧等[4]梳理了大數(shù)據(jù)專業(yè)知識體系，認為設計實驗課程體系需要在考慮畢業(yè)生的職業(yè)定位的同時，選擇被業(yè)界認可的通用技術(shù)和實驗平臺開設實驗課程，提出了在不同環(huán)境下建設大數(shù)據(jù)實驗室時所對應的方案，以及相關(guān)的實驗課程體系和具體的實驗項目。劉芳[5]通過分析大數(shù)據(jù)人才需求，詳細介紹了大數(shù)據(jù)實驗教學平臺的搭建流程，并設計了對應的具體實驗項目，采用開放實驗室的管理模式，讓學生開源自由選擇時間進行仿真實驗，一定程度上解決了實驗課時不足的問題。

2 大數(shù)據(jù)管理與應用方向的課程體系

2.1 大數(shù)據(jù)管理與應用的學科特點決定的基礎課程

大數(shù)據(jù)管理及應用學科，正在開展研究如何利用信息系統(tǒng)實現(xiàn)管理與控制。它具備雙重意義：一是運用大數(shù)據(jù)處理網(wǎng)絡系統(tǒng)進行大數(shù)據(jù)分析，二是運用大數(shù)據(jù)處理網(wǎng)絡系統(tǒng)進行大數(shù)據(jù)的研究和實證。在進行信息處理與數(shù)據(jù)分析過程中，所需的數(shù)據(jù)處理人員為大數(shù)據(jù)處理工程技術(shù)人員、大數(shù)據(jù)分析人員和大數(shù)據(jù)處理科研人員以及專門負責大數(shù)據(jù)處理工作的專業(yè)技術(shù)人員。在數(shù)據(jù)傳輸過程中，他們有自身的責任。相應的程序設計能力均可在專業(yè)知識板塊中獲取，而信息處理能力、大數(shù)據(jù)挖掘及其可視化能力就需要相關(guān)的學科來支持。具體內(nèi)容如圖1所示。

圖1 數(shù)據(jù)人才的職責與技能

2.2 大數(shù)據(jù)管理與應用專業(yè)課程體系

大數(shù)據(jù)是研究數(shù)據(jù)的類型、現(xiàn)狀、屬性、形式和數(shù)據(jù)變化規(guī)律的學科，因此大數(shù)據(jù)的課程和教學改革應該在考慮大學四年的情況下實施，首先遵循數(shù)據(jù)分析的生命周期。大數(shù)據(jù)學科考慮到它自身的學科特點將其分為三個模塊，主要包括基礎理論課程模塊、分析技術(shù)課程模塊和商務數(shù)據(jù)實踐課程模塊。理論的研究方式主要包括利用數(shù)據(jù)進行科學的觀測和對基本數(shù)據(jù)的邏輯推理，運用數(shù)據(jù)特征和數(shù)據(jù)推理方法及其中的觀察方式，完成生命周期中的業(yè)務理解和數(shù)據(jù)感知；而分析技術(shù)主要是利用核心的方法對大數(shù)據(jù)進行探索與研究，以便學會認識和把握大數(shù)據(jù)分析變化中的各種類型、狀態(tài)、屬性、類型，以及變化規(guī)律；而商務數(shù)據(jù)實踐工作則主要應根據(jù)高校的工作特色和專業(yè)化，把大數(shù)據(jù)分析科學研究的理論與方法運用到多個應用領(lǐng)域。主要課程詳見圖2。

圖2 大數(shù)據(jù)管理與應用專業(yè)主要課程

2.3 大數(shù)據(jù)管理與應用專業(yè)實驗課程體系

2.3.1 Hadoop平臺

Hadoop是一種分布式系統(tǒng)基礎架構(gòu)，能夠?qū)Ａ繑?shù)據(jù)進行處理，是當前各大企業(yè)進行大數(shù)據(jù)開發(fā)的首選。Hadoop生態(tài)系統(tǒng)支持結(jié)構(gòu)化查詢語句，具有關(guān)系型數(shù)據(jù)庫的優(yōu)勢。通過開設Hadoop實驗課程，使學生掌握開發(fā)平臺的搭建流程，理解MapReduce并行計算的算法設計，學習通過調(diào)整Map和Reduce的各項參數(shù)調(diào)優(yōu)性能。目前國內(nèi)能夠熟練掌握Hadoop技術(shù)的人才非常稀少，開設Hadoop實驗課程讓學生掌握 Hadoop使用方法是培養(yǎng)學生使用大數(shù)據(jù)平臺，進行數(shù)據(jù)的分析處理等操作的前提條件。

2.3.2 Spark計算引擎

Apache Spark也是一種開源集群計算環(huán)境，為大數(shù)據(jù)處理提供通用并行框架。作為Hadoop的補充，Spark能夠在Hadoop環(huán)境下并行運行。Spark通過將運行過程中的中間輸出結(jié)果在內(nèi)存中進行存儲[6]，能夠提供比Hadoop更快的速度和更高的性能，通過建立在Java、Scala、Python、SQL的標準API也使其具備更強大的易用性。此外，Apache Spark由Scala實現(xiàn)，代碼比較簡潔，但存在一定的門檻，開設Spark實驗課程能夠為該專業(yè)學生作為大數(shù)據(jù)處理工程技術(shù)人才使用 Spark進行數(shù)據(jù)系統(tǒng)的管理與維護打下基礎。

2.3.3 Linux操作系統(tǒng)

Linux是一款典型的開源操作系統(tǒng)，由于其性能穩(wěn)定，也是目前最常用的開源操作系統(tǒng)。Linux被廣泛應用于各種嵌入式開發(fā)領(lǐng)域，網(wǎng)絡運維人員也將其作為服務器使用[14]。掌握Linux操作系統(tǒng)是搭建Hadoop集群的必要條件。通過開設 Linux實驗課程，使學生在上機操作的過程中熟悉Linux系統(tǒng)中的常用命令語句，是后續(xù)學生在Linux系統(tǒng)環(huán)境下搭建Hadoop平臺進行操作時的必備技能。

2.3.4 基于Python的數(shù)據(jù)爬蟲和數(shù)據(jù)處理

網(wǎng)絡爬蟲是Python的優(yōu)勢領(lǐng)域，使用Python編寫爬蟲可以自動抓取互聯(lián)網(wǎng)上的信息，能夠支持大量并發(fā)操作，是大數(shù)據(jù)處理人員獲取數(shù)據(jù)的重要途徑。Python簡單易學，可讀性強，其豐富的庫還能夠為數(shù)據(jù)分析提供大量工具集，相比常規(guī)的數(shù)據(jù)處理軟件，Python能夠處理規(guī)模更大的數(shù)據(jù)集以及更復雜的數(shù)據(jù)邏輯。數(shù)據(jù)的收集和預處理是大數(shù)據(jù)處理工程技術(shù)人才的必備技能。通過開設Python實驗課程，使學生掌握通過爬蟲獲取數(shù)據(jù)的方法，才能夠為后續(xù)使用HBase進行數(shù)據(jù)挖掘、大數(shù)據(jù)分析等操作提供數(shù)據(jù)源，也是大數(shù)據(jù)分析人員進行算法設計和挖掘模型開發(fā)的參考依據(jù)。

2.3.5 HBase開源數(shù)據(jù)庫和Hive數(shù)據(jù)倉庫

HBase屬于分布式數(shù)據(jù)庫，為Hadoop中的數(shù)據(jù)提供存儲服務，并通過MapReduce管理存儲在數(shù)據(jù)庫中的數(shù)據(jù)。區(qū)別于一般的關(guān)系數(shù)據(jù)庫，HBase不屬于關(guān)系型數(shù)據(jù)庫，也不支持SQL。HBase基于列的模式存儲數(shù)據(jù)，進行數(shù)據(jù)檢索查詢只需訪問相關(guān)列。通過實驗使學生熟悉HBase中增刪改查的相關(guān)語句，掌握在Hadoop和HBase之間進行數(shù)據(jù)遷移的相關(guān)操作。

Hive使用HQL這種類SQL查詢語言，是一種建立在Hadoop上的數(shù)據(jù)倉庫架構(gòu)。大數(shù)據(jù)分析人員通過使用Hive對存儲在HDFS中的數(shù)據(jù)進行管理和分析，并使用MapReduce完成命令的執(zhí)行。HBase和Hive在大數(shù)據(jù)架構(gòu)中占據(jù)的位置不同，發(fā)揮的作用也不同，HBase主要進行明細數(shù)據(jù)的實時查詢的操作，Hive主要用于進行大規(guī)模靜態(tài)數(shù)據(jù)處理和計算。通過實驗使學生熟悉HBase和Hive的功能并結(jié)合使用能夠得到相得益彰的效果。能夠熟練使用HBase和Hive進行數(shù)據(jù)管理是學生將來作為大數(shù)據(jù)分析人員通過數(shù)據(jù)挖掘和分析，提煉有效信息，并結(jié)合管理理論輔助企業(yè)經(jīng)營決策的重要手段。

3 大數(shù)據(jù)管理與應用專業(yè)課程設置的建議

3.1 改革教育模式與方法

大數(shù)據(jù)管理與應用專業(yè)在教學過程中，應注重理論與實際相結(jié)合，強調(diào)課程學習與實踐操作相結(jié)合。遵循老師主導，學生主體的原則。在實驗課程中，增強實驗探究性，給予學生充分發(fā)揮的空間，在講好理論前提之下，最大程度保證學生實驗時間。在實驗課程中提出問題，讓學生自主思考，給予學生充分的實驗時間以及試錯機會，使學生在實驗過程中更好地體會理論知識并加以掌握，讓實驗課程發(fā)揮最大的作用。對于基礎較好的同學，要鼓勵其進行創(chuàng)新型實驗以培養(yǎng)創(chuàng)新型人才。

教師在設計實驗課程的時候應根據(jù)課程體系要求，分析各門課程在課程體系中的作用，重構(gòu)實驗課程內(nèi)容。鑒于大數(shù)據(jù)管理與應用專業(yè)的專業(yè)特點，要求該專業(yè)學生綜合掌握各方面知識，導致理論知識過于繁雜，教師應平衡理論內(nèi)容教學課時與上機實驗課時之間的關(guān)系，將理論體現(xiàn)在實踐過程中，擺脫“重理論輕實踐”的現(xiàn)象。在具體實驗設計上，不僅要設計驗證性的基礎案例，也要強調(diào)案例的綜合性和創(chuàng)新性，激發(fā)學生的探究精神和思維能力。教師應主動利用各個實驗課程之間的相關(guān)性，倡導學生結(jié)合多門實驗課程完成實際操作考核，培養(yǎng)學生的綜合應用能力。

3.2 校企合作

大數(shù)據(jù)管理與應用專業(yè)具有很強的創(chuàng)新性和實踐性，注重學生的實踐能力。在理論知識扎實的基礎上，對實踐性較強的實驗課程開展校企合作。由于企業(yè)對實踐能力要求較高，而學校相對企業(yè)來說實驗的前沿性不足，在課程講授方面，可以實施雙教師模式，邀請企業(yè)相關(guān)人員進行實驗課程講授，結(jié)合實際案例，從專業(yè)角度指導學生進行上機實驗，使實驗更貼切實際，讓學生更容易進行實操并與企業(yè)接軌，學校教師輔助企業(yè)人員解答學生疑問，使學生了解最前沿的技術(shù)和應用，對相關(guān)知識有更加深入的了解，在實驗過程中真正掌握一門技術(shù)。例如編程課程，學校講授基礎理論，上機操作比較簡單或有一定的模式可遵循，引入雙導師制度，企業(yè)真實案例更有助于學生實操能力的提升。

3.3 樹立融合發(fā)展理念

大數(shù)據(jù)管理與應用專業(yè)是一門綜合性較強的專業(yè)，旨在培養(yǎng)可以利用本專業(yè)知識開展信息系統(tǒng)策劃、系統(tǒng)分析、設計與實現(xiàn)，能熟練利用數(shù)據(jù)挖掘、數(shù)據(jù)分析等技術(shù)手段支持組織管理決策的人才。相對應的實驗課程也應該更加豐富，對有實驗需求的課程要嚴格落實，給予學生充分的實驗時間。在每一門實驗課掌握良好的基礎之上，設置綜合實驗課程，使學生對課程之間的關(guān)系有進一步的認識，培養(yǎng)復合型人才。在條件允許的情況下，和企業(yè)達成合作，讓學生有機會去企業(yè)實習，把課堂設置于企業(yè)之中，使學生在更切實的實驗條件下進行學習，更有利于課程的推進，有利于學生的發(fā)展。

4 結(jié)論

在大數(shù)據(jù)背景下，大數(shù)據(jù)管理與應用專業(yè)要凸顯專業(yè)優(yōu)勢，設置先進合理的課程體系，而不是把課程機械的組合在一起，要培養(yǎng)復合型人才，培養(yǎng)與時俱進、符合時代需求的人才，為學生未來發(fā)展打下良好的基礎。大數(shù)據(jù)管理與應用是實踐性很強的專業(yè)，分析問題解決問題以及動手實踐能力是本專業(yè)的核心能力之一。本專業(yè)一部分實踐能力的培養(yǎng)是通過課程中的實驗環(huán)節(jié)實現(xiàn)，獨立實驗課程較弱，本研究的結(jié)論是加強獨立實驗課程建設，并且由于本專業(yè)技術(shù)更新日新月異，所以實驗課程的設置要與時俱進，緊跟當前技術(shù)熱點，這不是一次性教改可以達到的目標，實驗課程建設要常態(tài)化，才能使畢業(yè)生更快地融入工作崗位。