面向數(shù)據(jù)工程師培養(yǎng)的軟件工程專業(yè)課程群建設(shè)

應(yīng)毅+任凱+顧問

摘 要：大數(shù)據(jù)和云計算是當前IT行業(yè)兩個最大的創(chuàng)新，新技術(shù)的高速發(fā)展帶動人才需求的高速增長。在分析計算機專業(yè)人才培養(yǎng)現(xiàn)狀的基礎(chǔ)上，提出在軟件工程專業(yè)下設(shè)置數(shù)據(jù)工程方向；對應(yīng)用型數(shù)據(jù)工程師的能力培養(yǎng)進行剖析，給出數(shù)據(jù)工程課程群的整體設(shè)計，詳述實驗課和實驗室建設(shè)的思路和方法。

關(guān)鍵詞：大數(shù)據(jù)；云計算；軟件工程；數(shù)據(jù)工程；課程群設(shè)計

文章編號：1672-5913（2017）05-0025-05

中圖分類號：G642

1 背 景

近10年來，信息呈爆炸式增長。據(jù)EMC公司的“Digital Universe”項目統(tǒng)計，2011年和2012年全球新增數(shù)據(jù)總量分別為1.8ZB和2.8ZB[1-2]，2013年數(shù)據(jù)總量高達4.4ZB[3]。Gartner認為“大數(shù)據(jù)是需要新的處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)”。它已經(jīng)成為一種重要的戰(zhàn)略資源，引起了各國政府、工業(yè)界和學(xué)術(shù)界的高度關(guān)注。2012年3月奧巴馬政府宣布啟動“大數(shù)據(jù)研究與開發(fā)計劃”[4]；2015年8月國務(wù)院通過《關(guān)于促進大數(shù)據(jù)發(fā)展的行動綱要》[5]。

從2009年起，云計算技術(shù)開始迅猛發(fā)展，它是一種基于互聯(lián)網(wǎng)的、大眾參與的計算模式，其計算資源是動態(tài)、可伸縮、被虛擬化的，且以服務(wù)的方式提供。如今云計算已成為企業(yè)實力競爭的核心以及國家競爭和戰(zhàn)略發(fā)展的核心，我國政府在《國民經(jīng)濟和社會發(fā)展第十二個五年規(guī)劃綱要》[6]中指出要大力發(fā)展新一代信息技術(shù)，重點發(fā)展云計算、物聯(lián)網(wǎng)、高端軟件等產(chǎn)業(yè)；美國政府也于2011年出臺《聯(lián)邦云計算戰(zhàn)略》[7]。

大數(shù)據(jù)和云計算是目前IT行業(yè)兩個最大的創(chuàng)新，它們將改變商業(yè)管理的方式并從最重要的信息資產(chǎn)中獲取相應(yīng)的價值，二者之間的相互需求與密切關(guān)系已得到公認。傳統(tǒng)的單機技術(shù)在處理大數(shù)據(jù)時遇到了瓶頸，需要借助云計算平臺的大規(guī)模數(shù)據(jù)存儲環(huán)境和并發(fā)計算能力來破解。云計算通過整合軟硬件資源，使用負載均衡、虛擬化、并行計算、網(wǎng)絡(luò)存儲、統(tǒng)一管理等技術(shù)手段，實現(xiàn)了IT服務(wù)的無縫化、定制化和彈性服務(wù)，可以使大數(shù)據(jù)平臺的復(fù)雜性大為降低，能方便地存儲與處理異構(gòu)系統(tǒng)中的海量數(shù)據(jù)，提升資源的利用效率。

2 計算機專業(yè)人才培養(yǎng)現(xiàn)狀

在大數(shù)據(jù)和云計算產(chǎn)業(yè)高速發(fā)展的背景下，計算機專業(yè)的高等教育凸顯出以下兩大問題。

（1）新技術(shù)人才需求缺口大。麥肯錫全球研究院在2011年5月發(fā)表的報告中指出，預(yù)計美國具備數(shù)據(jù)高級分析技能的人才供給量，到2018年將產(chǎn)生14～19萬人的缺口[8]。研究機構(gòu)IDC在2012年的調(diào)查發(fā)現(xiàn)，亞太地區(qū)的云計算相關(guān)人才年需求增長率為32%，到2015年人才缺口將達到230萬人[9]。中國軟件開發(fā)聯(lián)盟CSDN發(fā)布的《2014年IT企業(yè)招聘趨勢調(diào)研報告》[10]指出，大數(shù)據(jù)、云計算技術(shù)崗位市場需求比例為6.65%； 《2015年IT人才招聘趨勢分析》[11]指出，該類職位平均薪酬高達33萬元/年，人才稀缺且身價昂貴。

（2）技術(shù)人才培養(yǎng)與社會需求脫節(jié)。傳統(tǒng)IT類專業(yè)學(xué)生就業(yè)越來越困難。麥可思研究院在2013年發(fā)布的中國大學(xué)生就業(yè)報告中指出，2012屆IT相關(guān)專業(yè)的本科畢業(yè)生半年后失業(yè)率為8.5%，計算機科學(xué)與技術(shù)、信息管理與信息系統(tǒng)、電子信息科學(xué)與技術(shù)等專業(yè)就業(yè)情況被亮黃牌[12]。

以上兩個問題不僅造成計算機專業(yè)畢業(yè)生就業(yè)壓力加劇，也嚴重制約了我國新技術(shù)產(chǎn)業(yè)的發(fā)展。

2011年，軟件工程被增設(shè)為一級學(xué)科（專業(yè)代碼為0835）。軟件作為經(jīng)濟建設(shè)、日常工作及社會生活中不可缺少的重要工具，已滲透到各個應(yīng)用領(lǐng)域，在高等教育中也產(chǎn)生了許多專業(yè)方向，如軟件開發(fā)、軟件測試、移動開發(fā)、服務(wù)外包等。作為交叉性極強的學(xué)科，大數(shù)據(jù)應(yīng)用涉及數(shù)學(xué)、統(tǒng)計學(xué)、計算機技術(shù)、經(jīng)濟學(xué)、行業(yè)知識等各個領(lǐng)域，與傳統(tǒng)的計算機科學(xué)與技術(shù)專業(yè)和當前的軟件工程專業(yè)差別較大，考慮到大數(shù)據(jù)技術(shù)的重要性，可以將數(shù)據(jù)工程設(shè)置為軟件工程學(xué)科的一個專業(yè)方向，主動適應(yīng)經(jīng)濟社會發(fā)展需要，促進學(xué)生就業(yè)，為大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展奠定人才基礎(chǔ)。

3 數(shù)據(jù)工程師的能力培養(yǎng)

大數(shù)據(jù)時代的到來，加劇了培養(yǎng)相關(guān)專業(yè)人才的緊迫性。當前，國內(nèi)外部分高校已經(jīng)開始進行大數(shù)據(jù)及云計算專業(yè)人才的培養(yǎng)。美國有60多所大學(xué)、歐洲有30多所大學(xué)、全球有近170所大學(xué)開設(shè)了大數(shù)據(jù)相關(guān)專業(yè)，其中約150所大學(xué)開設(shè)了碩士研究生以上的學(xué)位課程[8]。國內(nèi)有少數(shù)重點院校，如上海交通大學(xué)、浙江大學(xué)、中國人民大學(xué)和北京航空航天大學(xué)，也開始嘗試培養(yǎng)大數(shù)據(jù)及云計算專業(yè)人才。然而，這些知名高校絕大多數(shù)是在碩士研究生以上層次，圍繞商業(yè)數(shù)據(jù)分析和數(shù)據(jù)科學(xué)范疇進行研究型人才的培養(yǎng)，應(yīng)用型院校開設(shè)相關(guān)專業(yè)進行工程人才的培養(yǎng)還非常欠缺。新建本科院校應(yīng)以服務(wù)區(qū)域經(jīng)濟發(fā)展為主，著力培養(yǎng)能在生產(chǎn)和工程第一線從事工程實施和管理的應(yīng)用型工程師，而軟件工程專業(yè)數(shù)據(jù)工程方向所培養(yǎng)的數(shù)據(jù)工程師就是能使用云計算平臺進行大數(shù)據(jù)分析和應(yīng)用的新技術(shù)人才。

早期高校培養(yǎng)的是“I型”專業(yè)人才，注重知識和技術(shù)的深厚；之后，大學(xué)強調(diào)培養(yǎng)“T型”通用人才，除加深專業(yè)知識外，還強調(diào)知識面的擴展。在大數(shù)據(jù)時代，數(shù)據(jù)處理將更為復(fù)雜，只有那些具備統(tǒng)計分析、數(shù)據(jù)庫、分布式計算、編程技能和相關(guān)專業(yè)知識的人才，才能把混亂龐雜的數(shù)據(jù)轉(zhuǎn)化為有價值的資源；也只有那些能夠深刻理解大數(shù)據(jù)并懂得如何利用和分析大數(shù)據(jù)的人，才有更大的競爭優(yōu)勢。因此，當前更需要的是具備多種能力的復(fù)合型人才，數(shù)據(jù)工程專業(yè)方向要培養(yǎng)的是“技術(shù)+業(yè)務(wù)”的“Π型”復(fù)合人才。

應(yīng)用型工程師區(qū)別于研究型人才的關(guān)鍵在于培養(yǎng)人才的工程能力，強調(diào)動手能力和解決實際問題的能力。教師可通過分布式存儲和海量數(shù)據(jù)管理、并行編程和大數(shù)據(jù)分析挖掘、PaaS平臺應(yīng)用3方面的能力訓(xùn)練，培養(yǎng)掌握設(shè)計、開發(fā)和調(diào)優(yōu)技能的數(shù)據(jù)分析工程師以及掌握規(guī)劃、安裝和管理大數(shù)據(jù)環(huán)境的運維工程師。

4 數(shù)據(jù)工程課程群設(shè)計

課程群的建設(shè)不是簡單的概念組合和課程堆積，尤其是針對新技術(shù)方向，須從實際應(yīng)用角度系統(tǒng)地對教學(xué)內(nèi)容進行再設(shè)計，對相關(guān)課程的結(jié)構(gòu)、關(guān)聯(lián)性和實踐環(huán)節(jié)進行整體優(yōu)化。數(shù)據(jù)工程是一個典型的交叉學(xué)科，涉及眾多領(lǐng)域，如數(shù)學(xué)和統(tǒng)計學(xué)、數(shù)據(jù)庫與數(shù)據(jù)挖掘、分布式系統(tǒng)、計算機編程語言等，所以它的人才培養(yǎng)體系較為復(fù)雜。根據(jù)“Π型”復(fù)合人才的培養(yǎng)要求，課程群以云計算作為技術(shù)平臺，以大數(shù)據(jù)應(yīng)用作為業(yè)務(wù)領(lǐng)域，對教學(xué)體系進行整體設(shè)計和構(gòu)建。

數(shù)據(jù)工程課程群劃分為4條課程主線，每條課程主線包含如下若干門專業(yè)課。

（1）操作系統(tǒng)與網(wǎng)絡(luò)：操作系統(tǒng)原理、計算機網(wǎng)絡(luò)和Linux操作系統(tǒng)；

（2）云計算與并行編程：云計算基礎(chǔ)、云基礎(chǔ)架構(gòu)與虛擬化、Java程序設(shè)計以及Hadoop與分布式系統(tǒng)；

（3）數(shù)據(jù)庫與數(shù)據(jù)挖掘：數(shù)據(jù)庫原理、MySQL與關(guān)系數(shù)據(jù)庫、NoSQL與云數(shù)據(jù)庫以及數(shù)據(jù)倉庫與數(shù)據(jù)挖掘；

（4）大數(shù)據(jù)及其統(tǒng)計分析：統(tǒng)計學(xué)原理、大數(shù)據(jù)概論、大數(shù)據(jù)分析與挖掘以及R語言。

整個課程群還涉及幾門平臺基礎(chǔ)課，即計算機組成原理、數(shù)據(jù)結(jié)構(gòu)和概率論與數(shù)理統(tǒng)計，還包含少量選修課，如商業(yè)智能和數(shù)據(jù)可視化。數(shù)據(jù)工程課程群中課程設(shè)置的先后關(guān)系大致如圖1所示。

由于計算機學(xué)科本身專業(yè)課程多、課時量大，在課程總學(xué)時不變的情況下，可能無法完成上述所有課程。為此，可將數(shù)據(jù)工程專業(yè)的專業(yè)課分成云計算課程模塊、大數(shù)據(jù)課程模塊以及技術(shù)要求更高的選修課。教師可根據(jù)學(xué)生的具體情況，選擇一個課程模塊進行培養(yǎng)，將專業(yè)選修課提供給有興趣和學(xué)有余力的學(xué)生進階學(xué)習(xí)。課程的模塊劃分見表1。

應(yīng)用型工程師的培養(yǎng)主要強調(diào)對軟件及工具的學(xué)習(xí)與掌握，教學(xué)設(shè)計方面要強化實驗及實踐課程。作為Google MapReduce和GFS技術(shù)的開源實現(xiàn)，Apache Hadoop集成了數(shù)據(jù)存儲、數(shù)據(jù)處理、系統(tǒng)管理等功能，提供了強大的系統(tǒng)級解決方案，已經(jīng)成為大數(shù)據(jù)領(lǐng)域事實上的標準。數(shù)據(jù)工程的大部分課程都圍繞Hadoop生態(tài)圈中的軟件或平臺開展實驗教學(xué)活動，主要學(xué)習(xí)Hadoop的以下開源產(chǎn)品：HDFS、MapReduce、HBase、Hive、Pig、Spark、Mahout。各門課程的實驗工具見表2。

5 大數(shù)據(jù)實驗室建設(shè)

大數(shù)據(jù)主要來自于物理世界（如科學(xué)實驗數(shù)據(jù)和傳感數(shù)據(jù)）和互聯(lián)網(wǎng)（如社交網(wǎng)站和電子商務(wù)），包括大量的半結(jié)構(gòu)化數(shù)據(jù)（如HTML和XML）和非結(jié)構(gòu)化數(shù)據(jù)（如文本、圖片、音頻、視頻和UGC）。云計算則可以為大數(shù)據(jù)處理提供強大的計算能力。作為技術(shù)平臺的云計算環(huán)境與以往高校計算機專業(yè)的實驗室環(huán)境完全不同，以往實驗課的計算機通常是1：1使用，即一名學(xué)生使用一臺計算機，如語言類課程和數(shù)據(jù)庫課程；或者是N：1使用，即多名學(xué)生使用一臺服務(wù)器，如軟件工程和項目管理課程。

云計算環(huán)境的計算機是N：N使用，即一組學(xué)生使用一個集群并涉及多種計算機技術(shù)，如Linux系統(tǒng)、Shell命令、虛擬化技術(shù)、分布式存儲、并行計算、Java編程、數(shù)據(jù)挖掘算法等，這在軟硬件環(huán)境、實驗管理、人員組織與搭配等方面，對高校實驗室建設(shè)是一個新挑戰(zhàn)。

每個云計算環(huán)境都由硬件和軟件兩部分構(gòu)成。硬件方面至少由3～4臺PC組成，其中1臺Master、2臺以上Slave和1臺監(jiān)控機；軟件方面，Master/Slave可以由物理機安裝CentOS或者VMware Workstation安裝CentOS，之后安裝JDK和Hadoop、HBase、Spark等軟件工具，監(jiān)控機安裝Windows系統(tǒng)，使用SecureCRT、CuteFTP、UltraEdit對Master/Slave進行配置和管理，使用Eclipse作為開發(fā)工具。

3～5名學(xué)生組成一個實驗小組，使用一個云計算環(huán)境，一個大數(shù)據(jù)實驗室包含6～8個云計算環(huán)境，可以支持30～40名學(xué)生同時開展實驗課；學(xué)生使用Java語言，結(jié)合MapReduce編程框架，完成數(shù)據(jù)挖掘和統(tǒng)計分析算法。這樣的大數(shù)據(jù)實驗室能夠支持Hadoop與分布式系統(tǒng)、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘、大數(shù)據(jù)分析與挖掘等課程的使用。

6 結(jié) 語

在信息技術(shù)快速發(fā)展的今天，各行業(yè)對大數(shù)據(jù)人才的需求激增，如何開展大數(shù)據(jù)及云計算人才培養(yǎng)工作是目前國內(nèi)外各層次院校都在思考的問題。我們提出在軟件工程學(xué)科下設(shè)立數(shù)據(jù)工程專業(yè)方向，并在課程設(shè)置和實驗室建設(shè)方面進行了初步研究，希望能為同類型的地方本科院校培養(yǎng)應(yīng)用型新技術(shù)人才，為民辦高校和獨立學(xué)院不斷提高辦學(xué)水平，提供技術(shù)性和理論性的重要參考和依據(jù)。

參考文獻：

[1] 李國杰. 大數(shù)據(jù)研究的科學(xué)價值[J]. 中國計算機學(xué)會通訊， 2012， 8（9）： 8-15.

[2] IDC發(fā)布最新《數(shù)字宇宙研究報告》[EB/OL]. （2012-12-29）[2016-12-21]. http：//old.ecas.cas.cn/xxkw/kbcd/201115_93655/ml/xxhjsyjcss/201212/t20121229_3730152.html.

[3] DELL EMC. Digital universe invaded by sensors[EB/OL]. [2016-12-21]. http：//www.emc.com/about/news/press/2014/20140409-01.htm.

[4] 中華人民共和國科學(xué)技術(shù)部. 美國政府出臺大數(shù)據(jù)研發(fā)計劃[EB/OL]. （2012-04-24）[2016-12-21]. http：//www.most.gov.cn/gnwkjdt/201204/t20120424_93877.htm.

[5] 新華網(wǎng). 國務(wù)院常務(wù)會通過《關(guān)于促進大數(shù)據(jù)發(fā)展的行動綱要》[EB/OL]. （2015-08-19）[2016-12-21]. http：//news.xinhuanet.com/politics/2015-08/19/c_1116309958.htm.

[6] 中央政府門戶網(wǎng)站. 國民經(jīng)濟和社會發(fā)展第十二個五年規(guī)劃綱要（全文）[EB/OL]. （2011-03-16）[2016-12-21]. http：//www.gov.cn/2011lh/content_1825838.htm.

[7] 中國國家級經(jīng)濟技術(shù)開發(fā)區(qū)和邊境經(jīng)濟合作區(qū). 國外云計算技術(shù)概況[EB/OL]. （2014-08-07）[2016-12-21]. http：//ezone.mofcom.gov.cn/article/ztxw/201408/20140800689701.shtml.

[8] 何海地. 美國大數(shù)據(jù)專業(yè)碩士研究生教育的背景、現(xiàn)狀、特色與啟示——全美23所知名大學(xué)數(shù)據(jù)分析碩士課程網(wǎng)站及相關(guān)信息分析研究[J]. 圖書與情報， 2014（2）： 48-56.

[9] IT經(jīng)理網(wǎng). IDC： 云計算人才缺口正在加大[EB/OL]. [2016-12-21]. http：//www.ctocio.com/ccnews/10704.html.

[10] CSDN. 2014年IT企業(yè)招聘趨勢調(diào)研報告： 外資企業(yè)招聘規(guī)模偏大、技術(shù)人員比重高[EB/OL]. （2014-01-24）[2016-12-21]. http：//www.csdn.net/article/2014-01-24/2818263-IT-survey.

[11] CSDN. 最受程序員歡迎的公司榜單發(fā)布： 2015 IT人才招聘趨勢分析[EB/OL]. （2015-01-20）[2016-12-21]. http：//www.csdn.net/article/2015-01-16/2823595-careerfocus.

[12] 羅福強， 熊永福. 基于CDIO的云計算與大數(shù)據(jù)專業(yè)人才培養(yǎng)方案[J]. 計算機教育， 2015（1）： 52-56.

（編輯：宋文婷）