新工科背景下大數(shù)據(jù)專業(yè)導(dǎo)論課程的改革與探索

張祖平

中南大學(xué)計算機學(xué)院，湖南 長沙 410083

1 引言

隨著移動互聯(lián)網(wǎng)的興起，全球數(shù)據(jù)呈爆炸性增長，數(shù)據(jù)規(guī)模大約每兩年翻一番。而隨著人工智能環(huán)境下物聯(lián)網(wǎng)生態(tài)圈的形成，數(shù)據(jù)的采集、存儲、分析處理、融合共享等技術(shù)需求都能得到響應(yīng)，各行各業(yè)都在體驗大數(shù)據(jù)帶來的革命，與大數(shù)據(jù)相關(guān)的技術(shù)人才需求激增。據(jù)預(yù)測，中國近年內(nèi)大數(shù)據(jù)人才缺口達200萬人，全世界相關(guān)人才缺口超過千萬之多，因此培養(yǎng)大數(shù)據(jù)技術(shù)人才的重任落到了高等院校身上。從事數(shù)據(jù)統(tǒng)計、分析和應(yīng)用的人才已經(jīng)難以適應(yīng)大數(shù)據(jù)時代的新要求。大數(shù)據(jù)具有體量巨大、速度極快、類型眾多、價值巨大的特點，對數(shù)據(jù)從產(chǎn)生、分析到利用提出了前所未有的新要求。高等教育只有轉(zhuǎn)變觀念，更新方法和手段，尋求變革與突破，才能在大數(shù)據(jù)與人工智能的信息大潮面前立于不敗之地。我國教育部門為了響應(yīng)社會發(fā)展需要，于2016年開始正式開設(shè)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”本科專業(yè)與“大數(shù)據(jù)技術(shù)與應(yīng)用”?？茖I(yè)。近幾年，全國形成了申報與建設(shè)大數(shù)據(jù)相關(guān)專業(yè)的熱潮。

隨著大數(shù)據(jù)專業(yè)建設(shè)的推進，國內(nèi)對專業(yè)知識體系與能力體系進行了探索[1-2]，同時也出現(xiàn)了對專業(yè)課程建設(shè)與人才培養(yǎng)模式的討論[3-4]，力圖探索大數(shù)據(jù)教育體系中可采用的具體策略和方法。從2017年開始，全國范圍內(nèi)開始討論新工科，由此催生了《教育部辦公廳關(guān)于推薦新工科研究與實踐項目的通知》的發(fā)布，同時也開始了對新工科背景下大數(shù)據(jù)專業(yè)建設(shè)的探究[5-6]。大數(shù)據(jù)專業(yè)的培養(yǎng)體系在專業(yè)教育人才的通力協(xié)作下逐步形成，各類適用于不同高校大數(shù)據(jù)專業(yè)特點的培養(yǎng)方案與課程大綱也日漸成熟。

作為專業(yè)重要課程之一的專業(yè)導(dǎo)論課程歷來受到各類高校的高度重視，專業(yè)導(dǎo)論課程一般是在學(xué)生第一年統(tǒng)一基礎(chǔ)教學(xué)后開展的，旨在給學(xué)生普及相關(guān)專業(yè)知識，引導(dǎo)學(xué)生進行專業(yè)學(xué)習(xí)。而在新工科背景下，大數(shù)據(jù)的專業(yè)導(dǎo)論具有不同的要求與特點。

2 專業(yè)導(dǎo)論課程大綱

“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)導(dǎo)論”是一門面向本專業(yè)的導(dǎo)論性課程，旨在讓學(xué)生在大學(xué)入學(xué)最初階段就對本專業(yè)的發(fā)展歷史、知識結(jié)構(gòu)、培養(yǎng)目標(biāo)與要求及與數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)相關(guān)的基礎(chǔ)知識、典型技術(shù)、具體應(yīng)用等有直觀的認識。區(qū)別于新生課程的普識性介紹，該課程的相關(guān)內(nèi)容偏專業(yè)，目標(biāo)是讓學(xué)生對本專業(yè)的知識及培養(yǎng)要求有相對全面而直觀的了解，同時該課程也會概述性地介紹與計算機學(xué)科相關(guān)的內(nèi)容及典型人物，以激發(fā)學(xué)生的學(xué)習(xí)興趣，進一步了解設(shè)置新專業(yè)的歷史背景與總體要求。

“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)導(dǎo)論”課程的基本要求包括以下幾個方面。

● 知識方面：較好地掌握數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)的發(fā)展歷史及相關(guān)典型概念，如與數(shù)據(jù)相關(guān)的基本概念、與數(shù)據(jù)特征相關(guān)的測度概念及與大數(shù)據(jù)相關(guān)的5V特性等；了解典型的大數(shù)據(jù)分析環(huán)境包括的技術(shù)體系，如Hadoop；了解計算機典型的基礎(chǔ)概念，如數(shù)據(jù)、算法；了解專業(yè)需要掌握的知識體系及課程要求；對大數(shù)據(jù)技術(shù)的典型應(yīng)用有相對直接的了解，并能聯(lián)想到生活中的大數(shù)據(jù)技術(shù)應(yīng)用場景。

● 能力方面：使學(xué)生對本專業(yè)的課程體系有區(qū)別與選擇的能力，對典型的大數(shù)據(jù)分析環(huán)境的技術(shù)體系有一定的判別與選擇的能力，對應(yīng)用系統(tǒng)是否要用到大數(shù)據(jù)平臺有一定的判別能力，對整個專業(yè)的知識體系有一定的預(yù)判與認知。

● 素質(zhì)方面：對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的相關(guān)基礎(chǔ)知識有相對全面的了解，逐漸形成采用數(shù)據(jù)分析的思維解決實際系統(tǒng)需求的意識；能夠通過網(wǎng)絡(luò)搜索平臺找到大數(shù)據(jù)分析平臺需要的典型開源性工具軟件，嘗試通過網(wǎng)上教學(xué)視頻進行安裝與調(diào)試，逐步形成直觀認識與一定的學(xué)習(xí)、操練興趣；通過課外導(dǎo)學(xué)的模式，從網(wǎng)上大量相關(guān)的實例中得到啟發(fā)，從而提升自主學(xué)習(xí)和終身學(xué)習(xí)的意識，形成不斷學(xué)習(xí)和適應(yīng)發(fā)展的素質(zhì)。

從以上分析可以看出，課程大綱響應(yīng)了新工科突出能力與新技術(shù)的特點，從知識、能力與素質(zhì)上提出了具體要求。

3 教材的準(zhǔn)備與課程定位

為了適應(yīng)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)導(dǎo)論”課程的課程大綱，筆者組織相關(guān)教學(xué)團隊，編寫了《數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)導(dǎo)論》教材[7]。區(qū)別于數(shù)據(jù)科學(xué)導(dǎo)論方面的教材[8-9]或大數(shù)據(jù)技術(shù)導(dǎo)論教材[10-11]，筆者單位的教材既包括數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的發(fā)展歷程、專業(yè)知識要求與技能基本要求等，也包括有關(guān)數(shù)據(jù)科學(xué)的基本概念、數(shù)據(jù)挖掘的基本方法及大數(shù)據(jù)分析的主要技術(shù)等，對大數(shù)據(jù)分析的各流程中采用的關(guān)鍵技術(shù)及核心技術(shù)進行了梳理，對主要的大數(shù)據(jù)技術(shù)生態(tài)體系進行了介紹，最后基于實際項目，介紹了醫(yī)療大數(shù)據(jù)與智能城市交通大數(shù)據(jù)，既為學(xué)生提供了基本的數(shù)據(jù)科學(xué)與大數(shù)據(jù)相關(guān)知識，又介紹了實際應(yīng)用的技術(shù)與高層次平臺或項目申報需要表達的與大數(shù)據(jù)相關(guān)的內(nèi)容，同時通過20個自主實驗強化學(xué)生的實踐能力。

本課程首先介紹了數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的產(chǎn)生背景與發(fā)展歷史、專業(yè)的特點與綜合要求、專業(yè)相關(guān)的完整知識體系與技能體系，之后介紹了與本專業(yè)密切相關(guān)的專業(yè)，如計算機科學(xué)與技術(shù)、統(tǒng)計學(xué)等，分析了其與這樣的專業(yè)的關(guān)聯(lián)關(guān)系，還對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的出路與就業(yè)情況進行了簡述。專業(yè)課程體系總體架構(gòu)如圖1所示。

在技能體系方面，筆者認為數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的學(xué)生需要學(xué)習(xí)從數(shù)據(jù)獲取到數(shù)據(jù)分析應(yīng)用整個流程的各種技術(shù)與技能。目前，對本專業(yè)的學(xué)生或從事本專業(yè)技術(shù)工作的人員在專業(yè)技術(shù)方面沒有明確的規(guī)定，但經(jīng)過了幾年的專業(yè)建設(shè)與討論，并綜合考慮了社會對專業(yè)人才的實際需求，形成了如圖2所示的專業(yè)技能體系，不要求學(xué)生掌握所有的技術(shù)，但學(xué)生需要對某些部分或環(huán)節(jié)有選擇的能力與熟知其中一二的基礎(chǔ)。

一般的專業(yè)導(dǎo)論課程主要是專業(yè)知識體系的串接，即使講到技能體系，也只是一個概括性的介紹，如概述技術(shù)的名稱與具

由于數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)較新，可供借鑒的歷史不多，大家各自的理解不同，在課程體系方面形成了“百花齊放”的局面，究竟哪個是最好的、最完整的，暫時沒有結(jié)論。筆者提出的專業(yè)課程體系供大家參考，也供本專業(yè)學(xué)生選擇課程時參考。

圖1 專業(yè)課程體系總體架構(gòu)

圖2 大數(shù)據(jù)技能體系

針對以上專業(yè)課程體系，專業(yè)導(dǎo)論課程需要將專業(yè)主要的知識點串接起來，既要從各主要課程中抽出重點的知識進行綜述性的講解，又要兼顧各知識間的關(guān)聯(lián)關(guān)系，同時由于課時的約束，內(nèi)容不可能講得很多，也不可能講得很深，這是一個較難掌握的平衡度。體技術(shù)特點或要求等，不會要求學(xué)生有實踐動手的機會。但從以上技能體系分析來看，數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)要求掌握的技術(shù)可以說既具體又豐富，而且復(fù)雜性高。在新工科背景下，如果數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的學(xué)生在專業(yè)導(dǎo)論課程的學(xué)習(xí)時，沒有形成自己動手的意識或基本的動手能力，就很難達到能力要求，也很難滿足專業(yè)就業(yè)與科研的需要。因此筆者學(xué)校在實際教學(xué)時，專業(yè)導(dǎo)論課程對學(xué)生的動手能力提出了具體的要求。

4 專業(yè)導(dǎo)論課程教學(xué)內(nèi)容

針對專業(yè)導(dǎo)論課程的大綱及定位，筆者學(xué)校將實際課程教學(xué)分為5個章節(jié)，其中第1章為專業(yè)概論，主要介紹數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的產(chǎn)生背景與發(fā)展歷史、專業(yè)的特點與綜合要求、專業(yè)相關(guān)的完整知識體系與技能體系，還介紹了本專業(yè)和與其密切相關(guān)的專業(yè)（如計算機科學(xué)與技術(shù)、統(tǒng)計學(xué)等）之間的關(guān)聯(lián)關(guān)系，本章還對本專業(yè)的出路與就業(yè)情況進行了簡述。

第2章為數(shù)據(jù)科學(xué)與大數(shù)據(jù)基本概念，主要介紹與數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)相關(guān)的基本概念、相關(guān)技術(shù)特點、對應(yīng)的社會崗位需求及對學(xué)生的知識、能力、素質(zhì)要求。與數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)相關(guān)的主要概念包括基本概念（如信號、數(shù)據(jù)、信息、知識等）和成體系的概念（如數(shù)據(jù)科學(xué)、數(shù)據(jù)挖掘、數(shù)據(jù)庫、大數(shù)據(jù)等）。

第3章為大數(shù)據(jù)核心技術(shù)，大數(shù)據(jù)技術(shù)主要有6個核心部分：數(shù)據(jù)采集、數(shù)據(jù)存儲與管理、數(shù)據(jù)預(yù)處理、數(shù)據(jù)清洗、數(shù)據(jù)挖掘、數(shù)據(jù)可視化。當(dāng)然也有很多文獻把大數(shù)據(jù)技術(shù)劃分為5個部分，即將數(shù)據(jù)預(yù)處理合并到數(shù)據(jù)采集或數(shù)據(jù)清洗中?？傮w來說，大數(shù)據(jù)核心技術(shù)是大數(shù)據(jù)處理的各個核心環(huán)節(jié)的關(guān)鍵技術(shù)。

第4章為大數(shù)據(jù)環(huán)境與技術(shù)，主要介紹大數(shù)據(jù)運行環(huán)境及典型技術(shù)。大數(shù)據(jù)技術(shù)生態(tài)一般是指在數(shù)據(jù)采集、數(shù)據(jù)整理、存儲、運算、數(shù)據(jù)展示以及系統(tǒng)維護等各個層面用到的各類相互關(guān)聯(lián)的技術(shù)、軟件、工具等的集合。以Hadoop為例，其維護工具是Ambari，采集工具是ETL，管理工具是Sqoop、NiFi、Phoenix等，存儲工具是HDFS、HBase、Hive等，運算工具是MapReduce、Spark等，聯(lián)機分析處理（online analytical processing，OLAP）的關(guān)鍵工具是Kylin，數(shù)據(jù)展示包括很多技術(shù)或工具，Hadoop自帶的是Zeeplin。

第5章為大數(shù)據(jù)應(yīng)用系統(tǒng)，主要介紹2個典型的大數(shù)據(jù)應(yīng)用系統(tǒng)及實用技術(shù)展示，包括醫(yī)療大數(shù)據(jù)、交通大數(shù)據(jù)等具體應(yīng)用實例，進一步強化大數(shù)據(jù)相關(guān)技術(shù)。此外，部分相關(guān)項目立項時的一些文檔內(nèi)容可供大家將來參與類似項目時參考，如醫(yī)療大數(shù)據(jù)主要參考“醫(yī)療大數(shù)據(jù)應(yīng)用技術(shù)國家工程實驗室”“醫(yī)學(xué)大數(shù)據(jù)協(xié)同創(chuàng)新中心”“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)”等的申報材料，交通大數(shù)據(jù)主要參考“大聯(lián)合交管中心系統(tǒng)”的初步設(shè)計、詳細設(shè)計、技術(shù)報告及用戶手冊等文檔。

5 專業(yè)導(dǎo)論的實踐內(nèi)容

為了響應(yīng)教育部新工科研究與實踐項目的要求，從本專業(yè)導(dǎo)論課程開始設(shè)立相關(guān)的實驗環(huán)節(jié)，通過知識主線與技術(shù)主線把相關(guān)課程串接起來，力爭讓學(xué)生盡早有培養(yǎng)自己動手能力的意識與綜合利用各種技術(shù)與平臺的能力。

首先是基本編程能力的強化訓(xùn)練，如講述第1章緒論時引出4個實驗。

● 實驗1：任選編程語言，實現(xiàn)自然數(shù)階乘累加，如1！+2！+3！+…+n！，其中n為輸入變量。

● 實驗2：R for Windows下載與安裝、測試演示(graphics)、測試數(shù)學(xué)函數(shù)。

● 實驗3：Matlab下載、安裝、測試演示、測試 fplot( )函數(shù)并生成曲線圖。

● 實驗4：ECharts下載、安裝與典型圖表可視化。

大二學(xué)生已經(jīng)有了一定的編程基礎(chǔ)，此時，再強化訓(xùn)練細節(jié)編程（階乘累加中，當(dāng)n較大時需要細致處理）及常用統(tǒng)計分析軟件的常用功能（如R語言、Matlab及可視化工具ECharts等）的使用。這有一定的挑戰(zhàn)性，但是圖形結(jié)果的呈現(xiàn)也會給學(xué)生帶來一定的興趣。比如，實驗1看起來比較簡單，一般理解就是一個累乘循環(huán)、一個累加循環(huán)就可以了，但實際上，由于累乘的結(jié)果增長很快，需要考慮整數(shù)的位長問題。當(dāng)一般的位長不夠時，就需要考慮如何保存精確的整數(shù)，當(dāng)n增長到比較大的數(shù)值（如20以上）時，處理起來非常復(fù)雜（不同編程語言有不同的位長限制），這就要求有較好的綜合編程能力。有些學(xué)生可以做到結(jié)果用文件輸出，n只受計算能力的限制；有些學(xué)生開始只能做到n為10左右，但經(jīng)過多次嘗試，n就可以越來越大。經(jīng)過這種從看起來簡單到實際具有一定挑戰(zhàn)性的綜合編程訓(xùn)練，學(xué)生對自己選擇的編程語言的感受是非常深刻的。

在第2章安排了4個實驗，具體如下。

● 實驗1：任選編程語言，實現(xiàn)數(shù)組的集中趨勢測度。

● 實驗2：任選編程語言，實現(xiàn)數(shù)組的離散程度測度。

● 實驗3：下載并安裝Oracle，實現(xiàn)在數(shù)據(jù)庫管理員（database administrator，DBA）用戶系統(tǒng)下的用戶管理。

● 實驗4：執(zhí)行典型的SQL操作等。這部分的實驗逐步轉(zhuǎn)向?qū)I(yè)，即數(shù)據(jù)科學(xué)中的數(shù)據(jù)統(tǒng)計與數(shù)據(jù)庫的相關(guān)操作，難度不大，但有專業(yè)性。

其中第2章中的實驗1、實驗2主要是數(shù)據(jù)統(tǒng)計方面的實驗，是一些計算公式的實驗，難度不是很大，但能形成數(shù)據(jù)統(tǒng)計的感性認識。實驗3、實驗4主要是數(shù)據(jù)庫操作，目標(biāo)是讓學(xué)生對大型數(shù)據(jù)庫的用戶管理及基本的SQL中九大命令的操作有真實的感受。

在第3章安排了5個實驗，包括：通過開放數(shù)據(jù)庫鏈接（open database connectivity，ODBC）導(dǎo)入/導(dǎo)出數(shù)據(jù)；網(wǎng)絡(luò)蜘蛛的搜索與應(yīng)用；SQL查重與去重；利用SQL實現(xiàn)數(shù)據(jù)集成；使用ECharts與Excel實現(xiàn)數(shù)據(jù)庫表的數(shù)據(jù)可視化。此部分更趨向于專業(yè)，且要求比較綜合，逐步提高了實驗的難度與綜合性。此章的實驗逐步向大數(shù)據(jù)技術(shù)靠近，有多種方式的數(shù)據(jù)采集、數(shù)據(jù)的預(yù)處理、數(shù)據(jù)整合與融合及分析結(jié)果呈現(xiàn)等，各個實驗都有一定的設(shè)計性與綜合性，要求也就相應(yīng)地提高了。

第4章介紹了典型的大數(shù)據(jù)技術(shù)的相關(guān)操作，而第5章安排了2個設(shè)計性的實驗，包括：分類統(tǒng)計重癥肌無力診療數(shù)據(jù)庫中的首發(fā)癥狀類別及與年齡的關(guān)聯(lián)關(guān)系；基于交通大數(shù)據(jù)中環(huán)線路面卡口研判。難度不言而喻，同時也不要求所有學(xué)生都做到，力爭通過演示的形式，給大家一個參考，讓學(xué)生感受真正的大數(shù)據(jù)分析與一般的統(tǒng)計分析差別到底在哪里，從而使學(xué)生對大數(shù)據(jù)實際分析有一個感性的認識。

6 結(jié)束語

我國于2016年開設(shè)了數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)本科專業(yè)，國外雖然有數(shù)據(jù)分析工程的本科專業(yè)或碩士專業(yè)[12]，但專業(yè)培養(yǎng)方案與課程大綱可供借鑒性較小。本文針對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)中重要的專業(yè)導(dǎo)論課程，從知識體系與能力體系等方面分析了培養(yǎng)的要求與目標(biāo)定位，在知識點的串接、動手能力意識的培養(yǎng)與實際操作方面提出了可供參考的方案，該方案的特點是針對新工科的要求，在具體教學(xué)中引入了大量的專業(yè)實踐，為學(xué)生形成良好的能力訓(xùn)練意識與真實感受大數(shù)據(jù)提供了機會。未來需要進一步完善的是針對課程教學(xué)與教材，形成數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)實踐資源管理與服務(wù)平臺。