面向新工科的數(shù)據(jù)挖掘?qū)嶒?yàn)課程教學(xué)案例設(shè)計(jì)

賈媚媚，劉泉，馬曉普，蘭義華，李賀，劉金江

（南陽師范學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南陽473061)

0 引言

隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、人工智能等技術(shù)的不斷進(jìn)步，每時(shí)每刻都在產(chǎn)生大量的數(shù)據(jù)。數(shù)據(jù)在爆炸式增長(zhǎng)，數(shù)據(jù)收集與處理、數(shù)據(jù)分析與挖掘，探索其中隱含的規(guī)律，進(jìn)而為經(jīng)濟(jì)和社會(huì)發(fā)展服務(wù)。為了順應(yīng)社會(huì)發(fā)展的需要，國(guó)內(nèi)不少高校紛紛設(shè)立了大數(shù)據(jù)相關(guān)專業(yè)。自從2016 年第一批“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)興建以來，我國(guó)本科高校已經(jīng)獲批建設(shè)五百多個(gè)大數(shù)據(jù)相關(guān)專業(yè)?？v觀眾多高校的大數(shù)據(jù)專業(yè)培養(yǎng)方案可以發(fā)現(xiàn)，數(shù)據(jù)挖掘課程都在其中占據(jù)重要的位置。

數(shù)據(jù)挖掘課程涉及多個(gè)學(xué)科的知識(shí)，主要包括統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、數(shù)據(jù)庫、數(shù)據(jù)倉(cāng)庫、模式識(shí)別、人工智能、決策技術(shù)、可視化技術(shù)、具體的領(lǐng)域知識(shí)等多個(gè)方面[1]，如圖1 所示，是一門典型的交叉性學(xué)科。目前，雖然已有眾多國(guó)內(nèi)高校開設(shè)了數(shù)據(jù)挖掘課程，但是課程的理論知識(shí)和實(shí)踐教學(xué)等方面都還同社會(huì)需求具有一定的差距，比較普遍存在重理論教學(xué)、輕實(shí)踐等教學(xué)現(xiàn)象[2]。

特別是，在新工科背景下，數(shù)據(jù)挖掘?qū)嶒?yàn)課程應(yīng)當(dāng)以解決實(shí)際問題為導(dǎo)向，提高學(xué)生綜合運(yùn)用知識(shí)的能力，以達(dá)到培養(yǎng)新工科人才的要求[3]。在新工科背景下，面對(duì)社會(huì)、經(jīng)濟(jì)、技術(shù)等發(fā)展的實(shí)際需求，需要對(duì)數(shù)據(jù)挖掘?qū)嶒?yàn)課程的教學(xué)方式和案例設(shè)計(jì)進(jìn)行改進(jìn)。本文將結(jié)合筆者近年來在數(shù)據(jù)挖掘課程中的授課經(jīng)驗(yàn)和教訓(xùn)，對(duì)數(shù)據(jù)挖掘?qū)嶒?yàn)課程的案例設(shè)計(jì)和教學(xué)方法進(jìn)行探討。

圖1 數(shù)據(jù)挖掘涉及的學(xué)科

1 數(shù)據(jù)挖掘?qū)嶒?yàn)課程教學(xué)現(xiàn)狀

在2015 年，我院在計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)設(shè)立了云計(jì)算與大數(shù)據(jù)方向，嘗試進(jìn)行大數(shù)據(jù)人才的培養(yǎng)，并開始設(shè)置數(shù)據(jù)挖掘技術(shù)課程。我校計(jì)算機(jī)與信息技術(shù)學(xué)院在2019 年成功申請(qǐng)獲批數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)，并在當(dāng)年開始進(jìn)行招生。

作為數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的專業(yè)必修課，數(shù)據(jù)挖掘課程通常在本科高年級(jí)開設(shè)，我校將該課程開設(shè)在大三下學(xué)期，共開設(shè)48 學(xué)時(shí)，其中理論教學(xué)32學(xué)時(shí)，實(shí)踐教學(xué)16 學(xué)時(shí)。數(shù)據(jù)挖掘課程的先修課程包括數(shù)據(jù)庫原理、程序設(shè)計(jì)和數(shù)據(jù)結(jié)構(gòu)等[4]。授課內(nèi)容包括數(shù)據(jù)的基本統(tǒng)計(jì)、相似性度量、數(shù)據(jù)預(yù)處理、分類、關(guān)聯(lián)分析、聚類、離群點(diǎn)檢測(cè)等基本知識(shí)，要求學(xué)生具有數(shù)據(jù)處理、熟練應(yīng)用各種數(shù)據(jù)挖掘經(jīng)典算法等基本能力[4]。

目前數(shù)據(jù)挖掘課程實(shí)驗(yàn)教學(xué)中還存在以下的問題[5]：

（1）實(shí)驗(yàn)教學(xué)環(huán)節(jié)設(shè)置不合理。目前，實(shí)踐教學(xué)還主要是通過“邊講邊學(xué)”的模式來進(jìn)行數(shù)據(jù)挖掘方法實(shí)踐教學(xué)[4]。從具體的教學(xué)實(shí)際效果發(fā)現(xiàn)，讓學(xué)生使用C++等語言直接編程實(shí)現(xiàn)具體的數(shù)據(jù)挖掘經(jīng)典算法，對(duì)學(xué)生來說，還具有一定的難度。

（2）目前，在數(shù)據(jù)挖掘課程的實(shí)驗(yàn)教學(xué)案例，還主要是針對(duì)單個(gè)經(jīng)典算法的實(shí)現(xiàn)，解決實(shí)際問題相關(guān)的實(shí)驗(yàn)相對(duì)較為缺乏[5]。教學(xué)案例脫離生活實(shí)際，也會(huì)較為枯燥和晦澀，學(xué)生難以理解。

（3）單純的上機(jī)操作，實(shí)現(xiàn)單個(gè)的經(jīng)典算法，已經(jīng)很難滿足對(duì)學(xué)生數(shù)據(jù)分析能力的培養(yǎng)，難以提高學(xué)生的綜合解決問題和運(yùn)用知識(shí)的能力，也不符合新工科人才的培養(yǎng)目標(biāo)。

2 數(shù)據(jù)挖掘?qū)嶒?yàn)課程的探索

通過總結(jié)近年來數(shù)據(jù)挖掘課程的在本科生中的教學(xué)經(jīng)驗(yàn)，我們針對(duì)實(shí)驗(yàn)課程進(jìn)行了一些調(diào)整，其立足點(diǎn)為利用數(shù)據(jù)挖掘技術(shù)解決實(shí)際問題。通過貼近實(shí)際生活案例和企業(yè)案例的引入，提升學(xué)生的數(shù)據(jù)思維能力，提高學(xué)生學(xué)習(xí)數(shù)據(jù)挖掘課程的自信心[6]，增加學(xué)生的學(xué)習(xí)興趣。

在實(shí)驗(yàn)課程上課過程中，我們進(jìn)行了如下的探索：

（1）將使用流行的數(shù)據(jù)挖掘軟件或軟件包同自己編寫算法代碼相結(jié)合。具體的實(shí)施方法上，建議學(xué)生首先使用SPSS 等軟件或者Python 語言調(diào)用第三方庫[6]，來實(shí)現(xiàn)具體的算法，得到結(jié)果，讓學(xué)生首先能夠看到算法的結(jié)果，提高學(xué)生的自信心。在此基礎(chǔ)上，建議學(xué)生使用Java、C++等編程語言，自己編程逐步事先具體的算法，加深對(duì)算法步驟的理解，并對(duì)算法的缺陷有一點(diǎn)的了解，盡可能地提出改進(jìn)的思路。

（2）從競(jìng)賽中選取貼近實(shí)際問題的數(shù)據(jù)。近年來，大數(shù)據(jù)競(jìng)賽平臺(tái)逐漸增多，例如國(guó)外的Kaggle 競(jìng)賽網(wǎng)站，國(guó)內(nèi)的數(shù)據(jù)城堡競(jìng)賽平臺(tái)、天池大數(shù)據(jù)競(jìng)賽平臺(tái)等[7]。在這些平臺(tái)上，有很多從企業(yè)實(shí)際問題出發(fā)，延伸而來的數(shù)據(jù)挖掘賽事。這些賽事目的明確，數(shù)據(jù)集規(guī)范且可得，可以根據(jù)賽事的難易程度，選取一些賽事案例作為數(shù)據(jù)挖掘?qū)嶒?yàn)課程的教學(xué)案例來源。同時(shí)，采取學(xué)生自主參加、教師輔導(dǎo)的方式，鼓勵(lì)參與各級(jí)各類數(shù)據(jù)挖掘競(jìng)賽，提高學(xué)生解決實(shí)際問題的能力[7]。對(duì)于在競(jìng)賽中取得較好名次的學(xué)生，采取獎(jiǎng)勵(lì)實(shí)驗(yàn)課程成績(jī)的方式，激發(fā)學(xué)生的參賽興趣。

（3）在數(shù)據(jù)挖掘的案例教學(xué)過程中，應(yīng)當(dāng)以完成應(yīng)用問題或項(xiàng)目為核心，通過實(shí)施數(shù)據(jù)挖掘項(xiàng)目的整個(gè)流程，發(fā)現(xiàn)問題、解決問題，以技術(shù)應(yīng)用深化理論知識(shí)的理解。鼓勵(lì)學(xué)生自己從實(shí)際問題出發(fā)，尋找自己感興趣的課題，同時(shí)教師稍作引導(dǎo)，把所學(xué)知識(shí)運(yùn)用到實(shí)際之中，促使學(xué)生自己發(fā)現(xiàn)問題、分析問題、解決問題。通過尋找課題、解決實(shí)際問題的過程，加強(qiáng)學(xué)生對(duì)理論知識(shí)的理解，以及綜合運(yùn)用。

3 實(shí)驗(yàn)課程教學(xué)案例設(shè)計(jì)

3.1 案例與知識(shí)點(diǎn)關(guān)系

實(shí)驗(yàn)案例選取上，需要注意知識(shí)點(diǎn)的完備性，在難度上需要循序漸進(jìn)，同時(shí)還需要有一定的挑戰(zhàn)性和區(qū)分度[8]。在實(shí)際的教學(xué)過程中，實(shí)驗(yàn)課共設(shè)計(jì)了四個(gè)教學(xué)案例：春晚數(shù)據(jù)分析、城鎮(zhèn)居民生活消費(fèi)規(guī)律、泰坦尼克號(hào)生還預(yù)測(cè)、基于校園卡數(shù)據(jù)的學(xué)生期末成績(jī)預(yù)測(cè)。針對(duì)實(shí)驗(yàn)教學(xué)案例設(shè)計(jì)細(xì)節(jié)，選取其中較為典型的春晚數(shù)據(jù)分析、泰坦尼克號(hào)船員獲救預(yù)測(cè)兩個(gè)案例在3.2 小節(jié)中進(jìn)行詳細(xì)介紹。

表1 實(shí)驗(yàn)教學(xué)案例及涉及知識(shí)點(diǎn)

3.2 具體實(shí)驗(yàn)案例設(shè)計(jì)

實(shí)驗(yàn)案例一：春晚數(shù)據(jù)分析

我校數(shù)據(jù)挖掘課程開設(shè)在春期。同學(xué)們剛剛過完春節(jié)回校，大多數(shù)同學(xué)都在家看過春晚節(jié)目，對(duì)春晚的余熱猶存，所以第一個(gè)試驗(yàn)案例安排為春晚數(shù)據(jù)進(jìn)行分析，可以提高學(xué)生的學(xué)習(xí)積極性。

試驗(yàn)?zāi)康臑檎莆栈镜臄?shù)據(jù)統(tǒng)計(jì)分析方法。筆者使用Python 語言，編寫爬蟲程序，爬取了歷屆春晚的導(dǎo)演、主持人、節(jié)目、演員的等數(shù)據(jù)信息。數(shù)據(jù)集包含兩個(gè)文件：導(dǎo)演主持人數(shù)據(jù)文件、節(jié)目單數(shù)據(jù)文件。在導(dǎo)演主持人數(shù)據(jù)文件中包含年份、導(dǎo)演、主持人三列數(shù)據(jù)，共含1983 至2020 年的所有數(shù)據(jù)。在節(jié)目單數(shù)據(jù)文件中包含年份、節(jié)目類型、節(jié)目名稱、節(jié)目參演演員四列數(shù)據(jù)，共含1983 至2020 年的所有數(shù)據(jù)。

實(shí)驗(yàn)內(nèi)容包含：①請(qǐng)列出前十名主持人的名字及主持的次數(shù)；②列出前十位參加春晚次數(shù)最多的演員名字及參演次數(shù)；③節(jié)目類型比例分析。將節(jié)目分為歌曲、舞蹈、相聲、小品、其他，共五類（除歌曲、舞蹈、相聲、小品外的類型均歸類為其他）。

試驗(yàn)案例二：泰坦尼克號(hào)船員獲救預(yù)測(cè)

該數(shù)據(jù)集來自Kaggle 競(jìng)賽網(wǎng)站，是一個(gè)入門項(xiàng)目。項(xiàng)目目的是預(yù)測(cè)哪些人群更容易生還。數(shù)據(jù)集包含訓(xùn)練集和測(cè)試集兩個(gè)部分。訓(xùn)練集中包含乘客姓名、性別、年齡、艙位等級(jí)、票價(jià)等船員基本特征，以及最后的獲救情況，共有891 條數(shù)據(jù)。測(cè)試集只包含基本特征，不包含獲救情況，需要訓(xùn)練模型來預(yù)測(cè)獲救情況。實(shí)驗(yàn)內(nèi)容包括：①缺失值處理；②特征選擇；③模型訓(xùn)練；④模型評(píng)估。

數(shù)據(jù)集中具有缺失值，例如年齡字段列在訓(xùn)練集中有些取值為空，共有714 個(gè)有效值，需要對(duì)缺失值進(jìn)行預(yù)處理。此外，某些列的數(shù)據(jù)類型變換，例如字符串轉(zhuǎn)數(shù)字。

數(shù)據(jù)挖掘中特征選擇是非常重要的步驟，對(duì)各個(gè)特征的分析研究，對(duì)于最后的預(yù)測(cè)結(jié)果起到至關(guān)重要的作用，因此該步驟需要花費(fèi)一定的時(shí)間和精力。需要計(jì)算各屬性數(shù)據(jù)和Survived 標(biāo)簽的相關(guān)系數(shù)。常用的三大相關(guān)系數(shù)是pearson 相關(guān)系數(shù)、kendall 相關(guān)系數(shù)和spearman 相關(guān)系數(shù)。根據(jù)不同的數(shù)據(jù)特點(diǎn)，選擇合適的相關(guān)系數(shù)計(jì)算方法。使用相關(guān)系數(shù)，作為特征和結(jié)果關(guān)系的參考，進(jìn)而選擇合適的特征。

然后，用訓(xùn)練數(shù)據(jù)和具體的學(xué)習(xí)算法得到訓(xùn)練模型?？梢允褂镁€性回歸、決策樹、支持向量機(jī)、隨機(jī)森林等訓(xùn)練預(yù)測(cè)模型。在具體的實(shí)現(xiàn)方法上，建議使用Python 語言，直接調(diào)用sklearn 中的模型。sklearn 里面封裝了絕大多數(shù)的機(jī)器學(xué)習(xí)算法模型，直接調(diào)用，使用起來簡(jiǎn)單方便。

根據(jù)訓(xùn)練模型，用測(cè)試數(shù)據(jù)評(píng)估模型，來評(píng)估模型的準(zhǔn)確率。如果模型準(zhǔn)確率較低，可以調(diào)整模型參數(shù)，或者更換算法，來提高模型的準(zhǔn)確率。

4 結(jié)語

隨著信息技術(shù)的不斷發(fā)展，掌握數(shù)據(jù)挖掘技術(shù)已成為大數(shù)據(jù)專業(yè)學(xué)生需要掌握的必備技能。在新工科背景下，人才培養(yǎng)更應(yīng)注意提高學(xué)生解決實(shí)際問題的能力、綜合運(yùn)用知識(shí)的能力。面對(duì)社會(huì)、經(jīng)濟(jì)、技術(shù)等發(fā)展的實(shí)際需求，需要對(duì)數(shù)據(jù)挖掘?qū)嶒?yàn)課程的教學(xué)方式和案例設(shè)計(jì)進(jìn)行改進(jìn)。筆者結(jié)合近年來在數(shù)據(jù)挖掘課程中的授課經(jīng)驗(yàn)，對(duì)數(shù)據(jù)挖掘?qū)嶒?yàn)課程教學(xué)給出了一些具體的解決方案，為數(shù)據(jù)挖掘課程的相關(guān)教學(xué)改革提供一些有益的借鑒。目前，雖取得一定成效，后續(xù)將在以下幾個(gè)方面繼續(xù)改進(jìn)：建立合理的評(píng)估機(jī)制，進(jìn)行代碼重復(fù)率檢測(cè)等；針對(duì)學(xué)生學(xué)習(xí)能力的不同，設(shè)置個(gè)性化的實(shí)驗(yàn)案例，同一個(gè)實(shí)驗(yàn)案例設(shè)置必做部分、選做部分。