大數(shù)據(jù)背景下的數(shù)據(jù)挖掘課程教學(xué)新思考

張艷

摘 要： 當(dāng)今社會已經(jīng)步入大數(shù)據(jù)時代，數(shù)據(jù)挖掘已經(jīng)成為商業(yè)、醫(yī)療、制造業(yè)和政務(wù)管理等應(yīng)用領(lǐng)域的重要技術(shù)，具有十分重要的社會價值。數(shù)據(jù)挖掘課程綜合了多門學(xué)科知識，其教學(xué)設(shè)計(jì)和教學(xué)方式直接影響到教學(xué)效果和人才培養(yǎng)的質(zhì)量。針對大數(shù)據(jù)的特點(diǎn)，以構(gòu)建課程核心知識體系為主題，采用案例教學(xué)法，改革傳統(tǒng)的教學(xué)評價方式，理論結(jié)合實(shí)踐進(jìn)行了研究生數(shù)據(jù)挖掘課程教學(xué)創(chuàng)新嘗試，其教學(xué)達(dá)到了預(yù)期效果，受到學(xué)生好評。

關(guān)鍵詞： 數(shù)據(jù)挖掘； 知識體系； 案例教學(xué)； 教學(xué)評價

中圖分類號：TP311 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2014）04-59-03

Abstract： With the advent of the era of big data， data mining has become an essential technology which has important social value in the field of business， healthcare， manufacture and administrative management， etc. In many universities， the course of data mining is an important course which is integrated with other disciplinary knowledge and plays an important role in talent cultivation. According to the characters of big data， the knowledge hierarchy data mining is presented， and case teaching and new teaching evaluation method in graduate students' data mining course are discussed. The result shows that the effect is good and it is welcomed by graduate students.

Key words： data mining； knowledge hierarchy； case teaching； teaching evaluation

0 引言

近年來，傳統(tǒng)科學(xué)研究（如天文物理學(xué)、生物醫(yī)學(xué)等）、電子商務(wù)、網(wǎng)絡(luò)搜索引擎（如GOOGLE和百度等）和物聯(lián)網(wǎng)等產(chǎn)生的數(shù)據(jù)已經(jīng)以PB或ZB（10的21次方）來計(jì)算。以分布式數(shù)據(jù)倉庫、流計(jì)算的實(shí)時數(shù)據(jù)倉庫技術(shù)為代表的最新數(shù)據(jù)存儲技術(shù)，讓全世界的數(shù)據(jù)存儲量越來越大，由人、機(jī)、物三元素高度融合構(gòu)成的信息化的社會引發(fā)了數(shù)據(jù)規(guī)模的爆炸式增長和數(shù)據(jù)處理模式的高度復(fù)雜化，大數(shù)據(jù)（Big Data）時代已經(jīng)到來[1]。因此，數(shù)據(jù)具有越來越強(qiáng)的可視性、可操作性和可用性，能夠越來越細(xì)致、精準(zhǔn)、全面和及時地反映人的思維、行為和情感，以及事物的特性和發(fā)展規(guī)律，要想讓這些大數(shù)據(jù)以更加有效的方式為提升人類各方面的生產(chǎn)力和生活質(zhì)量服務(wù)，離不開以非平凡的方法發(fā)現(xiàn)蘊(yùn)藏在大量數(shù)據(jù)集中的有用知識為根本目的數(shù)據(jù)挖掘技術(shù)的支撐。

市場上對于有大數(shù)據(jù)背景知識又懂?dāng)?shù)據(jù)挖掘技術(shù)的專業(yè)人才的需求也將越來越大，作為一名高校計(jì)算機(jī)專業(yè)教師，根據(jù)自己三年來研究生數(shù)據(jù)挖掘課程的授課經(jīng)歷，結(jié)合當(dāng)前大數(shù)據(jù)的時代背景，對數(shù)據(jù)挖掘課程教學(xué)進(jìn)行了新的思考和探索。

1 明確大數(shù)據(jù)背景下學(xué)習(xí)數(shù)據(jù)挖掘知識的重要性

1.1 大數(shù)據(jù)的定義

“大數(shù)據(jù)”是最近幾年才出現(xiàn)的新名詞，尚無統(tǒng)一的概念，維基百科上的解釋是：大數(shù)據(jù)是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，是基于云計(jì)算的數(shù)據(jù)處理與應(yīng)用模式，通過數(shù)據(jù)的整合共享，交叉復(fù)用形成的智力資源和知識服務(wù)能力。

1.2 大數(shù)據(jù)的特征

大數(shù)據(jù)的特征可以總結(jié)為四方面，即4V。

⑴ 數(shù)據(jù)量浩大（Volume）——數(shù)據(jù)集合的規(guī)模不斷擴(kuò)大，已從GB到TB再到PB級，甚至開始以EB和ZB來計(jì)數(shù)。例如：1立方毫米電子顯微鏡重建出的大腦突觸網(wǎng)絡(luò)的圖像數(shù)據(jù)就超過1PB。

⑵ 模態(tài)繁多、異構(gòu)（Variety）——大數(shù)據(jù)面向的是一切計(jì)算機(jī)可以存儲的數(shù)據(jù)格式，類型包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，包括互聯(lián)網(wǎng)上的各種網(wǎng)頁、圖片、音頻、視頻、文檔、報(bào)表，以及搜索引擎中輸入的關(guān)鍵詞、社交網(wǎng)絡(luò)中的留言、喜好和各種傳感器自動收集的監(jiān)控結(jié)果等等。

⑶ 生成快速（Velocity）——大數(shù)據(jù)往往以數(shù)據(jù)流的形式動態(tài)、快速地產(chǎn)生，具有很強(qiáng)的時效性，同時，數(shù)據(jù)自身的狀態(tài)與價值也往往隨時空變化而發(fā)生演變，數(shù)據(jù)的涌現(xiàn)特征明顯。

⑷ 價值巨大（Value）——數(shù)據(jù)顯性或隱性的網(wǎng)絡(luò)化存在使得數(shù)據(jù)之間的復(fù)雜關(guān)聯(lián)無所不在，將對信息科學(xué)、社會科學(xué)、網(wǎng)絡(luò)科學(xué)、系統(tǒng)科學(xué)、心理學(xué)、經(jīng)濟(jì)學(xué)等諸多領(lǐng)域的研究和應(yīng)用起到革命性的作用，價值巨大[2]。

Gartner、IBM和牛津大學(xué)2012年聯(lián)合發(fā)布的關(guān)于大數(shù)據(jù)的研究報(bào)告指出：交易數(shù)據(jù)、記錄數(shù)據(jù)、事件和電子郵件是四大主要數(shù)據(jù)；數(shù)據(jù)挖掘，數(shù)據(jù)可視化，預(yù)測，建模與數(shù)據(jù)優(yōu)化是五大數(shù)據(jù)能力[3]。大數(shù)據(jù)的潛在價值只有通過數(shù)據(jù)挖掘才能顯現(xiàn)，因此，國外的Google、IBM、Amazon、Oracle、Microsoft、EMC；國內(nèi)的騰訊、百度、新浪、淘寶等知名企業(yè)已經(jīng)開始著眼大數(shù)據(jù)，從不同角度進(jìn)行數(shù)據(jù)挖掘，以便改善自身服務(wù)，創(chuàng)造更大的商業(yè)價值。所以，作為高校教師，首先要讓學(xué)生了解大數(shù)據(jù)的基本特點(diǎn)，明確數(shù)據(jù)挖掘知識和技術(shù)對當(dāng)今社會的重要意義。

2 利用概念圖，構(gòu)建數(shù)據(jù)挖掘課程的知識體系結(jié)構(gòu)

在大學(xué)里，設(shè)置一門課程，不能只關(guān)注這門課程所含的內(nèi)容，更要考慮教育培養(yǎng)學(xué)生基本專業(yè)能力、可持續(xù)發(fā)展能力等本質(zhì)性的問題。

數(shù)據(jù)挖掘是一門結(jié)合數(shù)據(jù)庫技術(shù)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、知識系統(tǒng)、信息檢索、高性能計(jì)算和可視化等多門學(xué)科知識的交叉學(xué)科[4]。而且，該課程既包括各種理論知識，又離不開相關(guān)的實(shí)踐技術(shù)，整個教學(xué)過程是培養(yǎng)和提高學(xué)生的創(chuàng)新能力和綜合解決問題能力的重要途徑。因此，針對計(jì)算機(jī)專業(yè)的學(xué)生，教學(xué)的首要任務(wù)是構(gòu)建起整個課程的核心知識結(jié)構(gòu)（如圖1所示），同時，簡單介紹相關(guān)的統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等計(jì)算機(jī)專業(yè)學(xué)生不太了解的非專業(yè)知識。

課程核心知識結(jié)構(gòu)是教學(xué)的主線，是學(xué)生必須要掌握的。首先，讓學(xué)生明確數(shù)據(jù)挖掘前要先經(jīng)過預(yù)處理，再存入數(shù)據(jù)倉庫；其次，針對具體情況利用相關(guān)的挖掘工具和挖掘算法進(jìn)行挖掘；最后，挖掘結(jié)果以可視化的形式有效地展示給用戶。教學(xué)的重點(diǎn)是挖掘算法和挖掘工具。對于挖掘算法，以數(shù)據(jù)挖掘國際會議ICDM（the IEEE International Conference on Data Mining）的專家評選出的十大經(jīng)典算法（見表1）為主[5]，結(jié)合相關(guān)實(shí)例給學(xué)生介紹各種算法的基本思想和相關(guān)概念，重點(diǎn)介紹使用較多的分類、聚類、關(guān)聯(lián)、序列和機(jī)器學(xué)習(xí)這幾種算法，先為學(xué)生打下良好的理論基礎(chǔ)。

3 以實(shí)例為切入點(diǎn)，注重理論結(jié)合實(shí)踐

數(shù)據(jù)挖掘課程主要針對我校研究生開設(shè)，考慮到學(xué)生就業(yè)和當(dāng)前市場需求，以及課程本身實(shí)踐性強(qiáng)的特點(diǎn)，在教學(xué)過程中要注重理論結(jié)合實(shí)踐，注意培養(yǎng)學(xué)生解決實(shí)際問題的能力。因此，在給學(xué)生介紹目前常用的數(shù)據(jù)挖掘工具（如IBM Intelligent Miner、SAS Enterprese Miner、SPSS Clementine、Weka等）的基礎(chǔ)上，結(jié)合市場應(yīng)用需求，以實(shí)例為切入點(diǎn)，分別分析數(shù)據(jù)挖掘在互聯(lián)網(wǎng)日志分析、電子郵件分析、互聯(lián)網(wǎng)廣告挖掘、電子商務(wù)、移動互聯(lián)網(wǎng)等各大領(lǐng)域中的實(shí)際應(yīng)用情況和成功案例（表2）。同時，還可以從內(nèi)容挖掘、結(jié)構(gòu)挖掘和用戶訪問模式挖掘這三個方面簡單介紹WEB挖掘的基本知識[6]。這樣，課程本身就脫離了枯燥的理論，讓學(xué)生對數(shù)據(jù)挖掘有了感性認(rèn)識，激發(fā)學(xué)習(xí)興趣。

⑵ 過濾垃圾郵件。＼&互聯(lián)網(wǎng)廣告＼&⑴ 通過大數(shù)據(jù)挖掘，精準(zhǔn)定位各類客戶的廣告形式；

⑵ 準(zhǔn)確評估廣告效果。＼&電子商務(wù)＼&用數(shù)據(jù)提升整體營銷；通過日志挖掘做客戶分析；用序列算法分析商品上架時間；用聚類算法對商品分類、提升會員管理。＼&移動互聯(lián)網(wǎng)＼&⑴ 鎖定用戶的數(shù)據(jù)價值，通過地理位置信息挖掘出有價值的東西；

⑵ 文本挖掘。＼&]

在教學(xué)過程中，貫穿以“能力培養(yǎng)為目標(biāo)”的實(shí)踐教學(xué)理念，提供有效的網(wǎng)絡(luò)資源，讓學(xué)生自己動手動腦，分析成功案例，完成教師給定的虛擬挖掘任務(wù)，強(qiáng)化學(xué)生參與意識，教師在以學(xué)生為主體的教學(xué)過程中當(dāng)好指導(dǎo)者和激勵者，從而充分調(diào)動學(xué)生的主觀能動性，掌握不同應(yīng)用領(lǐng)域大數(shù)據(jù)的挖掘問題的基本解決方法，培養(yǎng)學(xué)生的創(chuàng)新能力。例如，給學(xué)生一個文本挖掘的分類題目，讓他們熟悉從原始數(shù)據(jù)的清洗、預(yù)處理、降維、建立模型、測試、得到結(jié)論等一系列環(huán)節(jié)。

4 改革教學(xué)評價，實(shí)施分類化評價

數(shù)據(jù)挖掘課程是一門融合了多個學(xué)科的實(shí)踐性很強(qiáng)的課程，對應(yīng)的考核方式應(yīng)該與其他專業(yè)課程有所區(qū)別，應(yīng)該更重視學(xué)生學(xué)習(xí)過程中的表現(xiàn)和能力的提升。

理論知識的考核注重學(xué)生對數(shù)據(jù)挖掘基本概念、挖掘流程和主要挖掘算法的掌握情況，主要以試卷考核的方式為主，注意主觀題和客觀題的數(shù)量比例，采用統(tǒng)一考核方式和評判標(biāo)準(zhǔn)。對于實(shí)踐技能的考核，主要強(qiáng)調(diào)的是學(xué)生對不同類型數(shù)據(jù)進(jìn)行挖掘時應(yīng)掌握的相關(guān)軟件使用技能的考查，考核時除了要體現(xiàn)學(xué)生對實(shí)驗(yàn)原理的掌握外，更重要的是要反映出學(xué)生在實(shí)驗(yàn)方法的掌握、設(shè)計(jì)、操作過程中的實(shí)際能力，我們?nèi)∠艘酝岩淮涡钥荚嚱Y(jié)果作為總成績的方法，而把學(xué)生平時課堂實(shí)驗(yàn)成績作為總成績的主要部分，考核成績占課程總成績一定比例。

教師教學(xué)質(zhì)量的評價與學(xué)生考核成績相對應(yīng)，可采用單獨(dú)評價和統(tǒng)一評價兩種方式。單獨(dú)評價是指將社會實(shí)踐作為一個獨(dú)立的質(zhì)量評價過程對教師教學(xué)質(zhì)量進(jìn)行考核；統(tǒng)一評價是指將教師實(shí)踐教學(xué)與理論教學(xué)綜合起來統(tǒng)一考核，以一定比例計(jì)入教師總體評價。

無論是對學(xué)生，還是對教師，這種分類化的教學(xué)評價方式，不僅有利于學(xué)生實(shí)際能力的培養(yǎng)，而且對教師的教學(xué)水平也是一種促進(jìn)，有利于課程教學(xué)質(zhì)量的不斷提高。

5 結(jié)束語

大數(shù)據(jù)時代，誰能發(fā)掘出數(shù)據(jù)背后的巨大商業(yè)和社會價值，誰就能在激烈的市場競爭中處于優(yōu)勢。數(shù)據(jù)挖掘作為計(jì)算機(jī)應(yīng)用專業(yè)的研究生核心課程之一，也是學(xué)生今后就業(yè)必需的專業(yè)技能之一。以往的教學(xué)過程理論性強(qiáng)，枯燥乏味，考核形式單一，學(xué)生學(xué)習(xí)熱情普遍不高，不利于學(xué)生專業(yè)能力的培養(yǎng)。本文結(jié)合當(dāng)前大數(shù)據(jù)的時代背景，在構(gòu)架課程核心知識體系的前提下，結(jié)合實(shí)際應(yīng)用領(lǐng)域和案例，分析數(shù)據(jù)挖掘常見算法和常用工具，強(qiáng)調(diào)學(xué)生的參與和主觀能動性的發(fā)揮，而采用分類化的教學(xué)評價又能比較客觀、公正地評價學(xué)生對課程知識和專業(yè)實(shí)踐技能的掌握情況以及教師的教學(xué)效果。課程開設(shè)三年來的教學(xué)實(shí)踐證明，學(xué)生綜合運(yùn)用計(jì)算機(jī)專業(yè)知識的能力得到提高，理論與實(shí)踐結(jié)合的創(chuàng)新能力得到鍛煉，教師在教學(xué)過程中不斷完善了自身的知識結(jié)構(gòu)，提高了教學(xué)水平，實(shí)現(xiàn)了教學(xué)相長，得到了學(xué)生的好評。

參考文獻(xiàn)：

[1] Anand Rajaraman， Jeffrey David Ullman.大數(shù)據(jù)：互聯(lián)網(wǎng)大規(guī)模數(shù)據(jù)挖掘與分布式處理[M].人民郵電出版社，2012.

[2] 李國杰.大數(shù)據(jù)研究的科學(xué)價值[J].中國計(jì)算機(jī)學(xué)會通訊，2012.8：8-15

[3] Jiawei Han，Micheline Kamber，Jian Pei等.數(shù)據(jù)挖掘概念與技術(shù)（第3版）[M].機(jī)械工業(yè)出版社，2012.

[4] 王珊，王會舉，覃雄派等.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào)，2011.10：1741-1743

[5] 譚磊.大數(shù)據(jù)挖掘[M].電子工業(yè)出版社，2013.

[6] 李國杰.大數(shù)據(jù)研究：未來科技及經(jīng)濟(jì)社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J].中國科學(xué)院院刊，2012.6：647-648