大數(shù)據(jù)科研成果支撐教學(xué)研究

趙旭俊 蔡江輝 馬洋 楊海峰 趙志誠

摘? 要：隨著大數(shù)據(jù)時代的來臨，《數(shù)據(jù)挖掘與智能決策》課程面臨著如何適應(yīng)時代需求的任務(wù)，將大數(shù)據(jù)相關(guān)的科研成果融于《數(shù)據(jù)挖掘與智能決策》課程的教學(xué)中，不僅能激發(fā)學(xué)生的積極性，更能提高學(xué)生的創(chuàng)造性和應(yīng)用能力。在分析當前《數(shù)據(jù)挖掘與智能決策》課程存在的問題之后，分別從離群數(shù)據(jù)挖掘和關(guān)聯(lián)規(guī)則挖掘兩方面結(jié)合大數(shù)據(jù)科研成果，討論了融合之后的課程教學(xué)，從而為《數(shù)據(jù)挖掘與智能決策》課程的建設(shè)提供一種新思路。

關(guān)鍵詞：大數(shù)據(jù);科研成果;教學(xué)模式;課程建設(shè)

中圖分類號：G640? ? ? ?文獻標志碼：A? ? ? ? ?文章編號：2096-000X（2020）27-0093-04

Abstract： With the advent of the Big Data era， the course of "Data Processing and Intelligent Decision" is faced with the task of how to adapt to the needs of the times. The achievements of scientific research are integrated into the teaching of the course of "Data Processing and Intelligent Decision"， which can not only stimulate students' enthusiasm， but also improve their creativity and application ability. In this paper， we first analyze some problems faced by the course of "Data Processing and Intelligent Decision"， and then propose the integration with the course teaching from the outlier data detection and association rule mining method. Our research can provide a novel idea for the construction of the course of "Data Processing and Intelligent Decision".

Keywords： Big Data; achievements of scientific research; teaching model; course construction

隨著移動設(shè)備、物聯(lián)網(wǎng)、電子商務(wù)、云計算等技術(shù)的飛速發(fā)展，無論是數(shù)據(jù)規(guī)模還是數(shù)據(jù)種類都在以前所未有的速度爆炸式增長，這些先進的技術(shù)和海量的數(shù)據(jù)促使人類社會進入了大數(shù)據(jù)（Big Data）時代[1]。大數(shù)據(jù)在世界范圍內(nèi)的高速發(fā)展，已經(jīng)引起國內(nèi)外學(xué)術(shù)界及許多國家政府層面的高度關(guān)注。伴隨著大數(shù)據(jù)的蓬勃發(fā)展，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)不能適應(yīng)大數(shù)據(jù)的要求，遭遇了許多技術(shù)難題，急需尋找一種有效、可擴展和靈活的數(shù)據(jù)分析技術(shù)來實現(xiàn)大數(shù)據(jù)的處理?！稊?shù)據(jù)挖掘與智能決策》[2]是專門針對海量數(shù)據(jù)提出的一種知識發(fā)現(xiàn)技術(shù)，它可以被看作是信息技術(shù)的自然進化產(chǎn)物，實現(xiàn)了相關(guān)學(xué)科同應(yīng)用領(lǐng)域的融合，能較好地適應(yīng)大數(shù)據(jù)的發(fā)展。

《數(shù)據(jù)挖掘與智能決策》作為計算機、物聯(lián)網(wǎng)工程、軟件工程專業(yè)大學(xué)本科生的專業(yè)必修課，具有很強的實際應(yīng)用背景，是理論與實際應(yīng)用緊密結(jié)合的課程。該課程涉及到信息科學(xué)的眾多學(xué)科，是信號處理、數(shù)據(jù)挖掘、模糊系統(tǒng)理論、進化計算、信息融合等理論和方法的綜合應(yīng)用?！稊?shù)據(jù)挖掘與智能決策》是一門綜合性很強的課程，不僅涉及到信息科學(xué)眾多學(xué)科的理論和方法，而且密切聯(lián)系應(yīng)用學(xué)科，根據(jù)應(yīng)用領(lǐng)域中具體的問題，選擇信息科學(xué)中適當?shù)姆椒ㄟM行處理，從而將不完全、不精確的數(shù)據(jù)和信息逐步提取、抽象為有價值的知識，從而為相關(guān)領(lǐng)域?qū)＜姨峁Q策支持和服務(wù)。《數(shù)據(jù)挖掘與智能決策》不僅與實際應(yīng)用背景緊密結(jié)合，而且同先進的數(shù)據(jù)處理技術(shù)密不可分，如果將數(shù)據(jù)處理及分析的最新科研成果融合在本課程的教學(xué)過程中，必然能提高課程的教學(xué)質(zhì)量[3]。

太原科技大學(xué)數(shù)據(jù)挖掘與并行計算研究所，依托海量數(shù)據(jù)分析與并行計算山西省科技創(chuàng)新重點團隊，主要從事數(shù)據(jù)挖掘與并行計算、機器學(xué)習(xí)及應(yīng)用、天體光譜數(shù)據(jù)分析等領(lǐng)域的研究工作。近年來，該研究所在大數(shù)據(jù)挖掘領(lǐng)域的國際領(lǐng)先刊物上發(fā)表了許多科研成果。本文針對《數(shù)據(jù)挖掘與智能決策》課程的教學(xué)，將該研究所的最新科研成果融合在課程的教學(xué)內(nèi)容中，旨在學(xué)生掌握基本理論的同時，了解并掌握國際、國內(nèi)的領(lǐng)先技術(shù)，拓寬學(xué)生思路，順應(yīng)社會發(fā)展。

一、大數(shù)據(jù)及《數(shù)據(jù)挖掘與智能決策》

（一）大數(shù)據(jù)

大數(shù)據(jù)的蓬勃興起已經(jīng)引起國內(nèi)外學(xué)術(shù)界、全球工業(yè)界以及許多國家政府層面的高度關(guān)注。在國際學(xué)術(shù)界，世界頂級期刊Nature在2008年舉辦“Big Data”的專刊，從經(jīng)濟學(xué)、醫(yī)療學(xué)、環(huán)境安全以及物聯(lián)網(wǎng)等多個方面討論、分析大數(shù)據(jù)的來源、用途、前景。在2011年，另一國際頂級期刊Science，利用“大數(shù)據(jù)處理”的?？?，進一步討論分析了大數(shù)據(jù)時代各個領(lǐng)域所面臨的機遇與挑戰(zhàn)。此外，國際著名出版社IEEE針對大數(shù)據(jù)新增

“IEEE Transactions on Big Data”的期刊，主要刊登與大數(shù)據(jù)相關(guān)的科研成果。在國內(nèi)，清華大學(xué)圍繞云計算、大數(shù)據(jù)分析和高性能計算框架等相關(guān)課題，成功舉辦了科研論壇，深入討論了學(xué)術(shù)難題及未來面臨的科學(xué)問題。

大數(shù)據(jù)本身沒有準確定義，一般應(yīng)該符合以下四個特征，數(shù)量巨大（Volume），數(shù)據(jù)量上的要求，是大數(shù)據(jù)的首要特征[4];種類繁多（Variety），大數(shù)據(jù)在結(jié)構(gòu)、格式、形態(tài)等方面多種多樣;處理神速（Velocity），對速度提出的要求是大數(shù)據(jù)的又一特征;數(shù)據(jù)真實（Veracity），建立在真實、準確數(shù)據(jù)之上的決策，才更有價值。

（二）數(shù)據(jù)挖掘與智能決策

數(shù)據(jù)挖掘與智能決策就是從海量、高維、復(fù)雜甚至是帶噪聲上的數(shù)據(jù)中提取有趣的知識、潛在的未被人類掌握的規(guī)律，其挖掘結(jié)果可用于智能決策、生產(chǎn)控制、過程分析、信息管理等方面。數(shù)據(jù)挖掘與智能決策通常涉及數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)選擇、數(shù)據(jù)轉(zhuǎn)換、模式發(fā)現(xiàn)、模式評估和知識表示等方面。傳統(tǒng)數(shù)據(jù)處理的研究內(nèi)容主要有以下幾類：

第一類是分類，它是描述數(shù)據(jù)類別的一種數(shù)據(jù)分析模型。這樣的模型，稱為分類器，可以針對離散、無序的數(shù)據(jù)進行預(yù)測分類。第二類是關(guān)聯(lián)規(guī)則挖掘，它是用于探索對象特征之間的相關(guān)性，可看成是屬性與屬性之間特定關(guān)系的檢測，從而發(fā)現(xiàn)潛在的一些規(guī)律，用于指導(dǎo)生產(chǎn)或社會實踐。第三類是離群數(shù)據(jù)檢測，是尋找與一般對象顯著不同的特殊數(shù)據(jù)對象的過程。這些特殊對象被稱為離群數(shù)據(jù)或異常。離群數(shù)據(jù)檢測在許多應(yīng)用中是非常重要的，例如欺詐檢測、醫(yī)療保健、公共安全、傳感器/視頻網(wǎng)絡(luò)監(jiān)視以及網(wǎng)絡(luò)入侵檢測等等。

二、當前課程存在的問題

由于《數(shù)據(jù)挖掘與智能決策》課程具有前瞻性、應(yīng)用性的特點，無論從教材角度，還是從教學(xué)環(huán)境角度，都無法對該課程做到統(tǒng)一規(guī)劃，使得學(xué)生對課程內(nèi)容掌握效果難以達到課程的預(yù)期目標，主要有以下幾個方面：

（一）教學(xué)內(nèi)容與實際應(yīng)用脫節(jié)

《數(shù)據(jù)挖掘與智能決策》內(nèi)容非常豐富，不僅涉及到數(shù)據(jù)挖掘和機器學(xué)習(xí)的相關(guān)知識，而且還涉及當前流行的并行計算環(huán)境。隨著計算機硬件、網(wǎng)絡(luò)資源、大數(shù)據(jù)等的高速發(fā)展，對數(shù)據(jù)處理提出了更高、更專業(yè)的要求，傳統(tǒng)的數(shù)據(jù)處理方法已經(jīng)不能滿足當今海量數(shù)據(jù)的需求[5]。如果學(xué)生依舊重點學(xué)習(xí)傳統(tǒng)方法及算法，那么他們所掌握的相關(guān)技能無法應(yīng)用在具體的實際場景中。在傳統(tǒng)的教學(xué)中，《數(shù)據(jù)挖掘與智能決策》課程主要講授常規(guī)的數(shù)

據(jù)處理方法及經(jīng)典的數(shù)據(jù)處理平臺，當學(xué)生完成本課程的學(xué)習(xí)后，他們僅僅是對老師所講授的各知識點從理論上有一個大概的了解，而對《數(shù)據(jù)挖掘與智能決策》的應(yīng)用環(huán)境、行業(yè)需求和最新的前沿技術(shù)基本不了解，更談不上如何應(yīng)用《數(shù)據(jù)挖掘與智能決策》的技術(shù)解決實際生

產(chǎn)、生活中的問題。

（二）教學(xué)方法陳舊

由于教學(xué)資源和教學(xué)環(huán)境的限制，《數(shù)據(jù)挖掘與智能決策》的教學(xué)在許多高校讓然沿用傳統(tǒng)的教室講授模式，課后學(xué)生自己進行模擬練習(xí)。這種模式無法適應(yīng)《數(shù)據(jù)挖掘與智能決策》課程的前瞻性、應(yīng)用性特征，而且束縛了學(xué)生的創(chuàng)造性，不能真正調(diào)動學(xué)生的積極性和興趣[6]?！稊?shù)據(jù)挖掘與智能決策》課程的教學(xué)如果能和科研項目相結(jié)

合，讓學(xué)生真正參與到科研項目中，充分體會課程內(nèi)容的應(yīng)用價值，這無疑能讓學(xué)生對大數(shù)據(jù)及智能決策有一種直觀的感受，更能明確本課程的相關(guān)技術(shù)如何為現(xiàn)實應(yīng)用創(chuàng)造價值。因此，除了傳統(tǒng)的課堂教學(xué)外，還需要大量的課外拓展和實戰(zhàn)演練。

（三）考核方式死板

傳統(tǒng)的考核只是針對學(xué)生對課本知識掌握情況的考評，具體通過期中、期末測試，平時作業(yè)和上機操作等方式進行。但對于《數(shù)據(jù)挖掘與智能決策》這類操作性、應(yīng)用性非常強的課程，基礎(chǔ)知識的考核似乎更像是雞肋，因為該類課程更注重學(xué)生的應(yīng)用能力和創(chuàng)造能力，需要將課程所學(xué)內(nèi)容完全應(yīng)用在具體的實際問題中。將學(xué)生的考核和具體的科研項目、科研成果相結(jié)合，除了能了解學(xué)生對基本知識的掌握情況之外，還能考察學(xué)生的應(yīng)用能力、團隊合作精神，甚至能發(fā)掘、激發(fā)學(xué)生的創(chuàng)造性，真正達到學(xué)以致用的目的。

基于上述現(xiàn)狀的分析，為適應(yīng)大數(shù)據(jù)時代的要求，培養(yǎng)更優(yōu)秀的學(xué)生，提高教學(xué)質(zhì)量，《數(shù)據(jù)挖掘與智能決策》課程建設(shè)需要新的探索。

三、科研成果融于離群挖掘教學(xué)中

離群數(shù)據(jù)挖掘作為《數(shù)據(jù)挖掘與智能決策》課程的一個重要內(nèi)容，屬于數(shù)據(jù)挖掘的一個分支，其理論理解相對簡單，但是針對離群數(shù)據(jù)挖掘的度量及相應(yīng)算法形形色色，五花八門。隨著科研者的持續(xù)研究，許多算法由于其超高的時空復(fù)雜度已逐步退出歷史舞臺，但它們依舊出現(xiàn)在許多教材中，導(dǎo)致學(xué)生掌握的這些算法沒有實際意義和價值。本節(jié)介紹的離群檢測算法PLOMA[7]，于2019年刊登在國際著名期刊《Expert System with Application》，屬于該領(lǐng)域領(lǐng)先的技術(shù)。

PLOMA是一種MapReduce框架下的上下文離群數(shù)據(jù)并行檢測算法，包括三個MapReduce作業(yè)，其工作流程見圖1。這三個MapReduce作業(yè)對應(yīng)三個模塊，即并行化數(shù)據(jù)約減策略、稀疏子空間并行搜索技術(shù)、稀疏子空間驗證及離群結(jié)果解釋模塊。并行化數(shù)據(jù)約減策略通過在集群各個節(jié)點并行地剪枝無關(guān)的屬性和對象來加快PLOMA的整體效率。稀疏子空間并行搜索模塊無縫集成了粒子群優(yōu)化算法，并行地在集群上查找稀疏子空間。最后一個模塊通過驗證局部稀疏子空間的正確性，使其保持較高的離群檢測精度，然后通過稀疏子空間提取每個離群數(shù)據(jù)的上下文信息，并為離群結(jié)果提供合理解釋。

在《數(shù)據(jù)挖掘與智能決策》的離群挖掘教學(xué)中，基于子空間的離群數(shù)據(jù)檢測成為離群挖掘的一個全新度量方式。學(xué)生在理解什么是離群之后，就需要掌握怎樣才能從海量數(shù)據(jù)中找到離群數(shù)據(jù)。隨著數(shù)據(jù)量的不斷膨脹，什么樣的方法才能適應(yīng)大數(shù)據(jù)的需求，從大數(shù)據(jù)中找出與眾不同的特異對象。本節(jié)所介紹的理論成果就是對這些教學(xué)內(nèi)容的支撐，它不僅提供了適應(yīng)大數(shù)據(jù)挖掘的最新技術(shù)，還引入了并行計算的理論，借助網(wǎng)絡(luò)中的大量計算資源解決數(shù)據(jù)膨脹問題。在拓寬教學(xué)內(nèi)容的同時，還可以督促學(xué)生掌握當前流行的一些新技術(shù)。

四、科研成果融于關(guān)聯(lián)規(guī)則挖掘教學(xué)中

關(guān)聯(lián)規(guī)則挖掘是《數(shù)據(jù)挖掘與智能決策》課程的另一個主要內(nèi)容，用于探索對象特征之間的相關(guān)性，可看成是屬性與屬性之間特定關(guān)系的檢測。其挖掘主要分成兩步，第一步是頻繁模式的挖掘，第二步是關(guān)聯(lián)規(guī)則的產(chǎn)生，典型的挖掘算法主要有Apriori算法和FP-Growth算法。多數(shù)《數(shù)據(jù)挖掘與智能決策》教材中，主要介紹這兩個算法，但是Apriori算法不可避免地多次掃描數(shù)據(jù)集，它不適用于高維數(shù)據(jù)，這是Apriori算法的瓶頸;FP-Growth算法需要將所有數(shù)據(jù)保存在內(nèi)存中，當數(shù)據(jù)集特別大時，這將無法實現(xiàn)。因此，這些算法無法滿足大數(shù)據(jù)的需求，已經(jīng)落伍。本節(jié)介紹的頻繁模式挖掘算法FiDoop[8]，于2019年刊登在國際頂級期刊《IEEE Transactions on Parallel and Distributed Systems》，屬于該領(lǐng)域領(lǐng)先的技術(shù)。

FiDoop算法是在Hadoop平臺上設(shè)計的一種并行頻繁模式挖掘算法，該算法由三個MapReduce任務(wù)構(gòu)成。

第一個MapReduce任務(wù)是頻繁1模式的檢測，實驗數(shù)據(jù)被Hadoop分割，并上傳到集群的分布式文件系統(tǒng)（HDFS）上，各數(shù)據(jù)節(jié)點從HDFS上讀取數(shù)據(jù)到本地磁盤，然后統(tǒng)計每個1-模式出現(xiàn)的次數(shù)，最終產(chǎn)生頻繁的1-模式集;第二個MapReduce任務(wù)是構(gòu)造頻繁模式樹，每個頻繁模式由剪枝后的模式數(shù)量和模式列表構(gòu)成，為了統(tǒng)計的需要，交易事務(wù)中的頻繁模式按字母順序進行排序;第三個MapReduce任務(wù)是從頻繁模式樹上提取頻繁模式，并由頻繁模式生成相應(yīng)的關(guān)聯(lián)規(guī)則。

在《數(shù)據(jù)挖掘與智能決策》的關(guān)聯(lián)規(guī)則教學(xué)中，頻繁模式的發(fā)現(xiàn)是關(guān)聯(lián)規(guī)則挖掘的主要步驟，是學(xué)生需要重點掌握的內(nèi)容，但傳統(tǒng)的頻繁模式挖掘算法Apriori和FP-growth都是極其耗時的算法，無法應(yīng)用在實際的生產(chǎn)、生活領(lǐng)域。對學(xué)生而言，無實際應(yīng)用價值的算法理論，是非常枯燥的。本節(jié)闡述的FiDoop算法，在結(jié)合大數(shù)據(jù)的特征基礎(chǔ)上，采用MapReduce編程思想而設(shè)計的并行算法，不僅解決了傳統(tǒng)算法的瓶頸問題，而且結(jié)合了先進的并行計算平臺，使其能解決大數(shù)據(jù)領(lǐng)域的相關(guān)問題，從而調(diào)動了學(xué)生的學(xué)習(xí)興趣，保證了教學(xué)內(nèi)容的趣味性。

五、結(jié)束語

《數(shù)據(jù)挖掘與智能決策》課程的教學(xué)需要同具體的應(yīng)用領(lǐng)域相結(jié)合，讓學(xué)生在掌握基本知識的同時，積極學(xué)習(xí)最先進的相關(guān)技術(shù)，從而培養(yǎng)學(xué)生的創(chuàng)造性和實際應(yīng)用能力。要培養(yǎng)具有創(chuàng)新精神和創(chuàng)新能力的人，就要加強科研成果、科研項目同具體課程教學(xué)之間的聯(lián)系，將先進的科研內(nèi)容融于《數(shù)據(jù)挖掘與智能決策》相關(guān)課程的教學(xué)中，從而促進學(xué)生個性的發(fā)展和創(chuàng)新意識、創(chuàng)新能力的培養(yǎng)。

參考文獻：

[1]吳小同.大數(shù)據(jù)環(huán)境下隱私保護及其關(guān)鍵技術(shù)研究[D].南京：南京大學(xué)，2017：6.

[2]Jiawei Han， Micheline Kamber.數(shù)據(jù)挖掘概念與技術(shù)[M].

范明，孟小峰，譯.北京：機械工業(yè)出版社，2001.

[3]毛瓊.項目化教學(xué)導(dǎo)向的科研成果轉(zhuǎn)化為教學(xué)資源的探索[J].佳木斯職業(yè)學(xué)院學(xué)報，2019（11）：246-248.

[4]白洋.大數(shù)據(jù)在高校教學(xué)科研管理工作中的應(yīng)用研究[J].教育現(xiàn)代化，2019，6（74）：241-242.

[5]陳光宋，張弘鈞.“雙一流”背景下科研反哺教學(xué)的困境、對策與實踐[J].南京理工大學(xué)學(xué)報（社會科學(xué)版），2019，32（05）：67-71.

[6]張振花，李慧盈，楊瀛濤.以學(xué)生和科研項目為案例驅(qū)動的多媒體技術(shù)課程內(nèi)容和教學(xué)方法研究[J].計算機教育，2019

（10）：159-162.

[7]Xujun Zhao， Jifu Zhang， Xiao Qin.Parallel mining of contextual outlier using sparse subspace[J].Expert Systems

with Applications， 2019，126：158-170.

[8]Yaling Xun，Jifu Zhang，Xiao Qin，Xujun Zhao.FiDoop-DP： Data Partitioning in Frequent Itemset Mining on Hadoop Clusters[J].IEEE Transactions on Parallel and Distributed Systems， 2017，28（1）：101-114.