基于統(tǒng)計感知的大數(shù)據(jù)處理與分析課程設(shè)計研究

何玉林，尹劍飛，黃哲學(xué)

(深圳大學(xué)計算機與軟件學(xué)院，深圳 518060)

0 引言

在2015年8月份國務(wù)院下發(fā)的《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》中明確指出[注]http://www.gov.cn/zhengce/content/2015-09/05/content_10137.htm：創(chuàng)新人才培養(yǎng)模式，建立健全多層次、多類型的大數(shù)據(jù)人才培養(yǎng)體系。在教育部公布的《2019年度普通高等學(xué)校本科專業(yè)備案和審批結(jié)果的通知》中顯示[注]http://www.gov.cn/zhengce/zhengceku/2020-03/05/content_5487477.htm，截止到2019年10月份，全國高校新增設(shè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)點196個。研究專門針對大數(shù)據(jù)專業(yè)人才培養(yǎng)的課程內(nèi)容設(shè)計是非常必要的，對大數(shù)據(jù)戰(zhàn)略的具體實施具有重要的現(xiàn)實意義和社會價值。

深圳大學(xué)計算機與軟件學(xué)院于2017年啟動大數(shù)據(jù)特色班的建設(shè)，2018年開始進(jìn)行大數(shù)據(jù)特色班的招生與授課，其中《大數(shù)據(jù)處理與分析》被列特色班的核心課程。當(dāng)前，國內(nèi)數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)開設(shè)與大數(shù)據(jù)處理和大數(shù)據(jù)分析相關(guān)課程的兄弟院校還有華中科技大學(xué)的《大數(shù)據(jù)分析與處理》、中國人民大學(xué)的《非結(jié)構(gòu)化大數(shù)據(jù)分析》、山東大學(xué)的《大數(shù)據(jù)管理與分析》等。不同高校對課程內(nèi)容的設(shè)計不盡相同，所采用的教材也不一樣，因此，本文試圖設(shè)計一套能夠符合數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)培養(yǎng)要求的、同時又能夠體現(xiàn)深圳大學(xué)大數(shù)據(jù)系統(tǒng)計算技術(shù)研究特色的《大數(shù)據(jù)處理與分析》課程體系。

大數(shù)據(jù)作為統(tǒng)計學(xué)、數(shù)學(xué)和計算機三大學(xué)科的緊密整合，統(tǒng)計學(xué)在大數(shù)據(jù)的技術(shù)體系結(jié)構(gòu)中占據(jù)重要的位置。因此，在充分借鑒兄弟院校課程設(shè)計經(jīng)驗的基礎(chǔ)之上，結(jié)合深圳大學(xué)計算機與軟件學(xué)院大數(shù)據(jù)所多年從事大數(shù)據(jù)系統(tǒng)計算技術(shù)相關(guān)領(lǐng)域研究取得的科研成果，我們給出了一套以大數(shù)據(jù)隨機樣本劃分模型(Random Sample Partition，RSP)[1]為基礎(chǔ)的《大數(shù)據(jù)處理與分析》課程設(shè)計方案，讓大數(shù)據(jù)統(tǒng)計感知[2]的思想貫穿大數(shù)據(jù)存儲處理、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)切分處理、大數(shù)據(jù)降維處理、大數(shù)據(jù)統(tǒng)計分析、大數(shù)據(jù)分類分析和大數(shù)據(jù)聚類分析七部分的教學(xué)內(nèi)容。

1 課程教學(xué)內(nèi)容設(shè)計

在介紹《大數(shù)據(jù)處理與分析》課程教學(xué)內(nèi)容設(shè)計之前，首先明確該課程的教學(xué)目的是培養(yǎng)具備初級大數(shù)據(jù)計算技術(shù)運用能力的本科生，以前期課程《大數(shù)據(jù)計算原理和技術(shù)》和《數(shù)據(jù)挖掘?qū)д摗窞榛A(chǔ)，通過后續(xù)課程《大數(shù)據(jù)應(yīng)用概論》和《統(tǒng)計抽樣理論與方法》的學(xué)習(xí)強化對本課程知識點的進(jìn)一步掌握和理解，使學(xué)生在日后的工作中能夠?qū)嶋H的大數(shù)據(jù)計算問題提出行之有效的解決方案。

大數(shù)據(jù)處理與分析應(yīng)該包含兩部分的內(nèi)容：大數(shù)據(jù)處理強調(diào)數(shù)據(jù)層面的操作方法，大數(shù)據(jù)分析強調(diào)算法層面的訓(xùn)練模式。處理注重更深層次的數(shù)據(jù)挖掘，分析注重有針對性的算法訓(xùn)練。因此，我們設(shè)計如圖1所示的《大數(shù)據(jù)處理與分析》課程教學(xué)內(nèi)容體系。

(1)大數(shù)據(jù)存儲處理：主要講述分布式存儲系統(tǒng)是如何對大規(guī)模數(shù)據(jù)集進(jìn)行存儲和管理的[3]，包括數(shù)據(jù)分布、復(fù)制與一致性、容錯機制和可擴展性。本部分內(nèi)容引出Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System，HDFS)在處理大數(shù)據(jù)的分布式存儲時沒有考慮HDFS數(shù)據(jù)塊之間的概率分布一致性；

(2)大數(shù)據(jù)預(yù)處理，主要講述針對大數(shù)據(jù)的缺省值處理、異常點挖掘，以及屬性一致性處理[4]，即如何將經(jīng)典的缺省值插補方法、異常點檢測方法、連續(xù)值屬性離散化方法、以及離散值屬性連續(xù)化方法應(yīng)用在數(shù)據(jù)分布式存儲的場景中，當(dāng)大數(shù)據(jù)被表示成批量的數(shù)據(jù)塊時，數(shù)據(jù)塊之間的概率分布一致性是如何影響上述對大數(shù)據(jù)的預(yù)處理操作的；

(3)大數(shù)據(jù)切分處理：主要講述如何基于HDFS數(shù)據(jù)塊獲得與大數(shù)據(jù)保持概率分布一致性的RSP數(shù)據(jù)塊[5]，包括RSP的定義、RSP的判定、數(shù)據(jù)塊分布一致性的判定[6]、大數(shù)據(jù)復(fù)雜性的定義，以及如何基于數(shù)據(jù)復(fù)雜性確定樣本規(guī)模，本部分內(nèi)容是本課程的核心重點，是開展后續(xù)大數(shù)據(jù)分析的基礎(chǔ)；

(4)大數(shù)據(jù)降維處理：主要講述分布式存儲環(huán)境下如何對大規(guī)模數(shù)據(jù)進(jìn)行特征選擇和屬性抽取。為了處理不同數(shù)據(jù)塊對應(yīng)的降維之后屬性不一致問題，我們重點講解在不同的RSP數(shù)據(jù)塊上采用觀測點策略[7]的降維處理機制，即將原始空間的多維數(shù)據(jù)轉(zhuǎn)換為距離空間的一維數(shù)據(jù)；

(5)大數(shù)據(jù)統(tǒng)計分析：主要講述如何對大數(shù)據(jù)進(jìn)行概率密度函數(shù)估計的問題，因為概率密度函數(shù)是研究隨機變量數(shù)學(xué)屬性(期望、方差、信息熵等)的重要統(tǒng)計工具?；诖髷?shù)據(jù)隨機樣本劃分模型，重點講解增量式的大數(shù)據(jù)概率密度函數(shù)估計方法[8]和集成式的大數(shù)據(jù)概率密度函數(shù)估計方法；

(6)大數(shù)據(jù)分類分析：主要講述如何基于RSP數(shù)據(jù)塊構(gòu)建針對大數(shù)據(jù)的有監(jiān)督學(xué)習(xí)模型[9]，以神經(jīng)網(wǎng)絡(luò)和貝葉斯分類器兩種典型的有監(jiān)督學(xué)習(xí)模型為例，詳細(xì)地講解增量神經(jīng)網(wǎng)絡(luò)、增量貝葉斯分類器、集成神經(jīng)網(wǎng)絡(luò)、以及集成貝葉斯網(wǎng)絡(luò)的構(gòu)建方法，并對大數(shù)據(jù)有監(jiān)督學(xué)習(xí)中涉及到的不平衡分類問題以及半監(jiān)督學(xué)習(xí)問題進(jìn)行簡述；

(7)大數(shù)據(jù)聚類分析：主要講述如何基于RSP數(shù)據(jù)塊構(gòu)建針對大數(shù)據(jù)的無監(jiān)督學(xué)習(xí)模型，以K-means和高斯混合模型(Gaussian Mixture Model，GMM)兩種典型的無監(jiān)督學(xué)習(xí)模型為例，詳細(xì)地探討集成K-means和集成GMM的構(gòu)建方法，并對一種新型的適用于大數(shù)據(jù)無監(jiān)督學(xué)習(xí)問題的自動聚類算法I-nice進(jìn)行詳述。

上述七部分的教學(xué)內(nèi)容全部圍繞大數(shù)據(jù)的處理與分析展開，在課程教學(xué)開展過程中，為加深學(xué)生對理論知識的理解和掌握，每一部分的教學(xué)內(nèi)容均對應(yīng)專題實驗以鍛煉學(xué)習(xí)的實際操作能力。

2 課程應(yīng)用案例介紹

《大數(shù)據(jù)處理與分析》課程準(zhǔn)備了一個實際應(yīng)用案例作為對學(xué)生理論學(xué)習(xí)的擴充以及課程學(xué)習(xí)成果的檢驗：電信用戶通話記錄分群。自2017年深圳大學(xué)計算機與軟件學(xué)院大數(shù)據(jù)所與中國電信某省公司簽署戰(zhàn)略合作協(xié)議以來，我們收集了海量的電信用戶數(shù)據(jù)，選取2020年05月01日至2020年06月30日約2TB的全省通話記錄數(shù)據(jù)，訓(xùn)練一個能夠?qū)⑼ㄔ挿譃樵p騙電話、騷擾電話、營銷電話，以及正常電話四種類型的學(xué)習(xí)模型，用以對新的通話記錄進(jìn)行類型甄別，其中一條通話記錄數(shù)據(jù)采用如圖2所示的74個字段進(jìn)行描述。

為了實現(xiàn)上述的電信通話記錄分群任務(wù)，首先需要對獲取的電信大數(shù)據(jù)進(jìn)行如下的處理操作：

3 課程教學(xué)效果分析

本課程于2019-2020學(xué)年第一學(xué)期首次給深圳大學(xué)大數(shù)據(jù)特色班講授，選課人數(shù)30人，每周4學(xué)時(2節(jié)理論課和2節(jié)實驗課)。本學(xué)期針對該課程總共設(shè)置了5次課后實驗、3次課堂測試、1次期中考試、和1次期末大作業(yè)，除去4人放棄本課程的學(xué)習(xí)之外，其余26人的成績分布下圖3所示：

(a)實驗一成績分布(b)實驗二成績分布

從圖3我們可以清楚地觀察到大數(shù)據(jù)特色班的所有學(xué)生(放棄本課程學(xué)習(xí)的除外)都能夠較好地完成課后實驗、隨堂測試、期中考試和期末大作業(yè)，這表明《大數(shù)據(jù)處理與分析》課程內(nèi)容的設(shè)計是能夠滿足大數(shù)據(jù)特色班學(xué)生認(rèn)知需求的，符合數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的培養(yǎng)要求。圖4和圖5分別給出了《大數(shù)據(jù)處理與分析》課程教學(xué)測評結(jié)果和測評結(jié)果分析情況，從圖4中可看出大數(shù)據(jù)特色班的學(xué)生對本課程的教學(xué)滿意度達(dá)到了98.45%，這表明學(xué)生在本課程的學(xué)習(xí)中確實做到了“學(xué)有所得、學(xué)以致用”，符合了學(xué)生對大數(shù)據(jù)系統(tǒng)計算技術(shù)知識的理解與要求。

圖4 《大數(shù)據(jù)處理與分析》課程教學(xué)測評結(jié)果

圖5 《大數(shù)據(jù)處理與分析》課程測評結(jié)果分析

4 結(jié)語

在當(dāng)前《大數(shù)據(jù)處理與分析》課程體系結(jié)構(gòu)尚不完善的情況下，對于如何開展本課程的本科教學(xué)工作，結(jié)合作者研究團(tuán)隊獲得的關(guān)于大數(shù)據(jù)系統(tǒng)計算的最新研究成果，提出了一種以大數(shù)據(jù)統(tǒng)計感知思想為切入點、以大數(shù)據(jù)隨機樣本劃分模型為基礎(chǔ)的課程設(shè)計方案。同時，結(jié)合有針對性的應(yīng)用案例將課程知識點與實際應(yīng)用有機結(jié)合，在重視課程設(shè)計的理論性基礎(chǔ)上，增強教學(xué)內(nèi)容的實用性。該方案為今后大數(shù)據(jù)處理與分析課程的設(shè)計提供了一條具有較高可操作性的思路，具有較強的方法論借鑒意義。