基于數(shù)據(jù)挖掘的統(tǒng)計(jì)思維及程序設(shè)計(jì)人才的培養(yǎng)

王軍 趙穎珺

摘 要： 隨著大數(shù)據(jù)時(shí)代來(lái)臨，數(shù)據(jù)挖掘技術(shù)成為全球研究的熱點(diǎn)，在數(shù)據(jù)挖掘過(guò)程中，經(jīng)常會(huì)用到統(tǒng)計(jì)學(xué)方面的知識(shí)、理論和統(tǒng)計(jì)思想。與此同時(shí)，對(duì)數(shù)據(jù)挖掘技術(shù)的研究也促進(jìn)著統(tǒng)計(jì)學(xué)的研究和發(fā)展。因此，培養(yǎng)具有統(tǒng)計(jì)思維的程序設(shè)計(jì)人才正是培養(yǎng)應(yīng)用型人才的客觀要求。本文分析了數(shù)據(jù)挖掘與統(tǒng)計(jì)思想之間的關(guān)聯(lián)，并提出在培養(yǎng)程序設(shè)計(jì)人才過(guò)程中滲透統(tǒng)計(jì)思維的三個(gè)具體方法，從而加強(qiáng)程序設(shè)計(jì)人才統(tǒng)計(jì)思維的培養(yǎng)，提高人才培養(yǎng)的質(zhì)量。

關(guān)鍵詞： 數(shù)據(jù)挖掘； 統(tǒng)計(jì)思維； 應(yīng)用型人才； 分析方法

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2018）09-96-03

Abstract： With the coming of big data era， data mining has become a hot research topic in the global. During the data mining， the knowledge， theory and thought of statistics are often used. At the same time， the research of data mining also stimulates the research and development of statistics. Therefore， it is the objective requirement of cultivating application-oriented talents to train the programming talents with statistical thinking. In this paper， the relationship between the data mining and the statistical thinking is analyzed， and three specific methods to infiltrate the statistics thinking in the training of programming talents are put forward， so as to strengthen the training of the statistical thinking of program design talents and improve the quality of personnel training.

Key words： data mining； statistical thinking； application-oriented talent； analysis method

0 引言

隨著智能終端、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)日新月異的發(fā)展，數(shù)據(jù)正以驚人的速度產(chǎn)生，尤其是大企業(yè)如電信運(yùn)營(yíng)商、電子商務(wù)、互聯(lián)網(wǎng)公司、金融、股市等生產(chǎn)并掌握著PB或ZB級(jí)數(shù)據(jù)，大數(shù)據(jù)正在改變著人們的思維、擁有無(wú)限價(jià)值的潛能。如今，衡量企業(yè)的核心資產(chǎn)能力和價(jià)值能力都是以其管理大數(shù)據(jù)的能力為依據(jù)[1]。如何從大規(guī)模數(shù)據(jù)中挖掘出有價(jià)值的數(shù)據(jù)，現(xiàn)在成為全球研究的熱點(diǎn)。

1 相關(guān)技術(shù)介紹

1.1 統(tǒng)計(jì)思維

文獻(xiàn)[2]胡敏認(rèn)為，統(tǒng)計(jì)思維是學(xué)生獲得統(tǒng)計(jì)基礎(chǔ)和基本技能，形成數(shù)據(jù)分析觀念和隨機(jī)思想的思維模式和解決問(wèn)題的方法，具體包括，具有收集和整理數(shù)據(jù)的意識(shí)，學(xué)會(huì)分析和解釋數(shù)據(jù)的方法，并根據(jù)數(shù)據(jù)處理結(jié)果做出合理的推斷和決策；體會(huì)數(shù)據(jù)的隨機(jī)性和不確定性，統(tǒng)計(jì)思維的具體表現(xiàn)是數(shù)據(jù)的收集、整理、描述、分析和解釋等方面的能力。

1.2 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是指，從存放在數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、互聯(lián)網(wǎng)或其他信息庫(kù)中大量的、含有噪聲的、未知的和對(duì)決策有潛在價(jià)值的數(shù)據(jù)發(fā)現(xiàn)有價(jià)值知識(shí)的過(guò)程[3]，或者是指，從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中有價(jià)值信息的過(guò)程，通過(guò)統(tǒng)計(jì)、在線分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)和模式識(shí)別等諸多方法來(lái)發(fā)現(xiàn)知識(shí)。研究的目的主要是發(fā)現(xiàn)知識(shí)、使數(shù)據(jù)可視化、糾正數(shù)據(jù)、預(yù)測(cè)趨勢(shì)走向，獲取可用的新穎的數(shù)據(jù)展現(xiàn)方式，幫助數(shù)據(jù)所有者理解并開(kāi)發(fā)其使用價(jià)值。

數(shù)據(jù)挖掘的過(guò)程就是對(duì)觀測(cè)到的數(shù)據(jù)集進(jìn)行分析，比如回歸分析、預(yù)測(cè)分析、可視化分析，發(fā)現(xiàn)未知的關(guān)系和總結(jié)。在這個(gè)過(guò)程中，我們會(huì)利用不同的分析方法和分析工具，在海量數(shù)據(jù)處理過(guò)程中進(jìn)行數(shù)學(xué)建模和關(guān)系發(fā)現(xiàn)，這些模型和關(guān)系可以輔助決策和預(yù)測(cè)。

1.3 數(shù)據(jù)挖掘與統(tǒng)計(jì)思維的關(guān)系

文獻(xiàn)[4]中詳細(xì)介紹了數(shù)據(jù)挖掘的各個(gè)階段的數(shù)據(jù)挖掘算法所用到的統(tǒng)計(jì)學(xué)理論和統(tǒng)計(jì)分析方法；文獻(xiàn)[5，7]中介紹了在線流數(shù)據(jù)聚類挖掘算法和并行化加權(quán)近鄰傳播聚類挖掘算法；文獻(xiàn)[6]提出了一種基于部分約束信息的大規(guī)模數(shù)據(jù)集EM概率聚類算法等大量運(yùn)用了概率和數(shù)理統(tǒng)計(jì)方法。十大經(jīng)典算法中的K-means算法，介紹了先選擇k個(gè)對(duì)象，每一個(gè)對(duì)象初始地代表一簇平均值中心對(duì)剩余的對(duì)象根據(jù)與其各個(gè)簇中心的距離，將它賦給最近的簇，然后重新計(jì)算每個(gè)簇的平均值。這個(gè)過(guò)程不斷的迭代，直到準(zhǔn)則函數(shù)收斂。準(zhǔn)則函數(shù)定義為：

其中，E是準(zhǔn)則函數(shù)，表示數(shù)據(jù)集中所有數(shù)據(jù)點(diǎn)的平均誤差總和，x是空間中的點(diǎn)，表示所給定的數(shù)據(jù)點(diǎn)，是簇Ci的平均值，準(zhǔn)則函數(shù)E使得生成的結(jié)果簇盡可能地獨(dú)立和緊湊。

十大經(jīng)典算法中的EM算法，介紹把數(shù)據(jù)的每一個(gè)聚類看作是一個(gè)高斯分布，這個(gè)多維的高斯分布的概率密度函數(shù)為：

其中，μh為高斯分布中心，Σh，h=1，2，…，k為協(xié)方差，若X為d維列向量，則為d維的列中心向量，Σh為d×d的協(xié)方差，密度函數(shù)為每一個(gè)多維高斯分布設(shè)置一個(gè)權(quán)重系數(shù)wh，于是對(duì)無(wú)標(biāo)簽數(shù)據(jù)聚類的過(guò)程轉(zhuǎn)變?yōu)楣烙?jì)適合的參數(shù)，使得原始待聚類數(shù)據(jù)的擬然最大，都是用統(tǒng)計(jì)學(xué)知識(shí)和統(tǒng)計(jì)分析方法進(jìn)行數(shù)據(jù)挖掘。還有更多的數(shù)據(jù)挖掘算法表明，統(tǒng)計(jì)學(xué)方法作為數(shù)據(jù)挖掘的工具在數(shù)據(jù)挖掘中發(fā)揮著不可忽視的作用。數(shù)據(jù)挖掘過(guò)程中無(wú)時(shí)無(wú)刻不是在對(duì)數(shù)據(jù)進(jìn)行收集、歸類、分析、整理且反復(fù)進(jìn)行。統(tǒng)計(jì)思維始終貫穿在數(shù)據(jù)挖掘的全過(guò)程中，數(shù)據(jù)挖掘過(guò)程就是對(duì)統(tǒng)計(jì)思維的培訓(xùn)和強(qiáng)化訓(xùn)練、獲取思維能力的過(guò)程，也是統(tǒng)計(jì)思維得到應(yīng)用和創(chuàng)新過(guò)程，同時(shí)統(tǒng)計(jì)思維也指導(dǎo)或引導(dǎo)數(shù)據(jù)挖掘時(shí)思維指向，集中思考采用什么樣的統(tǒng)計(jì)方法或統(tǒng)計(jì)分析方法才能達(dá)到數(shù)據(jù)挖掘的目的。數(shù)據(jù)挖掘的過(guò)程與統(tǒng)計(jì)思維的訓(xùn)練是相輔相承的，同時(shí)還要在統(tǒng)計(jì)學(xué)或數(shù)理統(tǒng)計(jì)的學(xué)習(xí)過(guò)程中強(qiáng)化統(tǒng)計(jì)思維的訓(xùn)練，使之不斷地在應(yīng)用中為數(shù)據(jù)挖掘提供新的指導(dǎo)思想

2 程序設(shè)計(jì)人才培養(yǎng)方式的轉(zhuǎn)變

程序設(shè)計(jì)是給出解決特定問(wèn)題程序的過(guò)程。程序設(shè)計(jì)是以某種程序設(shè)計(jì)語(yǔ)言為工具、以算法為基礎(chǔ)對(duì)數(shù)據(jù)進(jìn)行處理的過(guò)程；程序設(shè)計(jì)的過(guò)程包括分析、設(shè)計(jì)、編碼、測(cè)試和排錯(cuò)等幾個(gè)環(huán)節(jié)。

人才培養(yǎng)是對(duì)人才進(jìn)行教育、培訓(xùn)的過(guò)程。目標(biāo)是培養(yǎng)具有良好人文、科學(xué)素質(zhì)和社會(huì)責(zé)任感，學(xué)科基礎(chǔ)扎實(shí)，具有自我學(xué)習(xí)能力、創(chuàng)新精神和創(chuàng)新能力的人才。具體包含以下幾個(gè)方面：得到基礎(chǔ)研究和應(yīng)用研究的訓(xùn)練，具有扎實(shí)的基礎(chǔ)理論知識(shí)和實(shí)驗(yàn)技能，動(dòng)手能力強(qiáng)、綜合素質(zhì)好；掌握科學(xué)的思維方法，具備較強(qiáng)的獲取知識(shí)能力，具有探索精神、創(chuàng)新能力和優(yōu)秀的科學(xué)品質(zhì)。結(jié)合時(shí)代背景與自己多年教學(xué)經(jīng)驗(yàn)，本文提出了3個(gè)培養(yǎng)具有統(tǒng)計(jì)思維的程序設(shè)計(jì)人才具體思路與方法。

2.1 從純形式的程序設(shè)計(jì)向概率思維的轉(zhuǎn)變

日常的程序設(shè)計(jì)教學(xué)過(guò)程中，程序設(shè)計(jì)的學(xué)習(xí)或教學(xué)主要是學(xué)習(xí)基本的語(yǔ)法規(guī)則，程序設(shè)計(jì)的基本方法和語(yǔ)言的表達(dá)能力。實(shí)驗(yàn)或?qū)嵱?xùn)中所給出的問(wèn)題主要是一些常規(guī)性的計(jì)算、實(shí)際問(wèn)題的計(jì)算機(jī)表示、算法的空間復(fù)雜度和時(shí)間復(fù)雜分析、數(shù)據(jù)在計(jì)算機(jī)中組織方式和數(shù)據(jù)輸入、輸出形式等能力進(jìn)行訓(xùn)練。在大數(shù)據(jù)時(shí)代，傳統(tǒng)的教學(xué)模式不太適應(yīng)社會(huì)或行業(yè)或企業(yè)對(duì)程序設(shè)計(jì)人員的客觀需求，程序設(shè)計(jì)人員的培養(yǎng)必須加強(qiáng)統(tǒng)計(jì)學(xué)或數(shù)理統(tǒng)計(jì)或統(tǒng)計(jì)方法的學(xué)習(xí)。統(tǒng)計(jì)學(xué)是數(shù)據(jù)分析、處理的一門學(xué)科。隨機(jī)事件、概率分析、統(tǒng)計(jì)分析等基礎(chǔ)理論來(lái)源于統(tǒng)計(jì)學(xué)或數(shù)理統(tǒng)計(jì)。因此在實(shí)驗(yàn)或?qū)嵱?xùn)中加強(qiáng)隨機(jī)事件、概率統(tǒng)計(jì)方面的問(wèn)題設(shè)計(jì)，設(shè)計(jì)貼近實(shí)際、貼近生活的案例。比如：某高速路的流量分析、某交通要道交通阻塞時(shí)間段分析、交通事故調(diào)查、城市綠化樹(shù)苗的成活率等。所以，設(shè)計(jì)人員必須深入實(shí)踐、隨機(jī)抽樣、大量實(shí)踐，反復(fù)驗(yàn)證，最后通過(guò)統(tǒng)計(jì)分析有可能提供有價(jià)值的方案。堅(jiān)持在程序設(shè)計(jì)中以概率事件的問(wèn)題來(lái)驅(qū)動(dòng)和引導(dǎo)程序設(shè)計(jì)的實(shí)訓(xùn)、訓(xùn)練，訓(xùn)練概率思維的思維能力和統(tǒng)計(jì)思維的思維能力，調(diào)整程序設(shè)計(jì)人才的思維方式和訓(xùn)練方法，為數(shù)據(jù)挖掘培養(yǎng)合格的人才，即大數(shù)據(jù)時(shí)代所需要的人才。

2.2 從常規(guī)的確定性研究向隨機(jī)性研究的轉(zhuǎn)變

當(dāng)前程序設(shè)計(jì)人員的培養(yǎng)或程序設(shè)計(jì)教學(xué)主要是研究某一特定的軟件架構(gòu)和實(shí)現(xiàn)方法。主要真對(duì)數(shù)據(jù)庫(kù)中有結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行應(yīng)用研究。大數(shù)據(jù)時(shí)代產(chǎn)生的數(shù)據(jù)呈現(xiàn)無(wú)結(jié)構(gòu)化或半結(jié)構(gòu)化，且無(wú)結(jié)構(gòu)或半結(jié)構(gòu)化數(shù)據(jù)量與日聚增，這些無(wú)結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)中隱藏著極具價(jià)值的知識(shí)，這就要求程序設(shè)計(jì)人員的培養(yǎng)或程序設(shè)計(jì)教學(xué)盡快轉(zhuǎn)變?yōu)閷?duì)云計(jì)算、云存儲(chǔ)、分布存儲(chǔ)、人工智能、機(jī)器學(xué)習(xí)等方面知識(shí)進(jìn)行學(xué)習(xí)、訓(xùn)練、研究，從超大量的隨機(jī)事件中發(fā)現(xiàn)更多隱藏價(jià)值的知識(shí)。使這知識(shí)能為企業(yè)、交通、國(guó)防、科技、農(nóng)業(yè)等各行各業(yè)服務(wù)，培養(yǎng)更多數(shù)據(jù)挖掘人才。

2.3 從演繹歸納向統(tǒng)計(jì)思維模式的轉(zhuǎn)變

數(shù)據(jù)挖掘過(guò)程中，利用統(tǒng)計(jì)分析方法對(duì)數(shù)據(jù)挖掘算法進(jìn)行演繹歸納。從事的主要工作還是進(jìn)行方法論研究，是在尋找普遍性規(guī)律。當(dāng)然有很多算法應(yīng)用在實(shí)際中，如機(jī)器學(xué)習(xí)算法、神經(jīng)網(wǎng)絡(luò)算法、模式識(shí)別算法等。但是數(shù)據(jù)中存在非常多的數(shù)據(jù)是無(wú)規(guī)律可循的，這就要求數(shù)據(jù)分析人員、數(shù)據(jù)分析師、程序設(shè)計(jì)人員及程序研究人員，對(duì)產(chǎn)生的數(shù)據(jù)進(jìn)行各種各樣大規(guī)模實(shí)際或?qū)崟r(shí)的統(tǒng)計(jì)，當(dāng)全局?jǐn)?shù)據(jù)中的某一類數(shù)據(jù)統(tǒng)計(jì)量達(dá)到一定程度后有可能從統(tǒng)計(jì)的數(shù)據(jù)中發(fā)現(xiàn)規(guī)律或發(fā)現(xiàn)隱藏的知識(shí)，這種思維是純形式的統(tǒng)計(jì)思維，這種統(tǒng)計(jì)思維避開(kāi)了數(shù)據(jù)挖掘完全依賴統(tǒng)計(jì)分析方法的絕對(duì)性，即：當(dāng)找不到統(tǒng)計(jì)分析方法時(shí)，機(jī)械地對(duì)全局大數(shù)據(jù)中的各類數(shù)據(jù)進(jìn)行不停的統(tǒng)計(jì)和分析，最終也有可能發(fā)現(xiàn)更多有價(jià)值的規(guī)律和隱藏的知識(shí)。比如，對(duì)全國(guó)流通量比較大的一百條高速公路的某路段的轎車的車型、車牌進(jìn)行幾乎無(wú)漏的100天統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果可能提高用戶對(duì)某種轎車的認(rèn)可程度，特定車輛在某路段出現(xiàn)的頻度、屬地車輛出現(xiàn)的頻度等分析結(jié)果，有可能對(duì)轎車生產(chǎn)廠家或交通管理或?qū)囕v的追逃提供有價(jià)值的線索。

也就是說(shuō)，傳統(tǒng)的統(tǒng)計(jì)方法也有可能對(duì)數(shù)據(jù)挖掘帶來(lái)意想不到的結(jié)果。從演繹歸納到純形式的統(tǒng)計(jì)思維的訓(xùn)練，當(dāng)量變達(dá)到一定程度時(shí)對(duì)數(shù)據(jù)挖掘的研究可能提供很有價(jià)值的線索。

3 結(jié)束語(yǔ)

客觀世界是充滿概率的，而不是確定的，客觀世界的事物之間是存在某種關(guān)聯(lián)關(guān)系而不是存在某種因果關(guān)系的。大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘的價(jià)值是尋找數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，這種關(guān)聯(lián)關(guān)系能夠幫助決策者正確決策，制定科學(xué)的辦法，創(chuàng)造更的價(jià)值，推動(dòng)事物之間能夠協(xié)調(diào)發(fā)展。教學(xué)的目的是為社會(huì)輸送符合社會(huì)需要的人才，大數(shù)據(jù)時(shí)代程序設(shè)計(jì)人才的培養(yǎng)，不僅要懂得計(jì)算機(jī)相關(guān)的知識(shí)，掌握程序設(shè)計(jì)的基本理論、方法，有設(shè)計(jì)能力，更主要的是懂得尋找多學(xué)科交叉的知識(shí)背景，能夠利用統(tǒng)計(jì)，分析方法去發(fā)現(xiàn)交叉學(xué)科的關(guān)聯(lián)關(guān)系，交叉學(xué)科間的關(guān)聯(lián)關(guān)系存在著更多的科學(xué)價(jià)值和應(yīng)用前景。

數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系本質(zhì)上就是事物之間的關(guān)聯(lián)關(guān)系，這種關(guān)聯(lián)關(guān)系是驅(qū)動(dòng)社會(huì)發(fā)展的原動(dòng)力。大數(shù)據(jù)時(shí)代對(duì)程序設(shè)計(jì)人才的培養(yǎng)堅(jiān)持從單純的程序設(shè)計(jì)向概率思維轉(zhuǎn)變、從研究問(wèn)題的確定性向隨機(jī)性轉(zhuǎn)變、從演繹歸納向統(tǒng)計(jì)思維轉(zhuǎn)變。在創(chuàng)新驅(qū)動(dòng)發(fā)展的大背景下，培養(yǎng)具有統(tǒng)計(jì)思維的程序設(shè)計(jì)人才，是計(jì)算機(jī)教育、軟件教育工作者必須承擔(dān)的歷史重任和歷史使命。

參考文獻(xiàn)（References）：

[1] 陳一昕.大數(shù)據(jù)的思維革命及算法挑戰(zhàn)[J].信息通信技術(shù)，2013.6.

[2] 胡敏.五年級(jí)學(xué)生統(tǒng)計(jì)思維水平的調(diào)查研究[D].蘇州大學(xué)碩士學(xué)位論文，2016.

[3] 范明.孟小峰等.數(shù)據(jù)挖掘概念與技術(shù)[M].機(jī)械工業(yè)出版社，2006.

[4] 崔廣風(fēng).數(shù)據(jù)挖掘中的統(tǒng)計(jì)方法[D].西南石油大學(xué)碩士學(xué)位論文，2014.

[5] 李維.面向大數(shù)據(jù)的聚類數(shù)據(jù)挖掘算法[D].南京郵電大學(xué)碩士學(xué)位論文，2014

[6] 王玉雷.面向大數(shù)據(jù)的聚類挖掘算法研究[D].南京郵電大學(xué)碩士學(xué)位論文，2015.

[7] 孫吉貴.劉杰.趙連宇.聚類算法研究[J].軟件學(xué)報(bào)，2009.20（5）：1337-1348

[8] 李金昌.統(tǒng)計(jì)思維研究[M].中國(guó)統(tǒng)計(jì)出版社，2009.

[9] 李金昌.應(yīng)用抽樣技術(shù)[M].科學(xué)出版社，2010.

[10] 張建鋒.陳鋼譯.程序員數(shù)學(xué)之概率統(tǒng)計(jì)[M].人民出版社，2013.