試分析數(shù)據(jù)挖掘中的統(tǒng)計(jì)方法及其應(yīng)用研究

作者簡(jiǎn)介：吳春瑾（1989.10-），女，漢，山東菏澤人，中國人民大學(xué)在職研究生，本科，研究方向：統(tǒng)計(jì)-數(shù)據(jù)分析。

摘要：隨著我國的經(jīng)濟(jì)的不斷發(fā)展，很多技術(shù)也有了很大的進(jìn)步，對(duì)于數(shù)據(jù)的挖掘技術(shù)也是如此，統(tǒng)計(jì)方法是數(shù)據(jù)挖掘技術(shù)中最基礎(chǔ)的也是最重要的一種統(tǒng)計(jì)方法，并且基于此也產(chǎn)生了很多數(shù)據(jù)挖掘的新的方法，所以研究數(shù)據(jù)挖掘中統(tǒng)計(jì)方法的應(yīng)用非常的有必要，不僅能夠給數(shù)據(jù)挖掘的工作者提供意見，也可以進(jìn)一步發(fā)現(xiàn)數(shù)據(jù)挖掘中存在的特征，為今后的研究者提供理論依據(jù)。本文就針對(duì)數(shù)據(jù)挖掘中的統(tǒng)計(jì)方法以及應(yīng)用研究進(jìn)行探討。

關(guān)鍵詞：數(shù)據(jù)挖掘；統(tǒng)計(jì)方法；應(yīng)用

前言

隨著社會(huì)的發(fā)展，對(duì)數(shù)據(jù)的需求量越來越大，對(duì)于原始數(shù)據(jù)的選擇尤其重要。如何選用合適以及高效的數(shù)據(jù)處理技術(shù)，是當(dāng)前人們需要解決的問題，所以在此之后，人們應(yīng)用了數(shù)據(jù)挖掘技術(shù)，它的出現(xiàn)給數(shù)據(jù)的選擇帶來了新的篇章。

數(shù)據(jù)挖掘主要是對(duì)數(shù)據(jù)進(jìn)行采集、數(shù)據(jù)進(jìn)行處理分析、數(shù)據(jù)的知識(shí)的表達(dá)以及應(yīng)用服務(wù)等幾個(gè)模塊組成。在這幾個(gè)模塊中，基礎(chǔ)版塊是對(duì)數(shù)據(jù)進(jìn)行采集，關(guān)鍵是對(duì)數(shù)據(jù)進(jìn)行處理以及分析，表達(dá)形式是數(shù)據(jù)的規(guī)則以及知識(shí)，最終目的是知識(shí)應(yīng)用以及服務(wù)?，F(xiàn)行世界中的很多原始數(shù)據(jù)都是以及被污染了的，所以在進(jìn)行數(shù)據(jù)挖掘的時(shí)候肯定會(huì)遇到很多不合理的數(shù)據(jù)，所以要求我們對(duì)收集來的數(shù)據(jù)嚴(yán)格審查，選擇什么樣的數(shù)據(jù)，怎么樣進(jìn)行數(shù)據(jù)處理，如何才能保證在統(tǒng)計(jì)分析的應(yīng)用前提下實(shí)現(xiàn)數(shù)據(jù)挖掘，這都是我們需要考慮的問題。

一、數(shù)據(jù)挖掘技術(shù)

1. 理論

數(shù)據(jù)挖掘技術(shù)，通俗意義上說就是從海量的數(shù)據(jù)中獲取自己需要的有價(jià)值的數(shù)據(jù)。我們現(xiàn)實(shí)社會(huì)中接觸到的大量數(shù)據(jù)一般都會(huì)具有不完整性、隨機(jī)性、以及模糊性的特征，這些都是沒有經(jīng)過處理的數(shù)據(jù)。對(duì)于我們來說，這些數(shù)據(jù)的價(jià)值并不高，所以必須要通過數(shù)據(jù)挖掘和分析將這些新型變化為有用的、潛在的、新穎的數(shù)據(jù)。這個(gè)過程就是數(shù)據(jù)挖掘。

2. 特點(diǎn)

數(shù)據(jù)挖掘是一種信息的轉(zhuǎn)變過程，包含了很多學(xué)科，包括了數(shù)據(jù)庫的統(tǒng)計(jì)、神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)庫等內(nèi)容，在統(tǒng)計(jì)方面應(yīng)用比較廣泛。主要步驟是：準(zhǔn)備數(shù)據(jù)——挖掘數(shù)據(jù)——分析結(jié)果和總結(jié)。

數(shù)據(jù)挖掘的主要功能可以有分類數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)、數(shù)據(jù)進(jìn)行總結(jié)等。而且其也具有自己的特點(diǎn)：

處理的數(shù)據(jù)源比較龐大；能夠自動(dòng)獲取信息功能；能夠描述過去以及對(duì)未來進(jìn)行預(yù)測(cè)；數(shù)據(jù)信息反饋及時(shí)可靠。

二、數(shù)據(jù)挖掘方法的研究現(xiàn)狀

當(dāng)前數(shù)據(jù)挖掘的研究國內(nèi)外都比較多，在據(jù)此的十多年內(nèi)，很多專家和學(xué)者都在進(jìn)行這方面的工作研究：

（1）基于統(tǒng)計(jì)方法的對(duì)復(fù)雜數(shù)據(jù)進(jìn)行挖掘

尚文娟在2005年提出了新的數(shù)據(jù)統(tǒng)計(jì)方法多元可加回歸樹方法，并且被應(yīng)用到了復(fù)雜的數(shù)據(jù)挖掘中，形成了復(fù)雜數(shù)據(jù)挖掘的一個(gè)框架。在2008年，在原有的復(fù)雜數(shù)據(jù)挖掘上，應(yīng)瑞飛，提出了聚類分析，改變了經(jīng)典的Q型因子模型，這是一種新的海量數(shù)據(jù)的聚類方法，稱為Q型因子聚類法。此后學(xué)者們還提出了網(wǎng)頁分塊來抽取數(shù)據(jù)的數(shù)據(jù)挖掘方法。

（2）支持向量機(jī)基礎(chǔ)下的一種挖掘方法

楊鐵建做了這方面的研究，寫出了其專研成果，胡運(yùn)紅也在2012年綜述了國內(nèi)外這方面的研究。

（3）神經(jīng)網(wǎng)絡(luò)基礎(chǔ)下的數(shù)據(jù)挖掘

這主要是針對(duì)反饋輸入的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究，解決了水文預(yù)報(bào)中的一些誤差問題，為水文預(yù)報(bào)作出了很大的貢獻(xiàn)。

（4）遺傳算法下的數(shù)據(jù)挖掘方法

肖冬榮等人對(duì)這方面進(jìn)行了研究，主要是應(yīng)用與分析交通運(yùn)輸事故的原因，提高了數(shù)據(jù)的效率。

三、數(shù)據(jù)挖掘的內(nèi)容

當(dāng)前信息化工程發(fā)展迅速，很多城市都在進(jìn)行數(shù)據(jù)庫的建設(shè)，一些城市以已經(jīng)開始進(jìn)行建設(shè)，一些城市還在籌備之中。小型的數(shù)據(jù)庫，我們熟知的Access、FoxPro都是屬于數(shù)據(jù)庫軟件，大型數(shù)據(jù)庫一般都是以oracle系統(tǒng)為主。當(dāng)前很多大型企業(yè)都有自己的數(shù)據(jù)庫，還有就是在Web下的數(shù)據(jù)統(tǒng)計(jì)庫。這些數(shù)據(jù)庫都可以手機(jī)來自不同數(shù)據(jù)源的數(shù)據(jù)信息，然后對(duì)數(shù)據(jù)進(jìn)行清理、變換、集成、然后進(jìn)行刷新，這就構(gòu)成了一個(gè)大型的數(shù)據(jù)儲(chǔ)存庫，為數(shù)據(jù)的下一步挖掘提供了很好的基礎(chǔ)條件。數(shù)據(jù)挖掘的主要內(nèi)容有以下：

（1）對(duì)時(shí)間序列類數(shù)據(jù)的挖掘

時(shí)間序列數(shù)據(jù)，顧名思義，就是存放隨著時(shí)間的變化的序列值數(shù)據(jù)的數(shù)據(jù)庫，一般包括月度、季度以及年度變化的數(shù)據(jù)庫，因?yàn)檫@些數(shù)據(jù)都是經(jīng)歷了時(shí)間的洗禮的，所以更顯的彌足珍貴。對(duì)于一些國家的經(jīng)濟(jì)和社會(huì)的發(fā)展有著非常重要的意義，給國家的發(fā)展提供了很好的參照。還有一些數(shù)據(jù)是針對(duì)企業(yè)的財(cái)務(wù)狀況進(jìn)行反映的。

通過時(shí)間序列的數(shù)據(jù)的挖掘，我們可以了解到研究對(duì)象的一個(gè)發(fā)展趨勢(shì)以及變化的特征，以及相互之間存在的關(guān)系，利用這些數(shù)據(jù)可以進(jìn)一步進(jìn)行分析和研究。

（2）截面數(shù)據(jù)的挖掘

這個(gè)數(shù)據(jù)主要是說在同一時(shí)間上有著不同的數(shù)據(jù)指標(biāo)的數(shù)據(jù)庫，主要包括省市，城市、縣鎮(zhèn)地區(qū)的宏觀經(jīng)濟(jì)指標(biāo)的數(shù)據(jù)，具體的說來有一些數(shù)據(jù)還包括了不同家庭以及居民的行為指數(shù)，可以反映出個(gè)體的差異性。

對(duì)截面數(shù)據(jù)進(jìn)行挖掘，可以有效的發(fā)現(xiàn)不同的個(gè)體之間存在著的差異性，以及他們之間存在的量化關(guān)系。

（3）對(duì)統(tǒng)計(jì)信息數(shù)據(jù)庫進(jìn)行挖掘

國家的發(fā)展離不開統(tǒng)計(jì)信息數(shù)據(jù)庫，它包括對(duì)國家、經(jīng)濟(jì)、科技這些方面的統(tǒng)計(jì)，通常作為國家發(fā)展的重要信息以及。當(dāng)前統(tǒng)計(jì)工作信息是各個(gè)政府部門的工作重點(diǎn)，小型的數(shù)據(jù)分析一般采用FoxPro來進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，對(duì)于大型的數(shù)據(jù)一般采用oracle大型數(shù)據(jù)庫進(jìn)行數(shù)據(jù)儲(chǔ)存。另外一些報(bào)表的處理、報(bào)表的統(tǒng)計(jì)排版等應(yīng)用軟件也大量被應(yīng)用到統(tǒng)計(jì)信息的挖掘中。在企業(yè)中也十分重視數(shù)據(jù)的挖掘。通過統(tǒng)計(jì)數(shù)據(jù)的挖掘，政府可以掌握國民經(jīng)濟(jì)的動(dòng)態(tài)，企業(yè)可以實(shí)時(shí)把控企業(yè)的經(jīng)營狀況。

（4）統(tǒng)計(jì)普查的數(shù)據(jù)庫挖掘

普查對(duì)于我們來說并不陌生，在我國普查很多，最常見的就是人口普查，這是國家掌握國情的一個(gè)重要的方式。除了人口普查以外，還有農(nóng)業(yè)普查、工業(yè)普查、工作設(shè)備鋪場(chǎng)等等。對(duì)于普查來說，并不是經(jīng)常會(huì)進(jìn)行的，因?yàn)檫@種普查耗費(fèi)的人力和物力太多，所以一般都不經(jīng)常采用。這種方式挖掘的數(shù)據(jù)具有真實(shí)可靠，以及有價(jià)值的特點(diǎn)。

（5）抽樣調(diào)查數(shù)據(jù)庫挖掘

在社會(huì)的發(fā)展過程中，如果全部進(jìn)行數(shù)據(jù)調(diào)查，花費(fèi)的人力物力是不可預(yù)計(jì)的，所以這時(shí)候就需要抽樣調(diào)查，選用抽樣調(diào)查獲得數(shù)據(jù)的真實(shí)性比較可靠，并且還能夠有效的節(jié)約人力和物力，畢竟具有速度快的優(yōu)點(diǎn)。在抽樣調(diào)查中，需要設(shè)計(jì)好事先的抽樣框，這樣就能夠體現(xiàn)出一種隨機(jī)性的原則，獲取的數(shù)據(jù)就比較有價(jià)值。通過抽樣調(diào)查，可以對(duì)社會(huì)經(jīng)濟(jì)狀態(tài)進(jìn)行了解，特別是對(duì)于居民的生活水平有很好的掌握，從而做出社會(huì)發(fā)展的決策。

四、統(tǒng)計(jì)數(shù)據(jù)挖掘的方法及應(yīng)用

當(dāng)前世界是一個(gè)信息化的世界，換言之就是一個(gè)數(shù)據(jù)交換的世界，大量的數(shù)據(jù)被儲(chǔ)存在中心數(shù)據(jù)儲(chǔ)存庫中，近幾年來，大量學(xué)者對(duì)這些數(shù)據(jù)的挖掘方法進(jìn)行了研究。主要的挖掘方法有以下：

（一）統(tǒng)計(jì)數(shù)據(jù)挖掘的方法

（1）關(guān)聯(lián)分析法

這種挖掘方法主要是在數(shù)據(jù)庫中發(fā)現(xiàn)有價(jià)值

屬性以及存在著關(guān)聯(lián)的數(shù)據(jù)。這種方法有效的減少了難懂以及無章可循的數(shù)據(jù)，將其變成少量，以及能夠方便觀察的靜態(tài)資料。這種方式當(dāng)前主要應(yīng)用在商業(yè)領(lǐng)域，最經(jīng)典的是購物籃分析。在實(shí)際生活中不同的分類標(biāo)準(zhǔn)可以產(chǎn)生不同的分類方法，而且可以采用多種算法，如表4-1。

（2）分類方法。這是在數(shù)據(jù)挖掘中一種很重要的挖掘方法，同時(shí)它是一種很高效氯的分析方法，在進(jìn)行數(shù)據(jù)挖掘中主要采用決策樹來進(jìn)行分類。主要是為了對(duì)數(shù)據(jù)進(jìn)行測(cè)試然后將其分類，決策樹的學(xué)習(xí)是數(shù)以一種遞歸的學(xué)習(xí)，采用一種自上而下的方式。決策樹的算法主要有以下幾種：

表4.2決策樹算法

決策樹算法使用分析算法分析

ID3算法、C4.5、C5.0、分類回歸樹具有描述簡(jiǎn)單、實(shí)用方便，適合進(jìn)行大規(guī)模的數(shù)據(jù)處理采用分支策略，這其中ID3算法是一種典型。

KNN法 適合分別類別交叉和重疊的分樣集合K最相鄰的方法，在類別決策中運(yùn)用最大，算量很大。

Reverse KNN 法適用于一些樣本容量類別是自動(dòng)分類的，并且容量較小，所以容易出現(xiàn)分類分錯(cuò)?？梢越档蚄NN中的計(jì)算復(fù)雜難度，提高效率。

Bayes方法。樣本必須具有獨(dú)立的性質(zhì)，而且足夠大一種在已知先驗(yàn)概率與類條件概率的情況下的模式分類方法。需要獲得類別總體的概率分布。

（3）聚類分析方法。聚類分析方法又叫做群分析，是一種統(tǒng)計(jì)分析方法，主要針對(duì)樣品和指標(biāo)的分類的研究。在商業(yè)領(lǐng)域中一般采用的是不同的聚類的分析方法，在這種聚類分析方法中又可以分為四種分類方法：基于模型的聚類方法、基于密度的聚類方法、基于分層的聚類方法以及基于網(wǎng)格的聚類方法。在現(xiàn)實(shí)生活中，根據(jù)需要對(duì)聚類分析法的算法有很多種，這里就不具體進(jìn)行闡述了。

（4）預(yù)測(cè)方法。這是一種能夠挖掘連續(xù)數(shù)值數(shù)據(jù)的以及對(duì)預(yù)測(cè)知識(shí)的重要方法，傳統(tǒng)的預(yù)測(cè)方法主要有這幾種：時(shí)間序列方法、灰色系統(tǒng)模型分析、馬爾科夫分析方法、線性于非線性回歸模型分析法。對(duì)于當(dāng)前的預(yù)測(cè)方法主要是采用兩種算法來進(jìn)行數(shù)據(jù)的計(jì)算，神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)算法，可以用來對(duì)未來數(shù)據(jù)的走向進(jìn)行預(yù)測(cè)，在商業(yè)領(lǐng)域主要是應(yīng)用到銷售中。

（二）數(shù)據(jù)挖掘方法的具體應(yīng)用

（1）在商品零售中的應(yīng)用。商品零售中，最早使用的是關(guān)聯(lián)分析法，在1994年就在美國被采用。主要是對(duì)零售商店內(nèi)的貨架貨物的擺放規(guī)則，以及零售業(yè)的數(shù)據(jù)挖掘進(jìn)行開發(fā)。前文提到的“購物籃分析”就是一種典型的應(yīng)用。

（2）在保險(xiǎn)業(yè)、金融業(yè)、通信業(yè)中的應(yīng)用。近些年來數(shù)據(jù)挖掘在保險(xiǎn)行業(yè)、金融業(yè)、通信業(yè)中的數(shù)據(jù)挖掘應(yīng)用比較多，在保險(xiǎn)行業(yè)主要是保險(xiǎn)客戶進(jìn)行評(píng)估應(yīng)用。銀行中主要是，對(duì)銀行信用卡的客戶的信用進(jìn)行評(píng)級(jí)，以及對(duì)銀行客戶關(guān)系進(jìn)行管理。通信行業(yè)主要是對(duì)用戶行為進(jìn)行精確分析。

（3）生物制藥、基因方面的研究。主要是應(yīng)用到DNA相似搜索，以及基因序列進(jìn)行分析，同時(shí)在生物方面可以對(duì)生物數(shù)據(jù)的可視化進(jìn)行挖掘，以及蛋白質(zhì)等項(xiàng)目的數(shù)據(jù)進(jìn)行預(yù)測(cè)。生物制藥中主要是應(yīng)用到試藥分析、趨勢(shì)分析等等。

五、討論

經(jīng)過上述分析，我們能夠清楚的發(fā)現(xiàn)統(tǒng)計(jì)分析是數(shù)據(jù)分析中的一個(gè)重要的工具，當(dāng)前是信息時(shí)代，對(duì)于數(shù)據(jù)的需要非常的大，所以對(duì)于數(shù)據(jù)的挖掘方法研究更應(yīng)該投入更多的人力和物力。（作者單位：中國人民大學(xué)）

參考文獻(xiàn)：

[1]崔廣風(fēng). 數(shù)據(jù)挖掘中的統(tǒng)計(jì)方法及其應(yīng)用研究[D].西南石油大學(xué)，2014.

[2]殷瑞飛. 數(shù)據(jù)挖掘中的聚類方法及其應(yīng)用[D].廈門大學(xué)，2008.

[3]唐志航. 可拓?cái)?shù)據(jù)挖掘方法及其應(yīng)用研究[D].東華大學(xué)，2009.

[4]牛力. 數(shù)據(jù)挖掘中的統(tǒng)計(jì)分析技術(shù)應(yīng)用研究[J]. 廣西師范大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2002，S1：226-229.

[5]董彩玲. 幾種典型數(shù)據(jù)挖掘方法及其應(yīng)用研究[D].山東大學(xué)，2010.