淺析數(shù)據(jù)統(tǒng)計中數(shù)據(jù)挖掘的方法及應用意義

魏世昌

【摘要】數(shù)據(jù)，是21世紀的關(guān)鍵詞，隨著時間的推移，它的重要性將越來越明顯.全球知名的管理咨詢公司麥卡錫就最先標榜“大數(shù)據(jù)時代”的到來：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領(lǐng)域，成為重要的生產(chǎn)因素.”那么，如何在紛繁的海量的數(shù)據(jù)中挖掘出有價值的信息來滿足各行各業(yè)的需求？就需要了解數(shù)據(jù)統(tǒng)計中數(shù)據(jù)挖掘的方法以及具體意義，本文將對此做具體分析.

【關(guān)鍵詞】大數(shù)據(jù)時代；數(shù)據(jù)挖掘；統(tǒng)計；方法

一、數(shù)據(jù)挖掘的基本概述

數(shù)據(jù)挖掘就是運用一定的數(shù)理方法，從數(shù)據(jù)庫中挖掘有價值的知識，它是當前人工智能和數(shù)據(jù)庫領(lǐng)域研究的熱點問題.換言之，數(shù)據(jù)挖掘是一個動態(tài)概念，數(shù)據(jù)庫中存在海量的數(shù)據(jù)信息，這些信息往往是雜亂的，需要人們運用一定的方法，從中挖掘出事先未知的并有潛在意義的、隱含的信息.

二、數(shù)據(jù)挖掘的基本方法

一般來說，數(shù)據(jù)挖掘算法可以分為兩種，一種是有監(jiān)督法，一種是無監(jiān)督算法.有監(jiān)督算法主要有邏輯回歸（Logistic Regression）、決策樹（Decision Tree）、人工神經(jīng)網(wǎng)絡（Artificial Neural Network，ANN）等，無監(jiān)督法主要包括聚類、最鄰近分析法（Nearest Neighbor Analysis，NNA）、支持向量機（Support Vector Machine）等，這些算法各有自己的側(cè)重，它們分別從各自不同的角度對數(shù)據(jù)信息進行深入挖掘.下面將對這些方法做具體的分析.

1.邏輯回歸（Logistic Regression），這種分析方法主要是反映數(shù)據(jù)庫中屬性值在時間上的特征，生成一個將數(shù)據(jù)項映射到一個實值預測變量的函數(shù)，通過分析變量或?qū)傩灾g的依賴關(guān)系，多用來分析數(shù)據(jù)序列的趨勢特征、數(shù)據(jù)序列的預測以及數(shù)據(jù)間的關(guān)聯(lián)程度等.邏輯回歸是目前較常用的機器學習方法，主要用于測算某一事物的可能性.

邏輯回歸由三個部分組成：回歸、線性回歸、Logsitic方程.邏輯回歸屬線性回歸，而線性回歸又屬回歸.邏輯回歸沒有求后驗概率，所以它不像樸素貝葉斯那樣需要滿足條件獨立假設，但每個特征的貢獻是獨立計算的.

2.決策樹（Decision Tree），每個決策或事件（即自然狀態(tài)）都可能會引出兩個或兩個以上的事件，又會導致相異的結(jié)果，若把這種決策分支用圖形表現(xiàn)出來，就很像一棵樹的枝干，故而稱這種方法為“決策樹”.一般而言，決策樹自上而下畫出，它有四個構(gòu)成要素，即方塊結(jié)點、方案枝、圓形結(jié)點、概率枝.每個結(jié)點一般會引出許多細支，每條細支表示一個方案，這一細支就是方案枝.每個圓形結(jié)點又會引出許多個細支，用來表示不同的事件，這一細支就是概率枝.在概率枝上，會標明其出現(xiàn)概率，在概率枝的最末稍，標明其在該自然狀態(tài)下所達到的收益值或損失值.

3.人工神經(jīng)網(wǎng)絡（Artificial Neural Network，ANN），這種方法源于生物學中的神經(jīng)網(wǎng)絡原理，人工神經(jīng)網(wǎng)絡是一種運算模型，由許多節(jié)點連接而成，每個節(jié)點都代表著某種特定的輸出函數(shù)，叫作激活函數(shù).每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值，叫作為權(quán)重，通過這樣一種方式，成功模擬了人類的記憶.網(wǎng)絡的輸出取決于網(wǎng)絡的結(jié)構(gòu)、網(wǎng)絡的連接方式、權(quán)重和激活函數(shù)，而網(wǎng)絡自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達.人工神經(jīng)網(wǎng)絡把對生物神經(jīng)網(wǎng)絡的認識與數(shù)學統(tǒng)計模型相結(jié)合，借助數(shù)學統(tǒng)計工具來實現(xiàn).通過數(shù)學統(tǒng)計學的方法，使神經(jīng)網(wǎng)絡能夠具備類似于人的決定能力和簡單的判斷能力，這種方法是對傳統(tǒng)邏輯學演算的進一步延伸.

4.聚類.聚類分析也稱群分析或點群分析，為了讓在同一類別中的數(shù)據(jù)的關(guān)聯(lián)度最大，在相異類別中的數(shù)據(jù)的關(guān)聯(lián)度最小，從而把數(shù)據(jù)按照其關(guān)聯(lián)度和相異程度分成若干個類別.首先，應該深入分析數(shù)據(jù)的類別，然后按照一定的指標，用數(shù)學方法將其置于一個多維空間中，定量地定位數(shù)據(jù)間的關(guān)系，并根據(jù)其關(guān)系的親疏程度，對數(shù)據(jù)進行聚類.系統(tǒng)聚類方法有如下步驟：① 對數(shù)據(jù)進行變換處理；② 構(gòu)造n個類，每個類只包含一個樣本；③ 計算n個樣本兩兩間的距離；④ 合并距離最近的兩類為一新類；⑤ 計算新類與當前各類的距離，若類的個數(shù)等于1，轉(zhuǎn)到⑥，否則回④；⑥ 畫聚類圖；⑦ 決定類的個數(shù)，從而得出分類結(jié)果.

5.最鄰近分析法（Nearest Neighbor Analysis，NNA），就是將區(qū)域中點的分布與基于相同區(qū)域中點的理論意義的隨機分布相比較.理論上，假定所有的點完全隨機分布，則其平均距離為其密度倒數(shù)值的一半.用這個結(jié)果與借助圖像觀測到的實際的點分布格局相比較，可以得到一個比值，這個比值通常叫作最近鄰指數(shù)（Nearest Neighbor Index），或叫R尺度.

6.支持向量機（Support Vector Machine），這一方法建立在統(tǒng)計學習理論的VC Bound理論（機器學習最重要的理論基礎(chǔ)）以及結(jié)構(gòu)風險最小原理的基礎(chǔ)上，根據(jù)有限的樣本信息在模型的復雜性和學習能力之間尋求最佳折衷，以期獲得最好的推廣能力.在具體的應用方面，在解決小樣本、非線性及高維模式識別中，與其他方法相比，它具有明顯的優(yōu)勢，并且它還能推廣應用到函數(shù)擬合等其他機器學習問題中.

三、數(shù)據(jù)挖掘的應用及意義

數(shù)據(jù)挖掘是一種決策支持過程，它的應用范圍非常廣泛，在商業(yè)、農(nóng)業(yè)、醫(yī)療業(yè)、電信、教育等領(lǐng)域中，數(shù)據(jù)挖掘都在發(fā)揮自己的價值.隨著互聯(lián)網(wǎng)時代的到來，數(shù)據(jù)以前所未有的速度在增長，有調(diào)查顯示，如今《紐約時報》一期所刊載的信息量，比生活在中世紀的人們一生所獲得信息量都多.既然數(shù)據(jù)這么海量，就需要使用科學的方法來挖掘數(shù)據(jù)中蘊含的價值，而數(shù)據(jù)挖掘作為數(shù)學中的重要一環(huán)，正發(fā)揮著巨大的作用.

四、結(jié)語

總之，數(shù)據(jù)挖掘有著十分廣泛的外延，作為目前一個炙手可熱的研究課題，它對社會各個方面都有著十分深層次的影響.為了讓這一課題能更好地服務于社會，需要對數(shù)據(jù)挖掘的基本方法有著十分明晰的認識，這也是本文旨在說明的問題.

【參考文獻】

[1]汪明.數(shù)據(jù)挖掘綜述[J].河北軟件職業(yè)技術(shù)學院學報，2012（1）：45-48.

[2]蔡運龍，陳彥光，等.地理學：科學地位與社會功能[M].北京：科學出版社，2012.

[3]馬紅娟，趙秀蘭，孫亞萍，鄭喜英.基于數(shù)據(jù)挖掘技術(shù)的概率統(tǒng)計教學研究[J].經(jīng)濟研究導刊，2015（6）：220-222.