數(shù)據(jù)挖掘在大數(shù)據(jù)時代下的應用

史夢楚

【摘要】 數(shù)據(jù)挖掘一直是各個行業(yè)的關注的重點。近幾年，數(shù)據(jù)挖掘伴隨著大數(shù)據(jù)的火熱開始迎來更大的機遇。本文介紹了數(shù)據(jù)挖掘相關的概念，一些常用的數(shù)據(jù)挖掘的分析方法，最后介紹了數(shù)據(jù)挖掘技術幾個常見的應用領域。

【關鍵詞】 數(shù)據(jù)挖掘 分析方法 應用

一、基本概念介紹

1、大數(shù)據(jù)。2011 年5 月，麥肯錫全球研究院在《大數(shù)據(jù)：創(chuàng)新、競爭和生產力的下一個新領域》中指出，大數(shù)據(jù)是一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和價值密度低四大特征。數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務職能領域，逐漸成為重要的生產要素；而人們對于大數(shù)據(jù)的運用預示著新一波生產率增長和消費者盈余浪潮的到來。據(jù)估計，在未來，數(shù)據(jù)將至少保持每年50%的增長速度。

2、數(shù)據(jù)挖掘。數(shù)據(jù)挖掘是一門新興的學科，它誕生于20 世紀80 年代，主要面向商業(yè)應用的人工智能研究領域.從技術角度看，數(shù)據(jù)挖掘就是從大量的、復雜的、不規(guī)則的、隨機的、模糊的數(shù)據(jù)中獲取隱含的、人們事先沒有發(fā)覺的、有潛在價值的信息和知識的過程.從商業(yè)角度來說，數(shù)據(jù)挖掘就是從龐大的數(shù)據(jù)庫中抽取、轉換、分析一些潛在規(guī)律和價值，從中獲取輔助商業(yè)決策的關鍵信息和有用知識。

二、數(shù)據(jù)挖掘的基本分析方法

分析方法是數(shù)據(jù)挖掘的核心工作，通過科學可靠的算法才能實現(xiàn)數(shù)據(jù)的挖掘，找出數(shù)據(jù)中潛在的規(guī)律。通過不同的分析方法，將解決不同類型的問題，在現(xiàn)實中針對不同的分析目標，找出相對應的方法。目前常用的分析方法主要有聚類分析、分類和預測、關聯(lián)分析等。

1、聚類分析 。聚類分析就是將物理或抽象對象的集合進行分組，然后組成為由類似或相似的對象組成的多個分類的分析過程，其目的就是通過相似的方法來收集數(shù)據(jù)分類。它是一種無先前知識，無監(jiān)督的學習過程，從數(shù)據(jù)對象中找出有意義的數(shù)據(jù)，然后將其劃分在一個未知的類。這不同于分類，因為它無法獲知對象的屬性?！拔镆灶惥?，人以群分”，通過聚類來分析事物之間類聚的潛在規(guī)律。聚類分析廣泛運用于心理學、統(tǒng)計學、醫(yī)學、生物學、市場銷售、數(shù)據(jù)識別、機器智能學習等領域。 聚類分析根據(jù)隸屬度的取值范圍可分為硬聚類和模糊聚類兩種方法。硬聚類就是將對象劃分到距離最近聚類的類，非此即彼，也就是說屬于一類，就必然不屬于另一類。模糊聚類就是根據(jù)隸屬度的取值范圍的大小差異來劃分類。一個樣本可能屬于多個類。常見的聚類算法主要有密度聚類算法、層次聚類算法、劃分聚類算法、網(wǎng)格聚類算法、模型聚類算法等。

2、分類和預測 。分類和數(shù)值預測是問題預測的兩種主要類型。分類是預測分類（離散、無序的）標號，而預測則是建立連續(xù)值函數(shù)模型。分類是數(shù)據(jù)挖掘的重要基礎，它是對已知的訓練數(shù)據(jù)集表現(xiàn)出來的特性，獲得每個類別的描述或屬性來構造相應的分類器或者分類。分類是一種有監(jiān)督的學習過程，它是根據(jù)訓練數(shù)據(jù)集發(fā)現(xiàn)準確描述來劃分類別。常見的分類算法主要有決策樹、粗糙集、貝葉斯、遺傳算法、神經(jīng)網(wǎng)路等。預測就是根據(jù)分類和回歸來預測將來的規(guī)律。常見的預測方法主要有局勢外推法、時間序列法和回歸分析法。

3、關聯(lián)分析 。在自然界，事物之間存在著千絲萬縷的聯(lián)系，當某一事件發(fā)生時，可能會帶動其它事件的發(fā)生。關聯(lián)分析就是利用事物之間存在的依賴或關聯(lián)知識來發(fā)現(xiàn)事物之間存在的規(guī)律性，然后通過這種規(guī)律性進行預測。如經(jīng)典實例購物籃分析，就是通過分析顧客購物籃中物品的管理規(guī)律，來分析顧客的購物心理和習慣，然后根據(jù)這種規(guī)律來幫助營銷人員制定營銷策略。

三、大數(shù)據(jù)時代的數(shù)據(jù)挖掘的應用領域

1、科學研究。在科學研究中，經(jīng)常需要分析各種大量的實驗和觀測數(shù)據(jù)，并找出相關的規(guī)律和知識.這些數(shù)據(jù)分析和挖掘都需要一定的算法，利用數(shù)據(jù)挖掘技術能科學的找出數(shù)據(jù)之間的規(guī)律以及找出我們未發(fā)現(xiàn)的知識.例如，對外空星體的探索、對DNA 數(shù)據(jù)的分析等等.

2、制造業(yè)。在制造業(yè)領域，通過對零部件生產的各種數(shù)據(jù)分析，來提高生產效率和提高良品率，如分析造成產品缺陷的環(huán)節(jié)及數(shù)據(jù)，找出生產過程影響生產率的因素，暴露制造和裝配操作過程中變化情況等各種因素，從而通過重點改進相關環(huán)節(jié)及工藝，來提高企業(yè)的生產效率及利益.

3、電信業(yè)。近些年，隨著電信業(yè)的蓬勃發(fā)展，電信業(yè)的技術和服務已經(jīng)成為一個非常龐大的混合載體，它不僅關系市場，也關系到技術及服務.在將企業(yè)有效資源整合，實現(xiàn)無縫連接的過程中，將產生大量的復雜數(shù)據(jù)集合，如何從龐雜的數(shù)據(jù)中找尋出規(guī)律和知識，已成為電信業(yè)的重要問題。通過數(shù)據(jù)挖掘的運用，能很好的解決上述問題，為行業(yè)的發(fā)展起到很好的作用，如系統(tǒng)負載、數(shù)據(jù)通信速率和容量、用戶行為、利潤率等；采用孤立點分析和聚類方法，查找出盜用模式和異常狀態(tài)；利用關聯(lián)和序列模式，找出影響電信發(fā)展的相關因素，更好的推動電信業(yè)務的發(fā)展。

參 考 文 獻

[1]胡天狀.數(shù)據(jù)挖掘技術在教育決策支持系統(tǒng)中的應用[D].杭州：浙江師范大學，2002.

[2]劉華婷，郭仁祥，姜浩.關聯(lián)規(guī)則挖掘Apriori算法的研究與改進[J].計算機應用與軟件，2009（1）：146-149.