數(shù)據(jù)挖掘綜述

于慧凝

摘 要：數(shù)據(jù)采掘是數(shù)據(jù)庫(kù)技術(shù)、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析、模糊邏輯、模式識(shí)別、人工神經(jīng)網(wǎng)絡(luò)等多個(gè)學(xué)科相結(jié)合的產(chǎn)物。最后探討了數(shù)據(jù)挖掘的發(fā)展趨勢(shì)，這對(duì)我國(guó)的數(shù)據(jù)挖掘研究具有一定的參考價(jià)值。

關(guān)鍵詞：數(shù)據(jù)挖掘；發(fā)展前景

一、引 言

數(shù)據(jù)挖掘（DataMining），又稱數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)（KnowledgeDiscovery in Database）， 數(shù)據(jù)挖掘從一個(gè)新的視角將數(shù)據(jù)庫(kù)技術(shù)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、信息檢索技術(shù)、數(shù)據(jù)可視化和模式識(shí)別與人工智能等領(lǐng)域有機(jī)結(jié)合起來(lái)，它能組合各個(gè)領(lǐng)域的優(yōu)點(diǎn)，從而能從數(shù)據(jù)中挖掘到其他傳統(tǒng)方法不能發(fā)現(xiàn)的有用知識(shí)。在最近幾年里已被數(shù)據(jù)庫(kù)界所廣泛研究，隨著計(jì)算機(jī)應(yīng)用的越來(lái)越廣泛，每年都要積累大量的數(shù)據(jù)，運(yùn)用數(shù)據(jù)挖掘技術(shù)，在這些數(shù)據(jù)當(dāng)中我們可以找出“金子”來(lái)。

二、數(shù)據(jù)挖掘應(yīng)用

數(shù)據(jù)挖掘是面向?qū)嶋H應(yīng)用的技術(shù)，現(xiàn)在已經(jīng)廣泛應(yīng)用于金融、銀行、農(nóng)業(yè)、制造業(yè)、零售業(yè)、電信、醫(yī)療衛(wèi)生、教育和生物科學(xué)等領(lǐng)域。在信息技術(shù)方面，將數(shù)據(jù)挖掘技術(shù)應(yīng)用到搜索引擎領(lǐng)域，從而產(chǎn)生智能搜索引擎，將會(huì)給用戶提供一個(gè)高效、準(zhǔn)確的Web檢索工具。在醫(yī)療衛(wèi)生方面，探討了各種數(shù)據(jù)挖掘方法在生物醫(yī)學(xué)研究領(lǐng)域中的應(yīng)用，可以用分類方法對(duì)疾病進(jìn)行診斷，用神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等數(shù)據(jù)挖掘方法對(duì)某些疾病進(jìn)行預(yù)測(cè)，研究表明，預(yù)測(cè)效果良好。在研究MRI乳腺非腫塊樣強(qiáng)化病灶對(duì)乳腺癌的診斷時(shí)，發(fā)現(xiàn)決策樹模型的靈敏度、特異性和準(zhǔn)確率等性能均優(yōu)于傳統(tǒng)統(tǒng)計(jì)學(xué)中的 logistic 回歸模型。

三、數(shù)據(jù)挖掘發(fā)展趨勢(shì)

目前數(shù)據(jù)挖掘技術(shù)的研究已成為國(guó)內(nèi)外研究的熱點(diǎn)，最近幾年在國(guó)內(nèi)發(fā)展迅速，今后該領(lǐng)域發(fā)展的趨勢(shì)可能主要表現(xiàn)在以下幾方面：

（1）隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)上的資源越來(lái)越多，如何通過(guò)數(shù)據(jù)挖掘技術(shù)對(duì)互聯(lián)網(wǎng)上的資源進(jìn)行挖掘，并從中發(fā)現(xiàn)有用的信息，將成為一個(gè)熱點(diǎn)問題。Web 數(shù)據(jù)挖掘目前的研究雖然比較多，但是還有很多不足，需要進(jìn)一步研究完善。

（2）數(shù)據(jù)挖掘算法的改進(jìn)和數(shù)據(jù)挖掘可視化。數(shù)據(jù)挖掘算法一般要處理海量的數(shù)據(jù)，如何在算法效率和算法準(zhǔn)確度之間尋找平衡點(diǎn)，是一個(gè)值得研究的課題。另外，數(shù)據(jù)挖掘結(jié)果的友好可視化展現(xiàn)也是一個(gè)重要的研究課題。

（3）多媒體數(shù)據(jù)挖掘。多媒體包含視頻、音頻、圖像等，這些數(shù)據(jù)的結(jié)構(gòu)往往比較復(fù)雜，傳統(tǒng)的數(shù)據(jù)挖掘算法處理多媒體數(shù)據(jù)效果比較差。為了挖掘多媒體資源，需要設(shè)計(jì)和開發(fā)更好的數(shù)據(jù)挖掘算法。

（4）數(shù)據(jù)挖掘和隱私保護(hù)。數(shù)據(jù)挖掘的個(gè)人隱私與信息安全問題備受人們關(guān)注。誤用和濫用數(shù)據(jù)挖掘可能導(dǎo)致用戶數(shù)據(jù)特別是敏感信息的泄露，越來(lái)越多的人對(duì)此表示擔(dān)憂，如何在不暴露用戶隱私的前提下進(jìn)行數(shù)據(jù)挖掘，將成為非常值得關(guān)注的研究課題。

（5）數(shù)據(jù)挖掘技術(shù)與其他系統(tǒng)的集成。數(shù)據(jù)挖掘應(yīng)該是一個(gè)完整的過(guò)程，不單單是一個(gè)算法，為了將數(shù)據(jù)挖掘技術(shù)更好地應(yīng)用于現(xiàn)實(shí)生活中，需要研究如何將數(shù)據(jù)挖掘與其他系統(tǒng)有機(jī)地集成，從而最大化地發(fā)揮數(shù)據(jù)挖掘的優(yōu)勢(shì)。

（6）空間和時(shí)序數(shù)據(jù)挖掘?？臻g數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)不同，空間數(shù)據(jù)庫(kù)具有豐富的數(shù)據(jù)類型，帶有拓?fù)?、距離信息，空間數(shù)據(jù)有很強(qiáng)的局部相關(guān)性等特點(diǎn)。挖掘空間數(shù)據(jù)庫(kù)需要特殊的數(shù)據(jù)挖掘方法。另外，有一類數(shù)據(jù)集的數(shù)據(jù)之間存在著時(shí)間上的關(guān)系，這類數(shù)據(jù)被稱為時(shí)序數(shù)據(jù)。在對(duì)時(shí)列數(shù)據(jù)進(jìn)行挖掘的過(guò)程中，必須考慮數(shù)據(jù)集數(shù)據(jù)間存在時(shí)間上的關(guān)系，如何高效地處理空間和時(shí)序數(shù)據(jù)，仍有大量問題需要解決。

（7） 適合中小企業(yè)使用的數(shù)據(jù)挖掘系統(tǒng)。目前國(guó)外著名的數(shù)據(jù)挖掘軟件有：SAS Enterprise Min-er、SPSS Clementine（現(xiàn)被IBM收購(gòu)并改名為IBMSPSS Modeler）和RapidMiner（開源）等 。除開源軟件外，數(shù)據(jù)挖掘軟件一般價(jià)格昂貴，中小企業(yè)往往望而卻步。針對(duì)我國(guó)中小企業(yè)的特點(diǎn)，開發(fā)一套適合我國(guó)國(guó)情的數(shù)據(jù)挖掘軟件具有重要的現(xiàn)實(shí)意義。

四、結(jié)束語(yǔ)

總之，數(shù)據(jù)挖掘只是一個(gè)工具，但不是萬(wàn)能的，它可以發(fā)現(xiàn)一些潛在的用戶，但是不會(huì)告訴你為什么，也不能保證這些潛在的用戶成為現(xiàn)實(shí)。數(shù)據(jù)挖掘的成功要求對(duì)期望解決問題的領(lǐng)域有深刻的了解，理解數(shù)據(jù)，了解其過(guò)程，才能對(duì)數(shù)據(jù)挖掘的結(jié)果找出合理的解釋。例如曾經(jīng)用數(shù)據(jù)挖掘找出的啤酒和尿布的例子，如何去解釋這種現(xiàn)象，是應(yīng)該將兩者放在一起還是分開銷售，這還需要對(duì)消費(fèi)心理學(xué)有所研究才能做出決定，而不是數(shù)據(jù)挖掘能力所及的了。

參考文獻(xiàn)：

[1]朱明.數(shù)據(jù)挖挖掘[M].合肥：中國(guó)科學(xué)技術(shù)大學(xué)出版社，2003.

[2]邵峰晶、于忠清.數(shù)據(jù)挖掘原理與算法[M].北京：中國(guó)水利水電出版社，2003.

[3]范明.數(shù)據(jù)挖掘概念與技術(shù)[M].北京：機(jī)械工業(yè)出版社，2001.

[4]夏火松主編.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)[M].北京：科學(xué)出版社.