基于網(wǎng)絡(luò)的數(shù)據(jù)挖掘技術(shù)

劉陽

哈爾濱職業(yè)技術(shù)學(xué)院

?

基于網(wǎng)絡(luò)的數(shù)據(jù)挖掘技術(shù)

劉陽

哈爾濱職業(yè)技術(shù)學(xué)院

摘要：數(shù)據(jù)挖掘技術(shù)是對數(shù)據(jù)的有效的隱性的提取。數(shù)據(jù)挖掘技術(shù)與網(wǎng)絡(luò)息息相關(guān)。很多數(shù)據(jù)信息都是保存在網(wǎng)絡(luò)當(dāng)中，而數(shù)據(jù)挖掘技術(shù)，就是在眾多的數(shù)據(jù)集合當(dāng)中進(jìn)行發(fā)現(xiàn)與搜集。本文就數(shù)據(jù)挖掘如何在網(wǎng)絡(luò)中進(jìn)行工作、數(shù)據(jù)挖掘的常用技術(shù)、以及設(shè)計(jì)的應(yīng)用領(lǐng)域進(jìn)行了詳細(xì)的闡述。

1　數(shù)據(jù)挖掘概念簡介

在網(wǎng)絡(luò)中的數(shù)據(jù)挖掘，是通過對網(wǎng)絡(luò)中共享的信息，存放的海量數(shù)據(jù)，進(jìn)行模式探索。把一些具有預(yù)測效果和規(guī)律性的描述效果的數(shù)據(jù)信息進(jìn)行分類總結(jié)。把這些重要的數(shù)據(jù)應(yīng)用在統(tǒng)計(jì)學(xué)、分類、預(yù)測、描述等等各個(gè)方面。數(shù)據(jù)是網(wǎng)絡(luò)中存放的基本單位。網(wǎng)絡(luò)中存在海量數(shù)據(jù)是不爭的事實(shí)。但這些數(shù)據(jù)的收集和有效利用，就是通過數(shù)據(jù)挖掘來實(shí)現(xiàn)的。嚴(yán)謹(jǐn)?shù)恼f數(shù)據(jù)挖掘是在尋找數(shù)據(jù)模型。首先獲得數(shù)據(jù)源，這是網(wǎng)絡(luò)的作用。其次進(jìn)行數(shù)據(jù)識別與匹配。利用一些專業(yè)領(lǐng)域知識將數(shù)據(jù)轉(zhuǎn)化為可用

2　數(shù)據(jù)挖掘技術(shù)種類

數(shù)據(jù)挖掘技術(shù)總結(jié)為十三大類。篇幅有限這里不意義贅述。舉例進(jìn)行說明。

首先，遺傳算法是其中重要一類。遺傳算法借鑒的是生物學(xué)中，對于路徑的尋找、生物的遺傳和變異來進(jìn)行的規(guī)律變化。通過這些變化可以應(yīng)用于優(yōu)先級別、權(quán)值分配、路徑選擇等多種方面。比如在網(wǎng)絡(luò)考試系統(tǒng)中，螞蟻算法就是經(jīng)常使用的遺傳算法的一種?？梢酝ㄟ^它實(shí)現(xiàn)試卷難度數(shù)值的測定。對于數(shù)據(jù)挖掘來說，它適用于樣本采集中分類是否準(zhǔn)確的判斷。其次關(guān)聯(lián)規(guī)則。熟悉數(shù)據(jù)庫相關(guān)技術(shù)的對這一概念應(yīng)該并不陌生。在網(wǎng)絡(luò)數(shù)據(jù)庫當(dāng)中，在不同的庫與庫表當(dāng)中，某個(gè)關(guān)鍵的字段，在不同的庫與庫表中都可以以產(chǎn)生某種作用。從而產(chǎn)生了相應(yīng)的規(guī)律性。這就是我們所說的關(guān)聯(lián)。詳細(xì)的又可以根據(jù)關(guān)聯(lián)性劃分出不同種類的關(guān)聯(lián)。在數(shù)據(jù)挖掘中用于分析數(shù)據(jù)之間規(guī)則的可信程度。再次，粗糙集與模糊集：兩者在概念上好似容易混淆。但二者還是有分別的。粗糙集一般是針對對象或者數(shù)據(jù)的相關(guān)屬性而言。在我們?nèi)粘？偨Y(jié)的屬性中，種類是有限度的，不可能適用于每種數(shù)據(jù)。因此一些特殊的數(shù)據(jù)在沒有規(guī)范的屬性進(jìn)行描述的時(shí)候采用粗糙集的方式。而對于模糊集來說，主要是針對數(shù)據(jù)的邊界值。利用某個(gè)域值的范圍來進(jìn)行判讀與預(yù)估。

3　網(wǎng)絡(luò)數(shù)據(jù)挖掘的具體應(yīng)用：

一方面航天應(yīng)用舉例：在天文學(xué)研究以及航天數(shù)據(jù)分析中，人們遇到了一個(gè)很大的難題，即人工對大批量數(shù)據(jù)分析的無能為力。SKICAT不僅提供對數(shù)據(jù)庫的管理，并且通過訓(xùn)練可以對天體進(jìn)行辨識。它采用了模塊化設(shè)計(jì)，共有三個(gè)主要功能模塊:分類建立、分類管理及統(tǒng)計(jì)分析。其中，分類建立是通過有示范的訓(xùn)練建立對天體的辨識機(jī)制。對天體的辨識是進(jìn)行其它數(shù)據(jù)分析的前提，只有將天體識別出來以后，如是星系還是星球，才能進(jìn)行相應(yīng)的研究。使用SKICAT對天體數(shù)據(jù)進(jìn)行分析，一方面是通過機(jī)器學(xué)習(xí)將知識提取過程由學(xué)習(xí)算法完成，從而可以實(shí)現(xiàn)對大批量數(shù)據(jù)的分析，另一方面是辨識那些亮度很低、人工難以判讀的天體圖像，以進(jìn)行后續(xù)分析。另一方面，Bayesian網(wǎng)是由變量及其關(guān)聯(lián)組成的有向圖。它主要用于處理實(shí)際應(yīng)用中遇到的不確定信息。圖中還帶有各變量的概率分布，定量的概率信息被表示為條件概率表中在決策前對實(shí)際問題的先驗(yàn)的理解與把握。然而，針對實(shí)際問題建立一個(gè)應(yīng)用于決策的Bayesian網(wǎng)絡(luò)時(shí)存在兩個(gè)問題。首先，我們常常是憑個(gè)人對問題的經(jīng)驗(yàn)與理解來建立模型的，因此建立的模型很難反映問題的客觀實(shí)際。其二，在確定Bayesian網(wǎng)中的條件概率表時(shí)，我們需要用定量的數(shù)值以支持計(jì)算，但實(shí)際中，人們很難給出一個(gè)具體概率值，一般的應(yīng)用往往是根據(jù)經(jīng)驗(yàn)，而數(shù)據(jù)挖掘技術(shù)恰恰為我們提供了一系列有效的方法來尋找隱藏于大規(guī)模數(shù)據(jù)之中的有用數(shù)據(jù)，以解決以上兩個(gè)問題。最后，數(shù)據(jù)挖掘技術(shù)還常常應(yīng)用于商業(yè)領(lǐng)域。一個(gè)企業(yè)對未來的產(chǎn)品的預(yù)估，可以通過數(shù)據(jù)挖掘進(jìn)行分析。當(dāng)產(chǎn)品的銷售預(yù)測度較高時(shí)，可以加大產(chǎn)品開發(fā)與生產(chǎn)量。商品銷售企業(yè)，也可以根絕用戶習(xí)慣數(shù)據(jù)，進(jìn)行分析。找出哪些商品是會收到用戶喜歡，或者擁有類似屬性的。這類產(chǎn)品就可以集中采購，而相反情況，就應(yīng)該減少貨品的采購。保證企業(yè)穩(wěn)速發(fā)展。

總之，基于網(wǎng)絡(luò)的數(shù)據(jù)挖掘技術(shù)，作用是從網(wǎng)絡(luò)海量數(shù)據(jù)中進(jìn)行搜集、分類、總結(jié)，從而把這些數(shù)據(jù)通過科學(xué)的方法轉(zhuǎn)化為具有價(jià)值的信息和寶貴的知識經(jīng)驗(yàn)。數(shù)據(jù)挖掘不是簡單的搜集、分類那么簡單。在這過程中，它需要使用大量的科學(xué)方法與算法來實(shí)現(xiàn)。例如文中介紹的遺傳算法、關(guān)聯(lián)規(guī)則、模糊集、粗糙集。當(dāng)然還不止這些。一些統(tǒng)計(jì)技術(shù)、人工智能的相關(guān)方法也經(jīng)常使用。通過挖掘技術(shù)分類提取后。這些技術(shù)可以應(yīng)用于各個(gè)領(lǐng)域。在商業(yè)領(lǐng)域判斷企業(yè)發(fā)展、在航天領(lǐng)域進(jìn)行大數(shù)據(jù)分析。在網(wǎng)絡(luò)計(jì)算領(lǐng)域提出更優(yōu)方案。綜上所述，基于網(wǎng)絡(luò)的數(shù)據(jù)挖掘技術(shù)，發(fā)揮了巨大作用。在未來仍然有廣闊打發(fā)展空間。

參考文獻(xiàn)

[1]曹秀英.基于粗集的數(shù)據(jù)挖掘技術(shù)及其應(yīng)用研究[D].哈爾濱工程大學(xué) 2003

[2]劉剛.數(shù)據(jù)挖掘技術(shù)與分類算法研究[D].中國人民解放軍信息工程大學(xué) 2004

關(guān)鍵字：數(shù)據(jù)挖掘 預(yù)測性 相關(guān)算法 模式識別 應(yīng)用領(lǐng)域