大數(shù)據(jù)與數(shù)據(jù)挖掘

周斌斌

摘 要 大數(shù)據(jù)指需要通過快速獲取、處理、分析以從中提取價(jià)值的海量、多樣化的交易數(shù)據(jù)、交互數(shù)據(jù)與傳感數(shù)據(jù)。所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工在合理時(shí)間內(nèi)完成信息的采集、處理、管理，并將其整理成為人類所能解讀的信息。通過對大數(shù)據(jù)的認(rèn)識和大數(shù)據(jù)帶來的機(jī)遇，因此數(shù)據(jù)挖掘?qū)Υ髷?shù)據(jù)的管理來說至關(guān)重要。通過數(shù)據(jù)挖掘，從大數(shù)據(jù)中找到關(guān)鍵信息，從而為我們帶來商機(jī)和社會價(jià)值。

關(guān)鍵詞 web數(shù)據(jù)挖掘 大數(shù)據(jù) 海量 快速獲取 處理

中圖分類號：TP3 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A

當(dāng)今社會大數(shù)據(jù)應(yīng)用和數(shù)據(jù)挖掘，將從多個(gè)方面創(chuàng)造價(jià)值。大數(shù)據(jù)的重心將從存儲和傳輸，過渡到數(shù)據(jù)的挖掘和應(yīng)用，這將深刻影響企業(yè)的商業(yè)模式。大數(shù)據(jù)利用中安全更加重要，為信息安全帶來發(fā)展契機(jī)。隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新興IT技術(shù)逐漸步入主流，大數(shù)據(jù)使得數(shù)據(jù)價(jià)值極大提高，無處不在的數(shù)據(jù)，對信息安全提出了更高要求。同時(shí)，大數(shù)據(jù)領(lǐng)域出現(xiàn)的許多新興技術(shù)與產(chǎn)品將為安全分析提供新的可能性;信息安全和云計(jì)算貫穿于大數(shù)據(jù)產(chǎn)業(yè)鏈的各個(gè)環(huán)節(jié)，云安全等關(guān)鍵技術(shù)將更安全地保護(hù)數(shù)據(jù)。大數(shù)據(jù)對信息安全的要求和促進(jìn)將推動信息安全產(chǎn)業(yè)的大發(fā)展。因此我對大數(shù)據(jù)和數(shù)據(jù)挖掘的知識做一些概括。

首先是關(guān)于什么是大數(shù)據(jù)。大數(shù)據(jù)是指需要通過快速獲取、處理、分析以從中提取價(jià)值的海量、多樣化的交易數(shù)據(jù)、交互數(shù)據(jù)與傳感數(shù)據(jù)。所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工在合理時(shí)間內(nèi)完成信息的采集、處理、管理，并將其整理成為人類所能解讀的信息。

大數(shù)據(jù)怎麼產(chǎn)生。物理世界的信息大量數(shù)字化產(chǎn)生的。社交網(wǎng)絡(luò)產(chǎn)生的，在雅虎時(shí)代，大量的都是讀操作，只有雅虎的編輯做一些寫操作的工作。進(jìn)入web2.0時(shí)代，用戶數(shù)大量增加，用戶主動提交了自己的行為。進(jìn)入了社交時(shí)代，移動時(shí)代。大量移動終端設(shè)備的出現(xiàn)，用戶不僅主動提交自己的行為，還和自己的社交圈進(jìn)行了實(shí)時(shí)的互動，因此數(shù)據(jù)大量的產(chǎn)生出來，并且具有了極其強(qiáng)烈的傳播性。數(shù)據(jù)都要保存所產(chǎn)生的。

大數(shù)據(jù)的特點(diǎn)，多樣化：大數(shù)據(jù)一般包括以事務(wù)為代表的結(jié)構(gòu)化數(shù)據(jù)、以網(wǎng)頁為代表的半結(jié)構(gòu)化數(shù)據(jù)和以視頻和語音信息為代表的非結(jié)構(gòu)化等多類數(shù)據(jù)。海量：通過各種智能設(shè)備產(chǎn)生了大量的數(shù)據(jù)，PB級別可謂是常態(tài)?？焖伲捍髷?shù)據(jù)要求快速處理，因?yàn)橛行?shù)據(jù)存在時(shí)效性。靈活：在互聯(lián)網(wǎng)時(shí)代，和以往相比，企業(yè)的業(yè)務(wù)需求更新的頻率加快了很多，那么相關(guān)大數(shù)據(jù)的分析和處理模型必須快速地適應(yīng)新的業(yè)務(wù)需求。復(fù)雜：雖然傳統(tǒng)的BI已經(jīng)很復(fù)雜了，但是由于前面4個(gè)V的存在，使得針對大數(shù)據(jù)的處理和分析更艱巨，并且過去那套基于關(guān)系型數(shù)據(jù)庫的BI開始有點(diǎn)不合時(shí)宜了，同時(shí)也需要根據(jù)不同的業(yè)務(wù)場景，采取不同的處理方式和工具。

通過對大數(shù)據(jù)的認(rèn)識和大數(shù)據(jù)帶來的機(jī)遇，因此數(shù)據(jù)挖掘?qū)Υ髷?shù)據(jù)的管理來說至關(guān)重要。通過數(shù)據(jù)挖掘，從大數(shù)據(jù)中找到關(guān)鍵信息，從而為我們帶來商機(jī)和社會價(jià)值。

數(shù)據(jù)挖掘大體上分為四個(gè)階段：（1）確定業(yè)務(wù)對象階段：清晰地定義出業(yè)務(wù)對象，認(rèn)清數(shù)據(jù)挖掘的目的是數(shù)據(jù)挖掘的首要任務(wù)。（2）數(shù)據(jù)準(zhǔn)備階段：確定目標(biāo)數(shù)據(jù)，并對原始的目標(biāo)數(shù)據(jù)進(jìn)行數(shù)據(jù)的選擇、凈化（消除噪聲、冗余數(shù)據(jù)）等，使其生成過程數(shù)據(jù)。然后進(jìn)行轉(zhuǎn)換，主要是降維（dimensionreduction），為后面的數(shù)據(jù)挖掘準(zhǔn)備好正確的數(shù)據(jù)。（3）數(shù)據(jù)挖掘階段：使用適當(dāng)?shù)臄?shù)據(jù)挖掘算法對處理過的數(shù)據(jù)進(jìn)行分析，進(jìn)而得到可能的模式或模型。（4）解釋與評估階段：數(shù)據(jù)挖掘?qū)@得的信息通過用戶可以理解和觀察的方式反饋給用戶。

數(shù)據(jù)挖掘的關(guān)鍵技術(shù)。數(shù)據(jù)挖掘的關(guān)鍵技術(shù)是模式識別和關(guān)系識別的算法，許多算法源于數(shù)據(jù)庫理論、統(tǒng)計(jì)學(xué)、人工智能和機(jī)器學(xué)習(xí)等研究領(lǐng)域。常用的數(shù)據(jù)挖掘技術(shù)大致可以分為以下幾種：（1）統(tǒng)計(jì)方法;（2）模糊集方法;（3）支持向量機(jī);（4）粗糙集方法。（5）貝葉斯網(wǎng)絡(luò)。（6）機(jī)器學(xué)習(xí)方法。（7）生物智能算法。

關(guān)于web數(shù)據(jù)挖掘方面，web數(shù)據(jù)挖掘主要特點(diǎn)包括：（1）數(shù)據(jù)量巨大、動態(tài)性強(qiáng)，數(shù)據(jù)類型復(fù)雜多樣，萬維網(wǎng)上的數(shù)據(jù)量非常巨大，并快速更新。Web上包含了各種信息和資源，有文本數(shù)據(jù)、超文本數(shù)據(jù)、圖表、圖像、音頻數(shù)據(jù)和視頻數(shù)據(jù)等多種類型的數(shù)據(jù)。（2）異構(gòu)數(shù)據(jù)庫環(huán)境，Web上每一個(gè)站點(diǎn)是一個(gè)數(shù)據(jù)源，每一個(gè)站點(diǎn)的信息和組織都不一樣，所以每個(gè)數(shù)據(jù)源都是異構(gòu)的，因此構(gòu)成了一個(gè)巨大的異構(gòu)數(shù)據(jù)庫環(huán)境。（3）半結(jié)構(gòu)化的數(shù)據(jù)結(jié)構(gòu)，Web數(shù)據(jù)是半結(jié)構(gòu)化或非結(jié)構(gòu)化的，不是計(jì)算機(jī)或者數(shù)據(jù)挖掘算法所能理解的形式，通常數(shù)據(jù)挖掘的對象是數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)，并利用關(guān)系表格等存儲結(jié)構(gòu)來發(fā)現(xiàn)知識，因此有些數(shù)據(jù)挖掘算法并不適用于Web挖掘，即使可用也需要首先對Web數(shù)據(jù)進(jìn)行預(yù)處理。這樣，對Web數(shù)據(jù)進(jìn)行預(yù)處理，或者開發(fā)新的Web挖掘技術(shù)，便成為Web挖掘研究的重點(diǎn)。

參考文獻(xiàn)

[1] 羅剛，王振東.網(wǎng)絡(luò)爬蟲，清華大學(xué)出版社，2010，10.

[2] 于天恩.搜索引擎，中國鐵道出版社，2008，7.