大數(shù)據(jù)時(shí)代的數(shù)據(jù)分析與挖掘

【摘要】 不斷形成與發(fā)展的新型服務(wù)推動(dòng)著人類經(jīng)濟(jì)社會(huì)項(xiàng)目的數(shù)據(jù)形式與規(guī)模向著更快、更準(zhǔn)的方向發(fā)展，這無(wú)疑也預(yù)示著現(xiàn)代大數(shù)據(jù)時(shí)代正朝著我們推進(jìn)。眾所周知，數(shù)據(jù)并不單單是一項(xiàng)解決問(wèn)題的手段，數(shù)據(jù)的種類逐漸從原有的結(jié)構(gòu)模式向現(xiàn)今的結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化的數(shù)據(jù)模式轉(zhuǎn)換，這也預(yù)示著數(shù)據(jù)已不再只是一項(xiàng)簡(jiǎn)單的工具，而已逐漸作為一項(xiàng)較為基本的資源。那么應(yīng)當(dāng)如何正確、合理地應(yīng)用現(xiàn)代數(shù)據(jù)呢？應(yīng)當(dāng)如何分析、研究數(shù)據(jù)資源？這已經(jīng)逐漸成為當(dāng)代人較多關(guān)注的問(wèn)題。

【關(guān)鍵詞】 大數(shù)據(jù) 數(shù)據(jù)分析 數(shù)據(jù)研究

目前，無(wú)論是在社會(huì)用人單位或者是個(gè)體方面都會(huì)涉及與處理相關(guān)數(shù)據(jù)信息的問(wèn)題，社會(huì)大眾在應(yīng)用數(shù)據(jù)信息之際也被社會(huì)諸多的數(shù)據(jù)信息所圍繞，即使現(xiàn)代社會(huì)數(shù)據(jù)信息的發(fā)展情況較為良好、也讓社會(huì)大眾更為信服，然而在社會(huì)大眾對(duì)大數(shù)據(jù)的印象觀念中，數(shù)據(jù)形式的發(fā)展已經(jīng)超過(guò)了他們所預(yù)想的、數(shù)據(jù)總量已經(jīng)超過(guò)社會(huì)大眾所理解的范疇，應(yīng)當(dāng)如何正確、有效地處理該部分?jǐn)?shù)據(jù)信息已經(jīng)變?yōu)楝F(xiàn)代社會(huì)大眾共同面對(duì)的問(wèn)題，需求人們謹(jǐn)慎地對(duì)待。

一、實(shí)施數(shù)據(jù)分析的方法

正確地對(duì)數(shù)據(jù)進(jìn)行分析過(guò)程已經(jīng)作為大數(shù)據(jù)時(shí)代對(duì)待信息量極大的數(shù)據(jù)處理的關(guān)鍵性環(huán)節(jié)。即使大數(shù)據(jù)的優(yōu)勢(shì)較為突顯，但仍然在處理階段存有務(wù)必解決的3大問(wèn)題：大容量數(shù)據(jù)、分析速率以及多格式的數(shù)據(jù)。

1.1 Hadoop HDFS

Hadoop HDFS主要是采用流失數(shù)據(jù)詢問(wèn)形式進(jìn)而實(shí)現(xiàn)容量較大文件的儲(chǔ)存，主要是運(yùn)用在商業(yè)化硬件群體中，而所謂的商業(yè)化硬件群體，即是區(qū)別于低端硬件，且相對(duì)于低端硬件群體而言其產(chǎn)生問(wèn)題的機(jī)率是大大地降低的。Hadoop可以不用在價(jià)格較高且可信度高的硬件上運(yùn)用，即便是面對(duì)產(chǎn)生問(wèn)題機(jī)率較高的群體，HDFS在面對(duì)問(wèn)題之際仍然會(huì)采取繼續(xù)運(yùn)用的手法而且與此同時(shí)不會(huì)讓用戶發(fā)現(xiàn)較為突兀的間斷問(wèn)題，這樣的理念從本質(zhì)上大大地減少了針對(duì)機(jī)器設(shè)備的維修維護(hù)費(fèi)用，特別是對(duì)于同時(shí)監(jiān)管成千上萬(wàn)部機(jī)器設(shè)備的用戶。

1.2 Hadoop的優(yōu)點(diǎn)與不足

Hadoop是一項(xiàng)可以針對(duì)諸多數(shù)據(jù)實(shí)行分布型模式解決的軟件架構(gòu)，與此同時(shí)其處理過(guò)程主要是依據(jù)一條可信、有效、可伸縮的途徑進(jìn)行的，這點(diǎn)也是Hadoop所獨(dú)有的優(yōu)點(diǎn)。然而眾所周知，每樣事件都不能做到完全的完美，Hadoop與其它新興的科學(xué)技術(shù)相同，一定的不足在實(shí)際應(yīng)用過(guò)程中變得日益明顯：第一，現(xiàn)階段的Hadoop針對(duì)企業(yè)內(nèi)外部信息的維護(hù)、保護(hù)效用較為匱乏，項(xiàng)目的設(shè)計(jì)工作人員務(wù)必選擇自行手動(dòng)的方式進(jìn)行數(shù)據(jù)的設(shè)置，并且這一過(guò)程較大程度上依賴設(shè)計(jì)工作人員確定相關(guān)數(shù)據(jù)信息的準(zhǔn)確性，形成時(shí)間浪費(fèi)的局面；第二，Hadoop需求社會(huì)具備投資構(gòu)建專用的計(jì)算集群，可是這一般會(huì)容易形成單個(gè)儲(chǔ)存、計(jì)算數(shù)據(jù)信息和儲(chǔ)存或者CPU應(yīng)用的難題，并且這樣的儲(chǔ)存形式在其它項(xiàng)目上仍然會(huì)存有兼容性的難題。

二、實(shí)施數(shù)據(jù)挖掘的方法

現(xiàn)階段的大數(shù)據(jù)時(shí)代常用于數(shù)據(jù)挖掘項(xiàng)目的方法較多，比如分類法、回歸分析法、關(guān)系規(guī)則法、Web數(shù)據(jù)挖掘法等，本文主要是針對(duì)分類法、回歸分析法、Web數(shù)據(jù)挖掘法對(duì)數(shù)據(jù)挖掘過(guò)程進(jìn)行分析

1.分類法。分類法主要尋找規(guī)模較大的數(shù)據(jù)庫(kù)當(dāng)中其中一組數(shù)據(jù)的相同特質(zhì)且依據(jù)劃分形式把數(shù)據(jù)劃分為不一樣的種類，對(duì)其實(shí)施分類的主要目的是利用劃分形式，把數(shù)據(jù)庫(kù)當(dāng)中的數(shù)據(jù)項(xiàng)目投放至特定的、規(guī)定的類型中。比如現(xiàn)今淘寶商店主要是依據(jù)用戶最近的購(gòu)買狀況對(duì)用戶實(shí)行相關(guān)的劃分工作，再者能夠更為有效地對(duì)用戶實(shí)行推薦，進(jìn)而逐漸提高淘寶店鋪的銷售量。

2.回歸分析法?；貧w分析法主要是展現(xiàn)數(shù)據(jù)庫(kù)當(dāng)中數(shù)據(jù)信息的獨(dú)有特質(zhì)，利用函數(shù)來(lái)展現(xiàn)相關(guān)數(shù)據(jù)間的不同聯(lián)系進(jìn)而察覺(jué)相關(guān)數(shù)據(jù)信息特質(zhì)的依賴程度?；貧w分析法能夠被運(yùn)用至各項(xiàng)針對(duì)數(shù)據(jù)序列的預(yù)計(jì)與測(cè)量以及存有聯(lián)系的數(shù)據(jù)探究中，而在市場(chǎng)營(yíng)銷方面，回歸分析法能夠在每一層面上有所體現(xiàn)。

3.Web數(shù)據(jù)挖掘法。Web數(shù)據(jù)挖掘法主要是針對(duì)網(wǎng)絡(luò)式數(shù)據(jù)的綜合性科技，目前在全球范圍內(nèi)較為常用的Web數(shù)據(jù)挖掘算法主要有PageRank算法、HITS算法和LOGSOM算法，以上的三種算法所涉及的用戶主要是指較為籠統(tǒng)的用戶，沒(méi)有較為鮮明的界限對(duì)用戶進(jìn)行詳細(xì)、謹(jǐn)慎地劃分。然而當(dāng)前Web數(shù)據(jù)挖掘法也正迎來(lái)了一些挑戰(zhàn)，比如用戶分類層面、網(wǎng)站公布內(nèi)容的有效層面、用戶停留頁(yè)面時(shí)間長(zhǎng)短的層面等。在大力推廣與宣傳Web技術(shù)的大數(shù)據(jù)時(shí)代。

總而言之，即便現(xiàn)今我國(guó)正步入大數(shù)據(jù)時(shí)代，可是現(xiàn)階段我國(guó)數(shù)據(jù)的相關(guān)技術(shù)仍然停留在初創(chuàng)的時(shí)期，更深一層地改進(jìn)與發(fā)展有關(guān)數(shù)據(jù)分析技術(shù)仍然是目前社會(huì)針對(duì)數(shù)據(jù)專題的熱門話題。

參 考 文 獻(xiàn)

[1]唐東波.基于神經(jīng)網(wǎng)絡(luò)集成的電信客戶流失預(yù)測(cè)建模及應(yīng)用[J].大眾商務(wù).2010（06）

[2]劉蓉，陳曉紅.基于數(shù)據(jù)挖掘的移動(dòng)通信客戶消費(fèi)行為分析[J].計(jì)算機(jī)應(yīng)用與軟件.2006（02）

[3]魏娟，梁靜國(guó).基于數(shù)據(jù)挖掘技術(shù)的企業(yè)客戶關(guān)系管理（CRM）[J].商業(yè)研究.2005（07）

[4]田苗苗.數(shù)據(jù)挖掘之決策樹(shù)方法概述[J].長(zhǎng)春大學(xué)學(xué)報(bào).2004（06）