基于互聯(lián)網(wǎng)大數(shù)據(jù)的挖掘和預(yù)測(cè)分析

(四川大學(xué)商學(xué)院 四川 成都 610000)

引言

大數(shù)據(jù)的出現(xiàn)依托于互聯(lián)網(wǎng)的發(fā)展，并很大程度上來(lái)源于互聯(lián)網(wǎng)，由于大數(shù)據(jù)具有重要價(jià)值，且有著巨大的隱藏價(jià)值，因此，對(duì)于大數(shù)據(jù)的關(guān)注越來(lái)越高。龐大的數(shù)據(jù)總量和共享的互聯(lián)網(wǎng)只是表象。數(shù)據(jù)如果能夠提煉出規(guī)律，它就擁有了更高的價(jià)值，數(shù)據(jù)能夠借助于各種各樣的工具在分析的基礎(chǔ)上為我們提供正確的決策，如何進(jìn)行合理的挖掘和分析成了亟待考慮的問(wèn)題。

一、互聯(lián)網(wǎng)大數(shù)據(jù)的特點(diǎn)

(一)數(shù)據(jù)的多樣化

在互聯(lián)網(wǎng)環(huán)境下，數(shù)據(jù)來(lái)源十分廣泛，也就意味著數(shù)據(jù)的多樣化，可是也容易雜，結(jié)構(gòu)多樣化并且伴隨著質(zhì)量不高的問(wèn)題。大數(shù)據(jù)的大并不意味著數(shù)據(jù)質(zhì)量的高，有些數(shù)據(jù)并不一定真實(shí)有效。除此以外，來(lái)源廣泛也意味著數(shù)據(jù)的復(fù)雜性，需要進(jìn)行分析與篩選。大數(shù)據(jù)下，數(shù)據(jù)類(lèi)型慢慢從單一的結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)向融合型數(shù)據(jù)，即結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化三者融合。傳統(tǒng)的數(shù)據(jù)分析無(wú)法應(yīng)對(duì)如今類(lèi)型眾多的數(shù)據(jù)，所以如何通過(guò)優(yōu)化資源配置、重組架構(gòu)等方式實(shí)現(xiàn)更高效率的提取信息成了一大挑戰(zhàn)。

(二)數(shù)據(jù)的高增長(zhǎng)速度及大規(guī)模

大數(shù)據(jù)每時(shí)每刻都在不斷地以驚人的速度產(chǎn)生，信息更新?lián)Q代的周期越來(lái)越短，并且面對(duì)如此巨大且仍在繼續(xù)擴(kuò)大的數(shù)據(jù)規(guī)模，數(shù)據(jù)庫(kù)的存儲(chǔ)能力也在接受著考驗(yàn)，大數(shù)據(jù)和存儲(chǔ)設(shè)備之間的協(xié)調(diào)如何達(dá)到平衡，如何設(shè)計(jì)出與之相匹配的存儲(chǔ)架構(gòu)成了關(guān)鍵。若不能克服互聯(lián)網(wǎng)大數(shù)據(jù)的這個(gè)特點(diǎn)，面對(duì)從海量的數(shù)據(jù)中獲取有用信息這一想法便無(wú)法實(shí)現(xiàn)。

(三)數(shù)據(jù)的時(shí)效性強(qiáng)

互聯(lián)網(wǎng)數(shù)據(jù)產(chǎn)生速度快也伴隨著價(jià)值的時(shí)效性強(qiáng)，很多數(shù)據(jù)信息是需要實(shí)時(shí)集成挖掘的，如果沒(méi)有及時(shí)處理，則會(huì)大大降低其價(jià)值甚至失去其價(jià)值，在數(shù)據(jù)類(lèi)型單一的情況下進(jìn)行數(shù)據(jù)實(shí)時(shí)處理是比較容易的，但是囿于其規(guī)模巨大、形式多樣的現(xiàn)狀，數(shù)據(jù)環(huán)境變得更加復(fù)雜，很難做到實(shí)時(shí)處理數(shù)據(jù)，系統(tǒng)也很難把數(shù)據(jù)全貌，提升技術(shù)手段并實(shí)現(xiàn)對(duì)多個(gè)領(lǐng)域進(jìn)行數(shù)據(jù)實(shí)時(shí)挖掘，采用在線處理手段成了數(shù)據(jù)處理效率提高的關(guān)鍵。

二、數(shù)據(jù)挖掘

(一)概念

如果從數(shù)據(jù)挖掘的具體任務(wù)實(shí)現(xiàn)步驟進(jìn)行闡述。那么數(shù)據(jù)挖掘即是：首先，從海量數(shù)據(jù)中尋找一定的規(guī)則與邏輯，即確定數(shù)據(jù)挖掘的目標(biāo)任務(wù)，明確需求；其次，根據(jù)數(shù)據(jù)挖掘需求，確定挖掘分析對(duì)象，進(jìn)行數(shù)據(jù)的準(zhǔn)備及一系列預(yù)處理動(dòng)作；再次，選擇挖掘技術(shù)，建立數(shù)據(jù)模型；最后，數(shù)據(jù)規(guī)則與邏輯的展示，并得到深層的信息。無(wú)論是數(shù)據(jù)挖掘技術(shù)的方法選擇還是過(guò)程的確定，都應(yīng)其應(yīng)用領(lǐng)域的不同或者需求目標(biāo)的不同而有一定的差異性，數(shù)據(jù)挖掘技術(shù)的應(yīng)用可以幫助從海量數(shù)據(jù)中獲取想要的信息。

(二)數(shù)據(jù)的預(yù)處理

數(shù)據(jù)預(yù)處理是指在主要的處理以前對(duì)數(shù)據(jù)進(jìn)行的一些處理，指的是對(duì)所收集數(shù)據(jù)進(jìn)行分類(lèi)或分組前所做的審核、篩選、排序等必要的處理，來(lái)提高數(shù)據(jù)挖掘的質(zhì)量。因?yàn)榛ヂ?lián)網(wǎng)大數(shù)據(jù)大體上都是不完整且不一致的雜亂數(shù)據(jù)，無(wú)法直接進(jìn)行數(shù)據(jù)挖掘，或挖掘結(jié)果差強(qiáng)人意。

數(shù)據(jù)預(yù)處理有多種方法：數(shù)據(jù)清理，數(shù)據(jù)集成，數(shù)據(jù)變換，數(shù)據(jù)歸約等。這些數(shù)據(jù)處理技術(shù)在數(shù)據(jù)挖掘之前使用，大大提高了數(shù)據(jù)挖掘模式的質(zhì)量，降低實(shí)際挖掘所需要的時(shí)間。

(三)數(shù)據(jù)挖掘技術(shù)的應(yīng)用

數(shù)據(jù)挖掘在技術(shù)上的定義是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中,提取隱含在其中的且人們事先不知道的,但又是潛在有用的信息和知識(shí)的過(guò)程。數(shù)據(jù)挖掘在商業(yè)上的說(shuō)法是一種新的商業(yè)信息處理技術(shù),其主要功能是對(duì)商業(yè)數(shù)據(jù)庫(kù)中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理,從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。數(shù)據(jù)挖掘是一門(mén)很廣義的交叉學(xué)科,匯聚了不同的技術(shù),尤其是信息技術(shù)、統(tǒng)計(jì)分析技術(shù)等。其的主要目的是為商業(yè)決策提供真正有價(jià)值的信息,進(jìn)而獲得利潤(rùn)。但所有數(shù)據(jù)挖掘者面臨的一個(gè)共同問(wèn)題是:互聯(lián)網(wǎng)數(shù)據(jù)量非常大,而其中真正有價(jià)值的信息卻很少,因此從大量的數(shù)據(jù)中經(jīng)過(guò)深層分析,獲得有利于商業(yè)運(yùn)作、提高競(jìng)爭(zhēng)力的信息,就成了最大的考驗(yàn)。

三、數(shù)據(jù)預(yù)測(cè)

(一)概念

數(shù)據(jù)預(yù)測(cè)是一種挖掘連續(xù)取值數(shù)據(jù)并從已有數(shù)據(jù)中推斷獲得信息的一種重要方法，在對(duì)數(shù)據(jù)進(jìn)行了一定處理的基礎(chǔ)上，通過(guò)合適預(yù)測(cè)手段建立模型以獲得目標(biāo)期望值。

(二)分類(lèi)及方法

從商務(wù)預(yù)測(cè)的角度可以把數(shù)據(jù)預(yù)測(cè)分為定性預(yù)測(cè)和定量預(yù)測(cè)。定性預(yù)測(cè)是基于預(yù)測(cè)者的知識(shí)、經(jīng)驗(yàn)、綜合觀察，或者集體的智慧和直觀的材料，對(duì)事物未來(lái)發(fā)展變化的特點(diǎn)及變動(dòng)趨勢(shì)做出主觀判斷，優(yōu)點(diǎn)是能夠節(jié)省時(shí)間和節(jié)約費(fèi)用。但是缺點(diǎn)則是無(wú)法準(zhǔn)確嚴(yán)謹(jǐn)?shù)匕盐者@些因素的影響模式，無(wú)法解釋清楚和固化為具體的流程。一些常用的定性預(yù)測(cè)方法諸如:經(jīng)驗(yàn)判定預(yù)測(cè)法、專(zhuān)家意見(jiàn)預(yù)測(cè)法、調(diào)研判定預(yù)測(cè)法、主觀概率預(yù)測(cè)法等方法。

定量預(yù)測(cè)是指在數(shù)據(jù)挖掘的基礎(chǔ)上選擇和建立適當(dāng)?shù)臄?shù)學(xué)模型，再使用歷史數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，根據(jù)數(shù)學(xué)模型估計(jì)預(yù)測(cè)對(duì)象在未來(lái)的狀態(tài)。這樣預(yù)測(cè)結(jié)果穩(wěn)定且準(zhǔn)確，可重復(fù)和改進(jìn)，并且易于學(xué)習(xí)和交流。難點(diǎn)和缺點(diǎn)是對(duì)數(shù)據(jù)資料的質(zhì)量要求高，并且對(duì)使用者提出了較高要求，需要使用者具備相應(yīng)的數(shù)學(xué)、統(tǒng)計(jì)學(xué)、算法等知識(shí)。定量預(yù)測(cè)又可以通過(guò)原理的不同分為兩類(lèi)，一類(lèi)是時(shí)間序列，包括移動(dòng)平均法、指數(shù)平滑、三次指數(shù)平滑、ARIMA等。另一類(lèi)是因果法，包括線性回歸、非線性回歸、灰色系統(tǒng)預(yù)測(cè)法、馬爾科夫預(yù)測(cè)法和機(jī)器學(xué)習(xí)的方法。

(三)數(shù)據(jù)預(yù)測(cè)的應(yīng)用

數(shù)據(jù)預(yù)測(cè)是大數(shù)據(jù)最核心的應(yīng)用，大數(shù)據(jù)預(yù)測(cè)的優(yōu)勢(shì)體現(xiàn)在它把一個(gè)不容易知道的信息轉(zhuǎn)化成一個(gè)相對(duì)簡(jiǎn)單的描述問(wèn)題，并且能通過(guò)一定手段實(shí)現(xiàn)。從預(yù)測(cè)的角度看，大數(shù)據(jù)預(yù)測(cè)所得出的結(jié)果不僅僅得到處理現(xiàn)實(shí)業(yè)務(wù)簡(jiǎn)單、客觀的結(jié)論，更能用于幫助預(yù)測(cè)者提供決策，基于收集的信息規(guī)劃進(jìn)程，從而達(dá)到目的。

如在網(wǎng)絡(luò)營(yíng)銷(xiāo)中，通過(guò)如爬蟲(chóng)這樣的手段獲取網(wǎng)絡(luò)信息數(shù)據(jù)，然后有依據(jù)地進(jìn)行分析、處理、挖掘，在結(jié)合現(xiàn)有信息和目標(biāo)規(guī)劃的基礎(chǔ)上，選取適當(dāng)手段，如回歸方法或建立神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)模型最終獲得最佳的營(yíng)銷(xiāo)手段及決策建議，更好地進(jìn)行網(wǎng)絡(luò)營(yíng)銷(xiāo)。

結(jié)語(yǔ)

在基于互聯(lián)網(wǎng)大數(shù)據(jù)的時(shí)代，準(zhǔn)確及時(shí)地獲取數(shù)據(jù)信息并利用處理，根據(jù)目標(biāo)期望結(jié)果，配以合適的數(shù)據(jù)挖掘方法，建立模型運(yùn)用預(yù)測(cè)技術(shù)得到指導(dǎo)性的結(jié)果，這便是互聯(lián)網(wǎng)大數(shù)據(jù)的真正價(jià)值所在。