探究大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)

夏磊

摘 要：人類發(fā)明計(jì)算機(jī)以來就一直利用它進(jìn)行數(shù)據(jù)相關(guān)性分析，從這個(gè)意義上來說現(xiàn)在的所謂“大數(shù)據(jù)分析”和之前的數(shù)據(jù)分析是一樣的，只是原來的算法對(duì)處理上千個(gè)維度這樣復(fù)雜數(shù)據(jù)模型時(shí)顯得力不從心。從2006年以來，隨著算法上的一系列突破再加上廉價(jià)計(jì)算能力的普及，人們終于有能力分析這些復(fù)雜的數(shù)據(jù)模型，于是大數(shù)據(jù)這個(gè)概念就誕生了。該文主要對(duì)通過對(duì)數(shù)據(jù)分析和大數(shù)據(jù)進(jìn)行論述，探究大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)。

關(guān)鍵詞：大數(shù)據(jù) 智能 數(shù)據(jù)分析

中圖分類號(hào)：F503 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2014）04（a）-0021-01

對(duì)于數(shù)據(jù)分析來說，其主要的目的就是通過對(duì)數(shù)據(jù)的分析去發(fā)現(xiàn)問題或預(yù)測(cè)趨勢(shì)。從數(shù)據(jù)鉆取、大規(guī)模分析的技術(shù)手段、以及算法執(zhí)行上來說，大規(guī)模分析是和小規(guī)模數(shù)據(jù)在技術(shù)上是有很大差異的。想要探究大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)，首先要對(duì)數(shù)據(jù)分析這一概念進(jìn)行深入研究。

1 數(shù)據(jù)分析

數(shù)據(jù)分析的過程其實(shí)簡(jiǎn)單的說就是做報(bào)告，做什么樣的報(bào)告反映什么樣的指標(biāo)。最開始的時(shí)候基本上是data processing。例如零售行業(yè)來說，最主要的指標(biāo)就是庫(kù)存、銷售同比增長(zhǎng)情況、利潤(rùn)同比增長(zhǎng)情況、促銷率等等。對(duì)于不同的行業(yè)會(huì)有不同的相關(guān)的KPI需要跟蹤，所以報(bào)告的內(nèi)容也會(huì)有所側(cè)重，但是只要你一個(gè)行業(yè)做久了，熟悉了套路之后，基本上就是以同樣的方法開展。

對(duì)于數(shù)據(jù)分析，如果公司部門分的比較細(xì)的（例如可能有建模組），那么做數(shù)據(jù)分析可能永遠(yuǎn)都是做data processing了。對(duì)于模型的分析，需要你對(duì)業(yè)務(wù)有了深入的了解就可以建立一些模型出來（例如推薦模型）等等。

數(shù)據(jù)分析主要涉及的技能：

（1）數(shù)據(jù)庫(kù)的能力。越全面越好，如果不是理工科的，最起碼要會(huì)select那些簡(jiǎn)單的查詢語(yǔ)句。

（2）EXCEL、PPT的能力。報(bào)告的呈現(xiàn)一般都是Excel+PPT的形式，最好VBA，這樣就可以將很多人工的工作轉(zhuǎn)化為自動(dòng)化的能力，提高工作效率，領(lǐng)導(dǎo)也對(duì)你刮目相看，自己也有更多空余的時(shí)間準(zhǔn)備其他方面的知識(shí)。

（3）市場(chǎng)分析能力。學(xué)會(huì)觀察市場(chǎng)的走向和關(guān)注的內(nèi)容，例如零售行業(yè)，現(xiàn)在大家都對(duì)CRM很熱衷，那相關(guān)的分析方法和方式是怎么樣的，你要自己去了解。從來不會(huì)有人手把手的將所有東西都告訴你，你必須自己學(xué)會(huì)去增長(zhǎng)知識(shí)。

（4）一些會(huì)計(jì)的知識(shí)。因?yàn)橥ㄟ^以上分析，就是會(huì)計(jì)管理的一部分內(nèi)容，最后還是公司盈利問題。有興趣的也可以去看看戰(zhàn)略管理方面的，對(duì)于做數(shù)據(jù)分析也很有好處的說。

綜合來看，可以說數(shù)據(jù)分析=技術(shù)+市場(chǎng)+戰(zhàn)略。

2 如何培養(yǎng)數(shù)據(jù)分析能力

理論：

基礎(chǔ)的數(shù)據(jù)分析知識(shí)，至少知道如何做趨勢(shì)分析、比較分析和細(xì)分，不然拿到一份數(shù)據(jù)就無從下手；

（2）基礎(chǔ)的統(tǒng)計(jì)學(xué)知識(shí)，至少基礎(chǔ)的統(tǒng)計(jì)量要認(rèn)識(shí)，知道這些統(tǒng)計(jì)量的定義和適用條件，統(tǒng)計(jì)學(xué)方法可以讓分析過程更加嚴(yán)謹(jǐn)，結(jié)論更有說服力；

（3）對(duì)數(shù)據(jù)的興趣，以及其它的知識(shí)多多益善，讓分析過程有趣起來。

實(shí)踐：

（1）明確分析的目的。如果分析前沒有明確分析的最終目標(biāo)，很容易被數(shù)據(jù)繞進(jìn)去，最終自己都不知道自己得出的結(jié)論到底是用來干嘛的；

（2）多結(jié)合業(yè)務(wù)去看數(shù)據(jù)。數(shù)據(jù)從業(yè)務(wù)運(yùn)營(yíng)中來，分析當(dāng)然要回歸到業(yè)務(wù)中去，多熟悉了解業(yè)務(wù)可以使數(shù)據(jù)看起來更加透徹；

（3）了解數(shù)據(jù)的定義和獲取。最好從數(shù)據(jù)最初是怎么獲取的開始了解，當(dāng)然指標(biāo)的統(tǒng)計(jì)邏輯和規(guī)則是必須熟記于心的，不然很容易就被數(shù)據(jù)給坑了；

（4）最后就是不斷地看數(shù)據(jù)、分析數(shù)據(jù)，這是個(gè)必經(jīng)的過程，往往一個(gè)工作經(jīng)驗(yàn)豐富的非數(shù)據(jù)分析的運(yùn)營(yíng)人員要比剛進(jìn)來不久的數(shù)據(jù)分析師對(duì)數(shù)據(jù)的了解要深入得多，就是這個(gè)原因。

3 大數(shù)據(jù)

大數(shù)據(jù)就是通過統(tǒng)計(jì)分析計(jì)算機(jī)收集的數(shù)據(jù)，在人們可能不知道“為什么”的前提下，了解到事物的狀態(tài)、趨勢(shì)、結(jié)果等“是什么”。

對(duì)于大數(shù)據(jù)，一直來說，數(shù)據(jù)規(guī)模導(dǎo)致的存儲(chǔ)、運(yùn)算等技術(shù)問題從來不是最重要的瓶頸。瓶頸只在于前端數(shù)據(jù)的收集途徑，以及后端商業(yè)思想引領(lǐng)的模型和算法問題。早期的各類OLAP工具已經(jīng)足夠了，后來類似海杜普這樣的研究則徹底降低了分布式數(shù)據(jù)的架構(gòu)成本和門檻，就徹底將大數(shù)據(jù)帶入了一個(gè)普及的領(lǐng)域。

從技術(shù)層面說，大數(shù)據(jù)和以前的數(shù)據(jù)時(shí)代的最大差異在于，以前是數(shù)據(jù)找應(yīng)用/算法的過程（例如各大銀行的大集中項(xiàng)目，以及數(shù)據(jù)建倉(cāng)），而大數(shù)據(jù)時(shí)代的重要技術(shù)特征之一，是應(yīng)用/算法去找數(shù)據(jù)的過程，因?yàn)閿?shù)據(jù)規(guī)模變成了技術(shù)上最大的挑戰(zhàn)。

大數(shù)據(jù)的特點(diǎn)：

（1）大數(shù)據(jù)不等同于數(shù)據(jù)大，我們處理問題是根據(jù)這個(gè)問題的所有數(shù)據(jù)而非樣本數(shù)據(jù)，即樣本就是總體；不是精確性而是混雜性；不是因果關(guān)系而是相關(guān)關(guān)系。

（2）大數(shù)據(jù)應(yīng)用的幾個(gè)可能：當(dāng)文字變成數(shù)據(jù)，此時(shí)人可以用之閱讀，機(jī)器可以用之分析；當(dāng)方位變成數(shù)據(jù)，商業(yè)廣告，疫情傳染監(jiān)控，雅安地震時(shí)的谷歌尋人；當(dāng)溝通變成數(shù)據(jù)，就成了社交圖譜。一切都可以量化，將世界看作可以理解的數(shù)據(jù)的海洋，為我們提供了一個(gè)從來未有過的審視現(xiàn)實(shí)的視角。

（3）數(shù)據(jù)創(chuàng)新的價(jià)值：數(shù)據(jù)的再利用。例如重組數(shù)據(jù)：隨著大數(shù)據(jù)出現(xiàn)，數(shù)據(jù)的總和比部分更有價(jià)值，重組總和和本身價(jià)值也比單個(gè)總和更大；可擴(kuò)展數(shù)據(jù)：在設(shè)計(jì)數(shù)據(jù)收集時(shí)就設(shè)計(jì)好了它的可擴(kuò)展性，可以增加數(shù)據(jù)的潛在價(jià)值；數(shù)據(jù)的折舊值：數(shù)據(jù)會(huì)無用，需淘汰更新；數(shù)據(jù)廢氣：比如語(yǔ)音識(shí)別，當(dāng)用戶指出語(yǔ)音識(shí)別程序誤解了他的意思，實(shí)際上就有效的訓(xùn)練了這個(gè)系統(tǒng)。

總之，大數(shù)據(jù)是因?yàn)閷?duì)它的分析使用，才產(chǎn)生和體現(xiàn)它的價(jià)值，而不是因?yàn)槠溆玫搅送怀龅募夹g(shù)和算法才體現(xiàn)了它的價(jià)值。

4 大數(shù)據(jù)下的智能數(shù)據(jù)分析

在大數(shù)據(jù)的背景下，必須考慮數(shù)據(jù)之間的關(guān)聯(lián)性。一個(gè)單獨(dú)的數(shù)據(jù)是沒有意義的，實(shí)際中，選擇處在兩個(gè)極端的數(shù)據(jù)往往更容易找出它們之間的聯(lián)系，把它們放在一個(gè)框架中看才能發(fā)現(xiàn)問題。因此，可以用以下四種方法在大數(shù)據(jù)背景下進(jìn)行智能數(shù)據(jù)分析：

（1）從解決問題的角度出發(fā)收集數(shù)據(jù)；

（2）把收集的數(shù)據(jù)整理好，放入一個(gè)框架內(nèi)，并利用這個(gè)框架幫助決策者做出決定；

（3）評(píng)估決定與行動(dòng)的效果，這將告訴我們框架是否合理；

（4）如果有新的數(shù)據(jù)出現(xiàn)，我們將考察能否利用它對(duì)前面三步做出改進(jìn)，以及我們今天是否還需要收集更多種類的數(shù)據(jù)。

5 結(jié)語(yǔ)

數(shù)據(jù)分析的最終目的是幫助業(yè)務(wù)發(fā)現(xiàn)問題并解決問題，提升公司價(jià)值，而這些是從數(shù)據(jù)發(fā)覺的，而不是盲目下結(jié)論。每家公司都有自己業(yè)務(wù)生產(chǎn)的數(shù)據(jù)，通過數(shù)據(jù)分析、同比環(huán)比、漏斗分析及模型等，發(fā)現(xiàn)業(yè)務(wù)上存在的問題，幫助公司業(yè)務(wù)的優(yōu)化。

參考文獻(xiàn)

[1] 李貴兵，羅洪.大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)研究[J].科技資訊，2013（30）.

[2] 魏凱.大數(shù)據(jù)的技術(shù)挑戰(zhàn)及發(fā)展趨勢(shì)[J].信息通信技術(shù)，2013（6）.

[3] 于艷華，宋美娜.大數(shù)據(jù)[J].中興通訊技術(shù)，2013（1）.endprint