大數(shù)據(jù)思維的核心原理

陳曲

大數(shù)據(jù)思維是客觀存在，大數(shù)據(jù)思維是新的思維觀。用大數(shù)據(jù)思維方式思考問(wèn)題、解決問(wèn)題是當(dāng)下企業(yè)潮流。大數(shù)據(jù)思維開(kāi)啟了一次重大的時(shí)代轉(zhuǎn)型。大數(shù)據(jù)思維原理是什么？

數(shù)據(jù)核心原理

從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心

大數(shù)據(jù)時(shí)代，計(jì)算模式也發(fā)生了轉(zhuǎn)變，從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心。Hadoop體系的分布式計(jì)算框架已經(jīng)是以“數(shù)據(jù)”為核心的范式。非結(jié)構(gòu)化數(shù)據(jù)及分析需求，將改變IT系統(tǒng)的升級(jí)方式：從簡(jiǎn)單增量到架構(gòu)變化。大數(shù)據(jù)下的新思維——計(jì)算模式的轉(zhuǎn)變。

例如，IBM將使用以數(shù)據(jù)為中心的設(shè)計(jì)，目的是降低在超級(jí)計(jì)算機(jī)之間進(jìn)行大量數(shù)據(jù)交換的必要性。大數(shù)據(jù)下，云計(jì)算找到了破繭重生的機(jī)會(huì)，在存儲(chǔ)和計(jì)算上都體現(xiàn)了以數(shù)據(jù)為核心的理念。大數(shù)據(jù)和云計(jì)算的關(guān)系：云計(jì)算為大數(shù)據(jù)提供了有力的工具和途徑，大數(shù)據(jù)為云計(jì)算提供了很有價(jià)值的用武之地。而大數(shù)據(jù)比云計(jì)算更為落地，可有效利用已大量建設(shè)的云計(jì)算資源，最后加以利用。

科學(xué)進(jìn)步越來(lái)越多地由數(shù)據(jù)來(lái)推動(dòng)，海量數(shù)據(jù)給數(shù)據(jù)分析既帶來(lái)了機(jī)遇，也構(gòu)成了新的挑戰(zhàn)。大數(shù)據(jù)往往是利用眾多技術(shù)和方法，綜合源自多個(gè)渠道、不同時(shí)間的信息而獲得的。為了應(yīng)對(duì)大數(shù)據(jù)帶來(lái)的挑戰(zhàn)，我們需要新的統(tǒng)計(jì)思路和計(jì)算方法。

說(shuō)明：用數(shù)據(jù)核心思維方式思考問(wèn)題，解決問(wèn)題。以數(shù)據(jù)為核心，反映了當(dāng)下IT產(chǎn)業(yè)的變革，數(shù)據(jù)成為人工智能的基礎(chǔ)，也成為智能化的基礎(chǔ)，數(shù)據(jù)比流程更重要，數(shù)據(jù)庫(kù)、記錄數(shù)據(jù)庫(kù)，都可開(kāi)發(fā)出深層次信息。云計(jì)算機(jī)可以從數(shù)據(jù)庫(kù)、記錄數(shù)據(jù)庫(kù)中搜索出你是誰(shuí)，你需要什么，從而推薦給你需要的信息。

數(shù)據(jù)價(jià)值原理

由功能是價(jià)值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價(jià)值

大數(shù)據(jù)真正有意思的是數(shù)據(jù)變得在線了，這個(gè)恰恰是互聯(lián)網(wǎng)的特點(diǎn)。非互聯(lián)網(wǎng)時(shí)期的產(chǎn)品，功能一定是它的價(jià)值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價(jià)值。

例如，大數(shù)據(jù)的真正價(jià)值在于創(chuàng)造，在于填補(bǔ)無(wú)數(shù)個(gè)還未實(shí)現(xiàn)過(guò)的空白。有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦，煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類(lèi)，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類(lèi)似，大數(shù)據(jù)并不在“大”，而在于“有用”，價(jià)值含量、挖掘成本比數(shù)量更為重要。不管大數(shù)據(jù)的核心價(jià)值是不是預(yù)測(cè)，但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來(lái)了盈利和聲譽(yù)。

數(shù)據(jù)能告訴我們，每一個(gè)客戶的消費(fèi)傾向，他們想要什么，喜歡什么，每個(gè)人的需求有哪些區(qū)別，哪些又可以被集合到一起來(lái)進(jìn)行分類(lèi)。大數(shù)據(jù)是數(shù)據(jù)數(shù)量上的增加，以至于我們能夠?qū)崿F(xiàn)從量變到質(zhì)變的過(guò)程。舉例來(lái)說(shuō)，這里有一張照片，照片里的人在騎馬，這張照片每一分鐘，每一秒都要拍一張，但隨著處理速度越來(lái)越快，從1分鐘一張到1秒鐘1張，突然到1秒鐘10張后，就產(chǎn)生了電影。當(dāng)數(shù)量的增長(zhǎng)實(shí)現(xiàn)質(zhì)變時(shí)，就從照片變成了一部電影。

美國(guó)有一家創(chuàng)新企業(yè)Decide.com它可以幫助人們做購(gòu)買(mǎi)決策，告訴消費(fèi)者什么時(shí)候買(mǎi)什么產(chǎn)品，什么時(shí)候買(mǎi)最便宜，預(yù)測(cè)產(chǎn)品的價(jià)格趨勢(shì)，這家公司背后的驅(qū)動(dòng)力就是大數(shù)據(jù)。他們?cè)谌蚋鞔缶W(wǎng)站上搜集數(shù)以十億計(jì)的數(shù)據(jù)，然后幫助數(shù)以十萬(wàn)計(jì)的用戶省錢(qián)，為他們的采購(gòu)找到最好的時(shí)間，降低交易成本，為終端的消費(fèi)者帶去更多價(jià)值。

在這類(lèi)模式下，盡管一些零售商的利潤(rùn)會(huì)進(jìn)一步受擠壓，但從商業(yè)本質(zhì)上來(lái)講，可以把錢(qián)更多地放回到消費(fèi)者的口袋里，讓購(gòu)物變得更理性，這是依靠大數(shù)據(jù)催生出的一項(xiàng)全新產(chǎn)業(yè)。這家為數(shù)以十萬(wàn)計(jì)的客戶省錢(qián)的公司，在幾個(gè)星期前，被eBay以高價(jià)收購(gòu)。

再舉一個(gè)例子，SWIFT是全球最大的支付平臺(tái)，在該平臺(tái)上的每一筆交易都可以進(jìn)行大數(shù)據(jù)的分析，他們可以預(yù)測(cè)一個(gè)經(jīng)濟(jì)體的健康性和增長(zhǎng)性。比如，該公司現(xiàn)在為全球性客戶提供經(jīng)濟(jì)指數(shù)，這又是一個(gè)大數(shù)據(jù)服務(wù)。定制化服務(wù)的關(guān)鍵是數(shù)據(jù)?！洞髷?shù)據(jù)時(shí)代》的作者維克托·邁爾·舍恩伯格認(rèn)為，大量的數(shù)據(jù)能夠讓傳統(tǒng)行業(yè)更好地了解客戶需求，提供個(gè)性化的服務(wù)。

說(shuō)明：用數(shù)據(jù)價(jià)值思維方式思考問(wèn)題，解決問(wèn)題。信息總量的變化導(dǎo)致了信息形態(tài)的變化，量變引發(fā)了質(zhì)變，最先經(jīng)歷信息爆炸的學(xué)科，如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今，這個(gè)概念幾乎應(yīng)用到了所有人類(lèi)致力于發(fā)展的領(lǐng)域中。從功能為價(jià)值轉(zhuǎn)變?yōu)閿?shù)據(jù)為價(jià)值，說(shuō)明數(shù)據(jù)和大數(shù)據(jù)的價(jià)值在擴(kuò)大，數(shù)據(jù)為“王”的時(shí)代出現(xiàn)了。數(shù)據(jù)被解釋是信息，信息常識(shí)化是知識(shí)，所以說(shuō)數(shù)據(jù)解釋、數(shù)據(jù)分析能產(chǎn)生價(jià)值。

全樣本原理

從抽樣轉(zhuǎn)變?yōu)樾枰繑?shù)據(jù)樣本

需要全部數(shù)據(jù)樣本而不是抽樣，你不知道的事情比你知道的事情更重要，但如果現(xiàn)在數(shù)據(jù)足夠多，它會(huì)讓人能夠看得見(jiàn)、摸得著規(guī)律。數(shù)據(jù)這么大、這么多，所以人們覺(jué)得有足夠的能力把握未來(lái)，對(duì)不確定狀態(tài)的一種判斷，從而做出自己的決定。這些東西我們聽(tīng)起來(lái)都是非常原始的，但是實(shí)際上背后的思維方式，和我們今天所講的大數(shù)據(jù)是非常像的。

舉例：在大數(shù)據(jù)時(shí)代，無(wú)論是商家還是信息的搜集者，會(huì)比我們自己更知道你可能會(huì)想干什么?，F(xiàn)在的數(shù)據(jù)還沒(méi)有被真正挖掘，如果真正挖掘的話，通過(guò)信用卡消費(fèi)的記錄，可以成功預(yù)測(cè)未來(lái)5年內(nèi)的情況。統(tǒng)計(jì)學(xué)里頭最基本的一個(gè)概念就是，全部樣本才能找出規(guī)律。為什么能夠找出行為規(guī)律？一個(gè)更深層的概念是人和人是一樣的，如果是一個(gè)人特例出來(lái)，可能很有個(gè)性，但當(dāng)人口樣本數(shù)量足夠大時(shí)，就會(huì)發(fā)現(xiàn)其實(shí)每個(gè)人都是一模一樣的。

說(shuō)明：用全數(shù)據(jù)樣本思維方式思考問(wèn)題，解決問(wèn)題。從抽樣中得到的結(jié)論總是有水分的，而全部樣本中得到的結(jié)論水分就很少，大數(shù)據(jù)越大，真實(shí)性也就越大，因?yàn)榇髷?shù)據(jù)包含了全部的信息。

關(guān)注效率原理

由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率

關(guān)注效率而不是精確度，大數(shù)據(jù)標(biāo)志著人類(lèi)在尋求量化和認(rèn)識(shí)世界的道路上前進(jìn)了一大步，過(guò)去不可計(jì)量、存儲(chǔ)、分析和共享的很多東西都被數(shù)據(jù)化了，擁有大量的數(shù)據(jù)和更多不那么精確的數(shù)據(jù)為我們理解世界打開(kāi)了一扇新的大門(mén)。大數(shù)據(jù)能提高生產(chǎn)效率和銷(xiāo)售效率，原因是大數(shù)據(jù)能夠讓我們知道市場(chǎng)的需要，人的消費(fèi)需要。大數(shù)據(jù)讓企業(yè)的決策更科學(xué)，由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率的提高，大數(shù)據(jù)分析能提高企業(yè)的效率。

例如，在互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代，企業(yè)產(chǎn)品迭代的速度正在加快。三星公司、小米手機(jī)制造商半年就推出一代新智能手機(jī)。利用互聯(lián)網(wǎng)、大數(shù)據(jù)提高企業(yè)效率的趨勢(shì)下，快速就是效率、預(yù)測(cè)就是效率、預(yù)見(jiàn)就是效率、變革就是效率、創(chuàng)新就是效率、應(yīng)用就是效率。

競(jìng)爭(zhēng)是企業(yè)的動(dòng)力，而效率是企業(yè)的生命，效率低與效率高是衡量企來(lái)成敗的關(guān)鍵。一般來(lái)講，投入與產(chǎn)出比是效率，追求高效率也就是追求高價(jià)值。手工、機(jī)器、自動(dòng)機(jī)器、智能機(jī)器之間效率是不同的，智能機(jī)器效率更高，已能代替人的思維勞動(dòng)。智能機(jī)器核心是大數(shù)據(jù)制動(dòng)，而大數(shù)據(jù)制動(dòng)的速度更快。在快速變化的市場(chǎng)，快速預(yù)測(cè)、快速?zèng)Q策、快速創(chuàng)新、快速定制、快速生產(chǎn)、快速上市成為企業(yè)行動(dòng)的準(zhǔn)則，也就是說(shuō)，速度就是價(jià)值，效率就是價(jià)值，而這一切離不開(kāi)大數(shù)據(jù)思維。

說(shuō)明：用關(guān)注效率思維方式思考問(wèn)題，解決問(wèn)題。大數(shù)據(jù)思維有點(diǎn)像混沌思維，確定與不確定交織在一起，過(guò)去那種一元思維結(jié)果，已被二元思維結(jié)果取代。過(guò)去尋求精確度，現(xiàn)在尋求高效率；過(guò)去尋求因果性，現(xiàn)在尋求相關(guān)性；過(guò)去尋找確定性，現(xiàn)在尋找概率性，對(duì)不精確的數(shù)據(jù)結(jié)果已能容忍。只要大數(shù)據(jù)分析指出可能性，就會(huì)有相應(yīng)的結(jié)果，從而為企業(yè)快速?zèng)Q策、快速動(dòng)作、創(chuàng)占先機(jī)提高了效率。