大數(shù)據(jù)驅(qū)動的互聯(lián)網(wǎng)時(shí)代

吳江

2014年9月的最后一周，阿里巴巴在紐約證券交易所（NYSE：BABA）正式上市，這是歷史最大規(guī)模的首次公開募股（IPO），更標(biāo)志著互聯(lián)網(wǎng)進(jìn)入了一個(gè)新的時(shí)代 ，一個(gè)屬于中國本土互聯(lián)網(wǎng)企業(yè)的大數(shù)據(jù)時(shí)代。

大數(shù)據(jù)的前世今生

大數(shù)據(jù)或稱海量數(shù)據(jù)，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理，并整理成為人類所能解讀的信息。在總數(shù)據(jù)量相同的情況下，與個(gè)別分析獨(dú)立的小型數(shù)據(jù)集相比，將各個(gè)小型數(shù)據(jù)集合并后進(jìn)行分析，可得出許多額外的信息和數(shù)據(jù)關(guān)系性，可用來察覺商業(yè)趨勢，判定研究質(zhì)量，避免疾病擴(kuò)散，打擊犯罪或測定實(shí)時(shí)交通路況等。

大數(shù)據(jù)的定義看起來高高在上，事實(shí)上卻已經(jīng)和我們的日常生活息息相關(guān)。豆瓣音樂可以通過相似用戶群體的行為推斷出每個(gè)用戶最可能喜歡哪首歌，甚至喜歡看什么樣的電影。阿迪達(dá)斯可以通過其門店銷售數(shù)據(jù)的整合分析，更準(zhǔn)確地了解不同地域文化的消費(fèi)者對其產(chǎn)品款式的偏好，從而更智能地決定門店的庫存?zhèn)湄洸呗?。某婚戀網(wǎng)站更是正在試圖通過引入一款能夠識別相似臉的系統(tǒng)，從用戶過往的選擇數(shù)據(jù)中總結(jié)歸納用戶喜歡何種臉型，讓用戶看到的異性推薦個(gè)個(gè)喜歡。淘寶網(wǎng)能夠預(yù)測每個(gè)用戶可能感興趣的商品是什么，由此可以生成對于每一個(gè)用戶的個(gè)性化推薦，這也就是大家經(jīng)常能看到的淘寶網(wǎng)側(cè)邊欄的商品推薦。通過更精確的分類商品信息的大數(shù)據(jù)分析，淘寶網(wǎng)更是可以回答很多一般人難以回答的有趣問題，比如18歲的群體最喜歡什么顏色的T恤，或者南方人和北方人對于運(yùn)動飲料的偏好有什么不同？

簡單的用戶行為分析可能并不會產(chǎn)生太多的價(jià)值，而在一個(gè)極大規(guī)模上的用戶行為分析，往往可以從趨勢上得出非常有價(jià)值的預(yù)測，在商業(yè)決策上尤其如此。以我們都知道的農(nóng)夫山泉礦泉水做一個(gè)例子，農(nóng)夫山泉想要獲得這樣一些市場數(shù)據(jù)幫助決策：超市里怎樣擺放水堆更能促進(jìn)銷售？什么年齡的消費(fèi)者在水堆前停留更久？他們一次購買的量有多大？氣溫的變化讓購買行為發(fā)生了哪些改變？競爭對手的新包裝對銷售產(chǎn)生了怎樣的影響？這些問題看似簡單，卻很難做出有說服力的準(zhǔn)確回答。

要回答這些問題，需要收集大量的數(shù)據(jù)。來自農(nóng)夫山泉的業(yè)務(wù)員每天要來到當(dāng)?shù)爻信臄z10張照片：水怎么擺放、位置有什么變化、高度如何……一天要跑15個(gè)調(diào)研地點(diǎn)，每天上傳150張照片，產(chǎn)生的數(shù)據(jù)量約為10M，這似乎并不是個(gè)大數(shù)字。而農(nóng)夫山泉在全國有10000個(gè)業(yè)務(wù)員，這樣每天的數(shù)據(jù)量就是100G，每月為3TB。雖然大家都清晰地知道，問題實(shí)時(shí)的答案就在其中，但得出答案并不容易，這就需要大數(shù)據(jù)相關(guān)的技術(shù)做支持。

大數(shù)據(jù)的數(shù)學(xué)方法和技術(shù)革新

谷歌公司（Google）曾經(jīng)指出：“真正重要的不是我們可以做什么，而是我們能在什么樣的規(guī)模上做?！?/p>

如果你需要每天分析100行數(shù)據(jù)，只需要有紙和筆就可以了。如果你需要每天分析100000行數(shù)據(jù)，按照現(xiàn)代計(jì)算機(jī)的處理能力，你也僅僅需要一臺電腦，設(shè)計(jì)一個(gè)程序即可。但當(dāng)需要處理的數(shù)據(jù)級別到了1000000000這個(gè)級別（TB級別），一臺性能強(qiáng)大的服務(wù)器工作站恐怕已經(jīng)難以滿足你的需要了，特別是你需要實(shí)時(shí)或者接近實(shí)時(shí)的處理速度的時(shí)候。這樣的需求引領(lǐng)出了一個(gè)計(jì)算機(jī)與數(shù)值計(jì)算領(lǐng)域的熱點(diǎn)——分布式計(jì)算（Distributed Computing）。

分布式計(jì)算，即使用一個(gè)集群的計(jì)算機(jī)通過網(wǎng)絡(luò)連成系統(tǒng)，把需要進(jìn)行大量計(jì)算的工程數(shù)據(jù)分區(qū)成小塊，由多臺計(jì)算機(jī)分別計(jì)算，在上傳運(yùn)算結(jié)果后，將結(jié)果統(tǒng)一合并得出數(shù)據(jù)結(jié)論的科學(xué)。如何將問題進(jìn)行分割？如何均衡每個(gè)處理節(jié)點(diǎn)（即單個(gè)計(jì)算機(jī)）的工作負(fù)荷？如何高效可靠地把單個(gè)節(jié)點(diǎn)的結(jié)果整合成最終的結(jié)果？為了從計(jì)算機(jī)硬件和軟件上解決這些問題，多種多樣的計(jì)算模型和概念被設(shè)計(jì)出來。其中最有代表性的包括云計(jì)算、MapReduce（Hadoop）、虛擬化等等。而這股浪潮僅僅只能算剛剛開始，如同馬云所說：我們正在從信息科技時(shí)代走向數(shù)據(jù)科技時(shí)代。

海量數(shù)據(jù)與互聯(lián)網(wǎng)新職業(yè)

玩轉(zhuǎn)大數(shù)據(jù)，第一件重要的事情就是獲得海量的有價(jià)值的數(shù)據(jù)。而恰恰在這一點(diǎn)上，中國本土互聯(lián)網(wǎng)企業(yè)有著相當(dāng)?shù)膬?yōu)勢。中國人口眾多，經(jīng)濟(jì)活躍，有大量的互聯(lián)網(wǎng)用戶，用戶資源的豐富直接決定了用戶行為數(shù)據(jù)的豐富。淘寶網(wǎng)有著超過3億的注冊用戶，騰訊的注冊用戶數(shù)量早已超過10億，這些用戶數(shù)據(jù)本身無疑就是一座金礦。

阿里數(shù)據(jù)庫=40000個(gè)圖書館？

據(jù)報(bào)道，目前在阿里數(shù)據(jù)平臺事業(yè)部的服務(wù)器上，攢下了超過100PB已處理過的數(shù)據(jù)——也就是104857600GB。這相當(dāng)于40000個(gè)西雅圖中央圖書館，580億本藏書。

新一代的技術(shù)必然帶動了新一代的技術(shù)人員需求。在大數(shù)據(jù)時(shí)代，“數(shù)據(jù)科學(xué)家”和“數(shù)據(jù)工程師”在硅谷已經(jīng)成為最炙手可熱的工作職位之一。相比傳統(tǒng)的軟件工程師，數(shù)據(jù)科學(xué)家更像是站在數(shù)學(xué)（統(tǒng)計(jì)學(xué)）和計(jì)算機(jī)科學(xué)之間的群體，他們的日常工作既包括了軟件設(shè)計(jì)開發(fā)，又包括數(shù)據(jù)建模和統(tǒng)計(jì)分析，同時(shí)還要具備將數(shù)據(jù)處理范式轉(zhuǎn)化為可行的軟件解決方案的能力。本土互聯(lián)網(wǎng)企業(yè)也十分重視在數(shù)據(jù)科學(xué)上的人才儲備，在可預(yù)見的將來，數(shù)據(jù)科學(xué)的從業(yè)者必將大受追捧。

（責(zé)任編輯/冷林蔚）