大數(shù)據(jù)時(shí)代正式到來(lái)

大數(shù)據(jù)是近兩年最熱門(mén)IT概念之一。

進(jìn)入2012年以來(lái)，這個(gè)領(lǐng)域的風(fēng)潮逐漸從專(zhuān)業(yè)IT人士和數(shù)據(jù)分析師，擴(kuò)散到所有關(guān)注科技、互聯(lián)網(wǎng)以及營(yíng)銷(xiāo)領(lǐng)域的人群中，甚至還包括政界人士。而2013年，也被許多國(guó)外媒體和專(zhuān)家稱(chēng)為“大數(shù)據(jù)元年”，如此看來(lái)，2012年應(yīng)該是大數(shù)據(jù)正式啟蒙之年，而一系列標(biāo)志性事件的發(fā)生和建立，讓人們?cè)桨l(fā)感覺(jué)到大數(shù)據(jù)時(shí)代的力量。

回到2012年2月，《華爾街日?qǐng)?bào)》發(fā)表文章《科技變革即將引領(lǐng)新的經(jīng)濟(jì)繁榮》，文中罕見(jiàn)地做出大膽預(yù)見(jiàn)：“我們?cè)俅翁幱谌龍?chǎng)宏大技術(shù)變革的開(kāi)端，它們可能足以匹敵20世紀(jì)的那場(chǎng)變革，這三場(chǎng)變革的震中都在美國(guó)，他們分別是大數(shù)據(jù)、智能制造和無(wú)線(xiàn)網(wǎng)絡(luò)革命?！?/p>

在中國(guó)硅谷之稱(chēng)的中關(guān)村，大數(shù)據(jù)產(chǎn)業(yè)已經(jīng)納入《中關(guān)村戰(zhàn)略性新興產(chǎn)業(yè)集群創(chuàng)新引領(lǐng)工程（2013-2015年）》，將開(kāi)展云運(yùn)營(yíng)和大數(shù)據(jù)示范應(yīng)用，建設(shè)云計(jì)算應(yīng)用支撐平臺(tái)、虛擬化平臺(tái)，支持開(kāi)展海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘和分析等技術(shù)的行業(yè)應(yīng)用，以及大規(guī)模云運(yùn)營(yíng)服務(wù)和大數(shù)據(jù)挖掘服務(wù)。甚至2012年12月13日被命名為首個(gè)“中關(guān)村大數(shù)據(jù)日”，中關(guān)村示范區(qū)接連成立大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟、發(fā)布三支產(chǎn)業(yè)投資基金，支持中國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展。

這并不稀奇。事實(shí)上美國(guó)奧巴馬政府已經(jīng)把“大數(shù)據(jù)”上升到了國(guó)家戰(zhàn)略的層面。今年3月，奧巴馬政府宣布投資2億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”，希望增強(qiáng)收集海量數(shù)據(jù)、分析萃取信息的能力。另?yè)?jù)一份報(bào)告顯示，英國(guó)政府通過(guò)高效使用公共大數(shù)據(jù)（Big Data）每年可節(jié)省330億英鎊。這個(gè)數(shù)字相當(dāng)于英國(guó)每人每年節(jié)省500英鎊。事實(shí)上在國(guó)家層面，大數(shù)據(jù)已經(jīng)成為繼邊防、海防、空防之后，第四個(gè)大國(guó)博弈的空間。

一個(gè)關(guān)于大數(shù)據(jù)價(jià)值的核心的邏輯是，這種背景下，在商業(yè)、經(jīng)濟(jì)、政府及其他領(lǐng)域中，決策行為將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺(jué)；而在公共衛(wèi)生、經(jīng)濟(jì)預(yù)測(cè)等領(lǐng)域中，“大數(shù)據(jù)”的預(yù)見(jiàn)能力也已經(jīng)嶄露頭角。

數(shù)據(jù)商業(yè)與技術(shù)爆發(fā)

關(guān)于大數(shù)據(jù)領(lǐng)域最經(jīng)典的案例再也不是老掉牙的“啤酒與尿布”，而是來(lái)自一位美國(guó)少女。

今年年初，美國(guó)一名男子闖入了他家附近的Target店鋪（美國(guó)一家零售連鎖超市）?！澳銈?cè)趺茨苓@樣！”男人向店鋪經(jīng)理大吼到，“你們竟然給我17歲的女兒發(fā)嬰兒尿片和童車(chē)的優(yōu)惠券，她才17歲?。　钡赇伣?jīng)理不知道發(fā)生了什么，立刻向來(lái)者道歉，表明那肯定是個(gè)誤會(huì)。然而，經(jīng)理沒(méi)有意識(shí)到，公司正在運(yùn)行一套大數(shù)據(jù)系統(tǒng)。但高潮是，一個(gè)月后，這個(gè)憤怒的父親打來(lái)電話(huà)道歉，因?yàn)門(mén)arget發(fā)來(lái)的嬰兒用品促銷(xiāo)廣告并不是誤發(fā)，他的女兒的確懷孕了。

在這個(gè)案例中我們看到，數(shù)據(jù)的力量，不僅讓商家提升了自己的業(yè)績(jī)，還讓客戶(hù)為之心甘情愿買(mǎi)單。據(jù)報(bào)道，Target創(chuàng)建了一套女性購(gòu)買(mǎi)行為在懷孕期間產(chǎn)生變化的模型，不僅如此，如果用戶(hù)從他們的店鋪中購(gòu)買(mǎi)了嬰兒用品，Target在接下來(lái)的幾年中會(huì)根據(jù)嬰兒的生長(zhǎng)周期情況定期給這些顧客推送相關(guān)產(chǎn)品，使這些客戶(hù)形成長(zhǎng)期的忠誠(chéng)度。

事實(shí)上在商業(yè)零售領(lǐng)域，諸如沃爾瑪、Tesco等巨頭已從數(shù)據(jù)中獲得了巨大的利益，也因此鞏固了自己在業(yè)界的長(zhǎng)盛不衰。

在互聯(lián)網(wǎng)行業(yè)中，大數(shù)據(jù)更是為電商、廣告商們提供了豐厚的回報(bào)。雅虎于 2008 年初便開(kāi)始啟用大數(shù)據(jù)技術(shù)，每天分析超過(guò) 200PB 的數(shù)據(jù)，使得雅虎的服務(wù)變得更人性化，更貼近用戶(hù)和客戶(hù)。它與雅虎 IT 系統(tǒng)的方方面面進(jìn)行協(xié)作，包括搜索、廣告、用戶(hù)體驗(yàn)和欺詐發(fā)現(xiàn)等。AOL 也設(shè)立了 300 節(jié)點(diǎn)的服務(wù)器集群，將在其下屬系列網(wǎng)站（如 AOL.com、Huffington Post、MapQuest 等）中每天 500TB 的用戶(hù)瀏覽信息收集起來(lái)，分析和預(yù)測(cè)這些用戶(hù)的行為，以便有針對(duì)性的為每個(gè)月 1.8 億獨(dú)立用戶(hù)進(jìn)行個(gè)性化廣告服務(wù)。

當(dāng)然，視數(shù)據(jù)為生命的不僅限于這些每天產(chǎn)生海量數(shù)據(jù)的零售和互聯(lián)網(wǎng)行業(yè)，在生物醫(yī)藥、運(yùn)動(dòng)產(chǎn)品、能源甚至政務(wù)領(lǐng)域，數(shù)據(jù)越來(lái)越成為最不可或缺的價(jià)值。而支持其被后爆發(fā)的，則是大數(shù)據(jù)技術(shù)的迅猛發(fā)展。

一方面，數(shù)據(jù)量的爆發(fā)增長(zhǎng)和數(shù)據(jù)結(jié)構(gòu)的多樣性，使得傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)技術(shù)已無(wú)法滿(mǎn)足這些需求，但上世紀(jì)末出現(xiàn)的NoSQL技術(shù)一開(kāi)始并未得到廣泛應(yīng)用，直到2009年，在搜索引擎、社交網(wǎng)絡(luò)等互聯(lián)網(wǎng)應(yīng)用盛行使得數(shù)據(jù)量迅猛增加后，才開(kāi)始為人們所重視并投入使用。發(fā)展到今天，NoSQL技術(shù)已經(jīng)形成了一系列不同用途的數(shù)據(jù)庫(kù)管理系統(tǒng)，

2004年初，Google開(kāi)始研發(fā)BigTable非關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)，它是建立在Google文件系統(tǒng)之上的一種壓縮的、高擴(kuò)展的數(shù)據(jù)庫(kù)技術(shù)，可以讓Google對(duì)于自身新增業(yè)務(wù)處理進(jìn)行低成本的擴(kuò)展。而B(niǎo)igTable這一模型，啟發(fā)了眾多“后來(lái)者”的數(shù)據(jù)技術(shù)。目前最為火熱的Hadoop便是其中一員。這個(gè)由雅虎的前員工Doug Cutting（現(xiàn)任職于Cloudera公司）最初負(fù)責(zé)開(kāi)發(fā)的項(xiàng)目，已成為大數(shù)據(jù)行業(yè)的技術(shù)中心。

在Hadoop生態(tài)中，2008年成立的Cloudera是最早將其商用的公司，它為合作伙伴提供Hadoop的商用解決方案，其中包括IBM、甲骨文（Oracle）、微軟、EMC、Teradata等行業(yè)領(lǐng)先的數(shù)據(jù)解決方案提供商，使得NoSQL技術(shù)成為現(xiàn)存SQL數(shù)據(jù)解決方案的強(qiáng)有力補(bǔ)充；同時(shí)IBM、SAP、EMC等巨頭也紛紛推出相應(yīng)產(chǎn)品，來(lái)適應(yīng)其客戶(hù)數(shù)據(jù)業(yè)務(wù)的爆發(fā)增長(zhǎng)。時(shí)至今日，Hadoop技術(shù)以及被廣泛應(yīng)用了各大互聯(lián)網(wǎng)公司，這個(gè)名單包括Facebook、亞馬遜、蘋(píng)果、AOL、Ebay、Twitter、Netflix、淘寶、百度等等。

數(shù)據(jù)資產(chǎn)與“金融風(fēng)暴”

在今年年初的瑞士達(dá)沃斯論壇上，一份題為《大數(shù)據(jù)，大影響》（BigData，BigImpact）的報(bào)告宣稱(chēng)，數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類(lèi)別，就像貨幣或黃金一樣。在這個(gè)邏輯下，在大數(shù)據(jù)時(shí)代，傳統(tǒng)的商業(yè)思想正在被顛覆。

在過(guò)去，衡量企業(yè)最重要的資產(chǎn)無(wú)外乎土地、流動(dòng)資金和人才等幾個(gè)要素，如今，數(shù)據(jù)作為企業(yè)一項(xiàng)更加重要的資產(chǎn)將直接關(guān)系到企業(yè)的發(fā)展?jié)摿Α＿@意味著，在完成對(duì)企業(yè)智商和核心資產(chǎn)的重塑之后，數(shù)據(jù)資產(chǎn)正在當(dāng)仁不讓地成為現(xiàn)代商業(yè)社會(huì)的核心競(jìng)爭(zhēng)力。

但大數(shù)據(jù)時(shí)代數(shù)據(jù)本身的資產(chǎn)價(jià)值也許還不止于此。

國(guó)內(nèi)資深I(lǐng)T人士、大數(shù)據(jù)研究專(zhuān)家謝文撰文稱(chēng)，大數(shù)據(jù)將逐漸成為現(xiàn)代社會(huì)的基礎(chǔ)設(shè)施的一部分，和公路，鐵路，港口，水電，通訊網(wǎng)絡(luò)一樣不可或缺。謝文表示，就其價(jià)值特性而言，大數(shù)據(jù)卻和這些物理化的基礎(chǔ)設(shè)施不同，不會(huì)因?yàn)槿藗兊氖褂枚叟f和貶值。例如，一組DNA可能會(huì)死亡或毀滅，但數(shù)據(jù)化的DNA卻永存。所以，舍恩伯格贊同許多物理學(xué)家的看法，世界的本質(zhì)就是數(shù)據(jù)。謝文認(rèn)為，大數(shù)據(jù)時(shí)代的經(jīng)濟(jì)學(xué)、政治學(xué)、社會(huì)學(xué)和許多科學(xué)門(mén)類(lèi)會(huì)發(fā)生巨大的甚至是本質(zhì)上的變化和發(fā)展，進(jìn)而影響人類(lèi)的價(jià)值體系，知識(shí)體系和生活方式。

2011 年 11 月，曾投資Facebook、DropBox、Cloudera、沃爾瑪?shù)?00多家公司的硅谷著名風(fēng)投機(jī)構(gòu)阿克塞爾合伙人公司（Accel Partners），宣布成立一個(gè)金額 1 億美金的大數(shù)據(jù)基金，專(zhuān)注于投資兩種類(lèi)型的數(shù)據(jù)創(chuàng)業(yè)公司：建設(shè)包括存儲(chǔ)、安全和管理在內(nèi)的新型架基礎(chǔ)構(gòu)類(lèi)公司，以及在基礎(chǔ)架構(gòu)之上進(jìn)行如 BI、行業(yè)應(yīng)用、移動(dòng)應(yīng)用等開(kāi)發(fā)的公司。

事實(shí)上從2008年起，美國(guó)IT領(lǐng)域有關(guān)數(shù)據(jù)服務(wù)相關(guān)的投資、收購(gòu)案例開(kāi)始迅速爆發(fā)，總價(jià)值超過(guò)千億美元，包括SAP、IBM、EMC、甲骨文等IT巨頭都在這個(gè)領(lǐng)域下了重注。而在2012年資本寒冬期，大數(shù)據(jù)成為唯一一個(gè)綠意盎然的領(lǐng)域。今年 4 月，成立于 2003 年的數(shù)據(jù)軟件公司Splunk在納斯達(dá)克以16億美元的市值上市，更是給大數(shù)據(jù)行業(yè)打了一管興奮劑。

人才市場(chǎng)的動(dòng)向也頗具說(shuō)服力。根據(jù)麥肯錫旗下研究部門(mén)麥肯錫全球?qū)W會(huì)（McKinsey Global Institute）2011年發(fā)布的一份報(bào)告顯示，預(yù)計(jì)美國(guó)需要14萬(wàn)-19萬(wàn)名擁有“深度分析”專(zhuān)長(zhǎng)的工作者，以及150萬(wàn)名更加精通數(shù)據(jù)的經(jīng)理人，無(wú)論是已退休人士還是已受聘人士。而Gartner近期一份報(bào)告則預(yù)測(cè)，由于大數(shù)據(jù)熱潮的出現(xiàn)，全球大約會(huì)新增440萬(wàn)個(gè)IT職位，這個(gè)數(shù)字十分驚人，但“不是所有需求都會(huì)滿(mǎn)足，數(shù)據(jù)分析人才缺口仍然很大?！?/p>

數(shù)據(jù)價(jià)值與預(yù)測(cè)未來(lái)

全球范圍來(lái)看，大數(shù)據(jù)體現(xiàn)的巨大經(jīng)濟(jì)價(jià)值，成功地獲得了金融界和政界的親睞。

據(jù)麥肯錫報(bào)道，大數(shù)據(jù)為美國(guó)的醫(yī)療服務(wù)業(yè)每年節(jié)省3000億美元，為歐洲的公共部門(mén)管理每年節(jié)省2500億歐元，為全球個(gè)人位置數(shù)據(jù)服務(wù)提供商貢獻(xiàn)1000億美元，幫助美國(guó)零售業(yè)凈利潤(rùn)增長(zhǎng)60％，幫助制造業(yè)在產(chǎn)品開(kāi)發(fā)、組裝等環(huán)節(jié)節(jié)省50%的成本。

此外，全新的、更具競(jìng)爭(zhēng)力的商業(yè)智能服務(wù)，這也是大數(shù)據(jù)最為吸引人的地方之一。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的性能已無(wú)法應(yīng)付龐大的信息，但是大數(shù)據(jù)（Big Data）技術(shù)使我們能夠訪(fǎng)問(wèn)和使用這些寶貴的、大規(guī)模數(shù)據(jù)集以應(yīng)對(duì)越來(lái)越復(fù)雜的數(shù)據(jù)分析和更好的商業(yè)決策制定——大數(shù)據(jù)將改變商業(yè)智能 （BI）的布局，并能為企業(yè)提供一種有價(jià)值的數(shù)據(jù)源，這在當(dāng)下已經(jīng)成為了一種趨勢(shì)。

在此之上，則是關(guān)于“預(yù)測(cè)未來(lái)”的想象空間，但這并非神話(huà)——全球復(fù)雜網(wǎng)絡(luò)權(quán)威巴拉巴西則認(rèn)為，人類(lèi)行為93%是可以預(yù)測(cè)的。

一個(gè)經(jīng)典的“預(yù)測(cè)未來(lái)”案例來(lái)自在數(shù)據(jù)領(lǐng)域久負(fù)名氣的ParAccel。它最成功的案例之一是向美國(guó)執(zhí)法機(jī)構(gòu)提供數(shù)據(jù)分析能力——ParAccel通過(guò)了一些渠道獲得不少犯罪數(shù)據(jù)，并對(duì)15000個(gè)有犯罪前科的人進(jìn)行跟蹤，從而向執(zhí)法機(jī)構(gòu)提供了參考性較高的犯罪預(yù)測(cè)。所以ParAccel也被成為“犯罪的預(yù)言者”。

5月18日Facebook上市時(shí)，社交媒體監(jiān)測(cè)平臺(tái)DataSift宣布：Twitter上每一次情感傾向的轉(zhuǎn)向都會(huì)影響Facebook股價(jià)的波動(dòng)，延遲情況只有幾分鐘到20多分鐘——它成功預(yù)測(cè)Facebook上市當(dāng)天股價(jià)的走勢(shì)。

另一個(gè)“恐怖”的斷言是：“大數(shù)據(jù)”所能帶來(lái)的巨大商業(yè)價(jià)值，將引領(lǐng)一場(chǎng)足以匹敵20世紀(jì)計(jì)算機(jī)革命的巨大變革——這個(gè)結(jié)論并沒(méi)得到所有人的認(rèn)可，但似乎沒(méi)人否認(rèn)，2012年，大數(shù)據(jù)時(shí)代已經(jīng)“降臨”。