云上的大數(shù)據(jù)

當(dāng)云計(jì)算遭遇大數(shù)據(jù)，并一股腦向企業(yè)涌進(jìn)的時候，企業(yè)能否駕馭呢？

作為2012年最熱的技術(shù)名詞，“云計(jì)算”與“大數(shù)據(jù)”似乎具有相似的隱喻性，而一旦與“計(jì)算”搭上邊，“云計(jì)算”涵蓋的內(nèi)容似乎就更多，邊界也更加模糊。有IT解決方案提供商將云計(jì)算與過去的“效用計(jì)算（Utility Computing）”聯(lián)系起來，稱云計(jì)算是其的升級版，即通過互聯(lián)網(wǎng)實(shí)現(xiàn)虛擬服務(wù)器效用，使用戶的所有活動、應(yīng)用、消費(fèi)等需求的滿足都可以在“云端”實(shí)現(xiàn)。一旦與用戶需求相關(guān)，云計(jì)算的輪廓似乎馬上就清晰起來，這時候會有人告訴用戶，“云”是一種在不增加對新IT基礎(chǔ)設(shè)施、員工培訓(xùn)、軟件授權(quán)等投資的前提下，拓展IT能力的方法。

厘清邊界

更多的人容易把云計(jì)算與上世紀(jì)八九十年代SUN和甲骨文等廠商力推的網(wǎng)格計(jì)算混為一談，但其中自有道理。云與網(wǎng)格都擁有龐大的、靈活的多層體系架構(gòu)以及多任務(wù)的并行處理能力，云的計(jì)算能力則是集中“輸送”的，用戶可以隨時隨地享受到云端的各種服務(wù)和應(yīng)用；而網(wǎng)格則是網(wǎng)狀式分配，即把大任務(wù)分割成不同的小任務(wù)，再將各個小任務(wù)交給底層不同的處理單元。

把應(yīng)用、信息、數(shù)據(jù)的管理和提供作為一種服務(wù)模式進(jìn)行兜售，這讓大大小小的IT廠商樂于向用戶“兜售”自己基于云的服務(wù)。從以SaaS為代表的軟件服務(wù)到PaaS的平臺服務(wù)，再到諸如存儲、數(shù)據(jù)中心之類的基礎(chǔ)架構(gòu)服務(wù)，不一而足。

從“網(wǎng)絡(luò)就是計(jì)算機(jī)”到“網(wǎng)格計(jì)算”，從“分布式計(jì)算”到“互聯(lián)網(wǎng)計(jì)算”，長期以來，與“云計(jì)算”相類似的理念被學(xué)術(shù)界和不同的企業(yè)各自表述——雖然各個理念的內(nèi)涵有些細(xì)微的差別，但大多基于充分利用網(wǎng)絡(luò)化計(jì)算與存儲資源、達(dá)成高效率低成本計(jì)算目標(biāo)的考慮，希望能更好地整合互聯(lián)網(wǎng)和不同設(shè)備上的信息和應(yīng)用，把所有的計(jì)算、存儲資源連結(jié)在一起，實(shí)現(xiàn)最大范圍的協(xié)作與資源分享。

“大數(shù)據(jù)”的公認(rèn)看法是歸納為4個V：海量的數(shù)據(jù)規(guī)模（volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系（velocity）、多樣的數(shù)據(jù)類型（variety）和巨大的數(shù)據(jù)價值（value）。在IDC發(fā)布的關(guān)于中國大數(shù)據(jù)技術(shù)和服務(wù)市場2012～2016年預(yù)測與分析報(bào)告中顯示，大數(shù)據(jù)技術(shù)與服務(wù)市場的規(guī)模將會從2011年的7760萬美元增長到2016年的6.17億美元，未來5年的復(fù)合增長率達(dá)51.4%，市場規(guī)模增長近7倍。

大數(shù)據(jù)首先要考慮的應(yīng)該是“大”——海量的數(shù)據(jù)規(guī)模。谷歌首席執(zhí)行官Eric Schmidt曾說，現(xiàn)在全球每兩茅屋價值天所創(chuàng)造的數(shù)據(jù)量等同于從人類文明至2003年間產(chǎn)生的數(shù)據(jù)量的總和。而具體到企業(yè)應(yīng)用領(lǐng)域，漫無邊際、浩如煙海的數(shù)據(jù)對企業(yè)并無意義，日立數(shù)據(jù)系統(tǒng)公司（HDS）副總裁兼CTO Hubert Yoshida表示，數(shù)據(jù)量的“大”是相對而言的概念，對于像SAP的HANA那樣的“內(nèi)存數(shù)據(jù)庫”來說，能把2TB的數(shù)據(jù)用好就是勝利；而對于像Google這樣的搜索引擎，EB（1024×1024 TB）的數(shù)據(jù)量才能稱得上是大數(shù)據(jù)。

然而，海量數(shù)據(jù)的危機(jī)并不單純是數(shù)據(jù)量的爆炸性增長，它還牽涉到數(shù)據(jù)類型的改變。原來的數(shù)據(jù)都可以用二維表結(jié)構(gòu)存儲在數(shù)據(jù)庫中，如常用的Excel軟件所處理的數(shù)據(jù)，稱之為結(jié)構(gòu)化數(shù)據(jù)。但是現(xiàn)在更多互聯(lián)網(wǎng)多媒體應(yīng)用的出現(xiàn)，使諸如圖片、聲音和視頻等非結(jié)構(gòu)化數(shù)據(jù)占到了很大比重。有統(tǒng)計(jì)顯示，全世界結(jié)構(gòu)化數(shù)據(jù)增長率大概是32%，而非結(jié)構(gòu)化數(shù)據(jù)增長則是63%。2012年，非結(jié)構(gòu)化數(shù)據(jù)占有比例已經(jīng)達(dá)到互聯(lián)網(wǎng)整個數(shù)據(jù)量的75%以上。產(chǎn)生智慧的大數(shù)據(jù)，往往是這些非結(jié)構(gòu)化數(shù)據(jù)。

“互聯(lián)網(wǎng)產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)占比越來越大，約為大數(shù)據(jù)總?cè)萘康?5%，傳統(tǒng)行業(yè)的數(shù)據(jù)大概只有15%?！睂τ诎俣冗@樣的互聯(lián)網(wǎng)公司，建立數(shù)據(jù)體系、研發(fā)消費(fèi)者畫像、品牌探針等基于大數(shù)據(jù)的多個應(yīng)用簡直是天經(jīng)地義。百度副總裁王湛將百度的大數(shù)據(jù)策略描述為“數(shù)據(jù)+工具+應(yīng)用”，包括百度指數(shù)、司南、統(tǒng)計(jì)、搜索風(fēng)云榜和研究中心在內(nèi)的5大平臺數(shù)據(jù)已經(jīng)形成了一個數(shù)據(jù)集合體，全程記錄消費(fèi)者從需求、搜索、購買，到使用和分享的整個心路歷程，對客戶進(jìn)行精準(zhǔn)營銷?！巴ㄟ^5億消費(fèi)者的千億級行為數(shù)據(jù)，百度構(gòu)建了搜索營銷、無線推廣、聯(lián)盟受眾引擎、社交化營銷、品牌洞察等多維度體系的百度商業(yè)產(chǎn)品藍(lán)圖?！?/p>

大數(shù)據(jù)帶來的挑戰(zhàn)還在于它的實(shí)時處理。在數(shù)據(jù)倉庫誕生的第一天，一直就有一個話題——要把大查詢分解成小任務(wù)，這些小任務(wù)由一臺臺的機(jī)器來完成?！拔覀兊囊笤谟冢蟽|條數(shù)據(jù)的分析能夠在5秒鐘內(nèi)完成。”中國民族證券信息技術(shù)部總經(jīng)理顏陽表示。因?yàn)檫^往關(guān)聯(lián)性數(shù)據(jù)庫產(chǎn)品處理大量數(shù)據(jù)時的運(yùn)算速度都不快，Hadoop等加速數(shù)據(jù)查詢的分布式開源數(shù)據(jù)庫從邊緣走向主流；另外，數(shù)據(jù)存儲的廠商也不再拘泥于用傳統(tǒng)硬盤來存儲數(shù)據(jù)，而嘗試使用快速閃存。

所以，所謂的“大數(shù)據(jù)”并不是單一技術(shù)，而是眾多技術(shù)的集合體，它們的共同目的，都是在一定時間內(nèi)處理完大量的結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)掘金

根據(jù)Gartner預(yù)測，結(jié)構(gòu)化數(shù)據(jù)庫（Column Store-DBMS）以及與此相關(guān)的數(shù)據(jù)分析技術(shù)仍將呈現(xiàn)高速發(fā)展的趨勢，遠(yuǎn)高于目前大熱的社交媒體監(jiān)控、Web分析等技術(shù)。

為什么古老的關(guān)系型數(shù)據(jù)庫依然吃香？其實(shí)不難理解，因?yàn)閷τ跀?shù)據(jù)采集、保存、使用、分享與分析等用途而言，數(shù)據(jù)庫都是最關(guān)鍵的基礎(chǔ)。面對大數(shù)據(jù)的讀寫效率以及準(zhǔn)實(shí)時（Near Real-Time）運(yùn)算能力的要求，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫無法承受，然而隨著Hadoop的大行其道，連帶使得諸如BigTable、HBase或Cassandra等非關(guān)系型數(shù)據(jù)庫（NoSQL）開始抬頭。

事實(shí)上，NoSQL另一層涵義是“Not Only SQL”——補(bǔ)充關(guān)系型數(shù)據(jù)庫的不足之處，而非取代之。因此，企業(yè)可以從自身數(shù)據(jù)庫的I/O需求、單一數(shù)據(jù)表的儲存需求等不同層面，審視處理大數(shù)據(jù)的過程中，會面臨哪些難題？而這些難題，哪些是SQL可以解決的、哪些又是SQL所不能解決的。如此說來，關(guān)系型數(shù)據(jù)庫的應(yīng)用空間尚十分寬廣，最起碼，它對于數(shù)據(jù)的讀取效率肯定比非關(guān)系型數(shù)據(jù)庫強(qiáng)大許多。

云計(jì)算對于大數(shù)據(jù)處理與分析的重要性勿庸置疑。從私有云角度看，想在企業(yè)內(nèi)部進(jìn)行大數(shù)據(jù)的分布式計(jì)算，都要基于計(jì)算、儲存以及網(wǎng)絡(luò)資源的靈活調(diào)度，值此時刻，如果不采用云計(jì)算方式，似乎只有部署超級計(jì)算機(jī)這一條道了。

再談到公有云。盡管各行各業(yè)都在談?wù)搹拇髷?shù)據(jù)分析中獲益，但實(shí)際情況下多數(shù)應(yīng)用領(lǐng)域，并不需要隨時進(jìn)行分析。這種情況下，企業(yè)可以采用彈性付費(fèi)的方式，向云計(jì)算服務(wù)提供商租賃大數(shù)據(jù)分析所需要的計(jì)算資源。微軟就在自己的Windows Azure公有云端平臺上提供Hadoop租用服務(wù)，甚至標(biāo)榜能將Windows與SQL Server方便管理的特性帶到Hadoop環(huán)境，成為典型的云端大數(shù)據(jù)服務(wù)。

在商業(yè)社會中，“從數(shù)據(jù)中得到價值”一直都不是什么新鮮的東西，但是當(dāng)大數(shù)據(jù)時代到來，經(jīng)濟(jì)的新增量逐漸顯露出來。盡管數(shù)據(jù)挖掘從“啤酒與尿布”開始做了幾十年，但是“大數(shù)據(jù)”與我們通常所說的“數(shù)據(jù)”還是有顯著的不同。

如果善于運(yùn)用海量數(shù)據(jù)進(jìn)行實(shí)時分析，那些看似不著邊際的數(shù)據(jù)，立即就能蛻變?yōu)楦邇r值的資產(chǎn)，造就巨大商機(jī)，難怪奧巴馬政府也趨之若鶩，決定未來在政府層面投入2億美元的大數(shù)據(jù)研究與開發(fā)經(jīng)費(fèi)。

花旗集團(tuán)今年聘請了一位名叫沃森的天才顧問，幫助其增強(qiáng)數(shù)字銀行業(yè)務(wù)。這位沃森還同時為包括WellPoint在內(nèi)的醫(yī)療服務(wù)公司提供咨詢，去年，他還在工作之余獲得了電視智力競賽節(jié)目《危險邊緣》的頭獎。據(jù)沃森的朋友講，他還有其他不愿透露的企業(yè)職務(wù)，年收入很快就會超過10億美元。這一天文數(shù)字的收入使他成為美國打工者中的超級精英……只不過，沃森是一臺機(jī)器。

對數(shù)據(jù)進(jìn)行挖掘分析正在顛覆每一種類型的企業(yè)。位于紐約長島的文藝復(fù)興科技公司（Renaissance Technologies）所管理的對沖基金，目前管理著150億美元的資產(chǎn)。這家公司或許是20年來業(yè)績最佳的對沖基金，而領(lǐng)導(dǎo)這家公司的是兩名來自IBM人工智能實(shí)驗(yàn)室的科學(xué)家，他們開發(fā)了許多數(shù)學(xué)模型用來進(jìn)行分析和交易，這些模型都是建立在海量數(shù)據(jù)基礎(chǔ)上的，具有可靠性并可進(jìn)行實(shí)際預(yù)測，而最后的結(jié)果往往與他們預(yù)想的一樣。

蒸汽機(jī)的發(fā)明實(shí)際上并沒有引起第一次工業(yè)革命的爆發(fā)，人類主要經(jīng)濟(jì)模式開始從傳統(tǒng)農(nóng)業(yè)向工業(yè)變遷的真正起始點(diǎn)來自于鐵路等交通網(wǎng)絡(luò)的大規(guī)模鋪設(shè)；同樣的，第二次工業(yè)革命的爆發(fā)也并未源于愛迪生發(fā)明神奇的電燈泡，而是源于穩(wěn)定的電網(wǎng)系統(tǒng)成為社會公用的基礎(chǔ)設(shè)施。

起源于上世紀(jì)90年代的第三次信息技術(shù)革命，提供了與鐵路和電網(wǎng)近似的基礎(chǔ)設(shè)施名叫Internet——互聯(lián)網(wǎng)，這為云計(jì)算在企業(yè)級領(lǐng)域的大規(guī)模部署提供了硬件條件，各種終端、傳感器的使用為大數(shù)據(jù)的積累提供了基礎(chǔ)。麻省理工斯隆商學(xué)院數(shù)字業(yè)務(wù)中心研究員Michael Schrage認(rèn)為，IBM、甲骨文、微軟等傳統(tǒng)系統(tǒng)提供商的一大共性就是擁有要求越來越高的巨型客戶，比如沃爾瑪、波音這樣的巨型客戶往往極力避免和專有解決方案供應(yīng)商產(chǎn)生聯(lián)系，而是希望自己的系統(tǒng)是標(biāo)準(zhǔn)、開放并且可擴(kuò)展性更強(qiáng)。

曾經(jīng)是媒體記者M(jìn)ichael認(rèn)為，如果在開放或者互操作性的環(huán)境中TCO更低，客戶一定會放棄專有，而追逐開放。“客戶可不管埃里森（甲骨文公司CEO）多有魅力，也不會管史蒂夫·鮑爾默（微軟公司CEO）多有魅力，而只看解決方案是否滿足了我的需求?！盡ichael開玩笑說，就像當(dāng)初沃爾瑪在實(shí)際操作上強(qiáng)迫供應(yīng)商之間進(jìn)入?yún)f(xié)作，巨型客戶會推動解決方案供應(yīng)商向云計(jì)算與大數(shù)據(jù)邁進(jìn)。