大數(shù)據(jù)掘金

　　大數(shù)據(jù)自身蘊(yùn)藏著巨大的商業(yè)價值，其開發(fā)、利用和分析等一整套運(yùn)作也將催生更多的行業(yè)機(jī)會，并帶動相關(guān)產(chǎn)業(yè)的發(fā)展。
　　
　　盡管一面頻繁降價促銷、一面廣告攻勢凌厲，但一家零售企業(yè)最近仍頂不住競爭對手頻頻擴(kuò)大市場份額，連連丟城失地。通過深入研究，企業(yè)發(fā)現(xiàn)原來對手通過微博等社交網(wǎng)絡(luò)以及智能手機(jī)的定位數(shù)據(jù)掌握消費(fèi)者的喜好，加之從門店收集的各類數(shù)據(jù)，進(jìn)行整合和分析，從而第一時間捕捉到了最全面的市場情緒。同時，他們將這些信息通過云計(jì)算平臺與供應(yīng)商和物流商的數(shù)據(jù)庫聯(lián)網(wǎng)，實(shí)時調(diào)整價格、自動補(bǔ)貨、跟蹤物流，輕松在各門店之間調(diào)配產(chǎn)品，實(shí)現(xiàn)了生產(chǎn)到終端消費(fèi)者的無縫連接，大幅提升了對市場的反應(yīng)速度。
　　一家地產(chǎn)企業(yè)通過各種渠道獲取盡可能多的信息，更為全面了解自身的運(yùn)營情況和外部的運(yùn)營環(huán)境，從而準(zhǔn)確地判斷出應(yīng)該何時融資、何時買地、何時批量上項(xiàng)目，從以往在各個經(jīng)濟(jì)不均衡之地圈地蓋樓的“空間掙錢”方式轉(zhuǎn)換至“時間掙錢”的方式，“快人一步”成為行業(yè)領(lǐng)先。
　　這些都是大數(shù)據(jù)應(yīng)用的尋常景象。如同上世紀(jì)80年代的個人電腦，眼下，大數(shù)據(jù)還處于早期發(fā)展階段，但它已成為新時代的關(guān)鍵生產(chǎn)要素和產(chǎn)品形態(tài)，具有廣闊的應(yīng)用前景及改變世界經(jīng)濟(jì)的力量。大數(shù)據(jù)的開發(fā)和應(yīng)用不僅能為企業(yè)帶來更出色的商業(yè)效益，同時也將催生更多的行業(yè)機(jī)會，孕育出色的解決方案提供商，并帶動相關(guān)產(chǎn)業(yè)的共同發(fā)展。正因?yàn)槿绱耍鶕?jù) IDC的測算，到2020 年，僅企業(yè)對大數(shù)據(jù)的支出一項(xiàng)就將超過2000 億美元。
　　
　　大數(shù)據(jù)的商業(yè)價值
　　IDC 在報(bào)告中提及，領(lǐng)軍企業(yè)與其他企業(yè)之間最大的顯著差別在于新數(shù)據(jù)類型的引入，這無疑是對大數(shù)據(jù)商業(yè)價值的充分肯定。傳統(tǒng)的商業(yè)智能系統(tǒng)中用以分析的數(shù)據(jù)，大都是企業(yè)自身信息系統(tǒng)所產(chǎn)生的標(biāo)準(zhǔn)化和結(jié)構(gòu)化的運(yùn)營數(shù)據(jù)，只占到企業(yè)所能獲取數(shù)據(jù)的不到15%。另外85%的非結(jié)構(gòu)性和半結(jié)構(gòu)性數(shù)據(jù)廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、移動計(jì)算、傳感器和電子商務(wù)等媒介之中。企業(yè)如果能將這些新的數(shù)據(jù)與業(yè)務(wù)融合，決策的依據(jù)會更全面準(zhǔn)確。電信咨詢公司Ovum的最新調(diào)查顯示，在北美、歐洲和亞太地區(qū)將近有半數(shù)以上的企業(yè)IT部門在不久的將來投資大數(shù)據(jù)分析。
　　早在2007年，沃爾瑪就建立了一個存儲能力高達(dá)4PB以上的超大數(shù)據(jù)中心，其數(shù)據(jù)量在2010年時已達(dá)到美國國會圖書館的167倍。通過對消費(fèi)者的購物行為等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析，沃爾瑪成為最了解顧客購物習(xí)慣的零售商。中國移動通過對社交媒體等各種來源的大數(shù)據(jù)分析，第一時間自動捕捉市場變化，再以最快捷的方式推送給指定負(fù)責(zé)人，使他在最短時間內(nèi)獲知市場行情。
　　電子商務(wù)企業(yè)作為大數(shù)據(jù)時代的“吃螃蟹者”，也已經(jīng)初品其甘甜。早在2006年，eBay就成立了大數(shù)據(jù)分析平臺，為了準(zhǔn)確分析用戶的購物行為，eBay定義了超過500種類型的數(shù)據(jù)，對顧客的行為進(jìn)行跟蹤分析。通過對關(guān)鍵字廣告的投入產(chǎn)出進(jìn)行衡量，公司精確計(jì)算出每一個關(guān)鍵字為eBay帶來的投資回報(bào)，優(yōu)化過后，自 2007 年以來，eBay 產(chǎn)品銷售的廣告費(fèi)降低了99%，頂級賣家占總銷售額的百分比卻上升至32%。
　　國金證券TMT分析師趙國棟認(rèn)為，企業(yè)應(yīng)用大數(shù)據(jù)分為三步：第一是要融合企業(yè)內(nèi)外的海量信息；第二要具備行業(yè)建模及分析的能力；第三要與企業(yè)的決策和業(yè)務(wù)流程深度整合。前兩步是技術(shù)推動，第三步將引起企業(yè)組織、流程甚至是文化方面的變革。
　　催生新一代IT領(lǐng)袖
　　正因?yàn)槠渲兴N(yùn)藏的巨大價值，大數(shù)據(jù)成為了眾多企業(yè)淘金的“圣地”。
　　IBM架構(gòu)師史蒂夫·沃特（Stephen Watt）曾在《Deriving New Business Insights with Big Data》一文中簡單闡述過大數(shù)據(jù)的生態(tài)系統(tǒng)。簡而言之，大數(shù)據(jù)的生態(tài)系統(tǒng)，就是數(shù)據(jù)的生存周期。數(shù)據(jù)從產(chǎn)生，到處理，再到價值提取，最后被消費(fèi)掉，這整個過程就構(gòu)成了大數(shù)據(jù)的生態(tài)系統(tǒng)（圖1）。每個步驟中都存在著不同的商業(yè)需求，已有不少成熟和初創(chuàng)公司深耕各自所在的領(lǐng)域，以期盡早占據(jù)優(yōu)勢地位。以投資Facebook而聞名的風(fēng)險(xiǎn)投資機(jī)構(gòu)AccelPartners認(rèn)為，大數(shù)據(jù)是信息技術(shù)未來發(fā)展的戰(zhàn)略走向，將催生下一代價值數(shù)萬億美元的軟件企業(yè)。
　　源自雅虎的大數(shù)據(jù)系統(tǒng)Hadoop，主要面向存儲和處理成百上千TB直至PB級別的結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化的大數(shù)據(jù)。Hadoop能將大數(shù)據(jù)分解成多個子問題，將它們分配到成百上千個處理節(jié)點(diǎn)之上，再將結(jié)果匯集到一個小數(shù)據(jù)集當(dāng)中，從而更容易分析得出最后的結(jié)果。
　　相比傳統(tǒng)的數(shù)據(jù)存儲系統(tǒng)，Hadoop成本更低。傳統(tǒng)數(shù)據(jù)存儲的費(fèi)用是每GB 5美元，而在同樣容量下，Hadoop的成本僅為0.25美元。此外，Hadoop具有更強(qiáng)的可擴(kuò)展性，幫助企業(yè)用較低的成本為此前購買的設(shè)備添加額外的存儲空間（圖2）。僅這一性能就可在未來五年內(nèi)使50%以上的數(shù)據(jù)都存儲在Hadoop環(huán)境中。
　　如今，Hadoop已經(jīng)成為AOL、
　　Facebook和Twitter這些公司大數(shù)據(jù)分析解決方案的主要提供商。類似Facebook這樣的互聯(lián)網(wǎng)企業(yè)，一天產(chǎn)生的數(shù)據(jù)要比許多大公司一年的數(shù)據(jù)還要多，它們通過Hadoop收集和存儲這些數(shù)據(jù)，再使用開源數(shù)據(jù)倉庫工具集中對其進(jìn)行分析。
　　此外，各種新型大數(shù)據(jù)公司都呈現(xiàn)喜人的增長態(tài)勢。Opera Solutions的客戶將數(shù)據(jù)上傳到Opera平臺，Opera根據(jù)每個客戶的個性化需求，雇傭各行業(yè)的專家來幫助他們進(jìn)行數(shù)據(jù)分析，公司年?duì)I業(yè)額已經(jīng)超過1億美元。另一大數(shù)據(jù)服務(wù)商Teradata，公司2011年第1季度的營收比2010年同期增長了18%。在其總裁兼首席執(zhí)行官看來，大數(shù)據(jù)需求市場的強(qiáng)勁表現(xiàn)，是營收增長的重要原因。
　　傳統(tǒng)IT巨頭也紛紛圍攻搶食大數(shù)據(jù)盛宴。IBM憑借在硬件與軟件方面的優(yōu)勢，提供端到端、整體的大數(shù)據(jù)解決方案。此外，在數(shù)據(jù)存儲、分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢的廠商，如惠普、甲骨文等公司，在大數(shù)據(jù)領(lǐng)域也有著明顯的優(yōu)勢。2011年10月，甲骨文發(fā)布了新版NoSQL數(shù)據(jù)庫企業(yè)版，這是運(yùn)行于Hadoop之上的大數(shù)據(jù)軟件之一。除了花大力氣開發(fā)自有技術(shù)，更多的企業(yè)希望通過合作與并購的方式來迅速彌補(bǔ)技術(shù)鏈條上的不足。微軟宣布與Hortonwork公司建立新的合作伙伴關(guān)系，后者致力于Hadoop開發(fā)。為了增強(qiáng)非傳統(tǒng)數(shù)據(jù)分析的能力，Teradata收購了Aster Data公司。照此情形來看，一些提供單一技術(shù)方案的IT公司，很可能難逃被收購的命運(yùn)。
　　對于國內(nèi)市場，國金證券分析師易歡歡表示，在電信、金融等重要行業(yè)，現(xiàn)在最大的投資建設(shè)就是數(shù)據(jù)中心的相應(yīng)擴(kuò)容，這幾年還停留在儲存部分信息階段，未形成對海量信息的檢索、分析、識別以及對未來業(yè)務(wù)的預(yù)測，提升的空間相當(dāng)大。對地理信息系統(tǒng)進(jìn)行相關(guān)研究的超圖軟件（300036）以及擁有非結(jié)構(gòu)化數(shù)據(jù)的相應(yīng)處理業(yè)務(wù)的拓而思（300229）以技術(shù)手段創(chuàng)新為依托，都已經(jīng)開始向自己擅長的大數(shù)據(jù)方向衍生。用友軟件（600588）則憑借IT系統(tǒng)重構(gòu)的機(jī)會有望在大數(shù)據(jù)浪潮中分得一杯羹。對于電商來說，大數(shù)據(jù)不僅能助其準(zhǔn)確決策，為企業(yè)自身業(yè)務(wù)提供支撐，如果拆分出來，也可以作為獨(dú)立收入來源。淘寶第一個成熟的商業(yè)數(shù)據(jù)產(chǎn)品“數(shù)據(jù)魔方”計(jì)劃將于2012年開放數(shù)據(jù)給第三方應(yīng)用，屆時有望成為淘寶另一項(xiàng)收入來源。
　　
　　攜手云計(jì)算
　　根據(jù)IDC的報(bào)告，未來十年全球大數(shù)據(jù)將增加50倍。僅在2011年，就有1.8萬億GB的大數(shù)據(jù)創(chuàng)建產(chǎn)生，相當(dāng)于每位美國人每分鐘寫3條Tweet，而且還是不停地寫2.6976萬年。海量的數(shù)據(jù)需要足夠空間來存儲，大數(shù)據(jù)為云計(jì)算大規(guī)模與分布式的計(jì)算能力提供了應(yīng)用的空間。
　　最近一年多來，谷歌、Facebook、Rackspace等公司紛紛投建新一代數(shù)據(jù)中心，大部分都采用更高效、節(jié)能、定制化的云服務(wù)器。根據(jù)IDC預(yù)測，80%的商業(yè)企業(yè)應(yīng)用程序?qū)⒈徊渴鹪谠破脚_中。Gartner則預(yù)計(jì)到2016年底，1000家全球大型企業(yè)中將有半數(shù)以上會把與客戶相關(guān)的敏感數(shù)據(jù)存儲在公共云中。這對于一些空置的云計(jì)算數(shù)據(jù)中心無疑是一大利好。IBM中國開發(fā)中心信息管理部大數(shù)據(jù)開發(fā)部門經(jīng)理王洪遠(yuǎn)更預(yù)測，大數(shù)據(jù)會引發(fā)數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、商業(yè)智能、云計(jì)算等應(yīng)用的連鎖反應(yīng)。IBM 中國開發(fā)中心首席技術(shù)官（CTO）毛新生表示，電信、銀行、保險(xiǎn)等行業(yè)都特別希望利用互聯(lián)網(wǎng)搜集海量信息，與原來交易系統(tǒng)中的數(shù)據(jù)結(jié)合起來，分析用戶行為，過去做這些比較麻煩，現(xiàn)在云計(jì)算可以將上百萬臺機(jī)器轉(zhuǎn)化成一臺超大型計(jì)算機(jī)，使企業(yè)獲得新的競爭力。
　　雖然炙手可熱，但大數(shù)據(jù)時代的到來，對企業(yè)來說也存在著一些風(fēng)險(xiǎn)，包括企業(yè)網(wǎng)絡(luò)和計(jì)算機(jī)系統(tǒng)是否跟得上海量數(shù)據(jù)的處理、數(shù)據(jù)能否及時更新、是否會丟失核心信息、如何處理格式繁雜的各種數(shù)據(jù)等。IDC預(yù)測，要充分發(fā)揮“大數(shù)據(jù)”額外的競爭優(yōu)勢，需要“大管道”和超高速的網(wǎng)絡(luò)連接，這將使得網(wǎng)絡(luò)的作用比以往更為關(guān)鍵。