淺談大數(shù)據(jù)時(shí)代的IT建設(shè)

說(shuō)起2013年媒體最關(guān)注的科技前沿話題，一定非“大數(shù)據(jù)”莫屬。國(guó)慶節(jié)前夕，中央政治局集體走進(jìn)中關(guān)村調(diào)研學(xué)習(xí)，百度創(chuàng)始人兼CEO李彥宏給大家講解的主題便是大數(shù)據(jù)。李彥宏談到，現(xiàn)在已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，大數(shù)據(jù)既能促進(jìn)信息消費(fèi)，又能帶動(dòng)社會(huì)管理創(chuàng)新。當(dāng)然，大多數(shù)企業(yè)早已認(rèn)識(shí)到大數(shù)據(jù)對(duì)產(chǎn)業(yè)的影響，只是面臨著大數(shù)據(jù)落地的難題。在商業(yè)應(yīng)用層面，維克托·邁爾·舍恩伯格在其所著的《大數(shù)據(jù)時(shí)代》一書(shū)中通過(guò)大量的實(shí)例進(jìn)行闡釋；而在技術(shù)層面，互聯(lián)網(wǎng)巨頭有著得天獨(dú)厚的優(yōu)勢(shì)。比如這次的講解人李彥宏所代表的百度，其搜索技術(shù)應(yīng)用于大數(shù)據(jù)就是順理成章的事情。

在互聯(lián)網(wǎng)和IT行業(yè)之外的傳統(tǒng)行業(yè)也在關(guān)注大數(shù)據(jù)，傳統(tǒng)企業(yè)希望通過(guò)大數(shù)據(jù)技術(shù)指導(dǎo)企業(yè)戰(zhàn)略，了解產(chǎn)業(yè)發(fā)展、商業(yè)模式、市場(chǎng)競(jìng)爭(zhēng)中成功的關(guān)鍵要素，進(jìn)而提高企業(yè)核心能力。然而，傳統(tǒng)企業(yè)不具備互聯(lián)網(wǎng)企業(yè)對(duì)數(shù)據(jù)信息的敏感度，它們產(chǎn)生海量的數(shù)據(jù)卻不能有效利用數(shù)據(jù)，或者說(shuō)數(shù)據(jù)產(chǎn)生、收集、存儲(chǔ)都可能是數(shù)據(jù)鏈條的末端，有關(guān)數(shù)據(jù)的進(jìn)程便完全停止。所以，傳統(tǒng)企業(yè)需要在大數(shù)據(jù)背景下實(shí)現(xiàn)轉(zhuǎn)型。在今天，新技術(shù)不斷地顛覆傳統(tǒng)產(chǎn)業(yè)，企業(yè)深知“慢一拍”會(huì)是什么后果——柯達(dá)被數(shù)碼時(shí)代拋棄，諾基亞被智能機(jī)時(shí)代拋棄，蘇寧在電商時(shí)代匆忙追趕，電信在互聯(lián)網(wǎng)時(shí)代尋求突破各行各業(yè)的企業(yè)都可能在大數(shù)據(jù)時(shí)代掉隊(duì)，反過(guò)來(lái)也有機(jī)會(huì)得以煥發(fā)青春。

大數(shù)據(jù)時(shí)代，所有的企業(yè)都將由數(shù)據(jù)驅(qū)動(dòng)，數(shù)據(jù)將成為企業(yè)和公共組織越來(lái)越重要的資產(chǎn)。同時(shí)，企業(yè)更需要高效的大數(shù)據(jù)工具，讓數(shù)據(jù)資產(chǎn)產(chǎn)生真正的價(jià)值。在這個(gè)時(shí)候，人們首先會(huì)朝著互聯(lián)網(wǎng)企業(yè)看過(guò)去?；ヂ?lián)網(wǎng)產(chǎn)業(yè)是信息產(chǎn)業(yè)，是數(shù)據(jù)產(chǎn)業(yè)，它們生產(chǎn)、交換、再次加工以及最終呈現(xiàn)到用戶面前的“產(chǎn)品”都是數(shù)據(jù)。因此，在大數(shù)據(jù)時(shí)代，有學(xué)者提出“泛互聯(lián)網(wǎng)化”的思路，以實(shí)踐收集數(shù)據(jù)資產(chǎn)、發(fā)揮大數(shù)據(jù)商業(yè)價(jià)值。這正是廣義上的物聯(lián)網(wǎng)的概念，數(shù)據(jù)產(chǎn)生、收集、傳輸、存儲(chǔ)、處理都實(shí)現(xiàn)互聯(lián)網(wǎng)化，各行各業(yè)都互聯(lián)網(wǎng)化。

在這個(gè)大背景下，企業(yè)實(shí)現(xiàn)大數(shù)據(jù)的步驟變得明朗起來(lái)。在企業(yè)明確自己的大數(shù)據(jù)項(xiàng)目計(jì)劃之后，下一步便是實(shí)施滿足大數(shù)據(jù)要求的IT建設(shè)。

面向云計(jì)算的企業(yè)IT建設(shè)

大數(shù)據(jù)離不開(kāi)云計(jì)算的支持，云計(jì)算是大數(shù)據(jù)誕生的前提和必要條件。

目前，已經(jīng)發(fā)展成熟的云計(jì)算擁有強(qiáng)大的計(jì)算、存儲(chǔ)能力，可以作為大數(shù)據(jù)集中采集和存儲(chǔ)數(shù)據(jù)的基礎(chǔ)。云計(jì)算和大數(shù)據(jù)的關(guān)系可以理解為：云計(jì)算為大數(shù)據(jù)提供了計(jì)算能力、存儲(chǔ)空間和訪問(wèn)通道，而大數(shù)據(jù)則是云計(jì)算的終極應(yīng)用。

大數(shù)據(jù)時(shí)代的第一定律是“樣本即全體”。隨著數(shù)據(jù)獲取、整理、挖掘的成本伴隨著摩爾定律不斷降低，借助于IT公司提供的數(shù)據(jù)分析工具，企業(yè)將有可能獲得產(chǎn)業(yè)鏈上下游的全部數(shù)據(jù)，從而將企業(yè)的市場(chǎng)決策、供應(yīng)鏈管控、內(nèi)部管理的效率提高到前所未有的程度。在IT系統(tǒng)的建設(shè)過(guò)程中，企業(yè)首先面臨的最大困難是在內(nèi)部解決數(shù)據(jù)的產(chǎn)生、收集以及存儲(chǔ)問(wèn)題。當(dāng)然，此時(shí)的數(shù)據(jù)也可能不夠大，但面臨的問(wèn)題沒(méi)有本質(zhì)區(qū)別。很明顯，能夠建設(shè)完整大數(shù)據(jù)IT系統(tǒng)的企業(yè)鳳毛麟角，大多數(shù)企業(yè)（特別是傳統(tǒng)企業(yè)）也沒(méi)有這個(gè)必要，因?yàn)榇髷?shù)據(jù)對(duì)于它們來(lái)說(shuō)是輔助而非核心業(yè)務(wù)。企業(yè)可以選擇將部分業(yè)務(wù)外包出去，再將生成的數(shù)據(jù)傳輸回來(lái)，但這時(shí)又要面臨數(shù)據(jù)的傳輸問(wèn)題?？傊?，大數(shù)據(jù)IT建設(shè)之前，要考慮哪一部分是本地建設(shè)，哪一部分置之云端。

模式一旦確定，平臺(tái)的選擇便成為關(guān)鍵，選擇哪一種數(shù)據(jù)分析工具，哪一種數(shù)據(jù)庫(kù)，哪一類云服務(wù)等等。不同的行業(yè)、不同的企業(yè)建設(shè)大數(shù)據(jù)IT系統(tǒng)的方案不盡相同，這里不作展開(kāi)討論。不過(guò)，對(duì)大數(shù)據(jù)IT系統(tǒng)在軟硬件方面的一些發(fā)展趨勢(shì)，企業(yè)需要重點(diǎn)關(guān)注。因?yàn)镮T技術(shù)的發(fā)展日新月異，選擇一個(gè)具有競(jìng)爭(zhēng)力和強(qiáng)大生命力的平臺(tái)，企業(yè)才能少走彎路，才能真正從投資中獲益。

分布式計(jì)算 x86當(dāng)?shù)?/p>

大數(shù)據(jù)領(lǐng)域，在處理海量數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)方面，Hadoop的作用無(wú)可估量。Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái)，具備高可靠性、高擴(kuò)展性、高效性和高容錯(cuò)性等特點(diǎn)。Hadoop的誕生源于x86平臺(tái)，得益于這種先天優(yōu)勢(shì)，IT核心廠商英特爾也提供了性能更高，更加穩(wěn)定和易用的獨(dú)立發(fā)行版Hadoop運(yùn)行環(huán)境以及相關(guān)的解決方案，其發(fā)行版Hadoop環(huán)境以44.02%的占有率成為企業(yè)最關(guān)注的Hadoop版本。

在實(shí)際應(yīng)用中，x86平臺(tái)在安全和性能方面有著不俗的表現(xiàn)。例如在金融領(lǐng)域的應(yīng)用中，英特爾通過(guò)將處理器內(nèi)置的安全機(jī)制與外部豐富安全軟硬件相結(jié)合，使其x86平臺(tái)在安全特性上能夠達(dá)到不輸于小型機(jī)的整體表現(xiàn)。而在業(yè)務(wù)連續(xù)性上，高端x86平臺(tái)表現(xiàn)同樣搶眼，讓核心業(yè)務(wù)在運(yùn)轉(zhuǎn)如飛的同時(shí)保證其安全穩(wěn)定。同時(shí)，x86已經(jīng)成為數(shù)據(jù)庫(kù)應(yīng)用負(fù)載的主流平臺(tái)。在企業(yè)大數(shù)據(jù)應(yīng)用中，x86無(wú)疑已經(jīng)具備了足夠的基礎(chǔ)和潛力。出于對(duì)基礎(chǔ)架構(gòu)一致性、擴(kuò)展性和兼容性等方面的考慮，x86將成為構(gòu)建新型數(shù)據(jù)分析、商業(yè)智能應(yīng)用方面的最佳選擇。

高性能數(shù)據(jù)庫(kù)向HANA看齊

大數(shù)據(jù)的4個(gè)“V”中包括了數(shù)量（Volume）、多樣性（Variety）、速度（Velocity），這也是區(qū)別于過(guò)去數(shù)據(jù)處理的一大特點(diǎn)。大數(shù)據(jù)工具應(yīng)當(dāng)具備高性能的數(shù)據(jù)處理能力，SAP推出的數(shù)據(jù)分析平臺(tái)HANA無(wú)疑是最受關(guān)注的一個(gè)產(chǎn)品。目前軟硬件集成一體化的架構(gòu)是一種趨勢(shì)，SAP HANA的內(nèi)存分析和軟硬件集成化架構(gòu)保障快速高效，使得用戶在應(yīng)對(duì)大數(shù)據(jù)帶來(lái)的挑戰(zhàn)時(shí)又多了一個(gè)“利器”。

根據(jù)IDC調(diào)查報(bào)告顯示，未來(lái)接受并部署一體機(jī)的企業(yè)將超過(guò)半數(shù)（成本允許情況下），軟硬件集成的一體化解決方案也有望成為未來(lái)數(shù)據(jù)中心架構(gòu)的新標(biāo)準(zhǔn)。而內(nèi)存取代磁盤作為主要數(shù)據(jù)存儲(chǔ)和處理介質(zhì)也是未來(lái)的一大發(fā)展趨勢(shì)，內(nèi)存技術(shù)對(duì)IT系統(tǒng)性能的提升作用是十分顯著的，高性能甚至實(shí)時(shí)的數(shù)據(jù)分析將成為企業(yè)業(yè)務(wù)創(chuàng)新的一個(gè)重要前提。很多公司利用SAP HANA平臺(tái)，將原本需要幾個(gè)小時(shí)才能做出來(lái)的業(yè)務(wù)數(shù)據(jù)分析，縮短到僅幾秒鐘就能通過(guò)相關(guān)工具完成，比原先的分析速度要快上一萬(wàn)倍——大數(shù)據(jù)所需的高性能便體現(xiàn)在這里。

數(shù)據(jù)倉(cāng)庫(kù)特殊性尤為重要

對(duì)于大多數(shù)企業(yè)而言，大數(shù)據(jù)意味著為長(zhǎng)年維護(hù)且塵封已久的數(shù)據(jù)倉(cāng)庫(kù)配備一道可訪問(wèn)的大門。

數(shù)據(jù)倉(cāng)庫(kù)過(guò)去一直是、未來(lái)也將仍然是企業(yè)級(jí)機(jī)構(gòu)所不可或缺的關(guān)鍵性組成部分。這類系統(tǒng)的作用是將企業(yè)方方面面產(chǎn)生的數(shù)據(jù)匯聚起來(lái)，然后分門別類加以劃分，最終讓這些紛繁復(fù)雜的信息成為業(yè)務(wù)分析師深入了解企業(yè)運(yùn)營(yíng)狀況的寶貴資料。一套針對(duì)可擴(kuò)展性而精心設(shè)計(jì)出的基礎(chǔ)設(shè)施正是大數(shù)據(jù)能否真正發(fā)揮作用的關(guān)鍵所在。