大數(shù)據(jù)與IT基礎架構

有研究表明：人類70%的活動都是有規(guī)律可循的。大數(shù)據(jù)，可以讓我們看到這種規(guī)律并預知未來，例如通過整理近期的氣象情況和衛(wèi)星云圖，我們能夠判斷未來幾天的天氣狀況。去年，央視兩次攜手百度分別打造“據(jù)說春運”與“據(jù)說春節(jié)”特別節(jié)目——“據(jù)說春運”攜手百度地圖，用大數(shù)據(jù)展現(xiàn)春節(jié)前后人口大遷徙的軌跡與特征；“據(jù)說春節(jié)”運用百度大數(shù)據(jù)來述說回娘家、恐婚族等春節(jié)長假期間的熱門話題。可見，通過解讀數(shù)據(jù)可以發(fā)現(xiàn)有趣的現(xiàn)象、挖掘以往被忽視的規(guī)律，還可以對人類的行為進行預測。

事實上，數(shù)據(jù)分析的案例自古有之，在前幾年也有很多數(shù)據(jù)挖掘技術和應用的出現(xiàn)。但這些數(shù)據(jù)挖掘技術對數(shù)據(jù)的使用，都是先抽樣、萃取人們或系統(tǒng)認為有價值的數(shù)據(jù)，再分析、挖掘，而并不是使用全部數(shù)據(jù)。原因很簡單——信息的收集、存儲和信息分析的系統(tǒng)構建、維護成本過于巨大，所以人們總是習慣在信息收集的過程中，把有關聯(lián)的少部分精確數(shù)據(jù)留下。

以人們的日常購買行為為例，傳統(tǒng)超市會通過對“時間、產(chǎn)品銷售量/銷售額”這幾個指標的分析，判斷近期哪些貨品是熱銷產(chǎn)品，在短期更受用戶的歡迎，進而對熱銷貨品提供充足的貨源保障，把熱銷貨品放在超市最容易接觸的位置，提供某些促銷優(yōu)惠等等。

再看另一個來自美國的零售商塔吉特的案例，它使用大數(shù)據(jù)進行“懷孕趨勢分析”。通過對大量消費記錄的分析，塔吉特公司注意到，準媽媽很可能在懷孕第三個月的時候購買某種乳液，并陸續(xù)購買營養(yǎng)品（如鈣、鎂、鋅等）。塔吉特公司找到了幾十種關聯(lián)物，通過這些關聯(lián)關系，預判客戶是否懷孕以及預產(chǎn)期的大概日期。在客戶懷孕的不同階段，該公司會向客戶推銷相應的產(chǎn)品或優(yōu)惠券。

前兩個案例，分別是典型的“小數(shù)據(jù)”分析和“大數(shù)據(jù)”分析。大數(shù)據(jù)不僅是數(shù)據(jù)量大，同時數(shù)據(jù)種類多；不是數(shù)據(jù)的抽樣，而是數(shù)據(jù)的全集；不是與目標有因果關系的數(shù)據(jù)，而是所有有關聯(lián)的數(shù)據(jù)。與傳統(tǒng)的數(shù)據(jù)分析相比，大數(shù)據(jù)可以被用來開發(fā)新產(chǎn)品和新型服務，其價值越來越受到關注。

為什么在幾年前，沒有人收集和利用全部的數(shù)據(jù)，再進行大數(shù)據(jù)分析呢？除了成本上的考慮，還存在另一個問題：傳統(tǒng)上，人們是基于單一“業(yè)務”去構建系統(tǒng)，而不是基于“數(shù)據(jù)”去構建系統(tǒng)。例如，某超市要建設一個CRM系統(tǒng)，IT部門會基于“客戶管理”這個業(yè)務采購軟硬件，所有建設都圍繞“客戶管理”，很少考慮開放、兼容等特性；如果想再上一套“行為分析”系統(tǒng)，則圍繞“行為分析”這個業(yè)務去采購軟、硬件。當需要把兩個系統(tǒng)的數(shù)據(jù)進行統(tǒng)一分析時，由于兩套系統(tǒng)不兼容，需要中間件來轉(zhuǎn)接、編譯，因此兩套系統(tǒng)各自要進行二次開發(fā)以實現(xiàn)兼容，使得操作難度變高，造成有價值的“數(shù)據(jù)”被困在了“系統(tǒng)”這個孤島里。因此在規(guī)劃初期，就應充分考慮到數(shù)據(jù)的流動性、系統(tǒng)的兼容性，考慮到數(shù)據(jù)將會被各種系統(tǒng)多次使用的情況。

也許有人會說：這樣的系統(tǒng)規(guī)劃會非常復雜，構建成本太高，很難把系統(tǒng)的模型和方案想清楚。我們再來看看互聯(lián)網(wǎng)公司。大型互聯(lián)網(wǎng)公司這幾年在構建IT系統(tǒng)時，都會采用標準架構：如X86服務器、標準化的網(wǎng)絡協(xié)議、開源的數(shù)據(jù)庫、分布式存儲等等。因為只有這樣，才能夠通過統(tǒng)一的硬件和軟件平臺來承載各種各樣的業(yè)務。比如微信、QQ、游戲、視頻等業(yè)務都是承載在同一個平臺上，所有數(shù)據(jù)的流動在基礎設施這個維度里都是自由的。所以我們看到如騰訊、阿里巴巴等互聯(lián)網(wǎng)公司上線新業(yè)務的速度非?？?，而且能夠根據(jù)用戶各種網(wǎng)絡行為，判斷互聯(lián)網(wǎng)用戶感興趣的“熱點”，在某項業(yè)務上再疊加新服務。這就是大數(shù)據(jù)的典型應用。

在構建了標準的硬件、軟件基礎設施之后，業(yè)務可以被逐步規(guī)劃，分階段上線，但是所有的業(yè)務架構、程序接口，都應按照標準基礎設施的統(tǒng)一要求進行設計開發(fā)。大數(shù)據(jù)本身是“業(yè)務”，需要建設者用更多的時間去摸索業(yè)務模型，在實踐中完善新技術，把現(xiàn)有的封閉的系統(tǒng)逐步改良為開放的標準化架構。

從IT的發(fā)展趨勢看，大數(shù)據(jù)時代是在云計算建設成熟之后到來的，大多數(shù)互聯(lián)網(wǎng)公司的建設歷程也遵循了這種規(guī)律。云計算將帶來標準、統(tǒng)一的IT架構，消除割裂和信息孤島，并且簡化大規(guī)模IT部署和運維的復雜程度，而這些都是大數(shù)據(jù)分析系統(tǒng)建設的前提。

杭州華三通信技術有限公司（以下簡稱華三通信）的云計算方案，就是要實現(xiàn)IT基礎設施的標準化、智能化，為大數(shù)據(jù)分析提供更加智能靈活的基礎設施平臺。例如統(tǒng)一的云管理平臺CSM，將所有IT資源拉通管理，并且把溝通過程流程化；X86服務器+虛擬化軟件CAS，屏蔽底層硬件服務器間的差異，使虛擬機應用可以在不同的物理服務器間飄移；SDN網(wǎng)絡虛擬化技術，使網(wǎng)絡真正成為資源池，由上層應用調(diào)用；VSAN分布式存儲，屏蔽了底層硬件存儲間的壁壘，存儲數(shù)據(jù)可以分布在不同的物理服務器的硬盤上。

身處大數(shù)據(jù)時代的前夕，伴隨著云計算建設的浪潮，我們已經(jīng)清晰地看到云計算和大數(shù)據(jù)的價值，也在期待它們?yōu)槲覀儙砀嗟母淖?，更多的驚喜。