大數(shù)據(jù)：任務(wù)并不簡(jiǎn)單

文/本刊記者 盧敏 劉學(xué)

大數(shù)據(jù)的概念聽(tīng)起來(lái)很美好，似乎利用大數(shù)據(jù)的大門(mén)在不久的將來(lái)就會(huì)打來(lái)。但是一切并沒(méi)有這么簡(jiǎn)單。

大數(shù)據(jù)真正起作用的地方并非在于如何對(duì)其進(jìn)行存儲(chǔ)，而是如何好好對(duì)其進(jìn)行利用。其實(shí)用戶(hù)需要一種實(shí)時(shí)分析大量原始數(shù)據(jù)的方式，然后在有需求的時(shí)候從中挖出有價(jià)值的部分。

現(xiàn)在看來(lái)這個(gè)任務(wù)并不簡(jiǎn)單。

多角度、深層次是關(guān)鍵

“大數(shù)據(jù)時(shí)代的來(lái)臨已經(jīng)毋庸置疑?！鄙轿饕苿?dòng)業(yè)務(wù)支撐系統(tǒng)部統(tǒng)計(jì)分析室經(jīng)理王峰肯定地說(shuō)，“從數(shù)據(jù)量上來(lái)說(shuō)，我們已經(jīng)進(jìn)入了ZB時(shí)代?！?/p>

作為國(guó)內(nèi)第一家進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)和BI系統(tǒng)建設(shè)的電信運(yùn)營(yíng)商，山西移動(dòng)從2001年就開(kāi)始進(jìn)行其經(jīng)營(yíng)分析系統(tǒng)的規(guī)劃。從2002年系統(tǒng)上線(xiàn)到現(xiàn)在已經(jīng)是近10年的時(shí)間。對(duì)于數(shù)據(jù)量的急速增長(zhǎng)、市場(chǎng)形勢(shì)的瞬息萬(wàn)變、用戶(hù)群體的復(fù)雜變化，這10年來(lái)，經(jīng)營(yíng)分析系統(tǒng)在山西移動(dòng)的業(yè)務(wù)過(guò)程中到底扮演了怎樣的角色？對(duì)于大數(shù)據(jù)時(shí)代的來(lái)臨，它發(fā)生了哪些變化？就這些問(wèn)題，王峰給出了答案。

對(duì)大數(shù)據(jù)時(shí)代的到來(lái)，用戶(hù)數(shù)量眾多的電信運(yùn)營(yíng)商感覺(jué)尤為深刻。山西移動(dòng)每天流入經(jīng)營(yíng)分析系統(tǒng)的數(shù)據(jù)量大約為300GB，龐大的數(shù)據(jù)量帶來(lái)了巨大的潛在價(jià)值和決策能力。談到大數(shù)據(jù)時(shí)代的數(shù)據(jù)分析，王峰認(rèn)為，山西移動(dòng)的片區(qū)精細(xì)化管理就已經(jīng)體現(xiàn)了大數(shù)據(jù)分析的特性。

王峰以北京為例來(lái)說(shuō)明片區(qū)管理的大數(shù)據(jù)特性。片區(qū)管理是地理緯度上的客戶(hù)分塊，例如北京包括東城區(qū)、西城區(qū)、海淀區(qū)等。而每個(gè)區(qū)又可以向下細(xì)分，比如西城區(qū)可以細(xì)化到金融街區(qū)，最后細(xì)化到移動(dòng)基站的一個(gè)扇面區(qū)域。如果一個(gè)用戶(hù)在昌平入網(wǎng)，卻經(jīng)常在金融街區(qū)通話(huà)，就要把用戶(hù)定位成一個(gè)金融街用戶(hù)。每一個(gè)細(xì)化的片區(qū)由一個(gè)片區(qū)經(jīng)理管轄，金融街的片區(qū)經(jīng)理就要對(duì)定義成金融街的客戶(hù)進(jìn)行服務(wù)，例如問(wèn)候短信或新產(chǎn)品通知。片區(qū)經(jīng)理不僅要對(duì)現(xiàn)有客戶(hù)進(jìn)行服務(wù)，還要對(duì)潛在客戶(hù)進(jìn)行挖掘。山西移動(dòng)要求片區(qū)經(jīng)理對(duì)自己管轄區(qū)域內(nèi)的每一棟寫(xiě)字樓的每一家企業(yè)進(jìn)行記錄并錄入片區(qū)化支持系統(tǒng)。根據(jù)掌握的多種數(shù)據(jù)，對(duì)用戶(hù)進(jìn)行精細(xì)化分類(lèi)和深度挖掘，進(jìn)而進(jìn)行相關(guān)的營(yíng)銷(xiāo)活動(dòng)，這種線(xiàn)上線(xiàn)下的共同合作，體現(xiàn)的正是大數(shù)據(jù)分析的特點(diǎn)。

山西移動(dòng)的經(jīng)營(yíng)分析系統(tǒng)作用于營(yíng)銷(xiāo)層面主要包含兩個(gè)核心應(yīng)用。一個(gè)是核心客戶(hù)保有。核心客戶(hù)是指用戶(hù)UP值貢獻(xiàn)高、漫游行為較多，有重要影響的高價(jià)值客戶(hù)。如果某個(gè)核心客戶(hù)在一段時(shí)間內(nèi)的主叫時(shí)長(zhǎng)出現(xiàn)了顯著的下降，統(tǒng)計(jì)分析部就會(huì)在核心客戶(hù)保有的應(yīng)用上發(fā)現(xiàn)這個(gè)用戶(hù)，認(rèn)定該核心客戶(hù)有發(fā)展為普通客戶(hù)的可能，并且把與之相關(guān)的客戶(hù)明細(xì)提供給相關(guān)的市場(chǎng)營(yíng)銷(xiāo)部門(mén)，由營(yíng)銷(xiāo)部門(mén)對(duì)其實(shí)施保有措施。另一個(gè)應(yīng)用是離網(wǎng)用戶(hù)關(guān)懷，與核心客戶(hù)保有應(yīng)用相比，該應(yīng)用是更針對(duì)離網(wǎng)客戶(hù)的預(yù)警。

對(duì)于海量數(shù)據(jù)的保有，山西移動(dòng)的策略是數(shù)據(jù)與應(yīng)用同在。一個(gè)應(yīng)用上線(xiàn)有自己的生命周期，應(yīng)用由哪個(gè)部門(mén)提出、應(yīng)用的主要功能、開(kāi)發(fā)人員、何時(shí)上線(xiàn)、預(yù)計(jì)使用期限等信息都會(huì)被記錄在生命周期管理系統(tǒng)中。當(dāng)應(yīng)用達(dá)到使用期限，根據(jù)實(shí)際效果如果沒(méi)有必要進(jìn)行生命周期的延長(zhǎng)，應(yīng)用下線(xiàn)時(shí)就將相關(guān)的數(shù)據(jù)評(píng)估為無(wú)效，進(jìn)行清理。

雖然在外部用戶(hù)層面，客戶(hù)很難感知到經(jīng)營(yíng)分析系統(tǒng)的存在，但山西移動(dòng)正通過(guò)它進(jìn)行著各種各樣的營(yíng)銷(xiāo)活動(dòng)，從而為用戶(hù)提供更精確的服務(wù)。而在山西移動(dòng)內(nèi)部，經(jīng)營(yíng)分析系統(tǒng)的內(nèi)部客戶(hù)對(duì)數(shù)據(jù)的滿(mǎn)意度得到了非常大的提升，管理層和業(yè)務(wù)部門(mén)在決策上獲得了更好的支撐。

未來(lái)屬于將數(shù)據(jù)轉(zhuǎn)化為產(chǎn)品的公司。作為電信運(yùn)營(yíng)商，山西移動(dòng)有著先天的優(yōu)勢(shì)可以掌握海量的有效數(shù)據(jù)。面對(duì)大數(shù)據(jù)時(shí)代的來(lái)臨，多角度深層次的數(shù)據(jù)分析也正在成為山西移動(dòng)統(tǒng)計(jì)分析部門(mén)支持決策的重要手段。

用戶(hù)在越來(lái)越大的數(shù)據(jù)量下不堪重負(fù)

數(shù)據(jù)整合“第二坎”

ESG在2011年曾就企業(yè)所面臨的數(shù)據(jù)整合難題進(jìn)行了調(diào)研，結(jié)果發(fā)現(xiàn)，數(shù)據(jù)量的龐大規(guī)模是企業(yè)所面臨的第二大難題，位列首位的則是數(shù)據(jù)整合的進(jìn)程耗時(shí)過(guò)長(zhǎng)。

目前，各廠(chǎng)商正在密切關(guān)注著大數(shù)據(jù)所帶來(lái)的機(jī)會(huì)，并通過(guò)推出新產(chǎn)品或收購(gòu)等舉措把握這一重要機(jī)會(huì)，從而創(chuàng)造更多利潤(rùn)。比如IT廠(chǎng)商巨頭IBM和EMC，這兩家都收購(gòu)了非常類(lèi)似的廠(chǎng)商來(lái)實(shí)現(xiàn)技術(shù)的整合。EMC所收購(gòu)的Isilon公司，其集群NAS產(chǎn)品就屬于橫向擴(kuò)展（Scale-out）存儲(chǔ)，而該技術(shù)的優(yōu)勢(shì)正是處理非機(jī)構(gòu)化數(shù)據(jù)。并且其后來(lái)又收購(gòu)的Greenplum，則用來(lái)補(bǔ)充針對(duì)數(shù)據(jù)庫(kù)類(lèi)的大數(shù)據(jù)的解決方案。IBM收購(gòu)的Netezza也是類(lèi)似于Greenplum的技術(shù)，充分考慮到了現(xiàn)在的存儲(chǔ)趨勢(shì)。

雖然這看起來(lái)是一種有用的舉措，但是廠(chǎng)商僅將焦點(diǎn)關(guān)注于某款產(chǎn)品解決某種問(wèn)題的話(huà)，顯然是不夠的。其實(shí)最終用戶(hù)根本不在意自身采用的到底是誰(shuí)家的產(chǎn)品和技術(shù)，而在意的是這些產(chǎn)品和技術(shù)是否能夠賦予自身一個(gè)很好的IT支撐能力。在這樣的情況下，存儲(chǔ)提供的服務(wù)和技術(shù)就需要解決這些問(wèn)題，才可以更貼近于客戶(hù)，更好地服務(wù)于客戶(hù)。所以對(duì)于廠(chǎng)商而言，他們不僅要注重解決“大數(shù)據(jù)”的需求，也要注重?cái)?shù)據(jù)整合平臺(tái)的創(chuàng)新，從而在當(dāng)今以服務(wù)為導(dǎo)向的IT模式中提供企業(yè)所需的高性能、靈活性和終端用戶(hù)的功能。ESG中國(guó)區(qū)總經(jīng)理兼高級(jí)分析師王叢表示，大數(shù)據(jù)這一領(lǐng)域?qū)?huì)有一些新的技術(shù)不斷地推出，在未來(lái)的12個(gè)月或是24個(gè)月，預(yù)計(jì)會(huì)不斷涌現(xiàn)能處理大型非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)。

目前在“大數(shù)據(jù)”這一大趨勢(shì)下，北美的廠(chǎng)商已經(jīng)走在了前列，而中國(guó)的廠(chǎng)商目前還在著重考慮怎么生產(chǎn)存儲(chǔ)和硬件，而沒(méi)考慮到以解決方案的形式向用戶(hù)進(jìn)行推介。EMC或IBM收購(gòu)這些公司的目的是去整合他們的整個(gè)解決方案，能夠讓它在IT上是透明的，進(jìn)一步靠近存儲(chǔ)、靠近數(shù)據(jù)。中國(guó)廠(chǎng)商目前也在嘗試走這條路，但起步相對(duì)要晚，還需要花費(fèi)一段時(shí)間去學(xué)習(xí)這些已經(jīng)在這個(gè)變革過(guò)程中取得成功且走在前面的廠(chǎng)商。對(duì)于廠(chǎng)商而言，花太多時(shí)間去看哪家有哪些產(chǎn)品已經(jīng)不是那么重要了，他們需要注重的是了解技術(shù)趨勢(shì)和市場(chǎng)動(dòng)態(tài)。

集群NAS會(huì)是市場(chǎng)的一個(gè)主流，傳統(tǒng)的NAS有一定的局限性。其實(shí)集群NAS是擠占了NAS和SAN的市場(chǎng)空間。據(jù)ESG統(tǒng)計(jì)，NAS占全球存儲(chǔ)市場(chǎng)的20%左右，中國(guó)的NAS只占了不到8%的中國(guó)存儲(chǔ)市場(chǎng)。另一方面，中國(guó)的SAN又是一個(gè)極端，SAN占全球存儲(chǔ)市場(chǎng)的42%～46%，中國(guó)的SAN占中國(guó)存儲(chǔ)市場(chǎng)的60%。

NAS應(yīng)該是有空間的，但其所占的市場(chǎng)份額卻沒(méi)有增長(zhǎng)力度；SAN的技術(shù)已經(jīng)顯得不那么盡如人意了，但其市場(chǎng)趨勢(shì)還是持續(xù)上揚(yáng)。這是因?yàn)閿?shù)據(jù)中心還處于建設(shè)過(guò)程中，而另一部分則因?yàn)檫@兩種技術(shù)之間還沒(méi)有找到一個(gè)很好的平衡點(diǎn)。

總之，大數(shù)據(jù)對(duì)結(jié)構(gòu)化數(shù)據(jù)或是數(shù)據(jù)庫(kù)來(lái)講，對(duì)BI的管理能力都非常重要。大數(shù)據(jù)對(duì)非結(jié)構(gòu)化數(shù)據(jù)來(lái)講，尤其是對(duì)服務(wù)媒體行業(yè)，是能提高效率降低整個(gè)IT成本的一個(gè)比較好的舉措。對(duì)于中國(guó)廠(chǎng)商而言，隨著大數(shù)據(jù)量的猛增，集群NAS在中國(guó)市場(chǎng)空間將得到非?？焖俚脑鲩L(zhǎng)，這將是中國(guó)用戶(hù)的福音，也將是中國(guó)廠(chǎng)商的一個(gè)大機(jī)遇，區(qū)別就在于是否能夠很好的把握。

Netezza：只怕數(shù)據(jù)不夠大

大數(shù)據(jù)的概念和云計(jì)算一樣，不是新近出現(xiàn)的。但是它又如一陣風(fēng)，悄悄進(jìn)入到各大會(huì)議和論壇中，進(jìn)入人們的視線(xiàn)。過(guò)去大數(shù)據(jù)單指體積龐大，現(xiàn)在以更全面的眼光來(lái)看，大數(shù)據(jù)更加多樣化、速度接近實(shí)時(shí)，不僅包括非結(jié)構(gòu)化數(shù)據(jù)，而且還有結(jié)構(gòu)化數(shù)據(jù)。

在眾多企業(yè)用戶(hù)眼中，理想的大數(shù)據(jù)數(shù)據(jù)管理和分析平臺(tái)應(yīng)該像電燈開(kāi)關(guān)一樣簡(jiǎn)單、可靠和直接，能夠快速處理人們幾乎無(wú)法想象的工作量。這也是IBM Netezza致力于為用戶(hù)提供的。在IBM Netezza亞太區(qū)市場(chǎng)營(yíng)銷(xiāo)總經(jīng)理Timothy Young看來(lái)，大數(shù)據(jù)為公司帶來(lái)的不應(yīng)該是挑戰(zhàn)，相反應(yīng)該是機(jī)遇，他笑著表示，“我們只怕數(shù)據(jù)不夠大，數(shù)據(jù)量越大，就越能從中提取出用戶(hù)有價(jià)值信息?！辈灰?，IBM通過(guò)“沃森”超級(jí)問(wèn)答系統(tǒng)讓我們窺見(jiàn)到大數(shù)據(jù)分析的未來(lái)。沃森也是工作負(fù)載優(yōu)化系統(tǒng)的終極范例，它通過(guò)分析非結(jié)構(gòu)化數(shù)據(jù)能夠在幾秒鐘內(nèi)找到問(wèn)題答案。

業(yè)界專(zhuān)家曾表示，“一體機(jī)”是實(shí)現(xiàn)大數(shù)據(jù)的最優(yōu)異的方式之一，一體機(jī)能將主機(jī)、存儲(chǔ)整合在一個(gè)標(biāo)準(zhǔn)的工業(yè)機(jī)柜里，預(yù)裝操作系統(tǒng)、數(shù)據(jù)庫(kù)，同時(shí)預(yù)裝相關(guān)的工具軟件。Netezza作為一體機(jī)概念的提出者，優(yōu)勢(shì)并非來(lái)自最強(qiáng)勁最昂貴的IT組件，而是將合適的組件組裝起來(lái)并將性能發(fā)揮到極致——這恰恰為眾多具有大數(shù)據(jù)分析需求的企業(yè)提供了嶄新的機(jī)遇。甲骨文CEO Larry Ellison曾這樣表示：“Netezza是Exadata的靈感來(lái)源之一?！?/p>

“對(duì)于企業(yè)而言，產(chǎn)品的優(yōu)劣有很多衡量方式。IBM 軟件集團(tuán)大中華區(qū)Netezza 銷(xiāo)售總監(jiān)肖冰與記者分享了IBM的‘4S’標(biāo)準(zhǔn)，即Speed（速度）、Simple（簡(jiǎn)單）、Scalability（可擴(kuò)充性）和Smart（智能）——設(shè)備管理和分析數(shù)據(jù)的速度是用戶(hù)首要需求；讓行業(yè)用戶(hù)更容易掌握設(shè)備的操作，決定產(chǎn)品能否被廣泛應(yīng)用；優(yōu)秀的可擴(kuò)充性，保證了處理數(shù)據(jù)量增長(zhǎng)的需求；架構(gòu)方式布局靈活，更是產(chǎn)品穩(wěn)定高效運(yùn)行的決定性因素——正是這四個(gè)標(biāo)準(zhǔn)決定了公司的市場(chǎng)競(jìng)爭(zhēng)力和領(lǐng)導(dǎo)力。獨(dú)特架構(gòu)直擊“大數(shù)據(jù)”

在精要的“4S”標(biāo)準(zhǔn)之上，是產(chǎn)品獨(dú)特的系統(tǒng)架構(gòu)設(shè)計(jì)模式：其大規(guī)模并行處理(MPP)流將多核CPU與FPGA加速流技術(shù)引擎(FASTTM)結(jié)合，能夠提供連那些非常昂貴的系統(tǒng)都無(wú)法匹配甚至接近的性能——這些獨(dú)特的技術(shù)使得Netezza在當(dāng)前“一體機(jī)”市場(chǎng)中處于領(lǐng)先。

IT圈內(nèi)的人都知道，一個(gè)好的系統(tǒng)架構(gòu)設(shè)計(jì)，在很大程度上決定了這款產(chǎn)品的成敗，對(duì)于處理大數(shù)據(jù)來(lái)說(shuō)，這個(gè)原則顯得尤其重要。因此當(dāng)對(duì)一個(gè)大型數(shù)據(jù)集進(jìn)行操作時(shí)，除非絕對(duì)需要，否則不輕易移動(dòng)數(shù)據(jù)。Netezza將這一原則發(fā)揮至極致，利用現(xiàn)場(chǎng)可編程邏輯門(mén)陣列(FPGA)組件盡早的將多余的數(shù)據(jù)從數(shù)據(jù)流中過(guò)濾掉，以減少其對(duì)硬盤(pán)空間的占用,并將下游組件如CPU、內(nèi)存和網(wǎng)絡(luò)從多余的數(shù)據(jù)處理中解放出來(lái)，從而使系統(tǒng)性能有了根本性的顯著提高。

最后，肖冰與記者分享了Netezza的架構(gòu)特點(diǎn)，它結(jié)合了SMP(對(duì)稱(chēng)多處理)和MPP(大規(guī)模并行處理)的優(yōu)點(diǎn)，建立了一個(gè)能以極快的速度分析PB量級(jí)數(shù)據(jù)的設(shè)備。該架構(gòu)中的每一個(gè)組件，包括處理器、FPGA、內(nèi)存和網(wǎng)絡(luò)連接都經(jīng)過(guò)了精心的挑選和優(yōu)化，在硬盤(pán)物理?xiàng)l件許可的情況下，以最低的成本和能耗快速地處理數(shù)據(jù)。它通過(guò)軟件協(xié)調(diào)這些組件以流水線(xiàn)的方式對(duì)數(shù)據(jù)進(jìn)行并發(fā)操作，從而充分獲取和利用每個(gè)MPP的節(jié)點(diǎn)上最大吞吐量。除了將性能提高幾個(gè)數(shù)量級(jí)以外，這個(gè)平衡的架構(gòu)還能夠?yàn)槌^(guò)1000的并發(fā)處理流提供線(xiàn)性可擴(kuò)展性，以及非常低的總體擁有成本。

在Timothy Young看來(lái)，大數(shù)據(jù)為公司帶來(lái)的不應(yīng)該是挑戰(zhàn)，相反應(yīng)該是機(jī)遇。

大數(shù)據(jù)的“專(zhuān)用”數(shù)據(jù)庫(kù)

人們談及“大數(shù)據(jù)”有兩層含義：一個(gè)是數(shù)據(jù)總量大，普通企業(yè)的數(shù)據(jù)總量也可以進(jìn)入PB級(jí)；而另一個(gè)含義是指數(shù)據(jù)類(lèi)型復(fù)雜，除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)之外，更大量的數(shù)據(jù)類(lèi)型是郵件、博客、微博等。

對(duì)數(shù)據(jù)庫(kù)而言，這些都似乎不是什么好事，因?yàn)檫@意味著對(duì)數(shù)據(jù)庫(kù)的處理能力提出了更高的要求。

傳統(tǒng)數(shù)據(jù)庫(kù)“遇阻”

Joydeep Das看來(lái)，大數(shù)據(jù)時(shí)代，應(yīng)該是專(zhuān)項(xiàng)的數(shù)據(jù)庫(kù)，解決專(zhuān)項(xiàng)的問(wèn)題。

不管是不是在云的環(huán)境下，數(shù)據(jù)庫(kù)永遠(yuǎn)都要解決兩個(gè)問(wèn)題：一個(gè)是怎樣快速地把數(shù)據(jù)吸收進(jìn)來(lái)，然后把它變成數(shù)據(jù)庫(kù)；另外一個(gè)問(wèn)題是怎樣把數(shù)據(jù)庫(kù)里面的數(shù)據(jù)分析出來(lái)，讀出來(lái)，把結(jié)果返回庫(kù)里。

究其本質(zhì)，以上二者要解決的是一個(gè)問(wèn)題，即如何快速地將數(shù)據(jù)在需要的時(shí)候進(jìn)行存取。以Sybase IQ為例，在數(shù)據(jù)快速入庫(kù)這個(gè)方面，近年來(lái)已有諸多改進(jìn)。比如增加了多種數(shù)據(jù)表加載的方式，通過(guò)一些復(fù)制服務(wù)器，能隨時(shí)把數(shù)據(jù)復(fù)制到IQ里面來(lái)的機(jī)制，這些實(shí)際縮短了數(shù)據(jù)從產(chǎn)生到進(jìn)入數(shù)據(jù)庫(kù)的時(shí)間。

除了有從數(shù)據(jù)庫(kù)里面讀取數(shù)據(jù)的方式以外，還有根據(jù)流數(shù)去進(jìn)行分析判斷結(jié)果的一個(gè)方式，比如CEP。這個(gè)方式并不要求數(shù)據(jù)已經(jīng)持久化了才可以去做分析，它是隨著數(shù)據(jù)的流動(dòng)，可以隨時(shí)地做分析。它解決了用戶(hù)的問(wèn)題，縮短了時(shí)間。

列式數(shù)據(jù)庫(kù)在數(shù)據(jù)分析、海量存儲(chǔ)、BI這三個(gè)領(lǐng)域有自己獨(dú)到的優(yōu)勢(shì)，已經(jīng)得到了業(yè)內(nèi)專(zhuān)家的認(rèn)可。傳統(tǒng)行式數(shù)據(jù)庫(kù)在大數(shù)據(jù)領(lǐng)域“受阻”有目共睹，列式數(shù)據(jù)庫(kù)代表了大數(shù)據(jù)領(lǐng)域很多新的技術(shù)方向。這個(gè)新的方向是和傳統(tǒng)的數(shù)據(jù)庫(kù)非常不同，但是用戶(hù)卻經(jīng)常被一些傳統(tǒng)數(shù)據(jù)庫(kù)衡量指標(biāo)來(lái)要求。

舉例來(lái)說(shuō)，比如果農(nóng)在山上每天采果子，他們的目的是要把這些果子運(yùn)出來(lái)賣(mài)掉。傳統(tǒng)的方式是修了路，把果子從山上一點(diǎn)點(diǎn)運(yùn)下來(lái)，然后賣(mài)出去?，F(xiàn)在他們的果子多了，想更快的賣(mài)出去的話(huà)，他們想的方法是怎么樣把路拓寬，或者車(chē)怎么樣開(kāi)得快。所以果農(nóng)的新問(wèn)題是，“告訴我旋轉(zhuǎn)的半徑是多少”、“你開(kāi)的最小的拐彎半徑是多少”?，F(xiàn)在給他提供一個(gè)方案就是，不需要車(chē)，而是用一個(gè)索道，把果子從上面直接滑到山下面。所以用戶(hù)提供給廠(chǎng)商的指標(biāo)，很可能是毫無(wú)意義的。

具體到技術(shù)層面，隨機(jī)讀取對(duì)OLTP數(shù)據(jù)庫(kù)來(lái)說(shuō)很重要，為什么？是因?yàn)檫@是它查找數(shù)據(jù)的方式。從行式數(shù)據(jù)庫(kù)數(shù)據(jù)的擺放方式就可以知道，它的擺放是按行來(lái)放的，一行里面只有一個(gè)收入數(shù)據(jù)。用戶(hù)如果要對(duì)所有人的收入進(jìn)行分析歸類(lèi)，就必須在全磁盤(pán)查找。

所以Random Seek對(duì)行式數(shù)據(jù)庫(kù)來(lái)說(shuō)非常重要。但是對(duì)列式數(shù)據(jù)庫(kù)來(lái)說(shuō)，這個(gè)詞并不重要。因?yàn)樗械氖杖攵挤旁谝黄鹆?，是sequential read順序讀?！捌鋵?shí)所有硬盤(pán)的順序都差不多，只有Random Seek讀才會(huì)有差別，7200轉(zhuǎn)和15000轉(zhuǎn)可能會(huì)差一倍，現(xiàn)在最高速的也就是2萬(wàn)轉(zhuǎn)，但誰(shuí)會(huì)用2萬(wàn)轉(zhuǎn)的盤(pán)呢？沒(méi)多少人用，因?yàn)樗哪芎姆浅４?，而且穩(wěn)定性非常低。但是Random Seek或者隨機(jī)讀這個(gè)速度來(lái)突破數(shù)據(jù)倉(cāng)庫(kù)的效率的話(huà)，對(duì)Sybase來(lái)說(shuō)，這是一個(gè)錯(cuò)誤的路線(xiàn)。我們有更好的方式，把數(shù)據(jù)合理的擺放，通過(guò)順序讀這樣一個(gè)非常優(yōu)秀且低廉就是順序讀的技術(shù)，用戶(hù)便可以成倍、成十倍的提高這個(gè)分析讀”，Sybase公司分析產(chǎn)品管理部總監(jiān)Joydeep Das說(shuō)。

為大數(shù)據(jù)量體裁衣

在Joydeep 看來(lái)，大數(shù)據(jù)時(shí)代，應(yīng)該是專(zhuān)項(xiàng)的數(shù)據(jù)庫(kù)，解決專(zhuān)項(xiàng)的問(wèn)題?！北热鏢ybase ASE，用來(lái)解決OLTP這樣的一些事務(wù)性的數(shù)據(jù)的應(yīng)用是非常適合的。我們還有一個(gè)小型的數(shù)據(jù)庫(kù)，叫Sybase SQL Anywhere，用來(lái)解決一些嵌入式的應(yīng)用，比如可能嵌入在一些ATM機(jī)，可能嵌入在一些導(dǎo)彈里，或者在一些硬件設(shè)備里面。它的應(yīng)用場(chǎng)景其實(shí)也非常廣，但是它解決的是一類(lèi)移動(dòng)或者是比較小型的應(yīng)用。最后就是Sybase IQ，就是列式數(shù)據(jù)庫(kù)，它解決的是一些專(zhuān)門(mén)的用于分析領(lǐng)域的應(yīng)用?！?/p>

這并不意味著傳統(tǒng)的數(shù)據(jù)庫(kù)是一個(gè)過(guò)時(shí)的技術(shù)，只是不同數(shù)據(jù)庫(kù)有不同的專(zhuān)用領(lǐng)域。

傳統(tǒng)的行式數(shù)據(jù)庫(kù)，設(shè)計(jì)初衷就是為了解決幾行數(shù)據(jù)的一些實(shí)時(shí)或并發(fā)的操作。而現(xiàn)在的數(shù)據(jù)倉(cāng)庫(kù)或分析領(lǐng)域，往往遇到的是在集列上，需要觸及很多很多行，是完全不同的應(yīng)用場(chǎng)景。在這樣的應(yīng)用場(chǎng)景里面，行式數(shù)據(jù)庫(kù)卻是非常不好用，它沒(méi)有辦法像列式數(shù)據(jù)庫(kù)這樣，只在幾列上面非常高效的去把分析完成。這是這兩類(lèi)技術(shù)之間的一個(gè)很大的差別。

據(jù)介紹，Sybase IQ 15.3,其設(shè)計(jì)正是為了滿(mǎn)足企業(yè)不斷增長(zhǎng)的多樣化的分析需求。相比于傳統(tǒng)的“行式存儲(chǔ)”的關(guān)系型數(shù)據(jù)庫(kù)，它在進(jìn)行分析查詢(xún)時(shí)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)需要緩慢地讀取整個(gè)表的每一行，這種讀取方式通常會(huì)阻塞I/O通道、內(nèi)存和磁盤(pán)，而它僅需讀取查詢(xún)所需的列，其垂直分區(qū)策略不僅能夠支持大量的用戶(hù)、大規(guī)模數(shù)據(jù)，還可以提交對(duì)商業(yè)信息的高速訪(fǎng)問(wèn)，其速度可達(dá)到傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的百倍甚至千倍。

另外，它所采用的Multiplex技術(shù)，充分利用了單個(gè)服務(wù)器（節(jié)點(diǎn)）在執(zhí)行特定功能時(shí)可進(jìn)行磁盤(pán)存儲(chǔ)共享并通用的優(yōu)勢(shì)。也就是說(shuō)，存儲(chǔ)是共享的、壓縮的、列分區(qū)存儲(chǔ)的，它們通過(guò)一條高速的光纖通道與Multiplex架構(gòu)中的所有服務(wù)器節(jié)點(diǎn)互聯(lián)。這些服務(wù)器節(jié)點(diǎn)既可以作為數(shù)據(jù)讀節(jié)點(diǎn)也可以作為寫(xiě)節(jié)點(diǎn)（或者兩者都是）運(yùn)行，支持所有連接到共享數(shù)據(jù)源的并發(fā)的數(shù)據(jù)加載和查詢(xún)。這一技術(shù)使得它可以在大量的使用場(chǎng)景中游刃有余，比如快速的并行分析和報(bào)表，同時(shí)支持高速的實(shí)時(shí)數(shù)據(jù)加載、批量數(shù)據(jù)集成任務(wù)、即席客戶(hù)端加載和查詢(xún)等等。

容量和效率的“內(nèi)斗”

對(duì)于大數(shù)據(jù)有很多看法?；趶目蛻?hù)那里了解的工作負(fù)載要求，NetApp的看法是，將大數(shù)據(jù)分為三大類(lèi)，即：大分析（Big Analytics），幫助獲得洞見(jiàn)。高帶寬（Big Bandwidth），幫助走得更快。大內(nèi)容（Big Content），不丟失任何信息。

絕對(duì)數(shù)據(jù)量退居“二線(xiàn)”

目前很多試圖應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)的IT經(jīng)理們把更多注意力都放在了信息的量上，而忽視了信息管理的其他方面，對(duì)此，NetApp大中華區(qū)系統(tǒng)技術(shù)及專(zhuān)業(yè)服務(wù)部總監(jiān)何英華表示，不論在傳統(tǒng)數(shù)據(jù)中心建設(shè)，還是在先進(jìn)的“云計(jì)算”數(shù)據(jù)中心架構(gòu)設(shè)計(jì)中，我國(guó)大中型企事業(yè)單位用戶(hù)和一些領(lǐng)先的集成商，對(duì)數(shù)據(jù)使用、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理工作等諸多方面的關(guān)注，早已遠(yuǎn)遠(yuǎn)超出了單純的“存儲(chǔ)容量、存儲(chǔ)介質(zhì)”甚至“存儲(chǔ)訪(fǎng)問(wèn)協(xié)議”的范疇。

舉例來(lái)說(shuō)，何英華團(tuán)隊(duì)中的咨詢(xún)顧問(wèn)專(zhuān)家多次表示，早在8～9年前，當(dāng)PATA磁盤(pán)剛剛在企業(yè)存儲(chǔ)系統(tǒng)市場(chǎng)展露頭角的時(shí)候就已經(jīng)發(fā)現(xiàn)，在與那些高水平的用戶(hù)進(jìn)行交流時(shí)，他們最為關(guān)注的不是PATA，或者隨后出現(xiàn)的SATA本身。換句話(huà)說(shuō)，除了ATA介質(zhì)所帶來(lái)的單盤(pán)高密度存儲(chǔ)特性，用戶(hù)最為關(guān)注的反而是附加在大容量存儲(chǔ)系統(tǒng)上面的一系列存儲(chǔ)優(yōu)化功能，如：RAID-DP、DeDup、FlexClone等技術(shù)上。這個(gè)發(fā)現(xiàn)恰好對(duì)“數(shù)據(jù)量”和“管理、使用”在關(guān)注程度上的差異提供了一個(gè)十分明顯的對(duì)比。剛才提到的這些技術(shù)，也正是“大數(shù)據(jù)”概念下，實(shí)現(xiàn)“數(shù)據(jù)分析”、“優(yōu)化數(shù)據(jù)帶寬”、“理順數(shù)據(jù)組織方式”的前提和基礎(chǔ)?？陀^地講，隨著“大數(shù)據(jù)”概念的提出，越來(lái)越多的IT管理者對(duì)“數(shù)據(jù)分析”、“數(shù)據(jù)帶寬”、“內(nèi)容合理組織”等話(huà)題的關(guān)注，不是“忽如一夜春風(fēng)來(lái)”，而恰恰是由來(lái)已久了。他們對(duì)絕對(duì)數(shù)據(jù)量的關(guān)注，已經(jīng)逐漸退居到從屬地位了。

先求“最大公約數(shù)”，再求“最小公倍數(shù)”

何英華:用戶(hù)對(duì)絕對(duì)數(shù)據(jù)量的關(guān)注，已經(jīng)逐漸退居到從屬地位了。

當(dāng)提到“大數(shù)據(jù)”概念的時(shí)候，有兩個(gè)值得思考的問(wèn)題：當(dāng)性能不再是關(guān)鍵需求時(shí)，存儲(chǔ)容量對(duì)公司究竟有多重要？這兩個(gè)有分歧的要求能在同一市場(chǎng)、解決方案和設(shè)備中共存嗎？何英華的發(fā)現(xiàn)是，當(dāng)今的環(huán)境下，尤其是“云計(jì)算”、“大數(shù)據(jù)”等概念層出不窮的特定“語(yǔ)境”下，穩(wěn)定／可靠性、性能、容量／高密度容量、多手段數(shù)據(jù)保護(hù)仍然是幾乎每一個(gè)客戶(hù)所關(guān)注的。雖然他們各自關(guān)注的重點(diǎn)不同，但是把這些要素放到一起，它們之間并不是有分歧的，或者說(shuō)，它們彼此應(yīng)該是互為因果、互為支撐的。比如說(shuō)，沒(méi)有長(zhǎng)期的歷史數(shù)據(jù)積累，也就無(wú)從談到客觀、準(zhǔn)確的數(shù)據(jù)分析預(yù)測(cè)；沒(méi)有準(zhǔn)確、迅速的數(shù)據(jù)挖掘過(guò)程，也就無(wú)從談到有效、到位的決策輔助支撐。在日益復(fù)雜的應(yīng)用要求下，將不同的要素加以合理擺放、分別解決，十分重要。

何英華笑著談到了一家中國(guó)頂級(jí)在線(xiàn)數(shù)據(jù)服務(wù)商的CIO，他曾經(jīng)這樣對(duì)NetApp的銷(xiāo)售和技術(shù)人員說(shuō)——“面對(duì)紛繁復(fù)雜的業(yè)務(wù)需求，進(jìn)而需要翻譯成恰當(dāng)?shù)募夹g(shù)需求時(shí)，不妨用一種簡(jiǎn)便又不簡(jiǎn)單的方法來(lái)處理，那就是，先求‘最大公約數(shù)’，再求‘最小公倍數(shù)’，給出適當(dāng)安全余量，明確步驟，加以實(shí)現(xiàn)”。

事實(shí)上，“云計(jì)算”、“大數(shù)據(jù)”的核心需求發(fā)端于在線(xiàn)服務(wù)和互聯(lián)網(wǎng)行業(yè)，它們“開(kāi)放”、“共享”、“快捷”的行業(yè)特性，不僅改寫(xiě)了技術(shù)發(fā)展的進(jìn)程，也定義了很多技術(shù)發(fā)展的趨勢(shì)。當(dāng)然，在傳統(tǒng)的電信、金融服務(wù)領(lǐng)域，對(duì)這些用戶(hù)而言，毋庸置疑，擺在他們面前的，是大量的數(shù)據(jù)、大量的設(shè)備、大量的管理維護(hù)工作量，但是不意味著“性能、穩(wěn)定／可靠性、多手段數(shù)據(jù)保護(hù)”等要素不重要。用戶(hù)應(yīng)該采用一系列的技術(shù)手段、定制一系列的管理規(guī)程，來(lái)規(guī)范各個(gè)要素的相互關(guān)系，或者說(shuō)，做到“平衡”，一種有所側(cè)重的“平衡”。

在部署中發(fā)現(xiàn)、解決問(wèn)題

“大數(shù)據(jù)”系統(tǒng)的部署過(guò)程確實(shí)是一個(gè)發(fā)現(xiàn)問(wèn)題、解決問(wèn)題的過(guò)程，對(duì)不同的用戶(hù)，不同的應(yīng)用，NetApp都有成型的不同的解決方案集供他們參考。

在大數(shù)據(jù)部署的過(guò)程中，何英華和他的團(tuán)隊(duì)發(fā)現(xiàn)常見(jiàn)的問(wèn)題往往有：

對(duì)現(xiàn)有業(yè)務(wù)條件和未來(lái)業(yè)務(wù)目標(biāo)定位模糊，熱議但缺乏審視，就好像中國(guó)IT行業(yè)幾乎一夜之間都在談?wù)摗霸朴?jì)算”，都在談?wù)揝aaS、軟件即服務(wù)一樣。中國(guó)有句話(huà)，放在這里可能不是特別貼切，不過(guò)這句話(huà)說(shuō)“老吾老以及人之老”，“幼吾幼以及人之幼”，說(shuō)得是尊老愛(ài)幼之道，對(duì)數(shù)據(jù)中心建設(shè)而言呢？應(yīng)該也是，先建設(shè)好自己的數(shù)據(jù)中心，再去給別人提供數(shù)據(jù)中心外包服務(wù)?；蛘哒f(shuō)，以良好的基礎(chǔ)，提供適度的服務(wù)。否則，“云計(jì)算”、“大數(shù)據(jù)”的建設(shè)可能流于形式。

參考國(guó)外先進(jìn)案例時(shí)，疏忽于適用性檢查。NetApp的用戶(hù)中不乏搜索、線(xiàn)上視頻、線(xiàn)上音樂(lè)等行業(yè)的領(lǐng)軍企業(yè)。這些用戶(hù)也很樂(lè)意向他們學(xué)習(xí)、取經(jīng)，這都是好事。不過(guò)有時(shí)大家容易關(guān)注光鮮亮麗的方面，疏于比較彼此之間的差異。

關(guān)注概念本身、技術(shù)選項(xiàng)本身大于關(guān)注“平衡”的全局等。有這些問(wèn)題，本身是正常的。因?yàn)檫@個(gè)時(shí)代決定了用戶(hù)的很多動(dòng)向都是帶有“試驗(yàn)”性質(zhì)的。我們的建議是明確定義自己的需求，以開(kāi)放的心態(tài)多與同行、廠(chǎng)商、集成商、行業(yè)專(zhuān)家進(jìn)行探討，共同分析問(wèn)題、解決問(wèn)題。

讓大數(shù)據(jù)在“云端”奔跑

進(jìn)入“大數(shù)據(jù)”時(shí)代，出現(xiàn)了不少新興的數(shù)據(jù)挖掘技術(shù)，使得對(duì)數(shù)據(jù)財(cái)富的儲(chǔ)存、處理和分析變得比以往任何時(shí)候都更便宜、更快速了。只要有了超級(jí)計(jì)算環(huán)境，那么大數(shù)據(jù)技術(shù)就能被眾多的企業(yè)所用，從而改變很多行業(yè)經(jīng)營(yíng)業(yè)務(wù)的的方式。

目前很多試圖應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)的IT經(jīng)理們把更多注意力都放在了數(shù)據(jù)的量上，談到大數(shù)據(jù)，數(shù)據(jù)量固然是重要且必要，但不是唯一必要的條件，在信息管理及流程管理等方面也是不容忽視的，。未來(lái)的數(shù)據(jù)將呈指數(shù)級(jí)增長(zhǎng)，如果過(guò)度地將重心放在數(shù)據(jù)量問(wèn)題上了，大數(shù)據(jù)的權(quán)重給得太高，可能導(dǎo)致決策短視，阻礙企業(yè)信息架構(gòu)擴(kuò)張以滿(mǎn)足不斷變化的業(yè)務(wù)需要。

對(duì)于“大挑戰(zhàn)”，業(yè)內(nèi)專(zhuān)家表示，可以從三個(gè)層面來(lái)看待，首先從技術(shù)方面來(lái)說(shuō)，大數(shù)據(jù)的存儲(chǔ)和分析是沒(méi)有問(wèn)題的，服務(wù)器的性能可以滿(mǎn)足數(shù)據(jù)裝載、加工、提煉和分析的要求。第二個(gè)挑戰(zhàn)，多結(jié)構(gòu)化的數(shù)據(jù)是需要有人才來(lái)了解新類(lèi)型的數(shù)據(jù)，而人才的培養(yǎng)和訓(xùn)練機(jī)制對(duì)每一個(gè)業(yè)者及企業(yè)都是一個(gè)挑戰(zhàn)。一般來(lái)說(shuō)，多結(jié)構(gòu)化數(shù)據(jù)不可能經(jīng)過(guò)一次提煉就得到結(jié)果，可能需要周而復(fù)始重復(fù)針對(duì)數(shù)據(jù)做出一連串提煉加工，才能分析出來(lái)有用的信息，讓企業(yè)使用并產(chǎn)生價(jià)值，也就是說(shuō)，分析的工具是要能被重復(fù)使用，好像是主程序呼叫子程序，在主程序?qū)⒉煌膮?shù)傳給子程序，就可以得到所所需要的結(jié)果。所以合適的工具是加速人才培育的一種方法。最大的挑戰(zhàn)是要分析哪一類(lèi)的數(shù)據(jù)？做什么樣的提煉？提煉出的信息如何產(chǎn)生業(yè)務(wù)的價(jià)值，產(chǎn)生業(yè)務(wù)價(jià)值以后怎么樣導(dǎo)入到整個(gè)企業(yè)的流程管理層面。大數(shù)據(jù)面臨著大挑戰(zhàn)，不過(guò)，如果企業(yè)可以解決這些問(wèn)題，并且從中吸取經(jīng)驗(yàn)，那這些大挑戰(zhàn)就是機(jī)遇。

云計(jì)算和大數(shù)據(jù)是當(dāng)前兩個(gè)相伴而生的重要趨勢(shì)。企業(yè)的IT環(huán)境越來(lái)越龐大，IT系統(tǒng)的管理和維護(hù)越來(lái)越復(fù)雜，企業(yè)IT投資的70%以上都用于IT系統(tǒng)本身的管理和維護(hù)，只有不到30%的投資用在了企業(yè)的業(yè)務(wù)發(fā)展上。云計(jì)算技術(shù)可以實(shí)現(xiàn)I T資源的自動(dòng)化管理和配置，降低IT管理的復(fù)雜性，提高資源利用效率。對(duì)IT企業(yè)來(lái)說(shuō)，需要按照云計(jì)算技術(shù)的特點(diǎn)轉(zhuǎn)變業(yè)務(wù)模式，以服務(wù)的方式提供IT技術(shù)。

“云計(jì)算和大數(shù)據(jù)不是對(duì)立的，因?yàn)樵朴?jì)算是一個(gè)使用的模式，為企業(yè)提供了一些便利性和使用方面的經(jīng)濟(jì)實(shí)惠，因?yàn)槭前葱璺?wù)?！盩eradata天睿公司大中華區(qū)產(chǎn)品技術(shù)及業(yè)務(wù)支持副總經(jīng)理張錦滄表示，“一個(gè)很大的企業(yè)，本身就有非常多的數(shù)據(jù)，他們的數(shù)據(jù)是建在自己的一個(gè)平臺(tái)，也是一個(gè)云的計(jì)算，是沒(méi)有被外部人使用的。不一定是大數(shù)據(jù)就一定要在云計(jì)算上面做建制和實(shí)施的，是可以有選擇性的。云計(jì)算使大量數(shù)據(jù)集中，對(duì)中小企業(yè)的使用來(lái)講，除了使用個(gè)體的公司自己的數(shù)據(jù)之外，還可以跨產(chǎn)業(yè)或者是跨公司進(jìn)行宏觀的分析?！盩eradata天睿公司的另一個(gè)專(zhuān)業(yè)：企業(yè)數(shù)據(jù)倉(cāng)庫(kù)解決方案，它是集合企業(yè)內(nèi)不同業(yè)務(wù)部門(mén)的數(shù)據(jù)，來(lái)達(dá)成單一視圖， 現(xiàn)在企業(yè)數(shù)據(jù)倉(cāng)庫(kù)也可以和大數(shù)據(jù)分析整合，讓企業(yè)的分析視角更廣、更全面。

云計(jì)算的大趨勢(shì)已毋庸置疑，而正當(dāng)它被企業(yè)逐漸認(rèn)識(shí)和部署的時(shí)候，業(yè)界領(lǐng)袖們又將目光瞄向了下一個(gè)目標(biāo)——大數(shù)據(jù)?，F(xiàn)在，是IT創(chuàng)新者重新思考的時(shí)候了，通過(guò)云計(jì)算與大數(shù)據(jù)的碰撞，最終會(huì)為企業(yè)帶來(lái)多少“價(jià)值”，從而獲得更多隱藏在大數(shù)據(jù)中的機(jī)會(huì)。

張錦滄：對(duì)IT企業(yè)來(lái)說(shuō)，需要按照云計(jì)算技術(shù)的特點(diǎn)轉(zhuǎn)變業(yè)務(wù)模式，以服務(wù)的方式提供IT技術(shù)。

“機(jī)會(huì)”在“集成”

不久前，F(xiàn)acebook宣布其用戶(hù)量目前已超過(guò)7.5億，每天的分享次數(shù)達(dá)40億。這是一個(gè)非常巨大的數(shù)據(jù)。

根據(jù)IDC的預(yù)測(cè)，從2009年到2020年，數(shù)據(jù)總量將增長(zhǎng)44倍，達(dá)到35ZB。在海量的數(shù)據(jù)面前，對(duì)于以數(shù)據(jù)為中心的企業(yè)而言，數(shù)據(jù)的質(zhì)量至關(guān)重要。

不久前，世界電信產(chǎn)業(yè)界富有權(quán)威性的中立咨詢(xún)顧問(wèn)公司Ovum公布了一份題為“優(yōu)化企業(yè)應(yīng)用：數(shù)據(jù)連接”的最新研究報(bào)告指出：“無(wú)論應(yīng)用平臺(tái)的架構(gòu)有多么精良，或開(kāi)發(fā)團(tuán)隊(duì)的效率有多高，在基礎(chǔ)數(shù)據(jù)及其管理策略存在缺陷的情況下，所有為改進(jìn)應(yīng)用管理和交付所做的努力都將是徒勞無(wú)功的?！睖?zhǔn)確地指明了數(shù)據(jù)蔓延和劣質(zhì)數(shù)據(jù)是導(dǎo)致不良應(yīng)用程序管理和性能的罪魁禍?zhǔn)祝敝傅土拥臄?shù)據(jù)與實(shí)施或運(yùn)行應(yīng)用程序的初衷“背道而馳”。

簡(jiǎn)單來(lái)說(shuō)，沒(méi)有良好的數(shù)據(jù)，沒(méi)有更加良好的數(shù)據(jù)管理策略，用于業(yè)務(wù)應(yīng)用的投資將隨著應(yīng)用組合在企業(yè)內(nèi)的增長(zhǎng)和擴(kuò)展而日漸縮水。對(duì)于期望在擴(kuò)大的企業(yè)范圍內(nèi)利用交易數(shù)據(jù)和和社交媒體數(shù)據(jù)的企業(yè)來(lái)說(shuō)，實(shí)施一個(gè)大數(shù)據(jù)集成平臺(tái)是當(dāng)務(wù)之急。這意味著各組織機(jī)構(gòu)必須有效地管理數(shù)據(jù)生命周期的每個(gè)階段，運(yùn)用信息生命周期管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)服務(wù)、主數(shù)據(jù)管理和其它規(guī)則與技術(shù)，以便優(yōu)化性能并提高其業(yè)務(wù)應(yīng)用組合的投資回報(bào)率。

Informatica公司主席兼首席執(zhí)行官Sohaib Abbasi指出：云計(jì)算、社交計(jì)算和移動(dòng)計(jì)算這些特大趨勢(shì)目前已相互交匯，在接下來(lái)的五年當(dāng)中，計(jì)算機(jī)行業(yè)將因此而發(fā)生改變。而這些趨勢(shì)也正在把數(shù)據(jù)集成提升為最重要的戰(zhàn)略性技術(shù)之一。

這些趨勢(shì)決定著最重要的業(yè)務(wù)需要。全球化要求企業(yè)現(xiàn)代化以保持競(jìng)爭(zhēng)力；行業(yè)整合要求在合并后能成功地集成；增長(zhǎng)需要以客戶(hù)為中心和靈活性；運(yùn)營(yíng)效率要求優(yōu)化業(yè)務(wù)流程，包括外包；治理則需要相應(yīng)的企業(yè)風(fēng)險(xiǎn)和合規(guī)項(xiàng)目。

所有這些業(yè)務(wù)需要都要求IT部門(mén)提供關(guān)鍵數(shù)據(jù)。但I(xiàn)T部門(mén)卻常常提供不了這些數(shù)據(jù)，因?yàn)閿?shù)據(jù)擱置在多個(gè)系統(tǒng)中，包括部署在內(nèi)部的系統(tǒng)和云系統(tǒng)。毫無(wú)疑問(wèn)，數(shù)據(jù)是決定這些業(yè)務(wù)變革是成功還是失敗的關(guān)鍵。這就促使很多垂直行業(yè)領(lǐng)域和世界各地的企業(yè)都渴望成為以數(shù)據(jù)為中心的企業(yè)，而數(shù)據(jù)集成則比以往都來(lái)得更現(xiàn)實(shí)、更優(yōu)先、更緊迫。

在過(guò)去40年中，關(guān)系型技術(shù)架構(gòu)是為了管理結(jié)構(gòu)化交易數(shù)據(jù)而優(yōu)化的。而現(xiàn)在出現(xiàn)了一種新的架構(gòu)，是用來(lái)管理大數(shù)據(jù)的（包括社交互動(dòng)數(shù)據(jù)）。這個(gè)新的架構(gòu)就是Hadoop。對(duì)于大社交數(shù)據(jù)而言，只有Hadoop的并行處理才能提供尚可接受的性能。要全部釋放社交媒體的好處，其挑戰(zhàn)就是要能把關(guān)系型交易和社交互動(dòng)這兩個(gè)環(huán)境集成起來(lái)。

正是清楚認(rèn)識(shí)到數(shù)據(jù)集成在“大數(shù)據(jù)”時(shí)代的機(jī)遇重重，今年6月，Informatica成功地推出了創(chuàng)新的Informatica 9.1 for Big Data，這是專(zhuān)門(mén)為大數(shù)據(jù)而構(gòu)建的統(tǒng)一數(shù)據(jù)集成平臺(tái)。這個(gè)平臺(tái)的開(kāi)發(fā)目標(biāo)非常明確，這就是將海量數(shù)據(jù)帶來(lái)的挑戰(zhàn)轉(zhuǎn)化為重大機(jī)遇。軟件在大數(shù)據(jù)集成的三個(gè)方面提供了創(chuàng)新和全新功能：

與海量交易數(shù)據(jù)的連接。9.1版本提供的一個(gè)全新關(guān)系/數(shù)據(jù)倉(cāng)庫(kù)設(shè)備包可將該連接擴(kuò)展到專(zhuān)為大數(shù)據(jù)定制的解決方案。不僅如此，它通過(guò)與OLTP和在線(xiàn)分析處理（OLAP）數(shù)據(jù)存儲(chǔ)的本地連接，提供了對(duì)高流量的交易數(shù)據(jù)的訪(fǎng)問(wèn)，最大可達(dá)拍字節(jié)。

與海量交互數(shù)據(jù)的連接。借助于產(chǎn)品所提供的與新型社交媒體的連接器，訪(fǎng)問(wèn)如 Facebook、Twitter、LinkedIn 和其它媒體等新數(shù)據(jù)源。將數(shù)據(jù)收集范圍擴(kuò)大到企業(yè)所在行業(yè)的新興價(jià)值數(shù)據(jù)集，包括設(shè)備和傳感器、CDR、海量圖像文件。

海量數(shù)據(jù)處理。Informatica 9.1提供了新連接功能，可讓I T部門(mén)將來(lái)自任何來(lái)源的數(shù)據(jù)輸入Hadoop，同時(shí)從Hadoop中抽取數(shù)據(jù)發(fā)送給任何目標(biāo)。此外，該連接還允許對(duì)Hadoop中的數(shù)據(jù)應(yīng)用Informatica數(shù)據(jù)質(zhì)量、數(shù)量探查和其它技術(shù)。對(duì)于在Hadoop系統(tǒng)內(nèi)外合并交易和交互數(shù)據(jù)的企業(yè)來(lái)說(shuō)，這些功能提供了全新的可能性。