大數(shù)據(jù) 沒有唯一的銀彈

霍娜

Hadoop可實(shí)現(xiàn)海量擴(kuò)展和基礎(chǔ)查詢，卻不能完成企業(yè)級(jí)高性能分析；內(nèi)存計(jì)算只適合一部分高性能并發(fā)的熱點(diǎn)數(shù)據(jù)；MPP（大規(guī)模并行處理）數(shù)據(jù)庫有很好的擴(kuò)展性，但在OLTP和成本上卻沒有優(yōu)勢(shì)……沒有一種技術(shù)可以涵蓋大數(shù)據(jù)所有的數(shù)據(jù)需求。

“大數(shù)據(jù)沒有唯一的銀彈，沒有單一的大數(shù)據(jù)產(chǎn)品能夠滿足互聯(lián)網(wǎng)時(shí)代的傳統(tǒng)企業(yè)的大數(shù)據(jù)需求?！?月18日，Pivotal大中國區(qū)總經(jīng)理劉偉光在接受記者采訪時(shí)如是說。Pivotal公司致力于提供企業(yè)級(jí)云平臺(tái)和大數(shù)據(jù)平臺(tái)，由EMC、VMware、GE在2013年4月共同投資成立。

第三平臺(tái)

企業(yè)為了提高業(yè)務(wù)彈性，快速響應(yīng)業(yè)務(wù)需求，同時(shí)更靈活、高效地管理IT系統(tǒng)，降低成本，需要一個(gè)高度自動(dòng)化的基礎(chǔ)平臺(tái)，對(duì)下打通資源池、集群、虛機(jī)等管理，對(duì)上嫁接各種中間件、數(shù)據(jù)庫、開發(fā)工具，同時(shí)為上層的應(yīng)用軟件提供支持。這正是Pivotal的努力方向——第三平臺(tái)。所謂“第三平臺(tái)”是指建立在移動(dòng)設(shè)備、云服務(wù)、社交網(wǎng)絡(luò)和大數(shù)據(jù)分析的基礎(chǔ)之上，實(shí)現(xiàn)云計(jì)算、大數(shù)據(jù)、社交移動(dòng)化的統(tǒng)一管理的平臺(tái)。第三平臺(tái)已經(jīng)成為EMC公司的發(fā)展戰(zhàn)略，而Pivotal在EMC第三平臺(tái)戰(zhàn)略中扮演著重要的角色。

“第三平臺(tái)說起來陌生，但是其實(shí)大家每天都在使用第三平臺(tái)。微信就是第三平臺(tái)一個(gè)重要的典范，它集成了客戶群、數(shù)據(jù)、很多新開發(fā)的應(yīng)用，從最早只有通話功能，到現(xiàn)在的商店、賣彩票、錢包等多種應(yīng)用疊加，在一個(gè)整體架構(gòu)下微信不斷增加新應(yīng)用，并且實(shí)現(xiàn)數(shù)據(jù)共享和管理，是互聯(lián)網(wǎng)級(jí)別的第三平臺(tái)的典范。企業(yè)應(yīng)用中也有很多第三平臺(tái)。很多傳統(tǒng)企業(yè)會(huì)把原有的業(yè)務(wù)從線下搬到線上，很多應(yīng)用不再只供企業(yè)內(nèi)部使用，而是要將數(shù)據(jù)、應(yīng)用開放，使更多外部客戶和內(nèi)部員工參與這個(gè)平臺(tái)數(shù)據(jù)的交互?！眲ス膺M(jìn)一步向記者解釋說。

“建立一個(gè)在云上的基于IaaS和PaaS的數(shù)據(jù)解決方案來簡(jiǎn)化用戶的應(yīng)用程序開發(fā)、維護(hù)和管理的平臺(tái)是未來Pivotal的使命?！眲ス饨榻B，Pivotal One是Pivotal引領(lǐng)下一代計(jì)算的主要平臺(tái)產(chǎn)品，包含三條重要產(chǎn)品線——主要由Greenplum數(shù)據(jù)庫、Hadoop和HAWQ（利用SQL語句實(shí)現(xiàn)Hadoop操作）組成的大數(shù)據(jù)產(chǎn)品線，由GemFire、SQLFire產(chǎn)品組合的內(nèi)存數(shù)據(jù)庫產(chǎn)品線，以及以Clound Foundry為主，支持各種應(yīng)用開發(fā)平臺(tái)和中間件的PaaS平臺(tái)。

Clound Foundry承上啟下，對(duì)下可進(jìn)行所有資源的管理，能夠跟硬件資源、公有云平臺(tái)、虛擬化、OpenStack、VMware進(jìn)行非常有效的集成，它提供了很多對(duì)外的接口，如數(shù)據(jù)庫服務(wù)、Hadoop、快速數(shù)據(jù)處理、內(nèi)存計(jì)算、數(shù)據(jù)分析等。該P(yáng)aaS平臺(tái)同時(shí)可以支持各種應(yīng)用開發(fā)平臺(tái)、中間件，如Spring、MySQL、消費(fèi)中間件等，提供開發(fā)技術(shù)的接口，讓基于這些平臺(tái)開發(fā)的軟件，可以很容易實(shí)現(xiàn)信息和資源的共享，打通各種業(yè)務(wù)應(yīng)用。它也可以支持多種數(shù)據(jù)支撐平臺(tái)，如GreenPlum、Hadoop、SQL Fire、HAWQ和GemFire等，這些開發(fā)工具或者平臺(tái)，或者提供分布式數(shù)據(jù)庫支持，或者提供內(nèi)存集群技術(shù)，可以有效集成各種數(shù)據(jù)管理和分析工具及其應(yīng)用。

數(shù)據(jù)需求多種多樣

據(jù)悉，12306是Pivotal在國內(nèi)的重要客戶。其GemFire內(nèi)存集群技術(shù)幫助12306將數(shù)據(jù)訪問速度大幅提升。借助x86技術(shù)，Pivotal將訂票和查詢計(jì)算任務(wù)平均分配到每一臺(tái)x86服務(wù)器，替代了原有幾臺(tái)大型Unix 服務(wù)器，通過并行處理技術(shù)應(yīng)對(duì)12306網(wǎng)站的業(yè)務(wù)壓力，從而提升了訂票的滿意度。

“過去大多是互聯(lián)網(wǎng)公司在談大數(shù)據(jù)，但現(xiàn)在不僅是銀行、電信，還有很多制造企業(yè)、科研機(jī)構(gòu)、公安系統(tǒng)都在談大數(shù)據(jù)。數(shù)據(jù)處理需求多種多樣，可能是海量數(shù)據(jù)的存儲(chǔ)、查詢，也可能需要的是實(shí)時(shí)的查詢、計(jì)算，或者是高并發(fā)的計(jì)算處理，還可能是大量的數(shù)據(jù)分析，不同企業(yè)在不同階段對(duì)應(yīng)不同業(yè)務(wù)都有不同的數(shù)據(jù)處理需求。沒有一種技術(shù)可以涵蓋大數(shù)據(jù)真正需求的所有數(shù)據(jù)?！眲ス飧嬖V記者。

Hadoop可以實(shí)現(xiàn)海量擴(kuò)展和基礎(chǔ)的查詢，但卻實(shí)現(xiàn)不了企業(yè)級(jí)高性能的分析和查詢，這是Hadoop的局限性。MPP（大規(guī)模并行處理）數(shù)據(jù)庫有很好的擴(kuò)展性，但在OLTP（聯(lián)機(jī)事務(wù)處理）上有一定劣勢(shì)，也沒有Hadoop成本上的優(yōu)勢(shì)。內(nèi)存計(jì)算方式很快也有很多好處，但是它只適合一部分高性能并發(fā)的熱點(diǎn)數(shù)據(jù)。NoSQL數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)處理也都有各自的優(yōu)劣勢(shì)。沒有一種技術(shù)可以涵蓋大數(shù)據(jù)真正需求的所有數(shù)據(jù)，只有把這些數(shù)據(jù)集合在一起才是真正的大數(shù)據(jù)。

為了滿足客戶不同的數(shù)據(jù)處理需求，Pivotal今年4月推出了Pivotal大數(shù)據(jù)套件（Pivotal Big Data Suite）。該套件基于年度訂購方式，提供軟件、支持和維護(hù)，包括GemFire、GemFire XD、Greenplum數(shù)據(jù)庫、HAWQ、和Pivotal HD，靈活地為客戶提供一套大數(shù)據(jù)/快數(shù)據(jù)產(chǎn)品。

劉偉光介紹，大數(shù)據(jù)套件的技術(shù)架構(gòu)涵蓋了數(shù)據(jù)處理領(lǐng)域所有的需求，包括關(guān)系型數(shù)據(jù)庫、NoSQL、流計(jì)算、SQL on Hadoop、OLAP on Hadoop、OLTP on Hadoop、cache緩存、In-Memory DB、 In-Memory DataGrid、非關(guān)系型數(shù)據(jù)庫等，并且這些模塊之間的數(shù)據(jù)互聯(lián)互通，自由流動(dòng)，可以任意搭配來構(gòu)建靈活的企業(yè)級(jí)第三平臺(tái)數(shù)據(jù)架構(gòu)。對(duì)于底層用戶來說，互操作性和標(biāo)準(zhǔn)SQL的支持使得應(yīng)用開發(fā)和維護(hù)人員更容易上手，學(xué)習(xí)曲線降低；使得項(xiàng)目和應(yīng)用投產(chǎn)的周期縮短，風(fēng)險(xiǎn)降低。對(duì)于上層用戶來說，大數(shù)據(jù)套件完善友好的界面和豐富的操作接口可以使得沒有任何經(jīng)驗(yàn)的數(shù)據(jù)分析和使用人員也能很快地進(jìn)入狀態(tài)，專注于業(yè)務(wù)和邏輯的分析應(yīng)用。

流動(dòng)可變的許可證模式

紛繁復(fù)雜，企業(yè)需要單獨(dú)采購，用量固定，無法靈活組裝整個(gè)數(shù)據(jù)架構(gòu)。而Pivotal大數(shù)據(jù)套件采用流動(dòng)可變的許可證模式，依年限按內(nèi)核數(shù)量定價(jià)收費(fèi)?！氨热缒晨蛻舢?dāng)下有并行數(shù)據(jù)處理需求，但一年后又會(huì)有部分內(nèi)存數(shù)據(jù)處理需求，那他就可以選擇購買80個(gè)內(nèi)核的套件許可證，今年全部用于Greenplum產(chǎn)品，而一年之后將其中20個(gè)用于GemFire，60個(gè)保留給Greenplum?！?/p>

對(duì)于該套件的優(yōu)勢(shì)，劉偉光總結(jié)道：第一，統(tǒng)一定價(jià)模型，整合大數(shù)據(jù)產(chǎn)品，簡(jiǎn)化企業(yè)的選擇和流程；第二，流動(dòng)許可證模型，保證客戶的大數(shù)據(jù)技術(shù)投資與靈活的部署，從容應(yīng)對(duì)未知的大數(shù)據(jù)挑戰(zhàn)；第三，套件里的每一款產(chǎn)品都是領(lǐng)先的技術(shù)，擁有眾多成熟的國內(nèi)外客戶案例，遍布各行各業(yè)，同時(shí)這些產(chǎn)品之間還能夠無縫地?cái)?shù)據(jù)集成，自由流動(dòng)。endprint