大數(shù)據(jù)環(huán)境下的存儲(chǔ)挑戰(zhàn)

文 /Kim Wang(王叢)

亞馬遜推出的Prince Check軟件，讓消費(fèi)者可以在零售店通過(guò)智能手機(jī)掃描產(chǎn)品編碼，實(shí)時(shí)比價(jià)，在最近距離和傳統(tǒng)零售商爭(zhēng)奪客戶銷售額。Google每分鐘可以支持來(lái)自世界各地的70萬(wàn)次查詢。其強(qiáng)大的查詢引擎和IT架構(gòu)支撐，使得Google手機(jī)一上市就獲得較好成績(jī)。大數(shù)據(jù)讓零售無(wú)需店面，在最大限度降低投資同時(shí)，加快現(xiàn)金流周轉(zhuǎn)效率。大數(shù)據(jù)使各行各業(yè)商家提高獲取優(yōu)質(zhì)客戶資源和提升利潤(rùn)空間的同時(shí)，也使競(jìng)爭(zhēng)進(jìn)入“一兵一卒”用戶爭(zhēng)奪戰(zhàn)之中。

大數(shù)據(jù)時(shí)代，企業(yè)數(shù)據(jù)量和數(shù)據(jù)種類出現(xiàn)飛速增長(zhǎng)。大數(shù)據(jù)時(shí)代，全球應(yīng)用數(shù)量從幾年前的以十萬(wàn)為單位計(jì)算，到了以百萬(wàn)為單位計(jì)算。10年前，IT從業(yè)人員只是以百萬(wàn)計(jì)算，數(shù)據(jù)生成來(lái)源也比較單一，但現(xiàn)在,IT服務(wù)使用者已經(jīng)上升到十幾億的消費(fèi)者，數(shù)據(jù)生成來(lái)源更為豐富，是名副其實(shí)的大數(shù)據(jù)時(shí)代。同時(shí)，IT資源的配置和管理要滿足高度虛擬化或集群IT架構(gòu)的需求。企業(yè)應(yīng)用部署效率、業(yè)務(wù)穩(wěn)定服務(wù)性能，以及動(dòng)態(tài)有效滿足OLTP和OLAP性能要求，直接決定著企業(yè)核心競(jìng)爭(zhēng)力。企業(yè)要求存儲(chǔ)更靈活、更動(dòng)態(tài)、性能更穩(wěn)定，以支撐大量用戶對(duì)各種IT服務(wù)交付的能力。此外，大數(shù)據(jù)時(shí)代還需要集中、統(tǒng)一和自動(dòng)化管理的功能。

中橋2013年7月完成的中國(guó)大數(shù)據(jù)市場(chǎng)調(diào)查結(jié)果顯示了，中國(guó)市場(chǎng)針對(duì)大數(shù)據(jù)的需求所面臨的典型的存儲(chǔ)挑戰(zhàn)，就此我們看看此次EMC在米蘭發(fā)布的技術(shù)是如何解決這些大數(shù)據(jù)存儲(chǔ)挑戰(zhàn)的。

(1).業(yè)務(wù)關(guān)鍵型性能：就“存儲(chǔ)是否能滿足目前業(yè)務(wù)關(guān)鍵應(yīng)用性能”的調(diào)查結(jié)果顯示，接受調(diào)查人員(總計(jì)455名受訪者)中28.1%表示在未來(lái)12個(gè)月考慮部署新型存儲(chǔ)。36.5%用戶在未來(lái)12-24個(gè)月考慮部署新存儲(chǔ)。大數(shù)據(jù)時(shí)代，應(yīng)用使用者的快速增加，對(duì)存儲(chǔ)并行處理能力提出了更高要求。此外，生產(chǎn)應(yīng)用虛擬化產(chǎn)生大量隨機(jī)讀取，這就對(duì)傳統(tǒng)IOPs和時(shí)間延遲提出了挑戰(zhàn)。

EMC米蘭發(fā)布的MCx技術(shù)讓用戶可以通過(guò)多核并行處理方式，經(jīng)濟(jì)地提高大數(shù)據(jù)時(shí)代存儲(chǔ)對(duì)并行處理能力的需求。相對(duì)于通過(guò)增加控制器和磁盤形式提高存儲(chǔ)IOPs，這種多核動(dòng)態(tài)優(yōu)化技術(shù)更為經(jīng)濟(jì)，且不會(huì)增加管理強(qiáng)度和開支。此外，MCx結(jié)合靈活閃存技術(shù)，可以滿足大數(shù)據(jù)環(huán)境下不同應(yīng)用對(duì)IOPs或MBPs的性能需求，并降低時(shí)間延遲。

(2)存儲(chǔ)利用率：大數(shù)據(jù)時(shí)代數(shù)據(jù)量快速增加。如何通過(guò)存儲(chǔ)容量?jī)?yōu)化，降低存儲(chǔ)容量和網(wǎng)絡(luò)資源需求，降低數(shù)據(jù)保護(hù)過(guò)程對(duì)生產(chǎn)環(huán)境的性能影響，是控制大數(shù)據(jù)存儲(chǔ)新增開支的關(guān)鍵。

EMC的VNX產(chǎn)品支持壓縮和重復(fù)數(shù)據(jù)刪除，不僅降低存儲(chǔ)容量需求。同時(shí)，也降低數(shù)據(jù)傳輸過(guò)程中對(duì)網(wǎng)絡(luò)資源的需求。

(3)容量?jī)?yōu)化系統(tǒng)性能：為了提高存儲(chǔ)資源利用率和業(yè)務(wù)連續(xù)性，存儲(chǔ)廠商近年紛紛推出各種企業(yè)級(jí)功能。為了降低存儲(chǔ)管理強(qiáng)度，中端以上存儲(chǔ)具有多種工作負(fù)載性能監(jiān)控、動(dòng)態(tài)資源配置和自動(dòng)化端對(duì)端管理功能。然而，傳統(tǒng)存儲(chǔ)控制器處理能力有限，啟動(dòng)這些企業(yè)級(jí)功能需要消耗存儲(chǔ)控制器資源。用戶往往要在存儲(chǔ)資源優(yōu)化和生產(chǎn)性能之間做取舍。

EMC米蘭發(fā)布的MCx通過(guò)多核并行處理，讓控制器具有更強(qiáng)大的處理能力，保證啟用企業(yè)級(jí)功能不影響業(yè)務(wù)性能，實(shí)現(xiàn)優(yōu)化和高性能并舉。此外，通過(guò)控制信息和數(shù)據(jù)通道分流，徹底解決了控制信息和數(shù)據(jù)流資源爭(zhēng)用導(dǎo)致的性能問(wèn)題。保證大數(shù)據(jù)時(shí)代，在不同業(yè)務(wù)發(fā)展階段下應(yīng)用性能穩(wěn)定性的需求。

(4)在大數(shù)據(jù)時(shí)代如何利用各種已有存儲(chǔ)資源，為大數(shù)據(jù)時(shí)代的業(yè)務(wù)發(fā)展提供高可擴(kuò)展和業(yè)務(wù)連續(xù)性是關(guān)鍵。傳統(tǒng)存儲(chǔ)下，不同廠商的存儲(chǔ)之間無(wú)法實(shí)現(xiàn)快照、復(fù)制、備份和恢復(fù)，由此帶來(lái)數(shù)據(jù)保護(hù)的大量開支。同時(shí)，帶來(lái)存儲(chǔ)資源浪費(fèi)。

EMC的ViPR多種標(biāo)準(zhǔn) API，可部署在ViPR支持的任何文件存儲(chǔ)系統(tǒng)上，這種支持多種平臺(tái)的戰(zhàn)略和開放的可擴(kuò)展性能夠充分為大數(shù)據(jù)環(huán)境的跨平臺(tái)、資源靈活性和開源平臺(tái)提供IT支撐。用戶不僅可以在ViPR框架下支持第三方存儲(chǔ)設(shè)備，同時(shí)可以支撐開源技術(shù)。讓用戶可以利用服務(wù)器存儲(chǔ)、直連存儲(chǔ)、第三方網(wǎng)絡(luò)存儲(chǔ)，甚至是標(biāo)配磁盤技術(shù)，滿足大數(shù)據(jù)演進(jìn)過(guò)程的存儲(chǔ)需求。

大數(shù)據(jù)環(huán)境對(duì)系統(tǒng)性能要求非?？量?，要滿足應(yīng)用OLTP和大數(shù)據(jù)分析OLAP，以及業(yè)務(wù)關(guān)鍵型應(yīng)用的低延遲需求，傳統(tǒng)地通過(guò)增加控制器和硬盤這一解決方式不僅帶來(lái)高昂的采購(gòu)、運(yùn)維成本和占地空間成本，而且還會(huì)導(dǎo)致資源的閑置，從而進(jìn)一步降低了企業(yè)的IT總擁有成本。EMC的MCx多核優(yōu)化并行處理技術(shù)，讓用戶能更為經(jīng)濟(jì)有效地滿足大數(shù)據(jù)對(duì)于IOPs的需求。靈活的閃存技術(shù)選擇讓用戶滿足業(yè)務(wù)關(guān)鍵應(yīng)用和高虛擬機(jī)密度，以及桌面虛擬化對(duì)高IOPs和低延遲的需求。同時(shí)從戰(zhàn)略維度來(lái)看，EMC軟件定義存儲(chǔ)ViPR，對(duì)異構(gòu)平臺(tái)和第三方技術(shù)的整合能力和對(duì)開源平臺(tái)的支撐，不僅實(shí)現(xiàn)資源配置和管理效率，同時(shí)通過(guò)管理和數(shù)據(jù)的分離，讓企業(yè)可以逐步從部署管理存儲(chǔ)設(shè)備向根據(jù)SLA需求動(dòng)態(tài)提供存儲(chǔ)服務(wù)，實(shí)現(xiàn)自動(dòng)化提高集中統(tǒng)一管理的目的。