如何存儲(chǔ)“冷數(shù)據(jù)”？

文 本刊記者 郭嘉凱

“冷數(shù)據(jù)”的存儲(chǔ)和管理，已經(jīng)成為企業(yè)數(shù)據(jù)中心存儲(chǔ)方面的一大難題和挑戰(zhàn)。

移動(dòng)終端、云計(jì)算、物聯(lián)網(wǎng)的普及，使得數(shù)據(jù)量正在以前所未有的速度高速增長(zhǎng)。

在中國(guó)，這一趨勢(shì)表現(xiàn)得更加明顯：2013年，中國(guó)新增智能手機(jī)數(shù)量將達(dá)到3.8億。而微信的用戶數(shù)量則已超過(guò)4億，比去年增長(zhǎng)了4倍。在這些數(shù)字背后的，是數(shù)據(jù)產(chǎn)生量與訪問(wèn)量的爆炸性增長(zhǎng)。有關(guān)機(jī)構(gòu)預(yù)測(cè)：2013年，中國(guó)將產(chǎn)生超過(guò)8.6PB的數(shù)據(jù)。而且，這一飛速的增長(zhǎng)趨勢(shì)正隨著中國(guó)政府出臺(tái)促進(jìn)信息消費(fèi)政策而被進(jìn)一步激發(fā)，朝著更多樣化、數(shù)量更多的聯(lián)網(wǎng)設(shè)備終端，更為海量的數(shù)據(jù)以及應(yīng)他們所需而生的更為豐富的信息服務(wù)和應(yīng)用的方向發(fā)展。“從數(shù)據(jù)中心到平板電腦、手機(jī)和可穿戴等超移動(dòng)設(shè)備，計(jì)算產(chǎn)業(yè)各領(lǐng)域正在經(jīng)歷一場(chǎng)激動(dòng)人心的革命?！庇⑻貭柟救蚋笨偛谩⒅袊?guó)區(qū)總裁楊敘如是說(shuō)道。

數(shù)據(jù)存儲(chǔ)面臨窘境

顯然，在這個(gè)計(jì)算無(wú)處不在、數(shù)據(jù)包圍生活的時(shí)代，企業(yè)用戶也必須直面這場(chǎng)“數(shù)據(jù)風(fēng)暴”。事實(shí)上，隨著用戶數(shù)據(jù)的集中化，企業(yè)的數(shù)據(jù)中心正在承受著越來(lái)越大的存儲(chǔ)壓力，尤其是對(duì)于一些大規(guī)模數(shù)據(jù)中心而言，更是如此。

英特爾（中國(guó)）有限公司平臺(tái)事業(yè)部總經(jīng)理BrentYoung：：“凌動(dòng)處理器C2000的面世，將會(huì)幫助用戶更好地應(yīng)對(duì)數(shù)據(jù)增長(zhǎng)，特別是對(duì)冷數(shù)據(jù)的存儲(chǔ)和管理?！?/p>

特別是隨著云數(shù)據(jù)中心的出現(xiàn)，一些超大規(guī)模的數(shù)據(jù)中心，服務(wù)器、存儲(chǔ)設(shè)備的數(shù)量可以達(dá)到幾萬(wàn)臺(tái)甚至十萬(wàn)臺(tái)以上。在這種情況下，數(shù)據(jù)中心所面臨的數(shù)據(jù)存儲(chǔ)和管理壓力可以用巨大來(lái)形容?？梢韵胂笠幌拢簲?shù)據(jù)中心的數(shù)據(jù)量以每年50%的速度增加，但企業(yè)IT部門(mén)留給存儲(chǔ)的預(yù)算每年則只有1%到5%的增加，這一供、需之間的矛盾，使得企業(yè)IT部門(mén)在數(shù)據(jù)存儲(chǔ)上面臨著捉襟見(jiàn)肘的窘境。

降低“冷數(shù)據(jù)”存儲(chǔ)成本

怎樣才能化解這一窘境？

如果我們對(duì)數(shù)據(jù)中心內(nèi)的數(shù)據(jù)進(jìn)行分析，就會(huì)發(fā)現(xiàn)這些數(shù)據(jù)其實(shí)存在一些差異：一些數(shù)據(jù)，會(huì)被系統(tǒng)所實(shí)時(shí)使用，通常稱(chēng)這類(lèi)數(shù)據(jù)為“熱數(shù)據(jù)”；有些數(shù)據(jù)的使用頻率不是太高，但也經(jīng)常會(huì)被系統(tǒng)調(diào)用，這類(lèi)數(shù)據(jù)通常被稱(chēng)為是“暖數(shù)據(jù)”；有些數(shù)據(jù)則很少被系統(tǒng)所使用，這類(lèi)數(shù)據(jù)則被稱(chēng)為“冷數(shù)據(jù)”。

有關(guān)調(diào)研機(jī)構(gòu)的分析結(jié)果顯示：在企業(yè)的數(shù)據(jù)中心中，只有10%～15%的數(shù)據(jù)是被經(jīng)常訪問(wèn)的，而其他全部是“冷數(shù)據(jù)”。

顯然，這些“冷數(shù)據(jù)”在企業(yè)中，使用的頻率非常低。對(duì)于這部分?jǐn)?shù)據(jù)而言，并沒(méi)有太多的計(jì)算能力需求，企業(yè)需要的只是將這些數(shù)據(jù)很好地存儲(chǔ)、管理起來(lái)。

但如果采用傳統(tǒng)的存儲(chǔ)設(shè)備來(lái)存儲(chǔ)“冷數(shù)據(jù)”，無(wú)疑是在用“大馬拉小車(chē)”，會(huì)產(chǎn)生很多問(wèn)題，譬如單位存儲(chǔ)成本高、功耗高、CPU利用率低等。這些問(wèn)題正是造成企業(yè)存儲(chǔ)供需矛盾的主要原因之一。所以，企業(yè)用戶要想化解存儲(chǔ)供需矛盾，必須要尋找一種新的存儲(chǔ)設(shè)備或解決方案去解決“冷數(shù)據(jù)”的存儲(chǔ)和管理問(wèn)題。

金山云就在這方面遇到了很大的挑戰(zhàn)，作為云存儲(chǔ)服務(wù)提供商，金山云存儲(chǔ)平臺(tái)和金山快盤(pán)是金山云的核心產(chǎn)品。主要是為用戶提供云存儲(chǔ)方面的服務(wù)，其中金山快盤(pán)在中國(guó)的個(gè)人用戶量已經(jīng)超過(guò)8000萬(wàn)。如此巨大的用戶量，所產(chǎn)生的數(shù)據(jù)量可想而知?！白鳛榇鎯?chǔ)服務(wù)提供商，我們的職責(zé)是把用戶的數(shù)據(jù)存好，并且在用戶想要使用的時(shí)候快速拿出來(lái)。但同時(shí)，我們也要盡可能地降低存儲(chǔ)成本。”金山云首席技術(shù)官楊鋼介紹道。

而在金山快盤(pán)上的數(shù)據(jù)，其中絕大部分都是“冷數(shù)據(jù)”。例如個(gè)人用戶所上傳的照片。用戶可能經(jīng)常會(huì)拍照，并把照片不斷上傳到金山快盤(pán)中。但這些照片在上傳后，用戶基本上很少會(huì)去訪問(wèn)。而這些照片在經(jīng)過(guò)幾年的積累后，就形成了龐大的數(shù)據(jù)量。

“我們對(duì)數(shù)據(jù)進(jìn)行了梳理和分層，發(fā)現(xiàn)有五類(lèi)數(shù)據(jù)：熱點(diǎn)數(shù)據(jù)、次熱點(diǎn)數(shù)據(jù)、活躍數(shù)據(jù)、不活躍數(shù)據(jù)、沉默數(shù)據(jù)（冷數(shù)據(jù)），而冷數(shù)據(jù)在所有數(shù)據(jù)中所占的比例日益增大，給我們帶來(lái)了很大的存儲(chǔ)壓力?！痹跅钿摽磥?lái)，這些冷數(shù)據(jù)并不適合原有的存儲(chǔ)平臺(tái)，但如何才能找到合適的存儲(chǔ)平臺(tái)呢？

其實(shí)，這樣的挑戰(zhàn)并非金山云所獨(dú)有。FACEBOOK也曾遇到過(guò)類(lèi)似的問(wèn)題。用戶每天上傳到FACEBOOK的圖片超過(guò)3億張，出現(xiàn)突發(fā)情況時(shí)，數(shù)量會(huì)更多。以萬(wàn)圣節(jié)為例，一天的圖片上傳量可能達(dá)到10億張以上。但是人們通常很快就會(huì)對(duì)萬(wàn)圣節(jié)的這些照片失去興趣，很少有人會(huì)在幾天或者幾周之后再看這些照片，但是對(duì)于FACEBOOK而言，卻無(wú)法在人們不再訪問(wèn)這些圖片的情況下刪除它，只能繼續(xù)保存這些規(guī)模龐大的“冷數(shù)據(jù)”。

以往，解決“冷數(shù)據(jù)”存儲(chǔ)問(wèn)題的通常做法是采用磁帶。這種做法雖然大大降低了數(shù)據(jù)中心的能耗和存儲(chǔ)成本，但其實(shí)是以犧牲數(shù)據(jù)訪問(wèn)速度作為代價(jià)的：如果想要訪問(wèn)這些“冷數(shù)據(jù)”，通常需要幾個(gè)小時(shí)甚至更長(zhǎng)的恢復(fù)時(shí)間。這對(duì)于很多用戶而言，是無(wú)法接受的。

所以，用戶所需要的“冷數(shù)據(jù)”存儲(chǔ)解決方案應(yīng)該具備以下幾個(gè)特點(diǎn)：較低的每TB存儲(chǔ)成本、低功耗、安全、數(shù)據(jù)可以自由遷移、更優(yōu)化的計(jì)算能力。

同時(shí)具備以上幾個(gè)特點(diǎn)的存儲(chǔ)解決方案，并不容易找到。

C2000化解“冷數(shù)據(jù)”存儲(chǔ)難題

不過(guò)，英特爾公司近日發(fā)布的凌動(dòng)處理器C2000，卻為企業(yè)用戶解決“冷數(shù)據(jù)”存儲(chǔ)和管理帶來(lái)了“曙光”。據(jù)悉，與前代產(chǎn)品相比，C2000最多可集成8個(gè)內(nèi)核，擁有更強(qiáng)的計(jì)算能力，性能提升多達(dá)7倍。而通過(guò)采用革新的微架構(gòu)和22納迷3-D三柵極晶體管制程技術(shù)，該產(chǎn)品提供了多達(dá)6倍的功耗效率提升。6瓦至22瓦的熱設(shè)計(jì)功耗則能夠顯著節(jié)省成本并帶來(lái)更高的數(shù)據(jù)中心密度。

英特爾（中國(guó)）有限公司平臺(tái)事業(yè)部總經(jīng)理BrentYoung表示：“凌動(dòng)處理器C2000的面世，將會(huì)幫助用戶更好的應(yīng)對(duì)數(shù)據(jù)增長(zhǎng)，特別是對(duì)冷數(shù)據(jù)的存儲(chǔ)和管理?！?/p>

對(duì)于這款產(chǎn)品，楊鋼有著切實(shí)的體驗(yàn)。事實(shí)上，一直在尋找合適的“冷數(shù)據(jù)”存儲(chǔ)解決方案的他，在知道C2000后，馬上意識(shí)到這款產(chǎn)品很有可能就是合適的“答案”。“測(cè)試的結(jié)果讓我感到驚艷！在I/O處理和數(shù)據(jù)計(jì)算方面，Avoton的性能相對(duì)于上一代產(chǎn)品提升七倍，這正好進(jìn)入了冷數(shù)據(jù)處理軟件設(shè)計(jì)非常舒服的區(qū)間。經(jīng)過(guò)近一個(gè)月時(shí)間對(duì)C2000 Avoton平臺(tái)的測(cè)試，我們發(fā)現(xiàn)該產(chǎn)品的性能完全能夠滿足金山快盤(pán)對(duì)于冷數(shù)據(jù)存儲(chǔ)的需求，并能夠降低最多達(dá)20%的單位存儲(chǔ)能耗，并擁有可預(yù)期的設(shè)備成本降低?！?/p>

同樣分享測(cè)試體會(huì)的還有盛大游戲有限公司數(shù)據(jù)中心運(yùn)營(yíng)經(jīng)理季青。

作為國(guó)內(nèi)領(lǐng)先的互聯(lián)網(wǎng)游戲供應(yīng)商，盛大游戲目前運(yùn)營(yíng)的游戲數(shù)量超過(guò)100個(gè)，與游戲數(shù)量相對(duì)應(yīng)的是數(shù)據(jù)中心的規(guī)模也在不斷擴(kuò)大。季青笑言，其所在的數(shù)據(jù)中心部門(mén)已經(jīng)成為全公司花錢(qián)最多的部門(mén)，公司老板為此頭疼不已?！耙虼?，如何降低數(shù)據(jù)中心的TCO、降低數(shù)據(jù)中心的功耗已經(jīng)成為盛大游戲有限公司數(shù)據(jù)中心的最大需求之一?！?/p>

在對(duì)C2000 Avoton平臺(tái)進(jìn)行測(cè)試后，季青認(rèn)為，這款產(chǎn)品能夠輕松滿足“冷數(shù)據(jù)”備份與前端WEB這兩項(xiàng)業(yè)務(wù)實(shí)際工作負(fù)載的需求。“該款處理器計(jì)算性能可以很好的應(yīng)對(duì)高I/O、高吞吐率的環(huán)境，并具有低功耗及更高能效。因此，在一些特定應(yīng)用領(lǐng)域?qū)⒂兄芎玫谋憩F(xiàn)，例如在“冷數(shù)據(jù)”存儲(chǔ)方面就十分適合。而在同類(lèi)解決方案中，由于C2000 Avoton平臺(tái)能夠與現(xiàn)有應(yīng)用完全兼容，并能夠得到廠商更大力度的支持，其優(yōu)勢(shì)更為明顯?！奔厩嗵寡裕绻咽⒋笥螒蛴邢薰緮?shù)據(jù)中心的服務(wù)器都換成基于C2000 Avoton平臺(tái)的服務(wù)器，那么數(shù)據(jù)中心每年可以節(jié)省數(shù)百萬(wàn)元的成本。