網(wǎng)絡(luò)環(huán)境中海量存儲(chǔ)系統(tǒng)解決方案的探討

李莉

摘 要 網(wǎng)絡(luò)環(huán)境中海量存儲(chǔ)系統(tǒng)解決方案的探討需要解決存儲(chǔ)虛擬化問(wèn)題。在滿足大容量存儲(chǔ)需求的同時(shí)，需要解決許多技術(shù)上和設(shè)備上的難題。目前業(yè)內(nèi)仍未有最優(yōu)的統(tǒng)一解決方案，且已有解決方案也存在著諸多問(wèn)題，本文旨在從三方面探討網(wǎng)絡(luò)環(huán)境中海量存儲(chǔ)系統(tǒng)的解決方案。

關(guān)鍵詞 網(wǎng)絡(luò)環(huán)境 海量存儲(chǔ)系統(tǒng) 解決方案

中圖分類號(hào)：TP333 文獻(xiàn)標(biāo)識(shí)碼：A

網(wǎng)絡(luò)環(huán)境中海量存儲(chǔ)系統(tǒng)解決方案的探討簡(jiǎn)言之就是探討存儲(chǔ)虛擬化的解決方案。在滿足大容量存儲(chǔ)需求的同時(shí)，需要解決許多技術(shù)上和設(shè)備上的難題。相應(yīng)的設(shè)備廠商都在推行自己的存儲(chǔ)虛擬化技術(shù)理念，但是業(yè)內(nèi)仍未有最優(yōu)的統(tǒng)一解決方案。網(wǎng)絡(luò)環(huán)境中海量存儲(chǔ)系統(tǒng)最優(yōu)解決方案的統(tǒng)一標(biāo)準(zhǔn)仍然任重而道遠(yuǎn)。

1網(wǎng)絡(luò)環(huán)境中海量存儲(chǔ)系統(tǒng)面臨的挑戰(zhàn)

現(xiàn)如今，網(wǎng)絡(luò)環(huán)境中海量存儲(chǔ)系統(tǒng)的容量已經(jīng)非常之大，達(dá)到了PB量的級(jí)別（1PB=103TB=106GB=109MB）。那么如此大規(guī)模的海量數(shù)據(jù)存儲(chǔ)，對(duì)于對(duì)應(yīng)承載的硬件系統(tǒng)要求也超出了傳統(tǒng)的理念，于是傳統(tǒng)的設(shè)備已經(jīng)無(wú)法滿足數(shù)據(jù)存儲(chǔ)的需求。

如何能夠解決這一問(wèn)題，即網(wǎng)絡(luò)上大規(guī)模的數(shù)據(jù)訪問(wèn)，存儲(chǔ)，分配等問(wèn)題，數(shù)據(jù)傳輸?shù)膸拞?wèn)題的解決是關(guān)鍵所在。

2網(wǎng)絡(luò)環(huán)境中海量存儲(chǔ)系統(tǒng)面臨的機(jī)遇

現(xiàn)如今，網(wǎng)絡(luò)信息技術(shù)的發(fā)展速度十分迅猛，對(duì)于IT行業(yè)來(lái)說(shuō)，面臨著許多的機(jī)遇。具體表現(xiàn)在以下方面：

2.1網(wǎng)絡(luò)用戶的增加

由于IPTV業(yè)務(wù)和手機(jī)移動(dòng)業(yè)務(wù)的大幅度增加，相應(yīng)的網(wǎng)絡(luò)用戶也有一定程度的激增。據(jù)相關(guān)咨詢公司的報(bào)告顯示，在未來(lái)十年，網(wǎng)絡(luò)視頻類業(yè)務(wù)市場(chǎng)將增長(zhǎng)3倍以上，中國(guó)的寬帶用戶將會(huì)達(dá)到3億左右，對(duì)應(yīng)著IPTV用戶數(shù)也會(huì)達(dá)到數(shù)千萬(wàn)之巨。由于視頻業(yè)務(wù)有著數(shù)據(jù)量大，資源豐富的特點(diǎn)，因此需要配套的大規(guī)模網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)。

2.2 3G移動(dòng)通訊的流行

3G業(yè)務(wù)現(xiàn)在國(guó)內(nèi)已經(jīng)順利得以運(yùn)營(yíng)，4G業(yè)務(wù)也逐步開(kāi)始進(jìn)行宣傳推廣，這將大大派生許多相應(yīng)的多媒體網(wǎng)絡(luò)的應(yīng)用：視頻通話，視頻短信，對(duì)應(yīng)的游戲和郵件應(yīng)用。

這些業(yè)務(wù)的發(fā)展，需要相應(yīng)的存儲(chǔ)系統(tǒng)予以支持。如內(nèi)容的下載與緩存。據(jù)相關(guān)機(jī)構(gòu)的數(shù)據(jù)量的統(tǒng)計(jì)，平均每個(gè)3G及以上級(jí)別數(shù)據(jù)網(wǎng)絡(luò)業(yè)務(wù)的用戶需要至少1GB的儲(chǔ)存空間，空間分配多用于視頻點(diǎn)播業(yè)務(wù)，此項(xiàng)達(dá)到500MB以上，視頻電話、視頻短信需要緩存空間100MB，多媒體郵件服務(wù)需要300MB，省下的存儲(chǔ)空間需要分配給其他娛樂(lè)服務(wù)。根據(jù)數(shù)以億計(jì)的用戶的需求，國(guó)內(nèi)的存儲(chǔ)容量空間需求將會(huì)非常龐大，甚至接近700PB。

2.3 石油勘探的需要

由于國(guó)內(nèi)制造行業(yè)、重工業(yè)對(duì)于石油等能源產(chǎn)品的需求與日俱增。不僅依靠大量進(jìn)口，同時(shí)我們也要自力更生勘探出國(guó)內(nèi)大中型油田以供使用需求。就目前勘探手段而言，國(guó)內(nèi)已經(jīng)逐步采用數(shù)字化勘探方式。據(jù)有關(guān)數(shù)據(jù)顯示，國(guó)內(nèi)從2006-2010年五年間，每平方公里的勘探儲(chǔ)存數(shù)據(jù)已經(jīng)從幾GB發(fā)展到了20G-500GB的規(guī)模，以此類推，僅僅1000平方公里的勘探數(shù)據(jù)也將達(dá)幾十TB之多。

2.4 視頻監(jiān)控的發(fā)展

同樣，由于交通需要，安全需要等考慮，視頻監(jiān)控的應(yīng)用也越來(lái)越廣泛。不管是公路、住宅、寫字樓還是學(xué)生宿舍等都需要進(jìn)行視頻監(jiān)控。同時(shí)，為了加強(qiáng)治安管理，不僅街道安裝了攝像頭而且公共交通工具，比如地鐵、公交也安裝了大量的攝像頭。視頻監(jiān)控的發(fā)展已經(jīng)涉及到衣食住行各個(gè)方面，因此，涉及到的領(lǐng)域和地方十分廣泛，相應(yīng)產(chǎn)生的數(shù)據(jù)量也十分龐大。

3解決大規(guī)模硬盤儲(chǔ)存讀取的方法

目前國(guó)內(nèi)的存儲(chǔ)設(shè)備生廠商對(duì)于如何解決大規(guī)模硬盤存儲(chǔ)讀取提出了多種方法，其中以下面三種解決方案最為常見(jiàn)：

3.1不斷擴(kuò)充存儲(chǔ)控制器的處理能力

由于在控制器體積的局限條件之下，它的緩存容量通常為4G-8GB，包含的CPU大約為2～4顆。因此，當(dāng)面臨海量數(shù)據(jù)的存儲(chǔ)壓力時(shí)，最直觀的解決辦法就是增加緩存數(shù)量和CPU的數(shù)量。但是這一簡(jiǎn)單的解決方法由于只是等差增長(zhǎng)，增長(zhǎng)速度遠(yuǎn)遠(yuǎn)跟不上數(shù)據(jù)的增長(zhǎng)速度，要達(dá)到PB級(jí)而言就會(huì)比較困難。

3.2設(shè)計(jì)專用存儲(chǔ)陣列擴(kuò)充設(shè)備連接多臺(tái)存儲(chǔ)陣列

在存儲(chǔ)陣列與SAN 存儲(chǔ)網(wǎng)絡(luò)中間，可以提供專用的陣列處理單元，對(duì)SAN 存儲(chǔ)網(wǎng)絡(luò)而言，并不能夠真正了解后臺(tái)存儲(chǔ)陣列的真實(shí)分布和分配情形，只能夠看到陣列處理單元虛擬化的存儲(chǔ)空間。比如，可以在運(yùn)行后臺(tái)安放數(shù)十臺(tái)設(shè)備陣列，從而可以實(shí)現(xiàn)PB級(jí)的數(shù)據(jù)存儲(chǔ)與讀取，并且通過(guò)相應(yīng)的處理單元能夠給前端的上百臺(tái)服務(wù)器提供同時(shí)訪問(wèn)的可能。

3.3智能存儲(chǔ)網(wǎng)絡(luò)交換架構(gòu)

現(xiàn)如今，智能存儲(chǔ)網(wǎng)絡(luò)交換構(gòu)架的變化，可以使得網(wǎng)絡(luò)交換系統(tǒng)更加功能強(qiáng)大，使得便利性大大提升。而這種交換架構(gòu)的變化是指，利用智能存儲(chǔ)交換機(jī)或者路由器，從而將主機(jī)和交換組能夠自我組成真實(shí)的數(shù)據(jù)傳輸網(wǎng)絡(luò)，實(shí)現(xiàn)服務(wù)器主機(jī)順暢地訪問(wèn)后端磁盤陣列。并且，這些虛擬化的設(shè)備，以及相應(yīng)的配套訪問(wèn)路徑，可以實(shí)現(xiàn)海量?jī)?chǔ)存數(shù)據(jù)的實(shí)現(xiàn)。

并且這種只能存儲(chǔ)網(wǎng)絡(luò)交換系統(tǒng)可以通過(guò)不斷增加陣列的空間結(jié)構(gòu)從而增加實(shí)際存儲(chǔ)數(shù)據(jù)量，通過(guò)增加路由器或者交換機(jī)等中介設(shè)備增加鏈路的交換能力，通過(guò)增加主機(jī)交換機(jī)來(lái)增加服務(wù)器訪問(wèn)讀取能力。這個(gè)解決方案可以很好地處理好PB級(jí)海量數(shù)據(jù)的存儲(chǔ)讀取與服務(wù)器數(shù)據(jù)訪問(wèn)的問(wèn)題，并且數(shù)據(jù)的吞吐量十分可觀。

參考文獻(xiàn)

[1] 武家麟.PB級(jí)海量存儲(chǔ)系統(tǒng)解決方案[J].聚焦存儲(chǔ)，2012（5）.

[2] 車建華.虛擬計(jì)算系統(tǒng)性能與可用性評(píng)測(cè)方法研究[D].浙江大學(xué)，2010.

[3] 苗帥.海量數(shù)據(jù)存儲(chǔ)與全文檢索[D].江蘇科技大學(xué)，2011.