云存儲(chǔ)技術(shù)探討

張龍立

（國(guó)脈通信規(guī)劃設(shè)計(jì)有限公司 哈爾濱 150040）

1 引言

全球數(shù)據(jù)量的猛增使得數(shù)據(jù)存儲(chǔ)日益成為各企業(yè)關(guān)注的專業(yè)問(wèn)題，持續(xù)增長(zhǎng)的數(shù)據(jù)存儲(chǔ)壓力帶動(dòng)了整個(gè)存儲(chǔ)市場(chǎng)的快速發(fā)展。企業(yè)的存儲(chǔ)設(shè)備越來(lái)越多，對(duì)管理和維護(hù)的投入也越來(lái)越大。為了保證數(shù)據(jù)安全和業(yè)務(wù)的連續(xù)性，我們需要建立相應(yīng)的數(shù)據(jù)備份系統(tǒng)和容災(zāi)系統(tǒng)。除此之外，對(duì)存儲(chǔ)設(shè)備進(jìn)行定期的狀態(tài)監(jiān)控和維護(hù)，軟、硬件的更新和升級(jí)也是必須的，這些都需要專業(yè)的技術(shù)人員，增加了企業(yè)數(shù)據(jù)維護(hù)、升級(jí)和管理費(fèi)用。

2 云計(jì)算與云存儲(chǔ)

云計(jì)算是分布式處理(distributed computing)、并行處理(parallel computing)和網(wǎng)格計(jì)算(grid computing)的發(fā)展，是透過(guò)網(wǎng)絡(luò)將龐大的計(jì)算處理程序自動(dòng)分拆成無(wú)數(shù)個(gè)較小的子程序，再交由多臺(tái)服務(wù)器所組成的龐大系統(tǒng)經(jīng)計(jì)算、分析后，將處理結(jié)果回傳給用戶。通過(guò)云計(jì)算技術(shù)，網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi)，處理數(shù)以千萬(wàn)計(jì)甚至億計(jì)的信息，達(dá)到和“超級(jí)計(jì)算機(jī)”同樣強(qiáng)大的網(wǎng)絡(luò)服務(wù)功能。

云計(jì)算的設(shè)計(jì)實(shí)施方向是將在不同地域和情況下各種臺(tái)式機(jī)、單一服務(wù)器及個(gè)人計(jì)算資源，通過(guò)虛擬化方式統(tǒng)一到龐大的計(jì)算資源“云”系統(tǒng)中來(lái)。云系統(tǒng)統(tǒng)一調(diào)配、協(xié)調(diào)、處理來(lái)自不同客戶的運(yùn)算需求，通過(guò)云系統(tǒng)計(jì)算后對(duì)外輸出運(yùn)算結(jié)果。從整體來(lái)看，云計(jì)算系統(tǒng)可以認(rèn)為是以數(shù)據(jù)處理、數(shù)據(jù)運(yùn)算為中心的系統(tǒng)。

云計(jì)算系統(tǒng)不但能對(duì)數(shù)據(jù)進(jìn)行處理和運(yùn)算，系統(tǒng)中還有大量的存儲(chǔ)陣列設(shè)備，以實(shí)現(xiàn)對(duì)計(jì)算數(shù)據(jù)的保存和管理。在云計(jì)算系統(tǒng)中配置相應(yīng)的存儲(chǔ)設(shè)備，該計(jì)算系統(tǒng)即擁有了云存儲(chǔ)系統(tǒng)功能。由此可以理解，云存儲(chǔ)是以數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理為中心的云計(jì)算系統(tǒng)。

云存儲(chǔ)系統(tǒng)通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能。云存儲(chǔ)是云計(jì)算系統(tǒng)的延伸，可理解為是配置了大容量存儲(chǔ)空間的云計(jì)算系統(tǒng)。從三層模型分析，云計(jì)算和云存儲(chǔ)的訪問(wèn)層、接口層相同，在基礎(chǔ)層方面，云存儲(chǔ)增加了數(shù)據(jù)管理和數(shù)據(jù)安全的部分功能。

圖1 云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)模型

3 云存儲(chǔ)架構(gòu)模型

云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)模型由4層組成，如圖1所示。

（1）存儲(chǔ)層

存儲(chǔ)層是云存儲(chǔ)最基礎(chǔ)的部分。存儲(chǔ)設(shè)備可以是FC光纖通道存儲(chǔ)設(shè)備、NAS和iSCSI等IP存儲(chǔ)設(shè)備，也可以是SCSI或SAS等DAS存儲(chǔ)設(shè)備。數(shù)量龐大的云存儲(chǔ)設(shè)備分布在不同地域，彼此之間通過(guò)廣域網(wǎng)、互聯(lián)網(wǎng)或者FC光纖通道網(wǎng)絡(luò)連接。各存儲(chǔ)設(shè)備上都安裝有統(tǒng)一的存儲(chǔ)設(shè)備管理系統(tǒng)，可以實(shí)現(xiàn)存儲(chǔ)設(shè)備的邏輯虛擬化管理、集中管理、多鏈路冗余管理以及硬件設(shè)備的狀態(tài)監(jiān)控和維護(hù)升級(jí)等。

（2）基礎(chǔ)管理層

基礎(chǔ)管理層是云存儲(chǔ)最核心的部分，也是云存儲(chǔ)中最難以實(shí)現(xiàn)的部分。應(yīng)用接口層通過(guò)集群系統(tǒng)、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)的存儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù)，并提供更大、更強(qiáng)、更好的數(shù)據(jù)訪問(wèn)性能。

云存儲(chǔ)系統(tǒng)通過(guò)集群文件OS實(shí)現(xiàn)后端存儲(chǔ)設(shè)備的集群工作，并通過(guò)系統(tǒng)的控制單元和管理單元實(shí)現(xiàn)整個(gè)系統(tǒng)的管理，數(shù)據(jù)的分發(fā)、處理，處理結(jié)果的反饋。可利用CDN內(nèi)容分發(fā)系統(tǒng)、P2P數(shù)據(jù)傳輸技術(shù)和數(shù)據(jù)壓縮技術(shù)等保證云存儲(chǔ)中的數(shù)據(jù)可以更有效地存儲(chǔ)，使用和占用更少的空間以及更低的傳輸帶寬，從而對(duì)外提供更高效的服務(wù)。

數(shù)據(jù)加密技術(shù)實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)和傳輸過(guò)程中的安全性。數(shù)據(jù)備份和容災(zāi)技術(shù)可保證云存儲(chǔ)中的數(shù)據(jù)多份保存不會(huì)丟失，保證云存儲(chǔ)數(shù)據(jù)自身的安全和穩(wěn)定。

（3）應(yīng)用接口層

應(yīng)用接口層是云存儲(chǔ)最靈活多變的部分。不同的云存儲(chǔ)運(yùn)營(yíng)單位可以根據(jù)實(shí)際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。任何一個(gè)授權(quán)用戶通過(guò)網(wǎng)絡(luò)接入、用戶認(rèn)證和權(quán)限管理接口的方式來(lái)登入云存儲(chǔ)系統(tǒng)，都可以享受云存儲(chǔ)服務(wù)。

（4）訪問(wèn)層

云存儲(chǔ)運(yùn)營(yíng)單位不同，提供的訪問(wèn)類型和訪問(wèn)手段也不同。云存儲(chǔ)使用者采用的應(yīng)用軟件客戶端不同，享受到的服務(wù)類型也不同，比如個(gè)人空間租賃服務(wù)、運(yùn)營(yíng)商空間租賃服務(wù)、數(shù)據(jù)遠(yuǎn)程容災(zāi)和遠(yuǎn)程備份、視頻監(jiān)控應(yīng)用平臺(tái)、IPTV和視頻點(diǎn)播應(yīng)用平臺(tái)、網(wǎng)絡(luò)硬盤引用平臺(tái)，遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺(tái)等。

4 云存儲(chǔ)系統(tǒng)拓?fù)?/h2>

根據(jù)云存儲(chǔ)架構(gòu)的特點(diǎn)，云存儲(chǔ)系統(tǒng)應(yīng)用拓?fù)淙鐖D2所示。

云存儲(chǔ)系統(tǒng)的核心由云存儲(chǔ)控制服務(wù)器和后端存儲(chǔ)設(shè)備兩大部分組成。

（1）云存儲(chǔ)控制節(jié)點(diǎn)

云存儲(chǔ)控制器負(fù)責(zé)整個(gè)系統(tǒng)元數(shù)據(jù)和實(shí)際數(shù)據(jù)的管理和索引，提供超大容量管理，實(shí)現(xiàn)后端存儲(chǔ)設(shè)備的高性能并發(fā)訪問(wèn)和數(shù)據(jù)冗余等功能。云存儲(chǔ)控制服務(wù)器是整個(gè)系統(tǒng)的統(tǒng)一管理平臺(tái)，管理員可以在其中監(jiān)視系統(tǒng)運(yùn)行情況、管理系統(tǒng)中用戶和各項(xiàng)策略等。

（2）存儲(chǔ)節(jié)點(diǎn)

云存儲(chǔ)系統(tǒng)采用高性能應(yīng)用存儲(chǔ)設(shè)備，可內(nèi)嵌云存儲(chǔ)系統(tǒng)訪問(wèn)協(xié)議包、存儲(chǔ)節(jié)點(diǎn)認(rèn)證許可等。設(shè)備采用高密度磁盤陣列設(shè)備，每套設(shè)備通過(guò)網(wǎng)絡(luò)接入到云存儲(chǔ)系統(tǒng)中，進(jìn)入云存儲(chǔ)存儲(chǔ)池后進(jìn)行分配。對(duì)數(shù)據(jù)存儲(chǔ)可實(shí)現(xiàn)多副本、多物理設(shè)備分別保存，當(dāng)容量或帶寬需要擴(kuò)展時(shí)，通過(guò)增加存儲(chǔ)節(jié)點(diǎn)來(lái)實(shí)現(xiàn)，根據(jù)實(shí)際需要靈活擴(kuò)張，在系統(tǒng)運(yùn)行中進(jìn)行在線的容量和性能增加。

5 云存儲(chǔ)的技術(shù)優(yōu)勢(shì)

IDC研究表明，從2006年到2010年，全球信息總量增長(zhǎng)了6倍以上，隨著技術(shù)的發(fā)展，現(xiàn)有傳統(tǒng)磁盤陣列中已經(jīng)普遍采用了750 GB或1 TB的SATA硬盤。但在面對(duì)PB級(jí)的海量存儲(chǔ)需求時(shí)，傳統(tǒng)的SAN或NAS在容量和性能的擴(kuò)展上存在瓶頸，已經(jīng)不能滿足新形勢(shì)下對(duì)數(shù)據(jù)保存高性能、高容量、易擴(kuò)展的需求。云計(jì)算的服務(wù)模式也帶來(lái)云存儲(chǔ)的蓬勃發(fā)展，對(duì)于低成本，但需大容量、高帶寬需求下的應(yīng)用，云存儲(chǔ)系統(tǒng)不僅輕松突破了SAN的性能瓶頸，而且可以實(shí)現(xiàn)性能與容量的線性擴(kuò)展。相比于傳統(tǒng)的集中存儲(chǔ)方式，高效集群的云存儲(chǔ)系統(tǒng)具有以下幾點(diǎn)優(yōu)勢(shì)。

（1）更容易擴(kuò)容(包括帶寬)

當(dāng)客戶需要增加容量時(shí),可按照需求采購(gòu)(容量或是帶寬)服務(wù)器，簡(jiǎn)單增加即可實(shí)現(xiàn)容量或者帶寬的擴(kuò)展。如，當(dāng)需要擴(kuò)展容量時(shí)，采購(gòu)大容量的存儲(chǔ)設(shè)備即可；當(dāng)需要擴(kuò)展帶寬時(shí)，采購(gòu)計(jì)算能力較強(qiáng)的服務(wù)器設(shè)備即可。擴(kuò)容過(guò)程將變得簡(jiǎn)單：新設(shè)備僅需安裝操作系統(tǒng)及云存儲(chǔ)軟件后，打開電源接上網(wǎng)絡(luò)，云存儲(chǔ)系統(tǒng)便能自動(dòng)識(shí)別，自動(dòng)把容量加入存儲(chǔ)池中完成擴(kuò)展。相比傳統(tǒng)的存儲(chǔ)擴(kuò)容，云存儲(chǔ)架構(gòu)采用的是并行擴(kuò)容方式，即當(dāng)容量不夠時(shí)，采購(gòu)新的存儲(chǔ)服務(wù)器即可，擴(kuò)容環(huán)節(jié)無(wú)任何限制。

（2）更易于管理

在以往的存儲(chǔ)系統(tǒng)管理中，管理人員需要面對(duì)不同的存儲(chǔ)設(shè)備，不同廠商的設(shè)備均有不同的管理界面，使得管理人員要了解每個(gè)存儲(chǔ)的使用狀況（容量、負(fù)載等）的工作復(fù)雜而繁重。而且，傳統(tǒng)的存儲(chǔ)在硬盤或是存儲(chǔ)服務(wù)器損壞時(shí)，讀寫效能會(huì)降低很多，而且數(shù)據(jù)很可能丟失，而云存儲(chǔ)沒(méi)有這個(gè)困擾，硬盤壞掉，數(shù)據(jù)會(huì)自動(dòng)遷移到別的硬盤，不需要立即更換硬盤，大大減輕了管理人員的工作負(fù)擔(dān)。

對(duì)云存儲(chǔ)來(lái)說(shuō)，再多的存儲(chǔ)服務(wù)器，在管理人員眼中也只是一臺(tái)存儲(chǔ)器，管理人員只要在整體硬盤容量快用完時(shí)，采購(gòu)服務(wù)器即可，每臺(tái)存儲(chǔ)服務(wù)器的使用狀況，通過(guò)一個(gè)統(tǒng)一管理界面監(jiān)控，使得維護(hù)變得簡(jiǎn)單和易操作。

（3）成本更低廉

云存儲(chǔ)系統(tǒng)中所采用的存儲(chǔ)及服務(wù)器設(shè)備均是性價(jià)比較高的設(shè)備?？蓪?shí)現(xiàn)長(zhǎng)久合作關(guān)系下，設(shè)備商采購(gòu)的穩(wěn)定渠道，便于實(shí)現(xiàn)對(duì)成本及服務(wù)質(zhì)量的控制。

傳統(tǒng)的存儲(chǔ)系統(tǒng)對(duì)硬盤的一致性要求近乎苛刻，必須同廠牌、同容量、同型號(hào)，否則系統(tǒng)很容易出問(wèn)題。面對(duì)升級(jí)換代較快的IT產(chǎn)業(yè)，硬盤在使用2～3年后很難找到同型號(hào)產(chǎn)品更換。使用云存儲(chǔ)沒(méi)有這個(gè)問(wèn)題，云存儲(chǔ)系統(tǒng)對(duì)存儲(chǔ)設(shè)備、服務(wù)器設(shè)備、硬盤等產(chǎn)品的一致性沒(méi)有要求，不同介質(zhì)、容量、廠牌、型號(hào)的硬盤，都可以一起工作，既可以實(shí)現(xiàn)原有硬件的利舊保護(hù)投入，又可以實(shí)現(xiàn)新技術(shù)、新設(shè)備的快速更新，合理搭配、優(yōu)化選擇、可持續(xù)發(fā)展。

（4）數(shù)據(jù)更安全，服務(wù)不中斷

傳統(tǒng)存儲(chǔ)系統(tǒng)會(huì)因?yàn)橛布p壞而導(dǎo)致服務(wù)停止，如硬盤、主板、電源、網(wǎng)卡等，雖然對(duì)此可以設(shè)計(jì)全冗余的環(huán)境（電源、網(wǎng)絡(luò)、盤陣等），但成本相對(duì)太高且工作繁雜。

云存儲(chǔ)系統(tǒng)則不同，它可透過(guò)將文件和數(shù)據(jù)保存在不同的存儲(chǔ)節(jié)點(diǎn)，避免了單一硬件損壞帶來(lái)的數(shù)據(jù)不可用。云存儲(chǔ)系統(tǒng)知道文件存放的位置，在硬件發(fā)生損壞時(shí)，云存儲(chǔ)系統(tǒng)會(huì)自動(dòng)將讀寫指令導(dǎo)向存放在另一臺(tái)存儲(chǔ)服務(wù)器上的文件，保持服務(wù)的繼續(xù)。

傳統(tǒng)存儲(chǔ)系統(tǒng)在升級(jí)時(shí)，往往需要把舊的存儲(chǔ)設(shè)備文件備份出來(lái)后，停機(jī)換上新的存儲(chǔ)設(shè)備，這通常會(huì)導(dǎo)致服務(wù)的短暫停止。

云存儲(chǔ)并不單獨(dú)依賴一臺(tái)存儲(chǔ)服務(wù)器，因此存儲(chǔ)服務(wù)器硬件的更新、升級(jí)并不會(huì)影響存儲(chǔ)服務(wù)的提供，系統(tǒng)會(huì)將舊存儲(chǔ)服務(wù)器上的文件遷移到別的存儲(chǔ)服務(wù)器，等新的存儲(chǔ)服務(wù)器上線后，文件會(huì)再遷移回來(lái)。

6 云存儲(chǔ)未來(lái)發(fā)展趨勢(shì)

云存儲(chǔ)已經(jīng)成為未來(lái)存儲(chǔ)發(fā)展的一種趨勢(shì)。隨著云存儲(chǔ)技術(shù)的發(fā)展，各家廠商正積極將各類搜索、應(yīng)用技術(shù)和云存儲(chǔ)相結(jié)合，以便能夠向企業(yè)提供一系列的數(shù)據(jù)服務(wù)。但從未來(lái)云存儲(chǔ)的發(fā)展趨勢(shì)來(lái)看，云存儲(chǔ)系統(tǒng)主要還需從安全性、便攜性及數(shù)據(jù)訪問(wèn)等角度進(jìn)行改進(jìn)。

（1）安全性

從云計(jì)算誕生，安全性一直是企業(yè)實(shí)施云計(jì)算首要考慮的問(wèn)題之一。同樣在云存儲(chǔ)方面，安全仍是首要考慮的問(wèn)題，對(duì)于想要進(jìn)行云存儲(chǔ)的客戶來(lái)說(shuō)，安全性通常是首要的商業(yè)考慮和技術(shù)考慮。但是許多用戶對(duì)云存儲(chǔ)的安全要求甚至高于它們自己的架構(gòu)所能提供的安全水平。既便如此，面對(duì)如此高的不現(xiàn)實(shí)的安全要求，許多大型、可信賴的云存儲(chǔ)廠商也在努力滿足它們的要求，構(gòu)建比多數(shù)企業(yè)數(shù)據(jù)中心安全得多的數(shù)據(jù)中心。現(xiàn)在用戶可以發(fā)現(xiàn)，云存儲(chǔ)具有更少的安全漏洞和更高的安全環(huán)節(jié)，云存儲(chǔ)所能提供的安全性水平要比用戶自己的數(shù)據(jù)中心所能提供的安全水平還要高。

（2）便攜性

一些用戶在托管存儲(chǔ)的時(shí)候還要考慮數(shù)據(jù)的便攜性。一般情況下這是有保證的，一些大型服務(wù)提供商所提供的解決方案承諾其數(shù)據(jù)便攜性可媲美最好的傳統(tǒng)本地存儲(chǔ)。有的云存儲(chǔ)結(jié)合了強(qiáng)大的便攜功能，可以將整個(gè)數(shù)據(jù)集傳送到你所選擇的任何媒介，甚至是專門的存儲(chǔ)設(shè)備。

（3）性能和可用性

過(guò)去的一些托管存儲(chǔ)和遠(yuǎn)程存儲(chǔ)總是存在著延遲時(shí)間過(guò)長(zhǎng)的問(wèn)題。同樣地，互聯(lián)網(wǎng)本身的特性就嚴(yán)重威脅服務(wù)的可用性。最新一代云存儲(chǔ)有突破性的成就，體現(xiàn)在客戶端或本地設(shè)備高速緩存上，將經(jīng)常使用的數(shù)據(jù)保持在本地，從而有效地緩解互聯(lián)網(wǎng)延遲問(wèn)題。通過(guò)本地高速緩存，即使面臨最嚴(yán)重的網(wǎng)絡(luò)中斷，這些設(shè)備也可以緩解延遲性問(wèn)題。這些設(shè)備還可以讓經(jīng)常使用的數(shù)據(jù)像本地存儲(chǔ)那樣快速反應(yīng)。通過(guò)一個(gè)本地NAS網(wǎng)關(guān)，云存儲(chǔ)甚至可以模仿終端NAS設(shè)備的可用性、性能和可視性，同時(shí)將數(shù)據(jù)予以遠(yuǎn)程保護(hù)。隨著云存儲(chǔ)技術(shù)的不斷發(fā)展，各廠商仍將繼續(xù)努力實(shí)現(xiàn)容量?jī)?yōu)化和WAN(廣域網(wǎng))優(yōu)化，從而盡量減少數(shù)據(jù)傳輸?shù)难舆t性。

（4）數(shù)據(jù)訪問(wèn)

現(xiàn)有對(duì)云存儲(chǔ)技術(shù)的疑慮還在于，如果執(zhí)行大規(guī)模數(shù)據(jù)請(qǐng)求或數(shù)據(jù)恢復(fù)操作，那么云存儲(chǔ)是否可提供足夠的訪問(wèn)性。在未來(lái)的技術(shù)條件下，此點(diǎn)大可不必?fù)?dān)心，現(xiàn)有的廠商可以將大量數(shù)據(jù)傳輸?shù)饺魏晤愋偷拿浇椋蓪?shù)據(jù)直接傳送給企業(yè)，且其速度之快相當(dāng)于復(fù)制、粘貼操作。另外，云存儲(chǔ)廠商還可以提供一套組件，在完全本地化的系統(tǒng)上模仿云地址，讓本地NAS網(wǎng)關(guān)設(shè)備繼續(xù)正常運(yùn)行而無(wú)需重新設(shè)置。未來(lái)，如果大型廠商構(gòu)建了更多的地區(qū)性設(shè)施，那么數(shù)據(jù)傳輸將更加迅捷。如此一來(lái)，即便是客戶本地?cái)?shù)據(jù)發(fā)生了災(zāi)難性的損失，云存儲(chǔ)廠商也可以將數(shù)據(jù)重新快速傳輸給客戶數(shù)據(jù)中心。