云存儲(chǔ)技術(shù)理論研究

摘 要：根據(jù)分析調(diào)研機(jī)構(gòu)IDC發(fā)布的研究報(bào)告《從混沌中提取價(jià)值》表明：2011年全球被創(chuàng)建和復(fù)制的數(shù)據(jù)總量為1.8ZB（1ZB=2^30GB），和2010年同期相比上漲超過了1ZB并且企業(yè)數(shù)據(jù)正逐年以55%的速度增長(zhǎng)，而且這些數(shù)據(jù)大部分是非結(jié)構(gòu)化數(shù)據(jù)。存儲(chǔ)對(duì)象也由曾經(jīng)單一的存儲(chǔ)設(shè)備轉(zhuǎn)變成以云存儲(chǔ)的解決形式。

關(guān)鍵詞：云存儲(chǔ)；技術(shù)；數(shù)據(jù)

中圖分類號(hào)：TP333

云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來(lái)的一個(gè)新的概念。全球網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)（SNIA）的給出的云存儲(chǔ)定義是：網(wǎng)絡(luò)提供可配置的虛擬化存儲(chǔ)和相關(guān)的數(shù)據(jù)服務(wù)。云存儲(chǔ)的內(nèi)涵是存儲(chǔ)虛擬化和存儲(chǔ)自動(dòng)化。本論文研究了云存儲(chǔ)的模型、前提技術(shù)、優(yōu)勢(shì)和現(xiàn)有的缺點(diǎn)并作以簡(jiǎn)單敘述。

1 實(shí)現(xiàn)云存儲(chǔ)的技術(shù)前提和理論基礎(chǔ)

1.1 寬帶網(wǎng)絡(luò)的發(fā)展。云存儲(chǔ)是通過網(wǎng)絡(luò)將用戶的數(shù)據(jù)存放到第三方數(shù)據(jù)公司的云端上，并通過網(wǎng)絡(luò)對(duì)自己的數(shù)據(jù)進(jìn)行管理和訪問。這也就意味著云存儲(chǔ)需要依靠寬帶網(wǎng)絡(luò)技術(shù)的發(fā)展和大容量數(shù)據(jù)的傳輸，使得云存儲(chǔ)將會(huì)演變?yōu)橐粋€(gè)多區(qū)域分布的龐大公用系統(tǒng)。

1.2 WEB2.0技術(shù)。網(wǎng)絡(luò)信息的傳播方式經(jīng)歷了從WEB1.0時(shí)代到WEB2.0時(shí)代，從最開始的強(qiáng)調(diào)“獲取”和“下載”到強(qiáng)調(diào)“創(chuàng)造”、“上傳”、“分享”和“互動(dòng)”，從人們只能被動(dòng)的接受互聯(lián)網(wǎng)上的資源到人們能夠充分參與到資源的創(chuàng)造和分享中。這種WEB技術(shù)的發(fā)展在當(dāng)下的時(shí)代被賦予了云的各種標(biāo)簽，這使得用戶可以通過移動(dòng)終端、PC等多種多媒體設(shè)備，實(shí)現(xiàn)自有數(shù)據(jù)的集中存儲(chǔ)和共享，使得云存儲(chǔ)所提供的服務(wù)更加的靈活多樣。

1.3 數(shù)據(jù)編碼技術(shù)。云存儲(chǔ)中常用的幾種編碼技術(shù)：加密編碼，可以保證所存儲(chǔ)的數(shù)據(jù)的保密性、完整性；壓縮編碼，在不丟失信息的前提下縮減數(shù)據(jù)量來(lái)減少所占的空間，提高傳輸、存儲(chǔ)、和處理效率，這對(duì)于大數(shù)據(jù)量的云存儲(chǔ)系統(tǒng)的性能有重要作用；冗余編碼，能夠檢測(cè)和糾正數(shù)據(jù)在傳輸中發(fā)生的錯(cuò)誤，調(diào)高云存儲(chǔ)的容錯(cuò)性。

1.4 分布式文件系統(tǒng)。分布式文件系統(tǒng)（Distributed File System，DFS）是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。由于互聯(lián)網(wǎng)應(yīng)用不斷發(fā)展，本地文件系統(tǒng)由于單個(gè)節(jié)點(diǎn)本省的局限性，已經(jīng)很難滿足海量數(shù)據(jù)的存儲(chǔ)，成為存儲(chǔ)系統(tǒng)的瓶頸。因此，借助分布式文件系統(tǒng)把負(fù)載轉(zhuǎn)移到多個(gè)節(jié)點(diǎn)上，它不但提高了系統(tǒng)的可靠性、可用性、和存儲(chǔ)效率，還易于擴(kuò)展。

1.5 存儲(chǔ)虛擬化技術(shù)。存儲(chǔ)虛擬化技術(shù)主要指通過在物理存儲(chǔ)系統(tǒng)和服務(wù)器之間增加一個(gè)虛擬層，使服務(wù)器的存儲(chǔ)空間可以跨越多個(gè)異構(gòu)的磁盤陣列，實(shí)現(xiàn)從物理存儲(chǔ)到邏輯存儲(chǔ)的轉(zhuǎn)變。使用這種技術(shù)可以解決云存儲(chǔ)中的存儲(chǔ)設(shè)備數(shù)量龐大并且分布在不同地域上，由于不同廠商、批次、型號(hào)設(shè)備之間的異構(gòu)問題，包括兼容性、擴(kuò)展性、可靠性、容錯(cuò)容災(zāi)等方面問題[1]。

2 CDMI標(biāo)準(zhǔn)簡(jiǎn)介

SNIA（Storage Networking Industry Association）于2010年4月12日推出首個(gè)云存儲(chǔ)標(biāo)準(zhǔn)——CDMI（Cloud Data Management Interface）。CDMI是指應(yīng)用程序可以通過對(duì)云存儲(chǔ)數(shù)據(jù)對(duì)象進(jìn)行創(chuàng)建、查詢、更新和刪除等操作的一種功能服務(wù)接口。CDMI標(biāo)準(zhǔn)提供了存儲(chǔ)即服務(wù)，這也使得存儲(chǔ)廠家依照這個(gè)標(biāo)準(zhǔn)來(lái)提供相關(guān)服務(wù)。此標(biāo)準(zhǔn)不僅提供了訪問云存儲(chǔ)和管理云存儲(chǔ)數(shù)據(jù)的方式，還支持塊和文件存儲(chǔ)客戶端的訪問，能夠提供管理賬號(hào)、賬單信息和安全訪問等功能[1]。

3 云存儲(chǔ)框架模型

云存儲(chǔ)至今并沒有一個(gè)權(quán)威的定義，但是業(yè)界對(duì)其達(dá)成了一個(gè)初步共識(shí)，云存儲(chǔ)不僅是存儲(chǔ)技術(shù)或存儲(chǔ)設(shè)備，更是一種服務(wù)。它是由網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端等多個(gè)部分組成的，通過分布式、虛擬化、智能配置等技術(shù)，實(shí)現(xiàn)海量、低成本、低功耗、可彈性擴(kuò)展的共享存儲(chǔ)資源[2]。

云存儲(chǔ)的結(jié)構(gòu)大體上可以自下向上分為四層，包括存儲(chǔ)層、管理調(diào)度層、應(yīng)用接口層和訪問層4層。

3.1 存儲(chǔ)層。存儲(chǔ)層實(shí)施存儲(chǔ)設(shè)備中虛擬化管理、存儲(chǔ)設(shè)備狀態(tài)監(jiān)控、多鏈路冗余管理、存儲(chǔ)設(shè)備更新與升級(jí)、故障維護(hù)等相關(guān)功能。存儲(chǔ)層在云存儲(chǔ)結(jié)構(gòu)模型中的最底層，是云存儲(chǔ)基礎(chǔ)的構(gòu)成部分，由種類繁多的存儲(chǔ)設(shè)備組成。在這一層中，處在不同區(qū)域的、數(shù)量巨大的存儲(chǔ)設(shè)備經(jīng)由網(wǎng)絡(luò)通道連接，組成存儲(chǔ)池。

3.2 基礎(chǔ)管理層?；A(chǔ)管理層在存儲(chǔ)層的上方，是云存儲(chǔ)的關(guān)鍵部分，發(fā)揮了統(tǒng)籌管理的功能。一般狀況下，這一層是云存儲(chǔ)中最難實(shí)現(xiàn)的地方。該層通過網(wǎng)格存儲(chǔ)技術(shù)和網(wǎng)絡(luò)存儲(chǔ)技術(shù)，完成了每個(gè)存儲(chǔ)設(shè)備間的相互協(xié)調(diào)作業(yè)，以此對(duì)外給出統(tǒng)一服務(wù)，得以完成數(shù)據(jù)控制和數(shù)據(jù)訪問等功能。本層加密技術(shù)確保了云存儲(chǔ)系統(tǒng)中全部數(shù)據(jù)不被攻擊者篡改，容災(zāi)備份得以確數(shù)據(jù)不丟失。

3.3 應(yīng)用接口層。應(yīng)用接口層處在第三層，是架構(gòu)模型中最靈活的部分。應(yīng)用接口層的特點(diǎn)是每個(gè)運(yùn)營(yíng)商都可按照實(shí)際的需求，為解決不同業(yè)務(wù)的需求而開發(fā)各自的應(yīng)用服務(wù)接口，并提供應(yīng)用服務(wù)。

3.4 訪問層。訪問層處在結(jié)構(gòu)模型最頂層，是與使用者最相近的。每一個(gè)經(jīng)過授權(quán)的使用者都可使用標(biāo)準(zhǔn)的接口使用云存儲(chǔ)服務(wù)。訪問層的構(gòu)建通常是以實(shí)用化、便捷化為原則。由于云存儲(chǔ)服務(wù)商的不同，面向用戶的業(yè)務(wù)類型也不同，訪問層的訪問類型與訪問手段也會(huì)不同。

4.云存儲(chǔ)技術(shù)的優(yōu)勢(shì)以及目前存在的問題

4.1 云存儲(chǔ)技術(shù)優(yōu)勢(shì)。云存儲(chǔ)是將數(shù)據(jù)放到一個(gè)虛擬化的服務(wù)器或是存儲(chǔ)設(shè)備上，同時(shí)會(huì)有多個(gè)映像副本會(huì)被放置在不同的虛擬化服務(wù)器或是存儲(chǔ)設(shè)備上，一旦主數(shù)據(jù)因所在硬件損壞而丟失，系統(tǒng)會(huì)立即將存放于另一服務(wù)器和存儲(chǔ)設(shè)備上的映像副本數(shù)據(jù)作為主數(shù)據(jù)，來(lái)提供服務(wù)。

首先，節(jié)約成本可以表現(xiàn)在以下幾個(gè)方面：（1）使用者只需分期租用服務(wù)，不需要花費(fèi)巨額資金投入到存儲(chǔ)設(shè)備，這樣可以有效降低使用成本以及風(fēng)險(xiǎn)。（2）云存儲(chǔ)服務(wù)供給商可以放棄專業(yè)而價(jià)格高昂的存儲(chǔ)設(shè)備轉(zhuǎn)向采用價(jià)格低廉的存儲(chǔ)設(shè)備提供服務(wù)，這樣可以有效的節(jié)約了成本投入。

其次，按需分配，擴(kuò)展性強(qiáng)。使用者根據(jù)自己的需求，向系統(tǒng)申請(qǐng)所需要的存儲(chǔ)空間，隨著數(shù)據(jù)業(yè)務(wù)的增長(zhǎng)，所需要的存儲(chǔ)空間更大時(shí)，也可以很輕松地?cái)U(kuò)大容量，提高存儲(chǔ)效率。

再次，效率高。（1）系統(tǒng)維護(hù)和升級(jí)時(shí)，不會(huì)導(dǎo)致服務(wù)中止。這是由于云存儲(chǔ)系統(tǒng)會(huì)將舊設(shè)備上的文件動(dòng)態(tài)遷移到其他的存儲(chǔ)設(shè)備上，在舊的設(shè)備升級(jí)結(jié)束后，再將文件重新遷移回來(lái)，在此期間系統(tǒng)照樣提供服務(wù)。（2）服務(wù)商運(yùn)用優(yōu)化的數(shù)據(jù)管理等方法，將服務(wù)器內(nèi)資源啟動(dòng)優(yōu)化，提供高效的I/O服務(wù)。

4.2 云存儲(chǔ)目前所存在的問題。云存儲(chǔ)在不斷走向成熟，使得更多的廠商愿意花時(shí)間和精力投入到云存儲(chǔ)的研究和開發(fā)中，不斷地去提升服務(wù)，但同時(shí)背后也存在著一些問題，這些問題無(wú)論是廠商還是用戶都不能忽略，其中最重要的還是安全性問題，其次節(jié)能、綠色使用也應(yīng)該考慮在其中。

云存儲(chǔ)將用戶的數(shù)據(jù)從本地遷移到云端，并同過網(wǎng)絡(luò)上的存儲(chǔ)單元來(lái)調(diào)集存儲(chǔ)，這可以提高存儲(chǔ)的空間利用率，但同時(shí)也引出了以安全問題，用戶可以瀏覽自己的數(shù)據(jù)文件，但對(duì)于一份已經(jīng)在云端的數(shù)據(jù)，其存儲(chǔ)管理人員極有可能對(duì)上傳的數(shù)據(jù)進(jìn)行瀏覽，從而帶來(lái)了一定的隱患，用戶是無(wú)法控制管理人員的閱讀權(quán)限[3]。

參考文獻(xiàn)：

[1]中國(guó)云計(jì)算網(wǎng).云存儲(chǔ)架構(gòu)詳解[EB/OL].http：//www.clondcompntinchina.cn/Article/lnilan/201003/564.htm1.

[2]王偉，柯尊友.云存儲(chǔ)的進(jìn)化：云存儲(chǔ)解決方案[J].中興通訊技術(shù)，2012（08）：18-19.

[3]黃曉云.基于HDFS的云存儲(chǔ)服務(wù)系統(tǒng)研究[D].大連海事大學(xué)，2010：3-5.

作者簡(jiǎn)介：李昆陽(yáng)，信息工程學(xué)院1221班，研究方向：計(jì)算機(jī)科學(xué)與技術(shù)。

作者單位：咸陽(yáng)師范學(xué)院 信息工程學(xué)院，陜西咸陽(yáng) 712000