基于云環(huán)境下高可靠性對(duì)象存儲(chǔ)系統(tǒng)的數(shù)據(jù)組織研究*

張強(qiáng)善 嚴(yán)正香 徐 澍

(1:信陽(yáng)職業(yè)技術(shù)學(xué)院網(wǎng)絡(luò)中心,信陽(yáng) 464000; 2:信陽(yáng)職業(yè)技術(shù)學(xué)院計(jì)算機(jī)系,信陽(yáng) 464000)

近年來，隨著云服務(wù)和物聯(lián)網(wǎng)的蓬勃發(fā)展，越來越多的個(gè)人和企業(yè)選擇了將海量數(shù)據(jù)存儲(chǔ)在非本地的遠(yuǎn)程計(jì)算機(jī)或者遠(yuǎn)程服務(wù)器上，用戶只需要利用互聯(lián)網(wǎng)提供的數(shù)據(jù)存儲(chǔ)和計(jì)算力，就可獲取諸如計(jì)算力、存儲(chǔ)空降、軟件服務(wù)等云計(jì)算模式，降低了企業(yè)和個(gè)人昂貴的硬件購(gòu)置成本，用戶通過云環(huán)境得到如同使用本地設(shè)備一樣的快樂體驗(yàn)，這就使一大批新的存儲(chǔ)技術(shù)在云環(huán)境下得以充分應(yīng)用，但這些技術(shù)研究與實(shí)際的互聯(lián)網(wǎng)環(huán)境中的海量存儲(chǔ)目標(biāo)還有很大的差距.目前，采用諸如Master/Slave結(jié)構(gòu)的主從結(jié)構(gòu)的云存儲(chǔ)系統(tǒng)[1]、對(duì)等的云存儲(chǔ)系統(tǒng)、Hadoop云計(jì)算平臺(tái)下的Scool云存儲(chǔ)平臺(tái)等都能解決云存儲(chǔ)系統(tǒng)的部分問題，但是，云存儲(chǔ)本身的異構(gòu)性、分布性、擴(kuò)展性、透明性、并發(fā)性、可靠性以及訪問效率等[2]對(duì)現(xiàn)有的存儲(chǔ)系統(tǒng)提出了更高的技術(shù)要求.

1 云存儲(chǔ)知識(shí)

云存儲(chǔ)是指存儲(chǔ)系統(tǒng)由第三方進(jìn)行維護(hù)的非現(xiàn)場(chǎng)存儲(chǔ)系統(tǒng)，用戶的數(shù)據(jù)不是存儲(chǔ)在本地計(jì)算機(jī)硬盤或其他本地存儲(chǔ)設(shè)備中，而是保存到遠(yuǎn)程數(shù)據(jù)庫(kù)中，在此過程中由互聯(lián)網(wǎng)提供遠(yuǎn)程訪問鏈路.

因此，作為大數(shù)據(jù)時(shí)代的云存儲(chǔ)技術(shù)與傳統(tǒng)的存儲(chǔ)技術(shù)相比，具有明顯的優(yōu)勢(shì)：① 靈活方便.用戶只需將數(shù)據(jù)的創(chuàng)建于維護(hù)交給云服務(wù)提供商，而不需要考慮存儲(chǔ)容量、存儲(chǔ)設(shè)備的類型、數(shù)據(jù)存儲(chǔ)位置、數(shù)據(jù)的可用性等因素；② 成本低廉.用戶租用云服務(wù)提供商提供的服務(wù)即可滿足數(shù)據(jù)存儲(chǔ)需求，避免大量的硬件投入，同時(shí)不必安排專門的維護(hù)人員，也不必考慮存儲(chǔ)空間大小等；③ 量身定制.云存儲(chǔ)可以根據(jù)用戶的實(shí)際需求，提供滿足用戶個(gè)性需求的解決方案.

當(dāng)然，云存儲(chǔ)還處在快速發(fā)展階段，必然存在著一些需進(jìn)一步改善的地方：① 安全問題.由于數(shù)據(jù)存放在云計(jì)算中心，如何才能保證用戶的個(gè)人隱私數(shù)據(jù)和敏感信息，這始終是用戶最為關(guān)注的問題；② 可靠性問題.作為數(shù)據(jù)存儲(chǔ)系統(tǒng)最基本最關(guān)鍵的一項(xiàng)指標(biāo)，可靠性一直是大家關(guān)注的重點(diǎn).

為此，我們提出了一種基于云環(huán)境下的高性能存儲(chǔ)系統(tǒng)HPSSCE(High Performance Storage System on Cloud-based Environment)架構(gòu).

2 HPSSCE系統(tǒng)的數(shù)據(jù)組織設(shè)計(jì)

現(xiàn)有的存儲(chǔ)系統(tǒng)一般分為文件存儲(chǔ)和數(shù)據(jù)塊存儲(chǔ)兩種形式.其中，文件存儲(chǔ)在高層給用戶提供一個(gè)邏輯接口，通過該模塊使數(shù)據(jù)可以在不同操作系統(tǒng)平臺(tái)之間實(shí)現(xiàn)共享，但在存儲(chǔ)設(shè)備數(shù)量較多時(shí)，文件系統(tǒng)的開銷明顯加大，使系統(tǒng)性能受到限制.數(shù)據(jù)塊存儲(chǔ)盡管能提供更加快速的數(shù)據(jù)訪問，但該訪問屬于底層訪問，由元數(shù)據(jù)服務(wù)器管理，數(shù)據(jù)共享繁瑣.對(duì)象存儲(chǔ)是將文件存儲(chǔ)和數(shù)據(jù)塊存儲(chǔ)的優(yōu)點(diǎn)有機(jī)的結(jié)合起來，在降低元數(shù)據(jù)服務(wù)器負(fù)載的同時(shí)，也能提供更好的訪問效果.

而對(duì)于存儲(chǔ)系統(tǒng)的容錯(cuò)技術(shù)的發(fā)展，目前國(guó)內(nèi)外對(duì)存儲(chǔ)系統(tǒng)的容錯(cuò)主要有兩種研究思路：① 構(gòu)建組合嵌套R(shí)AID；② 多磁盤故障容錯(cuò)的RAID結(jié)構(gòu).而多磁盤故障容錯(cuò)的RAID結(jié)構(gòu)仍在繼續(xù)探索中，這種思路主要依賴對(duì)新的編碼方式的研究，因此，或多或少還存在問題.

近年來，伴隨著云服務(wù)和物聯(lián)網(wǎng)的蓬勃發(fā)展，存儲(chǔ)系統(tǒng)的海量存儲(chǔ)和安全性能越來越多地引起關(guān)注.

2.1 云存儲(chǔ)的體系架構(gòu)

圖1 云存儲(chǔ)的體系架構(gòu)

實(shí)現(xiàn)云計(jì)算環(huán)境下數(shù)據(jù)存儲(chǔ)的基礎(chǔ)是由大量存放位置不同的存儲(chǔ)設(shè)備所構(gòu)成的存儲(chǔ)中心.這些分散的存儲(chǔ)設(shè)備，利用各自的分布式文件系統(tǒng)，將不同的資源聚合為一個(gè)具有高可擴(kuò)展、性高可靠性的整體,由這些存儲(chǔ)中心構(gòu)建面向用戶的云存儲(chǔ)服務(wù)[3](如圖1所示).

數(shù)據(jù)中心是實(shí)現(xiàn)云存儲(chǔ)的基礎(chǔ),主要包括各種存儲(chǔ)設(shè)備,以及對(duì)這些存儲(chǔ)設(shè)備進(jìn)行管理的文件系統(tǒng).文件系統(tǒng)可以實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作,使分布在多個(gè)服務(wù)器上的文件不受物理位置影響,并提供更為優(yōu)越的數(shù)據(jù)訪問性能,對(duì)外提供同一種服務(wù).服務(wù)級(jí)別協(xié)議是指提供服務(wù)的企業(yè)與客戶之間就服務(wù)的品質(zhì)、水準(zhǔn)、性能等方面所達(dá)成的雙方共同認(rèn)可的協(xié)議或契約，服務(wù)等級(jí)協(xié)議是決定云存儲(chǔ)服務(wù)能否成功的關(guān)鍵因素.應(yīng)用接口層是云存儲(chǔ)服務(wù)系統(tǒng)最靈活多變的部分，用戶通過云服務(wù)接口實(shí)現(xiàn)對(duì)云端數(shù)據(jù)的存取操作.

2.2 HPSSCE系統(tǒng)的組織設(shè)計(jì)

為了構(gòu)建一種適用于云環(huán)境下的高性能存儲(chǔ)系統(tǒng)，我們認(rèn)真研究了RAID10架構(gòu)，它是一種兼顧存儲(chǔ)性能和數(shù)據(jù)安全等優(yōu)點(diǎn)的存儲(chǔ)架構(gòu)，在此基礎(chǔ)之，我們提出一種基于云環(huán)境的高性能的存儲(chǔ)系統(tǒng)HPSSCE架構(gòu).HPSSCE架構(gòu)分為兩層：上層由多個(gè)RAID0實(shí)現(xiàn)數(shù)據(jù)備份，保證數(shù)據(jù)的安全，從而構(gòu)成RAID0_X架構(gòu)，根據(jù)不同的安全級(jí)別來決定X-1后的陣列對(duì)第一陣列的備份數(shù)量；下層則是通過容錯(cuò)編碼實(shí)現(xiàn)多磁盤的磁盤容錯(cuò)功能，這樣就把常用數(shù)據(jù)和不常用數(shù)據(jù)分開放置，實(shí)現(xiàn)常用數(shù)據(jù)在上層訪問的目的，而系統(tǒng)的性能和磁盤空間的利用率都得到大幅提高[4].

HPSSCE兩層數(shù)據(jù)組織的設(shè)計(jì)思路如下：

對(duì)于容量分布，RAID0_X上層容量根據(jù)具體的磁盤陣列規(guī)模決定其容量，加大下層磁盤容量來提高磁盤的利用率，一般來說用得到80%以上.

對(duì)于寫操作，用戶數(shù)據(jù)都是先保存在RAID0_X的上層結(jié)構(gòu)中，然后根據(jù)用戶對(duì)數(shù)據(jù)安全級(jí)別的設(shè)定，把級(jí)別較低的數(shù)據(jù)保存到RAID0_X陣列的下層備份陣列中，這樣用戶就可以通過修訂數(shù)據(jù)的安全保護(hù)級(jí)別來實(shí)現(xiàn)數(shù)據(jù)可靠性操作，從而提高系統(tǒng)性能和數(shù)據(jù)的快速寫入能力.

對(duì)于讀操作，用戶首先從RAID0_X上層中查找數(shù)據(jù)，RAID0_X的下層搜索則是在系統(tǒng)沒有命中的情況下進(jìn)行，由于系統(tǒng)常用數(shù)據(jù)保存在RAID0_X上層結(jié)構(gòu)中，這就使讀操作命中率會(huì)比較高，整個(gè)存儲(chǔ)系統(tǒng)的讀性能也隨之提高.

對(duì)于數(shù)據(jù)遷移，由于系統(tǒng)的寫操作是在RAID0_X上層中進(jìn)行，而RAID0_X的下層結(jié)構(gòu)是數(shù)據(jù)的存儲(chǔ)空間，因此在數(shù)據(jù)訪問時(shí)，上下兩層之間必須進(jìn)行數(shù)據(jù)遷移.遷移的規(guī)則由上下兩層的安全級(jí)別決定，數(shù)據(jù)遷移也必須在具有相同的安全級(jí)別之間進(jìn)行，數(shù)據(jù)遷移的時(shí)機(jī)選擇在RAID0_X中的某部分?jǐn)?shù)據(jù)熱度較低和系統(tǒng)相對(duì)空閑時(shí)進(jìn)行.

3 HPSSCE系統(tǒng)的數(shù)據(jù)組織原型系統(tǒng)

根據(jù)前面對(duì)高性能存儲(chǔ)系統(tǒng)的數(shù)據(jù)組織策略的分析，我們?cè)O(shè)計(jì)了一種基于云環(huán)境的HPSSCE原型系統(tǒng)，其系統(tǒng)架構(gòu)如圖2所示.

圖2 HPSSCE系統(tǒng)架構(gòu)

整個(gè)系統(tǒng)可分為云用戶、云服務(wù)接口、服務(wù)等級(jí)協(xié)議和存儲(chǔ)系統(tǒng)四個(gè)部分，其中，存儲(chǔ)系統(tǒng)又分為應(yīng)用服務(wù)器和存儲(chǔ)服務(wù)器兩大部分.云用戶把自己的服務(wù)請(qǐng)求通過服務(wù)接口發(fā)送給應(yīng)用程序，文件系統(tǒng)首先接收這種I/O請(qǐng)求，然后把對(duì)文件的訪問轉(zhuǎn)換為對(duì)OSD對(duì)象的訪問，OSD啟動(dòng)器再把這種請(qǐng)求轉(zhuǎn)換為標(biāo)準(zhǔn)的SCSI命令，由iSCSI啟動(dòng)器和TCP/IP轉(zhuǎn)發(fā)給存儲(chǔ)服務(wù)器.Cache是數(shù)據(jù)讀寫命令查詢的起始位置，如果命中，就直接返回結(jié)果；如果沒有命中，就將請(qǐng)求發(fā)給RAID0_X模塊，由RAID0_X模塊處理該請(qǐng)求，沒有查詢到的請(qǐng)求將在容錯(cuò)編碼模塊中進(jìn)行查詢，結(jié)果遷移到RAID0_X上層中.

后臺(tái)數(shù)據(jù)遷移模塊負(fù)責(zé)在RAID0_X存儲(chǔ)池和容錯(cuò)編碼存儲(chǔ)池之間遷移數(shù)據(jù),該模塊否則把長(zhǎng)時(shí)間不使用的數(shù)據(jù)遷移到容錯(cuò)存儲(chǔ)池中，節(jié)省存儲(chǔ)空間，同時(shí)，把多次被訪問的數(shù)據(jù)遷移到RAID0_X存儲(chǔ)池，以提高訪問性能.

4 結(jié)語

通過分析，HPSSCE是一種在云環(huán)境中具有多盤容錯(cuò)能力的對(duì)象存儲(chǔ)系統(tǒng).該系統(tǒng)采用兩層存儲(chǔ)結(jié)構(gòu)，系統(tǒng)的容錯(cuò)能力強(qiáng)，能滿足系統(tǒng)對(duì)性能和安全的需求，可以實(shí)現(xiàn)在任意多個(gè)磁盤故障時(shí)進(jìn)行數(shù)據(jù)的有效恢復(fù)，同時(shí)，用戶也可根據(jù)實(shí)際需要對(duì)不同需求的數(shù)據(jù)設(shè)置不同的安全級(jí)別來保證數(shù)據(jù)的安全，讀寫性能優(yōu)秀，磁盤空間利用率較高.兩層之間的動(dòng)態(tài)數(shù)據(jù)遷移是下一步研究的重點(diǎn).

參 考 文 獻(xiàn)

[1] 吳吉義，傅建慶，平玲娣，謝 琪.一種對(duì)等結(jié)構(gòu)的云存儲(chǔ)系統(tǒng)研究[J].電子學(xué)報(bào)，2011(5):1100-1105.

[2] 崔朝國(guó)，劉志明，李 婧，陳曉凡.一種基于Hadoop的Scool云存儲(chǔ)平臺(tái)[J].電腦知識(shí)與技術(shù)，2013(1):405-406.

[3] 王德政,申山宏，周寧寧.云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2011(4):81-84.

[4] 詹 玲，張強(qiáng)善，萬繼光.一種高可用對(duì)象存儲(chǔ)系統(tǒng)的數(shù)據(jù)組織研究研究[J].計(jì)算機(jī)科學(xué)，2009(11):123-126.