基于虛擬網(wǎng)格存儲動(dòng)態(tài)執(zhí)行過程的研究

崔蓓蓓，姜麗

(1.徽商職業(yè)學(xué)院 電子信息系，安徽 合肥 230001；2.國防科技大學(xué) 電子對抗學(xué)院，安徽 合肥 230000)

非結(jié)構(gòu)化數(shù)據(jù)快速發(fā)展，存儲壓力進(jìn)一步增大，而在云計(jì)算的環(huán)境中，存儲的分布式，網(wǎng)絡(luò)環(huán)境的虛擬化，使存儲資源進(jìn)一步池化。如何減少存儲碎片化，提高云環(huán)境下存儲效率是本文考慮的重點(diǎn)，“存儲網(wǎng)格”是國際上提出的全新概念。

計(jì)算與存儲在過去30年中一直未能同步發(fā)展，回顧其發(fā)展歷程，處理器和網(wǎng)絡(luò)帶寬分別提升了3000倍和1000倍，而磁盤和內(nèi)存帶寬僅提升120倍，落后于摩爾定律[1]。阿姆達(dá)爾定律認(rèn)為，系統(tǒng)中最慢部分存儲的效率決定整個(gè)系統(tǒng)的效率。2012 年全球信息數(shù)據(jù)達(dá)到 2.1ZB(1ZB= 240GB)[2]。估計(jì)到 2020 年，全球總的數(shù)據(jù)量將達(dá)到35ZB，為了提升資源的利用效率，最終導(dǎo)致計(jì)算、存儲架構(gòu)的分離，訪問控制技術(shù)朝著細(xì)化粒度、多級層次的方向發(fā)展，存儲虛擬化(storage virtualization)屏蔽物理層，實(shí)現(xiàn)物理存儲的邏輯化，提高了存儲效率，存儲網(wǎng)格式是在存儲虛擬化之上提出的新概念。存儲網(wǎng)格式在虛擬化[3]環(huán)境下解決了跨域的分散存儲，然而虛擬網(wǎng)格式存儲又給數(shù)據(jù)的容災(zāi)備份和尋址帶來挑戰(zhàn)，本文在考慮通過低顆粒度存儲的同時(shí)，通過Erasure Code編碼的動(dòng)態(tài)網(wǎng)格存儲技術(shù)，研究通過DHT尋址、從而提高虛擬存儲效率。

1 虛擬存儲模型

圖1 SNIA存儲虛擬技術(shù)的分類圖

虛擬化發(fā)展歷經(jīng)了三個(gè)主要階段，從基于主機(jī)的虛擬化、基于設(shè)備的虛擬化到目前基于網(wǎng)絡(luò)的虛擬存儲。網(wǎng)絡(luò)虛擬存儲可以整合多個(gè)存儲子系統(tǒng)，目前的網(wǎng)絡(luò)存儲技術(shù)(Network Storage Technologies)大致分為三種：直連式存儲(DAS：Direct Attached Storage)、網(wǎng)絡(luò)存儲設(shè)備 (NAS：Network Attached Storage)和存儲網(wǎng)絡(luò)(SAN：Storage Area Network)[4]?，F(xiàn)在借用SNIA(存儲網(wǎng)絡(luò)工業(yè)協(xié)會)的分類方法，來觀察網(wǎng)絡(luò)虛擬化存儲和系統(tǒng)資源的關(guān)系。圖1為SNIA虛擬化存儲層次圖。

虛擬存儲系統(tǒng)將各類存儲資源進(jìn)行整合，形成一個(gè)統(tǒng)一的資源管理池，提高資源的利用率，解決非結(jié)構(gòu)化數(shù)據(jù)快速增長與存儲力相對不足的矛盾。在虛擬管理模塊中，根據(jù)數(shù)據(jù)通道管理位置，分為帶內(nèi)(In-Band)和帶外(Out-of-Band)管理[5]兩部分，屏蔽物理位置限制，形成一個(gè)大的“存儲池”，為網(wǎng)格存儲提供了資源依據(jù)，而采用Erasure code保證數(shù)據(jù)訪問的安全性，對于存儲資源的尋址采用負(fù)載均衡使用哈希數(shù)據(jù)路由[6]提高尋址效率。

2 Storage Grid用戶態(tài)的數(shù)據(jù)模型

Storage GRID存儲和管理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的下一代對象存儲，2017年NetApp推出了NetApp Storage GRID Webscale將存儲網(wǎng)格推向新的高度，NetApp在用戶端與SAN之間添加中繼層，擴(kuò)展存儲網(wǎng)格。然而學(xué)術(shù)界尚未對網(wǎng)格存儲引起足夠重視，存儲網(wǎng)格為公有云提供了共享數(shù)據(jù)，分散用戶對數(shù)據(jù)的頻繁換進(jìn)和換出，處理器以block塊為調(diào)度單位的顆粒度的較大，進(jìn)一步細(xì)分Data Blocks，提供顆粒度更細(xì)的內(nèi)容存儲，提高存儲資源的利用效率[7]，圖2為DataBlocks數(shù)據(jù)結(jié)構(gòu)圖。

圖2 DataBlocks數(shù)據(jù)結(jié)構(gòu)

將分散的DataBlocks定義為D={D1,D2,L,Dn}，其中n表示 DataBlocks的數(shù)目，其資源在虛擬機(jī)的位置集合V={V1,V2,L,Vm}，m表示虛擬機(jī)的總數(shù)。物理機(jī)上虛擬機(jī)位置向量為H={hi1,hi2,L,Dim}，當(dāng)系統(tǒng)調(diào)用存儲資源時(shí)，需要消耗cpu、內(nèi)存、網(wǎng)絡(luò)帶寬和存儲用向量Pi=(SCi,SMi,SNi,SHi)表示，相應(yīng)的虛擬機(jī)的系統(tǒng)態(tài)資源GridTablei=(sci,smi,sni,shi)。F=min(Pused)，物理資源使用越少，資源利用率越高。

在進(jìn)程調(diào)度過程中，用戶態(tài)下對資源的動(dòng)態(tài)訪問的數(shù)據(jù)模型，可以定義為：GridTable[j]=(storage[j],active[j],domain[j],MaxOline[j])。

storage[j]是指第j個(gè)虛擬主機(jī)存儲云的存儲能力指數(shù)，單位為字節(jié)；

active[j]，表示第j個(gè)虛擬機(jī)是否占用活動(dòng)的資源；

domain[j]，表示第j個(gè)虛擬機(jī)在虛擬云中區(qū)域范圍；

oline[j]，表示第j個(gè)虛擬主機(jī)存儲云在線連接數(shù)；

MaxOline[j]，表示第j個(gè)虛擬機(jī)能夠分配的最大在線連接數(shù)。

存儲節(jié)點(diǎn)存放Data Blocks文件，Storage Grid 根據(jù)這些信息執(zhí)行數(shù)據(jù)管理，Grid主要從解決存儲資源的數(shù)量級的角度出發(fā)。Grid在使存儲的顆粒度變小的同時(shí)，考慮虛擬主機(jī)動(dòng)態(tài)執(zhí)行過程，將 blocks 塊進(jìn)行網(wǎng)格式劃分，并將Storage Grid的動(dòng)態(tài)化執(zhí)行過程用簡單的算法模型表示，在網(wǎng)格存儲的顆粒度研究上具有一定的積極意義。

3 Erasure code 的數(shù)據(jù)冗余機(jī)制

3.1 Erasure code的編碼

多資源池的數(shù)據(jù)同步訪問，需要跨站點(diǎn)的數(shù)據(jù)同步能力，在保持隨時(shí)隨地訪問數(shù)據(jù)能力的同時(shí)，要保持?jǐn)?shù)據(jù)訪問的安全性，如何利用有限的存儲資源滿足迅速膨脹的存儲需求成為一個(gè)巨大挑戰(zhàn)。采用多副本策略在滿足存儲可靠、優(yōu)化數(shù)據(jù)讀寫性能的同時(shí)可能造成資源利用率低的缺陷。Erasure code編碼的存儲策略可以提高存儲資源的利用效率。Erasure Code(N+M)的數(shù)據(jù)方式進(jìn)行數(shù)據(jù)冗余保護(hù)，有效地提網(wǎng)格的利用效率，如果客戶端需要N個(gè)DataBlack，進(jìn)行冗余校驗(yàn)時(shí)需要M個(gè)校驗(yàn)塊，其空間利用率為N/(M+N)。如果有任意小于M的數(shù)據(jù)失效，仍然能通過剩下的數(shù)據(jù)還原出來。也就是說，通常N+M的erasure編碼，能容M塊數(shù)據(jù)故障的場景，這時(shí)候的存儲成本是1+M/N，通常M

3.2 Erasure Code的解碼

Erasure Code對N個(gè)Data blocks原始數(shù)據(jù)塊進(jìn)行編碼，編碼后產(chǎn)生M個(gè)數(shù)據(jù)塊(M>N),從編碼后的M個(gè)數(shù)據(jù)塊進(jìn)行解碼還原出原始數(shù)據(jù)塊，而部分存儲的損失，不影響數(shù)據(jù)的恢復(fù)[9]。根據(jù)圖3可知，如n2、n4、n6出現(xiàn)存儲故障,系統(tǒng)態(tài)會從其他節(jié)點(diǎn)或硬盤把n2、n4、n6數(shù)據(jù)進(jìn)行重建出來，n1、n3、n5、m1、m2、m3為一個(gè)EC條帶，當(dāng)校驗(yàn)塊增大時(shí)，開銷增大，圖3為DataBlack的Erasure Code冗余備份圖。

圖3 N+M的Erasure Code冗余

Erasure code編碼解決了存儲的穩(wěn)定性，提高了空間的利用效率，但編碼、解碼尚屬于復(fù)雜的數(shù)學(xué)運(yùn)算，是以犧牲一定的計(jì)算性能為代價(jià)的。目前erasure code還僅適用于對冷數(shù)據(jù)的離線處理階段，如何從根本上降低erasure code帶來的performance overhead，使得編碼存儲技術(shù)得以真正大量適用，將為大數(shù)據(jù)存儲[8]帶來不容質(zhì)疑的重大意義。當(dāng)前，Microsoft、Google、Facebook、Amazon、阿里巴巴等互聯(lián)網(wǎng)巨頭將erasure code編碼存儲技術(shù)應(yīng)用于主流存儲系統(tǒng)中。

4 Erasure code 的冗余網(wǎng)格數(shù)據(jù)DHT尋址機(jī)制

對存儲的研究除提高存儲效率，增加存儲的額外備份之外[9]，最重要之處是保證數(shù)據(jù)的安全性，跨域的核心數(shù)據(jù)備份將能很大程度降低由于宕機(jī)而造成的數(shù)據(jù)丟失，本節(jié)通過跨域的冗余策略及DHT的尋址方式來闡述數(shù)據(jù)的完整性保護(hù)。新增或減少映射節(jié)點(diǎn)時(shí)盡可能少地避免原有的映射關(guān)系，使數(shù)據(jù)能均勻的分布在各個(gè)節(jié)點(diǎn)。我們稱這種算法為一致性Hash算法，又稱分布式哈希DHT[10]。

具體步驟為：

(1)將共享存儲的數(shù)據(jù)塊用Erasure Code進(jìn)行冗余編碼；

(2)根據(jù)在線存儲節(jié)點(diǎn)的性能參數(shù)獲取存儲節(jié)點(diǎn)群，并將文件分布式地儲在當(dāng)前域內(nèi)的存儲節(jié)點(diǎn)中，保存文件的存儲路由表信息；

(3)將文件的最低級目錄利用hash算法進(jìn)行尋址。

采用DHT的方法，將物理節(jié)點(diǎn)node映射到2k的環(huán)狀拓?fù)浣Y(jié)構(gòu)上，總空間為2k-1，通過hash

圖4分布式存儲系統(tǒng)DHT數(shù)據(jù)路由

(node)%2k，物理節(jié)點(diǎn)建立了與hash環(huán)的聯(lián)系，如果在IPv4的環(huán)境下可以取k=32，node在hash環(huán)上的映射位置將表現(xiàn)為實(shí)際的物理地址，將存儲對象DataBlocks的數(shù)據(jù)塊以同樣的方式映射到hash環(huán)上，即hash(DataBlocks)%2k=key，這樣就建立了DataBlack和node的唯一聯(lián)系，當(dāng)node的節(jié)點(diǎn)增加或減少時(shí)，只影響附近的一個(gè)節(jié)點(diǎn)，不會影響全部節(jié)點(diǎn)的數(shù)據(jù)。

分布式Hash技術(shù)，天然支持分布式自動(dòng)精簡配置(Thin Provisioning)，無須預(yù)先分配空間。由于DHT具有動(dòng)態(tài)維護(hù)的特征，允許節(jié)點(diǎn)的自動(dòng)加入或退出，在虛擬的計(jì)算環(huán)境中形成DHT的覆蓋網(wǎng)絡(luò)，而不考慮存儲節(jié)點(diǎn)的具體屬性。

5 結(jié)論

存儲網(wǎng)格主要解決存儲資源的數(shù)量級的問題，Storage GRID 為存儲和管理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)[10]的下一代對象存儲，StorageGRID 將架構(gòu)在VMware虛擬機(jī)架構(gòu)之上，將塊存儲以更小的網(wǎng)格化呈現(xiàn)，使算法在滿足用戶需求的前提下，提高存儲資源的利用率，減少碎片化的概率。

存儲網(wǎng)格主要解決了存儲資源的數(shù)量級的問題，并能提供支持多種應(yīng)用，在研究過程中會遇到多應(yīng)用，多站點(diǎn)，多種訪問協(xié)議的情況，可采用對存儲資源訪問保留策略，包括在一段時(shí)間內(nèi)對放置位置、存儲級別、副本數(shù)量進(jìn)行日志記錄和刪除。網(wǎng)格存儲采用分布式塊存儲，具有高性能，采用分布式哈希數(shù)據(jù)路由實(shí)現(xiàn)負(fù)載均衡，采用Erasure code對數(shù)據(jù)進(jìn)行有效備份，用DHT的進(jìn)行數(shù)據(jù)路由，使分布式網(wǎng)格存儲在虛擬化存儲的條件下具有更高的可靠性，單個(gè)物理設(shè)備的故障不影響業(yè)務(wù)使用，支持高擴(kuò)展性非集中式訪問，支持平滑擴(kuò)展，容量不受限制，易管理。