淺析云存儲數(shù)據(jù)中心存儲系統(tǒng)優(yōu)化訪問的策略

張淼波

摘要：該文對現(xiàn)行云存儲數(shù)據(jù)中心或大規(guī)模數(shù)據(jù)中心的存儲管理儲系統(tǒng)，從提高數(shù)據(jù)訪問效率的角度淺析如何優(yōu)化訪問策略的問題；以現(xiàn)行云存儲數(shù)據(jù)中心存儲管理方案為基礎(chǔ)，詳細(xì)描述和分析目前較為流行的兩種數(shù)據(jù)存儲管理方案：數(shù)據(jù)冗余策略和糾刪碼策略的優(yōu)劣勢，提出了一種根據(jù)數(shù)據(jù)訪問“冷熱度”，建立冷熱數(shù)據(jù)統(tǒng)計模型、分析模型、冷熱數(shù)據(jù)的分離模型，建立基于冷熱數(shù)據(jù)震蕩緩沖層的冗余策略變更模型，從而達(dá)到改進數(shù)據(jù)存儲管理方案的新構(gòu)想。

關(guān)鍵詞：冗余策略；副本；糾刪碼；伸展樹；數(shù)據(jù)冷熱度

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2018）26-0005-02

云計算中心是我國十三五重點扶持領(lǐng)域，在整個“十二五規(guī)劃”期間，我國的云計算領(lǐng)域的產(chǎn)業(yè)鏈規(guī)模將達(dá)到7500-10000億元人民幣。云計算的崛起使得數(shù)據(jù)越來越集中，在眾多場合，云計算和大數(shù)據(jù)的概念通常緊密聯(lián)系在一起，數(shù)據(jù)越來越大，使得數(shù)據(jù)中心需要面對一個極其重要的挑戰(zhàn)：對大數(shù)據(jù)的安全、高效的管理。IDC數(shù)字宇宙研究指出，全球的數(shù)據(jù)量每兩年翻一番。2015年創(chuàng)建和復(fù)制的數(shù)據(jù)量為8.6ZB。預(yù)計到2020年將達(dá)到44ZB。這要求數(shù)據(jù)中心能夠同時滿足大數(shù)據(jù)的存儲規(guī)模，以及數(shù)據(jù)安全可靠性和可用性的要求。

現(xiàn)行云存儲系統(tǒng)中數(shù)據(jù)冗余是保證系統(tǒng)可靠性、提高數(shù)據(jù)可用性和持久性最基本的方法，目前，云存儲系統(tǒng)廣泛使用的冗余策略分為副本和糾刪碼[1]兩種，兩種策略的優(yōu)缺點都非常明顯。

1 副本和糾刪碼簡介

文本副本中的節(jié)點，最簡單的數(shù)據(jù)就是獲取該文件。由于副本不涉及冗余策略，通過將文件的多個副本原理，通過將文件的多個副本分布到系統(tǒng)不同節(jié)點，只要這些節(jié)點中的一個副本有效，數(shù)據(jù)的可用性越好，就能獲取該文件的編碼運算。文件的副本越多，數(shù)據(jù)的可用性越好，可靠性越高。文件讀取和創(chuàng)建需要解碼和編碼操作，讀寫效率高。

糾刪碼是另一種重要的冗余策略，將這K塊文件編碼成N個編碼（N，K），糾刪碼將一個大小為M的原始文件分成K塊，其中每個存儲節(jié)點存儲一個編碼塊，每塊大小為M /K；然后塊后分發(fā)到N個節(jié)點中去，且N>K。（N，K）糾刪碼指的是N編碼中的任意K個編碼塊就能重構(gòu)原文件。

2 副本和糾刪碼的比較

相關(guān)文獻(xiàn)對兩種冗余策略進行比較，得出在不同情況下，兩種策略各有各的優(yōu)勢。副本冗余方式響應(yīng)速度快，冗余方式簡單，但極大地浪費存儲資源。特別是在規(guī)模龐大的云存儲中心，勢必會增加系統(tǒng)的投入成本，例如常見的3副本策略，使得存儲系統(tǒng)的存儲資源利用率最高也只能達(dá)到30%左右；糾刪碼方式雖然能夠節(jié)省存儲空間，提高存儲利用率，但是糾刪碼分片冗余機制也有其自身的局限性。首先，對數(shù)據(jù)分片及解碼算法的引入將增加系統(tǒng)設(shè)計的復(fù)雜度。其次，糾刪碼分片冗余機制要求用戶必須從網(wǎng)絡(luò)的多個節(jié)點中獲得多個分片才可以恢復(fù)原始數(shù)據(jù)，若在互聯(lián)網(wǎng)環(huán)境中，由于地理位置等因素，用戶到多個節(jié)點的時延各有差異，這樣獲取數(shù)據(jù)的最終時延總是取決于各節(jié)點中的最大者，導(dǎo)致數(shù)據(jù)下載率降低。

3 冷熱數(shù)據(jù)與冗余策略

對云存儲系統(tǒng)中數(shù)據(jù)訪問特性的統(tǒng)計分析發(fā)現(xiàn)，文件訪問集中在文件創(chuàng)建時的時間段，并且滿足于Zipf分布規(guī)律[2]，呈現(xiàn)出“局部性”的特點，即大量的訪問集中在小部分?jǐn)?shù)據(jù)之上。

3.1 冷熱數(shù)據(jù)的分級存儲

虛擬內(nèi)存的冷熱數(shù)據(jù)的分級最早的原型是頁面置換算法[3]，頁面置換算法最近最久未使用置換算法，頁面置換算法是一種典型的兩級存儲模型，包括先進先出置換算法，最近未用置換算法。頁面置換算法的核心是選擇哪些永不使用的，這個思想在最長時間內(nèi)不在被訪問的頁面，反映了對頁面重要性的基本評價標(biāo)準(zhǔn)或者是轉(zhuǎn)換出云。 數(shù)據(jù)是否被訪問，一直延用當(dāng)前這種思想轉(zhuǎn)型為分級存儲算法。

3.2 冷熱數(shù)據(jù)的判定

3.2.1 固定閥值法

將數(shù)據(jù)遷移到固定閥值法，基本思想是在一段時間內(nèi)，當(dāng)數(shù)據(jù)存放在高級存儲設(shè)備中設(shè)定一個固定的訪問頻度閥值對數(shù)據(jù)進行分級，否則不遷移數(shù)據(jù)；首先統(tǒng)計一段時間內(nèi)所有數(shù)據(jù)的訪問頻度，并且訪問頻度大于閥值，（速度快容量?。绻ㄋ俣嚷萘看螅?shù)據(jù)存放在低級存儲設(shè)備中，并且訪問頻度小于閥值，低級存儲設(shè)備，將數(shù)據(jù)遷移到高級存儲設(shè)備，否則不遷移數(shù)據(jù)。

3.2.2 高低水位法

設(shè)定存儲設(shè)備總?cè)萘扛叩退环ǖ幕舅枷胧遣捎米罡甙俜直群妥畹桶俜直?，將?shù)據(jù)向低級存儲設(shè)備遷移，遷移數(shù)據(jù)的選擇根據(jù)是從上一次遷移開始將這兩個百分比稱之為存儲高水位和低水位。當(dāng)高級存儲設(shè)備中的數(shù)據(jù)最達(dá)到高水位時，直到數(shù)據(jù)量達(dá)到低水位時停止。由低到高依次遷移到低級存儲設(shè)備。由于數(shù)據(jù)量快速增長，當(dāng)前的訪問頻度統(tǒng)計值，高低水位法強調(diào)解決，導(dǎo)致高級存儲設(shè)備容量不足問題的算法。

分級存儲系統(tǒng)中，根據(jù)數(shù)據(jù)的不同重要性、數(shù)據(jù)的訪問頻率、存儲成本等因素，分別存儲在相應(yīng)的設(shè)備上，由信息生命周期理論可知，數(shù)據(jù)信息在不同地域、不同時間、不同應(yīng)用環(huán)境中其價值也不相同，因此，不同情況下同一類數(shù)據(jù)要在存儲系統(tǒng)的不同等級存儲設(shè)備之間流動；典型的數(shù)據(jù)遷移算法主要有三種[4]：基于存儲空間的高低水位法，基于數(shù)據(jù)訪問頻率的Cache替換法和信息生命周期管理（ILM）中的價值評估法。

3.3 針對云存儲系統(tǒng)中數(shù)據(jù)的“局部性”特征，我們可以進一步探求冷熱數(shù)據(jù)的分離機制，建立更科學(xué)、合理的存儲策略

3.3.1 建立熱度統(tǒng)計和分析模型

在存儲系統(tǒng)中，熱點數(shù)據(jù)被分為兩在類：永久性熱（Permanent Hotspor）和階段性熱（Stage Hotspot）。其中階段性熱點還可以繼續(xù)分成兩小類：周期性熱點（Cyclical Hotspot）和突發(fā)性熱點（Sudden Hotspot）。如果某個數(shù)據(jù)一直都被頻繁地訪問，則稱為“永久性熱點”，如圖1（a）所示。周期性熱點是一個數(shù)據(jù)對像周期性地被頻繁訪問，如圖1（b）所示。如果一個數(shù)據(jù)對象從默默無聞突然變成數(shù)據(jù)訪問的焦點，則將其稱為“突發(fā)性熱點” 如圖1（c）所示。

熱度統(tǒng)計和分析模型需要根據(jù)數(shù)據(jù)的訪問頻率、數(shù)據(jù)大小、創(chuàng)建時間、熱點訪問、重要性等參考信息進行設(shè)計，對于熱點數(shù)據(jù)需要建立一套識別和評價方法，在構(gòu)建分析模型時應(yīng)區(qū)分永久性熱點、周期性熱點和突發(fā)性熱點等問題

3.3.2 建立基于伸展樹的冷熱數(shù)據(jù)分離模型

伸展樹（splay tree）是一種能夠根據(jù)訪問請求變化動態(tài)調(diào)整其自身結(jié)構(gòu)的二叉搜索樹（BST）。采用伸展樹（splay tree）方式對元數(shù)據(jù)進行有效的索引組織，伸展樹是能夠根據(jù)訪問請求變化動態(tài)調(diào)整其自身結(jié)構(gòu)的二叉搜索樹。對于提升熱點數(shù)據(jù)節(jié)點的訪問性能，伸展樹是一種很理想的數(shù)據(jù)結(jié)構(gòu)。最近最多被訪問的節(jié)點一直位于根節(jié)點的附近，從而將縮短再次被訪問時的搜索路徑長度。通過伸展樹的這一特性，可以使用伸展樹實現(xiàn)冷熱數(shù)據(jù)的分離。

3.3.3 建立基于冷熱數(shù)據(jù)震蕩緩沖層的冗余策略變更模型

在對索引緩存進行自適應(yīng)調(diào)整實現(xiàn)冷熱數(shù)據(jù)的調(diào)整之后，需要對元數(shù)據(jù)索引指向的數(shù)據(jù)進行冗余策略變更操作，采用某種冷熱度數(shù)判定方法（固定閥值法或高低水位法），當(dāng)系統(tǒng)出現(xiàn)突發(fā)性熱點事件時，在臨界點將產(chǎn)生冷熱震蕩的數(shù)據(jù)，其冗余方式的變更將出現(xiàn)“搖擺”現(xiàn)象，頻繁的冗余策略變更會極大的消耗系統(tǒng)資源。

此時我們應(yīng)當(dāng)考慮通過設(shè)置冷熱震蕩緩沖層，采用延遲變更冗余策略的方式來防止該現(xiàn)象的產(chǎn)生，在基于冷熱數(shù)據(jù)震蕩緩沖層的模型中有兩個關(guān)鍵問題也需要解決，一個是冷數(shù)據(jù)、熱數(shù)據(jù)以及緩沖帶數(shù)據(jù)的比例，另一個是冗余策略變更時間點的選擇。

4 結(jié)束語

大量研究已對副本和糾刪碼冗余策略在分布式系統(tǒng)中的應(yīng)用做了對比分析，指出了副本和糾刪碼在存儲系統(tǒng)可靠性和可用性方面的特點。本文采用原型系統(tǒng)Swift所提供的副本和糾刪碼兩種冗余策略方式，因此只需對數(shù)據(jù)的訪問熱度進行統(tǒng)計分析，建立冷熱數(shù)據(jù)分離模型和冗余策略模型，如若采取理論與實驗相結(jié)合的方法，即可驗證理論的可行性，從而實現(xiàn)對云存儲數(shù)據(jù)中心存儲系統(tǒng)管理的優(yōu)化。

參考文獻(xiàn)：

[1] AJoseph.O.Sullivan.and L.Xu. coding for High-Density Storage System.Technical report.Network and Information System lab.Washington University Saint Louis.Feb，2004.

[3] 昌帥，高光明，徐凱，等.海量信息分級存儲數(shù)據(jù)遷移策略研究[J].計算機工程與科學(xué)，2009，31（A01）：163-167

[4] 王艷云，邊根慶，王瑞龍.數(shù)據(jù)遷移算法研究[J].電腦知識與技術(shù)（學(xué)術(shù)交流），2012，8（5）：2968-2970.

[通聯(lián)編輯：光文玲]