S-E-MBR：一種基于E-MBR碼的分布式存儲系統(tǒng)擴(kuò)容方法

黎 聰，唐 聃

（1.成都信息工程大學(xué) 軟件工程學(xué)院；2.四川省信息化應(yīng)用支撐軟件工程技術(shù)研究中心，四川 成都 610225）

0 引言

隨著人工智能、物聯(lián)網(wǎng)、云計算等計算機(jī)技術(shù)的逐漸成熟，數(shù)據(jù)量級呈爆炸式膨脹［1］。分布式存儲系統(tǒng)因其底層硬件結(jié)構(gòu)和文件系統(tǒng)可以靈活擴(kuò)展而被人們青睞，常用于解決大數(shù)據(jù)難題。然而，更多的存儲設(shè)備為系統(tǒng)帶來了更大的數(shù)據(jù)丟失風(fēng)險。為保證數(shù)據(jù)的可靠性與可用性，分布式存儲系統(tǒng)需要構(gòu)建相應(yīng)的容錯策略［2-3］。普通集群使用多副本技術(shù)構(gòu)建容錯策略，其實現(xiàn)過程簡單，但集群空間消耗大［4-5］。而糾刪碼技術(shù)通過特定算法計算冗余塊進(jìn)行容錯，雖然編譯碼計算復(fù)雜度較高，但其存儲利用率和靈活性高，被越來越多的分布式系統(tǒng)使用［6］。例如，分布式文件系統(tǒng)Ceph 就引入了Jerasure 庫、ISA-L 庫（Intelligent Storage Acceleration Library）等糾刪碼編碼和解碼庫［7］。但一些經(jīng)典糾刪碼，如RS 碼（Reed-Solomon Codes），在數(shù)據(jù)修復(fù)過程中譯碼所需數(shù)據(jù)量往往是丟失量的數(shù)倍，會占用大量網(wǎng)絡(luò)傳輸帶寬和磁盤I/O（Input/Output）資源，造成集群資源的浪費(fèi)［8］。E-MBR 碼（Exact Minimum Bandwidth Regeneration Codes）在一定程度上解決了該問題，其通過引入網(wǎng)絡(luò)編碼的概念，在節(jié)點修復(fù)時選取較多節(jié)點參與修復(fù)過程，且參與修復(fù)的節(jié)點首先對本節(jié)點內(nèi)的數(shù)據(jù)進(jìn)行線性組合后再上傳，極大減少了修復(fù)失效節(jié)點的帶寬消耗［9］。

由于電子商務(wù)、Web 服務(wù)和金融等行業(yè)的特殊性，需要對數(shù)據(jù)進(jìn)行實時訪問，使得數(shù)據(jù)中心必須為用戶提供7×24h 的高質(zhì)量響應(yīng)服務(wù)，然而數(shù)據(jù)遷移量和擴(kuò)容時間等因素均會影響擴(kuò)容效率，造成響應(yīng)延時［10］。因此，如何使用更短的時間、更少的傳輸數(shù)據(jù)量完成擴(kuò)容成為難點所在，也受到了越來越多科研人員的關(guān)注。目前，許多研究在特定的RAID-6（Redundant Arrays of Independent Disks）編碼上實現(xiàn)了擴(kuò)容［11-15］。例如，文獻(xiàn)［11］對數(shù)據(jù)遷移和奇偶校驗數(shù)據(jù)更新過程進(jìn)行了優(yōu)化，減少了擴(kuò)容時間，但只適用于離線場景且平均響應(yīng)時間未減少；文獻(xiàn)［12］通過將舊硬盤中的部分?jǐn)?shù)據(jù)塊遷移到新硬盤中實現(xiàn)了最小成本的數(shù)據(jù)遷移，但未說明響應(yīng)時間變化和適用場景；文獻(xiàn)［13］改變了數(shù)據(jù)遷移方式，使得數(shù)據(jù)塊只在同一行奇偶鏈中移動，從而達(dá)到了數(shù)據(jù)遷移最小值，但其同樣未說明響應(yīng)時間變化，且只適用于離線場景。文獻(xiàn)［16-19］在再生碼［9，20］的基礎(chǔ)上實現(xiàn)了擴(kuò)容，其中文獻(xiàn)［16-18］均證明了最小擴(kuò)容帶寬，但文獻(xiàn)［16］只有在功能性修復(fù)的情況下可以達(dá)到，文獻(xiàn)［17］需要擴(kuò)容前后重構(gòu)節(jié)點數(shù)相等（k=k'）時才能達(dá)到，而文獻(xiàn)［18］的方法復(fù)雜度較高，實現(xiàn)困難；文獻(xiàn)［19］提出兩種擴(kuò)容方法，但其實現(xiàn)方法存在特殊性，未能達(dá)到最小擴(kuò)容帶寬下限。此外，文獻(xiàn)［21］提出的Round-Robin（RR）擴(kuò)容方法是公認(rèn)數(shù)據(jù)布局最優(yōu)的方法，該方法適用范圍廣，但其擴(kuò)容時幾乎需要遷移所有數(shù)據(jù)塊，因此數(shù)據(jù)遷移量和擴(kuò)容開銷最大，擴(kuò)容時間較長；文獻(xiàn)［22］基于RS 碼提出轉(zhuǎn)置數(shù)據(jù)布局，實現(xiàn)了Scale-RS 擴(kuò)容方法，該方法達(dá)到了數(shù)據(jù)遷移量的下限，從讀取并行性和寫入吞吐量方面提高了存儲集群的I/O 性能，但未能達(dá)到校驗更新的開銷下限。

目前國內(nèi)外擴(kuò)容方法分?jǐn)?shù)據(jù)遷移與校驗更新兩步完成，大多數(shù)不適用或未說明是否適用于在線場景，且部分?jǐn)U容方法未能達(dá)到最優(yōu)下限，或只有在特殊參數(shù)條件下才能達(dá)到，限制了擴(kuò)容方法在在線場景中的應(yīng)用。隨著再生碼在分布式場景中的廣泛使用，以及在線場景存在的必要性不斷增加，不可避免地需要使用在線擴(kuò)容方法緩解存儲和計算壓力，提高分布式存儲系統(tǒng)性能。為此，本文提出一種基于E-MBR 碼的擴(kuò)容方法S-E-MBR，可滿足在線擴(kuò)容場景需求，解決了使用E-MBR 碼作為容錯策略的分布式存儲系統(tǒng)的存儲瓶頸問題。

1 S-E-MBR擴(kuò)容方法

S-E-MBR 方法結(jié)合了E-MBR 碼的構(gòu)造特點與在線更新時數(shù)據(jù)從外部輸入的特點，使用增量更新［23］和RS 碼生成矩陣動態(tài)擴(kuò)張［24］的思想，省去了數(shù)據(jù)遷移過程，從而能最大程度地減少擴(kuò)容時的開銷。

1.1 E-MBR碼構(gòu)造

記E-MBR 碼的總節(jié)點數(shù)、重構(gòu)節(jié)點數(shù)、單節(jié)點修復(fù)所需節(jié)點數(shù)和擴(kuò)容節(jié)點數(shù)分別為n、k、d和s，底層RS 碼總編碼塊和原始數(shù)據(jù)塊分別為θ和B。圖1（彩圖掃OSID 碼可見，下同）為E-MBR 碼(n=4，k=2，d=3)的構(gòu)造示意圖，代表總節(jié)點數(shù)使用基于范德蒙矩陣的RS 碼(θ=d(d+1)/2=6，B=kd-k(k-1)/2=5) 對原有原始數(shù)據(jù)塊vi(1 ≤i≤5)進(jìn)行編碼，得到編碼塊vi(1 ≤i≤6)。其中，vi(1 ≤i≤5)為數(shù)據(jù)塊，v6為校驗塊或冗余塊。將編碼塊與圖1 中的θ=6 條邊一一對應(yīng)，對于每個存儲節(jié)點，只存儲與其相連的d=3條邊所對應(yīng)的編碼塊，則編碼完成。

Fig.1 Schematic diagram of E-MBR codes（n=4，k=3，d=2）encoding process圖1 E-MBR碼(n=4，k=2，d=3)構(gòu)造示意圖

1.2 增量更新

在E-MBR 碼中，底層使用基于范德蒙矩陣的RS 碼對原始數(shù)據(jù)塊進(jìn)行編碼，其生成矩陣的動態(tài)擴(kuò)展機(jī)制能夠快速實現(xiàn)校驗更新。記q為(n，k)RS 碼擴(kuò)容的節(jié)點數(shù)，當(dāng)其擴(kuò)容時，容錯數(shù)r=n-k不發(fā)生變化，其生成矩陣變化表示為：

在RS 碼擴(kuò)容時，生成矩陣由k×k階單位矩陣Ik與r×k階的范德蒙矩陣Vr，k擴(kuò)容為(k+s) × (k+s)單位矩陣Ik+s與r× (k+q)范德蒙矩陣Vr，k+q。采用pi(1 ≤i≤r)表示原始校驗塊，di(1 ≤i≤k) 表示原始數(shù)據(jù)塊，(k+1 ≤i≤k+q)表示新增數(shù)據(jù)塊，則擴(kuò)容后的新校驗塊(1 ≤i≤r)可由式（2）得到，校驗更新完成。

1.3 S-E-MBR擴(kuò)容方法詳細(xì)設(shè)計

S-E-MBR 擴(kuò)容方法分為數(shù)據(jù)填充與校驗更新兩步完成。填充數(shù)據(jù)來源于外部輸入。由于S-E-MBR 擴(kuò)容時不需要將條帶分組，只需以(n，k，d，s)一個條帶擴(kuò)容過程為例進(jìn)行說明，其余條帶操作均相同。

1.3.1 數(shù)據(jù)填充

記M為n×θ的矩陣，代表全連通無向圖的關(guān)聯(lián)矩陣，其中(i，j)=1 表 示Vj需 要放置在nodei。關(guān)聯(lián)矩陣M的構(gòu)造方式為遞增式擴(kuò)張，即每次擴(kuò)容1 個節(jié)點，經(jīng)過s次擴(kuò)容即可得到最終需要的(n+s，k+s，d+s)E-MBR 碼的關(guān)聯(lián)矩陣M'。根據(jù)M'進(jìn)行數(shù)據(jù)填充，對于同一節(jié)點的數(shù)據(jù)可以使用聚合式發(fā)送，能夠最大程度地減少其I/O 次數(shù)。

定理1：擴(kuò)容前M每行有且僅有d個1存在，擴(kuò)容s個節(jié)點后M'每行有且僅有d+s個1存在。

證明：記θ'為擴(kuò)容后對應(yīng)的參數(shù)，擴(kuò)容前后容錯數(shù)r=d-k=d'-k'不發(fā)生改變，因此擴(kuò)容后θ'=d'(d'+1)/2。首先可以得到擴(kuò)容前M每行有且僅有d個1 存在。若s=1，可以得到M'需要新增的部分為(n+1) × (θ'-θ)，記為Q。由于Q由n× (θ'-θ)的單位矩陣與1 × (θ'-θ)的1矩陣構(gòu)成，其每行有且僅有1 個1，每次擴(kuò)容1個節(jié)點時，其每行也只增加1 個1。當(dāng)s＞1 時，只需重復(fù)上述過程s次，增加s個1，因此M'每行有且僅有d+s個1存在，證畢。

定理2：擴(kuò)容前后M'每列有且僅有2個1存在。

證明：擴(kuò)容前M每列有且僅有2 個1 存在，若s=1，新增部分Q由n× (θ'-θ)的單位矩陣與1 × (θ'-θ)的1 矩陣構(gòu)成，每列有且僅有2 個1，不影響擴(kuò)容前的M。因此，當(dāng)重復(fù)上述過程，經(jīng)過s次擴(kuò)容后，M'依然每行有且僅有2個1存在，證畢。

以上定理的證明表明擴(kuò)容前后E-MBR 碼本身的構(gòu)造特點未發(fā)生改變，即擴(kuò)容方法并不會對編碼過程產(chǎn)生影響，這是擴(kuò)容方法應(yīng)遵循的標(biāo)準(zhǔn)。

下面以S-E-MBR 擴(kuò)容方法一次性擴(kuò)容2 個節(jié)點為例進(jìn)行說明。圖2 為(n=5，k=3，d=4)時的關(guān)聯(lián)矩陣示意圖，方框分別表示從(n=3，k=1，d=2)開始，每增加一個節(jié)點，M的增加部分Q。虛線部分表示每次進(jìn)行聚合發(fā)送的部分，首先將得到的新增數(shù)據(jù)分為新增數(shù)據(jù)塊vi(4 ≤i≤10)；然后將{v4，v7}、{v5，v8}、{v6，v9}分別聚合發(fā)送到原始節(jié) 點nodei(1 ≤i≤3) 中；最后將{v4，v5，v6，v10} 與{v7，v8，v9，v10}分別聚合發(fā)送至新增節(jié)點nodei(4 ≤i≤5)中即可完成數(shù)據(jù)填充。

Fig.2 Schematic diagram of correlation matrix when n=5，k=3，d=4圖2 參數(shù)為n=5，k=3，d=4時的關(guān)聯(lián)矩陣示意圖

1.3.2 校驗更新

校驗更新階段同樣采用“1.2”小節(jié)直接增量更新的方法，首先直接計算出更新所需增量塊，然后將其發(fā)送至校驗塊進(jìn)行更新即可。同樣以(n=3，k=1，d=2，s=2)為例，擴(kuò)容前E-MBR 碼使用(n=3，k=2)RS 作為底層編碼方法，因此{(lán)v1，v2}為數(shù)據(jù)塊，v3為校驗塊。擴(kuò)容后E-MBR需要使用(n=10，k=9)RS 碼作為編碼方法，因此q=7，校驗塊由式（3）得到。只需要將增量Δv3分別發(fā)送至校驗塊v3即可完成更新。至此，一個條帶的擴(kuò)容過程完成。

1.4 S-E-MBR擴(kuò)容方法示例

由于“1.3”小節(jié)已經(jīng)對擴(kuò)容2 個節(jié)點的情況進(jìn)行了說明，為證明S-E-MBR 擴(kuò)容方法的普適性，以下對擴(kuò)容1 個節(jié)點的詳細(xì)過程進(jìn)行舉例說明。為便于描述，記四元組(n，k，d，s)表示E-MBR 碼從參數(shù)(n，k，d)擴(kuò)容到參數(shù)(n+s，k+s，d+s)。圖3為使用S-E-MBR 方法從參數(shù)(n=4，k=2，d=3)擴(kuò)容到(n=5，k=3，d=4)時的示意圖。

Fig.3 Schematic diagram of expanding one node using S-E-MBR method圖3 S-E-MBR方法擴(kuò)容1個節(jié)點示意圖

使用S-E-MBR 方法擴(kuò)容1 個節(jié)點分?jǐn)?shù)據(jù)填充與校驗更新兩步完成，過程如下：

（1）數(shù)據(jù)填充。填充過程可以分為原始節(jié)點填充與新增節(jié)點填充兩種。在原始節(jié)點nodei(1 ≤i≤4)中，只需要將新增數(shù)據(jù)塊vi(7 ≤i≤10)分別發(fā)送到對應(yīng)節(jié)點即可；在新增節(jié)點node5中，則需要先將新增數(shù)據(jù)塊vi(7 ≤i≤10)打包，然后再放入到新增節(jié)點node5中。

（2）校驗更新。當(dāng)E-MBR 碼從(n=4，k=2，d=3)擴(kuò)容到(n=5，k=3，d=4)時，RS 碼需要從(n=6，k=5)擴(kuò)展到(n=10，k=9)，此時q=4，根據(jù)RS 碼增量更新過程，校驗塊v'6可由式（4）計算得到，然后只需將增量塊△v6發(fā)送到校驗塊中即可完成更新。

2 指標(biāo)分析

從數(shù)據(jù)遷移量、I/O 開銷兩個影響擴(kuò)容方法性能的關(guān)鍵指標(biāo)方面對S-E-MBR、RR 與Scale-RS 3 種擴(kuò)容方法進(jìn)行比較，分析S-E-MBR 擴(kuò)容方法的優(yōu)缺點。比較時均假設(shè)在同一條帶中進(jìn)行。

2.1 數(shù)據(jù)遷移量分析

數(shù)據(jù)遷移量指完成一次擴(kuò)容需要跨節(jié)點遷移的數(shù)據(jù)塊數(shù)量。S-E-MBR、RR、Scale-RS 和Optimal 的數(shù)據(jù)遷移量如表1 所示，表中n'=n+s，d'=d+s，B'=k'd'-k'(k'-1)/2，分別表示擴(kuò)容后的相應(yīng)參數(shù)。

Table 1 The number of data blocks migrated by S-E-MBR，RR，Scale-RS，and Optimal in a same stripe表1 S-E-MBR、RR、Scale-RS和Optimal完成一次擴(kuò)容遷移的數(shù)據(jù)塊數(shù)量

在線擴(kuò)容場景下，數(shù)據(jù)填充的最優(yōu)情況為直接將得到的數(shù)據(jù)拆分為Vi(nd＜i＜=n'd')，然后將其填充至節(jié)點nodei(1 ≤i≤n') 對應(yīng)位置，此時消耗的傳輸量為n'd'-nd。校驗更新的最優(yōu)情況為直接對2(θ-B)個校驗塊進(jìn)行更新，此時消耗的傳輸量為2(θ-B)?？梢娫诰€擴(kuò)容場景下，S-E-MBR 的數(shù)據(jù)遷移量與Optimal 一致，達(dá)到了理論最優(yōu)傳輸量，這也是設(shè)計本文方法的目的。然而，RR 與Scale-RS 擴(kuò)容方法未考慮在線場景與E-MBR 碼的特點，遷移量較大，且RR 與Scale-RS 校驗更新時只能采用重新編碼得到冗余塊后再進(jìn)行更新，因此校驗更新階段的數(shù)據(jù)遷移量也較大。圖4 為［n=4，k=2，d=3］、［n=5，k=2，d=4］、［n=5，k=3，d=4］參數(shù)下S-E-MBR、RR 和Scale-RS 方法分別擴(kuò)容s=1 與s=2 個節(jié)點的數(shù)據(jù)遷移量示意圖。當(dāng)s=1 時，S-E-MBR 方法與RR、Scale-RS 相比遷移數(shù)據(jù)塊數(shù)量減少了57%～74%；當(dāng)s=2 時，S-E-MBR 方法與RR、Scale-RS 相比，遷移數(shù)據(jù)塊數(shù)量減少了42%～50%?？梢奡-E-MBR 在數(shù)據(jù)塊遷移量方面有明顯優(yōu)勢。

Fig.4 The number of data blocks that need to be migrated to expand the capacity of 1 and 2 nodes of S-E-MBR，RR，and Scale-RS scaling methods圖4 S-E-MBR、RR和Scale-RS方法分別擴(kuò)容1個和2個節(jié)點需要遷移的數(shù)據(jù)塊數(shù)量

2.2 I/O開銷分析

I/O 開銷指完成一次擴(kuò)容所有存儲節(jié)點執(zhí)行數(shù)據(jù)輸入和輸出的次數(shù)。S-E-MBR、RR、Scale-RS 的I/O 開銷如表2所示。

Table 2 Input and output times of S-E-MBR，RR，and Scale-RS表2 S-E-MBR、RR和Scale-RS I/O 開銷

I/O 開銷與數(shù)據(jù)遷移息息相關(guān)，RR、Sclae-RS 方法的數(shù)據(jù)遷移次數(shù)較多，導(dǎo)致存儲節(jié)點需要頻繁讀取，因而 I/O 次數(shù)較多。而S-E-MBR 方法利用聚合發(fā)送的方式，同一節(jié)點中只需要發(fā)送1 次數(shù)據(jù)，最大程度地減少了I/O 開銷。圖5 為S-E-MBR、RR 和Scale-RS 方法在參數(shù)為［n=4，k=2，d=3］、［n=5，k=2，d=4］、［n=5，k=3，d=4］時分別擴(kuò)容s=1 與s=2 個節(jié)點的I/O 開 銷。當(dāng)s=1 時，S-E-MBR 方法與RR、Scale-RS 相比，I/O 次數(shù)減少了79%～89%；當(dāng)s=2 時，S-E-MBR 方法與RR、Scale-RS 相比，遷移數(shù)據(jù)塊數(shù)量減少了60%～79%?？梢奡-E-MBR 在I/O 開銷上也有明顯優(yōu)勢。

Fig.5 I/O overhead of S-E-MBR，RR and Scale-RS methods when scaling 1 and 2 nodes respectively圖5 S-E-MBR、RR和Scale-RS方法分別擴(kuò)容1個和2個節(jié)點時的I/O開銷

3 實驗評估

3.1 實驗環(huán)境

在真實的分布式場景下測試S-E-MBR、RR、Scale-RS方法各方面的性能表現(xiàn)。實驗平臺基于Ceph 分布式存儲系統(tǒng)搭建，主要分為客戶端、Ceph Monitor、OSD（Object Storage Daemon）等。客戶端主要用于提供用戶操作集群的平臺；Ceph Monitor 負(fù)責(zé)監(jiān)控整個集群的健康狀況、維護(hù)集群map 等；OSD 為對象存儲設(shè)備，是存儲用戶數(shù)據(jù)并響應(yīng)客戶端操作請求的唯一組件。

實驗測試平臺包含23 個節(jié)點，分別為1 個客戶端、2 個Ceph Monitor 節(jié)點和20 個OSD 存儲節(jié)點。所有節(jié)點硬件配置相同，均為CPU 酷睿i5-5200U、8 GB 內(nèi)存、128 GB 硬盤、1GBps 以太網(wǎng)卡，且均裝載操作系統(tǒng)CentOS8、運(yùn)行環(huán)境Python3.6、分布式存儲系統(tǒng)Ceph15。

圖6 為實驗平臺結(jié)構(gòu)示意圖。Ceph 中客戶端可通過聯(lián)系Monitor 獲取集群map，并通過Ceph CRUSH 確定數(shù)據(jù)存儲的OSD 位置，通過直接聯(lián)系該OSD 來存取數(shù)據(jù)。所有實驗操作均通過客戶端調(diào)用擴(kuò)容算法實現(xiàn)，并采用Ceph直接對OSD 中的數(shù)據(jù)進(jìn)行讀寫操作。

Fig.6 Schematic diagram of the experimental platform structure圖6 實驗平臺結(jié)構(gòu)示意圖

3.2 實驗設(shè)計與評價指標(biāo)

為保證公平性，在每次實驗開始前清除節(jié)點中的所有數(shù)據(jù)，然后以(n=10，k=8，d=9)E-MBR 碼作為基礎(chǔ)編碼，以2M 的分塊大小對50 G 數(shù)據(jù)進(jìn)行編碼，作為集群初始存儲數(shù)據(jù)量。

選擇數(shù)據(jù)傳輸量、擴(kuò)容時間和客戶端響應(yīng)時間3 個指標(biāo)對各方法性能進(jìn)行評價與比較。在本文實驗中，數(shù)據(jù)傳輸量被定義為整個擴(kuò)容過程中涉及節(jié)點間傳輸?shù)臄?shù)據(jù)量之和，其直接反映了擴(kuò)容過程中網(wǎng)絡(luò)傳輸帶寬的占用情況，也一定程度上反映了各個磁盤I/O 資源的占用情況，是評價擴(kuò)容方法的重要指標(biāo)；擴(kuò)容時間被定義為從發(fā)出擴(kuò)容指令開始到擴(kuò)容結(jié)束所花費(fèi)的總時間，其在一定程度上反映了算法實現(xiàn)的復(fù)雜度，也是衡量擴(kuò)容方法效率的重要指標(biāo)；客戶端響應(yīng)時間被定義為從客戶端發(fā)出指令到服務(wù)器作出反饋的響應(yīng)時間，其是擴(kuò)容時用戶最直觀的感受。

3.3 數(shù)據(jù)傳輸量

圖7 為在線輸入數(shù)據(jù)為50 G 時，S-E-MBR、RR、Scale-RS 方法分別擴(kuò)容2、4、6、8 個節(jié)點時的傳輸數(shù)據(jù)量比較結(jié)果，反映了擴(kuò)容節(jié)點數(shù)s對擴(kuò)容方法性能的影響大小。可以看出，在擴(kuò)容節(jié)點數(shù)相同時，S-E-MBR 方法的數(shù)據(jù)傳輸量 比RR 和Scale-RS 方法分別減少52.7%～77.9% 和41.3%～50.4%。隨著擴(kuò)容節(jié)點數(shù)的增多，S-E-MBR 方法的數(shù)據(jù)傳輸量減少程度呈現(xiàn)下降趨勢，說明該方法在小規(guī)模擴(kuò)容時更具優(yōu)勢。

Fig.7 Data transmission volume comparison of S-E-MBR，RR and Scale-RS methods under different expansion nodes圖7 不同擴(kuò)容節(jié)點下S-E-MBR、RR和Scale-RS方法數(shù)據(jù)傳輸量比較

圖8 為在線輸入數(shù)據(jù)量分別為6 G、12 G、24 G、48 G，擴(kuò)容1 個節(jié)點時S-E-MBR、RR、Scale-RS 方法的數(shù)據(jù)傳輸量比較。可以看出，在不同在線輸入數(shù)據(jù)量下，S-E-MBR方法的數(shù)據(jù)傳輸量比RR 和Scale-RS 方法減少86.3%～86.8%，說明在線輸入數(shù)據(jù)量大小對S-E-MBR 方法的數(shù)據(jù)傳輸量產(chǎn)生的影響較小，該方法穩(wěn)定性較好。

Fig.8 Data transmission volume comparison of S-E-MBR，RR，and Scale-RS methods under different online input data volumes圖8 不同在線輸入數(shù)據(jù)量下S-E-MBR、RR和Scale-RS方法數(shù)據(jù)傳輸量比較

3.4 擴(kuò)容時間

圖9 為在線輸入數(shù)據(jù)量分別為6 G、12 G、24 G、48 G，擴(kuò)容節(jié)點數(shù)為1 時，S-E-MBR、RR、Scale-RS 方法的擴(kuò)容時間比較?？梢钥闯?，在不同在線輸入數(shù)據(jù)量下，S-EMBR 方法的擴(kuò)容時間相較RR 和Scale-RS 方法分別減少72.3%～75.4%和50.6%～53.5%，說明該方法在擴(kuò)容時間方面有較小起伏。圖10 為各方法擴(kuò)容時間的平均值，可以看出S-E-MBR 方法的平均擴(kuò)容時間相較RR 和Scale-RS方法分別減少了74.0%與58.2%，該方法在擴(kuò)容時間方面具有明顯優(yōu)勢。

Fig.9 Expansion time comparison of S-E-MBR，RR，and Scale-RS methods under different online input data volumes圖9 不同在線輸入數(shù)據(jù)量下S-E-MBR、RR和Scale-RS方法擴(kuò)容時間比較

Fig.10 Comparison of average scaling time between S-E-MBR，RR，and Scale-RS methods圖10 S-E-MBR、RR和Scale-RS方法平均擴(kuò)容時間比較

3.5 客戶端響應(yīng)時間

圖11 為S-E-MBR、RR、Scale-RS 方法以及無擴(kuò)容操作的客戶端平均響應(yīng)時間比較，可以看出3 種擴(kuò)容方法均在一定程度上降低了集群的響應(yīng)速度，但執(zhí)行S-E-MBR方法時集群的響應(yīng)速度更快，與RR、Scale-RS 相比，其響應(yīng)速度分別提升了39.2%和17.1%，說明S-E-MBR 方法更適合不宕機(jī)的在線擴(kuò)容場景。

Fig.11 Comparison of client response time for S-E-MBR，RR，and Scale-RS methods圖11 S-E-MBR、RR和Scale-RS方法客戶端響應(yīng)時間比較

4 結(jié)語

可以靈活擴(kuò)充存儲容量是分布式存儲系統(tǒng)解決大數(shù)據(jù)難題的優(yōu)勢。在以E-MBR 碼為基礎(chǔ)構(gòu)建安全策略的分布式存儲中，擴(kuò)容不僅是存儲容量的增加，還意味著數(shù)據(jù)的重新分配與校驗數(shù)據(jù)的更新。

本文充分利用E-MBR 底層RS 碼的更新優(yōu)勢與在線擴(kuò)容場景的特點，提出一種適用于E-MBR 碼的分布式存儲集群擴(kuò)容方法S-E-MBR，其實現(xiàn)過程相較離線擴(kuò)容更簡單高效，在數(shù)據(jù)遷移與校驗更新時均能達(dá)到最優(yōu)情況，有效減少了需要消耗的網(wǎng)絡(luò)帶寬以及磁盤I/O 資源占用，縮短了擴(kuò)容時間。在以Ceph 為基礎(chǔ)搭建的分布式測試集群中進(jìn)行比較實驗，結(jié)果表明S-E-MBR 方法相較RR 與Scale-RS 方法擴(kuò)容時的數(shù)據(jù)傳輸量減少了52.7%～77.9%和41.3%～50.4%，擴(kuò)容總時間減少了72.3%～75.4% 和50.6%～53.5%。雖然S-E-MBR 擴(kuò)容時會在一定程度上降低系統(tǒng)響應(yīng)速度，但與RR 與Scale-RS 擴(kuò)容方法相比，其響應(yīng)速度分別提升了39.2%和17.1%，適合于需要在線擴(kuò)容的場景。目前，S-E-MBR 方法僅適用于E-MBR 碼需要增加節(jié)點的情況，節(jié)點數(shù)減少的情況將作為未來研究方向，以期提出更為通用、高效的在線擴(kuò)容方法。