基于Ceph分布式數(shù)據(jù)糾刪碼更新優(yōu)化策略

張開碧 鄧杰銘 付蔚

【摘要】對于Ceph分布式存儲設(shè)備數(shù)量大的分布式集群，發(fā)生故障是在所難免，也是其一大挑戰(zhàn)。面對分布式存儲出現(xiàn)的故障，系統(tǒng)怎么能快速的發(fā)現(xiàn)故障，定義類型，并且解決故障呢。在現(xiàn)在最經(jīng)常使用的方法是RS糾刪碼，糾刪碼可以保證系統(tǒng)的可靠性，用低冗余的方法進(jìn)行數(shù)據(jù)的恢復(fù)，糾刪碼修復(fù)數(shù)據(jù)之前，我們需要對節(jié)點(diǎn)進(jìn)行更新，保證數(shù)據(jù)是最新的狀態(tài)。對于常規(guī)的糾刪碼使用的延遲或者立即更新不太能滿足對數(shù)據(jù)準(zhǔn)確率和修復(fù)效率的要求。所以設(shè)計出了一套基于Ceph分布式數(shù)據(jù)糾刪碼更新優(yōu)化策略。該方案利用閾值設(shè)計出更新觸發(fā)時機(jī)，再利用立即延遲對數(shù)據(jù)混合更新的方式能更好的滿足數(shù)據(jù)修復(fù)的準(zhǔn)確性和效率。

【關(guān)鍵詞】Ceph;RS糾刪碼;閾值;

0引言

糾刪碼技術(shù)因其較高的空間利用率和數(shù)據(jù)可靠性被廣泛應(yīng)用于分布式存儲系統(tǒng)中。在實(shí)際的分布式存儲系統(tǒng)中，糾刪碼數(shù)據(jù)的更新是一項(xiàng)較為頻繁且涉及范圍較廣的操作[1]，同時更新過程需要消耗較大的網(wǎng)絡(luò)開銷和完成復(fù)雜的計算。隨著數(shù)據(jù)量的增大以及用戶行為的多樣化，多點(diǎn)更新逐漸成為了一種常態(tài)。相比于單點(diǎn)更新，糾刪碼的的多點(diǎn)更新表現(xiàn)出兩個特點(diǎn)：一是更新過程中網(wǎng)絡(luò)開銷成倍增長，這是因?yàn)樗械拇鹿?jié)點(diǎn)都需要向?qū)?yīng)的編碼節(jié)點(diǎn)傳輸數(shù)據(jù)[2]，每增加一個待更新節(jié)點(diǎn)，編碼節(jié)點(diǎn)的數(shù)據(jù)量就會明顯;二是更新過程中的計算復(fù)雜度與計算量成倍增加，這時因?yàn)槊總€編碼節(jié)點(diǎn)需要編碼所有的待更新數(shù)據(jù)與原始編碼數(shù)據(jù)以獲取更新的編碼數(shù)據(jù)，每增加一個待更新節(jié)點(diǎn)，每個編碼節(jié)點(diǎn)都需重新計算一遍。因此，多點(diǎn)更新過程中的網(wǎng)絡(luò)開銷和編碼計算量成倍增加，極大限制了糾刪碼的廣泛應(yīng)用。這是因?yàn)?，首先，隨著數(shù)據(jù)量和節(jié)點(diǎn)數(shù)目的增大，分布式存儲系統(tǒng)中的中較大的網(wǎng)絡(luò)開銷不僅會降低數(shù)據(jù)更新效率，同時也會影響其他應(yīng)用的正常運(yùn)行。其次，較為復(fù)雜的計算會占用節(jié)點(diǎn)較多的計算資源，進(jìn)而造成更新效率的下降。因此，如何降低多點(diǎn)更新過程中的網(wǎng)絡(luò)開銷以及計算量以提高更新效率成為了新的挑戰(zhàn)[3]。

1.策略優(yōu)化

1.1數(shù)據(jù)更新觸發(fā)

先確定輸入的編碼參數(shù)（n，k），n為總共的更新數(shù)據(jù)量，k為觸發(fā)時的數(shù)據(jù)量，我們先定義一個hold組，設(shè)置hold組為DEFAULT_SIZE，判讀更新時數(shù)據(jù)量m如果大于k，則縮小閾值大小hold+=hold，else if m<2，則擴(kuò)大hold+=hlod，hold代表了時間間隔閾值，通過調(diào)整hold大小，可以映射出時間間隔，比如說五小時進(jìn)行一次更新。

1.2.立即和延遲對節(jié)點(diǎn)進(jìn)行數(shù)據(jù)更新

我們可以以時間間隔作為觸發(fā)的指標(biāo)，使系統(tǒng)能夠精確的控制更新的觸發(fā)時機(jī)，我們可以由及時更新和延時更新的結(jié)合示例圖進(jìn)行示例分析，及時更新和延時更新如圖所示。

圖1顯示了3個待更新節(jié)點(diǎn)node0、node1、node2和3個待更新的編碼節(jié)點(diǎn)parity0、parity1、parity2，再時刻t1，node0收到了更新的信息并完成了數(shù)據(jù)塊的更新。再t2時刻，node1同node0一樣完成了更新，并同時把D*1-D1發(fā)送到node0中，node0收到發(fā)送的信息通過：

合成臨時的編碼塊 。在t3時刻，node2完成數(shù)據(jù)塊的更新后也講D*2-D2的信息發(fā)送至node0，然后node0通過：

合成臨時的編碼塊 。若通過時間閾值設(shè)置到在時刻t4更新，node0將合成的臨時模塊 分別發(fā)送至node0、node1、node2。最后通過：

完成編碼塊的更新。此次數(shù)據(jù)就快速的進(jìn)行了更新，也保證了數(shù)據(jù)塊的一致性，編碼塊的快速性。

2實(shí)驗(yàn)結(jié)果與分析

使用對象從1000G到3500G對象大小來測試原生的系統(tǒng)和采用混合更新的糾刪碼策略。其更新時間如圖1所示。

由圖1可知，1500G之前原生系統(tǒng)和混合更新機(jī)制相差的更新時間差不多，是因?yàn)閷ο蟛粔虼?，混合更新中延遲更新和立即更新的時間沒有達(dá)到閾值。當(dāng)對象數(shù)據(jù)夠大的時候，該機(jī)制的優(yōu)勢就能大幅度體現(xiàn)出來。提升了8%左右。

3 結(jié)束語

本文針對海量的文件數(shù)據(jù)容錯機(jī)制的研究，以Ceph為分布式系統(tǒng)，糾刪碼為容錯機(jī)制為研究對象進(jìn)行分布式系統(tǒng)的糾刪碼數(shù)據(jù)更新。對于糾刪碼修復(fù)數(shù)據(jù)之前，我們需要對節(jié)點(diǎn)進(jìn)行更新，保證數(shù)據(jù)是最新的狀態(tài)。在多點(diǎn)更新的場景下需要消耗大量的網(wǎng)絡(luò)開銷和完成成倍的計算，所以，怎么以低成本和高效的方式完成糾刪碼修復(fù)更新成為了新對挑戰(zhàn)。對于糾刪碼種的數(shù)據(jù)塊、編碼塊，它們對于數(shù)據(jù)的要求是不一樣的，數(shù)據(jù)塊需要的是數(shù)據(jù)的一致性，編碼塊需要的是它的更新效率，所以我們對此需要設(shè)計出一種更新效率的算法，對兩種特性都能兼顧到，能更好的對數(shù)據(jù)進(jìn)行高效率的更新。該混合更新的機(jī)制能更好的應(yīng)對分布式的場景，減少系統(tǒng)更新時間，提高系統(tǒng)的性能。

【參考文獻(xiàn)】

[1]鐘鳳艷，王艷，李念爽.異構(gòu)環(huán)境下糾刪碼的數(shù)據(jù)修復(fù)方法綜述[J].計算機(jī)應(yīng)用研究，2019，36（08）：2241-2249+2255.DOI：10.19734/j.issn.1001-3695.2018.04.0269.

[2]董妍，耿臻.糾刪碼系統(tǒng)中基于協(xié)作方式的更新方法[J].計算機(jī)工程與設(shè)計，2019，40（01）：92-96.DOI：10.16208/j.issn1000-7024.2019.01.015.

[3]王意潔，孫偉東，周松，裴曉強(qiáng)，李小勇.云計算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J].軟件學(xué)報，2012，23（04）：962-986.