一種武警云計算環(huán)境下集群重復數(shù)據(jù)刪除策略

武警8710部隊通信科 段志剛武警警官學院 吳耕銳 薄 鳥

?

一種武警云計算環(huán)境下集群重復數(shù)據(jù)刪除策略

武警8710部隊通信科 段志剛
武警警官學院 吳耕銳 薄 鳥

1　引言

隨著大數(shù)據(jù)時代的發(fā)展，數(shù)據(jù)量正在爆炸式增長，數(shù)據(jù)更新變化也在時刻進行［1］。調(diào)查發(fā)現(xiàn)云端數(shù)據(jù)中心有60%以上數(shù)據(jù)是冗余的，這就為數(shù)據(jù)同步提出了巨大挑戰(zhàn)。針對云環(huán)境下集群分布式存儲的全局重復數(shù)據(jù)刪除，存在著數(shù)據(jù)塊索引磁盤瓶頸和存儲節(jié)點信息孤島兩大困難：（1）數(shù)據(jù)塊索引磁盤瓶頸：在存儲服務器節(jié)點的磁盤上建立一個數(shù)據(jù)塊索引序列，完成集群內(nèi)數(shù)據(jù)存儲節(jié)點的重復數(shù)據(jù)刪除。（2）重復數(shù)據(jù)刪除節(jié)點信息孤島：針對云環(huán)境下集群系統(tǒng)的重復數(shù)據(jù)刪除過程，往往忽略節(jié)點之間的重復數(shù)據(jù)刪除，由此產(chǎn)生了重復數(shù)據(jù)刪除節(jié)點的孤島效應。

2　相關工作

現(xiàn)有云環(huán)境下的全局重復刪除技術，如EMC公司的data domain全局重復數(shù)據(jù)刪除陣列、IBM公司的protectTier、SEPATON公司的S2100-ES2等［2-4］，由于在全局數(shù)據(jù)縮減率、單節(jié)點存儲率、數(shù)據(jù)分布或者系統(tǒng)通信開銷上存在不足，利用這些技術來設計由成千上萬節(jié)點構成的集群，很可能不會成功。Bhagwat設計了Extreme Binning策略，Extreme Binning基于文件的相似性，以加密Hash生成的Chunk ID。文獻［5］設計了一種支持云環(huán)境下大數(shù)據(jù)備份的可擴展在線集群重復數(shù)據(jù)刪除框架。

本文利用Bloom Filter機制為存儲節(jié)點內(nèi)的所有數(shù)據(jù)塊指紋建立一個全局的快速索引，從而實現(xiàn)支持高數(shù)據(jù)縮減率、高吞吐率、低通信開銷及負載均衡的全局重復數(shù)據(jù)刪除。

3　基于Bloom Filter的全局數(shù)據(jù)刪重策略

利用Bloom Filter機制可以將集群內(nèi)所有節(jié)點存儲的數(shù)據(jù)塊指紋表示成Bloom Filter指紋摘要（Fingerprint Summary），形成全局的快速索引序列。例如集群中有p個存儲服務器節(jié)點，假設所有節(jié)點的Bloom Filter長度全部為n，并且所有節(jié)點采用k個相同且相互獨立的哈希函數(shù)。數(shù)據(jù)中心接收到客戶端發(fā)送來的數(shù)據(jù)塊指紋時，檢測該塊是新塊還是已存儲的數(shù)據(jù)塊，其過程如圖1所示：

圖1　重復數(shù)據(jù)刪除過程

基于Bloom Filter機制及相似性理論，在超塊的基礎上進行有狀態(tài)路由的重復數(shù)據(jù)檢測刪除的算法描述如下： （1）控制服務器節(jié)點依次計算出超塊Q｛fp1，fp2，fp3，…fpn｝中所有數(shù)據(jù)塊指紋對應的k個哈希函數(shù)值，將hi（xj）保存并分發(fā)到每一個存儲節(jié)點；（2）利用哈希值hi（xj）依次從FSA獲取映射位置的列值。若某一列對應的值全是0（Negative），可判定其為新數(shù)據(jù)塊；（3）若任一哈希值hi（xj）映射的列向量的值不全為0（Positive），返回一條Duplication Possible的消息；（4）查詢結束后，若返回的數(shù)據(jù)塊類型值為Duplication Possible。若依次查詢到某一節(jié)點所有hi（xj）映射的位全部是1，則返回消息為Positive；（5）利用按行查詢即節(jié)點確認算法返回的結果是節(jié)點的ID，進而在對應的存儲節(jié)點進一步的細粒度查詢重復數(shù)據(jù)，確認數(shù)據(jù)塊是否是重復的。

4　實驗分析

在實驗室現(xiàn)有的硬件環(huán)境下，選用1臺計算機作為客戶端，1臺配置Hadoop框架的服務器及4臺計算機搭建Hadoop集群［6］。

通過與文獻［7］提出的基于Bloom Filter數(shù)據(jù)重復刪除策略、文獻［8］設計的Σ-Dedupe方案對比，實驗結果如圖5-4所示。實驗結果表明，三種方案在數(shù)據(jù)重刪消耗時間大致相同的情況下，本文設計的G-dedupe會獲得最大的數(shù)據(jù)縮減率，在數(shù)據(jù)龐大的集群存儲系統(tǒng)中就能極大地節(jié)省存儲空間，提高集群系統(tǒng)的整體性能。

圖3　試驗對比結果

5　結論

本文主要研究集群內(nèi)部的全局重復數(shù)據(jù)刪除。運用 Bloom Filter 技術為集群數(shù)據(jù)中心中存儲的所有數(shù)據(jù)塊建立快速索引的摘要信息，合成一個可以檢測重復數(shù)據(jù)的指紋摘要陣列，分布在存儲節(jié)點前端的控制服務器，控制服務器節(jié)點將客戶端發(fā)送到的數(shù)據(jù)塊指紋合并成若干粒度大小均勻的超塊，進行重復數(shù)據(jù)的檢測，然后將數(shù)據(jù)塊的重復刪除分布到存儲節(jié)點中進行。研究成果實現(xiàn)了數(shù)據(jù)同步中的數(shù)據(jù)縮減率問題，為集群存儲節(jié)省了大量的存儲空間。

參考文獻

［1］IBM Cloud Computing ［EB/OL］. http：//www.ibm.com/ibm/cloud.

［2］吳朱華.云計算核心技術剖析［M］.北京：人民郵電出版社，2011，5.

［3］陳釗.基于云災備的數(shù)據(jù)安全存儲關鍵技術研究［D］.北京郵電大學，2012.

［4］李俊中. 云存儲環(huán)境下數(shù)據(jù)完整性驗證方法研究［D］.重慶郵電大學，2013.

［5］Bobbarjung D R， Jagannathan S， Dubnicki C. Improving duplicate elimination in storage systems［J］. Acm Transactions on Storage，2006，2（4）：424-448.

［6］葉明江，崔勇，徐恪等.基于有狀態(tài)Bloom filter引擎的高速分組檢測［J］.軟件學報， 2006，18：117-126.

［7］毛波，葉閣焰，藍琰佳等.一種基于重復數(shù)據(jù)刪除技術的云中云存儲系統(tǒng)［J］.計算機研究與發(fā)展，2015（6）：1278-1287.

［8］楊超，張俊偉，董學文等.云存儲加密數(shù)據(jù)去重刪除所有權證明方法［J］.計算機研究與發(fā)展，2015，1（1）：248-258.

作者簡介：

段志剛（1977—），男，江西景德鎮(zhèn)人，現(xiàn)供職于武警8710部隊通信修理所，助理工程師，主要研究武警通信與信息化。

吳耕銳（1985—），福建漳州人，現(xiàn)供職于武警警官學院信息工程系，研究方向：信息化。

薄鳥（1986—），女，陜西西安人，現(xiàn)供職于武警警官學院數(shù)學與物理系，研究方向：固體物理。