面向大數(shù)據(jù)云存儲系統(tǒng)的關鍵技術研究

劉若冰

摘 要： 該文介紹面向大數(shù)據(jù)的云存儲系統(tǒng)的關鍵技術，依據(jù)定向隨機游走規(guī)則對分布式云存儲技術進行分析。為了保證數(shù)據(jù)安全，通過RAS加密算法對數(shù)據(jù)進行加密，利用公鑰或密鑰針對所需存儲的數(shù)據(jù)進行加密，將另一個作為對應的解密密鑰對數(shù)據(jù)進行解密。為了保證系統(tǒng)的可靠性和數(shù)據(jù)的訪問效率，詳細分析數(shù)據(jù)的檢索技術。通過云存儲技術、數(shù)據(jù)加密技術和數(shù)據(jù)檢索技術的組合方式達到高效整合、管理網(wǎng)絡存儲資源的目的，對外提供友好的連接窗口，使云計算網(wǎng)絡數(shù)據(jù)的發(fā)布方式更加快速，為使用者提供便捷的存儲服務。仿真實驗結果表明，采用所提關鍵技術的云存儲系統(tǒng)不僅運行時間和整體耗能低，而且可用性極高。

關鍵詞： 大數(shù)據(jù)； 云存儲； 關鍵技術； 數(shù)據(jù)加密

中圖分類號： TN911?34； TP333 文獻標識碼： A 文章編號： 1004?373X（2016）06?0021?04

Research on key technologies for big data cloud storage system

LIU Ruobing

（College of Arts and Sciences Yunnan Normal University， Kunming 650222， China）

Abstract： Therefore， the key technologies of a big data cloud storage system are introduced， and the distributed cloud storage technology is analyzed according to the rules of the directional random walk. In order to guarantee the data security， the data is encrypted with the RAS encryption algorithm， the public key or secret key is used to encrypt the data which needs to be stored， and another corresponding decryption key is adopted to decrypt the data. In order to guarantee the reliability of the system and data access efficiency， data retrieval technology is analyzed in detail. The efficient integration and network storage resource management are reached by means of the combination of cloud storage technology， data encryption technology and data retrieval technology， which provides a friendly connection window for outward to make the release of the cloud computing network data quicker， and provide users with convenient storage service. The simulation experiment results show that the cloud storage system with the proposed key technology has shorter running time， lower overall energy consumption and higher availability.

Keywords： big data； cloud storage； key technology； data encryption

0 引 言

云存儲是在云計算技術的基礎上發(fā)展形成的，其將數(shù)據(jù)的存儲及管理看作是核心任務，云存儲能夠在集群應用、網(wǎng)格技術及分布式文件系統(tǒng)的基礎上，利用相關軟件將網(wǎng)絡中各種類型的存儲設備結合在一起，為用戶提供相關數(shù)據(jù)存儲和業(yè)務訪問功能[1?3]。隨著科技的逐漸發(fā)展，數(shù)據(jù)量越來越大，研究面向大數(shù)據(jù)云存儲系統(tǒng)具有重要意義，已經(jīng)成為相關學者研究的重點課題[4?6]。

目前，關于云存儲系統(tǒng)的研究主要有 Amazon EC2，Amazon EBS和Google File System（GFS）等。相關研究也取得了一定的成果，其中：文獻[7]介紹了一種Virtual Block Store（VBS）云存儲系統(tǒng)的關鍵技術，其不僅能夠獨立作為一個云存儲系統(tǒng)進行使用，也能夠為一些云計算系統(tǒng)（如 Openstack）提供云存儲管理服務，但該系統(tǒng)很容易出現(xiàn)單點故障問題，影響了整個云存儲系統(tǒng)的性能；文獻[8]介紹了一種Orthrus云存儲系統(tǒng)的關鍵技術，該系統(tǒng)采用了多服務器形式，依據(jù)變種遺傳算法實現(xiàn)各服務器的負載均衡，但該系統(tǒng)因缺少變異過程，容易陷入局部最優(yōu)，無法實現(xiàn)對系統(tǒng)負載的最優(yōu)化分配；文獻[9]介紹了一種P2P云存儲系統(tǒng)的關鍵技術，將之前較為分散的互聯(lián)網(wǎng)資源集合起來，為用戶提供相應服務，但該系統(tǒng)往往會受到一些網(wǎng)絡因素的限制，性能不高；文獻[10]介紹了一種Kuhn云存儲系統(tǒng)，對相關文件進行分塊和建立元數(shù)據(jù)，將元數(shù)據(jù)保存在文件中，新的文件對象均存儲于文件的目錄結構之中，該云存儲能夠明顯提高元數(shù)據(jù)的存儲性能，然而其需要引入目錄，約束了應用的發(fā)展及使用。本文介紹了面向大數(shù)據(jù)的云存儲系統(tǒng)的關鍵技術，依據(jù)定向隨機游走規(guī)則對分布式云存儲技術進行分析，通過RAS加密算法對數(shù)據(jù)進行加密，利用數(shù)據(jù)檢索技術使云存儲系統(tǒng)更加可靠，數(shù)據(jù)的訪問效率更高。通過云存儲技術、數(shù)據(jù)加密技術和數(shù)據(jù)檢索技術的組合方式達到高效整合、管理網(wǎng)絡存儲資源的目的。經(jīng)實驗驗證，采用所提關鍵技術的云存儲系統(tǒng)不僅運行時間和整體耗能低，而且可用性極高。

1 面向大數(shù)據(jù)云存儲系統(tǒng)的關鍵技術

云存儲是依據(jù)云計算技術發(fā)展而來的，將大數(shù)據(jù)的存儲及管理作為核心任務，為外界提供相關的數(shù)據(jù)存儲和業(yè)務訪問功能。云存儲系統(tǒng)的基礎是分布式云存儲技術、數(shù)據(jù)加密技術及數(shù)據(jù)檢索技術，上述關鍵技術的組合方式不但能達到高效整合、管理網(wǎng)絡存儲資源的目的，還能夠對外提供友好的連接窗口，使云計算網(wǎng)絡數(shù)據(jù)的發(fā)布方式更加快速，為使用者提供便捷的存儲服務。下面詳細介紹面向大數(shù)據(jù)云存儲系統(tǒng)的關鍵技術。

1.1 基于定向隨機游走規(guī)則的分布式云存儲技術

面向大數(shù)據(jù)云存儲系統(tǒng)的分布式存儲技術就是利用網(wǎng)絡服務商提供的不同存儲設備上的存儲空間對數(shù)據(jù)進行傳輸存儲，同時將上述分散的存儲資源組成一個虛擬的存儲設備。本文依據(jù)定向隨機游走規(guī)則對分布式云存儲技術進行分析。

依據(jù)定向隨機游走規(guī)則，在云存儲系統(tǒng)源數(shù)據(jù)包抵達所訪問的網(wǎng)絡節(jié)點[v]后，從[v]的所有鄰居節(jié)中隨機選擇一個節(jié)點[u]繼續(xù)進行訪問。

假設[No]為云存儲系統(tǒng)下一個節(jié)點[o]的鄰居節(jié)點集合；[δo=No]為節(jié)點[o]的鄰居節(jié)點個數(shù)；[co]為定向隨機游走此刻已經(jīng)訪問節(jié)點[o]的總次數(shù)，則鄰居節(jié)點[u]的選擇過程如下：

（1） 從正在訪問節(jié)點[v]的鄰居節(jié)點集合[Nv]中隨機選出2個節(jié)點，將其看作是備選節(jié)點，其構成的集合用[N′]表示；

（2） 依據(jù)給出的條件從2個備選節(jié)點中選擇繼續(xù)訪問的節(jié)點。

本文面向大數(shù)據(jù)云存儲系統(tǒng)分布式云存儲技術的基本原理如下：

面向大數(shù)據(jù)進行云存儲前：每個節(jié)點均存儲有一個初始值為0的存儲數(shù)據(jù)包[Yi]，同時所有數(shù)據(jù)節(jié)點僅存在一個源數(shù)據(jù)包[Xj]。

開始進行云存儲后：從任意數(shù)據(jù)節(jié)點開始一個步數(shù)為[cnlnn]的定向隨機游走，對該數(shù)據(jù)節(jié)點的源數(shù)據(jù)包進行傳遞；源數(shù)據(jù)包抵達一個新的節(jié)點后，新節(jié)點將以概率[alnkk]接收源數(shù)據(jù)包，并且將得到的源數(shù)據(jù)包儲存在自身的存儲數(shù)據(jù)包中；新節(jié)點按照定向隨機游走規(guī)則繼續(xù)發(fā)送源數(shù)據(jù)包。源數(shù)據(jù)傳遞次數(shù)達到定向隨機游走的給定步數(shù)[cnlnn]后，即[N>cnlnn]，源數(shù)據(jù)包會被刪除。所有[k]個源數(shù)據(jù)包均被刪除后，即實現(xiàn)了大數(shù)據(jù)的云存儲。詳細實現(xiàn)過程如下：

輸入：[k]個源數(shù)據(jù)包[Xv]，[v=1，2，…，k]。

輸出：[n]個存儲數(shù)據(jù)包[Yu]，[u=1，2，…，n]。

（1） 假設數(shù)據(jù)節(jié)點為[v]，[v=1，2，…，k]。將信息[IDv]號與定向隨機游走步數(shù)計數(shù)器[N=0]加入源數(shù)據(jù)包[Xv]中；

（2） 假設云存儲系統(tǒng)節(jié)點為[u]，[u=1，2，…，n]。對所有存儲數(shù)據(jù)包的值及所有源數(shù)據(jù)包已訪問節(jié)點的次數(shù)進行初始化處理；

（3） 以概率[alnkk]接收[Xv]，并且完成對自身存儲數(shù)據(jù)包的更新。

（4） 通過定向隨機游走原則將源數(shù)據(jù)包[Xv]傳輸?shù)狡湎噜徆?jié)點中。

（5） 針對所有抵達節(jié)點[u]的源數(shù)據(jù)包[Xj]，若[Xj]第一次訪問節(jié)點[u]，則節(jié)點[u]以概率[alnkk]接收[Xj]，并利用步驟（2）對自身的存儲數(shù)據(jù)包進行更新，源數(shù)據(jù)包[Xj]對頭信息進行更新：[N=N+1]。若[N

1.2 數(shù)據(jù)加密技術

因為本文采用的是分布式云存儲技術，數(shù)據(jù)存儲在多個數(shù)據(jù)中心中，所以數(shù)據(jù)安全成為亟需解決的問題，本文通過RAS加密算法對數(shù)據(jù)進行加密。

RSA加密算法是一種典型的公鑰密碼算法，在RSA加密算法中，公鑰與密鑰均可用于數(shù)據(jù)的加密。而另一個可以作為對應的解密密鑰。

RSA加密算法屬于一種依據(jù)大整數(shù)分解的算法，其過程可描述成[n=p×q]，對素數(shù)[p]與[q]的值進行計算，詳細程序代碼如下：

RSA加密算法對參數(shù)的選擇有一定的要求，主要需遵守下述條件：

（1） 素數(shù)[p]與[q]需足夠大，同時為強素數(shù)。RSA算法的安全性主要是依據(jù)[p]與[q]因子分解的，因此，需保證[p]和[q]是強素數(shù)。除此之外，為了保持因式分解的難度，加強RSA算法的安全性，[p]與[q]的取值需足夠大。

（2） [p]與[q]的差不能太小，也不能太大。如果[p]與[q]的差過小，則可采用下述方法對[n]進行分解。若[p]與[q]的差過大，即可通過嘗試法完成對[n]的分解。

（3） [d]不能夠過小。解密密鑰的值越小，RSA的機密效率越高，然而，若[d]過小，則可以較小的代價，利用己知明文求出密文。RSA算法中通常[d≥n14]。

（4） [e]不能夠過小。[e]越小，RSA算法的效率越高，對密鑰的管理容易，但[e]過小則能夠利用加密算法[c≡memodn]對密文[c]進行破解。

為了保證形成的數(shù)的素性，需對素數(shù)進行檢驗，詳細過程如下：

（1） 完成對[p-1]的分解；

（2） 完成對[F]的分解；

（3） [a=1]；

（4） [a=a+1]；

（5） 若存在等于1的情況，則繼續(xù)進行下一步；反之，進行第七步，結束迭代；

（6） 若[p]為素數(shù)，進行下一步，結束迭代；反之，重新進行第四步；

（7） 結束迭代。

1.3 數(shù)據(jù)檢索技術

數(shù)據(jù)檢索技術是云存儲系統(tǒng)的關鍵技術之一，檢索性能的好壞不僅決定著系統(tǒng)的可靠性，還決定著數(shù)據(jù)的訪問效率。

用戶在對云存儲數(shù)據(jù)進行檢索時，通過訪問[n]個云服務器中任意[k]個服務器實現(xiàn)對原始數(shù)據(jù)的還原。通過下式對用戶檢索所選[k]個云服務器上的全部編碼向量與編碼標記進行驗證。

若某編碼標記驗證失敗，則用戶將向第三方服務器發(fā)送報告，同時對替代云存儲服務器進行訪問。若[k]個存儲服務器編碼標記均驗證成果，則用戶僅對編碼向量進行置信傳播解碼算法，同時對有利于解碼的編碼向量ID進行統(tǒng)計。同時，數(shù)據(jù)用戶從相應的存儲服務器處檢索對應的編碼分組和檢索標記，完成對編碼分組完整性的驗證。通過對編碼分組進行和編碼向量相同的計算過程，能夠恢復文件[M]的全部原始分組。最終，對文件進行[M]解密操作，同時得到明文數(shù)據(jù)，以完成云存儲系統(tǒng)的檢索。

2 仿真實驗結果分析

本文實驗在真實的網(wǎng)絡環(huán)境下進行，拓撲結構如圖1所示。

圖1中的拓撲結構由10個數(shù)據(jù)節(jié)點DataNode、1個中心路由節(jié)點Center和1個客戶端節(jié)點Client構成。軟件環(huán)境為Windows 7.0。實驗將Hadoop系統(tǒng)作為對比進行分析。

2.1 運行時間分析

在數(shù)據(jù)量較小的情況下，隨著存儲數(shù)據(jù)的逐漸增加，將本文系統(tǒng)和Hadoop系統(tǒng)消耗的時間進行比較，這里消耗的時間主要包括讀取時間、存儲時間和寫入時間。

分析圖2、圖3可以看出，當數(shù)據(jù)量較小時，本文系統(tǒng)和Hadoop系統(tǒng)所消耗的時間相差不大，而當數(shù)據(jù)量較大時，本文系統(tǒng)所消耗的時間明顯低于Hadoop系統(tǒng)，這是因為本文系統(tǒng)專門面向大數(shù)據(jù)而設計，時間優(yōu)勢非常明顯。

2.2 系統(tǒng)可用性分析

當數(shù)據(jù)節(jié)點數(shù)為100個時，對本文系統(tǒng)和Hadoop系統(tǒng)數(shù)據(jù)分布情況進行統(tǒng)計，得到的結果分別見圖4、圖5。

分析圖4、圖5可以看出，和Hadoop系統(tǒng)相比，本文系統(tǒng)的數(shù)據(jù)分布情況更加均勻說明本文系統(tǒng)具有很高的可用性。數(shù)據(jù)的分布情況對整個系統(tǒng)性能的影響很大，如果數(shù)據(jù)分布不均勻，會導致負載不均衡，使節(jié)點宕機，造成數(shù)據(jù)遷移，大大降低系統(tǒng)的可用性。

2.3 網(wǎng)絡的整體能耗

對本文系統(tǒng)和Hadoop系統(tǒng)的網(wǎng)絡整體能耗進行比較，得到的結果如圖6所示。

分析圖6可以看出，當存儲數(shù)據(jù)數(shù)量不同時，兩種系統(tǒng)的整體能耗變化不同。本文系統(tǒng)的總消耗明顯低于Hadoop系統(tǒng)，這主要是因為Hadoop系統(tǒng)需要在整個云存儲系統(tǒng)中來尋找存儲點，大大增加了存儲所需的時間，提高了網(wǎng)絡的總體能耗。

3 結 語

本文介紹了面向大數(shù)據(jù)的云存儲系統(tǒng)的關鍵技術，依據(jù)定向隨機游走規(guī)則對分布式云存儲技術進行分析。為了保證數(shù)據(jù)安全，通過RAS加密算法對數(shù)據(jù)進行加密，利用公鑰或密鑰均對所需存儲的數(shù)據(jù)進行加密，將另一個作為對應的解密密鑰對數(shù)據(jù)進行解密。為了保證系統(tǒng)的可靠性和數(shù)據(jù)的訪問效率，詳細分析了數(shù)據(jù)的檢索技術。通過云存儲技術、數(shù)據(jù)加密技術和數(shù)據(jù)檢索技術的組合方式達到高效整合、管理網(wǎng)絡存儲資源的目的，對外提供友好的連接窗口，使云計算網(wǎng)絡數(shù)據(jù)的發(fā)布方式更加快速，為使用者提供便捷的存儲服務。仿真實驗結果表明，采用所提關鍵技術的云存儲系統(tǒng)不僅運行時間和整體耗能低，而且可用性極高。

參考文獻

[1] 林麗，種大雙.高校數(shù)據(jù)中心私有云存儲系統(tǒng)研究[J].軟件導刊·教育技術，2014（4）：85?87.

[2] 杜蕓蕓.一種面向糾刪碼技術的云存儲可靠性機制[J].計算機應用與軟件，2014（2）：312?316.

[3] 閆智，詹靜.面向行為可信的大數(shù)據(jù)安全系統(tǒng)形式化描述[J].電信科學，2014，30（7）：32?38.

[4] 孫燕飛.大數(shù)據(jù)場景下基于HDFS的云存儲服務系統(tǒng)設計[J].數(shù)字技術與應用，2014（2）：172.

[5] 毛文彬.面向大數(shù)據(jù)的分布式系統(tǒng)設計關鍵技術研究[J].無線互聯(lián)科技，2014（11）：150?151.

[6] 傅穎勛，羅圣美，舒繼武.安全云存儲系統(tǒng)與關鍵技術綜述[J].計算機研究與發(fā)展，2013，50（1）：136?145.

[7] 孫勇，林菲，王寶軍.面向云計算的鍵值型分布式存儲系統(tǒng)研究[J].電子學報，2013，41（7）：1406?1411.

[8] 趙鐵柱，鄧見光.面向大規(guī)模數(shù)據(jù)備份的云存儲網(wǎng)關研究[J].計算機光盤軟件與應用，2013（12）：43?44.

[9] 費賢舉，王樹鋒，王文.一種海量大數(shù)據(jù)云存儲系統(tǒng)框架設計[J].常州工學院學報，2014（3）：38?42.

[10] 馬軍，石輝，裴文斌，等.面向云存儲的存儲網(wǎng)關[J].計算機系統(tǒng)應用，2014，23（12）：42?46.