分布式存儲數(shù)據(jù)技術(shù)應用探討

陳紅麗 張嫻 楊亞琦

云南省市場監(jiān)督管理局信息中心 云南 昆明 650228

傳統(tǒng)數(shù)據(jù)中心在信息爆炸引發(fā)的巨大社會變革下已不能適應大數(shù)據(jù)時代的要求。為了適應新技術(shù)的發(fā)展，有效利用大數(shù)據(jù)，實現(xiàn)新型數(shù)據(jù)中心建設(shè)，為大數(shù)據(jù)應用提供環(huán)境支持，新一代數(shù)據(jù)中心應把重點放在數(shù)據(jù)計算上。然而，傳統(tǒng)數(shù)據(jù)中心建設(shè)往往需要較高的投入來構(gòu)建基礎(chǔ)數(shù)據(jù)的存儲環(huán)境。在基于大數(shù)據(jù)和云計算的新一代大數(shù)據(jù)中心建設(shè)中，如何解決這一矛盾是研究的重點。由于設(shè)備容量有限，傳統(tǒng)的集中式數(shù)據(jù)存儲已不能適應當前形勢。分布式存儲系統(tǒng)以其良好的擴展性、魯棒性和高效性超越了傳統(tǒng)集中式存儲技術(shù)。

1 基于大數(shù)據(jù)和云計算的新型數(shù)據(jù)中心建設(shè)面臨的挑戰(zhàn)

1.1 數(shù)據(jù)信息安全問題制約云應用發(fā)展

可通過云計算實現(xiàn)基于 Web的計算服務，以滿足不同的需求。然而，云數(shù)據(jù)的安全和隱私信息的保護也成為云應用發(fā)展的一個關(guān)鍵問題。安全方面的一個主要問題是，云運營商將獲取敏感數(shù)據(jù)，這極大地增加了用戶的憂慮，并降低了云計算在諸如政府部門數(shù)據(jù)中心等領(lǐng)域的應用能力。

1.2 智慧城市數(shù)據(jù)來源和類型多樣

下一代智慧城市時代的代表是我們空間中的每一個實體都越來越緊密地聯(lián)系在一起，這些實體基于流行的快速無線網(wǎng)絡、大數(shù)據(jù)處理平臺和先進的人工智能技術(shù)，能夠共享現(xiàn)實世界的情景數(shù)據(jù)，并以更加智能的方式解決了城市問題。真實空間要求將網(wǎng)絡物理系統(tǒng)與以數(shù)據(jù)為中心的網(wǎng)絡空間相連接，而網(wǎng)絡空間往往是感知數(shù)據(jù)反映真實空間的狀態(tài)。同樣的，因為這些來自現(xiàn)實世界的感知數(shù)據(jù)都是通過物聯(lián)網(wǎng)技術(shù)產(chǎn)生和收集的，所以我們稱之為“物聯(lián)網(wǎng)數(shù)據(jù)”，利用各種傳感器可以很容易地想象出很多場景。由于感測設(shè)備在我們?nèi)粘Ｉ钪械膹V泛應用，物聯(lián)網(wǎng)數(shù)據(jù)也越來越普及。如今，為了創(chuàng)造新的價值，人們強烈地要求它們。因此，物聯(lián)網(wǎng)數(shù)據(jù)集成成為解決現(xiàn)實世界問題的關(guān)鍵，但從不同來源合并或集成物聯(lián)網(wǎng)數(shù)據(jù)并非易事，原因如下：①從下向上生成數(shù)據(jù)：物聯(lián)網(wǎng)數(shù)據(jù)源通常有自己的目標，不會考慮到其他用途；②需要花費很大代價和精力才能集成這些數(shù)據(jù)。資料格式也多種多樣，如文字、音頻、視頻等資料，對資料的存儲要求更高。

1.3 數(shù)據(jù)中心運維壓力大成本高

隨著物聯(lián)網(wǎng)、云計算技術(shù)在當今社會的發(fā)展，數(shù)據(jù)量以前所未有的速度增長，數(shù)據(jù)中心的規(guī)模冗余將成為一個更大的挑戰(zhàn)。負責政府數(shù)據(jù)的數(shù)據(jù)中心由于占地面積大，選址方案需要政府支持；就地理位置的選擇而言，過去二十年來，數(shù)據(jù)中心的選址經(jīng)歷了三個階段：位于城市中心；位于郊區(qū)；以及遠距離的選址。而且，經(jīng)過這三個階段，數(shù)據(jù)中心也“越長越大”。20年前，除了三大運營商之外，在其他行業(yè)幾乎找不到面積超過500平方米的 IT機房。而且現(xiàn)在，各行各業(yè)的龍頭企業(yè)自建上千平方米的機房比比皆是?，F(xiàn)在數(shù)萬平方米的數(shù)據(jù)中心已經(jīng)不起眼，5萬平方米、10萬平方米的數(shù)據(jù)中心不斷涌現(xiàn)。但是，數(shù)據(jù)中心的規(guī)模越大，就意味著業(yè)務越集中，業(yè)務越集中就意味著風險越大。就操作經(jīng)理的觀點而言，他并不希望所管理的數(shù)據(jù)中心過于龐大。隨著數(shù)據(jù)中心規(guī)模的增大，實際運行的壓力也在增大，甚至呈幾何倍數(shù)增長。大規(guī)模數(shù)據(jù)中心運營監(jiān)控系統(tǒng)的建設(shè)與維護費用非常昂貴[1]。

2 分布式存儲

2.1 分布式數(shù)據(jù)存儲方法

2.1.1 根據(jù)網(wǎng)絡拓撲結(jié)構(gòu)對數(shù)據(jù)進行分塊后，選擇合適的存儲節(jié)點對數(shù)據(jù)進行存儲。在存儲數(shù)據(jù)時，首先將數(shù)據(jù)分成若干塊，然后根據(jù)用戶的不同需求，選擇合適的節(jié)點存儲在網(wǎng)絡拓撲結(jié)構(gòu)中。

2.1.2 通過改變存儲系統(tǒng)結(jié)構(gòu)來存儲數(shù)據(jù)。數(shù)據(jù)存儲是通過在分布式存儲系統(tǒng)中建立一組數(shù)據(jù)存儲過程來存儲數(shù)據(jù)的，也就是一個云服務供應商的單個云數(shù)據(jù)存儲過程和一個以上云服務供應商的多云數(shù)據(jù)存儲過程來實現(xiàn)。該方法靈活性強，在一定程度上能充分滿足用戶需求。

2.1.3 采用數(shù)據(jù)加密的方式存儲數(shù)據(jù)，如果存儲的數(shù)據(jù)量過大，加密大量數(shù)據(jù)的過程非常耗時，消耗了計算資源，在目前情況下，大多數(shù)情況下，這種方法僅適用于存儲少量數(shù)據(jù)。

2.2 分布式數(shù)據(jù)存儲分類

數(shù)據(jù)存儲分為兩類方法：基于數(shù)據(jù)的數(shù)據(jù)存儲和基于存儲系統(tǒng)的數(shù)據(jù)存儲。

2.2.1 以數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)存儲，為了保證數(shù)據(jù)的安全，經(jīng)常要對數(shù)據(jù)本身進行修改以實現(xiàn)數(shù)據(jù)存儲。多數(shù)數(shù)據(jù)存儲方法采用數(shù)據(jù)加密技術(shù)，數(shù)據(jù)加密可以分為對存儲數(shù)據(jù)本身進行加密和對存儲信息進行加密。前一種方法通過對存儲數(shù)據(jù)本身進行加密來保證其安全性。這種方法可以對數(shù)據(jù)進行保密處理。只有當攻擊者破壞加密算法時，它才會竊取存儲的數(shù)據(jù)。該方法在保證數(shù)據(jù)安全的前提下提高了加密算法的效率。以存儲信息為基礎(chǔ)的加密方法不對存儲數(shù)據(jù)本身加密，而是對存儲服務器 ID信息、數(shù)據(jù)存儲路徑等中間信息加密。因為數(shù)據(jù)本身并不加密，只對存儲過程中產(chǎn)生的信息進行加密，加密時間短，減少了數(shù)據(jù)存儲時間，更易于為用戶接受。

2.2.2 以存儲系統(tǒng)為基礎(chǔ)的數(shù)據(jù)存儲與數(shù)據(jù)本身無關(guān)，它可以確保存儲系統(tǒng)的存儲質(zhì)量。儲存品質(zhì)是指使用者對儲存資料的不可破壞性、存取時間等要求。根據(jù)網(wǎng)絡拓撲結(jié)構(gòu)的不同，存儲模式可以分為基于網(wǎng)絡的拓撲結(jié)構(gòu)和基于存儲的拓撲結(jié)構(gòu)兩種。以網(wǎng)絡存儲數(shù)據(jù)存儲為基礎(chǔ)，采用圖論中的點著色法，根據(jù)數(shù)據(jù)的安全性和數(shù)據(jù)訪問時間，選擇滿足用戶需求的數(shù)據(jù)存儲節(jié)點。在存儲系統(tǒng)中，通常分為數(shù)據(jù)存儲、存儲代理和第三方審核三大部分。記憶體將資料上傳至記憶體，由第三方檢查資料完整性，確保資料安全。

2.3 分布式數(shù)據(jù)存儲策略

2.3.1 基于存儲路徑加密的數(shù)據(jù)存儲方法。在數(shù)據(jù)存儲過程中，用戶通常需要保證一定的數(shù)據(jù)存取效率，同時也需要對數(shù)據(jù)進行加密，與加密數(shù)據(jù)本身的加密算法相比，加密數(shù)據(jù)存儲路徑可以大大減少加密時間，同時保證一定的數(shù)據(jù)安全。本文將介紹基于云存儲的數(shù)據(jù)存儲方法。在信息產(chǎn)業(yè)新的變革中，云計算成為一個非常重要的研究領(lǐng)域。云為用戶按需提供了方便且經(jīng)濟有效的服務。隨著數(shù)據(jù)量的不斷增加，海量數(shù)據(jù)存儲已經(jīng)成為一種新的發(fā)展趨勢。用有效的方法來存儲這些數(shù)據(jù)很重要。云計算存儲可靠、廉價、易于擴展。但隨著大數(shù)據(jù)和網(wǎng)絡的發(fā)展，云存儲必須多樣化，才能滿足各種服務和各種設(shè)備的需求。但這些因素帶來了兩個挑戰(zhàn)：其一，用戶很容易受到云服務供應商的限制。一旦提供商泄露了數(shù)據(jù)庫或者其他的安全事件，用戶就會永遠丟失他們的數(shù)據(jù)。所以只在一個提供者中存儲數(shù)據(jù)是非常危險的。另外一個挑戰(zhàn)是，不同用戶的需求不同。這個字符導致云存儲資源失衡。多云存儲是近年來出現(xiàn)的一種新的云存儲服務。使用者可將檔案儲存于多個不同的云端，而非單一云端。這個框架可以減少數(shù)據(jù)泄露的風險。多云存儲可以基于所有云供應商的狀態(tài)來動態(tài)地選擇存儲策略。如果某個云服務提供商崩潰了，多云系統(tǒng)會選擇另一個合適的云。

2.3.2 基于網(wǎng)絡拓撲的數(shù)據(jù)存儲方法。通過數(shù)據(jù)中心網(wǎng)絡，可以進一步提高因特網(wǎng)基礎(chǔ)設(shè)施的性能，如信息傳輸、存儲和網(wǎng)絡容量。由于增加了更多的網(wǎng)絡連接和交換機，服務器數(shù)量也隨之增加，甚至成倍增長。就物理設(shè)備而言，數(shù)據(jù)中心網(wǎng)絡是一個物理系統(tǒng)，大型服務器通過網(wǎng)絡設(shè)備進行互聯(lián)；從功能上來說，數(shù)據(jù)中心網(wǎng)絡是一個大型互聯(lián)系統(tǒng)，它將物理設(shè)備（服務器、交換所）有機地聯(lián)系在一起。設(shè)備、基礎(chǔ)設(shè)施等互連結(jié)構(gòu)以及計算、存儲和通信能力，這些都為客戶提供了高效、可靠和低價的服務。

近年來，數(shù)據(jù)中心網(wǎng)絡拓撲有兩大類：以交換機為中心的拓撲和以服務器為中心的拓撲。總的來說，以服務器為中心的數(shù)據(jù)中心網(wǎng)絡拓撲在某些網(wǎng)絡性能上要好于以交換機為中心的網(wǎng)絡拓撲。本文簡要介紹Fat-tree和BCube。Fat-Tree通過使用便宜的普通交換機在服務器和交換機之間實現(xiàn)大規(guī)模互連，它替代了昂貴的高性能核心交換機，以解決傳統(tǒng)樹結(jié)構(gòu)中的帶寬瓶頸和單點故障問題。與傳統(tǒng)的多根樹結(jié)構(gòu)類似，胖樹采用了具有核心級別、聚合級別和邊緣級別的三層結(jié)構(gòu)。Fat-Tree中任何級別之間的聚合帶寬都相等，因此它解決了傳統(tǒng)樹形結(jié)構(gòu)中聚合帶寬不均等導致的帶寬瓶頸，從而實現(xiàn)了網(wǎng)絡節(jié)點之間更高的數(shù)據(jù)傳輸和容錯能力。數(shù)據(jù)中心中的經(jīng)典拓撲BCube，在容錯能力和網(wǎng)絡容量方面均具有良好的性能。BCube作為數(shù)據(jù)中心拓撲中的經(jīng)典結(jié)構(gòu)也可以在某些性能方面進行改進，例如BCube在可伸縮性方面并不完美，相信這個問題將通過數(shù)據(jù)中心網(wǎng)絡技術(shù)來解決?，F(xiàn)有的以服務器為中心的網(wǎng)絡拓撲在某些性能上已經(jīng)達到了理想的性能，而在其他性能上卻表現(xiàn)不佳，在實際應用中不允許出現(xiàn)這種情況。基于現(xiàn)有的網(wǎng)絡拓撲，提出一個可以在各個方面都達到理想條件的新拓撲在實際應用中就非常有意義[2]。

3 數(shù)據(jù)容錯技術(shù)

該技術(shù)旨在以低成本提供盡可能高的系統(tǒng)資源利用率。當前普遍使用的數(shù)據(jù)容錯技術(shù)包括基于復制的容錯和基于容錯編碼的容錯。

3.1 基于復制的容錯技術(shù)

在高能物理、數(shù)據(jù)挖掘和氣候模擬等許多領(lǐng)域的科學應用的新興趨勢表明，這些應用可產(chǎn)生大量的數(shù)據(jù)。由此產(chǎn)生的輸出數(shù)據(jù)反過來被存儲以做進一步分析，并與分布在世界各地的科學界合作研究人員共享。在集中的位置管理這些數(shù)據(jù)會增加數(shù)據(jù)訪問時間，因此執(zhí)行作業(yè)要花費很多時間。故障在當前的數(shù)據(jù)中心中非常常見。由于硬件、軟件、斷電等原因?qū)е碌母鞣N服務器、鏈路、交換機、機架故障。隨著網(wǎng)絡規(guī)模的增長，個別服務器和交換機故障可能成為常態(tài)，而不是異常。因此，為了減少數(shù)據(jù)訪問時間，使用基于復制的容錯技術(shù)。在基于復制的容錯技術(shù)領(lǐng)域，研究人員通常研究數(shù)據(jù)組織結(jié)構(gòu)和數(shù)據(jù)復制策略。在這樣的環(huán)境中，在分布式系統(tǒng)中復制對象對系統(tǒng)性能有至關(guān)重要的影響。例如，考慮一個對象O。它的復制方案是將O復制到的一組處理器。在萬維網(wǎng)術(shù)語中，復制方案是O的一組服務器。因此，復制方案決定創(chuàng)建O的多少副本，以及將這些副本分配給哪些處理器。這種方案會影響分布式系統(tǒng)的性能，因為從本地讀取O比從遠程處理器讀取O更快，成本更低。因此，在一個讀密集型網(wǎng)絡中，為了增加本地讀的數(shù)量并減少中央服務器上的負載，需要使用廣泛分布的O復制。另一方面，對象的更新通常寫入所有或大部分副本。在這種情況下，廣泛的分發(fā)會減慢每次寫操作的速度，并增加通信成本。因此，在寫密集型網(wǎng)絡中，必須使用窄分布的復制。通常，對象的最佳復制方案取決于讀寫模式，即每個處理器發(fā)出的讀和寫的數(shù)量。分布式數(shù)據(jù)庫的復制方案是在數(shù)據(jù)庫設(shè)計時以靜態(tài)的方式建立的。復制方案保持不變，直到設(shè)計器手動干預更改副本的數(shù)量或副本的位置。如果讀寫模式是固定的，并且是已知的，那么這是一個合理的解決方案。

3.2 基于糾刪碼的容錯技術(shù)

目前有兩種容錯技術(shù)，一種是基于復制的容錯技術(shù)，另一種是基于糾刪碼的容錯技術(shù)。前者需要巨大的存儲開銷；后者來自于信道傳輸編碼技術(shù)，該技術(shù)可以容忍多幀數(shù)據(jù)丟失，并引入到分布式存儲區(qū)域中?；诩m刪碼的容錯技術(shù)是最常見的容錯技術(shù)，它可以允許多個數(shù)據(jù)塊同時發(fā)生故障。盡管大規(guī)模復制具有提高可用性和持久性的潛力，但它給系統(tǒng)架構(gòu)師帶來了兩個重要的挑戰(zhàn)。第一，系統(tǒng)架構(gòu)師必須增加副本的數(shù)量，以實現(xiàn)大型系統(tǒng)的高持久性。第二，副本數(shù)量的增加增加了系統(tǒng)的帶寬和存儲需求。糾刪碼可以減少容錯數(shù)據(jù)存儲和傳輸系統(tǒng)中冗余的空間和帶寬開銷。糾刪碼將一個數(shù)據(jù)塊編碼成n個片段，每個片段的大小都是原始數(shù)據(jù)塊的1/m，因此任意m個片段都可以用來重建原始數(shù)據(jù)塊。因此，（n-m）片段可能不可用（例如，由于損壞或服務器故障）而不會失去訪問權(quán)限。具有這些特性的糾刪碼方案包括Reed Solomon編碼和Rabin信息散布算法。

基于復制的容錯技術(shù)簡單、直觀，易于實現(xiàn)和部署。當數(shù)據(jù)無效時，復制只需要從其他副本下載相同大小的數(shù)據(jù)進行修復；但是需要為每個數(shù)據(jù)對象創(chuàng)建大量大小相同的副本，這意味著存儲空間非常大。該糾刪碼能夠從丟失通道中重構(gòu)信息，并將多個數(shù)據(jù)塊的信息融合成冗余信息，具有存儲空間利用率高的優(yōu)點。

4 結(jié)束語

本文研究了大數(shù)據(jù)和云計算環(huán)境下分布式存儲的關(guān)鍵技術(shù)，詳細介紹了有關(guān)技術(shù)的研究成果及存在的主要問題，希望能為其他領(lǐng)域的研究提供借鑒和幫助。