基于Ceph的分布式異構(gòu)存儲系統(tǒng)數(shù)據(jù)處理優(yōu)化研究

陳曉丹 龐雙龍 曾德生 邵翠

（廣東創(chuàng)新科技職業(yè)學(xué)院 廣東省東莞市 523960）

近年來，互聯(lián)網(wǎng)行業(yè)逐漸產(chǎn)生了大量的數(shù)據(jù)，人們對于計算性能與存儲性能要求不斷提高。各界學(xué)者面臨著如何設(shè)計低成本的存儲系統(tǒng)應(yīng)對數(shù)據(jù)爆炸問題。傳統(tǒng)的集中系統(tǒng)屬于常用的儲存數(shù)據(jù)的方法，只是單純的將計算與存儲集中在一起，受到CPU與存儲介質(zhì)發(fā)展速度的限制，并不能滿足數(shù)據(jù)增長的速度，為此需要分散多臺主機，進而實現(xiàn)分布式計算與存儲。但隨著科學(xué)技術(shù)的不斷進步，Ceph分布式對象儲存系統(tǒng)得到了廣泛應(yīng)用。數(shù)據(jù)大規(guī)模增長會導(dǎo)致生產(chǎn)環(huán)境中多個集群有先后順序或功能的需求，會造成存儲異構(gòu)情況。異構(gòu)環(huán)境下，數(shù)據(jù)放置問題成為了當(dāng)前的研究熱點，數(shù)據(jù)放置策略的不同，可積極影響系統(tǒng)性能與集群的負(fù)載平衡。

Ceph作為分布式對象存儲的代表，擁有很多對象存儲的有點優(yōu)點，如擴展性，小文件存儲，容易維護等，Ceph利用硬件水平擴展，應(yīng)用分層組織方法，支持大規(guī)模數(shù)據(jù)存儲。以往的大部分文件分布式文件系統(tǒng)存儲時，應(yīng)用分片方式對文件進行處理，而在實際存儲的時候則需優(yōu)先處理文件分片，一般借助128M、256M切分。但在對小文件進行處理的時候很容易出現(xiàn)空間浪費的情況，而對象存儲則可對小文件存儲的問題予以有效處理。而且Ceph無需對多余數(shù)據(jù)層次結(jié)構(gòu)進行維護，僅將重點放在數(shù)據(jù)本身即可。目前，有關(guān)Ceph的研究成果較多，國外有學(xué)者對不同大小的文件使用不同的模型進行優(yōu)化，也有學(xué)者對數(shù)據(jù)進行遷移，實現(xiàn)可編程數(shù)據(jù)存儲系統(tǒng)，讓用戶按照自己的需求實現(xiàn)負(fù)載均衡。

1 Ceph的架構(gòu)與讀寫流程

Ceph的應(yīng)用目的就是提高負(fù)載均衡的效率，而當(dāng)前所需解決的問題就是熱點節(jié)點高于其他節(jié)點負(fù)荷。但在實際應(yīng)用中，Ceph會借助偽隨算法將數(shù)據(jù)的存儲分散在集群中的所有主機扇，另外，其具有可用性，即便發(fā)生故障，也不會影響數(shù)據(jù)完整性與可訪問性。Ceph的組件包括客戶端、元數(shù)據(jù)服務(wù)器、集群監(jiān)視器、對象存儲集群。所謂客戶端，具體指的就是在生產(chǎn)實踐中，用戶無需直接讀寫對象，而Ceph可提供三種接口，為用戶集群操作提供一定便利（如圖1）。文件系統(tǒng)接口（CephFS）是利用RADOS作為底層存儲的文件系統(tǒng)，可以兼容POSIX接口，文件系統(tǒng)接口適用于各類Linux系統(tǒng)，而CephFS會分開存儲數(shù)據(jù)與元數(shù)據(jù)，一定程度提高了程序性能與可靠性。Ceph集群的內(nèi)部，文件系統(tǒng)接口需要借助鏈接庫對RADOS進行訪問，而底層存儲集群則需設(shè)置不少于一個節(jié)點，進而對元數(shù)據(jù)服務(wù)進程進行部署。而塊設(shè)備接口，則提供了具有可擴展性的高性能內(nèi)核模塊，可利用虛擬塊設(shè)備與海量數(shù)據(jù)存儲系統(tǒng)實現(xiàn)交互。對象網(wǎng)關(guān)接口所提供的接口兼容了Open Stack與Amazon S3，但因S3與Swift API共享命名空間，所以一般會選用同一API寫入數(shù)據(jù)，用另外的API檢索。元數(shù)據(jù)服務(wù)器是指，在應(yīng)用文件系統(tǒng)接口訪問底層存儲時，應(yīng)用其維護Ceph文件系統(tǒng)的命名空間。元數(shù)據(jù)服務(wù)器內(nèi)所含元數(shù)據(jù)以及相數(shù)據(jù)會在對象存儲集群內(nèi)存儲，因而可拓展性十分理想。元數(shù)據(jù)服務(wù)器在實際運行的過程中，借助內(nèi)部動態(tài)子樹算法即可調(diào)整系統(tǒng)命名空間。而集群監(jiān)視器經(jīng)Paxos算法處理后，可對元信息Cluster Map加以維護，在和集群監(jiān)視器通信的過程中，用戶即可對集群組件具體位置加以獲取，經(jīng)CRUSH算法處理后可確定對象節(jié)點位置。通過網(wǎng)絡(luò)提供訪問，應(yīng)用對象存儲設(shè)備的CPU與內(nèi)存進行復(fù)制，進而實現(xiàn)負(fù)載均衡、監(jiān)控、恢復(fù)故障等。

圖1：Ceph提供的訪問方式

在Ceph中主要含括了對對象分布、復(fù)制、遷移實施管理的分布式對象存儲服務(wù)，其在應(yīng)用智能對象存儲設(shè)備，取締了傳統(tǒng)的存儲。各Ceph集群均含有大量OSD，且每個對象會隨意分配至一OSD。對于讀寫而言，客戶端首先與Ceph監(jiān)視器通信，在獲取集群圖像后對集群整體配置、狀態(tài)等形成一定了解，并分割存儲數(shù)據(jù)，使得所有對象均具有ID，這個ID是Ceph存儲數(shù)據(jù)時需要的邏輯分區(qū)，結(jié)合數(shù)據(jù)訪問頻率特性創(chuàng)建相應(yīng)數(shù)據(jù)，并在存儲設(shè)備中分開存放，對象ID下，Ceph分組，放置組通過在對象之上抽象出來一層，降低數(shù)據(jù)管理難度。Ceph存儲集群是一個整體系統(tǒng)，在處理大量并發(fā)請求時，不會影響集群整體的性能。

通常，存儲含括了數(shù)據(jù)存儲、元數(shù)據(jù)存儲兩部分。其中，元數(shù)據(jù)即數(shù)據(jù)信息、數(shù)據(jù)大小與存放位置等，也就是存儲數(shù)據(jù)的屬性。對于出啊同分布式系統(tǒng)，如果添加了新的數(shù)據(jù)，那么元數(shù)據(jù)也會隨之更新，但數(shù)據(jù)存儲的物理位置會被Master節(jié)點吸入后對具體數(shù)據(jù)進行存儲，此過程的數(shù)據(jù)量只有GB/TB級別被證明具有可行性，若存儲PB或EB級別的數(shù)據(jù)，則不應(yīng)該應(yīng)用上述方法。實際上，此種存儲方式面臨著單點故障問題，若Master節(jié)點出現(xiàn)故障，則會丟失元數(shù)據(jù)，致使所有數(shù)據(jù)丟失。為此，無論是對單一Master節(jié)點副本維護，亦或是對數(shù)據(jù)和元數(shù)據(jù)整體復(fù)制均需要保證容錯性，進而規(guī)避元數(shù)據(jù)丟失。在管理元數(shù)據(jù)的過程中，也能夠有效規(guī)避存儲系統(tǒng)出現(xiàn)瓶頸而影響系統(tǒng)的可用性。使用Ceph存儲、管理數(shù)據(jù)的時候一般會借助CRUSH算法，此算法是智能數(shù)據(jù)分布機制，在Ceph數(shù)據(jù)存儲機制中發(fā)揮了核心作用。長期以來，存儲系統(tǒng)對于中心節(jié)點的依賴性較高，而將元數(shù)據(jù)亦或是索引表存放于節(jié)點之上，即可實現(xiàn)管理存儲系統(tǒng)的目的。較之于傳統(tǒng)系統(tǒng)，Ceph在數(shù)據(jù)計算中會選擇CRUSH算法以確定數(shù)據(jù)位置，消除了存儲元數(shù)據(jù)的限制條件，在需要時執(zhí)行CRUSH算法，可以快速應(yīng)用此種方法進行查找。實際上，CRUSH算法屬于偽隨機算法，在多參數(shù)哈希算法的幫助下即可獲得映射關(guān)系的輸出結(jié)果，但受算法特殊性影響，對象與存儲設(shè)備間的映射關(guān)系并非顯式相關(guān)。而用戶則能夠?qū)Ψ植记闆r進行自定義，以及制定數(shù)據(jù)放置策略。

Map Reduce是編程模型，因而對于節(jié)點處理數(shù)據(jù)的計算量較大，結(jié)合拓?fù)浣Y(jié)構(gòu)可將節(jié)點細(xì)化成集群和網(wǎng)格兩種。其中，集群指的就是節(jié)點硬件配置類似的共享局域網(wǎng)，而網(wǎng)格指的則是節(jié)點硬件配置異構(gòu)差異，分布于不同的位置，在對Map Reduce核心思想進行分析的過程中，可實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)向鍵值對的轉(zhuǎn)化，然后對其進行合并，具有將數(shù)據(jù)本地化的優(yōu)勢，且可減少通信開銷問題。Map Reduce在提交任務(wù)時，要對任務(wù)配置文件進行切分，之后將其拷貝到分布式存儲集群中，按照Map階段，Shuffle階段與Reduce階段對數(shù)據(jù)進行存儲。Map Reduce一般可在大規(guī)模離線批處理任務(wù)（科學(xué)計算、排序等）時運用，但一般在較高實時性要求的計算問題中并不適用。

2 基于Ceph改進結(jié)構(gòu)的設(shè)計

2.1 災(zāi)備問題

既有Ceph把全部存儲設(shè)備對象當(dāng)做整體系統(tǒng)而對外提供服務(wù)，各PG能夠結(jié)合CRUSH Map內(nèi)buket類型劃分，而主要級別包括主機、機架和機柜。生產(chǎn)實踐中，僅借助此機制很難對災(zāi)備問題加以解決，僅可確保單集群內(nèi)故障所致數(shù)據(jù)丟失，一旦集群整體出現(xiàn)故障，系統(tǒng)的可用性則無法得到保障。目前階段，很多企業(yè)在分布式系統(tǒng)內(nèi)開始引入異地多活技術(shù)，與異地容災(zāi)的方法比較，其更加復(fù)雜，且對數(shù)據(jù)的同步要求更高。在對分布式一致性算法使用的過程中，即可確保系統(tǒng)內(nèi)的部分集群處于宕機狀態(tài)下，系統(tǒng)能夠在短時間內(nèi)做出切換并對外提供服務(wù)。即便A地區(qū)有災(zāi)害，B地區(qū)同樣可提供正常服務(wù)，且無需開展更多備份恢復(fù)工作，對容災(zāi)問題加以解決。此外，還能夠使集群的部署成本減少，改進原本的Ceph架構(gòu)可以解決無法解決的異地容災(zāi)問題。

2.2 異構(gòu)系統(tǒng)

目前階段，絕大部分互聯(lián)網(wǎng)的應(yīng)用規(guī)模相對較大，即便是單一數(shù)據(jù)中心，其內(nèi)部的設(shè)備也存在顯著不同。在此研究中，將地理位置故障域添加至Ceph，將原本的底層存儲根據(jù)地理位置進行了劃分，使得集群間的數(shù)據(jù)傳輸網(wǎng)絡(luò)在延遲方面存在一定差異，容易引起網(wǎng)絡(luò)異構(gòu)問題。較之于低延遲網(wǎng)絡(luò)，高延遲網(wǎng)絡(luò)通信會降低傳輸速率，影響整個系統(tǒng)性能的現(xiàn)象。在此狀況下，下游任務(wù)應(yīng)在上游任務(wù)完成后才可執(zhí)行其傳輸功能，進而形成了網(wǎng)絡(luò)瓶頸。除去此項因素外，OSD的計算能力也影響整個系統(tǒng)的性能，究其原因，各OSD計算能力存在差異，所以執(zhí)行同一任務(wù)的時間開銷也必然有所區(qū)別，那么根據(jù)數(shù)據(jù)本地化的特性，對其進行處理，若計算性能強的OSD上有更多數(shù)據(jù)，同一時段內(nèi)，有更強的計算能力。一旦數(shù)據(jù)比較強性能機器總?cè)萘慷嗟那闆r下，則要對集群負(fù)載均衡情況加以考慮。一般來講，負(fù)載均衡的目的就是盡可能規(guī)避一臺主機訪問節(jié)點發(fā)生阻塞，為此，需要將所有數(shù)據(jù)分配到的部分高性能設(shè)備進行綜合考量，以免造成網(wǎng)絡(luò)擁塞。

圖2：改進Ceph的數(shù)據(jù)分配機制

2.3 性能優(yōu)化的分區(qū)機制

數(shù)據(jù)放置策略有很多挑戰(zhàn)，如何合理放置數(shù)據(jù)減少網(wǎng)絡(luò)傳輸，如果在異構(gòu)環(huán)境下改進數(shù)據(jù)放置策略，將自身存儲能力發(fā)揮出來，如何提升系統(tǒng)總體容量等問題也隨之發(fā)生。為解決上述問題，此研究提出Ceph結(jié)構(gòu)優(yōu)化法以及分區(qū)機制下分配數(shù)據(jù)法，在Ceph中，數(shù)據(jù)會以對象的形式存儲到RADOS中，并借助CRUSH Map對用戶自定義防治規(guī)則加以獲取，通過對CRUSH算法的使用，可保證OSD上分配的數(shù)據(jù)更加均勻。在正常運行Map Reduce時，需要綜合考慮日志以及數(shù)據(jù)預(yù)測等因素，如果計算性能不理想很容易增加任務(wù)的堆積量，致使網(wǎng)絡(luò)傳輸流量明顯增加，因而應(yīng)用此方式進行數(shù)據(jù)放置時，就會導(dǎo)致APP的執(zhí)行時間超出預(yù)期時間。本文優(yōu)化Ceph架構(gòu)，有必要將假設(shè)條件添加其中，并對各集群內(nèi)計算性能、存儲容量以及網(wǎng)絡(luò)延遲同構(gòu)做出假定，才能在改進的架構(gòu)下，提出面向性能優(yōu)化的分區(qū)機制，對數(shù)據(jù)進行分析，充分滿足負(fù)載均衡的條件，將APP的執(zhí)行時間最小化。

2.4 數(shù)據(jù)分配機制

首先，要將被處理的數(shù)據(jù)切分，每個對象的大小為64M，數(shù)據(jù)分配機制架構(gòu)圖如2所示。

對象是參數(shù)調(diào)用哈希函數(shù)，通過兩次調(diào)用操作即可對對象集群ID、各集群內(nèi)輸入CRUSH算法需要的PGID成功獲取。經(jīng)兩次調(diào)試即可調(diào)用CRUSH算法，并將集群ID加入其中，作為輸入?yún)?shù)使用，以確保PGID分發(fā)到相對應(yīng)集群當(dāng)中，并對對象OSD位置予以獲取。

2.5 數(shù)據(jù)備份流程

數(shù)據(jù)備份主要目的就是保證發(fā)生意外下，不會造成丟失，對于整個系統(tǒng)的優(yōu)劣評估來說具有重要意義。Ceph支持兩種方法的備份：

（1）使用糾刪碼；

（2）傳統(tǒng)多副本形式。

而副本之間需借助計算方法實現(xiàn)數(shù)據(jù)恢復(fù)的目的，而糾刪碼與多副本機制相比較，存儲空間顯著節(jié)省，優(yōu)勢顯著。但糾刪碼在數(shù)據(jù)恢復(fù)計算的過程中，要對多余計算資源進行消耗。較之于傳統(tǒng)Ceph，糾刪碼也可在各集群內(nèi)實現(xiàn)不同故障域級別隔離，且系統(tǒng)用戶能夠結(jié)合個性化需要選擇不同的隔離方式。在跨地域級別故障域隔離方面，則要將對象所在集群分區(qū)予以刪除，并作歸一處理，充分保證對象的副本位于不同地理位置的集群，提供了完善的故障域隔離級別，提高了系統(tǒng)的可用性。

3 優(yōu)化數(shù)據(jù)分配問題的定義和算法

3.1 模型與問題定義

根據(jù)改進的Ceph架構(gòu)并結(jié)合Map Reduce計算框架，分析問題的定義，主要從四個方面進行：系統(tǒng)模型：集群底層的存儲模型定義，存儲系統(tǒng)由多個集群組成，每個集群內(nèi)部有許多對象存儲設(shè)備組成，對于每個集群內(nèi)部來說，存儲設(shè)備的容量不同，而對于此研究的系統(tǒng)模型來講，集群的連接需借助異構(gòu)網(wǎng)絡(luò)，在數(shù)據(jù)傳輸?shù)倪^程中，開銷會跟隨網(wǎng)絡(luò)狀況的變化而發(fā)生改變。應(yīng)用模型：本文在上層計算框架方面應(yīng)用的是Map Reduce，所以專門針對Map Reduce的流程進行建模，Map Reduce的工作流程可細(xì)化成三個階段：

（1）Map階段；

（2）Shuffle階段；

（3）Reduce階段。

如果完成了某一Map任務(wù)，且集群節(jié)點處有閑置資源的情況下，Shuffle階段就會及時進行網(wǎng)絡(luò)傳輸。此研究中為針對Shuffle階段進行模型建造，就是對系統(tǒng)模型中所定義的網(wǎng)絡(luò)傳輸開銷予以直接使用，同時啟動空閑節(jié)點部位的Reduce任務(wù)，并對函數(shù)進行調(diào)用與復(fù)制即可對不同節(jié)點Map任務(wù)輸出予以獲取，若系統(tǒng)有剩余空閑資源，則Map階段與Reduce階段共同執(zhí)行。負(fù)載均衡約束的閾值：由于Map Reduce具有特殊性，應(yīng)用數(shù)據(jù)塊代表每個對象，在Map任務(wù)開始前，切分?jǐn)?shù)據(jù)對象，而Ceph在存儲數(shù)據(jù)時會將數(shù)據(jù)切塊變成對象，基于此，應(yīng)該規(guī)定每個對象的大小與數(shù)據(jù)塊的大小一致，給定負(fù)載均衡約束閾值，可以調(diào)整，而系統(tǒng)所有者可結(jié)合以網(wǎng)絡(luò)條件、硬件狀況等多種因素做出決定。若全部集群內(nèi)最大負(fù)載與最小負(fù)載集群間差異低于閾值，即可認(rèn)定存儲系統(tǒng)出現(xiàn)相對負(fù)載均衡狀態(tài)。問題的定義：問題輸入，給定一個對象集合、一個集群，在各OSD與不同集群執(zhí)行同一任務(wù)時間的情況下，集群間網(wǎng)絡(luò)寬帶延時，而系統(tǒng)所有者定義負(fù)載均衡的約束閾值。對于問題輸出，具體含括了集群內(nèi)對象分布狀況、任務(wù)最終執(zhí)行時間。

3.2 混合整數(shù)線性規(guī)劃算法

對于分布式異構(gòu)系統(tǒng)而言，任務(wù)調(diào)度的作用不容小覷。目前，在研究實踐中提出了各種各樣的算法，本文利用MILP算法解決上文提出的問題。需將約束添加至Map Reduce整個過程中，而添加的內(nèi)容含括Map任務(wù)的開始、執(zhí)行、拷貝時間，Reduce任務(wù)開始時間與執(zhí)行時間，向?qū)ο蟠鎯υO(shè)備分配對象的過程中，將約束條件確定為系統(tǒng)負(fù)載狀況，而負(fù)載均衡標(biāo)準(zhǔn)就是閾值。在MILP算法中所設(shè)計的約束應(yīng)分為兩個不同的部分。具體MILP算法的符號定義如表1。

表1：MILP算法的符號定義

任務(wù)約束：對分布計算框架Map Reduce的流程進行梳理，對于任意一個Map 任務(wù)i，Ami,on求和，結(jié)果1，

每個Reduce任務(wù)需要被分配到一個OSD上，

在Shuffle階段，每個Map任務(wù)的中間結(jié)果被復(fù)制到Reduce任務(wù)節(jié)點的開始時間需在相應(yīng)的Map任務(wù)完成時間后，

給另外一個約束，Reduce任務(wù)只能在Shuffle階段所有中間結(jié)果的復(fù)制完成后，才開始，

下面的約束要有先行的假定條件，為了簡化問題，假設(shè)每個計算節(jié)點有一個槽，只執(zhí)行一個任務(wù)，在同一個OSD上先后執(zhí)行兩個Map任務(wù)不可重疊，，

在同一個OSD上先后執(zhí)行的兩個Reduce任務(wù)不可重疊，，

分析這兩個公式屬于非線性形式，并不能適用于混合整數(shù)線性規(guī)劃模型，為了讓這些公式變成線性形式，需要轉(zhuǎn)換約束，所以用了四個變量：x,y,p,q輔助，進而實現(xiàn)非線性模型向線性模型的轉(zhuǎn)化。

若Map任務(wù)i開始時間+執(zhí)行時間=Map任務(wù)j的開始時間，那么mstmi+meton-mstmj=0，由此可以得到以下公式，若兩個Map任務(wù)之間沒有重疊，也就是說若下面公式同時成立，且x,y相加等于1，

xmi,mj+ymi,mj=1

Reduce任務(wù)的轉(zhuǎn)換采用方法與Map任務(wù)的轉(zhuǎn)換類似，

pri,rj+qri,rj=1

上一個小節(jié)已給出了任務(wù)部分的約束公式，由于是特定計算框架，所以Map任務(wù)的數(shù)量可以代表對象的數(shù)量，對一個OSD上的所有Map任務(wù)求和可得到：

用以下公式表示某個集群的負(fù)載情況，假定OSD上分配到的數(shù)據(jù)量是相同的，需要相除的計算方式可得到集群的負(fù)載情況。

上述公式中的T未負(fù)載均衡約束閾值，擁有最大負(fù)載與最小負(fù)載集群的偏差，且每個集群的負(fù)載情況需滿足閾值。

基于上述兩類約束條件，給出整個模型的優(yōu)化目標(biāo)，在Map Reduce框架中，Reduce任務(wù)要等到Map任務(wù)全部完成后執(zhí)行，

在得到優(yōu)化目標(biāo)后，將上述約束不等式作為輸入通過lingo或gurobi等優(yōu)化軟件進行求解，得出任務(wù)執(zhí)行時間。

3.3 基于遺傳算法改進的數(shù)據(jù)放置算法

若對象存儲設(shè)備，集群數(shù)量多，MILP算法時間復(fù)雜度高，則需要尋找相似算法，代替最優(yōu)解。遺傳算法屬于一種啟發(fā)式的近似算法，最近幾年中，有很多人通過對遺傳算法的改進，來求解任務(wù)的調(diào)度問題，遺傳算法理論基礎(chǔ)上，本文提出了高效的改進算法也就是DPGA算法解決定義的問題模型。隨著科學(xué)技術(shù)的不斷發(fā)展，算法不斷更迭中，應(yīng)用算法獲取的所有染色體各自的適應(yīng)癥，每一個染色體都代表一種方案，根據(jù)不同數(shù)據(jù)設(shè)置方案即可。

4 結(jié)束語

本文對現(xiàn)有的分布存儲方案與分布式計算框架的發(fā)展現(xiàn)狀進行了簡要分析，針對Ceph的技術(shù)細(xì)節(jié)進行介紹，包括架構(gòu)，讀寫流程以及CRUSH算法，分析不足之處，提出改進的新的分布式架構(gòu)，提出算法與問題的定義，對系統(tǒng)和應(yīng)用建模，在原有的數(shù)據(jù)分配中，添加了概率表，并在構(gòu)建概率表的過程中，利用了異構(gòu)環(huán)境，設(shè)備的計算能力與網(wǎng)絡(luò)差異特點，對所面臨的數(shù)據(jù)進行建模，隨后對Map Reduce進行約束，對系統(tǒng)內(nèi)部的集群負(fù)載進行約束，進而利用該算法求得問題的最優(yōu)解。

綜上所述，本文提出的架構(gòu)與算法可有效解決存儲系統(tǒng)異構(gòu)環(huán)境下面臨的數(shù)據(jù)分配問題，在災(zāi)備策略上，安全性與可用性得到了提高，Ceph作為一種去中心化的分布式對象存儲系統(tǒng)，具有高可用性、可擴展性、可靠性。能夠使比如Map Reduce這樣的分布式計算框架運行在其上，性能良好，

本文通過對Ceph架構(gòu)的改進，對數(shù)據(jù)放置方法的優(yōu)化，同時，Ceph應(yīng)用CRUSH算法分配數(shù)據(jù)，有效解決了系統(tǒng)內(nèi)部集群的負(fù)載均衡問題。對于集群內(nèi)部的節(jié)點同構(gòu)問題，數(shù)據(jù)分配均勻問題，存儲設(shè)備計算能力之間的差異問題等都是影響整個系統(tǒng)性能的因素，不同的數(shù)據(jù)放置策略嚴(yán)重影響系統(tǒng)整體性能。我們在改變數(shù)據(jù)放置策略后，提供系統(tǒng)性能，充分考慮網(wǎng)絡(luò)異構(gòu)性，以免造成網(wǎng)絡(luò)擁塞。另外，對于系統(tǒng)高可用性方面的驗證，還需要在未來的研究中對此問題建立模型分析，上述問題，今后的研究中會加以考慮。