互聯網模式式下分布式對象存儲系統(tǒng)的設計

韓盛中　王沖　何抗洪

摘要：在互聯網日益發(fā)展的當下，每天都產生大量的數據。據IDC統(tǒng)計預測，到2020年，全球的數據總量將達到44ZB，其中75%是非結構化數據。各個產業(yè)都面臨著大規(guī)模的數字化轉型，產生的數據量非常巨大。因此對于海量數據的管理、治理、移動、分析有迫切的需求，因此分布式對象存儲系統(tǒng)孕育而生。對于文檔、圖片、視頻以及備份歸檔文件，都可以統(tǒng)一存放在對象存儲系統(tǒng)中。對象存儲系統(tǒng)保證了數據可靠性、高可用性、安全性，提供了高并發(fā)低時延的訪問。與傳統(tǒng)的NAS存儲相比，對象存儲提供了RESTOVERHTTP（s）的接口，方便用戶在互聯網環(huán)境下訪問。

關鍵詞：互聯網；海量；對象存儲；REST

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2017）13-0034-02

當前各類企業(yè)特別是中小企業(yè)面臨的數據存儲的痛點有哪些？首先老的存儲框架，無論是本地磁盤、SAN還是NAS都面臨擴容難的問題，日益龐大的數據量越來越得不到滿足；其次老的存儲環(huán)境中，數據是死的，不能方便地移動，靈活性比較差；還有各個業(yè)務需要獨立的申請存儲環(huán)境，如果公用存儲環(huán)境，又很難做到相互間的隔離；最后，傳統(tǒng)的存儲基于的文件系統(tǒng)由于元數據和目錄樹管理比較復雜，不適合處理海量的數據的存取。

分布式對象存儲針對現有的痛點，基于軟件定義的存儲，重新設計了存儲的架構，對于海量小文件進行了聚合處理，對于大文件進行了分塊處理，在系統(tǒng)設計時主要著眼于、數據可靠性、安全性、易用性、擴展性以及高可用性進行了設計。

業(yè)界很多流行的分布式存儲，比如Ceph、GlusterFS、HDFS，處理小文件的性能都差強人意，而TFS在處理大文件方面做的又有欠缺。因此需要設計一種統(tǒng)一存儲，滿足各種文件類型。

1整體架構設計

如圖1所示，對象存儲系統(tǒng)可以由主控集群、數據存儲集群、賬號管理集群、桶資源管理集群、元數據管理集群、反向代理、緩存、回收、災備幾個模塊組成。

其中主控集群負責所有其他模塊的在線狀態(tài)管理，其他模塊各個節(jié)點會定期地給主控集群上報狀態(tài)。主控集群通過zab或者raft選舉leader節(jié)點，主控集群中非leader節(jié)點作為代理，可以轉發(fā)其他模塊的請求給leader節(jié)點。

數據存儲集群負責數據的到磁盤的讀寫，可以基于XFS或者EXT4文件系統(tǒng)。節(jié)點和磁盤的選擇由主控節(jié)點隨機分配。存儲集群通過多副本或者糾刪碼的方式保證數據的可靠性。通常對小文件或者讀性能要求較高的業(yè)務適用于多副本，對長期歸檔并且很少去訪問的冷數據適用于糾刪碼。

元數據管理集群，負責將元數據保存到數據庫。由于單個數據庫的容量和新能存在瓶頸，因此對象存儲中的元數據必須設計成分庫分表分節(jié)點的方式存儲管理元數據，每個數據庫都成對出現，保證元數據的高可靠性。

賬戶管理集群負責管理對象存儲所有的賬戶信息，每個業(yè)務系統(tǒng)接入對象存儲，都會申請對應的賬號，每個賬號都會分配對應的公鑰和私鑰。

桶資源管理集群負責管理每個賬號的桶資源，用戶的每個桶相當于一個資源池，會有單獨的流量和統(tǒng)計，每個桶之間是隔離的。如果桶設置為私有的，每個賬號必須有公鑰/秘鑰產生簽名后在能上傳/下載桶內的文件資源。

緩存模塊也是一組分布式緩存集群，用來保存一些臨時文件和緩存信息。

回收模塊用來掃描系統(tǒng)中的過期文件，如果過期則會逐一清理。

災備模塊負責主機房向備用機房的準實時災備。

圖片處理模塊可以將存儲在對象存儲中各種格式的圖片進行處理，包括JPEG、PNG、bmp、webp、gif和tiff等格式圖片的格式轉換、縮放、裁剪、水印、拼圖、銳化等操作。

視頻處理模塊可以協助用戶進行視頻文件的處理，比如視頻轉碼、截圖等功能。目前支持H.264和H.265格式的轉碼。

2小文件聚合方案

傳統(tǒng)的文件系統(tǒng)由于需要維護大量的元數據信息，導致對磁盤的10利用率不高，從而讀取小文件性能較差。SDOSS針對海量小文件的應用場景做了優(yōu)化。

傳統(tǒng)文件系統(tǒng)讀文件分成3個步驟：1）讀取目錄元數據dentry到內存；21讀取文件inode到內存；3）讀取文件實際內容。

其中，1、2兩步需要對磁盤進行元數據操作，由于文件數太多的情況下，無法將所有元數據信息緩存到內存。

對象存儲系統(tǒng)在小文件存儲方面做了優(yōu)化，借鑒Facebook的Haystack的系統(tǒng)，設計了小文件聚合方案，元數據的訪問頻次減少了2/3，有效的提高的磁盤的訪問效率，從而提升了小文件的讀性能。

如圖2所示，對象存儲采用小文件聚合的方案，將每個文件的元數據信息提取處理順序存放在索引文件，并且加載到內存中。文件讀取時，通過info信息可以找到對應的file數據信息。

在上傳一個新文件時，對于數據文件和索引是一個追加寫的過程。刪文件時，刪除索引文件中的記錄，并置空數據文件，追加寫入卷數據文件與卷索引文件（寫一段相同fileid且大小為0的needle數據），由之后垃圾回收線程回收。存儲服務重啟，索引文件全部加載到內存。

3大文件分塊方案

本系統(tǒng)的目標是一個通用的統(tǒng)一存儲，大文件和小文件的區(qū)別是：大文件對帶寬有更高的要求，大量的數據傳輸往往會造成網絡流量大，往往讀寫一個大文件就能造成某個服務器節(jié)點的網口爆滿，造成網絡擁塞。對于大文件，通常的設計思路是分塊上傳。

使用大文件分塊，提高了磁盤和節(jié)點的并發(fā)性（防止某一個文件的讀寫集中在一個節(jié)點或者一塊磁盤上），從而提升了整體的讀寫性能。用戶上傳一個10GB文件，可以按照一定的大小將文件分塊（一般可以設置1MB-64MB），每個chunk文件均勻的散列在各個服務器的磁盤上，讀寫改文件網絡和磁盤10都可以均勻散列開。每個chunk文件都是多副本，保證數據可靠性。

4元數據管理策略

海量數據的元數據信息管理成本極高，如果采用GFS的方式，勢必造成元數據服務器的單點問題；如果使用GlusterFs的無元數據管理的方式，無法滿足對象存儲豐富元數據的訴求。本系統(tǒng)元數據信息包括文件元數據、桶資源元數據、賬號元數據。各類元數據信息以分庫分表的形式散列在各模塊的數據庫中。

元數據管理可以用數據庫管理，分散在不同的元數據服務器上，避免了單點造成的性能瓶頸。隨著全行業(yè)的數字化轉型，對象存儲對于用戶而言，不僅僅是提供了一個存儲的環(huán)境，更是為用戶提供了一個數據管理的平臺，其中包括數據的治理和分析。用戶在上傳文件的過程中可以帶上自己業(yè)務的標簽，即用戶自定義的元數據信息。對象存儲可以通過這些元數據信息，協助業(yè)務進行系統(tǒng)行為和用戶行為的分析。

5跨機房災備

容災備份是指通過技術和管理的途徑，確保在災難發(fā)生后，用戶關鍵數據、數據處理系統(tǒng)和業(yè)務在短時間內能夠恢復。存儲系統(tǒng)在高可靠高可用的基礎上，設計異地災備滿足更高級別的數據安全性。

本系統(tǒng)支持兩個異地機房之間的數據同步備份，主機房準實時的向備用機房進行數據同步。當主用機房發(fā)生災難時，備用機房可以在短時間內完成接管。

6數據處理

數據處理是對象存儲給用戶提供的增值服務，包括圖片處理、視頻處理、數據分析。

其中圖片處理模塊可以基于ImageMagick等開源軟件開發(fā)，視頻處理可以基于FFmepeg等開源軟件開發(fā)。圖片處理和視頻處理都是獨立的高可用模塊，將下載的文件流按照用戶指定的參數進行圖像和視頻處理。

數據分析模塊可以基于Pentaho等開源數據分析軟件開發(fā)，數據本身的價值是有限的，只有充分利用數據，挖掘數據的潛在價值，才能真正地為互聯網商業(yè)模式提供基礎支撐，才能為數字化轉型提供有效的保障。

7總結

分布式對象存儲有效地解決了互聯網模式下的用戶需求：在保證高效可靠存儲的同時，提供豐富的數據處理和分析能力。隨著全球數據量的日益增大，對于對象存儲技術本身來說也將面臨巨大的挑戰(zhàn)，只有牢牢地把握用戶的需求，從專業(yè)的角度去分析和解決問題，才能設計出優(yōu)秀的存儲系統(tǒng)。