分布式存儲在私有云平臺中的應(yīng)用

羅中涌

（南京廣電集團，江蘇 南京 210000）

隨著媒體融合的大時代到來，尤其全媒體等概念的提出讓媒體的呈現(xiàn)形態(tài)多樣化、復(fù)雜化，為適應(yīng)新時代的發(fā)展，企業(yè)內(nèi)部更加依賴云計算等基礎(chǔ)設(shè)施的建設(shè)，而媒體由于行業(yè)特殊性，數(shù)據(jù)安全以及隱私保護尤為重要，所以在云計算框架中的選擇更傾向于私有云，而存儲作為關(guān)鍵組件變得異常重要，一般在企業(yè)內(nèi)部會選擇EMC、華為、曙光和浪潮等外部共享存儲，這類存儲由于其安裝、維護有廠家提供服務(wù)而受到青睞，但這類存儲存在拓展性不強、后期維護成本高的缺點，從而研究出了一系列成本低、拓展靈活的分布式存儲作為替代方案，其中有開源免費和私有收費兩種方案，后文將詳細介紹兩種分布式存儲的應(yīng)用。

1.分布式存儲的介紹

企業(yè)在私有云計算平臺的搭建過程中，大量充當(dāng)運算節(jié)點的物理主機擁有容量大、性能強、安全性有保障的本地存儲，由于其只存在本地，無法直接共享給外部使用而未得到充分利用，以筆者所在的單位來說，我們擁有幾十臺物理主機，平均每臺擁有已經(jīng)配置過RAID 的容量1T 左右的本地存儲，大量閑置的存儲空間如果不加以利用將帶來巨大的資源浪費，而通過納入分布式存儲集群，可以得到數(shù)10T 左右的具有對外共享能力的分布式存儲，而采購數(shù)10T 的外部共享存儲費用將達到數(shù)十萬，成本優(yōu)勢非常明顯。

分布式存儲的實現(xiàn)方式主要是通過軟件層來實現(xiàn)的，將每個節(jié)點的本地存儲通過軟件抽象化成存儲池，然后納入一個統(tǒng)一的存儲集群。軟件層的實現(xiàn)方式常見的有兩大類，一種是以VMware 私有的vSAN 為代表，一種是Ceph 和Gluster 等開源的分布式存儲系統(tǒng)。

2.分布式存儲的實現(xiàn)

2.1 利用vSAN 實現(xiàn)分布式存儲

vSAN 是VMware 公司開發(fā)的作為ESXI 系統(tǒng)集成的一套實現(xiàn)分布式存儲的軟件層，通過軟件定義的方法為實現(xiàn)將ESXI 主機的本地物理存儲轉(zhuǎn)化為存儲池，然后通過它的管理軟件將存儲劃分給集群中的虛擬機使用。vSAN 與vSphere 是高度集成的，只要企業(yè)內(nèi)部采用的是vSphere 的架構(gòu)部署私有云平臺，通過授權(quán)就可以激活vSAN 使用，不需要安裝額外的軟件、插件或者存儲控制臺進行管理，只需要在vSphere Client或vSphere Web Client 中就可以實現(xiàn)部署、管理和監(jiān)控vSAN，運維門檻大大降低。

為避免出現(xiàn)單節(jié)點故障導(dǎo)致數(shù)據(jù)丟失風(fēng)險，在vSAN 的設(shè)計過程中需要特別考慮到故障域的要求，計算一個集群中vSAN 故障域的數(shù)量（D 表示）可以參考以下公式，其中N 表示最多容忍多少個vSAN 節(jié)點出現(xiàn)故障：

即，vSAN 的部署時故障域至少要有三個才能容忍集群中同時最多一個節(jié)點發(fā)生故障而系統(tǒng)還能正常運行，同理，如果希望集群中同時出現(xiàn)兩個節(jié)點故障時系統(tǒng)還能正常運行則vSAN 的故障域至少需要五個。

2.2 引入開源系統(tǒng)，自主搭建分布式存儲

相對于vSAN 這種專屬VMware 的私有協(xié)議，還存在大量開源且應(yīng)用廣泛的分布式存儲系統(tǒng)，例如HDFS（Hadoop Distributed File System）Hadoop 分布式文件系統(tǒng)、Ceph 和Gluster 等。其中HDFS 可以在通用設(shè)備上運行，硬件要求不高，系統(tǒng)容錯率高，能提供高吞吐量的數(shù)據(jù)訪問，特別適合大文件存儲傳輸，Ceph 因其高性能、高可用、拓展性強且接口豐富，同時支持塊存儲、文件存儲和對象存儲的特點而受到很多企業(yè)的青睞，而Gluster 屬于輕量級、部署復(fù)雜度相對較低的分布式文件存儲系統(tǒng)在市場中也占據(jù)一定的份額。

分布式存儲系統(tǒng)的搭建也需要充分考慮企業(yè)內(nèi)部的云計算架構(gòu)。而企業(yè)在私有云架構(gòu)的選擇面非常廣，其中VMware 公司的vSphere 在部署過程中無論是硬件還是技術(shù)門檻相對較低而受到不少中小型企業(yè)的歡迎，開源的Iaas 項目比如OpenStack 因其免費開源、組件豐富、功能強大，具有高度定制能力，對于有一定開發(fā)能力的企業(yè)也是不錯的選擇，另外隨著容器技術(shù)的進一步發(fā)展，這種新的虛擬技術(shù)由于其靈活輕量，大大節(jié)省了硬件資源、應(yīng)用的部署以及移植的時間，尤其Kubernetes（K8s）這款容器集群管理系統(tǒng)的廣泛應(yīng)用之后，讓容器的部署、規(guī)劃、更新和維護變得更便利更智能，本文采用K8s 部署私有云平臺，同時每個節(jié)點均部署Gluster 分布式文件系統(tǒng)，私有云與分布式存儲混合運行，大大提高了硬件資源的利用率，節(jié)省了企業(yè)在云平臺部署中的經(jīng)濟投入。文中所采用的云計算與分布式存儲系統(tǒng)架構(gòu)如圖1 所示，納入私有云計算集群中的物理主機總共有4 臺，均安裝有CentOS Stream 系統(tǒng)，同時部署有K8s 集群系統(tǒng)，而在每一臺主機上再搭建Gluster 分布式存儲系統(tǒng)，再將本地磁盤配置到存儲系統(tǒng)中，通過K8s 集群的資源調(diào)度可以將Gluster 分布式存儲系統(tǒng)的存儲資源利用到容器中去。

Gluster 集群擁有去中心化的設(shè)計理念，每一個節(jié)點為一個peer，擁有同等的地位，避免了中心化設(shè)計中處理過程的過分集中以及單節(jié)點故障導(dǎo)致整個系統(tǒng)無法正常運轉(zhuǎn)。同時擁有高度彈性的擴展能力，新的節(jié)點需要接入集群時，只需在該節(jié)點簡單完成相應(yīng)配置即可自由加入集群，如圖2 所示：

圖2 Gluster 集群示意圖

數(shù)據(jù)在Gluster 集群中的存放結(jié)構(gòu)可以有很多種，類似于磁盤陣列的概念，從而就決定了它可以實現(xiàn)數(shù)據(jù)的冗余保護以及讀取性能提升。通過對卷軸的模式選擇，可以實現(xiàn)類于RAIDO、RAID1 和RAID5 的功能，圖3 將以復(fù)制卷（Replicated Volume）為例演示數(shù)據(jù)冗余的實現(xiàn)。復(fù)制卷會完整的將每個文件的副本保存在分布式節(jié)點上，從而實現(xiàn)了類似于RAID1 的數(shù)據(jù)鏡像冗余，提供高級別的數(shù)據(jù)保護。

Gluster 集群對外提供存儲服務(wù)有三個常見的訪問方式，一種為客戶端訪問方式，一種是借助第三方NFS 文件服務(wù)器NFS-Ganesha 將卷軸以 NFS 協(xié)議發(fā)布，還可以借助heketi 為Gluster 集群提供RESTful 接口再統(tǒng)一對外服務(wù)。

其中，客戶端訪問方式需在訪問端額外安裝支持glusterfs 的客戶端軟件，然后再通過掛載成為glusterfs文件系統(tǒng)的方式使用，非Linux 系統(tǒng)的兼容性不強。通過NFS-Ganesha 第三方軟件發(fā)布NFS 服務(wù)，只需在服務(wù)端配置，客戶端只要支持NFS 協(xié)議即可，兼容性非常強，不管是Linux、Windows 還是macOS 都可以方便地使用。另外一種是借助heketi 為Gluster 集群提供RESTful 接口，為私有云平臺K8s 集群提供自動化管理Gluster 卷軸的統(tǒng)一接口，下文將重點介紹這種方式。

Gluster 是一個去中心化、各節(jié)點地位平等的分布式存儲系統(tǒng)，這樣在對外提供存儲服務(wù)時無法做到統(tǒng)一入口，但是通過heketi 可以將Gluster 各個節(jié)點統(tǒng)一成一個集群并對外發(fā)布統(tǒng)一的RESTful 接口，而在K8s集群中，存儲類選擇glusterfs 為制備器（provisioner），則可以利用heketi 的對外RESTful 接口對Gluster 的卷軸進行生命周期的自動化管理。

以下將通過實驗的方法在K8s 集群中實現(xiàn)上述功能，首先假設(shè)K8s 集群已經(jīng)部署完成，Gluster 分布式存儲集群也已經(jīng)配置完畢，heketi 程序安裝完成后，需編輯heketi.json 配置文件及配置topology，把所有Gluster 分布式節(jié)點納入heketi 的拓撲結(jié)構(gòu)中，然后再將每個節(jié)點中的本地磁盤添加到設(shè)備中來，最后啟動heketi 服務(wù)。通過命令可以獲取到集群信息，如下圖4：

圖4 heketi 集群信息

Heketi 服務(wù)開啟完成后，在K8s 的控制節(jié)點上創(chuàng)建并應(yīng)用名為glusterfs 的存儲類，具體配置參照圖5所示，其中volumetype 選擇了復(fù)制卷，數(shù)量為3，也就意味著在K8s 通過glustefs 存儲類創(chuàng)建的每個卷軸會以復(fù)制卷的形式在Gluster 集群中的三個節(jié)點同時創(chuàng)建，同樣一份數(shù)據(jù)，會在Gluster 集群中不同節(jié)點保存三份，實現(xiàn)了數(shù)據(jù)的多節(jié)點備份。

圖5 K8s 集群存儲類配置

由于在K8s 中StatefulSet 可用來管理某Pod 集合的部署和擴縮，并為這些 Pod 提供持久存儲和持久標識符，所以對于上述glustefs 存儲類的使用方法，本文中通過部署statefulset 狀態(tài)服務(wù)web-nginx，配置volumeClaimTemplates 參數(shù)可自動通過glustefs 存儲類創(chuàng)建持久卷（PV）和持久卷申領(lǐng)（PVC），StatefulSet中volumeClaimTemplates 配置如圖6 所示，最終生成的Pod、PV 和PVC 如圖7 所示，而再去查看Gluster 集群時，會有三個節(jié)點已通過LVM 創(chuàng)建三個1G 存儲空間的邏輯卷軸并自動掛載，節(jié)點數(shù)量由volumetype 中復(fù)制卷的數(shù)量決定，而創(chuàng)建邏輯卷軸的數(shù)量由StatefulSet 的副本數(shù)replicas 的值決定，生成的邏輯卷軸如圖8 所示，以上所有操作完成后就實現(xiàn)了在K8s 自動化管理Gluster 卷軸。

圖6 volumeClaimTemplates 配置

圖7 Pod、PV 和PVC 生成情況

圖8 Gluster 集群創(chuàng)建的邏輯卷軸

3.分布式存儲實現(xiàn)方式對比

本文介紹了兩種分布式存儲的實現(xiàn)方式，第一種是VMware 公司開發(fā)的vSAN，第二種是通過開源軟件系統(tǒng)Gluster。vSAN 是通過私有協(xié)議開發(fā)，與vSphere深度綁定，適用于以vSphere 為框架的云計算平臺，部署方便，運維門檻低，只需通過授權(quán)開啟vSAN 權(quán)限，通過VMware 自己的軟件套件vSphere Client 或vSphere Web Client 即可完成部署和后期維護，但脫離vSphere框架無法獨立在其他例如OpenStack 或Kubernetes 等平臺上運行。開源分布式存儲Gluster 的應(yīng)用場景十分廣闊，基于常見的Linux 發(fā)行版如Ubuntu、CentOS 和SUSE 都可以部署，除此之外還可以在Kubernetes 上通過容器方式完成部署，最突出的優(yōu)勢在于通過第三方開源程序heketi 還能將Gluster 分布式存儲集群對外提供統(tǒng)一服務(wù)接口，從而使K8s 實現(xiàn)了對Gluster 卷軸生命周期的自動化管理。

結(jié)語

在企業(yè)內(nèi)部私有云的搭建與后期運維過程中，對存儲的依賴極其高，安全性與經(jīng)濟性都需要綜合考慮。外部共享存儲由于成本高，擴張性不強給了分布式存儲較大的應(yīng)用空間，以筆者所在單位為例，我們有一個外部共享存儲長期磁盤空間使用率超過80%，由于這類存儲的拓展性受限，只能選擇將重要數(shù)據(jù)遷移到其他共享存儲上去，即便像EMC 等廠商近年來也提供了額外增加存儲節(jié)點的解決方案，但高昂的成本也讓很多單位望而卻步，而如果企業(yè)采用分布式存儲的存儲架構(gòu)，就可以同時兼顧存儲的安全性與經(jīng)濟性，如果采用vSAN 方案只需要一次性支付數(shù)千美元購買許可證，再通過簡單配置就可以將本地存儲升級成幾十TB 空間的共享存儲，如果采用Gluster 這類開源分布式存儲系統(tǒng)無須支付任何軟件授權(quán)費，只需在通用硬件上部署運行即可以將本地存儲納入分布式存儲中，后期需要拓展也僅需再準備一臺通用的服務(wù)器，通過簡單的配置即可加入原始的存儲集群，彈性靈活，成本大大降低，分布式的設(shè)計也避免了單節(jié)點故障實現(xiàn)數(shù)據(jù)冗余保護，相較于傳統(tǒng)的外部共享存儲，可以作為不錯的替代解決方案。