分布式存儲在私有云平臺中的應(yīng)用策略

馬志鑫

摘要：針對分布式存儲技術(shù)在私有云平臺中的應(yīng)用策略進行研究，旨在推動我國私有云平臺發(fā)展水平，在充分發(fā)揮分布式存儲技術(shù)優(yōu)勢基礎(chǔ)上，為私有云平臺用戶提供更為強大的數(shù)據(jù)存儲服務(wù)。在對分布式存儲技術(shù)、私有云平臺概念加以分析后，探討私有云平臺中應(yīng)用分部式存儲的意義，并分別針對基于vSAN、開源Kubernetes+Gluster的分布式存儲方案進行研究，且對兩種方案進行對比。期望此成果可為我國私有云平臺應(yīng)用企業(yè)提供技術(shù)借鑒價值，為企業(yè)應(yīng)用性能提升以及經(jīng)濟效益的獲取起到推動作用。

關(guān)鍵詞：分布式存儲；私有云平臺；K8s；vSAN；Cluster

一、前言

云計算視角下，分布式存儲技術(shù)相比傳統(tǒng)存儲形式具有諸多顯著優(yōu)勢。首先，分布式存儲具有較強的靈活性和可擴展性，能輕松調(diào)整存儲容量，按需分配且自由擴展，以有效滿足云計算應(yīng)用企業(yè)不斷變化的業(yè)務(wù)需求。其次，分布式存儲形式有助于優(yōu)化讀寫效能，通過在多個節(jié)點并行讀寫，可顯著提升系統(tǒng)的性能，并且相比傳統(tǒng)集中式存儲，分布式存儲更傾向于使用一般的標(biāo)準(zhǔn)硬件，在維護成本、擴容投資上都更具成本效益。因此，分布式存儲將是未來云平臺數(shù)據(jù)存儲的主要發(fā)展方向，亦是進一步推動云平臺服務(wù)效率提升的重點研究領(lǐng)域。

二、分布式存儲技術(shù)與私有云平臺概述

（一）分布式存儲技術(shù)

分布式存儲技術(shù)是通過網(wǎng)絡(luò)將數(shù)據(jù)分散存儲在不同的物理位置上的技術(shù)。相比傳統(tǒng)集中存儲，在數(shù)據(jù)分布方面，分布式存儲技術(shù)以“分而治之”思想，將大量數(shù)據(jù)劃分為若干小塊，并將這些數(shù)據(jù)塊分散存儲在不同服務(wù)器或存儲設(shè)備上。這一分散存儲方式，有利于通過并行化提高讀寫速度，并可有效地處理大規(guī)模數(shù)據(jù)。冗余備份方面，在分布式存儲系統(tǒng)中，為防止單點故障導(dǎo)致數(shù)據(jù)丟失，引入了數(shù)據(jù)備份機制，即在多個節(jié)點上保存數(shù)據(jù)的副本。當(dāng)某一節(jié)點失敗時，可以通過其余節(jié)點上的副本恢復(fù)數(shù)據(jù)，從而確保數(shù)據(jù)的高可用性以及系統(tǒng)的容錯性。一致性機制下，因數(shù)據(jù)被分布存儲在多個節(jié)點上，分布式存儲系統(tǒng)會基于一致性算法，保證所有節(jié)點上的數(shù)據(jù)狀態(tài)一致，以實現(xiàn)整個系統(tǒng)的數(shù)據(jù)一致性。

（二）私有云平臺

私有云平臺是一種云計算部署模式，其核心理念是為企業(yè)、單個組織構(gòu)建專有、專用云計算環(huán)境。作為一種虛擬化計算環(huán)境，私有云平臺旨在通過將硬件資源如存儲、網(wǎng)絡(luò)及計算資源虛擬化，提供按需分配的動態(tài)服務(wù)。

一方面，從資源管理層面分析，私有云平臺利用虛擬化技術(shù)，會將物理資源如服務(wù)器、存儲、網(wǎng)絡(luò)抽象化，形成一個資源池，用戶可以業(yè)務(wù)需要為依據(jù)按需請求使用，實現(xiàn)資源的最優(yōu)化分配，該模式為企業(yè)計算環(huán)境的即時性、彈性提供了可能。另一方面，在安全與數(shù)據(jù)管理方面，私有云平臺所有計算資源都由企業(yè)自行開展管理與控制，私有云平臺則能夠提供高級別的數(shù)據(jù)安全和隱私保護。在數(shù)據(jù)處理、存儲和遷移過程中，企業(yè)可以自行設(shè)定、執(zhí)行特有安全政策，有效避免數(shù)據(jù)被泄露、篡改與丟失等風(fēng)險。

三、分布式存儲在私有云平臺中的應(yīng)用意義

分布式存儲在私有云平臺中的應(yīng)用，其意義可體現(xiàn)在服務(wù)高效性、存儲彈性與可擴展性、存儲可靠性與安全性三個維度。

首先，服務(wù)高效性視角下，分布式存儲支持對數(shù)據(jù)的并行處理，數(shù)據(jù)存取操作不會受制于單一存儲設(shè)備性能。例如，針對大規(guī)模數(shù)據(jù)的讀取，傳統(tǒng)單點存儲需要消耗大量時間成本。但是，分布式存儲可將這些數(shù)據(jù)分散于一個節(jié)點上，以并行讀取形式提高數(shù)據(jù)訪問速度。這一特性下，私有云平臺的一些海量數(shù)據(jù)操作，如大數(shù)據(jù)分析、深度學(xué)習(xí)等場景都能得到性能上的滿足。

其次，存儲彈性與可擴展性視角下，將分布式存儲應(yīng)用于私有云平臺，能夠以業(yè)務(wù)需求為依據(jù)動態(tài)增加、減少存儲階段，靈活調(diào)整存儲空間大小，且上述操作無須停機，不會影響私有云平臺相關(guān)業(yè)務(wù)運行。例如，某企業(yè)數(shù)據(jù)量驟增背景下，私有云平臺可快速增加存儲資源應(yīng)對數(shù)據(jù)變化，用戶無須關(guān)心物理存儲設(shè)備的容量。因此，私有云平臺中應(yīng)用分布式存儲可良好應(yīng)對數(shù)據(jù)處理的臨時高峰。

最后，存儲可靠性與安全性視角下，分布式存儲將數(shù)據(jù)分布于多個存儲節(jié)點，即便某一階段處于故障，其他節(jié)點依舊可基于副本提供服務(wù)，可大幅度提升業(yè)務(wù)連續(xù)性。同時，分布式存儲分散性的特征，也可確保數(shù)據(jù)不會被不法分子全盤盜取，數(shù)據(jù)安全性顯著提升[1]。

四、私有云平臺中分布式存儲的應(yīng)用策略

（一）基于vSAN的私有云平臺分布式存儲

1.vSAN介紹

vSAN又稱虛擬存儲區(qū)域網(wǎng)絡(luò)，是VMware公司推出的一種分布式存儲架構(gòu)。vSAN集成在VMware的vSphere中，形成了一個軟件定義的存儲解決方案，具有靈活性、可擴展性及性能出色的特點。該技術(shù)原理是利用直接連接到各服務(wù)器節(jié)點的本地存儲設(shè)備，如硬盤驅(qū)動器、固態(tài)硬盤等，形成分布式共享數(shù)據(jù)存儲層。這種架構(gòu)可最大限度地利用存儲硬件性能，避免了傳統(tǒng)存儲網(wǎng)絡(luò)單點的瓶頸。

2.節(jié)點故障容錯設(shè)計

在利用vSAN部署私有云平臺分布式部署階段，為避免出現(xiàn)單節(jié)點故障造成風(fēng)險，vSAN設(shè)計需重點考量故障域提出的要求，計算一個集群內(nèi)vSAN的故障域數(shù)量（D），可參考式（1）。

D=2×N+1 （1）

式（1）中，N代表最多容忍vSAN節(jié)點故障的數(shù)量。vSAN部署期間，至少要設(shè)置三個故障域才可容忍集群內(nèi)同時最多一個階段出現(xiàn)故障時，系統(tǒng)仍處于正常運行狀態(tài)。倘若希望集群內(nèi)可同時容忍2個階段出現(xiàn)故障，則需要設(shè)置至少五個故障域[2]。

（二）基于開源系統(tǒng)的私有云平臺分布式存儲搭建

相比vSAN此類專屬于vSANMware的私有協(xié)議，目前還存在其他開源且被廣泛應(yīng)用的分布式存儲技術(shù)，如HDFS-Hadoop分布式文件存儲、Ceph、Gluster、Kubernetes（K8s）容器集群管理系統(tǒng)等，不同技術(shù)有著各自的優(yōu)勢。Kubernetes（K8s）作為開源容器集群管理系統(tǒng)，具備強大自動化功能，可實現(xiàn)自動化部署、擴容縮容、網(wǎng)絡(luò)設(shè)定，可大幅度降低運維難度。

1.面向K8s虛擬技術(shù)的私有云平臺

基于Kubernetes（K8s）技術(shù)實現(xiàn)私有云平臺的部署，主要目的在于充分運用其集群資源調(diào)度能力，以便在之后的步驟中將Gluster分布式存儲系統(tǒng)的資源有效利用至容器中。

關(guān)于Kubernetes（K8s）技術(shù)，其實是Google基于Borg系統(tǒng)研發(fā)的開源容器編排平臺，負責(zé)面向云平臺提供一個實現(xiàn)自動化部署、彈性擴縮和無縫更新機制。目前，K8s已廣泛應(yīng)用于企業(yè)私有云平臺部署中，不僅提升了開發(fā)和運維效率，也提供了有效的資源管理和訪問控制，已成為業(yè)界主流的應(yīng)用部署方式之一。

一方面，Kubernetes技術(shù)采用虛擬化技術(shù)，可以將一臺或多臺服務(wù)器硬件資源匯聚為一體，實現(xiàn)資源統(tǒng)一調(diào)度UI分配，避免資源閑置或資源不足現(xiàn)象，運行階段，K8s會將每個服務(wù)器虛擬化為一個“節(jié)點”，各節(jié)點可運行多個隔離環(huán)境的“容器”，容器內(nèi)部則包含運行應(yīng)用所需的各類環(huán)境與配置，讓應(yīng)用能運行于任意Kubernetes節(jié)點，全面提升應(yīng)用部署靈活性。

另一方面，在私有云平臺部署中，Kubernetes可實現(xiàn)對應(yīng)用的細粒度管理，會為每個應(yīng)用分配特定命名空間，讓用戶能夠在調(diào)度應(yīng)用階段更方便地管理、控制隸屬同一業(yè)務(wù)線的應(yīng)用程序。同時，Kubernetes提供的服務(wù)發(fā)現(xiàn)、負載均衡機制，可保證應(yīng)用始終具備高可用性，其對外提供的接口調(diào)整為集群級別，內(nèi)部調(diào)度轉(zhuǎn)發(fā)到對應(yīng)的容器進一步保證了應(yīng)用在運行階段的對外訪問能力。

2.Gluster集群應(yīng)用

Gluster集群是目前市場中高度流行的開源分布式文件系統(tǒng)，其提供的存儲解決方案，目前已被廣泛應(yīng)用于私有云平臺中。

一方面，技術(shù)原理視角下，Gluster集群利用計算機網(wǎng)絡(luò)技術(shù)，將網(wǎng)絡(luò)中的多個磁盤設(shè)備或者存儲設(shè)備集合起來，形成統(tǒng)一存儲池，為上層應(yīng)用提供統(tǒng)一訪問接口。在此基礎(chǔ)上，每個存儲節(jié)點均為對等關(guān)系，不會出現(xiàn)單點故障問題。數(shù)據(jù)運行期間，Gluster會在各節(jié)點之間進行條帶化存儲，讓應(yīng)用實現(xiàn)面向大量數(shù)據(jù)的可靠、高效存儲。

另一方面，Gluster集群中的每個節(jié)點均可實現(xiàn)獨立運行，不依賴于中心節(jié)點或是元數(shù)據(jù)服務(wù)器。這一架構(gòu)讓Gluster集群具備良好的可伸縮性與容錯性，即便某一節(jié)點出現(xiàn)故障，其他節(jié)點仍舊能夠繼續(xù)工作而不影響數(shù)據(jù)的訪問[3]。

3.部署過程

以下是基于K8s技術(shù)結(jié)合Gluster的私有云平臺分布式存儲部署策略。

步驟1：確定主節(jié)點與工作節(jié)點。Kubernetes整個集群管理與控制均需由主節(jié)點負責(zé)，如跨主機的容器編排、服務(wù)發(fā)現(xiàn)與負載均衡、錯誤恢復(fù)工作等。剩余的服務(wù)器資源，會被設(shè)定為工作節(jié)點，運行實際的容器應(yīng)用。

步驟2：進行網(wǎng)絡(luò)配置。對于Kubernetes而言，其CNI（Container Network Interface）容器網(wǎng)絡(luò)插件的運用至關(guān)重要。其CNI主要負責(zé)Kubernetes集群中各Pod之間的網(wǎng)絡(luò)通信。盡管Kubernetes支持多種網(wǎng)絡(luò)插件，如Flannel、Calico或是Cilium等，但仍舊需要以具體網(wǎng)絡(luò)環(huán)境、業(yè)務(wù)需求為依據(jù)選擇最為合理的插件。

步驟3：配備管理工具。部署Kubernetes需要配備管理工具，Kubectl能夠幫助用戶與Kubernetes實現(xiàn)高效交互，對集群進行有效管理。Helm同樣為有效管理Kubernetes應(yīng)用的工具，在集群運行階段，Helm負責(zé)簡化部署與配置的過程。此外，為實時監(jiān)控Kubernetes集群的狀態(tài)，還需配備Prometheus、Grafana此類系統(tǒng)與工具。

步驟4：持久化存儲應(yīng)用。部署私有云平臺分布式存儲階段，Kubernetes提供了PV （持久卷） 和PVC （持久卷申領(lǐng)） 兩種存儲方式，它們能夠幫助用戶描述管理存儲資源。應(yīng)用部署階段，需要在StatafulSet內(nèi)進行volumeClaimTemplates配置，從而生成Pod、PV以及PVC。圖1為Pod、PV以及PVC生成情況查看示意圖。

在部署Gluster集群后，會有三個節(jié)點已經(jīng)利用LVM創(chuàng)建3個1G的存儲邏輯卷軸，且會實現(xiàn)自動掛載。節(jié)點數(shù)量由vvolumetype內(nèi)復(fù)制卷的數(shù)量而決定。圖2為volumeClaimTemplates配置示意圖。

步驟5：資源分配與隔離。對于大規(guī)模的集群，資源分配、隔離尤為重要。此刻，Kubernetes提供的Namespace和Quota可實現(xiàn)資源的有效分配與隔離。Namespace能夠為一組資源提供一種邏輯隔離方式，以便于集群對資源進行分類管理。Quota則負責(zé)限制每個Namespace在存儲、CPU、內(nèi)存等各維度的資源使用率，確保各 Namespace 中，資源使用始終處于均衡狀態(tài)。

步驟 6：Gluster環(huán)境配置。對于每個參與Gluster集群的節(jié)點，設(shè)置hostname，于/etc/hosts文件中添加所有參與節(jié)點的IP地址以及其同hostname的映射關(guān)系。隨后，在每個節(jié)點安裝Gluster-server，通過默認包管理工具進行安裝。操作階段，可在Ubuntu環(huán)境中，使用apt命令：sudo apt-get install -y glusterfs-server。

步驟7：啟動GLusterfu服務(wù)。于每個節(jié)點上啟動GlusterFS服務(wù)，以確保服務(wù)在開機時實現(xiàn)自動啟動，具體命令為：systemctl enable glusterd & systemctl start glusterd。

步驟8：構(gòu)建集群。任選一節(jié)點，通過下列命令將其他節(jié)點加入集群內(nèi)：gluster peer probe <節(jié)點hostname>。利用gluster peer status命令，可查詢集群狀態(tài)。隨后，于任一個節(jié)點執(zhí)行g(shù)luster volume create命令，創(chuàng)建Gluster卷。

步驟9：配置K8s下StorageClass。創(chuàng)建一個StorageClass，面向GlusterFS作為存儲。在StorageClass定義文件內(nèi)，type設(shè)置為glusterfs，parameters中將resturl設(shè)置為Heketi服務(wù)API地址。部署Heketi，用于管理GlusterFS集群的RESTful管理接口，其負責(zé)為集群提供用于創(chuàng)建、查詢、刪除和修改GlusterFS卷，最后創(chuàng)建K8s的PV與PVC。

（三）技術(shù)對比

在私有云平臺中，vSAN和Kubernetes+Gluster隸屬兩種較為常見的分布式存儲解決方案。本文從架構(gòu)與兼容性、功能與易用性兩個維度進行對比。

架構(gòu)與兼容性方面，vSAN是VMware發(fā)布的分布式存儲解決方案。該方案深度整合于VMWare虛擬化平臺vSphere中，適合基于VMWare虛擬化技術(shù)的私有云環(huán)境。vSAN分布式存儲擁有較好的性能與一致性。對比之下，Kubernetes+Gluster是一種應(yīng)用更為廣泛的解決方案，同時支持物理機、虛擬化以及容器環(huán)境，具有更廣泛適用性。GlusterFS以及其他現(xiàn)代軟件定義存儲解決方案期間，通常都設(shè)計為同底層硬件獨立的形式，因此，該方案可運行在任何Linux分發(fā)版上，且Kubernetes+Gluster架構(gòu)更為靈活，無擴展性限制。

功能與易用性方面，vSAN在功能上更為豐富，如磁盤和網(wǎng)絡(luò)故障重新配置等，同時通過vSphere Client進行管理，對于VMware用戶而言，易用性、可視化和集成度都非常高。Kubernetes+Gluster的管理復(fù)雜性相比vSAN更高，操作階段需要通過命令行工具或是API進行操作。然而，該方案結(jié)構(gòu)簡單，功能強大，相比vSAN具有更為靈活的配置，可滿足各種私有云平臺應(yīng)用需求[4]。

五、結(jié)語

綜合上分析，針對面向私有云平臺的分布式存儲應(yīng)用策略進行研究，對基于vSAN的分布式存儲方案、開源Kubernetes+Gluster分布式存儲方案進行了詳細研究。研究表明，Kubernetes+Gluster方案相比vSAN方案具有更強的靈活性、適用性，但作為成熟的分布式存儲策略，兩種方案各有優(yōu)勢，使用者還需根據(jù)私有云平臺情況、實際應(yīng)用需求合理選擇，以便在滿足企業(yè)私有云平臺應(yīng)用需求的同時節(jié)約經(jīng)濟成本。

參考文獻

[1]鄒文仲，鄧力源，張高峰，等.基于調(diào)度云平臺通用分布式架構(gòu)實踐[J].南方電網(wǎng)技術(shù)，2023，17（09）：20-28.

[2]張利，劉洛川，李光.一種基于邊緣計算的分布式高精度定位方法[J].長江信息通信，2022，35（02）：34-42.

[3]桂晶，基于云端融合的三維計算機輔助設(shè)計系統(tǒng)研發(fā)[R].廣東省，云浮清軟海芯科技有限公司，2021-12-22.

[4]宋偉.基于OPENSTACK私有云平臺上的HADOOP完全分布式環(huán)境應(yīng)用研究[J].電腦知識與技術(shù)，2020，16（11）：234-236.

作者單位：中國石油吐哈油田公司數(shù)智技術(shù)公司

■ 責(zé)任編輯：張津平、尚丹