分布式存儲(chǔ)技術(shù)和應(yīng)用淺析

周逸文 中國人民銀行蘇州市中心支行

分布式存儲(chǔ)技術(shù)和應(yīng)用淺析

周逸文 中國人民銀行蘇州市中心支行

隨著云計(jì)算的不斷發(fā)展，傳統(tǒng)數(shù)據(jù)中心NAS+SAN的存儲(chǔ)架構(gòu)已經(jīng)無法適應(yīng)不斷增長的存儲(chǔ)需求。分布式存儲(chǔ)系統(tǒng)橫向擴(kuò)展能力強(qiáng)、總體成本低、天然具備高可用性，在云計(jì)算環(huán)境下應(yīng)用前景廣闊。本文論述了存儲(chǔ)技術(shù)的發(fā)展趨勢和分布式存儲(chǔ)的技術(shù)特征，從自主可控的角度重點(diǎn)對比了幾種開源分布式存儲(chǔ)方案，并介紹了實(shí)踐情況，最后對分布式存儲(chǔ)的未來應(yīng)用進(jìn)行了展望。

分布式 存儲(chǔ) 云服務(wù)平臺(tái) 應(yīng)用

隨著互聯(lián)網(wǎng)和云計(jì)算的發(fā)展，業(yè)界開始采用分布式技術(shù)打造新一代存儲(chǔ)系統(tǒng)，研究其技術(shù)特點(diǎn)并選用合適的方案是構(gòu)建下一代云服務(wù)平臺(tái)的重點(diǎn)工作。

1 存儲(chǔ)技術(shù)的發(fā)展和趨勢

云服務(wù)平臺(tái)中存儲(chǔ)架構(gòu)設(shè)計(jì)是整個(gè)平臺(tái)的重點(diǎn)之一，它承擔(dān)著整個(gè)平臺(tái)的全部數(shù)據(jù)存儲(chǔ)。傳統(tǒng)存儲(chǔ)架構(gòu)有DAS、NAS和SAN等。SAN實(shí)現(xiàn)對虛擬機(jī)、數(shù)據(jù)庫、ODS形式下數(shù)據(jù)塊的存儲(chǔ)，NAS實(shí)現(xiàn)對文件型數(shù)據(jù)的存儲(chǔ)。由于傳統(tǒng)應(yīng)用系統(tǒng)建設(shè)的煙囪式架構(gòu)，造成在物理形式上存在多個(gè)專用存儲(chǔ)，無法實(shí)現(xiàn)存儲(chǔ)的彈性伸縮和靈活配置，數(shù)據(jù)孤島問題突出。

分布式存儲(chǔ)系統(tǒng)具備橫向擴(kuò)展和低成本優(yōu)勢，在提高基礎(chǔ)架構(gòu)敏捷性的同時(shí)帶來以下好處：硬件解耦。新型分布式存儲(chǔ)系統(tǒng)通常使用標(biāo)準(zhǔn)的硬件設(shè)備：如服務(wù)器、SSD、磁盤等，具備很高的靈活性和通用性，避免了特定廠家依賴。良好的擴(kuò)展性（Scale-Out）。新型分布式存儲(chǔ)通常采用集群技術(shù)同步擴(kuò)展其性能和容量，且支持在線動(dòng)態(tài)擴(kuò)展，以適應(yīng)大數(shù)據(jù)和互聯(lián)網(wǎng)時(shí)代處理海量數(shù)據(jù)的需求。按需成本投入。因?yàn)闊o需投入專用的硬件設(shè)備，每次擴(kuò)容的成本可降低到單臺(tái)工業(yè)標(biāo)準(zhǔn)服務(wù)器甚至標(biāo)準(zhǔn)硬盤的價(jià)位，且可以按需投入而不必預(yù)留配置。

2 分布式存儲(chǔ)技術(shù)選型

2.1 技術(shù)特征

分布式存儲(chǔ)技術(shù)源于大型互聯(lián)網(wǎng)公司去IOE浪潮中自主研發(fā)的云存儲(chǔ)方案，如Amazon S3對象存儲(chǔ)，Amazon EBS彈性塊存儲(chǔ)，阿里云的OSS對象存儲(chǔ)等。目前分布式存儲(chǔ)技術(shù)仍在不斷發(fā)展變化中，尚未有明確的標(biāo)準(zhǔn)和定義，綜合當(dāng)前各種技術(shù)實(shí)現(xiàn)的共同特征，我們可以從以下幾個(gè)方面總結(jié)其特征。

從支持的業(yè)務(wù)場景可分為：對象存儲(chǔ)、塊存儲(chǔ)、文件存儲(chǔ)。從技術(shù)實(shí)現(xiàn)的特點(diǎn)可分為：數(shù)據(jù)分布、一致性、容錯(cuò)性、負(fù)載均衡、事務(wù)與并發(fā)控制、易用性等。從使用許可方式可分為：商業(yè)化方案。如華為、EMC、VMware等廠商提供的解決方案，這些方案除了軟件收費(fèi)外，又分為捆綁專用硬件和使用通用硬件兩種方案。開源方案如 RedHat Ceph、RedHat Gluster、OpenStack Swift，Hadoop HDFS等，業(yè)界已有公司在開源軟件基礎(chǔ)上提供商業(yè)化支持。

從使用形態(tài)可分為：ServerSAN，如華為FusionStorage，EMC ScaleIO 等。HCI（超融合），如VMware vSAN、EMC VxRAIL、Nutanix XCP、深信服HCI等。

2.2 開源分布式存儲(chǔ)技術(shù)比較

基于自主可控的思路，我們著重對比HDFS、OpenStack Swift、Ceph和Gluster等熱門開源技術(shù)方案。

首先，這些方案的共性有：均采用了將文件分塊并分布在不同存儲(chǔ)節(jié)點(diǎn)上的數(shù)據(jù)分布思想；均采用了多副本或糾刪碼等技術(shù)提供容錯(cuò)性；均采用了某些分布式算法保證副本的一致性；均采用了元數(shù)據(jù)管理思想，在性能和可用性之間的取得平衡。其次，HDFS主要與Hadoop大數(shù)據(jù)平臺(tái)緊密集成，暫時(shí)無法作為通用的分布式文件系統(tǒng)使用外，其他三個(gè)存儲(chǔ)方案各自功能特點(diǎn)有著諸多不同。

經(jīng)過比較，Ceph存儲(chǔ)技術(shù)具備諸多優(yōu)勢，主要表現(xiàn)在：高可靠性。三副本策略和數(shù)據(jù)分布策略可使數(shù)據(jù)可靠性達(dá)到6個(gè)9。統(tǒng)一性。可同時(shí)提供對象存儲(chǔ)、塊存儲(chǔ)和文件存儲(chǔ)服務(wù)。性能出色。支持諸多高級硬件優(yōu)化，高級特性支持也較多。

3 初步實(shí)踐和未來展望

3.1 初步實(shí)踐

在初步探索分布式存儲(chǔ)技術(shù)的基礎(chǔ)上，嘗試?yán)肅eph搭建存儲(chǔ)環(huán)境逐步替代傳統(tǒng)的NAS存儲(chǔ)。如：構(gòu)建Ceph對象存儲(chǔ)替代傳統(tǒng)NAS服務(wù)器；嘗試?yán)肅eph文件存儲(chǔ)提供容器外部卷存儲(chǔ)。

3.2 未來展望

3．2．1逐步遷移工作負(fù)載或新應(yīng)用

通過在生產(chǎn)環(huán)境運(yùn)行非關(guān)鍵工作負(fù)載對新型存儲(chǔ)建立信心，并逐步積累運(yùn)維經(jīng)驗(yàn)，逐步借助分布式存儲(chǔ)的動(dòng)態(tài)擴(kuò)展能力逐步擴(kuò)大存儲(chǔ)集群。

3．2．2構(gòu)建基于分布式存儲(chǔ)的云計(jì)算平臺(tái)

利用分布式存儲(chǔ)技術(shù)整合服務(wù)器的本地HDD、SSD等存儲(chǔ)介質(zhì)將其組織成一個(gè)大規(guī)模存儲(chǔ)資源池，形成穩(wěn)定的高可用的多OSD存儲(chǔ)架構(gòu)，測試流行的虛擬化層如原生支持Ceph的KVM/QEMU或采用iSCSI技術(shù)支持VMware vSphere，形成私有IaaS云的存儲(chǔ)基礎(chǔ)層。

[1] 龔利 史楊.淺析分布式存儲(chǔ)系統(tǒng)的研究及應(yīng)用 [j].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2014(9):73-73

[2] 劉軍軍.基于Ceph的企業(yè)分布式存儲(chǔ)方案 [j].《電子技術(shù)與軟件工程》,2016(11):210-212