面向NFVi時(shí)代存儲(chǔ)技術(shù)該何去何從

中國(guó)電信股份有限公司廣東研究院|吳家隱 李先緒 邱紅飛 黃春光 朱海云凱里學(xué)院大數(shù)據(jù)工程學(xué)院|莫秋燕

研究發(fā)現(xiàn)，采用帶有SSD（固態(tài)硬盤）緩存的磁盤陣列可以獲得更好的時(shí)延和IO性能，適用于NFV中以數(shù)據(jù)轉(zhuǎn)發(fā)為主、數(shù)據(jù)容量擴(kuò)展需求不高的業(yè)務(wù)場(chǎng)景，如vCPE、vEPC、vBRAS、vIMS等。

NFVi（網(wǎng)絡(luò)功能虛擬化基礎(chǔ)設(shè)施）是承載VNF（網(wǎng)絡(luò)網(wǎng)元功能）的基礎(chǔ)，其核心在于利用標(biāo)準(zhǔn)化的虛擬化技術(shù)支持多租戶，從而為不同類型的虛擬網(wǎng)元按需提供資源支持。通過研究發(fā)現(xiàn)，采用帶有SSD（固態(tài)硬盤）緩存的磁盤陣列可以獲得更好的時(shí)延和IO性能，適用于NFV中以數(shù)據(jù)轉(zhuǎn)發(fā)為主、數(shù)據(jù)容量擴(kuò)展需求不高的業(yè)務(wù)場(chǎng)景，如vCPE、vEPC、vBRAS、vIMS等?；贗P SAN的磁盤陣列兼容性、可維護(hù)性更高，可用于承載NFVi業(yè)務(wù)的整機(jī)框服務(wù)器。對(duì)于數(shù)據(jù)量較大、數(shù)據(jù)增長(zhǎng)需求高的業(yè)務(wù)場(chǎng)景，采用Server SAN可以獲得更優(yōu)的擴(kuò)展性和成本。其中，對(duì)于性能要求不高，通用性需求更高的場(chǎng)景，Ceph非常適用。

磁盤陣列

磁盤陣列是由獨(dú)立磁盤組成的具有冗余特性的陣列，能夠提供一個(gè)獨(dú)立的大型存儲(chǔ)設(shè)備解決方案。磁盤陣列將多個(gè)物理磁盤合并成一個(gè)更大的虛擬設(shè)備，在提高硬盤容量的同時(shí)，還能夠充分提高硬盤的速度，使數(shù)據(jù)更加安全，更加易于磁盤的管理。SAN（存儲(chǔ)區(qū)域網(wǎng)絡(luò)）采用光纖通道技術(shù)，通過光纖通道交換機(jī)連接存儲(chǔ)陣列和服務(wù)器主機(jī)，建立專用于數(shù)據(jù)存儲(chǔ)的區(qū)域網(wǎng)絡(luò)。SAN經(jīng)過十多年歷史的發(fā)展，已經(jīng)相當(dāng)成熟，成為業(yè)界的事實(shí)標(biāo)準(zhǔn)。SAN存儲(chǔ)采用的帶寬從100MB/s、200MB/s，發(fā)展到目前的1Gbit/s、2Gbit/s、8Gbit/s、10Gbit/s。

SA N結(jié)構(gòu)

NFVi的磁盤陣列SAN結(jié)構(gòu)主要包括FC SAN和IP SAN。FC SAN是磁盤陣列（RAID）通過FC通道協(xié)議與其他設(shè)備相連接。FC協(xié)議實(shí)際上解決了底層的傳輸協(xié)議，其高層協(xié)議仍然采用SCSI，數(shù)據(jù)處理是“塊級(jí)”（block level）。IP SAN利用了基于高速以太網(wǎng)協(xié)議（TCP/IP協(xié)議）的ISCSI（互聯(lián)網(wǎng)小型計(jì)算機(jī)口）技術(shù)，實(shí)現(xiàn)在IP網(wǎng)絡(luò)上運(yùn)行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進(jìn)行快速的數(shù)據(jù)存取備份操作。FC SAN和IP SAN的優(yōu)劣勢(shì)對(duì)比如下。

1.成本方面，F(xiàn)C SAN需要專用的FC網(wǎng)卡、FC交換機(jī)等專用設(shè)備，購(gòu)買成本較高；IP SAN成本較低，布置簡(jiǎn)單，管理成本低，購(gòu)買的網(wǎng)線和交換機(jī)都是用以太網(wǎng)，甚至可以利用現(xiàn)有網(wǎng)絡(luò)組建SAN。

2.傳輸距離方面，F(xiàn)C SAN受到光纖距離的限制，而IP SAN基于IP網(wǎng)絡(luò)的天生優(yōu)勢(shì)使其沒有距離的限制，很容易實(shí)現(xiàn)異地存儲(chǔ)、遠(yuǎn)程容災(zāi)等穿越WAN才能實(shí)現(xiàn)的技術(shù)。

3.傳輸速度方面，F(xiàn)C SAN可以實(shí)現(xiàn)高性能數(shù)據(jù)存儲(chǔ)、帶寬利用率高、傳輸時(shí)延小、傳輸效率高，實(shí)際帶寬可達(dá)到理論帶寬的85%～90%。而IP SAN需要共享數(shù)據(jù)通道，傳輸時(shí)延較高，受網(wǎng)絡(luò)環(huán)境影響大，實(shí)際帶寬可達(dá)到理論帶寬的20%～30%。

4.安全性方面，F(xiàn)C SAN采用單獨(dú)的光纖通道獨(dú)立組網(wǎng)，安全性較高。IP SAN接入IP網(wǎng)絡(luò)，安全性相對(duì)較低。

5.兼容性方面，F(xiàn)C SAN雖然有相關(guān)標(biāo)準(zhǔn)的FC協(xié)議，但不同廠商的FC設(shè)備并不兼容。而IP SAN基于TCP/IP協(xié)議，兼容性較好。

基于上述對(duì)比，在性能、穩(wěn)定性要求較高的企業(yè)應(yīng)用如核心數(shù)據(jù)庫(kù)中，常采用FC SAN產(chǎn)品。而在性能要求不高，尤其是異地容災(zāi)場(chǎng)景，則可以考慮采用IP SAN產(chǎn)品。對(duì)于采用整機(jī)柜服務(wù)器作為NFVi承載的場(chǎng)景，統(tǒng)一使用IP交換機(jī)進(jìn)行業(yè)務(wù)和數(shù)據(jù)存儲(chǔ)交換則更加方便維護(hù)。

存儲(chǔ) 介質(zhì)

隨著CPU和內(nèi)存性能的發(fā)展，傳統(tǒng)機(jī)械硬盤（HDD）成為IT系統(tǒng)的主要瓶頸。SSD的出現(xiàn)使硬盤的IO性能提升了幾個(gè)數(shù)量級(jí)。SSD的應(yīng)用使磁盤陣列有了進(jìn)一步的發(fā)展。

1.傳統(tǒng)磁盤陣列：在傳統(tǒng)磁盤陣列中主要采用SAS盤作為高速存儲(chǔ)介質(zhì)，磁盤陣列的IO性能主要依賴于SAS盤的數(shù)量、背板處理能力及緩存。大量SAS盤的并行讀寫可以提高磁盤陣列的速度。

2.混合陣列：SSD價(jià)格相對(duì)HDD較高，而采用SSD+HDD的混合陣列是一種折中的方案，可以在不需要大幅度提高成本的情況下，獲得比傳統(tǒng)磁盤陣列更優(yōu)越的性能，同時(shí)滿足不斷增長(zhǎng)的容量需求。根據(jù)SSD所起到的作用，混合陣列又可以分為自動(dòng)分層和緩存加速兩種類型。

3.全閃存陣列：全閃存陣列中全部使用SSD作為存儲(chǔ)介質(zhì)，適用于容量要求不高，且性能要求非?？量痰膽?yīng)用。全閃存陣列根據(jù)陣列控制軟件可分為兩種，一種為AFA（All Flash Array，全閃存陣列），是在原有磁盤陣列的基礎(chǔ)上優(yōu)化而成，例如禁止磁盤碎片整理等功能；另一種為SSA（Solid-State Array，固態(tài)陣列），則是完全根據(jù)SSD的特點(diǎn)重新撰寫而成。

Server SAN

Server SAN是由多個(gè)獨(dú)立服務(wù)器存儲(chǔ)組成的一個(gè)存儲(chǔ)資源池，有著良好的性價(jià)比和擴(kuò)展性。傳統(tǒng)存儲(chǔ)網(wǎng)絡(luò)主要基于FC，傳輸帶寬和延遲遠(yuǎn)遠(yuǎn)優(yōu)于千兆以太網(wǎng)，但隨著10Gbit/s、40Gbit/s以太網(wǎng)和Infiniband RDMA網(wǎng)絡(luò)技術(shù)的引入，存儲(chǔ)反而成了系統(tǒng)性能瓶頸。采用Server SAN可以實(shí)現(xiàn)計(jì)算和存儲(chǔ)網(wǎng)絡(luò)的統(tǒng)一，具有高IO性能、極低延時(shí)和高帶寬特性的SSD，使得Server SAN的性能媲美高端存儲(chǔ)。Server SAN存儲(chǔ)目前主要是互聯(lián)網(wǎng)公司研發(fā)使用，即Hyperscale Server SAN，現(xiàn)已逐漸進(jìn)入通信行業(yè)的IT領(lǐng)域。

1.V SAN

VMware VSAN（Virtual SAN）是VMware公司基于VSphere開發(fā)的可擴(kuò)展分布式存儲(chǔ)架構(gòu)。VSAN在VSphere集群主機(jī)直連的SSD和HDD之上構(gòu)建VSAN。這些存儲(chǔ)設(shè)備由VSAN進(jìn)行統(tǒng)一控制和管理，使用閃存SSD加速，既能夠用普通機(jī)械硬盤提供大存儲(chǔ)空間，又能通過SSD獲得高性能，從而形成成本較低、性能出色的統(tǒng)一共享存儲(chǔ)層。

2.C eph

作為OpenStack社區(qū)呼聲最高的開源存儲(chǔ)方案，Ceph也成為最廣泛的全球開源軟件定義存儲(chǔ)項(xiàng)目。Ceph通過實(shí)現(xiàn)類 POSIX接口的對(duì)象存儲(chǔ)接口來構(gòu)建底層通用的存儲(chǔ)系統(tǒng)，上層通過堆疊不同存儲(chǔ)標(biāo)準(zhǔn)(如POSIX，塊接口和 S3/Swift)來實(shí)現(xiàn)對(duì)象存儲(chǔ)、塊存儲(chǔ)和文件系統(tǒng)存儲(chǔ)等不同存儲(chǔ)場(chǎng)景的應(yīng)用。這個(gè)方式也是Ceph統(tǒng)一存儲(chǔ)目標(biāo)的技術(shù)基礎(chǔ)。Ceph先進(jìn)的架構(gòu)加上SSD固態(tài)盤，特別是高速PCIe SSD帶來的高性能，無疑將成為Ceph部署的典型場(chǎng)景。

NFV的主要目標(biāo)是實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備的軟硬件分離，總體趨勢(shì)是底層硬件實(shí)現(xiàn)相對(duì)通用化?；贑eph開源分布式存儲(chǔ)的Server SAN技術(shù)得到各NFVi廠商的廣泛支持，且更加通用。而采用商用分布式存儲(chǔ)系統(tǒng)雖然能夠獲得更高的性能，但又會(huì)影響到底層硬件的通用性，受到廠商的掣肘。

3.其 他商用分布式存儲(chǔ)系統(tǒng)

主流商用分布式存儲(chǔ)系統(tǒng)包括EMC ScaleIO、華為FusionStorage、惠普StoreVirtual VSA、戴爾Fluid Cache等，這些主流商用分布式存儲(chǔ)系統(tǒng)宣稱可以獲得較Ceph更高的性能，且能提供較好的售后支持。

磁盤陣列與Server SAN的比較

在磁盤陣列與Server SAN引入SSD盤后，性能均獲得了較大提升。下面從4個(gè)方面比較磁盤和Server SAN兩者的特征。

可靠 性

可靠性是存儲(chǔ)首要解決的問題。傳統(tǒng)的磁盤陣列采用雙控制器、多路徑和磁盤冗余等方式，保證磁盤陣列不存在單點(diǎn)故障。磁盤陣列的磁盤冗余一般可采用Raid5、Raid10等方式，保證在有磁盤損壞的情況下，可以通過校驗(yàn)數(shù)據(jù)和其他磁盤數(shù)據(jù)來恢復(fù)該磁盤的數(shù)據(jù)。而Server SAN通過軟件來保障可靠性，需要采用3副本保證在磁盤損壞的情況下不影響業(yè)務(wù)數(shù)據(jù)。磁盤陣列可以通過遠(yuǎn)程鏡像等成熟的異地備份及雙活等技術(shù)，跨數(shù)據(jù)中心進(jìn)行災(zāi)備，優(yōu)于Server SAN。此外，磁盤陣列在固件中針對(duì)SSD進(jìn)行優(yōu)化，SSD的壽命更長(zhǎng)。而Server SAN缺乏相關(guān)的機(jī)制，長(zhǎng)時(shí)間使用后可能影響固態(tài)盤使用壽命。

容量 及擴(kuò)展性

由于SSD容量小，單盤價(jià)格貴，全閃存陣列容量較小。而采用Server SAN產(chǎn)品可以達(dá)到PB級(jí)的存儲(chǔ)空間，且隨著服務(wù)器的數(shù)量增長(zhǎng)，其性能、容量可以線性增長(zhǎng)，尤其適用數(shù)據(jù)量較大且不斷增長(zhǎng)的應(yīng)用場(chǎng)景。要達(dá)到PB級(jí)容量，需要使用昂貴的高端磁盤陣列，且只能購(gòu)買該型號(hào)的磁盤柜，擴(kuò)容成本高，周期較長(zhǎng)。從容量和擴(kuò)展性而言，從優(yōu)到劣排序?yàn)镾erver SAN、高端磁盤陣列、中端磁盤陣列、全閃存陣列。因此，對(duì)于業(yè)務(wù)數(shù)據(jù)增長(zhǎng)較快，容量要求較大的場(chǎng)景而言，Server SAN具有優(yōu)勢(shì)。

性能

由于采用了專用的存儲(chǔ)硬件，并針對(duì)SSD進(jìn)行優(yōu)化設(shè)計(jì)，全閃存陣列性能遠(yuǎn)高于其他類型的存儲(chǔ)。在大量使用SSD緩存的情況下，中端磁盤陣列性能得到大幅度提高。商用分布式存儲(chǔ)系統(tǒng)如EMC ScaleIO、華為FusionStorage性能表現(xiàn)接近使用SSD緩存的中端磁盤陣列。據(jù)公開的測(cè)試數(shù)據(jù)，商用Server SAN如FusionStorage的性能遠(yuǎn)高于Ceph。此外，Ceph在不同的優(yōu)化方式下性能表現(xiàn)差距較大。

成本

Server SAN在硬盤購(gòu)置成本上高于磁盤陣列50%以上，在硬盤價(jià)格高漲的情況下，Server SAN的成本相對(duì)較高。磁盤陣列需要購(gòu)置與原設(shè)備相匹配的控制柜、磁盤柜等專用設(shè)備，擴(kuò)容成本高。而Server SAN可以使用通用的服務(wù)器，擴(kuò)容成本低。因此，在存儲(chǔ)規(guī)模達(dá)到PB級(jí)以上，而且還在不斷增長(zhǎng)的情況下，采用Server SAN成本更低。

運(yùn)維 難度

磁盤陣列成熟穩(wěn)定，其維護(hù)簡(jiǎn)單，日常維護(hù)工作量小。Ceph是開源項(xiàng)目，其配置、性能調(diào)優(yōu)復(fù)雜，運(yùn)維人員需要處理系統(tǒng)的Bug，對(duì)技術(shù)能力要求高，且維護(hù)工作量大。商用的分布式存儲(chǔ)系統(tǒng)經(jīng)過廠商打磨后，商業(yè)化程度較高，而且有廠商進(jìn)行維保，其運(yùn)維難度小于Ceph，但也大于磁盤陣列。

NFVi對(duì)存儲(chǔ)的需求

VNF率先實(shí)現(xiàn)的應(yīng)用場(chǎng)景主要包括vBRAS、vCPE、vEPC、vIMS、vSR，未來可能的應(yīng)用場(chǎng)景還包括vCDN等。根據(jù)數(shù)據(jù)類型的要求，主要分為以下三類。

1.無需存儲(chǔ)業(yè)務(wù)數(shù)據(jù)，如vCPE、vEPC、vBRAS、vIMS、vSR，涵蓋NFV的主要應(yīng)用場(chǎng)景。這類場(chǎng)景的虛擬機(jī)主要起到數(shù)據(jù)處理和轉(zhuǎn)發(fā)等功能，數(shù)據(jù)不落盤，存儲(chǔ)空間的增長(zhǎng)要求不高。使用SSD作為緩存的磁盤陣列即可滿足業(yè)務(wù)需求。這類可以采用傳統(tǒng)SAN存儲(chǔ)。

2.存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，如vEPC中的vHSS。主要存儲(chǔ)數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)，有一定的數(shù)據(jù)增長(zhǎng)要求。這種場(chǎng)景采用磁盤陣列及Server SAN均可。

3.存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)，如vCDN。這類數(shù)據(jù)增長(zhǎng)速度較快，對(duì)存儲(chǔ)空間的擴(kuò)展性要求高。這種場(chǎng)景采用Server SAN具有成本、擴(kuò)展性方面的優(yōu)勢(shì)。

總體而言，對(duì)于NFVi而言，采用磁盤陣列可以獲得更好的時(shí)延性能。