基于ZTE云存儲(chǔ)技術(shù)的架構(gòu)分析

王永平

摘? 要： 隨著云計(jì)算技術(shù)的飛速發(fā)展，傳統(tǒng)的集中存儲(chǔ)技術(shù)已經(jīng)越來越不適應(yīng)當(dāng)今社會(huì)的需要，云存儲(chǔ)技術(shù)通過虛擬化、分布式系統(tǒng)、對(duì)象存儲(chǔ)等逐漸替代了傳統(tǒng)存儲(chǔ)技術(shù)的市場(chǎng)。文章從云存儲(chǔ)技術(shù)實(shí)現(xiàn)層次、ZTE集中式存儲(chǔ)架構(gòu)、ZTE分布式存儲(chǔ)架構(gòu)三個(gè)方面入手，結(jié)合虛擬化、分布式系統(tǒng)等核心架構(gòu)技術(shù)，設(shè)計(jì)并整合了兩種可以實(shí)施的云存儲(chǔ)技術(shù)架構(gòu)。

關(guān)鍵詞： ZTE; 云存儲(chǔ); 集中式; 分布式; 架構(gòu)

中圖分類號(hào)：TP393.08? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ?文章編號(hào)：1006-8228（2019）02-15-03

Analysis of the architecture of ZTE cloud storage technology

Wang Yongping

（Zhejiang Institute of Communications， Hangzhou， Zhejiang 311112， China）

Abstract： With the rapid development of cloud computing technology， traditional centralized storage technology has become more and more unsuitable for the needs of today's society. Cloud storage technology has gradually replaced the market of traditional storage technology through virtualization， distributed system， and object storage. This paper starts from three aspects： cloud storage technology implementation level， ZTE centralized storage architecture and ZTE distributed storage architecture， combined with virtualization， distributed system and other core architecture technologies， designs and integrates two implementable cloud storage technology architectures.

Key words： ZTE; cloud storage; centralized; distributed; architecture

0 引言

傳統(tǒng)的存儲(chǔ)技術(shù)是將所有的數(shù)據(jù)集成到單一的存儲(chǔ)體系之中，以滿足業(yè)務(wù)持續(xù)性需求。在當(dāng)今信息量暴增的時(shí)代，數(shù)據(jù)的索引效率變得越來越為人們關(guān)注。在一些大型項(xiàng)目中，前端圖像視頻信息采集點(diǎn)過多，單臺(tái)服務(wù)器承載量有限，造成需要配置成百上千臺(tái)服務(wù)器的狀況，這就必然導(dǎo)致建設(shè)成本、管理成本、維護(hù)成本、能耗成本急劇增加。在這個(gè)大數(shù)據(jù)時(shí)代，對(duì)于數(shù)據(jù)的安全存儲(chǔ)和應(yīng)用需要與之相適應(yīng)的新的技術(shù)手段，而以分布式和并行處理為基礎(chǔ)的云計(jì)算和云存儲(chǔ)技術(shù)，在此過程中得到了極大地發(fā)展。

相對(duì)傳統(tǒng)存儲(chǔ)而言，云存儲(chǔ)改變了數(shù)據(jù)垂直存儲(chǔ)在某一臺(tái)物理設(shè)備的存放模式，通過寬帶網(wǎng)絡(luò)集合大量的存儲(chǔ)設(shè)備，通過存儲(chǔ)虛擬化、分布式文件系統(tǒng)、底層對(duì)象化等技術(shù)將位于各單一存儲(chǔ)設(shè)備上的物理存儲(chǔ)資源進(jìn)行整合，構(gòu)成邏輯上統(tǒng)一的存儲(chǔ)資源池，對(duì)外提供服務(wù)，從而在存儲(chǔ)容量上得以從單設(shè)備TB級(jí)橫向擴(kuò)展至數(shù)十、數(shù)百PB，由于云存儲(chǔ)系統(tǒng)中各節(jié)點(diǎn)能夠并行提供讀寫訪問服務(wù)，系統(tǒng)整體性能隨著業(yè)務(wù)節(jié)點(diǎn)的增加而獲得同步提升。同時(shí)，通過冗余編碼技術(shù)、遠(yuǎn)程復(fù)制技術(shù)，進(jìn)一步為系統(tǒng)提供數(shù)據(jù)中心級(jí)的故障保護(hù)能力。容量和性能的按需擴(kuò)展、極高的系統(tǒng)可用性，是云存儲(chǔ)系統(tǒng)最核心的技術(shù)特征。

1 云存儲(chǔ)技術(shù)實(shí)現(xiàn)層次

從云存儲(chǔ)的技術(shù)實(shí)現(xiàn)層次上看，從底層向上，可以分為存儲(chǔ)層、管理調(diào)度層、訪問接口層、應(yīng)用服務(wù)層等四個(gè)層次，如圖1所示。

存儲(chǔ)層是云存儲(chǔ)的基礎(chǔ)，一臺(tái)云存儲(chǔ)節(jié)點(diǎn)設(shè)備能安裝24個(gè)以上的硬盤，通過IP接口將大量的存儲(chǔ)設(shè)備互連在一起，形成存儲(chǔ)設(shè)備資源池。在一個(gè)云存儲(chǔ)系統(tǒng)中，底層物理存儲(chǔ)設(shè)備數(shù)量龐大，而且設(shè)備形態(tài)允許異構(gòu)（這樣可以接入傳統(tǒng)的IP SAN或FC SAN），在物理存儲(chǔ)設(shè)備之上是一個(gè)統(tǒng)一的存儲(chǔ)設(shè)備管理層，實(shí)現(xiàn)對(duì)物理存儲(chǔ)設(shè)備的邏輯虛擬化管理、狀態(tài)監(jiān)控和維護(hù)等功能。

管理調(diào)度層是云存儲(chǔ)核心部分。管理調(diào)度層的主要功能是在存儲(chǔ)層提供的存儲(chǔ)資源上部署分布式文件系統(tǒng)，建立和組織存儲(chǔ)資源對(duì)象，并將用戶數(shù)據(jù)進(jìn)行分片處理，按照設(shè)定的保護(hù)策略將分片后的數(shù)據(jù)分散存儲(chǔ)到具體的存儲(chǔ)資源上。同時(shí)，在節(jié)點(diǎn)間進(jìn)行讀寫負(fù)載均衡調(diào)度，以及節(jié)點(diǎn)或存儲(chǔ)資源失效后的業(yè)務(wù)調(diào)度與數(shù)據(jù)重建恢復(fù)等任務(wù)，以便始終提供高性能、高可用的訪問服務(wù)[1]。

訪問接口層是業(yè)務(wù)應(yīng)用和云存儲(chǔ)平臺(tái)之間的一個(gè)橋梁，提供應(yīng)用服務(wù)所需要調(diào)用的函數(shù)接口，通常云存儲(chǔ)系統(tǒng)會(huì)提供一套專用的API或客戶端軟件，業(yè)務(wù)應(yīng)用軟件直接調(diào)用API或者使用云存儲(chǔ)系統(tǒng)客戶端軟件對(duì)云存儲(chǔ)系統(tǒng)進(jìn)行讀寫訪問。由于一個(gè)云存儲(chǔ)系統(tǒng)需要支持多種不同的業(yè)務(wù)系統(tǒng)，而很多業(yè)務(wù)系統(tǒng)只能采用特定的訪問接口，例如塊接口或者POSIX接口，因此一個(gè)優(yōu)秀的云存儲(chǔ)系統(tǒng)，應(yīng)該同時(shí)提供多種訪問接口，例如ISCSI、NFS、CIFS、FTP、REST等，以便在業(yè)務(wù)適配方面具有更好靈活性[2]。

業(yè)務(wù)應(yīng)用層通過云存儲(chǔ)系統(tǒng)提供的各種訪問接口，對(duì)用戶提供豐富的業(yè)務(wù)類型，例如空間租賃服務(wù)、高清視頻監(jiān)控、視頻圖片智能分析、大數(shù)據(jù)查找等。

2 ZTE集中式存儲(chǔ)架構(gòu)分析

集中式云存儲(chǔ)系統(tǒng)是一種典型的非對(duì)稱式系統(tǒng)，在系統(tǒng)中，通常具有一個(gè)中央管理服務(wù)器，負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)和處理查詢與修改請(qǐng)求。客戶端每次對(duì)數(shù)據(jù)流的I/O操作，都需要先向管理服務(wù)器進(jìn)行數(shù)據(jù)查詢，客戶端在獲得需要讀寫的數(shù)據(jù)塊物理位置等信息后，對(duì)于數(shù)據(jù)的I/O操作則直接在客戶端和數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)之間進(jìn)行。相對(duì)于傳統(tǒng)存儲(chǔ)系統(tǒng)，集中元數(shù)據(jù)云存儲(chǔ)系統(tǒng)將控制流和數(shù)據(jù)流進(jìn)行了分離，系統(tǒng)在擴(kuò)展性和處理性能方面獲得了較大的提升，同時(shí)，由于元數(shù)據(jù)集中在一臺(tái)服務(wù)器上進(jìn)行管理，整個(gè)系統(tǒng)架構(gòu)比較簡單，降低了系統(tǒng)設(shè)計(jì)的復(fù)雜性[3]。

ZXCLOUD KS3200是一款模塊化程度高的存儲(chǔ)系統(tǒng)，提供iSCSI主機(jī)和FC主機(jī)連接技術(shù)，系統(tǒng)通過采用全冗余的、可熱插拔的模塊化技術(shù)構(gòu)建，有高級(jí)別的數(shù)據(jù)存儲(chǔ)可靠性。ZXCLOUD KS3200存儲(chǔ)系統(tǒng)主要面向企業(yè)用戶海量數(shù)據(jù)存儲(chǔ)和硬盤數(shù)據(jù)備份等應(yīng)用，包括高標(biāo)清節(jié)目的制作、多媒體視頻數(shù)據(jù)存儲(chǔ)、IPTV、視頻監(jiān)控、中小數(shù)據(jù)庫，以及文件歸檔與數(shù)據(jù)備份等應(yīng)用。ZTE集中存儲(chǔ)解決方案的組網(wǎng)如圖2所示。

該方案中，ZXCLOUD KS3200作為核心存儲(chǔ)設(shè)備，通過FC SAN、IP SAN和DAS等多種存儲(chǔ)架構(gòu)與局域網(wǎng)多臺(tái)服務(wù)器建立連接，服務(wù)器通過普通千兆網(wǎng)卡或HBA（FC、iSCSI和SAS）卡接入。ZXCLOUD KS3200可以配備高性能的SAS磁盤和大容量的SATA磁盤，單臺(tái)設(shè)備即可滿足兩種不同的應(yīng)用需求。

雖然集中云存儲(chǔ)系統(tǒng)架構(gòu)簡單，但存在兩個(gè)主要問題。

⑴ 性能瓶頸問題。數(shù)據(jù)的基本特性要求任何時(shí)候?qū)τ脩魯?shù)據(jù)的訪問，需要同步地修改元數(shù)據(jù)，由于每次I/O訪問都需要首先訪問數(shù)據(jù)服務(wù)器，隨著系統(tǒng)規(guī)模不斷擴(kuò)大，需要管理的存儲(chǔ)節(jié)點(diǎn)、文件數(shù)量、I/O操作數(shù)量等都會(huì)急劇增加，而對(duì)元數(shù)據(jù)進(jìn)行管理的物理服務(wù)器性能有限，從而形成性能瓶頸。

⑵ 數(shù)據(jù)服務(wù)器單點(diǎn)故障問題。在集中元數(shù)據(jù)云存儲(chǔ)系統(tǒng)中，整個(gè)系統(tǒng)的性能和可靠性完全依賴于數(shù)據(jù)服務(wù)器，一旦數(shù)據(jù)服務(wù)器故障，系統(tǒng)將無法提供任何服務(wù)。為解決這一問題，通常對(duì)數(shù)據(jù)服務(wù)器采用備份機(jī)形成HA解決方案來提供更高的系統(tǒng)可用性，主用服務(wù)器和備用服務(wù)器之間的元數(shù)據(jù)必須隨時(shí)同步，否則一旦主用服務(wù)器故障，則可能導(dǎo)致數(shù)據(jù)不一致問題[4]。

3 ZTE分布式存儲(chǔ)架構(gòu)分析

ZTE分布式存儲(chǔ)架構(gòu)的主要思想是：生產(chǎn)中心和災(zāi)備中心各部署一套ZXCLOUD KS3200存儲(chǔ)系統(tǒng)，利用遠(yuǎn)程復(fù)制功能、卷遷移、NDMP復(fù)制等多種手段實(shí)現(xiàn)基于WAN網(wǎng)絡(luò)的數(shù)據(jù)復(fù)制。若數(shù)據(jù)中心的設(shè)備硬件上發(fā)生故障，災(zāi)備中心的ZXCLOUD KS3200可以直接升級(jí)成為在線設(shè)備，支持業(yè)務(wù)系統(tǒng)正常運(yùn)行。在線系統(tǒng)恢復(fù)正常后，可通過反向數(shù)據(jù)復(fù)制，把災(zāi)備中心的數(shù)據(jù)恢復(fù)到生產(chǎn)中心中[5]。ZTE分布式存儲(chǔ)解決方案的組網(wǎng)如圖3所示。

采用多臺(tái)數(shù)據(jù)服務(wù)器形成集群工作的方式提供元數(shù)據(jù)訪問服務(wù)，集群中的每一臺(tái)設(shè)備都可以提供元數(shù)據(jù)訪問，從而提高整體訪問性能，并且解決了數(shù)據(jù)服務(wù)器單點(diǎn)故障問題。

4 結(jié)束語

近年來，教育部與中興通訊開展合作，中興在全國諸多高校建立基于云計(jì)算的數(shù)據(jù)處理中心。本文主要探討了中興在部分高校部署云存儲(chǔ)的兩種架構(gòu)。對(duì)于企事業(yè)單位而言，需要根據(jù)自己的應(yīng)用、服務(wù)、數(shù)據(jù)等建立相應(yīng)的云存儲(chǔ)架構(gòu)，管理人員需要將現(xiàn)有的存儲(chǔ)資源、存儲(chǔ)技術(shù)和存儲(chǔ)虛擬化相關(guān)聯(lián)，找到適合自己的存儲(chǔ)策略才是最為重要的，從而更好的利用資源、節(jié)約成本、簡化存儲(chǔ)管理。

參考文獻(xiàn)（References）：

[1] 張繼平編著.云存儲(chǔ)解析[M].人民郵電出版社，2013.

[2] 劉洋編著.云存儲(chǔ)技術(shù)——分析與實(shí)踐[M].經(jīng)濟(jì)管理出版社，2017.

[3] （美）Greg Schulz著.云和虛擬數(shù)據(jù)存儲(chǔ)網(wǎng)絡(luò)[M].國防工業(yè)版社，2017.

[4]（美）Tom White著.Hadoop權(quán)威指南：大數(shù)據(jù)的存儲(chǔ)與分析（第4版）[M].清華大學(xué)出版社，2017.

[5] 胡世杰著.分布式對(duì)象存儲(chǔ)[M].人民郵電出版社，2017.