UOS操作系統(tǒng)Ceph集群性能測(cè)試工具對(duì)比研究

康克松，張慶海，信寄遙，趙正旭

(1.石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院，河北 石家莊 050043；2.青島理工大學(xué) 機(jī)械與汽車工程學(xué)院，山東 青島 266071)

0 引 言

國(guó)內(nèi)的電腦操作系統(tǒng)起步晚、生態(tài)不完善，同主流操作系統(tǒng)存在一定差距。但是，隨著國(guó)家對(duì)加快發(fā)展自主可控戰(zhàn)略高新技術(shù)和重要領(lǐng)域核心關(guān)鍵技術(shù)決策的提出，中國(guó)涌現(xiàn)出了像深度系統(tǒng)、中標(biāo)麒麟、紅旗、UOS操作系統(tǒng)等一大批優(yōu)秀的國(guó)產(chǎn)操作系統(tǒng)[1]。其中，UOS操作系統(tǒng)是一款通過(guò)統(tǒng)一多方平臺(tái)、整合各種資源，由多家操作系統(tǒng)核心企業(yè)共同打造的操作系統(tǒng)，相比其他操作系統(tǒng)具備界面美觀、操作靈活、性能穩(wěn)定、生態(tài)良好等優(yōu)點(diǎn)[1-2]。

該文對(duì)UOS國(guó)產(chǎn)操作系統(tǒng)現(xiàn)狀進(jìn)行了調(diào)研分析，在該系統(tǒng)上使用Docker容器部署Ceph分布式存儲(chǔ)系統(tǒng)以及通過(guò)使用不同工具對(duì)其IO進(jìn)行測(cè)試，得出各測(cè)試工具的優(yōu)缺點(diǎn)，進(jìn)而對(duì)國(guó)產(chǎn)操作系統(tǒng)進(jìn)行推廣，以期為國(guó)產(chǎn)操作系統(tǒng)在民用辦公、科研應(yīng)用領(lǐng)域提供有價(jià)值的參考。

1 UOS操作系統(tǒng)

統(tǒng)信操作系統(tǒng)UOS(Unity Operating System，簡(jiǎn)稱統(tǒng)信UOS/UOS操作系統(tǒng))是一款流暢方便、安全可靠、軟件生態(tài)相對(duì)完善的中文國(guó)產(chǎn)操作系統(tǒng)。統(tǒng)信UOS以Linux內(nèi)核為基礎(chǔ)開(kāi)發(fā)，具備統(tǒng)一的版本、統(tǒng)一的支撐平臺(tái)、標(biāo)準(zhǔn)規(guī)范，自帶統(tǒng)一的開(kāi)發(fā)接口、應(yīng)用商店和倉(cāng)庫(kù)、文檔。在架構(gòu)方面可支持X86、MIPS以及ARM三種架構(gòu)，可支持配備龍芯、飛騰、海光、兆芯等國(guó)產(chǎn)芯片的電腦主機(jī)。

目前國(guó)產(chǎn)操作系統(tǒng)大都以開(kāi)源的Linux系統(tǒng)為內(nèi)核進(jìn)行開(kāi)發(fā)、漢化，雖然并沒(méi)有脫離原有的內(nèi)核，但由于Linux擁有良好的生態(tài)，使得國(guó)產(chǎn)操作系統(tǒng)取得了一定的發(fā)展[3]。目前國(guó)內(nèi)民用程度較高的幾款操作系統(tǒng)分別為銀河麒麟、中標(biāo)麒麟、深度操作系統(tǒng)、UOS操作系統(tǒng)。其對(duì)比見(jiàn)表1。

表1 國(guó)產(chǎn)操作系統(tǒng)對(duì)比

通過(guò)表1對(duì)比可以得出，國(guó)產(chǎn)操作系統(tǒng)中UOS操作系統(tǒng)對(duì)于民用領(lǐng)域更加友好，擁有統(tǒng)一自帶的軟件商店、更符合國(guó)人使用習(xí)慣的操作界面，以及良好的軟件生態(tài)，這些優(yōu)點(diǎn)完全可以滿足日常辦公和科研需要等場(chǎng)景的需求。

2 分布式存儲(chǔ)-Ceph

2.1 集中式和分布式系統(tǒng)

根據(jù)管理信息系統(tǒng)的硬件、軟件、數(shù)據(jù)等信息資源在空間的分布情況，系統(tǒng)的結(jié)構(gòu)可分為集中式和分布式兩大類型。在討論分布式系統(tǒng)之前，首先需要了解與之對(duì)應(yīng)的集中式系統(tǒng)。集中式系統(tǒng)是指由高性能、可擴(kuò)充的計(jì)算機(jī)擔(dān)任中央處理節(jié)點(diǎn)，該節(jié)點(diǎn)連接許多終端，終端沒(méi)有對(duì)數(shù)據(jù)分析和處理的能力，僅負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行錄入和輸出，其完全依附于中央處理節(jié)點(diǎn)，所有的運(yùn)算、指令和存儲(chǔ)都集中于中央處理節(jié)點(diǎn)[4-6]。

由于所有運(yùn)算均由中央處理節(jié)點(diǎn)完成，終端必須通過(guò)網(wǎng)絡(luò)進(jìn)行讀取，網(wǎng)絡(luò)的速度瓶頸會(huì)限制信息處理速度。另外采用單機(jī)部署導(dǎo)致擴(kuò)展性差，當(dāng)終端數(shù)量過(guò)多、數(shù)據(jù)量越來(lái)越大時(shí)，中央處理節(jié)點(diǎn)的性能將是系統(tǒng)負(fù)載能力的最大瓶頸，而且當(dāng)中央處理節(jié)點(diǎn)發(fā)生單點(diǎn)故障時(shí)會(huì)導(dǎo)致整個(gè)系統(tǒng)癱瘓[7]。

如今互聯(lián)網(wǎng)的信息呈指數(shù)增長(zhǎng)，集中式系統(tǒng)的缺點(diǎn)被無(wú)限放大，此時(shí)分布式系統(tǒng)應(yīng)運(yùn)而生。分布式系統(tǒng)將集中式系統(tǒng)中央處理節(jié)點(diǎn)的任務(wù)分散給系統(tǒng)中相應(yīng)節(jié)點(diǎn)，實(shí)現(xiàn)不同功能的節(jié)點(diǎn)之間相互協(xié)調(diào)，共享系統(tǒng)外設(shè)與軟件。去中心化的特性使分布式系統(tǒng)具備高可靠性、高容錯(cuò)性、可擴(kuò)展性、高性能和開(kāi)放性的特點(diǎn)。

分布式存儲(chǔ)正是基于分布式系統(tǒng)搭建的去中心化存儲(chǔ)系統(tǒng)，該系統(tǒng)可以利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，并將分散的存儲(chǔ)資源抽象為一個(gè)虛擬存儲(chǔ)池，從而提高整體利用率。它不僅提高了系統(tǒng)的可靠性、可用性和存取效率，而且易于擴(kuò)展，將增加硬件設(shè)備時(shí)的不穩(wěn)定因素降到最低，分布式存儲(chǔ)具有高性能、支持分級(jí)存儲(chǔ)、多副本一致性、容災(zāi)與備份、彈性擴(kuò)展和存儲(chǔ)系統(tǒng)標(biāo)準(zhǔn)化的特點(diǎn)。

2.2 Ceph分布式存儲(chǔ)系統(tǒng)

Ceph摒棄了傳統(tǒng)的集中式存儲(chǔ)元數(shù)據(jù)方案，是一種具有高擴(kuò)展、高可用、高性能，能夠同時(shí)提供對(duì)象存儲(chǔ)、塊存儲(chǔ)和文件系統(tǒng)存儲(chǔ)三種存儲(chǔ)服務(wù)的開(kāi)源分布式存儲(chǔ)系統(tǒng)。同其他存儲(chǔ)相比，Ceph的優(yōu)勢(shì)不只是可以實(shí)現(xiàn)分布式的存儲(chǔ)，同時(shí)還能夠充分利用存儲(chǔ)節(jié)點(diǎn)上的計(jì)算力，在存儲(chǔ)數(shù)據(jù)時(shí)利用負(fù)載均衡策略，計(jì)算得出每個(gè)數(shù)據(jù)片應(yīng)該存儲(chǔ)的位置，盡量將數(shù)據(jù)分布均衡。同時(shí)Ceph采用了CRUSH算法、Poxos一致性算法、HASH算法等優(yōu)化方法，使得它不會(huì)出現(xiàn)集中式存儲(chǔ)中的單點(diǎn)故障，且隨著系統(tǒng)橫向規(guī)模的擴(kuò)大，Ceph性能也并不會(huì)受到影響[8]。相比其他分布式存儲(chǔ)，Ceph具備以下優(yōu)點(diǎn)：

(1)統(tǒng)一存儲(chǔ)：Ceph的底層是一個(gè)分布式文件系統(tǒng)，但其上層開(kāi)發(fā)了支持對(duì)象和塊的接口。所以Ceph可以成為目前最主流的統(tǒng)一開(kāi)源存儲(chǔ)軟件。

(2)高擴(kuò)展性：Ceph使用去中心化分布式存儲(chǔ)系統(tǒng)，接口統(tǒng)一，擴(kuò)展靈活，且性能隨節(jié)點(diǎn)增加而線性增長(zhǎng)。

(3)高可用性：Ceph副本數(shù)可靈活控制，支持故障域分隔和數(shù)據(jù)的強(qiáng)一致性，不會(huì)出現(xiàn)單點(diǎn)故障，可根據(jù)節(jié)點(diǎn)狀態(tài)實(shí)現(xiàn)自動(dòng)管理。

(4)高性能：得益于CRUSH算法，使得Ceph數(shù)據(jù)分布均衡，并行度高，并且可以實(shí)現(xiàn)各類負(fù)載的副本放置規(guī)則，能夠支持上千個(gè)存儲(chǔ)節(jié)點(diǎn)，支持TB到PB級(jí)的規(guī)模。

Ceph的這些特性，也得益于其優(yōu)異結(jié)構(gòu)，圖1為經(jīng)典的Ceph模塊架構(gòu)。

圖1 Ceph基礎(chǔ)架構(gòu)

Ceph的核心組件由Monitor、OSD、MDS、Object、PG組成，其中Monitor為守護(hù)節(jié)點(diǎn)，每隔一定時(shí)間同各存儲(chǔ)節(jié)點(diǎn)發(fā)送心跳信號(hào)，用于檢測(cè)整個(gè)系統(tǒng)運(yùn)行情況，并做出回應(yīng)；OSD(Object Storage Device)為存儲(chǔ)節(jié)點(diǎn)，負(fù)責(zé)數(shù)據(jù)的復(fù)制、恢復(fù)、回填、再均衡，當(dāng)存儲(chǔ)主副本的OSD節(jié)點(diǎn)發(fā)生宕機(jī)，會(huì)向Monitor節(jié)點(diǎn)提供監(jiān)控信息；MDS(Ceph Metadata Server)為元服務(wù)器節(jié)點(diǎn)，配合Ceph的文件系統(tǒng)服務(wù)使用，用于保存文件系統(tǒng)的元數(shù)據(jù)；Object是數(shù)據(jù)存儲(chǔ)的基本單元，一般默認(rèn)大小為4 M；PG(Placement Groups)是組成存儲(chǔ)池的基本單元，記錄PG與OSD間的映射關(guān)系。

3 CephFS集群的快速搭建及性能測(cè)試

3.1 Docker部署Ceph的優(yōu)勢(shì)

容器完全使用沙箱機(jī)制，其本質(zhì)為一個(gè)特殊的進(jìn)程，容器內(nèi)包含運(yùn)行該程序所需的環(huán)境，不同容器之間沒(méi)有任何接口[9]。容器技術(shù)在操作系統(tǒng)層面上對(duì)運(yùn)行環(huán)境進(jìn)行再封裝，每個(gè)容器包含運(yùn)行該應(yīng)用的所有環(huán)境，創(chuàng)建的每個(gè)實(shí)例僅僅包含需要的應(yīng)用程序和必要的依賴庫(kù)。其中Docker 是基于容器的平臺(tái)，允許高度可移植的工作負(fù)載，是一種可以將應(yīng)用程序與基礎(chǔ)架構(gòu)分開(kāi)，從而快速交互的基于Go語(yǔ)言的開(kāi)源容器引擎[10-11]。Docker可以通過(guò)將應(yīng)用程序打包為一個(gè)鏡像從而簡(jiǎn)化部署多種應(yīng)用實(shí)例，可以在開(kāi)發(fā)人員的本機(jī)、中心機(jī)房的服務(wù)器以及云服務(wù)或混合環(huán)境中運(yùn)行[12-13]。

容器和Ceph的結(jié)合已經(jīng)在一些生產(chǎn)環(huán)境中做了嘗試，容器的優(yōu)點(diǎn)在于對(duì)應(yīng)用程序及其運(yùn)行環(huán)境的封裝，傳統(tǒng)的方式是集成為ISO，但該方式需要一定的維護(hù)量，而使用容器部署則會(huì)簡(jiǎn)易很多。與Linux傳統(tǒng)的 yum 或 apt-get 管理工具不同，由于輕量級(jí)和快速部署的特性，Docker可以使用Docker stop或者Docker run來(lái)發(fā)布新的deamons版本，這樣使得軟件的升級(jí)和回卷變得容易，甚至可以在一臺(tái)物理機(jī)器上運(yùn)行多個(gè)相互隔離的集群。這些都為實(shí)驗(yàn)、開(kāi)發(fā)過(guò)程提供了極大的便利。介于UOS操作系統(tǒng)多數(shù)版本無(wú)法支持Ceph-deploy快速安裝Ceph集群，而手動(dòng)安裝(傳統(tǒng)部署方式)又費(fèi)時(shí)費(fèi)力的問(wèn)題，該文提出了在UOS操作系統(tǒng)上使用Docker鏡像快速部署小規(guī)模Ceph集群的方法。使用Docker部署Ceph集群，在升級(jí)時(shí)根本不需要解決依賴包的問(wèn)題，進(jìn)而方便科研工作者的實(shí)驗(yàn)測(cè)試以及有助于UOS國(guó)產(chǎn)操作系統(tǒng)的推廣。

3.2 Ceph分布式存儲(chǔ)系統(tǒng)集群部署

一個(gè)Ceph存儲(chǔ)集群至少需要一個(gè)Ceph Monitor和兩個(gè)OSD守護(hù)進(jìn)程。搭建運(yùn)行Ceph文件系統(tǒng)時(shí)還需要部署一臺(tái)MDS節(jié)點(diǎn)。為了保證對(duì)整個(gè)集群的持續(xù)檢測(cè)，一般Monitor數(shù)量為：MonNumber=2*n+1。這是為了保證多個(gè)Monitor節(jié)點(diǎn)并行運(yùn)行時(shí)，集群出現(xiàn)多個(gè)子集群同時(shí)服務(wù)的情況(防止子集群在選舉時(shí)，集群出現(xiàn)腦裂的情況)。在實(shí)驗(yàn)環(huán)境中，為了保證整個(gè)系統(tǒng)的負(fù)載均衡和高可用性，多個(gè)OSD的守護(hù)進(jìn)程不可以部署在一臺(tái)服務(wù)器的同一塊磁盤上，也不能將Monitor或者M(jìn)DS與OSD守護(hù)進(jìn)程部署在一臺(tái)服務(wù)器的同一塊磁盤上。

實(shí)驗(yàn)環(huán)境搭建需四臺(tái)服務(wù)器，在安裝UOS Eagle 20操作系統(tǒng)的宿主機(jī)上，使用內(nèi)裝UOS社區(qū)版本-Deepin GUN/Linux15系統(tǒng)的Docker部署Ceph分布式存儲(chǔ)系統(tǒng)。其中三臺(tái)每個(gè)節(jié)點(diǎn)各安裝16塊硬盤，分別為2塊SSD和14塊HHD，其中node1、node2和node3節(jié)點(diǎn)部署部署Monitor和OSD，每個(gè)節(jié)點(diǎn)中硬盤分配為規(guī)則為SSD作為日志盤，HHD作為存儲(chǔ)盤，node4分配一個(gè)SSD作為MDS節(jié)點(diǎn)。則Ceph集群中最終包含3個(gè)Monitor節(jié)點(diǎn)、42塊OSD磁盤以及1個(gè)MDS節(jié)點(diǎn)。集群具體配置如表2。

表2 Ceph集群配置信息

第一個(gè)節(jié)點(diǎn)在安裝Monitor過(guò)程中，需要docker run 時(shí)添加--net=host，用于暴露Docker主機(jī)網(wǎng)絡(luò)，部署其余兩個(gè)Monitor節(jié)點(diǎn)時(shí)，可以直接將/etc/ceph/ 和/var/lib/ceph/bootstrap-*目錄下的文件復(fù)制到其他主機(jī)即可。部署OSD時(shí)，先對(duì)磁盤進(jìn)行格式化并掛載，隨后使用OSD_directory作為ceph/daemon的參數(shù)來(lái)啟動(dòng)OS。CephClient用戶端在掛載Ceph集群之前，必須創(chuàng)建MDS管理節(jié)點(diǎn)，之后將Ceph的文件系統(tǒng)作為一個(gè)目錄掛在到客戶端CephClient的/cephfs目錄下，此時(shí)完成Ceph集群部署。

3.3 性能測(cè)試

Ceph集群部署完成之后，調(diào)整配置文件對(duì)其進(jìn)行調(diào)優(yōu)，將參數(shù)調(diào)整為最合適目前場(chǎng)景的狀態(tài)，再通過(guò)ceph自帶和第三方IO測(cè)試工具，對(duì)其進(jìn)行性能測(cè)試[14-15]。

本次實(shí)驗(yàn)，使用ceph自帶的rados bench工具和rados los-gen對(duì)Rados性能進(jìn)行測(cè)試，使用rbd bench-write工具對(duì)塊設(shè)備寫性能進(jìn)行測(cè)試，使用fio+rbd ioengine和fio+libaio工具對(duì)RBD性能進(jìn)行測(cè)試。測(cè)試工具的用途及語(yǔ)法如表3所示。

實(shí)驗(yàn)中，所有的操作均在該環(huán)境的客戶端節(jié)點(diǎn)上進(jìn)行，所有測(cè)試均為單線程測(cè)試。使用rbd bench-write工具進(jìn)行測(cè)試時(shí)，默認(rèn)IO單位為4 M，總寫入字節(jié)數(shù)為1 680 M；使用rados bench工具進(jìn)行測(cè)試時(shí)，一次寫入的數(shù)據(jù)量大小為4 MB，測(cè)試所持續(xù)時(shí)間為20 s；使用rados load-gen工具進(jìn)行測(cè)試時(shí)，測(cè)試對(duì)象的最小大小和最大大小均為1 G，壓測(cè)IO的最小大小和最大大小均為4 194 304，一次提交IO的吞吐量和歷史累計(jì)吞吐量上線均為1 G。使用fio工具進(jìn)行測(cè)試時(shí)，塊大小為4 M，總測(cè)試數(shù)據(jù)量大小為1 G。具體操作和結(jié)果如表4所示。

表3 測(cè)試工具

表4 實(shí)驗(yàn)結(jié)果

由實(shí)驗(yàn)結(jié)果可以得知，rados load-gen、rodos bench、rdb bench-write和 fio rbd/libaio 的結(jié)果都相差不大，使用時(shí)可根據(jù)實(shí)際情況選擇，與rados bench相比，rados load-gen的特點(diǎn)是可以產(chǎn)生混合類型的測(cè)試負(fù)載，而rados bench只能產(chǎn)生一種類型的負(fù)載。fio+rbd與fio+libaio總體性能相差不大，二者順序讀性能同為120 M/s，fio+rbd在順序?qū)懪c隨機(jī)寫速率上均比f(wàn)io+libiaio快1 M/s，而fio+libaio的隨機(jī)讀效率更高，相比之下，fio+rbd性能更好。

4 結(jié)束語(yǔ)

Ceph分布式存儲(chǔ)系統(tǒng)組成較為復(fù)雜，在部署Ceph集群時(shí)，部分國(guó)產(chǎn)操作系統(tǒng)無(wú)法支持Ceph-Deploy相關(guān)的快速安裝工具，而手動(dòng)部署效率太低。該文根據(jù)容器啟動(dòng)速度快、持續(xù)集成和部署以及資源利用高效的特點(diǎn)，在UOS國(guó)產(chǎn)操作系統(tǒng)上將復(fù)雜的Ceph系統(tǒng)使用Docker進(jìn)行快速部署[16]。經(jīng)驗(yàn)證，在UOS操作系統(tǒng)上使用Docker部署Ceph分布式存儲(chǔ)系統(tǒng)切實(shí)可行。通過(guò)Docker的鏡像機(jī)制，在首次創(chuàng)建時(shí)為每個(gè)核心組件創(chuàng)建鏡像，簡(jiǎn)化了Ceph集群的搭建步驟，當(dāng)集群數(shù)量變大時(shí)，可以利用容器生態(tài)圈內(nèi)的容器便編排框架，將容器按照規(guī)則運(yùn)行，進(jìn)而極大地減少工作量[17]。

由于環(huán)境、測(cè)試方法和數(shù)據(jù)有限，不同環(huán)境下，每種測(cè)試工具可能與本次實(shí)驗(yàn)所的結(jié)論不符，該文主要通過(guò)在同一場(chǎng)景下使用不同工具對(duì)Ceph進(jìn)行測(cè)試，得出每種測(cè)試工具在該場(chǎng)景下的優(yōu)缺點(diǎn)，為開(kāi)發(fā)人員選擇測(cè)試工具提供了有價(jià)值的參考。