氣象私有云環(huán)境下存儲(chǔ)架構(gòu)設(shè)計(jì)與性能分析

王 彬，韓同欣，李 楠

(國(guó)家氣象信息中心,北京 100081)

氣象私有云環(huán)境下存儲(chǔ)架構(gòu)設(shè)計(jì)與性能分析

王 彬，韓同欣，李 楠

(國(guó)家氣象信息中心,北京 100081)

為評(píng)估當(dāng)前氣象私有云平臺(tái)中存儲(chǔ)基礎(chǔ)架構(gòu)設(shè)計(jì)的合理性以及運(yùn)行性能狀況，并為將來(lái)擴(kuò)充平臺(tái)存儲(chǔ)能力提供必需的架構(gòu)級(jí)建設(shè)依據(jù)，從私有云所使用存儲(chǔ)的存儲(chǔ)協(xié)議、硬件性能等方面入手，在系統(tǒng)分析云計(jì)算環(huán)境下存儲(chǔ)系統(tǒng)設(shè)計(jì)要點(diǎn)的基礎(chǔ)上，給出了云環(huán)境下存儲(chǔ)架構(gòu)的設(shè)計(jì)思路，提出了云環(huán)境下結(jié)合不同業(yè)務(wù)數(shù)據(jù)讀寫特點(diǎn)的支持SAN、NAS多協(xié)議存儲(chǔ)架構(gòu)建設(shè)的思路，以構(gòu)建統(tǒng)一存儲(chǔ)資源池。結(jié)合實(shí)際搭建的氣象私有云，分析其虛擬化環(huán)境下的存儲(chǔ)應(yīng)用性能。驗(yàn)證實(shí)驗(yàn)結(jié)果表明，當(dāng)前環(huán)境中存儲(chǔ)架構(gòu)規(guī)劃以及配置方式合理，存儲(chǔ)各項(xiàng)性能運(yùn)行指標(biāo)良好，針對(duì)不同類型的應(yīng)用均有適合的存儲(chǔ)資源以供匹配，已建存儲(chǔ)架構(gòu)能夠滿足氣象業(yè)務(wù)科研系統(tǒng)的存儲(chǔ)需求。

氣象私有云；存儲(chǔ)性能設(shè)計(jì)；多協(xié)議存儲(chǔ)架構(gòu)；光纖通道存儲(chǔ)；NAS存儲(chǔ)；分布式存儲(chǔ)；存儲(chǔ)資源池

0 引 言

云計(jì)算是近年來(lái)興起并廣受關(guān)注的一種資源提供、使用和計(jì)算模式：“云計(jì)算是由規(guī)模經(jīng)濟(jì)拖動(dòng)，為互聯(lián)網(wǎng)上的外部用戶提供一組抽象的、虛擬化的、動(dòng)態(tài)可擴(kuò)展的、可管理的計(jì)算資源能力、存儲(chǔ)能力、平臺(tái)和服務(wù)的一種大規(guī)模分布式計(jì)算的聚合體”[1-2]。云計(jì)算環(huán)境中，任務(wù)作業(yè)分布在資源池中，各種應(yīng)用系統(tǒng)能夠根據(jù)需要實(shí)時(shí)獲取計(jì)算能力、存儲(chǔ)空間和各種基礎(chǔ)軟件服務(wù)，云計(jì)算平臺(tái)可以按需對(duì)資源、平臺(tái)和軟件進(jìn)行動(dòng)態(tài)地部署、配置、重新配置以及取消等。云計(jì)算具有資源虛擬化、存儲(chǔ)高效可靠、高可擴(kuò)展性、集約管理、按需服務(wù)、“超瘦”客戶端、使用方便等優(yōu)點(diǎn)[3-5]。

相比于傳統(tǒng)的IT系統(tǒng)建設(shè)與資源提供方式，云計(jì)算能夠有效提升IT資源利用率，降低管理復(fù)雜度，加快IT響應(yīng)速度。經(jīng)過(guò)多年的發(fā)展，云計(jì)算已成為當(dāng)前數(shù)據(jù)中心轉(zhuǎn)型的最佳技術(shù)選擇[6]。云計(jì)算和主機(jī)虛擬化帶來(lái)了計(jì)算和數(shù)據(jù)的大集中，為存儲(chǔ)的性能、可靠性、可用性、可管理性等方面提出了挑戰(zhàn)。為了實(shí)現(xiàn)這一目標(biāo)，云計(jì)算平臺(tái)中的存儲(chǔ)系統(tǒng)設(shè)計(jì)顯得至關(guān)重要。

結(jié)合業(yè)務(wù)實(shí)際需求，氣象部門應(yīng)用云計(jì)算技術(shù)建立了私有云計(jì)算環(huán)境，為用戶提供計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)接入與集中托管服務(wù)，滿足用戶對(duì)IT基礎(chǔ)設(shè)施資源的需求。該系統(tǒng)利用云計(jì)算的按需、彈性、高可用服務(wù)等特點(diǎn)，提高了資源利用率，降低了建設(shè)及運(yùn)行成本，實(shí)現(xiàn)了資源快速部署與動(dòng)態(tài)分配，可隨需求增長(zhǎng)進(jìn)行系統(tǒng)動(dòng)態(tài)升級(jí)擴(kuò)充。

根據(jù)建立氣象私有云環(huán)境下存儲(chǔ)的使用特性，通過(guò)對(duì)不同業(yè)務(wù)區(qū)域的存儲(chǔ)進(jìn)行實(shí)驗(yàn)，得出了關(guān)鍵性能指標(biāo)，將分析數(shù)據(jù)與業(yè)界對(duì)于存儲(chǔ)的性能所給出的參數(shù)指標(biāo)進(jìn)行了比對(duì)，并對(duì)其進(jìn)行了深入分析，進(jìn)而確定了氣象私有云環(huán)境下存儲(chǔ)的設(shè)計(jì)方案，并對(duì)架構(gòu)及性能進(jìn)行了評(píng)估。評(píng)估分析結(jié)果表明，已建成投入使用的氣象私有云存儲(chǔ)架構(gòu)合理，能夠很好地支撐氣象業(yè)務(wù)科研系統(tǒng)的穩(wěn)定運(yùn)行。

1 云環(huán)境下存儲(chǔ)設(shè)計(jì)關(guān)鍵點(diǎn)

隨著云計(jì)算技術(shù)在IT架構(gòu)變革中產(chǎn)生的效益逐步得到認(rèn)可，企業(yè)或政府單位中的虛擬化架構(gòu)承載的比例正在迅速增大。

氣象部門的信息化建設(shè)已進(jìn)入到信息技術(shù)與氣象業(yè)務(wù)深度融合的階段；在助力氣象業(yè)務(wù)，有效提高“四個(gè)能力”的同時(shí)，以先進(jìn)的設(shè)計(jì)理念、有效的組織形式和技術(shù)手段，盡可能提高工作效率和效益，是實(shí)現(xiàn)“又好又快”發(fā)展模式的主要途徑[7]。國(guó)家氣象信息中心基于云計(jì)算技術(shù)構(gòu)建了氣象私有云，為氣象部門國(guó)家級(jí)業(yè)務(wù)單位提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)接入等基礎(chǔ)信息資源服務(wù)。“私有云”以40余臺(tái)物理服務(wù)器以及10套磁盤陣列、NAS存儲(chǔ)為基礎(chǔ)資源，對(duì)外提供460余臺(tái)虛擬服務(wù)器，在其上運(yùn)行了強(qiáng)天氣預(yù)報(bào)、集合預(yù)報(bào)處理、雷達(dá)拼圖、CIPAS、公服統(tǒng)計(jì)、氣象業(yè)務(wù)內(nèi)網(wǎng)、中國(guó)氣象數(shù)據(jù)網(wǎng)、再分析評(píng)估等近170個(gè)應(yīng)用系統(tǒng)。據(jù)初步測(cè)算，資源利用率提升50%，業(yè)務(wù)部署上線時(shí)間從“月”縮短到“天”，故障恢復(fù)時(shí)間從小時(shí)級(jí)縮短到分鐘級(jí)，CPU利用率較此前提高了6倍以上，電力能耗節(jié)省和場(chǎng)地空間占用降低了80%以上。氣象私有云改變了傳統(tǒng)“一機(jī)一應(yīng)用”的部署模式，提高了資源利用率，降低了建設(shè)及運(yùn)行成本，實(shí)現(xiàn)了資源快速部署與動(dòng)態(tài)分配，可隨需求增長(zhǎng)進(jìn)行系統(tǒng)動(dòng)態(tài)升級(jí)擴(kuò)充[8]。

由于很好地滿足了業(yè)務(wù)需要，氣象私有云虛擬化資源規(guī)模快速增長(zhǎng)。虛擬化服務(wù)器平臺(tái)的不斷擴(kuò)大和承載業(yè)務(wù)的關(guān)鍵度不斷提高、業(yè)務(wù)類型的復(fù)雜度不斷增加，這些都對(duì)底層存儲(chǔ)平臺(tái)提出了新的要求。

1.1 業(yè)務(wù)實(shí)際需求

底層IT架構(gòu)最終是為上層業(yè)務(wù)服務(wù)的。在以往的云平臺(tái)建設(shè)中通常僅通過(guò)一種存儲(chǔ)架構(gòu)去適應(yīng)所有類型應(yīng)用產(chǎn)生的不同數(shù)據(jù)訪問(wèn)模式以及不同數(shù)據(jù)特征，這種方式在虛擬化架構(gòu)規(guī)模較小、業(yè)務(wù)訪問(wèn)壓力較低的場(chǎng)合下可以有效降低存儲(chǔ)平臺(tái)的設(shè)計(jì)難度。但隨著云平臺(tái)所承載業(yè)務(wù)的復(fù)雜度、關(guān)鍵度、訪問(wèn)量的增加，不同業(yè)務(wù)系統(tǒng)讀寫模式、數(shù)據(jù)類型的差異就逐漸被放大，因此需要為不同類型的業(yè)務(wù)選擇最匹配其數(shù)據(jù)類型和數(shù)據(jù)訪問(wèn)特點(diǎn)的存儲(chǔ)系統(tǒng)，從而優(yōu)化存儲(chǔ)平臺(tái)的整體性能和綜合成本。

云平臺(tái)中的存儲(chǔ)建設(shè)并不是一蹴而就的，可以通過(guò)以下手段對(duì)現(xiàn)有環(huán)境進(jìn)行綜合分析以逐步完善和優(yōu)化：

(1)對(duì)具體業(yè)務(wù)虛機(jī)進(jìn)行數(shù)據(jù)讀寫數(shù)據(jù)量和讀寫比例分析；

(2)利用主機(jī)虛擬化平臺(tái)性能規(guī)劃分析工具從虛擬化層得出數(shù)據(jù)吞吐性能；

(3)對(duì)現(xiàn)有存儲(chǔ)前/后端口、緩存、磁盤組的歷史性能進(jìn)行統(tǒng)計(jì)分析。

1.2 存儲(chǔ)設(shè)計(jì)要點(diǎn)

在對(duì)業(yè)務(wù)系統(tǒng)進(jìn)行綜合、全面的分析之后，就可以對(duì)存儲(chǔ)平臺(tái)進(jìn)行有針對(duì)性的規(guī)劃設(shè)計(jì)了。其中需要考慮的層面主要包括：如何進(jìn)行存儲(chǔ)協(xié)議的選擇；如何針對(duì)不同業(yè)務(wù)數(shù)據(jù)類型解決性能問(wèn)題；如何在多業(yè)務(wù)共享的情況下進(jìn)行容量的統(tǒng)籌規(guī)劃；如何在多臺(tái)存儲(chǔ)環(huán)境下實(shí)現(xiàn)存儲(chǔ)平臺(tái)的資源池化；如何針對(duì)不同類型存儲(chǔ)實(shí)現(xiàn)存儲(chǔ)平臺(tái)的高可用保護(hù)。

2 云環(huán)境下存儲(chǔ)協(xié)議的選擇

選擇合適的存儲(chǔ)系統(tǒng)是虛擬化云計(jì)算環(huán)境整體架構(gòu)設(shè)計(jì)的關(guān)鍵一環(huán)。云計(jì)算本身并未對(duì)存儲(chǔ)架構(gòu)做出明確限定，不同協(xié)議的存儲(chǔ)在同一環(huán)境下的運(yùn)行效果大相徑庭。因此，在存儲(chǔ)架構(gòu)選擇時(shí)，需要充分考慮存儲(chǔ)在云平臺(tái)中的用途以及所存儲(chǔ)的數(shù)據(jù)類型。提供一個(gè)多協(xié)議的底層存儲(chǔ)平臺(tái)，根據(jù)不同數(shù)據(jù)類型的存儲(chǔ)需求提供與之匹配的存儲(chǔ)協(xié)議是當(dāng)前主流的發(fā)展思路。圖1是不同存儲(chǔ)協(xié)議的應(yīng)用比例[9]。

2.1 光纖通道存儲(chǔ)

除去成本高之外，單從性能和可靠性的角度看，光纖通道(FC)無(wú)疑是當(dāng)前最出色的存儲(chǔ)協(xié)議。光纖通道當(dāng)前的主流帶寬為8 Gbps、16 Gbps，其優(yōu)勢(shì)包括：

(1)具有更高的可用帶寬、較低的延時(shí)和協(xié)議開(kāi)銷，通常情況下性能表現(xiàn)有保障；

(2)獨(dú)立的光纖通道網(wǎng)絡(luò)安全性更高，并有Zoning和LUN masking等訪問(wèn)控制機(jī)制；

(3)支持從存儲(chǔ)啟動(dòng)系統(tǒng)(boot from SAN)，服務(wù)器本地不再需要硬盤；

(4)基于block的塊存儲(chǔ)類型。

圖1 不同存儲(chǔ)協(xié)議的應(yīng)用比例(Wikibon Survey)

虛擬化架構(gòu)下物理服務(wù)器上一般運(yùn)行多個(gè)虛擬機(jī)，如業(yè)務(wù)系統(tǒng)對(duì)磁盤I/O有較高的要求。為了得到最佳的性能，首選使用基于光纖通道協(xié)議的存儲(chǔ)系統(tǒng)。

2.2 NAS存儲(chǔ)

NAS與FC、iSCSI之間最大的區(qū)別是協(xié)議類型不同。FC、iSCSI使用數(shù)據(jù)塊協(xié)議，數(shù)據(jù)以塊為單位從前端虛擬機(jī)寫入到后端的存儲(chǔ)設(shè)備，主機(jī)端負(fù)責(zé)維護(hù)磁盤上的文件系統(tǒng)，在主機(jī)看來(lái)，存儲(chǔ)設(shè)備與服務(wù)器本地磁盤并沒(méi)有區(qū)別。NAS則是另外一種情況，存儲(chǔ)設(shè)備端負(fù)責(zé)維護(hù)磁盤文件系統(tǒng)，使用的是文件共享協(xié)議，服務(wù)器與存儲(chǔ)設(shè)備之間只有簡(jiǎn)單的通訊。

一般說(shuō)來(lái)，常規(guī)NAS設(shè)備的性能還達(dá)不到光纖通道存儲(chǔ)的I/O并發(fā)能力和I/O低延遲，也無(wú)法支持主機(jī)虛擬化平臺(tái)的全部存儲(chǔ)特性，因此在大中型云計(jì)算場(chǎng)合下并不適合作為部署虛機(jī)操作系統(tǒng)的主存儲(chǔ)。但是目前新興的分布式NAS產(chǎn)品卻可以有效發(fā)揮后端磁盤帶寬，對(duì)于大容量的非結(jié)構(gòu)化數(shù)據(jù)文件的高并發(fā)讀寫是最佳性能解決方案。因此在大型虛擬化、云計(jì)算場(chǎng)合內(nèi)，完全可以采用一部分分布式NAS通過(guò)共享目錄的方式來(lái)解決虛擬機(jī)中大文件的存儲(chǔ)性能和存儲(chǔ)成本問(wèn)題。例如，部署在氣象私有云上的氣象再分析評(píng)估系統(tǒng)，虛機(jī)系統(tǒng)數(shù)據(jù)由FC盤陣提供存儲(chǔ)空間，數(shù)據(jù)文件存儲(chǔ)在分布式NAS中。

3 存儲(chǔ)平臺(tái)性能設(shè)計(jì)

云計(jì)算平臺(tái)下的存儲(chǔ)性能是整個(gè)云平臺(tái)性能發(fā)揮的關(guān)鍵一環(huán)，如果設(shè)計(jì)考慮不周，將造成虛擬化主機(jī)的I/O大量積壓，延時(shí)大大增加，嚴(yán)重時(shí)將導(dǎo)致上層應(yīng)用連接超時(shí)中斷或死鎖。以下將從多個(gè)角度對(duì)氣象私有云環(huán)境下的存儲(chǔ)平臺(tái)性能設(shè)計(jì)進(jìn)行分析。

3.1 存儲(chǔ)性能影響因素

云環(huán)境中對(duì)存儲(chǔ)平臺(tái)造成性能影響的不僅僅來(lái)自于存儲(chǔ)控制器、磁盤類型等傳統(tǒng)因素，還要考慮虛擬化主機(jī)環(huán)境與存儲(chǔ)產(chǎn)品的集成度，只有通盤考慮才能保證存儲(chǔ)平臺(tái)的性能發(fā)揮。

(1)傳統(tǒng)因素：與傳統(tǒng)應(yīng)用相一致，需要綜合考慮存儲(chǔ)產(chǎn)品的軟硬件技術(shù)配置，例如存儲(chǔ)控制器的處理器計(jì)算能力、存儲(chǔ)緩存大小、磁盤轉(zhuǎn)速及磁盤接口類型、IO通道的帶寬及數(shù)量、主機(jī)層面的多路徑管理。

(2)加速盤(諸如閃存)的應(yīng)用：閃存作為新興的存儲(chǔ)介質(zhì)，由于其I/O性能是傳統(tǒng)轉(zhuǎn)軸硬盤的30～50倍以上，因此適合用于虛擬化環(huán)境中關(guān)鍵應(yīng)用系統(tǒng)的性能提升。

(3)存儲(chǔ)陣列和服務(wù)器虛擬化的集成：以往的服務(wù)器虛擬化產(chǎn)品在其自身的內(nèi)核層承載了大量的I/O管理工作，隨著虛擬化技術(shù)的發(fā)展，服務(wù)器虛擬化產(chǎn)品逐漸研發(fā)并開(kāi)放了與存儲(chǔ)產(chǎn)品兼容的軟件接口協(xié)議，目前先進(jìn)的存儲(chǔ)產(chǎn)品均可與其對(duì)接并將大量的存儲(chǔ)I/O“卸載”到存儲(chǔ)端，大大減少了服務(wù)器虛擬化層的壓力，從而優(yōu)化整個(gè)虛擬化環(huán)境的性能發(fā)揮。如氣象私有云在虛擬機(jī)與存儲(chǔ)設(shè)備之間采用了VAAI、FusionSphere等協(xié)議與主流存儲(chǔ)系統(tǒng)進(jìn)行對(duì)接，用戶不需要關(guān)心后端存儲(chǔ)的類型和能力。

3.2 存儲(chǔ)IO能力計(jì)算

在真實(shí)的存儲(chǔ)環(huán)境中，I/O瓶頸往往來(lái)自于后端磁盤，因此衡量實(shí)際配置存儲(chǔ)的IOPS應(yīng)從磁盤系統(tǒng)規(guī)劃入手，考慮到緩存性能優(yōu)化作用的不確定性，最好在規(guī)劃時(shí)不考慮或者盡可能少地考慮緩存的作用。根據(jù)存儲(chǔ)系統(tǒng)規(guī)劃理論，可套用如下公式(適用于磁盤陣列)：

(IOPS*%R+WP*IOPS*%W)/單盤IOPS= 所需磁盤數(shù)

其中，IOPS為存儲(chǔ)系統(tǒng)IOPS需求；%R為讀操作百分比；%W為寫操作百分比；WP為寫懲罰因數(shù)，即1個(gè)寫操作帶來(lái)的磁盤I/O數(shù)，RAID1/0和RAID1 WP為2、RAID5 WP為4；單盤IOPS為單塊磁盤的最大IOPS值(在存儲(chǔ)設(shè)計(jì)過(guò)程中建議不采用磁盤廠商標(biāo)稱的單盤性能值，保守估計(jì)10 K磁盤約125 IOPS；15 K磁盤約為175 IOPS；SSD磁盤約為3 000)[10]；所需物理磁盤數(shù)為存儲(chǔ)中應(yīng)配置的最小磁盤數(shù)量。

根據(jù)業(yè)務(wù)系統(tǒng)使用特性，或者從以往業(yè)務(wù)主機(jī)抓取的IO分析數(shù)據(jù)，可以得出業(yè)務(wù)系統(tǒng)的大致讀寫比例，結(jié)合對(duì)IOPS的統(tǒng)計(jì)預(yù)期目標(biāo)，即可計(jì)算出為實(shí)現(xiàn)此性能存儲(chǔ)所需的磁盤數(shù)。

3.3 虛擬化層對(duì)性能的影響

隨著虛擬化技術(shù)的發(fā)展，服務(wù)器虛擬化產(chǎn)品逐漸研發(fā)并開(kāi)放了與存儲(chǔ)產(chǎn)品兼容的軟件接口協(xié)議，目前先進(jìn)的存儲(chǔ)產(chǎn)品均可與其對(duì)接并將大量的存儲(chǔ)I/O“卸載”到存儲(chǔ)端，大大減少了服務(wù)器虛擬化層的壓力，從而優(yōu)化整個(gè)虛擬化環(huán)境的性能發(fā)揮。

在虛擬服務(wù)器環(huán)境中，其存儲(chǔ)硬件和Hypervisor管理程序的通訊非常復(fù)雜。為簡(jiǎn)化其通訊并提高效率，研發(fā)了vStorage陣列集成應(yīng)用接口(VAAI)[11]。該應(yīng)用接口為Hypervisor管理程序和存儲(chǔ)設(shè)備規(guī)范了不同的職責(zé)，使其各自關(guān)注工作效能最大化，即Hypervisor致力于虛擬化相關(guān)的工作，而存儲(chǔ)相關(guān)的工作則留給存儲(chǔ)陣列。

通過(guò)VAAI，存儲(chǔ)陣列廠商可以直接將其存儲(chǔ)硬件及應(yīng)用程序和vSphere進(jìn)行集成。VAAI使得某些存儲(chǔ)層的工作(諸如克隆等)可以在存儲(chǔ)陣列上離線運(yùn)行，較在主機(jī)端完成更為高效。主機(jī)端可以簡(jiǎn)單地將相關(guān)工作轉(zhuǎn)到存儲(chǔ)陣列上完成，而主機(jī)端只負(fù)責(zé)過(guò)程監(jiān)控，而非使用主機(jī)端的資源來(lái)完成。存儲(chǔ)陣列更擅長(zhǎng)此類數(shù)據(jù)工作，可以較主機(jī)端更為快速地完成相關(guān)服務(wù)請(qǐng)求。

4 實(shí)驗(yàn)及其結(jié)果分析

對(duì)氣象私有云環(huán)境中兩塊主要業(yè)務(wù)區(qū)域(A區(qū)、B區(qū))的典型存儲(chǔ)系統(tǒng)抓取了一天的完整性能數(shù)據(jù)，利用存儲(chǔ)性能分析工具獲取詳細(xì)性能分析報(bào)表，作為優(yōu)化存儲(chǔ)平臺(tái)性能的參考依據(jù)。

4.1 存儲(chǔ)訪問(wèn)特性分析

不同類型的業(yè)務(wù)系統(tǒng)對(duì)存儲(chǔ)的訪問(wèn)特性均有所不同，主要體現(xiàn)在I/O讀寫比例和I/O大小兩個(gè)方面，存儲(chǔ)性能優(yōu)化需要充分考慮其訪問(wèn)特性。通過(guò)對(duì)氣象私有云中的存儲(chǔ)性能數(shù)據(jù)進(jìn)行分析，A區(qū)讀寫比例為52%∶48%，相對(duì)比較平均，I/O大小以4 K為主；B區(qū)兩臺(tái)存儲(chǔ)讀寫比例分別為60%∶40%和33%∶67%，其中1臺(tái)存儲(chǔ)設(shè)備具備了一定量的128 K以上大I/O的訪問(wèn)。具體如圖2和圖3所示。

圖2 氣象私有云A區(qū)存儲(chǔ)I/O訪問(wèn)特性

圖3 氣象私有云B區(qū)存儲(chǔ)I/O訪問(wèn)特性

對(duì)于以寫入為主的存儲(chǔ)訪問(wèn)方式，瓶頸往往出現(xiàn)在后端磁盤。因此在存儲(chǔ)規(guī)劃時(shí)應(yīng)充分發(fā)揮后端磁盤的并發(fā)性能，將數(shù)據(jù)卷盡可能打散分布在更多的物理硬盤上，提升數(shù)據(jù)落盤時(shí)的I/O響應(yīng)能力。

氣象私有云在設(shè)計(jì)時(shí)充分考慮了這一因素，設(shè)置存儲(chǔ)后端磁盤以Pool的方式提供服務(wù)，數(shù)據(jù)卷打散在Pool內(nèi)的所有硬盤上，突破了傳統(tǒng)RAID組的性能局限。

對(duì)于大I/O業(yè)務(wù)量的場(chǎng)景，氣象私有云存儲(chǔ)可以通過(guò)虛機(jī)與業(yè)務(wù)數(shù)據(jù)分離部署的方式提升整體架構(gòu)性能，即將虛機(jī)的系統(tǒng)文件部署在傳統(tǒng)的光纖通道存儲(chǔ)上，而將其業(yè)務(wù)數(shù)據(jù)目錄指向高帶寬、大容量的分布式NAS，可以很好地提升大文件讀寫的性能，同時(shí)避免牽制云平臺(tái)上虛機(jī)系統(tǒng)的性能。

4.2 存儲(chǔ)負(fù)載性能分析

以下是幾臺(tái)存儲(chǔ)的總體展現(xiàn)。從存儲(chǔ)承擔(dān)的IOPS上看，幾臺(tái)存儲(chǔ)目前負(fù)載并不平均，A區(qū)存儲(chǔ)IOPS壓力較小，B區(qū)存儲(chǔ)IOPS壓力相對(duì)大。目前來(lái)看由于存儲(chǔ)性能充足，95%左右的IO響應(yīng)時(shí)間均能控制在5 ms以內(nèi)，屬于非常理想的性能表現(xiàn)[12]。未來(lái)隨著業(yè)務(wù)虛機(jī)數(shù)量的不斷增長(zhǎng)，存儲(chǔ)IOPS壓力不平均的問(wèn)題就需要得到解決，否則部分存儲(chǔ)有可能由于壓力過(guò)大造成響應(yīng)時(shí)間過(guò)長(zhǎng)，影響了應(yīng)用性能，而另一部分存儲(chǔ)的性能卻過(guò)于空閑無(wú)法充分發(fā)揮。

氣象私有云A區(qū)和B區(qū)存儲(chǔ)總體性能數(shù)據(jù)如圖4和圖5所示。

圖4 氣象私有云A區(qū)存儲(chǔ)總體性能數(shù)據(jù)

圖5 氣象私有云B區(qū)存儲(chǔ)總體性能數(shù)據(jù)

通過(guò)存儲(chǔ)虛擬化技術(shù)可以實(shí)現(xiàn)存儲(chǔ)資源的池化，很好地實(shí)現(xiàn)存儲(chǔ)資源的動(dòng)態(tài)靈活調(diào)整?；诖鎯?chǔ)虛擬化技術(shù)，通過(guò)進(jìn)一步分析LUN性能熱點(diǎn)，將壓力較大的LUN在不影響業(yè)務(wù)應(yīng)用的前提下在線遷移至相對(duì)空閑的存儲(chǔ)，從而優(yōu)化整體存儲(chǔ)平臺(tái)性能。

5 未來(lái)發(fā)展思路

氣象私有云的建設(shè)是一個(gè)循序漸進(jìn)的過(guò)程。在未來(lái)發(fā)展過(guò)程中，為了更好地滿足各類氣象業(yè)務(wù)可研系統(tǒng)的多樣化存儲(chǔ)服務(wù)需求[13-15]，在橫向擴(kuò)展計(jì)算資源池的同時(shí)，將從以下兩方面進(jìn)行深化建設(shè)：

(1)隨著云平臺(tái)上業(yè)務(wù)系統(tǒng)的不斷增加、數(shù)據(jù)量不斷增大，需要根據(jù)業(yè)務(wù)系統(tǒng)I/O性能需求以及數(shù)據(jù)格式的不同，針對(duì)其存儲(chǔ)特點(diǎn)構(gòu)建多元化的存儲(chǔ)平臺(tái)。采用高性能的全閃存磁盤陣列來(lái)部署對(duì)I/O性能要求最為苛刻的應(yīng)用數(shù)據(jù)，采用大容量的分布式NAS存儲(chǔ)產(chǎn)品來(lái)部署氣象業(yè)務(wù)系統(tǒng)中諸如模式數(shù)據(jù)、衛(wèi)星圖片等需要共享的大文件數(shù)據(jù)等，使應(yīng)用得到最佳的存儲(chǔ)服務(wù)級(jí)別。

(2)隨著存儲(chǔ)平臺(tái)向多元化、虛擬化方向發(fā)展，對(duì)于龐大的低層存儲(chǔ)架構(gòu)需增加更為強(qiáng)大的統(tǒng)一存儲(chǔ)管理，能夠徹底跨越異構(gòu)存儲(chǔ)產(chǎn)品帶來(lái)的管理鴻溝，為上層應(yīng)用系統(tǒng)提供強(qiáng)大、靈活、優(yōu)化的存儲(chǔ)供給服務(wù)。將異構(gòu)的SAN、NAS、HDFS分布式文件系統(tǒng)等存儲(chǔ)對(duì)象抽象為統(tǒng)一的虛擬化存儲(chǔ)池，通過(guò)統(tǒng)一的管理界面提供數(shù)據(jù)塊、文件、分布式文件系統(tǒng)等多種存儲(chǔ)協(xié)議，屏蔽底層存儲(chǔ)設(shè)備管理的差異性，實(shí)現(xiàn)對(duì)底層各存儲(chǔ)及存域網(wǎng)絡(luò)設(shè)備的集中管理、維護(hù)、變更操作，并通過(guò)自動(dòng)化技術(shù)進(jìn)一步加速存儲(chǔ)容量分配和配置變更效率。

6 結(jié)束語(yǔ)

圍繞氣象私有云平臺(tái)存儲(chǔ)設(shè)計(jì)與業(yè)務(wù)應(yīng)用，分別從性能影響因素、IO能力計(jì)算以及虛擬化層影響等方面進(jìn)行了分析設(shè)計(jì)，同時(shí)評(píng)估了存儲(chǔ)實(shí)際運(yùn)行狀況，從存儲(chǔ)平臺(tái)訪問(wèn)、IO負(fù)載等角度進(jìn)行了實(shí)驗(yàn)及分析。結(jié)果表明，氣象私有云平臺(tái)已建存儲(chǔ)架構(gòu)設(shè)計(jì)合理，不同類型存儲(chǔ)經(jīng)過(guò)優(yōu)化配置后優(yōu)勢(shì)互補(bǔ)，能夠滿足各類氣象業(yè)務(wù)科研系統(tǒng)的存儲(chǔ)需求，實(shí)際運(yùn)行監(jiān)控指標(biāo)良好。未來(lái)還將跟蹤技術(shù)發(fā)展趨勢(shì)，結(jié)合業(yè)務(wù)系統(tǒng)發(fā)展需要，在多元化存儲(chǔ)和統(tǒng)一存儲(chǔ)管理平臺(tái)等方面做進(jìn)一步研究，并應(yīng)用到實(shí)際工作中。

[1]FosterI,ZhaoY,RaicuI,etal.Cloudcomputingandgridcomputing360-degreecompared[C]//Gridcomputingenvironmentsworkshop.[s.l.]:IEEE,2008:1-10.

[2] 陳 康，鄭緯民.云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J].軟件學(xué)報(bào),2009,20(5):1337-1348.

[3] 劉正偉，文中領(lǐng)，張海濤.云計(jì)算和云數(shù)據(jù)管理技術(shù)[J].計(jì)算機(jī)研究與發(fā)展,2012，49(S1):26-31.

[4] 陳 全，鄧倩妮.云計(jì)算及其關(guān)鍵技術(shù)[J].計(jì)算機(jī)應(yīng)用,2009,29(9):2562-2567.

[5] 王意潔，孫偉東，周 松，等.云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J].軟件學(xué)報(bào),2012,23(4):962-986.

[6] 沈文海.氣象業(yè)務(wù)信息系統(tǒng)未來(lái)基礎(chǔ)架構(gòu)探討-“云計(jì)算”和“大數(shù)據(jù)”在氣象信息化中的作用[J].氣象科技進(jìn)展,2015(3):64-66.

[7] 沈文海.從云計(jì)算看氣象部門未來(lái)的信息化趨勢(shì)[J].氣象科技進(jìn)展,2012(2):49-56.

[8] “氣象私有云”：我們身邊的云計(jì)算[EB/OL].2014-08-13.http://www.cma.gov.cn/kppd/kppdkjzg/201408/t20140813_257125.html.

[9]WikibonSurvey[EB/OL]. 2012-08-23.http://wikibon.org/wiki/v/VMware_vSphere_5_Users_Move_Beyond_the_Storage_Protocol_Debate.

[10]GettingthehangofIOPSv1.3[EB/OL].2012-01-28.http://www.symantec.com/connect/articles/getting-hang-iops-v13.

[11]VMwarevSphereStorageAPIs-ArrayIntegration(VAAI)[EB/OL].2013-03-17.http://www.vmware.com/resources/techresources/10337.

[12]What’sanacceptableI/Olatency?[EB/OL].2010-09-19.http://kaminario.com/company/blog/whats-an-acceptable-io-latency/.

[13] 李月安，曹 莉，高 嵩，等．MICAPS預(yù)報(bào)業(yè)務(wù)平臺(tái)現(xiàn)狀與發(fā)展[J]．氣象，2010，36(7)：50-55．

[14] 吳煥萍，張永強(qiáng)，孫家民，等．氣候信息交互顯示與分析平臺(tái)(CIPAS)設(shè)計(jì)與實(shí)現(xiàn)[J]．應(yīng)用氣象學(xué)報(bào)，2013，24(5)：631-640.

[15] 王 彬，周 斌，魏 敏.氣象計(jì)算網(wǎng)格模式預(yù)報(bào)系統(tǒng)的建立與優(yōu)化[J].計(jì)算機(jī)應(yīng)用研究,2010，27(11):4182-4184.

Storage Architecture Design and Performance Analysis in MeteorologicalPrivate Cloud Environment

WANG Bin,HAN Tong-xin,LI Nan

(National Meteorological Information Center,Beijing 100081，China)

For the evaluation of design reasonability and performance of the meteorological private cloud platform storage infrastructure,and to provide necessary architecture level basis for the future expansion of the storage capacity of the platform,on the basis of analyzing selection of storage protocols and hardware performance as well as discussion on the key issues of storage design in cloud computing environment,the thought for storage architecture design in cloud computing environment has been proposed.It is suggested that multi-protocol storage structure supporting SAN and NAS has been established in light of read-write features of various applications so as to build a standardized pool of storage resources.Combined with the actual meteorological private cloud,storage applications performance has been analyzed in virtualized environment.The verification experiment results show that the design and configuration of storage architecture are reasonable in current environment and various runtime performance indicators are good and the applications have been allocated suitable storage resources.The storage architecture of meteorological private cloud has been built to meet the storage needs of all kinds of meteorological operations and research systems.

meteorological private cloud;design of storage performance;multi-storage protocol;fibre channel storage;network attached storage;distributed storage;storage resource pool

2016-06-03

2016-10-12 網(wǎng)絡(luò)出版時(shí)間：2017-03-13

科技部公益性行業(yè)(氣象)科研專項(xiàng)項(xiàng)目(GYHY201306062)

王 彬(1976-)，男，正研級(jí)高級(jí)工程師，博士，CCF會(huì)員(E200009018M)，研究方向?yàn)樵朴?jì)算、高性能計(jì)算、氣象信息化設(shè)計(jì)等。

http://kns.cnki.net/kcms/detail/61.1450.tp.20170313.1545.038.html

TP39

A

1673-629X(2017)05-0020-05

10.3969/j.issn.1673-629X.2017.05.005