氣象私有云環(huán)境下存儲(chǔ)架構(gòu)設(shè)計(jì)與性能探討

顧忠順，厲愛(ài)麗

（1.西藏自治區(qū)氣象信息網(wǎng)絡(luò)中心，西藏拉薩，850000；2.西藏高原大氣環(huán)境科學(xué)研究所，西藏拉薩，850000）

0 引言

云計(jì)算是近年來(lái)興起的互聯(lián)網(wǎng)現(xiàn)代化技術(shù)之一[1]。云計(jì)算為氣象科研提供了一種新的資源使用和計(jì)算模式，可以為互聯(lián)網(wǎng)用戶提供動(dòng)態(tài)、可拓展的計(jì)算資源、儲(chǔ)存能力的大規(guī)模分布式計(jì)算集合[2]。云計(jì)算技術(shù)支持下，各類(lèi)作業(yè)儲(chǔ)存在資源池，應(yīng)用系統(tǒng)可針對(duì)業(yè)務(wù)需求獲取計(jì)算能力、儲(chǔ)存及技術(shù)軟件服務(wù)，云計(jì)算平臺(tái)也結(jié)合需要?jiǎng)討B(tài)部署、配置或取消。云計(jì)算的資源更加虛擬化，其儲(chǔ)存效率突出，具有較高的可擴(kuò)展性，便于氣象科研工作使用。

1 云計(jì)算在氣象部門(mén)工作中應(yīng)用的優(yōu)勢(shì)

云計(jì)算技術(shù)可提高IT資源利用率，簡(jiǎn)化繁瑣管理步驟，加快IT響應(yīng)[3]。目前云計(jì)算技術(shù)正處于不斷成熟發(fā)展?fàn)顟B(tài)，眾多數(shù)據(jù)中心轉(zhuǎn)型都應(yīng)用云計(jì)算技術(shù)。云計(jì)算、主機(jī)虛擬化可實(shí)現(xiàn)計(jì)算、數(shù)據(jù)高度集中，其對(duì)數(shù)據(jù)儲(chǔ)存、使用、管理提出更嚴(yán)格要求。因此，需設(shè)計(jì)與之匹配的云計(jì)算儲(chǔ)存系統(tǒng)。

結(jié)合西藏氣象部門(mén)業(yè)務(wù)需求，利用云計(jì)算技術(shù)構(gòu)建私有云計(jì)算環(huán)境，為用戶提供更多計(jì)算、儲(chǔ)存資源，提供集中托管，滿足用戶對(duì)IT技術(shù)資源需求[4]。云計(jì)算系統(tǒng)其按需配置資源，系統(tǒng)彈性、可用服務(wù)突出，可實(shí)現(xiàn)資源快速布置、動(dòng)態(tài)配置，并結(jié)合業(yè)務(wù)需求可靈活升級(jí)、擴(kuò)充。西藏氣象私有云環(huán)境下的存儲(chǔ)架構(gòu)設(shè)計(jì)對(duì)所需要的各項(xiàng)業(yè)務(wù)區(qū)域化儲(chǔ)存分析，了解儲(chǔ)存中的各項(xiàng)關(guān)鍵參數(shù)，比對(duì)各項(xiàng)數(shù)據(jù)參數(shù)指標(biāo)，確定氣象私有云環(huán)境下儲(chǔ)存設(shè)計(jì)方案，對(duì)架構(gòu)、性能評(píng)估，發(fā)現(xiàn)使用的云儲(chǔ)存架構(gòu)滿足需求，可支撐西藏氣象科研工作有序開(kāi)展。

2 云環(huán)境中儲(chǔ)存設(shè)計(jì)的關(guān)鍵

新時(shí)期云計(jì)算技術(shù)不斷成熟，越來(lái)越多的企業(yè)單位虛擬化架構(gòu)承載比例上升[5]。西藏氣象部門(mén)信息化建設(shè)以云計(jì)算技術(shù)構(gòu)建氣象私有云，為西藏氣象業(yè)務(wù)科研部門(mén)提供計(jì)算、儲(chǔ)存、網(wǎng)絡(luò)接入等多項(xiàng)服務(wù)，私有云以20多臺(tái)服務(wù)器、4套磁盤(pán)陣列、2套NAS儲(chǔ)存等支持，目前已提供超200臺(tái)虛擬服務(wù)器，實(shí)現(xiàn)準(zhǔn)確的天氣預(yù)報(bào)，對(duì)預(yù)報(bào)信息集中處理，提供各類(lèi)自動(dòng)站中心站、西藏氣象一體化業(yè)務(wù)平臺(tái)等超過(guò)30個(gè)應(yīng)用系統(tǒng)[6]，使資源利用率提高近51%，且其業(yè)務(wù)部署的單位為天，故障恢復(fù)時(shí)間在分鐘級(jí)別對(duì)CPU的利用率也比以前高，高出6倍以上的利用效率。

2.1 業(yè)務(wù)需求

IT架構(gòu)為上層業(yè)務(wù)落實(shí)作鋪墊，傳統(tǒng)云平臺(tái)建設(shè)知識(shí)以?xún)?chǔ)存架構(gòu)滿足多類(lèi)型的產(chǎn)生的數(shù)據(jù)訪問(wèn)模式及數(shù)據(jù)特征，該虛擬架構(gòu)可以適應(yīng)規(guī)模小，訪問(wèn)壓力低的場(chǎng)合，可起到降低儲(chǔ)存平臺(tái)設(shè)計(jì)難度作用。而面對(duì)數(shù)據(jù)類(lèi)型差異較大、業(yè)務(wù)系統(tǒng)讀寫(xiě)模式復(fù)雜的情況，就需為不同業(yè)務(wù)匹配合理的數(shù)據(jù)類(lèi)型、訪問(wèn)特點(diǎn)，優(yōu)化儲(chǔ)存平臺(tái)性能及成本。

2.2 儲(chǔ)存設(shè)計(jì)關(guān)鍵

云計(jì)算的儲(chǔ)存設(shè)計(jì)需考慮儲(chǔ)存協(xié)議、針對(duì)不同業(yè)務(wù)數(shù)據(jù)類(lèi)型優(yōu)化性能、考慮如何在多業(yè)務(wù)運(yùn)行下對(duì)數(shù)據(jù)容量做好統(tǒng)籌規(guī)劃。同時(shí)，儲(chǔ)存設(shè)計(jì)還要考慮到不同儲(chǔ)存環(huán)境下，平臺(tái)的資源池化，如何更好的針對(duì)各類(lèi)儲(chǔ)存確保平臺(tái)的高可用保護(hù)。

3 云環(huán)境下的儲(chǔ)存協(xié)議確定

3.1 光纖通道儲(chǔ)存

光纖通道儲(chǔ)存的性能及可靠性最為突出，其成本相對(duì)較高，目前主流帶寬為5Gbps[7]、16Gpbs[8]。采用光纖通道儲(chǔ)存，可用帶寬更高，延時(shí)低，且系統(tǒng)的性能有所保障。獨(dú)立的光纖通道其網(wǎng)絡(luò)安全性突出，設(shè)有Zoning、LUN masking[9]訪問(wèn)控制。光纖通道儲(chǔ)存支持從儲(chǔ)存啟動(dòng)系統(tǒng)，可實(shí)現(xiàn)本地服務(wù)器無(wú)需硬盤(pán)支持即可運(yùn)行，但其建設(shè)成本高，對(duì)于氣象數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)文件大、數(shù)量多的特點(diǎn)，難以滿足需求。

3.2 NAS儲(chǔ)存

NAS儲(chǔ)存和其他儲(chǔ)存的協(xié)議類(lèi)型不同，以光纖通道為例，其采用數(shù)據(jù)塊協(xié)議，寫(xiě)入到后端儲(chǔ)存設(shè)備的數(shù)據(jù)單位為塊，主機(jī)的磁盤(pán)的文件維護(hù)，主機(jī)視角中，儲(chǔ)存設(shè)備基本等同于本地磁盤(pán)。NAS的儲(chǔ)存設(shè)備端可維護(hù)磁盤(pán)文件，協(xié)議為共享協(xié)議，服務(wù)器和儲(chǔ)存設(shè)備只是簡(jiǎn)單通訊。

常規(guī)NAS性能不如光纖通道，無(wú)法支持虛擬主機(jī)平臺(tái)全部?jī)?chǔ)存特性，故西藏氣象云計(jì)算環(huán)境不適合采用NAS部署操作系統(tǒng)。一些現(xiàn)代化的分布式NAS，其自身可以發(fā)揮后端磁盤(pán)帶寬，確保大容量、非結(jié)構(gòu)化的數(shù)據(jù)可以實(shí)現(xiàn)高并發(fā)的讀寫(xiě)。針對(duì)氣象數(shù)據(jù)的特點(diǎn)，西藏氣象數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)資料，如衛(wèi)星數(shù)據(jù)、實(shí)景圖片及實(shí)景視頻資料等，可以利用一部分的NAS，對(duì)其目錄共享，有效提高虛擬機(jī)文件儲(chǔ)存性能，節(jié)省成本。

4 儲(chǔ)存平臺(tái)性能設(shè)計(jì)

4.1 影響儲(chǔ)存性能的幾個(gè)原因

云計(jì)算對(duì)儲(chǔ)存平臺(tái)性能的影響集中在儲(chǔ)存控制器、磁盤(pán)類(lèi)型、虛擬化主機(jī)環(huán)境以及儲(chǔ)存產(chǎn)品集成度上。儲(chǔ)存平臺(tái)需考慮儲(chǔ)存產(chǎn)品的軟硬件配置是否合理，如控制器處理計(jì)算能力、儲(chǔ)存緩存多少、磁盤(pán)接口類(lèi)型，IO通道帶寬、數(shù)量及主機(jī)多路徑管理等。加速盤(pán)也是一種新興儲(chǔ)存介質(zhì)，其I/O性能遠(yuǎn)遠(yuǎn)超出傳統(tǒng)硬盤(pán)，可靈活應(yīng)該用到虛擬環(huán)境中，提高系統(tǒng)整體性能。對(duì)于儲(chǔ)存陣列以及服務(wù)器自身的虛擬化基層而言，可采用開(kāi)放性的儲(chǔ)存產(chǎn)品軟件接口協(xié)議，以合理的儲(chǔ)存產(chǎn)品，和對(duì)應(yīng)I/O配合，卸載到儲(chǔ)存端，以此控制虛擬化層服務(wù)整體壓力，設(shè)置合理的虛擬環(huán)境。例如氣象私有云采取VAAI協(xié)議，利用存儲(chǔ)雙活技術(shù)，將虛擬機(jī)、儲(chǔ)存設(shè)備和主流系統(tǒng)對(duì)接，用戶無(wú)需顧慮后期儲(chǔ)存能力、類(lèi)型，存儲(chǔ)資源可動(dòng)態(tài)擴(kuò)展。

4.2 儲(chǔ)存IO能力

后磁盤(pán)的使用會(huì)導(dǎo)致I/O遇到一定阻礙，可以在磁盤(pán)系統(tǒng)的規(guī)劃方面，注重配置好IOPS，充分分析緩存性能優(yōu)化的多種問(wèn)題，規(guī)劃過(guò)程中基本不考慮緩存對(duì)儲(chǔ)存的影響。結(jié)合業(yè)務(wù)需要、特點(diǎn)，或者配合對(duì)以往的業(yè)務(wù)IO數(shù)據(jù)分析，可以得到業(yè)務(wù)系統(tǒng)大致讀寫(xiě)比例，和IOPS的統(tǒng)計(jì)預(yù)設(shè)目標(biāo)分析，可以得到實(shí)現(xiàn)所需性能的磁盤(pán)數(shù)量。

4.3 虛擬化層對(duì)性能造成的影響

伴隨新時(shí)期信息技術(shù)飛速發(fā)展，服務(wù)器向虛擬化發(fā)展已經(jīng)成為趨勢(shì)，虛擬化的產(chǎn)品也研發(fā)出和儲(chǔ)存產(chǎn)品兼容的軟件接口協(xié)議，目前一些較為先進(jìn)的儲(chǔ)存產(chǎn)品可和軟件對(duì)接，將大量?jī)?chǔ)存的I/O卸載到客戶端，降低服務(wù)虛擬化層承受的有壓力，實(shí)現(xiàn)對(duì)虛擬環(huán)境的優(yōu)化。虛擬環(huán)境中的儲(chǔ)存硬件及虛擬中間軟件的管理程序通訊并不簡(jiǎn)單，為簡(jiǎn)化通信過(guò)程提高通信效率，研發(fā)出VAAI接口，應(yīng)用此接口可以為對(duì)應(yīng)的管理程序、儲(chǔ)存設(shè)備規(guī)定好不同的職責(zé)，最大化發(fā)揮其各自效能，讓通信程序可以充分完成虛擬化相關(guān)工作，將儲(chǔ)存工作留給儲(chǔ)存陣列完成。

通過(guò)設(shè)置的VAAI，廠家可以對(duì)儲(chǔ)存硬件及應(yīng)用程序、vSphere進(jìn)行集成，使VAAI的一些儲(chǔ)存層工作可以在儲(chǔ)存陣列上運(yùn)行，此時(shí)運(yùn)行為離線狀態(tài)，可以比主機(jī)端完成此類(lèi)操作更加高效。主機(jī)端則簡(jiǎn)單的負(fù)責(zé)相關(guān)工作轉(zhuǎn)移給儲(chǔ)存陣列完成，主機(jī)只是負(fù)責(zé)監(jiān)控，并非占用主機(jī)資源完成操作。

5 結(jié)果分析

采取西藏氣象私有云環(huán)境內(nèi)部的A、B區(qū)儲(chǔ)存一日的數(shù)據(jù)作為基礎(chǔ)分析，以?xún)?chǔ)存性能專(zhuān)業(yè)的分析工具支持分析，具體結(jié)果如下。

5.1 儲(chǔ)存訪問(wèn)特性

面對(duì)不同的業(yè)務(wù)，其所需要的儲(chǔ)存方式也各有不同，具體的差異主要是不同的業(yè)務(wù)其I/O讀寫(xiě)比例及大小各不相同，對(duì)儲(chǔ)存效果優(yōu)化，需要考慮到訪問(wèn)特性進(jìn)一步完善。對(duì)西藏氣象私有云的儲(chǔ)存數(shù)據(jù)分析，其中A區(qū)和B區(qū)的讀寫(xiě)比例分別為53%：49%、61%；41%，A區(qū)的I/O大小4K，B區(qū)一設(shè)備裝置量128K。對(duì)于后端磁盤(pán)而言，使用磁盤(pán)必然會(huì)制約寫(xiě)入的儲(chǔ)存訪問(wèn)，故需要對(duì)儲(chǔ)存進(jìn)行規(guī)劃分析，注重利用磁盤(pán)本身的并發(fā)性特征，將寫(xiě)入的數(shù)據(jù)充分打散，分布到多個(gè)物理磁盤(pán)內(nèi)，大大提高數(shù)據(jù)落盤(pán)的響應(yīng)效果?？紤]到后端磁盤(pán)對(duì)儲(chǔ)存的影響，故在原本設(shè)計(jì)儲(chǔ)存基礎(chǔ)上，融入Pool服務(wù)，將數(shù)據(jù)在Pool的各個(gè)硬盤(pán)中充分打散，以此獲取更為理想的儲(chǔ)存性能。對(duì)大的I/O業(yè)務(wù)量場(chǎng)景分析，發(fā)現(xiàn)西藏氣象私有云通過(guò)虛擬機(jī)和業(yè)務(wù)數(shù)據(jù)分離設(shè)置方式，可提高整體架構(gòu)性能，將虛擬機(jī)當(dāng)中不同的系統(tǒng)文件都儲(chǔ)存到光纖通道內(nèi)，以此構(gòu)建業(yè)務(wù)目錄和NAS的聯(lián)系，進(jìn)一步提高文件的讀寫(xiě)效果，也充分控制云平臺(tái)的虛擬機(jī)性能。

5.2 儲(chǔ)存負(fù)載性能

對(duì)幾臺(tái)儲(chǔ)存展現(xiàn)分析，從儲(chǔ)存承擔(dān)IOPS方面分析，發(fā)現(xiàn)幾個(gè)儲(chǔ)存負(fù)載并不平均，A的儲(chǔ)存IOPS壓力較小，而B(niǎo)的這方面壓力相對(duì)較大。但是目前系統(tǒng)的儲(chǔ)存性能仍然滿足要求。絕大多數(shù)IO的響應(yīng)時(shí)間基本可以控制在5秒以?xún)?nèi)，其運(yùn)行響應(yīng)速度滿足使用需求。伴隨虛擬機(jī)數(shù)量不斷增加，就需要注重解決儲(chǔ)存IOPS的壓力不平均問(wèn)題，避免部分儲(chǔ)存受到過(guò)多的壓力，導(dǎo)致響應(yīng)時(shí)間較長(zhǎng)，影響系統(tǒng)整體使用效果，而另一部分的儲(chǔ)存性能處于閑置狀態(tài)，未充分利用。

6 結(jié)束語(yǔ)

伴隨氣象私有云平臺(tái)儲(chǔ)存設(shè)計(jì)及應(yīng)用，文章從的性能影響因素、IO能力計(jì)算及虛擬化層的方向分析，評(píng)估儲(chǔ)存實(shí)際運(yùn)行狀態(tài)，在平臺(tái)訪問(wèn)、IO負(fù)載方面展開(kāi)分析，發(fā)現(xiàn)目前西藏氣象私有云平臺(tái)構(gòu)建的架構(gòu)相對(duì)合理，不同類(lèi)型儲(chǔ)存經(jīng)過(guò)配置優(yōu)化之后可以互相補(bǔ)充不足，滿足不同類(lèi)型氣象科研及業(yè)務(wù)的需要，經(jīng)過(guò)實(shí)際運(yùn)行分析發(fā)現(xiàn)各項(xiàng)指標(biāo)良好。未來(lái)發(fā)展中，將融入跟蹤技術(shù)，結(jié)合存儲(chǔ)虛擬化技術(shù)，調(diào)整高速雙活存儲(chǔ)和海量大數(shù)據(jù)存儲(chǔ)之間的關(guān)系，加強(qiáng)信息系統(tǒng)安全建設(shè)，優(yōu)化西藏氣象私有云存儲(chǔ)架構(gòu)，提升管理職能，進(jìn)一步滿足業(yè)務(wù)系統(tǒng)發(fā)展需求，將更多元化的儲(chǔ)存及管理平臺(tái)深入研究，將更智能化的技術(shù)融入到西藏氣象科研及業(yè)務(wù)工作中。