省級氣象基礎(chǔ)設(shè)施資源池的建設(shè)及在業(yè)務(wù)中應(yīng)用

朱亮 賀煒 鐘艷雯 歐陽計(jì)躍

摘要：本文講述省級氣象基礎(chǔ)設(shè)施資源池建設(shè)以及使用的虛擬化、分布式計(jì)算等技術(shù)，介紹了集約化基礎(chǔ)設(shè)施資源池在氣象業(yè)務(wù)中應(yīng)用，實(shí)例講解虛擬化資源池，分布式數(shù)據(jù)環(huán)境在業(yè)務(wù)中發(fā)揮的效益。從而得出通過發(fā)揮虛擬化技術(shù)和分布式數(shù)據(jù)環(huán)境各自的優(yōu)勢，按照需求進(jìn)行擴(kuò)容，實(shí)現(xiàn)全局共享，從而提升資源利用率。

關(guān)鍵詞：資源池；集約化；虛擬化；分布式

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）10-0208-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Provincial Meteorological Infrastructure Resource Pool Construction and Application in Business

ZHU Liang， HE Wei， ZHONG Yan-wen， OUYANG Ji-yue

（Hunan Meteorological Information Center， Changsha 410118， China）

Abstract： This paper introduces the provincial meteorological infrastructure resource pool construction and the use of virtualization， distributed computing technology， introduces the application of intensive infrastructure resource pool in meteorological service， and explains the benefits of virtualized resource pool and distributed Data environment in business. It is concluded that the advantages of virtualization technology and distributed data environment should be brought into play to expand capacity according to the demand and realize global sharing so as to improve resource utilization.

Key words： resource pool； intensive； virtualization； distributed

1 背景

隨著氣象現(xiàn)代化不斷推進(jìn)和氣象觀測預(yù)報(bào)預(yù)測業(yè)務(wù)能力不斷建設(shè)，氣象業(yè)務(wù)的快速發(fā)展，信息處理能力逐年提高，對服務(wù)器資源的需求也逐漸增大。 氣象業(yè)務(wù)系統(tǒng)一般均為7*24小時(shí)運(yùn)行，傳統(tǒng)的業(yè)務(wù)部署方式是增加一項(xiàng)業(yè)務(wù)就配備一臺或多臺服務(wù)器，往往會造成服務(wù)器資源利用率低，管理開銷大，耗電量大，運(yùn)維成本高等問題，已經(jīng)無法滿足海量業(yè)務(wù)數(shù)據(jù)存儲以及氣象資料分析處理加工的需求[1-4] 。按照信息化、集約化、標(biāo)準(zhǔn)化的理念和方式推動氣象業(yè)務(wù)現(xiàn)代化，進(jìn)行省級基礎(chǔ)設(shè)施資源池建設(shè)?；A(chǔ)設(shè)施資源池是由虛擬化、分布式計(jì)算等技術(shù)構(gòu)建的IT虛擬資源和物理資源的集合，主要滿足不同業(yè)務(wù)應(yīng)用對基礎(chǔ)設(shè)施資源的需求。

2 省級基礎(chǔ)設(shè)施資源池

基礎(chǔ)設(shè)施資源池整合各種IT硬件資源，向上層應(yīng)用系統(tǒng)提供基礎(chǔ)設(shè)施資源服務(wù)。省級基礎(chǔ)設(shè)施資源池由虛擬化池、分布式物理池池構(gòu)成。按照《氣象信息化基礎(chǔ)設(shè)施資源池建設(shè)指南》的技術(shù)指標(biāo)進(jìn)行購置和搭建，納入信息化基礎(chǔ)設(shè)施資源池進(jìn)行統(tǒng)一管理。同時(shí)通過制定《湖南省氣象局省級計(jì)算與存儲資源管理辦法（試行）》，規(guī)范省級計(jì)算與存儲資源的規(guī)劃、審批、建設(shè)、使用、運(yùn)行、維護(hù)、安全與評估等，明確省局各內(nèi)設(shè)機(jī)構(gòu)和直屬單位采購的用于各類應(yīng)用系統(tǒng)的基礎(chǔ)軟、硬件設(shè)施應(yīng)納入省級資源池的統(tǒng)一管理和調(diào)配使用，推進(jìn)基礎(chǔ)資源池集約化建設(shè)。

虛擬化資源池將服務(wù)器、存儲和網(wǎng)絡(luò)等基礎(chǔ)IT資源通過虛擬化軟件邏輯化，實(shí)現(xiàn)運(yùn)行、維護(hù)、安全與評估等，明確省局各內(nèi)設(shè)機(jī)構(gòu)和直屬單位采購的用于各類應(yīng)用系統(tǒng)的基礎(chǔ)軟、硬件設(shè)施應(yīng)納入省級資源池的統(tǒng)一管理和調(diào)配使用，推進(jìn)基礎(chǔ)資源池集約化建設(shè)。

虛擬化資源池將服務(wù)器、存儲和網(wǎng)絡(luò)等基礎(chǔ)IT資源通過虛擬化軟件邏輯化，實(shí)現(xiàn)資源的統(tǒng)籌高效利用，為上層應(yīng)用提供靈活可擴(kuò)展的基礎(chǔ)架構(gòu)。利用虛擬化軟件將一臺物理機(jī)虛擬成多個(gè)邏輯虛擬機(jī)，虛擬機(jī)從功能、性能和操作方式上等同于傳統(tǒng)的單臺物理服務(wù)器，相當(dāng)于一臺計(jì)算機(jī)同時(shí)進(jìn)行多個(gè)邏輯資源，互不影響，從而提高資源利用率，降低成本[5]。

分布式物理池通過各種分布式計(jì)算系統(tǒng)和云數(shù)據(jù)庫構(gòu)建及調(diào)度運(yùn)行，分布式系統(tǒng)是一個(gè)硬件或軟件組件分布在不同的網(wǎng)絡(luò)計(jì)算機(jī)上，彼此之間僅僅通過消息傳遞進(jìn)行通信和協(xié)調(diào)的系統(tǒng)。簡單來說就是一群獨(dú)立計(jì)算機(jī)群體共同對外提供服務(wù)，但是對系統(tǒng)用戶而言，好像是只有一臺計(jì)算機(jī)在提供服務(wù)[6]。

2.1 虛擬化技術(shù)實(shí)現(xiàn)

虛擬化資源池建設(shè)，系統(tǒng)通過在所有的服務(wù)器上安裝虛擬化軟件，服務(wù)器通過光纖交換機(jī)共享磁盤陣列搭建硬件環(huán)境，再通過集群軟件和虛擬化軟件等實(shí)現(xiàn)虛擬化。省級氣象部門虛擬化技術(shù)實(shí)現(xiàn)采用主流VMware，通過在物理機(jī)上部署ESXi系統(tǒng)，并在服務(wù)器集群中安裝虛擬化管理軟件vCenter Server實(shí)現(xiàn)所有的服務(wù)器資源實(shí)現(xiàn)共享。通過VMware vSphere Client客戶端對物理機(jī)和虛擬機(jī)進(jìn)行統(tǒng)一管理，向省級用戶提供IaaS服務(wù)。 省局成立氣象信息化集約化工作相關(guān)機(jī)構(gòu)，在省局范圍內(nèi)項(xiàng)目建設(shè)統(tǒng)一規(guī)劃，統(tǒng)籌考慮。從2014年開始，《湖南省縣級人影作業(yè)氣象業(yè)務(wù)綜合平臺省級基礎(chǔ)環(huán)境建設(shè)》，氣象監(jiān)測與災(zāi)害預(yù)警工程項(xiàng)目《省級服務(wù)器和網(wǎng)絡(luò)系統(tǒng)設(shè)備購置》《強(qiáng)對流天氣臨近預(yù)報(bào)分系統(tǒng)省級基礎(chǔ)環(huán)境建設(shè)設(shè)備采購》《集約化基礎(chǔ)設(shè)施資源池建設(shè)》等多個(gè)項(xiàng)目也已陸續(xù)納入省級虛擬化資源池，如圖1所示，根據(jù)購買的服務(wù)器情況分批次進(jìn)行擴(kuò)充，盡量保持同一個(gè)集群中服務(wù)器配置一致。

2.2 分布式技術(shù)實(shí)現(xiàn)

目前省級分布式數(shù)據(jù)環(huán)境系統(tǒng)主要有Cassandra分布式存儲系統(tǒng)的MICAPS4業(yè)務(wù)系統(tǒng)及基于Hadoop的分布式存儲系統(tǒng)的湖南氣象業(yè)務(wù)內(nèi)網(wǎng)平臺。如圖2所示，系統(tǒng)底層硬件資源采用通用x86服務(wù)器部署，同時(shí)采用內(nèi)部交換與外部訪問獨(dú)立的方式，內(nèi)部數(shù)據(jù)交換采用堆疊的兩個(gè)萬兆交換機(jī)，外部數(shù)據(jù)交換采用堆疊的兩個(gè)千兆交換機(jī)。系統(tǒng)利用分布式存儲與計(jì)算架構(gòu)大數(shù)據(jù)體系，并根據(jù)需求進(jìn)行一定封裝和訂制開發(fā)；處理后的數(shù)據(jù)根據(jù)上層應(yīng)用需要向各系統(tǒng)提供數(shù)據(jù)訂制服務(wù)和數(shù)據(jù)共享服務(wù)。

對于Cassandra分布式存儲系統(tǒng)各服務(wù)器節(jié)點(diǎn)，各節(jié)點(diǎn)保持硬盤類型、個(gè)數(shù)、容量和RAID配置完全一致。對服務(wù)器進(jìn)行RdaHat7.0操作系統(tǒng)安裝，再進(jìn)行Cassandra及DPC等相關(guān)應(yīng)用部署；而Hadoop分布式數(shù)據(jù)環(huán)境5臺服務(wù)器，操作系統(tǒng)安裝CentOS7.3，在進(jìn)行Hadoop，Hbase等相關(guān)應(yīng)用部署。

3 應(yīng)用效果

3.1 虛擬化應(yīng)用效果

當(dāng)前集約化平臺共計(jì)虛擬機(jī)26臺，虛擬化資源池已有主機(jī)26臺，CPU608核，內(nèi)存6144GB，存儲200TB，已經(jīng)整合了現(xiàn)代業(yè)務(wù)平臺、智能網(wǎng)格預(yù)報(bào)、雷電中心站、農(nóng)田小氣候、區(qū)域站中心站、內(nèi)網(wǎng)平臺等業(yè)務(wù)系統(tǒng)，總體運(yùn)行情況良好，為綜合觀測、預(yù)報(bào)預(yù)測、減災(zāi)服務(wù)等提供服務(wù)，管理界面如圖3所示。通過Vm ESXI 網(wǎng)絡(luò)支持Trunk的設(shè)置，提供跨網(wǎng)段給其他業(yè)務(wù)部門使用，如現(xiàn)代天氣業(yè)務(wù)平臺。主要有以下幾點(diǎn)優(yōu)勢：

1）省級虛擬化資源池搭建后，充分發(fā)揮虛擬化技術(shù)的HA功能、負(fù)載均衡和實(shí)時(shí)遷移等功能，保證其上的所有業(yè)務(wù)穩(wěn)定運(yùn)行。服務(wù)器集群的搭建能保證業(yè)務(wù)的連續(xù)性、可靠性和可維護(hù)性，提高服務(wù)器資源利用率；2）利用VMvare進(jìn)行服務(wù)器虛擬化后，將業(yè)務(wù)程序運(yùn)行在虛擬服務(wù)器上，一臺物理服務(wù)器承擔(dān)了原有幾臺服務(wù)器的業(yè)務(wù)量，同時(shí)能保證業(yè)務(wù)程序的正常運(yùn)行。通過VMvare vRealize Operations Manager 進(jìn)行運(yùn)行狀態(tài)查看。從服務(wù)器CPU、內(nèi)存的使用率來看，虛擬化后，服務(wù)器CPU利用率和內(nèi)存利用率均提高；3）系統(tǒng)可擴(kuò)展性，在充分利用現(xiàn)有項(xiàng)目的情況下，系統(tǒng)實(shí)現(xiàn)了服務(wù)器通過光纖交換機(jī)共享磁盤陣列搭建硬件環(huán)境。虛擬化軟件和數(shù)據(jù)庫系統(tǒng)具有可擴(kuò)展性，除了滿足項(xiàng)目需求外，預(yù)留一定的服務(wù)器資源。若有服務(wù)器資源可直接加入服務(wù)器集群，或者有新增業(yè)務(wù)，可以在該基礎(chǔ)環(huán)境之上運(yùn)行，不需要再做重復(fù)的資金投入。根據(jù)《湖南省氣象局省級計(jì)算與存儲資源管理辦法（試行）》辦法，已經(jīng)進(jìn)行多批次擴(kuò)充。

3.2 分布式應(yīng)用效果

分布式物理資源池包括17臺服務(wù)器、CPU352核、內(nèi)存3968GB、存儲222TB 。主要包含以MICAPS4和內(nèi)網(wǎng)平臺應(yīng)用為主的分布式物理資源池，系統(tǒng)運(yùn)行效果良好，為各類氣象業(yè)務(wù)系統(tǒng)提供硬件基礎(chǔ)環(huán)境，為氣象預(yù)報(bào)預(yù)測服務(wù)，氣象防災(zāi)減災(zāi)服務(wù)提供了強(qiáng)有力支撐。

3.2.1 MICAPS業(yè)務(wù)

原有MICAPS在全省的業(yè)務(wù)布局是每個(gè)站點(diǎn)配備一個(gè)接收機(jī)，一臺數(shù)據(jù)處理服務(wù)器，全省92個(gè)縣級氣象局以及14個(gè)市州氣象局。通過接收衛(wèi)星數(shù)據(jù)廣播系統(tǒng)（CMACast）廣播數(shù)據(jù)和省內(nèi)預(yù)報(bào)預(yù)警指導(dǎo)等產(chǎn)品，在數(shù)據(jù)處理服務(wù)器進(jìn)行處理得到預(yù)報(bào)所需的實(shí)況模式等資料。運(yùn)行過程中存在以下問題：1）由于受到衛(wèi)星信道傳輸誤碼、接收干擾、雨衰等因素影響，CMACast小站文件接收錯(cuò)誤或丟失情況時(shí)有發(fā)生；2）我省內(nèi)的市（州）、縣級CMACast小站由于設(shè)備故障、技術(shù)服務(wù)不到位等原因，影響了資料接收的完整性，給預(yù)報(bào)業(yè)務(wù)和服務(wù)業(yè)務(wù)帶來了直接影響；3）每個(gè)站點(diǎn)都要設(shè)備維護(hù)，數(shù)據(jù)維護(hù)，重復(fù)工作量偏大，加大了基層維護(hù)困難。

基于CASSANDRA的MICAPS4分布式數(shù)據(jù)環(huán)境以CIMISS為基礎(chǔ)，接入了包括T639、歐洲中心、德國、日本數(shù)值預(yù)報(bào)及模式產(chǎn)品，以及衛(wèi)星、雷達(dá)、高空地面資料等在內(nèi)的多種氣象數(shù)據(jù)，建立了省市縣三級共用的統(tǒng)一的數(shù)據(jù)環(huán)境，為全省各類業(yè)務(wù)提供數(shù)據(jù)支撐，其界面如圖4所示；處理服務(wù)器從全省的100多臺到集中省級8臺，提高了實(shí)時(shí)氣象數(shù)據(jù)存儲效率與檢索速度，實(shí)現(xiàn)了市縣氣象局?jǐn)?shù)據(jù)環(huán)境“零維護(hù)”， 解決了基層氣象部門低水平重復(fù)開展數(shù)據(jù)加工處理問題[7]。

3.2.2 湖南省氣象業(yè)務(wù)內(nèi)網(wǎng)平臺

基于Hadoop湖南氣象業(yè)務(wù)內(nèi)網(wǎng)平臺部署在省級，面向省-市-縣三級用戶提供統(tǒng)一的數(shù)據(jù)產(chǎn)品和共享服務(wù)，提供省內(nèi)實(shí)時(shí)觀測、預(yù)報(bào)預(yù)警、氣候業(yè)務(wù)、氣象信息業(yè)務(wù)等氣象信息與產(chǎn)品的一站式可視化展示，其界面如圖5所示。

內(nèi)網(wǎng)平臺將會商視頻點(diǎn)播、城鎮(zhèn)預(yù)報(bào)降水/氣溫/風(fēng)預(yù)報(bào)檢驗(yàn)及評分結(jié)果查詢、自動站降水實(shí)況與統(tǒng)計(jì)等功能移植整合，逐步取代會商視頻點(diǎn)播、城鎮(zhèn)預(yù)報(bào)質(zhì)量檢驗(yàn)、中小尺度天氣資料應(yīng)用系統(tǒng)等功能單一的業(yè)務(wù)系統(tǒng)。內(nèi)網(wǎng)平臺根據(jù)業(yè)務(wù)特點(diǎn)，聚合數(shù)據(jù)和服務(wù)，計(jì)算、存儲資源向省級集中，通信資源向外延伸，形成 “一級部署、多級應(yīng)用”的業(yè)務(wù)布局。以省級為核心，省市縣三級應(yīng)用的模式，減少了基層氣象部門設(shè)備及運(yùn)維成本，實(shí)現(xiàn)了業(yè)務(wù)扁平化。

4 結(jié)束語

省級氣象基礎(chǔ)設(shè)施資源池建設(shè)充分發(fā)揮虛擬化技術(shù)和分布式數(shù)據(jù)環(huán)境的優(yōu)勢，按照需求進(jìn)行擴(kuò)容，實(shí)現(xiàn)全局共享，從而提升了服務(wù)器資源利用率?？傮w得出以下結(jié)論：

1）省級成立氣象信息化集約化工作相關(guān)機(jī)構(gòu)，同時(shí)制定《湖南省氣象局省級計(jì)算與存儲資源管理辦法（試行）》，項(xiàng)目建設(shè)統(tǒng)一規(guī)劃，統(tǒng)籌考慮。通過提前規(guī)劃、采購并部署所需資源或能力，并通過各種虛擬化、分布式技術(shù)實(shí)現(xiàn)資源和能力的池化，在實(shí)際業(yè)務(wù)需求到來時(shí)將池化的資源按需分配給業(yè)務(wù)使用。

2）針對各類中心站，WEB應(yīng)用，數(shù)據(jù)存儲等單一、小而散應(yīng)用服務(wù)，充分發(fā)揮虛擬化技術(shù)的HA功能、負(fù)載均衡和實(shí)時(shí)遷移等功能，提高資源利用率。

3）針對MICAPS4及氣象業(yè)務(wù)內(nèi)網(wǎng)平臺的計(jì)算和IO高的實(shí)時(shí)業(yè)務(wù)采用分布式數(shù)據(jù)環(huán)境，通過統(tǒng)一的數(shù)據(jù)平臺，實(shí)現(xiàn)了市縣兩級運(yùn)維人員對該系統(tǒng)“零”維護(hù)，為氣象預(yù)報(bào)預(yù)測服務(wù)，氣象防災(zāi)減災(zāi)服務(wù)提供了強(qiáng)有力支撐[7]。

參考文獻(xiàn)：

[1] 羅林艷，張繼光，劉曉波等.基于 Hyper-V 的湖南氣象信息業(yè)務(wù)系統(tǒng)虛擬化實(shí)現(xiàn)[J]，安徽農(nóng)業(yè)科學(xué).2017，45（ 6） ： 198-199，204.

[2] 汪華，黃笞，方斌.貴州省氣象信息業(yè)務(wù)系統(tǒng)的虛擬化實(shí)現(xiàn)[J].成都信息工程學(xué)院學(xué)報(bào)，2012，27（ 2） ： 186-191.

[3] 劉國宏，余東昌，劉旭林.等.虛擬化技術(shù)在氣象業(yè)務(wù)中的應(yīng)用[J].計(jì)算技術(shù)與自動化，2013，32（ 4） ： 119-122.

[4] 聶元丁.基于云計(jì)算的國家級氣象資源池設(shè)計(jì)與建設(shè)[J].計(jì)算機(jī)技術(shù)與發(fā)展.2018.12.

[5] 俞辰鳴.淺析VMware虛擬化技術(shù)在民航氣象系統(tǒng)中的應(yīng)用[J].信息通信.2018，02：179-180.

[6] 張建輝.基于分布式技術(shù)的氣象預(yù)報(bào)業(yè)務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].南京，東南大學(xué).2018.

[7] 楊芳，金琪，邢麗平，等 .基于Cassandra 的實(shí)時(shí)氣象數(shù)據(jù)分布式存儲系統(tǒng)[J].陜西氣象，2017（4）：26-30.

【通聯(lián)編輯：梁書】