基于“微服務(wù)+分布式”架構(gòu)的公共氣象服務(wù)數(shù)據(jù)支撐系統(tǒng)研究

林孔杰　夏利娜　汪春輝　 陳玉吉

摘? 要： 氣象服務(wù)數(shù)據(jù)規(guī)模隨著精細(xì)化、多元化服務(wù)要求的提升，加之各氣象服務(wù)系統(tǒng)集約化程度不高、并發(fā)訪(fǎng)問(wèn)能力不足，對(duì)氣象數(shù)據(jù)的處理和應(yīng)用形成了新的挑戰(zhàn)。本研究基于“微服務(wù)+分布式”架構(gòu)，采用數(shù)據(jù)采集和處理相分離方式完成數(shù)據(jù)存儲(chǔ)入庫(kù);開(kāi)發(fā)了多源數(shù)據(jù)融合模型完成對(duì)多源數(shù)據(jù)的融合，并生成氣象服務(wù)統(tǒng)一接口提供對(duì)外氣象數(shù)據(jù)服務(wù)。系統(tǒng)實(shí)現(xiàn)了氣象服務(wù)產(chǎn)品的采集、供給標(biāo)準(zhǔn)化，為用戶(hù)提供了安全、及時(shí)、高效的數(shù)據(jù)服務(wù)。

關(guān)鍵詞： 分布式; 微服務(wù); 數(shù)據(jù)支撐; 氣象服務(wù)

中圖分類(lèi)號(hào)：P409;TP311.1? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2022）05-138-03

Research on public meteorological service data support system based on

"micro service + distribution" architecture

Lin Kongjie， Xia Lina， Wang Chunhui， Chen Yuji

Abstract： Meteorological service data increases with the improvement of refined and diversified service requirements. However， the intensification of each meteorological service system is scattered， and the concurrent access capability is insufficient， which forms new challenges to the processing and application of meteorological data. Based on the "microservice + distributed" architecture， data storage are completed by separating data acquisition and processing， and a multi-source data fusion model is developed to complete the fusion of multi-source data. A unified interface for meteorological services is generated to provide external meteorological data services. In this system， the standardization of the collection and supply of meteorological service products is realized. It provides users with safe， timely and efficient data services.

Key words： distribution; micro services; data support; meteorological service

引言

隨著氣象現(xiàn)代化、信息化業(yè)務(wù)快速發(fā)展，氣象服務(wù)業(yè)務(wù)涉及面漸廣，交通、林業(yè)、電力、農(nóng)業(yè)等行業(yè)氣象服務(wù)飛速發(fā)展，部門(mén)間的數(shù)據(jù)交互日漸頻繁，如何充分釋放數(shù)據(jù)價(jià)值而又避免計(jì)算資源浪費(fèi)，并且支撐系統(tǒng)能夠安全、穩(wěn)定、高效，是個(gè)挑戰(zhàn)。迫切需要建立一個(gè)安全、高效、集約的數(shù)據(jù)支撐平臺(tái)，能夠?yàn)楦鳉庀蠓?wù)平臺(tái)（系統(tǒng)）提供產(chǎn)品支撐，為各地市氣象部門(mén)、行業(yè)部門(mén)間數(shù)據(jù)交互融合提供數(shù)據(jù)支撐。

目前，國(guó)內(nèi)外專(zhuān)家針對(duì)氣象數(shù)據(jù)產(chǎn)品的存儲(chǔ)、分析、應(yīng)用等進(jìn)行了大量研究，各省氣象部門(mén)對(duì)氣象服務(wù)數(shù)據(jù)支撐涵蓋了氣象基礎(chǔ)數(shù)據(jù)、行業(yè)專(zhuān)項(xiàng)數(shù)據(jù)等采集、解析、入庫(kù)、服務(wù)、監(jiān)控管理。李波等[1]基于SOA、分布式存儲(chǔ)等技術(shù)設(shè)計(jì)了氣象數(shù)據(jù)共享平臺(tái)，朱亮等[2]基于分布式技術(shù)設(shè)計(jì)的農(nóng)業(yè)氣象大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)了對(duì)農(nóng)業(yè)氣象數(shù)據(jù)的收集、存儲(chǔ)和應(yīng)用，郭慶燕等[3]，利用消息中間件、WebGIS等技術(shù)開(kāi)發(fā)的氣象數(shù)據(jù)應(yīng)用服務(wù)系統(tǒng)為決策服務(wù)提供了可靠的數(shù)據(jù)依據(jù)。而面向服務(wù)用戶(hù)的大并發(fā)量訪(fǎng)問(wèn)、中臺(tái)式服務(wù)管理、流式計(jì)算、同類(lèi)產(chǎn)品多源融合等問(wèn)題尚待解決[4-6]，另外，基于傳統(tǒng)方式對(duì)氣象影視制播等業(yè)務(wù)的數(shù)據(jù)支撐已無(wú)法滿(mǎn)足融媒體中心需求[7]。

本文旨在闡述利用信息化技術(shù)，結(jié)合公眾、決策、行業(yè)及融媒體等不同服務(wù)類(lèi)型對(duì)服務(wù)產(chǎn)品、渠道、方式、應(yīng)用場(chǎng)景等需求，構(gòu)建多源數(shù)據(jù)融合模型，再造業(yè)務(wù)流程，實(shí)現(xiàn)氣象服務(wù)數(shù)據(jù)的采集、處理、存儲(chǔ)、分析和應(yīng)用等功能。系統(tǒng)實(shí)現(xiàn)了氣象服務(wù)數(shù)據(jù)的“縱向互通、橫向互聯(lián)”，形成以“用戶(hù)為中心”，“服務(wù)為靶向”的格局，不但有利于氣象服務(wù)提升業(yè)務(wù)創(chuàng)新能力和智慧服務(wù)技術(shù)水平，也將進(jìn)一步提升福建省氣象部門(mén)防災(zāi)減災(zāi)系統(tǒng)建設(shè)格局。

1 關(guān)鍵技術(shù)

1.1 基于Kafka的流式計(jì)算

Kafka[8]是一種高吞吐量的分布式流式處理系統(tǒng)，本研究利用Kafka系統(tǒng)處理活躍的流式數(shù)據(jù)，針對(duì)氣象服務(wù)數(shù)據(jù)的采集需求，配置千量級(jí)不同連接器，實(shí)現(xiàn)數(shù)據(jù)源（含F(xiàn)TP、CIMISS接口等）到支撐系統(tǒng)的分布式采集。本研究采用有序方式記錄信息（不受內(nèi)存限制），接收信息持久化到硬盤(pán)，接收和消費(fèi)互不影響，大大提高IO效率。其主要優(yōu)勢(shì)有消息持久化、高吞吐量、高并發(fā)、分布式、容錯(cuò)性、實(shí)時(shí)性。

1.2 微服務(wù)架構(gòu)技術(shù)

微服務(wù)架構(gòu)[9]（Microservice Architecture），是指將一個(gè)大型復(fù)雜軟件應(yīng)用拆分成獨(dú)立的組件（服務(wù)），每個(gè)組件執(zhí)行一項(xiàng)專(zhuān)門(mén)的任務(wù)。本研究使用微服務(wù)架構(gòu)旨在通過(guò)將功能分解到各個(gè)離散的服務(wù)中以實(shí)現(xiàn)對(duì)解決方案的解耦。將功能分解到離散的各個(gè)服務(wù)當(dāng)中，從而降低系統(tǒng)的耦合性，并提供更加靈活的服務(wù)支持。

1.3 API網(wǎng)關(guān)服務(wù)

本研究開(kāi)發(fā)API網(wǎng)關(guān)[10]服務(wù)保障應(yīng)用安全，該網(wǎng)關(guān)采用集群模式部署，利用負(fù)載均衡、API全托管服務(wù)功能提供高并發(fā)訪(fǎng)問(wèn)和穩(wěn)定性，且網(wǎng)關(guān)服務(wù)中實(shí)現(xiàn)了動(dòng)態(tài)路由、身份認(rèn)證、安全控制以及限流。設(shè)置動(dòng)態(tài)路由可以自動(dòng)適應(yīng)網(wǎng)絡(luò)狀態(tài)的變化，自動(dòng)維護(hù)路由信息;進(jìn)行身份認(rèn)證，防止非授權(quán)用戶(hù)訪(fǎng)問(wèn)敏感數(shù)據(jù)，對(duì)每個(gè)外部請(qǐng)求進(jìn)行用戶(hù)認(rèn)證，拒絕沒(méi)有通過(guò)認(rèn)證的請(qǐng)求，并且通過(guò)訪(fǎng)問(wèn)模式分析，實(shí)現(xiàn)反爬蟲(chóng)功能;采用服務(wù)限流，可以穩(wěn)定服務(wù)、減輕網(wǎng)絡(luò)負(fù)擔(dān)，保護(hù)后臺(tái)服務(wù)不被大流量沖垮。

2 總體設(shè)計(jì)

該系統(tǒng)堅(jiān)持氣象服務(wù)數(shù)據(jù)全流程協(xié)調(diào)、開(kāi)放、共享服務(wù)理念，重構(gòu)功能框架，再造數(shù)據(jù)流程，強(qiáng)化應(yīng)用安全，總體架構(gòu)設(shè)計(jì)包含基礎(chǔ)設(shè)施層、數(shù)據(jù)資源層、應(yīng)用支撐層、應(yīng)用層和展示層。

⑴ 基礎(chǔ)設(shè)施層：基礎(chǔ)設(shè)施層是用于支撐項(xiàng)目系統(tǒng)的軟硬件環(huán)境。包括系統(tǒng)建設(shè)支撐的網(wǎng)絡(luò)設(shè)備、主機(jī)與服務(wù)器以及存儲(chǔ)設(shè)備。

⑵ 數(shù)據(jù)資源層：數(shù)據(jù)資源層用于存儲(chǔ)數(shù)據(jù)量相對(duì)穩(wěn)定的各類(lèi)數(shù)據(jù)資源，支持氣象服務(wù)產(chǎn)品支撐系統(tǒng)的軟件運(yùn)行。包括結(jié)構(gòu)化數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化數(shù)據(jù)庫(kù)和第三方資源庫(kù)。

⑶ 應(yīng)用支撐層：應(yīng)用支撐層主要為應(yīng)用層提供基礎(chǔ)支撐和通用的服務(wù)組件。包括工作流引擎、全文檢索、權(quán)限管理、數(shù)據(jù)分析及展示等應(yīng)用支撐中間件。

⑷ 應(yīng)用層：在數(shù)據(jù)資源層和應(yīng)用支撐層的基礎(chǔ)上，建設(shè)各類(lèi)應(yīng)用服務(wù)對(duì)接平臺(tái)。建設(shè)模塊包括綜合監(jiān)控模塊、數(shù)據(jù)匯聚模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)服務(wù)模塊、數(shù)據(jù)運(yùn)維等模塊以及對(duì)采集解析處理服務(wù)的一鍵式、多手段發(fā)布與治理。

⑸ 展示層：在數(shù)據(jù)完備的基礎(chǔ)上，針對(duì)用戶(hù)所需提供多元化的數(shù)據(jù)服務(wù)支撐;并監(jiān)測(cè)產(chǎn)品處理、對(duì)外服務(wù)等狀態(tài)。

3 系統(tǒng)功能設(shè)計(jì)

系統(tǒng)實(shí)現(xiàn)了地面、高空、海洋、雷達(dá)、氣象影視等氣象數(shù)據(jù)的采集、加工、融合，生成的產(chǎn)品為上層應(yīng)用提供標(biāo)準(zhǔn)應(yīng)用接口，整個(gè)節(jié)點(diǎn)數(shù)據(jù)流輔以全流程監(jiān)控。整體業(yè)務(wù)功能處置流程如圖1。系統(tǒng)的功能主要如下。

⑴ 數(shù)據(jù)匯聚處理：基于分布式的設(shè)計(jì)及技術(shù)理念，利用數(shù)據(jù)抽取、消息服務(wù)、文件交換等技術(shù)手段，解決數(shù)據(jù)產(chǎn)品采集過(guò)程中時(shí)面臨的分散孤立、源頭多樣、跨網(wǎng)傳輸?shù)葐?wèn)題，為數(shù)據(jù)資源的匯聚集中、統(tǒng)一標(biāo)準(zhǔn)化處理提供源數(shù)據(jù)支撐。

⑵ 自動(dòng)匹配流式加工：對(duì)采集完成的各類(lèi)數(shù)據(jù)產(chǎn)品按照實(shí)際需要進(jìn)行分析、處理、算法實(shí)現(xiàn)、再加工等，通過(guò)選擇或者自定義編寫(xiě)數(shù)據(jù)解析策略（如MICAPS格式等），進(jìn)行自動(dòng)的解析處理。

⑶ 同類(lèi)數(shù)據(jù)多源融合：將多種數(shù)據(jù)產(chǎn)品進(jìn)行融合，生成出新的產(chǎn)品。同源產(chǎn)品融合將所屬同源的產(chǎn)品，進(jìn)行采集入庫(kù)后，根據(jù)入庫(kù)時(shí)間、設(shè)置產(chǎn)品優(yōu)先級(jí)，選取符合條件的產(chǎn)品作為輸出的融合產(chǎn)品;不同源產(chǎn)品融合，將各種產(chǎn)品采集入庫(kù)后，抽取符合要求的各類(lèi)數(shù)據(jù)，按設(shè)定的模型進(jìn)行融合，形成新的產(chǎn)品進(jìn)行輸出。

⑷ 多渠道產(chǎn)品服務(wù)：利用負(fù)載均衡模式，提供分布式數(shù)據(jù)接口服務(wù)。建立完整的服務(wù)體系，通過(guò)服務(wù)配置，將采集后的產(chǎn)品以ftp、流式、網(wǎng)絡(luò)接口方式進(jìn)行服務(wù)的配發(fā);對(duì)服務(wù)對(duì)象進(jìn)行系統(tǒng)的管理，設(shè)置服務(wù)權(quán)限，收集服務(wù)反饋。

⑸ 全流程監(jiān)控管理：監(jiān)控系統(tǒng)各節(jié)點(diǎn)數(shù)據(jù)流，利用圖表形式直觀展示采集、解析、融合、服務(wù)等各流程節(jié)點(diǎn)狀態(tài);采集系統(tǒng)各操作日志及數(shù)據(jù)庫(kù)、服務(wù)器運(yùn)行日志，根據(jù)性能、網(wǎng)絡(luò)和IO擁堵等情況實(shí)施聲光、短信聲訊提醒，第一時(shí)間定位問(wèn)題，便于跟蹤排查和處置。

4 系統(tǒng)分析與應(yīng)用概況

4.1 性能檢驗(yàn)

為了驗(yàn)證系統(tǒng)的支撐性能，分別從并發(fā)能力，采集響應(yīng)，解析執(zhí)行時(shí)間等方面，以224個(gè)國(guó)家級(jí)地面考核站點(diǎn)實(shí)況數(shù)據(jù)文件為測(cè)試對(duì)象，測(cè)試情況如表1所示。

通過(guò)系統(tǒng)測(cè)試，結(jié)果數(shù)據(jù)表明該系統(tǒng)具備了較好的性能，能夠滿(mǎn)足氣象服務(wù)業(yè)務(wù)需求。

4.2 應(yīng)用概況

目前，氣象服務(wù)產(chǎn)品支撐系統(tǒng)建設(shè)已初具規(guī)模，目前已實(shí)現(xiàn)七大類(lèi)、678項(xiàng)產(chǎn)品數(shù)據(jù)交匯服務(wù)，服務(wù)22個(gè)行業(yè)用戶(hù)，涉及氣象、林火、交通、農(nóng)業(yè)等各行業(yè)，實(shí)現(xiàn)了數(shù)據(jù)接口個(gè)性化定制服務(wù)，為各個(gè)系統(tǒng)及平臺(tái)提供標(biāo)準(zhǔn)化、專(zhuān)業(yè)化的服務(wù)產(chǎn)品支撐。

5 結(jié)束語(yǔ)

本文采用了分布式、微服務(wù)等主流技術(shù)，打造了一個(gè)安全、高效、集約的公共氣象服務(wù)產(chǎn)品支撐系統(tǒng)。系統(tǒng)構(gòu)建了產(chǎn)品采集模式的標(biāo)準(zhǔn)化模型，規(guī)劃行業(yè)產(chǎn)品的標(biāo)準(zhǔn)化接入，匯聚行業(yè)應(yīng)用產(chǎn)品系統(tǒng)/平臺(tái)產(chǎn)品，實(shí)現(xiàn)標(biāo)準(zhǔn)、集約的產(chǎn)品匯聚及行業(yè)應(yīng)用產(chǎn)品的快速信息化支撐。為各氣象服務(wù)業(yè)務(wù)提供數(shù)據(jù)環(huán)境和技術(shù)支撐，為拓展公眾、行業(yè)等氣象服務(wù)提供了堅(jiān)實(shí)基礎(chǔ)。

參考文獻(xiàn)（References）：

[1] 李波，杜景林，李正方.基于SOA的氣象數(shù)據(jù)共享平臺(tái)研究[J].

電子設(shè)計(jì)工程，2019，27（4）：25-29

[2] 朱亮，鐘艷雯，賀煒，等.基于分布式的農(nóng)業(yè)氣象大數(shù)據(jù)平臺(tái)

設(shè)計(jì)與實(shí)現(xiàn)[J].湖北農(nóng)業(yè)科學(xué)，2019，58（6）：128-130

[3] 郭慶燕，楊暉，張敏，等.氣象數(shù)據(jù)應(yīng)用服務(wù)系統(tǒng)的研究[J].

計(jì)算機(jī)應(yīng)用與軟件，2018，35（2）：107-111

[4] 蔣晨晨，季一木，孫雁飛，等.基于Storm的面向大數(shù)據(jù)實(shí)時(shí)流

查詢(xún)系統(tǒng)設(shè)計(jì)研究[J].南京郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，36（3）：100-105

[5] 朱濤，郭進(jìn)偉，周歡，等.分布式數(shù)據(jù)庫(kù)中一致性與可用性的

關(guān)系[J].軟件學(xué)報(bào)，2018，29（1）：134-149

[6] 王建榮，華連生等.數(shù)值預(yù)報(bào)產(chǎn)品分布式處理與存儲(chǔ)系統(tǒng)

設(shè)計(jì)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2018，28（2）：167-172

[7]丁海清，黃瑩霞.融媒體時(shí)代氣象服務(wù)信息傳播渠道的變革[J].

信息記錄材料，2021，22（4）：36-38

[8] 謝文康.Kafka流式計(jì)算性能優(yōu)化算法研究[D].南京郵電

大學(xué)，2020

[9] 辛園園，鈕俊，謝志軍，張開(kāi)樂(lè)，毛昕怡.微服務(wù)體系結(jié)構(gòu)實(shí)現(xiàn)

框架綜述[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（19）：10-17

[10] 莊夏.API網(wǎng)關(guān)架構(gòu)設(shè)計(jì)實(shí)例[J].信息系統(tǒng)工程，2018（5）：

99-100

收稿日期：2021-11-05

作者簡(jiǎn)介：林孔杰（1994-），男，福建平潭人，碩士研究生，主要研究方向：氣象服務(wù)與應(yīng)用氣象。