氣象大數(shù)據(jù)云平臺(tái)對(duì)高校氣象數(shù)據(jù)調(diào)用的影響分析及解決思路
——以蘭州資源環(huán)境職業(yè)技術(shù)大學(xué)為例＊

蘭州資源環(huán)境職業(yè)技術(shù)大學(xué) 金慶忠

氣象大數(shù)據(jù)云平臺(tái)（簡(jiǎn)稱：天擎）是一個(gè)可提供數(shù)算一體云上計(jì)算服務(wù)的平臺(tái)，各氣象業(yè)務(wù)系統(tǒng)融入后，相關(guān)氣象數(shù)據(jù)的訪問、各類氣象資料和產(chǎn)品調(diào)用方式發(fā)生了一定的變化，對(duì)高校使用相關(guān)氣象業(yè)務(wù)資料進(jìn)行實(shí)踐教學(xué)和科研產(chǎn)生了一定影響。文章以蘭州資源環(huán)境職業(yè)技術(shù)大學(xué)氣象數(shù)據(jù)調(diào)用情況為例，通過分析高校氣象資料獲取的現(xiàn)狀及存在的主要問題，提出了相關(guān)解決思路，為高校利用氣象大數(shù)據(jù)云平臺(tái)進(jìn)行實(shí)踐教學(xué)和科學(xué)研究提供參考。

《氣象高質(zhì)量發(fā)展綱要（2022-2035 年》指出，氣象事業(yè)是科技型、基礎(chǔ)性、先導(dǎo)性的社會(huì)公益事業(yè)，氣象工作關(guān)系生命安全、生產(chǎn)發(fā)展、生活富裕、生態(tài)良好[1]。當(dāng)前，我國(guó)氣象部門已累計(jì)海量的數(shù)據(jù)資料，根據(jù)《綱要》的要求，氣象監(jiān)測(cè)更加精密，各類多源數(shù)據(jù)廣泛匯集，氣象數(shù)據(jù)將呈現(xiàn)持續(xù)爆炸式增長(zhǎng)的情況。據(jù)初步統(tǒng)計(jì)，2022 年各類氣象數(shù)據(jù)已達(dá)到200PB 以上，日增量約40TB，雖然氣象部門已經(jīng)開發(fā)了全國(guó)綜合氣象信息共享平臺(tái)（CIMISS），但各業(yè)務(wù)單位、業(yè)務(wù)系統(tǒng)間仍存在“信息孤島”“應(yīng)用煙囪”、用戶暴力檢索、ICE 中間件高并發(fā)狀態(tài)下的穩(wěn)定性和數(shù)據(jù)安全性等問題[2,3]。為適應(yīng)大數(shù)據(jù)時(shí)代，推動(dòng)氣象數(shù)據(jù)資源整合共享、促進(jìn)氣象業(yè)務(wù)集約化發(fā)展，構(gòu)建新型氣象業(yè)務(wù)技術(shù)體制，中國(guó)氣象局組織開發(fā)了氣象大數(shù)據(jù)云平臺(tái)（“天擎”）。

1 氣象大數(shù)據(jù)云平臺(tái)概述

1.1 氣象大數(shù)據(jù)云平臺(tái)的功能

氣象大數(shù)據(jù)云平臺(tái)采用云計(jì)算、大數(shù)據(jù)、人工智能等新型信息技術(shù)，提供數(shù)算一體的云上計(jì)算服務(wù)，支持智能預(yù)報(bào)和服務(wù)系統(tǒng)研發(fā)，并可基于統(tǒng)一的標(biāo)準(zhǔn)規(guī)范實(shí)現(xiàn)本地化業(yè)務(wù)融入?！疤烨妗本邆浜Ａ繑?shù)據(jù)存儲(chǔ)、全業(yè)務(wù)貫通、數(shù)據(jù)應(yīng)用高效的能力，可直接支撐天氣、氣候預(yù)測(cè)、大氣探測(cè)、公共氣象服務(wù)、人工影響天氣等各類氣象應(yīng)用的云化融入，形成“云+端”的應(yīng)用生態(tài)[4]。

氣象大數(shù)據(jù)云平臺(tái)的氣象數(shù)據(jù)服務(wù)接口繼承了CIMISS的氣象數(shù)據(jù)統(tǒng)一服務(wù)接口（MUSIC，Meteorological Unified Service Interface Community），基于數(shù)據(jù)環(huán)境，為國(guó)、省、市、縣四級(jí)氣象業(yè)務(wù)和科研用戶提供標(biāo)準(zhǔn)化的數(shù)據(jù)訪問服務(wù)以及應(yīng)用編程接口。新增服務(wù)接口網(wǎng)關(guān)管理，實(shí)現(xiàn)用戶認(rèn)證、流量控制、服務(wù)路由、復(fù)雜均衡管理；新增TDS 服務(wù)能力，新增格點(diǎn)資料矢量場(chǎng)、數(shù)據(jù)塊檢索接口和格點(diǎn)數(shù)據(jù)、數(shù)據(jù)塊寫入接口、歸檔取回接口等，為用戶提供全面的數(shù)據(jù)獲取功能的同時(shí)，又實(shí)現(xiàn)了數(shù)據(jù)安全升級(jí)。針對(duì)氣象應(yīng)用系統(tǒng)，為用戶提供客戶端SDK 服務(wù)、REST 服務(wù)、TDS 服務(wù)、腳本調(diào)用服務(wù)、眾創(chuàng)接口服務(wù)等五種方式，適用C、C++、CS、Fortran、Java、Python、Script 等開發(fā)語(yǔ)言開發(fā)環(huán)境[5]。

1.2 氣象大數(shù)據(jù)云平臺(tái)的框架

天擎系統(tǒng)的本質(zhì)特征是“云+端”。“云”即氣象大數(shù)據(jù)云平臺(tái)，負(fù)責(zé)統(tǒng)籌管理觀測(cè)、預(yù)報(bào)、服務(wù)、政務(wù)、行業(yè)、社會(huì)等完整權(quán)威的地球系統(tǒng)大數(shù)據(jù)，集成質(zhì)量控制、統(tǒng)計(jì)加工、預(yù)測(cè)預(yù)報(bào)預(yù)警等全流程業(yè)務(wù)產(chǎn)品算法，統(tǒng)一產(chǎn)品加工流水線，提供“數(shù)據(jù)、算力、算法”三統(tǒng)一的平臺(tái)化服務(wù)?！岸恕卑ǜ黝愑^測(cè)、預(yù)報(bào)預(yù)測(cè)、服務(wù)、管理等業(yè)務(wù)系統(tǒng)，也包括計(jì)算機(jī)、手機(jī)、各種傳感器等硬件終端及其軟件終端程序，氣象大數(shù)據(jù)云平臺(tái)結(jié)構(gòu)框圖如圖1 所示。

1.3 氣象大數(shù)據(jù)云平臺(tái)應(yīng)用情況

2021 年12 月，“天擎”系統(tǒng)正式投入業(yè)務(wù)化運(yùn)行，全面取代CIMISS，所有原始觀測(cè)數(shù)據(jù)、歷史歸檔數(shù)據(jù)、各類數(shù)據(jù)集及交匯數(shù)據(jù)等已經(jīng)全部對(duì)接到“天擎”系統(tǒng)，主要涵蓋地面、高空、海洋、輻射、農(nóng)業(yè)氣象、數(shù)值預(yù)報(bào)雷達(dá)、衛(wèi)星等14 大類614 種資料3000 多億氣象記錄；以及地面基礎(chǔ)氣象數(shù)據(jù)產(chǎn)品、高空常規(guī)氣象觀測(cè)數(shù)據(jù)產(chǎn)品、實(shí)況分析和再分析產(chǎn)品、天氣實(shí)況產(chǎn)品，同時(shí)，還有臺(tái)風(fēng)、海洋、強(qiáng)對(duì)流等各類氣象產(chǎn)品。

截至2022 年底，全國(guó)氣候監(jiān)測(cè)預(yù)測(cè)分析系統(tǒng)（CIPAS）、西北區(qū)域人工影響天氣作業(yè)指揮軟件系統(tǒng)、氣象信息綜合處理系統(tǒng)（MICPAS）、綜合氣象觀測(cè)業(yè)務(wù)運(yùn)行信息化平臺(tái)（“天元”）、各省氣象預(yù)報(bào)服務(wù)業(yè)務(wù)一體化平臺(tái)等共計(jì)132 個(gè)應(yīng)用系統(tǒng)融入“天擎”。各氣象業(yè)務(wù)系統(tǒng)與“天擎”系統(tǒng)深度融合后，“天擎”系統(tǒng)可將氣象行業(yè)數(shù)據(jù)與算法資源整合，使算法向數(shù)據(jù)靠攏，減少中間環(huán)節(jié)，優(yōu)化流程，實(shí)現(xiàn)數(shù)據(jù)、技術(shù)、業(yè)務(wù)融合，使系統(tǒng)更加集約，數(shù)據(jù)源更加明確、數(shù)據(jù)流程更加清晰、數(shù)據(jù)處理更加快捷、數(shù)據(jù)服務(wù)更加高效，從而解決過去各業(yè)務(wù)系統(tǒng)反復(fù)調(diào)用、存儲(chǔ)、傳輸帶來的冗余問題[6]。業(yè)務(wù)系統(tǒng)融入后，系統(tǒng)的運(yùn)維管理直接交給專業(yè)運(yùn)維團(tuán)隊(duì)，可以使氣象業(yè)務(wù)監(jiān)控更加集中統(tǒng)一，業(yè)務(wù)單位可以更加聚焦業(yè)務(wù)本身，壓力大大減輕，從而促進(jìn)氣象觀測(cè)、預(yù)報(bào)、服務(wù)、管理業(yè)務(wù)高效協(xié)同，推進(jìn)氣象事業(yè)高質(zhì)量發(fā)展。

2 高校氣象資料獲取現(xiàn)狀

職業(yè)教育的特色之一是產(chǎn)教融合發(fā)展。產(chǎn)教融合、校企合作是辦好職業(yè)教育的關(guān)鍵[7]。為有效實(shí)現(xiàn)職業(yè)教育“教學(xué)過程與生產(chǎn)過程對(duì)接”，構(gòu)建“校中廠”，搭建真實(shí)氣象業(yè)務(wù)平臺(tái)，服務(wù)高職氣象院校進(jìn)行氣象業(yè)務(wù)實(shí)踐教學(xué)與科研開發(fā)，2015 年蘭州資源環(huán)境職業(yè)技術(shù)大學(xué)與甘肅省氣象局共建了氣象數(shù)據(jù)共享平臺(tái)，由甘肅省氣象局通過網(wǎng)絡(luò)專線向蘭州資源環(huán)境職業(yè)技術(shù)大學(xué)提供氣象數(shù)據(jù)資料。

氣象數(shù)據(jù)共享平臺(tái)主要基于CIMISS 平臺(tái)的通信系統(tǒng)進(jìn)行氣象數(shù)據(jù)的分發(fā)傳輸，網(wǎng)絡(luò)帶寬為10M。高校教師主要利用本地部署的MICAPS 系統(tǒng)調(diào)取獲取的地面觀測(cè)資料、高空觀測(cè)資料、輻射資料、農(nóng)業(yè)氣象觀測(cè)資料、數(shù)值預(yù)報(bào)、天氣雷達(dá)探測(cè)資料（基數(shù)據(jù)）、衛(wèi)星云圖、土壤墑情、大氣成分、風(fēng)廓線資料等氣象基礎(chǔ)數(shù)據(jù)開展學(xué)生日常教學(xué)實(shí)習(xí)、實(shí)訓(xùn)，使用部分基礎(chǔ)氣象數(shù)據(jù)、氣象產(chǎn)品等開展科學(xué)研究。

“天擎”投入業(yè)務(wù)運(yùn)行后，原有CIMISS 系統(tǒng)停用，“天擎”系統(tǒng)雖然繼承了CIMISS 的原有基礎(chǔ)[4-6,8]，但由于架構(gòu)及調(diào)用方式較CIMISS 有較大的區(qū)別，對(duì)氣象類職業(yè)院校調(diào)用氣象數(shù)據(jù)資料和氣象產(chǎn)品應(yīng)用于實(shí)踐教學(xué)和科研產(chǎn)生了一定的影響。

3 高校氣象數(shù)據(jù)獲取存在的主要問題

文章以蘭州資源環(huán)境職業(yè)技術(shù)大學(xué)為例介紹氣象數(shù)據(jù)資料獲取存在的主要問題。

3.1 氣象數(shù)據(jù)傳輸帶寬的問題

目前，甘肅省氣象局與蘭州資源環(huán)境職業(yè)技術(shù)大學(xué)之間的氣象信息傳輸帶寬僅有10M，隨著“天擎”系統(tǒng)的投入運(yùn)行，氣象數(shù)據(jù)的算力大大增強(qiáng)，氣象業(yè)務(wù)、服務(wù)、科研、管理以及行業(yè)社會(huì)交換的所有數(shù)據(jù)，全部入“云”，導(dǎo)致氣象資料種類越來越多、數(shù)據(jù)量越來越大，師生進(jìn)行數(shù)據(jù)訪問時(shí)，10M 帶寬已不能滿足氣象數(shù)據(jù)傳輸?shù)男枨蟆?/p>

3.2 外部用戶訪問造成的影響

“天擎”投入業(yè)務(wù)運(yùn)行后，氣象部門對(duì)其內(nèi)部結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)方位時(shí)效及并發(fā)用戶量進(jìn)行了承壓測(cè)試，結(jié)果顯示“天擎”系統(tǒng)性能高于CIMISS 系統(tǒng)10 倍以上，統(tǒng)一服務(wù)接口的效率更高、穩(wěn)定性更強(qiáng)[5]。但針對(duì)高校學(xué)生實(shí)踐教學(xué)過程中數(shù)據(jù)訪問時(shí)效、并發(fā)用戶訪問“天擎”時(shí)未進(jìn)行壓力測(cè)試，“天擎”能否承受氣象類職業(yè)高校綜合實(shí)訓(xùn)過程中數(shù)百學(xué)生同時(shí)訪問的壓力，保證系統(tǒng)的穩(wěn)定性、數(shù)據(jù)的時(shí)效性還需進(jìn)行進(jìn)一步的測(cè)試。

3.3 數(shù)據(jù)調(diào)用方面存在的問題

“天擎”依然使用氣象數(shù)據(jù)統(tǒng)一服務(wù)接口MUSIC，基于數(shù)據(jù)環(huán)境提供標(biāo)準(zhǔn)化的數(shù)據(jù)訪問服務(wù)以及應(yīng)用編程接口。但高校師生可能對(duì)氣象業(yè)務(wù)數(shù)據(jù)的算法及實(shí)際應(yīng)用等技術(shù)鉆研較深入，但對(duì)于獲取數(shù)據(jù)方面關(guān)注比較少，特別是非計(jì)算機(jī)技術(shù)類的老師對(duì)于日新月異的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)規(guī)則理解不深、關(guān)注度不夠，導(dǎo)致不能以最有效的方式獲取氣象數(shù)據(jù)。雖然數(shù)據(jù)服務(wù)接口的調(diào)用方式較CIMISS 變化不大，但各省提供的數(shù)據(jù)服務(wù)方式增加了TDS 服務(wù)、眾創(chuàng)接口服務(wù)等。目前，“天擎”提供300 余個(gè)服務(wù)接口，部分接口調(diào)用方式還需要高校師生重新適應(yīng)。

4 主要解決思路

針對(duì)以上存在的主要問題，高?？梢詮囊韵陆嵌冗M(jìn)行解決。

4.1 優(yōu)化局校通信方案

針對(duì)10M 帶寬傳輸專線已不能滿足實(shí)際教學(xué)需要的問題，高校應(yīng)認(rèn)真調(diào)研省級(jí)氣象大數(shù)據(jù)云平臺(tái)功能、架構(gòu)、存儲(chǔ)管理的資料類型、調(diào)用接口，梳理統(tǒng)計(jì)教學(xué)過程與科學(xué)研究所需要調(diào)取的各類氣象觀測(cè)資料和氣象服務(wù)產(chǎn)品，根據(jù)學(xué)生實(shí)踐過程中并發(fā)測(cè)量到的帶寬流量，按照一定冗余量的原則，重新優(yōu)化學(xué)校和省級(jí)氣象部門之間的通信方案。

4.2 制訂平臺(tái)使用指導(dǎo)書

分析和整理學(xué)校氣象類專業(yè)高職?？粕椭腔蹥庀蠹夹g(shù)職業(yè)本科生實(shí)習(xí)、實(shí)訓(xùn)所需要展示的各類氣象資料和產(chǎn)品類型，針對(duì)學(xué)生操作使用的內(nèi)容，制定基于氣象大數(shù)據(jù)平臺(tái)調(diào)取的觀測(cè)資料和產(chǎn)品元數(shù)據(jù)信息等，形成氣象大數(shù)據(jù)云平臺(tái)接口調(diào)用使用說明書，供學(xué)生實(shí)訓(xùn)、實(shí)習(xí)使用。

4.3 進(jìn)行并發(fā)用戶測(cè)試

基于氣象大數(shù)據(jù)云平臺(tái)，聯(lián)合省級(jí)氣象部門的技術(shù)人員開展“高校學(xué)生同一時(shí)間并發(fā)訪問氣象大數(shù)據(jù)云平臺(tái)，調(diào)閱、展示各類氣象觀測(cè)資料和產(chǎn)品對(duì)氣象大數(shù)據(jù)平臺(tái)造成的壓力和時(shí)效問題”的測(cè)試。根據(jù)測(cè)試結(jié)果，為氣象部門基于“天擎”系統(tǒng)對(duì)外開展服務(wù)方案的制定提供依據(jù)。

5 結(jié)語(yǔ)

氣象大數(shù)據(jù)云平臺(tái)投入業(yè)務(wù)運(yùn)行，繼承了CIMISS系統(tǒng)的基礎(chǔ)功能，對(duì)氣象業(yè)務(wù)流程優(yōu)化起到了極其重要的作用。其豐富的氣象數(shù)據(jù)資料與氣象產(chǎn)品種類、開放的開發(fā)環(huán)境、多樣的接口服務(wù)方式、高效穩(wěn)定的數(shù)據(jù)接口為高校學(xué)生的實(shí)踐與教師科研提供了重要支撐。但因局校之間通信帶寬、學(xué)生實(shí)踐過程中并發(fā)訪問量過大等問題，給高校的實(shí)踐教學(xué)及科學(xué)研究帶來一定的不便，基于以上問題，文章提出了優(yōu)化局校通信方案、開展并發(fā)訪問測(cè)試等解決思路，為氣象部門基于“天擎”開展對(duì)外服務(wù)方案的制定提供科學(xué)依據(jù)。

引用

[1] 中國(guó)氣象局.《氣象高質(zhì)量發(fā)展綱要(2022-2035年)》輔導(dǎo)讀本[M].北京:氣象出版社,2022.

[2] 韓同欣,何文春,吳鵬,等.氣象基礎(chǔ)設(shè)施云平臺(tái)關(guān)鍵設(shè)計(jì)與實(shí)現(xiàn)[J].氣象科技,2022,50(2):290-296.

[3] 劉釗,谷星月.海納百川 風(fēng)云際會(huì)——?dú)庀蟠髷?shù)據(jù)云平臺(tái)“天擎”[N].中國(guó)氣象報(bào),2020-08-03(1).

[4] 趙冰燕,郭彩蓮,來志云.基于青海氣象大數(shù)據(jù)云平臺(tái)的數(shù)據(jù)服務(wù)接口[J].青?？萍?2021,28(1):82-86+90.

[5] 許竹霞,張春燕,徐娟.甘肅省氣象大數(shù)據(jù)云平臺(tái)的存儲(chǔ)與服務(wù)系統(tǒng)設(shè)計(jì)[J].信息技術(shù)與信息化,2022(2):53-57.

[6] 余永城,王笑,魏夏潞.福建氣象綜合業(yè)務(wù)平臺(tái)融入“天擎”技術(shù)方案設(shè)計(jì)及實(shí)現(xiàn)[J].氣象科技,2022,50(5):653-659.

[7] 秦青松.青島職業(yè)技術(shù)學(xué)院:產(chǎn)教融合校企合作 和諧共生攜手共贏[N].中國(guó)教育報(bào),2022-12-21(08).

[8] 王雙雙,杜建華,王立俊,等.基于氣象大數(shù)據(jù)云平臺(tái)的海南氣象數(shù)據(jù)共享平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)測(cè)量與控制,2022,30(10):222-226+232.