基于“天擎”的智能網(wǎng)格預(yù)報數(shù)據(jù)共享方法研究

趙玉娟，姜罕盛，李宗飛，王 琪，陳凱華，王 藝

(天津市氣象信息中心 天津 300074)

為推動氣象數(shù)據(jù)資源整合共享、促進(jìn)氣象業(yè)務(wù)集約化發(fā)展，中國氣象局研發(fā)了“數(shù)算一體”的氣象大數(shù)據(jù)云平臺(簡稱“天擎”)[1-2]，并在國、省兩級部署應(yīng)用。智能網(wǎng)格預(yù)報數(shù)據(jù)時空分辨率高、要素多[3-4]，是開展氣象服務(wù)的重要基礎(chǔ)數(shù)據(jù)之一，天津市氣象局在該數(shù)據(jù)的存儲服務(wù)方面仍存在訪問控制不足、服務(wù)穩(wěn)定性不高等問題。基于天擎實現(xiàn)該數(shù)據(jù)的存儲共享是提升其共享服務(wù)能力的有效途徑，目前智能網(wǎng)格預(yù)報數(shù)據(jù)研究多集中在可視化、監(jiān)控等方面[5-6]。鑒于天擎的共享研究未見報道。立足于上述背景，本文設(shè)計實現(xiàn)了基于天擎的存儲共享方案，文中對相關(guān)設(shè)計進(jìn)行了介紹。

1 基于天擎的智能網(wǎng)格預(yù)報數(shù)據(jù)存儲共享架構(gòu)設(shè)計

天擎由交換及質(zhì)控、產(chǎn)品加工、存儲與服務(wù)等系統(tǒng)構(gòu)成，承擔(dān)數(shù)據(jù)接入、產(chǎn)品加工及存儲服務(wù)，底層存儲包括結(jié)構(gòu)化數(shù)據(jù)庫、文件索引庫、文件NAS等多種類型。

本文擬建立的基于天擎的智能網(wǎng)格預(yù)報數(shù)據(jù)存儲共享服務(wù)架構(gòu)如圖1所示。存儲層基于天擎文件索引庫和文件NAS構(gòu)建，實現(xiàn)智能網(wǎng)格預(yù)報數(shù)據(jù)文件及接口訪問相關(guān)元數(shù)據(jù)存儲，相關(guān)數(shù)據(jù)通過接口寫入存儲層；數(shù)據(jù)管理層按業(yè)務(wù)需求進(jìn)行資料編碼、數(shù)據(jù)存儲結(jié)構(gòu)和存儲策略管理，基于天擎Portal、公共元數(shù)據(jù)管理系統(tǒng)和存儲管理系統(tǒng)實現(xiàn)；接口層為應(yīng)用提供數(shù)據(jù)讀、寫接口并實現(xiàn)數(shù)據(jù)訪問的用戶認(rèn)證、訪問控制、行為記錄等功能，基于天擎的接口服務(wù)系統(tǒng)(MUSIC)構(gòu)建定制接口實現(xiàn)；應(yīng)用層為讀寫智能網(wǎng)格預(yù)報數(shù)據(jù)的各類系統(tǒng)和用戶。

圖1 基于天擎的智能網(wǎng)格預(yù)報數(shù)據(jù)共享服務(wù)架構(gòu) Fig.1 Intelligent grid forecast data sharing service architecture based on Sky Engine

2 核心設(shè)計及關(guān)鍵技術(shù)

2.1 智能網(wǎng)格預(yù)報數(shù)據(jù)存儲設(shè)計

NectCDF格式是一種面向數(shù)組型數(shù)據(jù)，適于網(wǎng)絡(luò)共享的數(shù)據(jù)描述和編碼標(biāo)準(zhǔn)，每個NectCDF文件(簡稱NC文件)由維、變量和屬性、數(shù)據(jù)構(gòu)成[7-8]，支持多維數(shù)據(jù)存儲。天津智能網(wǎng)格預(yù)報包括各種天氣現(xiàn)象的定性預(yù)報及降水、氣溫等13種要素的定量預(yù)報，每次發(fā)布未來10 d預(yù)報，0～3 d、4～10 d預(yù)報時空分辨率分別為1 h、1 km和3 h、5 km，天津地區(qū)單要素未來10 d格點預(yù)報值近235萬個。各要素預(yù)報均具備時間、經(jīng)度、緯度屬性，未來N個時間單要素預(yù)報可抽象為X×Y×Z的三維數(shù)組。NC文件可支持此類數(shù)據(jù)存儲，且對于NC文件，通過設(shè)計文件元數(shù)據(jù)，可基于MUSIC構(gòu)建數(shù)據(jù)級訪問接口。因此，本文采用NC文件將智能網(wǎng)格預(yù)報數(shù)據(jù)存入天擎存儲，針對其特點，將每次發(fā)布的預(yù)報按要素、時空分辨率存儲為不同NC文件，各類文件按制作單位、要素、發(fā)布時間等屬性分目錄存儲。

按照全國精細(xì)化預(yù)報業(yè)務(wù)要求，需存儲3～5年的智能網(wǎng)格預(yù)報數(shù)據(jù)，以便回算檢驗。天津天擎基于X86服務(wù)器，按照氣象應(yīng)用特征，構(gòu)建了規(guī)模近3 PB的分布式數(shù)據(jù)存儲環(huán)境，包括虛谷分布式關(guān)系型數(shù)據(jù)庫、分布式分析型數(shù)據(jù)庫Gbase8a和分布式NAS。智能網(wǎng)格預(yù)報數(shù)據(jù)接口服務(wù)相關(guān)文件元數(shù)據(jù)屬于結(jié)構(gòu)化數(shù)據(jù)，采用虛谷數(shù)據(jù)庫存儲。分布式NAS適合文件級數(shù)據(jù)存儲，響應(yīng)速度快，采用存儲NC格式智 能網(wǎng)格預(yù)報數(shù)據(jù)文件可滿足存儲5年以上產(chǎn)品的 需求。

2.2 接口設(shè)計

MUSIC是天擎為應(yīng)用訪問數(shù)據(jù)提供的接口服務(wù)系統(tǒng)，利用集群服務(wù)、通過主備網(wǎng)關(guān)實現(xiàn)用戶認(rèn)證、流量控制、負(fù)載均衡等功能，可在接口調(diào)用方法、參數(shù)等方面采用統(tǒng)一標(biāo)準(zhǔn)，支持設(shè)置IP白名單，對接口訪問行為有完備記錄，提供多種調(diào)用方式，可按需配置新接口。本文按照MUSIC規(guī)范，結(jié)合天津智能網(wǎng)格預(yù)報數(shù)據(jù)特點及訪問需求，設(shè)計了接口訪問元數(shù)據(jù)，構(gòu)建了文件級、數(shù)據(jù)級兩類11種讀接口和4種文件級寫接口。接口訪問元數(shù)據(jù)設(shè)計如下。

①文件元數(shù)據(jù)：設(shè)計了時間、預(yù)報要素、預(yù)報時效、存儲路徑等與數(shù)據(jù)定位、下載相關(guān)的信息，并定義了文件格式、預(yù)報區(qū)域等信息為應(yīng)用提供支撐，智能網(wǎng)格預(yù)報數(shù)據(jù)文件元數(shù)據(jù)關(guān)鍵字段設(shè)計如表1所示，字段命名參照QX/T 133—2011氣象要素分類與編碼和云平臺規(guī)范。

表1 智能網(wǎng)格預(yù)報數(shù)據(jù)文件元數(shù)據(jù)關(guān)鍵字段設(shè)計 Tab.1 Design of metadata key fields of intelligent grid forecast data file

②存儲路徑元數(shù)據(jù)：支撐寫接口按存儲規(guī)范創(chuàng)建目錄并將文件存儲到對應(yīng)目錄，包括根路徑和子目錄兩部分，分別對應(yīng)存儲路徑固定和動態(tài)信息，子目錄基于文件元數(shù)據(jù)字段組合定義，本文設(shè)計的智能網(wǎng)格預(yù)報數(shù)據(jù)的存儲路徑元數(shù)據(jù)為：

③格點檢索元數(shù)據(jù)：點、線、面類型數(shù)據(jù)級讀接口功能支撐數(shù)據(jù)，包括基本屬性和要素屬性?；緦傩远x數(shù)據(jù)的資料代碼及要素、經(jīng)緯度、時效字段；要素屬性定義解析NC文件所需的要素代碼、要素名稱、時次、空間分辨率、層次轉(zhuǎn)換因子等信息。針對天津智能網(wǎng)格預(yù)報數(shù)據(jù)同類要素在不同預(yù)報時效存在多種時空分辨率的特點，采取一種預(yù)報要素定義多條文件元數(shù)據(jù)和格點檢索元數(shù)據(jù)的方式實現(xiàn)數(shù)據(jù)正確解析。

2.3 基于接口的實時預(yù)報數(shù)據(jù)接入

接口方面，設(shè)計了支持按時間點、時間段獲取一個、多個要素預(yù)報文件的4類接口；設(shè)計了支持按時間、要素、經(jīng)緯度、預(yù)報時效、站號為條件的4類數(shù)據(jù)級訪問接口，可滿足業(yè)務(wù)中獲取某個位置特定時間、 某個區(qū)域特定時間、某個站點特定時間段某要素預(yù)報等需求；針對增、刪、改數(shù)據(jù)需求設(shè)計了4類寫接口。 接口具有高內(nèi)聚、低耦合特性[9]，智能網(wǎng)格預(yù)報數(shù)據(jù)由預(yù)報員主觀制作，制作頻率低，文件小，采用接口寫入方式可滿足業(yè)務(wù)時效要求，且對應(yīng)用端有效屏蔽了底層存儲結(jié)構(gòu)，故采用接口方式寫入天擎存儲。數(shù)據(jù)寫入功能模塊利用Spring Boot框架開發(fā)，通過SDK方式調(diào)用本文構(gòu)建寫入接口實現(xiàn)，發(fā)布成REST接口為應(yīng)用端服務(wù)。

3 應(yīng)用效果及展望

本文設(shè)計方案于2021年在天津市氣象局投入應(yīng)用，預(yù)報一體化平臺通過接口方式將實時預(yù)報數(shù)據(jù)寫入天津天擎存儲，市、區(qū)兩級的氣象業(yè)務(wù)系統(tǒng)和用戶，可按需調(diào)用讀接口獲取預(yù)報文件及格點場數(shù)據(jù)。智能網(wǎng)格預(yù)報數(shù)據(jù)服務(wù)方式更豐富、服務(wù)穩(wěn)定性和效率更高，為市區(qū)兩級開展氣象服務(wù)提供了更高效、有力的支撐，也為其他省市級氣象部門基于天擎優(yōu)化本地特色數(shù)據(jù)存儲和共享服務(wù)提供了借鑒和參考。下一步將圍繞本省氣象數(shù)據(jù)管理和服務(wù)需求繼續(xù)開展其他數(shù)據(jù)融入天擎的研究。