常規(guī)氣象格點數(shù)據(jù)規(guī)范化格式的研究

舒紅平 沈晨笛 張殿超

摘要：常規(guī)氣象格點數(shù)據(jù)主要由氣象衛(wèi)星、天氣雷達及數(shù)值預報產(chǎn)品等三部分構成，目前確定的規(guī)范數(shù)據(jù)格式包括：Grib、NetCDF和HDF三種。Grib格式碼表十分規(guī)范，較適用于對規(guī)范要求嚴格的各項業(yè)務;NetCDF及HDF由于其自身的靈活特征，有眾多應用的支持，較適用于對規(guī)范要求嚴格的各項業(yè)務;NetCDF及HDF由于其自身的靈活特性，有眾多應用的支持，較適用于各種科研類工作。

關鍵詞：氣象格點數(shù)據(jù);規(guī)范化數(shù)據(jù)格式

中圖分類號：X16 文獻標識碼：A 文章編號：2095-672X（2019）06-0-02

DOI：10.16647/j.cnki.cn15-1369/X.2019.06.151

Abstract： The conventional meteorological grid data is mainly composed of three parts： meteorological satellite， weather radar and numerical forecasting products. The current standardized data formats include Grib， NetCDF and HDF. The Grib format code table is very standard and is more suitable for various services that require strict specifications. NetCDF and HDF are supported by numerous applications due to their flexible features. They are more suitable for various services that require strict specifications; NetCDF and HDF Due to its flexible nature， it is supported by many applications and is suitable for various scientific research work.

Keywords： Meteorological grid data; Normalized data format

隨著社會的進步和全球氣候變暖的加劇，人們對氣象預報和服務的需求越來越迫切，而氣象格點數(shù)據(jù)是氣象業(yè)務和科研等各種專業(yè)工作中不可缺少的重要數(shù)據(jù)內(nèi)容。

目前氣象業(yè)務和科研工作使用的氣象格點數(shù)據(jù)主要有三大類：氣象衛(wèi)星數(shù)據(jù)、天氣雷達數(shù)據(jù)、數(shù)值預報產(chǎn)品數(shù)據(jù)。中國氣象局于2017年頒布的《氣象數(shù)據(jù)格式應用指南》確定的六種數(shù)據(jù)格式中，有三種適用于氣象格點數(shù)據(jù)的存儲管理，分別是：Grib2（General Regularly-distributed Information in Binary from2）、NetCDF（network Common Data Form）、HDF5（Hierarchical Data File5）。隨著天氣雷達網(wǎng)建設的全面展開以及風云系列氣象衛(wèi)星的不斷升空，氣象格點數(shù)據(jù)的體量正以每日數(shù)十TB的增量迅速膨脹。如何有效地運用規(guī)范化數(shù)據(jù)格式來適應不同氣象專業(yè)工作的特點，是一個不容忽視的問題。本文將簡要介紹常規(guī)氣象格點數(shù)據(jù)，概述并分析比較這三種格點數(shù)據(jù)編碼格式。

1 常規(guī)氣象格點數(shù)據(jù)

1.1 氣象衛(wèi)星數(shù)據(jù)

氣象衛(wèi)星[4]（meteorological satellite）分為極軌衛(wèi)星與靜止衛(wèi)星兩類，這兩類衛(wèi)星的數(shù)據(jù)概述如下：

1.1.1 極軌衛(wèi)星

極軌衛(wèi)星數(shù)據(jù)在掃描時遠點與星下近點的格點間距不同。極軌衛(wèi)星掃描后的格點數(shù)據(jù)形狀一般都是帶狀的，雖然并不規(guī)則但存在一定規(guī)律。此外，由于極軌衛(wèi)星呈勻速飛行，相鄰兩條掃描線之間的距離是相等的。具體掃描圖像如下圖：

1.1.2 靜止衛(wèi)星

靜止氣象衛(wèi)星所產(chǎn)生的遙感數(shù)據(jù)是由從北到南的逐條掃描線組合而成的，每條掃描線由西向東逐點橫向掃描，形成覆蓋地球一側的圓盤格點數(shù)據(jù)及圖像。與極軌氣象衛(wèi)星同樣的，由于地球表面的曲率，每條掃描線中相鄰兩點間的距離不盡相同，但有規(guī)律可循。具體衛(wèi)星的掃描圖像如下：

1.2 天氣雷達數(shù)據(jù)

天氣雷達是以體掃方式收集數(shù)據(jù)的，雷達原始數(shù)據(jù)是采用球坐標形式的格點數(shù)據(jù)，其數(shù)據(jù)呈圓臺形，在頂部有一個圓錐形的鏤空，這是由于雷達在體掃時的特點所造成的。在一些應用中人們常利用一定的插值方法，將球坐標系下的雷達原始資料插值到笛卡爾坐標系下的規(guī)則三維網(wǎng)格點上。在經(jīng)過插值后進行存儲的這類數(shù)據(jù)多數(shù)都是4維的，有著3維的長寬高以及1維的時間。

1.3 數(shù)值預報產(chǎn)品

數(shù)值預報是基于天氣預報的，由觀測獲得的當前大氣狀態(tài)出發(fā)，借助于現(xiàn)代電子計算機，采用數(shù)值方式求解控制大氣運動的流體力學方程組，從而對未來天氣或氣候變化做出預報。

數(shù)值預報產(chǎn)品數(shù)據(jù)是最為經(jīng)典的格點數(shù)據(jù)，其格點形式根據(jù)數(shù)值模式和處理方案的不同而彼此各異，諸如：等距格點、蘭勃特投影、麥卡托投影、經(jīng)緯度等距格點等多種格點方案，由于種類繁多，不與贅述。

2 規(guī)范化格式描述

2.1Grib2和NetCDF

鑒于Grib2和NetCDF已有不少文獻予以介紹，感興趣者請參見參考文獻，此處不再贅述。

2.2HDF5

HDF5是一種用于存儲科學數(shù)據(jù)的文件格式，它被設計用來滿足科學數(shù)據(jù)存儲量不斷增加和數(shù)據(jù)處理不斷變化的需求。為了充分利用當今計算機系統(tǒng)的能力和特點，HDF5具有一個強大與靈活的數(shù)據(jù)模板，其支持管理的文件大小大于2GB，同時還支持并行I/O，線程和具備現(xiàn)代操作系統(tǒng)與應用程序所要求的其他特性，而且數(shù)據(jù)模型也變得更為簡單，概括性更強。HDF5邏輯格式如下圖：

HDF5格式只有兩種基本結構：組（group）和數(shù)據(jù)集（dataset），組包含0個或多個數(shù)據(jù)集，在HDF5中用一個小數(shù)據(jù)集Attribute表示注釋信息，其中：

（1）HDF5 group：按照組織結構包含零個組或多個組或數(shù)據(jù)集的實例，同時它還支持元數(shù)據(jù)（metadata）;

（2）HDF5 dataset：數(shù)據(jù)元素的多維數(shù)組，支持元數(shù)據(jù)。

HDF的具體優(yōu)勢與特性請參見參考文獻，此處不再贅述。

3 格式的比較分析

3.1Grib與NetCDF

Grib與NetCDF在數(shù)據(jù)本身的存儲上并沒有什么太大的不同，都是進行了一定簡單的壓縮方法后使用數(shù)組存儲，然而雙方在數(shù)據(jù)的描述方面存在較大差異。

Grib由WMO推薦，使用非常嚴格的碼表來描述要素，用模板來描述和存儲數(shù)據(jù)，為此WMO幾乎每年都會專門針對這些碼表召開相關會議，用以確認是否需要修改或擴充，從而使得這個碼表本身的變動變得較為困難。這種情況在一定程度上限制了Grib2的適用范圍，由于其碼表的內(nèi)容具有嚴格的限制，一般來說Grib2只能使用在氣象行業(yè)，存儲一些衛(wèi)星、雷達與數(shù)值預報產(chǎn)品數(shù)據(jù)。GRIB2數(shù)據(jù)格式的優(yōu)勢在于，由于碼表和模板的規(guī)范性，任何用戶均可根據(jù)要素碼和模板代碼等格式信息，通過參考手冊或?qū)φ毡矶髁舜鎯?shù)據(jù)的基本信息，從而使得用戶可以在沒有任何復雜說明只有一張對照表的情況下使用數(shù)據(jù)。

NetCDF在這一點上與之不同。NetCDF在數(shù)據(jù)描述方面有著很高的自由性，以要素而言，它既可以用碼表描述，也可以用文字描述，這就造就了NetCDF極高的通用性與靈活性，用戶非但可以使用NetCDF存儲氣象格點數(shù)據(jù)，而且也可存儲其他專業(yè)領域的格點數(shù)據(jù)。同時在可存儲的維度方面，NetCDF也比Grib有著更多的選擇，從1維到n維，從單一離散數(shù)據(jù)到格點數(shù)據(jù)，NetCDF都可予以便利的存儲管理。相比較而言，Grib2只能存儲二維及二維以上的氣象格點數(shù)據(jù)，應用范圍被局限在氣象領域之內(nèi)。兩者在使用范圍上的差異是由于這兩種格式對于數(shù)據(jù)描述方式的不同所造成的。

3.2NetCDF與HDF5

NetCDF與HDF5對數(shù)據(jù)的描述方法相近，都可以采用碼表或場描述，又可以采用文字描述，數(shù)據(jù)的通用性也很好，基本滿足了大部分格點數(shù)據(jù)對數(shù)據(jù)存儲的需求。由于這兩種格式的版本繁多，在這里我們主要采用NetCDF-4與HDF5進行論述。

NetCDF-4文件是使用HDF5庫創(chuàng)建的，并且是各種方式的HDF5文件，無需NetCDF-4接口即可讀取。

NetCDF-4文件中的組對應于HDF5組。NetCDF中的變量與HDF5中具有相同名稱的數(shù)據(jù)集共同使用，屬性類似。

由于NetCDF文件中的元數(shù)據(jù)多于HDF5文件，因此使用特殊數(shù)據(jù)集來保存NetCDF元數(shù)據(jù)。

同時HDF5具有NetCDF-4不支持的一些功能，并且會導致互操作性問題：

（1）HDF5允許組既是另一組的“祖先”又是“后代”，在子組圖中創(chuàng)建循環(huán)。HDF5還允許一組的多個“父母”。在NetCDF-4數(shù)據(jù)模型中，組形成一個沒有循環(huán)的樹，因此每個組（頂級未命名組除外）都具有唯一的父級。

（2）HDF5支持“引用”，類似于指向文件中對象和數(shù)據(jù)區(qū)域的指針。NetCDF-4數(shù)據(jù)模型省略了引用。

（3）HDF5支持NetCDF-4數(shù)據(jù)模型中未包含的一些原始類型，包括H5T_TIME和H5T_BITFIELD。

（4）HDF5支持數(shù)據(jù)對象的多個名稱，如數(shù)據(jù)集（NetCDF-4變量），沒有可分辨名稱。NetCDF-4數(shù)據(jù)模型要求每個變量，屬性，維度和組都具有單個可分辨名稱。

（5）HDF5（如NetCDF）支持標量屬性，但NetCDF-4無法讀取標量HDF5屬性（除非它是字符串屬性）。

由此可以看出HDF與NetCDF主要是一個包含關系。

3.3 結論

在氣象領域種，3種格式都可以獨立管理所有常規(guī)氣象格點數(shù)據(jù)，但從能力范圍的角度來看，他們互相之間是一種包含關系，即：NetCDF包含Grib，HDF包含NetCDF。

4 總結

在常規(guī)氣象格點數(shù)據(jù)所使用的幾種格式中，Grib是一種專門為了氣象格點數(shù)據(jù)所量身定制的格式，對于常規(guī)的氣象格點數(shù)據(jù)來說，是最為規(guī)范化的一種格式，但在平時的使用中，因為其拓展性與通用性不足，使得Grib的應用范圍相對較窄，所適用的應用軟件（包括繪圖軟件）相對有限;而NetCDF與HDF的使用十分簡單，很多應用軟件都支持這兩種格式，這與他們的通用性與靈活性是分不開的。

GRIB碼作為WMO推薦使用的專用于存儲管理氣象格點數(shù)據(jù)的表格驅(qū)動碼，在氣象格點數(shù)據(jù)的業(yè)務工作中（尤其是數(shù)據(jù)交換過程中），有其特有的嚴格和規(guī)范等特點;而NetCDF格式則由于其靈活的存儲方案以及十分廣泛的應用適用范圍，很適合氣象科研領域的工作特點。

因此，在規(guī)范性要求嚴格的業(yè)務工作中，Grib相對更為適合作為規(guī)范化管理的依據(jù);而在對自由度、靈活性要求更高的科研工作中，NetCDF作為規(guī)范化管理的統(tǒng)一格式相對是一個較好的選擇。

參考文獻

[1]范振林，鄭寶鋒，吳斌.氣象數(shù)據(jù)服務在地質(zhì)調(diào)查安全生產(chǎn)管理保障系統(tǒng)中的應用[J].安全與環(huán)境工程，2018，25（04）：156-159.

[2]顧洪，李昀英.NC格式氣象數(shù)據(jù)無損壓縮研究[J].計算機工程與應用，2012，48（09）：90-91+148.

[3]張林.中國氣象百科全書[J].氣象，2017，43（02）：248.

[4]黃云仙，張英.多普勒天氣雷達數(shù)據(jù)插值方法比較研究[J].遙感應用，2008（2）：39-45.

[5]陳甫，舒秦.GRIB2資料解讀[J].電腦知識與技術，2014，10（14）：3201-3203.

[6]劉媛媛，應顯勛，趙芳.GRIB2介紹及解碼初探[J].氣象科技，2006（S1）：61-64.

[7]賈俊濤，孟嬋媛，宋海英，魯強，譚冀川.基于NetCDF的海底地形網(wǎng)格數(shù)據(jù)模型創(chuàng)建與調(diào)度[J].海洋測繪，2007（05）：22-25.

[8]顧洪，李昀英.NetCDF格式數(shù)據(jù)無損壓縮[J].數(shù)據(jù)采集與處理，2010，25（S1）：87-91.

[9]李繼祥，于立，陳龍泉，姚仁太，郝宏偉，范丹，呂明華.NetCDF格式在Windows及Linux平臺下的讀寫[J].安徽農(nóng)業(yè)科學，2014，42（33）：11942-11945.

[10]王玲，龔健雅.基于HDF文件的組織方式與影像提取[J].測繪通報，2003（4）：35-37.

[11]李振鋒，李五生，祿永旭，王衛(wèi)平，馬馳.利用HDF5數(shù)據(jù)格式構建氣象預報業(yè)務平臺數(shù)據(jù)庫[J].氣象與環(huán)境科學，2014（8）：114-119.

[12]呂梁，陳晴，滕舟.基于NetCDF的數(shù)值預報產(chǎn)品存儲和應用[J].現(xiàn)代計算機（專業(yè)版），2015（16）：47-50+55.

收稿日期：2018-12-04

作者簡介：舒紅平（1974-），男，漢族，研究生學歷，計算機應用技術專業(yè)博士學位，中國科學院大學兼職博士導師，研究方向為數(shù)據(jù)庫與知識工程、計算機在制造業(yè)中的應用、氣象信息共享軟件技術。

通信作者：沈晨笛（1994-），男，漢族，在讀研究生，研究方向為氣象信息化。