基于服務架構的多源氣象衛(wèi)星數(shù)據(jù)集成顯示應用平臺

■ 鄢俊潔 瞿建華 范霖

為了解決不同氣象數(shù)據(jù)間的應用接口，并突破傳統(tǒng)C/S架構應用軟件的限制，設計了一種基于服務的，能支持多源、多尺度、多形態(tài)的氣象數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù)自動化生產與發(fā)布的集成技術解決方案?；谠摲桨杆⒌亩嘣礆庀笮l(wèi)星數(shù)據(jù)集成顯示應用平臺（ShinetekView），能很好地實現(xiàn)數(shù)據(jù)的云端發(fā)布和輕量級客戶端應用，并能采用分布式的數(shù)據(jù)管理方式及組件式的結構設計，實現(xiàn)對新的數(shù)據(jù)的擴展。

近些年來，氣象衛(wèi)星資料在時間分辨率、空間分辨率、光譜分辨率上有了大幅度的提高，但是大數(shù)據(jù)量、非常頻繁的資料，給數(shù)據(jù)的使用帶來了新的挑戰(zhàn)。首先，要解決的是高分辨率數(shù)據(jù)的應用問題。在傳統(tǒng)的衛(wèi)星資料應用軟件中，大多采用C/S結構設計，資料需要先下載到本地，才可以開始進行數(shù)據(jù)的處理和應用產品的分析。目前，我國風云三號D星（FY-3D）的 MERSI的5 min L1B數(shù)據(jù)的數(shù)據(jù)量已經達到2 G，風云四號（FY-4）試驗星全圓盤觀測的L1B數(shù)據(jù)量達到3 G，同時頻次非常高，5 min就可以完成一次中國區(qū)域的觀測。在如此大的數(shù)據(jù)量下，如何便利地使用數(shù)據(jù)，是目前迫切需要解決的問題。其次，氣象數(shù)據(jù)種類的增加，帶來了這些數(shù)據(jù)的融合使用問題。每增加一類數(shù)據(jù)，需要開發(fā)一套新的應用軟件。不僅增加了系統(tǒng)的復雜性，同時對于使用用戶來說也會非常地不便利。

隨著計算機技術的逐步發(fā)展，目前云平臺、大數(shù)據(jù)等應用日益廣泛，對于傳統(tǒng)的氣象數(shù)據(jù)的應用同樣提出了挑戰(zhàn)，利用強大的計算機資源和IT技術，優(yōu)化和提高氣象數(shù)據(jù)的應用效率和應用效果，是迫切需要解決的問題。因此，如何解決大數(shù)據(jù)量及不同類型數(shù)據(jù)的綜合顯示問題，是目前多源氣象數(shù)據(jù)應用的一個重點。

1 系統(tǒng)設計

為了解決大數(shù)據(jù)高效使用和多源數(shù)據(jù)應用兩個關鍵問題，設計了多源氣象衛(wèi)星數(shù)據(jù)集成顯示應用平臺（ShinetekView，以下簡稱應用平臺）。應用平臺設計上采用面向服務架構，可以實現(xiàn)數(shù)據(jù)的云服務和輕量級客戶端應用；同時，采用分布式管理，可根據(jù)實際業(yè)務量進行配置；在結構設計上采用組件式設計，在需要新增一種資料或者一種產品時，只需要增加對應的中間件即可，解決了擴展性問題。

1.1 框架設計

從系統(tǒng)架構設計上，整個應用平臺分為三層：數(shù)據(jù)處理層、數(shù)據(jù)服務層、應用展示層（圖1）。

圖1 應用平臺總體架構圖

在數(shù)據(jù)處理層上，首先為了保證系統(tǒng)的可擴展性和一致性，要對輸入的氣象數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù)進行標準化處理，包括對數(shù)據(jù)的文件名、文件格式、存儲方式和數(shù)據(jù)管理等方面，生成系統(tǒng)內部定義的統(tǒng)一數(shù)據(jù)格式。然后將標準化后的氣象數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù)根據(jù)類型的不同處理成影像、矢量、高程三種數(shù)據(jù)類型。目前支持對風云系列衛(wèi)星遙感數(shù)據(jù)、碳衛(wèi)星遙感數(shù)據(jù)以及數(shù)值天氣預報數(shù)據(jù)的處理。

在數(shù)據(jù)服務上，采用文件系統(tǒng)與關系型數(shù)據(jù)庫的統(tǒng)一管理模式，通過關系型數(shù)據(jù)庫與文件系統(tǒng)對各類型數(shù)據(jù)統(tǒng)一存儲、管理與訪問，通過在存儲、數(shù)據(jù)庫服務器、數(shù)據(jù)庫、中間件、應用系統(tǒng)等多個方面的優(yōu)化設計來保證系統(tǒng)在存儲、管理與訪問上的效率。

在應用展示上，采用標準、開放的OGC（Open geospatial consortium）服務，包括WMS（Web map service）、WFS（Web feature service）以及WCS（Web coverage service），矢量、柵格及影像數(shù)據(jù)都可以在客戶端通過標準化的接口進行訪問。同時可以根據(jù)需要定制發(fā)布策略，實現(xiàn)無人工干預的全自動化氣象及衛(wèi)星遙感產品的實時發(fā)布。

1.2 技術架構

從系統(tǒng)技術架構上，應用平臺分為應用層和支撐層兩部分。支撐層是所有的數(shù)據(jù)、服務的基礎，包括數(shù)據(jù)的獲取、產品處理、遙感分析、專題圖制作等多種功能。支撐層采用REST API的方式進行接口封裝，為應用層提供接口。在應用層，主要解決的是數(shù)據(jù)的可視化、地圖服務、人機交互操作的相應問題等。在應用層，采用了BootStrap的UI設計框架進行了界面的設計，采用了D3框架進行了數(shù)據(jù)可視化設計。同時，采用Openlayers框架進行GIS服務設計，采用國際通用接口，能很好地支撐目前所有發(fā)布的地圖服務，例如天地圖、google地圖、Bing地圖等。此外，采用cesium進行三維顯示設計，解決了在近景下的三維地形的可視化和分析。圖2為應用平臺的技術架構圖。基于這個技術架構，系統(tǒng)解決了遙感影像數(shù)據(jù)與WebGIS服務的結合，為遙感產品基于B/S架構的應用提供了基礎。

圖2 應用平臺技術架構圖

2 關鍵問題解決方案

在應用平臺設計中，要解決多源數(shù)據(jù)的問題。在平臺中，涉及的氣象數(shù)據(jù)包括三種類型：衛(wèi)星數(shù)據(jù)、觀測數(shù)據(jù)、數(shù)值預報數(shù)據(jù)。目前氣象衛(wèi)星數(shù)據(jù)包括極軌衛(wèi)星系列和靜止衛(wèi)星系列。極軌衛(wèi)星系列能提供全球的觀測數(shù)據(jù)，靜止衛(wèi)星數(shù)據(jù)能提供高時間分辨率的分析。目前，應用平臺解決的衛(wèi)星數(shù)據(jù)主要來自于風云二號、風云三號、風云四號、NPP、TERRA、AQUA等衛(wèi)星。數(shù)值預報數(shù)據(jù)主要包括溫度、壓強、濕度、風場等要素，作為數(shù)據(jù)分析的輔助基礎。觀測數(shù)據(jù)主要為站點觀測數(shù)據(jù)，為離散場數(shù)據(jù)。在應用平臺中，首先需要解決多源數(shù)據(jù)的標準化問題，其次需要解決大數(shù)據(jù)量的快速顯示問題。

2.1 數(shù)據(jù)標準化

在數(shù)據(jù)標準化中，需要解決的問題主要包括數(shù)據(jù)本身的接口的統(tǒng)一、數(shù)據(jù)管理方式的統(tǒng)一和數(shù)據(jù)所使用的調色板的統(tǒng)一。

首先，在數(shù)據(jù)接口上，使用的數(shù)據(jù)包括風云系列衛(wèi)星遙感產品數(shù)據(jù)（FY-3C、FY-3D、FY-4A等）、多種數(shù)值預報產品數(shù)據(jù)（T639數(shù)據(jù)、NCEP數(shù)據(jù)、ECMWF數(shù)據(jù)等）、其他衛(wèi)星遙感產品數(shù)據(jù)（NPP、NOAA、Himawari-8等），產品類型包括云圖影像、云檢測、云相態(tài)、云頂高度、降水估計、水體監(jiān)測、火點監(jiān)測、地表溫度、對流初生、海表溫度、陸表溫度、植被指數(shù)等。其他類型數(shù)據(jù)還涉及地理信息數(shù)據(jù)等。根據(jù)數(shù)據(jù)的類型和級別，首先將數(shù)據(jù)分為格點數(shù)據(jù)和離散數(shù)據(jù)。各類衛(wèi)星數(shù)據(jù)、數(shù)值預報數(shù)據(jù)等都屬于格點數(shù)據(jù)，而地理信息數(shù)據(jù)、觀測數(shù)據(jù)、特殊的衛(wèi)星產品（例如火點）屬于離散數(shù)據(jù)。對于衛(wèi)星遙感數(shù)據(jù)，采用金字塔技術，根據(jù)數(shù)據(jù)的分辨率，建立金字塔。數(shù)值預報數(shù)據(jù)雖然同樣為格點數(shù)據(jù)，但是其分辨率低，數(shù)據(jù)量相對小。因此，在數(shù)值預報數(shù)據(jù)上，采用數(shù)據(jù)流進行處理，采用一定的編碼方式，能快速地進行網絡交換。離散數(shù)據(jù)采用通用的地理空間信息數(shù)據(jù)交換格式接口進行編碼。

在數(shù)據(jù)管理上，由于種類多，數(shù)據(jù)的空間分辨率、時間分辨率也不一樣。按照級別進行分類分為一級、二級、三級等，并通過統(tǒng)一的方式進行管理。通過對元數(shù)據(jù)的提取，按照衛(wèi)星名稱、儀器名稱、數(shù)據(jù)級別、投影類型、觀測時間、空間分辨率、產品名等，對數(shù)據(jù)的命名、存儲的目錄、數(shù)據(jù)結構進行規(guī)范化設計，以實現(xiàn)對衛(wèi)星數(shù)據(jù)的標準化處理。由于靜止衛(wèi)星和極軌衛(wèi)星的時間分辨率相差較大，在此處設計中對數(shù)據(jù)的開始觀測及結束觀測時間進行的提取，很好地解決了極軌衛(wèi)星一天一次而靜止衛(wèi)星幾分鐘一次的集中顯示問題。

最后，遙感產品的應用除了數(shù)據(jù)本身以外，顯示需要用到數(shù)據(jù)的調色板。一般來說，遙感產品的調色板主要分為漸變型、分段型、分段漸變以及混合型等多種。為了能進行統(tǒng)一管理，采用分層結構對調色板進行的定義，能實現(xiàn)所有類型的產品的調色要求。調色板在結構設計上考慮了衛(wèi)星數(shù)據(jù)的特殊性，將數(shù)據(jù)級別、產品名稱、產品量綱加入到設計中，除此以外，還考慮了遙感產品通常使用的偏移和放大系數(shù)。

2.2 分布式配置

在數(shù)據(jù)管理上，為了實現(xiàn)數(shù)據(jù)的分布式管理，平臺將所有氣象及衛(wèi)星遙感數(shù)據(jù)抽象成一個具有數(shù)據(jù)類型、數(shù)據(jù)資源路徑、調色板資源路徑、數(shù)據(jù)時間軸資源路徑等屬性的產品對象，并且通過配置進行管理。這個對象可以通過配置的方式，進行各類數(shù)據(jù)的包括名稱、分辨率、顯示方式、數(shù)據(jù)存放地址等所有信息的配置，一方面解決了多源數(shù)據(jù)在不同地址存放的問題，另一方面，解決了系統(tǒng)的擴展性和兼容性問題，能方便地進行數(shù)據(jù)的添加。

以下就是風云四號歸一化植被指數(shù)產品的配置信息示例：

2.3 通用Web數(shù)據(jù)訪問

數(shù)據(jù)訪問方案采用面向資源的RESTful架構形式，任何數(shù)據(jù)資源（包括圖像、文件等）在該架構中都有一個對應的URL來標識，用戶想要獲取數(shù)據(jù)就必須通過資源所對應的URL來操作，而這些操作中數(shù)據(jù)是以它們的某種表現(xiàn)形式來傳輸?shù)?，比如Html、JSON、JPEG等。除了上例中描述的對影像產品分塊數(shù)據(jù)資源的獲取形式外，還可通過RESTfulAPI對數(shù)據(jù)進行加工處理，為用戶提供諸如GEOjson、KML等多種數(shù)據(jù)類型。

2.4 數(shù)據(jù)服務

首先，在應用平臺設計上，由于采用了國際通用接口，因此能直接使用國際及國內發(fā)布的各類地圖服務。其次，用戶能通過平臺直接獲取產品的結果，產品結果以通用數(shù)據(jù)格式GeoTiff的方式提供給用戶，方便用戶進一步的應用。

除此以外，平臺還用組件的方式提供給用戶專題圖、動畫等數(shù)據(jù)的獲取服務。在不同的功能模塊的實現(xiàn)上，應用平臺采用面向服務的方式，設計了組件式的結構。在數(shù)據(jù)處理層，設計了數(shù)據(jù)獲取組件，在增加一種數(shù)據(jù)的情況下，可以根據(jù)數(shù)據(jù)的類型、分辨率、級別等進行擴展。在數(shù)據(jù)服務層，設計了空間分析、專題圖制作、典型事件、動畫等組件，為遙感數(shù)據(jù)的進一步應用分析提供工具。

3 系統(tǒng)實現(xiàn)與結果

3.1 運行環(huán)境

平臺硬件環(huán)境：至少一臺數(shù)據(jù)服務設備和一臺數(shù)據(jù)處理設備。單機配置要求超過5CORE，內存10 G以上。根據(jù)所使用的數(shù)據(jù)的種類的多少進行硬件平臺的擴充。以風云四號產品集成應用顯示為例，平臺配備了CPU8CORE，內存32 G，帶寬2 Gbps的環(huán)境。

平臺軟件環(huán)境：操作系統(tǒng)為Linux（ubuntu 16以上或者centos 6以上版本）；瀏覽器為Chrome、IE 10以上。

3.2 系統(tǒng)實現(xiàn)

應用平臺作為一個整體解決方案，提供給用戶的是一套結合了后端處理服務，前端應顯示用的整套系統(tǒng)。圖3為系統(tǒng)結構圖。

圖3 應用平臺實現(xiàn)整體結構圖

服務端為自動處理，前臺顯示端的操作和數(shù)據(jù)的請求進行數(shù)據(jù)的交換。前臺顯示端通過Web提供給用戶使用。圖4為平臺主界面，主要分為四個區(qū)：視圖區(qū)（中間）、時間軸（下方）、產品選擇控制區(qū)（左下角）、應用控制面板區(qū)（右上角）。

3.3 應用結果

目前平臺已經實現(xiàn)了對多種數(shù)據(jù)的處理和應用，按照展示方式的不同主要分為以下幾類：

1）柵格數(shù)據(jù)的平面、球面展示。在風云三號數(shù)據(jù)的展示中，采用2D平面的方式展示全球的數(shù)據(jù)，在3D中采用三維遠景球面展示全球數(shù)據(jù)，并且能快速移動、放大縮?。▓D5）。

2）柵格數(shù)據(jù)的流場展示。在風云四號的數(shù)據(jù)展示中，將數(shù)值預報風場疊加到風云四號的產品上，通過流場的展示效果，非常好地展示了臺風的移動情況、水汽的輸送情況等（圖6）。

圖4 應用平臺展示界面

圖5 風云三號D星MERSI真彩色圖2D顯示效果

圖6 風云四號云圖疊加數(shù)值預報風場顯示效果

3）快速的云圖動畫。對于靜止衛(wèi)星而言，高頻次的觀測后的云圖動畫能很好地分析天氣現(xiàn)象，特別是強對流天氣。在風云四號、Himawari-8的數(shù)據(jù)展示中，按照時間先后進行各類產品的動畫展示。

4）疊加地形的三維近景展示。在碳衛(wèi)星中，采用三維的疊加地形方式進行二氧化碳產品的展示（圖7）。

圖7 碳衛(wèi)星CO2濃度產品疊加地形的三維近景展示

綜上所述，應用平臺已經實現(xiàn)了對多種數(shù)據(jù)的處理和使用，在風云三號實時業(yè)務系統(tǒng)、風云四號省級用戶站、Himawari-8的省級用戶站中也得到業(yè)務應用。

4 小結

基于以上系統(tǒng)架構和關鍵問題的解決方案，研制開發(fā)出來的多源氣象衛(wèi)星數(shù)據(jù)集成顯示應用平臺（ShinetekView），很好地實現(xiàn)了包括風云三號衛(wèi)星、風云四號衛(wèi)星、碳衛(wèi)星在內的多種衛(wèi)星資料的綜合顯示，除此以外能進行數(shù)值預報數(shù)據(jù)、實測數(shù)據(jù)的疊加分析。同時能支持二維、三維遠景、三維近景的多種顯示方式。

ShinetekView是一種支持多源、多尺度、多形態(tài)的氣象數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù)自動化生產發(fā)布的集成方案，為未來多源數(shù)據(jù)的遙感應用提供了一個簡潔易用的平臺。

深入閱讀

黃夢雄, 朱勤東, 趙躍, 2013. 基于REST 和AJAX 的WebGIS 設計與實現(xiàn). 測繪與空間地理信息, 36(7): 58-66.

盧乃錳, 谷松巖, 2016. 氣象衛(wèi)星發(fā)展回顧與展望, 遙感學報,20(5): 832-841.

盧乃錳, 鄭偉, 王新, 等, 207. 氣象衛(wèi)星及其產品在天氣氣候分析和環(huán)境災害監(jiān)測中的應用概述, 海洋氣象學報, 37(1) : 20-30.

張黎明, 閆浩文, 2010. 基于OGC規(guī)范的WebGIS設計與應用. 測繪與空間地理信息, 34(6): 41-43.

張鵬, 郭強, 陳博洋, 等, 2016. 我國風云四號氣象衛(wèi)星與日本Himawari-8/9 衛(wèi)星比較分析. 氣象科技進展, 6(1): 72-75.