朱佳寧,邱學興,安晶晶,姚 晨,趙青松
?
安徽省智能網(wǎng)格預(yù)報編輯系統(tǒng)的實現(xiàn)與應(yīng)用
朱佳寧,邱學興,安晶晶,姚 晨,趙青松
(安徽省氣象臺,安徽 合肥 230031)
準確、及時、高效的天氣預(yù)報信息是地方政府部門指揮工農(nóng)業(yè)生產(chǎn)、防汛抗旱和防災(zāi)減災(zāi)等工作的重要科學依據(jù)。為了提高中短期預(yù)報時間和空間的精度,更好地為政府部門和公眾服務(wù),研發(fā)了基于瀏覽器/服務(wù)器(B/S)框架的安徽省智能網(wǎng)格編輯系統(tǒng)。該系統(tǒng)實現(xiàn)了安徽省0-10天(逐3小時)時效內(nèi)2.5 KM分辨率氣象要素格點預(yù)報,0-72小時(逐3小時)災(zāi)害性落區(qū)預(yù)報,實現(xiàn)“全省共織一張網(wǎng)”。目前,安徽省智能網(wǎng)格預(yù)報編輯系統(tǒng)已成為安徽省氣象臺預(yù)報業(yè)務(wù)的主要支撐平臺,該系統(tǒng)已業(yè)務(wù)應(yīng)用一年,在中短期預(yù)報工作中發(fā)揮了重要的支撐作用。
智能網(wǎng)格預(yù)報;格點編輯;消息中間件;WebGIS
天氣預(yù)報的主要內(nèi)容是一個地區(qū)或城市未來一段時期內(nèi)的天氣現(xiàn)象、最高最低氣溫、風向風力及特殊的災(zāi)害性天氣。但是,傳統(tǒng)的城鎮(zhèn)天氣預(yù)報內(nèi)容只包括2400多個城鎮(zhèn)的天氣現(xiàn)象、高低溫和風向風力預(yù)報,頻次也只是一天三次,預(yù)報的時間精度和空間精度不夠高。因此,如何提高天氣預(yù)報時間和空間的精度,提供更加精確的天氣預(yù)報產(chǎn)品是氣象預(yù)報服務(wù)中亟待解決的問題。依托安徽省氣象局資源池,基于CIMISS數(shù)據(jù)標準體系,建設(shè)安徽省智能網(wǎng)格預(yù)報編輯系統(tǒng)[1-4]。該系統(tǒng)具有定量化預(yù)報、智能化訂正、省市互動、集約開放等特點,實現(xiàn)安徽省天氣預(yù)報(0-10天)時效內(nèi)氣象要素格點預(yù)報制作“全省一張網(wǎng)”編輯,實現(xiàn)各類預(yù)報指標、本地客觀預(yù)報方法的動態(tài)調(diào)整功能,實現(xiàn)單要素時空分布協(xié)調(diào)、多要素間相互協(xié)調(diào)的要素編輯訂正功能。
實現(xiàn)安徽省0-10天(逐3小時)時效內(nèi)2.5KM分辨率氣象要素格點站點預(yù)報,0-72小時,逐3小時災(zāi)害性落區(qū)預(yù)報,實現(xiàn)“全省共織一張網(wǎng)”。
(1)基本功能
基本要求:地理信息、全省用戶統(tǒng)一存儲管理、分級用戶管理、業(yè)務(wù)流程管理、登錄管理、用戶瀏覽、幫助文檔、自動升級功能等;
任務(wù)列表:任務(wù)管理、任務(wù)操作、時間定制等;
共性功能:常用MICAPS(氣象信息綜合處理系統(tǒng))格式產(chǎn)品顯示、監(jiān)視模式與歷史數(shù)據(jù)查詢模式、圖層管理功能;預(yù)報服務(wù)監(jiān)控:記錄預(yù)報員的操作、服務(wù)記錄、業(yè)務(wù)監(jiān)控、系統(tǒng)記錄查看等。
(2)省級功能
智能預(yù)報制作:支持高分辨率、多要素格點訂正、不同用戶(或崗位)登錄后可訂正的要素與時次不同(后臺可配置)、格點訂正引擎、累加要素自動分配功能、連續(xù)要素自動插值功能、錯誤檢查提示、協(xié)同訂正、災(zāi)害性天氣落區(qū)格點化預(yù)報制作、預(yù)報產(chǎn)品存儲;
站點預(yù)報制作:訂正底稿自動生成、表格式訂正、多種訂正并存;
(3)市級功能
精細化到格點、站點(城鎮(zhèn)/鄉(xiāng)鎮(zhèn))的0-24小時預(yù)報制作。
安徽省智能網(wǎng)格預(yù)報系統(tǒng)與中國氣象局現(xiàn)有運行的數(shù)據(jù)系統(tǒng)包括基于WINDOWS SERVER 的CIMISS全國綜合氣象信息共享系統(tǒng),業(yè)務(wù)系統(tǒng)包括基于WINDOWS的格點站點一體化編輯平臺等無縫對接。采用跨平臺程序設(shè)計,可以在多種硬件平臺、操作系統(tǒng)、數(shù)據(jù)庫上運行,無縫對接LINUX和WINDOWS SERVER的系統(tǒng)和這些系統(tǒng)所提供的數(shù)據(jù)接口、數(shù)據(jù)庫等??赏ㄟ^客戶端模式、WEBSERVICE模式等多種模式與系統(tǒng)進行無縫對接,做到系統(tǒng)數(shù)據(jù)互通互聯(lián)。
1)消息總線(圖1)是一種通信技術(shù),可在不同機器間互相傳遞消息、文本等。
2)消息總線采用消息生產(chǎn)者與消息消費者的模式,消息生產(chǎn)者指消息的發(fā)送方,消息消費者指消息的接收方,例如當數(shù)據(jù)采集平臺采集完某類數(shù)據(jù)時,可及時將信息發(fā)送至數(shù)據(jù)計算與分析平臺進行處理。
圖1 消息總線技術(shù)圖
3)使用消息總線技術(shù)[5],各平臺、各模塊間將大大降低耦合度,使整個系統(tǒng)可做到插件式開發(fā),并可在不同機器間進行任務(wù)協(xié)調(diào)。
在氣象領(lǐng)域經(jīng)常采用到的大型數(shù)據(jù)庫有Oracle數(shù)據(jù)庫[6]以及SqlServer數(shù)據(jù)庫。數(shù)據(jù)庫的數(shù)據(jù)處理能力對于整個平臺的穩(wěn)定性至關(guān)重要??紤]到Oracle數(shù)據(jù)庫的數(shù)據(jù)處理能力明顯強于后者,并且它可以部署于Linux操作系統(tǒng)上,為保證將來可能的數(shù)據(jù)平臺遷移需求,設(shè)計平臺采用Oracle數(shù)據(jù)庫系統(tǒng)。
消息中間件(message oriented middleware)[7-8]是指支持與保障分布式應(yīng)用程序之間同步/異步收發(fā)消息的中間件。一般地,實時性要求較高的業(yè)務(wù)采用同步方式處理,實時性要求不高的業(yè)務(wù)采用異步方式進行處理。消息中間件已廣泛應(yīng)用于各類分布式應(yīng)用系統(tǒng)中。
消息中間件的基本工作原理(圖2)為:在消息發(fā)送方,消息發(fā)送者調(diào)用發(fā)送消息的API函數(shù),將需要發(fā)送的消息經(jīng)消息隊列服務(wù)存儲到發(fā)送消息隊列中;通過雙方消息傳遞服務(wù)之間的交互,經(jīng)消息隊列服務(wù)將需要發(fā)送的消息從發(fā)送隊列取出,并送到接收方;接收方再經(jīng)它的消息隊列服務(wù)將接收到的消息存放到它的接收消息隊列中;在消息接收方,消息接收者調(diào)用接收消息的API函數(shù),同樣經(jīng)過消息隊列服務(wù),將需要的消息從接收隊列中取出,并進行處理。消息在發(fā)送或接收成功后,消息隊列服務(wù)將對相應(yīng)的消息隊列進行管理。
消息總線技術(shù)是現(xiàn)在大數(shù)據(jù)技術(shù)中一個主要技術(shù),它與內(nèi)存數(shù)據(jù)庫技術(shù)一起能穩(wěn)定快速的實現(xiàn)各個子系統(tǒng)間的協(xié)同工作。并能方便實現(xiàn)掛載在其上的子系統(tǒng)的負載均衡。由于掛載在其上的子系統(tǒng)是松耦合方式,這樣就為子系統(tǒng)的擴展提供了方便性與可維護性。
圖2 消息中間件原理圖
智能網(wǎng)格預(yù)報編輯系統(tǒng)的基礎(chǔ)數(shù)據(jù)環(huán)境要采集入庫大量不同類型的氣象數(shù)據(jù),并要將它們解析、加工、融合、統(tǒng)計成各種不同的氣象中間產(chǎn)品及服務(wù)產(chǎn)品,這就需要開發(fā)大量的數(shù)據(jù)入庫子系統(tǒng)、數(shù)據(jù)處理子系統(tǒng),并且隨著業(yè)務(wù)需求的不斷增加,子系統(tǒng)的數(shù)量也會不斷增加。消息總線技術(shù)的應(yīng)用則可以很好的保證子系統(tǒng)的方便掛載。
智能網(wǎng)格預(yù)報編輯系統(tǒng)需要省市協(xié)同編輯,通過消息總線的實時性,也可及時的反應(yīng)各個編輯客戶端的編輯結(jié)果。
目前流行消息總線中間件有ActiveMQ、Kafka、Rabbitmq等,它們各有優(yōu)缺點,考慮到中國氣象局正在建設(shè)的公眾服務(wù)云中采用的是ActiveMQ中間件,為了保證與其的技術(shù)路線一致,系統(tǒng)設(shè)計也采用該中間件框架。
WebGIS[9]支持在PC瀏覽器,又支持移動端Web的GIS引擎。具備簡便、高性能和可用性好的設(shè)計框架,在主要桌面應(yīng)用和移動平臺能高效運作,在現(xiàn)代瀏覽器上利用HTML5、AJAX和CSS3的優(yōu)勢,同時也支持舊的瀏覽器訪問,支持插件擴展。該框架除了實現(xiàn)常規(guī)WebGIS引擎基本功能外,還封裝了在氣象領(lǐng)域使用到的格點場疊加功能。已成功運用于多個氣象數(shù)據(jù)展現(xiàn)平臺上。
智能網(wǎng)格預(yù)報平臺選用了B/S模式的WebGIS技術(shù),免去安裝升級客戶端的繁瑣操作,并且數(shù)據(jù)產(chǎn)品合成,各氣象要素的協(xié)同也在服務(wù)器端進行,對本地計算機的性能要求非常小。
安徽省智能網(wǎng)格預(yù)報編輯系統(tǒng)總體架構(gòu)如圖3所示。
整個系統(tǒng)分為支撐層、數(shù)據(jù)資源層、應(yīng)用支撐層、業(yè)務(wù)應(yīng)用層和用戶層。
支撐層:平臺建設(shè)的基礎(chǔ)。
數(shù)據(jù)資源層:系統(tǒng)基礎(chǔ)數(shù)據(jù)環(huán)境,包含各種氣象實況數(shù)據(jù)、格點預(yù)報數(shù)據(jù)、模式數(shù)據(jù)的采集,處理;格點數(shù)據(jù)的降尺度,融合等。
應(yīng)用支撐層:平臺運行需要的各種中間件,算法插件等。
業(yè)務(wù)應(yīng)用層:智能網(wǎng)格編輯系統(tǒng)以及各個模塊,主要是格點編輯、數(shù)據(jù)監(jiān)控、系統(tǒng)設(shè)置等。
用戶層:管理用戶可對系統(tǒng)的權(quán)限、配置、流程等進行管理。省級用戶可使用通用功能、省級功能、業(yè)務(wù)管理功能,市級用戶可以使用通用功能和業(yè)務(wù)功能。
基于集約化、現(xiàn)代化、智能化的原則,建成可支撐安徽省市兩級格點/站點一體化的定量化預(yù)報、智能化訂正,實現(xiàn)全省格點預(yù)報指導(dǎo)與訂正反饋的即時互動和實時共享的智能網(wǎng)格編輯系統(tǒng)(圖4);并與現(xiàn)有安徽省中短期天氣預(yù)報業(yè)務(wù)有機銜接,形成格點預(yù)報業(yè)務(wù)流程、業(yè)務(wù)規(guī)范。分為數(shù)據(jù)環(huán)境建設(shè)、業(yè)務(wù)操作系統(tǒng)兩個部分。
數(shù)據(jù)環(huán)境建設(shè)按照多線程分布式計算、存儲的方式進行設(shè)計,實現(xiàn)各類數(shù)據(jù)的標準化處理存儲、實現(xiàn)不同數(shù)據(jù)產(chǎn)品的繪圖處理、實現(xiàn)歷史數(shù)據(jù)的歸一化處理等,確保操作系統(tǒng)的處理響應(yīng)速度達到秒級。
圖3 總體架構(gòu)圖
圖4 功能結(jié)構(gòu)圖
業(yè)務(wù)操作系統(tǒng)界面設(shè)計新穎,具有格點預(yù)報產(chǎn)品訂正、省市共享協(xié)同、集約開放的智能網(wǎng)格預(yù)報編輯系統(tǒng),可以實現(xiàn)全省中短期(0-10天)時效內(nèi)氣象要素格點預(yù)報、災(zāi)害性天氣落區(qū)預(yù)報制作“全省一張網(wǎng)”編輯。主要包括格點編輯、數(shù)據(jù)監(jiān)控、系統(tǒng)管理等模塊。
通過采集各類原始數(shù)據(jù),將其降尺度成2.5* 2.5 KM的產(chǎn)品。通過格點預(yù)報檢驗后動態(tài)取優(yōu),生成基礎(chǔ)格點預(yù)報產(chǎn)品(圖5)傳入智能網(wǎng)格預(yù)報編輯系統(tǒng)(圖6),在編輯系統(tǒng)中對格點站點進行編輯、主客觀融合、要素協(xié)同、省市協(xié)同,生成格點預(yù)報產(chǎn)品,再通過預(yù)報解析平臺解析生成文字產(chǎn)品。
圖5 格點預(yù)報基礎(chǔ)數(shù)據(jù)資源池建立模型圖
圖6 格點編輯界面展示
實現(xiàn)全省0-12小時(逐1小時)、1-10天(逐3小時)時效內(nèi)2.5KM分辨率氣象要素格點站點預(yù)報,0-72小時,逐3小時災(zāi)害性落區(qū)預(yù)報,實現(xiàn)“全省共織一張網(wǎng)”(圖7)。
實現(xiàn)從基礎(chǔ)產(chǎn)品的輸入,到通過智能工具箱、智能規(guī)則、人工訂正編輯,再到調(diào)用格點預(yù)報產(chǎn)品資源,最終生成服務(wù)產(chǎn)品的全過程。
通過選定一個區(qū)域范圍,計算出區(qū)域內(nèi)的最大值(不含無效值)和最小值,修改最大值和最小值,以等比的方式調(diào)整區(qū)域內(nèi)的所有格點值,區(qū)域內(nèi)出現(xiàn)無效值時使用新的最小值填充。
圖7 “全省共織一張網(wǎng)”流程圖
公式:原格點場最大值Max1,最小值Min1,格點值 A,改后格點最大值 Max2,最小值Min2,格點值B:
比例值:C=(Max2-Min2)/(Max1-Min1)
B=(A-min1)*C+Min2
(A-min1)/(Max1-Min1)=(B-min2)/(Max2-Min2)
通過選定一個區(qū)域范圍,默認標出區(qū)域內(nèi)的一個中心點,用戶可以移動或增加減少這個權(quán)重點,設(shè)置邊界的值與權(quán)重點的值,以反距離加權(quán)法算出區(qū)域內(nèi)所有格點值。
選擇畫塊區(qū)工具,通過選擇色譜上點值或自定義值,選擇屬性(定值、增值、減值),
在格點場上畫一塊區(qū)域,把區(qū)域內(nèi)的格點值按選定的屬性與值重新計算出格點值。
畫出N個的落區(qū)線,落區(qū)可以從里到外,由大到小的降水等級,計算出落區(qū)會影響的所有格點,使用反距離加權(quán)法算出格點的值。
在畫出的塊區(qū),可以對底板格點跟多個參考資料設(shè)定每個模式的權(quán)重系數(shù)后計算出來的各模式的值累加起來應(yīng)用到格點。
使用站點編輯工具,只會修改到關(guān)鍵點(站點)與對應(yīng)的最近格點,及0.05公里分辨率下與關(guān)鍵點(站點)最近的點,其它格點不會修改。
選擇某個關(guān)鍵點(站點)時序圖,調(diào)整這個站點的趨勢。再從站點返回到格點(最近點,及0.05公里的最近點值),實現(xiàn)站點格點同步。同步站點時,以當前編輯的格點值修改到被同步的格點值。
選擇一個區(qū)域,以這個區(qū)域的平均值,建立一個時序圖,調(diào)整這個曲線,以調(diào)整的變化量去修改整個選擇的區(qū)域內(nèi)的每個格點值。
選擇一塊區(qū)域,通過鼠標拖動到一個新的位置,原來的被移動的位置用無效值填充,新地方使用選擇的區(qū)域填充。
選擇一個開始時間、結(jié)束時間,計算出這段時間段內(nèi)的累計降水,并展示在GIS地圖上。
圖8 圖表編輯界面展示
把參考資料選中的地區(qū)范圍內(nèi)的格點替換到當前編輯的數(shù)據(jù)中。
把參考資料選中的地區(qū)范圍內(nèi)的站點(關(guān)鍵點)替換到當前編輯的數(shù)據(jù)中,只會修改到關(guān)鍵點(站點)與對應(yīng)的最近格點,及0.05公里分辨率下與關(guān)鍵點(站點)最近的點,其它格點不會修改。
1)流程監(jiān)控:以表格方式展示各地市和省臺格點預(yù)報上傳情況監(jiān)控信息;
2)數(shù)據(jù)監(jiān)控:對格點背景場數(shù)據(jù)進行監(jiān)控:包括濕度、風、最高氣溫、最低氣溫、氣溫、總云量、天氣現(xiàn)象、能見度。
安徽省市預(yù)報員制作完成智能網(wǎng)格預(yù)報產(chǎn)品之后,后臺自動形成安徽省智能網(wǎng)格預(yù)報產(chǎn)品數(shù)據(jù)庫,包括天氣現(xiàn)象,溫度、風向風速、降水量等各類氣象要素。給定安徽省任意地點地理位置信息后,便可自動獲取該地0~10天各類氣象要素預(yù)報(圖9),并能以文字圖表等形式(圖10)呈現(xiàn),能滿足政府部門各種氣象服務(wù)需求,這彌補了傳統(tǒng)城鎮(zhèn)天氣預(yù)報時間和空間精度上的不足。
1)智能網(wǎng)格預(yù)報平臺選用了B/S模式的WebGIS技術(shù),免去安裝升級客戶端的繁瑣操作,并且數(shù)據(jù)產(chǎn)品合成,各氣象要素的協(xié)同也在服務(wù)器端進行,對本地計算機的性能要求非常小。
2)預(yù)報員通過交互工具方便地調(diào)整各氣象要素場落區(qū)或趨勢,并能快速把各類模式預(yù)報場或?qū)崨r格點場應(yīng)用到當前預(yù)報時段,預(yù)報員的主觀訂正意愿能更高效地執(zhí)行。
3)智能網(wǎng)格預(yù)報產(chǎn)品制作完畢后,系統(tǒng)自動形成安徽省智能網(wǎng)格預(yù)報數(shù)據(jù)庫,可輸出任意地點的1~10天多種氣象要素預(yù)報,并能以各類文字圖表形式呈現(xiàn),能滿足政府部門各種氣象服務(wù)需求,這彌補了傳統(tǒng)城鎮(zhèn)天氣預(yù)報時間和空間精度上的不足。
4)目前,安徽省智能網(wǎng)格編輯系統(tǒng)已經(jīng)完全代替?zhèn)鹘y(tǒng)站點預(yù)報編輯系統(tǒng),所有安徽城鎮(zhèn)預(yù)報及其他所有中短期預(yù)報產(chǎn)品都由智能網(wǎng)格預(yù)報產(chǎn)品導(dǎo)出,該系統(tǒng)已經(jīng)在安徽省省市級氣象部門穩(wěn)定運行一年,取得了較好的中短期預(yù)報服務(wù)支撐效果。
圖9 智能網(wǎng)格預(yù)報產(chǎn)品應(yīng)用1
[1] 賀雅楠, 高嵩, 薛峰, 等. 基于MICAPS4的智能網(wǎng)格預(yù)報平臺設(shè)計與實現(xiàn)[J]. 應(yīng)用氣象學報, 2018, 29(1): 13-24.
[2] 高嵩, 代刊, 薛峰. 基于MICAPS3.2平臺的格點編輯平臺設(shè)計與開發(fā)[J]. 氣象, 2014, 40(9): 1152-1158.
[3] 王海賓, 楊引明, 漆梁波, 等. 澳大利亞氣象局圖形預(yù)報編輯器(GFE)介紹和分析[J]. 大氣科學研究與應(yīng)用, 2012(1): 109-116.
[4] 王海賓, 楊引明, 范旭亮, 儲海. 上海精細化格點預(yù)報業(yè)務(wù)進展與思考[J]. 氣象科技進展, 2016, 6(04): 18-23.
[5] 魚朝偉, 詹舒波. 基于RabbitMQ的異步全雙工消息總線的實現(xiàn)[J]. 軟件, 2016, 37(02): 139-146.
[6] 姚樹春. 大型數(shù)據(jù)庫ORACLE數(shù)據(jù)庫的優(yōu)化設(shè)計方案[J]. 軟件, 2013, 34(11): 131-132.
[7] 錢崢, 胡亞旦, 黃旋旋. 基于“消息中間件”技術(shù)的氣象信息總線[J]. 氣象科技, 2016, 44(2): 217-222.
[8] 熊風光, 韓燮, 韓焱. 自動測試系統(tǒng)消息中間件的設(shè)計與實現(xiàn)[J]. 計算機應(yīng)用與軟件, 2013, 30(04): 65-68+91.
[9] 王鶴, 王方雄, 徐惠民. 管網(wǎng)巡檢WebGIS設(shè)計與開發(fā)[J].軟件, 2017, 38(07): 126-129.
Implementation and Application of The Intelligent Grid Forecasting Editing System of Anhui
ZHU Jia-ning, QIU Xue-xing, AN Jing-jing, YAO Chen, ZHAO Qing-song
(Anhui Meteorological Observatory, Hefei 230031, China)
Accurate, timely and efficient weather forecast information is an important scientific basis for local government departments to command industrial and agricultural production, flood control and drought resistance and disaster prevention and reduction. In order to improve the accuracy of time and space for short and medium-range weather forecasting, and serve the government departments and the public better, intelligent grid editing system based on the B/S frame of Anhui was developed. This system has achieved the grid forecasting of 2.5km resolution weather element within the aging period of 0-10 days (3 hours by 3 hours) in Anhui province, 0-72 hours (3 hours by 3 hours) disaster area forecasting, it can achieve "a total of the province's network." At present, the intelligent grid forecasting and editing system in Anhui province has become the main supporting platform of weather forecasting business in Anhui province, this system has been in service for a year and has played an important supporting role in short and medium-range forecasting.
Intelligent grid forecasting; Grid editing; Message middleware; WebGIS
TP315
A
10.3969/j.issn.1003-6970.2018.10.047
朱佳寧(1982-),男,工程師,主要從事中短期天氣預(yù)報及軟件開發(fā)工作;邱學興(1979-),男,高級工程師,主要研究方向:中短期天氣預(yù)報及數(shù)值預(yù)報解釋應(yīng)用;安晶晶(1986-),男,工程師,主要研究方向:氣象資料處理;姚晨(1982-),女,高級工程師,主要研究方向:中短期天氣預(yù)報技術(shù);趙青松(1974-),男,工程師,主要研究方向:應(yīng)用氣象與氣象服務(wù)技術(shù)研發(fā)。
朱佳寧,邱學興,安晶晶,等. 安徽省智能網(wǎng)格預(yù)報編輯系統(tǒng)的實現(xiàn)與應(yīng)用[J]. 軟件,2018,39(10):242-249