省級(jí)氣象觀測(cè)資料集約化監(jiān)控平臺(tái)設(shè)計(jì)

雷衛(wèi)延，楊家偉，曾樂(lè)，王明輝

（1.廣東省氣象探測(cè)數(shù)據(jù)中心，廣東廣州 510080；2.惠州市氣象局，廣東惠州 516002；3.國(guó)家氣象信息中心，北京 100081）

近年來(lái)氣象資料的種類和數(shù)量呈現(xiàn)出指數(shù)增長(zhǎng)，監(jiān)控系統(tǒng)或平臺(tái)層出不窮。李源鴻等［1］研究開(kāi)發(fā)廣東省地面氣象綜合探測(cè)全網(wǎng)實(shí)時(shí)監(jiān)控系統(tǒng)；陳冰懷等［2］研究開(kāi)發(fā)風(fēng)廓線雷達(dá)實(shí)時(shí)監(jiān)控系統(tǒng)；李建勇等［3］研究開(kāi)發(fā)基于網(wǎng)絡(luò)提取技術(shù)的GPS/MET水汽站自動(dòng)監(jiān)測(cè)報(bào)警系統(tǒng)。2011年以來(lái)中國(guó)氣象局相繼部署綜合氣象觀測(cè)運(yùn)行監(jiān)控系統(tǒng)（ASOM）［4-5］、全國(guó)綜合氣象信息共享平臺(tái)（CIMISS）［6］、氣象綜合業(yè)務(wù)實(shí)時(shí)監(jiān)控系統(tǒng)（天鏡）等，雖然實(shí)現(xiàn)了高效的一體化監(jiān)控，但國(guó)家、省、臺(tái)站仍只看到本級(jí)資料的相關(guān)信息，無(wú)法實(shí)現(xiàn)數(shù)據(jù)從源端采集到終端應(yīng)用的全流程實(shí)時(shí)監(jiān)控。

本研究基于CIMISS業(yè)務(wù)系統(tǒng)設(shè)計(jì)，制定監(jiān)控信息標(biāo)準(zhǔn)化通信協(xié)議，采用監(jiān)控信息批量傳輸方式，對(duì)關(guān)鍵參數(shù)進(jìn)行測(cè)試，使氣象觀測(cè)資料達(dá)到全流程分鐘級(jí)監(jiān)控的預(yù)期效果。氣象集約化監(jiān)控系統(tǒng)按照數(shù)據(jù)傳輸流程采用臺(tái)站級(jí)、省級(jí)和國(guó)家級(jí)三級(jí)部署，臺(tái)站級(jí)負(fù)責(zé)采集臺(tái)站級(jí)各類資料監(jiān)控信息，通過(guò)標(biāo)準(zhǔn)化通信協(xié)議上傳至省級(jí)集約化監(jiān)控平臺(tái)；省級(jí)集約化監(jiān)控平臺(tái)負(fù)責(zé)采集省級(jí)各類資料監(jiān)控信息，融合臺(tái)站級(jí)監(jiān)控信息后，通過(guò)標(biāo)準(zhǔn)化通信協(xié)議上傳至國(guó)家級(jí)集約化監(jiān)控平臺(tái)；國(guó)家級(jí)集約化監(jiān)控平臺(tái)負(fù)責(zé)采集國(guó)家級(jí)、省級(jí)和臺(tái)站級(jí)各類資料監(jiān)控信息和一體化應(yīng)用。相比CIMISS和“天鏡”系統(tǒng)，本研究設(shè)計(jì)的集約化監(jiān)控平臺(tái)優(yōu)勢(shì)在于能夠獲取各類資料在臺(tái)站級(jí)、省級(jí)、國(guó)家級(jí)3級(jí)傳輸節(jié)點(diǎn)的數(shù)據(jù)流信息，及時(shí)定位數(shù)據(jù)傳輸和處理過(guò)程中的故障環(huán)節(jié)以及所關(guān)聯(lián)的軟件等信息。

1 監(jiān)控平臺(tái)設(shè)計(jì)

1.1 設(shè)計(jì)方案

省級(jí)集約化監(jiān)控平臺(tái)通過(guò)UDP協(xié)議收集臺(tái)站級(jí)各類資料監(jiān)控信息，每分鐘定時(shí)訪問(wèn)省級(jí)CIMISS系統(tǒng)實(shí)時(shí)數(shù)據(jù)庫(kù)，查詢省級(jí)最近時(shí)次15大類氣象觀測(cè)數(shù)據(jù)的監(jiān)控信息，按照一定規(guī)則將二者融合處理后再統(tǒng)一上傳到國(guó)家級(jí)監(jiān)控平臺(tái)，是臺(tái)站級(jí)、省級(jí)和國(guó)家級(jí)全流程集約化監(jiān)控的最為關(guān)鍵一環(huán)。在約定時(shí)間內(nèi)，如果臺(tái)站級(jí)監(jiān)控信息和省級(jí)監(jiān)控信息均正常采集，需要把二者融合為一條監(jiān)控信息，數(shù)據(jù)融合的依據(jù)是省級(jí)和臺(tái)站級(jí)監(jiān)控信息的資料站號(hào)、觀測(cè)時(shí)間、資料類型等要素，上述3個(gè)元監(jiān)控信息完全一致則匹配成功，啟動(dòng)數(shù)據(jù)融合，轉(zhuǎn)換成標(biāo)準(zhǔn)JSON格式的監(jiān)控信息，及時(shí)上傳到國(guó)家級(jí)監(jiān)控平臺(tái)。如果省級(jí)和臺(tái)站級(jí)監(jiān)控信息任意一條缺失，則不需要數(shù)據(jù)融合，而是將該條省級(jí)或臺(tái)站級(jí)標(biāo)準(zhǔn)JSON格式的監(jiān)控信息經(jīng)數(shù)據(jù)格式轉(zhuǎn)換上傳至國(guó)家級(jí)監(jiān)控平臺(tái)［5-7］，在國(guó)家級(jí)應(yīng)用平臺(tái)上可以查看缺失資料的省級(jí)或臺(tái)站級(jí)監(jiān)控信息，準(zhǔn)確及時(shí)發(fā)現(xiàn)資料缺失的具體原因，如根據(jù)接收時(shí)間、發(fā)送時(shí)間判斷由省級(jí)還是臺(tái)站級(jí)引起；根據(jù)業(yè)務(wù)系統(tǒng)判斷哪個(gè)環(huán)節(jié)出現(xiàn)問(wèn)題；根據(jù)處理環(huán)節(jié)獲取監(jiān)控信息來(lái)源等，從而提高數(shù)據(jù)在線監(jiān)控水平和維修保障效率。

1.2 監(jiān)控信息格式

通過(guò)梳理省級(jí)氣象觀測(cè)監(jiān)控業(yè)務(wù)流程，獲取臺(tái)站級(jí)國(guó)家自動(dòng)氣象站、新一代天氣雷達(dá)、區(qū)域自動(dòng)氣象站等主要?dú)庀笥^測(cè)數(shù)據(jù)的監(jiān)控信息，提取省級(jí)15大類、498子類、1 500個(gè)細(xì)目等所有氣象觀測(cè)數(shù)據(jù)的監(jiān)控信息，省級(jí)集約化監(jiān)控平臺(tái)按照一定規(guī)則將臺(tái)站和省級(jí)監(jiān)控信息進(jìn)行融合形成省級(jí)數(shù)據(jù)流監(jiān)控信息，并利用標(biāo)準(zhǔn)化通信協(xié)議上傳至國(guó)家級(jí)集約化監(jiān)控平臺(tái)［7］。集約化監(jiān)控系統(tǒng)由臺(tái)站級(jí)、省級(jí)、國(guó)家級(jí)3級(jí)組成，每級(jí)監(jiān)控信息都有元監(jiān)控信息和資料監(jiān)控信息兩部分組成，元監(jiān)控信息指資料本身的屬性信息，包括資料站號(hào)、觀測(cè)時(shí)間、記錄時(shí)間、省屬代碼、資料類別等；資料監(jiān)控信息指要獲取的數(shù)據(jù)流傳輸信息，包括業(yè)務(wù)系統(tǒng)、處理環(huán)節(jié)、接收時(shí)間、發(fā)送時(shí)間、上一級(jí)資料監(jiān)控信息等。

1.3 標(biāo)準(zhǔn)化通信協(xié)議

臺(tái)站級(jí)與省級(jí)、省級(jí)與國(guó)家級(jí)集約化監(jiān)控信息的對(duì)接都是基于標(biāo)準(zhǔn)化通信協(xié)議，如表1所示。省級(jí)與國(guó)家級(jí)基于HTTP通信協(xié)議，采用POST方法主動(dòng)將省級(jí)監(jiān)控信息推送到國(guó)家級(jí)監(jiān)控平臺(tái)，相對(duì)GET方法，具安全性高、傳輸數(shù)據(jù)量大等優(yōu)點(diǎn)。鑒于氣象部門擁有可靠、穩(wěn)定的VPN網(wǎng)絡(luò)，UDP傳輸協(xié)議具有消耗資源少、延遲小、傳輸效率高等特點(diǎn)，因此臺(tái)站級(jí)與省級(jí)通信協(xié)議采用無(wú)連接的UDP協(xié)議，更適合臺(tái)站級(jí)和省級(jí)多對(duì)一的數(shù)據(jù)傳輸。

表1 監(jiān)控信息標(biāo)準(zhǔn)化通信協(xié)議

1.4 監(jiān)控信息批量傳輸

省級(jí)龐大的氣象資料監(jiān)控信息若采用逐條方式上傳，則造成系統(tǒng)和網(wǎng)絡(luò)資源的極大浪費(fèi)，傳輸效率低下。采用HttpWebRequest類和POST方法批量推送監(jiān)控信息，按照批量傳輸協(xié)議每次上傳100條，接收端按照批量處理協(xié)議同樣每次處理100條，大大節(jié)約傳輸時(shí)間。采用批量傳輸處理機(jī)制，經(jīng)過(guò)實(shí)際驗(yàn)證，最大上傳速率可達(dá)到700條/s，經(jīng)過(guò)實(shí)際測(cè)試對(duì)于每分鐘產(chǎn)生的約1 000條監(jiān)控信息，不到2 s就能上傳到服務(wù)器端，加上監(jiān)控信息提取和數(shù)據(jù)融合平均耗時(shí)15.38 s，從省級(jí)監(jiān)控信息提取到數(shù)據(jù)融合再到上傳國(guó)家級(jí)監(jiān)控平臺(tái)總耗時(shí)僅需17.38 s，完全滿足1 min集約化監(jiān)控的時(shí)效要求。

1.5 參數(shù)測(cè)試分析

省級(jí)監(jiān)控平臺(tái)需要對(duì)掌握省級(jí)各類資料入庫(kù)延時(shí)參數(shù)（簡(jiǎn)稱“延時(shí)參數(shù)”）和提取省級(jí)各類監(jiān)控信息耗時(shí)參數(shù)（簡(jiǎn)稱“耗時(shí)參數(shù)”）等關(guān)鍵信息。氣象觀測(cè)資料從采集源端到省級(jí)入庫(kù)會(huì)造成一定的延時(shí)，延時(shí)參數(shù)的取值非常關(guān)鍵，關(guān)系到采集氣象資料監(jiān)控信息的準(zhǔn)確性和時(shí)效性，取值越大意味著獲取的監(jiān)控信息更加準(zhǔn)確，但時(shí)效性會(huì)變差。延時(shí)參數(shù)的選取需要經(jīng)過(guò)實(shí)際測(cè)試，在監(jiān)控信息的準(zhǔn)確性和時(shí)效性之間取得平衡。分析CIMISS系統(tǒng)資料到報(bào)延時(shí)情況，如圖1所示，當(dāng)延時(shí)時(shí)間為5～9 min時(shí)，資料到報(bào)數(shù)量變化不大，說(shuō)明5 min后全省各類氣象資料已基本完成入庫(kù)，延時(shí)參數(shù)取5 min比較合適，在此情況下對(duì)采集省級(jí)所有資料監(jiān)控信息進(jìn)行長(zhǎng)時(shí)間測(cè)試，以5 min為周期約有地面、高空、雷達(dá)、大氣成分、海洋、輻射、農(nóng)氣、服務(wù)產(chǎn)品等共計(jì)4 800～5 200條。

圖1 CIMISS系統(tǒng)資料到報(bào)延時(shí)分析

提取省級(jí)所有資料監(jiān)控信息所耗費(fèi)的時(shí)間尤其關(guān)鍵，該耗時(shí)參數(shù)大小決定能否滿足1 min超高時(shí)間分辨率監(jiān)控的需求。通過(guò)代碼不斷優(yōu)化和反復(fù)測(cè)試，基于迭代查詢方式大大節(jié)約了數(shù)據(jù)庫(kù)海量數(shù)據(jù)的查詢時(shí)間，一次性從CIMISS系統(tǒng)數(shù)據(jù)庫(kù)獲取省級(jí)全部業(yè)務(wù)資料監(jiān)控信息平均耗時(shí)由最初的70 s降低到15 s左右，為實(shí)現(xiàn)各類觀測(cè)資料監(jiān)控信息分鐘級(jí)超高時(shí)間分辨率的集約化平臺(tái)奠定基礎(chǔ)［8-10］。

1.6 傳輸處理流程

省級(jí)氣象觀測(cè)資料集約化監(jiān)控平臺(tái)監(jiān)控信息傳輸處理流程如圖2所示。

根據(jù)統(tǒng)計(jì)結(jié)果，省級(jí)監(jiān)控平臺(tái)每天產(chǎn)生大約140萬(wàn)條監(jiān)控信息，能否把如此龐大的數(shù)據(jù)流信息及時(shí)有效的上傳到國(guó)家級(jí)集約化監(jiān)控平臺(tái)，關(guān)系到能否達(dá)到1 min頻次的監(jiān)控時(shí)效。針對(duì)此問(wèn)題，主要采用兩種策略，一是剔除每次采集結(jié)果中重復(fù)的監(jiān)控信息，避免重復(fù)上傳；二是采用批量處理、批量上傳的高效傳輸模式［11-13］，大大提高傳輸效率。

圖2 監(jiān)控信息傳輸處理流程示意圖

2 結(jié)論

省級(jí)氣象觀測(cè)資料集約化監(jiān)控平臺(tái)基于CIMISS數(shù)據(jù)庫(kù)設(shè)計(jì)，監(jiān)控的時(shí)效性取決于省級(jí)CIMISS系統(tǒng)對(duì)各類資料的采集入庫(kù)時(shí)間，對(duì)于少部分可能延遲入庫(kù)的數(shù)據(jù)資料，選取合適的延時(shí)參數(shù)確保觀測(cè)資料監(jiān)控信息的完整性。監(jiān)控平臺(tái)設(shè)計(jì)難點(diǎn)在于及時(shí)有效的提取省級(jí)各類業(yè)務(wù)資料的監(jiān)控信息，通過(guò)關(guān)聯(lián)分析法將臺(tái)站推送過(guò)來(lái)的各類監(jiān)控信息與省級(jí)監(jiān)控信息有效融合，并把融合后的省級(jí)全流程監(jiān)控信息及時(shí)推送給國(guó)家級(jí)監(jiān)控平臺(tái)，為最終實(shí)現(xiàn)全國(guó)各類氣象業(yè)務(wù)資料1 min高時(shí)間分辨率的集約化監(jiān)控和一體化應(yīng)用奠定基礎(chǔ)。集約化監(jiān)控平臺(tái)基于標(biāo)準(zhǔn)化通信協(xié)議和全國(guó)統(tǒng)一運(yùn)行業(yè)務(wù)環(huán)境設(shè)計(jì)，能夠及時(shí)監(jiān)控各類資料省級(jí)和臺(tái)站級(jí)的傳輸駐留信息，及時(shí)發(fā)現(xiàn)資料傳輸故障節(jié)點(diǎn)信息，將極大提高數(shù)據(jù)在線監(jiān)控水平和維修保障效率。