氣象數(shù)據(jù)監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)

葉汶華

摘 要氣象數(shù)據(jù)監(jiān)控系統(tǒng)設(shè)計用于對種類繁多的氣象數(shù)據(jù)統(tǒng)一收集管理，及時發(fā)現(xiàn)傳輸中的問題。系統(tǒng)主要功能包括數(shù)據(jù)探測、智能分析和實時監(jiān)控。重點介紹針對數(shù)據(jù)庫數(shù)據(jù)和文件系統(tǒng)數(shù)據(jù)的探測及監(jiān)控技術(shù)。在深圳市氣象局的應用表明，系統(tǒng)可以及時發(fā)現(xiàn)數(shù)據(jù)傳輸中的問題，有效提高氣象資料采集傳輸?shù)墓芾砟芰Α?/p>

【關(guān)鍵詞】氣象數(shù)據(jù) 數(shù)據(jù)探測 實時監(jiān)控

2006年，深圳市氣象局建立了數(shù)據(jù)中心，將氣象基本觀測數(shù)據(jù)都納入統(tǒng)一管理，近年來，數(shù)據(jù)種類、內(nèi)容大大豐富。不同種類的多種數(shù)據(jù)來源不同，格式多樣，數(shù)據(jù)規(guī)律不一。建立一個數(shù)據(jù)監(jiān)控系統(tǒng)，實現(xiàn)對各類數(shù)據(jù)的實時監(jiān)控統(tǒng)計和告警，將可提升數(shù)據(jù)傳輸質(zhì)量保障能力。

1 總體架構(gòu)

氣象數(shù)據(jù)監(jiān)控系統(tǒng)分為數(shù)據(jù)探測、智能分析、實時監(jiān)控三個模塊。數(shù)據(jù)探測模塊采集每類數(shù)據(jù)到報情況，智能分析模塊根據(jù)各種數(shù)據(jù)的規(guī)律、預警條件、分析數(shù)據(jù)是否正常，實時監(jiān)控模塊展示數(shù)據(jù)到報情況以及發(fā)出告警通知。

2 數(shù)據(jù)探測

氣象原始數(shù)據(jù)，可以將其分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)一般采用關(guān)系型數(shù)據(jù)庫系統(tǒng)存儲，非結(jié)構(gòu)化數(shù)據(jù)一般采用文件系統(tǒng)存儲。數(shù)據(jù)探測程序按照結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分別設(shè)計。

2.1 結(jié)構(gòu)化數(shù)據(jù)

對于結(jié)構(gòu)化的關(guān)系型數(shù)據(jù)庫類的數(shù)據(jù)，數(shù)據(jù)探測程序主要是通過定期統(tǒng)計數(shù)據(jù)到報的數(shù)量來獲得數(shù)據(jù)到達情況。具體做法是在數(shù)據(jù)庫中定義一個定時任務(wù)，定期對目標數(shù)據(jù)表進行掃描統(tǒng)計，獲取特定時間段內(nèi)的數(shù)據(jù)到報數(shù)量。

如下面以區(qū)域站數(shù)據(jù)示例說明：該表包含了數(shù)據(jù)觀測時間（ddatetime），數(shù)據(jù)寫入時間（crttime）字段。因該類數(shù)據(jù)是每分鐘周期性到達，定期JOB定義為每5分鐘掃描一次，設(shè)定每次統(tǒng)計當前時間上5分鐘的數(shù)據(jù)，探測程序統(tǒng)計的SQL語句：

select ddatetime 時間， count（*） 到報數(shù)

from （select ddatetime

from T_LOCALOBTMIND

whereddatetime>=sysdate - 1 /288）

group by ddatetime

得出的結(jié)果如表1所示。

2.2 非結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化的文件數(shù)據(jù)的數(shù)據(jù)探測程序定期掃描目標文件夾，并將每次掃描結(jié)果存放在數(shù)據(jù)探測結(jié)構(gòu)表中。記錄文件的文件名、文件大小、生成時間、修改時間等屬性。以歐洲中心精細化預報產(chǎn)品目錄為例，說明一下程序運行情況：

目標目錄：＼＼cmacast＼NWP_MCTR_002＼ECMF_DAM＼PUB

掃描頻率：1小時

select file_name 文件名，accept_day||accept_time 接收時間

fromcmacast_file_nwp_mctr_002

order by mod_timedesc

掃描后的結(jié)果記錄如表2所示。

3 智能分析

氣象數(shù)據(jù)一般都具有較好的規(guī)律性。預警規(guī)則的設(shè)置，可以設(shè)置數(shù)據(jù)的數(shù)量閾值，時間閾值等參數(shù)。以深圳市區(qū)域站數(shù)據(jù)為例，區(qū)域站共120多個站點，每分鐘產(chǎn)生一個數(shù)據(jù)，因此，可將預警時間閾值設(shè)置成5分鐘，數(shù)量閾值設(shè)置成120。

設(shè)置完后，系統(tǒng)自動跟前面數(shù)據(jù)探測中獲取的實時數(shù)據(jù)情況作比對，當發(fā)現(xiàn)數(shù)據(jù)未在規(guī)定時間內(nèi)到達數(shù)量閾值時，觸發(fā)告警。

4 實時監(jiān)控

為了讓業(yè)務(wù)人員更直觀的了解各種數(shù)據(jù)到達情況，實時監(jiān)控功能提供了頁面展示和短信告警功能。監(jiān)控主頁面可以看到各種數(shù)據(jù)的到報情況，每一類數(shù)據(jù)可以設(shè)定一條對應的告警短信內(nèi)容以及對應的通知手機號碼，當達到預警條件時候，會觸發(fā)告警，發(fā)送告警短信到指定的手機號碼。

5 結(jié)語

系統(tǒng)考慮到了主流的結(jié)構(gòu)化關(guān)系數(shù)據(jù)庫數(shù)據(jù)跟非結(jié)構(gòu)化文件類數(shù)據(jù)的監(jiān)控，基本可以涵蓋現(xiàn)在所有常見氣象數(shù)據(jù)類型。系統(tǒng)還可以從以下方面進行改進。

（1）告警方式還可進一步改進增加直撥電話通知。

（2）可以考慮增加對數(shù)據(jù)內(nèi)容的驗證。

參考文獻

[1]李雁，李峰，趙志強，等.中國區(qū)域自動氣象站運行監(jiān)控系統(tǒng)建設(shè)[J].氣象科技，2013，41（2）：231-235.

[2]王海賓，邵玲玲.基于ORACLE的長三角自動站數(shù)據(jù)庫系統(tǒng)[J].氣象科技，2012，40（6）：933-937.

[3]孫周軍，肖文名，宋遠清，等.氣象信息實時監(jiān)視系統(tǒng)改進設(shè)計與實現(xiàn)[J].成都信息工程學院學報，2012，4：168-173.

[4]張華麗，楊帆，于海平.分布式數(shù)據(jù)監(jiān)控系統(tǒng)的設(shè)計和實現(xiàn)[J].計算機與數(shù)字工程，2013，8：1298-1301.

[5]樊偉鈺，朱曉民.一種PaaS系統(tǒng)的數(shù)據(jù)監(jiān)控平臺的設(shè)計方案[J].電信工程技術(shù)與標準化，2013，11：80-84.

作者單位

深圳市氣象局 廣東省深圳市 518040