基于氣象大數(shù)據(jù)云平臺的自動化告警應(yīng)用研究

王添男，李新慶，徐曉慶，黃艷紅，王艷萍，任柏帆

（1.中國氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測預(yù)警與風(fēng)險(xiǎn)管理重點(diǎn)實(shí)驗(yàn)室，寧夏銀川 750021；2.寧夏氣象防災(zāi)減災(zāi)重點(diǎn)實(shí)驗(yàn)室，寧夏 銀川 750021；3.中國電信股份有限公司 寧夏分公司，寧夏 銀川 750002）

近年來，國家以及各省級氣象專家紛紛開展了氣象數(shù)據(jù)傳輸監(jiān)控的研究、建設(shè)工作。國家氣象信息中心建立了全國氣象綜合業(yè)務(wù)實(shí)時(shí)監(jiān)控系統(tǒng)（天鏡），初步實(shí)現(xiàn)了“全流程、一體化、可視化”的監(jiān)控流程[1]。向筱銘等[2]、李志鵬等[3]、趙冰等[4]等開發(fā)了數(shù)據(jù)傳輸監(jiān)控系統(tǒng)，在解決本省氣象數(shù)據(jù)監(jiān)控問題的基礎(chǔ)上為專業(yè)人員有效監(jiān)控?cái)?shù)據(jù)帶來諸多方便[4]。隨著氣象業(yè)務(wù)在社會各行各業(yè)地位和作用的提升，社會各界對氣象預(yù)報(bào)的服務(wù)需求也越來越高，一些學(xué)者[5-7]認(rèn)為精細(xì)化是氣象工作發(fā)展的重要趨勢。張曉冬等[8]、邵明軒等[9]、王海賓等[10]設(shè)計(jì)開發(fā)了精細(xì)化城市天氣預(yù)報(bào)系統(tǒng)。上述學(xué)者中，有些是在氣象領(lǐng)域研究開發(fā)出一些產(chǎn)品，但是這些產(chǎn)品大多來自于不同的課題、項(xiàng)目，并且分散在不同的單位系統(tǒng)中[11]；有些是基于為全國氣象部門提供統(tǒng)一數(shù)據(jù)環(huán)境的綜合氣象信息共享平臺（CIMISS）開展的研究[12]。這些研究沒有充分利用氣象大數(shù)據(jù)云平臺實(shí)現(xiàn)資源的有效整合，讓資源利用率達(dá)到最大化。

目前，基于氣象大數(shù)據(jù)云平臺的研究工作還處于探索階段。本文結(jié)合氣象業(yè)務(wù)技術(shù)體制重點(diǎn)改革方案和信息化工程發(fā)展方向，對氣象大數(shù)據(jù)云平臺省級自動化運(yùn)維開發(fā)進(jìn)行了研究，主要工作包括：梳理省級氣象大數(shù)據(jù)云平臺數(shù)據(jù)傳輸流程，為自動化告警技術(shù)奠定數(shù)據(jù)基礎(chǔ)；設(shè)計(jì)數(shù)據(jù)監(jiān)控和告警模塊，對體系架構(gòu)和核心功能模塊進(jìn)行詳細(xì)闡述；設(shè)計(jì)全流程監(jiān)控告警數(shù)據(jù)庫，給出系統(tǒng)的實(shí)驗(yàn)結(jié)果。

1 氣象大數(shù)據(jù)云平臺數(shù)據(jù)傳輸流程

氣象大數(shù)據(jù)云平臺作為全國氣象部門的核心信息化平臺，主要圍繞大數(shù)據(jù)資源進(jìn)行技術(shù)構(gòu)建，具備海量數(shù)據(jù)存儲、全業(yè)務(wù)貫通、數(shù)據(jù)高效應(yīng)用的能力，可提供“數(shù)算一體”的平臺化服務(wù)，對天氣預(yù)報(bào)的精細(xì)化起到基礎(chǔ)數(shù)據(jù)支撐作用[13]。

在大數(shù)據(jù)云平臺中，數(shù)據(jù)的全生命周期包括數(shù)據(jù)匯聚與分發(fā)、數(shù)據(jù)存儲與加工、大數(shù)據(jù)應(yīng)用與服務(wù)3 個(gè)階段，主要覆蓋數(shù)據(jù)收集、數(shù)據(jù)解碼、質(zhì)控清洗、產(chǎn)品加工、存儲管理、挖掘分析、訪問服務(wù)、預(yù)報(bào)和服務(wù)支撐等環(huán)節(jié)。數(shù)據(jù)全流程由省級氣象綜合業(yè)務(wù)實(shí)時(shí)監(jiān)控系統(tǒng)（天鏡）進(jìn)行統(tǒng)一監(jiān)控運(yùn)行，氣象大數(shù)據(jù)云平臺數(shù)據(jù)流程如圖1 所示。

圖1 氣象大數(shù)據(jù)云平臺數(shù)據(jù)流程圖

1.1 數(shù)據(jù)匯聚與分發(fā)

數(shù)據(jù)收集的方式有多種，主要包括：利用本省以及外省觀測系統(tǒng)進(jìn)行氣象數(shù)據(jù)的收集；從政務(wù)信息共享平臺中獲取部委共享數(shù)據(jù)；采用交換、眾創(chuàng)等多種渠道收集行業(yè)和社會用戶中與氣象相關(guān)的數(shù)據(jù)。數(shù)據(jù)分發(fā)過程以省級觀測系統(tǒng)為其中一個(gè)節(jié)點(diǎn)按需進(jìn)行共享分發(fā)，對獲取的數(shù)據(jù)進(jìn)行快速解碼和質(zhì)控清洗，存入大數(shù)據(jù)資源庫，并同步到大數(shù)據(jù)云平臺備份中心和公共云節(jié)點(diǎn)。

1.2 數(shù)據(jù)存儲與加工

本階段基于加工流水線和算法庫，對收集到的大量基礎(chǔ)數(shù)據(jù)進(jìn)行深加工，形成高質(zhì)量的數(shù)據(jù)產(chǎn)品，回存到大數(shù)據(jù)資源庫。存儲管理模塊對數(shù)據(jù)產(chǎn)品按策略進(jìn)行管理，包括多庫副本同步、分級存儲遷移、備份歸檔等。挖掘分析模塊由大數(shù)據(jù)資源庫提供數(shù)據(jù)支撐，可進(jìn)行挖掘訓(xùn)練和建模。訪問服務(wù)模塊對所有數(shù)據(jù)資源提供統(tǒng)一的訪問服務(wù)，包括數(shù)據(jù)檢索、計(jì)算、可視化和回寫，當(dāng)本地資源無法滿足時(shí)，自動導(dǎo)航到大數(shù)據(jù)云平臺的其他節(jié)點(diǎn)提供服務(wù)。

1.3 大數(shù)據(jù)應(yīng)用與服務(wù)

本階段的數(shù)據(jù)流程包括兩個(gè)部分：后端產(chǎn)品加工和前端應(yīng)用服務(wù)。后端產(chǎn)品加工是指用戶按需將模型注冊到云平臺的算法庫中調(diào)度運(yùn)行，產(chǎn)品直接回寫到大數(shù)據(jù)云平臺中。前端應(yīng)用服務(wù)基于大數(shù)據(jù)云平臺服務(wù)接口，提供交互分析、數(shù)據(jù)檢索、數(shù)據(jù)匯交、可視化等應(yīng)用和服務(wù)功能。

1.4 監(jiān)控流程

數(shù)據(jù)全流程由省級氣象綜合業(yè)務(wù)實(shí)時(shí)監(jiān)控系統(tǒng)（天鏡）進(jìn)行統(tǒng)一監(jiān)控，采用兩橫兩縱一體化監(jiān)控布局，實(shí)現(xiàn)“全流程、一體化、可視化”的監(jiān)控流程[1]。監(jiān)控系統(tǒng)對每時(shí)次上傳的數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)收集（省級、國家局）、分發(fā)、入庫處理、專有云同步、數(shù)據(jù)訪問時(shí)效以及歷史數(shù)據(jù)查詢等模塊監(jiān)控，在氣象大數(shù)據(jù)云平臺中為數(shù)據(jù)生命周期提供全流程監(jiān)控。

2 數(shù)據(jù)監(jiān)控及告警模塊的整體設(shè)計(jì)

在定時(shí)任務(wù)調(diào)度領(lǐng)域中，Quartz 是一個(gè)功能豐富的輕量級開源作業(yè)調(diào)度庫[14]，可單獨(dú)成為任務(wù)調(diào)度的應(yīng)用，也可以集成到任何Java 應(yīng)用中，支持JTA事務(wù)和集群，可以幫助用戶執(zhí)行任何想要執(zhí)行的規(guī)律性任務(wù)。Quartz 框架中核心概念包括：任務(wù)（Job）、觸發(fā)器（Trigger）、調(diào)度器（Scheduler）。Job 是任務(wù)實(shí)體，是用戶需要具體實(shí)現(xiàn)的任務(wù)類。JobDetail 用來描述Job 的實(shí)現(xiàn)類及其他相關(guān)的靜態(tài)信息。Trigger 是執(zhí)行任務(wù)的觸發(fā)器，會根據(jù)觸發(fā)規(guī)則去啟停任務(wù)或執(zhí)行任務(wù)實(shí)體設(shè)定的操作。Scheduler 是執(zhí)行任務(wù)調(diào)度的調(diào)度器，負(fù)責(zé)整合綁定Job 和Trigger[15]。

2.1 數(shù)據(jù)監(jiān)控及告警模塊體系結(jié)構(gòu)

Quartz 工作流程針對定期執(zhí)行的規(guī)律性任務(wù)設(shè)定觸發(fā)器，由調(diào)度器將任務(wù)和觸發(fā)器關(guān)聯(lián)之后決定任務(wù)的開啟、終止、等待或重啟。三要素各部分之間的體系結(jié)構(gòu)關(guān)系如圖2 所示。

圖2 三要素體系圖

天氣預(yù)報(bào)的精細(xì)化是現(xiàn)代天氣業(yè)務(wù)發(fā)展的標(biāo)志,是天氣預(yù)報(bào)技術(shù)發(fā)展到相對成熟階段的必然趨勢[16]。以精細(xì)化產(chǎn)品資料為例，在本系統(tǒng)中Job 的職責(zé)是查詢數(shù)據(jù)庫中的產(chǎn)品資料是否寫入，預(yù)判不同的情況并向用戶做出相應(yīng)的反饋。精細(xì)化預(yù)報(bào)產(chǎn)品在每日的多個(gè)時(shí)次都需要上傳數(shù)據(jù)，其中對于到報(bào)時(shí)間成規(guī)律性的節(jié)點(diǎn)可設(shè)定相同的觸發(fā)條件執(zhí)行任務(wù)，其他時(shí)次也可設(shè)定單獨(dú)的觸發(fā)器。Quartz 框架中存在4 種觸發(fā)器（圖2），系統(tǒng)采用相對比較靈活的CornTrigger 觸發(fā)器。Quartz 框架在調(diào)度器中封裝了多種方法，可決定任務(wù)執(zhí)行狀態(tài)。

2.2 任務(wù)實(shí)體

在任務(wù)實(shí)體Job 中預(yù)先定義希望在未來能被調(diào)度程序執(zhí)行的任務(wù)，過程中需要編寫和任務(wù)實(shí)體Job 對應(yīng)的接口實(shí)現(xiàn)類，實(shí)現(xiàn)接口中execute 方法[17]。自定義任務(wù)的業(yè)務(wù)邏輯是在execute 方法中具體實(shí)現(xiàn)的。以具體項(xiàng)目為例，可預(yù)先定義的Job 任務(wù)類指需要實(shí)現(xiàn)查詢城鎮(zhèn)天氣預(yù)報(bào)數(shù)據(jù)RFFC 是否在有效時(shí)間內(nèi)上傳，并給出對應(yīng)的反饋?zhàn)層脩糁苤ob 只定義任務(wù)內(nèi)容（本項(xiàng)目中定義為RffcJob），而無關(guān)任務(wù)的觸發(fā)和調(diào)度。

JobDetail 中可以為Job 實(shí)現(xiàn)類提供許多屬性設(shè)置，其中一些主要的靜態(tài)信息可在其中完成定義，主要包括JobDetail 的名稱、隸屬的組、JobClass 等，前提是首先需要創(chuàng)建JobDetail 實(shí)例，并與RffcJob 進(jìn)行綁定。

其中RffcJob 需要實(shí)現(xiàn)Job 接口。withIdentity 中參數(shù)1 是設(shè)置任務(wù)的名稱，也是唯一的實(shí)例；參數(shù)2是設(shè)置任務(wù)組的名稱。

2.3 觸發(fā)器

Job 中包含了要執(zhí)行的任務(wù)邏輯，但是并不涉及如何執(zhí)行。系統(tǒng)中任務(wù)實(shí)體RffcJob 需要設(shè)計(jì)具體的觸發(fā)器Trigger 去觸發(fā)執(zhí)行指定的任務(wù)實(shí)體。在TriggerBuilder 中可以設(shè)置該觸發(fā)器一些最基本的功能，包括指定任務(wù)RffcJob 執(zhí)行時(shí)間、運(yùn)行的總次數(shù)、任務(wù)之間的執(zhí)行間隔、開始觸發(fā)時(shí)間、結(jié)束觸發(fā)時(shí)間等。4 類觸發(fā)器中最常用的有SimpleTrigger、CornTrigger。對需要在規(guī)定的時(shí)間內(nèi)僅執(zhí)行一次或需要以一定的規(guī)律重復(fù)執(zhí)行的簡單任務(wù)，SimpleTrigger 就可以實(shí)現(xiàn)。CornTrigger 的觸發(fā)條件基于Corn 表達(dá)式之上，可以支持更具體、更復(fù)雜的調(diào)度。本平臺會根據(jù)Corn 表達(dá)式執(zhí)行任務(wù)并生成日志，值班員可查看日志判斷任務(wù)執(zhí)行情況和故障。

在Quartz 框架的核心三要素中，Trigger 相對于Job 起到觸發(fā)驅(qū)動的作用，否則作業(yè)將無法運(yùn)行。Job和Trigger 之間存在一對多的關(guān)系，即項(xiàng)目中一個(gè)任務(wù)實(shí)體可以對應(yīng)多個(gè)Trigger，但是一個(gè)Trigger 只能服務(wù)于一個(gè)Job。本系統(tǒng)中一個(gè)CornTrigger 觸發(fā)器不能滿足任務(wù)的觸發(fā)條件，這種情況下可采用創(chuàng)建多個(gè)Trigger 并指派給同一個(gè)Job 的方式。

2.4 調(diào)度節(jié)點(diǎn)

調(diào)度器創(chuàng)建的方式有多種，系統(tǒng)中采用默認(rèn)實(shí)例化調(diào)度器的方式創(chuàng)建了工廠獲取調(diào)度的實(shí)例scheduler 作為與調(diào)度程序交互的主程序接口。在調(diào)度節(jié)點(diǎn)創(chuàng)建完成后，系統(tǒng)一直處于“待命”模式，它包含啟動、暫停、關(guān)聯(lián)Job 與Trigger、恢復(fù)、刪除等方法，會隨著start 和shutdown 方法的調(diào)用而啟停。Scheduler 通過調(diào)用scheduleJob 方法關(guān)聯(lián)任務(wù)實(shí)例和觸發(fā)器，保證按照觸發(fā)器定義的條件去執(zhí)行任務(wù)。具體指令為：scheduler.scheduleJob（jobDetail,trigger），其中第1 個(gè)參數(shù)是創(chuàng)建的任務(wù)實(shí)例，第2個(gè)參數(shù)是觸發(fā)器的名稱。

3 數(shù)據(jù)庫設(shè)計(jì)及實(shí)驗(yàn)測試

3.1 數(shù)據(jù)庫設(shè)計(jì)及實(shí)現(xiàn)

在系統(tǒng)中省級氣象數(shù)據(jù)傳輸過程處于樞紐位置，承擔(dān)連接國家局和臺站以及各省級之間數(shù)據(jù)交流的任務(wù)。除此之外，氣象數(shù)據(jù)在氣象預(yù)報(bào)、公眾服務(wù)、氣候預(yù)測等方面的研究中起到基礎(chǔ)支撐作用。為了能夠提供更準(zhǔn)確和更全面的服務(wù)，系統(tǒng)對數(shù)據(jù)傳輸?shù)臅r(shí)效性要求比較高。在數(shù)據(jù)表的設(shè)計(jì)中需要考慮收集和分發(fā)兩個(gè)方面的問題，具體設(shè)計(jì)見圖3。

圖3 數(shù)據(jù)表設(shè)計(jì)

氣象數(shù)據(jù)存在很多不同的種類，文中在上行傳輸?shù)?3 類數(shù)據(jù)中選擇城鎮(zhèn)天氣預(yù)報(bào)數(shù)據(jù)資料說明數(shù)據(jù)收集情況。圖3 顯示的數(shù)據(jù)表中字段較多，不同字段名的釋義可詳見表1。

表1 數(shù)據(jù)表字段說明

設(shè)計(jì)過程中選取表1 中WATCH_TIME 字段獲取當(dāng)前時(shí)次，賦值給查詢語句查詢當(dāng)日數(shù)據(jù)的到報(bào)情況。整體的查詢結(jié)果存在兩種情況：如果數(shù)據(jù)并未到報(bào)，COUNT_REALCOLL（實(shí)收數(shù)）字段為0，則調(diào)用執(zhí)行pm.music_fail 方法，提醒值班員報(bào)文未到；如果RFFC 數(shù)據(jù)已經(jīng)在合理時(shí)間內(nèi)到報(bào)，數(shù)據(jù)表中COUNT_REALCOLL 字段會顯示具體的到報(bào)數(shù)目。以寧夏回族自治區(qū)為例，每日精細(xì)化預(yù)報(bào)數(shù)據(jù)資料上傳過程中，不同時(shí)次上傳的臺站數(shù)目不同。經(jīng)過判斷，符合上傳臺站的數(shù)據(jù)則調(diào)用執(zhí)行對應(yīng)的方法，告知值班員數(shù)據(jù)收集正常。

3.2 實(shí)驗(yàn)測試

實(shí)驗(yàn)測試所采用的數(shù)據(jù)均來自于氣象大數(shù)據(jù)云平臺（寧夏分系統(tǒng)）實(shí)時(shí)監(jiān)控系統(tǒng)。每日數(shù)據(jù)量級可達(dá)到38 GB，數(shù)據(jù)均存儲在分布式數(shù)據(jù)庫Elasticsearch 中，監(jiān)控元數(shù)據(jù)存儲在MySQL 數(shù)據(jù)庫中，為平臺運(yùn)行提供基礎(chǔ)數(shù)據(jù)支撐。平臺的功能性、可用性、穩(wěn)定性、可維護(hù)性對系統(tǒng)的運(yùn)行至關(guān)重要，因此為確保系統(tǒng)能夠正常穩(wěn)定運(yùn)行，通過壓力測試和執(zhí)行測試兩個(gè)方面進(jìn)行性能評估。平臺部署在DELL 服務(wù)器上，并配置英特爾8 核64 位處理器，4.01 GHz、2 條8 GB 的內(nèi)存，該配置可滿足系統(tǒng)日常業(yè)務(wù)的讀寫操作需求。通過使用Jmeter 模擬多線程進(jìn)行壓力測試，初始化線程組相關(guān)信息如圖4 所示。

圖4 Jmeter 初始化線程組

圖5 為模擬測試聚合報(bào)告。測試表明：在高并發(fā)狀態(tài)下，壓測結(jié)果可滿足實(shí)際需求。

圖5 模擬聚合報(bào)告

目前系統(tǒng)試運(yùn)行6 個(gè)月且運(yùn)行穩(wěn)定。業(yè)務(wù)試運(yùn)行過程中，平臺能夠按照Corn 表達(dá)式設(shè)定的觸發(fā)條件調(diào)度執(zhí)行任務(wù)，未出現(xiàn)差錯(cuò)。在報(bào)文收集異常的情況下，系統(tǒng)能夠自動執(zhí)行對應(yīng)程序，播放音頻提示值班員數(shù)據(jù)收集異常情況；到報(bào)正常的情況下，系統(tǒng)執(zhí)行數(shù)據(jù)收集正常的方法。

4 結(jié)論

監(jiān)控氣象數(shù)據(jù)傳輸過程是保證氣象數(shù)據(jù)質(zhì)量的基礎(chǔ)，其在氣象預(yù)報(bào)、公眾服務(wù)、氣候預(yù)測等多方面的研究中起到支撐作用。氣象大數(shù)據(jù)云平臺能夠圍繞大數(shù)據(jù)資源進(jìn)行技術(shù)構(gòu)建，實(shí)現(xiàn)數(shù)據(jù)資源的有效整合。本文提出在氣象大數(shù)據(jù)云平臺中云化融入Quartz 定時(shí)任務(wù)框架實(shí)現(xiàn)數(shù)據(jù)資料傳輸監(jiān)控和自動化告警功能的設(shè)計(jì)，能夠提升綜合氣象信息系統(tǒng)運(yùn)維監(jiān)控保障能力，增強(qiáng)本地自動化告警水平，為業(yè)務(wù)全流程的自動化監(jiān)控工作奠定了基礎(chǔ)，同時(shí)為后續(xù)自動化運(yùn)維工作提供了一種解決思路和攻關(guān)方向。