貴州天氣雷達(dá)集約監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)

白鐵男，唐維堯，譚海波，金石聲，白 滔，湯 寧

(貴州省氣象信息中心,貴州 貴陽 550002)

0 引言

近年來，貴州省暴雨、冰雹等強(qiáng)對(duì)流災(zāi)害性天氣頻發(fā)[1]。以24 h暴雨標(biāo)準(zhǔn)統(tǒng)計(jì)，僅2020年就發(fā)生422站次。目前應(yīng)對(duì)此類災(zāi)害性天氣最常規(guī)且有效的方法，是應(yīng)用新一代天氣雷達(dá)資料預(yù)報(bào)[2]。隨著氣象現(xiàn)代化建設(shè)的迅猛發(fā)展，貴州省從原有的8部天氣雷達(dá)，逐漸新增了習(xí)水、榕江、務(wù)川3部新一代雷達(dá)和雅水、望謨、威寧3部X波段雷達(dá)。這些雷達(dá)通常6 min左右完成1個(gè)體掃生成數(shù)據(jù)并上傳，1 h內(nèi)完成10次[3]。經(jīng)數(shù)據(jù)收集與分發(fā)系統(tǒng)(簡(jiǎn)稱“CTS”)傳輸給雷達(dá)拼圖業(yè)務(wù)系統(tǒng)(簡(jiǎn)稱“SWAN”)處理，形成預(yù)報(bào)指導(dǎo)產(chǎn)品。天氣雷達(dá)資料的監(jiān)控存在著站點(diǎn)分布廣、觀測(cè)密度大、傳輸節(jié)點(diǎn)多、考核時(shí)效要求高等諸多難題[4]，目前的監(jiān)控手段已無法滿足雷達(dá)資料監(jiān)控的實(shí)際需求。Zabbix-HA分布式集群作為Zabbix的升級(jí)版，將服務(wù)端、數(shù)據(jù)庫、Web分別部署在不同的服務(wù)器，再通過Highly Available高可用性組件(簡(jiǎn)稱HA)將這些服務(wù)器串聯(lián)統(tǒng)一管理，是企事業(yè)廣泛使用的開源監(jiān)控平臺(tái)，目前已在省級(jí)實(shí)現(xiàn)搭建部署。

為彌補(bǔ)雷達(dá)資料缺乏分鐘級(jí)監(jiān)控的不足，及時(shí)發(fā)現(xiàn)并解決雷達(dá)傳輸過程中的故障。本文基于Zabbix-HA監(jiān)控平臺(tái)和企業(yè)微信客戶端，通過開發(fā)Shell和Python腳本，從監(jiān)控信息的獲取到告警機(jī)制觸發(fā)，再到告警信息推送。將原本點(diǎn)狀級(jí)的告警信息串聯(lián)成線，實(shí)現(xiàn)集約式全流程監(jiān)控，從而提高雷達(dá)資料傳輸及時(shí)率，保障數(shù)據(jù)服務(wù)效率。

1 系統(tǒng)構(gòu)架

新一代天氣雷達(dá)全天候進(jìn)行體掃并生成雷達(dá)資料,經(jīng)省級(jí)核心交換機(jī)傳輸給CTS集群進(jìn)行質(zhì)控處理后分發(fā)給氣象信息綜合分析處理系統(tǒng)(簡(jiǎn)稱“MICAPS”)使用。SWAN服務(wù)器通過定時(shí)腳本從MICAPS集群獲取雷達(dá)基數(shù)據(jù)進(jìn)行拼圖業(yè)務(wù)，最后推送CTS集群進(jìn)行二次分發(fā)，以供其它業(yè)務(wù)單位使用。基于Zabbix-HA自帶的監(jiān)控協(xié)議，開發(fā)Shell和Python腳本，實(shí)現(xiàn)對(duì)雷達(dá)資料收發(fā)主要環(huán)節(jié)的信息采控，再將這些采控信息傳輸給觸發(fā)器模塊(簡(jiǎn)稱“Trigger”)，根據(jù)監(jiān)控需要合理設(shè)置閥值實(shí)現(xiàn)監(jiān)控告警。最后通過報(bào)警媒介模塊，將觸發(fā)的告警推送給企業(yè)微信客戶端，從而實(shí)現(xiàn)雷達(dá)傳輸業(yè)務(wù)實(shí)時(shí)監(jiān)控，傳輸監(jiān)控業(yè)務(wù)情況如圖1所示。

圖1 雷達(dá)傳輸監(jiān)控業(yè)務(wù)流程圖

2 主要功能實(shí)現(xiàn)方法

系統(tǒng)開發(fā)環(huán)境為L(zhǎng)inux系統(tǒng)，通過開發(fā)信息采集腳本和在Zabbix-HA服務(wù)端配置相關(guān)參數(shù)，實(shí)現(xiàn)信息采集、告警觸發(fā)、可視化、微信告警等4個(gè)功能模塊的搭建，通過這4個(gè)模塊的協(xié)同工作，實(shí)現(xiàn)從信息采集、故障判斷、通知運(yùn)維，可視化輔助整套業(yè)務(wù)流程。使用技術(shù)手段包括Shell和Python開發(fā)技術(shù)，Shell開發(fā)主要用來實(shí)現(xiàn)告警信息的采集，Python開發(fā)用來實(shí)現(xiàn)Zabbix-HA與企業(yè)微信客戶端的對(duì)接。

2.1 信息采集

主要節(jié)點(diǎn)的信息采集通過Zabbix-HA內(nèi)建的SSH監(jiān)控協(xié)議。天氣雷達(dá)每6 min完成1個(gè)體掃并生成1個(gè)基數(shù)據(jù)，通過開發(fā)Shell腳本，獲取最近1個(gè)基數(shù)據(jù)的報(bào)文生成時(shí)間和服務(wù)器的系統(tǒng)時(shí)間并取其差值。如果該差值大于10 min，即輸出告警信息，否則輸出最近獲取的報(bào)文名稱。PUP產(chǎn)品的采集方式與基數(shù)據(jù)一致，區(qū)別是每個(gè)體掃有36份產(chǎn)品生成并上傳，由于資料種類繁多[5]，且傳輸有一定的延遲，告警閾值設(shè)為15 min。針對(duì)MICAPS集群的監(jiān)控采用Curl命令行工具，Curl命令從接口獲取當(dāng)前時(shí)次11部新一代雷達(dá)資料個(gè)數(shù)累加后輸出。CTS服務(wù)集群的監(jiān)控通過Shell腳本ps命令查詢進(jìn)程個(gè)數(shù)。傳輸鏈路狀態(tài)的監(jiān)控通過SNMP監(jiān)控協(xié)議，配置鍵值ifOperStatus，根據(jù)獲取的狀態(tài)來判斷鏈路聯(lián)通狀態(tài)。X波段雷達(dá)與SWAN拼圖監(jiān)控與雷達(dá)基數(shù)據(jù)的方法一致。需要注意采集計(jì)劃作為監(jiān)控項(xiàng)內(nèi)置功能包括靈活計(jì)劃和調(diào)度計(jì)劃2種類型，靈活計(jì)劃指每隔多久執(zhí)行1次，格式如5 m，表示每5 min執(zhí)行1次。調(diào)度計(jì)劃指某個(gè)時(shí)間點(diǎn)執(zhí)行，可自由設(shè)置時(shí)間點(diǎn)，與靈活計(jì)劃格式不同，調(diào)度類型的數(shù)字在后面，如m 59 s 59表示每小時(shí)59分59秒執(zhí)行。各監(jiān)控模塊的采集計(jì)劃情況如表1所示。

表1 監(jiān)控模塊采集計(jì)劃表

2.2 告警觸發(fā)

Zabbix-HA的告警通過觸發(fā)器(Trigger)實(shí)現(xiàn)。根據(jù)監(jiān)控需要合理設(shè)置告警閥值，當(dāng)采集信息滿足閥值時(shí)觸發(fā)告警動(dòng)作，當(dāng)不滿足時(shí)觸發(fā)恢復(fù)動(dòng)作。使用系統(tǒng)內(nèi)建的str函數(shù)對(duì)特定的字符進(jìn)行過濾，在過濾到采集信息含有“No”字符，即觸發(fā)告警動(dòng)作，說明10 min內(nèi)沒有新資料傳輸。在配置告警條件時(shí)，除了10 min沒有新資料傳輸時(shí)觸發(fā)告警，如果當(dāng)前時(shí)次資料個(gè)數(shù)一直為0也要觸發(fā)告警動(dòng)作。使用last函數(shù)每小時(shí)20 min提取當(dāng)前時(shí)次到報(bào)數(shù)，如果是0則觸發(fā)告警動(dòng)作。需要注意使用“or”來連接2個(gè)觸發(fā)條件，任一條件滿足時(shí)即觸發(fā)告警動(dòng)作；使用“and”來連接2個(gè)恢復(fù)條件，當(dāng)2個(gè)條件同時(shí)滿足時(shí)觸發(fā)恢復(fù)動(dòng)作。

2.3 可視化

可視化功能主要通過構(gòu)建拓?fù)鋱D，將上述監(jiān)控節(jié)點(diǎn)串聯(lián)成線。通過拓?fù)浣Y(jié)構(gòu)可以快速定位故障節(jié)點(diǎn)，例如SWAN拼圖資料中斷而MICAPS資料正常，因?yàn)镾WAN是從MICAPS獲取雷達(dá)基數(shù)據(jù)來拼圖，因此可迅速判斷是SWAN拼圖業(yè)務(wù)機(jī)故障導(dǎo)致。另外拓?fù)鋱D可以將11部新一代雷達(dá)、3部X波段雷達(dá)和3部風(fēng)廓線雷達(dá)集約于一張流程圖，方便了解17部雷達(dá)的到報(bào)情況。報(bào)警結(jié)合拓?fù)鋱D的運(yùn)行監(jiān)控模式已經(jīng)在省級(jí)監(jiān)控業(yè)務(wù)推廣使用，目前系統(tǒng)運(yùn)行穩(wěn)定，告警信息精準(zhǔn)可靠。雷達(dá)業(yè)務(wù)拓?fù)浣Y(jié)構(gòu)如圖2所示。

圖2 雷達(dá)監(jiān)控拓?fù)鋱D

2.4 微信推送

對(duì)接企業(yè)微信需要分別針對(duì)Zabbix-HA服務(wù)端、Web界面和企業(yè)微信進(jìn)行配置。在企業(yè)微信首頁應(yīng)用管理模塊建立名為“Zabbix-運(yùn)控科”的應(yīng)用，后面開發(fā)Python腳本需要使用這里的AgentID、Secret、CorpID 3個(gè)密鑰。合理規(guī)劃通訊錄，根據(jù)科室推送告警信息。Zabbix-HA服務(wù)端需要根據(jù)腳本路徑修改配置參數(shù)和開發(fā)Python腳本。通過Python腳本一是實(shí)現(xiàn)企業(yè)微信URL的構(gòu)建，需要將上述提到的3個(gè)參數(shù)加入企業(yè)微信的URL；二是對(duì)接Zabbix告警參數(shù)，將告警信息根據(jù)科室規(guī)劃推送。Web界面包括報(bào)警媒介(media)和動(dòng)作(action)的配置。報(bào)警媒介的作用是在告警動(dòng)作觸發(fā)時(shí)，將參數(shù)傳給Python腳本。動(dòng)作綁定了觸發(fā)器和信息推送，僅對(duì)綁定的觸發(fā)器告警時(shí)推送告警信息。需要特別注意的是，Python腳本不識(shí)別中文，因此在配置觸發(fā)器時(shí)不能用中文。

3 結(jié)束語

本文通過Zabbix和企業(yè)微信等開源平臺(tái)，使用Shell和Python等技術(shù)手段，對(duì)全省天氣雷達(dá)進(jìn)行分鐘級(jí)監(jiān)控。梳理全省雷達(dá)數(shù)據(jù)服務(wù)流程，將點(diǎn)狀的監(jiān)控串聯(lián)成線，實(shí)現(xiàn)集約化監(jiān)控告警并推送企業(yè)微信。一是解決了已有監(jiān)控手段缺乏分鐘級(jí)雷達(dá)資料監(jiān)控能力的痛點(diǎn)問題；二是實(shí)現(xiàn)監(jiān)控可視化，便于定位故障節(jié)點(diǎn)，一定程度上提高運(yùn)維效率；三是以企業(yè)微信作為業(yè)務(wù)告警手段，優(yōu)化了以往靠人工定點(diǎn)檢查的劣勢(shì)，減輕值班人員的壓力，為貴州省運(yùn)行監(jiān)控保障朝精細(xì)化、智能化方向發(fā)展打下一定基礎(chǔ)。