多云平臺監(jiān)控體系的研究與設(shè)計

李偉良，李 巖，張曉亮，孫建剛，時佳偉，段嘉琦

（國家電網(wǎng)有限公司信息通信分公司，北京 100761）

0 引言

近年來，全國各地政府和企業(yè)投入大量的精力和資金建設(shè)云平臺，例如公有云、政務(wù)云、電網(wǎng)云、工業(yè)云以及多種行業(yè)云，希望借助云平臺促進(jìn)數(shù)字化轉(zhuǎn)型[1-2]。

在建云過程中，考慮到安全、成本和穩(wěn)定等各方面因素，都采用了混合云建設(shè)策略。在云平臺建設(shè)前期，缺乏對云平臺運(yùn)營運(yùn)維的支撐、管理和服務(wù)的考慮和重視，導(dǎo)致不滿足云平臺運(yùn)營運(yùn)維需求，無法實現(xiàn)對全網(wǎng)云平臺運(yùn)行情況、故障告警全方位掌控，無法確保云上業(yè)務(wù)系統(tǒng)穩(wěn)定運(yùn)行。

本文將基于混合云監(jiān)控的痛點，開展云平臺監(jiān)控體系研究，實現(xiàn)混合云平臺統(tǒng)一納管、集中監(jiān)控、精細(xì)運(yùn)營，最終實現(xiàn)云平臺全棧式監(jiān)控[3-4]。

1 背景概述

隨著企業(yè)云平臺建設(shè)進(jìn)度的推進(jìn)，企業(yè)云平臺用戶數(shù)目極速增加，云平臺監(jiān)控數(shù)據(jù)以TB級別飛速增長。同時虛擬化與容器技術(shù)廣泛應(yīng)用，IT系統(tǒng)架構(gòu)日益復(fù)雜。許多企業(yè)借用多個運(yùn)維工具監(jiān)控業(yè)務(wù)系統(tǒng)，獲得不同類型的數(shù)據(jù)，以滿足運(yùn)營運(yùn)維的需要。企業(yè)云平臺需要快速得到監(jiān)控數(shù)據(jù)的分析結(jié)果，以進(jìn)行運(yùn)營管理決策。因此處理海量且離散的監(jiān)控數(shù)據(jù)需要高效[5-7]。

2 多云平臺監(jiān)控體系框架

基于云平臺監(jiān)控體系現(xiàn)狀，分析企業(yè)云平臺監(jiān)控體系的痛點問題，展開多云平臺監(jiān)控體系建設(shè)研究，實現(xiàn)企業(yè)多云平臺監(jiān)控體系需求。多云平臺監(jiān)控體系建設(shè)主要分四個方向開展研究：監(jiān)控對象、監(jiān)控維度、監(jiān)控指標(biāo)以及監(jiān)控告警，并基于這四個監(jiān)控方向進(jìn)行深度分析研究，如圖1所示。

圖1 云平臺監(jiān)控邏輯圖

3 多云平臺監(jiān)控系統(tǒng)設(shè)計

3.1 核心功能設(shè)計

由于異構(gòu)云之間的差異，不能使用統(tǒng)一的方式對云平臺進(jìn)行監(jiān)控，每種云平臺都有自己的監(jiān)控指標(biāo)和監(jiān)控工具，并且各云平臺提供的監(jiān)控工具不能覆蓋云上的所有組件，適合混合云平臺的統(tǒng)一監(jiān)控體系來屏蔽不同云平臺的差異，實現(xiàn)對云平臺進(jìn)行全面的監(jiān)控。

3.2 數(shù)據(jù)采集設(shè)計

通過剖析云平臺內(nèi)部結(jié)構(gòu)，采用分層監(jiān)控策略，監(jiān)控體系主要分為基礎(chǔ)設(shè)施層、云平臺底座組件層、云產(chǎn)品層共三層，實現(xiàn)各層面多維度監(jiān)控數(shù)據(jù)的互聯(lián)互通。各層通過不同的采集工具進(jìn)行數(shù)據(jù)采集，采集的數(shù)據(jù)交給數(shù)據(jù)處理模塊進(jìn)行統(tǒng)一的處理分析。

基礎(chǔ)設(shè)施包括機(jī)房及物理IT設(shè)備，對于機(jī)房數(shù)據(jù)的采集可結(jié)合推拉模式從數(shù)據(jù)中心獲取監(jiān)控數(shù)據(jù)，物理設(shè)備使用硬件監(jiān)控工具IPMI進(jìn)行數(shù)據(jù)采集，最后采集的數(shù)據(jù)通過調(diào)用監(jiān)控平臺的數(shù)據(jù)傳輸接口，將數(shù)據(jù)匯集到多云平臺監(jiān)控體系中，進(jìn)行統(tǒng)一分析處理和存儲。

圖2 云平臺內(nèi)部結(jié)構(gòu)圖

云平臺層采集的對象包括服務(wù)器OS、云平臺底座、云產(chǎn)品組件以及云資源池。監(jiān)控指標(biāo)分為基礎(chǔ)配置指標(biāo)、性能指標(biāo)、portal探測指標(biāo)等。這些產(chǎn)品一般由成熟的云廠商提供，通過調(diào)用產(chǎn)品的API接口來獲取監(jiān)控數(shù)據(jù)。監(jiān)控數(shù)據(jù)采集后經(jīng)過數(shù)據(jù)處理和分析后傳輸?shù)皆破脚_數(shù)據(jù)存儲中心。

云服務(wù)層是指云平臺云產(chǎn)品對用戶提供云服務(wù)能力。根據(jù)云服務(wù)資源配置模式的不同，云服務(wù)分為三類服務(wù)模式：IaaS、PaaS、SaaS。這些服務(wù)都是由云廠商提供，廠商也提供了監(jiān)控工具和監(jiān)控API接口進(jìn)行監(jiān)控數(shù)據(jù)的采集。采集的數(shù)據(jù)經(jīng)過數(shù)據(jù)處理和分析后傳輸?shù)浇y(tǒng)一的存儲中心[8]。

3.3 數(shù)據(jù)存儲設(shè)計

構(gòu)建云平臺數(shù)據(jù)存儲中心，實現(xiàn)監(jiān)測數(shù)據(jù)和應(yīng)用數(shù)據(jù)的統(tǒng)一存儲。云平臺數(shù)據(jù)存儲中心根據(jù)業(yè)務(wù)監(jiān)測、數(shù)據(jù)分析場景，采用多項數(shù)據(jù)存儲方式組合，依據(jù)時序分庫的方案進(jìn)行數(shù)據(jù)存儲設(shè)計。根據(jù)使用場景，將數(shù)據(jù)庫存儲庫分為：實時庫、歷史庫、歸檔庫。實時庫支撐系統(tǒng)運(yùn)行實時監(jiān)測、系統(tǒng)異常及業(yè)務(wù)異常實時告警、系統(tǒng)問題及業(yè)務(wù)問題快速定位等高時效性平臺能力運(yùn)行；歷史庫主要支撐經(jīng)驗分析、趨勢分析、預(yù)測分析等離線分析能力；歸檔庫主要用于歷史問題溯源、人工智能數(shù)據(jù)模型訓(xùn)練等業(yè)務(wù)功能。

（1）監(jiān)測數(shù)據(jù)包括：業(yè)務(wù)監(jiān)測數(shù)據(jù)、應(yīng)用監(jiān)測數(shù)據(jù)、租戶監(jiān)測數(shù)據(jù)、云平臺監(jiān)測數(shù)據(jù)、物理監(jiān)測數(shù)據(jù)。

（2）應(yīng)用數(shù)據(jù)包括：監(jiān)測分析數(shù)據(jù)、配置數(shù)據(jù)。

（3）存儲的數(shù)據(jù)格式包括：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、鏈路拓?fù)鋽?shù)據(jù)、實時流數(shù)據(jù)等，因此數(shù)據(jù)存儲中心使用多種數(shù)據(jù)庫來滿足不同格式數(shù)據(jù)的存儲，比如：GDB、ES、TSDB、RDS、flume、Redis等[9-10]。

3.4 數(shù)據(jù)展示設(shè)計

多云平臺監(jiān)控體系將不同云平臺的監(jiān)控告警工具統(tǒng)一集成，構(gòu)建統(tǒng)一的展示平臺，實現(xiàn)監(jiān)控、告警等數(shù)據(jù)的統(tǒng)一展現(xiàn)，將離散的組件監(jiān)控數(shù)據(jù)按照邏輯組織起來，結(jié)合報表和圖標(biāo)組件，以折線圖、柱狀圖等圖表形式，提供指標(biāo)可視化展現(xiàn)[11]。

3.5 告警中心

針對項目云平臺告警等信息推送功能缺失和告警項可讀性差的問題，建立統(tǒng)一的告警中心，將告警數(shù)據(jù)進(jìn)行統(tǒng)一采集、分析、收斂和展示，實現(xiàn)告警的標(biāo)準(zhǔn)化與實時通知能力，優(yōu)化處理效率，減少服務(wù)不可用時間。支持Email或者短信、微信等多種方式的告警實時通知。

圖3 云平臺數(shù)據(jù)存儲圖

3.5.1 告警定級

根據(jù)物理設(shè)備層、云平臺組件層、云產(chǎn)品層、業(yè)務(wù)系統(tǒng)層進(jìn)行分類，對不同告警對象，結(jié)合告警內(nèi)容和觸發(fā)條件、閥值對告警進(jìn)行分級，分為故障告警、嚴(yán)重告警和一般告警。

（1）故障告警表示出現(xiàn)該告警即可視為已發(fā)生故障。

（2）嚴(yán)重告警表示該告警不引發(fā)故障，主要對核心組件或業(yè)務(wù)可用性造成隱患，如核心組件資源水位過高、平臺底座節(jié)點宕機(jī)等，若不及時處置將引發(fā)故障。

（3）一般告警表示不對平臺或業(yè)務(wù)可用性造成影響，或僅對非核心組件可用性產(chǎn)生隱患，如非核心組件的單臺物理服務(wù)器硬件故障等。

3.5.2 告警規(guī)則

告警規(guī)則配置包含單指標(biāo)告警規(guī)則配置、多指標(biāo)告警規(guī)則配置、告警抑制、告警屏蔽等策略。

（1）單指標(biāo)告警規(guī)則配置：單指標(biāo)告警規(guī)則配置主要對監(jiān)控對象單一監(jiān)控指標(biāo)進(jìn)行告警規(guī)則設(shè)置，用于簡單場景下監(jiān)控告警。

（2）多指標(biāo)告警規(guī)則配置：多指標(biāo)告警規(guī)則配置主要針對復(fù)雜場景，需對多監(jiān)控對象多監(jiān)控指標(biāo)進(jìn)行關(guān)系分析和影響分析后制定的復(fù)雜告警規(guī)則。

（3）告警抑制：告警抑制策略是為了防止故障期間，產(chǎn)生告警風(fēng)暴，郵箱、短信等通知被海量告警淹沒，運(yùn)維人員很難從海量告警中篩選出重要告警，容易忽略重要告警。為了讓運(yùn)維人員更專注于重要告警，可通過四種方式實現(xiàn)告警的壓縮合并，分別為自動去重壓縮、自定義壓縮、時間窗口智能降噪和實時智能降噪。

自動去重壓縮：系統(tǒng)內(nèi)置去重策略，基于時間序列將相同告警根據(jù)告警ID和告警標(biāo)題去除重復(fù)告警。例如：系統(tǒng)中有未關(guān)閉的告警，若告警ID或告警標(biāo)題相同，則自動合并告警；

自定義壓縮：在面臨具有可預(yù)測、同質(zhì)化告警數(shù)據(jù)的組件上，可以通過自定義配置壓縮規(guī)則來合并該組件的告警數(shù)據(jù)。在啟用自定義壓縮時，符合規(guī)則的同質(zhì)類告警會被壓縮至第一條告警下，直至該條告警被關(guān)閉；

時間窗口智能降噪：面臨規(guī)律性地在短時間內(nèi)產(chǎn)生海量告警的組件時，可采用時間窗口智能降噪，將所設(shè)置時間窗口內(nèi)發(fā)生的海量告警根據(jù)所配置規(guī)則壓縮后，再進(jìn)行分派通知；

實時智能降噪：面臨具有海量數(shù)據(jù)，告警數(shù)據(jù)無明顯規(guī)則且不可預(yù)測時，可采用實時智能降噪，智能算法會根據(jù)標(biāo)題內(nèi)容/告警標(biāo)題等指標(biāo)對告警進(jìn)行智能壓縮，大幅度提高告警數(shù)據(jù)的有效性。

（4）告警屏蔽：當(dāng)涉及云平臺組件檢修升級時，需提前對相關(guān)組件設(shè)置告警屏蔽，防止告警誤報。

告警中心統(tǒng)一處理云平臺各層的監(jiān)控告警數(shù)據(jù)，針對云平臺故障、告警進(jìn)一步精細(xì)劃分，通過云管平臺實現(xiàn)告警的分級、轉(zhuǎn)譯，實現(xiàn)故障、嚴(yán)重、一般三級監(jiān)控，形成高效的兩級協(xié)同告警及故障處置機(jī)制[12-13]。

4 結(jié)語

在數(shù)字化轉(zhuǎn)型的背景下，電力行業(yè)混合云穩(wěn)定快速的發(fā)展對云平臺的監(jiān)控提出了更高要求?；旌显破脚_架構(gòu)復(fù)雜，阿里云、華為云架構(gòu)共存，網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、安全設(shè)備、云平臺基礎(chǔ)軟件、云產(chǎn)品等監(jiān)控對象繁多，監(jiān)控數(shù)據(jù)分散，多個監(jiān)控平臺并行，監(jiān)控對象缺乏統(tǒng)一定義。本文針對這些問題，對多平臺環(huán)境下的監(jiān)控體系進(jìn)行深入研究和剖析，提出了建立多云平臺下統(tǒng)一監(jiān)控的必要性，以及對多云平臺監(jiān)控體系進(jìn)行功能和架構(gòu)設(shè)計，希望能夠為日后多云平臺監(jiān)控體系的實現(xiàn)提供技術(shù)依據(jù)。