云計(jì)算平臺狀態(tài)監(jiān)控技術(shù)研究與應(yīng)用

李紅輝，關(guān)婷婷，楊芳南

（北京交通大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，北京 100044）

0 引言

云計(jì)算平臺由于其計(jì)算能力及存儲能力受到越來越多企業(yè)的應(yīng)用[1-3]，特別是應(yīng)用到動車組全生命周期數(shù)據(jù)[3-4]處理上。這些應(yīng)用對于數(shù)據(jù)的穩(wěn)定性和實(shí)時性提出了很高的要求，這就需要云計(jì)算平臺在提供服務(wù)支撐的同時能夠擁有較好的穩(wěn)定性。因此平臺的狀態(tài)監(jiān)控與故障告警成為了許多系統(tǒng)管理員著重關(guān)注的問題。

目前廣泛被應(yīng)用的監(jiān)控方法依賴于開源工具，如Ganglia、Nagios[5-6]等，多為直接采用工具默認(rèn)支持的監(jiān)控指標(biāo)[7-9]，對關(guān)聯(lián)的各項(xiàng)指標(biāo)進(jìn)行直接顯示，沒有根據(jù)各項(xiàng)指標(biāo)數(shù)據(jù)進(jìn)行計(jì)算，監(jiān)控指標(biāo)多而雜，這會造成指標(biāo)多而不直觀的問題。本文研究反映平臺性能的指標(biāo)及其計(jì)算方法，提出云計(jì)算平臺狀態(tài)監(jiān)控指標(biāo)體系，提出利用觸發(fā)器的方法存儲歷史數(shù)據(jù)，利用Ganglia擴(kuò)展指標(biāo)能力和Icinga告警機(jī)制實(shí)現(xiàn)指標(biāo)獲取和狀態(tài)監(jiān)控及異常告警，最后采用Echarts工具進(jìn)行歷史數(shù)據(jù)和變化趨勢的可視化展示。

1 平臺監(jiān)控軟件結(jié)構(gòu)

節(jié)點(diǎn)的性能與存活狀態(tài)直接影響著計(jì)算平臺的服務(wù)支持，如若不提供平臺的狀態(tài)監(jiān)控與故障告警，當(dāng)發(fā)生故障或作業(yè)卡頓時，平臺管理員不能及時發(fā)現(xiàn)并定位故障原因，對于恢復(fù)平臺計(jì)算能力提出了很大的挑戰(zhàn)。目前成熟的監(jiān)控工具 Ganglia對集群節(jié)點(diǎn)性能做了監(jiān)控，但是繁多的監(jiān)控指標(biāo)讓用戶眼花繚亂；Nagios、Icinga等是一個核心框架[10]，所有的監(jiān)控任務(wù)需要依賴插件完成，工具自身與平臺的耦合度較低。

為了更好的實(shí)現(xiàn)云計(jì)算平臺的監(jiān)控，滿足平臺對于硬件性能和集群運(yùn)行狀態(tài)的監(jiān)控需求，提出了云計(jì)算平臺監(jiān)控工具軟件結(jié)構(gòu)模型，如圖1所示。該模型包含數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)分析、異常告警和可視化顯示等模塊。首先實(shí)現(xiàn)監(jiān)控指標(biāo)采集，并對指標(biāo)進(jìn)行數(shù)據(jù)清洗與處理，按照提出的指標(biāo)體系進(jìn)行精簡。接下來將獲取到的指標(biāo)進(jìn)行存儲，以便之后進(jìn)行可視化展示，存儲方式包括數(shù)據(jù)文件、數(shù)據(jù)庫等。然后根據(jù)指標(biāo)值對平臺進(jìn)行狀態(tài)分析，當(dāng)指標(biāo)數(shù)據(jù)出現(xiàn)異常時，進(jìn)行故障告警。最后對當(dāng)前計(jì)算平臺的正常運(yùn)行狀態(tài)、異常狀態(tài)、告警對象及歷史變化趨勢進(jìn)行可視化展示。

圖1 云計(jì)算平臺監(jiān)控軟件結(jié)構(gòu)模型Fig.1 Model of monitor software structure of cloud computing platform

2 監(jiān)控指標(biāo)體系及計(jì)算方法

傳統(tǒng)的監(jiān)控工具硬件性能監(jiān)控指標(biāo)較多，不直觀，如Ganglia，共有幾十項(xiàng)硬性指標(biāo)[5]。通過研究發(fā)現(xiàn)，平臺硬性指標(biāo)實(shí)際上主要關(guān)注CPU利用率、負(fù)載、磁盤I/O、內(nèi)存使用率等四個重要指標(biāo)。CPU的過度利用會導(dǎo)致作業(yè)運(yùn)行的緩慢，大量的時間被消耗在上下文的切換上，作業(yè)計(jì)算能力被減弱；CPU負(fù)載表示正在使用和等待使用CPU的任務(wù)數(shù)，如果CPU負(fù)載過高任務(wù)等待時間就會過長；磁盤過載，IO等待時間過長，任務(wù)執(zhí)行速度變慢；如果某個進(jìn)程占用內(nèi)存過大，就會影響整個系統(tǒng)性能。我們通過對這四個指標(biāo)進(jìn)行分析，找出相關(guān)指標(biāo)并計(jì)算這四項(xiàng)指標(biāo)值，直觀顯示的同時又減少了展示的監(jiān)控指標(biāo)數(shù)量，達(dá)到一目了然的效果。

CPU的利用率就是非空閑進(jìn)程占用時間的比例，計(jì)算CPU的利用率可以通過以下方法計(jì)算。取兩個時間點(diǎn) t1、t2，分別獲取 user（運(yùn)行用戶空間進(jìn)程時間占比）、nice（運(yùn)行調(diào)整優(yōu)先級的用戶進(jìn)程時間占比）、system（運(yùn)行內(nèi)核時間占比）、idle（CPU空閑時間占比）、iowait（CPU等待I/O請求時間占比）、hardirq（處理硬件中斷時間占比）、softirq（處理軟件中斷時間占比），則 CPU在此時間段內(nèi)總的使用時間Tsum為：

CPU此段時間內(nèi)的空閑使用時間Tfree為：

所以，CPU在此段即時利用率Usagecpu為：

經(jīng)過實(shí)驗(yàn)，t1和t2的時間間隔取3s時，刷新時間與top指令基本保持一致。

CPU負(fù)載不僅與平均負(fù)載（load averages）有關(guān)，還與CPU處理器數(shù)量有關(guān)。平均負(fù)載有三個表現(xiàn)值，load_one（平均每分鐘負(fù)載）、load_five（平均每5分鐘負(fù)載）、load_fifteen（平均每15分鐘負(fù)載）。根據(jù)總結(jié)使用者經(jīng)驗(yàn)，取load_five值較好。

內(nèi)存使用率是物理已用內(nèi)存占總的內(nèi)存百分比，用 phyfree表示物理已用內(nèi)存，內(nèi)存使用率Usagemem計(jì)算如下：

磁盤I/O瓶頸可通過磁盤讀寫速率體現(xiàn)。取t1、t2兩個時間點(diǎn)的讀操作的次數(shù)（rd_ios）、讀取的扇區(qū)數(shù)量（rd_sectors）、寫操作的次數(shù)（wr_ios）、寫入的扇區(qū)數(shù)量（wr_sectors），t1、t2時間間隔為1s，則每秒完成的讀I/O設(shè)備次數(shù)r/s為：

每秒完成的寫I/O設(shè)備次數(shù)w/s為：

每秒讀扇區(qū)數(shù)rsec/s為：

每秒寫扇區(qū)數(shù)wsec/s為：

3 狀態(tài)監(jiān)控與故障告警系統(tǒng)實(shí)現(xiàn)

在第1節(jié)提出的監(jiān)控軟件模型和第2節(jié)的硬件監(jiān)控指標(biāo)基礎(chǔ)上，提出一個云計(jì)算平臺的監(jiān)控系統(tǒng)實(shí)現(xiàn)方案，如圖2所示。首先系統(tǒng)數(shù)據(jù)采集模塊從云計(jì)算平臺采集指標(biāo)數(shù)據(jù)，交給數(shù)據(jù)處理插件進(jìn)行數(shù)據(jù)處理及指標(biāo)數(shù)值計(jì)算，并將計(jì)算結(jié)果上報。數(shù)據(jù)分析插件接到上報的指標(biāo)數(shù)據(jù)，根據(jù)各指標(biāo)的閾值區(qū)間判斷此刻指標(biāo)數(shù)值是否正常，將狀態(tài)交給告警處理模塊。告警處理模塊對狀態(tài)進(jìn)行相應(yīng)的告警處理并將數(shù)值存儲數(shù)據(jù)庫。最后前端實(shí)現(xiàn)數(shù)據(jù)可視化，給出實(shí)時數(shù)據(jù)狀態(tài)展示和歷史數(shù)據(jù)變化趨勢展示。方案實(shí)現(xiàn)利用了 Ganglia的指標(biāo)上報機(jī)制，用Pyhton語言自定義插件，實(shí)現(xiàn) Ganglia指標(biāo)擴(kuò)展，實(shí)現(xiàn)指標(biāo)數(shù)據(jù)的采集與處理；利用Icinga框架的故障告警能力，設(shè)計(jì)插件，將由 Ganglia上報的指標(biāo)數(shù)值與閾值進(jìn)行比對，判斷指標(biāo)是否存在異常，并給出異常告警；利用Icinga數(shù)據(jù)更新流程，設(shè)置觸發(fā)器實(shí)現(xiàn)歷史數(shù)據(jù)存儲，實(shí)現(xiàn)歷史變化趨勢展示。

圖2 監(jiān)控系統(tǒng)實(shí)現(xiàn)方案Fig.2 Experiment scheme of monitoring system

3.1 數(shù)據(jù)采集與處理

采集性能指標(biāo)需要讀取系統(tǒng)文件，并實(shí)現(xiàn)指標(biāo)數(shù)據(jù)的計(jì)算、主動上報和收集。本文數(shù)據(jù)采集分別從平臺系統(tǒng)文件 meminfo、cpuinfo、stat、diskstat中定時讀取系統(tǒng)硬件性能指標(biāo)原始數(shù)據(jù)，按照前述的計(jì)算方法進(jìn)行目標(biāo)指標(biāo)數(shù)據(jù)計(jì)算。為了很好地實(shí)現(xiàn)數(shù)據(jù)的上報和收集，這里與 Ganglia結(jié)合，利用Ganglia指標(biāo)擴(kuò)展能力[11]，設(shè)計(jì)數(shù)據(jù)處理插件。插件由Python語言實(shí)現(xiàn)，在插件中分別實(shí)現(xiàn)指標(biāo)信息的定義與初始化、指標(biāo)清除、指標(biāo)計(jì)算與處理，對應(yīng)的三個函數(shù)分別為metric_init()、metric_cleanup()、metric_handler()。

3.2 數(shù)據(jù)存儲

傳統(tǒng)的監(jiān)控工具對監(jiān)控指標(biāo)數(shù)據(jù)采用文件的形式存儲，這種數(shù)據(jù)儲存形式不方便數(shù)據(jù)的使用和展示。為了更好的實(shí)現(xiàn)可視化，需要改進(jìn)存儲方式。本文提出將監(jiān)控指標(biāo)數(shù)據(jù)存儲到MariaDB表中，此處應(yīng)用到觸發(fā)器事件和定時任務(wù)。在數(shù)據(jù)庫中建立指標(biāo)數(shù)據(jù)歷史存儲表，存儲內(nèi)容及類型如表1所示。其中監(jiān)控節(jié)點(diǎn)代表此條記錄是平臺中哪個節(jié)點(diǎn)，性能值包括此時的狀態(tài)值和兩個閾值，閾值記錄方便之后的趨勢展示標(biāo)記，不用再遍歷配置文件，狀態(tài)分為三種，正常、告警、嚴(yán)重告警。結(jié)合Icinga中數(shù)據(jù)更新操作流程，當(dāng)數(shù)據(jù)庫表中更新狀態(tài)數(shù)據(jù)時，觸發(fā)器事件完成此次數(shù)據(jù)更新時觸發(fā)一次插入數(shù)據(jù)庫表操作，保存監(jiān)控指標(biāo)的歷史數(shù)據(jù)。由于監(jiān)控的實(shí)時性，更新速度很快，產(chǎn)生大量歷史數(shù)據(jù)，可通過定時任務(wù)刪除歷史數(shù)據(jù)，如，定時任務(wù)每天執(zhí)行一次，刪除一個月前的數(shù)據(jù)，保留近1個月歷史數(shù)據(jù)。

表1 指標(biāo)數(shù)據(jù)歷史存儲表結(jié)構(gòu)設(shè)計(jì)Tab.1 Table structure of metrics history datas

3.3 數(shù)據(jù)分析與故障告警

數(shù)據(jù)分析是指分析指標(biāo)數(shù)據(jù)是否正常，故障告警是指當(dāng)指標(biāo)數(shù)據(jù)異常時給出告警提示。在數(shù)據(jù)分析中可以為每個指標(biāo)設(shè)置兩個閾值，分為代表亞健康狀態(tài)和故障狀態(tài)。根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)，CPU利用率在0-75%之間任務(wù)運(yùn)行一般正常，如果長時間處于90%以上，任務(wù)運(yùn)行通常變慢。因此，CPU利用率兩個閾值可設(shè)置為75%，90%。就單核處理器來說，CPU負(fù)載通常維持在0.70比較好，當(dāng)達(dá)到1.0的時候說明CPU滿載，當(dāng)超過1.0時任務(wù)隊(duì)列就會出現(xiàn)等待，因此，多核CPU負(fù)載的兩個閾值可設(shè)置為0.70*CPU內(nèi)核數(shù)，1.0*CPU內(nèi)核數(shù)。為了滿足不同配置服務(wù)器，閾值不能是固定值，應(yīng)采用百分比機(jī)制，這樣即使集群內(nèi)節(jié)點(diǎn)硬件配置不同，監(jiān)控配置閾值依然不用做修改。所以CPU負(fù)載做歸一化處理，在計(jì)算CPU負(fù)載時將load_five值除以CPU內(nèi)核數(shù)量。因此， CPU負(fù)載的閾值可以設(shè)置為0.7，1.0。磁盤IO瓶頸與磁盤的種類有關(guān)，不同的磁盤讀寫速率極限不同，7200轉(zhuǎn)臺式機(jī)硬盤大致在130-190MB區(qū)間，因此可以將磁盤讀速率的兩個閾值設(shè)置為100M/s、130M/s，寫速率的兩個閾值為50M/s、65M/s。根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)，內(nèi)存使用率低于88%時，系統(tǒng)一般不會出現(xiàn)卡頓，當(dāng)內(nèi)存使用率超過90%時，系統(tǒng)卡頓現(xiàn)象一般較為嚴(yán)重，因此，內(nèi)存使用率閾值設(shè)置為88%，90%。CPU利用率、CPU負(fù)載、磁盤I/O、內(nèi)存使用率四個指標(biāo)的閾值設(shè)置匯總?cè)绫?所示。

表2 故障告警閾值設(shè)置Tab.2 Thresholds settings of fault alarm

故障告警結(jié)合Icinga軟件，自定義監(jiān)控插件，并設(shè)置監(jiān)控指標(biāo)閾值。當(dāng)指標(biāo)數(shù)據(jù)超出閾值時，要給相關(guān)管理員發(fā)告警通知。告警類型分為警告和嚴(yán)重告警，通知方式采用郵件告警方式。

3.4 可視化

可視化分為兩部分，實(shí)時指標(biāo)數(shù)據(jù)展示和歷史數(shù)據(jù)趨勢展示。用戶通過監(jiān)控軟件展示界面查看監(jiān)控指標(biāo)的狀態(tài)及數(shù)據(jù)，發(fā)現(xiàn)故障，進(jìn)行平臺修復(fù)。歷史數(shù)據(jù)趨勢變化可以幫助系統(tǒng)運(yùn)維管理人員了解指標(biāo)變化趨勢，幫助定位故障發(fā)生原因?？梢暬瘜?shí)現(xiàn)結(jié)合Icinga顯示和開源工具Echarts，后端數(shù)據(jù)處理采用PHP語言。先編寫PHP腳本將歷史數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行處理，以Ajax異步方式傳給Echarts[12]。Echarts為x軸、y軸賦值，并渲染畫布進(jìn)行趨勢展示。

3.5 實(shí)驗(yàn)結(jié)果

針對本文提出的監(jiān)控系統(tǒng)實(shí)現(xiàn)方案，本次實(shí)驗(yàn)搭建一個6個節(jié)點(diǎn)的云計(jì)算平臺，包括1個主節(jié)點(diǎn)，5個從節(jié)點(diǎn)，每個節(jié)點(diǎn)預(yù)裝了 centos7、jdk1.7、hadoop2.6環(huán)境。監(jiān)控系統(tǒng)軟件部署在另外一臺服務(wù)器上，運(yùn)行環(huán)境為 centos7、jdk1.7，并安裝支持軟件 ganglia3.7.2、python2.7、icinga1.12.2。

當(dāng)監(jiān)控指標(biāo)出現(xiàn)異常時，監(jiān)控系統(tǒng)向配置文件中的聯(lián)系人發(fā)送郵件告警，同時數(shù)據(jù)異常指標(biāo)的顏色和狀態(tài)在可視化界面發(fā)生相應(yīng)變化，如圖3所示。圖3表示CPU利用率在22:09分時發(fā)生嚴(yán)重告警，CPU利用率達(dá)到92%。系統(tǒng)運(yùn)維人員可以選擇指標(biāo)進(jìn)行變化趨勢查看，默認(rèn)為近1小時內(nèi)數(shù)據(jù)，如圖4所示，圖中橫坐標(biāo)為時間，縱坐標(biāo)表示CPU利用率，在近1小時內(nèi)最大值為94%，最小值為13%，平均利用率為55.1%。

從實(shí)驗(yàn)結(jié)果來看，文中提出的監(jiān)控軟件設(shè)計(jì)方案實(shí)現(xiàn)了云計(jì)算平臺狀態(tài)監(jiān)控及故障實(shí)時告警。

4 結(jié)論

圖3 實(shí)時狀態(tài)展示Fig.3 Real-time status display

圖4 歷史狀態(tài)趨勢展示Fig.4 Historical states trend display

本文提出云計(jì)算平臺監(jiān)控模型，提出了性能監(jiān)控指標(biāo)體系及其計(jì)算方法，通過與 Ganglia擴(kuò)展監(jiān)控對象的方式自定義插件腳本，實(shí)現(xiàn)指標(biāo)的采集及計(jì)算，依托Icinga更新狀態(tài)數(shù)據(jù)流程，提出觸發(fā)器保存歷史監(jiān)控指標(biāo)數(shù)據(jù)，并建立定時任務(wù)對歷史數(shù)據(jù)進(jìn)行處理，減少磁盤存儲和查詢壓力，利用 Icinga告警機(jī)制，自定義插件腳本，研究各監(jiān)控指標(biāo)的閾值設(shè)置，實(shí)現(xiàn)故障告警，前端可視化采用當(dāng)前比較流行的開源技術(shù)Echarts搭配PHP腳本語言，圖表直觀人性化。本文提出的監(jiān)控系統(tǒng)很好的實(shí)現(xiàn)了性能監(jiān)控、故障告警、前端可視化展示，完成了云計(jì)算平臺對監(jiān)控軟件的需求。之后的研究方向?yàn)檠芯糠从吃朴?jì)算平臺故障預(yù)測技術(shù)。

[1] 王有元, 蔡亞楠, 王燦等. 基于云平臺的變電站設(shè)備智能診斷系統(tǒng)[J]. 高電壓技術(shù), 2015, 41(12): 3895-3901. DOI:10. 13336/j. 1003-6520. hve. 2015. 12. 003.WANG Y Y, CAI Y N, WANG C, et all. Intelligent Diagnosis System for Substation Equipment Based on Cloud Platform[J]. High Voltage Engineering, 2015, 41(12): 3895-3901.DOI: 10. 13336/j. 1003-6520. hve. 2015. 12. 003. (in Chinese)

[2] 陳韶男. 基于云計(jì)算的企業(yè)車輛監(jiān)控管理平臺的設(shè)計(jì)[J].軟件, 2014, 35(8): 104-109. DOI: 10. 3969/j. issn. 1003-6970. 2014. 08. 023.CHEN S N. Design of Monitoring and Management Platform for Vehicles based on Cloud Computing[J]. computer engineering & Software, 2014, 35(8): 104-109. DOI:10.3969/j.issn. 1003-6970. 2014. 08. 023. (in Chinese)

[3] 李燕, 張惟皎, 賈志凱. 動車組全生命周期數(shù)據(jù)可視化研究[J]. 鐵路計(jì)算機(jī)應(yīng)用, 2013, 22(01): 58-62.LI Y, ZHANG W J, JIA Z K. Research on data visualization of EMUs whole life-cycle[J]. Railway Computer Application,2013, 22(01): 58-62. (in Chinese)

[4] 張春, 袁天寧. 針對動車組全生命周期集成管理的多源異構(gòu)數(shù)據(jù)融合框架設(shè)計(jì)[J]. 計(jì)算機(jī)與現(xiàn)代化, 2017, (10):36-41.ZHANG C, YUAN T N. Design of Multi-source and Heterogeneous Data Fusion Framework for Integrated Lifecycle Management of EMU[J]. Computer and Modernization, 2017,(10): 36-41. (in Chinese)

[5] 梅西. Ganglia系統(tǒng)監(jiān)控[M]. 機(jī)械工業(yè)出版社, 2013.Matt Massie. Monitoring with Ganglia[M]. China Mechine Press, 2013.

[6] 吳怡風(fēng), 歸強(qiáng), 羅明宇等. 集群計(jì)算機(jī)監(jiān)控技術(shù)研究[J].計(jì)算機(jī)與現(xiàn)代化, 2013, (11): 218-222.WU Y F, GUI Q, LUO M Y, et all. Monitoring Technology of computer in cluster[J]. Computer and Modernization, 2013,(11): 218-222. (in Chinese)

[7] 張小銀, 陳國勝. 基于Ganglia和Nagios的云計(jì)算平臺智能監(jiān)控系統(tǒng)[J]. 安徽理工大學(xué)學(xué)報(自科版), 2016, 36(4):69-74.ZHANG X Y, CHEN G S. Intelligent Monitoring System on Cloud Computing Platform Based on Ganglia and Nagios[J].Journal of Anhui University of Science and Technology(Natural Science), 2016, 36(4): 69-74. (in Chinese)

[8] 朱娜娜. Hadoop平臺的集群故障監(jiān)控的研究與實(shí)現(xiàn)[J]. 軟件, 2013, 34(12): 73-77.ZHU N N. The Research and Implement of Fault Monitoring on Hadoop Platform[J]. computer engineering & Software,2013, 34(12): 73-77. (in Chinese)

[9] 錢濤, 李建元. 基于Nagios的Hadoop集群性能監(jiān)控[J]. 杭州電子科技大學(xué)學(xué)報(自然科學(xué)版), 2015, 35(03): 64-67.QIAN T, LI J Y. Hadoop Cluster Performance Monitoring Based on Nagios[J]. Journal of Hangzhou Dianzi University,2015, 35(03): 64-67. (in Chinese)

[10] V Mehta. Icinga network monitoring[M]. UK: Packt Publishing Ltd, 2013: 5-6.

[11] Ng Zhi An. Gmond Python metric modules[EB/OL].(2014-06-28). [2017-11-22]. https://github.com/ganglia/monitorcore/wiki/Ganglia-GMond-Python-Modules.

[12] 冀瀟, 李楊. 采用ECharts可視化技術(shù)實(shí)現(xiàn)的數(shù)據(jù)體系監(jiān)控系統(tǒng)[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2017, 26(6): 72-76.JI X, LI Y. Realization of Data Hierarchy Monitoring System by Using ECharts Visualization[J]. Computer Systems &Applications, 2017, 26(6): 72-76. (in Chinese)