監(jiān)控與事件管理

基礎(chǔ)要點(diǎn)

定義：對(duì)服務(wù)或配置項(xiàng)（CI）有重要意義的狀態(tài)變更。

目標(biāo)：建立適當(dāng)?shù)捻憫?yīng)機(jī)制，通過(guò)主動(dòng)或被動(dòng)的自動(dòng)化監(jiān)控，記錄狀態(tài)變更，確定事件的優(yōu)先級(jí)，啟動(dòng)控制操作，最小化或消除其對(duì)業(yè)務(wù)的負(fù)面影響。

信息性事件：不需要采取行動(dòng)，但要分析、收集數(shù)據(jù)，發(fā)現(xiàn)對(duì)服務(wù)有益的操作。

警告：在業(yè)務(wù)實(shí)際發(fā)生負(fù)面影響之前采取行動(dòng)。

異常：確定違反已建立的規(guī)范，即使未影響業(yè)務(wù)也要采取措施。

應(yīng)使用工具輪詢關(guān)鍵CI，但要控制整體的數(shù)據(jù)量。

應(yīng)通過(guò)合同，規(guī)定第三方應(yīng)予以配合，并提供監(jiān)控的數(shù)據(jù)。

解讀

就各種服務(wù)的日常監(jiān)控而言，我們默認(rèn)需要對(duì)系統(tǒng)、網(wǎng)絡(luò)與應(yīng)用三大方面開(kāi)展各類事件的監(jiān)控活動(dòng)。通常，業(yè)界會(huì)采取如下三種模式：

對(duì)于實(shí)力雄厚的企業(yè)而言，他們會(huì)自行研發(fā)各種針對(duì)某些具體目標(biāo)的監(jiān)控軟件。這些軟件雖然會(huì)在界面或功能上較為粗糙，但是能夠針對(duì)痛點(diǎn)且實(shí)用有效。

對(duì)于開(kāi)放務(wù)實(shí)的企業(yè)而言，他們會(huì)通過(guò)采用開(kāi)源社區(qū)的工具，來(lái)不斷完善與豐富監(jiān)控的項(xiàng)目與工具。此類工具雖能持續(xù)迭代，但難免會(huì)存在潛在的缺陷。

對(duì)于嚴(yán)謹(jǐn)合規(guī)的企業(yè)而言，他們會(huì)購(gòu)置成熟的商業(yè)版監(jiān)控服務(wù)，并利用第三方廠商所提供的豐富的API 接口，通過(guò)雙方技術(shù)人員的協(xié)作，實(shí)現(xiàn)與現(xiàn)有企業(yè)系統(tǒng)的二次開(kāi)發(fā)與集成。此類監(jiān)控產(chǎn)品通常擁有友好的界面、完整的流程以及周到的技術(shù)支持。

在實(shí)現(xiàn)了監(jiān)控服務(wù)的搭建之后，IT 技術(shù)人員需要針對(duì)當(dāng)前系統(tǒng)與服務(wù)的實(shí)際情況，設(shè)置好監(jiān)控項(xiàng)、參照基準(zhǔn)以及門限閥值。

為了有效地實(shí)現(xiàn)事件的分類、分級(jí)以及剔除誤報(bào)，我們應(yīng)當(dāng)事先對(duì)于在監(jiān)控過(guò)程中捕捉到的事件信息，根據(jù)其重要程度來(lái)進(jìn)行如下區(qū)分：

1.信息性事件

例如，某個(gè)用戶登錄了人事管理系統(tǒng)，郵件系統(tǒng)向內(nèi)部群發(fā)了一封郵件，物流系統(tǒng)的全量數(shù)據(jù)備份已完成等事件。

2.警告

例如，Web 服務(wù)器的CPU使用率接近設(shè)定閾值，網(wǎng)站大促時(shí)用戶的訪問(wèn)量接近系統(tǒng)設(shè)定的穩(wěn)定性能拐點(diǎn)等。

圖1 事件管理流程

3.異常

例如，上述Web 服務(wù)器的CPU 使用率已經(jīng)超過(guò)了設(shè)定閾值，需要立即給虛擬機(jī)增加CPU。

由于各類事件都是從自動(dòng)化監(jiān)控中捕獲而來(lái)，因此我們?cè)谙到y(tǒng)的響應(yīng)能力方面，需要能夠達(dá)到如下“兩個(gè)快”。

快速生成：由于是系統(tǒng)自動(dòng)化監(jiān)控所產(chǎn)生，因此事件應(yīng)迅速實(shí)現(xiàn)分配編號(hào)；初步判斷類型；過(guò)濾重復(fù)與無(wú)效；根據(jù)標(biāo)準(zhǔn)分級(jí)自動(dòng)關(guān)聯(lián)處理措施以及分派給相應(yīng)的角色，這樣既節(jié)省了時(shí)間，又提高了準(zhǔn)確性。

快速處置：系統(tǒng)除了能夠根據(jù)現(xiàn)有的“問(wèn)題和已知錯(cuò)誤知識(shí)庫(kù)”以及CMDB，進(jìn)行事件的自動(dòng)匹配與流轉(zhuǎn)之外，還應(yīng)當(dāng)設(shè)定一些預(yù)定義的處理路徑、并能準(zhǔn)確地讀取組織內(nèi)不同的IT 角色信息，以實(shí)現(xiàn)多部門按需聯(lián)動(dòng)，此外，系統(tǒng)也應(yīng)該為重要事件自動(dòng)設(shè)置倒計(jì)時(shí)，以及截止時(shí)間，以方便后期對(duì)處置的KPI 進(jìn)行評(píng)估。

實(shí)務(wù)

在自動(dòng)監(jiān)控方面，我們通過(guò)開(kāi)源軟件——Zabbix 的自動(dòng)化注冊(cè)與發(fā)現(xiàn)特性實(shí)現(xiàn)了：

1.機(jī)房環(huán)境、物理設(shè)備、網(wǎng)絡(luò)流量、虛擬化、數(shù)據(jù)庫(kù)、業(yè)務(wù)應(yīng)用、存儲(chǔ)狀態(tài)、備份作業(yè)以及日志等方面的實(shí)時(shí)自動(dòng)化巡檢。

2.通過(guò)自動(dòng)發(fā)現(xiàn)和現(xiàn)場(chǎng)核對(duì)，分層、分級(jí)整理出了2D版的機(jī)房拓?fù)鋱D、3D 版的機(jī)架視圖、地域鏈路實(shí)時(shí)圖、網(wǎng)絡(luò)架構(gòu)圖、系統(tǒng)邏輯框架圖、應(yīng)用間數(shù)據(jù)流轉(zhuǎn)圖、流量歷史曲線圖以及各類應(yīng)用的儀表盤。

自動(dòng)跟蹤監(jiān)測(cè)項(xiàng)目包括：標(biāo)準(zhǔn)的CPU、內(nèi)存、磁盤、I/O，以及定制化服務(wù)（如Nginx、PHP 頁(yè)面等）的KPI 性能。

對(duì)于監(jiān)控到的事件，系統(tǒng)能夠自動(dòng)區(qū)分事件的來(lái)源，分配事件編號(hào)，區(qū)分類別，通知人員，以及跟蹤處理狀態(tài)。

同時(shí)，在運(yùn)維人員的二次審驗(yàn)方面，他們只需通過(guò)進(jìn)一步點(diǎn)擊，便可細(xì)致地觀察與獲悉到每個(gè)服務(wù)的詳細(xì)狀態(tài)，進(jìn)而迅速開(kāi)展各種人工分析以及異常跟蹤與診斷。

另外，對(duì)于那些自動(dòng)化監(jiān)控管理流程無(wú)法解決或是簡(jiǎn)單人工干預(yù)無(wú)法糾正的事件，我們會(huì)根據(jù)前面提到的IT 資產(chǎn)的分類標(biāo)準(zhǔn)，依次轉(zhuǎn)入事故管理、變更管理，以及馬上要討論到的問(wèn)題管理流程。

總的說(shuō)來(lái)，我們?cè)趯?shí)際操作中，參考了如圖1 所示的事件管理流程。