智慧運維為傳統(tǒng)工業(yè)注入生機活力

一、項目背景

包頭鋼鐵（集團）有限責任公司（下簡稱：包鋼）是我國最早建設的鋼鐵工業(yè)基地之一，擁有“包鋼股份”和“包鋼稀土”兩個上市公司，是中國主要的鋼軌及無縫鋼管生產基地之一，也是華北地區(qū)最大的板材生產基地和世界稀土工業(yè)的發(fā)端和最大的稀土科研、生產基地。

包鋼始終致力于多元發(fā)展，并致力于建設“大包鋼”，如今已成為世界最大的稀土鋼生產基地和最具競爭力的稀土生產、科研基地，年銷售收入1000億元以上。隨著包鋼信息化建設的深入，信息化運維監(jiān)控管理在企業(yè)發(fā)展過程中擔負起越來越重要的角色，企業(yè)利潤來源也越來越依賴于信息化的建設。企業(yè)信息化的建設水平取決于兩個方面：

基礎設施的搭建，這是硬件基礎。

在管理層面，如何將已有硬件基礎設施的效能更好的發(fā)揮出來，這和運維管理水平的高低息息相關。

如何及時了解系統(tǒng)的運行狀況，有效地降低系統(tǒng)運行的風險，主動的發(fā)現(xiàn)并及時解決系統(tǒng)運行故障，讓業(yè)務系統(tǒng)保持7x24小時健康、持續(xù)、穩(wěn)定且高效地運行，這些都給包鋼的信息化運維管理水平提出了更高的要求，也是當前傳統(tǒng)工業(yè)企業(yè)運維管理普遍面臨的巨大挑戰(zhàn)。

二、運維挑戰(zhàn)

包鋼集團目前擁有網絡設備、服務器、存儲以及其他IT資源，在整個IT資源管理方面仍處于人工管理階段，管理運維屬于被動管理。

1、管理設備類型和數(shù)量

交換機主要為Cisco和H3C交換機，共計需要管理80臺。

操作系統(tǒng)主要有IBM AIX、CentOS和Windows等，共計需要管理35臺。

數(shù)據(jù)庫主要為IBM DB2、Oracle等，共計需要管理25套。

中間件主要為Websphere，需要管理10套。

應用主要為HTTP，需要管理10套。

存儲設備主要為IBM、EMC，需要管理5臺。

2、運維管理需求

（1）網絡管理

支持Cisco、H3C等廠商的各型號設備，支持多廠商設備組成的混合網絡自動識別，并且提供設備的控制面板，支持端口關閉與啟用操作，可以更改VLAN ID。

拓撲圖的生成支持網絡設備的SNMPV1、V2和V3三個版本的混和生成，并能對SNMP V3設備進行管理。

支持對全網的網絡設備線路按照流量、帶寬占用比、丟包率、錯包率和廣播包等指標的實時負載進行排名。

持網絡設備的ARP表、MAC表和路由表等表格數(shù)據(jù)定期存儲、差異自動比對，提供路由表歷史快照對比。

支持任意IP類型對象的監(jiān)控，支持ping狀態(tài)、TCP端口狀態(tài)和URL跳轉方式，實現(xiàn)該對象的基礎管理。

拓撲圖上的設備和線路按照性能參數(shù)的不同區(qū)間以紅、黃和綠顏色進行顯示，性能負載可自定義。

在拓撲圖上可顯示線路峰值流量、廣播流量和組播流量信息。

提供網絡設備可用率、線路連通率、網絡設備負載分析報表、線路負載分析報表和網絡告警統(tǒng)計報表等多套基于采集和管理數(shù)據(jù)生成的客觀統(tǒng)計報表。

（2）操作系統(tǒng)管理

支持Windows、IBMAix和CentOS等類型操作系統(tǒng)的管理，支持對于CPU、內存、進程、日志、網絡流量和磁盤性能的監(jiān)控。

支持對主機進程列表的監(jiān)控，支持定期備份進程表、進程表比對和進程狀態(tài)告警。

支持主機趨勢管理視圖，包括CPU、內存和文件系統(tǒng);支持流量指標對比和磁盤容量可用時間預測。

支持用波浪圖方式顯示所有主機的全局信息，以圖形化方式顯示主機的常用管理參數(shù)。

支持系統(tǒng)拓撲圖，一張圖可以展現(xiàn)所有主機承載的數(shù)據(jù)庫、中間件和標準應用之間的實時狀態(tài)監(jiān)控，為主機監(jiān)控提供全景視圖。

提供主機可用率、主機性能報表和系統(tǒng)告警統(tǒng)計報表等多套基于采集和管理數(shù)據(jù)生成的客觀統(tǒng)計報表。

（3）數(shù)據(jù)庫管理

支持對Oracle、DB2等數(shù)據(jù)庫的各項運行參數(shù)進行監(jiān)控;支持對于各個數(shù)據(jù)庫實時運行狀態(tài)的實時統(tǒng)計，包含數(shù)據(jù)庫會話數(shù)、死鎖數(shù)實時排行，支持對表空間大小和會話數(shù)、緩存信息和鎖信息進行重點監(jiān)管。

支持在數(shù)據(jù)庫發(fā)生異常時，進行所在主機、數(shù)據(jù)庫關鍵指標的數(shù)據(jù)快照，便于事后便捷分析。

（4）中間件管理

中間件管理支持對WebSphere等中間件實時監(jiān)控;支持圖形化方式顯示應用的承載主機狀態(tài)和應用的基本性能信息，同時展示相關的運維負責人和聯(lián)系方式。

（5）標準應用管理

支持HTTP、HTTPS等應用的監(jiān)控;支持圖形化方式顯示應用的承載主機狀態(tài)和應用的基本性能信息，展示相關的運維負責人和聯(lián)系方式。

6）存儲管理

持存儲設備硬件管理，以統(tǒng)一的視圖展現(xiàn)各個硬件子項的運行詳情，清晰展現(xiàn)各個管理設備的各類型管理狀態(tài)，并以顏色顯著標示出現(xiàn)問題的硬件類型，可顯示磁盤陣列的電源、電池、風扇、溫度、磁盤和控制器等各個關鍵硬件信息。

支持存儲空間使用全局視角，當前所有磁盤陣列設備使用空間的統(tǒng)計;當前設備配置數(shù)據(jù)池情況，列出Pool已使用排行;提供各個業(yè)務主機磁盤使用的增長規(guī)律和使用預測，便于事前做好擴容規(guī)劃。

三、解決方案

1、基于自動化理念打造核心平臺

BTSO北塔智慧運維平臺作為北塔軟件最新一代的運維管理軟件，秉承北塔多年管理經驗結合平臺化開發(fā)方式，在滿足用戶對于基本狀態(tài)和性能無人值守及實時展示的基本運維需求的同時，智能抓取關鍵性能數(shù)據(jù)，根據(jù)預置策略進行數(shù)據(jù)分析和聯(lián)動處置;同時提供強大的平臺能力和后臺開發(fā)能力，能將用戶個性化的分析方式和處置方式快速實現(xiàn)策略化，以期實現(xiàn)用戶管理效率的最大化提升。該平臺以自動學習、自動分析和自動運維詮釋智能運維的運維方法。

自動學習：實現(xiàn)用戶環(huán)境數(shù)據(jù)的學習，結合內置檢測指標體系，建立具有用戶特征的常態(tài)健康標準。

自動分析：實時監(jiān)控用戶各項運維指標，結合指標變化特征，通過諸如單指標越界比例、多指標組合判斷和歷史趨勢變化等方法自動判斷數(shù)據(jù)異常情況并主動提醒。

自動運維：提供處置方案的提醒，用戶處置程序的調用等多種方案，實現(xiàn)異常問題的及時處理和運維。

2、系統(tǒng)智能化管理

傳統(tǒng)系統(tǒng)監(jiān)控的訪問方式為告警，但是隨著信息化管理系統(tǒng)和設備的日趨完善，管理對象超過閾值的告警越來越少，如何實現(xiàn)信息化管理價值的最大化是擺在信息化管理管理主管面前的最大課題。北塔公司結合用戶信息化管理實際情況，發(fā)現(xiàn)信息化管理價值最大化的方式有如下方面：

通過事前隱患智能分析，主動排除、即時通知，將故障發(fā)生概率降到最低。

對于部分故障實現(xiàn)自動化分析和處置，縮短故障處置周期，避免損失擴大化。

為落實每個信息化管理主管的對于自身企業(yè)的個性化管理要求，BTSO平臺適時推出了智能信息化管理，為用戶落實如上訴求，提供針對性的管理功能。

3、智能運維管理

BTSO核心管理方式就是智能化管理，智能化的理論基礎是北塔十幾年的信息化管理經驗和幾千家用戶的管理實踐，為把這些管理方案推送到用戶現(xiàn)場，BTSO提供了智能信息化管理模板。

智維模板按照管理等級，預置了不同管理對象的管理方案，方案包含如下技術點：

內置監(jiān)測方案，包含采集指標的多寡、具體指標的采集周期和監(jiān)測閾值，便于對系統(tǒng)相關數(shù)據(jù)進行自行巡檢。

提供預置告警規(guī)則供用戶進行選擇，用戶可以根據(jù)業(yè)務管理實踐啟用相應的告警管理規(guī)則。

提供常見管理報表，并生成高級別對象的管理報表。

通過上述智維模板，軟件無需復雜配置，安裝完成后就能對資源進行基礎信息化管理。

四、實施效果

1、運維智能分析

BTSO自動對管理對象進行數(shù)據(jù)收集，用戶進行數(shù)據(jù)對比分析，系統(tǒng)也提供智維分析的周統(tǒng)計，智能的挖掘系統(tǒng)的問題隱患。

提供本周系統(tǒng)運行概要信息：

目前管理的總數(shù)量。

本周運維巡檢次數(shù)。

本周執(zhí)行智能診斷次數(shù)。

本周生成的報表數(shù)量。

提供各個管理類型的運維巡檢情況：

本周運行健康趨勢，如果問題增多則需要關注。

提供為什么問題增多的具體表現(xiàn)。

包含本周巡檢問題最多的指標，以及問題最多的設備。

包含本周巡檢問題最多的設備，以及這個設備的問題指標。

提供各類重要類型的上周高低負載的數(shù)量，以便客戶了解整體性能概況。

提供在告警處置上的效能評估，告警數(shù)量的變化以及平均解決時長的增長。

提供對于本周運行數(shù)據(jù)的分析判斷，便于用戶定位問題：

提供線路吞吐量的環(huán)比變化，幫助用戶定位業(yè)務環(huán)比最大的線路。

提供Windows主機吞吐量的變化，幫助用戶定位業(yè)務環(huán)比最大的主機。

提供主機磁盤增長Top，列出各個分區(qū)的增長情況，并預期可用時長，幫助用戶進行定位需要調整控件的具體設備。

2、智能管理

對于工程師日常監(jiān)控工作，故障管理是突發(fā)情況，而關鍵業(yè)務、指標的監(jiān)控是常態(tài)管理要求，為了滿足工程師對于重點應用質保的監(jiān)控要求，系統(tǒng)提供了自定義首頁功能，該功能提供基于角色的個性展示功能，用戶可以自行選擇不同管理重點指標以及展現(xiàn)方式，以便完成一圖完成所有重點監(jiān)控。軟件界面如圖1所示。

系統(tǒng)至少提供TOP表格、TOP柱狀圖、性能曲線圖和單值圖等多種展示方式，支持對于所有數(shù)值型數(shù)據(jù)的統(tǒng)一排序、歷史記錄展示，系統(tǒng)界面如圖2所示。

結合日常管理需求?？梢陨晒乔Ь€路監(jiān)控總圖、關鍵應用監(jiān)控視圖等。系統(tǒng)為展示要求提供數(shù)據(jù)支撐，能為自定義布局提供技術支撐，管理展現(xiàn)提供數(shù)據(jù)支撐。除了所以采集范圍內的指標外，也應該支持通過Sql、Ssh或Snmp等方式擴展業(yè)務指標的顯示。

系統(tǒng)應該提供基于一個角色同時查看和配置多張視圖的能力，每張視圖可以新窗口打開，為用戶日常監(jiān)控展示提供便利性。

3、直觀明了的網絡管理

BTSO自動根據(jù)北塔特有的拓撲生成算法，快速搜索整個網絡內的網絡設備，智能分析網絡拓撲結構，自動勾畫出整個網絡的真實物理拓撲圖，真實反映整個網絡的構成狀況。除拓撲生成之外，BTSO還支持拓撲添加功能，在保留原有拓撲圖的基礎上，搜索新的網絡設備，并自動添加到網絡拓撲圖上。

網絡拓撲圖可從全局的角度出發(fā)，幫助信息化管理管理人員實時了解整個網絡當前的運行狀況，網絡架構是否合理、有無網絡瓶頸和設備和流量有無異常等，動態(tài)可能的故障隱患，達到透明化、事前管理目的。

為了同時滿足不同用戶間的個性化需求，BTS0提供了靈活的拓撲圖復制功能，可為不同用戶提供單獨的展現(xiàn)頁面。用戶可以根據(jù)自己的偏好設置自己的個性化拓撲圖，且不同的用戶之間沒有任何影響，拓撲圖如圖3所示。

可以通過紅、黃或綠等不同顏色表示網絡設備和線路負載壓力的評估狀況，并可以調整設備和線路的變色閾值。

可以通過不同顏色的告警圖標，顯示各個網絡設備的告警觸發(fā)情況。

可以為拓撲圖上的每臺設備、每條線路設置中文名稱，添加注釋，方便進行管理。

提供背景圖的更換設置功能，可自由選擇精美的圖片作為拓撲圖的背景。

4、直觀展示主機系統(tǒng)關聯(lián)關系的系統(tǒng)拓撲

系統(tǒng)拓撲以主機為核心，展現(xiàn)了所有承載的數(shù)據(jù)庫和中間件、標準應用之間的實時狀態(tài)監(jiān)控，為主機監(jiān)控提供全景視圖，且系統(tǒng)自動生成并智能布局，無需人工調整。

為使系統(tǒng)拓撲清晰的展現(xiàn)，BTSO提供了不同顏色的網段顯示方式，不同主機按照其操作類型圖標，顯示從主機出發(fā)關聯(lián)數(shù)據(jù)庫與主機的關系。

如圖4所示，系統(tǒng)通過不同的顏色區(qū)分管理對象的實時性能層級，BTSO提供了主機經典性能指標，并以紅、黃和藍代表其主機實時性能，提供根據(jù)業(yè)務需要性能負載調整設置功能，提供主機關鐘性能指標的實時顯示。

系統(tǒng)以閃爍的圖標重點提醒用戶該資源發(fā)生了告警;同時以彈出框顯示告警的具體對象信息。

系統(tǒng)提供自定義拓撲方式，可通過對不同業(yè)務拓撲主機的自定義歸類，實現(xiàn)單獨業(yè)務的聚焦關注。

拓撲圖不僅反映單個設備的狀態(tài)，同時提供關聯(lián)數(shù)據(jù)排行，為問題定位增加信息參考：

提供以故障作為評價方式的綜合評分，方便用戶整體了解系統(tǒng)的整體運行健康情況。

提供主機CPU實時TOPN排行，分析主機性能最高的設備，便于用戶重點監(jiān)控。

提供主機連續(xù)運行時間TOPN，分析主機異常開關系統(tǒng)的變化。

提供數(shù)據(jù)庫會話數(shù)TOPN，分析數(shù)據(jù)庫實時運行狀態(tài)。

系統(tǒng)提供主機一體化顯示，按照不同的操作系統(tǒng)進行數(shù)據(jù)分類，系統(tǒng)提供基礎信息、運行信息、進程管理、事件與告警和硬件信息等各類管理信息。

以關聯(lián)方式顯示主機上的承載數(shù)據(jù)庫、中間件和標準應用的實時狀態(tài)。

圖形化列出重點監(jiān)控的硬件、日志、CPU性能和磁盤信息的實時信息。

對于CPU性能、網卡等重要參數(shù)的最近3天數(shù)據(jù)分析。

支持主機進程的實時展示分析。

5、透明化、智能化和統(tǒng)一化的存儲管理

基于北塔的管理平臺，以空間、硬件和性能三個方面為管理指標，為用戶提供透明化、智能化和統(tǒng)一化管理，提高存儲運維管理效率;系統(tǒng)支持磁盤陣列、光纖交換機的管理，支持SAN/NAS等各種部署方式。

硬件狀態(tài)管理作為基礎管理部分，以統(tǒng)一的視圖展現(xiàn)被管的各個硬件子項的運行詳情，視窗界面如圖5所示，清晰展現(xiàn)各個管理設備的各類型管理狀態(tài)，并以顏色顯著標示出現(xiàn)問題的硬件類型;涉及到磁盤陣列的電源、電池、風扇、溫度、磁盤和控制器等各個關鍵硬件信息。