電力行業(yè)信息系統(tǒng)自動(dòng)化運(yùn)維工具的應(yīng)用

商可易，岳崇毅，徐 航，李明達(dá)，丁雪松，梁 靜

(國家電網(wǎng)黑龍江省電力有限公司信息通信公司，哈爾濱 150001)

0 引 言

現(xiàn)階段電力行業(yè)網(wǎng)絡(luò)與信息系統(tǒng)運(yùn)維多采取手動(dòng)模式進(jìn)行，存在重復(fù)工作量大，無法保證規(guī)范性及準(zhǔn)確性等問題[1-2]。利用腳本將信息運(yùn)維工作中的常用、重復(fù)操作進(jìn)行打包后自動(dòng)化執(zhí)行，可以使運(yùn)維工作效率、準(zhǔn)確率提高，并減輕運(yùn)維人員批量操作的工作量[3]。電力行業(yè)中信息系統(tǒng)的自動(dòng)化運(yùn)維可推動(dòng)信息通信新技術(shù)與電力業(yè)務(wù)融合創(chuàng)新應(yīng)用、新成果新技術(shù)的發(fā)展，打造能源互聯(lián)新形態(tài)，有力支撐公司智慧物聯(lián)體系建設(shè)。

自動(dòng)化運(yùn)維的一個(gè)綜合應(yīng)用是自動(dòng)化檢修，該應(yīng)用將傳統(tǒng)手動(dòng)進(jìn)行的分設(shè)備、分步驟檢修操作優(yōu)化為預(yù)先編排檢修操作并按時(shí)自動(dòng)批量執(zhí)行，大幅提高檢修操作效率和準(zhǔn)確率、降低系統(tǒng)不可用時(shí)長(zhǎng)[4]。

1 信息系統(tǒng)自動(dòng)化運(yùn)維體系綜述

自動(dòng)化運(yùn)維體系建設(shè)工作遵循國家電網(wǎng)公司技術(shù)支撐體系總體設(shè)計(jì)、功能規(guī)范和接口標(biāo)準(zhǔn)開展；依據(jù)“運(yùn)維自動(dòng)化三年發(fā)展規(guī)劃”，部署落實(shí)網(wǎng)絡(luò)安全與信息支撐系統(tǒng)自動(dòng)化運(yùn)維工具建設(shè)工作。自動(dòng)化運(yùn)維建設(shè)是從運(yùn)維實(shí)際需要出發(fā)開展的自主研發(fā)工作，基于“多場(chǎng)景微工具應(yīng)用”，運(yùn)維工作的自動(dòng)化是以腳本為主要工具，快速、精準(zhǔn)解決運(yùn)維問題。開發(fā)團(tuán)隊(duì)、運(yùn)維團(tuán)隊(duì)全員參與自動(dòng)化運(yùn)維各工具的建設(shè)，推進(jìn)建運(yùn)一體化DevOps融合，提升自主運(yùn)維水平[5-6]。

2 自動(dòng)化運(yùn)維工具體系架構(gòu)

自動(dòng)化運(yùn)維以統(tǒng)一Agent為基礎(chǔ)，將其部署于各類網(wǎng)絡(luò)信息設(shè)備，控制底層服務(wù)器、數(shù)據(jù)庫、中間件等各類運(yùn)維對(duì)象，并開展?fàn)顟B(tài)監(jiān)控、運(yùn)行數(shù)據(jù)采集等工作；通過微工具管理模塊實(shí)現(xiàn)對(duì)微工具的入庫、下發(fā)執(zhí)行、執(zhí)行結(jié)果反饋整理等功能；以統(tǒng)一Agent和微工具為支撐，通過資源配置中心，面向各種運(yùn)維場(chǎng)景建設(shè)自動(dòng)化部署、磁盤預(yù)警分析、自動(dòng)化巡檢、標(biāo)準(zhǔn)化檢查等一系列微應(yīng)用[7]。自動(dòng)化運(yùn)維體系架構(gòu)如圖1所示。

圖1 自動(dòng)化運(yùn)維體系架構(gòu)Fig.1 Framework of automated operation and maintenance system

2.1 統(tǒng)一Agent

統(tǒng)一Agent是實(shí)現(xiàn)自動(dòng)化運(yùn)維的基礎(chǔ)組件，統(tǒng)一Agent是基于服務(wù)器的代理Agent，主要包括監(jiān)控指標(biāo)的采集、命令或腳本工具的執(zhí)行、周圍環(huán)境新設(shè)備的發(fā)現(xiàn)等功能，是自動(dòng)化運(yùn)維工作的最基礎(chǔ)保障；采用無端口設(shè)計(jì)，避免了服務(wù)上的端口沖突問題，并防止通過Agent端口入侵主機(jī)；采用“一收多發(fā)”機(jī)制，對(duì)指標(biāo)的一次采集可向多個(gè)系統(tǒng)提供，降低了服務(wù)器的壓力和資源的消耗，降低對(duì)業(yè)務(wù)系統(tǒng)的影響；統(tǒng)一Agent對(duì)內(nèi)部開源，保證采集數(shù)據(jù)的可信可靠。對(duì)交換機(jī)、防火墻等不能安裝Agent的網(wǎng)絡(luò)設(shè)備，可通過SSH、SNMP、RS485等通信協(xié)議對(duì)其進(jìn)行管理控制，實(shí)現(xiàn)了對(duì)基礎(chǔ)環(huán)境設(shè)備的橫向擴(kuò)展。

統(tǒng)一Agent目前已通過中國電科院全面測(cè)試，包括：功能測(cè)試、代碼安全測(cè)試、性能測(cè)試和滲透測(cè)試，并在所有生產(chǎn)環(huán)境服務(wù)器(包括物理服務(wù)器和虛擬機(jī))上全面部署運(yùn)行，實(shí)現(xiàn)對(duì)主機(jī)的狀態(tài)采集、操作代理、遠(yuǎn)程配置推送、熱升級(jí)等功能。

統(tǒng)一Agent的應(yīng)用，使故障的監(jiān)控告警時(shí)間從原來的5min縮短為1min，在資源足夠的情況下，可縮短到1s，實(shí)現(xiàn)實(shí)時(shí)故障告警。

目前已部署的Agent具備主機(jī)基本信息、主機(jī)運(yùn)行狀態(tài)、Oracle、Weblogic運(yùn)行狀態(tài)等300余項(xiàng)指標(biāo)的采集能力，已基本滿足為自動(dòng)化監(jiān)控、自動(dòng)化部署、自動(dòng)化配置以及自動(dòng)化資源調(diào)控等自動(dòng)化運(yùn)維需求。后續(xù)指標(biāo)采集數(shù)量可隨工作需要持續(xù)增加，逐步實(shí)現(xiàn)為各中心對(duì)運(yùn)維對(duì)象的數(shù)據(jù)請(qǐng)求、控制請(qǐng)求提供唯一、合法的代理，使各中心、各工具能夠安全、有序的對(duì)運(yùn)維對(duì)象進(jìn)行管理。

統(tǒng)一Agent目前總共接入設(shè)備1283個(gè)，執(zhí)行命令8千余萬次，采集指標(biāo)400億余次，日消息處理量90萬條，日均工具執(zhí)行數(shù)70次，截至目前運(yùn)行正常。統(tǒng)一Agent同時(shí)進(jìn)行了功能的橫向擴(kuò)展，基于不同的采集協(xié)議進(jìn)行Docker封裝，實(shí)現(xiàn)針對(duì)不能安裝統(tǒng)一Agent的網(wǎng)絡(luò)設(shè)備進(jìn)行管理，1個(gè)Docker容器負(fù)責(zé)1個(gè)運(yùn)維對(duì)象，獨(dú)立工作互不影響。

2.2 資源配置中心

資源配置中心是對(duì)所有自動(dòng)化運(yùn)維對(duì)象進(jìn)行配置管理的微應(yīng)用，其使用數(shù)據(jù)動(dòng)態(tài)建模技術(shù)對(duì)包括服務(wù)器、交換機(jī)、路由器、安全設(shè)備、終端設(shè)備、操作系統(tǒng)、業(yè)務(wù)系統(tǒng)、中間件、數(shù)據(jù)庫、機(jī)房、機(jī)柜等運(yùn)維對(duì)象類型進(jìn)行信息與配置的納管、更新，以及運(yùn)維對(duì)象之間的相互關(guān)系，運(yùn)維人員可根據(jù)實(shí)際的工作情況，隨時(shí)可新增運(yùn)維對(duì)象的配置項(xiàng)，通過修改采集腳本工具完成配置項(xiàng)的自我采集與更新，而且資源配置中心能夠發(fā)現(xiàn)配置項(xiàng)與實(shí)際運(yùn)行環(huán)境中的參數(shù)不符的情況，交由運(yùn)維人員進(jìn)行確認(rèn)并更新資源配置中心或者是實(shí)際的運(yùn)維環(huán)境。資源配置中心的目的是為自動(dòng)化運(yùn)維提供準(zhǔn)確的基礎(chǔ)數(shù)據(jù)，保證自動(dòng)化運(yùn)維工具的準(zhǔn)確執(zhí)行。目前已在生產(chǎn)環(huán)境上部署，運(yùn)行穩(wěn)定無異常。

資源配置中心根據(jù)動(dòng)態(tài)建模的方式實(shí)現(xiàn)了對(duì)運(yùn)維對(duì)象類別、屬性的自定義，滿足對(duì)快速發(fā)展的軟、硬件資源的及時(shí)響應(yīng)和運(yùn)維人員對(duì)配置屬性的工作需求[8-9]。目前已完成運(yùn)維對(duì)象類型37個(gè)，屬性模型315個(gè)，屬性值140余萬條，共發(fā)現(xiàn)屬性沖突1.6萬條，

2.3 微工具應(yīng)用

微工具應(yīng)用是基于統(tǒng)一Agent的腳本工具執(zhí)行微應(yīng)用，是微工具的集中運(yùn)行、集中存儲(chǔ)、集中管理平臺(tái)，包括工具的注冊(cè)、審批、授權(quán)、執(zhí)行、查詢統(tǒng)計(jì)等功能，運(yùn)維人員可上傳、編輯腳本工具，授權(quán)通過后可同時(shí)批量在多臺(tái)服務(wù)器上同步執(zhí)行，解決了手動(dòng)逐一登錄服務(wù)器上執(zhí)行腳本的重復(fù)性工作，極大地提高了日常運(yùn)維工作的效率。微工具應(yīng)用會(huì)保存所有微工具，實(shí)現(xiàn)工具的分享與傳承，而且能夠?qū)λ泄ぞ哌M(jìn)行統(tǒng)計(jì)分析，促使運(yùn)維人員不斷的優(yōu)化、完善微工具，逐步提高微工具的準(zhǔn)確性和穩(wěn)定性，為自動(dòng)化運(yùn)維工作的落地打下良好基礎(chǔ)。目前已在生產(chǎn)環(huán)境上部署，運(yùn)行穩(wěn)定無異常。

微工具應(yīng)用是運(yùn)維人員開發(fā)工具、分享工具、授權(quán)工具、執(zhí)行工具、瀏覽工具的工作控制臺(tái)，它完善了人員、腳本、工具三個(gè)維度的授權(quán)，優(yōu)化了操作頁面。目前已有腳本工具100余項(xiàng)，執(zhí)行次數(shù)總計(jì)1.8萬余次。微工具應(yīng)用可提高手動(dòng)運(yùn)維質(zhì)量、促進(jìn)自動(dòng)化運(yùn)維落地。該應(yīng)用各項(xiàng)新功能將持續(xù)開發(fā)完善。

2.4 自動(dòng)化運(yùn)維工具集

微工具是以腳本為主，包括插件、微服務(wù)等多種形式的運(yùn)維工具，實(shí)現(xiàn)采集、監(jiān)控、部署、配置管理、診斷分析等各種運(yùn)維功能[10-11]。

在微工具建設(shè)方面，根據(jù)國網(wǎng)信通部運(yùn)維自動(dòng)化三年推進(jìn)計(jì)劃，開發(fā)Linux、Weblogic、Oracle等運(yùn)維對(duì)象的配置采集管理、服務(wù)器性能分析、風(fēng)險(xiǎn)分析等11個(gè)類別共60余項(xiàng)腳本工具，并隨工作需要持續(xù)增加。通過微工具應(yīng)用，能夠快速實(shí)現(xiàn)腳本工具在多個(gè)服務(wù)器上批量執(zhí)行，對(duì)腳本采集結(jié)果進(jìn)行自動(dòng)匯總分析，極大提高了運(yùn)維工作效率，是自動(dòng)化運(yùn)維建設(shè)的加速器和啟動(dòng)機(jī)。

整合多個(gè)微工具的采集、運(yùn)行數(shù)據(jù)后，開發(fā)人機(jī)界面，形成便于運(yùn)維人員操作的自動(dòng)化運(yùn)維微應(yīng)用，包括：中間件風(fēng)險(xiǎn)分析、Agent管理、虛擬機(jī)資源分析、標(biāo)準(zhǔn)化工藝檢查、進(jìn)程白名單、Ceph監(jiān)控等自動(dòng)化運(yùn)維微應(yīng)用，這些應(yīng)用基于統(tǒng)一Agent及資源配置中心，借助自動(dòng)化測(cè)試微應(yīng)用實(shí)現(xiàn)。

2.4.1 自動(dòng)化測(cè)試微應(yīng)用

自動(dòng)化測(cè)試微應(yīng)用是將在運(yùn)系統(tǒng)生產(chǎn)環(huán)境中間件、數(shù)據(jù)庫服務(wù)器的配置、服務(wù)等自動(dòng)抽取到測(cè)試環(huán)境中，或搭建與生產(chǎn)系統(tǒng)環(huán)境接近1:1狀態(tài)的測(cè)試環(huán)境，通過“場(chǎng)景+工具”模式實(shí)現(xiàn)信息系統(tǒng)自動(dòng)化測(cè)試，為微工具在生產(chǎn)環(huán)境安全、穩(wěn)定運(yùn)行提供保障；按角色權(quán)限分配測(cè)試環(huán)境，提供各自獨(dú)立空間；與生產(chǎn)環(huán)境通過IP圍欄進(jìn)行隔離；保障生產(chǎn)環(huán)境；可重復(fù)銷毀與恢復(fù)，用后釋放資源，實(shí)現(xiàn)復(fù)用。目前該應(yīng)用已投入使用，支撐腳本微工具的自動(dòng)化檢查、調(diào)試、跟蹤以及自動(dòng)化檢修工作。

2.4.2 自動(dòng)化檢修微應(yīng)用

自動(dòng)化檢修微應(yīng)用是運(yùn)維人員根據(jù)檢修方案編排檢修步驟與腳本，包括文件的上傳、下載、校驗(yàn)、創(chuàng)建、修改、刪除、備份、解壓等功能，基于自動(dòng)化測(cè)試搭建的測(cè)試環(huán)境進(jìn)行測(cè)試，驗(yàn)證無問題后待檢修窗口定時(shí)進(jìn)行預(yù)先編排好的自動(dòng)化檢修過程，并將關(guān)鍵節(jié)點(diǎn)及檢修結(jié)果通過即時(shí)通訊及短信及時(shí)報(bào)送相關(guān)人員，幫助運(yùn)維人員更準(zhǔn)確、快速的完成檢修工作，進(jìn)一步提高業(yè)務(wù)系統(tǒng)的無故障時(shí)長(zhǎng)。目前已經(jīng)完成了開發(fā)工作，并于2019年7月9日完成了S6000(網(wǎng)絡(luò)與信息安全風(fēng)險(xiǎn)監(jiān)控預(yù)警平臺(tái))系統(tǒng)的自動(dòng)化檢修工作。

3 自動(dòng)化檢修應(yīng)用實(shí)現(xiàn)

3.1 自動(dòng)化檢修簡(jiǎn)述

運(yùn)維人員可于正常工作時(shí)段進(jìn)行自動(dòng)化檢修的預(yù)編排工作：首先將檢修目標(biāo)信息系統(tǒng)的操作系統(tǒng)、中間件、數(shù)據(jù)庫等基礎(chǔ)環(huán)境以及應(yīng)用服務(wù)及數(shù)據(jù)的快照鏡像進(jìn)行自動(dòng)抽取，或在測(cè)試環(huán)境云虛擬機(jī)中按1∶1比例進(jìn)行搭建，為各項(xiàng)檢修操作提供與真實(shí)情況相同的測(cè)試環(huán)境；在專用的測(cè)試環(huán)境中對(duì)檢修具體步驟指令進(jìn)行細(xì)致的編排，按步驟填入自動(dòng)化檢修應(yīng)用界面；點(diǎn)擊右上角測(cè)試執(zhí)行即在測(cè)試環(huán)境執(zhí)行所有檢修步驟，根據(jù)反饋運(yùn)行狀態(tài)進(jìn)行進(jìn)一步的調(diào)試，出現(xiàn)問題可及時(shí)回退和恢復(fù)測(cè)試環(huán)境，不會(huì)對(duì)真實(shí)生產(chǎn)環(huán)境造成影響。測(cè)試通過確認(rèn)無誤后，運(yùn)維人員可根據(jù)實(shí)際情況預(yù)設(shè)檢修窗口時(shí)段在生產(chǎn)系統(tǒng)自動(dòng)執(zhí)行檢修操作或手動(dòng)進(jìn)行分步操作。自動(dòng)化檢修應(yīng)用界面如圖2所示。

圖2 自動(dòng)化檢修應(yīng)用交互界面Fig.2 Interactive interface of automated maintenance application

3.2 自動(dòng)化檢修流程

自動(dòng)化檢修設(shè)計(jì)流程如下：

首先，將常見檢修操作步驟，包括文件的上傳、下載、校驗(yàn)、創(chuàng)建、修改、刪除、備份、解壓等功能，利用自動(dòng)化運(yùn)維腳本工具打包封裝，供自動(dòng)化檢修應(yīng)用編排執(zhí)行隨時(shí)調(diào)用；

其次，搭建自動(dòng)化檢修測(cè)試環(huán)境，測(cè)試環(huán)境的建立分為兩種方式：第一種是按照真實(shí)生產(chǎn)環(huán)境1∶1進(jìn)行自動(dòng)抽取，將生產(chǎn)環(huán)境主機(jī)上的系統(tǒng)或數(shù)據(jù)庫等文件依靠中間主機(jī)復(fù)制到實(shí)驗(yàn)環(huán)境主機(jī)，兩種環(huán)境網(wǎng)絡(luò)隔離，故可在實(shí)驗(yàn)環(huán)境中完全模擬生產(chǎn)環(huán)境IP地址而無需修改配置文件，直接執(zhí)行啟動(dòng)腳本實(shí)現(xiàn)從生產(chǎn)環(huán)境到實(shí)驗(yàn)環(huán)境的自動(dòng)抽取工作；第二種是在測(cè)試環(huán)境中按1∶1比例進(jìn)行搭建，將云上運(yùn)行的主機(jī)進(jìn)行快照備份后的鏡像文件導(dǎo)入測(cè)試環(huán)境云內(nèi)并啟動(dòng)運(yùn)行，或提前配置搭建步驟，上傳搭建所需文件，編排步驟并執(zhí)行即可自動(dòng)搭建實(shí)驗(yàn)環(huán)境。

再次，通過人機(jī)交互界面，根據(jù)下發(fā)或自主安排的檢修方案，按詳細(xì)步驟編排檢修腳本，并在自動(dòng)化測(cè)試環(huán)境按步驟執(zhí)行，進(jìn)行測(cè)試驗(yàn)證，且可重復(fù)回退修改。

最后，按檢修窗口定時(shí)在生產(chǎn)環(huán)境執(zhí)行編排好的自動(dòng)化檢修操作腳本，并實(shí)時(shí)反饋每步執(zhí)行結(jié)果給相關(guān)運(yùn)維人員，確保檢修過程順利完成。

自動(dòng)化檢修流程如下圖3所示。

圖3 自動(dòng)化檢修流程圖Fig.3 Flow chart of automated maintenance

3.3 自動(dòng)化運(yùn)維實(shí)施成效

S6000系統(tǒng)的自動(dòng)化檢修工作，將傳統(tǒng)手段用時(shí)約120 min的停運(yùn)檢修操作縮短為15 min，節(jié)省了檢修時(shí)間約105 min，檢修時(shí)長(zhǎng)降低87.5%。S6000系統(tǒng)可用率提高到99.96%。

自動(dòng)化檢修提高了工作效率，減少了系統(tǒng)停運(yùn)時(shí)長(zhǎng)，大幅提高了S6000系統(tǒng)的可用率。如圖4、圖5所示。

圖4 自動(dòng)化檢修與傳統(tǒng)檢修時(shí)長(zhǎng)對(duì)比圖Fig.4 Comparison of operation time with and without automated maintenance

圖5 采用自動(dòng)化檢修前后S6000系統(tǒng)可用率對(duì)比圖Fig.5 Comparison of S6000 system availability ratio before and after automated maintenance

4 結(jié) 語

自動(dòng)化運(yùn)維工具建設(shè)下一步計(jì)劃，繼續(xù)加大自動(dòng)化運(yùn)維與生產(chǎn)相結(jié)合，提高系統(tǒng)自動(dòng)化運(yùn)維比率，即進(jìn)一步加大自動(dòng)化運(yùn)維的覆蓋度，加強(qiáng)與實(shí)際生產(chǎn)工作，尤其是安全防護(hù)工作的結(jié)合，從項(xiàng)目建設(shè)初期對(duì)其運(yùn)行環(huán)境進(jìn)行管控，保證相應(yīng)自動(dòng)化工具齊備；通過建轉(zhuǎn)運(yùn)標(biāo)準(zhǔn)化檢查生成指標(biāo)及檢查報(bào)告，解決人為手工檢查的耗時(shí)耗力、重復(fù)工作量大的問題。在系統(tǒng)運(yùn)行期間，通過各類工具進(jìn)行自動(dòng)化巡檢、監(jiān)控，自動(dòng)化檢修、自愈等工作，進(jìn)一步降低運(yùn)維人員工作壓力，提高運(yùn)維操作效率和精度，將自動(dòng)化運(yùn)維技術(shù)覆蓋到項(xiàng)目全周期生產(chǎn)工作的每一個(gè)環(huán)節(jié)中，保證系統(tǒng)的穩(wěn)定運(yùn)行。

資源配置中心模型與數(shù)據(jù)臺(tái)賬梳理工作也將持續(xù)推進(jìn)，按照設(shè)備類型逐步完成對(duì)設(shè)備臺(tái)賬及服務(wù)配置的梳理工作。微工具應(yīng)用中的運(yùn)維腳本將繼續(xù)完善，逐步實(shí)現(xiàn)日常運(yùn)維工作的全覆蓋。統(tǒng)一Agent的功能將持續(xù)優(yōu)化，不斷擴(kuò)展統(tǒng)一Agent管理與控制的覆蓋范圍。