一種基于Python的動(dòng)環(huán)告警大數(shù)據(jù)資源稽核方法

張冬梅 徐東鏹

摘? 要：通信機(jī)房?jī)?nèi)動(dòng)力環(huán)境設(shè)備日常告警數(shù)據(jù)中的一些關(guān)鍵信息可以用來(lái)與綜合資源管理系統(tǒng)數(shù)據(jù)進(jìn)行對(duì)比、稽核。文章通過(guò)優(yōu)化動(dòng)環(huán)設(shè)備資源編碼規(guī)則，基于Python開(kāi)發(fā)動(dòng)環(huán)告警大數(shù)據(jù)分析工具，實(shí)現(xiàn)了動(dòng)環(huán)告警數(shù)據(jù)與綜合資源管理系統(tǒng)數(shù)據(jù)的準(zhǔn)確關(guān)聯(lián)與稽核，從而形成閉環(huán)管理，提升了動(dòng)環(huán)資源數(shù)據(jù)準(zhǔn)確性，節(jié)約了人工成本，提高了運(yùn)維效率。

關(guān)鍵詞：動(dòng)環(huán)告警;Python;大數(shù)據(jù);數(shù)據(jù)稽核

中圖分類(lèi)號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）22-0034-04

Abstract： Some key information in the daily alarm data of power environment equipments in the communication room can be used to compare and audit with the data of the integrated resource management system. By optimizing the coding rules of power environment equipment resources and developing the power environment equipment alarm big data analysis tool based on Python， this paper realizes the accurate correlation and auditing between power environment equipment alarm data and integrated resource management system data， so as to form a closed-loop management， improve the accuracy of power environment resource data， save labor cost and improve operation and maintenance efficiency.

Keywords： power environment equipment alarm; Python; big data; data auditing

0? 引? 言

近年來(lái)，通信運(yùn)營(yíng)商因動(dòng)力環(huán)境（以下簡(jiǎn)稱(chēng)動(dòng)環(huán)）設(shè)備故障引發(fā)的通信網(wǎng)絡(luò)業(yè)務(wù)中斷風(fēng)險(xiǎn)日益增多，并引起重視，尤其是在高溫、雷雨、冰凍雨雪等災(zāi)害性天氣下對(duì)通信重要業(yè)務(wù)的電源保障能力直接決定了一個(gè)通信運(yùn)營(yíng)商的通信服務(wù)能力，而完好、準(zhǔn)確的動(dòng)環(huán)監(jiān)控在故障通知和處理中起著非常重要的作用，其中，動(dòng)環(huán)資源中的所屬機(jī)房、所屬區(qū)縣、設(shè)備類(lèi)型等資源信息的準(zhǔn)確性對(duì)動(dòng)環(huán)監(jiān)控中的故障派單起著關(guān)鍵性作用，因此動(dòng)環(huán)設(shè)備原始告警數(shù)據(jù)中含有準(zhǔn)確的、可用的設(shè)備資源信息，可以用來(lái)進(jìn)行二次的數(shù)據(jù)開(kāi)發(fā)挖掘利用，可作為稽核綜合資源管理系統(tǒng)資源準(zhǔn)確性的數(shù)據(jù)來(lái)源。

1? 動(dòng)環(huán)告警處理基本原理和流程

1.1? FSU監(jiān)控單元基本原理

在現(xiàn)有的電信運(yùn)營(yíng)商的通信機(jī)房中，常見(jiàn)的動(dòng)環(huán)設(shè)備類(lèi)型有變壓器、變換設(shè)備、高壓配電、低壓交流配電、發(fā)電機(jī)組、開(kāi)關(guān)電源、低壓直流配電、UPS設(shè)備、蓄電池、空調(diào)、節(jié)能設(shè)備、動(dòng)環(huán)監(jiān)控、智能電表和其他設(shè)備，而每種設(shè)備類(lèi)型都有很多不同的設(shè)備子類(lèi)。通過(guò)安裝動(dòng)環(huán)監(jiān)控設(shè)備，現(xiàn)場(chǎng)設(shè)備的告警就可以通過(guò)FSU（Field Supervision Unit，現(xiàn)場(chǎng)監(jiān)控單元）設(shè)備，以SDH、PTN等傳輸承載方式傳送到LSC（Local Supervision Center，區(qū)域監(jiān)控中心）和CSC（Central Supervision Center中央監(jiān)控中心），一般情況下，縣市區(qū)域中心設(shè)置LSC，省級(jí)區(qū)域中心設(shè)置CSC。這樣，從FSU，LSC到CSC就組成了一套動(dòng)環(huán)監(jiān)控系統(tǒng)，它能對(duì)通信機(jī)房的動(dòng)力設(shè)備及環(huán)境進(jìn)行遙測(cè)、遙信、遙控和遙調(diào)，實(shí)時(shí)監(jiān)視其運(yùn)行參數(shù)，監(jiān)測(cè)和處理故障，記錄和處理相關(guān)數(shù)據(jù)，從而實(shí)現(xiàn)通信機(jī)房少人或無(wú)人值守和集中維護(hù)。

FSU硬件的設(shè)計(jì)應(yīng)遵循結(jié)構(gòu)化、規(guī)范化、模塊化、集成化的方式實(shí)現(xiàn)，以提高系統(tǒng)的可靠性、可維修性和維護(hù)保障性。

1.2? 動(dòng)環(huán)告警監(jiān)控流程

FSU采集到動(dòng)環(huán)設(shè)備告警信息后，通過(guò)定義的A/B接口傳送至LSC、CSC，最后由CSC進(jìn)行封裝成標(biāo)準(zhǔn)化告警后傳給集中故障系統(tǒng)，集中故障系統(tǒng)根據(jù)告警中的設(shè)備ID和綜合資源管理系統(tǒng)數(shù)據(jù)進(jìn)行關(guān)聯(lián)，將告警信息關(guān)聯(lián)到綜合資源管理系統(tǒng)的站點(diǎn)、機(jī)房、區(qū)縣等信息，從而實(shí)現(xiàn)告警的派單，及時(shí)通知?jiǎng)恿S護(hù)人員進(jìn)行故障處理。除此之外，還可進(jìn)行容量管理，動(dòng)環(huán)拓?fù)涔芾淼裙δ?，具體如圖1所示。

2? 主要的技術(shù)手段及軟件設(shè)計(jì)

2.1? 提出一種新的動(dòng)環(huán)資源編碼方法

現(xiàn)有的綜合資源管理系統(tǒng)動(dòng)環(huán)資源編碼方法由機(jī)房編碼+設(shè)備類(lèi)型編碼+序號(hào)組成，這種編碼能較快地關(guān)聯(lián)出通信機(jī)房資源信息，實(shí)現(xiàn)動(dòng)力設(shè)備告警的快速定位，但缺點(diǎn)是如果機(jī)房名稱(chēng)或者其他信息發(fā)生了變化，機(jī)房編碼就會(huì)改變，這樣動(dòng)環(huán)編碼就會(huì)失效，無(wú)法實(shí)現(xiàn)資源關(guān)聯(lián)。通過(guò)研究告警報(bào)文發(fā)現(xiàn)，告警中含有FSU_ID和DEVICE_ID這2個(gè)字段，而且是不改變的，但DEVICE_ID是存在重復(fù)的，進(jìn)一步分析得知，同一個(gè)FSU下的動(dòng)環(huán)設(shè)備DEVICE_ID不會(huì)重復(fù)，根據(jù)此結(jié)論，重新制定編碼規(guī)則，以通過(guò)FSU_ID+DeviceID和LSC_ID+DeviceID作為綜合資管系統(tǒng)、集中故障監(jiān)控系統(tǒng)，動(dòng)環(huán)運(yùn)維系統(tǒng)間關(guān)聯(lián)的唯一編碼，這樣就避免了因機(jī)房資源變化引起編碼變化，從而造成各種系統(tǒng)間數(shù)據(jù)無(wú)法匹配的情況，動(dòng)環(huán)告警信息流如表1所示。

2.2? 軟件設(shè)計(jì)

基于上述優(yōu)化后的動(dòng)環(huán)編碼方法，集中故障系統(tǒng)和綜合資源管理系統(tǒng)就可以通過(guò)該編碼的唯一性特點(diǎn)進(jìn)行一對(duì)一準(zhǔn)確關(guān)聯(lián)。由于Python語(yǔ)言中Numpy和Pandas數(shù)據(jù)科學(xué)包對(duì)數(shù)據(jù)分析和處理有獨(dú)特優(yōu)勢(shì)，因此，可以通過(guò)編寫(xiě)Python軟件程序來(lái)進(jìn)行數(shù)據(jù)處理和數(shù)據(jù)稽核。該程序主要分為數(shù)據(jù)讀取模塊、數(shù)據(jù)清洗模塊，數(shù)據(jù)提取模塊，數(shù)據(jù)整合模塊和數(shù)據(jù)輸出模塊，通過(guò)對(duì)告警大數(shù)據(jù)的清洗、整理和分析，利用Pandas的字符串方法提取動(dòng)環(huán)告警大數(shù)據(jù)中設(shè)備編碼、設(shè)備類(lèi)型等關(guān)鍵信息，利用編碼匹配方法與綜合資管數(shù)據(jù)進(jìn)行核對(duì)校驗(yàn)，對(duì)匹配不一致的數(shù)據(jù)派發(fā)異常編碼工單，運(yùn)維人員登陸綜合資源管理系統(tǒng)進(jìn)行數(shù)據(jù)核對(duì)和修改后，實(shí)現(xiàn)閉環(huán)管理。

2.3? 技術(shù)特點(diǎn)

2.3.1? 數(shù)據(jù)向量化

向量化數(shù)據(jù)處理特征，利用多維數(shù)組方法提升內(nèi)存運(yùn)行效率，節(jié)約計(jì)算資源。

2.3.2? 快速部署

基于Python開(kāi)發(fā)語(yǔ)言實(shí)現(xiàn)，Python是一種開(kāi)源、可移植的、面向?qū)ο蟮慕忉屝愿呒?jí)開(kāi)發(fā)語(yǔ)言，擁有功能強(qiáng)大的內(nèi)置和第三方庫(kù)，既可以開(kāi)發(fā)小工具，也可以開(kāi)發(fā)企業(yè)級(jí)應(yīng)用，同時(shí)利用Docker云原生技術(shù)，可以快速部署Linux服務(wù)器上或網(wǎng)絡(luò)云上。

2.3.3? 編碼統(tǒng)一性

優(yōu)化現(xiàn)有動(dòng)環(huán)編碼方法，以FSU_ID+設(shè)備ID和LSC_ID+設(shè)備ID作為綜合資管系統(tǒng)、集中故障監(jiān)控系統(tǒng)，動(dòng)環(huán)運(yùn)維系統(tǒng)間唯一編碼，該編碼具有不可變、唯一性的特點(diǎn)，適用于系統(tǒng)間數(shù)據(jù)關(guān)聯(lián)。

2.3.4? 數(shù)據(jù)接口豐富

pandas的數(shù)據(jù)IO讀寫(xiě)接口非常豐富，可支持HTML、HDF5、JSON、SQL、SPAA、SASS、Stata、CSV、Excel等常見(jiàn)文件格式，可以通過(guò)reader和writer功能模塊實(shí)現(xiàn)數(shù)據(jù)文件的讀寫(xiě)。

2.4? 軟件基礎(chǔ)環(huán)境配置

基礎(chǔ)環(huán)境概述：操作系統(tǒng)OS版本為Ubuntu 20.04，Python版本為3.8.5，編譯器為Visual StudioCode，版本為1.63.2，安裝Python和Pandas最簡(jiǎn)單的方法是通過(guò)Anaconda或者是MiniAnaconda進(jìn)行安裝，推薦使用MiniAnaconda安裝，節(jié)省安裝空間。Anaconda發(fā)行版是一個(gè)用于數(shù)據(jù)分析和科學(xué)計(jì)算的跨平臺(tái)發(fā)行版，這是推薦大多數(shù)用戶(hù)安裝方法。

首先，在Ubuntu Linux中創(chuàng)建虛擬環(huán)境Python38，命令為conda create -n python38 python=3.8.5，創(chuàng)建完成后使用命令conda info --env查看創(chuàng)建的虛擬環(huán)境，conda環(huán)境就像一個(gè)virtualenv，允許指定特定版本的Python和一組Python庫(kù)。已安裝好的虛擬環(huán)境如圖3所示。

其次，創(chuàng)建好虛擬環(huán)境后，使用命令conda activate python38進(jìn)行虛擬環(huán)境激活，這樣可以避免不同安裝包之間的沖突。

最后，使用conda命令安裝Numpy，Pandas包，具體命令為conda install pandas，conda install numpy，本機(jī)安裝的Pandas版本為1.2.2，numpy版本為1.19.2，如果使用pip安裝命令，則為pip install pandas，pip install numpy，安裝包列表如圖4所示。

為確保Pandas安裝成功和相關(guān)硬件和軟件的運(yùn)行正常，可以利用test方法來(lái)進(jìn)行安裝后的測(cè)試，pd.test（）是Pandas的一套詳盡的單元測(cè)試，涵蓋了97%的代碼庫(kù)，安裝成功測(cè)試如圖5所示。

其他依賴(lài)包安裝推薦

numexpr：用于加速某些數(shù)值運(yùn)算。numexpr使用多核以及智能分塊和緩存來(lái)實(shí)現(xiàn)大幅加速。建議2.7.0或更高版本。

bottleneck：用于加速某些類(lèi)型的nan評(píng)估。bottleneck使用專(zhuān)門(mén)的Cython例程來(lái)實(shí)現(xiàn)大幅加速。建議1.2.1 或更高版本。

2.5? 代碼編寫(xiě)

本軟件基于Visual StudioCode編譯器開(kāi)發(fā)，軟件版本為最新的1.63.2，代碼編寫(xiě)完成后，可以點(diǎn)擊在終端中運(yùn)行Python文件運(yùn)行程序，為防止在讀取文件時(shí)候發(fā)生讀取IO異常，可以在程序中加入try? except來(lái)捕獲異常，避免程序崩潰，同時(shí)，在分析告警文件中發(fā)現(xiàn)很多分隔符不規(guī)范的問(wèn)題，可以read_csv功能中加入on_bad_lines = “skip”來(lái)解決。運(yùn)行結(jié)果如圖6所示。

3? 應(yīng)用情況

通過(guò)開(kāi)發(fā)動(dòng)環(huán)告警大數(shù)據(jù)分析程序，每月可開(kāi)展集中故障系統(tǒng)動(dòng)環(huán)告警大數(shù)據(jù)和綜合網(wǎng)絡(luò)資源管理系統(tǒng)的數(shù)據(jù)進(jìn)行對(duì)比分析，最后輸出設(shè)備類(lèi)型不一致數(shù)據(jù)，同時(shí)，針對(duì)設(shè)備類(lèi)型不一致數(shù)據(jù)，則由集中故障系統(tǒng)觸發(fā)電子運(yùn)維系統(tǒng)（EOMS）資源勘誤工單，如圖7所示。運(yùn)維人員在收到工單后，在綜合網(wǎng)絡(luò)資源管理系統(tǒng)側(cè)發(fā)起動(dòng)環(huán)資源調(diào)整流程，對(duì)異常編碼進(jìn)行資源修改，調(diào)整完成后，系統(tǒng)再次進(jìn)行比對(duì)，直至完全一致，完結(jié)工單，最后形成資源調(diào)整的閉環(huán)管理方式，這樣就可以不斷提升動(dòng)環(huán)資源中設(shè)備類(lèi)型和設(shè)備編碼字段的準(zhǔn)確性，這樣就解決了通信網(wǎng)絡(luò)資源管理中數(shù)據(jù)稽核方法的難題，實(shí)現(xiàn)了人工稽核轉(zhuǎn)為系統(tǒng)自動(dòng)稽核，提升了運(yùn)維工作效率，從而有針對(duì)性的提高網(wǎng)絡(luò)資源數(shù)據(jù)的準(zhǔn)確性。根據(jù)統(tǒng)計(jì)，自2021年5月至2021年11月間，該工具在中國(guó)移動(dòng)重慶公司開(kāi)展應(yīng)用以來(lái)，已累計(jì)處理分析動(dòng)環(huán)告警大數(shù)據(jù)超過(guò)1.7億條，累計(jì)處理數(shù)據(jù)10.7 GB，動(dòng)環(huán)告警數(shù)據(jù)與網(wǎng)絡(luò)資源數(shù)據(jù)的關(guān)聯(lián)匹配率達(dá)到99.5%以上，動(dòng)環(huán)資源設(shè)備類(lèi)型字段的準(zhǔn)確率達(dá)到99.57%，動(dòng)環(huán)告警監(jiān)控準(zhǔn)確率由之前的92%提升至99.5%以上，改善效果明顯。

4? 結(jié)? 論

動(dòng)環(huán)設(shè)備與其他通信設(shè)備相比具有種類(lèi)多，其共可分為約26大類(lèi)設(shè)備，83子類(lèi)設(shè)備，同時(shí)動(dòng)環(huán)數(shù)據(jù)采集設(shè)備FSU設(shè)備的廠家品牌較多，動(dòng)環(huán)運(yùn)維系統(tǒng)不能對(duì)全部動(dòng)環(huán)設(shè)備實(shí)時(shí)進(jìn)行信息采集，這就造成動(dòng)環(huán)運(yùn)維系統(tǒng)上的設(shè)備類(lèi)型存在人工錄入，不能保證100%準(zhǔn)確，而FSU進(jìn)行數(shù)據(jù)配置時(shí)必須按照集團(tuán)動(dòng)環(huán)告警標(biāo)準(zhǔn)化規(guī)范進(jìn)行配置，簡(jiǎn)言之，就是告警信息中所攜帶的設(shè)備類(lèi)型是最準(zhǔn)確的。由于設(shè)備類(lèi)型的準(zhǔn)確性在故障監(jiān)控和告警處理中具有重要作用，目前集中故障監(jiān)控根據(jù)《中國(guó)移動(dòng)動(dòng)環(huán)標(biāo)準(zhǔn)化字典表》進(jìn)行標(biāo)準(zhǔn)化后，形成規(guī)范的設(shè)備類(lèi)型和告警信息，再與資管數(shù)據(jù)中的動(dòng)環(huán)資源所屬機(jī)房字段進(jìn)行匹配，定位故障發(fā)生的機(jī)房、設(shè)備類(lèi)型和名稱(chēng)，通知維護(hù)人員及時(shí)處理和故障發(fā)布。但在日常資源管理工作中，動(dòng)環(huán)資源的設(shè)備類(lèi)型、設(shè)備子類(lèi)的字段的準(zhǔn)確性缺乏系統(tǒng)稽核的手段，往往只能采取現(xiàn)場(chǎng)檢查、核實(shí)的方式進(jìn)行，往往費(fèi)時(shí)費(fèi)力，效果提升不好。

本文通過(guò)研究動(dòng)環(huán)告警編碼方法，對(duì)現(xiàn)有動(dòng)環(huán)編碼進(jìn)行了優(yōu)化，通過(guò)對(duì)通信網(wǎng)絡(luò)動(dòng)環(huán)設(shè)備告警大數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和提取關(guān)鍵信息，實(shí)現(xiàn)了對(duì)綜合資源管理系統(tǒng)動(dòng)環(huán)資源數(shù)據(jù)的稽核，提高了資源數(shù)據(jù)準(zhǔn)確性。開(kāi)發(fā)了基于Python的動(dòng)環(huán)告警大數(shù)據(jù)分析工具，可定期實(shí)現(xiàn)對(duì)集中故障和綜合資源管理系統(tǒng)兩個(gè)系統(tǒng)的告警數(shù)據(jù)和資源數(shù)據(jù)進(jìn)行對(duì)比稽核，提升了系統(tǒng)間關(guān)聯(lián)數(shù)據(jù)的準(zhǔn)確性，進(jìn)而提升了動(dòng)環(huán)資源管理水平，有力支撐了動(dòng)環(huán)告警監(jiān)控工作，有利于縮短因停電造成的動(dòng)環(huán)設(shè)備故障歷時(shí)，同時(shí)，節(jié)約了人工運(yùn)維和開(kāi)發(fā)成本，提高了運(yùn)維效率。

參考文獻(xiàn)：

[1] 余輝雄.面向大數(shù)據(jù)分析下配網(wǎng)主動(dòng)式運(yùn)維分析 [J].通信電源技術(shù)，2019，36（12）：119-120.

[2] 李棟.大數(shù)據(jù)分析在網(wǎng)絡(luò)監(jiān)控中的實(shí)現(xiàn)與應(yīng)用 [J].通信管理與技術(shù)，2020（4）：44-46.

[3] 任帥.動(dòng)環(huán)集中運(yùn)維管理平臺(tái)應(yīng)用探析 [J].通信電源技術(shù)，2020，37（3）：64-67.

[4] 張帆.數(shù)據(jù)分析在科學(xué)統(tǒng)籌通信運(yùn)營(yíng)商動(dòng)力運(yùn)維成本中的應(yīng)用研究 [J].信息與電腦（理論版），2018（17）：153-154+157.

[5] 孔令誠(chéng).接入網(wǎng)機(jī)房動(dòng)環(huán)監(jiān)控自動(dòng)派單的分析與實(shí)現(xiàn) [J].中國(guó)新通信，2018，20（2）：87-88.

作者簡(jiǎn)介：張冬梅（19xx—），女，漢族，重慶人，副教授，碩士研究生，研究方向：電子信息技術(shù)。