基于數(shù)據(jù)挖掘的網(wǎng)管告警處理方法研究

許劭慶+馬彪+安海英

摘 要：為了方便電力行業(yè)網(wǎng)管人員能夠快速的從這些告警中找到有用信息，迅速的定位設(shè)備故障。本文設(shè)計(jì)了由接口告警采集、故障處理系統(tǒng)、告警相關(guān)性分析模塊等構(gòu)成處理框架。采用過(guò)濾告警、補(bǔ)全缺值數(shù)據(jù)、去重等方式進(jìn)行數(shù)據(jù)預(yù)處理。通過(guò)告警發(fā)現(xiàn)和相關(guān)性分析機(jī)制實(shí)現(xiàn)告警的匹配和識(shí)別，利用基于關(guān)聯(lián)規(guī)則的方法對(duì)告警信息挖掘。采用本文設(shè)計(jì)的方法，能夠有效的實(shí)現(xiàn)網(wǎng)管系統(tǒng)的告警信息的挖掘分析，提高網(wǎng)管的效率。

關(guān)鍵詞：數(shù)據(jù)挖掘；告警信息；關(guān)聯(lián)規(guī)則

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A

1 引言（Introduction）

隨著信息技術(shù)的發(fā)展，越來(lái)越多的行業(yè)采用計(jì)算機(jī)技術(shù)來(lái)實(shí)現(xiàn)管理的自動(dòng)化和智能化。電力企業(yè)也不例外，為了實(shí)現(xiàn)對(duì)供電線路和設(shè)備的管理，建立了自己的監(jiān)控網(wǎng)絡(luò)，進(jìn)一步提高自己的運(yùn)維保障能力。但隨著監(jiān)控網(wǎng)絡(luò)的不斷擴(kuò)大，網(wǎng)絡(luò)結(jié)構(gòu)越來(lái)越復(fù)雜，很多的網(wǎng)絡(luò)技術(shù)慢慢的走向了融合，這導(dǎo)致了網(wǎng)絡(luò)發(fā)生故障的突然性越來(lái)越高，這些因素交融在一塊，致使網(wǎng)絡(luò)的維護(hù)、管理、操作變得越來(lái)越困難[1-3]。因此，目前的當(dāng)務(wù)之急是找尋一種更加自動(dòng)智能化、綜合化的網(wǎng)絡(luò)管理辦法。當(dāng)一個(gè)運(yùn)維支撐網(wǎng)絡(luò)產(chǎn)生問(wèn)題或故障發(fā)生時(shí)，就會(huì)導(dǎo)致大量的告警產(chǎn)生，根據(jù)這些告警信息，就可以方便的分析設(shè)備的問(wèn)題和故障，能夠成功的解決網(wǎng)絡(luò)運(yùn)維管理中的各類問(wèn)題。

本文利用這些告警信息，提出了基于數(shù)據(jù)挖掘的網(wǎng)管告警處理方法，該處理方法是在對(duì)比和研究了告警相關(guān)性分析理論以及技術(shù)之后才提出的。規(guī)則引擎可以利用其中已有的規(guī)則來(lái)動(dòng)態(tài)的實(shí)時(shí)分析告警信息，規(guī)則引擎中保存的規(guī)則是在分析那些數(shù)據(jù)庫(kù)中的告警信息并自學(xué)習(xí)之后才獲取到的，告警轉(zhuǎn)故障和根告警的分析就是通過(guò)對(duì)比這些規(guī)則來(lái)實(shí)現(xiàn)的，從而可以為系統(tǒng)故障智能化管理提供一系列的解決方案。不管是從理論研究還是實(shí)際工程研究應(yīng)用方面都有著很強(qiáng)的意義和價(jià)值[4]。

2 告警處理總體設(shè)計(jì)（General design of alarming

treatment）

告警信息處理涉及告警數(shù)據(jù)的采集、分析、過(guò)濾等方面工作。一個(gè)完整的電力行業(yè)網(wǎng)絡(luò)監(jiān)控的告警處理由網(wǎng)管子系統(tǒng)、接口告警采集、JMS消息通信、故障處理系統(tǒng)、告警相關(guān)性分析、規(guī)則專家管理模塊和GUI界面等構(gòu)成，具體的結(jié)構(gòu)如圖1所示。

圖1 告警信息處理系統(tǒng)結(jié)構(gòu)

Fig.1 Structure of alarm information processing system

其中，接口層告警采集完成對(duì)網(wǎng)管子系統(tǒng)（如銳捷傳輸系統(tǒng)、華為傳輸系統(tǒng)、動(dòng)力環(huán)境系統(tǒng)）的告警數(shù)據(jù)采集，接口層會(huì)根據(jù)不同的網(wǎng)絡(luò)硬件設(shè)備，設(shè)計(jì)出多種不同的網(wǎng)絡(luò)接口，從而實(shí)現(xiàn)對(duì)不同設(shè)備告警信息的采集；告警信息采集完畢后由告警預(yù)處理模塊對(duì)告警數(shù)據(jù)的進(jìn)行預(yù)處理；告警信息處理完畢后通過(guò)JMS消息傳送到數(shù)據(jù)庫(kù)中；告警相關(guān)性分析模塊會(huì)根據(jù)數(shù)據(jù)庫(kù)中的告警數(shù)據(jù)結(jié)合規(guī)則專家系統(tǒng)，確定告警的類型，并交由故障處理系統(tǒng)進(jìn)行處理。所有信息處理完畢后，用戶可以從GUI界面看到告警的狀態(tài)、處理的過(guò)程、故障的定性和解決方案，從而實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)設(shè)備告警的全面管理。

3 網(wǎng)絡(luò)告警數(shù)據(jù)預(yù)處理（Alarm data pretreatment）

通過(guò)對(duì)接口層采集的告警數(shù)據(jù)觀察分析后發(fā)現(xiàn)，有些告警只持續(xù)短短幾秒鐘，有些告警的關(guān)鍵字段缺失，有些告警重復(fù)多次出現(xiàn)，有些屬性冗余等。這些數(shù)據(jù)會(huì)影響數(shù)據(jù)挖掘的準(zhǔn)確度和效率，因此為了將原始數(shù)據(jù)轉(zhuǎn)換成便于挖掘的形式，通常會(huì)對(duì)這些告警信息進(jìn)行預(yù)處理，預(yù)處理的過(guò)程通常會(huì)包括過(guò)濾瞬斷告警、過(guò)濾噪聲、補(bǔ)全缺值數(shù)據(jù)、去除重復(fù)記錄、完成數(shù)據(jù)類型轉(zhuǎn)換等操作[5，6]。具體的內(nèi)容為：

（1）過(guò)濾瞬斷告警：瞬斷告警是指那些歷時(shí)比較短的告警，瞬斷告警本身沒(méi)有價(jià)值，所以不需要進(jìn)行分析，要過(guò)濾掉。

（2）過(guò)濾噪聲：告警庫(kù)中那些無(wú)法識(shí)別或者缺失關(guān)鍵字段的告警數(shù)據(jù)，是無(wú)用的“噪音”數(shù)據(jù)，故此也要將其過(guò)濾掉，比如缺失時(shí)間或者告警名稱的信息等。

（3）補(bǔ)全不完整數(shù)據(jù)：告警庫(kù)中存在一些不完整但能根據(jù)告警信息的不同字段或者其他的信息來(lái)對(duì)缺失的信息進(jìn)行推導(dǎo)，進(jìn)而補(bǔ)全的信息，比如可以通過(guò)電路的路由信息來(lái)推導(dǎo)告警的網(wǎng)元信息等。

（4）去除重復(fù)記錄：將在小段時(shí)間內(nèi)產(chǎn)生的重復(fù)告警合并成一條告警，消除對(duì)冗余數(shù)據(jù)的分析。合并后告警的產(chǎn)生時(shí)間為最先發(fā)生的重復(fù)告警的開(kāi)始時(shí)間。

（5）數(shù)據(jù)轉(zhuǎn)換：數(shù)據(jù)轉(zhuǎn)換是為了方便數(shù)據(jù)挖掘，減少數(shù)據(jù)維度，從告警庫(kù)中的原始告警信息中抽取與數(shù)據(jù)挖掘相關(guān)的屬性如告警的產(chǎn)生時(shí)間、告警的名稱等。

經(jīng)過(guò)這五步的預(yù)處理后，告警信息會(huì)被整理成一條獨(dú)立完整的告警信息，告警信息基本形式詳細(xì)信息如表1所示。

4 告警規(guī)則發(fā)現(xiàn)與相關(guān)性分析（Rule discovery and

correlation analysis of alarm）

4.1 告警規(guī)則發(fā)現(xiàn)

告警規(guī)則發(fā)現(xiàn)是告警處理系統(tǒng)中的核心模塊，具有不可替代的作用。告警規(guī)則發(fā)現(xiàn)模塊實(shí)現(xiàn)著告警事件的匹配、過(guò)濾等工作，負(fù)責(zé)告警事件的識(shí)別、發(fā)現(xiàn)和挖掘等多項(xiàng)任務(wù)，規(guī)則發(fā)現(xiàn)功能的框架如圖2所示。

規(guī)則發(fā)現(xiàn)功能是一個(gè)相對(duì)獨(dú)立的模塊。從流程框架圖不難發(fā)現(xiàn)，規(guī)則發(fā)現(xiàn)功能總體的流程處理為規(guī)則發(fā)現(xiàn)功能模塊首先對(duì)數(shù)據(jù)庫(kù)中的告警數(shù)據(jù)進(jìn)行預(yù)處理操作，即對(duì)其作加權(quán)和時(shí)間跨度的劃分，然后從預(yù)處理后的數(shù)據(jù)中篩選可以滿足最小支持度的頻繁項(xiàng)目集，接著再?gòu)倪@些篩選得到的項(xiàng)目集的最大頻繁項(xiàng)目集里篩選，找出可以滿足最小可信度的規(guī)則，最后，再把這些挖掘出的規(guī)則保存在數(shù)據(jù)庫(kù)中。前臺(tái)不僅可以根據(jù)需求為規(guī)則引擎添加其所需大量必要的規(guī)則支持到規(guī)則引擎的規(guī)則庫(kù)中，方便規(guī)則引擎系統(tǒng)對(duì)告警數(shù)據(jù)的相關(guān)分析；同時(shí)，還可以通過(guò)規(guī)則庫(kù)管理來(lái)對(duì)挖掘出的規(guī)則進(jìn)一步的篩選及增刪改操作。該功能需要大量的開(kāi)銷，因?yàn)樵摴δ艿膶?shí)現(xiàn)需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行多次的掃描和處理。

4.2 告警相關(guān)性分析

告警產(chǎn)生的原因及告警之間的內(nèi)在關(guān)聯(lián)是由告警相關(guān)性分析負(fù)責(zé)分析。如圖3所示，即為告警相關(guān)性分析的內(nèi)部處理流程。圖3給出了基于規(guī)則引擎的相關(guān)性分析系統(tǒng)處理上報(bào)實(shí)時(shí)告警的情況。需要特別說(shuō)明的是，如果有必要告警數(shù)據(jù)是可以轉(zhuǎn)化為故障信息，并進(jìn)入故障處理系統(tǒng)進(jìn)行故障處理的[7]。

綜合網(wǎng)絡(luò)管理系統(tǒng)的告警相關(guān)性分析模塊是由規(guī)則發(fā)現(xiàn)功能和相關(guān)性分析處理功能組成的。在整個(gè)系統(tǒng)中，告警轉(zhuǎn)故障后進(jìn)入的故障處理系統(tǒng)即工單處理系統(tǒng)和配置數(shù)據(jù)的接口網(wǎng)關(guān)或接口上傳告警均與告警相關(guān)性分析模塊有著直接的相關(guān)。其中，故障的維修及相關(guān)性信息的填寫就是在工單處理系統(tǒng)中完成的。填寫完成之后，再將故障處理的詳情回寫數(shù)據(jù)庫(kù)，從而一點(diǎn)點(diǎn)的建立故障維修專家?guī)臁?/p>

5 告警規(guī)則挖掘方法（Mining method of alarm rule）

本文將關(guān)聯(lián)規(guī)則算法應(yīng)用在了告警數(shù)據(jù)挖掘方面，算法的主要目的是為了挖掘出告警數(shù)據(jù)中的關(guān)聯(lián)規(guī)則。

根據(jù)告警原因、告警所屬網(wǎng)元、告警級(jí)別等因素作為比較對(duì)象來(lái)劃分算法中用到的告警分類集[8]。

設(shè)第k種告警可用來(lái)表示，則各種告警的分類集合為；設(shè)告警分類集中第k種告警對(duì)應(yīng)的權(quán)值用來(lái)表示，則告所有種類的告警對(duì)應(yīng)的權(quán)值集合為；告警集是告警數(shù)據(jù)被時(shí)間跨度interval將按時(shí)間順序劃分形成的；的每個(gè)元素，

滿足最小支持度且中每個(gè)元素是由中個(gè)不同的告警組成，故稱為項(xiàng)告警頻繁項(xiàng)目集；中的元素之間存在的告警規(guī)則形如，且 ， 。

挖掘告警數(shù)據(jù)關(guān)聯(lián)規(guī)則的算法步驟如下：

（1）首先將預(yù)處理后的告警數(shù)據(jù)用時(shí)間跨度interval按時(shí)間順序劃分為多個(gè)告警集，并去除告警集中的那些重復(fù)告警類。

（2）在按照時(shí)間順序劃分好的告警集中，尋找1-項(xiàng)告警頻繁項(xiàng)目集。

（3）在劃分好的所有告警集合中，以項(xiàng)告警頻繁項(xiàng)目集為基礎(chǔ)，尋找第項(xiàng)告警頻繁項(xiàng)目集，直到得到 為空集為止。

（4）合并告警頻繁項(xiàng)目集，。

（5）遍歷告警頻繁項(xiàng)目集的集合L中的每一個(gè)元素，計(jì)算并在每個(gè)元素中尋找滿足最小置信度的告警關(guān)聯(lián)規(guī)則的元素，如此循環(huán)遍歷，直到遍歷完L中的所有元素為止。

（6）最后，將那些滿足要求被篩選出來(lái)的告警關(guān)聯(lián)規(guī)則放入待處理的規(guī)則庫(kù)里。

關(guān)聯(lián)規(guī)則挖掘算法的流程圖如圖4所示。

上面給出了應(yīng)用于挖掘綜合網(wǎng)絡(luò)管理系統(tǒng)的告警數(shù)據(jù)的關(guān)聯(lián)規(guī)則模塊的關(guān)聯(lián)規(guī)則挖掘算法，該算法是經(jīng)過(guò)了加權(quán)和時(shí)間約束處理的。算法模型的建立使規(guī)則發(fā)現(xiàn)系統(tǒng)的實(shí)現(xiàn)成為可能。

6 結(jié)論（Conclusion）

本文設(shè)計(jì)了由網(wǎng)管子系統(tǒng)、接口告警采集、JMS消息通信、故障處理系統(tǒng)、告警相關(guān)性分析、規(guī)則專家管理模塊及GUI界面等構(gòu)成的網(wǎng)管告警處理框架。采用過(guò)濾瞬斷告警、過(guò)濾噪聲、補(bǔ)全缺值數(shù)據(jù)、去除重復(fù)記錄等方式進(jìn)行數(shù)據(jù)預(yù)處理。通過(guò)告警發(fā)現(xiàn)和相關(guān)性分析機(jī)制對(duì)實(shí)現(xiàn)告警的匹配和識(shí)別，利用基于關(guān)聯(lián)規(guī)則的方法對(duì)告警信息挖掘。實(shí)踐證明，本文提出的處理方法能夠有效的實(shí)現(xiàn)網(wǎng)管系統(tǒng)的告警信息的

挖掘分析，定位設(shè)備的故障原因，提高網(wǎng)管的效率。

參考文獻(xiàn)（References）

[1] RygielskiP，KounevS.Network Virtualization for QoS-Aware Resource Management in Cloud Data Centers：A Survey[J].Praxisder Informations Verarbeitung und Kommunikation，2013，36（1）：55-64.

[2] Jain R，Paul S.Network Virtualization and Software Defined Networking for Cloud Computing：a Survey[J].Communications Magazine，IEEE，2013，51（11）：24-31.

[3] YUE Zheng-Kun，et al.The Study of Algorithms for Multi-VMs Bandwidth Guarantee in Data Centers[C].2013 3rd International Conference on Computer Science and Network Technology，2013：767-771.

[4] 李德仁，張良培，夏桂松.遙感大數(shù)據(jù)自動(dòng)分析與數(shù)據(jù)挖掘[J].測(cè)繪學(xué)報(bào)，2014，43（12）：1211-1216.

[5] 丁兆云，賈焰，周斌.微博數(shù)據(jù)挖掘研究綜述[J].計(jì)算機(jī)研究與發(fā)展，2014，51（4）：691-706.

[6] 黃斌，許舒人，蒲衛(wèi).基于MapReduce的數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2013，34（2）：495-501.

[7] 朱姣姣，葉猛.多模式匹配及其改進(jìn)算法在協(xié)議識(shí)別中的應(yīng)用[J].電視技術(shù)，2012，36（7）：60-62.

[8] Chen C，et al.Providing Scalable Database Services on the Cloud[C].The 11th Int'l Conf. on Web Information Systems Engineering（WISE），Xiamen 2010.

[9] 陳占芳，等.基于OA系統(tǒng)的即時(shí)通訊平臺(tái)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，5（04）：125-129.

作者簡(jiǎn)介：

許劭慶（1974-），男，本科，高級(jí)工程師.研究領(lǐng)域：軟件開(kāi)發(fā).

馬 彪（1962-），男，本科，高級(jí)工程師.研究領(lǐng)域：計(jì)算機(jī)網(wǎng)絡(luò).

安英海（1976-），男，本科，高級(jí)工程師.研究領(lǐng)域：軟件開(kāi)發(fā).