數(shù)據(jù)挖掘在綜合網管告警相關性中的研究與應用

摘 ?要： 隨著社會經濟的不斷進步，我國的電信事業(yè)得到了很大的發(fā)展，對電信網進行綜合化的管理以及讓電信網的管理變得更加智能化，也是目前電信網網絡管理系統(tǒng)主要發(fā)展的方向。綜合性的網絡管理系統(tǒng)的目標就是能夠集中監(jiān)控多個子網，但是由于目前電信網絡的規(guī)模逐漸變大且結構也相對比較復雜，在同一時間產生的一些告警信息具有多類型、數(shù)量龐大等的特點，要想對告告警的根源進行分析和定位是非常困難的事情，而有效利用好數(shù)據(jù)挖掘技術能夠進一步解決綜合網管告警當中存在的問題，讓網絡的運行更加流暢，質量不斷提高。因此本文主要研究了數(shù)據(jù)挖掘在綜合網管告警相關性及其應用，希望能夠提供一定的參考價值。

關鍵詞：?數(shù)據(jù)挖掘;綜合管網告警

中圖分類號：?TP391. 41????文獻標識碼：?A????DOI：10.3969/j.issn.1003-6970.2019.09.031

本文著錄格式：曹素娥. 數(shù)據(jù)挖掘在綜合網管告警相關性中的研究與應用[J]. 軟件，2019，40（9）：135-138

Research and Application of Data Mining in Alarm Relevance of Integrated Network Management

CAO Su-e

（school of Computer and Network Engineering， Shanxi Datong University， Shanxi Datong，?037009）

【Abstract】：?With the continuous progress of social economy， China's telecommunications industry has been greatly developed. Integrated management of telecommunications network and making the management of telecommuni cations network more intelligent are also the main development direction of telecommunications network manage ement system. The goal of a comprehensive network management system is to be able to centrally monitor multiple subnetworks. However， as the scale of the telecommunication network is becoming larger and the structure is rela tively complex， some alarm information generated at the same time has the characteristics of many types and large quantities. It is very difficult to analyze and locate the origin of the alarm， and to make good use of the data. Mining technology can further solve the problems existing in the integrated network management alarm， make the network run more smoothly and improve the quality continuously. Therefore， this paper mainly studies the corr elation and application of data mining in integrated network management alarm， hoping to provide some reference value.

【Key words】：?Data mining; Integrated pipeline network warning

0??引言

社會經濟在不斷發(fā)展的過程當中，通信業(yè)務的需求也在不斷擴大，導致網絡規(guī)模也呈現(xiàn)擴大的趨勢，增強了網絡規(guī)模的復雜性和帶寬需求量，所以對網絡進行綜合化、自動化以及智能化的管理是目前發(fā)展的主要趨勢，相關研究人員必須要認識到綜合網絡管理系統(tǒng)的重要性，并對其進行深入的研究，讓其能夠將信息進行收集、傳輸、儲存、維護、運

營等功能集為一體，將網絡資源最大限度利用起來，從而讓網絡的運行質量和效率不斷提高，也進一步價格低網絡管理和控制的成本，讓網絡維護的手段呈現(xiàn)多樣化發(fā)展，促進我國網絡的進一步發(fā)展。

1??告警相關性以及數(shù)據(jù)挖掘的綜合概述

1.1告警相關性的綜合概述

告警相關性^[1]主要表示兩個或兩個以上的告警實體之間相互聯(lián)系、相互出現(xiàn)的情況，其相關性的結果一般有兩個：第一時增加了信息的語義內容，第二是縮減了獨立單元的總數(shù)。所以告警相關性是對網絡中出現(xiàn)的多個告警的解釋和分析，將一個熟練縮減后的的告警的語義信息內容提高的一種聯(lián)系。

告警主要是在綜合網絡管理的區(qū)域內被定義的故障產生異常功能的原因，而故障是產生告警的主要因素，在特定事件發(fā)生的過程當中，被管制的對象發(fā)出的一個通報就是告警，在系統(tǒng)當中，發(fā)出的告警信息就表示其發(fā)生了一些異?；蚰承﹩栴}，告警指示對可能有故障發(fā)生進行表示，但是并不一定真正有故障發(fā)生，告警事件^[2]主要包括被管制的對象異常狀態(tài)下的信息。一般是故障的征兆、告警產生的時間等，但是告警并不會將網絡故障的問題根源確切的位置信息明顯顯示出來，所以這就需要通過對網絡產生的告警進行分析，從而對故障產生的原因進行判斷。告警主要包含時間不同步、重復、閃斷、擴散等的特點，其中時間不同步主要是由于在大型或者異構的通訊網絡當中，并沒有一個統(tǒng)一的網絡時間，導致告警事件發(fā)生時，會存在一定的時間誤差，所以會讓告警事件的分析以及解決面臨比較大的困難;重復告警主要是多個網絡部件檢測到了單獨一個告警，但是每一個都把告警事件發(fā)送導致告警信息出現(xiàn)重復的現(xiàn)象;閃斷告警主要是當網絡業(yè)務量不斷增加的過程中，出現(xiàn)了網絡阻塞，或者是電腦的硬件處理能力較差，導致網絡管理的系統(tǒng)沒有處于正常狀態(tài)下，其處理器就會產生波動負荷，導致網絡管理系統(tǒng)與設備管理系統(tǒng)在進行通信的過程當中出現(xiàn)超時的錯誤，從而導致閃電告警出現(xiàn)。根據(jù)以上告警的特點對告警信息進行處理，過濾掉告警數(shù)據(jù)，將告警的一些冗余數(shù)據(jù)消除，可以在一定程度讓告警數(shù)據(jù)的處理更具針對性和專業(yè)性，也讓告警的相關性分析效率有效提高。

1.2數(shù)據(jù)挖掘的綜合概述

隨著計算機網絡技術的不斷進步，數(shù)據(jù)挖掘機技術的出現(xiàn)是必然趨勢，它的出現(xiàn)一開始就是與應用相關。由于現(xiàn)在各個行業(yè)當中進行業(yè)務操作的發(fā)展方向都是流程自動化發(fā)展，企業(yè)在經營的過程當中產生的業(yè)務數(shù)據(jù)非常大量，所以企業(yè)在發(fā)展的過程當中積極應用數(shù)據(jù)挖掘能夠讓數(shù)據(jù)分析變得更加高層次和高效。目前在很多領域當中，都有效應用了數(shù)據(jù)挖掘，比如銀行、保險、電信等商業(yè)領域，盡管它在這些領域當中都將其技術優(yōu)勢有效展現(xiàn)出來，但是在綜合館網絡管理的應用當中，由于沒有比較成熟的經驗，所以其應用還不完善。在電信當中，應用數(shù)據(jù)挖掘能夠幫助電信企業(yè)制定出更加合理的收費和服務的標準，防止出現(xiàn)費用欺詐等情況;在信息安全當中應用數(shù)據(jù)挖掘，這是因為在網上日益增多的儲存處理的敏感問題，出現(xiàn)了許多安全問題，所以人們希望能有軟件進行自動的審計數(shù)據(jù)，并對數(shù)據(jù)進行更深層次的分析，從中挑篩選出有用的信息，數(shù)據(jù)挖掘能夠判斷和與安全相關的一些特征，從而及時阻止一些未知入侵行為的出現(xiàn)。

2??數(shù)據(jù)挖掘在綜合網管告警相關性中的研究

2.1改進設計綜合管網中的算法

在綜合網管系統(tǒng)當中，使用關聯(lián)規(guī)則挖掘算法處理的對象主要是告警的數(shù)據(jù)，所以就需要對層次分析法和序列模式進行了解，在綜合網絡管理當中告警數(shù)據(jù)怎樣進行關聯(lián)規(guī)則性的挖掘是面臨的主要問題。告警數(shù)據(jù)的屬性^[3-4]有對象、ID、原因、級別等，其中告警的級別更是將告警的輕重程度直觀展現(xiàn)出來。在告警網元的度數(shù)表當中其基本的屬性也包括網元的ID、名稱、拓撲的度數(shù)等，由于使用層次分析法可以了解到當屬性的維數(shù)較高，則會在降低其效率，所以可以區(qū)按照度數(shù)區(qū)間劃分出網元拓撲，這樣就可以避免出現(xiàn)因為維度較高而出現(xiàn)的效率較低的問題，其中綜合網絡管理中局部網元之間存在的拓撲關系如下圖1所示。

由以上的關系圖當中可以看出，在整個網絡當中的關聯(lián)強度是每個網元當中的連接線數(shù)表明的，在綜合網絡管理系統(tǒng)當中網元的數(shù)量非常多，并且網元不同，其拓撲度數(shù)也不相同，因此為了讓應用層次分析法能夠方便計算，所以可以按照網元的拓撲度數(shù)進行區(qū)間劃分，從而有效避免出現(xiàn)效率較低的情況，根據(jù)相關的專家研究顯示，在網元的拓撲度數(shù)^[5]一般要≤10，所以在具體工程當中，對網元拓撲度數(shù)進行獲取時，可以根據(jù)實際的情況對區(qū)間進行劃分，如果說普度數(shù)小于10則實際的度數(shù)值不做劃分，如果大于10則需要將拓撲度數(shù)劃分在10個以內，所以在綜合網絡管理的系統(tǒng)當中，為了能夠將影響權值的數(shù)據(jù)信息獲取，就可以建立一個確定兩個因素權值的層次模型，其設計結構圖如圖2所示。

在上圖當中的n值應該取≤10。根據(jù)設計的層次模型，建立起判斷的矩陣，就可以對告警級別和網元拓撲度數(shù)組合方案對應的權值進行計算，從而減少一些冗余且頻繁的項目產生，讓網絡效果更好。

2.2構建綜合網管中的數(shù)據(jù)挖掘算法模型

通過改進設計關聯(lián)規(guī)則挖掘算法，可以構建出綜合網絡管理當中數(shù)據(jù)挖掘算法的模型^[6]。本文所使用的算法挖掘的對象是網絡管理系統(tǒng)當中的告警數(shù)據(jù)，所以其關聯(lián)的規(guī)則是挖掘告警數(shù)據(jù)相關的規(guī)則。整個算法的步驟^[7]-[8]首先要預處理告警數(shù)據(jù)后，按照時間的跨度和順序將告警發(fā)劃分為多個告警集合，并將每個告警當中重復的告警類有效去除，在對所有的告警集合t進行劃分的過程當中，要找到1項目中的告警頻繁的項目集L1，以其為基礎，在對所有的告警集合t進行劃分的過程當中，還要尋找第K項的告警頻繁的項目集Lk，直到所得到的Lk出現(xiàn)空集為止，可以獲取到頻繁項目集當中的集合L，將告警頻繁項目集和L中的Lk元素取出，尋找并對其每個元素中存在的相關規(guī)則進行計算，直到都處理完，最后要在規(guī)則庫當中，把所有滿足要求的告警關聯(lián)規(guī)則放入其中，整個算法才算完成，其主要的流程圖如下圖3所示。

這樣就可以設計出基于數(shù)據(jù)挖掘算法的相關性分析系統(tǒng)。在綜合網絡管理的系統(tǒng)^[9]當中包括配置安全、告警故障等的管理，其中告警與故障管理兩者進行配合能夠起到監(jiān)測的作用，迅速發(fā)現(xiàn)和糾正網絡中的故障，從而對網絡進行維護，其主要的硬件結構拓撲圖如圖4所示。

告警相關性分析的流程圖如圖5所示。

3??數(shù)據(jù)挖掘在綜合網管告警相關性中的應用

數(shù)據(jù)挖掘在綜合網管告警相關性當中的運用^[10]，主要應用在規(guī)則發(fā)現(xiàn)數(shù)據(jù)的預處理階段、挖掘階段以及后處理階段。其中用在規(guī)則發(fā)現(xiàn)數(shù)據(jù)預處理模塊當中，需要對數(shù)據(jù)庫進行頻繁的訪問，其作用是進行一定的降維操作，并且讓告警屬性具有特征性，把告警記錄表示出來，并在面對雪崩告警時能對一些重復性的告警進行刪除，然后對告警進行分類，從而讓告警信息的權值不斷增加，其主要的流程圖如圖6所示。

應用在規(guī)則挖掘的模塊當中，主要是在處理完告警數(shù)據(jù)之后，規(guī)則發(fā)現(xiàn)系統(tǒng)當中的挖掘模塊，挖掘這些數(shù)據(jù)當中一些頻繁的項目。規(guī)則挖掘模塊是一個內部處理的模塊，通過研究出相關的函數(shù)代碼，可以讓一些頻繁項目集和規(guī)則的挖掘更加方便，在規(guī)則挖掘模塊當中具有兩大功能，第一是發(fā)現(xiàn)頻繁項目集，第二是發(fā)現(xiàn)規(guī)則，在頻繁項目集表和挖掘規(guī)則表當中存放入符合的支持度和置信度挖掘的結果，從而讓用戶可以通過平臺對這些挖掘的規(guī)則進行編輯。

用于規(guī)則發(fā)現(xiàn)規(guī)則后處理的模塊，主要是對用戶提供一些編輯挖掘規(guī)則的界面，但是該模塊只是總結歷史數(shù)據(jù)，對信息統(tǒng)計，所以很難保證信息的準確度和準確性，但是其也有一定的優(yōu)勢，其主要的優(yōu)勢是能夠在海量的信息當中挖掘出有用的信息和人們所關注的數(shù)據(jù)信息，但必須要用戶進行一定的編輯之后才能使用，規(guī)則的后處理模塊主要是對用戶以及挖掘規(guī)則之間提供一個相互交互的平臺，由于挖掘的規(guī)則格式中還有一些冗余的規(guī)則，其描述也相對比較簡單，所以規(guī)則模式是非常粗糙，因此需要增添和設置一些規(guī)則屬性，比如有限的時間、級別等，從而讓規(guī)則描述不斷得到豐富。

4??結束語

隨著社會經濟的不斷發(fā)展，網絡的規(guī)模不斷擴大是必然趨勢，逐漸建立的綜合網絡管理系統(tǒng)讓網絡運行的質量和效率得到了很大的提升，降低了一些運營商的運營成本，也讓維護的手段更加多樣化，從而讓相關企業(yè)得到了進一步的發(fā)展，但是在社會發(fā)展的過程當中，通訊網絡的節(jié)點構成有成千上萬種，所以當發(fā)生一個網絡故障或者問題的時候，就會產生大量的告警信息，從而影響了用戶用網的體驗，因此在綜合網絡管理告警相關性分析中運用數(shù)據(jù)挖掘技術，能夠幫助網絡管理人員對故障的信息進行分析，并準確定位故障的位置，從而縮減網絡故障的時間，減少一些告警數(shù)據(jù)，提高網絡的質量，讓綜合網絡管理系統(tǒng)發(fā)揮出最大的作用，促進其進一步的發(fā)展。

參考文獻

• 韓宏瑩. 并行數(shù)據(jù)挖掘技術在電信網管告警中的應用研究[D]. 長春工業(yè)大學， 2016.
• 吳英虎. 寧夏鐵通網絡綜合告警系統(tǒng)設計與實現(xiàn)[D]. 電子科技大學， 2015.
• Wei Chen， Paraskevas Tsangaratos， Ioanna Ilia， Zhao Duan， Xinjian Chen. Groundwater spring potential mapping using population-based evolutionary algorithms and data mining methods[J]. Science of the Total Environment， 2019， 684.
• Javed A. Face Recognition Based on Principal Component Analysis[J]. International Journal of Image， Graphics and Signal Processing （IJIGSP）， 2013， 5（2）： 38.
• 李志敏， 趙晴. 綜合網管告警數(shù)據(jù)缺失原因與解決策略分析[J]. 移動通信， 2015， 39（Z1）： 112-116.
• 蔡琦. 智能網管系統(tǒng)中的告警關聯(lián)規(guī)則研究與實現(xiàn)[D]. 武漢理工大學， 2014.
• 朱劍， 張錦， 成奮華， 等. 基于支持向量機的人臉識別研究[J]. 計算技術與自動化， 2008， 26（4）： 79-81.
• 鐘彩. 邊緣檢測算法在圖像預處理中的應用[J]. 軟件， 2013， 34（1）： 158-159.
• 馮杰， 屈志毅， 李志輝. 基于分類稀疏表示的人臉表情識別[J]. 軟件， 2013， 34（11）： 59-61
• 張錚， 王艷平， 薛桂香. 數(shù)字圖像處理與機器視覺[M]. 北京： 人民郵電出版社， 2010.