大數(shù)據(jù)技術(shù)在通信設(shè)備故障預(yù)警系統(tǒng)研究

張敏+胡賀軍+張課

摘 要：電力系統(tǒng)當(dāng)中已經(jīng)存在的通信系統(tǒng)，如綜合數(shù)據(jù)網(wǎng)網(wǎng)管、安全準(zhǔn)入系統(tǒng)、通信管理系統(tǒng)等，這些通信系統(tǒng)的完善構(gòu)建，對(duì)信息通信調(diào)度運(yùn)行這類業(yè)務(wù)的穩(wěn)定、高效運(yùn)轉(zhuǎn)具有的支持作用。電力通信系統(tǒng)構(gòu)架的完善性，直接影響電力通信網(wǎng)絡(luò)系統(tǒng)的實(shí)際應(yīng)用性，系統(tǒng)中存在的不統(tǒng)一、不可擴(kuò)展等缺陷，會(huì)造成部分業(yè)務(wù)功能的重疊、維護(hù)成本過高、集成接口過多、專業(yè)系統(tǒng)業(yè)務(wù)與數(shù)據(jù)之間的融合度過低等諸多問題。基于此，本文就大數(shù)據(jù)技術(shù)在通信設(shè)備故障預(yù)警系統(tǒng)中的有效運(yùn)用簡(jiǎn)要分析。

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；通信設(shè)備；故障預(yù)警系統(tǒng)

中圖分類號(hào)：TN915.05 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-2064（2017）17-0012-02

隨著通信設(shè)備種類的不斷增加，相應(yīng)的數(shù)據(jù)類型也越來越豐富，在逐步建立完備的獲取途徑的同時(shí)，應(yīng)用大數(shù)據(jù)技術(shù)進(jìn)行通信設(shè)備故障預(yù)警系統(tǒng)的相關(guān)研究，能夠有效幫助解決公司不斷增長(zhǎng)的數(shù)據(jù)量種類多、數(shù)據(jù)流量大且更新速度快等難題，有效提升信息通信設(shè)備維護(hù)管理工作效率。

1 通信設(shè)備故障預(yù)警體統(tǒng)關(guān)鍵技術(shù)介紹

1.1 Hadoop大數(shù)據(jù)技術(shù)

Hadoop是一中分布式系統(tǒng)基礎(chǔ)構(gòu)架，應(yīng)用Hadoop，即使用戶不了解分布式底層的相關(guān)細(xì)節(jié)，也能有效實(shí)現(xiàn)分布式程序的高運(yùn)算速度與儲(chǔ)存功能。Hadoop的應(yīng)用，能夠在一定程度上，降低大數(shù)據(jù)軟件平臺(tái)的開發(fā)與運(yùn)行難度。

以Hadoop2.x框架為例，其核心包含HDFS、YAPN、與Map Reduce。其中HDFS是Hadoop的儲(chǔ)存構(gòu)架部分，通過它就能在有PC組成的集群上進(jìn)行高度信任性的文件儲(chǔ)存，HDFS中的冗余副本策略能夠?yàn)閿?shù)據(jù)提供可靠性保障、機(jī)架策略能夠保證數(shù)據(jù)完整性、心跳機(jī)制能夠?qū)νㄐ旁O(shè)備的宕機(jī)情況作出有效檢測(cè)，眾多完善機(jī)制為文件系統(tǒng)的可靠性與實(shí)際應(yīng)用性提供了保障。Map Reduce是Hadoop的一個(gè)并行處理軟件框架，這一框架的主要作用，是將大數(shù)據(jù)在Mapper段進(jìn)行分解，形成若干小部分再進(jìn)一步處理，之后在Shuffle階段，將與其余統(tǒng)一類的值輸送到一個(gè)Reducer端，最終在Reducer端進(jìn)行處理結(jié)果的整體匯總環(huán)節(jié)，這一框架有效實(shí)現(xiàn)了大數(shù)據(jù)處理目的[1]。YARN是Hadoop的新一代資源管理器，它的主要作用，就是進(jìn)行資源集群和管理，并運(yùn)用Resource Manager進(jìn)行資源的合理分配，由此解決通信設(shè)備中由于集群數(shù)量問題引起的級(jí)聯(lián)故障。

1.2 專家系統(tǒng)知識(shí)庫(kù)

在一些特定的領(lǐng)域范圍內(nèi)，通過問題求解過程的積累，能夠形成相關(guān)知識(shí)片的集合，將這些知識(shí)片通過某種知識(shí)表示方式在計(jì)算機(jī)中進(jìn)行有效的儲(chǔ)存、管理以及使用，就形成了一個(gè)完整的專家系統(tǒng)，由知識(shí)片集合而成的及時(shí)知識(shí)庫(kù)。知識(shí)庫(kù)的完整建立具有易操作、易利用以及結(jié)構(gòu)系統(tǒng)化等優(yōu)勢(shì)特點(diǎn)。作為專家系統(tǒng)的核心組成部分，知識(shí)庫(kù)主要通過邏輯表示法、產(chǎn)生式表示法、和框架表示法進(jìn)行知識(shí)的表示。

邏輯表示法是典型的陳述性表述方式，主要通過邏輯公式來描述對(duì)象關(guān)系與性質(zhì)，這種表示方式更接近自然語言，且更具精確性與靈活性，模塊性能更好；規(guī)則表示法比較常見于專家系統(tǒng)當(dāng)中，幫助系統(tǒng)實(shí)現(xiàn)修改以及擴(kuò)充，如MYCIN醫(yī)學(xué)咨詢系統(tǒng)就采用了此種表示方法?？蚣鼙硎痉ㄊ且环N較為復(fù)雜的表示方法，可以描述對(duì)象屬性，框架的數(shù)據(jù)結(jié)構(gòu)組成是框架名和槽，應(yīng)用框架表示一個(gè)主體，槽來表示其屬性；這種表示方法比較常應(yīng)用與結(jié)構(gòu)性知識(shí)的表示，能夠請(qǐng)示表述知識(shí)內(nèi)部與知識(shí)的關(guān)系，能夠幫助實(shí)現(xiàn)編碼，但推理能力與可維護(hù)性都很差，模塊性能也很一般，一般只針對(duì)專家用戶。

2 應(yīng)用大數(shù)據(jù)技術(shù)進(jìn)行通信設(shè)備故障預(yù)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

2.1 系統(tǒng)整體設(shè)計(jì)構(gòu)架

2.1.1 功能構(gòu)架

系統(tǒng)功能可以只要分為兩個(gè)部分，建模系統(tǒng)與實(shí)時(shí)系統(tǒng)。為實(shí)現(xiàn)系統(tǒng)建模系統(tǒng)的測(cè)試功能以及實(shí)時(shí)系統(tǒng)的故障診斷與預(yù)警功能，通過功能構(gòu)架，達(dá)成如圖1所示的系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)。系統(tǒng)功能構(gòu)架需要保證大數(shù)據(jù)平臺(tái)的功能以及應(yīng)用系統(tǒng)的功能。在整體系統(tǒng)功能構(gòu)架當(dāng)中，數(shù)據(jù)采集要完整包括離線采集、在線采集、采集策略配置與負(fù)載均衡等功能。數(shù)據(jù)存儲(chǔ)，是針對(duì)多源異構(gòu)數(shù)據(jù)的存儲(chǔ)功能，是傳統(tǒng)形式數(shù)據(jù)庫(kù)與新型處理平臺(tái)模式相結(jié)合的混合構(gòu)架形式。數(shù)據(jù)處理，包含傳統(tǒng)數(shù)據(jù)處理與大數(shù)據(jù)批量計(jì)算與內(nèi)存計(jì)算等處理，能夠適應(yīng)大規(guī)模數(shù)據(jù)的計(jì)算場(chǎng)景[2]。計(jì)算模塊庫(kù)的作用是將一些算法封存，并提供相應(yīng)使用功能的算法模型庫(kù)。其主要作用是為大數(shù)據(jù)分析與挖掘工作創(chuàng)造便利的一種工具形式，能夠幫助用戶簡(jiǎn)化實(shí)例開發(fā)。

故障診斷，首先應(yīng)將歷史故障信息進(jìn)行保留對(duì)比，由此為依據(jù)再對(duì)北塔系統(tǒng)以及IMS系統(tǒng)當(dāng)中發(fā)生的故障，詳細(xì)分析得出原因，在明確業(yè)務(wù)類型及相關(guān)故障的主要類型與現(xiàn)象的前提下，有效查出故障原因；故障預(yù)警是以故障診斷技術(shù)作為主要基礎(chǔ)，對(duì)各類電力通信設(shè)備的故障可能性進(jìn)行預(yù)警判斷；而故障定位，主要應(yīng)用的是北塔監(jiān)控系統(tǒng)，由此能夠通過實(shí)施監(jiān)控，對(duì)故障主機(jī)的IP地址進(jìn)行報(bào)警作用，再依據(jù)相關(guān)的拓?fù)浣Y(jié)構(gòu)圖譜。定位準(zhǔn)確的故障機(jī)柜、集群信息以及業(yè)務(wù)系統(tǒng)等；可視化展示，是一種直觀的展示方式，將大數(shù)據(jù)平臺(tái)處理過后的數(shù)據(jù)，以多維度方式全方位展示給維護(hù)施工人員，幫助實(shí)現(xiàn)高效的施工作業(yè)。

2.1.2 技術(shù)構(gòu)架

通信設(shè)備故障系統(tǒng)的技術(shù)構(gòu)架，需要全面、均衡的考慮技術(shù)先進(jìn)性、電力應(yīng)用領(lǐng)域相關(guān)特性以及組件的集成性特點(diǎn)。在數(shù)據(jù)采集方面，日志類數(shù)據(jù)可應(yīng)用Flume與Kafka進(jìn)行相關(guān)采集與存儲(chǔ)。在數(shù)據(jù)存儲(chǔ)方面，大數(shù)據(jù)存儲(chǔ)能夠通過YARN與HDFS Federation為核心的技術(shù)體系，集成計(jì)算組件之后，統(tǒng)一存儲(chǔ)。數(shù)據(jù)處理方面，采用Hadoop2.X作為基礎(chǔ)技術(shù)的批量計(jì)算，包含Hive、H Base、MR2等，而內(nèi)存計(jì)算處理，則主要應(yīng)用Spark為基礎(chǔ)的相關(guān)處理技術(shù)，能夠通過YARN實(shí)現(xiàn)計(jì)算資源的統(tǒng)一管理。在可視化展示這一方面，應(yīng)用HTML5技術(shù)作為網(wǎng)頁(yè)的基礎(chǔ)構(gòu)建技術(shù)，進(jìn)一步配合E Chart、D3.js等SVG的相應(yīng)JS圖形組件技術(shù)，能夠高效實(shí)現(xiàn)數(shù)據(jù)處理的可視化展示。在預(yù)警系統(tǒng)的開發(fā)與實(shí)踐方面，多數(shù)采用以J2EE為基礎(chǔ)技術(shù)的MVC構(gòu)架模式，有效實(shí)現(xiàn)系統(tǒng)的預(yù)警作用。endprint

2.2 建模系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)

建模系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，涉及數(shù)據(jù)預(yù)處理、數(shù)據(jù)建模、數(shù)據(jù)測(cè)試三個(gè)重要模塊，在數(shù)據(jù)處理模塊，主要就是進(jìn)行歷史故障數(shù)據(jù)的預(yù)處理，應(yīng)用大數(shù)據(jù)平臺(tái)處理后，將數(shù)據(jù)分為兩部分，分別用于數(shù)據(jù)建模與模型測(cè)試。數(shù)據(jù)建模這一模塊，主要是利用數(shù)據(jù)預(yù)處理模塊得出的部分?jǐn)?shù)據(jù)信息，進(jìn)行知識(shí)庫(kù)的建立，故障知識(shí)庫(kù)的建立，決定了整個(gè)系統(tǒng)的運(yùn)轉(zhuǎn)效應(yīng)，將知識(shí)庫(kù)當(dāng)中各種知識(shí)與經(jīng)驗(yàn)系統(tǒng)的展示，通過規(guī)則推理與決策表的核心作用，將故障原因與數(shù)據(jù)異常特征進(jìn)行診斷，決策表中的每一行都能代表一個(gè)專家案例。實(shí)際應(yīng)用當(dāng)中，對(duì)模型的不斷檢測(cè)完善，才能達(dá)到預(yù)期效果。通過多次的測(cè)試與效果反饋，不斷進(jìn)行維度調(diào)整與循環(huán)測(cè)試，最終達(dá)到挖掘模型的相應(yīng)數(shù)據(jù)要求，將最終確立模型儲(chǔ)存到數(shù)據(jù)庫(kù)當(dāng)中。

2.3 系統(tǒng)實(shí)時(shí)模塊實(shí)現(xiàn)

實(shí)時(shí)模塊的眾多功能當(dāng)中，尋找異常數(shù)據(jù)是其中的重要功能實(shí)現(xiàn)之一，由此，數(shù)據(jù)的預(yù)處理階段并不需要對(duì)缺失數(shù)據(jù)進(jìn)行補(bǔ)償處理，秩序進(jìn)行數(shù)據(jù)建模的維度選擇就可以了。異常數(shù)據(jù)檢測(cè)模塊主要應(yīng)用的算法有離群點(diǎn)算法與數(shù)據(jù)挖掘算法，針對(duì)大數(shù)據(jù)平臺(tái)特點(diǎn)以及故障預(yù)警系統(tǒng)的要求，對(duì)著兩種算法進(jìn)行改進(jìn)。異常數(shù)據(jù)分析模塊則需要與上述的檢測(cè)模塊進(jìn)行交互作用，將檢測(cè)模塊篩選出來的異常數(shù)據(jù)，通過分析模塊，判別故障類型并得出相應(yīng)的解決辦法，再輸出到故障定位模塊。故障定位模塊，主要依據(jù)異常數(shù)據(jù)分析模塊輸送來的相關(guān)信息，通過實(shí)時(shí)監(jiān)控相關(guān)技術(shù)，準(zhǔn)確找出故障位置，實(shí)現(xiàn)精準(zhǔn)定位[3]?？梢暬K的作用，就是將異常數(shù)據(jù)分析模塊得出的有效數(shù)據(jù)結(jié)果信息，以可視化的形式展示給系統(tǒng)用戶或故障維修施工人員。

2.4 系統(tǒng)功能模塊實(shí)現(xiàn)

整體拓?fù)浣Y(jié)構(gòu)，是依據(jù)業(yè)務(wù)系統(tǒng)、集群、位置、業(yè)務(wù)IP、機(jī)柜、以及服務(wù)器類型六個(gè)維度，來實(shí)現(xiàn)服務(wù)器的拓?fù)浣Y(jié)構(gòu)展示的，全面應(yīng)用各個(gè)維度數(shù)據(jù)之間的高度關(guān)聯(lián)性，實(shí)現(xiàn)復(fù)雜的服務(wù)器運(yùn)維工作。故障源拓?fù)?，是突出顯示與故障節(jié)點(diǎn)相關(guān)節(jié)點(diǎn)信息的一種方式。歷史故障數(shù)據(jù)信息統(tǒng)計(jì)，是將全部的告警歷史信息數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，進(jìn)而實(shí)現(xiàn)各主機(jī)能夠在不同時(shí)段對(duì)不同等級(jí)的告警次數(shù)進(jìn)行全面統(tǒng)計(jì)，同時(shí)將處理結(jié)果可視化展示給運(yùn)維人員，為運(yùn)維工作的順利驚醒提供可靠依據(jù)。故障原因知識(shí)庫(kù)，是利用歷史故障原因數(shù)據(jù)構(gòu)建的知識(shí)庫(kù)體系，能夠幫助利用知識(shí)庫(kù)中的數(shù)據(jù)信息，排查故障，得出最可能的故障起因。

3 結(jié)語

綜上所述，本文以Hadoop為基礎(chǔ)構(gòu)架，以大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理、分析挖掘以及可視化展示等為技術(shù)支持，簡(jiǎn)要研究了設(shè)備故障預(yù)警系統(tǒng)的功能建立與實(shí)現(xiàn)。通過對(duì)眾多技術(shù)的不斷研究與開發(fā)，能夠更好的實(shí)現(xiàn)故障預(yù)警系統(tǒng)在實(shí)際運(yùn)維工作中的高效作用，幫助通信設(shè)備運(yùn)維工作的順利進(jìn)行。

參考文獻(xiàn)

[1]張明.基于數(shù)據(jù)分析的自動(dòng)觀測(cè)設(shè)備故障預(yù)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].信息通信，2014，（11）：80.

[2]吳國(guó)潮.設(shè)備故障預(yù)警系統(tǒng)的設(shè)計(jì)與實(shí)踐[J].自動(dòng)化與儀表，2015，（9）：10-13+59.

[3]高兆麗，孫英濤，陳敬德，羅林根，盛戈皞.變電站全站設(shè)備故障預(yù)警系統(tǒng)的研制[J].電氣自動(dòng)化，2016，（5）：36-37+53.endprint