大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維及監(jiān)控技術(shù)分析

南方電網(wǎng)科學(xué)研究院有限責(zé)任公司 中國(guó)南方電網(wǎng)有限責(zé)任公司 曹鐵男 李 昊 喇 元

近年來(lái)，我國(guó)信息技術(shù)不斷發(fā)展，已經(jīng)進(jìn)入了智能化時(shí)代，大數(shù)據(jù)是一種新型的數(shù)據(jù)處理技術(shù)，能夠?qū)Υ罅康臄?shù)據(jù)進(jìn)行整合、分析，并且挖掘出其中有價(jià)值的信息。目前，大數(shù)據(jù)平臺(tái)在各個(gè)領(lǐng)域中都得到了廣泛的應(yīng)用，其中在自動(dòng)化運(yùn)維和監(jiān)控技術(shù)領(lǐng)域取得了良好的效果，本文對(duì)基于大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維及監(jiān)控技術(shù)進(jìn)行了討論。

大數(shù)據(jù)技術(shù)是基于信息技術(shù)的基礎(chǔ)上誕生出一種新型數(shù)據(jù)技術(shù)，在信息爆炸性增長(zhǎng)的今天，具有很大應(yīng)用空間。對(duì)于企業(yè)經(jīng)營(yíng)和人們生活中產(chǎn)生的海量數(shù)據(jù)，如果進(jìn)行有效整合與分析，可以創(chuàng)造更多的商業(yè)價(jià)值，更好為企業(yè)和人們所服務(wù)。應(yīng)用大數(shù)據(jù)技術(shù)，各企業(yè)的自動(dòng)化運(yùn)維及監(jiān)控水平將會(huì)有巨大的提升，對(duì)此進(jìn)行深入討論與研究具有重要意義。

1 自動(dòng)化運(yùn)維技術(shù)概述及大數(shù)據(jù)平臺(tái)的應(yīng)用優(yōu)勢(shì)

一個(gè)企業(yè)經(jīng)營(yíng)與發(fā)展離不開(kāi)對(duì)系統(tǒng)的運(yùn)營(yíng)維護(hù)，運(yùn)維工作對(duì)企業(yè)發(fā)展戰(zhàn)略的制定、經(jīng)營(yíng)管理重心的選擇有著重要作用，是管理層做出重大抉擇的重要依據(jù)，也是系統(tǒng)穩(wěn)定運(yùn)行的重要保障。運(yùn)維工作較為復(fù)雜，工作量巨大，尤其是互聯(lián)網(wǎng)企業(yè)，系統(tǒng)24h運(yùn)轉(zhuǎn)，數(shù)據(jù)規(guī)模龐大，涉及各個(gè)領(lǐng)域，且相互之前存在影響，需要投入大量的人力、物力。自動(dòng)化運(yùn)維可以將IT運(yùn)維工作中日常性的、重復(fù)性的、程序性的工作自動(dòng)化，將人工執(zhí)行轉(zhuǎn)化為系統(tǒng)自動(dòng)化執(zhí)行，并對(duì)各項(xiàng)數(shù)據(jù)進(jìn)行整合和邏輯分析，總結(jié)出發(fā)展趨勢(shì)，為企業(yè)提供更好的幫助。基于大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維，結(jié)合了大數(shù)據(jù)技術(shù)的整合、分析能力，使IT運(yùn)維工作得到了升華。自動(dòng)化運(yùn)維應(yīng)用大數(shù)據(jù)技術(shù)能夠提高運(yùn)維流程的可控性，滿(mǎn)足企業(yè)的個(gè)性化需求，讓企業(yè)決策層能夠更加清晰、直觀(guān)的看到公司的業(yè)務(wù)流程，加強(qiáng)他們對(duì)公司的把握能力。同時(shí)，大數(shù)據(jù)平臺(tái)下的自動(dòng)化運(yùn)維也能提高運(yùn)維工作的透明度，有助于系統(tǒng)版本的疊加，更能清晰的分辨出其中的問(wèn)題，為優(yōu)化提供方便。自動(dòng)化運(yùn)維與大數(shù)據(jù)平臺(tái)相結(jié)合，還能減少人為因素造成的失誤，加強(qiáng)信息傳遞、處理的速度，提高運(yùn)維工作的整體效率。另外結(jié)合監(jiān)控技術(shù)，充分發(fā)揮大數(shù)據(jù)技術(shù)的優(yōu)點(diǎn)，還能對(duì)數(shù)據(jù)和工作記錄進(jìn)行實(shí)時(shí)記錄和跟蹤，做到及時(shí)預(yù)警、及時(shí)應(yīng)對(duì)，讓運(yùn)維工作更加輕松、靈活。

2 大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維技術(shù)分析

2.1 自動(dòng)化運(yùn)維功能設(shè)計(jì)

自動(dòng)化運(yùn)維技術(shù)要為企業(yè)服務(wù)，要為企業(yè)提供便利，切實(shí)提高企業(yè)的管理效率和管理水平。自動(dòng)化運(yùn)維功能要對(duì)企業(yè)運(yùn)營(yíng)管理中的各項(xiàng)數(shù)據(jù)進(jìn)行檢測(cè)，并整合到一起，要將運(yùn)維對(duì)象具體化，以多種形式直觀(guān)的展示出來(lái)。自動(dòng)化運(yùn)維系統(tǒng)要將不同的功能設(shè)置好后，根據(jù)運(yùn)維目標(biāo)的特點(diǎn)和形式，利用細(xì)化技術(shù)，將自動(dòng)化運(yùn)維系統(tǒng)分成不同的功能區(qū)域。常規(guī)的功能區(qū)一般包括尋常管理區(qū)、運(yùn)維監(jiān)控區(qū)、設(shè)備管理區(qū)、知識(shí)庫(kù)管理區(qū)、第三方平臺(tái)接入?yún)^(qū)和信息管理中心。巡察管理區(qū)要采用填寫(xiě)表格的模式，值班人員在工作期間要將數(shù)據(jù)監(jiān)控結(jié)果和系統(tǒng)維護(hù)記錄填寫(xiě)在表格中，并進(jìn)行存檔，方便下一波次工作人員的交接。運(yùn)維監(jiān)控區(qū)要采用可視化技術(shù)，將數(shù)據(jù)以表格、圖像的形式呈現(xiàn)出來(lái)，并且要通過(guò)大數(shù)據(jù)技術(shù)進(jìn)行整合和分析，將數(shù)據(jù)的變化趨勢(shì)和變化規(guī)律體現(xiàn)出來(lái)。設(shè)備管理區(qū)要能查詢(xún)整個(gè)服務(wù)器和分支系統(tǒng)的數(shù)據(jù)信息，要實(shí)現(xiàn)平臺(tái)集中化，流程細(xì)分化。知識(shí)庫(kù)管理區(qū)是針對(duì)運(yùn)維對(duì)象，將可能用到的各類(lèi)技術(shù)知識(shí)、操作流程、注意事項(xiàng)進(jìn)行歸檔，以方便工作人員隨時(shí)調(diào)閱，迅速掌握工作情況，縮短熟悉時(shí)間。第三方平臺(tái)接入?yún)^(qū)要根據(jù)運(yùn)維對(duì)象的發(fā)展和管理狀態(tài)，在平臺(tái)上建設(shè)簡(jiǎn)單的配置，可以通過(guò)通用接口接入到大數(shù)據(jù)平臺(tái)。信息管理中心要以企業(yè)的自制條款、規(guī)定為依托，將運(yùn)維對(duì)象的各項(xiàng)信息整合在一起，從而實(shí)現(xiàn)全局信息處理。

2.2 數(shù)據(jù)質(zhì)量管理體系

自動(dòng)化運(yùn)維需要管理不同系統(tǒng)、多層鏈路關(guān)系中的數(shù)據(jù)，非常復(fù)雜，且要保證數(shù)據(jù)信息的完整性、唯一性、真實(shí)性、準(zhǔn)確性、合法性、及時(shí)性，需要與大數(shù)據(jù)平臺(tái)相結(jié)合，建立數(shù)據(jù)質(zhì)量監(jiān)控管理平臺(tái)。數(shù)據(jù)質(zhì)量管理平臺(tái)要以系統(tǒng)定義為標(biāo)準(zhǔn)，對(duì)系統(tǒng)采集的數(shù)據(jù)進(jìn)行重新整合和管理，統(tǒng)一校對(duì)、統(tǒng)一處理，保證數(shù)據(jù)信息的一致性。數(shù)據(jù)質(zhì)量管理體系要實(shí)現(xiàn)數(shù)據(jù)集中化管理，要滿(mǎn)足多系統(tǒng)的數(shù)據(jù)處理需求，提供標(biāo)準(zhǔn)的數(shù)據(jù)接口，供各個(gè)分支系統(tǒng)調(diào)用，實(shí)現(xiàn)數(shù)據(jù)共享，提高數(shù)據(jù)傳遞的速度和完整性，實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)的統(tǒng)一管理。數(shù)據(jù)質(zhì)量管理體系與大數(shù)據(jù)平臺(tái)相結(jié)合，能建立智能算法程序，實(shí)現(xiàn)自動(dòng)化處理。通過(guò)智能算法程序，可以科學(xué)設(shè)定基礎(chǔ)指標(biāo)閥值和預(yù)警規(guī)則，對(duì)自動(dòng)化運(yùn)維平臺(tái)采集到的數(shù)據(jù)信息，進(jìn)行多個(gè)維度的比對(duì)和分析，條件處理一系列自動(dòng)化計(jì)算操作，根據(jù)運(yùn)維對(duì)象的特性和狀態(tài)，生成多種形式的圖表。并且要根據(jù)程序設(shè)定的數(shù)據(jù)鏈路狀態(tài)條件，獲取數(shù)據(jù)鏈路性能狀態(tài)值，實(shí)時(shí)監(jiān)控系統(tǒng)運(yùn)行情況，并及時(shí)發(fā)出異常狀態(tài)警告。

2.3 數(shù)據(jù)優(yōu)化，深度挖掘

基于大數(shù)據(jù)平臺(tái)，自動(dòng)化運(yùn)維技術(shù)能實(shí)現(xiàn)數(shù)據(jù)優(yōu)化，提升數(shù)據(jù)價(jià)值。自動(dòng)化運(yùn)維平臺(tái)在采集、儲(chǔ)存系統(tǒng)運(yùn)行過(guò)程中產(chǎn)生的各項(xiàng)數(shù)據(jù)后，能對(duì)這些數(shù)據(jù)進(jìn)行深度整合，去除掉其中的無(wú)用數(shù)據(jù)，深入挖掘其中有價(jià)值的規(guī)律和趨勢(shì)，來(lái)提高企業(yè)營(yíng)銷(xiāo)、運(yùn)營(yíng)工作的效率，加強(qiáng)監(jiān)管水平，從而節(jié)省企業(yè)運(yùn)營(yíng)成本?；诖髷?shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維技術(shù)能分析事故發(fā)生時(shí)間與用戶(hù)反映時(shí)間的關(guān)系，提高企業(yè)的應(yīng)急處理能力。也能分析各類(lèi)故障類(lèi)型與監(jiān)控測(cè)量指標(biāo)間的關(guān)系，和數(shù)據(jù)異常與系統(tǒng)運(yùn)行時(shí)間的關(guān)系，幫助企業(yè)有效預(yù)防系統(tǒng)風(fēng)險(xiǎn)，更好的對(duì)系統(tǒng)進(jìn)行維護(hù)?；诖髷?shù)據(jù)的自動(dòng)化運(yùn)維技術(shù)還能通過(guò)對(duì)各種使用場(chǎng)景的分析，提高系統(tǒng)的適用范圍。

3 大數(shù)據(jù)平臺(tái)的自動(dòng)化監(jiān)控技術(shù)分析

自動(dòng)化監(jiān)控技術(shù)是保證系統(tǒng)數(shù)據(jù)完整性、真實(shí)性、及時(shí)性的重要條件。企業(yè)的運(yùn)營(yíng)管理數(shù)據(jù)存在巨大的商業(yè)價(jià)值，在信息技術(shù)和網(wǎng)絡(luò)技術(shù)格外發(fā)達(dá)的今天，經(jīng)常會(huì)有不法分子通過(guò)各種信息化手段竊取企業(yè)或個(gè)人的數(shù)據(jù)信息，甚至破壞整個(gè)系統(tǒng)。因此在重要數(shù)據(jù)的傳輸過(guò)程中，不僅要采取必要的加密保護(hù)措施，還要對(duì)整個(gè)傳遞過(guò)程實(shí)時(shí)監(jiān)控，保證能第一時(shí)間發(fā)現(xiàn)數(shù)據(jù)傳遞過(guò)程中的異常，并對(duì)異常數(shù)據(jù)進(jìn)行追蹤和定位，保證數(shù)據(jù)安全。大數(shù)據(jù)平臺(tái)能夠?qū)崿F(xiàn)監(jiān)控?cái)?shù)據(jù)的可視化，將數(shù)據(jù)傳遞情況直觀(guān)的表達(dá)出來(lái)，還能夠擴(kuò)大監(jiān)控的覆蓋范圍，分析數(shù)據(jù)的實(shí)時(shí)狀態(tài)，從而對(duì)整個(gè)傳遞過(guò)程進(jìn)行監(jiān)控。大數(shù)據(jù)平臺(tái)還能解決數(shù)據(jù)監(jiān)控系統(tǒng)的冗余問(wèn)題，傳統(tǒng)的監(jiān)控技術(shù)信息處理過(guò)程復(fù)雜，信息傳遞效率慢，消耗時(shí)間長(zhǎng)，存在大量的無(wú)效數(shù)據(jù)，會(huì)造成數(shù)據(jù)失真等問(wèn)題。大數(shù)據(jù)平臺(tái)的深度整合能力，可以有效去除無(wú)效數(shù)據(jù)，提高監(jiān)控?cái)?shù)據(jù)處理的準(zhǔn)確性。對(duì)于視頻數(shù)據(jù)，大數(shù)據(jù)平臺(tái)能通過(guò)技術(shù)處理，提高視頻的分辨率。另外，大數(shù)據(jù)平臺(tái)能有效提高監(jiān)控系統(tǒng)的數(shù)據(jù)處理能力，可以將不同類(lèi)型的數(shù)據(jù)分流到各個(gè)子系統(tǒng)中，縮減數(shù)據(jù)處理步驟，提高處理效率。除此之外，基于大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)能降低投入成本，可以發(fā)揮每個(gè)監(jiān)控設(shè)備的最大作用，提高監(jiān)控設(shè)備的利用率，并且有助于監(jiān)控設(shè)備的維護(hù)和管理，提高使用壽命。

結(jié)論：隨著我國(guó)信息技術(shù)不斷發(fā)展，人們的生活和工作模式發(fā)生了巨大的變化，其中大數(shù)據(jù)技術(shù)就被廣泛用在企業(yè)的運(yùn)維管理之中?；诖髷?shù)據(jù)技術(shù)的自動(dòng)化運(yùn)維及監(jiān)控技術(shù)，能有效提高企業(yè)的運(yùn)營(yíng)管理水平，提高運(yùn)維工作的靈活度、可視度，加強(qiáng)信息流通的速度與準(zhǔn)確性，減少人為因素造成的失誤，最大程度保護(hù)數(shù)據(jù)安全，具有廣闊的應(yīng)用前景。