大數(shù)據(jù)平臺的自動化運維及監(jiān)控技術(shù)分析

盧穎

摘要：大數(shù)據(jù)技術(shù)的發(fā)展和大數(shù)據(jù)平臺的應(yīng)用，使很多行業(yè)的工作發(fā)生了翻天覆地的變化。在營銷監(jiān)控工作中，通過基于大數(shù)據(jù)平臺構(gòu)建營銷監(jiān)控自動化運維系統(tǒng)，不僅可以實現(xiàn)高效的數(shù)據(jù)搜索和存儲，更還可以實現(xiàn)高效的數(shù)據(jù)庫管理、監(jiān)控及數(shù)據(jù)分析與處理?？梢哉f，大數(shù)據(jù)平臺為行業(yè)發(fā)展提供了很大的先導(dǎo)性，是提高服務(wù)質(zhì)量與經(jīng)濟效益的有效助力。故而有必要對大數(shù)據(jù)平臺的營銷監(jiān)控自動化運維展開深入研究。

關(guān)鍵詞：大數(shù)據(jù)平臺;營銷監(jiān)控;自動化運維

引言

隨著科學(xué)技術(shù)的飛速發(fā)展，信息技術(shù)的更新和復(fù)制提供了大量的數(shù)據(jù)，為社會各階層的信息技術(shù)發(fā)展提供了機遇，并作為一個機會將繼續(xù)這樣下去。增加詞的記述和定義、以及信息的記述、“大數(shù)據(jù)”這個詞在很多人中都提到了字段。因此，作為集成的全球應(yīng)用平臺，數(shù)據(jù)管理、業(yè)務(wù)管理、數(shù)據(jù)庫訪問控制等，提高業(yè)務(wù)效率和服務(wù)質(zhì)量，降低運營成本。從海量數(shù)據(jù)的概念、特征和業(yè)務(wù)度量入手，分析了知識監(jiān)控方法與知識監(jiān)控方法相結(jié)合的一些重要因素。高質(zhì)量的數(shù)據(jù)管理和維護集中在大型數(shù)據(jù)庫的理論基礎(chǔ)上。

1自動化運維技術(shù)概述及大數(shù)據(jù)平臺的應(yīng)用優(yōu)勢

一個企業(yè)經(jīng)營與發(fā)展離不開對系統(tǒng)的運營維護，運維工作對企業(yè)發(fā)展戰(zhàn)略的制定、經(jīng)營管理重心的選擇有著重要作用，是管理層做出重大抉擇的重要依據(jù)，也是系統(tǒng)穩(wěn)定運行的重要保障。運維工作較為復(fù)雜，工作量巨大，尤其是互聯(lián)網(wǎng)企業(yè)，系統(tǒng)24h運轉(zhuǎn)，數(shù)據(jù)規(guī)模龐大，涉及各個領(lǐng)域，且相互之前存在影響，需要投入大量的人力、物力。自動化運維可以將IT運維工作中日常性的、重復(fù)性的、程序性的工作自動化，將人工執(zhí)行轉(zhuǎn)化為系統(tǒng)自動化執(zhí)行，并對各項數(shù)據(jù)進行整合和邏輯分析，總結(jié)出發(fā)展趨勢，為企業(yè)提供更好的幫助。基于大數(shù)據(jù)平臺的自動化運維，結(jié)合了大數(shù)據(jù)技術(shù)的整合、分析能力，使IT運維工作得到了升華。自動化運維應(yīng)用大數(shù)據(jù)技術(shù)能夠提高運維流程的可控性，滿足企業(yè)的個性化需求，讓企業(yè)決策層能夠更加清晰、直觀的看到公司的業(yè)務(wù)流程，加強他們對公司的把握能力。同時，大數(shù)據(jù)平臺下的自動化運維也能提高運維工作的透明度，有助于系統(tǒng)版本的疊加，更能清晰的分辨出其中的問題，為優(yōu)化提供方便。自動化運維與大數(shù)據(jù)平臺相結(jié)合，還能減少人為因素造成的失誤，加強信息傳遞、處理的速度，提高運維工作的整體效率。另外結(jié)合監(jiān)控技術(shù)，充分發(fā)揮大數(shù)據(jù)技術(shù)的優(yōu)點，還能對數(shù)據(jù)和工作記錄進行實時記錄和跟蹤，做到及時預(yù)警、及時應(yīng)對，讓運維工作更加輕松、靈活。

2大數(shù)據(jù)平臺的自動化運維及監(jiān)控技術(shù)分析

2.1大數(shù)據(jù)建模技術(shù)與存儲技術(shù)

只有對分布、多源與異構(gòu)數(shù)據(jù)整合問題進行有效處理，才能夠真正實現(xiàn)大數(shù)據(jù)的統(tǒng)一管理與存儲，大大提高數(shù)據(jù)信息處理的效率?，F(xiàn)階段在數(shù)據(jù)建模方面的研究，人們更加側(cè)重于層次、關(guān)系網(wǎng)狀聯(lián)通和對象的面向性的討論，其在大數(shù)據(jù)建模方法形式的具體應(yīng)用，能直觀地呈現(xiàn)出大數(shù)據(jù)管理面臨的難題。大數(shù)據(jù)統(tǒng)一建模具體步驟為立足于大數(shù)據(jù)特征總結(jié)歸納、明確關(guān)系、抽象化地處理各類數(shù)據(jù)信息，這樣才能夠確保大數(shù)據(jù)建模的合理性與完整性。其中，大數(shù)據(jù)的根本信息、協(xié)調(diào)聯(lián)動機制信息及功能性問題信息，是經(jīng)大數(shù)據(jù)分析后被定義的三類關(guān)鍵信息。大數(shù)據(jù)的不同特征會影響分類聚合的成效，針對頂層數(shù)據(jù)信息的結(jié)構(gòu)而言，非結(jié)構(gòu)化與結(jié)構(gòu)化之間具有很大的區(qū)別，相關(guān)人員需要滿足進行數(shù)據(jù)研究工作的要求。針對自動化運維模型的接口，統(tǒng)一接口的綜合構(gòu)成直接決定著所有分類索引、樹形索引及存儲索引，相關(guān)人員可借助該接口實現(xiàn)對多源大數(shù)據(jù)的關(guān)聯(lián)與管理。且自動化運維管理平臺的功能主要包括企業(yè)設(shè)備資產(chǎn)管理、數(shù)據(jù)中心定期巡檢等，這不僅能夠為企業(yè)的運維管理提供必要的支撐，還能夠有效提高運行效率、節(jié)省運維成本。

2.2自動化運維模型的接口

它對不同類型分類索引之間統(tǒng)一接口的整體配置起著決定性的作用，保存的索引和索引那棵樹。用戶可以創(chuàng)建一個多源的管理和溝通：管理系統(tǒng)更新項目平臺“樂”包括數(shù)據(jù)中心的日常檢查、業(yè)務(wù)設(shè)備的管理等，為企業(yè)日常服務(wù)提供可靠的支持，提高業(yè)務(wù)效率，并將其降到最低限度。在面向目標的設(shè)計過程中，本文提出并描述了信息服務(wù)系統(tǒng)面向的幾個行業(yè)。一些過程和計算算法的大量數(shù)據(jù)很難完全轉(zhuǎn)換或集成到數(shù)據(jù)庫函數(shù)中。因此，需要從一些功能中提取數(shù)據(jù)，并用傳統(tǒng)的分析工具和軟件進行分析。但是，分析和分析任務(wù)的數(shù)量正在逐漸增加，需要擴大或增加新的服務(wù)器。但是服務(wù)器比因特網(wǎng)貴。網(wǎng)格配置將有助于降低系統(tǒng)成本。計算網(wǎng)格的目的是在不同的計算機之間分配任務(wù)，完成不同的任務(wù)，從而有效地提高生產(chǎn)率。降低系統(tǒng)的總成本。

2.3自動化運維功能

大數(shù)據(jù)平臺的營銷監(jiān)控自動化運維主要具備以下幾項功能：1）可有效采集數(shù)據(jù)文件的傳輸狀態(tài)數(shù)據(jù)，當出現(xiàn)數(shù)據(jù)流斷點，且斷點時間>系統(tǒng)設(shè)定值范圍時，會自動發(fā)出報警信息;2）可自動比對分析采集到的數(shù)據(jù)文件信息，包括文件大小、文件字段名稱、文件明細記錄數(shù)、文件字段長度等，當比對結(jié)果>系統(tǒng)設(shè)定值范圍時，會自動發(fā)出報警信息;3）可實時監(jiān)測數(shù)據(jù)中心的ETL調(diào)度系統(tǒng)的性能狀態(tài)，當系統(tǒng)表現(xiàn)出不穩(wěn)定性或是出現(xiàn)掛死的問題，且>系統(tǒng)設(shè)定值范圍時，會自動發(fā)出報警信息;4）可在OGG系統(tǒng)升級期間采集各系統(tǒng)的狀態(tài)數(shù)據(jù)，并根據(jù)超時時間發(fā)出系統(tǒng)不可用的報警信息;5）可自動比對分析停電、客服等數(shù)據(jù)實時性較高的模塊對應(yīng)表數(shù)據(jù)的最新記錄時間與當前時間，當其時間差>系統(tǒng)設(shè)定值范圍時，會自動發(fā)出報警信息;6）可實時監(jiān)測營銷監(jiān)控系統(tǒng)數(shù)據(jù)庫的表空間，當其快要達到臨界值時，會自動發(fā)出報警信息;7）可實時監(jiān)測指標數(shù)據(jù)的庫表信息和庫表結(jié)構(gòu)等，當庫表結(jié)構(gòu)發(fā)生變更和調(diào)整操作時，會自動發(fā)出報警信息，并自動生成變更操作記錄;8）可根據(jù)用戶的自定義自動生成各種指標數(shù)據(jù)報告;9）可基于營銷監(jiān)控業(yè)務(wù)規(guī)則配置相關(guān)故障預(yù)案，以實現(xiàn)智能預(yù)測和預(yù)防。

2.4數(shù)據(jù)質(zhì)量管理體系

自動化運維需要管理不同系統(tǒng)、多層鏈路關(guān)系中的數(shù)據(jù)，非常復(fù)雜，且要保證數(shù)據(jù)信息的完整性、唯一性、真實性、準確性、合法性、及時性，需要與大數(shù)據(jù)平臺相結(jié)合，建立數(shù)據(jù)質(zhì)量監(jiān)控管理平臺。數(shù)據(jù)質(zhì)量管理平臺要以系統(tǒng)定義為標準，對系統(tǒng)采集的數(shù)據(jù)進行重新整合和管理，統(tǒng)一校對、統(tǒng)一處理，保證數(shù)據(jù)信息的一致性。數(shù)據(jù)質(zhì)量管理體系要實現(xiàn)數(shù)據(jù)集中化管理，要滿足多系統(tǒng)的數(shù)據(jù)處理需求，提供標準的數(shù)據(jù)接口，供各個分支系統(tǒng)調(diào)用，實現(xiàn)數(shù)據(jù)共享，提高數(shù)據(jù)傳遞的速度和完整性，實現(xiàn)基礎(chǔ)數(shù)據(jù)的統(tǒng)一管理。數(shù)據(jù)質(zhì)量管理體系與大數(shù)據(jù)平臺相結(jié)合，能建立智能算法程序，實現(xiàn)自動化處理。通過智能算法程序，可以科學(xué)設(shè)定基礎(chǔ)指標閥值和預(yù)警規(guī)則，對自動化運維平臺采集到的數(shù)據(jù)信息，進行多個維度的比對和分析，條件處理一系列自動化計算操作，根據(jù)運維對象的特性和狀態(tài)，生成多種形式的圖表。并且要根據(jù)程序設(shè)定的數(shù)據(jù)鏈路狀態(tài)條件，獲取數(shù)據(jù)鏈路性能狀態(tài)值，實時監(jiān)控系統(tǒng)運行情況，并及時發(fā)出異常狀態(tài)警告。

結(jié)語

總而言之，當前大數(shù)據(jù)平臺已滲透到人們生產(chǎn)、工作及生活的各個方面，在新時代背景下，大數(shù)據(jù)平臺的應(yīng)用也不斷深入。各領(lǐng)域充分利用基于大數(shù)據(jù)平臺的自動化運維技術(shù)與監(jiān)控技術(shù)，不僅能夠提高自身的運營效益與可靠性，還能夠更加高效、高質(zhì)地處理自身發(fā)展中產(chǎn)生的海量數(shù)據(jù)，從而促進自身的可持續(xù)發(fā)展。

參考文獻：

[1]王曉天.基于虛擬化技術(shù)的云數(shù)據(jù)中心構(gòu)建及自動化運維管理[J].軟件工程，2020，23（11）：27-29.

[2]沈曉慧，廖永行，童惠祺.自動化運維管理系統(tǒng)的設(shè)計與實現(xiàn)[J].通訊世界，2020，27（6）：134-135.

[3]王二輝，周高強，李英杰，等.基于大數(shù)據(jù)平臺的自動化運維及監(jiān)控技術(shù)研究[J].通訊世界，2020，27（1）：158-159.

國網(wǎng)河北省電力有限公司饒陽縣供電分公司 ?河北衡水 ?053900