基于云計(jì)算的大數(shù)據(jù)智能運(yùn)維系統(tǒng)設(shè)計(jì)

李寧 蔣寧寧

摘要：智能化運(yùn)維系統(tǒng)對(duì)大數(shù)據(jù)以及云計(jì)算技術(shù)進(jìn)行了有效的結(jié)合，使IT運(yùn)維服務(wù)的運(yùn)維效率得到了提升，新興的大數(shù)據(jù)智能運(yùn)維系統(tǒng)能夠從整體上實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的實(shí)時(shí)監(jiān)控以及對(duì)大數(shù)據(jù)的分析。本文以大數(shù)據(jù)技術(shù)為中心，在大數(shù)據(jù)的背景下，從設(shè)計(jì)和應(yīng)用方面對(duì)智能運(yùn)維系統(tǒng)進(jìn)行了相關(guān)研究。

關(guān)鍵詞：云計(jì)算;大數(shù)據(jù);智能運(yùn)維系統(tǒng);設(shè)計(jì)

中圖分類(lèi)號(hào)：TP311. 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1007-9416（2020）10-0000-00

1大數(shù)據(jù)智能運(yùn)維系統(tǒng)的技術(shù)原理

相比以往的運(yùn)維系統(tǒng)來(lái)說(shuō)，大數(shù)據(jù)和智能技術(shù)在運(yùn)維系統(tǒng)中的應(yīng)用，使其具備了大規(guī)模數(shù)據(jù)搜索、快速處理以及大量業(yè)務(wù)開(kāi)展等能力，有著極為關(guān)鍵的作用，新興的大數(shù)據(jù)運(yùn)維系統(tǒng)，能夠使運(yùn)維系統(tǒng)由傳統(tǒng)的自動(dòng)化實(shí)現(xiàn)向智能化發(fā)展轉(zhuǎn)變，對(duì)其的應(yīng)用是為了在減少運(yùn)維資金的同時(shí)，提升客戶(hù)所獲得的服務(wù)質(zhì)量和服務(wù)體驗(yàn)。由于其有效的應(yīng)用了智能混合技術(shù)，因此，其能夠?qū)崿F(xiàn)對(duì)各類(lèi)工作的動(dòng)態(tài)化管理、對(duì)內(nèi)存的合理計(jì)算分配以及對(duì)全方位的調(diào)度等，也就是說(shuō)其能夠通過(guò)對(duì)資源的最大化利用，以此來(lái)使預(yù)算能夠得到最大化的節(jié)省。

大數(shù)據(jù)運(yùn)維系統(tǒng)中，通過(guò)對(duì)大數(shù)據(jù)技術(shù)的基礎(chǔ)應(yīng)用，使各項(xiàng)運(yùn)維工作得到了全面的基本指標(biāo)，以此來(lái)實(shí)現(xiàn)對(duì)各服務(wù)器數(shù)據(jù)運(yùn)行的實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè)，并且，其對(duì)運(yùn)行日志的統(tǒng)一收集，能夠通過(guò)對(duì)各種非關(guān)系類(lèi)型數(shù)據(jù)庫(kù)的借助，實(shí)現(xiàn)對(duì)各項(xiàng)數(shù)據(jù)的多樣化保存。以此為基礎(chǔ)，在Hadoop數(shù)據(jù)集群中，統(tǒng)一輸入各項(xiàng)所收集到的數(shù)據(jù)，能夠?qū)崿F(xiàn)大數(shù)據(jù)技術(shù)對(duì)此類(lèi)收集數(shù)據(jù)的全方位離線(xiàn)分析，并且能夠?qū)崿F(xiàn)對(duì)相應(yīng)曲線(xiàn)圖的生成，此外，通過(guò)其與預(yù)先設(shè)定指標(biāo)數(shù)據(jù)的對(duì)比，在關(guān)聯(lián)監(jiān)控報(bào)警系統(tǒng)后，能夠?qū)崿F(xiàn)對(duì)目標(biāo)數(shù)據(jù)中心性能，以及可用性的實(shí)時(shí)監(jiān)測(cè)，并且，還需要對(duì)其發(fā)展趨勢(shì)進(jìn)行分析。根據(jù)以往數(shù)據(jù)以及算法，能夠使預(yù)算模型獲得相應(yīng)的應(yīng)用基礎(chǔ)，此外，需要根據(jù)運(yùn)行狀況和問(wèn)題，對(duì)未來(lái)的服務(wù)器發(fā)展進(jìn)行合理的預(yù)測(cè)，運(yùn)維人員根據(jù)所獲得的數(shù)據(jù)信息，能夠更好的對(duì)系統(tǒng)以及硬件資源，進(jìn)行提前遷移和調(diào)整[1]。

2信息系統(tǒng)運(yùn)維在現(xiàn)階段面臨的問(wèn)題

2.1監(jiān)控防護(hù)缺乏主動(dòng)性

根據(jù)總結(jié)以往對(duì)問(wèn)題的監(jiān)控有著以下流程：首先在問(wèn)題發(fā)生時(shí)，需要做好問(wèn)題位置的查找工作，并且需要告知運(yùn)維人員，運(yùn)維人員在接收到通知后，需要做好對(duì)問(wèn)題的解決。換句話(huà)說(shuō)，一旦系統(tǒng)發(fā)出了警報(bào)，就意味著發(fā)生了問(wèn)題，需要做好事后的控制工作，以及對(duì)其的管理。以此來(lái)方式進(jìn)行監(jiān)控，對(duì)運(yùn)維人員有著較高的素質(zhì)要求。主要是由于問(wèn)題無(wú)法得到預(yù)防，如果在問(wèn)題發(fā)生時(shí)無(wú)法在第一時(shí)間得到解決，就會(huì)造成十分嚴(yán)重的影響。

2.2傳統(tǒng)運(yùn)維方式與大數(shù)據(jù)環(huán)境無(wú)法適應(yīng)

指數(shù)增長(zhǎng)是數(shù)據(jù)在大環(huán)境下的特征之一，對(duì)以往運(yùn)維方式的采用，會(huì)導(dǎo)致海量數(shù)據(jù)無(wú)法得到利用，導(dǎo)致運(yùn)維工作無(wú)法得到有效的開(kāi)展。并且，以往運(yùn)維階段所采用的方式方法，管理人員以及業(yè)務(wù)人員，沒(méi)有對(duì)運(yùn)維數(shù)據(jù)進(jìn)行全方位的分析，以至于運(yùn)維人員無(wú)法通過(guò)運(yùn)維工作，對(duì)大量數(shù)據(jù)進(jìn)行有效針對(duì)的運(yùn)維[2]。

3大數(shù)據(jù)智能運(yùn)維系統(tǒng)功能設(shè)計(jì)分析

3.1智能警告

大數(shù)據(jù)技術(shù)以及智能技術(shù)在運(yùn)行系統(tǒng)中的應(yīng)用，能夠使其具有智能警告的功能，也就是說(shuō)，以監(jiān)控對(duì)象為基礎(chǔ)，根據(jù)其歷史數(shù)據(jù)以及日后的發(fā)展趨勢(shì)，采用統(tǒng)計(jì)學(xué)的應(yīng)用原理，通過(guò)大數(shù)據(jù)技術(shù)對(duì)其功能的分析，能夠根據(jù)最終的性能數(shù)據(jù)，實(shí)現(xiàn)對(duì)被監(jiān)控對(duì)象平穩(wěn)性的判斷。并且，還能夠根據(jù)業(yè)務(wù)形態(tài)以及時(shí)間范圍，實(shí)現(xiàn)對(duì)被監(jiān)控對(duì)象差異性，以及具體表現(xiàn)的判斷。最終根據(jù)動(dòng)態(tài)閾值，能夠在不同的時(shí)間點(diǎn)內(nèi)，實(shí)現(xiàn)對(duì)業(yè)務(wù)的實(shí)時(shí)監(jiān)測(cè)，通過(guò)對(duì)動(dòng)態(tài)閾值的借助，能夠使性能監(jiān)測(cè)機(jī)制得到強(qiáng)有力的建設(shè)，對(duì)以往的警告檢測(cè)進(jìn)行了極大的突破，在動(dòng)態(tài)性、實(shí)時(shí)監(jiān)督等方面具有一定的優(yōu)勢(shì)，通過(guò)此類(lèi)轉(zhuǎn)變，能夠使無(wú)法較高的出現(xiàn)得到盡可能的減少，以此來(lái)使用戶(hù)對(duì)系統(tǒng)異常性能的感知，能夠更加準(zhǔn)確。

3.2分析預(yù)測(cè)智能化

所謂的分析預(yù)測(cè)智能化，就是在服務(wù)器內(nèi)部通過(guò)對(duì)SMATR信息、syslog信息等不同類(lèi)型信息的基礎(chǔ)應(yīng)用，同時(shí)需要做好監(jiān)督工作，以及對(duì)各種示例的實(shí)習(xí)等，在場(chǎng)景特征中，通過(guò)對(duì)LR的借助或?qū)BDT模型的引入，能夠合理的對(duì)服務(wù)器內(nèi)部頻繁使用部件可能出現(xiàn)故障的概率和時(shí)間進(jìn)行預(yù)測(cè)，并且能夠通過(guò)對(duì)相應(yīng)措施的采取，實(shí)現(xiàn)對(duì)故障出現(xiàn)的預(yù)防，從整體上使IT架構(gòu)具備了更強(qiáng)的可用性。此外，針對(duì)產(chǎn)品和定制來(lái)說(shuō)，通過(guò)智能技術(shù)對(duì)標(biāo)準(zhǔn)容量的預(yù)測(cè)以及對(duì)方式的開(kāi)發(fā)，能夠?qū)崿F(xiàn)對(duì)動(dòng)態(tài)閾值、閾值趨勢(shì)以及瓶頸點(diǎn)的獲取、分析以及預(yù)測(cè)，需要以IT系統(tǒng)對(duì)容量的預(yù)測(cè)為基礎(chǔ)。此外，以定制開(kāi)發(fā)方式對(duì)流量的智能預(yù)測(cè)，能夠?yàn)閿?shù)據(jù)中心以及多冗余鏈路，提供一種全新的預(yù)測(cè)技術(shù)，以此來(lái)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)流量的針對(duì)性預(yù)測(cè)，能夠作為決策依據(jù)，為流量數(shù)據(jù)的調(diào)度工作提供支持[3]。

3.3根因定位智能化

從本質(zhì)上來(lái)說(shuō)，這一功能能夠?qū)崿F(xiàn)對(duì)系統(tǒng)故障源的定位，專(zhuān)家知識(shí)庫(kù)是其基礎(chǔ)功能，用于復(fù)雜場(chǎng)景下對(duì)IT故障源的定位。同時(shí)，所獲取到的故障源，能夠作為基礎(chǔ)，實(shí)現(xiàn)對(duì)故障影響范圍的計(jì)算，以及對(duì)故障的自動(dòng)化處理等。

3.4智能能耗管理

在進(jìn)行智能化管理的過(guò)程中，需要做好對(duì)服務(wù)器數(shù)據(jù)運(yùn)行能耗的全面采集，以集群和業(yè)務(wù)為基礎(chǔ)，做好對(duì)服務(wù)器歷史功耗數(shù)據(jù)以及對(duì)采集數(shù)據(jù)的對(duì)比分析，同時(shí)，需要根據(jù)業(yè)務(wù)機(jī)制，對(duì)云平臺(tái)進(jìn)行業(yè)務(wù)的調(diào)度，通過(guò)對(duì)用powercapping、powersaving等技術(shù)的使用，使系統(tǒng)功耗能夠從整體上得到優(yōu)化，實(shí)現(xiàn)對(duì)系統(tǒng)基礎(chǔ)運(yùn)行的穩(wěn)定保障，使其功耗能夠得到盡可能的減少。

4大數(shù)據(jù)智能運(yùn)維系統(tǒng)

從整體上來(lái)說(shuō)，采集器、數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)分析以及數(shù)據(jù)展示，是大數(shù)據(jù)智能運(yùn)維系統(tǒng)

的四大主要模塊，其有著不同的邏輯。這四個(gè)模塊能夠展示不同階段所采集到的數(shù)據(jù)。采集器模塊能夠使分布式采集有效的實(shí)現(xiàn)對(duì)目標(biāo)的達(dá)成，數(shù)據(jù)資源能夠作為基礎(chǔ)，實(shí)現(xiàn)對(duì)采集工作效率的提升，例如主機(jī)、虛擬機(jī)等數(shù)據(jù)能夠起到技術(shù)支撐作用。采集器模塊將所有節(jié)點(diǎn)在內(nèi)部的同一位置進(jìn)行了集中，只是采集任務(wù)的執(zhí)行方式有所不同，如果某個(gè)采集節(jié)點(diǎn)在其中的運(yùn)行出現(xiàn)了停止，控制中心就需要及時(shí)對(duì)其進(jìn)行監(jiān)測(cè)和確認(rèn)，然后需要由其他采集器負(fù)責(zé)采集本模塊的數(shù)據(jù)節(jié)點(diǎn)，以此來(lái)負(fù)責(zé)數(shù)據(jù)的采集，能夠具有連續(xù)性以及完整性。

綜上所述：相比以往的運(yùn)維系統(tǒng)來(lái)說(shuō)，大數(shù)據(jù)和智能技術(shù)在運(yùn)維系統(tǒng)中的應(yīng)用，使其具備了大規(guī)模數(shù)據(jù)搜索、快速處理以及大量業(yè)務(wù)開(kāi)展等能力，有著極為關(guān)鍵的作用，從整體架構(gòu)的角度來(lái)說(shuō)，信息系統(tǒng)在云系統(tǒng)以及分布式系統(tǒng)中得到了不斷的完善，受到此類(lèi)情況的影響，運(yùn)維系統(tǒng)需要通過(guò)主動(dòng)服務(wù)，實(shí)現(xiàn)對(duì)運(yùn)維效率的提升，并以此為基礎(chǔ)，使客戶(hù)能夠獲得更強(qiáng)的感知能力，是目前最為重要的問(wèn)題。

參考文獻(xiàn)

[1] 曹建軍.基于大數(shù)據(jù)的云計(jì)算中心智能運(yùn)維系統(tǒng)的研究[J].計(jì)算機(jī)產(chǎn)品與流通，2019（7）：150.

[2] 林剛.基于大數(shù)據(jù)云計(jì)算的鐵路智能運(yùn)維系統(tǒng)技術(shù)研究[J].鐵道通信信號(hào)，2019，55（5）：37-41.

[3]羅硯.基于大數(shù)據(jù)的信息系統(tǒng)運(yùn)維智能化研究[J].郵電設(shè)計(jì)技術(shù)，2018（3）：79-82.

收稿日期：2020-08-24

作者簡(jiǎn)介：李寧（1980—），女，山西晉中人，本科，工程師，研究方向：計(jì)算機(jī)技術(shù)應(yīng)用和系統(tǒng)運(yùn)維。

Design of big Data Intelligent Operation and Maintenance System Based on Cloud Computing

LI Ning，JIANG Ning-ning

（Unit 91001， Beijing? 100841）

Abstract： The intelligent operation and maintenance system effectively combines big data and cloud computing technology， which improves the operation and maintenance efficiency of it operation and maintenance services. The emerging big data intelligent operation and maintenance system can realize the real-time monitoring of the network and the analysis of big data as a whole. This paper takes big data technology as the center， and studies the intelligent operation and maintenance system from the aspects of design and application under the background of big data.

Keywords： cloud computing; big data; intelligent operation and maintenance system; design