基于云計(jì)算的大數(shù)據(jù)智能運(yùn)維系統(tǒng)設(shè)計(jì)方法初探

陳中元

（廣西民族大學(xué)相思湖學(xué)院 廣西 南寧 530008）

1 引言

在信息化時(shí)代，信息系統(tǒng)作用的大小將決定社會生產(chǎn)環(huán)節(jié)的快慢。而智能化運(yùn)維系統(tǒng)其實(shí)就是將大數(shù)據(jù)與云計(jì)算技術(shù)兩者進(jìn)行結(jié)合，并以此為基礎(chǔ)，這樣能夠有效地解決這種傳統(tǒng)模式下IT運(yùn)維服務(wù)的表現(xiàn)方式，在實(shí)際操作中就可以發(fā)揮大數(shù)據(jù)智能運(yùn)維系統(tǒng)對網(wǎng)絡(luò)實(shí)時(shí)監(jiān)控的有效性，同時(shí)其還具有對大數(shù)據(jù)進(jìn)行分析的能力。這就使其能夠從根源上發(fā)現(xiàn)問題并發(fā)出警報(bào)，隨后進(jìn)行自我調(diào)整，同時(shí)將各種危機(jī)狀況化險(xiǎn)為夷。

2 大數(shù)據(jù)智能運(yùn)維系統(tǒng)的技術(shù)操作原理

和傳統(tǒng)的運(yùn)維系統(tǒng)相比，這種將大數(shù)據(jù)和智能技術(shù)應(yīng)用在運(yùn)維系統(tǒng)中，就可以使其擁有對數(shù)據(jù)大規(guī)模進(jìn)行搜索、快速進(jìn)行處理以及大量開展業(yè)務(wù)等功能，使其起著非常關(guān)鍵性的作用。這種新型的大數(shù)據(jù)智能運(yùn)維系統(tǒng)，在傳統(tǒng)的自動化基礎(chǔ)上實(shí)現(xiàn)了智能化，使其在應(yīng)用過程中既減少了運(yùn)維資金，又能夠提高對客戶的服務(wù)質(zhì)量以及服務(wù)體驗(yàn)。由于其將智能混合技術(shù)合理地應(yīng)用，從而使其擁有了對各種工作進(jìn)行動態(tài)化的管理及對內(nèi)存的合理計(jì)算調(diào)節(jié)和全方位的調(diào)控等，用通俗的話來說，就是其可以將資源的利用達(dá)到最大化，從而節(jié)省對初期資金的預(yù)算[1]。

在大數(shù)據(jù)運(yùn)維系統(tǒng)中，只需要我們對大數(shù)據(jù)技術(shù)進(jìn)行簡單的基礎(chǔ)操作，就可以使各項(xiàng)運(yùn)維工作達(dá)到各方面的基本指標(biāo)，從而實(shí)現(xiàn)對每個(gè)服務(wù)器運(yùn)行的數(shù)據(jù)進(jìn)行實(shí)時(shí)動態(tài)管控。并且，其可以對運(yùn)行日志統(tǒng)一進(jìn)行收集，憑借著對不同非關(guān)系類型數(shù)據(jù)庫的有效借助，從而實(shí)現(xiàn)對各類數(shù)據(jù)進(jìn)行多樣化存儲的功能?；谶@項(xiàng)基礎(chǔ)，在Hadoop數(shù)據(jù)的集群當(dāng)中，同一時(shí)間輸入每項(xiàng)所收集到的數(shù)據(jù)情況，就能夠使大數(shù)據(jù)技術(shù)對這些收集到的數(shù)據(jù)情況進(jìn)行全方位的離線分析，并且同時(shí)生成相應(yīng)數(shù)據(jù)的曲線圖。另外，可以將其和預(yù)先設(shè)定的相關(guān)數(shù)據(jù)做對比，在與監(jiān)控報(bào)警系統(tǒng)進(jìn)行合理關(guān)聯(lián)后，就能夠?qū)崿F(xiàn)對目標(biāo)數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)控，除此之外，還需要根據(jù)時(shí)代的發(fā)展趨勢進(jìn)行有效分析?？梢愿鶕?jù)之前收集到的有關(guān)數(shù)據(jù)和算法，就能夠使預(yù)算模型獲取相應(yīng)的應(yīng)用基礎(chǔ)。此外，還需要觀察其運(yùn)行狀況，從而合理地對未來服務(wù)器進(jìn)行預(yù)測，運(yùn)維人員可以針對這些所獲得的數(shù)據(jù)信息，從而提前對系統(tǒng)及硬件進(jìn)行調(diào)整以及遷移。

3 現(xiàn)階段信息系統(tǒng)運(yùn)維存在的問題

就現(xiàn)如今的信息系統(tǒng)運(yùn)維來看，將面臨著一個(gè)新的巨大挑戰(zhàn)——云計(jì)算技術(shù)。云計(jì)算技術(shù)在應(yīng)用過程中，通常會以能量分散、管理集中的方式進(jìn)行，從而就會對信息系統(tǒng)的整體架構(gòu)以及運(yùn)營模式產(chǎn)生巨大的影響。然而，對于傳統(tǒng)運(yùn)維系統(tǒng)來說，想要把虛擬技術(shù)作為核心是一個(gè)巨大的挑戰(zhàn)，這主要是因?yàn)槿粝胱屵\(yùn)維系統(tǒng)能夠正常地運(yùn)轉(zhuǎn)，只運(yùn)用傳統(tǒng)的監(jiān)控以及數(shù)據(jù)分析是遠(yuǎn)遠(yuǎn)不足的[2]。從根本上來講，其主要存在著以下兩方面的問題。

3.1 監(jiān)控防護(hù)處于被動趨勢

在傳統(tǒng)的監(jiān)控防護(hù)中，大多數(shù)監(jiān)控都是按照發(fā)生問題-發(fā)現(xiàn)問題的位置-通告運(yùn)維人員-運(yùn)維人員處理問題的流程進(jìn)行的。換句話來說，就是當(dāng)出現(xiàn)了預(yù)警的聲音，就代表監(jiān)控的相關(guān)工作人員已經(jīng)發(fā)現(xiàn)了問題所在，這時(shí)候就需要將這個(gè)信息進(jìn)行傳遞，合理展開控制和管理等相關(guān)工作。當(dāng)然，能夠在這種環(huán)境工作的相關(guān)運(yùn)維人員，其自身的專業(yè)素質(zhì)也都是非常高的。因?yàn)椋羝渥陨韺I(yè)素質(zhì)過低，發(fā)生問題的時(shí)候，就不能在第一時(shí)間找到問題根源，那么帶來的后果是不可估量的。

3.2 傳統(tǒng)運(yùn)維手段與大數(shù)據(jù)環(huán)境有一定沖突

在大數(shù)據(jù)的環(huán)境中，指數(shù)式增長就是其數(shù)據(jù)特征之一。在海量的數(shù)據(jù)面前，頻繁地運(yùn)用相對傳統(tǒng)的運(yùn)維手段，這樣就易發(fā)生在工作當(dāng)中出現(xiàn)死角的現(xiàn)象，既降低工作效率又沒能確保運(yùn)維工作是否能夠正常完成。與此同時(shí)，在傳統(tǒng)的運(yùn)維模式當(dāng)中，沒有對管理人員以及業(yè)務(wù)人員進(jìn)行多維度分析相關(guān)數(shù)據(jù)的工具配備，從而使這些運(yùn)維人員無法針對這些大量的運(yùn)維數(shù)據(jù)，合理開展運(yùn)維方面的相關(guān)工作，從而導(dǎo)致問題沒能在第一時(shí)間得到有效處理，造成巨大的損失。

4 大數(shù)據(jù)智能運(yùn)維系統(tǒng)功能設(shè)計(jì)具體分析

4.1 智能預(yù)警

大數(shù)據(jù)智能運(yùn)維系統(tǒng)其智能預(yù)警功能就是把監(jiān)控對象的歷史數(shù)據(jù)以及此對象的走勢作為基礎(chǔ)，對統(tǒng)計(jì)學(xué)原理基礎(chǔ)充分利用，對被監(jiān)控對象使用大數(shù)據(jù)技術(shù)進(jìn)行詳細(xì)的了解并分析，從而可以有效地對被監(jiān)控對象的平穩(wěn)性做出準(zhǔn)確的判斷。同時(shí)，其還可以對業(yè)務(wù)形態(tài)和時(shí)間范圍進(jìn)行查看并分析，從而知道被監(jiān)控對象之間存在的差異性。最終形成一個(gè)動態(tài)閾值，在不同的時(shí)間對業(yè)務(wù)進(jìn)行實(shí)時(shí)勘測，通過利用這種動態(tài)閾值，就可以使性能監(jiān)測機(jī)制得到進(jìn)一步的提升，對傳統(tǒng)的預(yù)警監(jiān)測進(jìn)行改良，從而使其在動態(tài)上以及實(shí)時(shí)勘測上有著明顯的優(yōu)勢。這樣一來，無效預(yù)警的出現(xiàn)概率就會大幅度降低，從而就可以使用戶更精確地感知系統(tǒng)中的性能是否存在異常狀況。

4.2 分析預(yù)測智能化

分析預(yù)測智能化，用通俗的話來說，就是在服務(wù)器當(dāng)中對SAMATR信息和sysolg信息等一些不相同的信息進(jìn)行基礎(chǔ)應(yīng)用。與此同時(shí)，還應(yīng)當(dāng)做好相關(guān)的監(jiān)督工作和對各種例子的模擬等。在進(jìn)行一些特殊的場景時(shí)，若能夠?qū)BDT模型合理地引入或者借助LR，這樣就能夠有效地對服務(wù)器內(nèi)部反復(fù)使用多次的部件出現(xiàn)故障的概率預(yù)測以及出現(xiàn)該故障的具體時(shí)間進(jìn)行準(zhǔn)確的，同時(shí)會采用相對應(yīng)的措施，有效地對故障做出預(yù)防，從整體上來看，增強(qiáng)了IT架構(gòu)的時(shí)效性以及可用性。另外，就產(chǎn)品和定制而言，利用智能技術(shù)對產(chǎn)品標(biāo)準(zhǔn)的準(zhǔn)確預(yù)測及對方式的開發(fā)，能夠?qū)討B(tài)閾值、瓶頸點(diǎn)獲取進(jìn)行預(yù)測及分析，這些都是需要以IT系統(tǒng)能夠準(zhǔn)確對容量進(jìn)行預(yù)測為基礎(chǔ)。除此，通過智能預(yù)測對方式的定制開發(fā)的使用，就可以通過針對數(shù)據(jù)中心以及其余鏈路設(shè)計(jì)出一種全新的預(yù)測技術(shù)，從而對網(wǎng)絡(luò)流量實(shí)現(xiàn)針對性地預(yù)測，將其快速地作為決策依據(jù)，進(jìn)而為流量數(shù)據(jù)的調(diào)度工作提供有效幫助。

4.3 根因定位智能化

根因定位智能化其實(shí)就是根據(jù)故障發(fā)生的原因，從而對發(fā)生故障的地方進(jìn)行精確定位，該功能的工作原理就是將專家知識庫作為基礎(chǔ)，該功能通常會應(yīng)用在相對困難的IT故障場景之中。與此同時(shí)，該功能也還可以對故障發(fā)生的位置做一些基礎(chǔ)的運(yùn)算，可以有效算出該故障地方所影響的范圍以及對故障進(jìn)行自動化修理的功能。

4.4 能耗智能化管控

在能耗的智能化管控過程中，就需要對服務(wù)器數(shù)據(jù)以及運(yùn)行的能耗進(jìn)行全方位的采集，將集群和業(yè)務(wù)作為基礎(chǔ)，通過歷史數(shù)據(jù)的比對分析服務(wù)器的能耗狀況，同時(shí)與云平臺的業(yè)務(wù)調(diào)度機(jī)制相結(jié)合，通過使用powercapping、powersaving等相關(guān)的技術(shù)，從而使業(yè)務(wù)系統(tǒng)能耗得到明顯的優(yōu)化，進(jìn)而使其能耗最大化減少的同時(shí)又保障了其系統(tǒng)正常的運(yùn)轉(zhuǎn)。

5 大數(shù)據(jù)智能運(yùn)維系統(tǒng)的技術(shù)架構(gòu)分析

5.1 采集器模塊

從大數(shù)據(jù)智能運(yùn)維系統(tǒng)的整體來看，其主要包含著四大邏輯性各不相同的模塊，分別是采集器、存儲數(shù)據(jù)、對數(shù)據(jù)進(jìn)行分析以及展示數(shù)據(jù)的模塊。這4個(gè)模塊表示著從開始直至展示的過程，其中所謂的采集器模塊就非常高效地運(yùn)用分布式來實(shí)現(xiàn)數(shù)據(jù)動態(tài)化進(jìn)行采集目標(biāo)的，這種采集目標(biāo)的方法在保障對數(shù)據(jù)資源高效采集的同時(shí)，又可以切實(shí)保障相關(guān)任務(wù)的完成效率。比如，主機(jī)、虛擬機(jī)、存儲和網(wǎng)絡(luò)等相關(guān)的數(shù)據(jù)都可以利用此技術(shù)進(jìn)行采集。當(dāng)然，在采集器當(dāng)中，所有的節(jié)點(diǎn)的地位也都是平級的，只是在執(zhí)行相關(guān)采集任務(wù)的時(shí)候會有所不同。當(dāng)其中的某一項(xiàng)功能出現(xiàn)故障，導(dǎo)致停止運(yùn)轉(zhuǎn)，那么控制中心就會像我們?nèi)松眢w中的白細(xì)胞受到指揮時(shí)的情形一樣，第一時(shí)間去查看發(fā)生事故的根本原因，隨后，控制中心就會將出現(xiàn)故障地方的相關(guān)采集任務(wù)分配給其他節(jié)點(diǎn)，從而減少數(shù)據(jù)采集過程中受到的干擾，以保證其完整性[3]。

5.2 數(shù)據(jù)存儲模塊

大部分的系統(tǒng)當(dāng)中都會有兩大數(shù)據(jù)模塊，他們就是擁有結(jié)構(gòu)化的MYSQL數(shù)據(jù)庫和沒有結(jié)構(gòu)化的MongoDB數(shù)據(jù)庫。其中，擁有結(jié)構(gòu)化的MYSQL數(shù)據(jù)庫擁有相對較強(qiáng)的穩(wěn)定性以及數(shù)據(jù)總量并不是非常龐大的特點(diǎn)。而沒有擁有結(jié)構(gòu)化的MobgoDB數(shù)據(jù)庫主要擁有較好的更新頻率以及實(shí)時(shí)性，并且它的數(shù)據(jù)結(jié)構(gòu)相對來說較為簡單。將這兩種數(shù)據(jù)庫合理地應(yīng)用，那么若想存儲系統(tǒng)內(nèi)全部的數(shù)據(jù)類型也不再是特別困難的事。

5.3 數(shù)據(jù)分析模塊

在大數(shù)據(jù)智能運(yùn)維系統(tǒng)的運(yùn)行中，數(shù)據(jù)分析模塊在其中起到的作用是非常重要的，其主要的功能就是對收集到的數(shù)據(jù)快速匹配相對應(yīng)的任務(wù)進(jìn)行分析，檢測此項(xiàng)數(shù)據(jù)完成的是否合格，將檢測合格的數(shù)據(jù)用最快的速度存儲在數(shù)據(jù)庫內(nèi)部，從而降低計(jì)算機(jī)重復(fù)計(jì)算相同數(shù)據(jù)任務(wù)的概率。

5.4 展示模塊

展示模塊其實(shí)就是在我們運(yùn)用圖表工具的基礎(chǔ)上，根據(jù)所收集到的相關(guān)信息做出圖形化處理的方式，將那些抽象的運(yùn)維數(shù)據(jù)用直觀的數(shù)據(jù)圖進(jìn)行展示，隨后將這些直觀的數(shù)據(jù)圖給相關(guān)操作人員進(jìn)行查看，操作人員根據(jù)數(shù)據(jù)圖很快就能夠看出其運(yùn)行狀況以及對應(yīng)的相關(guān)結(jié)果，進(jìn)而就可以提高工作效率。

6 結(jié)語

綜上所述，在當(dāng)今這個(gè)時(shí)代，隨著大數(shù)據(jù)、人工智能、云計(jì)算等技術(shù)的迅速發(fā)展，許多企業(yè)也開始跟隨時(shí)代的步伐，把智能運(yùn)維系統(tǒng)的建立作為企業(yè)的發(fā)展方向，這源于智能化運(yùn)維系統(tǒng)的便捷以及對各項(xiàng)業(yè)務(wù)的效率有著促進(jìn)作用的緣故。與此同時(shí)，智能運(yùn)維系統(tǒng)擁有著強(qiáng)大的技術(shù)基礎(chǔ)，當(dāng)我們在處理運(yùn)維系統(tǒng)中一些較為困難的問題時(shí)，可以為我們提供一條全新的解決思路。