基于大數(shù)據(jù)應(yīng)用的虛擬化云平臺(tái)建設(shè)方法研究

◆劉磊

基于大數(shù)據(jù)應(yīng)用的虛擬化云平臺(tái)建設(shè)方法研究

◆劉磊

（江西工業(yè)職業(yè)技術(shù)學(xué)院 江西 330096）

在建設(shè)虛擬化云平臺(tái)時(shí)，將大數(shù)據(jù)技術(shù)應(yīng)用其中，能夠?qū)τ谔摂M化技術(shù)的應(yīng)用進(jìn)行優(yōu)化，在融入了大數(shù)據(jù)技術(shù)后，能夠有效地對(duì)數(shù)據(jù)中心底層資源進(jìn)行利用，進(jìn)而能夠?qū)⒋鎯?chǔ)資源、網(wǎng)絡(luò)資源、計(jì)算資源應(yīng)用的價(jià)值發(fā)揮出來(lái)，確保云平臺(tái)的穩(wěn)定性。在該理念下建立的虛擬化平臺(tái)可以將系統(tǒng)資源有效利用，原理是將平臺(tái)節(jié)點(diǎn)以及應(yīng)用功能集成在同個(gè)服務(wù)器中，大大降低了資源沖突?；诖?，本文主要研究了基于大數(shù)據(jù)技術(shù)的虛擬化云平臺(tái)建設(shè)的方法。

大數(shù)據(jù)；虛擬化；云平臺(tái)

大數(shù)據(jù)技術(shù)發(fā)展在一定程度上為虛擬化技術(shù)應(yīng)用提供了技術(shù)支撐，通過(guò)虛擬化技術(shù)，對(duì)以大數(shù)據(jù)技術(shù)為基礎(chǔ)的數(shù)據(jù)中心資源進(jìn)行管理能夠提升資源的利用效率，進(jìn)而使得平臺(tái)的存儲(chǔ)資源、網(wǎng)絡(luò)資源以及計(jì)算資源應(yīng)有的價(jià)值發(fā)揮，進(jìn)而將數(shù)據(jù)中心應(yīng)發(fā)揮出的性能發(fā)揮出來(lái)，使得大數(shù)據(jù)框架下的數(shù)據(jù)底層環(huán)境得到優(yōu)化，提升數(shù)據(jù)應(yīng)用價(jià)值。

1 云平臺(tái)介紹

硬件服務(wù)器為云平臺(tái)軟件提供了運(yùn)行的環(huán)境，借助于虛擬化技術(shù)，能夠?qū)Ψ植嫉姆?wù)器進(jìn)行虛擬模擬，構(gòu)建出模擬的存儲(chǔ)資源池以及計(jì)算資源池。資源池能夠提供更多的虛擬計(jì)算機(jī)，借助于云平臺(tái)軟件能夠?qū)@些虛擬計(jì)算進(jìn)行統(tǒng)一管理，進(jìn)而將數(shù)據(jù)資源利用率提升。

2 云平臺(tái)架構(gòu)

2.1 虛擬機(jī)

2.1.1發(fā)放

在發(fā)放虛擬機(jī)時(shí)，可以發(fā)放裸虛擬機(jī)，然后對(duì)其進(jìn)行完整復(fù)制，最后將虛擬機(jī)鏈接克隆出來(lái)即可。平臺(tái)具備單個(gè)虛擬機(jī)發(fā)放以及多個(gè)虛擬機(jī)發(fā)放的功能。能夠通過(guò)批量創(chuàng)建而獲得的虛擬機(jī)主要包括了用戶盤以及系統(tǒng)盤兩種。

2.1.2管理

在管理模塊中，能夠全面虛擬機(jī)進(jìn)行管理，主要包括了啟動(dòng)/喚醒、關(guān)閉、重啟、刪除、休眠、分配等基礎(chǔ)功能，以及強(qiáng)制重啟與關(guān)閉、用戶追加與刪除、安全刪除、調(diào)整虛擬機(jī)、虛擬機(jī)鏈接克隆等高級(jí)操作。在進(jìn)行虛擬機(jī)構(gòu)建過(guò)程中，能夠采用指定IP虛擬機(jī)建設(shè)的方案，也可以在獲取虛擬機(jī)的同時(shí)兼容DHCP。其次，在虛擬機(jī)的功能中，包含了業(yè)務(wù)類型的選擇與描述。在鏈接克隆虛擬過(guò)程中可以借助于一鍵式還原對(duì)其進(jìn)行還原，使得虛擬機(jī)系統(tǒng)被強(qiáng)制恢復(fù)到起始的狀態(tài)。此外，通過(guò)安全刪除功能能夠?qū)崿F(xiàn)刪除虛擬機(jī)的目的，不過(guò)此時(shí)磁盤空間并不可以馬上得到應(yīng)用，需要通過(guò)后臺(tái)清理功能對(duì)磁盤空間格式化處理，在進(jìn)行完磁盤空間格式化后磁盤存儲(chǔ)空間得到釋放。

2.1.3機(jī)組管理

對(duì)于各虛擬機(jī)的管理主要以虛擬機(jī)組劃分的形式實(shí)行科學(xué)管理。這部分功能主要為虛擬機(jī)組提供多項(xiàng)服務(wù)，主要有創(chuàng)建、刪除、編輯、添加、更新等各項(xiàng)服務(wù)內(nèi)容。

2.1.4模板與鏡像

云平臺(tái)的一項(xiàng)功能是提供虛擬機(jī)模板服務(wù)，主要包括創(chuàng)建、刪除、修改、查看等幾項(xiàng)主要的功能。此外，虛擬機(jī)模板參數(shù)的組成結(jié)構(gòu)主要有內(nèi)存、CPU、系統(tǒng)磁盤、虛擬機(jī)、QoS鏡像、服務(wù)等各項(xiàng)內(nèi)容。

2.2 資源管理

在云平臺(tái)中采用統(tǒng)一資源管理的形式實(shí)現(xiàn)管理，這種管理方式主要對(duì)管轄范圍機(jī)架、存儲(chǔ)設(shè)備、服務(wù)器以及交換機(jī)等物理設(shè)備進(jìn)行組網(wǎng)。支持通過(guò)池化管理進(jìn)行管理物理設(shè)備，為應(yīng)用管理提供管理功能。其次，在基礎(chǔ)設(shè)施虛擬化中主要以手工導(dǎo)入的形式對(duì)與之關(guān)聯(lián)的物理設(shè)備進(jìn)行導(dǎo)入，進(jìn)一步管理服務(wù)器、交換機(jī)、存儲(chǔ)設(shè)備等。在池化管理過(guò)程中，能夠確保上層業(yè)務(wù)系統(tǒng)穩(wěn)定地運(yùn)行，進(jìn)而將物理設(shè)備進(jìn)行差異化特征屏蔽。第三，通過(guò)虛擬化資源管理的形式能夠?qū)Σ煌摂M資源進(jìn)行統(tǒng)一的管理，主要管理目標(biāo)是虛擬網(wǎng)絡(luò)資源、虛擬機(jī)資源以及虛擬存儲(chǔ)資源等。借助資源池開展管理工作，能夠?qū)⒒A(chǔ)設(shè)施資源的作用更好地發(fā)揮出來(lái)，為其提供更為高效的虛擬化管理能力，進(jìn)而為上層應(yīng)用提供穩(wěn)定的屏蔽能力。進(jìn)行虛擬資源集中管理能夠極大地將管理效率提升，將平臺(tái)的運(yùn)維成本降低。此外，借助于插件機(jī)制能夠使得虛擬化系統(tǒng)與硬件設(shè)備得到有效對(duì)接，從而優(yōu)化云平臺(tái)性能。

2.2.1物理資源管理

在資源管理功能中，系統(tǒng)可以將服務(wù)器配置信息收集，然后通過(guò)分析信息對(duì)服務(wù)器進(jìn)行動(dòng)態(tài)地監(jiān)控。主要的監(jiān)控內(nèi)容有CPU占用率、網(wǎng)絡(luò)流出與流入、內(nèi)存占用率、磁盤IO寫人與讀出等，根據(jù)使用者的需求可以自定義設(shè)計(jì)監(jiān)控時(shí)段。其次，在服務(wù)器設(shè)備管理中主要包含了上下電、安全重啟與下電、維護(hù)模式的進(jìn)出等。通過(guò)相應(yīng)的網(wǎng)絡(luò)設(shè)備管理可以將交換機(jī)配置信息收集，在屏幕上可以將交換機(jī)端口狀態(tài)信息顯示出來(lái)，狀態(tài)信息主要有連接裝填、接收速率、發(fā)送狀態(tài)、發(fā)送、信息錯(cuò)誤率等。此外，平臺(tái)能夠管理本系統(tǒng)網(wǎng)絡(luò)模式，并對(duì)本系統(tǒng)網(wǎng)絡(luò)配置進(jìn)行集中調(diào)度。存儲(chǔ)設(shè)備管理的主要功能是發(fā)現(xiàn)存儲(chǔ)設(shè)備，然后對(duì)存儲(chǔ)設(shè)備信息進(jìn)行檢查，主要有存儲(chǔ)設(shè)備位置、管理IP地址、產(chǎn)品型號(hào)、磁盤數(shù)量狀態(tài)等。同時(shí)能夠?qū)Υ鎯?chǔ)設(shè)備容量進(jìn)行查詢，為使用者提供存儲(chǔ)服務(wù)。

2.2.2虛擬資源管理

在平臺(tái)的功能中包含了虛擬化資源管理，這項(xiàng)功能能夠?qū)W(wǎng)絡(luò)虛擬化、計(jì)算虛擬化、存儲(chǔ)虛擬化開展實(shí)時(shí)監(jiān)控管理。其次，平臺(tái)功能還包含了虛擬機(jī)生命周期管理，操作者可以通過(guò)管理軟件創(chuàng)建、銷毀虛擬機(jī)，而在虛擬機(jī)管理中，啟動(dòng)、重啟、修復(fù)、關(guān)閉、快照、遷移、調(diào)整、監(jiān)控等是主要的內(nèi)容。第三，在虛擬化網(wǎng)絡(luò)管理中，主要目的是對(duì)虛擬交換機(jī)子網(wǎng)系統(tǒng)進(jìn)行管理。通常情況下，虛擬網(wǎng)絡(luò)對(duì)于PortGroup與DVS形成對(duì)應(yīng)的關(guān)系。此外，在分布式虛擬交換機(jī)中，操作人員能夠通過(guò)應(yīng)用系統(tǒng)管理多臺(tái)主機(jī)鏈路與端口。在VLAN、子網(wǎng)、VxLAN管理中應(yīng)用效果明顯。而且能夠設(shè)置端口組、上限帶寬、DHCP隔離以及優(yōu)先級(jí)等內(nèi)容。在虛擬化存儲(chǔ)管理中，能夠?qū)崿F(xiàn)FC SAN.NAS、IP SAN等資源的高效管理，結(jié)合將相關(guān)數(shù)據(jù)存儲(chǔ)有序地發(fā)送至資源集群供相關(guān)系統(tǒng)使用。系統(tǒng)能夠不斷為存儲(chǔ)資源提供相應(yīng)的數(shù)據(jù)，而且也可以刪除數(shù)據(jù)，對(duì)于已有數(shù)據(jù)能夠開展存儲(chǔ)擴(kuò)容處理，可以為多級(jí)存儲(chǔ)提供穩(wěn)定環(huán)境。

2.3 監(jiān)控管理

在云平臺(tái)中，監(jiān)控管理功能主要是監(jiān)控計(jì)算集群、虛擬機(jī)、存儲(chǔ)、計(jì)算服務(wù)器、交換機(jī)等。監(jiān)控信息主要涵蓋了CPU平均占用率、虛擬機(jī)CPU分配、存儲(chǔ)平均占用率、存儲(chǔ)資源分配、內(nèi)存平均占用率、故障服務(wù)器數(shù)量、虛擬內(nèi)存分配等。其次，虛擬機(jī)監(jiān)控主要涵蓋了虛擬機(jī)CPU占用率、磁盤讀寫次數(shù)、內(nèi)存占用率、網(wǎng)絡(luò)流入流出等。第三，在網(wǎng)絡(luò)交換機(jī)監(jiān)控中，主要是對(duì)信息流入流出、端口數(shù)據(jù)流量以及信息狀態(tài)等進(jìn)行集中的監(jiān)控。最后，在存儲(chǔ)監(jiān)控內(nèi)容中，主要涉及了已分配容量、總?cè)萘?、?shí)際可用容量這些內(nèi)容的監(jiān)控。

2.4 報(bào)警管理

在云平臺(tái)的功能組成中，報(bào)警管理十分重要，該項(xiàng)功能主要是通過(guò)報(bào)警管理系統(tǒng)為憑條提供故障監(jiān)控警報(bào)，如果平臺(tái)的服務(wù)器、交換機(jī)、存儲(chǔ)等硬件系統(tǒng)以及虛擬機(jī)和虛擬化平臺(tái)等軟件系統(tǒng)出現(xiàn)故障，那么報(bào)警系統(tǒng)則在監(jiān)控到異常信息后給出警告，并將異常信息發(fā)送給控制中心。

2.4.1故障預(yù)防

在進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)，需要將設(shè)備部件故障處理功能考慮在內(nèi)，進(jìn)而使得這些故障無(wú)法對(duì)系統(tǒng)正常運(yùn)行產(chǎn)生不良的影響，確保相關(guān)業(yè)務(wù)能夠正常開展下去，這可以將故障危害大大降低。在這部分功能設(shè)計(jì)中，主要涵蓋了系統(tǒng)數(shù)據(jù)自動(dòng)備份功能以及用戶數(shù)據(jù)備份功能。此外，虛擬機(jī)快照、HA、遷移、存儲(chǔ)等功能也是其中的部分功能。在進(jìn)行故障處理過(guò)程中，系統(tǒng)能夠自動(dòng)隔離故障服務(wù)器，這樣能夠有效地防止業(yè)務(wù)消息進(jìn)入到易發(fā)生故障的服務(wù)器中，對(duì)業(yè)務(wù)辦理造成影響。

2.4.2故障處理

在平臺(tái)系統(tǒng)接收到相關(guān)故障后，系統(tǒng)能夠自動(dòng)識(shí)別并分析這些故障信息，然后將故障信息發(fā)送給控制中心，并做出報(bào)警處理。報(bào)警管理的主要對(duì)象是虛擬機(jī)以及硬件設(shè)備。而對(duì)于告警級(jí)別則可以根據(jù)使用者需求進(jìn)行設(shè)計(jì)，不過(guò)多以四級(jí)報(bào)警為主，而且不同程度的報(bào)警所采取的形式也不同，主要以不同報(bào)警聲光對(duì)各類問(wèn)題進(jìn)行通知，用戶可以在云系統(tǒng)中對(duì)報(bào)警進(jìn)行設(shè)置，然后平臺(tái)能夠在接收到聲音、顏色后做出具體的反應(yīng)，這樣維護(hù)人員就能夠知道相關(guān)問(wèn)題。

2.5 拓?fù)涔芾?/h3>

借助于拓?fù)涔芾砟軌蚪o用戶創(chuàng)造可視化界面，用戶能夠在界面中將全系統(tǒng)信息資源獲取，此時(shí)管理員無(wú)需進(jìn)行手動(dòng)處理。拓?fù)鋱D主要由三個(gè)層次組成：集群視圖、物理資源視圖、應(yīng)用視圖。用戶借助于拓?fù)湟晥D能夠?qū)ξ锢碛布Y源進(jìn)行查看，之后則能夠?qū)⑻摂M機(jī)資源視圖應(yīng)用，與此同時(shí)也能夠了解虛擬邏輯視圖。用戶能夠輕松地將硬件資源、虛擬機(jī)屬性以及應(yīng)用部署情況等信息獲取。拓?fù)涔?jié)點(diǎn)通常都是連接在告警中心中，能夠?qū)?duì)象狀態(tài)實(shí)時(shí)地呈現(xiàn)出來(lái)，進(jìn)而為管理人員提供管理依據(jù)，及時(shí)調(diào)整系統(tǒng)，使得系統(tǒng)性能維持在較高水平。

2.6 日志管理

在系統(tǒng)日志管理功能中，主要涵蓋了日志記錄、審計(jì)以及查看等功能。系統(tǒng)可為用戶提供日志訪問(wèn)、操作、運(yùn)行、黑匣子等各項(xiàng)附加功能。實(shí)際上，用戶在進(jìn)行日志訪問(wèn)是實(shí)質(zhì)上是對(duì)虛擬桌面日志進(jìn)行訪問(wèn)。這項(xiàng)操作涵蓋了虛擬機(jī)登錄、重啟、關(guān)閉等各項(xiàng)基礎(chǔ)功能。操作日志的作用是為管理員訪問(wèn)平臺(tái)提供基本的依據(jù)，這項(xiàng)工程也稱作是管理員日志，系統(tǒng)可以將管理員的操作，如登錄、修改等記錄下來(lái)，并將操作時(shí)間與內(nèi)容儲(chǔ)存。操作日志內(nèi)容則主要涵蓋了用戶操作、用戶IP、操作類型、操作時(shí)間、詳細(xì)信息、操作結(jié)果等多項(xiàng)操作內(nèi)容。運(yùn)行日志的主要作用是將各業(yè)務(wù)節(jié)點(diǎn)情況詳細(xì)地記錄下來(lái)。系統(tǒng)還具有運(yùn)行日志加密作用，可以全面為日志安全運(yùn)行提供保障。此外，黑匣子日志的主要作用是定位系統(tǒng)故障，幫助維護(hù)人員查明故障成因。

2.7 平臺(tái)監(jiān)控

在系統(tǒng)功能中，平臺(tái)監(jiān)控能夠?qū)ο到y(tǒng)運(yùn)行狀態(tài)以及集群負(fù)載扥管內(nèi)容進(jìn)行動(dòng)態(tài)地監(jiān)控，這對(duì)于系統(tǒng)對(duì)硬件故障進(jìn)行自動(dòng)檢測(cè)并自動(dòng)恢復(fù)相應(yīng)功能起到了關(guān)鍵作用。關(guān)鍵狀態(tài)監(jiān)控主要涵蓋了CPU占用率以及內(nèi)存占用率等兩項(xiàng)基本的功能。在監(jiān)控過(guò)程中，能夠?qū)Πl(fā)任務(wù)數(shù)、待執(zhí)行任務(wù)數(shù)以及完成任務(wù)數(shù)進(jìn)行記錄，然后將數(shù)據(jù)副本數(shù)整理出來(lái)。系統(tǒng)還能夠?qū)ぷ鞴?jié)點(diǎn)數(shù)進(jìn)行監(jiān)控，對(duì)系統(tǒng)數(shù)據(jù)磁盤占用量進(jìn)行記錄，如果在監(jiān)視過(guò)程中出現(xiàn)異常狀態(tài)，則可以將檢測(cè)的數(shù)據(jù)發(fā)送，此時(shí)系統(tǒng)在啟動(dòng)時(shí)則能夠自動(dòng)將硬件狀態(tài)調(diào)整到正常運(yùn)行水平。

總而言之，本文主要研究了在應(yīng)用大數(shù)據(jù)基礎(chǔ)上構(gòu)建虛擬化云平臺(tái)的主要方式，詳細(xì)地分析了云平臺(tái)從系統(tǒng)架構(gòu)以及各項(xiàng)管理、檢測(cè)功能的構(gòu)建，可以使得大數(shù)據(jù)應(yīng)用底層環(huán)境變得更加穩(wěn)定，進(jìn)而實(shí)現(xiàn)云平臺(tái)優(yōu)化的目標(biāo)。

[1]董連.高職軟件技術(shù)專業(yè)教學(xué)資源庫(kù)云平臺(tái)的校際共享的研究與實(shí)踐[J].軟件，2019，34（7）：7-8.

[2]李潔.云平臺(tái)SDN關(guān)鍵技術(shù)的研究與展望[J].軟件，2019，36（7）：71-74.

[3]肖揚(yáng)，于艷華.基于IaaS云平臺(tái)的應(yīng)用性能管理研究與應(yīng)用印[J].軟件，2019，34（12）：41-245.

[4]羅偉雄，劉嵐，時(shí)東曉，曾紀(jì)霞.基于數(shù)據(jù)虛擬化技術(shù)的大數(shù)據(jù)資源中心建設(shè)[J].軟件，2019，38（7）：19-23.

虛擬仿真大數(shù)據(jù)云平臺(tái)項(xiàng)目（類型：一般項(xiàng)目，編號(hào)：GJJ181336）