虛擬化平臺管理系統(tǒng)在廣電監(jiān)測中的應用

梁宏宇 江蘇省廣播電視監(jiān)測臺

虛擬化平臺管理系統(tǒng)在廣電監(jiān)測中的應用

梁宏宇 江蘇省廣播電視監(jiān)測臺

本文結(jié)合江蘇省廣播電視監(jiān)測臺虛擬化平臺管理系統(tǒng)選型測試工作，對虛擬化環(huán)境、管理系統(tǒng)功能需求及其測試樣例進行了詳細闡述。

虛擬化平臺 管理系統(tǒng) 廣播電視 監(jiān)測

一、引言

隨著廣播電視監(jiān)測業(yè)務覆蓋范圍逐漸擴大，江蘇省廣播電視監(jiān)測臺(以下簡稱我臺)陸續(xù)新建了多個監(jiān)測系統(tǒng)，分別承擔對有線、無線、衛(wèi)星、互聯(lián)網(wǎng)多方向的監(jiān)測業(yè)務，然而各個系統(tǒng)獨立提供監(jiān)測服務，系統(tǒng)與系統(tǒng)之間并不能夠連接。這樣的弊端比較明顯，硬件資源不能夠充分利用，有的系統(tǒng)忙，有的系統(tǒng)閑，每個系統(tǒng)使用一套自己的網(wǎng)絡，獨立配置存儲，同時維護人員的工作量不斷攀升。為了解決原有系統(tǒng)的弊端，我臺啟動了虛擬化計算平臺項目，利用虛擬化計算的方式集成整合現(xiàn)有的計算、網(wǎng)絡和存儲資源，建設(shè)統(tǒng)一的虛擬化平臺，將各個分散的系統(tǒng)連接起來，統(tǒng)一分配計算資源，統(tǒng)一管理。通過虛擬化方式建設(shè)一個IAAS(基礎(chǔ)設(shè)施即服務)平臺，系統(tǒng)需要的硬件、網(wǎng)絡和存儲資源統(tǒng)一通過平臺進行分配。在資源統(tǒng)一管理的基礎(chǔ)上打破系統(tǒng)孤島效應，實現(xiàn)監(jiān)測資源的共享。

伴隨著虛擬化平臺的應用，相應的運行和管理模式也發(fā)生了變更。傳統(tǒng)的服務器、交換機和硬盤存儲變成了刀箱、刀片、核心交換機、集中存儲這類大型模塊化硬件資源，大量看不見的虛擬機作為計算和存儲節(jié)點，完成著日常監(jiān)測工作。對復雜的虛擬計算環(huán)境實現(xiàn)有效管理，需要借助于一個能夠?qū)碗s環(huán)境做出提煉和分層、能夠化繁為簡將系統(tǒng)運行狀態(tài)以直觀方式推送給管理人員的管理系統(tǒng)。因此，我臺引入了一套虛擬化平臺管理系統(tǒng)，實現(xiàn)對虛擬環(huán)境的實時運行管理，通過統(tǒng)一的可視化界面實現(xiàn)全面的運行維護。

二、需求分析

結(jié)合臺虛擬化平臺的實際運行情況，我臺制定了虛擬化管理系統(tǒng)(以下簡稱系統(tǒng))的主要目標及其應實現(xiàn)的功能。主要概括為：（1）針對不同計算中心的融合管理能力要求；（2）針對虛擬計算環(huán)境的管理能力要求；（3）對虛擬化環(huán)境的易操作性和可維護性要求。根據(jù)測試目標，我們制作了一份測試目錄，進行測試的管理平臺需要滿足以上運行目標，并能夠根據(jù)用戶的需求實現(xiàn)持續(xù)的定制化開發(fā)。1.不同計算中心的融合管理能力

計算中心是一組計算資源的集合，通過虛擬化軟件的部署，將資源連接起來并對外提供計算能力，硬件資源和虛擬化軟件可以是不同廠商的產(chǎn)品，但是他們都需要遵循相關(guān)虛擬化的接口和協(xié)議。在實際應用中，由于系統(tǒng)的建設(shè)時間不同，產(chǎn)生了新老設(shè)備共存、不同網(wǎng)絡共存的狀況。通過建立計算中心將各種分散的計算資源整合利用起來，對外以提供虛擬計算節(jié)點的方式實現(xiàn)虛擬化。

我臺要求在硬件和軟件層面都要實現(xiàn)兼容性，要符合業(yè)內(nèi)標準，遵循總局、行業(yè)和臺相關(guān)規(guī)范。所以，本次測試分別使用刀片和多種PC服務器作為兩類計算資源。使用了對外提供FC和NAS協(xié)議的集中存儲，刀片掛載FC存儲，服務器則使用SAS硬盤。通過部署vmware虛擬化軟件建立了兩個計算集群。要求系統(tǒng)通過導入計算機群，能實現(xiàn)對兩大集群的統(tǒng)一管理。例如，系統(tǒng)要能夠?qū)崟r瀏覽到集群的拓撲圖，能有效識別系統(tǒng)的設(shè)備構(gòu)成、網(wǎng)絡連接、存儲位置、資源運行和消耗情況、告警信息等。

2.針對虛擬計算能力的管理

虛擬計算能力支撐業(yè)務系統(tǒng)的運行，由數(shù)量眾多的虛擬機及其相關(guān)的網(wǎng)絡、存儲、組織架構(gòu)等功能組成。對于虛擬機來說，能夠?qū)崿F(xiàn)統(tǒng)一的虛機模板配置、虛機的創(chuàng)建、更新、啟停、刪除。要求能夠支持虛擬機的高可用性，例如主備雙機、虛擬機的快照、虛擬機的遷移、物理機的故障保護等功能。因為虛擬機需要附著在網(wǎng)絡上實現(xiàn)通信，所以網(wǎng)絡架構(gòu)是對系統(tǒng)架構(gòu)的完整描述，同時加入組織描述能力，將兩者合并起來實現(xiàn)網(wǎng)絡資源管理。系統(tǒng)需要能夠鏈接不通環(huán)境的IP網(wǎng)絡，實現(xiàn)網(wǎng)絡和組織拓撲的全覆蓋。實現(xiàn)虛擬交換機的配置、網(wǎng)絡資源池的管理、ip的分配回收、計算集群的分配、Qos、流量分析等。能夠?qū)⒋鎯{入管理，根據(jù)計算中心提供的存儲資源，實現(xiàn)存儲的分配回收，存儲運行狀態(tài)管理，報警管理等主要功能。組織架構(gòu)管理方面，需要實現(xiàn)嚴謹?shù)臋C構(gòu)人員權(quán)限分配和管理、組織的分配和釋放、組織與對應計算資源的分配、審計、計費等一系列功能。

3.簡單易用的用戶管理界面

系統(tǒng)要求以B/S的方式實現(xiàn)，即用戶打開瀏覽器登陸系統(tǒng)后就可以完成各自所屬角色分配的工作。將復雜的計算、網(wǎng)絡和存儲關(guān)系以直觀的圖形化的界面展現(xiàn)，并將界面操作轉(zhuǎn)化為相應的后臺操作，實現(xiàn)計算資源的添加、管理、刪除?？梢耘渲锰摂M網(wǎng)絡、集群、組織架構(gòu)及其相應關(guān)系，能夠?qū)崟r展現(xiàn)事務、日志、告警等關(guān)鍵信息，能夠?qū)崿F(xiàn)用戶自定義功能、腳本。能夠提供瀏覽器端的console界面，用戶可以即時登錄虛擬機處理緊急情況，而無需復雜的工作站配置流程。通過一系列引導流程，讓用戶可以直觀實現(xiàn)對物理資源、虛擬資源、應用模板、角色、性能、組織、計費等多種流程的管理，能夠?qū)崿F(xiàn)對環(huán)境的每日審計，并具備短信、郵件等告警能力。

三、虛擬化管理平臺基本構(gòu)成及主要功能

1 .虛擬化環(huán)境的構(gòu)成

為了測試系統(tǒng)對不同種類硬件的兼容性，我們以臺現(xiàn)有云平臺環(huán)境為基礎(chǔ)，通過添加服務器集群，和原有刀箱集群組成了兩個集群A和B。其中A為服務器集群，B為刀箱刀片組成的集群。集群可以由服務器、刀箱或者其他可以由hypervisor管理的計算機構(gòu)成，比如惠普和思科的刀箱組合。物理機通過核心交換機連接至集中存儲，虛擬機由物理機生成，負責業(yè)務的運行，而云管理平臺則部署在虛擬機上。計算設(shè)備的構(gòu)成見圖1。

圖1 虛擬化環(huán)境的測試計算設(shè)備構(gòu)成

表1 測試的服務器集群資源

表2 測試的刀箱集群資源組合

表3 測試的交換和存儲設(shè)備

如圖1所示，系統(tǒng)存儲通過FC和NAS兩種方式對外提供服務，其中FC方式通過SAN交換機連接到刀箱的HBA卡，為虛擬機提供存儲功能。NAS方式通過核心交換機的以太網(wǎng)模塊為全體計算資源提供基于文件訪問的存儲功能。業(yè)務鏈路方面，服務器集群通過以太方式連接到核心交換機的以太網(wǎng)模塊，刀箱則以光纖的方式鏈接到核心交換機的10Gb以太模塊對外提供虛擬服務。刀箱集群的上行鏈路對應核心交換機配置的3個vlan段，核心交換機通過vlan配置實現(xiàn)業(yè)務的隔離，實現(xiàn)互不干擾。分別是物理資源vlan段、vmotion段和業(yè)務vlan段，vlan之間的相互隔離。例如，對于惠普刀箱，在刀箱的上行鏈路背板上使用4個萬兆以太網(wǎng)口，我們使用其中一個口作為物理設(shè)備的管理口，配置在IP為192.168.100.X的網(wǎng)段上使用另外一端口為vmotion口，作為虛擬機的部署和遷移使用，配置在IP為192.168.101.x的網(wǎng)段上。綁定最后兩個端口為業(yè)務口，用來運行與業(yè)務相關(guān)的虛擬環(huán)境，配置在IP為192.168.102.x的網(wǎng)段上，這三個網(wǎng)段分別對應交換機上vlanid為40,41,42的口。根據(jù)背板提供的總帶寬，我們分別為三個段設(shè)置帶寬為5G，8G，20G。系統(tǒng)在服務器集群上部署了3臺虛擬機，分別用于vcenter集群管理軟件、虛擬化平臺管理軟件和測試文件拷用。

2 計算資源的總體展現(xiàn)、網(wǎng)絡拓撲和存儲

2.1 計算中心的導入和展現(xiàn)

系統(tǒng)需要提供一個可以完整展現(xiàn)計算中心信息的首頁，管理員導入計算中心URI、用戶、密碼信息后，系統(tǒng)自動去相應的管理中心(在這里是我們部署的vcenter虛擬機)讀取當前計算機群的信息，可以觀察到虛擬控制中心、虛擬存儲資源、虛擬網(wǎng)絡的數(shù)量，CPU、內(nèi)存、網(wǎng)絡、存儲的使用率及性能曲線，實現(xiàn)對異常操作的報警與錯誤提示，如圖2所示。

圖2 云數(shù)據(jù)中心管理平臺的監(jiān)管頁面

2.2 網(wǎng)絡和組織結(jié)構(gòu)的管理

虛擬網(wǎng)絡是指構(gòu)建在硬件網(wǎng)絡資源之上的虛擬的網(wǎng)絡，是承載虛擬機運行的重要資源。虛擬機需要從虛擬網(wǎng)絡資源池中獲取虛擬地址才能夠?qū)ν饨⑼ㄐ?，并發(fā)布服務。要求系統(tǒng)能夠創(chuàng)建要求的虛擬網(wǎng)絡，包括外部網(wǎng)絡、內(nèi)部網(wǎng)絡，組織網(wǎng)絡等。通過系統(tǒng)，操作人員能夠建立一個虛擬IP資源池，vlan資源池。本次測試案例中，我們建立了兩段IP資源池，分別是10.1.X.X 10.2.X.X，對應著兩個不同的業(yè)務段，并且配置在vlan 50,vlan60兩個不通的vlan段中，業(yè)務數(shù)據(jù)互相隔離。

2.3 存儲的管理

要求系統(tǒng)提供引導界面，管理員可以導入外部存儲，能夠全面展示存儲的位置、使用量、總量、協(xié)議、運行負荷、IO壓力、報警等多方面數(shù)據(jù)。提供查詢、新增、容量修改、刪除、I/O管理、虛擬機存儲掛載、數(shù)據(jù)清理等功能。

3 .對虛擬機的管理

3.1 虛擬機生命周期的管理

整個虛擬化環(huán)境對外以虛擬機提供計算和存儲能力，而虛擬機不是服務器，沒有物理的機柜、網(wǎng)絡、對外接口，要實現(xiàn)對虛擬機的有效管理需要借助于可視化的管理系統(tǒng)。系統(tǒng)需要提供對虛擬機生命周期內(nèi)業(yè)務的全方位管理能力，包括虛擬機的創(chuàng)建、部署、遷移、起停、優(yōu)化等。系統(tǒng)要在界面上對虛擬機產(chǎn)生的日志，業(yè)務的進度作出實時反饋。能夠按組織、網(wǎng)絡、存儲等不同檢索維度，快速定位到需要管理的虛擬機，管理員要能實時看到給定虛擬機的運行狀態(tài)，如桌面信息、網(wǎng)絡負載等。同時，要能夠提供安全管理，保證各組織各業(yè)務之間的虛擬機能夠獨立運行，不被侵擾。

3.2 虛擬機模板管理

模板是對虛擬機的定義，它定義了虛擬機的硬件描述，使用的CPU、內(nèi)存、存儲、使用的操作系統(tǒng)等信息，通過使用模板可以快速創(chuàng)建需要的虛擬機。不同類別的虛擬機適用不同的模板。例如，偏計算的虛擬機分配相對多的CPU資源，而用來做流媒體的虛擬機，則定義了更多的內(nèi)存和存儲空間。系統(tǒng)要能夠在界面上按權(quán)限提供諸如模板創(chuàng)建、查詢、修改、刪除等信息，同時要能夠保存用戶的操作日志。提供模板的關(guān)聯(lián)檢索，通過一類模板定義可以檢索出其生成的虛擬機并跳轉(zhuǎn)到虛擬機的信息頁面。

3.3 虛擬機交換機

通過建立虛擬機交換機，與虛擬機匹配，使虛擬機獲得網(wǎng)絡功能。測試是否支持建立虛擬交換機，同一集群內(nèi)的虛擬機之間可以通過虛擬網(wǎng)卡和虛擬交換機通信；能否配置虛擬機的端口和vlan號。具體步驟為：首先，在網(wǎng)絡資源池中建立多個VLAN端口組以及相應的IP段，包括VLAN50、VLAN60。通過虛擬機模板創(chuàng)建兩臺虛擬機，在虛擬化管理系統(tǒng)上為2臺虛擬機配置虛擬網(wǎng)卡，每臺虛擬機的虛擬網(wǎng)卡劃分不同VLAN。使用Ping命令測試兩臺虛擬機是否聯(lián)通。再把兩臺虛擬機配置為相同的VLAN，使用ping命令測試虛擬機是否聯(lián)通。其結(jié)果為當兩臺虛擬機處于不通的VLAN段中，它們不能互相連接，當處于相同的VLAN段中，兩臺主機可以相互連接。

4. 虛擬機高可用性

4.1 虛擬機熱遷移

熱遷移（Live Migration，又叫動態(tài)遷移、實時遷移），即虛擬機保存/恢復(Save/Restore)：將整個虛擬機的運行狀態(tài)完整保存下來，同時可以快速的恢復到原有硬件平臺甚至是不同硬件平臺上。遷移前后，虛擬機可以平滑運行，用戶不會察覺到任何差異。登錄虛擬化管理系統(tǒng)，在同一服務器上，選擇2臺正在運行的windows虛擬機（虛擬機配置2vcpu），手動選擇其它目標物理服務器進行主機熱遷移，主機熱遷移過程中ping其它虛擬機，查看在線遷移的中斷情況。在熱遷移的windows 虛擬機與用作CIFS共享文件服務器的虛擬機之間采用共享目錄方式拷貝大文件。系統(tǒng)需要支持到多臺虛擬機并發(fā)熱遷移，并且在遷移的過程中，文件傳輸不中斷，Ping丟包≤10。最后，系統(tǒng)要能夠提供遷移的源地址信息、目標地址信息和相關(guān)的日志。

4.2 虛擬機快照

虛擬機快照是虛擬機在特定時刻的狀態(tài)、磁盤數(shù)據(jù)和配置的基于文件的快照。當創(chuàng)建一個虛擬機快照時，會生成一個特定的文件，也是恢復快照當時系統(tǒng)的日志。為虛擬機創(chuàng)建每一個快照時，都會創(chuàng)建一個快照文件。這些文件用于存儲關(guān)于快照的元數(shù)據(jù)和信息，這個文件是本文格式的，里面包括諸如快照顯示名稱、UID（編號）和磁盤文件名等信息。系統(tǒng)需要能夠備份和恢復操作的虛擬機數(shù)據(jù)的時間點副本。登錄虛擬化管理系統(tǒng)，選擇一個虛擬機,在虛擬機中新建一個有任意內(nèi)容的文件A并保存，記錄文件A內(nèi)容，Ping其它虛擬機，在windows 虛擬機間采用共享目錄方式拷貝大文件，同時執(zhí)行虛擬機快照，快照執(zhí)行完畢后刪除新建文件。恢復到上一步執(zhí)行的快照點。虛擬機成功創(chuàng)建在線快照，期間Ping有丟包，之后網(wǎng)絡能夠恢復，大文件拷貝正常執(zhí)行。在虛擬化管理系統(tǒng)中可以查看快照點，可以通過虛擬化管理系統(tǒng)瀏覽查看虛擬快照文件?？煺瘴募謴秃?，可以看到文件A，快照可以被正常刪除。

4.3 物理機故障保護

虛擬服務器是部署在物理機上的，底層物理機性能出現(xiàn)異常或者其他原因都會導致物理機宕機。當檢測到虛擬服務器所在的物理機發(fā)生故障，系統(tǒng)會啟動保護性遷移，將服務器遷移到性能正常的宿主機上。登錄虛擬化管理系統(tǒng)，選擇一臺測試虛擬機，連續(xù)向虛擬機發(fā)送ping包，同時對物理機斷電。系統(tǒng)要能夠?qū)ξ锢頇C異常做出正確的告警，并且ping包短暫的丟失后能夠恢復。登陸系統(tǒng)，查看虛擬機現(xiàn)在寄宿在哪臺物理機上，啟動是否正常，并且要求能夠查看到相應的日志。

4.4 動態(tài)資源調(diào)度

作為中心服務系統(tǒng)，運行的各虛擬機的負荷是不一樣的。關(guān)鍵服務虛擬機的業(yè)務量較大，對硬件資源會造成相對大的負擔。當虛擬機所在的物理機負載過大時，需要把虛擬機自動遷移至負載較輕的物理機上。選取一臺物理機，人為增加該物理機的負載（增加該物理機的CPU利用率）使其達到觸發(fā)閾值（資源利用率＞=75%）。開啟動態(tài)調(diào)度，選擇其中一種“激進”策略，保持以上負載，并查看動態(tài)調(diào)度日志，查看當前調(diào)度周期，并在下一次調(diào)度周期開始后持續(xù)該負載15min以上，查看動態(tài)調(diào)度結(jié)果。系統(tǒng)應該能自動將該負載高的物理機上的虛擬機遷移至同集群內(nèi)負載低的物理機。

5 .虛擬化平臺的易維護性

5.1 資源展現(xiàn)

在日常使用中，操作人員需要能夠直觀的在系統(tǒng)界 面上查看到系統(tǒng)的資源配置及其使用情況，而且配以屏幕墻大屏展示的方式，能夠讓監(jiān)控人員及時了解到平臺的運行情況。系統(tǒng)需要能夠同步物理資源、虛擬資源，將資源的分布和使用情況展示到界面上。通過創(chuàng)建物理資源中心，能夠監(jiān)控到所有的服務器、存儲、集群，并能夠更新物理資源的信息。系統(tǒng)要能將刀箱、刀片、服務器、存儲、交換機等支持SNMP或其它方式查詢工作狀態(tài)的硬件資源以拓撲圖形的方式顯示在界面上。對于虛擬資源，也要能夠?qū)⒕W(wǎng)絡、集群、虛擬機以拓撲的形式展現(xiàn)。5.2 告警與審計

系統(tǒng)要能夠?qū)⒂布h(huán)境和虛擬環(huán)境中的告警信息直觀的推送給操作人員。系統(tǒng)要能夠?qū)⑽锢頇C的CPU負荷、存儲占用量、內(nèi)存使用量、網(wǎng)絡吞吐等數(shù)據(jù)集中展示，能夠讓管理人員設(shè)置告警閥值，能夠?qū)Ω婢畔⒎旨?，首要的告警任務要能夠直接推送到界面上，并能夠按告警產(chǎn)生的時間、項目、網(wǎng)絡位置進行檢索。系統(tǒng)有告警的走勢圖，可以連續(xù)展現(xiàn)最近一段時間的告警次數(shù)多少，告警分布情況等。同時系統(tǒng)需要配備審計功能，針對某個子系統(tǒng)或者項目的虛擬環(huán)境使用狀況，按照要求生成審計報表，例如項目的具體位置、配備的虛擬機、存儲的數(shù)量及其配置，虛擬交換設(shè)備的平均吞吐量，系統(tǒng)平均工作負荷和最近一段時間的操作日志等信息。5.3 角色、組織和審批管理

系統(tǒng)需要為不同的用戶分配不同的角色，通過角色關(guān)聯(lián)到其對應的權(quán)限。例如管理員對應系統(tǒng)全部權(quán)限，包括虛擬環(huán)境的新增、修改、刪除、網(wǎng)絡和存儲的配置等工作。對于監(jiān)控人員，系統(tǒng)則不賦予管理的權(quán)限，但系統(tǒng)需要為監(jiān)控人員打開告警和報表的權(quán)限，以方便監(jiān)控人員第一時間查看到系統(tǒng)的運行狀態(tài)。同時系統(tǒng)要具有組織定義和審批管理的功能，可以根據(jù)項目定義其中的組織關(guān)系、審批關(guān)系，方便人員通過逐級審批，獲取虛擬資源的使用權(quán)限，并能夠統(tǒng)計和展示組織內(nèi)部虛擬資源的使用狀況。

三、結(jié)束語

虛擬化平臺通過將實體計算資源虛擬化，實現(xiàn)了計算資源的重復利用和集中統(tǒng)一管理。通過建設(shè)虛擬化計算環(huán)境，提高了硬件的利用效率、方便了后續(xù)系統(tǒng)建設(shè)、實現(xiàn)了系統(tǒng)之間的互聯(lián)互通、提高了數(shù)據(jù)的利用效率，同時降低了能源消耗。但虛擬環(huán)境對管理和維護工作提出了更高的要求，如何在系統(tǒng)構(gòu)成、服務器、網(wǎng)絡和存儲布局不斷變化的虛擬環(huán)境中做好系統(tǒng)的運行維護和審計工作，需要仔細研究。通過使用虛擬資源管理平臺，將繁瑣的后臺操作替代以圖形化的簡單操作，可以使管理工作更快速方便的開展。

本文對我臺虛擬化環(huán)境的構(gòu)成做了基本描述，包括計算資源的總體展現(xiàn)、網(wǎng)絡環(huán)境和外部存儲，闡述了在此環(huán)境中我臺在選取虛擬環(huán)境管理系統(tǒng)時的主要考慮，從計算中心的總體資源展現(xiàn)、虛擬機的生命周期管理、虛擬化網(wǎng)絡的管理、外部存儲管理、人員和組織架構(gòu)管理、高可用性、運行維護等方面作出基本說明。隨著虛擬化、云計算不斷發(fā)展，各個廠家如微軟、Xen、VMWare都在紛紛推陳出新，開源方面以openstack為代表的眾多組織都在不斷的更新虛擬環(huán)境的產(chǎn)品，如何使系統(tǒng)能夠適應更新，隨著虛擬環(huán)境的使用不斷發(fā)展，也是我們需要考慮的內(nèi)容。

［1］ 國家廣播電影電視總局.GY/T106-1999，有線廣播電視廣播系統(tǒng)技術(shù)規(guī)范[S]，1999

［2］ 江蘇省廣播電視監(jiān)測臺.江蘇省監(jiān)測臺系統(tǒng)建設(shè)規(guī)范[Z]

［3］ 云計算解碼/雷葆華等著[M] 北京：電子工業(yè)出版社,2012.6