雷 宇
(作者單位:南京廣播電視集團(tuán))
隨著IP播控技術(shù)的興起,傳統(tǒng)電視技術(shù)行業(yè)開始越來越多地觸及在互聯(lián)網(wǎng)領(lǐng)域運(yùn)用多年的虛擬化技術(shù)。所謂虛擬化技術(shù)原先是用于計(jì)算機(jī)科學(xué)中在邏輯上劃分大型計(jì)算資源的一種方式,最為人們所熟知的就是基于操作系統(tǒng)下的虛擬機(jī)軟件,例如,在Windows10系統(tǒng)下運(yùn)行一個(gè)WindowsXP虛擬機(jī)來解決一些老舊軟件的兼容性問題。目前,業(yè)內(nèi)對(duì)于虛擬化技術(shù)主流的分類有如下五種:硬件虛擬化、操作系統(tǒng)層虛擬化、桌面虛擬化、應(yīng)用程序虛擬化、網(wǎng)絡(luò)虛擬化。每一種虛擬化方式在目前的IP播控中都有極為巨大的應(yīng)用空間,本文結(jié)合南京廣電集團(tuán)電視播出部的IP播控測(cè)試系統(tǒng),談?wù)動(dòng)布摂M化技術(shù)在其中的應(yīng)用。
硬件虛擬化又稱為hypervisor(虛擬機(jī)器監(jiān)視器),是通過一種稱之為“虛擬機(jī)管理程序”的底層系統(tǒng),在一套硬件設(shè)備上虛擬化出多個(gè)虛擬機(jī)實(shí)例的虛擬化技術(shù)。在目前虛擬化的技術(shù)中出現(xiàn)最早也應(yīng)用最為普遍,從結(jié)構(gòu)上來看硬件虛擬化可分為如下的兩種結(jié)構(gòu)。
虛擬機(jī)管理程序直接在主機(jī)/服務(wù)器上運(yùn)行,通過管理程序分配計(jì)算機(jī)資源、安裝需要的操作系統(tǒng)。例如,微軟的Hyper-V,VMware的ESXi,Linux下的KVM等都屬于此類。優(yōu)點(diǎn)是由于不需要宿主操作系統(tǒng),所以幾乎沒有額外的資源開銷,可靠性和效率都很高。這也是各種企業(yè)級(jí)云服務(wù)商提供IaaS的服務(wù)器架構(gòu),例如,AWS和阿里云都是使用深度二次開發(fā)的KVM虛擬機(jī)作為云服務(wù)器的底層虛擬化技術(shù)。
此類型需要在主機(jī)上已有的宿主操作系統(tǒng)上安裝虛擬機(jī)管理程序,然后再分配資源進(jìn)行虛擬機(jī)實(shí)例安裝。例如,VMware的 Workstation,Oracle的VirtualBox等就屬于此類。對(duì)比Type-1其缺點(diǎn)是由于存在宿主操作系統(tǒng),穩(wěn)定性和資源開銷都比不上Type-1,所以,此類型虛擬機(jī)常用于實(shí)驗(yàn)和調(diào)試。
隨著單顆CPU集成的核心數(shù)量越來越多,性能越來越強(qiáng),使得配置多核心處理器的服務(wù)器成本優(yōu)勢(shì)十分明顯。例如,一臺(tái)擁有兩顆16核32線程CPU的服務(wù)器,共有64個(gè)邏輯處理核心,滿載狀態(tài)下可以創(chuàng)建64臺(tái)同時(shí)運(yùn)行的虛擬機(jī),其供電方案、設(shè)備占用面積、散熱等部署成本遠(yuǎn)小于64臺(tái)單核處理器主機(jī)。在內(nèi)存的利用上則更為靈活,單臺(tái)主機(jī)的內(nèi)存占用率往往是動(dòng)態(tài)的,容易造成資源閑置。而硬件虛擬化通過虛擬內(nèi)存、共享內(nèi)存等技術(shù)讓服務(wù)器上的物理內(nèi)存通過“資源池”的方式進(jìn)行動(dòng)態(tài)調(diào)控,使虛擬機(jī)分配的內(nèi)存總和可以大于服務(wù)器物理內(nèi)存,提高了內(nèi)存利用率。
采用了硬件虛擬化后單臺(tái)服務(wù)器的外圍設(shè)備需求量減少,整個(gè)系統(tǒng)的可靠性增加,也減少了運(yùn)維工作量。例如,傳統(tǒng)電視播出的播出控制系統(tǒng),主備播控機(jī)、字幕機(jī)、板卡配置機(jī)在硬件上都是相互獨(dú)立的,通過KVM控制器集中操作,接線復(fù)雜且故障率高,而且無法跨KVM操作。一旦出現(xiàn)硬盤故障或者散熱故障,單臺(tái)主機(jī)的上下線維修非常耗時(shí)。如果采用虛擬機(jī)部署,只需要將瘦客戶端接入核心交換機(jī),即可通過遠(yuǎn)程桌面訪問任何一臺(tái)虛擬機(jī)服務(wù)器。簡(jiǎn)化了拓?fù)浣Y(jié)構(gòu),增加了系統(tǒng)可靠性,通過虛擬機(jī)管理系統(tǒng)可以查看每一臺(tái)虛擬機(jī)的運(yùn)行狀態(tài),在單臺(tái)瘦客戶端上即可完成整個(gè)系統(tǒng)內(nèi)虛擬機(jī)的維護(hù)。由于虛擬機(jī)采用集中存儲(chǔ),通過磁盤陣列來創(chuàng)建存儲(chǔ)冗余,這樣可以方便監(jiān)控存儲(chǔ)池中每一塊硬盤的狀態(tài),在故障時(shí)實(shí)現(xiàn)不中斷業(yè)務(wù)維護(hù)。
通過虛擬機(jī)管理程序可以對(duì)每臺(tái)虛擬機(jī)的配置(CPU核心數(shù)、內(nèi)存、硬盤、網(wǎng)卡)進(jìn)行動(dòng)態(tài)的調(diào)整,以滿足不同時(shí)期的硬件資源需求。在這個(gè)過程中只需要重啟虛擬機(jī)而不需要對(duì)操作系統(tǒng)進(jìn)行重裝和配置,這是以往單機(jī)系統(tǒng)無法做到的。通過彈性資源管理,可以動(dòng)態(tài)地重新分配資源,以便高效地使用可用硬件資源。
VMware vSphere作為目前部署虛擬化私有云的成熟解決方案,本文以此為例,結(jié)合南京廣電電視播出部現(xiàn)有IP播控測(cè)試系統(tǒng)架構(gòu),利用Type-2架構(gòu)在一臺(tái)工作機(jī)上部署單個(gè)頻道的電視播出系統(tǒng)虛擬化實(shí)驗(yàn)方案,闡述在真實(shí)生產(chǎn)環(huán)境中部署硬件虛擬化系統(tǒng)的思路。
本實(shí)驗(yàn)的工作機(jī)能提供32個(gè)邏輯處理器(AMD TR1950X),安裝Workstation 14作為虛擬化環(huán)境來模擬IP播出測(cè)試系統(tǒng)的虛擬化服務(wù)器架構(gòu)。所有的虛擬機(jī)服務(wù)器作為一個(gè)Datacenter來進(jìn)行管理,3臺(tái)ESXi服務(wù)器組成一個(gè)群集,作為虛擬機(jī)資源池,虛擬Storage服務(wù)器作為集中存儲(chǔ),虛擬Backup服務(wù)器作為虛擬機(jī)快照備份。要實(shí)現(xiàn)對(duì)群集的復(fù)雜應(yīng)用,還需要安裝vCenter Server對(duì)群集進(jìn)行集中化管理,本實(shí)驗(yàn)選擇VCSA方式在3臺(tái)ESXi上部署vCenter三節(jié)點(diǎn)群集。
目前,硬件虛擬化使用的共享存儲(chǔ)管理方式一般有SAN和NAS兩種,前者提供磁盤級(jí)的存儲(chǔ)而后者提供文件級(jí)的存儲(chǔ)。在對(duì)存儲(chǔ)性能要求較高的系統(tǒng)中一般會(huì)采用基于FC的SAN存儲(chǔ)方式,由于條件限制本實(shí)驗(yàn)系統(tǒng)采用IP SAN作為共享存儲(chǔ)方式,將兩塊4TB的HDD組成RAID1全部劃分給Storage虛擬服務(wù)器作為集中存儲(chǔ),通過在CentOS 7上部署iSCSI Target軟件來將TCP/IP模擬為iSCSI提供共享存儲(chǔ)服務(wù)。采用共享存儲(chǔ)的好處是可以集中管理存儲(chǔ)空間,通過RAID來保障數(shù)據(jù)安全,在線即可更換損壞的硬盤。虛擬機(jī)的存儲(chǔ)被封裝為VMFS格式進(jìn)行管理,數(shù)據(jù)熱遷移、快照備份、分布式資源調(diào)度等虛擬化系統(tǒng)獨(dú)有的技術(shù)均是建立在共享存儲(chǔ)的基礎(chǔ)上。
虛擬機(jī)架構(gòu)對(duì)于容災(zāi)的部署非常的靈活和高效,vSphere中有vMotion、HA和DRS等組件用于系統(tǒng)的容災(zāi)。vMotion為虛擬機(jī)容災(zāi)的核心技術(shù),可以將一臺(tái)在運(yùn)行狀態(tài)的虛擬機(jī)遷移到群集中的任意一臺(tái)服務(wù)器上,而這個(gè)過程不會(huì)中斷虛擬機(jī)上的業(yè)務(wù),所以也被稱為熱遷移。其原理是將源服務(wù)器上虛擬機(jī)的內(nèi)存狀態(tài)封裝為vmdk文件和目標(biāo)服務(wù)器上新建的虛擬機(jī)進(jìn)行同步,當(dāng)同步率達(dá)到100%時(shí)即完成了虛擬機(jī)的熱遷移。DRS對(duì)群集中的硬件資源進(jìn)行彈性化的調(diào)度,通過預(yù)先對(duì)虛擬機(jī)資源需求的權(quán)重設(shè)置,利用vMotion將虛擬機(jī)運(yùn)行在合適的服務(wù)器中。這樣無需關(guān)心群集中的服務(wù)器上分別運(yùn)行了哪些虛擬機(jī),弱化了傳統(tǒng)播控系統(tǒng)的主-備概念。HA分為vSphere HA和vCenter HA,前者通過對(duì)群集內(nèi)虛擬機(jī)狀態(tài)的實(shí)時(shí)監(jiān)測(cè)來觸發(fā)DRS策略,對(duì)狀態(tài)不好和停止運(yùn)行的虛擬機(jī)進(jìn)行vMotion遷移或重啟。后者是在三臺(tái)不同的服務(wù)器上部署主動(dòng)、被動(dòng)、見證三個(gè)vCenter節(jié)點(diǎn),來保證任意節(jié)點(diǎn)出故障的情況下vCenter服務(wù)仍能夠穩(wěn)定運(yùn)行且數(shù)據(jù)不會(huì)錯(cuò)誤。通過VDP可以方便地對(duì)群集中的虛擬機(jī)建立快照,將設(shè)置時(shí)刻點(diǎn)的運(yùn)行狀態(tài)封裝為文件保存在共享存儲(chǔ)上,這樣可以在虛擬機(jī)出現(xiàn)故障時(shí)回滾到任意一個(gè)備份點(diǎn)。
IP播控對(duì)于傳統(tǒng)電視播控系統(tǒng)是一次巨大的技術(shù)升級(jí),在其中運(yùn)用虛擬化技術(shù)加快了系統(tǒng)搭建速度,降低了設(shè)備投入成本,改善了安全保障方式。但反過來也對(duì)廣電技術(shù)人員提出了更高要求,需要對(duì)很多新的知識(shí)架構(gòu)體系進(jìn)行學(xué)習(xí),不然無法勝任新系統(tǒng)的設(shè)計(jì)和維護(hù)工作。從短期來看是陣痛,但長(zhǎng)期來看是有利的。目前,多數(shù)系統(tǒng)還是采用VMware配合Windows服務(wù)器系統(tǒng)這樣的商業(yè)產(chǎn)品框架,雖然運(yùn)行穩(wěn)定部署相對(duì)容易,但是需要高昂的軟件授權(quán)成本。如果能夠有足夠的技術(shù)能力采用開源的KVM+Linux架構(gòu),一方面降低了成本,另一方面提高了廣電技術(shù)團(tuán)隊(duì)的研發(fā)能力,對(duì)于在往后的互聯(lián)網(wǎng)化時(shí)代競(jìng)爭(zhēng)從高資產(chǎn)低人力轉(zhuǎn)型到輕資產(chǎn)高人力的產(chǎn)業(yè)升級(jí),可以起到積極作用。