全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺可靠性技術(shù)研究及應(yīng)用

包力偉　卞景耀　江蘇省廣播電視監(jiān)測臺

全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺可靠性技術(shù)研究及應(yīng)用

包力偉卞景耀江蘇省廣播電視監(jiān)測臺

本文主要結(jié)合江蘇省廣播電視監(jiān)測臺的項(xiàng)目建設(shè)情況，對如何提高全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺的可靠性進(jìn)行研究，闡述、分析、比較了多種如高可用、容錯(cuò)、VMotion遷移等可靠性策略，并使用最優(yōu)方案進(jìn)行應(yīng)用部署，實(shí)現(xiàn)了平臺的穩(wěn)定可靠運(yùn)行。

虛擬化 可靠性策略高可用容錯(cuò)VMotion遷移

一、引言

隨著信息技術(shù)的不斷發(fā)展，計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)與傳統(tǒng)廣播電視技術(shù)飛速交融，廣播電視監(jiān)測部門保障安全播出的方式不斷更新，力度不斷加大，相應(yīng)地對于設(shè)備“不間斷、高質(zhì)量、既經(jīng)濟(jì)、又安全” 運(yùn)行的要求也不斷提高。為了保證監(jiān)測設(shè)備長時(shí)間、無故障地運(yùn)行，必須要使其具有很高的可靠性。江蘇省廣播電視監(jiān)測臺（以下簡稱“我臺”）于2015年建成全媒體綜合監(jiān)測監(jiān)管系統(tǒng)，采用虛擬化平臺搭建，由VMware虛擬化軟件和NetApp存儲，以及HP和Cisco的刀片服務(wù)器共同組成硬件資源異構(gòu)虛擬化資源池［1］。全媒體綜合監(jiān)測監(jiān)管系統(tǒng)將傳統(tǒng)的廣播電視和DTMB、衛(wèi)星廣播電視、IPTV、互聯(lián)網(wǎng)音視頻節(jié)目等新業(yè)務(wù)一同納入監(jiān)測監(jiān)管統(tǒng)一管理范圍，并實(shí)現(xiàn)了對各種已有及新建監(jiān)測業(yè)務(wù)子系統(tǒng)的無縫接合。如圖1所示，系統(tǒng)虛擬化平臺采用B/S架構(gòu)，構(gòu)建了集中計(jì)算中心，以刀片服務(wù)器和刀箱為主要硬件構(gòu)成，通過使用網(wǎng)絡(luò)虛擬化、存儲虛擬化、計(jì)算資源虛擬化、云計(jì)算及云存儲技術(shù)形成了一套基于x86的私有云，為各監(jiān)測監(jiān)管業(yè)務(wù)系統(tǒng)提供計(jì)算資源和存儲資源服務(wù)，并通過云計(jì)算管理平臺實(shí)現(xiàn)了對整個(gè)軟硬件資源的調(diào)度、配置和管理。

全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺運(yùn)行在復(fù)雜的環(huán)境中。平臺本身及所提供的服務(wù)在給我臺的監(jiān)測監(jiān)管帶來前所未有的強(qiáng)大功能和便利操作的同時(shí)，所屬設(shè)備存在的各種故障隱患也日趨成為一個(gè)不容忽視的問題。如何提高平臺可靠性，使得設(shè)備在盡量長的時(shí)間里安全穩(wěn)定地運(yùn)行，給我臺廣播電視監(jiān)測監(jiān)管提出了全新的課題。

二、提高平臺可靠性實(shí)現(xiàn)方案介紹

全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺是我臺整個(gè)監(jiān)測業(yè)務(wù)運(yùn)行的核心支撐。為了防止因平臺不正常運(yùn)行導(dǎo)致對安全監(jiān)測監(jiān)管的影響，保證整個(gè)平臺的可靠性，可采用減小平臺設(shè)備故障發(fā)生幾率（甚至阻止故障產(chǎn)生），以及盡量縮短故障恢復(fù)時(shí)間兩種途徑?？傮w上說，在VMware環(huán)境下，結(jié)合軟硬件部署實(shí)際情況，平臺可靠性維護(hù)手段以VMware HA（VMware High Availablility高可用）群集為基礎(chǔ)，有VMware FT（VMware Fault Tolerance容錯(cuò)）及VMware VMotion（虛擬機(jī)熱遷移）等方案可供選擇。

高可用性（HA）在業(yè)界被定義為：系統(tǒng)或者應(yīng)用程序在規(guī)定的運(yùn)行時(shí)間內(nèi)保證無計(jì)劃外的停機(jī)問題。在實(shí)際應(yīng)用中，系統(tǒng)在某些故障不可避免的情況下，可以通過采取高可用性的某些措施或者策略來有效地減少故障持續(xù)時(shí)間［2］。VMware HA是 VMware 在企業(yè)應(yīng)用環(huán)境中用來保障企業(yè)級應(yīng)用不間斷運(yùn)行的需求所產(chǎn)生的一個(gè)組件，主要目的是當(dāng)虛擬機(jī)運(yùn)行的主機(jī)發(fā)生故障時(shí)能及時(shí)轉(zhuǎn)移主機(jī)，避免長時(shí)間的停機(jī)。VMware HA提供計(jì)劃外宕機(jī)保護(hù)功能，即：處于相同群集里的某物理主機(jī)異常宕機(jī)（如停電、硬盤故障等）之后，自動在這一群集里的其它物理主機(jī)上啟動運(yùn)行于原宕機(jī)主機(jī)上虛擬機(jī)的行為。如圖2所示，在全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺上，以VMware HA群集“HA集群03”為例，該群集具有一個(gè)包括24個(gè)ESXI主機(jī)（192.168.102.93 -192.168.102.116）的邏輯隊(duì)列，其中每個(gè)IP地址對應(yīng)一臺物理主機(jī)。VMware HA實(shí)時(shí)監(jiān)控群集中所有主機(jī)，并進(jìn)行故障檢測。在該群集中，VMware HA檢測三種類型的主機(jī)故障：1）主機(jī)停止運(yùn)行（即死機(jī)）；2）主機(jī)網(wǎng)絡(luò)中斷；3）主機(jī)與群集內(nèi)首選主機(jī)網(wǎng)絡(luò)中斷。群集中的每臺主機(jī)有一個(gè)HA代理，持續(xù)不斷地檢測群集中其他主機(jī)的“心跳信號”。若某臺主機(jī)在連續(xù)三個(gè)時(shí)間間隔后都還沒有發(fā)出“心跳信號”，那么該主機(jī)就被默認(rèn)為發(fā)生了故障或者網(wǎng)絡(luò)連接出現(xiàn)了問題，其中運(yùn)行的虛擬機(jī)已受到影響。在這種情況下，VMware HA在監(jiān)控并確保群集中有足夠資源可用的基礎(chǔ)上，遷移到其它主機(jī)運(yùn)行這些虛擬機(jī)。若某臺主機(jī)無法接收到來自群集的其他主機(jī)的“心跳信號”，則該主機(jī)會啟動一個(gè)內(nèi)部進(jìn)程來檢測自己跟群集中其他主機(jī)的連接是否存在故障。如果故障存在，VMware HA也將中斷在這臺主機(jī)上所有正在運(yùn)行的虛擬機(jī)，并啟動預(yù)先設(shè)定好的備用主機(jī)。如此可以確保平臺在最短時(shí)間內(nèi)從部分停機(jī)狀態(tài)恢復(fù)正常運(yùn)行。

容錯(cuò)（FT）指當(dāng)硬件發(fā)生故障或軟件產(chǎn)生錯(cuò)誤時(shí)，系統(tǒng)可以不中斷運(yùn)行，能夠自行采取補(bǔ)救措施，允許從硬件或軟件錯(cuò)誤中恢復(fù)，繼續(xù)正常運(yùn)行并給出正確結(jié)果的一種技術(shù)。VMware向虛擬化平臺引入了FT，包括零損失容錯(cuò)的解決方案。VMware FT應(yīng)用在ESXI主機(jī)上，其主要功能就是保證在出現(xiàn)故障的時(shí)候，云平臺的有關(guān)應(yīng)用不會出現(xiàn)中斷［3］。VMware FT的原理是：在兩臺主機(jī)上創(chuàng)建相同兩臺虛擬機(jī)（主虛擬機(jī)與輔虛擬機(jī)）。對于某主機(jī)上給定的主虛擬機(jī)，在其他主機(jī)上運(yùn)行一個(gè)輔虛擬機(jī)。輔虛擬機(jī)同主虛擬機(jī)共享虛擬存儲，并通過在專用網(wǎng)絡(luò)連接到被捕捉的主虛擬機(jī)日志記錄信息，保持延時(shí)在1秒內(nèi)的同步于主虛擬機(jī)的操作。在正常狀態(tài)下，只有主虛擬機(jī)發(fā)送和接收網(wǎng)絡(luò)數(shù)據(jù)包，輔虛擬機(jī)默認(rèn)不收發(fā)網(wǎng)絡(luò)數(shù)據(jù)，也不寫入存儲。當(dāng)運(yùn)行主虛擬機(jī)的主機(jī)發(fā)生故障時(shí)，輔虛擬機(jī)在無中斷的情況下自動切換變?yōu)橹魈摂M機(jī)并繼續(xù)運(yùn)行，同時(shí)群集會在幾秒內(nèi)重新建立容錯(cuò)冗余；當(dāng)故障排除后，原故障的主虛擬機(jī)變?yōu)檩o虛擬機(jī)。如果運(yùn)行輔虛擬機(jī)的主機(jī)發(fā)生故障，該主機(jī)也會立即被替換。在全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺上，我臺首先選擇VMware HA群集與VMware FT虛擬機(jī)協(xié)同的方案進(jìn)行可靠性研究。在云平臺管理界面建立“FT Cluster 01”群集，群集內(nèi)包含四臺ESXI主機(jī)：192.168.102.61-192.168.102.64，分別配置FT策略的虛擬網(wǎng)卡。主機(jī)192.168.102.61運(yùn)行兩臺虛擬機(jī)，分別為FT主虛擬機(jī)“FT-Win7”以及無FT策略的普通虛擬機(jī)“HA-Win7”。主機(jī)192.168.102.62運(yùn)行一臺虛擬機(jī)，為FT輔虛擬機(jī)“FT-Win7（次要）”。主機(jī)192.168.102.63、192.168.102.64暫無虛擬機(jī)運(yùn)行。群集內(nèi)主機(jī)、虛擬機(jī)及其運(yùn)行、FT情況等相互關(guān)系映射如圖3所示。

“FT Cluster 01”群集中，設(shè)定受VMware FT和VMware HA保護(hù)的虛擬機(jī)“FT-Win7”、“FT-Win7（次要）”運(yùn)行關(guān)鍵任務(wù)，僅受VMware HA保護(hù)的虛擬機(jī)“HA-Win7”運(yùn)行一般任務(wù)。當(dāng)主機(jī)192.168.102.61發(fā)生故障時(shí)，位于主機(jī)192.168.102.62的“FT-Win7（次要）”虛擬機(jī)接管“FT-Win7”繼續(xù)工作，并升級為主虛擬機(jī)。VMware將在其余某臺主機(jī)上啟動新的輔虛擬機(jī)“FT-Win7（次要）”。運(yùn)行于192.168.102.61的另一臺虛擬機(jī)“HA-Win7”也將按HA策略重新在其它主機(jī)啟動。如圖4所示，遠(yuǎn)程重新啟動主機(jī)192.168.102.61（模擬故障發(fā)生），系統(tǒng)顯示FT主虛擬機(jī)切換至主機(jī)192.168.102.62上運(yùn)行，同時(shí)于主機(jī)192.168.102.63上啟動新的FT輔虛擬機(jī)。虛擬機(jī)“HA-Win7”轉(zhuǎn)移到主機(jī)192.168.102.64上執(zhí)行重啟操作。

VMware虛擬機(jī)熱遷移（VMotion）是VMware開發(fā)出的一項(xiàng)特有技術(shù)，也是VMware整個(gè)虛擬化高級功能的基礎(chǔ)。它將服務(wù)器、存儲和網(wǎng)絡(luò)設(shè)備完全虛擬化，使得正在運(yùn)行的整個(gè)虛擬機(jī)能夠在計(jì)劃內(nèi)瞬間從一臺主機(jī)遷移到另一臺主機(jī)上。虛擬機(jī)的全部狀態(tài)由共享虛擬存儲中的一組文件進(jìn)行封裝，VMware開發(fā)的 VMFS群集文件系統(tǒng)允許源和目標(biāo)ESXI主機(jī)同時(shí)訪問這些虛擬機(jī)的信息。如圖5所示，VMware將虛擬機(jī)的活動內(nèi)存、驅(qū)動程序、操作系統(tǒng)、執(zhí)行狀態(tài)等加以保存，并通過同樣被虛擬化后的網(wǎng)絡(luò)高速傳輸，使虛擬機(jī)立即從源主機(jī)以察覺不到傳輸期的速度迅速切換到目標(biāo)主機(jī)上運(yùn)行。傳輸完成之后，保留虛擬機(jī)的網(wǎng)絡(luò)標(biāo)識和連接。VMotion在此過程中管理虛擬機(jī)的MAC地址。一旦切換到目標(biāo)主機(jī)上運(yùn)行的虛擬機(jī)被激活，VMotion會向網(wǎng)絡(luò)路由器發(fā)送數(shù)據(jù)包，以確保知道遷移后的虛擬機(jī)（通過MAC地址）位于哪一臺新主機(jī)。使用VMotion進(jìn)行虛擬機(jī)遷移實(shí)現(xiàn)了零停機(jī)時(shí)間以及操作零中斷，從而實(shí)現(xiàn)了虛擬機(jī)的無縫遷移。在全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺上，群集“HA集群03”中配置了VMotion功能，如圖6所示。設(shè)定主機(jī)192.168.102.96存在故障需要進(jìn)入維護(hù)模式。VMotion收到主機(jī)192.168.102.96實(shí)時(shí)遷移的請求。VMware檢查該主機(jī)上運(yùn)行的虛擬機(jī)“視率系統(tǒng)_10.7.70.50”是否處于穩(wěn)定狀態(tài)。VMotions收到并通過實(shí)時(shí)遷移請求后，該虛擬機(jī)的所有狀態(tài)信息（操作系統(tǒng)、CPU、內(nèi)存、網(wǎng)絡(luò)連接等）將被復(fù)制到目標(biāo)主機(jī)上。信息復(fù)制完畢后，此虛擬機(jī)將在新主機(jī)192.168.102.95上無中斷地繼續(xù)運(yùn)行，如圖7所示。

三、VMware容錯(cuò)和熱遷移策略比較和分析

通過上述對提升平臺可靠性的研究，我臺以保障全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺安全穩(wěn)定運(yùn)行為原則，以平臺軟硬件設(shè)備日常維護(hù)需求為依據(jù)，對基于VMware高可用群集的虛擬機(jī)FT容錯(cuò)和VMotion熱遷移策略進(jìn)行了對比和分析。

從各自的功能來看，VMware HA和FT最大限度地延長了云平臺群集正常運(yùn)行數(shù)據(jù)的時(shí)間，使應(yīng)用程序?qū)崿F(xiàn)了“零數(shù)據(jù)丟失”。FT易于設(shè)置，可以支持虛擬機(jī)使用任何操作系統(tǒng)，支持所有應(yīng)用，包括自主開發(fā)、無法用傳統(tǒng)高可用性產(chǎn)品來保護(hù)的自定義應(yīng)用。FT使用反關(guān)聯(lián)性原則，可以確保FT主虛擬機(jī)和輔虛擬機(jī)永遠(yuǎn)不會在同一主機(jī)上，從而保證FT主、輔虛擬機(jī)不會因任何一臺主機(jī)故障而全部缺失。VMware HA和VMotion則分別處理群集里主機(jī)的所有計(jì)劃外和計(jì)劃內(nèi)的宕機(jī)。在計(jì)劃內(nèi)，可以手動或者自動地將虛擬機(jī)在線遷移到另外的主機(jī)上。VMotion可以提高硬件整體利用率，使虛擬機(jī)在所在主機(jī)宕機(jī)期間可以繼續(xù)使用，并可以在無需安排停機(jī)、不中斷業(yè)務(wù)運(yùn)營的情況下執(zhí)行硬件維護(hù)。VMware FT和VMotion都可以實(shí)現(xiàn)虛擬機(jī)在主機(jī)故障維護(hù)情況下的不間斷運(yùn)行。但FT策略必須把承擔(dān)某個(gè)應(yīng)用的虛擬機(jī)進(jìn)行復(fù)制、建立冗余，以至于占用的CPU、內(nèi)存等資源也將是原來的兩倍。在實(shí)際應(yīng)用中，考慮到云平臺資源有限，不可能把群集內(nèi)所有運(yùn)行的虛擬機(jī)都配置成受FT保護(hù)；對于FT策略下運(yùn)行非關(guān)鍵任務(wù)的虛擬機(jī)，一旦所在主機(jī)宕機(jī)或者需要進(jìn)入維護(hù)模式，只能另外擇機(jī)重啟。在我臺建設(shè)的虛擬化平臺中，相較于VMotion策略，F(xiàn)T策略不能完全做到將所有虛擬機(jī)實(shí)現(xiàn)“零停機(jī)”的功能，同時(shí)更加占用硬件資源。

從各自配置的需求來看，VMotion策略對于系統(tǒng)軟硬件、網(wǎng)絡(luò)要求更加寬容。VMotion需要一個(gè)共享的存儲空間，以保證虛擬機(jī)在熱遷移時(shí)源主機(jī)和目標(biāo)主機(jī)均可訪問。此外，VMotion要求在所有啟用VMotion的主機(jī)之間設(shè)置兩個(gè)千兆以太網(wǎng)絡(luò)，分別配置管理流量和虛擬機(jī)遷移流量，然后在主機(jī)之間手動配置相同的網(wǎng)絡(luò)標(biāo)簽，即可實(shí)現(xiàn)在預(yù)定時(shí)間安排遷移，無需維護(hù)人員在場。構(gòu)建FT群集則對網(wǎng)絡(luò)及軟硬件配置提出了更為嚴(yán)格的要求。首先，較之VMotion，需要另外準(zhǔn)備FT專用的千兆以上的高速網(wǎng)絡(luò)，且群集主機(jī)之間的延遲應(yīng)低于毫秒級。其次，由于二者運(yùn)行機(jī)制的不同，VMotion只有在虛擬機(jī)遷移的很短的時(shí)間內(nèi)產(chǎn)生很大流量，換言之，只是瞬時(shí)占用大量帶寬；FT則需要實(shí)時(shí)讀取主、輔兩臺虛擬機(jī)的日志信息以保證同步，因此必須持續(xù)占用大量帶寬，從而加重了網(wǎng)絡(luò)運(yùn)行的負(fù)擔(dān)。第三，我臺建設(shè)虛擬化平臺，使用VMware 5.5版本，該版本使用FT策略時(shí)只能支持每個(gè)虛擬機(jī)分配1顆虛擬CPU。VMotion策略則對虛擬機(jī)沒有虛擬CPU個(gè)數(shù)的限制，因此可以實(shí)現(xiàn)比FT更加靈活的部署。

從各自的特性來看，結(jié)合我臺的實(shí)際使用情況，使用VMotion可以在不影響虛擬機(jī)運(yùn)行的情況下自動將其從故障或性能不佳的主機(jī)中遷出，并在很短時(shí)間內(nèi)確定虛擬機(jī)最佳遷入的主機(jī)，實(shí)現(xiàn)資源池中虛擬機(jī)持續(xù)自動的優(yōu)化，維護(hù)起來相對方便快捷。使用FT雖然同樣可以不影響虛擬機(jī)的運(yùn)行，實(shí)現(xiàn)無縫切換，但是由于容錯(cuò)技術(shù)本身發(fā)展的還不夠成熟，使用起來存在諸多限制。例如，相對于VMotion，F(xiàn)T不支持虛擬機(jī)快照，也不支持快照的備份技術(shù)。虛擬機(jī)快照是虛擬機(jī)磁盤文件在某個(gè)點(diǎn)即時(shí)的復(fù)本，當(dāng)虛擬機(jī)操作系統(tǒng)崩潰，或者更新部署不成功，都可以通過使用快照來完成恢復(fù)。虛擬機(jī)快照在全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺應(yīng)用中至關(guān)重要，若不能使用將對我臺的日常維護(hù)及升級工作造成一定影響。FT同樣不支持熱插拔設(shè)備。FT虛擬機(jī)不能添加或刪除光驅(qū)、硬盤、USB接口、聲卡、網(wǎng)卡、SCSI等設(shè)備，從一定程度上降低了操作靈活性和系統(tǒng)可擴(kuò)展性。

四、實(shí)踐及應(yīng)用

我臺建設(shè)的全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺，采用云計(jì)算操作系統(tǒng)軟件，并將十?dāng)?shù)個(gè)監(jiān)測業(yè)務(wù)系統(tǒng)部署到平臺之上。根據(jù)兩種可靠性方案的對比結(jié)果，平臺確定使用114個(gè)刀片服務(wù)器按照各監(jiān)測業(yè)務(wù)分別組建HA群集，同時(shí)開啟DRS實(shí)現(xiàn)負(fù)載均衡，配合VMotion高級功能，使虛擬機(jī)獨(dú)立于硬件、操作系統(tǒng)和應(yīng)用程序，提供更高可用性；在各業(yè)務(wù)部署到虛擬化平臺后消除計(jì)劃內(nèi)業(yè)務(wù)宕機(jī)時(shí)間，并最大限度地減少計(jì)劃外業(yè)務(wù)宕機(jī)時(shí)間，提高資源利用率。平臺中群集屬性設(shè)置如表1所示。

主機(jī)添加到群集時(shí)，代理將上載到該主機(jī)，并配置為與群集內(nèi)的其他代理通信。添加到群集的前五臺主機(jī)將指定為首選主機(jī)，隨后的所有主機(jī)將指定為輔助主機(jī)。首選主機(jī)維護(hù)和復(fù)制群集所有的狀況，并用于啟動故障切換操作。如果從群集內(nèi)移除某臺首選主機(jī)，則群集中的另一臺主機(jī)將被提升為首選狀態(tài)。加入群集的任何主機(jī)都將與現(xiàn)有首選主機(jī)通信并完成配置工作。

虛擬化平臺群集的網(wǎng)絡(luò)連接、設(shè)計(jì)和部署如圖8所示。群集內(nèi)配置兩臺虛交換機(jī)vSwitch0和vSwitch1；每臺主機(jī)選配4塊1000 Mbps物理網(wǎng)卡vmnic0-vmnic3，分別做如下使用：將vmnic0和vmnic2綁定后連接到vSwitch0，并在vSwitch0上設(shè)置VMotion端口組；將vmnic1和vmnic3綁定后連接到vSwitch1，并在vSwitch1上設(shè)置管理網(wǎng)端口組和虛擬機(jī)端口組（虛擬機(jī)配置網(wǎng)絡(luò)的接入選項(xiàng)），前者實(shí)現(xiàn)對網(wǎng)卡的管理與操作，后者建立虛擬機(jī)對外通信的網(wǎng)絡(luò)。

五、結(jié)束語

我臺建設(shè)的全媒體綜合監(jiān)測監(jiān)管系統(tǒng)虛擬化平臺實(shí)現(xiàn)了多種信號的統(tǒng)一監(jiān)測，融合了網(wǎng)絡(luò)化、虛擬化、云計(jì)算、云存儲等一系列新技術(shù)，大大提高了對各類廣播電視及互聯(lián)網(wǎng)視音頻信號的監(jiān)測監(jiān)管效率。在平臺展現(xiàn)高新技術(shù)的同時(shí)，我臺對其使用VMware高可用群集結(jié)合虛擬機(jī)熱遷移策略，保證了平臺在自身結(jié)構(gòu)日趨復(fù)雜的條件下穩(wěn)定可靠地運(yùn)行。隨著系統(tǒng)軟硬件及網(wǎng)絡(luò)技術(shù)的進(jìn)一步發(fā)展與升級，提高平臺可靠性的方案也將不斷地改進(jìn)和完善。

［1］ 居朝軍，錢衛(wèi) .構(gòu)建省級廣電全媒體綜合監(jiān)測監(jiān)管平臺的研究與實(shí)踐 ［J］.北京：廣播與電視技術(shù)，2014，41 （8）：145-151.

［2］ 蔣謝彬，李獻(xiàn)球 .高可用系統(tǒng)的技術(shù)與應(yīng)用［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用， 2003: 31-33.

［3］ 鄧玉元，李少根 .提高系統(tǒng)容錯(cuò)性的軟件技術(shù)［J］.現(xiàn)代電子技術(shù)， 2006: 33-35..