基于集群的VOD視頻服務(wù)器系統(tǒng)設(shè)計(jì)

王華兵

（長(zhǎng)沙民政職業(yè)技術(shù)學(xué)院，湖南長(zhǎng)沙410004）

視頻點(diǎn)播VOD(Video-on-Demand)隨著存儲(chǔ)技術(shù)和高速通信技術(shù)的不斷發(fā)展而越來越引起注意。在VOD服務(wù)系統(tǒng)中，用戶可以在他希望的時(shí)間欣賞他所喜歡的節(jié)目。播放設(shè)備可以是電視機(jī)，可以是PC，還可能是下一代的移動(dòng)設(shè)備。本文提出了基于集群的分布式VOD系統(tǒng)視頻服務(wù)器系統(tǒng)，該系統(tǒng)由一個(gè)中心和多個(gè)分中心的二級(jí)架構(gòu)組成；每個(gè)分中心相當(dāng)于一個(gè)局域網(wǎng)，其中包含一個(gè)視頻服務(wù)器集群。每個(gè)視頻服務(wù)器集群又由一個(gè)分中心管理節(jié)點(diǎn)和若干個(gè)視頻服務(wù)節(jié)點(diǎn)組成。

1.VOD系統(tǒng)結(jié)構(gòu)

VOD系統(tǒng)采用服務(wù)器集群技術(shù)，由多個(gè)服務(wù)器分擔(dān)負(fù)載。中心管理節(jié)點(diǎn)上的負(fù)載均衡調(diào)度系統(tǒng)將用戶請(qǐng)求重定向到最合適的視頻服務(wù)節(jié)點(diǎn)，使視頻點(diǎn)播系統(tǒng)能夠承載大用戶量的請(qǐng)求。如圖1-1所示，基于集群的分中心VOD系統(tǒng)主要由集群管理節(jié)點(diǎn)、視頻服務(wù)節(jié)點(diǎn)、Web服務(wù)器、影片庫和數(shù)據(jù)庫組成。

中心管理節(jié)點(diǎn)是系統(tǒng)的心臟，它監(jiān)控各個(gè)視頻服務(wù)節(jié)點(diǎn)的狀態(tài)，協(xié)調(diào)各個(gè)服務(wù)器間的通訊，負(fù)責(zé)負(fù)載均衡、動(dòng)態(tài)擴(kuò)展等功能的實(shí)現(xiàn)。中心管理節(jié)點(diǎn)是系統(tǒng)的樞紐，如果它失效，整個(gè)系統(tǒng)就會(huì)崩潰。視頻服務(wù)節(jié)點(diǎn)是系統(tǒng)的后臺(tái)，它為用戶提供真正的視頻流服務(wù)，同時(shí)管理片源遞送。視頻服務(wù)節(jié)點(diǎn)可以動(dòng)態(tài)的伸縮，其數(shù)目根據(jù)實(shí)際需要能夠達(dá)到一個(gè)或者多個(gè)，可通過注冊(cè)機(jī)制實(shí)現(xiàn)熱插拔功能。一個(gè)視頻服務(wù)節(jié)點(diǎn)的失效，并不會(huì)影響整個(gè)系統(tǒng)的可用性。

Web服務(wù)器是整個(gè)系統(tǒng)的前臺(tái)。它生成節(jié)目導(dǎo)航信息，提供影片檢索、影片預(yù)覽、影片點(diǎn)播等的交互界面同時(shí)它還提供管理界面，供管理員遠(yuǎn)程監(jiān)控和管理VOD系統(tǒng)。數(shù)據(jù)庫存放著和用戶、影片、服務(wù)器等系統(tǒng)資源相關(guān)的數(shù)據(jù)，供中心管理節(jié)點(diǎn)查詢和更新。分中心的影片庫主要存儲(chǔ)熱播影片。

本系統(tǒng)的體系結(jié)構(gòu)如圖4-2所示：第一層是集群管理服務(wù)器，其上的負(fù)載均衡調(diào)度器采用IP負(fù)載均衡技術(shù)，可以使得整個(gè)系統(tǒng)有較高的吞吐率；第二層是視頻服務(wù)節(jié)點(diǎn)池，在每個(gè)節(jié)點(diǎn)上可以運(yùn)行相應(yīng)的視頻流媒體服務(wù)；第三層是共享存儲(chǔ)，通過網(wǎng)絡(luò)文件系統(tǒng)/分布式文件系統(tǒng)存儲(chǔ)視頻節(jié)目。集群中各節(jié)點(diǎn)是通過高速網(wǎng)絡(luò)相連接。

IPVS負(fù)載均衡調(diào)度器使用直接路由方法(VS/DR)來架構(gòu)視頻服務(wù)器集群系統(tǒng)。調(diào)度器將視頻服務(wù)請(qǐng)求較均衡地分發(fā)到各個(gè)服務(wù)節(jié)點(diǎn)上，而視頻服務(wù)節(jié)點(diǎn)將響應(yīng)數(shù)據(jù)直接返回給客戶，這樣可以使得整個(gè)視頻服務(wù)器集群系統(tǒng)具有很好的伸縮性。

共享存儲(chǔ)是視頻服務(wù)器集群系統(tǒng)中最關(guān)鍵的問題，因?yàn)橐曨l文件往往非常大(一部片子需要幾百兆到幾千兆的存儲(chǔ)空間)，這對(duì)存儲(chǔ)的容量和讀取速度有較高的要求。對(duì)于規(guī)模較小的視頻服務(wù)器集群系統(tǒng)，可以有3至6個(gè)視頻服務(wù)節(jié)點(diǎn)，存儲(chǔ)系統(tǒng)可以考慮用帶千兆網(wǎng)卡的Linux服務(wù)器，使用軟件RAID和日志型文件系統(tǒng)，再運(yùn)行內(nèi)核的NFS服務(wù)，可以達(dá)到很好的效果。但是，對(duì)于規(guī)模較大的視頻服務(wù)器集群系統(tǒng)，最好選擇對(duì)文件分段(File Stripping)存儲(chǔ)和文件緩存有較好支持的分布式文件系統(tǒng)；視頻文件分段存儲(chǔ)在分布式文件系統(tǒng)的多個(gè)存儲(chǔ)節(jié)點(diǎn)上，可以提高文件系統(tǒng)的性能和存儲(chǔ)節(jié)點(diǎn)間的負(fù)載均衡。

2.動(dòng)態(tài)擴(kuò)展

在分布式的VOD應(yīng)用中，動(dòng)態(tài)擴(kuò)展性是十分關(guān)鍵的環(huán)節(jié)。動(dòng)態(tài)擴(kuò)展是指在不改變?cè)瓉硐到y(tǒng)的正常運(yùn)行的情況下，通過添加視頻服務(wù)節(jié)點(diǎn)的方式，提升系統(tǒng)的性能。

在我們的VOD分布式結(jié)構(gòu)中，中心管理節(jié)點(diǎn)和視頻服務(wù)節(jié)點(diǎn)之間是一對(duì)多的松耦合的關(guān)系。如圖2-1所示，中心管理節(jié)點(diǎn)管理和維護(hù)多個(gè)視頻服務(wù)節(jié)點(diǎn)的狀態(tài)。當(dāng)要向系統(tǒng)添加新的視頻服務(wù)節(jié)點(diǎn)時(shí)，新的視頻服務(wù)節(jié)點(diǎn)向控制服務(wù)器發(fā)出注冊(cè)請(qǐng)求?？刂品?wù)器收到注冊(cè)請(qǐng)求后，把該視頻服務(wù)節(jié)點(diǎn)納入管理范圍，在以后處理點(diǎn)播請(qǐng)求的時(shí)候就會(huì)合理地把部分點(diǎn)播請(qǐng)求分配給它處理，使負(fù)載得到分流。如果要停止一臺(tái)視頻服務(wù)節(jié)點(diǎn)的服務(wù)，也不用影響系統(tǒng)的正常運(yùn)行，只要該視頻服務(wù)節(jié)點(diǎn)向控制服務(wù)器發(fā)出注銷請(qǐng)求即可?？刂品?wù)器和視頻服務(wù)節(jié)點(diǎn)這種松藕合的關(guān)系增強(qiáng)了系統(tǒng)的擴(kuò)展性，讓視頻服務(wù)節(jié)點(diǎn)真正做到“即插即用”。

3.負(fù)載平衡

由控制服務(wù)器和視頻服務(wù)節(jié)點(diǎn)構(gòu)成了一個(gè)集群系統(tǒng)，這里我們需要考慮集群的負(fù)載均衡問題，系統(tǒng)中的各個(gè)視頻服務(wù)節(jié)點(diǎn)的負(fù)載不能相差過大。控制服務(wù)器在選擇視頻服務(wù)節(jié)點(diǎn)提供影片視頻服務(wù)時(shí)，需要考慮視頻服務(wù)節(jié)點(diǎn)的負(fù)載。視頻服務(wù)節(jié)點(diǎn)的負(fù)載(Load)主要是網(wǎng)絡(luò)帶寬、磁盤I/O、CPU占用率三方面。

負(fù)載平衡的實(shí)現(xiàn)是建立在定時(shí)負(fù)載匯報(bào)機(jī)制上的。所有的視頻服務(wù)器都會(huì)周期性地向控制服務(wù)器發(fā)送負(fù)載報(bào)告。控制服務(wù)器會(huì)建立并且維護(hù)包含這些信息的視頻服務(wù)器狀態(tài)表。

4.存儲(chǔ)管理

一部90分鐘、碼率為1.5M/S的電影，壓縮后仍有750M左右的體積，對(duì)于有成千上萬部影片的片源庫，如果用高速的SCSI硬盤，成本相當(dāng)昂貴。對(duì)于影片的存儲(chǔ)，我們借鑒計(jì)算機(jī)體系結(jié)構(gòu)的多級(jí)存儲(chǔ)方案，采用兩級(jí)存儲(chǔ)結(jié)構(gòu)。在媒體服務(wù)節(jié)點(diǎn)采用高速的但容量相對(duì)較小的SCSI硬盤作為存儲(chǔ)設(shè)備，而片源庫采用低速的海量的存儲(chǔ)設(shè)備，比如磁碟機(jī)或光盤塔。

當(dāng)流媒體服務(wù)節(jié)點(diǎn)發(fā)現(xiàn)要服務(wù)的影片不在自己的硬盤上時(shí)，它會(huì)到影片庫里取出并復(fù)制到本地，然后再繼續(xù)服務(wù)。如果復(fù)制到本地空間不夠，那么就使用影片替換算法替換調(diào)一個(gè)己有的影片。

5.測(cè)試項(xiàng)目和結(jié)果

視頻服務(wù)器的性能與其能處理的最大請(qǐng)求數(shù)密切相關(guān)。在性能測(cè)試中，同時(shí)啟動(dòng)三個(gè)服務(wù)節(jié)點(diǎn)，并用在同網(wǎng)段工作的NIC100Mbps的主機(jī)，模擬多個(gè)1.5Mbps點(diǎn)播請(qǐng)求，并記錄服務(wù)器能處理的最大請(qǐng)求數(shù)目。具體模擬時(shí)，采用了四種模擬方案，并進(jìn)行多次試驗(yàn)，記錄下測(cè)試的平均值，如表5-1所示：

表5-1視頻服務(wù)器集群系統(tǒng)性能測(cè)試結(jié)果

6.結(jié)論

性能測(cè)試的結(jié)果表明，磁盤帶寬的瓶頸已被分布式結(jié)構(gòu)改善，網(wǎng)絡(luò)帶寬成為系統(tǒng)的瓶頸。隨機(jī)點(diǎn)播和互不相同點(diǎn)播試驗(yàn)中，系統(tǒng)的性能基本相同，它們受到網(wǎng)絡(luò)帶寬的限制。在所有請(qǐng)求都點(diǎn)播同一節(jié)目的試驗(yàn)中，系統(tǒng)性能成倍增加，這是基于IP組播的批處理算法帶來的優(yōu)勢(shì)。本系統(tǒng)中三臺(tái)視頻服務(wù)器硬件性能比較接近，屬于同質(zhì)系統(tǒng)的范疇；在系統(tǒng)實(shí)現(xiàn)進(jìn)一步完善時(shí)，將考慮系統(tǒng)異質(zhì)情況下，采用負(fù)載均衡算法所提出的公式計(jì)算系統(tǒng)負(fù)載；另一方面，選取系統(tǒng)權(quán)值，還要通過進(jìn)一步測(cè)試視頻服務(wù)器的性能才能給出一個(gè)合適的值，由于目前系統(tǒng)測(cè)試條件的限制，權(quán)值的選取是人為指定，在本測(cè)試過程中，服務(wù)器性能參數(shù)所占的比重大致相同。

[1]王恒.基于P2P的流媒體技術(shù)[J].電腦知識(shí)與技術(shù)，2007,(5).

[2]董志,金海,吳敏娜.集群視頻服務(wù)平臺(tái)流媒體監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與科學(xué),2005,(4):96-98.

[3]劉文捷,王慧強(qiáng).基于集群服務(wù)器的VOD設(shè)計(jì)與實(shí)現(xiàn)研究[J].應(yīng)用科技,2002,(4):35-38.

[4]楊燦,鄒雪城,盧正鼎.大規(guī)模交互式視頻服務(wù)系統(tǒng)研究綜述[J].廣播與電視技術(shù),2004,(11):50-51.

[5]高梅,昌玉芳.視頻點(diǎn)播交互式功能設(shè)計(jì)與實(shí)現(xiàn)[J].華中科技大學(xué)學(xué)報(bào).2006,(5).

[6]朱淵萍,黃明和.一種視頻點(diǎn)播系統(tǒng)的研究與實(shí)現(xiàn)[J].江西師范大學(xué)學(xué)報(bào),2004,(10):444-447.