基于流媒體服務(wù)器集群副本放置策略的研究

楊顯鈞 ，徐 林 ，姜浩然

（1.四川大學(xué) 計(jì)算機(jī)學(xué)院，四川 成都610064；2.中興通訊股份有限公司，北京100085）

1 研究背景及意義

隨著計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展和軟硬件水平的提升，作為多媒體與網(wǎng)絡(luò)結(jié)合的產(chǎn)物，流媒體技術(shù)應(yīng)運(yùn)而生。流媒體技術(shù)的核心主要集中在流媒體服務(wù)器方面。隨著用戶需求多樣化、信息海量化和交互實(shí)時(shí)化，服務(wù)器性能逐漸成為用戶需求的瓶頸。如何在保證現(xiàn)有的硬件條件下有效地解決大量用戶訪問產(chǎn)生的服務(wù)器性能瓶頸，是目前乃至今后需要著力解決的課題。

對(duì)此，有學(xué)者提出了集群的概念。服務(wù)器集群是將許多較為廉價(jià)服務(wù)器通過網(wǎng)絡(luò)和相關(guān)軟件連接起來，用以提供比單一服務(wù)更穩(wěn)定、更高效、更具擴(kuò)展性的服務(wù)平臺(tái)，使整個(gè)系統(tǒng)更加健壯，從而解決單點(diǎn)故障可能帶來的問題。

本文采用服務(wù)器集群的方式均衡用戶服務(wù)請(qǐng)求，使每臺(tái)服務(wù)器負(fù)載最優(yōu)，保證了服務(wù)器可以有效地向用戶提供服務(wù)。Red5流媒體服務(wù)器提供了一種開源模式的集群架構(gòu)，為了更好地模擬用戶需求，本文改進(jìn)了Red5流媒體服務(wù)器的集群架構(gòu)，以調(diào)度服務(wù)器為中心進(jìn)行負(fù)載均衡調(diào)動(dòng)，通過負(fù)反饋機(jī)制根據(jù)流媒體服務(wù)器負(fù)載量值計(jì)算權(quán)值，以此分配用戶請(qǐng)求的策略進(jìn)行負(fù)載均衡。對(duì)于視頻文件的存儲(chǔ)，為了節(jié)省存儲(chǔ)空間和對(duì)用戶點(diǎn)播請(qǐng)求進(jìn)行分流，對(duì)基于Zipf的點(diǎn)播分布規(guī)律的兩階段副本放置算法進(jìn)行改進(jìn)，從而達(dá)到對(duì)用戶請(qǐng)求分流的目的。

2 流媒體服務(wù)器集群及其相關(guān)改進(jìn)

流媒體服務(wù)器要處理眾多的用戶請(qǐng)求，并且要保證響應(yīng)速度，它還要具有傳輸數(shù)據(jù)量大、持續(xù)時(shí)間長(zhǎng)的特點(diǎn)。在這種情況下，服務(wù)器集群就發(fā)揮了優(yōu)勢(shì)。它將許多較為廉價(jià)的服務(wù)器通過網(wǎng)絡(luò)和相關(guān)軟件連接起來，用以提供比單一服務(wù)更穩(wěn)定、更高效、更具擴(kuò)展性的服務(wù)平臺(tái)，集群部署可以增加整個(gè)系統(tǒng)的健壯性，更好地解決單點(diǎn)故障帶來的問題。集群具有主動(dòng)容錯(cuò)性、負(fù)載均衡性等優(yōu)點(diǎn)[1]，一方面當(dāng)集群中的某個(gè)節(jié)點(diǎn)出現(xiàn)問題，不能正常工作時(shí)，它的任務(wù)會(huì)自動(dòng)轉(zhuǎn)移到其他正常工作的節(jié)點(diǎn)上，繼續(xù)為用戶提供服務(wù)。另一方面將流媒體的服務(wù)均勻分配到各個(gè)服務(wù)器上，合理地利用各個(gè)流媒體服務(wù)器的資源，能更好地為用戶提供服務(wù)。

對(duì)此，Red5技術(shù)提供了一套服務(wù)器集群解決方案。在Red5環(huán)境中，邊服務(wù)器會(huì)將相同范圍的用戶請(qǐng)求分配到同一源服務(wù)器，所有源服務(wù)器上需要存儲(chǔ)相同視頻，邊服務(wù)器采用輪詢方式分配用戶請(qǐng)求。這種方式存在負(fù)載不均衡、存儲(chǔ)效率低等問題。本文在此集群方案基礎(chǔ)上，對(duì)Jabber系統(tǒng)進(jìn)行了改進(jìn)并提出了一種更簡(jiǎn)潔實(shí)用的方案，如圖1所示。

在這個(gè)方案中，調(diào)度服務(wù)器實(shí)時(shí)監(jiān)控服務(wù)節(jié)點(diǎn)的負(fù)載狀況，使調(diào)度相關(guān)策略在調(diào)度服務(wù)器上實(shí)施，從而將具體服務(wù)與請(qǐng)求調(diào)度分離。在此基礎(chǔ)上，調(diào)度器動(dòng)態(tài)采集流媒體服務(wù)器的負(fù)載。其核心思想就是充分合理利用每臺(tái)服務(wù)器的剩余處理能力，將熱門影片合理復(fù)制到各個(gè)流媒體服務(wù)器上，使熱門影片有多個(gè)副本，這樣可以達(dá)到用戶點(diǎn)播請(qǐng)求分流的作用，而點(diǎn)播次數(shù)低的視頻文件則少存儲(chǔ)幾份，以此達(dá)到節(jié)省服務(wù)器空間的目的。

3 流媒體服務(wù)器集群中的副本放置

流媒體服務(wù)器集群中的視頻存儲(chǔ)問題關(guān)鍵在于副本放置。其原理是為了解決集群環(huán)境下單臺(tái)服務(wù)器負(fù)載過重的問題。具體而言，就是對(duì)某些點(diǎn)播頻繁的視頻進(jìn)行復(fù)制，將其副本放置到其他服務(wù)器，以達(dá)到分流的目的；當(dāng)視頻訪問熱度下降時(shí)，還要考慮刪除副本，以節(jié)省存儲(chǔ)空間。副本放置的相關(guān)算法有閾值算法、兩階段算法、背包問題算法[2]等，這些算法中有些可以應(yīng)用在大型視頻點(diǎn)播系統(tǒng)中，但算法過于復(fù)雜，甚至沒有考慮到視頻點(diǎn)播概率的動(dòng)態(tài)變化[3]。針對(duì)上述情況，本文采用了基于Zipf分布規(guī)律的副本放置策略，這樣既達(dá)到均衡效果，也節(jié)省了存儲(chǔ)空間。

3.1 基于Zip f點(diǎn)播分布規(guī)律的副本產(chǎn)生策略

研究統(tǒng)計(jì)[4]表明，視頻的點(diǎn)播類型的服務(wù)近似服從Zipf分布，即20%的節(jié)目將吸引80%左右的用戶點(diǎn)播，而剩下80%的節(jié)目?jī)H有20%左右的人點(diǎn)播。即將視頻文件按流行度排序?yàn)?L1，L2，L3，…，Ln，則各個(gè)節(jié)目的點(diǎn)播概率可設(shè)為 pi=P{X=Mi}(i=1，2，3，…，n)，滿足：

其中 θ是分布曲線的偏斜度，θ∈[0.271，1]。

在實(shí)際情況中可以令副本占據(jù)磁盤空間的70%，此時(shí)集群系統(tǒng)中副本數(shù)和請(qǐng)求的分配達(dá)到最優(yōu)狀況。用ni表示視頻文件i副本的個(gè)數(shù)，fi表示視頻文件i的大小，ns表示服務(wù)器的數(shù)量，Cvi表示可用磁盤容量，如下式：

其中，ni必須為整數(shù)，由于服務(wù)器有數(shù)量限制，每臺(tái)服務(wù)器上不能放置相同文件的兩個(gè)副本，因此ni必須小于 ns。

由以上公式可以近似預(yù)測(cè)出副本的數(shù)目。為了解決重復(fù)計(jì)算的問題，本文規(guī)定，在排序時(shí)只排序不同的文件，副本由原本產(chǎn)生，不會(huì)由副本產(chǎn)生副本。

3.2 基于Zip f點(diǎn)播分布規(guī)律的副本放置策略

在放置副本過程中，根據(jù)實(shí)際環(huán)境特點(diǎn)，衡量服務(wù)器的負(fù)載要綜合考慮服務(wù)器會(huì)面臨的各種情況[5]。本文以3個(gè)指標(biāo)進(jìn)行衡量：產(chǎn)生聊天室的數(shù)量C、當(dāng)前流媒體服務(wù)器的磁盤空間大小Q以及該服務(wù)器上所有視頻文件的點(diǎn)播概率之和P。通過這3個(gè)指標(biāo)可以預(yù)測(cè)以后的服務(wù)器的負(fù)載狀況，如下公式：

w1、w2、w3為權(quán)值。根據(jù)以上公式可以計(jì)算出服務(wù)器的可能負(fù)載。如果副本數(shù)量ni=ns，則將每個(gè)服務(wù)器上依次放置。如果 ni

流程描述如下：

(1)根據(jù)Zipf分布計(jì)算副本數(shù)量；

(2)如果 ni=ns，則轉(zhuǎn) 到步 驟(5)，如果 ni

圖2 副本計(jì)算與放置流程

(3)根據(jù)式（3）計(jì)算各個(gè)服務(wù)器的可能負(fù)載；

(4)根據(jù)ss的值從小到大給服務(wù)器排序，依次放置副本，如果該服務(wù)器上已經(jīng)存在該視頻文件的副本，則放棄放置，標(biāo)記成放置成功，直到副本數(shù)為ni-1。轉(zhuǎn)到步驟(6)；

(5)向服務(wù)器中依次放入副本,如果已經(jīng)存在該視頻文件副本則放棄放置，標(biāo)記成放置成功，直到副本數(shù)為ns-1；

(6)結(jié)束。

3.3 視頻副本清理策略

為體現(xiàn)視頻熱度的變化，需要根據(jù)每天的點(diǎn)播情況改變視頻熱度，保證熱度低的視頻副本不過多地占用服務(wù)器空間，需定期進(jìn)行清理[6]。具體而言，就是根據(jù)該檢索數(shù)據(jù)庫中的視頻信息表，判斷當(dāng)天的視頻點(diǎn)播是否達(dá)到閾值，如果未達(dá)到則在總的點(diǎn)播次數(shù)上減去相應(yīng)值，表示該影片的熱度下降，反之則加上當(dāng)天的點(diǎn)播次數(shù)，表示熱度上升。如果該熱度小于刪除的閾值，則向流媒體服務(wù)器發(fā)送刪除命令。流程如圖3所示。

本文深入研究了Red5流媒體服務(wù)器集群相關(guān)技術(shù)以及現(xiàn)有的Red5集群解決方案，發(fā)現(xiàn)其中的不足，采用了一種基于Zipf分布規(guī)律的副本放置策略和負(fù)反饋動(dòng)態(tài)負(fù)載均衡調(diào)度相結(jié)合的方式對(duì)用戶請(qǐng)求進(jìn)行分流，以提高系統(tǒng)服務(wù)質(zhì)量，并將該方法成功應(yīng)用于某市中小學(xué)心理康復(fù)綜合社會(huì)救助服務(wù)系統(tǒng)。該平臺(tái)旨在建立中小學(xué)生心理康復(fù)綜合社會(huì)援助技術(shù)支撐體系和輔導(dǎo)體系。該方法不僅適應(yīng)于上述平臺(tái)，同時(shí)對(duì)其他的負(fù)載均衡集群系統(tǒng)也具有一定的借鑒及參考意義。此外，隨著用戶信息和資源文件增長(zhǎng)，在保證服務(wù)器數(shù)據(jù)安全性的基礎(chǔ)上，如何確保其健壯性，引入云計(jì)算平臺(tái)并實(shí)現(xiàn)海量數(shù)據(jù)的分布式存儲(chǔ)，進(jìn)而更好地對(duì)平臺(tái)提供技術(shù)上的支持，達(dá)到更高的可用性，將是下一步研究的重點(diǎn)。

圖3 副本刪除流程

[1]李子民.基于LVS的集群動(dòng)態(tài)負(fù)載均衡算法研究[D].成都：電子科技大學(xué)，2009.

[2]周航.大規(guī)模流媒體服務(wù)系統(tǒng)存儲(chǔ)調(diào)度研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2007.

[3]姜琳.流媒體服務(wù)器的存儲(chǔ)策略[D].上海：復(fù)旦大學(xué)，2010.

[4]宋曉華，黃河清，曹元大.基于用戶訪問統(tǒng)計(jì)特性的流媒體文件復(fù)制策略[J].南京理工大學(xué)學(xué)報(bào)，2007，31(50)：617-621.

[5]姜浩然，徐林.基于RTMP的流媒體服務(wù)器的研究[J].計(jì)算機(jī)與數(shù)字工程，2011，39(10)：104-108.

[6]陳世明.基于Lucene與RTMP的學(xué)生心理健康實(shí)時(shí)視訊平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].成都：四川大學(xué).2011.