應(yīng)用于P2P網(wǎng)絡(luò)串流的實(shí)時(shí)監(jiān)控系統(tǒng)

胡偉俊

(麗水學(xué)院工學(xué)院，浙江 麗水323000)

近幾年，隨著個(gè)人計(jì)算機(jī)的運(yùn)算能力與網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)電視、網(wǎng)絡(luò)游戲與實(shí)時(shí)轉(zhuǎn)播等網(wǎng)絡(luò)應(yīng)用程序得到了越來越多的應(yīng)用，隨著編碼技術(shù)的成熟，目前多基于網(wǎng)絡(luò)串流視頻技術(shù)來實(shí)現(xiàn)。隨著網(wǎng)絡(luò)應(yīng)用程序用戶的增加，傳統(tǒng)客戶端—服務(wù)器架構(gòu)已經(jīng)無法滿足大量使用者同時(shí)實(shí)時(shí)收看影音串流的需求。另外，傳統(tǒng)的架構(gòu)必須花費(fèi)大量代價(jià)來進(jìn)行所需要的帶寬和服務(wù)設(shè)施建設(shè)(如編碼服務(wù)器、影音串流服務(wù)器及網(wǎng)絡(luò)服務(wù)器)。這種相對(duì)較高的帶寬和媒體服務(wù)器部署的巨大成本，對(duì)大量服務(wù)的用戶的流媒體直播服務(wù)供貨商是一個(gè)嚴(yán)峻的挑戰(zhàn)。

為了解決這個(gè)問題，點(diǎn)對(duì)點(diǎn)(Peer-to-Peer，P2P)傳輸架構(gòu)的新技術(shù)開始被用于實(shí)時(shí)影音串流系統(tǒng)中，以克服上述提到的諸多問題［1］。這種點(diǎn)對(duì)點(diǎn)的實(shí)時(shí)影音串流利用用戶的網(wǎng)絡(luò)帶寬以及運(yùn)算能力，來有效地分擔(dān)串流服務(wù)系統(tǒng)的負(fù)擔(dān)，以達(dá)到使網(wǎng)絡(luò)容納更多的用戶，同時(shí)降低網(wǎng)絡(luò)帶寬以及服務(wù)設(shè)備成本的目的［2］。在這樣的點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)中，主要的思想與模式是:用戶在網(wǎng)絡(luò)中共享彼此的媒體文件，而不是僅僅從服務(wù)器上下載文件，即每一位使用者既是一個(gè)客戶端，也是一個(gè)服務(wù)器。這種模式通過共享加載的流媒體服務(wù)器，降低了所需的帶寬，為使用者提供服務(wù)［3］。目前，有許多網(wǎng)絡(luò)上的P2P流媒體如PPLive、PPStream、悠視網(wǎng)等。然而，基于點(diǎn)對(duì)點(diǎn)的實(shí)時(shí)影音串流技術(shù)的網(wǎng)絡(luò)存在動(dòng)態(tài)的特性，用戶可以隨意加入或離開網(wǎng)絡(luò)，使得網(wǎng)絡(luò)中的用戶數(shù)目實(shí)時(shí)變化［4］。在該模式下，對(duì)于網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)監(jiān)控來跟蹤點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)中用戶的網(wǎng)絡(luò)狀況、收看質(zhì)量以及系統(tǒng)狀態(tài)來評(píng)估系統(tǒng)的效能，是非常重要的一項(xiàng)研究內(nèi)容，并且成為近年來的一個(gè)研究熱點(diǎn)［5-7］。本文分析了點(diǎn)對(duì)點(diǎn)串流實(shí)時(shí)監(jiān)控系統(tǒng)的需求，指出跟蹤監(jiān)控的3類主要方法，即網(wǎng)絡(luò)級(jí)別的監(jiān)控，被動(dòng)的應(yīng)用程序級(jí)別的監(jiān)控和主動(dòng)應(yīng)用程序級(jí)別的監(jiān)控。提出了一種用于P2P網(wǎng)絡(luò)串流的主動(dòng)應(yīng)用程序級(jí)的實(shí)時(shí)監(jiān)控系統(tǒng)的架構(gòu)，分析了系統(tǒng)的各個(gè)主要組成部分與功能。

1 P2P直播系統(tǒng)監(jiān)控

圖1給出了3G平臺(tái)移動(dòng)視頻直播網(wǎng)絡(luò)模型。在該模型下，目前已有很多對(duì)于P2P網(wǎng)絡(luò)流媒體直播系統(tǒng)進(jìn)行監(jiān)控的研究。在這些監(jiān)控方法中，主要有3種類型的跟蹤監(jiān)控方法:網(wǎng)絡(luò)級(jí)別的監(jiān)控，被動(dòng)的應(yīng)用程序級(jí)別的監(jiān)控和主動(dòng)應(yīng)用程序級(jí)別的監(jiān)控。

圖1 3G平臺(tái)移動(dòng)視頻直播網(wǎng)絡(luò)模型

網(wǎng)絡(luò)級(jí)監(jiān)控的原理是:執(zhí)行監(jiān)控任務(wù)的監(jiān)控代碼到網(wǎng)絡(luò)設(shè)備，如路由器、交換機(jī)和網(wǎng)關(guān)收集IP層的數(shù)據(jù)報(bào)監(jiān)控信息。它可以進(jìn)一步分為路由器和基于非路由器監(jiān)控工作。監(jiān)控的功能是內(nèi)置到路由器并沒有額外安裝硬件或軟件，SNMP(RFC1157)，RMON(RFC1757)和NetFlow(RFC3954)是在路由器監(jiān)控的典型例子。

被動(dòng)應(yīng)用程序級(jí)別監(jiān)控的原理是:通過收集應(yīng)用程序級(jí)信息被動(dòng)的方式，如嗅探，通過對(duì)比度實(shí)現(xiàn)網(wǎng)絡(luò)級(jí)的跟蹤，被動(dòng)應(yīng)用程序級(jí)的監(jiān)控不需要網(wǎng)絡(luò)基礎(chǔ)設(shè)施的訪問。

主動(dòng)應(yīng)用程序級(jí)別的監(jiān)控原理是:系統(tǒng)收集關(guān)于目標(biāo)P2P應(yīng)用程序的活動(dòng)，跟蹤傳播的代理，如“爬蟲”，對(duì)數(shù)據(jù)流量和同行的伙伴關(guān)系作進(jìn)一步的分析。本文討論的就是主動(dòng)應(yīng)用程序級(jí)別的監(jiān)控。

2 主動(dòng)應(yīng)用程序級(jí)別的P2P實(shí)時(shí)監(jiān)控系統(tǒng)

所提出的主動(dòng)應(yīng)用程序級(jí)別的實(shí)時(shí)監(jiān)控系統(tǒng)的體系結(jié)構(gòu)如圖2所示。主要組成部分有:日志服務(wù)器，日志緩沖區(qū)，日志分析器，監(jiān)控代理和Web GUI接口。

圖2 主動(dòng)應(yīng)用程序級(jí)別實(shí)時(shí)監(jiān)控系統(tǒng)

流媒體服務(wù)器接收數(shù)據(jù)流源，如媒體編碼器能夠從數(shù)字?jǐn)z像機(jī)、數(shù)字電視卡或攝像頭獲取視頻/音頻信號(hào)，然后進(jìn)行編碼，作為待處理的視頻流信號(hào)。一個(gè)流媒體服務(wù)器如果具有足夠大的帶寬，來自流媒體服務(wù)器的種子用戶上傳的流媒體，就會(huì)共享分流到其他對(duì)等端。在實(shí)時(shí)監(jiān)控系統(tǒng)中，Web GUI接口下提供以下信息的輸出:

1)系統(tǒng)信息，即流媒體服務(wù)器使用的CPU/內(nèi)存;

2)內(nèi)容質(zhì)量信息，即最終用戶接收信息的質(zhì)量;

3)通信信息，即流媒體服務(wù)器和最終用戶上傳/下載速度和數(shù)量。

數(shù)據(jù)庫是一個(gè)可以訪問的資源集合或存儲(chǔ)庫，是一個(gè)組織好的電子存儲(chǔ)的數(shù)據(jù)檢索信息。來自該系統(tǒng)的數(shù)據(jù)庫中的數(shù)據(jù)還包括一些日志文件。這些日志數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉庫ETL進(jìn)行3步操作:1)在提取階段，數(shù)據(jù)被分析、解析和進(jìn)行格式轉(zhuǎn)化;2)轉(zhuǎn)換階段是用一系列的規(guī)則對(duì)源數(shù)據(jù)轉(zhuǎn)換，如數(shù)據(jù)清洗和數(shù)據(jù)聚合;3)加載階段的最終目標(biāo)是將數(shù)據(jù)加載到最終目標(biāo)。

使用該系統(tǒng)能夠進(jìn)行實(shí)時(shí)監(jiān)控，可以跟蹤點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)中用戶的網(wǎng)絡(luò)狀況等內(nèi)容，主要包括設(shè)備信息與服務(wù)器信息。設(shè)備信息的主要內(nèi)容包括:網(wǎng)絡(luò)設(shè)備的基本信息，包含設(shè)備名稱、該設(shè)備服務(wù)的終端設(shè)備數(shù)目、當(dāng)前開放服務(wù)的數(shù)目、設(shè)備的IP地址、當(dāng)前網(wǎng)絡(luò)輸入輸出速率、設(shè)備當(dāng)前服務(wù)的用戶數(shù)目等;輸入/輸出流量速度，即實(shí)時(shí)監(jiān)控系統(tǒng)提供不同的時(shí)間間隔的輸入/輸出流量速度;輸入/輸出流量，即輸入/輸出流量是在上一個(gè)時(shí)間間隔內(nèi)設(shè)備的流量變化，其余還包括系統(tǒng)信息、設(shè)備信息、終端用戶信息、P2P基本信息、P2P終端用戶信息和客戶—服務(wù)器基本信息與終端用戶信息等。在服務(wù)器信息部分，主要信息包括服務(wù)器基本信息、流量速度、流量、終端用戶信息、P2P基本信息、P2P終端用戶信息、客戶—服務(wù)器基本信息與終端用戶信息等內(nèi)容。

為了評(píng)價(jià)所構(gòu)建系統(tǒng)的性能，特別設(shè)計(jì)了一個(gè)最終用戶流量日志數(shù)據(jù)包發(fā)生器，建立從50到15 000個(gè)連接，并發(fā)送流量日志數(shù)據(jù)到實(shí)時(shí)監(jiān)控服務(wù)器，來為監(jiān)控服務(wù)器產(chǎn)生工作量。此外，選擇在2臺(tái)機(jī)器上進(jìn)行實(shí)驗(yàn)，以得到更加全面的觀察結(jié)果。這2臺(tái)機(jī)器的硬件信息如表1所示。

表1 機(jī)器配置

首先，發(fā)送2 000流量日志(1 000記錄一次)到監(jiān)控服務(wù)器，在第5 s，最初的1 000日志包存放于日志緩存中，其他的1 000日志包在第5 s被接收到。在實(shí)驗(yàn)開始時(shí)間后約7 s，啟動(dòng)日志分析器，日志數(shù)量減少。服務(wù)器1需要1.45 s，服務(wù)器2需要2.1 s來處理日志。日志存儲(chǔ)時(shí)間服務(wù)器1和服務(wù)器2采用的是1.25 s和1.95 s。統(tǒng)計(jì)在不同節(jié)點(diǎn)屬下的數(shù)據(jù)聚集時(shí)間，得到的結(jié)果如表2所示。

表2 數(shù)據(jù)聚集的時(shí)間對(duì)比

3 結(jié)論

隨著網(wǎng)絡(luò)應(yīng)用程序用戶的增加，P2P傳輸架構(gòu)的新技術(shù)開始被用于實(shí)時(shí)影音串流系統(tǒng)。然而，這樣的網(wǎng)絡(luò)存在動(dòng)態(tài)的特性，每位用戶既是一個(gè)客戶端，也是一個(gè)服務(wù)器，用戶可以隨意加入以及離開點(diǎn)對(duì)點(diǎn)的網(wǎng)絡(luò)，對(duì)于該網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)監(jiān)控來跟蹤點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)中用戶的網(wǎng)絡(luò)狀況、收看質(zhì)量以及系統(tǒng)狀態(tài)來評(píng)估系統(tǒng)的效能，是非常重要的一項(xiàng)研究內(nèi)容。本文分析了應(yīng)用于P2P網(wǎng)絡(luò)串流的實(shí)時(shí)監(jiān)控系統(tǒng)，指出跟蹤監(jiān)控的3類主要方法，即網(wǎng)絡(luò)級(jí)別的監(jiān)控、被動(dòng)的應(yīng)用程序級(jí)別的監(jiān)控和主動(dòng)應(yīng)用程序級(jí)別的監(jiān)控。最后，提出了主動(dòng)應(yīng)用程序級(jí)別的監(jiān)控模式下監(jiān)控系統(tǒng)的架構(gòu)與組成，并進(jìn)行了實(shí)驗(yàn)，分析了其監(jiān)控性能。

［1］楊文濤，易志雄，劉衛(wèi)忠，等.P2P網(wǎng)絡(luò)流媒體播放系統(tǒng)研究［J］.電視技術(shù)，2005，29(6):66-68.

［2］HEI X，LIANG C，LIANG J，et al.A measurement study of a large-scale P2P IPTV system［J］.IEEE Trans.Multimedia，2007，9(8):1672-1687.

［3］MATHUR A，MATHUR A，ZHANG H.Measurement of commercial peer-to-peer live video streaming［EB/OL］.［2012-11-12］.http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.61.1906&rep=rep1&type=pdf.

［4］凌燕，藍(lán)善禎，徐品，等.P2P流媒體系統(tǒng)關(guān)鍵技術(shù)概述［J］.電視技術(shù)，2012，36(3):58-61.

［5］SILVERSTON T，F(xiàn)OURMAUX O.Measuring P2P IPTV systems［EB/OL］.［2012-11-12］.http://rp.lip6.fr/site_npa/_publications/796-silverston-nossdav07.pdf.

［6］詹曉濤.CDN與P2P相結(jié)合的流媒體系統(tǒng)設(shè)計(jì)［J］.電視技術(shù)，2009，33(6):67-70.

［7］XIE S，KEUNG G Y，LI B.A measurement of a large-scale peer-to-peer live video streaming system［C］//Proc.ICPPW 2007.［S.l.］:IEEE Press，2007:153-162.