基于用戶QoE的流媒體系統(tǒng)性能測評模型設(shè)計

摘 要： 影響流媒體用戶服務(wù)質(zhì)量體驗QoE（Quality of Experience）的因素有很多，如何對用戶QoE進(jìn)行量化判別是一個復(fù)雜的問題。為此，以媒體傳輸指標(biāo)MDI為基礎(chǔ)，研究了用于測量流媒體用戶QoE的基本指標(biāo)，并提出了相關(guān)測量數(shù)據(jù)的獲取方法。以流媒體用戶的實際體驗質(zhì)量為依據(jù)，提出了一種有效的流媒體系統(tǒng)性能評價模型，該模型為流媒體系統(tǒng)的性能分析和優(yōu)化調(diào)整提供了理論基礎(chǔ)，具有廣泛的應(yīng)用價值。

關(guān)鍵詞： 流媒體； 服務(wù)質(zhì)量體驗； 性能分析； 評價模型

中圖分類號：TP393 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2014）09-06-03

Design of streaming media system performance evaluation model based on user QoE

Jiang Xiaoqiang， Chang Xiaojie， Shan Kangkang

（Zhejiang university library and information center， Hangzhou， Zhejiang 310000， China）

Abstract： There are considerable factors influencing the QoE（Quality of Experience） of streaming media users. Therefore， how to quantize the factors of user QoE becomes a difficult problem. Based on the MDI（Media Delivery Index）， the basic indicators of the QoE are studied and acquiring method of the relative data is given. In this paper， an evaluation model for streaming media system is proposed based on the real user experience. The model provides the performance analysis and optimization of stream media with theoretical base and has broad application value.

Key words： streaming media； quality of experience； performance analysis； evaluation model

0 引言

隨著寬帶網(wǎng)絡(luò)的逐漸普及，流媒體技術(shù)開始被廣泛用于網(wǎng)絡(luò)電視、視頻點播、活動直播、遠(yuǎn)程教學(xué)、視頻會議等領(lǐng)域。近年來，寬帶多媒體增值業(yè)務(wù)市場開始逐漸細(xì)分，越來越多的流媒體相關(guān)業(yè)務(wù)不斷誕生和發(fā)展，流媒體業(yè)務(wù)[1-2]已成為目前寬帶網(wǎng)絡(luò)上的主流業(yè)務(wù)，其系統(tǒng)性能和服務(wù)質(zhì)量得到網(wǎng)絡(luò)運營商和用戶的廣泛關(guān)注。

用戶體驗質(zhì)量QoE（Quality of Experience）是指用戶在接受網(wǎng)絡(luò)服務(wù)的時候?qū)Ψ?wù)質(zhì)量的滿意程度[3]。流媒體QoE是指流媒體業(yè)務(wù)在滿足用戶期望方面的所達(dá)到的程度[4-5]。由于目前的IP網(wǎng)絡(luò)不是針對流媒體業(yè)務(wù)進(jìn)行設(shè)計的，因此無法滿足流媒體業(yè)務(wù)所需要的端到端服務(wù)質(zhì)量保證要求，在網(wǎng)絡(luò)發(fā)生擁塞時，交換機(jī)就有可能丟棄多媒體數(shù)據(jù)，造成用戶體驗質(zhì)量下降；另一方面，流媒體系統(tǒng)本身會存在性能瓶頸，如果某一臺流媒體服務(wù)器負(fù)荷過重，也會影響服務(wù)質(zhì)量，造成用戶端出現(xiàn)馬賽克、圖像抖動、停格、黑屏、多次緩沖等現(xiàn)象。

目前，針對流媒體服務(wù)質(zhì)量QoS（Quality of Service）有很多種控制和保障方法，主要有：內(nèi)容分發(fā)、擁塞控制、緩沖控制、差錯控制等技術(shù)[6]。但是這些技術(shù)往往并不能完全解決流媒體的服務(wù)質(zhì)量問題。對于運營商來說，他們非常希望知道所提供的流媒體服務(wù)是否達(dá)到了用戶期望或要求，哪些用戶存在播放質(zhì)量問題；對內(nèi)容提供商來說，他們非常關(guān)心哪家運營商能夠提供較高服務(wù)質(zhì)量的流媒體系統(tǒng)，所選擇的運營商能否高質(zhì)量地將自己的流媒體節(jié)目內(nèi)容送達(dá)給每個用戶。

因此，需要對流媒體系統(tǒng)的服務(wù)性能進(jìn)行測量和評價，而流媒體用戶的體驗質(zhì)量是評價流媒體系統(tǒng)服務(wù)性能的最終指標(biāo)。目前，國外已經(jīng)有多家互聯(lián)網(wǎng)公司從事流媒體系統(tǒng)性能測量工作，其中較為著名的Keynote System公司設(shè)計的SystemQ系統(tǒng)[7]就是從用戶QoE角度來測量流媒體系統(tǒng)的性能。

1 流媒體QoE測量指標(biāo)的選擇

2004年，IneoQuest公司提出了關(guān)于評定媒體流在IP網(wǎng)絡(luò)上傳輸一個指標(biāo)MDI（Media Delivery Index）草案，于2005年8月推出該草案的第三版，2006年4月MDI被IETF接收為RFC 4445標(biāo)準(zhǔn)[8]，目前MDI視頻評定標(biāo)準(zhǔn)已被國內(nèi)外各大公司和標(biāo)準(zhǔn)機(jī)構(gòu)廣泛采用。

MDI（媒體傳輸指數(shù)）由兩個部分組成：DF（Delay Factor）延遲參數(shù)和MLR媒體丟失率[9]。

DF是指對于每一個數(shù)據(jù)包在測試點被顯示或者記錄到達(dá)時間的間隔的計算值。

MLR=（理想中應(yīng)該收到的數(shù)據(jù)包的數(shù)量-實際接收到的數(shù)據(jù)包的數(shù)量）/以秒為單位的間隔時間，MLR的結(jié)果實際上就是每秒丟失的數(shù)據(jù)包的數(shù)量[10]。

MDI可以用于測試或評估一個視頻網(wǎng)絡(luò)的質(zhì)量。通過測量MLR可以確認(rèn)、定位并跟蹤網(wǎng)絡(luò)的丟包狀況；使用DF參數(shù)可以確認(rèn)、定位并且跟蹤網(wǎng)絡(luò)的抖動情況。

對于所有流媒體用戶來說，他們的基本需求就是高質(zhì)量體驗（QoE）?；舅降腝oE就是流媒體節(jié)目的高保真播放和節(jié)目內(nèi)容的快速呈現(xiàn)。因此，在本模型中，參考MDI指標(biāo)，并針對用戶端媒體播放特性，設(shè)置了兩個重要指標(biāo)：等待時間WT（Wait Time）和平均媒體丟失率AMLR（Average Media Loss Rate）。

等待時間WT是影響流媒體用戶的質(zhì)量體驗的重要因素，等待時間過長或重緩沖次數(shù)過多會使用戶對流媒體播放失去耐心。

平均媒體丟失率AMLR的大小是影響播放效果的最主要因素，AMLR過高可能會造成圖像抖動、聲音斷續(xù)、馬賽克、多次緩沖、停格、跳幀等用戶難以忍受的體驗。

測量時間段T秒內(nèi)的等待時間WT的計算方式如下：

等待時間WT=連接時間+首次緩沖時間+重緩沖時間+重緩沖補(bǔ)償 ⑴

其中：

重緩沖補(bǔ)償=重緩沖次數(shù)×重緩沖補(bǔ)償權(quán)值 ⑵

流媒體客戶端播放過程如圖1實例所示。

若設(shè)重緩沖補(bǔ)償權(quán)值為每次重緩沖補(bǔ)償1秒，圖1中的客戶端等待時間為：

WT=連接時間1s+首次緩沖時間3s+重緩沖時間1s+重緩沖補(bǔ)償1s=6s

測量時間段T秒內(nèi)的MLR的計算方式如下：

平均媒體丟失率AMLR=（∑丟包率）/采樣次數(shù) ⑶

式⑶即平均媒體丟失率為在T秒內(nèi)對丟包率進(jìn)行多次采樣后的平均值。

若設(shè)采樣次數(shù)為3次，每次采樣得到的丟包率為8%、10%和12%，這該客戶端的平均媒體丟失率AMLR=（∑（0.08+0.1+0.12））/3=0.1。

2 基于Agent的流媒體用戶QoE數(shù)據(jù)獲取技術(shù)

在建立基于用戶QoE的流媒體系統(tǒng)評測體系之前，首先要獲知流媒體用戶的QoE處于何種水平，即要先獲取用戶的QoE數(shù)據(jù)。

為計算本模型中提出的兩個重要指標(biāo)：等待時間WT和平均媒體丟失率AMLR，我們需要在測量時間段（T秒）內(nèi)獲取以下數(shù)據(jù)：連接時間，首次緩沖時間，重緩沖次數(shù)，重緩沖時間，采樣次數(shù)及每次采樣時的丟包率。

在對進(jìn)行媒體丟失率（MLR）進(jìn)行數(shù)據(jù)采樣之前，還需設(shè)定測量時間段（T秒）內(nèi)的采樣次數(shù)n和采樣時間間隔L。

QoE參數(shù)測量按照數(shù)據(jù)獲取的方式可采用兩種類型：被動測量和主動測量。被動測量：通過在網(wǎng)絡(luò)中內(nèi)嵌包捕獲器，收集數(shù)據(jù)包信息，被動地監(jiān)測網(wǎng)絡(luò)行為。主動測量：通過主動發(fā)送測量數(shù)據(jù)包，根據(jù)測量結(jié)果分析網(wǎng)絡(luò)性能，如包丟失率、時延和連接成功率等。

兩種測量技術(shù)適用于不同的測量需要，被動測量只能監(jiān)測到網(wǎng)絡(luò)中某一點或某一鏈路的性能，可以非常詳細(xì)地理解該測量點或該鏈路的網(wǎng)絡(luò)行為，但無法從整體上測量網(wǎng)絡(luò)的性能狀況。主動測量通過測量數(shù)據(jù)包在測量節(jié)點之間的傳輸，可測量網(wǎng)絡(luò)端到端的性能。

我們使用的基于Agent的流媒體用戶QoE數(shù)據(jù)獲取技術(shù)是一種主動測量技術(shù)，其實現(xiàn)原理如圖2所示。

在流媒體客戶端播放器中植入QoE數(shù)據(jù)獲取程序，該程序?qū)崟r捕獲用戶播放參數(shù)信息，每個播放器作為一個Agent將獲取的數(shù)據(jù)傳回到QoE數(shù)據(jù)庫服務(wù)器上，QoE分析系統(tǒng)對QoE數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行統(tǒng)計分析。

3 流媒體QoE評測模型設(shè)計

為每個流媒體客戶端播放器定義一個播放質(zhì)量綜合指標(biāo)（Qoe），該指標(biāo)的大小代表測量時間段T內(nèi)該用戶的體驗質(zhì)量。

建立流媒體Qoe模型如下：

參數(shù)說明：

WTS：等待時間標(biāo)準(zhǔn)。預(yù)先設(shè)置。

WTP：等待時間權(quán)值，0

AMLRP：平均媒體丟失率權(quán)值，AMLRP=1-WTP。

計算得到的流媒體客戶端Qoe值應(yīng)該在0到1之間，將Qoe值分為ABCD四個等級，分別代表不同等級流媒體用戶體驗質(zhì)量，如表1所示。

4 模型評價與分析

對1分鐘內(nèi)典型的測量數(shù)據(jù)進(jìn)行分析，并對模型的有效性進(jìn)行驗證。預(yù)先設(shè)置經(jīng)驗參數(shù)如下：

等待時間標(biāo)準(zhǔn)WTS=4s；等待時間權(quán)值WTP=0.2；平均媒體丟失率權(quán)值A(chǔ)MLRP=0.8；重緩沖補(bǔ)償權(quán)值FRBP=1。

具體客戶端數(shù)據(jù)如表2所示。

CT：Connect Time連接時間；

IBT：Initial Buffer Time首次緩沖時間；

RBT：ReBuffer Time重緩沖時間；

FRB：the Frequency of ReBuffer重緩沖次數(shù)；

WT：Wait Time等待時間；

AMLR：Average Media Loss Rate平均媒體丟失率。

等待時間WT分別為4s和11s時的用戶Qoe值與平均媒體丟失率AMLR關(guān)系如圖3所示。

有效性驗證：

⑴ 客戶端a、b、c、d、e的等待時間為4秒，表示流媒體服務(wù)器響應(yīng)情況較好。其中a的平均媒體丟失率為0，其Qoe=1，播放流暢用戶體驗良好。而b、c、d、e在播放過程中都有不同程度的丟包，由于采用UDP傳輸協(xié)議，客戶端播放器沒有重緩沖而是直接丟棄數(shù)據(jù)包，用戶可能感覺到抖動、跳幀、甚至黑屏等不良的體驗質(zhì)量。

⑵ 客戶端f、g、h、i的等待時間為11秒，原因是流媒體服務(wù)器響應(yīng)情況較差。由于采用TCP傳輸協(xié)議，客戶端播放器在無法正常接收數(shù)據(jù)流時進(jìn)行了一次重緩沖，造成用戶等待時間增加，用戶體驗質(zhì)量下降。

5 結(jié)束語

本文提出的模型在實際應(yīng)用中，應(yīng)該根據(jù)不同的運營商網(wǎng)絡(luò)環(huán)境和不同的流媒體服務(wù)器性能選擇不同的參數(shù)，根據(jù)實際情況劃分流媒體用戶服務(wù)質(zhì)量體驗等級，才能真實有效地反映質(zhì)量體驗效果。

流媒體用戶體驗質(zhì)量是寬帶運營商、流媒體內(nèi)容提供商和服務(wù)提供商非常關(guān)心的問題。建立基于用戶QoE的流媒體系統(tǒng)性能評測體系有助于了解某時間某流媒體用戶的實際播放質(zhì)量；有利于分析流媒體系統(tǒng)的服務(wù)瓶頸，幫助做出優(yōu)化調(diào)整；有利于分析不同網(wǎng)段的網(wǎng)絡(luò)性能，找出網(wǎng)絡(luò)瓶頸；有利于研究交換機(jī)和路由器的不同配置對流媒體QoE的影響，從而使網(wǎng)絡(luò)設(shè)備針對流媒體傳輸進(jìn)行進(jìn)一步優(yōu)化。

參考文獻(xiàn)：

[1] 熊永華，吳敏，賈維嘉.實時流媒體傳輸技術(shù)研究綜述[J].計算機(jī)應(yīng)用

研究，2009.10：3615-3620

[2] Jokar Paria， Arianpoo Nasim， Leung Victor C. M. Spoofing

detection in IEEE 802.15.4 networks based on received signal strength. AD HOC NETWORKS，2013.11（8）：2648-2660

[3] Wang， J.A real-time QoE methodology for AMR codec voice in

mobile network. Science China-information Sciences，2014.57（4）.

[4] Zhong Bo，Schormans， John，Bodanese Eliane.Evaluating QoE in

Cognitive Radio Networks for Improved Network and User Performance. IEEE COMMUNICATIONS LETTERS，2013.17（12）：2376-2379

[5] M Siller and J Woods.Improving Quality of Experience for

Multimedia Services by QoS Arbitration on a QoE Framework.IEEE PV 2003.13th Packet Video Workshop， Nantes， France，April 2003.

[6] Goudarzi P，Hosseinpour M. QoE enhancement for video

transmission over MANETs using distortion minimization. SCIENTIA IRANICA，2012.19（3）：696-706

[7] Sonntag S，Gries M，Sauer C.SystemQ： Bridging the gap between

queuing-based performance evaluation and SystemC.DESIGN AUTOMATION FOR EMBEDDED SYSTEMS，2007.9（11）：91-117

[8] Krejci， Jaroslav.Mdi Measurement in The Iptv. Proceedings of

Iwssip 2008： 15th International Conference On Systems， Signals And Image Processing. Bratislava， Slovakia，2008.7：49-51

[9] J. Welch. A Proposed Media Delivery Index （MDI）（ RFC 4445）.

Internet Society Requests for Comments，2006.

[10] 陸奕奕.面向?qū)拵Я髅襟w業(yè)務(wù)的光網(wǎng)絡(luò)資源分配的研究[D].上海交

通大學(xué)博士學(xué)位論文，2010.