基于QoS量化用戶體驗質(zhì)量的評價模型①

朱連章,李然然,張紅霞,郭加樹,張 泉

(中國石油大學(xué)(華東)計算機(jī)與通信工程學(xué)院,青島 266580)

基于QoS量化用戶體驗質(zhì)量的評價模型①

朱連章,李然然,張紅霞,郭加樹,張 泉

(中國石油大學(xué)(華東)計算機(jī)與通信工程學(xué)院,青島 266580)

針對網(wǎng)絡(luò)環(huán)境中業(yè)務(wù)供應(yīng)商提供的業(yè)務(wù)不能很好的滿足用戶需求的問題,引入用戶體驗質(zhì)量(QoE)并結(jié)合服務(wù)質(zhì)量(QoS)參數(shù),通過仿真網(wǎng)絡(luò)得到相應(yīng)數(shù)據(jù),使用matlab工具分別建立用戶體驗質(zhì)量與比特率、用戶體驗質(zhì)量與丟包率的評價模型.運用統(tǒng)計分析方法對評價模型進(jìn)行數(shù)據(jù)分析,并與史蒂文斯冪定律、韋伯-費希納定律等模型進(jìn)行對比驗證.結(jié)果表明,構(gòu)建的評價模型能更精確的體現(xiàn)用戶體驗質(zhì)量與服務(wù)質(zhì)量的關(guān)系,為供應(yīng)商提供了重要的參考依據(jù),并指明了服務(wù)方向.

體驗質(zhì)量;服務(wù)質(zhì)量;評價模型;史蒂文斯冪定律;韋伯-費希納定律

隨著信息時代的快速發(fā)展,互聯(lián)網(wǎng)中多媒體數(shù)量也在快速增加,在這種環(huán)境下吸引了越來越多的用戶,同時造成多媒體業(yè)務(wù)提供商之間的競爭日益激烈,為了能在激烈的競爭中占得先機(jī),提供商必須確保自己提供的業(yè)務(wù)得到用戶的認(rèn)可.由于互聯(lián)網(wǎng)是一種盡力而為的(Best-effort)傳輸網(wǎng)絡(luò),在流媒體的傳輸過程中會丟包率、比特率的變化時有發(fā)生,這會使用戶對業(yè)務(wù)的感知產(chǎn)生不利的影響[1].因此,提供商迫切的需要一種以用戶認(rèn)可程度為標(biāo)準(zhǔn)的業(yè)務(wù)的評價方法.

目前,采用最廣泛的業(yè)務(wù)度量標(biāo)準(zhǔn)是服務(wù)質(zhì)量(Quality of Service,QoS),這個標(biāo)準(zhǔn)也是最直接反映業(yè)務(wù)性能的指標(biāo),但人們逐漸發(fā)現(xiàn)這個標(biāo)準(zhǔn)僅僅反映了業(yè)務(wù)技術(shù)層面的性能,而且最終衡量業(yè)務(wù)品質(zhì)的標(biāo)準(zhǔn)在于用戶對業(yè)務(wù)的體驗質(zhì)量(Quality of Experience, QoE).QoE是用戶對一個應(yīng)用或業(yè)務(wù)整體可接受性的主觀感受,包含整個端到端系統(tǒng)的影響和受用戶主觀期望值及所處環(huán)境影響的業(yè)務(wù)整體可接受性[2],它綜合了業(yè)務(wù)層面、用戶層面、環(huán)境層面的影響因素.直接反映了用戶對業(yè)務(wù)的認(rèn)可程度[3].由于用戶是業(yè)務(wù)的支付者,所以他們對業(yè)務(wù)的滿意度對每一位提供商都是至關(guān)重要的.QoE的本質(zhì)就是關(guān)注用戶使用業(yè)務(wù)的感受,目的是實現(xiàn)以用戶為中心的管理[4],并且QoE的評價標(biāo)準(zhǔn)可以用五個級別進(jìn)行劃分,即優(yōu)秀(excellent)、好(good)、一般(average)、差(bad)、極差(terrible).例如當(dāng)用戶看某新聞視頻時,感到畫面不清晰,則認(rèn)為視頻業(yè)務(wù)的QoE一般.

為了能夠控制并促進(jìn)用戶對業(yè)務(wù)的滿意度,必須找到一種可以用客觀參數(shù)表示用戶感知的關(guān)系.Hyun Jong Kim等人提出了一種在IPTV服務(wù)上提高QoE的解決方法[5],這種方法使用了網(wǎng)絡(luò)層上的不同QoS參數(shù).通過不同的QoS對QoE的影響把不同的權(quán)重分配給相對應(yīng)的QoS參數(shù),實驗最后表明方法是非常有效的.例如:在視頻流業(yè)務(wù)中丟包率和帶寬扮演非常重要的角色,而VoIP確對延遲和抖動非常敏感.

目前針對QoE的研究多體現(xiàn)在QoS層面,較少考慮用戶的主觀感受.本文以視頻流為例,綜合考慮影響用戶體驗的技術(shù)因素與非技術(shù)因素,建立用戶體驗質(zhì)量評價模型,將用戶的主觀感受與客觀的網(wǎng)絡(luò)因素(丟包率、比特率)進(jìn)行聯(lián)接,同時結(jié)合全參考的PSNR(Peak Signal to Noise Ratio,峰值信噪比)方法以及統(tǒng)計分析方法對視頻質(zhì)量及實驗數(shù)據(jù)評估、擬合.業(yè)務(wù)提供者可以根據(jù)論文所提模型向用戶提供高質(zhì)量的業(yè)務(wù),并且可以防止不必要的投資,增大提供商的效益.

1 相關(guān)工作

建立用戶體驗質(zhì)量與服務(wù)質(zhì)量模型的目的是為了用戶能在業(yè)務(wù)提供者提供的海量業(yè)務(wù)中選擇滿足自身需求的業(yè)務(wù).隨著視頻業(yè)務(wù)的多樣化發(fā)展,網(wǎng)絡(luò)業(yè)務(wù)種類不斷增多,業(yè)務(wù)模式也日趨多樣化,這就會影響用戶對業(yè)務(wù)的QoE體驗,同時會影響用戶對互聯(lián)網(wǎng)中業(yè)務(wù)的使用.影響QoE的因素有多種,大致可以分為主觀因素和客觀因素兩個方面,如圖1所示.根據(jù)不同的影響因素可以選擇不同的評價方法.

圖1 影響QoE的因素

近年來,針對QoE的研究頗受工業(yè)及學(xué)術(shù)界的關(guān)注同時也提出許多不同的評價方法.Andrew Perkis等人在測試用戶對多媒體業(yè)務(wù)的體驗時提出了QoE模型[6],這個模型對基于可測試及不可測試參數(shù)的QoE、QoS和業(yè)務(wù)方面提出了分類.論文將可測量的技術(shù)參數(shù)以及不可測量的主觀用戶參數(shù)(如用戶對業(yè)務(wù)的滿意度和態(tài)度)考慮在內(nèi),主觀參數(shù)雖然不能測試但可以根據(jù)以往的經(jīng)驗方法進(jìn)行量化.

Mok,Chan和Chang在HTTP視頻流中對網(wǎng)絡(luò)層QoS,應(yīng)用層QoS和用戶層QoS之間的關(guān)系以及這種關(guān)系如何影響QoE進(jìn)行了研究[7].作者使用分析模型和經(jīng)驗評估確定了應(yīng)用層QoS和網(wǎng)絡(luò)層QoS的關(guān)系,然后執(zhí)行主觀評估,最后對QoS和QoE關(guān)聯(lián).分析的結(jié)果顯示影響QoE主要因素是消除再緩沖的頻率.

Hyun Jong Kim等人在論文中首先提出了計算QoS并能反映網(wǎng)絡(luò)條件的公式[8],并根據(jù)這個公式建立QoE-QoS模型,計算IPTV中視頻的QoE.論文實驗部分選擇使用全參方法(SSIM)測試視頻質(zhì)量,并與丟包率、抖動的關(guān)系表示出來.通過論文提出的模型,網(wǎng)絡(luò)運營商可以防止不必要的投資以及網(wǎng)絡(luò)的維護(hù)和修理.

互聯(lián)網(wǎng)中業(yè)務(wù)質(zhì)量的評價一方面受用戶的主觀影響,另一方面受QoS的影響.QoE是指用戶對于業(yè)務(wù)質(zhì)量的主觀感受,并且以用戶主觀評價給出諸如“優(yōu)秀、一般、差”等模糊語言值表達(dá)出來.QoS包含多種參數(shù)如丟包率、比特率等,論文選擇這兩種參數(shù)分別與QoE建立模型,同時用戶參與仿真實驗測試提高評價結(jié)果的可信度.

2 QoE-QoS評價模型

QoE是用戶直接參與,對業(yè)務(wù)進(jìn)行主觀評價的方法,論文使用MOS(Mean Opinion Score)表示用戶對業(yè)務(wù)的認(rèn)可程度,根據(jù)用戶對業(yè)務(wù)的不同感受分為五個層次,如用戶觀看足球比賽時,畫面清晰,聲音也沒有延遲,則認(rèn)為該業(yè)務(wù)良好,具體劃分如表1所示.此量化方法較為細(xì)致的描述了用戶的主觀感受,是一種順序量表法[3].但是只考慮主觀的因素的評價方法需要的測試條件比較苛刻,并且測試的結(jié)果不具有實時性.QoS是服務(wù)的客觀評價方法,包含多種參數(shù),如丟包率、比特率、抖動、帶寬等,但這種方法不能直觀的反映用戶對服務(wù)的滿意程度.為了彌補(bǔ)兩種方法的不足,論文將主觀因素與客觀因素結(jié)合,提出新的評價模型,提高用戶的滿意度以及業(yè)務(wù)的使用率,降低業(yè)務(wù)提供者的成本.

論文以視頻的丟包率和比特率為例,根據(jù)實際生活經(jīng)驗對QoE和這兩個QoS參數(shù)的關(guān)系提出兩種評價模型,進(jìn)一步對QoE量化.在同一實驗環(huán)境中,用戶的主觀感受會隨著QoS參數(shù)的變化而變化,如當(dāng)視頻在傳輸過程中的丟包率變大時,視頻的質(zhì)量相應(yīng)就會變差,與此同時,用戶觀看視頻的心情受到影響,給出的主觀感受分?jǐn)?shù)(MOS)相應(yīng)變小.

表1 MOS評分等級

2.1 QoE與比特率

對于視頻中比特率的原理與聲音中的相同,都是指由模擬信號轉(zhuǎn)換為數(shù)字信號后,單位時間內(nèi)的二進(jìn)制數(shù)據(jù)量,是衡量視頻質(zhì)量的一個重要指標(biāo).當(dāng)比特率增大時,傳送數(shù)據(jù)的速度越快,用戶對視頻感知質(zhì)量越好,在這種背景下,我們假設(shè)當(dāng)QoE比較小時,比特率增加一點,也會造成QoE(MOS取值)大幅度的增加.當(dāng)QoE達(dá)到一定的值時,即使有很大的變化, QoE受到的影響也很微小.通過假設(shè)我們知道比特率與QoE的關(guān)系具有一定的正相關(guān)性,由此我們預(yù)測比特率與QoE的關(guān)系模型如公式(1)所示.

2.2 QoE與丟包率

目前應(yīng)用的視頻圖像標(biāo)準(zhǔn)(如MPEG等)采用壓縮編碼的方式,由于編碼中去掉了視頻信息中的大量冗余信息,數(shù)據(jù)幀之間的相關(guān)性很大,關(guān)鍵幀(如MPEG中的I幀)數(shù)據(jù)包的丟失不僅導(dǎo)致本幀無法解碼,而且會導(dǎo)致其它依賴幀(如MPEG中的P、B幀)也不能解碼,即發(fā)生錯誤傳遞,從而嚴(yán)重影響視頻圖像的傳輸質(zhì)量[9].根據(jù)經(jīng)驗當(dāng)QoE比較高時,很小的丟包率都會對用戶的感知造成明顯地影響,降低MOS的取值.反之,當(dāng)QoE比較低時,用戶感知對丟包率的改變沒有比較明顯變化,MOS值基本不變,即兩者的關(guān)系呈負(fù)相關(guān)性.由此我們預(yù)測丟包率與QoE的關(guān)系模型如公式(2)所示.

3 模型實現(xiàn)與驗證

實驗旨在評估視頻流業(yè)務(wù)中不同QoS參數(shù)對用戶體驗質(zhì)量的影響,提高用戶對業(yè)務(wù)的滿意度.通過實驗得到的數(shù)據(jù),對兩種評價模型進(jìn)行驗證并在實驗中選擇最普遍、最廣泛使用評鑒畫質(zhì)的PSNR對視頻的質(zhì)量客觀評估,最后PSNR的結(jié)果再轉(zhuǎn)化為MOS[10].

3.1 實驗環(huán)境

本文實驗環(huán)境根據(jù)ITUP.910[11]標(biāo)準(zhǔn)設(shè)置,測試環(huán)境包括客戶端、視頻流業(yè)務(wù)器和網(wǎng)絡(luò)仿真器,如圖2所示.實驗運行在i5 2.4Ghz處理器,4GByte內(nèi)存的Windows 7環(huán)境下,并且統(tǒng)一使用火狐瀏覽器.測試者依據(jù)ITU-R BT.500-11[12]制定的條件進(jìn)行選擇,并且測試者不能對圖像或視頻質(zhì)量這方面領(lǐng)域非常了解,因此選擇非專業(yè)人士作為測試者[13],選擇的測試者包含10個女生和15個男生,平均年齡在22-30歲之間并且都是學(xué)生.

圖2 實驗設(shè)置

實驗的主要目的是驗證上節(jié)提出的QoS參數(shù)(比特率,丟包率)與QoE預(yù)測模型.其中參數(shù)對用戶主觀感受的影響用MOS表示.QoS參數(shù)的取值分別為:比特 率 (100,300,400,600,700,800(kbps))、 丟 包 率(0,1,3,7,10,15(%)).

3.2 驗證評價模型

3.2.1 驗證QoE與比特率的模型

首先,對不同的比特率進(jìn)行測試,25位測試者觀看相同比特率的視頻,他們根據(jù)主觀感受和對視頻的容忍度給出相應(yīng)的分?jǐn)?shù)(分?jǐn)?shù)取值為1-5,如表1所示),我們把得到的分?jǐn)?shù)相加再取平均數(shù),得到某一比特率下相應(yīng)的MOS值,同時計算出相同比特率的PSNR.根據(jù)不同比特率取值得到測試者的平均MOS及PSNR,在matlab中把得到的MOS與比特率進(jìn)行擬合,結(jié)果如圖3所示.

圖3 QoE與比特率擬合曲線

實驗中我們對數(shù)據(jù)在置信區(qū)間為95%的前提下分別進(jìn)行了冪函數(shù)和對數(shù)擬合,得到回歸方程以及方程所對應(yīng)的擬合優(yōu)度誤差平方和SSE、均方根誤差如表2所示.

3.2.2 驗證QoE與丟包率的模型

由上節(jié)對視頻丟包率的介紹可知,丟包率是衡量一個頻質(zhì)量的重要指標(biāo).丟包率的測試條件以及計算過程和比特率相同,把得到的數(shù)據(jù)在matlab中進(jìn)行擬合,結(jié)果如圖4所示.

表2 QoE與比特率擬合所得回歸方程及各參數(shù)

圖4 QoE與丟包率擬合曲線

根據(jù)數(shù)據(jù)在matlab中對QoE和丟包率進(jìn)行擬合,得到回歸方程以及方程所對應(yīng)的擬合優(yōu)度、誤差平方和SSE以及均方根誤差RMSE(置信區(qū)間為95%)如表3所示,同時對兩個參數(shù)所得MOS與PSNR對應(yīng)的值在matlab中連接并擬合,結(jié)果如圖5所示.說明客觀評價方法PSNR與主觀感知的關(guān)系呈正相關(guān)性.由表3數(shù)據(jù)比較可得,指數(shù)回歸更適合QoE與丟包率的關(guān)系.對數(shù)據(jù)擬合過程中,一元多項式得到的擬合優(yōu)度會大于指數(shù)的擬合優(yōu)度,但當(dāng)大量的數(shù)據(jù)出現(xiàn)時,丟包率增加到一定的程度,MOS的值只會無限接近于1或者等于1,在這種情況下一元多項式并不適合,所以最終選擇指數(shù)回歸模型作為QoE與丟包率的關(guān)系模型并初步驗證了公式(2)模型的有效性.

表3 QoE與丟包率擬合所得回歸方程及各參數(shù)

3.2.3 與現(xiàn)存模型比較

Khalil ur Rehman Laghari等人用視頻感知質(zhì)量(PVQ)表示測試人員對測試視頻的主觀評價[14].根據(jù)實驗數(shù)據(jù)針對QoE與比特率的關(guān)系得出對數(shù)模型,把該模型與本文的冪函數(shù)模型進(jìn)行比較如表4所示.

表4 冪函數(shù)模型與對數(shù)模型比較

由表4可知本文針對比特率提出的評價模型的擬合優(yōu)度大于文獻(xiàn)[14]對數(shù)的擬合優(yōu)度,說明冪函數(shù)模型更適合描述QoE與比特率的關(guān)系.

Sajad Khorsandroo等人[15]根據(jù)心理學(xué)規(guī)律對QoE和QoS(丟包率)的關(guān)系進(jìn)行量化,同時解釋了兩者的相關(guān)性.論文針對視頻流的丟包率分別選擇了兩種模型:史蒂文斯冪定律和韋伯-費希納定律,如公式(3)和(4)所示.

文獻(xiàn)[15]根據(jù)實驗數(shù)據(jù)得到QoE與QoS(丟包率)的回歸方程,以及擬合優(yōu)度2R.將兩種回歸模型與本論文針對丟包率得到的指數(shù)模型進(jìn)行比較如表5所示.

表5 指數(shù)模型與對數(shù)、冪函數(shù)模型比較

由表5可知,論文針對丟包率提出的指數(shù)評價模型的擬合優(yōu)度高于史蒂文斯冪定律和韋伯·費希納定律的擬合優(yōu)度,說明本文所提模型更適合描述QoE與丟包率關(guān)系.以上兩種比較證明了本文所提評價模型的有效性.業(yè)務(wù)提供商可以根據(jù)這種模型向用戶提供更優(yōu)質(zhì)的服務(wù),同時減少了服務(wù)維護(hù)的費用.

論文結(jié)合了主觀QoE和客觀QoS建立評價模型,充分考慮用戶的主觀體驗,從用戶角度分析不同因素對業(yè)務(wù)使用頻率的影響.客觀QoS雖然能直接反映業(yè)務(wù)性能,但這個標(biāo)準(zhǔn)僅僅反映了業(yè)務(wù)技術(shù)層面的性能忽略了業(yè)務(wù)的品質(zhì)要求.通過對QoE與QoS建立模型同時解決了業(yè)務(wù)技術(shù)層面和品質(zhì)的要求,并且很好的從用戶角度分析業(yè)務(wù)的使用情況,為業(yè)務(wù)提供商提供了明確方向.

4 結(jié)語

隨著網(wǎng)絡(luò)環(huán)境中多媒體數(shù)量的增加,業(yè)務(wù)使用者即用戶的數(shù)量也急劇增加,在這種背景下,用戶對多媒體的主觀感受被凸顯出來.業(yè)務(wù)提供者以及供應(yīng)商想要自己提供的業(yè)務(wù)能大量的使用,就需要了解用戶主觀感受與網(wǎng)絡(luò)環(huán)境存在的關(guān)系.

論文分別對網(wǎng)絡(luò)層QoS的兩個參數(shù)(丟包率和比特率)提出兩個量化QoE的評價模型:指數(shù)回歸方程和冪函數(shù)回歸方程,通過仿真實驗平臺得到的數(shù)據(jù)對用戶主觀感受(MOS)和QoS參數(shù)進(jìn)行擬合回歸,在置信區(qū)間為95%的前提下分別得到兩個模型的擬合優(yōu)度0.982、0.999,最后分別與現(xiàn)存的模型比較,解釋了QoE與丟包率、QoE與比特率的關(guān)系并驗證了兩個預(yù)測模型的有效性.論文模型結(jié)合了主客觀因素,提高了模型的評價結(jié)果質(zhì)量,但相應(yīng)的增加模型實現(xiàn)的成本及運算速度等,未來的工作是在大量的數(shù)據(jù)下尋找新的通用的回歸方程,在多個QoS參數(shù)的情況下更全面的解釋QoE與QoS的關(guān)系,同時尋找一個更高效的評價模型,提高用戶的滿意度以及業(yè)務(wù)的使用率同時能減少模型實現(xiàn)的成本.

1張大陸,祝嘉麒.網(wǎng)絡(luò)傳輸中IPTV的QoE評估模型的研究.計算機(jī)工程與應(yīng)用,2013,49(20):71–76.

2金渝,李校林,李雪松.用戶體驗質(zhì)量評估模型及KQI權(quán)重計算方法.計算機(jī)工程,2013,39(2):311–316.

3林闖,胡杰,孔祥震.用戶體驗質(zhì)量(QoE)的模型與評價方法綜述.計算機(jī)學(xué)報,2012,35(1):1–15.

4陸蕓婷,李振軍.基于用戶滿意度模型的云計算QoE評價方法.計算機(jī)與數(shù)字工程,2014,(4):551–554,600.

5 Kim HL,Choi SG.A study on a QoS/QoE correlation model for QoE evaluation on IPTV service.2010 The 12th InternationalConference on Advanced CommunicationTechnology(ICACT).IEEE.2010,2.1377–1382.

6 Perkis A,Munkeby S,Hillestad O I.A model for measuring quality of experience.Signal Processing Symposium,2006. NORSIG2006.Proc.ofthe7thNordic.IEEE.2006.198–201.

7 Mok RKP,Chan EWW,Chang RKC.Measuring the quality of experience of HTTP video streaming.2011 IFIP/IEEE International Symposium on Integrated Network Management(IM).IEEE.2011.485–492.

8 Kim HJ,Choi SG.QoE assessment model for multimedia streaming services using QoS parameters.Multimedia Tools andApplications,2014,72(3):2163–2175.

9楊宗凱,彭杰,余江.實時視頻通信中的自適應(yīng)前向糾錯方案設(shè)計.計算機(jī)工程與科學(xué),2007,29(8):43–45.

10 ITU-T.P800.1.Mean Opinion Score(MOS)terminology, Geneva.2006,7.

11 ITU-T P.910.Subjective video quality assessment methods for multimedia applications.1999,9.

12 ITU-R BT.500-11.Methodology forthe subjective assessment of the quality of television pictures.2002,10.

13 Mushtaq MS,Augustin B,Mellouk A.Empirical study based on machine learning approach to assess the QoS/QoE correlation.2012 17th European Conference on Networks and Optical Communications(NOC).IEEE.2012.1–7.

14 Issa O,Speranza F,Falk TH.Quality-of-experience perception forvideo streaming services:Preliminary subjective and objective results.Signal&Information Processing Association Annual Summit and Conference (APSIPAASC),2012Asia-Pacific.IEEE.2012.1–9.

15 Khorsandroo S,Noor RM,Khorsandroo S.The role of psychophysics laws in quality of experience assessment:a video streaming case study.Proc.of the International Conference on Advances in Computing,Communications and Informatics.ACM.2012.446–452.

Evaluation Model of Quantitative QoE Based on QoS

ZHU Lian-Zhang,LI Ran-Ran,ZHANG Hong-Xia,GUO Jia-Shu,ZHANG Quan

(College of Computer&Communication Engineering,China University of Petroleum,Qingdao 266580,China)

In view of the problem that service from provider cannot meet the needs of the users in the network environment,this paper introduces the Quality of Experience(QoE)and Quality of Service(QoS)parameters.Through simulation network,the corresponding data are obtained.And two evaluation models(QoE with bit rate and QoE with packet loss rate)are established by using MATLAB tools.Analyzing the data of evaluation models with statistical analysis method,the model is verified by comparing with Stevens’Power Law model and Weber-Fechner Law model. The result shows that the evaluation models can precisely express the relationship between QoE and QoS,and it can provide the direction of service and an important reference for the service providers.

QoE;QoS;evaluation model;Stevens’power law;Weber-Fechner law

山東省優(yōu)秀中青年科學(xué)家科研獎勵基金計劃(BS2014DX021)

2016-08-31;收到修改稿時間:2016-10-10

10.15888/j.cnki.csa.005752