基于HTTP自適應(yīng)流媒體傳輸?shù)?D視頻質(zhì)量評價(jià)

翟宇軒，劉怡桑，徐藝文，陳忠輝，房穎，趙鐵松

（福州大學(xué) 物理與信息工程學(xué)院，福州350108）

近年來，網(wǎng)絡(luò)技術(shù)的發(fā)展推動(dòng)了在線3D視頻服務(wù)的興起。相比于傳統(tǒng)的2D視頻，3D視頻即使進(jìn)行了有效的壓縮其數(shù)據(jù)量仍然較大，而有限的網(wǎng)絡(luò)帶寬資源導(dǎo)致了3D視頻傳輸中的質(zhì)量波動(dòng)，從而使得3D視頻網(wǎng)絡(luò)服務(wù)的用戶體驗(yàn)質(zhì)量（Quality of Experience，QoE）［1］不高。因此，3D視頻的傳輸引入了基于HTTP的自適應(yīng)流媒體（HTTP Adaptive Streaming，HAS）技術(shù)。HAS可以根據(jù)不同的網(wǎng)絡(luò)帶寬情況提供不同碼率的視頻，在避免卡頓的同時(shí)盡可能利用有限的帶寬提升視頻質(zhì)量，改善用戶體驗(yàn)質(zhì)量。

由于3D視頻需要額外考慮視點(diǎn)間的碼率分配，3D視頻的HAS技術(shù)比傳統(tǒng)2D視頻的更加復(fù)雜。目前，針對3D視頻HAS的相關(guān)工作還比較少，文獻(xiàn)［2］提出了交互式多視點(diǎn)HAS的最優(yōu)傳輸策略來平衡編碼的失真和渲染合成失真，該算法同時(shí)考慮了視頻內(nèi)容特征和用戶交互度。文獻(xiàn)［3］利用軟件定義網(wǎng)絡(luò)（Software Defined Network，SDN）提出了基于視頻塊的流媒體傳輸框架，這個(gè)方案可以根據(jù)感興趣區(qū)域改善用戶體驗(yàn)質(zhì)量。文獻(xiàn)［4］提出了一種基于HTTP動(dòng)態(tài)自適應(yīng)流媒體（Dynamic Adaptive Streaming over HTTP，DASH）的高效3D自適應(yīng)流媒體服務(wù)方法，其能為用戶提供流暢的立體視頻。盡管上述工作已經(jīng)為3D流媒體應(yīng)用提出了有效的方案，但是為了給用戶提供最佳的觀看體驗(yàn)，評估不同流媒體自適應(yīng)方案的用戶體驗(yàn)質(zhì)量至關(guān)重要［5］。目前，對于基于HAS技術(shù)的3D視頻傳輸中的用戶體驗(yàn)的研究越來越受到關(guān)注。QoE模型反映了客觀質(zhì)量與用戶體驗(yàn)質(zhì)量之間的關(guān)系，可以極大地幫助3D HAS系統(tǒng)的設(shè)計(jì)和優(yōu)化。

文獻(xiàn)［6］發(fā)現(xiàn)相對于視頻質(zhì)量的瞬間急劇變化，視頻質(zhì)量由低到高緩慢變化時(shí)的用戶觀看體驗(yàn)質(zhì)量更高?；谶@一特性，提出了一種適用于DASH的QoE自適應(yīng)算法。文獻(xiàn)［7］通過分析2D視頻和3D視頻的自適應(yīng)流媒體傳輸策略，發(fā)現(xiàn)由3D到2D的轉(zhuǎn)換可能是降低比特率的最佳選擇，而相反的由2D到3D的轉(zhuǎn)換并沒有明顯改善用戶的體驗(yàn)質(zhì)量。雖然文獻(xiàn)［7］定性分析了3D視頻質(zhì)量切換對感知質(zhì)量的影響，但是仍然缺乏可以用于指導(dǎo)3D視頻傳輸時(shí)質(zhì)量切換的QoE的量化模型。另外，已有大量工作致力于3D圖像的客觀質(zhì)量評價(jià)［8-10］，這些評價(jià)算法可以準(zhǔn)確反映3D內(nèi)容的感知質(zhì)量，但無法用于表達(dá)視頻質(zhì)量切換導(dǎo)致的QoE變化。

為了研究3D視頻傳輸過程中網(wǎng)絡(luò)質(zhì)量波動(dòng)（Network Quality Fluctuation，NQF）對用戶體驗(yàn)質(zhì)量的影響，本文設(shè)計(jì)了主觀實(shí)驗(yàn)用于獲取用戶在NQF情況下觀看視頻的體驗(yàn)質(zhì)量。主觀實(shí)驗(yàn)特別考慮了單視點(diǎn)和雙視點(diǎn)的視頻質(zhì)量改變分別對3D視覺感知質(zhì)量的影響。最后，提出了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的QoE模型，該模型體現(xiàn)了塊級客觀質(zhì)量與用戶對3D視頻的觀看體驗(yàn)質(zhì)量的映射關(guān)系，可用于指導(dǎo)3D視頻自適應(yīng)傳輸中的視點(diǎn)間碼率分配。

1 網(wǎng)絡(luò)質(zhì)量波動(dòng)的影響

雙目立體3D視頻（Stereoscopic 3D video）通常包含左右2個(gè)視點(diǎn)，其所需的帶寬遠(yuǎn)大于傳統(tǒng)的2D視頻。3D視頻的自適應(yīng)傳輸在帶寬不足情況下會(huì)面臨視頻質(zhì)量的突降以及左右視點(diǎn)的比特率平衡等問題。本節(jié)通過主觀實(shí)驗(yàn)來分析單視點(diǎn)和雙視點(diǎn)視覺質(zhì)量的改變對3D感知質(zhì)量的影響。文獻(xiàn)［11］表明，主視眼的不同對總體感知質(zhì)量的影響可忽略不計(jì)。因此，實(shí)驗(yàn)中單視點(diǎn)的圖像質(zhì)量變化均基于左視點(diǎn)的圖像。

實(shí)驗(yàn)總共使用了13個(gè)3D視頻序列，其中包括3MV-HEVC數(shù)據(jù)庫［12］中的CP（Carpark）、SK（Shark）、ST（Street）、GF（Gtfly）、KD（Kendo）、LB（Lovebird）、BN（Balloons）、BA（Bookarrival），以及數(shù)字音頻編解碼技術(shù)標(biāo)準(zhǔn)工作組（AVS）數(shù)據(jù)庫［13］中 的 BM （Badminton）、JL （Jinli）、DB（Dubai）、AG（Asiangame）、WS（Wushu）。圖1為各個(gè)序列的截圖，表1為相應(yīng)的空間信息（Spatial Information，SI）和時(shí)間信息（Temporal Information，TI）［14］。所有視頻序列時(shí)長為10 s，視頻質(zhì)量的變化發(fā)生在視頻序列第5 s末，即每個(gè)序列的前5 s和后5 s擁有不同的視頻質(zhì)量。為了避免引入由分辨率不同造成的體驗(yàn)質(zhì)量差別，高分辨率視頻均采用了下采樣處理，所有序列的分辨率為1024×768，幀率為25幀/s。

NQF實(shí)驗(yàn)按照4種比特率編碼視頻：

圖1 3D序列截圖［12-13］Fig.1 Snapshots of 3D sequences［12-13］

1）“全比特率”表示足夠的帶寬使得視點(diǎn)質(zhì)量近似原畫質(zhì)，視點(diǎn)比特率設(shè)置為1 000 kbit/s。

2）“高比特率”模擬網(wǎng)絡(luò)輕微阻塞時(shí)的視點(diǎn)比特率，設(shè)置為200 kbit/s。

3）“中比特率”模擬網(wǎng)絡(luò)遭受中等阻塞時(shí)的視點(diǎn)比特率，設(shè)置為100 kbit/s。

4）“低比特率”模擬網(wǎng)絡(luò)遭受嚴(yán)重阻塞時(shí)的視點(diǎn)比特率，設(shè)置為50 kbit/s。

由表2可知，模擬的NQF類型包含4種質(zhì)量的切換，分別為單視點(diǎn)質(zhì)量上升、雙視點(diǎn)質(zhì)量上升、單視點(diǎn)質(zhì)量下降和雙視點(diǎn)質(zhì)量下降。其中質(zhì)量上升和下降過程被細(xì)分為6種比特率變化：低到全、中到全、高到全；全到低、全到中、全到高。使用3D-HEVC標(biāo)準(zhǔn)參考軟件HTM 16.0作為編碼器，13個(gè)原始序列依據(jù)12種視頻質(zhì)量切換類型共生成156組3D測試序列。實(shí)驗(yàn)中采用的觀看設(shè)備為華碩PG278 3D屏幕和NVIDIA 3D眼鏡。本次實(shí)驗(yàn)共有34名受試者，包括23名男性和11名女性，年齡介于21～25歲。所有受試者都通過了視力測試并且在觀看3D視頻中沒有產(chǎn)生不適感。在主觀測試之前，受試者都已熟悉3D視頻顯示方式和實(shí)驗(yàn)流程，并將顯示屏和眼鏡調(diào)整到舒適的位置。主觀測試遵循ITU-R BT.500［15］建議書推薦的單激勵(lì)（Single Stimulus，SS）方法和五級損傷量表［15］。在測試期間，所有NQF測試序列在隨機(jī)打亂順序后連續(xù)顯示，每個(gè)序列結(jié)束后都有5 s的間隔用于評分。

表1 測試數(shù)據(jù)集［12-13］Table 1 Test dataset［12-13］

表2 網(wǎng)絡(luò)質(zhì)量波動(dòng)類型Table 2 Network quality fluctuation types

為了提高數(shù)據(jù)的可靠性，每個(gè)受試者的測試都引入重復(fù)序列。數(shù)據(jù)結(jié)果采用ITU-R BT.500建議書中的可靠性原則［15］來排除不可靠的分?jǐn)?shù)。24名受試者對視頻質(zhì)量的評分值被保留至后續(xù)的數(shù)據(jù)分析。為了檢查選擇的樣本量是否足以產(chǎn)生穩(wěn)定的結(jié)果，以“數(shù)據(jù)飽和度”作為指導(dǎo)原則［16］。受試者人數(shù)上升導(dǎo)致的平均意見得分（Mean Opinion Score，MOS）數(shù)據(jù)飽和曲線如圖2所示，每個(gè)受試者對13個(gè)序列的主觀評分為an，選取m個(gè)受試者的主觀評分均值為

所有24個(gè)主觀評分均值為s，xm和s之間的皮爾森線性相關(guān)系數(shù)（Pearson Linear Correlation Coefficient，PLCC）隨著選取人數(shù)m增加而增大，“飽和值”出現(xiàn)在受試者人數(shù)達(dá)到20時(shí)，這表明本次實(shí)驗(yàn)采用24個(gè)樣本值已足夠。

根據(jù)ITU-R BT.500建議書［15］，所有受試者的MOS表現(xiàn)了主觀評分等級。圖3給出了不同比特率切換時(shí)單目和雙目質(zhì)量波動(dòng)的主觀評分。圖3（a）和（b）分別表示單視點(diǎn)和雙視點(diǎn)質(zhì)量上升的MOS值，可以看出，單視點(diǎn)質(zhì)量切換比雙視點(diǎn)質(zhì)量切換引起了更小的用戶體驗(yàn)質(zhì)量下降；圖3（c）和（d）的比較同樣可以發(fā)現(xiàn)單視點(diǎn)質(zhì)量切換對體驗(yàn)質(zhì)量的影響更小。該結(jié)果符合雙目視覺的掩蔽特性，當(dāng)一個(gè)視點(diǎn)質(zhì)量不變，另一個(gè)視點(diǎn)質(zhì)量下降至一定范圍內(nèi)，人眼無法察覺到失真［17］。該結(jié)論已應(yīng)用至3D視頻的非對稱編碼［18-19］來減少視覺冗余，也成為3D視頻非對稱碼率傳輸?shù)幕A(chǔ)［20］。

圖2 受試者人數(shù)上升導(dǎo)致的MOS數(shù)據(jù)飽和Fig.2 MOS data saturation caused by increased number of subjects

圖3 NQF主觀實(shí)驗(yàn)結(jié)果Fig.3 Subjective experimental results of NQF

為了研究上升和下降2種視頻質(zhì)量切換的區(qū)別，表3顯示了同種類型質(zhì)量變化下所有13個(gè)視頻序列MOS的平均值。由表3可知，無論何種視頻質(zhì)量（低、中、高）和視點(diǎn)（單視點(diǎn)、雙視點(diǎn)），視頻質(zhì)量上升的評分總高于質(zhì)量下降的評分。原因是，在視頻質(zhì)量上升類型中，10 s序列的后5 s為高畫質(zhì)，短時(shí)記憶的影響使得受試者的最終評價(jià)分?jǐn)?shù)更接近后出現(xiàn)的高畫質(zhì)的分?jǐn)?shù)；同理，質(zhì)量下降類型中后出現(xiàn)的低畫質(zhì)降低了整體評分。這個(gè)現(xiàn)象是由于用戶體驗(yàn)質(zhì)量會(huì)受到心理學(xué)中的近因效應(yīng)影響，即前一時(shí)刻的體驗(yàn)質(zhì)量會(huì)對之后一段時(shí)間內(nèi)的觀看體驗(yàn)造成影響［21-22］。當(dāng)用戶接受高質(zhì)量視頻時(shí)會(huì)產(chǎn)生更高視頻質(zhì)量的期望，因此視頻質(zhì)量的下降會(huì)使得用戶更加沮喪，加速用戶體驗(yàn)質(zhì)量的下降；相反，觀看低質(zhì)量視頻的用戶則對視頻質(zhì)量的上升更加敏感，提高了體驗(yàn)質(zhì)量的評分。本文主觀實(shí)驗(yàn)中，視頻質(zhì)量的上升和下降2種切換表現(xiàn)出了不同體驗(yàn)質(zhì)量評分，這一結(jié)果與現(xiàn)有時(shí)變視頻質(zhì)量研究［21-22］一致。這說明在3D視頻自適應(yīng)傳輸策略方面：帶寬受限時(shí)，視頻質(zhì)量可以避免出現(xiàn)突然劇烈的下降；帶寬充足時(shí)，可以快速提升視頻的質(zhì)量。

表3 視頻質(zhì)量波動(dòng)類型的MOS均值Table 3 Average MOS of video quality fluctuation types

2 3D QoE模型

目前，主觀測試雖然是衡量用戶體驗(yàn)質(zhì)量的最可靠方法，但存在高成本，低速度和無法進(jìn)行實(shí)時(shí)評估等缺點(diǎn)?？陀^QoE模型是一種獲得近似主觀評分的低成本方法。利用第1節(jié)方法所獲得的視頻主觀質(zhì)量數(shù)據(jù)庫及CNN構(gòu)建了3D視頻的客觀QoE模型。將3D測試序列和原始序列的每一幀劃分為64×64子塊，并計(jì)算左右視圖中測試序列的子塊與相對應(yīng)原始序列的子塊的結(jié)構(gòu)相似性（Structural Similarity，SSIM）［23-24］，左右視點(diǎn)所有幀的塊級SSIM分別表示為ql和qr。所得到的ql和qr輸入到CNN網(wǎng)絡(luò)中預(yù)測用戶的體驗(yàn)質(zhì)量值。因此，本文提出的QoE模型為

式中：Q表示用戶體驗(yàn)質(zhì)量的預(yù)測值，預(yù)測函數(shù)基于CNN完成。

如圖4所示，本文設(shè)計(jì)的CNN模型由2層卷積層和2層全連接層組成。卷積核的大小分別設(shè)置為5×5、3×3。圖中：M 和N分別為視頻的寬和高，K為視頻幀數(shù)。輸入為測試序列的塊級SSIM，輸出為用戶體驗(yàn)質(zhì)量的預(yù)測值Q。在網(wǎng)絡(luò)訓(xùn)練過程中，從156組3D 測試序列中隨機(jī)選取141個(gè)樣本作為訓(xùn)練集，用于訓(xùn)練并驗(yàn)證MOS和3D視頻內(nèi)容的塊級SSIM 之間的關(guān)系，剩余15個(gè)樣本作為測試集用作最后的測試。

在圖像視頻質(zhì)量評價(jià)中，通常通過斯皮爾曼秩相關(guān)系數(shù)（Spearman Rank Order Correlation Coefficient，SROCC）、肯德爾秩相關(guān)系數(shù)（Kendall Rank Order Correlation Coefficient，KROCC）、PLCC來評價(jià)所提模型的性能。其相關(guān)系數(shù)能夠用于反映客觀質(zhì)量評價(jià)與主觀MOS值的相關(guān)程度，值越接近于1，則說明模型的性能越好。由表4可知，測試集中所有序列的主觀評價(jià)MOS值與模型預(yù)測值之間的SROCC、KROCC、PLCC分別為0.927、0.775、0.906，評估結(jié)果說明基于CNN的QoE模型能夠較好地預(yù)測用戶體驗(yàn)質(zhì)量。

由于缺少同類型數(shù)據(jù)庫和模型進(jìn)行比較，本文設(shè)置了3組對比實(shí)驗(yàn)：①將每個(gè)視頻序列的2個(gè)視點(diǎn)PSNR的平均值作為預(yù)測QoE；②將每個(gè)視頻序列的2個(gè)視點(diǎn)SSIM 的平均值作為預(yù)測QoE；③采用文獻(xiàn)［10］的3D質(zhì)量評價(jià)算法。實(shí)驗(yàn)測試使用了同樣配置的電腦（Intel Core i5-7500，8GB RAM，Windows 10 64-bit）。實(shí)驗(yàn)結(jié)果如表4所示，可以看出，SSIM、PSNR無法很好地反映用戶體驗(yàn)質(zhì)量，文獻(xiàn)［10］的3D質(zhì)量評價(jià)算法在本文的數(shù)據(jù)庫上表現(xiàn)同樣不佳，但優(yōu)于PSNR、SSIM，這是由于3D質(zhì)量評價(jià)方法針對于評價(jià)3D立體圖像和視頻的壓縮失真，考慮了圖像失真類型和人眼雙目視覺特性而沒有考慮真實(shí)傳輸過程中的視頻質(zhì)量的變化。本文還記錄了不同算法測試一個(gè)10 s序列的運(yùn)行時(shí)間，本文模型需要計(jì)算塊級SSIM，導(dǎo)致運(yùn)行時(shí)間大于直接計(jì)算3D視頻的PSNR、SSIM，但是性能遠(yuǎn)好于其他3種方法。

圖4 3D QoE模型框架Fig.4 Framework of 3D QoE model

表4 QoE模型和其他方法的性能比較Table 4 Comparison of performance between QoE model and other methods

3 結(jié) 論

本文研究了3D自適應(yīng)流媒體應(yīng)用中的用戶體驗(yàn)質(zhì)量，并設(shè)計(jì)了網(wǎng)絡(luò)帶寬不穩(wěn)定情況下的3D視頻質(zhì)量變化的主觀實(shí)驗(yàn)。

實(shí)驗(yàn)結(jié)果表明受試者對單視點(diǎn)質(zhì)量變化不敏感，并且視頻質(zhì)量上升狀態(tài)的用戶體驗(yàn)質(zhì)量更高。通過訓(xùn)練主觀評分?jǐn)?shù)據(jù)，本文建立了基于CNN的QoE模型用于評估3D視頻在自適應(yīng)傳輸中的用戶體驗(yàn)質(zhì)量。該模型提供了高精度的QoE預(yù)測值，可用于改進(jìn)3D自適應(yīng)傳輸和平衡3D視頻傳輸中兩視點(diǎn)間比特率。在流媒體視頻服務(wù)中，代理服務(wù)器可以根據(jù)該模型預(yù)測得到的QoE為用戶提供不同碼率的3D視頻，從而有效分配網(wǎng)絡(luò)帶寬資源。