基于DASH的全景視頻傳輸應(yīng)用研究

楊福星 孫博文 夏進(jìn)

摘要：隨著虛擬現(xiàn)實(shí)的興起，全景視頻業(yè)務(wù)迎來了快速的發(fā)展期。然而，全景視頻較于傳統(tǒng)視頻有著更大的數(shù)據(jù)量，往往網(wǎng)絡(luò)環(huán)境并不足以支撐全景視頻的在線播放，用戶在觀看全景視頻時(shí)會(huì)出現(xiàn)卡頓、模糊、黑屏等影響用戶體驗(yàn)的現(xiàn)象?；贖TTP的DASH技術(shù)的發(fā)展，為解決全景視頻傳輸所面臨的問題帶來了很大的助益。文章闡述了全景視頻技術(shù)以及DASH的發(fā)展，提出了一種基于DASH的全景視頻自適應(yīng)傳輸方法。

關(guān)鍵詞：全景視頻；DASH；自適應(yīng)傳輸；用戶視窗

目前，Youtube和Facebook都已經(jīng)支持智能終端（智能手機(jī)、頭戴式顯示器）對全景視頻的觀看，各大公司也加大研究制定針對360度全景視頻傳輸?shù)姆桨浮acebook公布的視頻轉(zhuǎn)碼工具宣稱可以節(jié)約80%的帶寬，而HHI提出基于切片的HEVC編碼方案。然而，如何在節(jié)約帶寬的情況下保證全景視頻用戶的體驗(yàn)度（Quality of Experience，QoE）則是目前研究的熱點(diǎn)。 VR和全景視頻業(yè)務(wù)正在快速增長。全景視頻因其具有更高的比特率和更大的分辨率，給網(wǎng)絡(luò)流傳輸帶來了挑戰(zhàn)。然而，通過仔細(xì)研究全景視頻特性表明，從基于用戶視窗的角度出發(fā)，我們有顯著的機(jī)會(huì)來減少傳送到客戶端設(shè)備的實(shí)際比特率。根據(jù)分析發(fā)現(xiàn)，全景視頻在比特率方面變化波動(dòng)性較小，并且比傳統(tǒng)視頻少運(yùn)動(dòng)，由于攝像機(jī)在傳統(tǒng)視頻中的運(yùn)動(dòng)（或攝像機(jī)之間的切換）而引起的比特率的變化現(xiàn)在被轉(zhuǎn)換為端對端全景流式架構(gòu)的響應(yīng)要求。

本文中，我們設(shè)計(jì)了一個(gè)基于動(dòng)態(tài)自適應(yīng)流（ DynamicAdaptive Streaming over HTTP， DASH）的全景視頻自適應(yīng)傳輸方法。該方法綜合考慮了網(wǎng)絡(luò)環(huán)境和緩沖區(qū)狀態(tài)以及用戶視窗對全景視頻傳輸?shù)挠绊懀柚贒ASH技術(shù)自適應(yīng)傳輸全景視頻。

1 相關(guān)工作

國內(nèi)外對于傳統(tǒng)視頻的傳輸做了大量的研究工作。Pessemier等[1]提出了一種視頻質(zhì)量動(dòng)態(tài)優(yōu)化方法，此方法實(shí)現(xiàn)了當(dāng)網(wǎng)絡(luò)環(huán)境變化時(shí)視頻質(zhì)量自適應(yīng)調(diào)整，但并未考慮緩沖區(qū)對視頻傳輸?shù)挠绊?，造成碼率頻繁切換或出現(xiàn)卡頓現(xiàn)象。Alberti等[2]提出了一種基于DASH的增強(qiáng)自適應(yīng)方法，通過將用戶的體驗(yàn)質(zhì)量評估結(jié)果作為自適應(yīng)決策的控制因素，建立QoE模型。De Cicco等[3]建立了視頻流切換控制系統(tǒng)，通過調(diào)整服務(wù)器端的發(fā)送速率將緩沖區(qū)狀態(tài)控制在目標(biāo)范圍內(nèi)，但并未考慮到切換的平滑過渡，影響用戶體驗(yàn)質(zhì)量。Zhou等[4]提出了基于控制理論的方法控制緩沖區(qū)長度和碼率自適應(yīng)，達(dá)到穩(wěn)定地調(diào)整視頻碼率及切換視頻質(zhì)量的目的，避免了傳統(tǒng)的基于緩沖區(qū)的碼率自適應(yīng)方法帶來的視頻碼率震蕩的問題。Qian等[5]運(yùn)用模糊邏輯理論控制發(fā)送速率，提出了一種無線網(wǎng)絡(luò)中基于QoE的實(shí)時(shí)視頻自適應(yīng)傳輸算法，動(dòng)態(tài)調(diào)整視頻質(zhì)量，改善用戶體驗(yàn)，但并未考慮緩沖區(qū)對用戶體驗(yàn)質(zhì)量的影響。Xu等[6]建立了碼率切換的QoE分析模型來預(yù)測無線網(wǎng)絡(luò)中自適應(yīng)流媒體的QoE，該模型可計(jì)算播放緩存匱乏概率、連續(xù)播放時(shí)間以及平均視頻質(zhì)量，在綜合考慮當(dāng)前緩存長度和信道狀態(tài)時(shí)，用戶可利用該模型預(yù)測待選的切換策略的QoE，在保證QoE的情況下選擇合適的切換策略。Suh等[7]從降低成本的角度出發(fā)，將碼率自適應(yīng)過程建模為馬爾科夫決策過程，在蜂窩網(wǎng)與WiFi的環(huán)境中靈活切換，在播放不中斷的情況下減少蜂窩網(wǎng)數(shù)據(jù)的使用。 全景視頻通常比傳統(tǒng)視頻消耗更多帶寬，因?yàn)樗鼈冃枰鄶?shù)據(jù)才能覆蓋所有空間方向。由于這種豐富的視頻模式帶來的高容量需求，要求考慮如何在滿足用戶體驗(yàn)質(zhì)量的同時(shí)實(shí)現(xiàn)可行且可接受的限制帶寬消耗的方法。DASH技術(shù)的發(fā)展使得能夠以最適合于可用帶寬的質(zhì)量來傳送內(nèi)容，以使流的停滯最小化。

目前，國內(nèi)關(guān)于全景視頻傳輸?shù)难芯枯^稀少，而國外的全景視頻傳輸?shù)南嚓P(guān)研究大多數(shù)還是處于實(shí)驗(yàn)室研究階段，尚未達(dá)到成熟階段。雖然關(guān)于傳統(tǒng)視頻傳輸?shù)南嚓P(guān)研究在國內(nèi)外都取得了很大的進(jìn)展和突破，但隨著視頻模式的變化，已有的傳統(tǒng)視頻傳輸方式并不能很好地解決全景視頻傳輸所帶來的問題，挑戰(zhàn)仍然存在。新的視頻形式需要有效傳輸數(shù)據(jù)的新方法，以減輕網(wǎng)絡(luò)和用戶的負(fù)擔(dān)。在本文中，在傳統(tǒng)視頻傳輸技術(shù)的基礎(chǔ)上，我們著重提高對全景視頻的特性以及對流媒體的理解，綜合考慮網(wǎng)絡(luò)環(huán)境、緩存狀態(tài)和用戶視窗，基于DASH技術(shù)自適應(yīng)傳輸全景視頻。

2 基于DASH的全景視頻自適應(yīng)傳輸方法

基于DASH的全景視頻自適應(yīng)傳輸方法的基本架構(gòu)如圖1所示。服務(wù)器端存儲全景視頻的切片集，DASH客戶端根據(jù)服務(wù)器端傳送的媒體文件展示描述（Media PresentationDescription，MPD），再結(jié)合網(wǎng)絡(luò)環(huán)境、緩存區(qū)狀態(tài)以及用戶視窗選擇下載不同質(zhì)量等級的視頻集合，達(dá)到自適應(yīng)傳輸全景視頻的目標(biāo)。

DASH于2011年成為國際標(biāo)準(zhǔn)，現(xiàn)已是目前業(yè)界內(nèi)大力研究的ISO標(biāo)準(zhǔn)（ISO/IEC 23009-1）?？焖俚膯?dòng)時(shí)間、較好的用戶體驗(yàn)以及較少的緩沖是DASH技術(shù)最顯著的特點(diǎn)。DASH技術(shù)通過探測終端的狀態(tài)和網(wǎng)絡(luò)環(huán)境，配合自適應(yīng)決策算法，智能自適應(yīng)地傳輸視頻。DASH技術(shù)根據(jù)當(dāng)前網(wǎng)絡(luò)質(zhì)量和終端能力，自適應(yīng)地切換不同碼率的視頻片段進(jìn)行傳輸，客戶端播放器會(huì)根據(jù)現(xiàn)有的資源采用不同速率的流進(jìn)行解碼播放，保障用戶在當(dāng)前網(wǎng)絡(luò)環(huán)境下得到最流暢的視頻播放體驗(yàn)。DASH緩解了全景視頻對網(wǎng)絡(luò)的高負(fù)載，確保了用戶的體驗(yàn)質(zhì)量。

本研究根據(jù)不同用戶視窗對視頻內(nèi)容進(jìn)行分區(qū)處理，按照與用戶視窗距離遠(yuǎn)近的程度對視頻內(nèi)容進(jìn)行等級分區(qū)劃分。為了確保用戶當(dāng)前觀看時(shí)的視頻內(nèi)容的質(zhì)量以及視頻播放的流暢度，本研究對不同視頻分區(qū)內(nèi)容進(jìn)行組合，再進(jìn)行傳輸，達(dá)到根據(jù)用戶視窗傳輸不同視頻組合內(nèi)容的目的。根據(jù)用戶視窗的分級反饋機(jī)制，將反饋得到的視頻分區(qū)信息與媒體文件展示描述（Media Presentation Description，MPD）[8]內(nèi)的空間關(guān)系描述（Spatial RelationshipDescription，SRD）[9]攜帶的全景視頻子?xùn)鸥竦目臻g信息（x，y，width，high）進(jìn)行匹配，獲取視頻分級劃分映射到二維平面全景視頻柵格文件上，確定視頻柵格文件質(zhì)量等級劃分。最后，結(jié)合當(dāng)前網(wǎng)絡(luò)環(huán)境對全景視頻傳輸?shù)挠绊?，合理確定某一等級比來進(jìn)行自適應(yīng)視頻傳輸。全景視頻自適應(yīng)傳輸保證了用戶觀看視頻清晰度以及流暢度，極大地確保了用戶體驗(yàn)質(zhì)量QoE的高水平。本方法的整體流程設(shè)計(jì)方案如圖2所示。

3 結(jié)語

本研究首先對全景視頻和DASH技術(shù)的發(fā)展進(jìn)行了簡單介紹，然后提出了一種基于DASH的全景視頻自適應(yīng)傳輸方法，將網(wǎng)絡(luò)吞吐量、視頻資源緩存以及用戶視窗作為自適應(yīng)決策的主要參數(shù)。本研究將龐大的VR全景視頻以及底層3D幾何劃分為360度空間的空間分割區(qū)域，利用DASH空間關(guān)系描述SRD與用戶視窗的語義鏈接來提供動(dòng)態(tài)視窗感知，然后基于動(dòng)態(tài)視窗感知來削弱巨大的流帶寬需求。本研究的初步實(shí)驗(yàn)結(jié)果表明，在保證用戶當(dāng)前視窗的視頻質(zhì)量與用戶體驗(yàn)度QoE的同時(shí)，有效節(jié)省了全景視頻傳輸過程中的帶寬。