360度視頻與視口預(yù)測方法綜述

李鎮(zhèn)淮，戰(zhàn)蔭偉

廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣州 510006

2021 年被稱為元宇宙（metaverse）元年，作為新興概念，元宇宙受到了大眾的高度關(guān)注。虛擬現(xiàn)實(shí)（virtual reality，VR）技術(shù)作為元宇宙中的重要環(huán)節(jié)，在近年得到了長足發(fā)展，其中，360度視頻是常見的虛擬現(xiàn)實(shí)內(nèi)容的載體之一。360 度視頻，又稱為全景（panoramic）視頻、球形（spherical）視頻和全向性（omnidirectional）視頻，通常由全景相機(jī)采集獲得，是允許用戶通過頭戴顯示器（head mounted display，HMD）或手機(jī)等設(shè)備，以3自由度（degree of freedom，DoF）觀察周圍的媒體，如圖1所示?？梢猿橄蟮乩斫鉃?，360度視頻鋪滿了一個(gè)假想的球面，用戶位于假想球面的球心觀察周圍。

圖1 3自由度：偏航、俯仰、翻滾Fig.1 3DoF：yaw，pitch，roll

與游戲等高自由度的虛擬現(xiàn)實(shí)應(yīng)用不同，用戶觀看360度視頻時(shí)更多為被動地接受信息。但是，比起需要昂貴硬件提供的龐大算力來進(jìn)行實(shí)時(shí)三維渲染的應(yīng)用，360度視頻作為主流媒體的一種，用戶可以方便地在互聯(lián)網(wǎng)上下載、存儲或在線點(diǎn)播，是用戶獲得沉浸虛擬現(xiàn)實(shí)體驗(yàn)的高效途徑。得益于360度視頻的特點(diǎn)和優(yōu)勢，其被廣泛地用于虛擬現(xiàn)實(shí)教育、旅游、新聞、購物、娛樂和醫(yī)療等領(lǐng)域，基于HTML5和WebVR的360度視頻體驗(yàn)也在逐漸發(fā)展和完善[1]，用戶從互聯(lián)網(wǎng)上獲取360 度視頻將越來越方便。此外，影石Insta360、GoPro等國內(nèi)外知名廠商都相繼推出了種類豐富的全景相機(jī)，使得360度視頻采集的渠道更廣、成本更低，有助于360度視頻應(yīng)用的普及推廣。

360 度視頻的應(yīng)用面臨主要的難題是，360 度視頻的數(shù)據(jù)量極大，想要達(dá)到與傳統(tǒng)二維視頻相同的觀看體驗(yàn)，360 度視頻的數(shù)據(jù)量一般是二維視頻的4 到6 倍[2]，觀看360度視頻直播或在線點(diǎn)播高質(zhì)量360度視頻對用戶的網(wǎng)絡(luò)連接帶寬要求極高，也加重了服務(wù)端的負(fù)載。通過HMD 觀看360 度視頻時(shí)，同一時(shí)刻，HMD 僅顯示360 度視頻中的一部分區(qū)域，顯示的區(qū)域稱為視口（viewport），如圖2所示。研究者們利用這一性質(zhì)，提出了針對視口顯示區(qū)域進(jìn)行網(wǎng)絡(luò)優(yōu)化的方法，預(yù)測用戶的視口位置變化以優(yōu)化網(wǎng)絡(luò)傳輸，提高觀看體驗(yàn)。

圖2 視口區(qū)域示意圖Fig.2 Diagram of viewport area

360 度視頻于近年得到廣泛關(guān)注，國內(nèi)外已有多篇文獻(xiàn)綜述了相關(guān)工作。大部分文獻(xiàn)[3-7]主要綜述360度視頻流式（streaming）過程和可能涉及到的相關(guān)技術(shù)，視口預(yù)測技術(shù)被簡略概括，本文則聚焦視口預(yù)測，360度視頻流式作為背景和鋪墊?，F(xiàn)有的視口預(yù)測方法可以大致分為基于軌跡的方法和基于視頻內(nèi)容的方法，文獻(xiàn)[8]將先前的視口預(yù)測方法按照該分類進(jìn)行綜述。本文在該主流分類的基礎(chǔ)上，總結(jié)可以用于訓(xùn)練和評估視口預(yù)測方法的360度注意力數(shù)據(jù)集，將基于用戶歷史視口軌跡的視口預(yù)測方法進(jìn)一步細(xì)分為單用戶方法和多用戶方法，概述360 度視覺顯著性檢測后，將基于視頻內(nèi)容的視口預(yù)測方法細(xì)分為基于視覺顯著性的方法和其他基于內(nèi)容的方法，對包含最新研究進(jìn)展在內(nèi)的現(xiàn)有視口預(yù)測方法進(jìn)行系統(tǒng)性的綜述，最后總結(jié)并展望360度視頻和視口預(yù)測技術(shù)的未來發(fā)展趨勢。綜上所述，不同于現(xiàn)有的研究綜述，本文有以下特點(diǎn)：

（1）重點(diǎn)綜述視口預(yù)測技術(shù)，360度視頻流式作為視口預(yù)測技術(shù)應(yīng)用的場景，也進(jìn)行陳述。使讀者對360度視頻相關(guān)應(yīng)用有一定認(rèn)識，能更清晰地理解視口預(yù)測技術(shù)的作用和必要性，了解影響視口預(yù)測技術(shù)實(shí)施的因素。

（2）匯總360度注意力數(shù)據(jù)集和視口預(yù)測的最新工作，更加細(xì)致地對現(xiàn)有的視口預(yù)測方法進(jìn)行分類綜述，分析對比不同類型方法的優(yōu)勢和限制。使讀者能夠快速理清視口預(yù)測方法的發(fā)展脈絡(luò)，掌握該領(lǐng)域當(dāng)前的研究熱點(diǎn)。

1 360度視頻流式

2012 年，運(yùn)動圖像專家組（Moving Picture Experts Group，MPEG）等單位制定了DASH 標(biāo)準(zhǔn)[9]，DASH 全稱Dynamic Adaptive Streaming over HTTP，即基于HTTP的動態(tài)自適應(yīng)流，也稱為MPEG-DASH。DASH標(biāo)準(zhǔn)規(guī)定：二維視頻在服務(wù)端被分為數(shù)個(gè)等時(shí)長的片段，每個(gè)片段都以多種形式表示，即按照不同的比特率進(jìn)行編碼，由客戶端決定每個(gè)視頻片段傳送的比特率。該策略犧牲服務(wù)端的存儲空間，提高客戶端的觀看體驗(yàn)。DASH 采用應(yīng)用層適配算法為異構(gòu)網(wǎng)絡(luò)上的各種設(shè)備提供點(diǎn)播和直播服務(wù)，在現(xiàn)有的HTTP網(wǎng)絡(luò)上得到了很好的支持，此外，DASH 的網(wǎng)絡(luò)傳輸是與編解碼器無關(guān)的，可以接受任何編碼格式[4]。

DASH標(biāo)準(zhǔn)有較高的兼容性，同時(shí)能減輕服務(wù)端網(wǎng)絡(luò)傳輸壓力，減少卡頓和重新緩存的發(fā)生率，提高用戶的觀看體驗(yàn)。與傳統(tǒng)二維流式媒體類似，360度視頻流式傳輸沿用了DASH標(biāo)準(zhǔn)[10]。

1.1 360度視頻流式框架

360 度視頻流式傳輸?shù)目蚣苋鐖D3 所示，由于沿用了DASH等標(biāo)準(zhǔn)，該框架與傳統(tǒng)二維視頻的流式高度相似。360度圖像大多由全景相機(jī)采集得到，全景相機(jī)一般由多個(gè)攝像頭構(gòu)成，這些攝像頭均勻地分布在全景相機(jī)的表面上，能夠同時(shí)對周圍的環(huán)境進(jìn)行攝像[11]，隨后將每個(gè)攝像頭采集到的圖像拼接（stitch）成為360 度圖像[12]，或是作為360 度視頻的幀，進(jìn)一步生成360 度視頻。主流的視頻編碼方案都是為二維圖像設(shè)計(jì)的，全景相機(jī)采集到360 度圖像后，需要將球形的360 度圖像投影到二維平面上，再進(jìn)行編碼和儲存、傳輸?shù)炔僮鱗13]。常用的球面到平面投影方法是等矩形投影（equirectangular projection，ERP）和立方體映射投影（cube map projection，CMP），如圖4所示。

圖3 360度視頻流式框架Fig.3 Framework of 360-degree video streaming

圖4 ERP和CMP的效果對比Fig.4 Effect comparison between ERP and CMP

ERP 是最經(jīng)典的球面到平面投影方法，例如，世界地圖的制作就使用了ERP。ERP可以理解為，將半徑為r的球面展開到長為2πr，寬為πr的矩形上[14]。ERP的優(yōu)點(diǎn)是直觀、實(shí)現(xiàn)簡單，投影后圖像水平中心線，即球體的赤道（equator）線附近的圖像畸變（distortion）小。缺點(diǎn)是越靠近球體的極點(diǎn)（pole），能采樣的點(diǎn)越少，投影后圖像越靠近上下邊界，投影導(dǎo)致的圖像拉伸畸變越嚴(yán)重[15]。CMP 是另外一種常用的投影方法，CMP 首先圍繞球體構(gòu)建外切立方體，從球心向外投射射線，每條射線與球面和立方體面上的各一個(gè)點(diǎn)相交，生成投影映射[16]，將立方體展開得到6個(gè)正方形圖像，最后把6個(gè)正方形平面組合為一個(gè)長寬比為3∶2 的矩形圖像即可。CMP的優(yōu)點(diǎn)是，極點(diǎn)處的圖像畸變小得多，編碼效率更高，研究指出，在相同的用戶體驗(yàn)質(zhì)量情況下，采用CMP能比ERP減少25%的視頻比特率[17]。CMP的缺點(diǎn)是引入了人為的邊界，導(dǎo)致邊界附近圖像內(nèi)容割裂，其次是依然存在一定的畸變。除ERP 和CMP 外還有一些其他投影方法，例如Pseudo-Cylindrically[18]、Polar Square[19]、Rhombic[20]、Hybrid Cubemap[21]、Hybrid Equiangular Cubemap[22]和Polyhedron[23]等，這些方法也有各自獨(dú)特的優(yōu)勢和不足，因?yàn)榧嫒菪缘脑驔]有被廣泛應(yīng)用。

1.2 編碼方式和數(shù)據(jù)量

上文中提到，360 度視頻的編碼使用了和傳統(tǒng)二維視頻相同的編解碼方案。目前，主流的編碼標(biāo)準(zhǔn)有AVC（advanced video coding/H.264）、HEVC（high efficiency video coding/H.265）、VP9、AV1（AOMedia video 1）、VVC（versatile video coding/H.266）、AVS（audio and video coding standard）等。AVC 是經(jīng)典的視頻編碼標(biāo)準(zhǔn)，即使是現(xiàn)在的360 度視頻的編碼也有在使用，HEVC 作為接替AVC的下一代標(biāo)準(zhǔn)，編碼質(zhì)量遠(yuǎn)超過AVC，節(jié)省比特率最多可達(dá)58%，是目前使用最為廣泛的編碼標(biāo)準(zhǔn)[24]。AV1 是開放媒體聯(lián)盟（AOMedia）為了取代開源編碼標(biāo)準(zhǔn)VP9[25]而開發(fā)的視頻編碼標(biāo)準(zhǔn)，現(xiàn)階段AV1的編碼效果不及HEVC[26]，它的優(yōu)勢是完全開放、免專利授權(quán)，且開放媒體聯(lián)盟還在持續(xù)開發(fā)和升級AV1。VVC是HEVC的后繼標(biāo)準(zhǔn)，也稱為FVC（future video coding），雖然尚未流行，但是VVC有其獨(dú)特的優(yōu)勢，比起HEVC，VVC的編碼壓縮率有望提升30%[27]。更重要的是，VVC編碼標(biāo)準(zhǔn)中加入了對360度視頻的原生支持[28]。數(shù)字音視頻編解碼標(biāo)準(zhǔn)AVS是我國具有自主知識產(chǎn)權(quán)的標(biāo)準(zhǔn)，目前已經(jīng)發(fā)展到第三代，AVS3有較高的編解碼效率，并且兼顧對360 度視頻、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等應(yīng)用的支持。除了投影方式和編碼方式，影響360度視頻數(shù)據(jù)量的因素，還有視頻本身的質(zhì)量，包括視頻的分辨率、幀率等。

HMD內(nèi)置顯示器的分辨率、刷新率都比較高，目的是保證觀看VR時(shí)的沉浸感和其他觀看體驗(yàn)，以及在一定程度上緩解VR體驗(yàn)引起的暈動癥[29]，例如，知名產(chǎn)品HTC VIVE Pro 2 的內(nèi)置顯示器可以提供4 896×2 448雙眼分辨率和120 Hz刷新率。同樣地，良好的VR體驗(yàn)對360度視頻的分辨率和幀率（frame per second，F(xiàn)PS）也有一定要求。為了有足夠好的體驗(yàn)，視口內(nèi)的圖像分辨率應(yīng)盡可能高，完整的360度視頻分辨率是視口區(qū)域的數(shù)倍，當(dāng)視口內(nèi)的畫面分辨率為4K（3 840×2 160），要求360度視頻的完整分辨率至少為12K（11 520×6 480）[30]。作為參考，經(jīng)由HEVC 編碼的8K（7 680×320）60 FPS 視頻比特率高達(dá)100 Mbit/s[31]。綜上所述，即使采用了高壓縮率的編碼方式，高質(zhì)量的360度視頻流式對網(wǎng)絡(luò)連接帶寬的要求依然非常高。

1.3 基于圖塊的360度視頻流式

根據(jù)HMD 硬件規(guī)格的不同，其內(nèi)置顯示器能提供的視場（field of view，F(xiàn)oV）也不同，水平FoV一般不超過110 度[6]，垂直FoV 則更小，所以HMD 的內(nèi)置顯示器在一個(gè)時(shí)刻內(nèi)，僅顯示360 度視頻的一部分區(qū)域，即視口區(qū)域。研究者們注意到這一特點(diǎn)，提出了基于視口優(yōu)化的360 度視頻流式，以減輕服務(wù)端和客戶端之間的網(wǎng)絡(luò)傳輸負(fù)載?；贒ASH等標(biāo)準(zhǔn)，MPEG于2015年提出了首個(gè)為VR系統(tǒng)制定的標(biāo)準(zhǔn)OMAF（omnidirectional media format）。如圖5所示，OMAF規(guī)定在服務(wù)端除了把視頻按照時(shí)間序列分段，還要將360度視頻幀在空間上進(jìn)行分割，將每幀圖像均勻地分為多個(gè)圖塊（tile）。服務(wù)端接收到客服端發(fā)送的視口位置信息，視口覆蓋的圖塊，服務(wù)端以原始圖像質(zhì)量傳輸?shù)娇蛻舳?，而視口沒有覆蓋的圖塊以低質(zhì)量傳輸或者是不傳輸。比起傳輸完整的視頻幀，基于圖塊的（tile-based）360 度視頻流式可以節(jié)省幾十個(gè)百分點(diǎn)的網(wǎng)絡(luò)資源消耗[32]。

圖5 基于圖塊的360度視頻流式Fig.5 Tile-based 360-degree video streaming

基于圖塊的360 度視頻流式傳輸能很大程度地降低網(wǎng)絡(luò)資源消耗，但是也引入了一些問題，即服務(wù)端需要實(shí)時(shí)同步用戶視口位置，以改變傳輸圖塊的數(shù)量和質(zhì)量。如果用戶移動視口跨度大、時(shí)間短，則很可能服務(wù)端還未及時(shí)傳輸新視口位置所覆蓋的高質(zhì)量圖塊，導(dǎo)致用戶觀察到的是低質(zhì)量圖塊，降低觀看體驗(yàn)。若僅傳輸視口覆蓋范圍內(nèi)圖塊，用戶轉(zhuǎn)動頭部時(shí)，視口顯示的畫面變化會有一定延遲[33]，而且高延遲容易引起暈動癥。此外，用戶使用移動設(shè)備以及無線網(wǎng)絡(luò)時(shí)，還需要考慮無線網(wǎng)絡(luò)環(huán)境中服務(wù)端與客戶端同步視口位置的額外開銷。應(yīng)用視口預(yù)測技術(shù)以緩解上述問題，即預(yù)測用戶未來的視口位置變化，增加用戶觀看高質(zhì)量圖塊的概率，降低用戶頭動的畫面延遲和視頻暫停緩沖發(fā)生的頻率，提高用戶觀看體驗(yàn)?？梢哉f，高質(zhì)量的360 度視頻流式觀看體驗(yàn)離不開視口預(yù)測技術(shù)。

1.4 體驗(yàn)質(zhì)量評估

體驗(yàn)質(zhì)量（quality of experience，QoE）是指用戶對流式媒體等服務(wù)的感受和滿意度，是360度視頻流式系統(tǒng)性能的評估標(biāo)準(zhǔn)之一。與二維視頻相同，可以從客觀和主觀兩種角度對360度視頻體驗(yàn)質(zhì)量進(jìn)行評估。

客觀體驗(yàn)質(zhì)量評估由算法和程序自動對視頻的質(zhì)量進(jìn)行評價(jià)，有時(shí)也稱為視頻質(zhì)量評估（video quality assessment，VQA）。傳統(tǒng)的客觀評估直接計(jì)算目標(biāo)視頻和參考視頻的差異或相似度以評價(jià)目標(biāo)視頻的質(zhì)量，參考視頻一般是沒有失真的高質(zhì)量視頻。常用的評估指標(biāo)有S-PSNR（spherical PSNR）[34]、S-SSIM（spherical SSIM）[35]、WS-PSNR（weighted to spherically uniform PSNR）[36]、WS-SSIM（weighted to spherically uniform SSIM）[37]等，是二維VQA指標(biāo)峰值信噪比（peak signal-tonoise ratio，PSNR）和結(jié)構(gòu)相似性指數(shù)（spherical structural similarity index，SSIM）對360 度內(nèi)容的拓展。現(xiàn)階段360度VQA 的主流研究為基于深度學(xué)習(xí)的方法和無參考視頻的方法[38-39]，以及考慮了360 度視頻觀看模式、結(jié)合視口信息的方法[40-41]。用戶傾向于觀看360 度內(nèi)容中感興趣的區(qū)域，重點(diǎn)圍繞這些區(qū)域?qū)σ曨l的質(zhì)量進(jìn)行評估更符合人類感知特點(diǎn)。

主觀體驗(yàn)質(zhì)量評估是用戶對360 度視頻觀看體驗(yàn)的主觀評價(jià)，常用的評估方法是以調(diào)查問卷的形式統(tǒng)計(jì)用戶的體驗(yàn)評分。比如，平均意見得分（mean opinion score，MOS）[42]方法統(tǒng)計(jì)大量用戶對視頻內(nèi)容的觀看體驗(yàn)評分，每個(gè)用戶以1～5 的分值表示體驗(yàn)的等級，分值越大代表體驗(yàn)越好。差異平均意見得分（difference mean opinion score，DMOS）[43]比較失真視頻與原始視頻的差異，常用于評估不同視頻壓縮編碼方案的性能。主觀體驗(yàn)質(zhì)量評估需要綜合考慮視頻質(zhì)量之外的因素，包括視頻卡頓、時(shí)延、VR設(shè)備性能、用戶所處環(huán)境等，這些因素都可能影響用戶的沉浸感，降低體驗(yàn)質(zhì)量。主觀評估比客觀評估復(fù)雜、實(shí)施困難，但是更能直接反映用戶的真實(shí)評感官體驗(yàn)。

2 視口預(yù)測

現(xiàn)有的視口預(yù)測方法大體上可以分為基于用戶歷史軌跡的方法和基于視頻內(nèi)容的方法兩類。基于軌跡的視口預(yù)測方法利用目標(biāo)用戶的歷史視口軌跡數(shù)據(jù)，或是結(jié)合其他有相似觀看習(xí)慣的用戶歷史視口軌跡數(shù)據(jù)，預(yù)測目標(biāo)用戶未來的頭部運(yùn)動?；趦?nèi)容的視口預(yù)測方法則通過提取圖像中的特征，預(yù)測圖像中用戶的興趣區(qū)域（region of interest，ROI），結(jié)合用戶的歷史視口軌跡，推測目標(biāo)用戶未來的頭部運(yùn)動。

2.1 360度注意力數(shù)據(jù)集

為了更好地研究用戶觀看360度內(nèi)容的注意力，研究者們先后構(gòu)建了多個(gè)360度注意力數(shù)據(jù)集，部分已經(jīng)開放獲取。大部分?jǐn)?shù)據(jù)集的構(gòu)建流程類似，例如Corbillon等[44]招募了59位受試者參與數(shù)據(jù)的采集，受試者年齡跨度足夠大（6～62 歲，平均43 歲），包含兩種性別，部分受試者為首次使用HMD，以保證數(shù)據(jù)的可靠性。受試者被要求佩戴HMD 觀看5 個(gè)持續(xù)時(shí)間為70 s 的360 度視頻，受試者轉(zhuǎn)動頭部時(shí)，通過軟件記錄HMD中傳感器提供的角度數(shù)據(jù)，即可推斷視口中心在整個(gè)視頻幀中的位置，分別記錄每個(gè)受試者在每個(gè)視頻上的頭動數(shù)據(jù)，即可制成數(shù)據(jù)集。也有研究者使用靜態(tài)360 度圖像作為制作數(shù)據(jù)集的素材，Abreu 等[45]招募了32 位受試者，分別記錄每位受試者觀看21幅360度圖像的頭動數(shù)據(jù)，并且對比了不同觀看時(shí)長（10 s和20 s）的影響。

早期的數(shù)據(jù)集受限于硬件設(shè)備，實(shí)驗(yàn)過程中無法同時(shí)收集受試者的眼動數(shù)據(jù)[46]，只能以視口中心作為用戶注意力的唯一表示，但是用戶的注意力不能完全由視口中心表達(dá)，即使研究指出頭動數(shù)據(jù)和眼動數(shù)據(jù)有很強(qiáng)的關(guān)聯(lián)性[47-48]。隨著硬件設(shè)備的發(fā)展，同時(shí)采集頭動數(shù)據(jù)和眼動數(shù)據(jù)成為可能，Rai 等[48]招募了40 位受試者分別觀看40 幅高質(zhì)量360 度圖像，每幅圖像觀察25 s，并且在HMD 中額外安裝了一個(gè)來自SMI（Senso Motoric Instruments）公司的眼球追蹤相機(jī)以采集受試者的眼球運(yùn)動數(shù)據(jù)，制作了首個(gè)包含眼動注視信息的數(shù)據(jù)集。David 等[49]招募了57 位受試者分別觀看19 個(gè)持續(xù)時(shí)間20 s的360度視頻片段，同時(shí)采集頭動和眼動數(shù)據(jù)，并且與上述Rai 等制作的數(shù)據(jù)集一起，組成了360 度視覺建模大賽“Salient360!”[50-51]中的公開數(shù)據(jù)集?，F(xiàn)在，已經(jīng)有不少HMD 內(nèi)置了眼球追蹤設(shè)備，采集眼動數(shù)據(jù)將更加方便。Agtzidis 等[52]招募了13 位受試者分別觀看15 個(gè)360 度視頻，使用內(nèi)置了眼球追蹤設(shè)備的FOVE HMD制作了僅含眼動數(shù)據(jù)的數(shù)據(jù)集。還有些360 度注意力數(shù)據(jù)集與其他領(lǐng)域的研究有關(guān)，比如心理學(xué)，Li 等[53]招募了95 位受試者觀看73 個(gè)360 度視頻片段，并分析受試者觀看視頻時(shí)頭部運(yùn)動與心理狀態(tài)之間的聯(lián)系。Ren等[54]采集和對比了15 位患有自閉癥譜系障礙（autism spectrum disorder，ASD）和16位正常發(fā)育（typically developing）的兒童觀看360 度圖像時(shí)的數(shù)據(jù)，以更好地分析ASD兒童的視覺注意力。

除了上述數(shù)據(jù)集，還有其他一些研究[2，55-70]也提出了相關(guān)數(shù)據(jù)集，表1中總結(jié)和對比了大部分公開數(shù)據(jù)集的關(guān)鍵信息?，F(xiàn)有的數(shù)據(jù)集主要面臨的問題是作為被觀察對象的圖像或視頻數(shù)量較少，研究指出不同的受試者之間的觀看表現(xiàn)非常相似[47]，在一定程度上表明數(shù)據(jù)集采集的重點(diǎn)是觀察數(shù)量更多、種類更豐富的360度圖像或視頻，以分析受試者對不同圖像內(nèi)容的注意力，而不是招募更多受試者。值得注意的是，絕大部分的數(shù)據(jù)集制作都排除了視頻所含音頻對受試者注意力的影響。數(shù)據(jù)集能幫助研究者們對360度內(nèi)容進(jìn)行注意力建模，可以用于訓(xùn)練或評估視口預(yù)測算法、生成視覺顯著性圖等，有利于360 度視頻的壓縮編碼、傳輸、高效渲染、質(zhì)量評價(jià)等任務(wù)的研究。

表1 主流數(shù)據(jù)集對比Table 1 Comparison of major datasets

2.2 基于軌跡的視口預(yù)測方法

基于軌跡的視口預(yù)測方法依靠單用戶或多個(gè)用戶的歷史頭動數(shù)據(jù)進(jìn)行建模。Qian 等[33]針對蜂窩移動網(wǎng)絡(luò)中點(diǎn)播360度視頻的高網(wǎng)絡(luò)帶寬消耗問題，采用加權(quán)線性回歸預(yù)測用戶未來頭部運(yùn)動。算法依靠滑動窗口采集過去1 s 時(shí)刻t-1 到當(dāng)前時(shí)刻t的頭動數(shù)據(jù)，越接近t時(shí)刻的數(shù)據(jù)權(quán)值越大，以預(yù)測未來t+δ秒內(nèi)的頭部運(yùn)動。實(shí)驗(yàn)證明該方法在δ≤1 s 時(shí)可以取得不錯(cuò)的效果，準(zhǔn)確率最高可達(dá)96.6%；但是δ>1 s 時(shí)，預(yù)測準(zhǔn)確率大幅下降。Xu等[71]同樣采用了線性回歸模型預(yù)測用戶頭部運(yùn)動，并得出預(yù)測誤差呈正態(tài)分布的結(jié)論。Bao等[2]采用神經(jīng)網(wǎng)絡(luò)回歸模型預(yù)測用戶的未來頭部運(yùn)動，并額外估計(jì)預(yù)測的錯(cuò)誤率。當(dāng)估計(jì)的預(yù)測錯(cuò)誤率較高時(shí)，360度視頻流式系統(tǒng)可以傳輸面積更大的圖塊，以提高容錯(cuò)率、提升觀看體驗(yàn)。該預(yù)測模型在Bao等自建的數(shù)據(jù)集上進(jìn)行訓(xùn)練和評估，結(jié)果表明其能很好地預(yù)測用戶未來0.1～0.5 s 內(nèi)的頭部運(yùn)動。一般的視口預(yù)測方法利用HMD 內(nèi)置傳感器提供的原始角度數(shù)據(jù)進(jìn)行訓(xùn)練，Jiang等[72]發(fā)現(xiàn)將角度轉(zhuǎn)換為正弦值或余弦值后，用于線性回歸模型可以得到更加準(zhǔn)確的視口預(yù)測結(jié)果。

可以把視口預(yù)測作為序列學(xué)習(xí)任務(wù)，即給定歷史序列以預(yù)測下一個(gè)值。其中，長短時(shí)記憶（long-short term memory，LSTM）神經(jīng)網(wǎng)絡(luò)非常適合學(xué)習(xí)人體運(yùn)動數(shù)據(jù)的時(shí)間依賴性，觀看360度內(nèi)容時(shí)的頭部運(yùn)動軌跡也不例外，Hou 等[73]提出使用LSTM 模型學(xué)習(xí)用戶的歷史視口軌跡進(jìn)行視口預(yù)測，在三星公司提供的大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試，并且分析了預(yù)測圖塊數(shù)量、預(yù)測精度和傳輸帶寬節(jié)省量三者之間的關(guān)系。基于LSTM的視口預(yù)測方法表現(xiàn)出比傳統(tǒng)機(jī)器學(xué)習(xí)方法更好的預(yù)測精度，但是LSTM存在著訓(xùn)練速度和推理速度較慢等問題，Yu 等[74]提出基于注意力機(jī)制的編碼器-解碼器神經(jīng)網(wǎng)絡(luò)的視口預(yù)測方法，該神經(jīng)網(wǎng)絡(luò)能更好地利用視口軌跡變化序列的時(shí)間信息，同時(shí)訓(xùn)練和推理更快。LSTM適合處理長時(shí)間周期的序列數(shù)據(jù)的特性，這導(dǎo)致LSTM不能很好地處理初期輸入的數(shù)據(jù)，Nguyen等[75]在傳統(tǒng)的LSTM中加入門控循環(huán)單元（gated recurrent unit，GRU）模塊以加快LSTM 初期的數(shù)據(jù)處理速度，實(shí)驗(yàn)結(jié)果表明加入GRU后能提升最初幾秒內(nèi)的視口預(yù)測準(zhǔn)確率。Lu 等[76]和Jiang 等[77]分別設(shè)計(jì)了基于元學(xué)習(xí)（metalearning）的LSTM 模型用于視口預(yù)測，得益于元學(xué)習(xí)的特性[78]，該類模型擅長從各種觀看習(xí)慣的用戶數(shù)據(jù)中提取元知識，為單個(gè)用戶提供個(gè)性化的視口預(yù)測服務(wù)，解決了一般視口預(yù)測模型在預(yù)測少數(shù)觀看習(xí)慣獨(dú)特的用戶視口軌跡時(shí)表現(xiàn)差的問題，即增強(qiáng)了模型的魯棒性。

2.3 基于多用戶軌跡的視口預(yù)測方法

有些研究者注意到部分用戶觀看360 度內(nèi)容時(shí)的習(xí)慣相似，提出了基于多用戶視口軌跡的視口預(yù)測方法。Ban 等[79]受用戶觀看行為統(tǒng)計(jì)啟發(fā)，采用線性回歸模型預(yù)測目標(biāo)用戶的未來視口位置的同時(shí)，利用K-最近鄰算法同時(shí)分析多個(gè)用戶的視口軌跡以修正目標(biāo)用戶的錯(cuò)誤視口預(yù)測，比僅用線性回歸模型進(jìn)行預(yù)測性能至少提升20.2%。Xie 等[80]提出把具有相似的觀看行為的用戶分到相同類中，由服務(wù)端向同類的用戶傳輸歷史視口軌跡，具體為使用DBSCAN 聚類有相似視口軌跡的用戶，并利用支持向量機(jī)預(yù)測用戶未來的觀看行為以實(shí)時(shí)對用戶所屬的類進(jìn)行判斷。類似地，Petrangeli等[81]提出將相似的歷史視口軌跡譜聚類到同一個(gè)簇中，為每個(gè)簇訓(xùn)練各自的視口預(yù)測回歸模型，以對應(yīng)不同觀看行為的用戶，該方法能預(yù)測未來長達(dá)10 s的視口位置。Fu等[82]提出跨用戶注意網(wǎng)絡(luò)（cross-user attentive network，CUAN），CUAN 模型首先利用LSTM 對多個(gè)用戶的視口軌跡進(jìn)行編碼，隨后利用注意力機(jī)制提取有用的跨用戶視口軌跡信息，最后進(jìn)行視口預(yù)測，跨用戶注意力信息的提取提高了模型長時(shí)間視口預(yù)測能力。還有其他基于多用戶視口軌跡的視口預(yù)測方法于表2中總結(jié)[83-89]。

表2 其他基于多用戶視口軌跡的視口預(yù)測方法Table 2 Other viewport prediction methods based on cross-user viewport trajectory

基于多用戶歷史視口軌跡的視口預(yù)測方法實(shí)施的前提是大量收集用戶歷史觀看軌跡，大數(shù)據(jù)時(shí)代的到來，人們愈發(fā)重視個(gè)人隱私保護(hù)，用戶數(shù)據(jù)的收集和儲存受到了限制，包括360 度內(nèi)容的歷史觀看軌跡，用戶很可能不同意視頻平臺收集此類數(shù)據(jù)。針對該問題，Zhang等[90]和Chao等[91]分別提出了基于聯(lián)邦學(xué)習(xí)（federated learning）的視口預(yù)測方法，聯(lián)邦學(xué)習(xí)能夠在不暴露個(gè)人數(shù)據(jù)的情況下實(shí)現(xiàn)跨數(shù)據(jù)所有者進(jìn)行模型訓(xùn)練和推理，保護(hù)用戶個(gè)人隱私的同時(shí)，又能利用跨用戶歷史視口軌跡特征，達(dá)成可觀的視口預(yù)測效果。

大部分基于單用戶歷史視口軌跡視口預(yù)測方法的優(yōu)點(diǎn)是實(shí)現(xiàn)簡單，但是存在著預(yù)測周期短、預(yù)測準(zhǔn)確率一般等問題，只能預(yù)測未來5 s 內(nèi)的視口軌跡變化。對多用戶的歷史視口軌跡進(jìn)行建?？梢愿倪M(jìn)視口預(yù)測的能力，最多可以將預(yù)測周期延長到未來10 s 內(nèi)，還能取得不錯(cuò)的預(yù)測效果。基于多用戶軌跡的方法有一個(gè)缺點(diǎn)是其一般不能用于視頻直播中，不同于點(diǎn)播視頻，直播的視頻內(nèi)容都是即時(shí)生成的，沒有歷史視口軌跡可以利用。

3 基于內(nèi)容的視口預(yù)測方法

利用360度視頻中的內(nèi)容特征進(jìn)行視口預(yù)測，更符合一般認(rèn)知，因?yàn)橛脩舻念^部運(yùn)動本質(zhì)上是由視頻內(nèi)容中的興趣區(qū)域決定的，目前大部分基于內(nèi)容的視口預(yù)測方法采用顯著性檢測算法預(yù)測視頻中的興趣區(qū)域。

3.1 360度顯著性檢測

人類可以快速發(fā)現(xiàn)視覺上特別的、引人注意的對象或區(qū)域，并專注于該區(qū)域以提取更加豐富的高層信息。顯著性檢測即模仿人類視覺能力，預(yù)測圖像或視頻中能引起人類興趣的對象或區(qū)域[92]，是計(jì)算機(jī)視覺中一項(xiàng)非常重要的任務(wù)。研究者們?yōu)榱烁玫靥剿魅祟愒?60度圖像或視頻上的注意力，提出了多種360度顯著性檢測方法，本文將這些方法大致分為“拓展法”“特殊卷積法”兩類。

（1）拓展法

二維顯著性檢測方法在一定程度上能直接用于投影后的360 度圖像[47]，目前有一部分360 度顯著性檢測方法是在它們的基礎(chǔ)上進(jìn)行拓展的。用戶佩戴HMD瀏覽360 度內(nèi)容時(shí)，更傾向水平轉(zhuǎn)動頭部，抬頭和低頭的動作較少[86]，所以在360度內(nèi)容里，赤道附近的對象或區(qū)域更容易被用戶注意到，即存在赤道偏置（equator bias），如圖6 所示[67]，可以明顯地觀察到顯著區(qū)域分布在ERP顯著圖（saliency map）的水平中線（即投影之前球體的赤道線）附近。針對二維圖像設(shè)計(jì)的顯著性檢測方法加入赤道偏置后，可以提升其在ERP圖像上的顯著性檢測效果。

圖6 數(shù)據(jù)集中的ERP顯著圖例子Fig.6 Example ERP saliency map in dataset

由于現(xiàn)有的大部分360度注意力數(shù)據(jù)集規(guī)模較小，直接用于訓(xùn)練360 度顯著性檢測神經(jīng)網(wǎng)絡(luò)效果不理想。受遷移學(xué)習(xí)的思想啟發(fā)，有些研究者提出把現(xiàn)有的二維顯著性檢測神經(jīng)網(wǎng)絡(luò)或是新設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在大型二維圖像顯著性數(shù)據(jù)集上預(yù)訓(xùn)練，再使用360度注意力數(shù)據(jù)集進(jìn)行微調(diào)（fine-tune）[93]。有些方法則考慮到投影引起的圖像畸變或不連續(xù)等問題，分別對多種不同投影方式得到的二維圖像進(jìn)行顯著性檢測，最后再融合得到最終顯著圖[94]。

（2）特殊卷積法

原始的360 度圖像是非歐幾里德結(jié)構(gòu)數(shù)據(jù)（non-Euclidean structure data），投影到平面后，損失了球面上像素與像素之間的關(guān)聯(lián)特征，導(dǎo)致圖像畸變等。針對這些問題，研究者們提出了許多新穎的算法以處理非歐幾里德結(jié)構(gòu)數(shù)據(jù)，比如球卷積（spherical convolution）[95]和球神經(jīng)網(wǎng)絡(luò)（SphereNet）[96]；以及基于圖的神經(jīng)網(wǎng)絡(luò)，比如圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional network，GCN）[97]；或者是專門為等矩形投影360 度圖像定制特殊的卷積方式，從畸變的圖像中提取特征，比如梯形卷積（ladder convolution）[98]等?；谏鲜鎏厥饩矸e算法設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)在360度顯著性檢測任務(wù)中，表現(xiàn)出了卓越的性能[99]。

3.2 基于顯著性的視口預(yù)測方法

基于圖像顯著性的視口預(yù)測方法將圖像顯著性檢測器輸出的顯著圖作為視口預(yù)測的依據(jù)之一，F(xiàn)an 等[56]首次將顯著圖作用于視口預(yù)測，利用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）生成360度視頻幀的顯著圖，結(jié)合用戶瀏覽該視頻幀的視口位置，最后把顯著圖和視口位置作為一組特征輸入到LSTM中，輸入多組特征后即可預(yù)測未來用戶的視口位置，F(xiàn)an等[100]在后續(xù)的工作中額外加入了未來數(shù)幀中提取的特征作為輸入，提高模型性能。Nguyen 等[101]提出基于遷移學(xué)習(xí)的PanoSalNet，該模型用于生成顯著圖，隨后將顯著圖和視口位置作為一組特征輸入LSTM 進(jìn)行視口預(yù)測。Xu 等[61]考慮視頻幀的空間顯著性和時(shí)間顯著性，其中SalNet 用于生成顯著圖、FlowNet2 用于提取幀間運(yùn)動特征，用戶視口軌跡則用兩層LSTM 進(jìn)行編碼，最后將這些特征輸入到兩個(gè)全連接層中進(jìn)行視口預(yù)測。類似的還有Feng等[102]、Hu等[103]提出的方法。

LSTM 等基于序列學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)存在一個(gè)問題是在長時(shí)期預(yù)測的過程中，預(yù)測產(chǎn)生的結(jié)果有時(shí)會作為下一次預(yù)測的依據(jù)之一輸入到神經(jīng)網(wǎng)絡(luò)中，很可能降低長期預(yù)測的可靠性，此外LSTM不擅長學(xué)習(xí)空間信息即視頻內(nèi)容特征。Xu 等[66]將深度強(qiáng)化學(xué)習(xí)算法用于360度視頻注意力建模，提出了一個(gè)離線方法用于預(yù)測視頻每一幀中每個(gè)像素被觀看的概率，和一個(gè)在線方法實(shí)時(shí)預(yù)測目標(biāo)用戶的視口位置，得益于深度強(qiáng)化學(xué)習(xí)的特性，該方法能夠模擬真人瀏覽360度視頻時(shí)的長期視口位置變化。Ambadkar等[104]也提出了基于深度強(qiáng)化學(xué)習(xí)的視口預(yù)測框架，其中生成對抗網(wǎng)絡(luò)SalGAN360 用于生成360度視頻幀的顯著圖，顯著圖驅(qū)動強(qiáng)化學(xué)習(xí)中的獎(jiǎng)勵(lì)（reward）函數(shù)，指導(dǎo)智能體（agent）選擇顯著度最大的區(qū)域作為視口位置。

Li 等[105]利用目標(biāo)用戶和其他用戶提供的歷史視口軌跡，按照每個(gè)像素被視口覆蓋過的概率逐幀生成熱圖，并采用傳統(tǒng)的二維顯著性檢測模型生成顯著圖，最后將熱圖和顯著圖輸入到ConvLSTM（convolutional LSTM）中進(jìn)行視口預(yù)測，ConvLSTM能兼顧時(shí)間和空間特征，對時(shí)空關(guān)系進(jìn)行建模的效果比LSTM 好。Zhang等[106]把視口預(yù)測當(dāng)作稀疏有向圖學(xué)習(xí)任務(wù)，并提出視圖轉(zhuǎn)換馬爾科夫模型（view transition Markov model），該模型的輸入是360度視頻幀顯著圖、目標(biāo)用戶歷史視口軌跡和頭動模型的輸出，其中頭動模型參考人類真實(shí)的頭部運(yùn)動，用于排除稀疏有向圖中不合理的邊。Li等[107]以球卷積替代傳統(tǒng)卷積，利用兩個(gè)球卷積神經(jīng)網(wǎng)絡(luò)分別提取360度視頻幀的幀內(nèi)空間信息和幀間時(shí)間信息，生成顯著圖，以及一個(gè)球卷積門控循環(huán)單元（spherical convolutional gated recurrent unit，SP-ConvGRU）用于提取多用戶歷史視口軌跡提供的信息，最后進(jìn)行視口預(yù)測，球卷積神經(jīng)網(wǎng)絡(luò)因?yàn)榫哂行D(zhuǎn)不變性所以善于處理360度圖像。

預(yù)測圖像顯著性需要消耗大量的算力資源，移動設(shè)備內(nèi)置的低功耗芯片通常無法勝任，Zhang等[108]提出針對移動設(shè)備收看360度視頻直播的視口預(yù)測框架MFVP，如圖7所示[108]，該框架在服務(wù)端采用基于圖神經(jīng)網(wǎng)絡(luò)的360 度顯著性檢測模型SalGCN 生成360 度視頻幀的顯著圖，顯著圖傳輸?shù)娇蛻舳撕笈c用戶視口軌跡共同輸入到ConvLSTM 模型預(yù)測幀中每個(gè)圖塊被視口覆蓋的概率。類似的還有Wang等[109]提出的CoLive框架，不同的是，Colive框架的服務(wù)端采用普通CNN模型預(yù)測視頻幀顯著性，還為客戶端提供了一個(gè)可以跨用戶間更新共享參數(shù)的中心模型（central model），提高模型性能。

圖7 MFVP框架Fig.7 MFVP framework

3.3 其他基于內(nèi)容的方法

一些研究認(rèn)為用戶觀看360度視頻時(shí)更關(guān)注視頻中有具體語義的（semantic）對象。Leng 等[110]采用YoloV2目標(biāo)檢測算法識別視頻幀中的目標(biāo)，然后利用K-Means算法將幀中的目標(biāo)按照位置聚類為數(shù)個(gè)簇，簇的位置即用戶視口覆蓋概率較大的位置。Feng 等[111]認(rèn)為用戶更在意視頻中的運(yùn)動目標(biāo)，提出通過高斯混合模型（Gaussian mixture models）檢測幀中的所有運(yùn)動目標(biāo)，并利用Shi-Tomasi 算法追蹤目標(biāo)，達(dá)成視口預(yù)測的目的，因?yàn)樵摲椒ㄗ粉櫫藥兴械倪\(yùn)動目標(biāo)，所以降低視頻流帶寬的效果不好。Feng 等[112]針對360 度視頻直播中的視口預(yù)測，提出LiveObj 框架，該框架首先采用YoloV3 算法識別幀中的所有目標(biāo)，并選擇一個(gè)用戶可能最感興趣的目標(biāo)，最后利用基于Siamese 網(wǎng)絡(luò)的實(shí)時(shí)單目標(biāo)追蹤方法對該目標(biāo)進(jìn)行持續(xù)追蹤，結(jié)果表明該框架可以減少360度流式直播大約50%的帶寬消耗。

有的研究則注意到視頻字幕對用戶注意力的引導(dǎo)作用，Jing 等[113]和Doan 等[114]針對360 度旅游觀光視頻，分別提出了通過提取字幕中的信息，結(jié)合視頻幀的內(nèi)容特征進(jìn)行視口預(yù)測的方法，加入字幕信息能提高視口預(yù)測的準(zhǔn)確率。

4 總結(jié)與展望

本文綜述了360 度視頻的應(yīng)用背景和視口預(yù)測技術(shù)的研究進(jìn)展，包括基于用戶歷史軌跡的視口預(yù)測方法和基于視頻內(nèi)容的視口預(yù)測方法，并且總結(jié)了相關(guān)的360度注意力數(shù)據(jù)集。目前的360度視頻視口預(yù)測方法對比起來較為困難，本文主要按照其實(shí)現(xiàn)思路分類進(jìn)行綜述。因?yàn)椴煌难芯繎?yīng)用背景不同，有些方法只針對360度視頻直播，有些方法則直播和點(diǎn)播通用；有些研究考慮了視口預(yù)測方法的具體部署，針對低功耗的移動端還是在服務(wù)端上部署，亦或是協(xié)同的方式等；目前公開數(shù)據(jù)集數(shù)量較多，但普遍規(guī)模較小，不同的研究中用于訓(xùn)練和評估的數(shù)據(jù)集不同，評估指標(biāo)可能也不同。

此外，基于視頻內(nèi)容的視口預(yù)測方法的預(yù)測準(zhǔn)確率比基于軌跡的方法高，且泛化性能更強(qiáng)。隨之而來的問題是，提取圖像特征需要消耗大量的算力資源，完全在移動設(shè)備上部署基于內(nèi)容的視口預(yù)測方法較為困難，雖然有些研究提出把視頻內(nèi)容特征提取的環(huán)節(jié)放在服務(wù)端，但是隨著用戶量的增加，服務(wù)端的壓力也隨之激增，沒有從本質(zhì)上解決問題。綜合360 度視頻應(yīng)用背景以及視口預(yù)測方法面臨的一些問題和領(lǐng)域內(nèi)最新工作，未來可能的研究趨勢如下：

（1）高帶寬有線連接、新一代無線網(wǎng)絡(luò)的逐漸普及，以及更高效的編碼標(biāo)準(zhǔn)如VVC或AVS3的采用，可能在一定程度從本質(zhì)上緩解360 度視頻高網(wǎng)絡(luò)資源消耗的問題。360度視頻超分辨率、補(bǔ)幀等技術(shù)的研究和應(yīng)用，可以在網(wǎng)絡(luò)連接質(zhì)量不佳的情況下，增強(qiáng)用戶的觀看體驗(yàn)。完善的QoE 評估體系對于360 度流式系統(tǒng)的發(fā)展非常關(guān)鍵，結(jié)合用戶的觀看行為和人眼感官特點(diǎn)進(jìn)行QoE評估是當(dāng)前研究的主流。

（2）360 度注意力數(shù)據(jù)集是訓(xùn)練和評估視口預(yù)測方法的重要媒介，現(xiàn)有的數(shù)據(jù)集規(guī)模普遍較小，今后的數(shù)據(jù)集采集工作的趨勢是觀看數(shù)量更多、種類更豐富的圖像或視頻，供未來的視口預(yù)測研究于同一大規(guī)模數(shù)據(jù)集上評估和對比，并統(tǒng)一評估指標(biāo)。

（3）視口預(yù)測方法發(fā)展的趨勢是結(jié)合多用戶歷史軌跡和視頻內(nèi)容進(jìn)行預(yù)測。多用戶歷史軌跡信息能為預(yù)測模型帶來更加強(qiáng)健的魯棒性，使得模型用于少數(shù)觀看行為獨(dú)特的用戶時(shí)依然能有可觀的預(yù)測效果。在大數(shù)據(jù)時(shí)代，多用戶歷史軌跡的利用要注意隱私保護(hù)。視頻內(nèi)容從根本上決定用戶的觀看行為，結(jié)合視頻內(nèi)容特征進(jìn)行視口預(yù)測是合理并且實(shí)驗(yàn)證明有效的。

（4）視頻所附帶的其他材料也被證明對視口預(yù)測有促進(jìn)作用，比如字幕、音頻[115]等。未來的360 度視頻相關(guān)研究中，這些材料會被充分利用。

（5）提取視頻內(nèi)容特征的計(jì)算資源開銷非常大，所以高效的視口預(yù)測方法是未來研究的關(guān)鍵，即視口預(yù)測模型的輕量化。比如優(yōu)化模型的結(jié)構(gòu)、減少模型的參數(shù)量等，以及預(yù)測精度和計(jì)算開銷之間的權(quán)衡。

5 結(jié)束語

360度視頻是最容易獲得的沉浸式虛擬現(xiàn)實(shí)體驗(yàn)的媒介之一，虛擬現(xiàn)實(shí)設(shè)備的高速發(fā)展和全景相機(jī)的普及，都使360 度視頻的應(yīng)用更加廣泛，視口預(yù)測技術(shù)的重要性也隨之凸顯。隨著360 度視頻流式技術(shù)和視口預(yù)測技術(shù)的發(fā)展，相信在不久的未來，360度視頻一定能為用戶提供高質(zhì)量且便捷的虛擬現(xiàn)實(shí)體驗(yàn)。