HEVC兼容的全景視頻運動補償預(yù)測算法

胡強(qiáng)　馬文廣　石志儒

1 三維球面投影及所提

編碼框架

隨著消費級虛擬現(xiàn)實（VR）技術(shù)的不斷完善，HTC VIVE、Oculus RIft、三星Gear VR、Deepon等VR設(shè)備得到井噴式發(fā)展。作為能夠快速制作推廣的全景視頻也隨之進(jìn)入公眾的視野，在景觀展示、視頻會議、遠(yuǎn)程醫(yī)療和會診、遠(yuǎn)程監(jiān)測控制、機(jī)器人自動導(dǎo)航等領(lǐng)域得到廣泛應(yīng)用。目前VR視頻主要有兩種生產(chǎn)途徑：一種是通過渲染引擎創(chuàng)作的純虛擬場景；另一種是通過相機(jī)陣列拍攝拼接的360°視頻[1]。

使用者在觀看360°全景視頻，在同一位置通過改變觀察方向，能夠瀏覽四周全部場景[2]。360°視頻包含了四周空間的全部運動信息，利用虛擬現(xiàn)實頭盔顯示觀看時，只選取其中一部分視野進(jìn)行渲染顯示，所以全景視頻需要更高清晰度（至少空間分辨率4 K以上），才能匹配現(xiàn)在人們對高清分辨率的體驗。全景視頻的數(shù)據(jù)量相比于傳統(tǒng)視頻是成倍的增長趨勢，VR全景視頻的點播和直播的傳輸面臨帶寬瓶頸[3]。傳統(tǒng)視頻編解碼的方案不太適應(yīng)全新的視頻格式的需求，需要根據(jù)全景視頻的特性提出有針對性的編解碼方案，滿足存儲和傳輸?shù)男枨骩4]。

360°全景視頻應(yīng)用主要包括前端相機(jī)陣列的視頻同步采集、拼接、編碼及傳輸和播放。其中多相機(jī)陣列同步采采集的各視角視頻，進(jìn)行校正配準(zhǔn)之后，對重疊的圖像無縫拼接，需要將圖像進(jìn)行投影變換到三維球面模上。投影到球體表面模型進(jìn)行拼接處理，然后再以一定的投影模式變換成二維圖像，進(jìn)行壓縮傳輸和儲存。所謂的投影變換是指將全景視域的三維場景和二維平面相互映射過程，作為全景視頻內(nèi)容的最廣泛的轉(zhuǎn)播載體，投影后的二維視頻，最終通過渲染在虛擬現(xiàn)實終端設(shè)備進(jìn)行觀看。在投影變化和反變換過程中，存在著圖像失真，運動一致被破壞等問題，傳統(tǒng)的視頻編碼技術(shù)在應(yīng)對360°全景視頻的效果并不理想[5-7]。

針對以上存在的問題，由國際電信聯(lián)盟電信標(biāo)準(zhǔn)分局（ITU-T）/視頻編碼專家組（VCEG）和國際標(biāo)準(zhǔn)化組織-國際電工委員會（ISO-IEC）/動態(tài)圖像專家組（MPEG） 成立的聯(lián)合視頻研究組（JVET）將360 °全景視頻納入到未來視頻編碼標(biāo)準(zhǔn)范圍內(nèi)[8]。與傳統(tǒng)的高效視頻編碼器（HEVC）/H.265編碼標(biāo)準(zhǔn)[9]相比， 正在制訂的聯(lián)合視頻探測組（JVET）標(biāo)準(zhǔn)，將通過優(yōu)化投影變換避免過多的扭曲失真，作為一個重要的實驗測試和研究方向，從而避免過多的扭曲失真產(chǎn)生的回放質(zhì)量。目前使用最為廣泛的是球面投影（ERP）和立方圖投影（CMP）。

球面投影是把球型表面的內(nèi)容映射到平面的矩形圖中，如圖1所示，其對自然圖像有良好的兼容性，在轉(zhuǎn)換過程中不同維度區(qū)域有不同的延展程度，赤道區(qū)域的失真比兩級區(qū)域小很多，像素的數(shù)量在兩級被放大，運動方向扭曲，產(chǎn)生大量的時間和空間的冗余信息[10]。而立體投影通過外接立方體，將球體表面內(nèi)容投影到立方體表面。展開后按照一定的布局格式進(jìn)行布局，通常的布局方法有3×2布局和4×3布局，如圖2所示。不用的布局方案對編碼效率和內(nèi)存管理都有不同程度的影響。相比球面投影，立方體投影節(jié)省了25%的像素面積，對比特率有較大的提升，但存在像素密度減少照成的模糊問題[11]。文章中，我們針對全景視頻投影過程中產(chǎn)生畸變和運動扭曲，所帶來的編碼問題，提出了一種全新的運動補償算法。

在傳統(tǒng)的視頻編碼算法中，基于塊匹配的運動估計和運動補償?shù)玫綇V泛的應(yīng)用。其建立在相鄰時域幀內(nèi)的二維物體所做的都是平移運動，大小形狀不改變的基礎(chǔ)上，對動態(tài)幀之間的時域冗余有非常高壓縮效果。但是對于全景視頻，由于從三維球面坐標(biāo)投影到二維平面坐標(biāo)轉(zhuǎn)換的過程中，產(chǎn)生了一系列相機(jī)旋轉(zhuǎn)、縮放、錯切運動的形變，影響了運動的連貫性和一致性，從而降低了幀間預(yù)測的效率。

針對全景視頻出現(xiàn)的大量非平移運動，我們提出了一種全新的運動補償和預(yù)測的模式，用于提高360 °全景視頻的時域編碼效率。為避免幾何失真對運動預(yù)測帶來的影響，首先將當(dāng)前編碼塊的像素投影到三維球面坐標(biāo)，利用球面運動一致性的特點，在球面坐標(biāo)系中找相對應(yīng)的參考像素，并最終將三維球面坐標(biāo)投影回二維坐標(biāo)。更進(jìn)一步，我們提出了基于球面坐標(biāo)的運動向量預(yù)測方法，避免了投影變換帶來非平移運動的影響，視頻編碼框架如圖3所示。我們提出的一整套運動補償預(yù)測算法都在塊劃分的基礎(chǔ)上提出，可以作為HEVC編碼的附加模式，對360°全景視頻有著更高效的編碼壓縮性能。

2 基于三維球面投影的

運動補償算法

為了提升360°全景視頻的編碼壓縮性能，我們針對全景視頻中大量產(chǎn)生的非平移運動，進(jìn)行了深入的分析，其中絕大部分非平移運動，是由投影變換產(chǎn)生的畸變導(dǎo)致。針對這種情況，我們在HEVC編碼框架下提出了一種全新的運動補償模式；基于三維球面投影的運動補償（SphMC）。整體算法流程如圖3所示。本算法作為360°視頻的一種補充，同時存在于傳統(tǒng)的幀間預(yù)測的框架內(nèi)。HEVC編碼過程中，最優(yōu)的預(yù)測模式仍然是遍歷所有塊劃分和預(yù)測模式后，選擇最小率失真值的模式，作為最優(yōu)的編碼模式。其中SphMC模式的加入，提供了一種針對全景視頻的運動補償模式，對整體編碼性能有明顯的增益。

基于前面章節(jié)分析，紋理的不連續(xù)性會嚴(yán)重影響運動預(yù)測的性能，針對全景投影視頻的有效參考像素，需要從運動連續(xù)的三維球面坐標(biāo)系中推導(dǎo)而來。文中涉及到的投影變換都以立方體投影為例，SphMC模式的參考塊像素點的展示在圖4中。假設(shè)當(dāng)前編碼塊所在幀fi，該塊中心位置n 0移動到幀fj幀的n 2位置，基于三維球面的投影問題就簡化為：在參考幀中利用球面投影變換，尋找當(dāng)前編碼塊n 1的對應(yīng)參考點n 3。

為了在參考幀得到出對應(yīng)的點n3的位置，其在三維球面上的坐標(biāo)位置首先會被推到出來，然后再投影回立方圖。在這個投影關(guān)系中，立方圖和三維球面坐標(biāo)是一一對應(yīng)。s = P（n）代表了從立方圖平面 N 到三維全面 S的映射，反變換由n = P -1（s ） 表示。所以點n 0、 n 1和n 2的坐標(biāo)投影到三維球面分別為：s 0 = P （n 0）， s 1 = P （n 1）和s 2 = P （n 2）。在三維球面的表達(dá)中，絕大多數(shù)的像素點和運動具有一致性，所以s 3的可通過以下式（1）得到：endprint

s 3 = P （n 2） + P （n 1）-P （n 0） （1）

得到在三維球面坐標(biāo)點s 3后，其在立方圖坐標(biāo)系中的相對應(yīng)的二維坐標(biāo)n 3可以通過反投影n 3 = P -1（s 3 ）得到。其余參考點可以通過相似的方法推演得到。對于非整像素的位置，可通過雙線性差值得到。最后，基于三維球面投影得到的參考區(qū)域與編碼塊進(jìn)行運動補償?shù)挠嬎恪?/p>

3 基于三維球面投影的

運動向量預(yù)測算法

在HEVC幀間預(yù)測過程中，會針對空域和時域上已經(jīng)確定的運動向量，來預(yù)測當(dāng)前塊運動估計的初始向量方位，該過程通過相鄰預(yù)測單元（PU）的運動向量來進(jìn)行預(yù)測。但對于360°全景視頻，由于投影變換帶來的空間不連續(xù)，傳統(tǒng)的基于臨塊的運動預(yù)測已經(jīng)不太適用。本章中，我們提供了一種基于三維球面投影的預(yù)測向量，其針對不同PU的相對距離，如圖5所示。

針對360°全景視頻的幀間預(yù)測，假設(shè)n 4和n 5分別為分塊C和分塊B1的中心點，MV1為分塊B1的運動向量，而MV0代表了當(dāng)前編碼塊C的預(yù)測向量。類似于我們提出的運動補償方法，n 4和n 5都利用二維立體圖平面投影回三維球面坐標(biāo)，從而尋找正確的運動預(yù)測向量。我們可以得到以下關(guān)系：

P （n 2 + MV0） -P （n 4 ）=

P （n 5 + MV1） -P （n 5 ） （2）

所以，基于球面投影的預(yù)測向量MV0可以由此得到：

MV0 =P -1 （P （n 5 + MV1） +P （n 4 ）-

P （n 5 ）） -n 4 （3）

4 實驗結(jié)果

為了驗證所提算法的有效性，基于投影變換的運動補償算法已集成到了HEVC標(biāo)準(zhǔn)HM16.15[12]測試軟件中，通過對比HM16.15與該算法的性能，證明了改算法的有效性。基于HEVC常用測試條件[12]， 我們主要測試3種配置：randomaccess_main（RA_main）、lowdelay_main （LD_main）、lowdelay_P_main （LP_main）。所采用的QP分別是22、27、32、37，包括高比特率和低比特率的情況。 鑒于該算法的目標(biāo)在于更好地表征360°視頻立體圖投影中的無規(guī)則運動，我們選擇了一些相對于立方體4×3格式有更大運動的序列來表明該算法的優(yōu)勢。測試序列信息如表1所示。另外，由于這些序列都具有極高的空間分辨率，因此我們只測試了1 s所對應(yīng)的幀數(shù)來證明算法的有效性。

RA_main、LD_main、LP_main的實驗結(jié)果分別如表2、表3所示。從這些表格中，我們可以看到：通過該算法，在RA_main、LD_main兩種配置下，視頻Y通道分別可達(dá)到1.83%，1.21%，1.19%平均碼流差（BDBR）[13]的減少。鑒于編碼順序相鄰幀之間的平均距離要比LD_main和LP_main中的距離大一些，RA中的不規(guī)則運動會更加明顯。這就是為什么我們能實現(xiàn)更好的R-D性能。特別是對于具有較大運動的序列Glacier，算法可將RA_main 中Y通道的平均碼流差減少3.65%。因此，對于具有較大運動的序列，就可實現(xiàn)更顯著的平均碼流差的減少。

5 結(jié)束語

360°全景視頻與傳統(tǒng)的視頻存在著許多差別，傳統(tǒng)的HEVC編碼不能達(dá)到最理想的壓縮效果，我們分析了由于投影變換帶來的運動失真的問題，并相應(yīng)地提出了一種基于球面投影的運動補償和預(yù)測算法，其主要利用三維球面的運動具有較強(qiáng)的一致性，通過立方體二維坐標(biāo)與球面三維坐標(biāo)的相互轉(zhuǎn)換，尋找出新的參考像素和運動向量預(yù)測。經(jīng)過大規(guī)模的實驗，結(jié)果表明：該算法與傳統(tǒng)HEVC相比，最高提升3.65%BDBR的編碼性能。在后續(xù)的研究中，以下問題將會著重進(jìn)行考慮：提出針對360°全景視頻的運動估計算法，并且修改相應(yīng)的率失真準(zhǔn)側(cè)，以更好地適應(yīng)360°全景視頻的編碼需求。

參考文獻(xiàn)

[1] ROUTHIER P P. Virtually Perfect： Factors Affecting the Quality of a VR Experience and the Need for a VR Content Quality Standard [C]// Processing of SMPTE Annual Technical Conference and Exhibition. USA：IEEE， 2016： 1-20. DOI： 10.5594/M001733

[2] 張洋， 李慶忠， 臧風(fēng)妮. 一種多攝像機(jī)全景視頻圖像快速拼接算法[J]. 光電子. 激光， 2012， 23 （9）： 1821-1826

[3] NG K T， CHAN S C， SHUM H Y. Data Compression and Transmission Aspects of Panoramic Videos [J]. IEEE Transaction on Circuits and Systems for Video Technology， 2005， 15 （1）： 82-95. DOI： 10.1109/TCSVT.2004.839989

[4] 張洪彬， 伏長虹， 蘇衛(wèi)民， 等. 3D-HEVC 深度圖像幀內(nèi)編碼單元劃分快速算法[J]. 電子與信息學(xué)報， 2016， 38 （10）： 2523-2530

[5] DE LA， FUENTE Y S， SKUPIN R， et al. Video Processing for Panoramic Streaming Using HEVC and its Scalable Extensions [J]. Multimedia Tools and Applications， 2016： 1-29endprint

[6] ZHU Z G， XU G Y， EDWARD M R， et al. Fast Construction of Dynamic and Multi-Resolution 360° Panoramas from Video Sequences [J]. Image and Vision Computing， 2006， 24 （1）： 15-17

[7] ZHENG J L， SHEN Y F， ZHANG Y D， et al. Adaptive Selection of Motion Models for Panoramic Video Coding [C]// Process of IEEE International Conference on Multimedia and Expo.USA：IEEE， 2007： 1319-1320

[8] NORKIN A， YANG H， OHM J R， et al. Call for Test Materials for Future Video Coding Standardization [C]// Joint Video Exploration Team of ITU-T SG16 WP3 and ISO//IEC JTC1//SC29//WG11， ITU， 2016

[9] SULLIVAN G J， OHM J， WOO J H， et al. Overview of the High Efficiency Video Coding （HEVC） Standard [C]//IEEE Transaction on Circuits System Video Technology. USA：IEEE， 2012，（22） ：1649-1668

[10] LIN H， LIN J L， CHANG S K， et al. AHG8： An Alternative Arrangement for Cube Format （double-cross layout） [C]// Joint Video Exploration Team of ITU-T SG16 WP3 and ISO//IEC JTC1//SC29//WG11. ITU， 2016

[11] KUZYAKOV E， PIO D. Next-Generation Video Encoding Techniques for 360 Video and VR [EB/OL]. （2016-07-15）[2017-11-07].https：//code.facebook.com/posts/1126354007399553 /next-generation-video-encoding-techniques-for-360-video-and-vr/. 2016. 7. 15

[12] JCT-VC Subversion Respository for the HEVC Test Model Version HM16.15[EB/OL]. [2017-11-07]. https：//hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/HM-16.15

[13] BOSSEN F. Common HM Test Conditions and Software Reference Configurations， Document JCTVC-K1100[R]. China： Shanghai， 2012endprint