全景視頻雙環(huán)帶映射算法

林 暢，李國平，趙海武，王國中，顧 曉

(上海大學(xué) 通信與信息工程學(xué)院，上海 200444)(*通信作者電子郵箱zhaohaiwu@i.shu.edu.cn)

全景視頻雙環(huán)帶映射算法

林 暢，李國平，趙海武*，王國中，顧 曉

(上海大學(xué) 通信與信息工程學(xué)院，上海 200444)(*通信作者電子郵箱zhaohaiwu@i.shu.edu.cn)

針對全景視頻映射過程中局部區(qū)域變形過大、冗余數(shù)據(jù)量極高的問題，提出了一種雙環(huán)帶映射算法(DRP)。首先，根據(jù)球面視頻的幾何特點，結(jié)合人眼視度(HVS)這一視覺特性，用兩個相互正交的環(huán)形區(qū)域，將球面視頻分割成14個大小相近的區(qū)域；然后根據(jù)空域采樣定理，采用蘭索斯插值法，將這14個區(qū)域?qū)?yīng)的球面視頻內(nèi)容映射為14個大小相等的矩形視頻；最后，根據(jù)最新視頻編碼標準的特點，重新排列這14個矩形視頻，得到符合編碼器標準的緊湊的全景視頻。實驗結(jié)果表明，與經(jīng)緯圖映射算法(ERP)、八面體映射算法(OHP)、二十面體映射算法(ISP)相比，DRP算法在視頻壓縮性能方面有良好的表現(xiàn)；其中同最流行的ERP算法相比，碼率平均降低8.61%，明顯提升了視頻編碼效率。

視頻編碼；全景視頻；虛擬現(xiàn)實；圖像插值；球面映射；沉浸式視頻

0 引言

近年來，隨著信息技術(shù)與多媒體技術(shù)的迅速發(fā)展，全景視頻(Panoramic Video)的應(yīng)用場景越來越廣泛，逐漸成為信息技術(shù)領(lǐng)域最重要的熱點之一。同傳統(tǒng)的平面視頻相比，全景視頻往往具有更大的視頻數(shù)據(jù)量，這就給視頻的傳輸和存儲造成了極大的困難，已經(jīng)成為制約全景視頻實際應(yīng)用的瓶頸。因此，高效的全景視頻編碼技術(shù)是全景視頻應(yīng)用最重要的一環(huán)。

全景視頻，俗稱VR視頻，由于包含了一個場景所有方位的信息，因此也被稱為360度視頻或者沉浸式視頻[1]。在實際觀看中，用戶通過頭戴式顯示器或者其他智能顯示設(shè)備，根據(jù)觀看的視角，可以看到對應(yīng)的部分全景視頻內(nèi)容，而實際的視頻數(shù)據(jù)量要遠高于顯示的內(nèi)容。以常見的720p高清視頻為例，全景視頻如果要獲得相同的觀看清晰度，那么至少需要相當于6K平面視頻大小的數(shù)據(jù)量。另一方面，全景視頻由于包含了360全視角的視頻內(nèi)容，實際上是一個球面視頻，傳統(tǒng)的視頻編碼標準HEVC、AVS2并沒有對球面視頻進行處理的功能[2-3]；同時，球面的視頻內(nèi)容在計算機中難以存儲和顯示。因此，球面視頻需要被映射成平面視頻，以便于后續(xù)處理。

為了解決全景視頻編碼問題，中國數(shù)字音視頻編解碼技術(shù)標準工作組(Audio Video coding Standard, AVS)開始了對全景視頻編碼標準(AVSVR/IEEE1857.9)的制定，并在IEEE1857.9第一次會議上，發(fā)布了全景視頻編碼參考軟件VRM，作為全景視頻編碼的研究平臺。在VRM中為了解決球面視頻的編碼問題，集成了最常用的經(jīng)緯圖映射(EquiRectangular mapping Projection, ERP)算法和六面體映射(Cubic Mapping Projection, CMP)算法, 這兩種方法也是市面上頭戴式顯示器普遍支持的方法[4-6]。但這些方法由于冗余數(shù)據(jù)量大，變形程度高，并不能提供高效的視頻壓縮率。

基于對現(xiàn)有方法的分析，本文提出了一種新的球面視頻映射算法——雙環(huán)帶映射(Double Ring mapping Projection, DRP)算法。這種方法可以得到較小數(shù)據(jù)量的全景視頻，同時很好地維持像素間的原始相鄰關(guān)系，失真程度也不會太大。由于當今的視頻編碼標準如AVS2、HEVC等并不是為全景視頻設(shè)計，本文算法設(shè)計了對應(yīng)的編碼策略，以適應(yīng)現(xiàn)在的編碼框架。

1 現(xiàn)有的球面映射方法

VRM平臺采用了經(jīng)緯圖映射方法和六面體映射方法，這兩種方法也是工業(yè)上最常用的應(yīng)用。此外，一些新的映射方法如八面體映射(OctaHedral mapping Projection, OHP) 算法[7]、二十面體映射(IcoSahedral mapping Projection ,ISP)算法[8]等也被提出，這些方法也一定地提升了全景視頻的壓縮效率。

經(jīng)緯圖映射法由于操作簡單，是現(xiàn)在最流行的球面映射方法，大部分頭戴式顯示器都采用了這種映射方法。如圖1所示，經(jīng)緯圖映射法的基本思路是在所有的緯度上用同樣的采樣點數(shù)來保存一個球面視頻，從而將一個球面視頻映射成矩形視頻。但是，由于視頻的每個緯度都使用了同樣的采樣點數(shù)，越接近兩極，冗余點數(shù)就越多，對應(yīng)得到的矩形視頻內(nèi)容變形程度就越大。對于緯度θ的位置，變形程度將達到1/cos(θ)，這會帶來巨大的冗余數(shù)據(jù)。例如在極點位置，使用了和赤道同樣的采樣點數(shù)，但實際上只需要一個采樣點。另一方面，經(jīng)緯圖映射得到的球面視頻，越接近兩極，變形程度越大，而且這種變形是非線性的，不僅會帶來非常糟糕的觀看體驗，而且難以進行運動搜索，極大地降低后編碼效率。

圖1 經(jīng)緯圖映射方法示意圖

為了解決兩極的視頻變形問題，六面體映射法也被用于球面映射。六面體映射法用六個視點來映射球面視頻，每個視點對應(yīng)一個矩形面，其中四個對應(yīng)赤道區(qū)域，兩個對應(yīng)兩極區(qū)域，實際上就是把球面視頻映射到它的外切正六面體上。如圖2所示，映射得到的六個矩形面，有相同的變形程度，這就降低了兩極區(qū)域的變形。但是，在這種方法中，矩形面的中心部分和邊緣部分有不同的變形程度，中心部分較好地保存了球面數(shù)據(jù)，邊緣則不可避免地被放大?？紤]一個物體沿著球面水平移動，那么當它穿越矩形面的邊緣時，就會先變大再變小，這會造成反常的觀看體驗，也不利用后續(xù)編碼中的運動搜索。另一方面，六面體中有兩個視點是從極點位置觀察得到的，而在實際應(yīng)用中，用戶往往不會從極點位置觀看全景視頻，這就造成了視覺冗余。

圖2 六面體映射方法示意圖

綜上所述，這兩種應(yīng)用最廣泛的方法雖然操作簡單，但由于局部區(qū)域變形過于嚴重，導(dǎo)致全景視頻難以在視頻編碼器中進行運動估計；同時映射后的冗余數(shù)據(jù)量太大，從而難以取得良好的壓縮效率。另一方面，這些過于明顯的失真，將會極大地降低用戶對全景視頻的觀看體驗。

因此，當球面視頻被映射成平面視頻時，應(yīng)盡量避免視頻中的物體變形程度過高，這有利于實現(xiàn)視頻編碼中的運動估計；同時，映射得到的視頻數(shù)據(jù)量應(yīng)該盡可能小，減少數(shù)據(jù)冗余，可以節(jié)省視頻編碼得到的碼流。另一方面，球面視頻不同于平面視頻，它的像素往往具有更復(fù)雜的相鄰關(guān)系，因此球面映射方法應(yīng)盡量維持這些像素相鄰關(guān)系，這對于運動估計來說非常重要。

國內(nèi)外的相關(guān)研究機構(gòu)為了提高全景視頻的壓縮效率，提出了新的映射方法，在我國的AVSVR/IEEE1857.9標準中，相關(guān)機構(gòu)提出了OHP、ISP、polerect[9]以及本文的DRP算法。而在MPEG會議上，CMP[10]、OHP、ISP、SSP[11]等算法被廣泛討論。 OHP和ISP在AVSVR和MPEG中都被提到，并且ISP已經(jīng)在相關(guān)VR產(chǎn)品中被使用，它們是新興的較可靠的全景視頻映射算法。

類似于正六面體，正八面體和正二十面體也是阿基米德正多面體的其中一種形式。

OHP算法將球面視頻映射成8個正三角形，再進行重排得到一個平面視頻，用于編碼。圖3是OHP的模型示意，這種方法雖然進一步降低了映射后數(shù)據(jù)量，但存在和六面體映射法類似的問題，矩形面的中心部分和邊緣部分有不同的變形程度，中心部分較好地保存了球面數(shù)據(jù)，邊緣則不可避免地被放大，會造成反常的觀看體驗。

圖3 OHP映射模型

ISP算法將球面視頻映射成20個正三角形，再進行重排得到一個平面視頻，用于編碼。圖4是ISP的模型示意，這種方法是正多邊形映射中，冗余數(shù)據(jù)量最小的方法。但是，ISP映射得到的20個三角形，難以進行重新排列，這就丟失了像素間的相鄰關(guān)系，不便于視頻編碼器進行預(yù)測編碼。另一方面，現(xiàn)有的視頻編碼標準都是以矩形塊為基本運算單位，將球面視頻映射成三角形，不利于后續(xù)針對全景視頻的編碼優(yōu)化。

為了降低全景視頻的局部失真，以及更好地保持像素相關(guān)性，同時得到較小數(shù)據(jù)量的視頻以降低全景視頻碼率，本文提出了一種新的全景視頻映射算法。

圖4 ISP映射模型

2 本文算法

2.1 球面劃分

本文的算法思路是用兩個環(huán)帶，將球面分割成14個區(qū)域，對應(yīng)位于不同環(huán)帶的塊，用不同的方式進行映射。

由于用戶在觀看全景視頻時，更傾向于觀看北緯30°至南緯30°之間的內(nèi)容[12]，這部分將其稱為“水平環(huán)”，首先進行處理，其余部分則分別被稱為“頂部”和“底部”。另一方面，由于人的視角范圍有限，人眼的視角極限大約為垂直方向80°，水平方向160°，但只有在60°視角范圍內(nèi)，人眼才能看清楚物體[13]。因此，顯示設(shè)備上顯示的視頻內(nèi)容，只需要呈現(xiàn)60°視角范圍的內(nèi)容即可。例如，在美國的HDTV標準[14]中，最佳觀看視角定義為水平視角41°，垂直視角23°。所以，本文算法將“水平環(huán)”等分成六個部分，每個部分對應(yīng)60°的垂直方向視角，以及60°的水平方向視角。同時，為了降低兩級區(qū)域的形變程度，用垂直分割的方式處理“頂部”和“底部”。

具體地說，假設(shè)球面視頻位于一個空間直角坐標系中，如圖5所示，那么它的函數(shù)表達式如下:

x2+y2+z2=r2

(1)

式(1)中r為球面半徑，對于球面上的一點p(x,y,z)，緯度為俯仰角θ，經(jīng)度為方位角φ，那么就有關(guān)系式如下:

(2)

首先，得到北緯30°之間南緯30°的水平環(huán)，它的函數(shù)表達式如下:

(3)

整個水平環(huán)的面積可以這樣求得:

(4)

對于水平環(huán)中的每個緯度，使用同樣的采樣點，將其映射為一個矩形視頻，當采樣點數(shù)量與赤道周長一致時，此時的面積為2π2r2/3，采樣比為π/3≈1.047，可以近似地認為沒有失真。然后，將“水平環(huán)”均勻分為6個矩形區(qū)域，實際上就是把北緯30°和南緯30°之間的環(huán)形球面視頻映射成6個正方形視頻，依次記為“正左面”“正中面”“正右面”“反左面”“反中面”“反右面”。接下來處理“頂部”和“底部”，用另一個縱向環(huán)去垂直切割這兩個部分。該環(huán)的函數(shù)表達式如下：

(5)

處于縱向環(huán)和“頂部”之內(nèi)的部分球面視頻，用平面x=0將其均勻分為兩部分，映射為兩個相同大小的矩形面，這兩個矩形面的尺寸和“正中面”相同，記為“正上面”和“反上面”；同理，可以得到位于“底部”的“正下面”和“反下面”。最后，球面上剩余的四個部分，映射為四個相同大小的矩形面，依次記為“左上面”“右上面”“左下面”“反下面”，它們的尺寸也和“正中面”相同。如圖4所示，就得到了14個相同大小的矩形面。

圖5 球面坐標系示意圖

圖6 雙環(huán)帶映射方法示意圖

為了方便說明，每個添塊加了塊索引i,0≤i≤13，詳情見表1。圖7是雙環(huán)帶映射方法的模型示意。三視圖分別指球面模型的左視圖、正視圖、俯視圖。序號示意圖則在球面模型上標出各個面的索引，圖中展示球面模型正面和反面的情況。分割流程圖在俯視圖基礎(chǔ)上說明具體劃分方法，第一步表示將球面的低緯度區(qū)域分割成六個相等大小的區(qū)域，第二步表示垂直切割高緯度區(qū)域，第三步則將兩極區(qū)域等分。

表1 面索引與面的對應(yīng)關(guān)系

圖7 雙環(huán)帶模型示意圖

2.2 映射方法

本文算法要將球面視頻上分割的部分球面，映射成矩形的平面視頻，這個過程類似于空域圖像采樣，實際上就是要建立像素點在平面和球面上位置的對應(yīng)關(guān)系。對于平面視頻上的某個像素點p(x,y) ,計算它在球面上的對應(yīng)點po(φ,θ)。但是，由于實際上無法得到真實的球面視頻，而現(xiàn)有的全景視頻拍攝條件只能獲取經(jīng)緯圖格式的視頻。因此，需要為球面上的對應(yīng)點po(φ,θ)再計算經(jīng)緯圖視頻上的對應(yīng)點p′(x′,y′)，此點的坐標x′和y′有可能不是整數(shù)或者超過經(jīng)緯圖視頻的大小，無法直接與經(jīng)緯圖上的像素點對應(yīng)，所以要以某種插值方法獲取對應(yīng)的像素點。

本文算法采用了6抽頭蘭索斯插值法[15]來進行映射，這也是AVSVR和MPEG都采納的插值方法。蘭索斯插值法的重建核函數(shù)定義如下：

(6)

其中：a表示窗函數(shù)的大小，本文算法中a=3。如圖4所示，這14塊保持了較好的像素相鄰關(guān)系，但是由于它的形狀不是矩形，當今的編碼器無法正常處理這種形狀的視頻，所以需要進行適當?shù)恼{(diào)整以便于后續(xù)編碼處理。

2.3 編碼策略

本文算法映射得到的全景視頻，調(diào)整其中部分塊的位置，以實現(xiàn)重新排列。如圖8所示，將7號塊移動到3號塊正上方，9號塊移動到3號塊正下方，并將7號塊和9號塊旋轉(zhuǎn)180°。然后，將4號塊移動到11號塊和7號塊之間，對于13號塊和9號塊之間的空隙，則分別切割7號塊、3號塊和9號塊的1/3部分，組合成一個新塊。

圖8 雙環(huán)帶重排示意圖

3 實驗結(jié)果與分析

由于全景視頻編碼是一個嶄新的領(lǐng)域，目前沒有最權(quán)威的測試方案，本文采用AVSVR通測條件作為客觀質(zhì)量評價指標，再通過局部重建全景視頻比較各個方法的主觀質(zhì)量。

3.1 客觀質(zhì)量評價

本文的球面映射算法在VRM0.5上進行映射，在AVSVR參考編碼器RD16.1_with_vr_extension上進行編碼，根據(jù)AVSVR/IEEE1857.9通測條件[16]，將4K通測序列映射為0.562 5倍數(shù)據(jù)量的平面視頻，將8K通測序列映射為0.25倍數(shù)據(jù)量的平面視頻，再將映射后的平面視頻進行編碼，測試序列為AVSVR/IEEE1857.9通測序列。編碼性能用BD-rate來度量并用SPSNR代替PSNR，這更適合全景視頻質(zhì)量評價。BD-rate表示同樣的質(zhì)量下視頻碼率的相對大小，也就是改進后算法編碼比特率相對于原算法的增加量，如果BD-rate得到負值，就表示在相同的視頻質(zhì)量下碼率降低，得到了增益，因此，一個算法的BD-rate越低，壓縮效果就越好。圖9為該測量方法的示意圖。

SPSNR是應(yīng)用廣泛的全景視頻質(zhì)量評價方法，在AVSVR和MPEG中都被用到。在平面視頻質(zhì)量評價中，如式(7)所示，對待比較的兩個視頻求所有像素點的均方誤差，再計算PSNR。而在SPSNR中，由于全景視頻本質(zhì)是球面視頻，所以將全景視頻映射到球面區(qū)域的65萬個點，再對這65萬個點上的像素值求均方誤差,然后以此推出SPSNR，式(8)為該方法的表達式。

psnr=10×lg((2n-1)2/MSE)

(7)

spsnr=10×lg((2n-1)2/MSEsphere)

(8)

由于ERP是最常用的映射方法，因此將其作為anchor與本文算法進行比較，同時為進一步驗證本算法的有效性，選取了最新的OHP和ISP進行比較。表2為碼率增量(Bj?ntegaard Delta-rate, BD-rate)實驗數(shù)據(jù)。

圖9 全景視頻質(zhì)量評價流程

表2 各個全景視頻映射算法相對于基準算法ERP的碼率變化 %

從表2可知，與ERP相比，在相同視頻質(zhì)量下，OHP算法平均可以減少2.39%的碼率，ISP算法平均減少7.01%的碼率，而本文提出的DRP算法平均減少8.61%的碼率。對于個別序列，DRP最高能減少25.17%的碼率。同時，DRP在運動明顯的序列上有更好的壓縮效率，壓縮效率較差的序列普遍是相對靜止的序列，而實際的視頻應(yīng)用往往是運動較為明顯的場景，因此，DRP更加適合實際的全景視頻應(yīng)用。綜上所述，本文提出的DRP算法不僅明顯優(yōu)于最常用的ERP算法，也優(yōu)于最新的OHP算法和ISP算法。

3.2 主觀質(zhì)量評價

圖10是幾種方法局部區(qū)域的圖像，對比可以發(fā)現(xiàn)，本文方法的質(zhì)量更高，具有更好的主觀質(zhì)量，視覺效果更好。觀察圖中長者和話筒架可以看到，OHP具有明顯的失真，ISP也有一定的失真，而DRP的觀看效果較好。

4 結(jié)語

本文提出一種有效的全景視頻映射方法，編碼效率的提升主要是由于本方法可以得到數(shù)據(jù)量較低、形變程度小的平面視頻，并維持了較好的像素相鄰關(guān)系，而這對視頻編碼的運動搜索來說至關(guān)重要。在本文算法中，先用兩個相互正交的環(huán)形球面將球面視頻分割成14個部分，然后結(jié)合蘭索斯插值法將其映射成14個大小相同的矩形視頻，最后將這14個矩形視頻進行重新排列得到一個緊湊的全景視頻，并進行編碼。實驗數(shù)據(jù)和主觀視覺效果對比表明，同最常見的ERP算法相比，提出算法大大提高了編碼效率和視頻質(zhì)量，而且性能也優(yōu)于最新的OHP和ISP算法。

由于本文算法擁有高效的編碼性能，已被采納到AVSVR/IEEE1857.9標準[17]，下一步工作將結(jié)合映射后視頻的相關(guān)特征，優(yōu)化編碼器端對全景視頻的編碼流程，進一步提高編碼效率。

圖10 主觀視覺效果對比

References)

[1] HUANG K C, CHIEN P Y, CHIEN C A, et al. A 360-degree panoramic video system design [C]// Proceedings of the 2014 International Symposium on VLSI Design, Automation and Test. Piscataway, NJ: IEEE, 2014: 1-4.

[2] SULLIVAN G J, OHM J, HAN W J, et al. Overview of the High Efficiency Video Coding (HEVC) standard [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(12): 1649-1668.

[3] 黃鐵軍.AVS2 標準及未來展望[J].電視技術(shù),2014,38(22):7-10.(HUANG T J. AVS2 standard and future prospects [J]. Video Engineering, 2014, 38(22): 7-10.)

[4] NG K T, CHAN S C, SHUM H Y. Data compression and transmission aspects of panoramic videos [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2005, 15(1): 82-95.

[5] ALFACE P R, MACQ J F, VERZIJP N. Interactive omnidirectional video delivery: a bandwidth-effective approach [J]. Bell Labs Technical Journal, 2012, 16(4): 135-147.

[6] TZAVIDAS S, KATSAGGELOS A K. A multicamera setup for generating stereo panoramic video [J]. IEEE Transactions on Multimedia, 2005, 7(5): 880-890.

[7] LIN H C, HUANG C C, LI C Y, et al. AHG8: InterDigital’s projection format conversion tool [C]// Proceedings of the 4th Meeting Joint Video Exploration Team of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JVET-D0021. Chengdu: [s.n.], 2016: 7-8.

[8] SRI N A, ANUBHAV S, AMITH D, et al. AHG8: efficient frame packing for icosahedral projection [C]// Proceedings of the 5th Meeting Joint Video Exploration Team of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JVET-E0029. Geneva: [s.n.], 2017: 1-5.

[9] WANG Y M, WANG R G, WANG Z Y, et al. Projection CE: polerect projection [C]// Proceedings of the 6th Meeting IEEE 1857.9 Working Group, 1857.9-06-M1072. Haikou: [s.n.], 2016: 1-3.

[10] JILL B, ELENA A, ADEEL A, et al. JVET common test conditions and evaluation procedures for 360° video [C]// Proceedings of the 5th Meeting Joint Video Exploration Team of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JVET-E1030. Geneva: [s.n.], 2017: 1-4.

[11] ZHANG C, LU Y, WEN Z. AHG8: Segmented Sphere Projection (SSP) for 360-degree video content [C]// Proceedings of the 4th Meeting Joint Video Exploration Team of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JVET-D0030. Chengdu: [s.n.], 2016: 1-4.

[12] YU M, LAKSHMAN H, GIROD B. A framework to evaluate omnidirectional video coding schemes [C]// Proceedings of the 2015 IEEE International Symposium on Mixed and Augmented Reality. Washington, DC: IEEE Computer Society, 2015: 31-36.

[13] SAVINO P J, DANESH-MEYER H V. Color Atlas and Synopsis of Clinical Ophthalmology—Wills Eye Institute—Neuro-Ophthalmology [M]. Philadelphia, PA: Lippincott Williams & Wilkins, 2012: 45-51.

[14] CIANCI P J, FINN B S. High Definition Television: the Creation, Development and Implementation of HDTV Technology [M]. [S.l.]: McFarland, 2012: 56-58.

[15] TURKOWSKI K. Filters for common resampling tasks [M]// Graphics Gems. San Diego, CA: Academic Press Professional, 1990: 147-165.

[16] IEEE Standards Association. Develop Standards [EB/OL]. [2017- 01- 03]. http://standards.ieee.org/develop/wg/AVS_1857_WG.html.

[17] CHEN J, ZHANG J. Projection CE: summary report[C]// Proceedings of the 6th Meeting IEEE 1857.9 Working Group, 1857.9-06-M1072. Haikou: [s.n.], 2016: 1-6.

[18] 鐘力,胡曉峰.全景視頻的信息組織和實現(xiàn)方法[J].小型微型計算機系統(tǒng),1996,17(12):1-5.(ZHONG L, HU X F. Information organization and implementation of panoramic video [J]. Mini-Micro Systems, 1996, 17(12): 1-5.)

[19] 趙沁平.虛擬現(xiàn)實綜述[J].中國科學(xué)(F輯:信息科學(xué)),2009,39(1):2-46.(ZHAO Q P.Virtual reality review [J]. Chinese Science (F Series: Information Science, 2009, 39 (1): 2-46.)

[20] 黃心淵.虛擬現(xiàn)實技術(shù)與應(yīng)用[M].北京：科學(xué)出版社,1999:234-247.(HUANG X Y. Virtual Reality Technology and Application [M]. Beijing: Science Press, 1999: 234-247.)

Doubleringmappingprojectionforpanoramicvideo

LIN Chang, LI Guoping, ZHAO Haiwu*, WANG Guozhong, GU Xiao

(CollegeofCommunicationandInformationEngineering,ShanghaiUniversity,Shanghai200444,China)

To solve the problem that some area deforms too large and large volume of redundant data in the process of panoramic video mapping, a Double-Ring mapping Projection (DRP) algorithm was proposed. Firstly, according to the geometric characteristics of spherical video and the visual characteristics of Human Visual System (HVS), the spherical video was divided into 14 equal-sized regions by two mutually orthogonal ring areas regions. Then, according to the space domain sampling theorem, the 14 regions corresponding to the spherical video content were mapped to 14 rectangular videos with the same size by Lanczos interpolation method. Finally, according to the characteristics of the latest video coding standard, the 14 rectangular videos were rearranged to get a compact panoramic video in keeping with coding standards. The experimental results show that the DRP algorithm achieve a higher compression efficiency compared with the EquiRectangular mapping Projection (ERP) algorithm, OctaHedral mapping Projection (OHP) algorithm and IcoSahedral mapping Projection (ISP) algorithm. Specifically, compared with the most popular ERP algorithm, the proposed method reduces the bit rate by 8.61% which obviously improves the coding efficiency.

video coding; panoramic video; Virtual Reality (VR); image interpolation; spherical video mapping; immerse video

2017- 03- 27;

2017- 06- 12。

國家自然科學(xué)基金資助項目(61271212)；國家863計劃項目(2015AA015903)。

林暢(1993—)，男，浙江溫州人，碩士研究生，主要研究方向：視頻編解碼、全景視頻、視頻質(zhì)量評價； 李國平(1974—)，男，上海人，高級工程師，博士，主要研究方向:視頻編解碼、復(fù)用技術(shù); 趙海武(1973—)，男，河北滄州人，高級工程師，博士，主要研究方向:視頻編解碼、復(fù)用技術(shù); 王國中(1962—)，男，江蘇常州人，教授，博士，主要研究方向:視頻編解碼、多媒體通信; 顧曉(1994—)，男，上海人，碩士研究生，主要研究方向：視頻編解碼。

1001- 9081(2017)09- 2631- 05

10.11772/j.issn.1001- 9081.2017.09.2631

TN919.81

A

This work is partially supported by National Natural Science Foundation of China (61271212), the National High Technology Research and Development Program (863 Program) of China (2015AA015903).

LINChang, born in 1993, M. S. candidate. His research interests include video coding and decoding, panoramic video, video quality evaluation.

LIGuoping，born in 1974, Ph. D., senior engineer． His research interests include video coding and decoding, multiplexing technology.

ZHAOHaiwu， born in 1973, Ph. D., senior engineer． His research interests include video coding and decoding, multiplexing technology.

WANGGuozhong，born in 1962, Ph. D., professor． His research interests include video coding and decoding, multimedia communication.

GUXiao, born in 1994, M. S. candidate. His research interests include video coding and decoding.