網絡視聽音視頻高效編解碼技術研究與展望

郭曉強

進入數(shù)字時代后，音視頻編碼的重要性更加凸顯，針對不同應用場景的編解碼技術也在持續(xù)演進和發(fā)展。以下從音視頻技術發(fā)展趨勢、2D視頻編碼技術、三維沉浸式視頻編碼技術和三維聲編碼技術四個方面來探討音視頻編解碼技術發(fā)展和應用。

首先，回顧近年來音視頻技術的發(fā)展趨勢。從數(shù)據表示上，傳統(tǒng)的2D視頻主要是紋理信息，3D視頻增加了深度信息，而現(xiàn)在的沉浸式視頻則采用點云、特征等更加復雜的表現(xiàn)形式，能更加準確地描述視頻場景；空間分辨率上，視頻從高清到4K超高清再到現(xiàn)在的8K超高清，空間分辨率不斷提升，對應的清晰度也越來越高；時間分辨率上，也就是幀率，從高清的25幀每秒，到超高清的50幀每秒，未來也將朝著100幀每秒和120幀每秒演進，對于快速運動場景來說，幀率的提升會讓我們看到的畫面更加連續(xù)和流暢；視場角也在不斷擴大，比如全景視頻的視場角是180°或者360°，能夠覆蓋人眼的觀看范圍；自由度體現(xiàn)了視頻體驗的維度，早期的VR視頻以三自由度為主，現(xiàn)在也在不斷向六自由度發(fā)展，用戶可以隨意走動來觀看不同角度的內容。視頻技術發(fā)展的同時，與之相伴的音頻技術也在不斷迭代升級，從早期的單聲道、立體聲發(fā)展到環(huán)繞聲再到現(xiàn)在的三維聲，能讓觀眾獲得聲臨其境的體驗?？傮w來看，音視頻技術的發(fā)展可以帶來更高分辨率、更大視場角、更高自由度和更沉浸聲音，通過這些技術的融合演進，為用戶帶來更美好的視聽感受。

其次，從視頻的形態(tài)上，可以分為2D視頻和3D視頻。2D視頻在技術路線上比較明晰，從標清到高清再發(fā)展到4K/8K超高清。不同的視頻在分辨率、幀率、色域、量化精度、動態(tài)范圍等方面都有可能存在差異，因此對應的2D視頻格式有很多種。特別在網絡視聽領域，視頻可以通過手機、平板電腦多種終端進行觀看，對應的視頻格式和視頻編碼標準也多種多樣。國家廣播電視總局在2021年發(fā)布的行業(yè)標準《網絡視聽節(jié)目視頻格式命名及參數(shù)規(guī)范》中將網絡視聽節(jié)目視頻格式分為9種，并給出了每種視頻格式對應的視頻參數(shù)，保證在相同的視頻格式下視頻技術參數(shù)的一致性。

再次，來看3D視頻技術的發(fā)展，十多年前的3D電視頻道，當時主要采用了幀兼容的3D視頻，將左右眼兩路視頻下采樣后合成一路視頻，按照傳統(tǒng)的2D視頻方式編碼傳輸后在終端恢復出兩路視頻，通過佩戴3D眼鏡獲得立體效果。后續(xù)業(yè)界開始研究裸眼3D視頻，編碼傳輸2D視頻和深度圖等信息，終端在傳統(tǒng)顯示器基礎上增加透鏡薄膜，用戶無需佩戴眼鏡即可獲得立體效果。目前，隨著VR/AR等顯示技術的進一步發(fā)展，三維沉浸式視頻技術成為當前關注的熱點。為了推動三維沉浸式視頻技術的規(guī)范化發(fā)展，國際ITU、MPEG等標準組織都開展了相關標準的制定工作。ITU一開始采用“先進沉浸式音視頻”的說法，后來又改為“先進沉浸式感知媒體”，除了傳統(tǒng)的音視頻外，還包含圖片、觸覺等，相關的概念也在不斷的探討中。我們將這種能夠提供三維沉浸式效果的視頻統(tǒng)一稱為“三維沉浸式視頻”。

以下分享幾種三維沉浸式視頻技術的應用場景。谷歌的Starline遠程通話系統(tǒng)可以和遠方的家人朋友實現(xiàn)“面對面”的交流；NHK研發(fā)的AR系統(tǒng)能夠支持大屏和小屏同步互動；芒果的虛擬主持人“小漾”采用數(shù)字人的方式實現(xiàn)和現(xiàn)場觀眾的逼真互動；華為研發(fā)的自由視角系統(tǒng)則可以讓用戶觀看到同一物體的不同角度。上面幾種應用場景，呈現(xiàn)的就是三維沉浸式視頻，可以是360°全景視頻、多視角視頻或者容積視頻，這是目前視頻演進的方向。為了適配視頻系統(tǒng)的發(fā)展，聲音也在朝著三維聲、沉浸聲的方向發(fā)展。通過音視頻技術的同步演進，未來視聽體驗將更加沉浸化。

無論是2D視頻還是3D視頻，為了便于存儲、交換和傳輸，都需要編碼。關于2D視頻編碼標準發(fā)展路線圖，國際上主要是ITU和MPEG聯(lián)合制定的H.262、H.264、H.265、H.266系列標準，還有谷歌推出的AV1標準。國內主要是AVS系列標準，主要包括AVS+、AVS2和AVS3標準。整體來看，視頻編碼標準基本十年更新一代，每一代復雜度比上一代增加近10倍，編碼效率提高約1倍。這些視頻編碼標準都采用了基于混合塊劃分的混合編碼框架，隨著一代代標準的演進，圖像劃分從單一、固定劃分朝著多樣、靈活的劃分結構發(fā)展，幀內預測模式更多、預測方向更精細，幀間預測運動模型更準確、預測模式更豐富，再加上更加復雜的變換、濾波等技術，使得編碼效率越來越高。未來2D視頻編碼技術主要有兩大方向，一是對傳統(tǒng)編碼技術的進一步探索，通過復雜度的提升來換取編碼性能的提升；二是基于AI的神經網絡編碼，又可以細分為兩個方向，一個方向是研究基于神經網絡的編碼工具，獲得比傳統(tǒng)編碼工具更優(yōu)的編碼性能，另外一個方向則是探索基于AI的編碼框架，這個方向對于編碼領域是一個顛覆性的改變，難度也更大，相關的技術也在逐步探索中。

三維沉浸式視頻包含全景視頻、自由視點視頻、容積視頻等，對應的編碼方式也有很多種，比如全景視頻編碼、多視點編碼、紋理+深度編碼、點云編碼、網格編碼等。在終端，可以渲染為2D視頻在大屏上觀看，也可以根據頭部運動，渲染出不同的畫面通過佩戴頭顯設備觀看，還能利用手機、平板電腦通過手指滑動觀看不同視角的視頻。目前我們也正在探索適合“未來電視”發(fā)展的三維沉浸式視頻技術路線。在VR視頻編碼方面，我們研制了基于FOV的全景視頻編碼，這是全景視頻的低分辨率圖像和觀看視角對應的高分辨部分圖像。這樣做的好處是，能夠在低時延情況下，隨著頭部的轉動，從低分辨率圖像過渡到高分辨率圖像，顯著節(jié)省帶寬。此外，多視點編碼、點云編碼等在業(yè)內三維沉浸編碼領域也有應用。

最后，再看看音頻編碼的最新發(fā)展情況。國家廣播電視總局發(fā)布了《三維聲編解碼及渲染》行業(yè)標準，可以支持多音箱場景或者耳機場景。對于網絡視聽應用，可以在手機或平板電腦上的軟件進行更新后，利用耳機即可體驗到三維聲的效果。而對于家庭多音箱場景，需要更換機頂盒，相對來說比較復雜。三維聲編解碼和渲染的框架，支持聲道編碼、對象編碼、HOA編碼和元數(shù)據編碼。標準最大的創(chuàng)新在于首次采用了基于AI的音頻編碼技術，在MDCT之后引入基于神經網絡的變換和熵編碼模塊，顯著提升了編碼性能。

綜上所述，隨著音視頻應用場景的創(chuàng)新發(fā)展，對應的音視頻編碼技術也在不斷演進，目標是在保證編碼質量的前提下，不斷提升編碼效率，節(jié)省傳輸帶寬和存儲空間。我們很期待，隨著和人工智能技術的不斷結合，在不久的未來，音視頻編碼能有更大的突破。W