3D全景體育直播的HEVC編碼優(yōu)化

暴風(fēng)魔鏡是中國VR產(chǎn)業(yè)的先行者，公司成立于2015年1月，主要專注于移動的虛擬現(xiàn)實。2017年第二季度，產(chǎn)品銷售量是350萬臺，月活躍用戶達(dá)到200萬。公司本身是硬件、軟件和VR平臺一起開發(fā)，是綜合性的VR平臺。

全景體育直播的核心問題是清晰度和碼率，根據(jù)我們的經(jīng)驗，2兆碼率是普通家用WiFi的經(jīng)驗值上限，3兆碼率是CDN加速和P2P傳輸?shù)慕?jīng)驗值上限。對于180度的3DVR體育比賽，如果我們需要讓用戶看得很清楚，需要10兆以上的碼率。但是家用WiFi碼率做不到，如何突破3兆碼率的上限，如同把大象塞進(jìn)冰箱。

首先，對于VR全景圖像而言，其實有大量的天空和地面。為了提高效率，我們選擇使用Cube映射方式，對于180度包廂而言，相當(dāng)于把一個立方體切一半。但是對于體育比賽而言，絕大多數(shù)用戶關(guān)心的場景是在中心部分，用戶希望能看清運(yùn)動員，所以，我們還會進(jìn)一步選取中間圖像，按照32∶9的格式取出3840×1080像素的圖像。因為人有左眼和右眼，如果按左右格式拼接的話，橫向分辨率可以達(dá)到7680像素，這個對傳輸仍然很不利，拼完之后從水平方向壓縮一半，最后的傳輸圖像是3840像素，最后大約能降低30%的碼率。

在一個賽場上，很多時候大量的背景是觀眾，對用戶而言這不是最重要的東西，球才是大家關(guān)注的重點，還有防守的人也需要更高的碼率。所以，應(yīng)該分成觀眾、球場以及中心區(qū)域，三個區(qū)域用不同的碼率來對待。但是如果真的分成三個部分，整個開發(fā)難度比較大，所以可以簡化一點，只分成兩個部分，這樣子也可以達(dá)到我們期望的效果。

因此，第一個方案是把球場切出來，第二個方案是，先認(rèn)識籃球，再認(rèn)識籃筐，可能還得認(rèn)識防守和掩護(hù)的隊員，所以這得經(jīng)過物體識別和跟蹤的過程。第一個方案其實就夠用了，第二個則需要識別球場的內(nèi)容。如果我們只是把它分成兩個部分，有深度信息就夠了。所以根據(jù)上面的想法，做一些物體追蹤，獲取深度信息，再做一個分層壓縮，經(jīng)過這樣的處理以后，簡單分層的碼率可以把碼率再降低15%。

我們使用兩個面、超廣角的采樣，同時在水平方向降低一半的分辨率，左右圖像采用左右交錯排列，并且把場景做簡單的劃分，劃分成觀眾和主體，這樣一共大概可以使用2.5兆的碼率做現(xiàn)場直播。最終的方案就是，利用雙目視差的焦點附近的物體，進(jìn)行預(yù)處理，把它進(jìn)行分層。當(dāng)然實際上還會存在一些小的問題，比如說近距離的物體視角差會比較大，這時候雙目匹配會有點問題，而遠(yuǎn)距離的物體因為視差很小，小過物體本身尺寸，這時候不太容易區(qū)分，有時候會匹配錯誤。endprint