基于技術(shù)角度的全景視頻關(guān)鍵技術(shù)分析

張燦

摘要：在VR技術(shù)日益興起下，全景視頻受到了人們密切關(guān)注，并以一種新的方式出現(xiàn)在人們視野中。文章分析了基于技術(shù)角度的全景視頻關(guān)鍵技術(shù)，希望可以為相關(guān)行業(yè)帶來一定借鑒作用。

關(guān)鍵詞：全景視頻；技術(shù)角度；關(guān)鍵技術(shù)

全景視頻由很多鏡頭360。環(huán)繞拍攝物體，支持多角度、多層面播放。用戶可對(duì)觀看視頻的方向控制。觀看全景視頻的用戶并不是以被動(dòng)方式來觀看內(nèi)容，而是成了主體，積極、主動(dòng)地探索觀看內(nèi)容。采集和制作全景視頻利用的是拼接圖像技術(shù)，是由很多角度來對(duì)重疊子圖像進(jìn)行拍攝[1]。因此，本文首先分析了全景拍攝對(duì)于VR內(nèi)容采集的重要性，然后研究了用戶沉浸體驗(yàn)中顯示技術(shù)提高的必要性，最后淺談了VR視頻流暢中傳輸編碼問題，以期可以提高我國全景視頻制作技術(shù)，進(jìn)而提高我國社會(huì)經(jīng)濟(jì)水平。

1 采集VR內(nèi)容需要以全景拍攝為主

全景拍攝技術(shù)與3D圖形制作進(jìn)行對(duì)比后發(fā)現(xiàn)，全景拍攝技術(shù)能夠?yàn)閂R視頻提供豐富的內(nèi)容。而且其技術(shù)在提供內(nèi)容過程中，具有操作便捷、內(nèi)容采集快速等優(yōu)點(diǎn)。在進(jìn)行采集VR內(nèi)容時(shí)，全景攝像機(jī)在整個(gè)采集過程中是一個(gè)非常關(guān)鍵的設(shè)備。從目前市面上較為主流的全景攝像機(jī)來進(jìn)行分析，具有非常多類型的可選性。例如：業(yè)余便攜設(shè)備、多運(yùn)動(dòng)攝像頭組裝而成的全景拍攝機(jī)。無論哪一種設(shè)備，都具備著畫質(zhì)清晰的優(yōu)點(diǎn)。隨著人們對(duì)VR內(nèi)容采集要求越來越高，人們開始追求感官上的立體觀。因此，在行業(yè)中出現(xiàn)360。3D全景攝像機(jī)。比如：Jump系列、Nokia也研發(fā)出了同類的產(chǎn)品。為了得到更加高清的畫質(zhì)，有的發(fā)燒友通過將多個(gè)專業(yè)級(jí)別的電影攝像機(jī)（Red dragon）進(jìn)行了組合，然后讓其成了能夠進(jìn)行全景攝像的專業(yè)級(jí)別設(shè)備。在進(jìn)行內(nèi)容采集過程中，相關(guān)專業(yè)人員還在全景攝像機(jī)中配備了4耳全景聲采設(shè)備。

從當(dāng)前全景攝像機(jī)的發(fā)展來進(jìn)行分析，雖然已經(jīng)取得了非常大的成果，但在其設(shè)備使用過程中，依然存在諸多問題。（l）相機(jī)分辨率中的問題。因?yàn)橛脩粲^看以前2D畫面只是相當(dāng)于全景畫面的1/9，在觀看VR內(nèi)容時(shí)，想要觀看到更清晰的效果，需要全景攝像機(jī)分辨率達(dá)到4K及以上分辨率。全景相機(jī)拍攝內(nèi)容，主要是以固定式焦距為主，在這樣的使用過程中，固定機(jī)位所拍攝的距離無法將其畫面進(jìn)行放大，從而需要超高分辨率才能讓其拍攝內(nèi)容更加清晰。而當(dāng)前的顯示屏、壓縮以及存儲(chǔ)等技術(shù)都很難達(dá)到這一要求。（2）I/O問題。全景相機(jī)需要對(duì)多個(gè)鏡頭的焦距以及快門同步控制，確保畫面融合的一致性。如：Jump系列的全景相機(jī)在進(jìn)行拍攝過程中，需要通過16張存儲(chǔ)卡來實(shí)現(xiàn)視頻記錄。要完成其設(shè)備所拍攝內(nèi)容的復(fù)制，需要花費(fèi)相當(dāng)長的時(shí)間。這樣會(huì)對(duì)其全景視頻的發(fā)布形成一定的影響。此外，當(dāng)前互聯(lián)網(wǎng)視頻網(wǎng)站在進(jìn)行內(nèi)容發(fā)布過程的要求也相對(duì)較高，需要為其視頻發(fā)布提供10接口。最為常見的就是利用SSD硬盤來進(jìn)行多個(gè)數(shù)據(jù)信息的拷貝。在光纖、SDI以及HDMI等高速接口傳入到視頻切換臺(tái)設(shè)備中直接錄播處理。（3）對(duì)于全景攝像機(jī)而言，體積都是特別龐大的，在拼接壓縮中會(huì)耗費(fèi)很長時(shí)間。其視頻需要操作人員對(duì)其采集內(nèi)容進(jìn)行拼接與編碼計(jì)算，然后才能夠?qū)崿F(xiàn)集成到小型全景相機(jī)中，并對(duì)所編譯完成后的全景視頻進(jìn)行輸出，然后對(duì)其視頻進(jìn)行普通視頻處理，方便后續(xù)的視頻編輯處理。（4）全景攝像機(jī)進(jìn)行VR直播過程中，必須要保證其拍攝過程具有穩(wěn)定性，而且要確保其拍攝過程幀速達(dá)到25幀/秒。整個(gè)過程是一個(gè)非常漫長的過程，而且對(duì)其數(shù)據(jù)傳輸以及視頻處理等方面都有著非常高的要求[2]。

2 VR視頻質(zhì)量是拼接編輯的重點(diǎn)

在利用全景攝像機(jī)多角度拍攝視頻之后，應(yīng)及時(shí)拼接以及校正，將很多個(gè)攝像機(jī)視頻合成完整的視頻，進(jìn)而提供給廣大用戶。拼接及時(shí)需要對(duì)拼縫以及光照融合的問題，這就要求提供給用戶視頻內(nèi)容質(zhì)量較高。在拼接全景視頻后，還需要進(jìn)行調(diào)色、拼縫修復(fù)、字幕等后期制作。如在《撕人訂制》這一綜藝節(jié)目中，就需要在全景視頻中加入動(dòng)畫特效以及對(duì)白字幕，替換擦除攝像機(jī)中的黑洞。在《中網(wǎng)網(wǎng)球賽》全景直播中，則在全景直播系統(tǒng)中疊加比分牌。通過調(diào)查發(fā)現(xiàn)，行業(yè)中有很多應(yīng)用性較強(qiáng)的全景拼接軟件，如Nuke，auto Pano等。其中Nuke具備很多功能，如生成三維點(diǎn)云、估計(jì)相機(jī)位置、修復(fù)拼接等。同時(shí)還有很多用在拼接全景、渲染的開源SDK中。如谷歌中的Oculus VR SDK，CardboardVR SDK等。谷歌中的Jump全景相繼可以拍攝出更為立體化的全景，在排水中使用了8個(gè)左眼的攝像頭、8個(gè)右眼的攝像頭，可在使用Nuke軟件生成左眼和右眼對(duì)應(yīng)的全景圖，進(jìn)而得到視頻不但有全景，而且立體感還很強(qiáng)，讓用戶有三維虛擬現(xiàn)實(shí)的體驗(yàn)。全景拼接編輯在使用圖像處理技術(shù)后，其視頻內(nèi)容更加高質(zhì)量，而想要實(shí)現(xiàn)這些，都需要便捷和強(qiáng)大的軟件算法。

3 VR視頻的流暢需要解決好傳輸編碼的問題

在完成制作VR視頻內(nèi)容后，需利用媒體平臺(tái)的網(wǎng)絡(luò)發(fā)給廣大用戶，而當(dāng)前全景視頻技術(shù)面臨最大的挑戰(zhàn)就是網(wǎng)絡(luò)傳輸與壓縮碼率。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，在網(wǎng)絡(luò)中的1 080 P視頻資源播放相對(duì)較為流暢。但如果要對(duì)2 K/4 K全景視頻進(jìn)行播放時(shí)，必須要其網(wǎng)絡(luò)速率達(dá)到4M左右，否則在觀看全景視頻時(shí)，會(huì)出現(xiàn)經(jīng)常性卡頓的問題，對(duì)于視頻欣賞體驗(yàn)有著非常大的影響。在對(duì)全景視頻進(jìn)行壓縮編譯過程中，通常情況下會(huì)使用rectangular球面全景圖格式作為常規(guī)格式。在進(jìn)行3D 360。全景圖片處理時(shí)，通過是將左、右眼全景圖片進(jìn)行上下拼接，確保其長度與寬度比為1：1；對(duì)于3D180。全景圖片，主要是利用左、右眼全景圖進(jìn)行左右拼接，確保其長度與寬度比為2：1。在南北極區(qū)域中，球面全景圖有很多冗余像素情況，前些年，F(xiàn)acebook實(shí)現(xiàn)了全景多棱模型的構(gòu)建，但在實(shí)際測(cè)試與應(yīng)用過程中發(fā)現(xiàn)，其分辨率可以將用戶不關(guān)注的畫圖進(jìn)行分辨率降低處理。但當(dāng)用戶轉(zhuǎn)換觀看模式時(shí)，如何實(shí)現(xiàn)將低分辨率視角轉(zhuǎn)換成為高分辨率視角，成了目前的一個(gè)技術(shù)難題。我國與其他國家很多企業(yè)也在對(duì)H.265壓縮技術(shù)進(jìn)行研究，這一技術(shù)可以對(duì)超高清視頻中的碼率有效降低，但H.265軟件進(jìn)行編解碼中會(huì)浪費(fèi)很長時(shí)間，客戶端解碼硬件水平還需要提高。另外，網(wǎng)絡(luò)傳輸通過光纖到戶，很多先進(jìn)技術(shù)的應(yīng)用，都會(huì)顯著強(qiáng)化網(wǎng)絡(luò)傳輸全景視頻數(shù)據(jù)的流暢性、安全性。但從技術(shù)角度上來分析全景視頻重點(diǎn)技術(shù)，其在視頻制作中還有很多問題，這些問題的解決并不是一件簡(jiǎn)單的事情，需要很多相關(guān)工作人員積極研究，并記錄好解決這些問題的方式，切實(shí)提高全景視頻制作技術(shù)，從更大程度上提高全景視頻制作技術(shù)，進(jìn)而為用戶提供更加高清、穩(wěn)定的視覺盛宴[3]。

4 顯示技術(shù)影響用戶的沉浸體驗(yàn)

全景視頻需要安全的、較為真實(shí)的顯示技術(shù)呈現(xiàn)給廣大用戶，有很多顯示方式，如：真三維顯示、3D立體眼鏡以及頭盔顯示器等方式。在VR中，頭盔顯示器是一種很典型的設(shè)備。HMD顯示技術(shù)通常是對(duì)無眩暈、沉浸感等問題進(jìn)行解決，這與分辨率、聲音以及視場(chǎng)角等因素有著很大關(guān)系。如2015年暴風(fēng)魔鏡所研發(fā)的產(chǎn)品，其產(chǎn)品在進(jìn)行視頻觀看時(shí)的視場(chǎng)角只能控制在60。左右，而且其產(chǎn)品外觀與普通望遠(yuǎn)鏡有一定的相，對(duì)于所觀看畫面有一定的區(qū)域限制。在觀看時(shí)周邊畫面則顯示為黑色，在一定程度上對(duì)沉浸感形成非常大的影響。據(jù)相關(guān)數(shù)據(jù)信息顯示，人體眼睛可以完成120視場(chǎng)角，這也讓VR研發(fā)團(tuán)隊(duì)開始著力于頭盔式設(shè)備的研發(fā)，雖然已經(jīng)通過實(shí)現(xiàn)110。視場(chǎng)角范圍，但在進(jìn)行使用過程中會(huì)出現(xiàn)非常明顯的眩暈感，其主要原因有以下幾個(gè)方面：（1）刷新率。當(dāng)人們關(guān)觀看視頻內(nèi)容時(shí)，一旦進(jìn)行快速轉(zhuǎn)頭動(dòng)作，渲染設(shè)備刷新速度無法與視角速度進(jìn)行匹配，從而導(dǎo)致在使用過程中出現(xiàn)非常明顯的遲滯感。要解決這個(gè)問題，需要其渲染設(shè)備刷新速度達(dá)到90 Hz以上。從目前市場(chǎng)中所出現(xiàn)的高端VR頭盔來進(jìn)行分析，ony PSVR頭盔的渲染速度已經(jīng)達(dá)到了110 Hz以上，在進(jìn)行轉(zhuǎn)頭動(dòng)作后，所看到的虛擬背景處于是靜止?fàn)顟B(tài)，會(huì)產(chǎn)生一種非常逼真的視覺效果。（2）全景聲。當(dāng)前市場(chǎng)中較為出色的全景聲技術(shù)產(chǎn)品以Dolbyatmos為最佳選擇。要實(shí)現(xiàn)HMD全景聲，可以采用HRTF技術(shù)來進(jìn)行聲音方向處理，可以實(shí)現(xiàn)虛擬景物與其聲音的融合。（3）戴上HMD頭盔后應(yīng)對(duì)用戶個(gè)體進(jìn)行適配，這就好像我們換了一幅新眼鏡，應(yīng)對(duì)鏡片中的色散、瞳距以及畸變等參數(shù)加以調(diào)整。

5結(jié)語

總而言之，在VR技術(shù)越發(fā)完善下，其為我們?nèi)粘Ｉ詈凸ぷ鲙砹撕芏鄻啡?，但不能盲目樂觀，VR技術(shù)還需要很大的發(fā)展空間。為了能夠讓VR技術(shù)得到更大的發(fā)展，需要研發(fā)出更加輕便的VR顯示設(shè)備。讓使用者能夠在使用過程中，感受到其設(shè)備的舒適性。此外，為了能夠讓使用者更加流暢地觀看VR視頻，需要從網(wǎng)絡(luò)建設(shè)方面入手，通過提高帶寬的方式來實(shí)現(xiàn)最佳的視覺體驗(yàn)。對(duì)于手勢(shì)交互方面的研發(fā)，應(yīng)該從感知系統(tǒng)方面進(jìn)行切入。要結(jié)合力學(xué)反饋、聽覺、視覺以及身體姿態(tài)等多個(gè)方面的因素來進(jìn)行考量。同時(shí)，在進(jìn)行VR視頻內(nèi)容發(fā)布時(shí)，應(yīng)該以多樣化的形式來豐富其視頻內(nèi)容，而不只是簡(jiǎn)單地局限于視頻與游戲中的應(yīng)用。

[參考文獻(xiàn)]

[1]朱云芳，葉秀清，顧偉康.視頻序列的全景圖拼接技術(shù)[J].中國圖象圖形學(xué)報(bào)，2011（8）：1150-1155.

[2]封靖波，蘇志勛，劉秀平.一種基于相似曲線的全景圖自動(dòng)拼接算法[J]計(jì)算機(jī)學(xué)報(bào)，2003 （11）：1604-1608

[3]康彥肖，龐超實(shí)時(shí)視頻圖像拼接在視頻中的應(yīng)用[J].信號(hào)與信息處理，2008 （38）：26-28