基于碼流融合技術(shù)的全景視頻自適應(yīng)傳輸算法①

于 娟

(仰恩大學(xué)工程技術(shù)學(xué)院,福建 泉州 362014)

0 引 言

全景視頻屬于新興的一種視頻類型，隨著科技的不斷進(jìn)步，全景視頻在逐漸被人們所認(rèn)識(shí)[1-2]。全景視頻能夠讓用戶完全沉浸其中，具有獨(dú)特的舒適性享受體驗(yàn)，在未來(lái)視頻的服務(wù)中占據(jù)著重要的地位[3]。但是全景視頻的傳輸要求非常高，在實(shí)際應(yīng)用中也存在一定的困難。如今，基于碼流融合技術(shù)的全景視頻自適應(yīng)傳輸技術(shù)的研究已成為視頻研究工作主要的方向。該技術(shù)將全景視頻劃分成了若干個(gè)Tile，并通過(guò)當(dāng)前視域來(lái)傳輸數(shù)據(jù)，從而改進(jìn)了數(shù)據(jù)傳輸過(guò)程中的諸多問(wèn)題[4]。然而設(shè)備往往會(huì)受到許多限制，如用戶無(wú)法在同一時(shí)刻對(duì)多個(gè)Tile碼流進(jìn)行解碼，這給當(dāng)前的研究工作帶來(lái)較大的挑戰(zhàn)。因此班次研究旨在探討全景視頻自適應(yīng)傳輸技術(shù)研究。

1 基于碼流融合的全景視頻自適應(yīng)傳輸技術(shù)

1.1 Tile自適應(yīng)傳輸系統(tǒng)

全景視頻的傳輸要求非常高，其超高碼率和分辨率使得人們?cè)趹?yīng)該全景視頻時(shí)，會(huì)遇到諸多不可控因素造成的影響，而應(yīng)用交互式傳輸系統(tǒng)是傳輸ROI視頻的有效工具，該系統(tǒng)對(duì)硬件以及網(wǎng)絡(luò)寬帶的要求也偏低[5]。該傳輸方式在數(shù)據(jù)傳輸?shù)倪^(guò)程中，其并不是對(duì)完整視頻的傳輸，而只是傳輸了部分視頻[6]。用戶在客戶端會(huì)對(duì)自己想看的內(nèi)容接收一組對(duì)應(yīng)的Tile，實(shí)現(xiàn)與系統(tǒng)的實(shí)時(shí)交互。在服務(wù)器端，為了能滿足應(yīng)用需求，視頻圖像會(huì)被編碼器將分割為不同的Tile，并應(yīng)用MPEG-DASH的自適應(yīng)傳輸技術(shù)，將實(shí)時(shí)動(dòng)態(tài)ROI分配給Tile流對(duì)應(yīng)的用戶，防止由于碼率過(guò)高引起的重新緩沖或卡頓問(wèn)題，使用戶體驗(yàn)得到提升。此外，還可以由MPEG-DASH的SRD功能對(duì)各個(gè)Tile在視頻中的坐標(biāo)進(jìn)行描述，從而達(dá)到Tile索引的效果，識(shí)別不同位置的信息，進(jìn)而使用戶在不同網(wǎng)絡(luò)、客服端條件下能夠有較好的視頻觀看體驗(yàn)。研究設(shè)計(jì)了一種基于碼流融合技術(shù)的全景視頻傳輸系統(tǒng)，如圖1所示。

基于Tile的全景視頻傳輸系統(tǒng)主要由兩部分組成，分別為客戶端與服務(wù)器。服務(wù)器應(yīng)用了ERP技術(shù)來(lái)映射全景視頻源，并由編碼器將視頻進(jìn)行Tile劃分，再分別進(jìn)行編碼，生成各類碼流，這些高質(zhì)量碼流可以叫做增強(qiáng)層(EL)?？蛻舳藭?huì)自動(dòng)對(duì)網(wǎng)絡(luò)狀況進(jìn)行判斷，并進(jìn)一步自適應(yīng)地選擇播放或者下載網(wǎng)絡(luò)能夠承受最大比特率。在網(wǎng)絡(luò)狀況較差時(shí)，為了能使用戶能夠及時(shí)看到視頻圖像，服務(wù)器會(huì)給用戶傳輸一個(gè)低碼率的視頻版本，這種版本叫做基礎(chǔ)層(BL)。對(duì)于系統(tǒng)的預(yù)下載方式，主要采用了帶寬和ROI兩種方式，根據(jù)用戶視頻觀看的歷史軌跡對(duì)用戶未來(lái)的ROI進(jìn)行預(yù)測(cè)，通過(guò)下載吞吐量進(jìn)行帶寬的估量。同時(shí)，客戶端的下載過(guò)程會(huì)先在服務(wù)器進(jìn)行MPD的下載，并將MPD發(fā)送給服務(wù)器，以請(qǐng)求下載基礎(chǔ)層和增強(qiáng)層。最后根據(jù)用戶需求來(lái)下載適合的內(nèi)容。

1.2 基于碼流融合的自適應(yīng)傳輸算法研究

為了使編碼運(yùn)行能力得到增強(qiáng)，將Tile引入H.265/HEVC中，其內(nèi)部為Z編碼方式排序，并相互依賴。所以在H.265/HEVC中需要對(duì)某個(gè)Tile圖像進(jìn)行解碼時(shí)，則需要對(duì)整個(gè)圖像進(jìn)行解碼。MCTS對(duì)視頻的Tile進(jìn)行整體上的劃分，并限制Tile的編碼過(guò)程和編碼條件，以去除相鄰Tile間的相互依賴性，能夠進(jìn)行獨(dú)立解碼。MCTS技術(shù)主要在H.265/HEVC中幀間預(yù)測(cè)模塊中實(shí)現(xiàn)，對(duì)幀間預(yù)測(cè)運(yùn)動(dòng)范圍進(jìn)行限制。其中，主要的模塊包括了環(huán)路濾波邊界限制、運(yùn)動(dòng)估計(jì)限制和MV限制。

幀間預(yù)測(cè)模塊的有運(yùn)動(dòng)估計(jì)和MV預(yù)測(cè)構(gòu)成，高級(jí)運(yùn)動(dòng)矢量技術(shù)(AMVP)術(shù)和運(yùn)動(dòng)合并技術(shù)(Merge)共同構(gòu)成了MV預(yù)測(cè)方法。其中，Merge運(yùn)動(dòng)合并技術(shù)主要通過(guò)時(shí)空域中相鄰已編碼PU中創(chuàng)建候選列表，通過(guò)率失真代價(jià)計(jì)算并篩選出符合要求的最優(yōu)MV。高級(jí)運(yùn)動(dòng)矢量技術(shù)方式與運(yùn)動(dòng)合并技術(shù)相似，但列表長(zhǎng)度取2。在實(shí)際的應(yīng)用中，編碼運(yùn)動(dòng)估計(jì)精度大多數(shù)都在亞像素級(jí)別以上，在限制預(yù)測(cè)MV時(shí)，要更多的去考慮可能遇到的情況。

設(shè)PU的高為pu_height，寬為pu_width，坐標(biāo)為(x,y)；Slice的邊界表示為slice_lift，slice_right，slice_top，slice_bottom；MV的范圍為(mv_x,mv_y)。在本研究中，設(shè)定MV邊界為1/4像素，有：

(1)

NTAPS為亞像素濾波器抽頭系數(shù)的數(shù)量，可由MV預(yù)測(cè)結(jié)果得出各情況下的限制范圍，如式(2)所示。

(2)

通過(guò)Merge得到MV是在未進(jìn)行搜索的狀態(tài)下編碼的，所以由MV大小計(jì)算出對(duì)應(yīng)的NTAPS，再應(yīng)用NATPS確定各向邊界。若MV越界，記為false。AMVP的運(yùn)動(dòng)搜索起點(diǎn)為獲取的預(yù)測(cè)MV，若MV未滿足MCTS的要求，則需要進(jìn)行對(duì)其進(jìn)行修正，如式(3)、式(4)所示。

mv_x=

(3)

mv_y=

(4)

對(duì)于Slice/Tile的最右側(cè)的PU，PU用到相鄰Slice預(yù)測(cè)信息的概率較大，就會(huì)導(dǎo)致Slice無(wú)法獨(dú)立完成解碼。若對(duì)Slice進(jìn)行編碼時(shí)，可對(duì)相鄰編碼圖像中同為PU進(jìn)行參考，然后如果采用MCTS進(jìn)行獨(dú)立解碼時(shí)，可能會(huì)造成解碼器和編碼器的不一致而報(bào)錯(cuò)。相鄰Slice邊界的MV預(yù)測(cè)。

應(yīng)用標(biāo)準(zhǔn)解碼器時(shí)，不能在AMVP與Merge進(jìn)行時(shí)間更改。提出在AMVP與Merge中，采用限制方式避免Slice中的最右側(cè)時(shí)域候選MV成為最優(yōu)候選MV。為了使系統(tǒng)能夠降低對(duì)客戶端的硬件要求，并可以支持具有獨(dú)立硬件的解碼器，能夠提升系統(tǒng)的能力，實(shí)現(xiàn)在解碼之前進(jìn)行碼流融合，并進(jìn)行獨(dú)立解碼。視頻流傳輸系統(tǒng)的框架如圖2所示。

碼流融合方式還可以拼湊各種分辨率的碼流，但需要選中子圖像碼流需要由視頻、序列、圖像參數(shù)集和視頻內(nèi)容信息、附加增強(qiáng)信息構(gòu)成，全部視頻均被壓縮為單個(gè)的網(wǎng)絡(luò)適配單元(NALU)，載荷和頭為NALU的組成部分。完整圖像碼流組成方式如圖3所示。

在進(jìn)行碼流融合時(shí)，子圖像的每一幀都被只含有1個(gè)SS，被看作是單個(gè)的Slice/Tile，通常單個(gè)圖像碼流中PPS,SPS,VPS可以由多個(gè)SS公用。進(jìn)行子圖像碼流融合前，要對(duì)相應(yīng)的自圖形頭信息進(jìn)行更新，并對(duì)初始化原始數(shù)據(jù)進(jìn)行重新生成；整副圖像碼流組成就不同于子圖像碼流的組成，AU表示在一幀中全部的SS，并且全部SS共用一個(gè)PPS，并且各個(gè)AU引用各不相同。

解碼頭信息是找到頭信息中的語(yǔ)法元素。在這里引入了SODB的概念，其表示壓縮數(shù)據(jù)輸出的比特流片段，能將數(shù)據(jù)存儲(chǔ)入最高位。當(dāng)SODB被導(dǎo)入原始字節(jié)序列載荷后，得到多參數(shù)的RBSP。參數(shù)間的關(guān)聯(lián)性，如式(5)-式(7)所示。

SODB+RBSPtrailingbits=RBSP

(5)

NALU_header(2bits)+RBSP=NALU

(6)

StartCodePrefix+NALU+StartCodePrefix+

NALU+…=H.265BitsStream

(7)

最后是進(jìn)行編碼，主要是在碼流中寫入編輯修改后并進(jìn)行了重新編碼的頭信息。由于沒(méi)有必要進(jìn)行視頻信息的修改，所以都只需對(duì)各個(gè)SS的長(zhǎng)度進(jìn)行記錄，并將初始SS碼流復(fù)制到重新生成的SS頭信息中即可。

2 碼流融合技術(shù)的性能及測(cè)試

研究的主要應(yīng)用了MCTS優(yōu)化技術(shù)，其主要目的是為了能夠使客戶端要求能夠有效的降低，并有效降低整個(gè)系統(tǒng)的傳輸流量，提升系統(tǒng)在復(fù)雜環(huán)境下的穩(wěn)定性。MCTS優(yōu)化技術(shù)的應(yīng)用使得碼流的壓縮率下降和冗余度增加，編碼能力下降。見(jiàn)表1。

表1 不同劃分方案下加入MCTS的性能結(jié)果

由表1可以看出，對(duì)MCTS進(jìn)行優(yōu)化后，在一定程度上影響了不同分辨率的序列，4K視頻的BD-rate的提升區(qū)間為[11.45～32.98]%，與8K視頻相比，4K視頻上升的范圍較大，而8K提升區(qū)間為[1.82～7.61]%。在不同的Tile劃分方案下，同一序列對(duì)不同的Tile也具有不同程度的影響。不同配置下的率失真區(qū)線，如圖4所示。

由圖4可知，系統(tǒng)劃分Tile的數(shù)量越多，損失的性能也就越多，從全局上看，編碼性能受到優(yōu)化后MCTS的影響是可以接受的。對(duì)于視頻的主觀質(zhì)量而言，損失較小，4K視頻與8K視頻的ΔSSIM平均減少量分別在[0.03401,0.03510]與[0.00009,0.00022]以內(nèi)，并且ΔSSIM受到Tile劃分的影響也較小。為了使全景視頻傳輸能夠持續(xù)保持低時(shí)延性，碼流融合速度應(yīng)較快，研究也測(cè)試碼流融合的速度。系統(tǒng)碼流融合速度受到了Tile內(nèi)容、個(gè)數(shù)以及大小的影響。為了能夠?qū)ile大小進(jìn)行測(cè)試，將視頻序列劃分為4K(320x320)與8K(640x640)劃分，以測(cè)試Tile的大小。首先將全景視頻序列按照Tile劃分的方式，劃分成各個(gè)子序列，通過(guò)編碼條件編碼各個(gè)Tile序列，得到各類碼流，再采用HMD的FOV大小融合Tile流，其中6x3融合方式的覆蓋范圍為垂直90水平180°，4x3融合方式的覆蓋范圍為垂直90水平120°。研究隨機(jī)選取了Tile流，并測(cè)試了Tile流的時(shí)間消耗情況，包括各個(gè)頭信息融合、P幀、I幀。測(cè)試結(jié)果如圖5所示。

圖5中分別對(duì)8K視頻640x640和4K視頻320x320不同QP下的時(shí)間消耗。從圖中可知，融合P幀的時(shí)間消耗遠(yuǎn)小于I幀，特別是在Tile分辨率較高的情況下。然而在進(jìn)行實(shí)際傳輸和編碼時(shí)，I幀所占比例遠(yuǎn)遠(yuǎn)小于P幀。因此從測(cè)試全局看，還是能夠接受較快的碼流融合對(duì)系統(tǒng)造成的傳輸時(shí)延。

3 結(jié) 語(yǔ)

對(duì)基于碼流融合的自適應(yīng)傳輸算法進(jìn)行了研究，并對(duì)碼流融合技術(shù)的性能進(jìn)行了測(cè)試。研究結(jié)果表明，對(duì)MCTS進(jìn)行優(yōu)化后，在一定程度上影響了不同分辨率的序列，4K視頻的BD-rate的提升區(qū)間為[11.45～32.98]%，與8K視頻相比，4K視頻上升的范圍較大，而8K提升區(qū)間為[1.82～7.61]%。系統(tǒng)劃分Tile的數(shù)量越多，損失的性能也就越多，從全局上看，編碼性能受到優(yōu)化后MCTS的影響是可以接受的。4K視頻與8K視頻的ΔSSIM平均減少量分別在[0.03401,0.03510]與[0.00009,0.00022]以內(nèi)，并且ΔSSIM受到Tile劃分的影響也較小。融合P幀的時(shí)間消耗遠(yuǎn)小于I幀，特別是在Tile分辨率較高的情況下。然而在進(jìn)行實(shí)際傳輸和編碼時(shí)，I幀所占比例遠(yuǎn)遠(yuǎn)小于P幀。因此從測(cè)試全局看，還是能夠接受較快的碼流融合對(duì)系統(tǒng)造成的傳輸時(shí)延。