多視點視頻無線軟傳輸技術(shù)研究

桑 濤 唐 述

1(中國冶金科工集團有限公司信息化管理部 北京 100028) 2(重慶郵電大學計算機科學與技術(shù)學院 重慶 400065)

0 引 言

隨著無線通信技術(shù)(如LTE、5G、移動云計算等)的快速發(fā)展以及近期諸多裸眼三維移動智能終端設(shè)備的不斷涌現(xiàn)(如HTC EVO 3D、Optimus 3D、Sharp Lynx等)，基于三維視頻(Three-dimensional Video，3DV)的移動應(yīng)用展現(xiàn)出了巨大的市場潛力。目前，多視點視頻+深度圖格式(Multi-view Video plus Depth，MVD)[1]被廣泛應(yīng)用于三維視頻的表示。MVD格式包含一組從不同角度的攝像機同時拍攝的多視點視頻(Multi-View Video，MVV)以及其對應(yīng)的深度圖。顯然地，三維視頻的數(shù)據(jù)量與傳統(tǒng)的二維視頻相比成多倍數(shù)增加。另一方面，無線網(wǎng)絡(luò)信道的劇烈變化對于三維視頻的傳輸也是一個巨大的挑戰(zhàn)，這也極大地阻礙了移動三維視頻應(yīng)用的發(fā)展。

典型的無線視頻傳輸技術(shù)建立在香農(nóng)理論的基礎(chǔ)之上，通過設(shè)計串聯(lián)的獨立信源編碼以及信道編碼來實現(xiàn)高效的傳輸。信源編碼即是通常所指的視頻編碼/壓縮技術(shù)，通過消除原始視頻信號中的冗余來降低視頻信號的數(shù)據(jù)量進而有效降低傳輸帶寬，三維視頻編碼通常采用3D-HEVC[2]編碼技術(shù)。信道編碼則采用前向糾錯編碼(Forward Error Correction，F(xiàn)EC)以處理并糾正由于無線信道干擾帶來的傳輸錯誤。目前被廣泛使用的信道編碼包括Turbo碼、卷積碼、LDPC碼等。在信源信道編碼之前信道條件已知的假設(shè)前提下，香農(nóng)的獨立編碼理論可以通過為信源編碼和信道編碼分別分配合適的碼率來實現(xiàn)傳輸帶寬受限情況下的最優(yōu)傳輸性能。然而，這個假設(shè)條件顯然不適于無線傳輸場景，因為無線信道在很多情況下都存在劇烈的變化。獨立信源+信道編碼方法的一個主要缺點是懸崖效應(yīng)(Cliff Effect)。當實際信道質(zhì)量低于一個下界時，接收端的視頻重建質(zhì)量會急劇惡化，這主要是由于信道編碼已經(jīng)無法恢復惡劣的信道條件帶來的傳輸錯誤；而當信道質(zhì)量高于一個上界時，接收端的視頻重建質(zhì)量將不會再繼續(xù)提高，這主要是由于視頻質(zhì)量的上限值已經(jīng)在信源編碼時由視頻壓縮的量化參數(shù)事先所決定。而理想的情況是視頻質(zhì)量隨著信道質(zhì)量的提高不斷線性提升。

近年，MIT的研究人員提出一種被稱為軟傳輸(SoftCast)的跨層技術(shù)用于無線視頻傳輸[3-5]。不同于典型的獨立信源+信道編碼方法最終傳輸?shù)男盘柺嵌M制比特流，軟傳輸最終傳輸?shù)男盘柺且幌盗芯€性相關(guān)于像素值的實變換系數(shù)。這種傳輸方式本質(zhì)上是有損的，信道噪聲直接轉(zhuǎn)化為視頻信號的重構(gòu)誤差。基于此，軟傳輸技術(shù)消除了懸崖效應(yīng)，并在一個寬范圍的信道信噪比(Signal-to-Noise Ratio，SNR)內(nèi)實現(xiàn)了接收端視頻重建質(zhì)量的線性變化。同時，軟傳輸只需要在發(fā)送端發(fā)送唯一的視頻信號便可滿足許多不同信道條件的接收端。

由于軟傳輸技術(shù)隨信道條件變化具有的良好的質(zhì)量線性變化特性，使之成為一個非常具有吸引力的方向。文獻[6]對軟傳輸技術(shù)進行了理論分析，并建立了一個量化指標用于衡量變換及信號能量分布的效率。文獻[7]分別提出了能量建模、系數(shù)偏移、數(shù)據(jù)劃分策略用于進一步提升軟傳輸技術(shù)的性能。Hadizadeh[8]提出結(jié)合顯著性分析的方法用于提升軟傳輸接收端的主觀視頻質(zhì)量。為了進一步消除時域和空域的冗余度，文獻[9]采用運動補償時域濾波技術(shù)(Motion Compensate Temporal Filter，MCTF)和離散小波變換(Discrete Wavelet Transform，DWT)實現(xiàn)更為高效的軟傳輸方案。文獻[10]則將軟傳輸技術(shù)與分布式視頻編碼技術(shù)相結(jié)合以獲得分布式的性能提升?；谲泜鬏敿夹g(shù)，文獻[11]提出了一種被稱為混合數(shù)字模擬編碼(Hybrid Digital-Analog，HDA)的方案。HAD的關(guān)鍵點是將軟傳輸結(jié)合到典型的數(shù)字視頻編碼架構(gòu)中，從而實現(xiàn)對數(shù)字編碼和軟傳輸優(yōu)點的同時利用。此外，軟傳輸技術(shù)還被應(yīng)用于衛(wèi)星遙感圖像的傳輸[12]和云視頻的無線傳輸。綜上所述的軟傳輸技術(shù)的目標都是針對傳統(tǒng)的二維自然視頻信號，針對三維視頻軟傳輸?shù)难芯磕壳斑€比較欠缺。文獻[13]及文獻[14]針對自由視點視頻提出將紋理視頻和深度圖組合并簡單地擴展三維DCT變換到五維DCT變換以提升軟傳輸?shù)淖儞Q增益，但由于深度圖和紋理視頻的特性存在極大差異，因此性能還有較大的提升空間。文獻[15]針對三維視頻的深度圖軟傳輸提出了基于分塊DCT變換的優(yōu)化方案，但該方案暫時未對多視點紋理視頻軟傳輸進行研究。文獻[16]對多視點紋理視頻和深度圖的傳輸進行了功率分配，以期在功率一定的情況下，最大化接收端合成視點的重建質(zhì)量。

雖然軟傳輸技術(shù)實現(xiàn)了高效的二維視頻無線傳輸性能，但其并不適應(yīng)于三維視頻的無線傳輸。直觀地，為了實現(xiàn)高效的多視點視頻傳輸性能，需要充分利用多視點之間的冗余性[13]。受此啟示，本文提出一種多視點視頻無線軟傳輸方法。本文的創(chuàng)新點主要體現(xiàn)在兩個方面：(1) 從理論增益公式出發(fā)，分析了多維DCT變換的增益影響因素，并針對多視點紋理視頻提出四維離散余弦變換用于提升軟傳輸?shù)淖儞Q增益；(2) 根據(jù)變換系數(shù)分布特性出發(fā)，對輔助數(shù)據(jù)的傳輸進行了推導優(yōu)化以降低傳輸塊的平均能量。

1 軟傳輸技術(shù)分析

軟傳輸是一種非常簡單但高效的無線視頻傳輸方案。為了保證整個系統(tǒng)是完全線性的，軟傳輸丟棄了典型的量化和熵編碼過程。軟傳輸方案的結(jié)構(gòu)如圖1所示。發(fā)送端包含五個步驟：線性變換、塊劃分、功率分配、哈達瑪變換、實值映射。首先，線性變換被作用于每一個圖像組(Group of Picture，GOP)以消除原始視頻信號的空域和時域冗余。軟傳輸方案采用的變換是三維離散余弦變換(3D-DCT)；第二，變換后的系數(shù)被分組組成若干數(shù)量的塊(chunk)以便于傳輸(塊是軟傳輸?shù)幕緜鬏攩卧?，用于減小輔助數(shù)據(jù)的數(shù)據(jù)量)；第三，塊級的功率分配通過為傳輸系數(shù)分配最優(yōu)的縮放因子以用于減小傳輸失真；第四，哈達瑪變換通過進行塊間的能量重分布以增強對信道噪聲的容錯能力；最后，成對的變換系數(shù)被直接映射到正交頻分復用(Orthogonal Frequency Division Multiplexing,OFDM)的同相(in-phase，I)和正交(quadrature，Q)分量進行發(fā)送。此外，圖1中的輔助數(shù)據(jù)A用于傳輸塊劃分信息(塊均值和方差)，圖1中的輔助數(shù)據(jù)B用于傳輸分塊的功率分配縮放因子。文獻[7]中指出該輔助數(shù)據(jù)A和B的數(shù)據(jù)量可以被忽略不計(僅僅只有0.014bit/pixel)。同時，為了保護該輔助數(shù)據(jù)不受信道噪聲的干擾，采用最低碼率的FEC編碼和二進制相移鍵控調(diào)制(Binary Phase Shift Keying，BPSK)以保證可靠傳輸。

接收端首先采用最小二乘估計(Least Linear Square Estimation，LLSE)獲取原始傳輸系數(shù)的最優(yōu)估計。其余的步驟均為發(fā)送端對應(yīng)過程的完全可逆操作。

最優(yōu)的策略是為每一個傳輸系數(shù)分配一個縮放因子。然而，這需要傳輸大量的輔助數(shù)據(jù)以至于不可實現(xiàn)。作為折中方案，軟傳輸采用塊級的功率分配，即每一個分塊分配一個縮放因子。假設(shè)劃分的塊數(shù)目為M，每一個塊的系數(shù)個數(shù)為N，則第i個塊的最優(yōu)功率分配縮放因子為[3]：

(1)

式中：Ptotal為可用總功率；λi為第i個分塊的平均能量(方差)。因此，整個重建視頻信號的最小失真為：

(2)

2 多視點視頻無線軟傳輸優(yōu)化

基于如圖1所示的軟傳輸框架，針對多視點視頻提出兩個方面的優(yōu)化策略以實現(xiàn)更高的傳輸性能。優(yōu)化策略的詳細描述如下。

2.1 針對多視點視頻的四維離散余弦變換

類似于離散余弦變換(DCT)的線性變換主要用于降低原始視頻信號的冗余度進而提升傳輸效率。面向傳統(tǒng)二維視頻的軟傳輸技術(shù)采用三維離線余弦變換(3D-DCT)消除空域(水平和垂直方向)以及時域的冗余。對多視點視頻而言，還存在視角之間的冗余。因此，直觀的思路即是將3D-DCT擴展至四維離散余弦變換(4D-DCT)，其中增加的第四個維度用于處理視角間的冗余。假設(shè)用I(v,t,x,y)表示多視點視頻的像素值，其中：v為視角索引；t為幀索引；x和y為水平和垂直坐標。則對I進行4D-DCT可以表示為：

(3)

式中：S是一個集合，S={V,T,X,Y}。

(4)

式中：D為總視角數(shù)；G為圖像組的幀數(shù)；N為分塊大小；cv(V)、ct(T)、cxy(X)、cxy(Y)為式(5)所示的四個常量。

(5)

根據(jù)文獻[6]的分析可知，軟傳輸中某種特定變換的傳輸增益的測量如下：

(6)

2.2 基于變換系數(shù)分布特性的輔助數(shù)據(jù)優(yōu)化

在軟傳輸?shù)脑O(shè)計中，每一個系數(shù)分塊的均值被當作輔助數(shù)據(jù)傳輸，而殘差系數(shù)則直接映射到OFDM的I和Q分量進行傳輸。然而，這樣的設(shè)計離最優(yōu)性能還有很大的差距。假設(shè)ωi是第i個分塊中絕對值最大的變換系數(shù)，μi為第i個分塊的系數(shù)均值。如果ωi被當作輔助數(shù)據(jù)進行傳輸，而分塊中其他的系數(shù)均采用OFDM直接傳輸，則第i個分塊的平均能量會變?yōu)椋?/p>

(7)

假設(shè)如下關(guān)系成立：

(8)

則有：

(9)

因此，式(9)的結(jié)論會降低Α，進而有效地提高傳輸性能。

DCT變換最重要的性質(zhì)是將信號能量集中在一小部分系數(shù)，且變換系數(shù)的數(shù)值大小從低頻到高頻急速衰減。更為具體地說，系數(shù)近似地沿對角線方向從DCT變換塊的左上角到右下角迅速遞減。因此，同一個DCT變換塊的系數(shù)值差異非常大?；谶@樣的性能，對兩個典型的圖像(Lenna和Pepper)分析ωi和μi是否滿足如式(8)所示的關(guān)系。結(jié)果表明，70%的分塊滿足式(8)所示的關(guān)系。同時，通過采用ωi取代μi作為輔助數(shù)據(jù)，可以極大地降低左上角分塊的平均能量。另一方面，左上角的系數(shù)通常具有最大的信號能量。因此，可以通過如下的策略對多視點視頻軟傳輸?shù)妮o助數(shù)據(jù)進行優(yōu)化：

圖4展示了上述基于變換系數(shù)分布性質(zhì)的輔助數(shù)據(jù)優(yōu)化的效果。可以看到，該優(yōu)化將分塊平均能量和從908.456 5降低至590.636 9，實現(xiàn)了40%的降低，這可以實現(xiàn)非常明顯的傳輸性能改進。

3 仿真結(jié)果及分析

為驗證本文所提出多視點視頻無線軟傳輸優(yōu)化技術(shù)的性能，對典型的三維視頻序列進行仿真實驗。

測試序列：四組三維視頻序列用于仿真實驗，表1給出了測試序列及其參數(shù)配置。

表1 測試序列及配置

無線仿真環(huán)境：802.11無線仿真物理層鏈路被用于仿真實驗，采用MATLAB Communication ToolBox實現(xiàn)，并在高斯信道下進行仿真實驗。輔助數(shù)據(jù)采用1/2碼率的卷積碼和BPSK調(diào)制進行傳輸；變換系數(shù)成對直接映射到OFDM進行傳輸，其中OFDM的參數(shù)配置采用802.11 a/g的參數(shù)設(shè)置。此外，仿真的信道信噪比范圍為4～15 dB，圖5為物理層鏈路實現(xiàn)細節(jié)。

評價指標：峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)指標用于評估重建視頻質(zhì)量。PSNR指標定義如下：

(10)

式中：MSE為重建視頻像素與原始視頻像素的均方誤差。在本文涉及的多視點視頻中，所有視點的平均PSNR作為最終的評價標準。

在仿真實驗中，分塊大小設(shè)置為64×48，GOP大小設(shè)置為8。實驗對比測試分別為本文方法、原始軟傳輸方法[3]、采用4D-DCT的軟傳輸方法及參考文獻[13]所提方法。

4個測試序列的仿真實驗結(jié)果如圖6所示?？梢钥吹?，4種軟傳輸方法都在整個信道信噪比范圍內(nèi)實現(xiàn)了線性的質(zhì)量變換，從而消除了典型信源信道編碼傳輸方法的懸崖效應(yīng)。橫向?qū)Ρ?種軟傳輸方法，可以看到采用4D-DCT的軟傳輸方法及參考文獻[13]相比于原始的軟傳輸方法實現(xiàn)了2至4 dB的性能提升；而本文所提結(jié)合了基于變換系數(shù)分布特性的輔助數(shù)據(jù)優(yōu)化的方法則可以進一步提升傳輸性能，提升幅度為2至5 dB。此外，圖7給出了兩幀圖像的主觀質(zhì)量對比。可以看到，本文方法相比于原始軟傳輸方法提供了更佳的視覺主觀視頻質(zhì)量。

4 結(jié) 語

本文提出一種多視點視頻無線軟傳輸優(yōu)化方法。首先為了降低視點間的冗余，將線性變換擴展至四維離散余弦變換；其次，為了進一步降低分塊的平均能量，提出基于變換系數(shù)分布特性的輔助數(shù)據(jù)優(yōu)化方法。仿真實驗結(jié)果表明，本文方法可以對多視點視頻軟傳輸提升5～8 dB的傳輸性能，同時也提高了重建視頻的主觀視頻質(zhì)量。