一種適用于無線視頻通信的時域錯誤掩蓋算法*

程 宇 黃治華 袁林鋒

(1.海軍駐武漢地區(qū)通信軍事代表室 武漢 430079)(2.中船重工集團公司第七二二研究所 武漢 430079)

?

一種適用于無線視頻通信的時域錯誤掩蓋算法*

程 宇1黃治華2袁林鋒2

(1.海軍駐武漢地區(qū)通信軍事代表室 武漢 430079)(2.中船重工集團公司第七二二研究所 武漢 430079)

針對無線視頻通信中因視頻數(shù)據(jù)丟失或誤碼導(dǎo)致重建圖像質(zhì)量急劇下降的問題,提出了一種基于空間坐標(biāo)位置關(guān)系的時域錯誤掩蓋算法。對于受損4×4子塊,將與其直接相鄰子塊的運動矢量定義為三維坐標(biāo)點,并構(gòu)建經(jīng)過坐標(biāo)點的平面以表征受損子塊鄰域內(nèi)運動矢量的變化趨勢,據(jù)此通過計算受損子塊的空間坐標(biāo)恢復(fù)受損的運動矢量,從而實現(xiàn)受損數(shù)據(jù)的錯誤掩蓋。仿真結(jié)果表明,對不同視頻序列和不同宏塊丟失率,該算法均可比傳統(tǒng)算法獲得更好的重建圖像質(zhì)量。

無線視頻通信; 錯誤掩蓋; 時域替換; 邊界匹配算法; 運動矢量恢復(fù)

Class Number TN92

1 引言

在無線視頻通信中,由于無線信道的多徑時延擴展、多普勒頻移、衰落以及環(huán)境噪聲等特性[1],使得無線信道隨時域和空域的變化而變化,表現(xiàn)出較大的不穩(wěn)定性,導(dǎo)致視頻傳輸時數(shù)據(jù)容易產(chǎn)生丟包或誤碼。當(dāng)接收的碼流存在丟包或誤碼時,解碼端重建的視頻信號會產(chǎn)生失真,特別是在基于塊的混合編碼框架[2]中,由于使用了幀間、幀內(nèi)預(yù)測以及熵編碼技術(shù),解碼錯誤會在時間和空間上擴散,嚴(yán)重降低視覺效果。因此,在解碼端引入錯誤掩蓋技術(shù)[3],利用視頻信號的相關(guān)性,對丟失或誤碼的信號進行恢復(fù),以提高受損圖像的重建質(zhì)量。

由于利用了圖像的時域相關(guān)性,幀間編碼能夠獲得較高的壓縮效率,但同時幀間編碼數(shù)據(jù)的丟失或誤碼對重建圖像的影響也將更大。當(dāng)幀間數(shù)據(jù)受損時,一般使用時域錯誤掩蓋算法,其關(guān)鍵是運動矢量的恢復(fù)?；镜倪\動矢量恢復(fù)算法包括: 1) 運動矢量置零,即時域替換(Temporal Replacement,TR)算法[4]; 2) 使用前一幀對應(yīng)塊的運動矢量; 3) 使用鄰域塊運動矢量的中值。這些算法適用于運動平滑的視頻序列,但在物體運動劇烈處會帶來明顯的掩蓋痕跡。文獻[5]提出的邊界匹配算法(Boundary Matching Algorithm,BMA)以邊界失真最小為準(zhǔn)則,從多個候選運動矢量中選擇最佳運動矢量,該算法已被H.264參考軟件JM所采用。文獻[6]根據(jù)鄰域塊運動信息構(gòu)造拉格朗日插值多項式,以此多項式恢復(fù)受損的運動矢量。文獻[7]通過建立基于運動矢量變化趨勢的二次多項式來恢復(fù)運動矢量,文獻[8]通過比較與插值的方法恢復(fù)受損的運動矢量。這些算法利用了運動矢量的空域相關(guān)性,但當(dāng)受損塊與鄰域塊具有不同的運動趨勢時,掩蓋效果較差。文獻[9]提出的基于錯誤跟蹤的掩蓋算法由于運算復(fù)雜,不適合實時應(yīng)用的要求。文獻[10]提出的運動域插值算法由于要恢復(fù)每個受損像素的運動適量,運算量較大,也不適合實時應(yīng)用的要求。

為此,本文針對H.264的編碼特點,提出一種基于空間坐標(biāo)位置關(guān)系的運動矢量估算方法。該方法將與受損子塊直接相鄰子塊的運動矢量定義為三維空間點,并構(gòu)建空間平面以表征受損子塊鄰域內(nèi)運動矢量的變化趨勢,據(jù)此通過計算受損子塊的空間坐標(biāo)恢復(fù)其運動矢量,從而實現(xiàn)受損數(shù)據(jù)的錯誤掩蓋。

2 基于空間坐標(biāo)位置關(guān)系的運動矢量估算法

H.264相比于以往視頻壓縮標(biāo)準(zhǔn)的一個重要特性是改進的運動估計過程,在其運動估計中,一個幀間編碼宏塊可被劃分為16×16、16×8、8×16、8×8、8×4、4×8以及4×4子塊,具有1～16個運動矢量[11]。由于子塊的尺寸更小和1/4像素矢量精度,相鄰子塊的相關(guān)性更強,運動矢量更接近,且分塊越細,小范圍內(nèi)的塊運動矢量相似性越強,因此本文以4×4子塊為單位恢復(fù)受損的運動矢量。

受損宏塊與鄰域宏塊的位置關(guān)系如圖1所示。

圖1中,MB為受損宏塊,MBdir為其鄰域宏塊,dir∈{LT、T、RT、L、R、LB、B、RB}。相應(yīng)的4×4子塊標(biāo)記為MBdir(m,n),其中,m和n指示4×4子塊在宏塊中的位置,m,n∈{0,1,2,3}。

對于受損4×4子塊,當(dāng)對其進行錯誤掩蓋時,其LT、T、L方向的鄰域子塊已完成解碼,如對于MB(0,0),其LT、T、L方向的鄰域子塊分別為MBLT(3,3)、MBT(0,3)和MBL(3,0),對于MB(2,2),其LT、T、L方向的鄰域子塊分別為MB(1,1)、MB(2,1)和MB(1,2)。因此,本文根據(jù)受損子塊LT、T、L方向鄰域子塊的運動矢量進行錯誤掩蓋。

圖1 受損宏塊與鄰域宏塊位置關(guān)系示意圖

以受損宏塊的中心為原點,子塊與原點間的橫向距離(以4×4子塊為單位)為X軸,子塊與原點間的縱向距離(以4×4子塊為單位)為Y軸,子塊運動矢量的水平分量為Z軸建立三維坐標(biāo)系,將受損子塊LT、T、L方向鄰域子塊對應(yīng)到此三維坐標(biāo)系中。假定受損子塊與原點間橫向距離、縱向距離以及運動矢量水平分量分別為xa、ya,zax,則受損子塊在三維空間中有一坐標(biāo)點A(xa,ya,zax)與之對應(yīng)。同理,對于受損子塊LT、T、L方向鄰域子塊,它們在坐標(biāo)系中的坐標(biāo)點分別為B(xb,yb,zbx)、C(xc,yc,zcx)和D(xd,yd,zdx)。坐標(biāo)點空間位置關(guān)系如圖2所示。

圖2 坐標(biāo)點空間位置關(guān)系示意圖

由圖可見,B、C和D將構(gòu)成一個平面P,此平面表征了受損鄰域內(nèi)運動矢量的變化趨勢,根據(jù)受損區(qū)域運動矢量具有相似性的特點,受損子塊對應(yīng)坐標(biāo)點A應(yīng)落在此平面上。根據(jù)此原理,可通過B(xb,yb,zbx)、C(xc,yc,zcx)和D(xd,yd,zdx)得到平面P的表達式,然后依據(jù)xa和ya計算得到zax。

令待求的平面P的表達式為

z=ax+by+c

(1)

將B(xb,yb,zbx)、C(xc,yc,zcx)和D(xd,yd,zdx)代入式(1),可得如下關(guān)于a、b和c的方程組:

(2)

求解上述方程組,可得a、b和c。a、b和c的計算公式為

(3)

將xa、ya代入式(1)可得zax。

此外,以受損宏塊的中心為原點,子塊與原點間的橫向距離(以4×4子塊為單位)為X軸,子塊與原點間的縱向距離(以4×4子塊為單位)為Y軸,子塊運動矢量的垂直分量為Z軸建立三維坐標(biāo)系。將受損子塊以及其LT、T、L方向鄰域子塊對應(yīng)到此坐標(biāo)系中,得到對應(yīng)坐標(biāo)點A′(xa,ya,zay)、B′(xb,yb,zby)、C′(xc,yc,zcy)、D′(xd,yd,zdy)以及經(jīng)過點B′(xb,yb,zby)、C′(xc,yc,zcy)和D′(xd,yd,zdy)的平面P′。同理可求得zay,(zax,zay)即為恢復(fù)的的運動矢量。

得到4×4子塊運動矢量后,在參考幀中尋找相應(yīng)的數(shù)據(jù)進行補償替代,從而完成受損數(shù)據(jù)的錯誤掩蓋。

3 仿真結(jié)果

本文選取Foreman、Suzie和Tempete作為測試序列,序列長度均為120幀,圖像尺寸為QCIF。在仿真試驗中,采用H.264參考軟件JM作為測試平臺,幀結(jié)構(gòu)為“IPP…IPP…IPP…”,關(guān)鍵幀間隔為40。I幀和P幀的量化參數(shù)為28,參考幀數(shù)目為1,最大搜索窗口為16,1/4像素運動矢量精度,使用全部七種不同大小的塊進行運動估計。I幀沒有宏塊丟失,P幀的宏塊丟失率分別為10%和20%。

采用四種算法進行性能比較:本文提出的算法、TR算法、BMA算法和拉格朗日插值法(簡稱為LGRG算法)。所比較的均為亮度分量(Y分量)的峰值信噪比YPSNR,比較結(jié)果如表1～表3所示。

表1 Foreman序列在不同宏塊丟失率下的峰值信噪比

表2 Suzie序列在不同宏塊丟失率下的峰值信噪比

表3 Tempete序列在不同宏塊丟失率下的峰值信噪比

三個序列具有不同的運動特性,其中Foreman序列存在背景的抖動和變化,Suzie序列具有中等程度的運動,Tempete序列運動較為劇烈。仿真結(jié)果表明,對于不同運動特性的序列和不同的宏塊丟失率,本文算法均優(yōu)于TR算法、BMA算法和LGRG算法,重建圖像的PSNR相比TR算法提升3.1dB～4.8dB,相比BMA算法提升0.8dB～2.9dB,相比LGRG算法提升0.7～1.2dB,是一種魯棒性較強的算法。

下面以Foreman序列第42幀為例,從主觀視覺效果對本文算法、TR算法、BMA算法和LGRG算法進行比較,重建圖像如圖3所示。

圖3 Foreman序列在10%宏塊丟失率下,各算法重建的第42幀圖像效果

從圖3中可見,TR算法重建的圖像在人物的脖子和下巴處存在切線、人物面部存在方塊效應(yīng);BMA算法重建的圖像在人物鼻梁處存在陰影、在人物脖子處存在割裂痕跡;LGRG算法重建的圖像在人物的鼻梁處存在陰影;本文算法消除了上述不足,掩蓋后的視覺效果較好。

4 結(jié)語

本文根據(jù)運動的空域相關(guān)性,提出了一種基于空間坐標(biāo)位置關(guān)系的運動矢量恢復(fù)算法。具體為,將鄰域子塊的運動矢量對應(yīng)到三維坐標(biāo)系中,并構(gòu)建經(jīng)過運動矢量坐標(biāo)點的平面以表征鄰域運動矢量的變化趨勢,據(jù)此恢復(fù)受損的運動矢量。仿真結(jié)果表明,與TR算法、BMA算法和LGRG算法相比,本文算法對不同視頻序列和不同宏塊丟失率均能恢復(fù)出更高質(zhì)量的圖像,具有較強的魯棒性。

[1] 蔡躍明,吳啟暉,田華等.現(xiàn)代移動通信[M].北京:機械工業(yè)出版社,2007:14-15.

[2] 王瑤,奧斯特曼,張亞琴.視頻信號處理與通信[M].北京:清華大學(xué)出版社,2003:227-228.

[3] Wang Y, Zhu Q F. Error Control and Concealment for Video Communication: A Review[J]. Proceedings of the IEEE,1998,86(5):974-997.

[4] 馬宇峰,魏維,楊科利.視頻通信中的錯誤隱藏技術(shù)[M].北京:國防工業(yè)出版社,2007:96-97.

[5] Wang Y K, Hannuksela M M, Varsa V, et al. The Error Concealment Feature in the H.26L Test Model[C]//Proc ICIP. Rochester, NY: IEEE,2002:729-732.

[6] Zheng J H, Chau L P. A Motion Vector Recovery Algorithm for Digital Video Using Lagrange Interpolation[J]. IEEE Trans on Broadcasting,2003,49(4):383-389.

[7] Zheng J H, Chau L P. Efficient Motion Vector Recovery Algorithm for H.264 Based on a Polynomial Model[J]. IEEE Trans on Multimedia,2005,7(3):507-513.

[8] 周杰.視頻傳輸?shù)腻e誤隱藏技術(shù)研究[D].上海:復(fù)旦大學(xué),2012.

[9] Kung W Y, Kim C S, Kuo C C. Spatial and Temporal Error Concealment Techniques for Video Transmission over Noisy Channels[J]. IEEE Trans on Circuits Systems Video Technology,2006,16(7):789-802.

[10] Chen B N, Lin Y. Temporal Error Concealment Using Selective Motion Field Interpolation[J]. Electronics Letters,2006,42(24):1390-1391.

[11] 陳靖,劉京,曹喜信.深入理解視頻編解碼技術(shù):基于H.264標(biāo)準(zhǔn)及參考模型[M].北京:北京航空航天大學(xué)出版社,2012:89-92.

An Efficient Error Concealment Algorithm in Wireless Video Communication

CHEN Yu1HUANG Zhihua2YUAN Linfeng2

(1. Navy Representative Office of Communication in Wuhan, Wuhan 430079) (2. No. 722 Research Institute of CSIC, Wuhan 430079)

To overcome the degradation of video quality caused by compressed data loss or error in wireless video communication, a novel temporal error concealment algorithm based on location relationship of coordinate is proposed. For a lost 4×4 block, the blocks surrounding the lost block are first projected to points in 3D space. Then, according to these points a plane is constituted which presents the motion vector changing tendency. Finally, the recovery motion vector is obtained by calculating the coordinate of the lost block in the plane. The simulation results show that compared with the traditional algorithms, the proposed algorithm can obtain better reconstruction quality in different video sequences and different rates of lost block.

wireless video communication, error concealment, temporal replacement, boundary matching algorithm, motion vector recovery

2015年2月3日,

2015年3月27日

程宇,男,工程師,研究方向:無線通信、信號處理。黃治華,男,博士,高級工程師,研究方向:通信網(wǎng)絡(luò)、信號處理。袁林鋒,男,博士,高級工程師,研究方向:通信網(wǎng)絡(luò)、信號處理。

TN92

10.3969/j.issn1672-9730.2015.08.011