一種矢量外推與邊界匹配相結(jié)合的視頻通信誤碼掩蓋算法

黃治華夏洋

（中船重工集團(tuán)公司第七二二研究所武漢430079）

一種矢量外推與邊界匹配相結(jié)合的視頻通信誤碼掩蓋算法

黃治華夏洋

（中船重工集團(tuán)公司第七二二研究所武漢430079）

針對(duì)無(wú)線視頻通信中因視頻數(shù)據(jù)傳輸丟失或誤碼導(dǎo)致重建圖像質(zhì)量急劇下降的問(wèn)題，提出了一種基于運(yùn)動(dòng)矢量外推與邊界匹配相結(jié)合的時(shí)域誤碼掩蓋算法。對(duì)于受損塊，采用運(yùn)動(dòng)矢量外推方法估算其時(shí)域相關(guān)運(yùn)動(dòng)矢量，然后利用受損塊與鄰域塊的空間相關(guān)性，基于改進(jìn)的邊界匹配算法在時(shí)域相關(guān)運(yùn)動(dòng)矢量的鄰域內(nèi)尋找受損塊運(yùn)動(dòng)矢量，從而實(shí)現(xiàn)受損數(shù)據(jù)的誤碼掩蓋。仿真結(jié)果表明，對(duì)不同視頻序列，該算法均可比傳統(tǒng)算法恢復(fù)出更高質(zhì)量的圖像。

無(wú)線視頻通信；誤碼掩蓋；運(yùn)動(dòng)矢量恢復(fù)；運(yùn)動(dòng)矢量外推；邊界匹配

Class NumberTN94

1 引言

在無(wú)線視頻通信中，由于無(wú)線信道的多普勒頻移、多徑時(shí)延擴(kuò)展、信號(hào)衰落以及環(huán)境噪聲等特性［1］，使得無(wú)線信道隨時(shí)間、空間的變化而變化，表現(xiàn)出極大的不穩(wěn)定性。壓縮視頻在不穩(wěn)定的無(wú)線信道傳輸時(shí)，不可避免地會(huì)發(fā)生數(shù)據(jù)的丟失或誤碼。當(dāng)接收的碼流中存在丟包或誤碼時(shí)，解碼錯(cuò)誤會(huì)在時(shí)域或空域擴(kuò)散，嚴(yán)重降低主觀視覺效果。此時(shí)在解碼端引入誤碼掩蓋技術(shù)［2］，利用視頻信號(hào)的時(shí)空相關(guān)性，對(duì)受損數(shù)據(jù)進(jìn)行恢復(fù)，可大幅提高受損圖像的重建質(zhì)量。

當(dāng)幀間編碼宏塊受損時(shí)，一般使用時(shí)域誤碼掩蓋算法，其關(guān)鍵是運(yùn)動(dòng)矢量（motion vector，MV）的恢復(fù)［3］?；镜倪\(yùn)動(dòng)矢量恢復(fù)算法包括：1）運(yùn)動(dòng)矢量置零，即時(shí)域替換（Temporal Replacement，TR）算法；2）使用前一幀對(duì)應(yīng)塊的運(yùn)動(dòng)矢量；3）使用鄰域塊運(yùn)動(dòng)矢量的平均值或中值。這些算法在運(yùn)動(dòng)平滑的區(qū)域掩蓋效果較好，但在物體劇烈運(yùn)動(dòng)處會(huì)帶來(lái)明顯的掩蓋痕跡；邊界匹配算法（BoundaryMatching Algorithm，BMA）以邊界失真最小為準(zhǔn)則，從多個(gè)候選運(yùn)動(dòng)矢量中選擇最佳運(yùn)動(dòng)矢量，該算法已被H.264參考軟件JM所采用［4］；文獻(xiàn)［5～7］基于運(yùn)動(dòng)跟蹤思想，利用前一幀的運(yùn)動(dòng)矢量去估計(jì)受損的運(yùn)動(dòng)矢量，實(shí)驗(yàn)結(jié)果表明這些算法在運(yùn)動(dòng)一致且線性變化的場(chǎng)景中非常有效，但較少考慮圖像的空間相關(guān)性，在具有特殊紋理的區(qū)域，容易造成掩蓋失??；文獻(xiàn)［8～10］基于多項(xiàng)式插值方法，通過(guò)鄰域塊運(yùn)動(dòng)矢量恢復(fù)受損塊運(yùn)動(dòng)矢量，這些算法沒有針對(duì)運(yùn)動(dòng)場(chǎng)景變換而做出相應(yīng)的改變，導(dǎo)致恢復(fù)的效果不一；文獻(xiàn)［11～12］提出的運(yùn)動(dòng)域插值算法由于要恢復(fù)每個(gè)受損像素的運(yùn)動(dòng)適量，運(yùn)算量較大，不適合實(shí)時(shí)應(yīng)用的要求。

為此，本文提出一種運(yùn)動(dòng)矢量外推與邊界匹配相結(jié)合的運(yùn)動(dòng)矢量估算方法，該方法根據(jù)運(yùn)動(dòng)矢量的時(shí)域相關(guān)性，將受損塊的前續(xù)塊、前續(xù)鄰域塊按照各自運(yùn)動(dòng)矢量外推到受損幀中，根據(jù)外推數(shù)據(jù)塊與受損塊重疊區(qū)域的大小估算受損塊的時(shí)域相關(guān)運(yùn)動(dòng)矢量。然后，根據(jù)圖像的空間相關(guān)性，采用改進(jìn)的邊界匹配算法在時(shí)域相關(guān)運(yùn)動(dòng)矢量的鄰域內(nèi)尋找最佳匹配的運(yùn)動(dòng)矢量作為受損塊的運(yùn)動(dòng)矢量，從而實(shí)現(xiàn)受損數(shù)據(jù)的錯(cuò)誤掩蓋。

2 基于矢量外推的運(yùn)動(dòng)矢量估算法

大量試驗(yàn)表明，鏡頭中的物體大多是沿著直線運(yùn)動(dòng)的，規(guī)律性較強(qiáng)，即使物體作曲線運(yùn)動(dòng)或不規(guī)則運(yùn)動(dòng)，只要時(shí)間間隔足夠短，也可以近似看作直線運(yùn)動(dòng)。本文基于這種合理假設(shè)，將受損塊的前續(xù)塊、前續(xù)鄰域塊按照各自運(yùn)動(dòng)矢量外推到受損幀中，并根據(jù)外推數(shù)據(jù)塊與受損塊重疊區(qū)域的大小計(jì)算受損塊時(shí)域相關(guān)運(yùn)動(dòng)矢量。在H.264樹狀結(jié)構(gòu)運(yùn)動(dòng)估計(jì)中，4×4塊為運(yùn)動(dòng)估計(jì)的最小尺寸，其估計(jì)的精度最高，因此本文以4×4塊為單位恢復(fù)受損的運(yùn)動(dòng)矢量。

對(duì)于每一個(gè)受損塊，將其前續(xù)塊、前續(xù)鄰域塊按照各自運(yùn)動(dòng)矢量外推到受損幀中，得到外推塊，過(guò)程如圖1所示。

圖中，F(xiàn)n表示當(dāng)前幀，F(xiàn)n-1表示前一幀的重建幀；Bn，x，y表示受損塊，x、y指示了受損塊在視頻幀中的位置，Bn-1，x，y表示前續(xù)塊，Bn-1，x+i，y+j，i，j∈{-1，0，1}表示前續(xù)鄰域塊；MVn，x，y為受損塊Bn，x，y的運(yùn)動(dòng)矢量，MVn-1，x，y為前續(xù)塊Bn-1，x，y的運(yùn)動(dòng)矢量，MVn-1，x+i，y+j為前續(xù)鄰域塊Bn-1，x+i，y+j的運(yùn)動(dòng)矢量；Wn-1，x，y為前續(xù)塊Bn-1，x，y的外推塊，Wn-1，x+i，y+j為前續(xù)鄰域塊Bn-1，x+i，y+j的外推塊。

重疊區(qū)域的大小反映了前續(xù)塊與受損塊的相關(guān)程度，重疊區(qū)域越大的前續(xù)塊，越有可能運(yùn)動(dòng)到受損塊的位置，即時(shí)域相關(guān)性越大，因此，將各受損塊與受損塊重疊區(qū)域的像素個(gè)數(shù)作為權(quán)重估算受損塊時(shí)域相關(guān)運(yùn)動(dòng)矢量，計(jì)算公式為

3 邊界匹配運(yùn)動(dòng)矢量?jī)?yōu)化

基于運(yùn)動(dòng)矢量外推的運(yùn)動(dòng)矢量估算方法考慮了運(yùn)動(dòng)的時(shí)域相關(guān)性，但由于其是針對(duì)受損塊獨(dú)立進(jìn)行的，因此恢復(fù)的圖像可能存在塊邊界效應(yīng)，為此，本文結(jié)合邊界匹配算法，對(duì)已估算的運(yùn)動(dòng)矢量進(jìn)行優(yōu)化，以保證掩蓋塊和鄰域塊實(shí)現(xiàn)最大平滑連接。

塊邊界的平滑程度可以由邊界亮度失真作為度量，即計(jì)算候選塊的內(nèi)部邊界像素與受損塊的外部邊界像素的亮度差值之和，因此，可在已估算的運(yùn)動(dòng)矢量的領(lǐng)域內(nèi)，查找使得邊界亮度失真最小的運(yùn)動(dòng)矢量作為最優(yōu)的運(yùn)動(dòng)矢量。由于受損塊的解碼、掩蓋次序?yàn)閺纳系较?，從左到右，?duì)于當(dāng)前待掩蓋的受損塊，只有其上領(lǐng)域塊和左鄰域塊像素已知，因此在計(jì)算邊界亮度失真時(shí)，只計(jì)算上邊界和左邊界的差值。最優(yōu)運(yùn)動(dòng)矢量搜索過(guò)程如圖2所示。

最佳運(yùn)動(dòng)矢量計(jì)算公式為

式中，PXn，x，y、PYn，x，y分別表示受損塊Bn，x，y的左上像素X和Y坐標(biāo)，Sn(x，y)表示Fn中像素(x，y)的亮度值，λ定義了領(lǐng)域搜索范圍，得到的最優(yōu)運(yùn)動(dòng)矢量為(dx，dy)，即掩蓋的受損塊運(yùn)動(dòng)矢量。

得到受損塊運(yùn)動(dòng)矢量后，在參考幀中尋找對(duì)應(yīng)的數(shù)據(jù)進(jìn)行補(bǔ)償替代，從而完成受損塊的誤碼掩蓋。

4 仿真結(jié)果

本文采用H.264參考軟件JM作為測(cè)試平臺(tái)，對(duì)QCIF格式的序列Foreman、Mobile和Suzie進(jìn)行仿真實(shí)驗(yàn)。每個(gè)序列編碼120幀，幀結(jié)構(gòu)為“IPPP…”，關(guān)鍵幀刷新周期為40。丟包模型為：I幀不丟包，P幀每隔3幀丟掉一個(gè)Slice（即數(shù)據(jù)丟失50%）。仿真采用的參數(shù)為λ=3。

對(duì)于每一個(gè)測(cè)試序列，采用4種算法進(jìn)行性能比較：TR算法、BMA算法、文獻(xiàn)［8］提出的拉格朗日插值法（簡(jiǎn)稱為L(zhǎng)GRG算法）以及本文所提出的算法。通過(guò)選擇不同的量化參數(shù)QP以產(chǎn)生不同比特率的碼流，從而仿真各算法在不同碼率下的掩蓋效果。

各測(cè)試序列重建圖像的亮度信號(hào)的峰值信噪比（PSNR）如表1所示。

表1 測(cè)試序列在不同比特率條件下的峰值信噪比

從表1可見，對(duì)于不同運(yùn)動(dòng)類型的序列和不同的碼率，本文提出的算法PSNR值均高于TR、BMA和LGRG算法，相比TR算法增益為1.8dB～5dB，相比BMA算法增益為0.6dB～3dB，相比LGRG算法增益為0.4dB～1.6dB。對(duì)于運(yùn)動(dòng)較為復(fù)雜和較多細(xì)節(jié)的序列，如Mobile，由于結(jié)合了運(yùn)動(dòng)矢量的時(shí)域相關(guān)性和圖像像素的空域相關(guān)性進(jìn)行誤碼掩蓋，恢復(fù)的運(yùn)動(dòng)矢量更為精確，因此新算法的相對(duì)效果更好。

下面以Foreman序列QP=26時(shí)第83幀為例，從主觀視覺角度對(duì)本文算法和TR算法、BMA算法及LGRG算法作比較，重建圖像如圖3所示。

從圖中可見，TR算法效果最差；BMA算法重建的圖像在人物的鼻梁及脖子處存在明顯的切線；LGRG算法重建的圖像在人物的鼻子下方有明顯切線、在左耳處有重影。這些區(qū)域正是正確接收數(shù)據(jù)和丟失數(shù)據(jù)的交界處，而本文算法重建的圖像消除了這些不足，使圖像看上去更平滑，表現(xiàn)出較好的掩蓋效果。

5 結(jié)語(yǔ)

本文根據(jù)受損塊與前續(xù)塊、前續(xù)領(lǐng)塊運(yùn)動(dòng)的時(shí)域相關(guān)性，提出了一種基于運(yùn)動(dòng)矢量外推的時(shí)域誤碼掩蓋算法，同時(shí)，根據(jù)圖像的空域相關(guān)性，將該算法與改進(jìn)的邊界匹配算法相結(jié)合，從而保證掩蓋塊和鄰域塊的平滑連接。仿真實(shí)驗(yàn)結(jié)果表明，與TR算法、BMA算法和LGRG算法相比，本文算法對(duì)不同視頻序列均能恢復(fù)出更高質(zhì)量的圖像，具有更強(qiáng)的錯(cuò)誤魯棒性。

［1］蔡躍明，吳啟暉，田華等.現(xiàn)代移動(dòng)通信［M］.北京：機(jī)械工業(yè)出版社，2007：14-15.

［2］王瑤，奧斯特曼，張亞琴.視頻信號(hào)處理與通信［M］.北京：清華大學(xué)出版社，2003：227-228.

［3］馬宇峰，魏維，楊科利.視頻通信中的錯(cuò)誤隱藏技術(shù)［M］.北京：國(guó)防工業(yè)出版社，2007：96-97.

［4］陳靖，劉京，曹喜信.深入理解視頻編解碼技術(shù)：基于H.264標(biāo)準(zhǔn)及參考模型［M］.北京：北京航空航天大學(xué)出版社，2012：89-92.

［5］彭強(qiáng)，張蕾.視頻傳輸差錯(cuò)掩蓋技術(shù)研究現(xiàn)狀與發(fā)展趨勢(shì)［J］.西南交通大學(xué)學(xué)報(bào)，2009，44（4）：473-483.

［6］J.Zhou，B.Yan，H.Gharavi.Efficient Motion Vector Interpolation for Error Concealment of H.264/AVC［J］. IEEE Trans.On Broadcasting，2011，57（1）：75-80.

［7］Kung W Y，Kim C S，Kuo C C.Spatial and Temporal Error Concealment Techniques for Video Transmission over Noisy Channels［J］.IEEE Trans on Circuits Systems Video Technology，2006，16（7）：789-802.

［8］J.H.Zheng，L.P.Chau.A Motion Vector Recovery Algorithm for Digital Video Using Lagrange Interpolation［J］. IEEE Trans on Broadcasting，2003，49（4）：383-389.

［9］J.Zhang，X.Gao，S.Xiao，et al.An Error Concealment Algorithm Based on Non-uniform Lagrange Interpolation［C］//The 7th International Conference On Intelligent Information Hiding and Multimedia Signal Processing，Dalian，2011，286-289.

［10］J.H.Zheng，L.P.Chau.Efficient Motion Vector Recovery Algorithm for H.264 Based on a Polynomial Model［J］. IEEE Trans on Multimedia，2005，7（3）：507-513.

［11］B.N Chen，Y.Lin.Temporal Error Concealment Using Selective Motion Field Interpolation［J］.Electronics Letters，2006，42（24）：1390-1391.

［12］周杰.視頻傳輸?shù)腻e(cuò)誤隱藏技術(shù)研究［D］.上海：復(fù)旦大學(xué)，2012.

An Error Concealment Algorithm Based on Motion Tracking and Boundary Matching in Video Communication

HUANG ZhihuaXIA Yang
（No.722 Research Institute of CSIC，Wuhan430079）

To overcome the degradation of video quality caused by compressed data loss or error in wireless video communication，a novel error concealment algorithm based on motion tracking and boundary matching is proposed.For a lost block，the temporal related motion vector is first calculated by the motion vector tracking method，and then the recovery motion vector is obtained by using modified boundary matching method which efficiently exploits the correlation between lost block and adjacent blocks.The simulation results show that compared with the traditional algorithms，the proposed algorithm can obtain better reconstruction quality and prevent error propagation in different video sequences.

wireless video communication，error concealment，motion vector recovery，motion vector tracking，boundary matching

TN94

10.3969/j.issn.1672-9730.2017.07.013

2017年1月9日，

2017年2月17日

黃治華，男，博士，高級(jí)工程師，研究方向：網(wǎng)絡(luò)通信、信號(hào)處理。夏洋，男，博士，工程師，研究方向：網(wǎng)絡(luò)通信、信號(hào)處理。