視頻錯(cuò)誤掩蓋技術(shù)進(jìn)展

.艾 達(dá)，楊 珍

(西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121)

視頻錯(cuò)誤掩蓋技術(shù)進(jìn)展

.艾 達(dá)，楊 珍

(西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121)

針對(duì)2005年到2015年基于H.264/AVC編碼標(biāo)準(zhǔn)下的圖像錯(cuò)誤掩蓋技術(shù)的發(fā)展?fàn)顩r，根據(jù)不同類型的編碼幀采用的不同掩蓋技術(shù)，歸納分類了當(dāng)前已有算法，分析總結(jié)了基于傳統(tǒng)的錯(cuò)誤掩蓋技術(shù)，即時(shí)域掩蓋、空域掩蓋和時(shí)空域結(jié)合的掩蓋，包括基于場(chǎng)交織的錯(cuò)誤掩蓋與數(shù)字水印技術(shù)相結(jié)合的錯(cuò)誤掩蓋，以及基于三維視頻的錯(cuò)誤掩蓋，比較了各算法的優(yōu)勢(shì)和局限性，并討論了其未來發(fā)展趨勢(shì)。關(guān)鍵詞: 錯(cuò)誤掩蓋；立體視頻；場(chǎng)交織；數(shù)字水印

由于壓縮后的視頻很大程度上降低了其數(shù)據(jù)之間的關(guān)聯(lián)性。數(shù)據(jù)流在不可靠的信道中傳輸易出錯(cuò)或丟失，使得接收端不能正確解壓出原視頻圖像。因此，針對(duì)受損視頻圖像質(zhì)量的恢復(fù)，必須有一定的差錯(cuò)控制機(jī)制來保證視頻圖像的質(zhì)量。

差錯(cuò)控制包括各種抗誤碼技術(shù)和檢錯(cuò)糾錯(cuò)技術(shù)，通常從編碼端、信道和解碼端展開研究。其中，從解碼端展開研究的錯(cuò)誤掩蓋技術(shù)是對(duì)出現(xiàn)了錯(cuò)誤或丟失的視頻數(shù)據(jù)進(jìn)行恢復(fù)的一種方法。利用視頻本身的冗余信息，不改變?cè)即a流結(jié)構(gòu)，不額外增加開銷，有效彌補(bǔ)傳輸中圖像的錯(cuò)誤，使其在視覺效果上被人眼所接受。

文獻(xiàn)[1]中從時(shí)域、空域和頻域三個(gè)角度分析歸納了錯(cuò)誤掩蓋技術(shù)，指出當(dāng)時(shí)已有的各種算法優(yōu)點(diǎn)和存在的缺點(diǎn)，而且對(duì)錯(cuò)誤掩蓋技術(shù)的未來研究方向進(jìn)行探討。本文將在文獻(xiàn)[1]的基礎(chǔ)上，將近十年來開發(fā)的一些典型的二維視頻和立體視頻的錯(cuò)誤掩蓋算法進(jìn)行歸納分類和分析比較，并對(duì)此進(jìn)行展望。

1 國內(nèi)外研究現(xiàn)狀及分析

目前，錯(cuò)誤掩蓋技術(shù)在國內(nèi)外的主流研究方向有3個(gè)：傳統(tǒng)錯(cuò)誤掩蓋技術(shù)的改進(jìn)[2]、基于模板匹配的錯(cuò)誤掩蓋[3]、發(fā)送端與接收端結(jié)合的錯(cuò)誤掩蓋[4]。

傳統(tǒng)錯(cuò)誤掩蓋致力于在接收端對(duì)受損圖像的數(shù)據(jù)進(jìn)行各類不同插值算法的恢復(fù)，充分利用圖像本身的冗余信息對(duì)其進(jìn)行錯(cuò)誤掩蓋。最常用的插值算法有雙線性插值[5]、方向插值算法、多方向插值算法[6]以及加權(quán)方向插值算法[7]。

文獻(xiàn)[3]中提出的基于模板匹配的錯(cuò)誤掩蓋方法中，利用主成分分析法為目標(biāo)或感興趣區(qū)域訓(xùn)練出一個(gè)基于內(nèi)容的模型，從而建立一個(gè)先驗(yàn)，捕捉到目標(biāo)的統(tǒng)計(jì)變化，進(jìn)而用于錯(cuò)誤掩蓋，修復(fù)目標(biāo)。這種掩蓋技術(shù)掩蓋的質(zhì)量依賴于訓(xùn)練樣本和模型的準(zhǔn)確度，修復(fù)計(jì)算度高，不適用于突發(fā)的即時(shí)通信。

收發(fā)端結(jié)合的錯(cuò)誤掩蓋，是在發(fā)送端增加一些冗余數(shù)據(jù)，使接收端在恢復(fù)出錯(cuò)圖像時(shí)有更多可用數(shù)據(jù)。各種不同冗余數(shù)據(jù)均能嵌入到發(fā)送端，例如，文獻(xiàn)[8]把視頻每幀圖像的抖動(dòng)色版本通過數(shù)字水印技術(shù)嵌入到原始信息中；文獻(xiàn)[9]在圖像分塊后，通過量化離散小波變換后的系數(shù)，得到圖像塊的塊描述信息，隨后利用最低有效位信息嵌入技術(shù)嵌入到圖像本身中；文獻(xiàn)[10]在編碼端把圖像重要區(qū)域內(nèi)宏塊的運(yùn)動(dòng)矢量(Motion Vector,MV)嵌入到該幀圖像的背景區(qū)域中；之后，文獻(xiàn)[11]提出了自適應(yīng)水印的嵌入。交織編碼技術(shù)即靈活的宏塊排序，將空間相鄰的宏塊分別排成兩個(gè)Slice組，這兩個(gè)組中的數(shù)據(jù)可用來對(duì)其中出錯(cuò)或丟失的一組進(jìn)行錯(cuò)誤掩蓋[12]。基于場(chǎng)交織的錯(cuò)誤掩蓋，大多從發(fā)送端入手，直接對(duì)圖像和視頻作分場(chǎng)、分序列的操作[13]。

目前立體視頻技術(shù)發(fā)展極其迅速，對(duì)其視頻信息進(jìn)行壓縮的技術(shù)越來越成熟。立體視頻的高效視頻編碼(High Efficiency Video Code, HEVC)[14-18]近年來已成為研究熱點(diǎn)。因此，對(duì)立體視頻的出錯(cuò)和丟失信息也需進(jìn)行掩蓋。

2 傳統(tǒng)錯(cuò)誤掩蓋的改進(jìn)技術(shù)

傳統(tǒng)錯(cuò)誤掩蓋致力于在接收端對(duì)受損圖像的數(shù)據(jù)進(jìn)行各類不同插值算法的恢復(fù)。文獻(xiàn)[7]提出的加權(quán)平均插值掩蓋算法，根據(jù)宏塊狀態(tài)來決定該塊是否需要錯(cuò)誤掩蓋。該算法簡(jiǎn)單易用，但對(duì)圖像空間冗余信息利用率并不高，對(duì)圖像內(nèi)容處理方式單一，缺少對(duì)周圍像素更多的分析利用，導(dǎo)致修復(fù)后的圖像有模糊感，對(duì)圖像紋理、內(nèi)容邊緣等發(fā)生錯(cuò)誤時(shí)的修復(fù)效果不理想。

文獻(xiàn)[19]提出了邊緣檢測(cè)和方向插值算法。邊緣檢測(cè)算法多用Sobel算子，得到圖像錯(cuò)誤像素周圍的邊緣后，采用方向插值來近似恢復(fù)出錯(cuò)部分。根據(jù)邊緣分區(qū)，計(jì)算出每個(gè)方向的邊緣強(qiáng)度，有設(shè)定的閾值選取合適的插值方法。

文獻(xiàn)[20]提出了一種基于塊內(nèi)預(yù)測(cè)和塊內(nèi)邊緣方向相關(guān)性的新型空間錯(cuò)誤掩蓋算法。該算法利用邊緣方向和相鄰塊的高效估計(jì)，依次對(duì)丟失宏塊的每一個(gè)像素進(jìn)行插值，保持了局部邊緣的連續(xù)性，從而獲得視覺上更加可接受的圖像。算法實(shí)現(xiàn)簡(jiǎn)單，對(duì)恢復(fù)錯(cuò)誤宏塊的細(xì)節(jié)有很強(qiáng)的可靠性。

文獻(xiàn)[21]提出的空間域自適應(yīng)錯(cuò)誤掩蓋算法，該算法的實(shí)現(xiàn)是基于圖像中出錯(cuò)塊和周圍未出錯(cuò)塊之間的紋理變化，選擇一個(gè)最恰當(dāng)?shù)募y理模型，然后利用該模型建立出錯(cuò)塊的預(yù)測(cè)塊，該預(yù)測(cè)塊與未出錯(cuò)塊之間存在一個(gè)最小均方差值，由此值即可確定可用像素塊的所處位置。

時(shí)間域錯(cuò)誤掩蓋是利用圖像序列之間的冗余信息，通過該幀內(nèi)錯(cuò)誤塊的相鄰宏塊的MV來估計(jì)該錯(cuò)誤塊的MV，然后通過運(yùn)動(dòng)補(bǔ)償，在正確接收的相鄰幀內(nèi)尋找替補(bǔ)圖像塊。該算法在文獻(xiàn)[22]和文獻(xiàn)[23]提出并分析。其中，文獻(xiàn)[23]提出的絕對(duì)誤差和降低了傳統(tǒng)匹配準(zhǔn)則的計(jì)算復(fù)雜度。

文獻(xiàn)[24]提出了一種新的基于塊和運(yùn)動(dòng)補(bǔ)償視頻編碼系統(tǒng)的自適應(yīng)錯(cuò)誤掩蓋算法。該方法采用一種無監(jiān)督的人工神經(jīng)網(wǎng)絡(luò)模式，即自組織映射(Self-organization Map，SOM)，作為預(yù)測(cè)來估算受損宏塊的MV。然后，估計(jì)的MV通過來自參考幀基于邊界匹配判據(jù)的空間信息來重建受損宏塊。由于SOM具有用于可視化和解釋高維數(shù)據(jù)集的大容量，該估計(jì)模型可以利用SOM的非線性特性，以更準(zhǔn)確地估計(jì)丟失的MV。

對(duì)于H.264視頻編碼標(biāo)準(zhǔn)的多預(yù)測(cè)模式、多參考幀的特點(diǎn)，文獻(xiàn)[25]提出了混合非對(duì)稱交叉多六邊形網(wǎng)絡(luò)搜索算法,采用多模板進(jìn)行形狀的宏塊匹配。文獻(xiàn)[26]對(duì)該算法進(jìn)行了改進(jìn)。

3 編解碼端結(jié)合的錯(cuò)誤掩蓋

編解碼端結(jié)合的錯(cuò)誤掩蓋通過編碼端對(duì)視頻數(shù)據(jù)進(jìn)行重新排列或嵌入冗余，使得解碼端可利用的冗余信息更豐富。

文獻(xiàn)[27]提出的一種基于場(chǎng)交織的錯(cuò)誤掩蓋算法，將圖像分場(chǎng)傳輸后，在接收端利用丟失場(chǎng)的上下行數(shù)據(jù)進(jìn)行加權(quán)平均插值恢復(fù)。后有學(xué)者提出將視頻序列分為兩個(gè)序列，一奇一偶，然后對(duì)其中的每一幀圖像進(jìn)行分場(chǎng)，從而一個(gè)視頻得到4個(gè)場(chǎng)描述，最后對(duì)其獨(dú)立編碼傳輸。若圖像經(jīng)分場(chǎng)交織傳輸過程，丟失了全部奇場(chǎng)描述，在編碼端用插值算法來實(shí)現(xiàn)錯(cuò)誤掩蓋。

在解碼端進(jìn)行基于場(chǎng)交織時(shí)空域結(jié)合的錯(cuò)誤掩蓋算法中，文獻(xiàn)[28]提出根據(jù)接收到的描述是odd1、even1還是odd2、even2來選擇空域掩蓋或時(shí)間域掩蓋。“odd”表示奇場(chǎng)描述，“even”表示偶場(chǎng)描述，“1”表示奇幀，“2”表示偶幀。

文獻(xiàn)[29]提出了基于場(chǎng)交織的新算法，將多向插值引入到該算法中進(jìn)行恢復(fù)，所以，首先對(duì)方向進(jìn)行分區(qū)，不同于基于塊交織的錯(cuò)誤掩蓋，本算法并不分為7個(gè)方向區(qū)，而是分為3個(gè)方向區(qū)，只利用最可能的像素進(jìn)行掩蓋恢復(fù)；其次，完成邊界像素的處理，以便于后續(xù)掩蓋方便；然后通過正確接收的間隔行的像素與改良的Sobel算子進(jìn)行卷積運(yùn)算，尋找到兩個(gè)重要方向，一個(gè)稱之為主方向，一個(gè)稱之為次主方向。其中，卷積用到的圖像像素包括丟失行的上3行正確像素和下3行正確像素，以避免誤差傳播。假設(shè)丟失像素在通過所有數(shù)據(jù)方向分類，劃分到3個(gè)方向區(qū)中，對(duì)每個(gè)方向區(qū)計(jì)算出邊緣強(qiáng)度和一個(gè)空間方向向量(Space Directional Vector, SDV)，對(duì)比SDV，得到主方向和次主方向，進(jìn)而利用加權(quán)插值對(duì)錯(cuò)誤像素插值掩蓋。

文獻(xiàn)[8]提出的水印算法中，嵌入到視頻每幀圖像的背景區(qū)域的水印信息為其感興趣區(qū)的宏塊MV。

文獻(xiàn)[9]提出的基于最低有效位的數(shù)字水印算法，當(dāng)嵌入錯(cuò)誤塊中水印信息的塊也發(fā)生錯(cuò)誤，可以利用相鄰像素的插值來進(jìn)行錯(cuò)誤塊的重建。該技術(shù)較利用DCT進(jìn)行最低有效位嵌入掩蓋方法而言，由于利用DWT系數(shù)，其嵌入容量增大，方便隱蔽嵌入更多可利用數(shù)據(jù)，從而恢復(fù)出較DCT進(jìn)行LSB掩蓋更高視覺質(zhì)量的圖像。

綜上，所提出的平面視頻圖像的錯(cuò)誤掩蓋算法如表1所示，將其分為三大類，即基于插值、基于數(shù)字水印和基于場(chǎng)交織的算法，分別在應(yīng)用條件、恢復(fù)效果和存在的問題進(jìn)行分析比較。

4 立體視頻的錯(cuò)誤掩蓋

最初對(duì)于立體視頻進(jìn)行的錯(cuò)誤掩蓋是對(duì)丟失或出錯(cuò)的宏塊進(jìn)行操作，如文獻(xiàn)[30]中的重疊塊運(yùn)動(dòng)視差補(bǔ)償技術(shù)，選擇候選矢量來構(gòu)造候選替代塊，該候選塊中的像素的加權(quán)平均可得到新的替代塊的像素。這種算法簡(jiǎn)單易操作，但是其時(shí)域相關(guān)性沒有得到充分利用，當(dāng)視頻的整幀丟失時(shí)，該算法易造成嚴(yán)重的錯(cuò)誤繁衍。

文獻(xiàn)[31]中在時(shí)域與幀間結(jié)合的而錯(cuò)誤掩蓋將視點(diǎn)分為奇偶視點(diǎn)，分別以其相鄰的幀作為參考幀進(jìn)行錯(cuò)誤掩蓋，其中偶視點(diǎn)的第一幀用其左邊的幀作為參考幀，奇視點(diǎn)的第一幀用其右邊的幀作為參考幀。

表1 平面視頻的錯(cuò)誤掩蓋算法的對(duì)比總結(jié)

算法應(yīng)用條件恢復(fù)效果存在問題加權(quán)平均插值錯(cuò)誤塊的相鄰像素有模糊感,邊緣處不平滑空間域的冗余信息利用率不高,周圍像素的利用不充分邊緣檢測(cè)和方向插值邊緣算子優(yōu)于單一的加權(quán)平均插值,邊緣處較平滑不易操作實(shí)現(xiàn),會(huì)引起虛假邊緣基于數(shù)字水印信源中嵌入水印信息優(yōu)于僅在解碼端進(jìn)行的基于插值算法,但丟包率增大時(shí),恢復(fù)質(zhì)量急劇下降信源輕微降級(jí),編碼和解碼需要同時(shí)進(jìn)行,算法復(fù)雜度高基于場(chǎng)交織高丟包率,圖像質(zhì)量嚴(yán)重受損優(yōu)于其他算法掩蓋數(shù)據(jù)時(shí)局限于加權(quán)平均插值或雙線性插值

文獻(xiàn)[32]根據(jù)不同的光照視點(diǎn)變化對(duì)立體視頻的錯(cuò)誤性能產(chǎn)生影響，從而提出了一種基于光照補(bǔ)償?shù)腻e(cuò)誤掩蓋方法。該方法首先利用立體匹配獲得精確的視差向量，在光照變化時(shí)，從鄰近的宏塊進(jìn)行光照補(bǔ)償?shù)膹?fù)制。

文獻(xiàn)[33]與文獻(xiàn)[34]提出了顏色加深度信息流的立體視頻的錯(cuò)誤掩蓋。其中文獻(xiàn)[33]是針對(duì)彩色/紋理圖像利用深度信息和彩色信息進(jìn)行錯(cuò)誤掩蓋,為了掩蓋一個(gè)錯(cuò)誤的左色彩幀，推斷出運(yùn)動(dòng)矢量進(jìn)行時(shí)域掩蓋；利用相應(yīng)的左色彩幀對(duì)出錯(cuò)的左深度幀進(jìn)行掩蓋；對(duì)于右色彩幀，采用立體圖像變形技術(shù)來確定像素匹配以及運(yùn)動(dòng)矢量的重建進(jìn)行錯(cuò)誤掩蓋；對(duì)于右深度幀的錯(cuò)誤，使用右色彩幀和左色彩幀的MV進(jìn)行掩蓋。文獻(xiàn)[34]對(duì)其有所改進(jìn)，利用深度信息的相關(guān)性，接收到的彩色/紋理信息來恢復(fù)丟失另一彩色/紋理信息。

分析比較立體視頻的錯(cuò)誤掩蓋算法，將近年來的各種算法在應(yīng)用條件、恢復(fù)效果和存在的問題進(jìn)行對(duì)比總結(jié)，如表2所示。

5 總結(jié)

本文主要分析了二維視頻和立體視頻在錯(cuò)誤掩蓋方面的主要算法，并將其算法的優(yōu)缺點(diǎn)進(jìn)行比較。現(xiàn)有的錯(cuò)誤掩蓋算法面臨著很多問題，如方向插值算法雖然對(duì)邊緣的恢復(fù)較理想，但會(huì)引起虛假邊緣[35]。

表2 立體視頻的錯(cuò)誤掩蓋算法的對(duì)比總結(jié)

算法應(yīng)用條件恢復(fù)效果存在問題傳統(tǒng)時(shí)域掩蓋時(shí)間相關(guān)性對(duì)于靜止或運(yùn)動(dòng)小的圖像恢復(fù)效果較好涉及到之前的幀,不易操作實(shí)現(xiàn),會(huì)出現(xiàn)方塊效應(yīng)傳統(tǒng)空域掩蓋空間相關(guān)性良好,一般優(yōu)于時(shí)域算法高丟包率下掩蓋效果差重疊快運(yùn)動(dòng)視差補(bǔ)償視點(diǎn)間相關(guān)性若無整幀丟失情況,效果較理想易造成嚴(yán)重的錯(cuò)誤繁衍基于彩色/紋理信息深度信息和彩色信息一般優(yōu)于其他算法對(duì)深度信息要求較高,在深度信息不準(zhǔn)確或有錯(cuò)誤的情況下完成錯(cuò)誤掩蓋需進(jìn)一步研究基于光照補(bǔ)償光照視點(diǎn)的變化良好復(fù)雜度高,應(yīng)用較少

文獻(xiàn)[29]的新算法中對(duì)于恢復(fù)錯(cuò)誤圖像有較好的效果，但其在解碼端的插值算法仍局限于已有的加權(quán)平均插值或雙線性插值。

對(duì)于平面視頻，可將已有的數(shù)字水印技術(shù)結(jié)合場(chǎng)交織圖像的特征，使當(dāng)前基于場(chǎng)交織圖像的錯(cuò)誤掩蓋技術(shù)的掩蓋質(zhì)量得到進(jìn)一步提高。

立體視頻在錯(cuò)誤掩蓋方面頗具挑戰(zhàn)性，因此有幾個(gè)問題值得注意：參考幀的選取在錯(cuò)誤掩蓋過程中對(duì)于圖像的恢復(fù)質(zhì)量起決定性作用，因此選取更有效的參考圖像至關(guān)重要；進(jìn)行錯(cuò)誤掩蓋時(shí)算法的復(fù)雜度可由預(yù)測(cè)錯(cuò)誤塊的方式?jīng)Q定，并且大部分圖像都選取多幀參考，因此也應(yīng)該考慮參考幀中的預(yù)測(cè)模式信息的有效利用。

[1] GUO Y，CHEN Y，WANG Y，et al. Error resilient coding and error concealment in scalable video coding[J]. IEEE transactions on circuits and systems for video technology, 2009, 19(6): 781-795.

[2] SEILER J, SCHOBERI M, KAUP A. Spatio-temporal error concealment in video by denoised temporal extrapolation refinement[C]//Proc. IEEE International Conference on Image Processing. [S.l.]：IEEE, 2013: 1613-1616.

[3] TRISTA P, MAURICE G B. Fast DCT-based spatial domain interpolation of blacks in images[J]. IEEE transactions on image processing, 2002(9)：729-732.

[4] SUPERIORI L, NEMETHOVA O, RUPP M. Error concealment analysis for H.264/advanced video coding encoded video sequences[J]. E & i elektrotechnik and informationstechnik, 2012, 129(6)：387-399.

[5] 王昊京，王建立，王鳴浩，等. 采用雙線性插值收縮的圖像修復(fù)方法[J].光學(xué)精密工程，2010, 18(5):1234-1241.

[6] KUNG W Y, KIM C S, KUO C C J. Spatial and temporal error concealment techniques for video transmission over noisy channels[J]. IEEE transactions on circuits and systems for video technology,2006，16(7):789-802.

[7] 王威, 楊靜, 劉西振. 一種基于H.264后處理空域錯(cuò)誤隱藏方法[J]. 計(jì)算機(jī)與現(xiàn)代化, 2011(6): 1-4.

[8] FREITAS P G, RIGONI R, FARIAS M C Q, et al. Error concealment using a halftone watermarking technique[C]//Proc. IEEE SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI). Ouro Preto：IEEE, 2012:308-315.

[9] KIM K S, LEE H Y, LEE H K. Spatial error concealment technique for losslessly compressed images using data hiding in error-prone channels[J]. Journal of communications and networks, 2010, 12(2):168-173.

[10] YAO Y Z, ZHANG W M, YU N H. Adaptive video error concealment using reversible data haiding[C]//Proc. IEEE International Conference on Multimedia Information Networking and Security(MINES). Nanjing：IEEE, 2012:658-661.

[11] 劉志博，范九倫. 基于小波提升的公有水印算法[J].西安郵電大學(xué)學(xué)報(bào)，2004, 15(3)：53-58.

[12] LI D, WU J Q. The test and analysis of fmo model in error concealment based on H.264[C]//Proc. ICCSE International Conference on Computer Science and Education, Final Program and Proceedings. [S.l.]：ICCSE，2011: 330-332.

[13] 趙志剛，陳姝，王國棟，等. 基于運(yùn)動(dòng)估計(jì)的模糊圖像盲復(fù)原[J]. 光電子·激光，2012, 23(10): 2010-2016.

[14] SULLIVAN G J , OHM J R , HAN W J , et al. Overview of the high efficiency video coding (HEVC) standard[J]. IEEE transactions on circuits and systems for video technology, 2012, 22(12): 1649-1668.

[15] NIGHTINGALE J. WANG Q, GRECOS C. HEVStream: a framework for streaming and evaluation of high efficiency video coding (HEVC) content in loss-prone networks[J]. IEEE transactions on consumer electronics, 2012, 58(2):404-412.

[16] MULLER K, SCHWARZ H, MARPE D, et al. 3D high-efficiency video coding for multi-view video and depth data[J]. IEEE transactions on image processing, 2013, 22(9): 3366-3378. [17] DOMANSKI M，STANKIEWICZ O，WEGNER K，et al. High efficiency 3D video coding using new tools based on view synthesis[J]. IEEE transactions on image processing, 2013, 22(9):3517-3527.

[18] VAN W G, Van L S, DE C J. 3D video compression based on high efficiency video coding[J]. IEEE transactions on consumer electronics, 2012, 58(1): 137-145.

[19] BEHEIRY E N, MOHAMED E S, MONA L, et al. An adaptive fast and efficient spatial error concealment technique for block-based video coding systems[C]//Proc. IEEE International Midwest Symposium on Circuits and Systems. [S.l.]：IEEE, 2009: 663-668.

[20] KIM M, LEE H, SULL S. Spatial error concealment for H.264 using sequential directional interpolation[J]. IEEE transactions on consumer electronics, 2008，54(4):1811-1818.

[21] NANGAM P, KUMWILAISISAK W, KEAWKUMNERD S. New spatial error concealment with texture modeling and adaptive directional recovery[C]//Proc. IEEE International Conference on Electrical Engineering/Electronics Computer Telecommunications and Technology (ECTI-CON). Chiang Mai：IEEE, 2010: 703-707.

[22] XU Y L, ZHOU Y H. Adaptive temporal error concealment scheme for H.264/AVC video decoder[J]. IEEE transactions on consumer electronics, 2008, 54(4):1846-1851.

[23] GARCIA V M S, GARCIA R A F, RAMIREZ A A A. Image processing for error concealment[C]//Proc. 10th Mexican International Conference on Artificial Intelligence: Advances in Artificial Intelligence and Applications. [S.l.]：MICAI，2011: 133-138.

[24] HUANG Y L , LIEN H Y. Temporal error concealment for MPEG coded video using a self-organizing map[J]. IEEE transactions on consumer electronics, 2006,52(2): 676-681.

[25] YUE W Y, ZHANG N, YIN B. A novel parallel fast motion estimation algorithm[C]//Proc. International Conference on Intelligent Sensing and Information. [S.l.]：ICISIP, 2005: 378-381.

[26] 曹瑞.一種用于H.264的改進(jìn)UMHexagonS算法[J].電視技術(shù), 2015, 39(9): 28-31.

[27] 艾達(dá), 常義林. 一種新的空間域圖像錯(cuò)誤掩蓋方法[J].光子學(xué)報(bào)，2008, 37(2): 388-390.

[28] ASHERI H, RABIEE H R, POURDAMGHANI N, et al. A Gaussian process regression framework for spatial error concealment with adaptive Kernels[C]//Proc. IEEE International Conference on Pattern Recognition (ICPR). Istanbul：[s.n.]：2010: 4541-4544.

[29] 艾達(dá)，周志慧. 一種新的圖像分場(chǎng)描述編碼錯(cuò)誤掩蓋算法[J]. 計(jì)算機(jī)應(yīng)用研究，2015，32(8):2558-2560.

[30] XIANG X, ZHAO D, WANG Q, et al. A novel error concealment method for stereoscopic video coding[C]//IEEE International Conference on Image Processing. [S.l.]：IEEE, 2007:101-104.

[31] SHAFAI W E，HRUSOVSKY B， MOSTAFA E K， et al. Joint space-time-view error concealment algorithms for 3D multi-view video[C]//IEEE International Conference on Image Processing. [S.l.]：IEEE， 2011: 2201-2204.

[32] YANG S, ZHAO Y, WANG S G, et al. Error concealment for stereoscopic video using illumination compensation[J]. IEEE transactions on consumer electronics, 2011,57(4): 181-182.

[33] CHUNG T Y，SULL S H，KIM C S. Frame loss concealment for stereoscopic video plus depth sequences[J]. IEEE transactions on consumer electronics, 2012,57(3): 1336-1344.

[34] LIE W N，LIN G H. Error concealment for 3D video transmission[C]//Proc. IEEE International Symposium on Circuits and Systems. [S.l.]：IEEE, 2013: 2856-2859.

[35] AGRAFIOTIS D, BULL D R. Spatial error concealment with edge related perceptual considerations[J]. Signal Processing: Image Communication， 2006, 21(2): 130-142.

Survey of error concealment techniques in video and image

AI Da,YANG Zhen

(SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostandTelecommunications,Xi’an710121,China)

According to different types of coded frames used by different techniques, traditional Error Concealment (EC) techniques are divided into spatial, temporal or the combination of both types of information to recover the data lost in transmitted video. In this paper, existing EC techniques are reviewed in decade years based on H.264/AVC coding standard, which include traditional EC, based on field interlaced and digital watermarking EC, as well as based on 3D video EC. The paper discusses the advantages and limitations of these algorithms. At the end, the development prospects in the future are proposed.

error concealment; three-dimensional video; field interlaced; digital watermarking

艾達(dá)，楊珍.視頻錯(cuò)誤掩蓋技術(shù)進(jìn)展[J]. 電視技術(shù)，2017,41(2)：1-5. AI D, YANG Z.Survey of error concealment techniques in video and image[J]. Video engineering，2017,41(2)：1-5.

TN911.73

A

10.16280/j.videoe.2017.02.001

2016-04-26

艾 達(dá)(1975— )，博士，高級(jí)工程師，碩士生導(dǎo)師，主研數(shù)字圖像處理研究、多媒體通信；

楊 珍(1992— )，女，碩士生，主研刑偵圖像處理。

責(zé)任編輯：薛 京