結(jié)合顯著性的MVD視頻整幀丟失錯誤隱藏

崔金鵬，周 洋，殷海兵，黃曉峰，陸 宇

（杭州電子科技大學(xué)通信工程學(xué)院,浙江杭州 310018）

1 引言

目前三維（Three Dimension，3D）視頻日漸獲得人們的關(guān)注與喜愛，為此國際標(biāo)準(zhǔn)化組織推出了高性能3D視頻編碼標(biāo)準(zhǔn)（3D High Efficiency Video Coding，3DHEVC）來對3D視頻數(shù)據(jù)進(jìn)行高效壓縮.然而壓縮后的3D數(shù)據(jù)包在無線信道下傳輸時易發(fā)生數(shù)據(jù)包丟失，進(jìn)而造成解碼出錯［1］.錯誤隱藏技術(shù)是利用碼流幀間和幀內(nèi)的冗余性來重建丟失幀信息，但由于傳統(tǒng)二維視頻編碼主要基于IPPP預(yù)測結(jié)構(gòu)，其相應(yīng)的錯誤隱藏方法對于基于分層B幀預(yù)測結(jié)構(gòu)（Hierarchical B Prediction，HBP）的3D視頻適用性較差.

根據(jù)編碼中有無深度信息，3D視頻數(shù)據(jù)格式主要分為無深度信息的多視點視頻與多視點視頻加深度序列兩類.針對多（或雙）視點視頻傳輸中的整幀丟失，文獻(xiàn)［2，3］利用相鄰視點運動矢量（Motion Vector，MV）的相似性來重建當(dāng)前視點的丟失幀，文獻(xiàn)［4］利用MV外推技術(shù)來恢復(fù)丟失幀.但文獻(xiàn)［2，3］是基于傳統(tǒng)IPPP預(yù)測結(jié)構(gòu)，未面向HBP預(yù)測結(jié)構(gòu)的多視點視頻.文獻(xiàn)［4］中的運動矢量外推技術(shù)更適用于IPPP編碼結(jié)構(gòu)，在雙向分層編碼的HBP結(jié)構(gòu)下難取得良好的效果.針對多視點視頻中部分宏塊（Macro Block，MB）丟失的錯誤隱藏，主要方法有宏塊分類修復(fù)法［5］、數(shù)據(jù)隱藏［6］、貝葉斯濾波法［7］.但文獻(xiàn)［5～7］只能解決單幀圖像中的部分塊出錯并未面向整幀丟失的問題.此外，文獻(xiàn)［2～7］都是基于H.264/AVC（Advanced Video Coding）編碼標(biāo)準(zhǔn)壓縮后的視頻流進(jìn)行錯誤隱藏，未針對目前流行的H.265/HEVC壓縮視頻流.

多視點視頻加深度的錯誤隱藏除了利用視點內(nèi)時空相關(guān)性與視點間相關(guān)性外，還可采用深度信息來提升重建質(zhì)量.其中，深度序列的時域平滑度［8］、視點間兩對應(yīng)塊間的深度值差異［9］以及重建塊與周邊塊之間的深度差［10］等常被用于丟失塊的MV和視差矢量（Disparity Vector，DV）恢復(fù)上.面向視頻幀整幀丟失，Tai等［11］采用高精度運動估計和深度圖信息外推來重建丟失幀.Khattak等［12］采用一致性模型來對中間視點整幀丟失進(jìn)行錯誤隱藏.Lin等［13］利用深度差對參考像素進(jìn)行加權(quán)來恢復(fù)丟失幀.此外，針對深度圖出錯問題，近來常用方法有基于模糊推理的自適應(yīng)錯誤隱藏法［14］、結(jié)合輪廓曲線擬合的三步錯誤隱藏法［15］、采用像素聚類的空洞隱藏法［16］、繪制驅(qū)動的多模式隱藏法［17］.但是，文獻(xiàn)［8～16］是針對H.264/AVC標(biāo)準(zhǔn)壓縮后的視頻流進(jìn)行錯誤隱藏，且大多數(shù)碼流都是基于IPPP編碼結(jié)構(gòu)的，尚未針對基于HBP編碼結(jié)構(gòu)的3D-HEVC標(biāo)準(zhǔn)展開研究.文獻(xiàn)［14～17］都是面向深度圖丟失的隱藏算法，無法有效地重建丟失的彩色圖.

當(dāng)3D視頻在傳輸中發(fā)生彩色圖整幀丟失時，首先由于沒有相鄰塊作為參考信息，無法利用基于空域的鄰塊信息來恢復(fù)丟失塊，因此面向部分宏塊丟失的錯誤隱藏算法不能直接應(yīng)用于整幀丟失中；其次，如果依靠對應(yīng)的深度圖信息進(jìn)行重建，由于彩色圖整幀丟失不能準(zhǔn)確地提取深度圖與彩色圖之間的相關(guān)性，導(dǎo)致其恢復(fù)效果不夠理想；最后由于3D-HEVC編碼標(biāo)準(zhǔn)在編碼端采用雙向分層預(yù)測的HBP結(jié)構(gòu)，解碼端的錯誤隱藏方法也需基于HBP結(jié)構(gòu)來設(shè)計.

針對上述存在的問題，本文基于3D-HEVC編碼標(biāo)準(zhǔn)，提出了一種結(jié)合立體視覺顯著性的彩色圖整幀丟失錯誤隱藏方法.不同于先前算法，本文算法是首個基于3D-HEVC編碼標(biāo)準(zhǔn)的多視點視頻加深度格式的3D視頻彩色圖整幀丟失錯誤隱藏算法；同時，結(jié)合了3D視頻的視覺顯著性，根據(jù)整幀丟失圖像各編碼單元的顯著性等級不同進(jìn)行分區(qū)錯誤隱藏.

2 顯著性圖提取

首先提取丟失圖像的分塊顯著性圖，然后根據(jù)各丟失區(qū)域的視覺顯著性等級不同采用不同的錯誤隱藏方法.圖1所示為分塊顯著性圖提取總體流程框圖，先分別求出運動顯著性圖、深度顯著圖和深度邊緣顯著圖，然后將運動顯著圖和深度顯著圖相互融合獲取運動深度顯著圖，最后將塊化后的運動深度顯著圖與塊化后深度邊緣顯著圖相互融合，獲取最終的塊化顯著等級圖.

圖1 分塊顯著性圖提取流程框圖

2.1 運動顯著性圖

運動顯著性圖能反映視頻序列中物體的運動顯著性［18］.將相鄰可用視點作為參考視點，在時域上獲取當(dāng)前丟失幀F(xiàn)n的前向參考幀F(xiàn)n，t-k和后向參考幀F(xiàn)n，t+k，并在視點域上獲取當(dāng)前時刻的相鄰視點參考幀F(xiàn)n-1，t，求得丟失幀中像素p的運動顯著性Sm（p）如下：

其中下標(biāo)n表示視點位置，t表示時域位置，pn，t-k，pn，t+k和pn-1，t分別表示在Fn，t-k，F(xiàn)n，t+k和Fn-1，t與p同位置的像素值.

2.2 深度顯著性圖

通常來說，深度圖中像素值大的前景區(qū)域?qū)θ搜郛a(chǎn)生的視覺刺激大，像素值小的背景區(qū)域產(chǎn)生的視覺刺激小.但深度像素值并不能直接決定物體的顯著程度，有時距離相機較近的物體的顯著程度不一定高，比如地面.物體的顯著程度還與深度值變化快慢有關(guān)，圖像中深度值變化大的區(qū)域一般是顯著程度高的區(qū)域［19］.

考慮到深度圖只包含一路反映拍攝景物距離遠(yuǎn)近的灰度信息，而彩色圖攜帶包含豐富紋理信息的Y/U/V三路通道的信息，深度圖編碼后的比特流要遠(yuǎn)小于彩色圖的編碼比特流，因此在無線傳輸中深度圖發(fā)生數(shù)據(jù)包丟失的概率也低.當(dāng)彩色圖發(fā)生整幀丟失時，可假設(shè)其對應(yīng)的深度圖未丟失.深度圖顯著性求取分兩步，先對深度圖進(jìn)行加權(quán)預(yù)處理：

其中，z是深度圖中與p同位置的像素點，dz表示深度圖中z點像素的深度值表示深度圖中z點所在行的平均像素值，d'z表示處理后z點的深度值.

然后再結(jié)合深度圖的深度值對比度來提取顯著性，基于區(qū)域?qū)Ρ榷龋?0］的像素點z的深度顯著性Sd（z）計算公式如下：

其中，C（r）表示預(yù)處理后深度圖中像素值為r的像素點出現(xiàn)頻率，即C（r）=m/（W×H），m表示深度值為r的像素點個數(shù)，W、H分別為視頻圖像的寬度和高度.

2.3 深度邊緣顯著性圖

物體的邊緣區(qū)域是前景與背景的分界，其深度差較大，往往更受人眼的關(guān)注［21］.提取深度邊緣顯著性是采用Sobel梯度算子來計算深度圖各像素點的邊緣梯度.設(shè)輸入深度圖為Id，將它分別與Sobel橫向、縱向算子作卷積：

其中，Gx和Gy分別代表水平梯度值和垂直梯度值.深度圖中每個像素點z的梯度幅值G（z）為

考慮到處于背景區(qū)域的物體邊緣和深度值變化平緩的邊緣并不顯著，需要對各像素點的邊緣梯度幅值進(jìn)行閾值化處理.將邊緣梯度幅值大于閾值t1的深度像素點所對應(yīng)的像素值設(shè)為255，其余設(shè)為0，得到像素z處的邊緣顯著性值Se（z）為

其中，二值化閾值t1是綜合6種不同測試序列的平均實驗結(jié)果獲得，在本文實驗中t1值設(shè)定為120.

2.4 各維顯著性圖融合與塊化處理

先將深度顯著圖與運動顯著圖相互融合得到運動深度顯著性圖，再將塊化后的運動深度顯著性圖與塊化后的深度邊緣顯著性圖相融合得到最終顯著性圖.

目前融合算法主要有最大值融合和乘性融合兩種方法.實驗發(fā)現(xiàn)采用最大值融合后的顯著性圖中像素值大的像素點比較稀疏，這會導(dǎo)致塊化過程中閾值選取存在誤差，而乘性融合后的顯著圖的像素點十分密集，不易受閾值選取誤差的影響，因此本算法采用乘性融合法.將運動顯著性圖中各像素值與深度顯著性圖中對應(yīng)同位置像素值相乘，并做二值化處理（乘積大于閾值t2的像素值設(shè)為128，其余設(shè)為0），得到運動深度融合顯著性圖Smd，其融合后像素z處的顯著性值為

對于運動深度融合顯著性圖Smd中每個尺寸為64×64的編碼單元塊（CTU），如果有超過t3個像素值為128的像素點，則將該CTU內(nèi)全部像素點的像素值都設(shè)為128，得到塊化后的顯著性圖SmdB.

同理，對深度邊緣顯著性圖Se進(jìn)行塊化處理.對于Se中的各個CTU，如果有超過t3個像素值為255的像素點，則該CTU的像素值都設(shè)為255，得到塊化SeB.在這里，閾值t2和t3是在3D-HEVC標(biāo)準(zhǔn)組織推薦的6種多視點測試序列上，通過實驗結(jié)果比較后將t2和t3值分別設(shè)為50和10.

融合SmdB和SeB得到最終的塊化顯著性圖SB：

然后將SB中像素值為255的區(qū)域設(shè)為高顯著等級區(qū)域，像素值為0的區(qū)域設(shè)為低顯著等級區(qū)域，像素值為128的區(qū)域設(shè)為中顯著等級區(qū)域.各顯著圖計算結(jié)果見圖2.

圖2 各維顯著性圖與塊化后的顯著性圖

圖2（f）所示為最終顯著性圖，圖中灰色區(qū)域是中顯著等級區(qū)域，該區(qū)域沒有顯著物體的邊緣，屬于人眼較為關(guān)注區(qū)域，白色區(qū)域是人眼最關(guān)注的高顯著等級區(qū)域，即深度邊緣顯著性圖與融合顯著性圖重合的區(qū)域，剩下的黑色區(qū)域是人眼不關(guān)注的低顯著等級區(qū)域.

3 丟失幀重建

3.1 重建低顯著等級區(qū)域

低顯著等級區(qū)域一般由靜止塊或背景塊構(gòu)成，可采用傳統(tǒng)的時域像素拷貝法便能達(dá)到良好的重建效果，因此本算法選取當(dāng)前視點后向參考幀的同位置像素來填補處于低顯著等級區(qū)域的丟失塊.

3.2 重建中顯著等級區(qū)域

中等顯著等級區(qū)域中的丟失塊多為前景塊或運動塊.考慮到運動塊的運動特征，本算法對均勻運動塊和非均勻運動塊，分別采用時域搜索像素法和視點間搜索像素法進(jìn)行填補.先將丟失幀中每個尺寸為64×64的丟失塊以樹形編碼結(jié)構(gòu)的方式劃分為4個32×32的子塊，下文僅以一個丟失子塊U為例進(jìn)行說明.

3.2.1 時域搜索像素填補

如果丟失塊U的運動是均勻的，那么對U設(shè)定一個時域搜索值，經(jīng)過子像素精度搜索總能在當(dāng)前視點前向參考幀和后向參考幀中找到同尺寸的匹配塊Uf和Ub.通過計算Uf和Ub內(nèi)像素的平均絕對差值的最小值來確定最優(yōu)搜索值：

其中（x，y）表示丟失塊內(nèi)像素的坐標(biāo)，xs和ys分別為水平和垂直方向的搜索值，通過實驗設(shè)定xs和ys的范圍為［-16，16］，（xs0，ys0）為最優(yōu)搜索值，N×N表示U的尺寸.

求得兩塊內(nèi)像素的平均絕對差值的最小值為D，將D和運動閾值t4進(jìn)行比較.若D＜t4，則認(rèn)為對應(yīng)的塊Uf和塊Ub相似.其中，閾值t4取值由實驗得到，當(dāng)t4為3時獲得的平均實驗結(jié)果相對最優(yōu).

根據(jù)時域相關(guān)性，丟失塊U與Ub和Uf也相似，因此丟失塊U中的像素值可由兩塊像素的加權(quán)平均值填補：

3.2.2 視點間搜索像素填補

若求得的最小差值D≥t4，則搜索到的Ub與Uf不相似，說明丟失塊U的運動是不均勻的.本算法利用視點間相關(guān)性在視點域搜索匹配塊進(jìn)行隱藏.圖3所示為非均勻運動示意圖，對Uf設(shè)定一個視點間搜索值df，在參考視點R的前向參考幀中搜索匹配塊UR，f，同理對Ub設(shè)定搜索值db，在后向參考幀中尋找匹配塊UR，b；然后根據(jù)相對最優(yōu)的視點間搜索值（視差值）計算出丟失塊U的視點間匹配塊UR.

圖3 非均勻運動示意圖

由于平行排列的多視點相機主要是水平視差，只需在水平方向搜索，因此視點間搜索范圍可適當(dāng)擴(kuò)大，df和db的取值范圍可設(shè)為［-64，64］.計算塊Uf和塊UR，f內(nèi)像素值的平均絕對差值Df：

求得前向視點間最優(yōu)搜索值df0和Df的最小值Df0，即：

同理，計算Ub與UR，b的像素值平均絕對差值Db：

記錄最優(yōu)后向搜索值db0和最小值Db0：

若Db0≥Df0，采用df0做視差補償?shù)玫絹G失塊U的視點間匹配塊UR，并用UR中的像素值填充丟失塊U：

否則，采用db0作視差補償?shù)玫狡ヅ鋲KUR，并填充丟失塊U：

3.3 重建高顯著等級區(qū)域

高顯著等級區(qū)域是人眼最關(guān)注的前景物體或者運動物體的邊緣區(qū)域，若單純采用視點間搜素像素填補，當(dāng)參考視點前后參考幀的搜索塊與當(dāng)前視點前后參考幀的搜索塊相似度不高時，產(chǎn)生的誤差會對最終重建幀的主觀質(zhì)量造成較大影響.因此本算法在視點間兩塊相似時，采用視點間搜索法進(jìn)行重建；當(dāng)視點間兩塊不相似時，進(jìn)一步提出了一種新的MV選擇方法進(jìn)行運動補償重建丟失塊.

3.3.1 視點間搜索像素填補

若Df0和Db0都小于視點間塊相似閾值t5時，則認(rèn)為視點間兩匹配塊相似，否則兩塊不相似，其中t5的取值由實驗比較獲得，t5取值為2.當(dāng)視點間匹配塊Uf與UR，f相似，Ub與UR，b相似，那么塊U與塊UR也相似；則采用節(jié)3.2.2中的視點間搜索像素填補法重建U中的像素.

3.3.2 新型MV運動補償

若視點間匹配塊不相似，先計算丟失塊U的視點間對應(yīng)塊URC的初始坐標(biāo)：

其中x0、xR，f0、xR，b0和xR，0分別為塊U、UR，f、UR，b和URC左上角像素的水平坐標(biāo).

令（xR，0，yR，0）為塊URC的左上角像素坐標(biāo)，而URC必隸屬于參考視點當(dāng)前幀中64×64（CTU大?。┑木幋a單元塊C.設(shè)塊C左上角像素坐標(biāo)為（xn，yn），獲取C中16個4×4塊（HEVC最小處理單元）的MV并構(gòu)建候選運動矢量集，記為u1，u2，…，u16，如圖4所示（藍(lán)色區(qū)域表示塊URC，灰色區(qū)域表示編碼單元塊C，標(biāo)號1至16的小塊為所選4×4塊）.將32×32大小的塊URC劃分為4個16×16的子塊，記為塊a，b，c和d.雖然存在yR，0=yn和yR，0=yn+32兩種情況，但兩種情況的處理方法相似，下面僅以yR，0=yn為例說明.

圖4 URC與C關(guān)系示意圖

首先，當(dāng)xR，0=xn時，根據(jù)HEVC中運動矢量的選取方法，塊a、b、c、d應(yīng)分別采用2、4、10、12號塊的運動矢量u2、u4、u10、u12進(jìn)行重建；當(dāng)xR，0=xn+32時，采取6、8、14、16號塊中的運動矢量u6、u8、u14、u16進(jìn)行重建.考慮到URC是通過估計得到，其位置會在塊C中水平移動，還需分四種情況進(jìn)行運動補償：

（1）0＜xR，0-xn＜16：塊a、b、c、d分別選用2、5、10、13號塊的運動矢量u2、u5、u10、u13進(jìn)行運動補償.

（2）16≤xR，0-xn＜32：塊a、b、c、d分別選用4、7、12、15號塊中的運動矢量u4、u7、u12、u15進(jìn)行運動補償.

（3）32≤xR，0-xn＜48：塊a、b、c、d分別選用6號、14號的運動矢量u6、u14和右相鄰C塊中1號、9號位置塊的運動矢量u1、u9進(jìn)行運動補償.

（4）48≤xR，0-xn＜64：塊a、b、c、d分別選用8號、16號塊中的運動矢量u8、u6，以及右相鄰的C塊中3號、11號塊的運動矢量u3、u11進(jìn)行補償.

其中，運動補償采用3D-HEVC中基于亞像素插值的運動補償法，對URC的四個子塊分別進(jìn)行運動補償后得到UR，并用UR中的像素值填補丟失塊U.

4 實驗結(jié)果與分析

4.1 實驗條件設(shè)置

為了客觀評價算法性能，本文算法被嵌入至HTM16.1平臺，測試數(shù)據(jù)集為Lovebird1、PoznanStreet、BookArrival、Newspaper、Kendo和Balloons這六種 不 同類型的MVD視頻序列，其中PoznanStreet的分辨率為1920×1088 px，其余序列為1024×768 px.主機配置為：Intel Corei5-3407，3.20 GHz處理器，4.00 GB內(nèi)存.實驗環(huán)境設(shè)置如下：（1）各測試序列采用HBP預(yù)測結(jié)構(gòu)進(jìn)行編碼，視頻編碼組（Group Of Picture，GOP）長度設(shè)置為8；（2）量化參數(shù)（Quantization Parameter，QP）設(shè)置為25、28和30；編碼幀率為25 f/s，每個序列共測試了97幀；（3）實驗對比采用逐幀比較的方法.在實驗中，考慮到I幀是每個GOP的起始幀，也是視頻編碼中的關(guān)鍵幀，在傳輸過程中采用高等級不等錯保護(hù)，因此假設(shè)I幀不出錯，非關(guān)鍵幀發(fā)生整幀丟失.

基于HBP編碼結(jié)構(gòu)的3D-HEVC視頻流整幀丟失錯誤隱藏算法尚未見報道，本文選用了四種典型的3D視頻錯誤隱藏算法進(jìn)行性能比較.（1）Jeon［22］：將Jeon等提出的基于HEVC標(biāo)準(zhǔn)的整幀丟失錯誤隱藏算法擴(kuò)展到多視點視頻錯誤隱藏中，把參考視點的MV映射到當(dāng)前視點圖像塊上；（2）Song［23］：將Song等提出的基于H.264標(biāo)準(zhǔn)的多視點錯誤隱藏方法延伸到HEVC標(biāo)準(zhǔn)下的整幀丟失錯誤隱藏中，設(shè)計時域搜索、視點間搜索、多假設(shè)錯誤隱藏三種方法，最后根據(jù)模式選擇最優(yōu)準(zhǔn)則自適應(yīng)恢復(fù)；（3）Liu［24］：一種結(jié)合3D-warping和運動矢量共享的整幀丟失錯誤隱藏方法，將該算法從IPPP編碼結(jié)構(gòu)移植到HBP編碼結(jié)構(gòu)；（4）Lin［13］：一種結(jié)合深度差異信息的彩色幀整幀丟失錯誤隱藏算法，將它移植到3D-HEVC平臺上進(jìn)行比較.

4.2 客觀質(zhì)量比較與分析

本文采用PSNR和SSIM作為各算法重建圖像客觀質(zhì)量的評估標(biāo)準(zhǔn).表1統(tǒng)計了QP值分別為25、28和30時，對各測試序列使用不同的錯誤隱藏算法后重建B幀圖像的平均PSNR值.圖5所示為不同算法對PoznanStreet第4視點序列重建PSNR值的逐幀比較折線圖.

表1 經(jīng)不同錯誤隱藏方法后的PSNR值

圖5 PoznanStreet第4視點某GOP中間幀丟失逐幀折線圖

從表1和圖5可以看出，本文算法對不同序列丟失幀的重建效果都有明顯提升：在QP=25時，綜合6個測試序列，本文算法與Jeon算法、Song算法、Liu算法和Lin算法相比，平均PSNR值能分別提高1.41 dB、2.37 dB、0.99 dB和1.57 dB.對于運動較為劇烈的多視點序列，如PoznanStreet，本文方法相比以上四種算法平均PSNR值 能 分 別 提 升2.26 dB、3.63 dB、1.77 dB和2.67 dB；對于運動不劇烈的Balloons和Newspaper序列，本文方法相比Jeon算法、Song算法、Liu算法和Lin算法，平均PSNR值能分別提高0.29和0.60 dB、0.66和1.04 dB、0.21和0.28 dB、0.43和0.63 dB.

在QP=28時，綜合6個測試序列，本文算法與Jeon算法、Song算法、Liu算法和Lin算法相比，平均PSNR值能分別提高1.32 dB、2.23 dB、0.95 dB和1.49 dB.在QP=30時，綜合6個測試序列，本文算法與Jeon算法、Song算法、Liu算法和Lin算法相比，平均PSNR值能分別提高1.26 dB、2.08 dB、0.89 dB和1.41 dB.

同時，重建SSIM值也有著較為顯著的提升（如表2所示）.綜合6個測試序列，在QP=25時，本文算法與Jeon算法、Song算法、Liu算法和Lin算法相比，平均SSIM值分別能提高0.0075、0.0122、0.0053和0.0080.在QP=28時，本文算法與上述四種算法相比，平均SSIM值能分別提高0.0071、0.0118、0.0052和0.0077.在QP=30時，本文算法與Jeon算法、Song算法、Liu算法和Lin算法相比，平均SSIM值分別提高0.0068、0.0112、0.0049和0.0073.

表2 經(jīng)不同錯誤隱藏方法后的SSIM值

本文算法相比對比算法重建效果提升明顯.這是由于Jeon算法是將參考視點當(dāng)前幀信息映射到當(dāng)前視點丟失幀中進(jìn)行重建，但在HBP編碼結(jié)構(gòu)下運動物體的運動信息估計不夠準(zhǔn)確，映射關(guān)系會存在誤差.Song算法由于在HBP編碼結(jié)構(gòu)下視頻的播放順序與解碼順序不同，時域上前后參考幀有時相隔較遠(yuǎn)或在視點域上搜索誤差過大，導(dǎo)致難以搜索到匹配的像素值，其重建效果也不理想.Liu所提算法采用3D-warping與運動矢量共享相結(jié)合的方法，但有時通過共享獲取的運動矢量并不準(zhǔn)確，其恢復(fù)結(jié)果存在一定的失真.Lin算法是面向IPPP預(yù)測結(jié)構(gòu)的，由于新標(biāo)準(zhǔn)下的HBP編碼結(jié)構(gòu)是采用分層雙向預(yù)測的，連續(xù)幀的運動矢量并不相似，因此在HBP編碼結(jié)構(gòu)下不能取得良好的效果.本文算法相比于Jeon算法，它認(rèn)為運動物體及其邊緣具有高視覺顯著性，更加注重運動物體邊緣的恢復(fù)；相比于Song算法，本算法優(yōu)化了時域和視點域的像素搜索，并針對兩種搜索方法都不適用的情況，提出了新的MV補償方法；相比于Liu算法和Lin算法，本算法不使用3D-warping也獲得了良好的重建質(zhì)量.

在差錯傳播方面上，本算法的性能也優(yōu)于其他三種對比算法.圖6所示為GOP中間幀丟失的差錯傳播圖，Liu算法基于3D-warping，參考幀的誤差對整個GOP的影響相對較小.本文算法不僅利用了參考視點當(dāng)前時刻的視頻幀，而且用到了參考視點前后向參考幀，重建圖像質(zhì)量最佳，因此整個GOP受到的差錯影響最小.

圖6 PoznanStreet第4視點GOP中間幀丟失差錯傳播圖

4.3 主觀質(zhì)量比較與分析

圖7所示PoznanStreet序列第4視點第11幀整幀丟失時通過不同錯誤隱藏算法得到的重建圖及其部分區(qū)域的細(xì)節(jié)放大圖.Jeon算法重建結(jié)果及其區(qū)域放大如圖7（b）和7（g）所示，對于時域跨度較大的運動物體，時域參考幀中視點間映射關(guān)系不一定是當(dāng)前幀的視點映射關(guān)系，某些運動區(qū)域會被映射入誤匹配信息，導(dǎo)致部分重建區(qū)域嚴(yán)重塊失真.Song算法是通過前后參考幀的匹配像素SAD值搜索重建像素，但時域搜索的準(zhǔn)確性受到丟失幀與參考幀的參考距離約束，跨度越大搜索所得的像素值越不準(zhǔn)確，導(dǎo)致重建效果不理想，如圖7（c）和7（h）所示.Liu算法對車尾后的背景區(qū)域恢復(fù)效果較差，這是由于車尾部分是3D-warping產(chǎn)生的空洞區(qū)域，采用MV共享法進(jìn)行重建，MV獲取不準(zhǔn)確導(dǎo)致車尾后的背景區(qū)域被車尾區(qū)域填補.Lin算法是基于IPPP結(jié)構(gòu)實現(xiàn)的，移植到HBP結(jié)構(gòu)中后重建的丟失塊運動矢量并不準(zhǔn)確，導(dǎo)致有些運動區(qū)域重建模糊.本文算法車尾和輪胎的邊緣區(qū)采用視點像素搜索以及基于視點域的MV補償，重建主觀質(zhì)量優(yōu)于其他四種算法，同時圖像其它區(qū)域也取得了較佳的重建效果，如圖7（f）和7（k）所示.

圖7 PoznanStreet視點4第11幀各算法重建結(jié)果及其放大圖

圖8表示當(dāng)Newspaper序列發(fā)生整幀丟失時采用不同算法的重建圖.該幀運動狀態(tài)較為靜止，主要比較人手與杯子形成的區(qū)域.本文算法重建效果優(yōu)于其他算法，如圖8（b）～（f）所示，Jeon算法中手與杯子采用了相鄰塊的運動矢量從而造成了手指的部分重疊，Song算法中杯子附近人衣處的像素采用了杯子像素與衣服像素的加權(quán)值，Liu算法由于遮擋關(guān)系在warping過程中會產(chǎn)生細(xì)微的偽影，其手與杯子部分比較模糊，Lin算法由于其運動矢量估計并不準(zhǔn)確，其移動的手和杯子部分比較模糊.

圖8 Newspaper第4視點第33幀各算法重建效果圖

4.4 算法復(fù)雜度

本文通過各測試序列在不同算法下的平均解碼時間來評價各算法的復(fù)雜度，計算方法如下：

其中N為實驗一共加入的丟失幀數(shù)目，Ti表示解碼第i個丟失幀所需要的時間.測試結(jié)果如表3所示，Liu算法和Lin算法都使用了3D-warping，繪制時間比普通解碼時間長；Jeon算法對每個圖像塊都采取視點映射方法填補，因此相比Song算法，Jeon算法的解碼時間稍長；本文算法與Song的解碼時間相近，但是綜合考慮重建圖像的主觀質(zhì)量與客觀質(zhì)量，本文算法的性能是最優(yōu)的.

表3 各算法重建單幀平均所需的解碼時間 s

5 結(jié)束語

針對MVD視頻流在傳輸中發(fā)生彩色圖整幀丟失的問題，提出了一種基于3D-HEVC編碼標(biāo)準(zhǔn)的視頻整幀丟失錯誤隱藏算法.該算法在隱藏過程中結(jié)合了人類視覺的感知特性，將丟失幀各區(qū)域劃分為不同的顯著等級，進(jìn)而提出相適應(yīng)的隱藏方法進(jìn)行各區(qū)域重建，實驗結(jié)果表明本文算法取得了良好的性能，可應(yīng)用于基于3D-HEVC編碼標(biāo)準(zhǔn)的MVD視頻流錯誤隱藏中.