多視角分布式視頻編碼中基于置信度的時(shí)空邊信息融合

黃碧波　唐振華,2,3*　覃團(tuán)發(fā),2,3

1(廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院　廣西 南寧 530004)2(廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室培育基地　廣西 南寧 530004)3(廣西高校多媒體通信與信息處理重點(diǎn)實(shí)驗(yàn)室　廣西 南寧 530004)

?

多視角分布式視頻編碼中基于置信度的時(shí)空邊信息融合

黃碧波1唐振華1,2,3*覃團(tuán)發(fā)1,2,3

1(廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院廣西 南寧 530004)2(廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室培育基地廣西 南寧 530004)3(廣西高校多媒體通信與信息處理重點(diǎn)實(shí)驗(yàn)室廣西 南寧 530004)

在現(xiàn)有的多視角分布式視頻編碼MDVC(Multi-view Distributed Video Coding)邊信息SI(side information)生成方法中，時(shí)間與空間邊信息的融合未能有效地選擇和提取兩種邊信息的可靠部分。針對這個(gè)問題，提出一種基于置信度的時(shí)空邊信息的融合方法。利用時(shí)間和空間邊信息的可靠性模版以及時(shí)空置信度的模版，獲得時(shí)空融合模版；然后，利用時(shí)空融合模版從時(shí)間邊信息與空間邊信息中選擇出最優(yōu)的像素組成最終的融合邊信息。實(shí)驗(yàn)結(jié)果表明，在相同碼率的條件下，獲得的峰值信噪比PSNR(Peak Signal to Noise Ratio)相比于時(shí)間主導(dǎo)融合方法最高有0.79 dB的提升，相比于時(shí)空補(bǔ)償融合模板最高有0.58 dB的提升。此外，獲得的重構(gòu)幀能有效地保留原始圖像的細(xì)節(jié)部分。

多視角分布式視頻編碼邊信息融合置信度

0　引　言

多視角分布式視頻編碼MDVC[1]是將分布式視頻編碼DVC(Distributed Video Coding)[2]與多視角視頻編碼MVC(Multi-view Video Coding)[3]相結(jié)合的視頻編碼方法。MDVC有機(jī)地融合了DVC將編碼端復(fù)雜度轉(zhuǎn)移到解碼端的特點(diǎn)以及MVC中的視差預(yù)測技術(shù)，適合于由多個(gè)資源受限的終端設(shè)備組成的無線視頻應(yīng)用，如無線視頻監(jiān)控和無線視頻傳感器網(wǎng)絡(luò)等。MDVC采用Wyner-Ziv(WZ)編碼方式[4]時(shí)，由于WZ幀經(jīng)編碼之后僅將校驗(yàn)位傳遞到解碼端，解碼端需利用已解碼的信息生成一個(gè)WZ幀的估計(jì)，即邊信息SI來輔助解碼。在相同的重構(gòu)視頻質(zhì)量的條件下，邊信息的質(zhì)量越好，解碼所需要的校驗(yàn)位就越少，所需要的編碼碼率越小。MDVC解碼過程中將生成兩種邊信息：時(shí)間邊信息與空間邊信息。一般而言，時(shí)間邊信息能較好地保留背景部分，空間邊信息能較好地保留前景部分，利用融合模版將時(shí)間邊信息與空間邊信息相融合能有效地提高最終邊信息的質(zhì)量[5]。

目前，針對時(shí)間邊信息與空間邊信息的融合方法主要有三類。第一類是在像素層面上生成針對時(shí)間邊信息可靠程度的模版，并以此為基準(zhǔn)生成最終的融合模版，稱為時(shí)間主導(dǎo)融合模版，空間邊信息在融合過程中只是起輔助作用。文獻(xiàn)[6]首先提出該類邊信息融合方法，在編碼端得到二進(jìn)制的時(shí)間像素轉(zhuǎn)移模版；然后在解碼端利用這個(gè)模版與已經(jīng)解碼的WZ幀的前后兩幀來生成一個(gè)相關(guān)幀；最終的融合邊信息的像素采用時(shí)間邊信息與空間邊信息中更接近相關(guān)幀的像素值。然而，該方法存在三個(gè)缺點(diǎn)：1) 實(shí)際生成時(shí)間邊信息或者空間邊信息要經(jīng)過像素內(nèi)插，相關(guān)幀的參考價(jià)值下降；2) 融合模版的生成過程中沒有判斷空間邊信息可靠性，最終融合的效果也會(huì)下降；3) 需要編碼端生成像素轉(zhuǎn)移模版，會(huì)增加編碼端的計(jì)算與傳輸?shù)拈_銷，違背了分布式視頻編碼中編碼盡量簡單的原則。

第二類方法是在像素層面上生成針對空間邊信息可靠程度的模版，對空間邊信息中不可靠的位置采用時(shí)間邊信息對應(yīng)位置的像素值，稱為空間補(bǔ)償融合模版。代表方法是Maugey等人提出基于密集視差的邊信息融合模板生成方法[7]。該方法利用計(jì)算機(jī)視覺中相關(guān)技術(shù)生成左右視角的視差圖，然后對視差圖中顯著的位置采用空間邊信息，其余位置選用時(shí)間邊信息。由于目前生成視差圖的方法在精確度上都有所欠缺，不能在像素層面上有效地實(shí)現(xiàn)前景與背景的區(qū)分。Zhang等人提出基于運(yùn)動(dòng)矢量映射與3D曲線的邊信息融合模板生成方法[8]。該方法利用左右視角在3D曲面上的差異，以左右視角為基準(zhǔn)生成兩個(gè)空間像素轉(zhuǎn)移模板，相互異或得到最終的像素轉(zhuǎn)移模板。該方法充分考慮了同一個(gè)物體在左右視角中成像的輪廓的差異，能夠極為準(zhǔn)確地獲得空間邊信息的可靠程度。但是，由于沒有分析時(shí)間邊信息的可靠程度，若空間邊信息的生成質(zhì)量不高時(shí)，融合的效果很差。

第三類方法是在像素層面上分別得到時(shí)間邊信息與空間邊信息的可靠性模版，綜合分析得到最終的融合模版，稱為時(shí)空補(bǔ)償融合模版。代表技術(shù)為Brites等人在文獻(xiàn)[9]中提出的時(shí)空轉(zhuǎn)移融合TVDF(Time-View Driven Fusion)技術(shù)。在解碼端對時(shí)間上WZ幀的前后兩幀與時(shí)間邊信息兩兩做殘差運(yùn)算，對得到的殘差圖像進(jìn)行處理得到三個(gè)像素可靠性模版，綜合分析得到時(shí)間邊信息的可靠性模版。利用計(jì)算機(jī)視覺中投影矩陣得到左右視角向中間視角的投影圖像，分別結(jié)合WZ幀的前一幀，按照時(shí)間殘差幀的生成辦法得到兩個(gè)投影圖像的可靠性模版，綜合分析得到空間邊信息的可靠性模版。綜合分析時(shí)間邊信息與空間邊信息的可靠性模版，得到最終的時(shí)空融合模版。相比于前兩種方法，TVDF方法能有效地提高最終的時(shí)空融合邊信息的效果，不受時(shí)間邊信息與空間邊信息質(zhì)量的影響。但是該方法主要存在兩個(gè)缺點(diǎn)：1) 空間像素轉(zhuǎn)移模版的生成方法需要使用攝像機(jī)參數(shù)中的投射矩陣，而如今的攝像機(jī)大部分都是變焦的，焦距的改變會(huì)改變投射矩陣，在現(xiàn)實(shí)環(huán)境中很難實(shí)現(xiàn)；2) 沒有區(qū)分時(shí)間與空間邊信息在相同位置上的置信度。只是認(rèn)為在時(shí)間邊信息不可靠而空間邊信息可靠時(shí)，選用空間邊信息對應(yīng)位置的像素值，沒有分析更多的情況。

為了解決上述時(shí)空邊信息融合方法中存在的問題，本文提出一種基于置信度的時(shí)空邊信息融合方法。該方法利用時(shí)間邊信息生成階段得到的運(yùn)動(dòng)矢量與空間邊信息生成階段得到的視差向量，得到時(shí)間與空間邊信息之間的置信度；再結(jié)合時(shí)間像素轉(zhuǎn)移模版與空間像素轉(zhuǎn)移模版，得到最終的時(shí)空融合模版，進(jìn)而獲得最終的時(shí)空融合邊信息。

1　多視角分布式視頻編碼框架

本文采用文獻(xiàn)[9]中的多視角分布式視頻編碼框架。如圖1所示，以三個(gè)視角聯(lián)合編碼為例，對左右視角與中間視角的關(guān)鍵幀(K幀)采用傳統(tǒng)的幀內(nèi)編碼，中間視角的WZ幀采用Wyner-Ziv編碼，具體流程如下：在編碼端對WZ幀進(jìn)行DCT變換和量化，對量化系數(shù)進(jìn)行低密度校驗(yàn)編碼LDPC(Low Density Parity Code)，將得到的校驗(yàn)位存放在緩存器中；在解碼端利用中間視角的前后幀生成時(shí)間邊信息，左右視角相同時(shí)刻已經(jīng)解碼的幀生成空間邊信息，經(jīng)過視角融合得到最終的邊信息；將邊信息傳遞到相關(guān)噪聲建模CNM(Correlation Noise Model)模塊，得到相關(guān)噪聲系數(shù)；LDPC解碼器利用邊信息、相關(guān)噪聲系數(shù)與從緩存器中得到的校驗(yàn)位得到解碼后的碼流；經(jīng)過重構(gòu)與反DCT變換得到最終解碼后的視頻幀。

圖1　多視角分布式視頻編碼框架

2　基于置信度的時(shí)空邊信息融合方法

現(xiàn)有時(shí)空邊信息融合方法中主要存在兩個(gè)問題：1) 在生成時(shí)空融合模版時(shí)，只單獨(dú)確認(rèn)了時(shí)間邊信息或空間邊信息的可靠程度，沒有對兩種邊信息地可靠程度進(jìn)行區(qū)分；2) 沒有充分分析所有可能的情況，簡單地在時(shí)間邊信息不可靠時(shí)采用空間邊信息或空間邊信息不可靠時(shí)采用時(shí)間邊信息，沒有提出當(dāng)時(shí)間邊信息與空間邊信息都可靠或都不可靠時(shí)的處理辦法。針對這兩個(gè)問題，本文提出了一種基于置信度的時(shí)空邊信息融合方法，具體實(shí)現(xiàn)框架如圖2所示。

圖2　時(shí)空邊信息融合模版生成框架

2.1時(shí)間邊信息可靠性模版生成

(1)

其中，D(x,y)代表殘差圖像的像素值，x為水平方向坐標(biāo)，y為垂直方向的坐標(biāo)。

(2) 直方圖均衡化。原始的殘差圖在很多區(qū)域的值過于集中，無法準(zhǔn)確進(jìn)行可靠性區(qū)分。為了獲得更加明顯的差異，需要對其進(jìn)行直方圖均衡化處理[11]。計(jì)算殘差圖像中像素的累計(jì)歸一化直方圖Dc，并記錄殘差圖像中的最大值PMAX與最小值PMIN。最終均衡化的結(jié)果為DE，其計(jì)算公式為：

DE(x,y)=Dc[D(x,y)]×(PMAX-PMIN)+PMIN

(2)

θ=(μ0+μ1)×0.5

(3)

直到θ的值趨向穩(wěn)定，最后得到歸一化圖像S：

(4)

(5)

其中，F(xiàn)T的值為0代表時(shí)間邊信息中的像素值是可靠的，對應(yīng)原始WZ幀中背景的部分；1代表時(shí)間邊信息中該位置的像素值不可靠，對應(yīng)原始WZ幀中前景的部分。

2.2空間邊信息可靠性模版生成

(2) 空間邊信息可靠性模版生成。由于左右視角存在邊界或遮蓋等情況，空間邊信息不完全是由左右視角相同物體的像素取均值得到，實(shí)際操作中可能單獨(dú)使用了左視角或者右視角的像素值。為了更好地表示空間上左右視角之間像素的差異性，空間像素模版FS采用三種值表示不同的可靠程度。

(6)

其中，如果FS的值為2，表示空間邊信息中該位置是可靠的，對應(yīng)原始WZ幀的前景部分；如果為0，則代表空間邊信息中該位置完全不可靠，對應(yīng)原始WZ幀的背景部分；1則代表該空間邊信息在該位置的可靠性未知。

2.3時(shí)空置信度模版生成

雖然時(shí)間與空間可靠性模版FT與FS能較好地體現(xiàn)時(shí)間邊信息SIT、空間邊信息SIS與原始WZ幀的相似程度，但是當(dāng)FT與FS所代表的位置都可靠或者都不可靠時(shí)無法進(jìn)行可靠程度區(qū)分，即無法判斷此時(shí)SIT與SIS誰更接近原始的WZ幀。為了解決這個(gè)問題，本文提出一種基于像素的時(shí)空置信度模版FT&S的生成方法。

Dufaux在文獻(xiàn)[13]提出用像素差異表示置信度的篩選原則。在邊信息的生成過程中大部分區(qū)域都是采用像素內(nèi)插的方法，若WZ幀在時(shí)間上前后兩幀對應(yīng)的映射塊的差異越大，說明時(shí)間邊信息在該映射塊位置與原始WZ幀的差異越大，空間邊信息也遵循這個(gè)原則。本文采用絕對差值和SAD(sum of absolute difference)表示塊之間差異，若WZ幀的基準(zhǔn)塊在空間上左右視角中的映射塊之間的差異值SADS小于在時(shí)間上前后兩幀的映射塊之間的差異值SADT，說明空間邊信息在這個(gè)基準(zhǔn)塊的位置上更接近原始的WZ幀，反之則時(shí)間邊信息更接近。

直接使用塊進(jìn)行操作會(huì)降低最終結(jié)果的精確度，即使時(shí)間邊信息對應(yīng)塊的置信度更高，也可能存在空間邊信息對應(yīng)塊中部分像素更接近原始的WZ幀的情況。為了解決這個(gè)問題，本文對塊內(nèi)像素按照該塊的運(yùn)動(dòng)矢量和視差向量的映射分別計(jì)算差的絕對值并進(jìn)行對比。實(shí)際操作中運(yùn)動(dòng)矢量和視差向量存在很多錯(cuò)誤，需要對對應(yīng)塊之間的SAD值和像素之間的差異值進(jìn)行限定，具體步驟如下：

步驟1越界判斷。以像素為單位，代入該像素所屬塊的時(shí)間運(yùn)動(dòng)矢量MV與空間視差向量DV，并判斷對應(yīng)的像素的位置是否越界。如果代入MV后沒有越界而DV越界，表示時(shí)間邊信息更可靠，將該像素位置的FT&S的值設(shè)為0；如果代入DV后沒有越界而MV越界，則表示空間邊信息更可靠，將其設(shè)為1；如果代入DV與MV都越界，表示時(shí)間邊信息與空間邊信息可靠性未知，將其設(shè)為2。通過越界判斷可以確保MV與DV對應(yīng)的位置存在。

步驟2塊可靠性判斷。計(jì)算待處理像素所屬的塊代入MV后在時(shí)間上前后幀中對應(yīng)塊之間的絕對差值和SADT，與代入DV后空間上左右視角在當(dāng)前時(shí)刻的幀中對應(yīng)塊之間的絕對差值和SADS。設(shè)置閾值TB，當(dāng)SADT小于TB而SADS大于該閾值時(shí)，該像素位置FT&S的值設(shè)置為0；當(dāng)SADT大于TB而SADS小于該閾值時(shí)設(shè)為1；當(dāng)SADT與SADS都大于TB時(shí)設(shè)為2；當(dāng)SADT與SADS都小于TB時(shí)進(jìn)行下一步操作。

步驟3像素可靠性判斷。計(jì)算待處理像素位置代入MV后在時(shí)間上前后幀對應(yīng)位置像素值之間的差異PixelT，代入DV后在空間上左右視角在相同時(shí)刻的幀對應(yīng)位置像素值之間的差異PixelS。設(shè)置閾值TP，當(dāng)PixelT小于TP而PixelS大于該閾值時(shí)，該像素位置FT&S的值設(shè)置為0；當(dāng)PixelT大于TP而PixelS小于該閾值時(shí)設(shè)為1；當(dāng)PixelT與PixelS都大于TP時(shí)設(shè)為2；當(dāng)PixelT與PixelS都小于TP時(shí)進(jìn)行下一步操作。

步驟4最終置信度模板生成。經(jīng)過步驟1-步驟3的操作后可以認(rèn)為PixelT與PixelS分別代表時(shí)間與空間邊信息在該像素位置的置信度。當(dāng)PixelT小于PixelS時(shí)，該像素位置FT&S的值設(shè)置為0；當(dāng)PixelT大于PixelS時(shí)設(shè)為1；當(dāng)PixelT等于PixelS時(shí)設(shè)為2。

2.4時(shí)空融合模版生成

通過2.1節(jié)、2.2節(jié)和2.3節(jié)可以分別得到生成過程不相關(guān)的三個(gè)模板，最終時(shí)空融合模板的生成需要確定不同模板之間的權(quán)重。當(dāng)時(shí)間邊信息質(zhì)量遠(yuǎn)超空間邊信息時(shí)，以時(shí)間邊信息可靠性模板為主，用空間邊信息可靠性模板與時(shí)空置信度模板進(jìn)行輔助糾正；當(dāng)空間邊信息效果超過時(shí)間邊信息時(shí)，以空間邊信息可靠性模板為主；當(dāng)時(shí)間運(yùn)動(dòng)矢量與空間視差向量準(zhǔn)確度較高時(shí)，時(shí)空置信度模板最為接近理想狀況。

目前，時(shí)間邊信息的生成方法較為成熟，而空間邊信息的生成方法對不同景深、視差的序列的結(jié)果存在較大差異[14]。為了克服上述問題，本文采用以時(shí)間像素轉(zhuǎn)移模板與空間像素轉(zhuǎn)移模板為主，用時(shí)空置信度模板輔助生成時(shí)空融合模板F(x,y)，具體步驟如下：

(1) 當(dāng)FT(x,y)值為0以及FS(x,y)值為0或1時(shí)，說明圖像中(x,y)位置上的時(shí)間邊信息可靠而空間邊信息不可靠。此時(shí)，F(xiàn)(x,y)的值設(shè)為0，表示時(shí)空融合邊信息在該位置采用時(shí)間邊信息中對應(yīng)位置的像素值。

(2) 當(dāng)FT(x,y)值為1而FS(x,y)值為2時(shí)，圖像中(x,y)位置上時(shí)間邊信息不可靠而空間邊信息可靠。F(x,y)的值設(shè)為1，表示時(shí)空融合邊信息在該位置采用空間邊信息中對應(yīng)位置的像素值。

(3) 當(dāng)FT(x,y)值為0而FS(x,y)值為2時(shí)，圖像中(x,y)位置上時(shí)間邊信息與空間邊信息都可靠，需要利用時(shí)空置信度模板進(jìn)行進(jìn)一步區(qū)分。若FT&S在(x,y)位置的值為0，則F(x,y)的值為0；若FT&S為1，則F(x,y)的值設(shè)為1；如果FT&S值為2，表明時(shí)間上前后幀的差異要小于空間上左右?guī)牟町悾蓪(x,y)的值設(shè)為0。若序列在時(shí)間上變化遠(yuǎn)大于空間上的差異，則F(x,y)的值設(shè)為1。

(4) 當(dāng)FT(x,y)值為1而FS(x,y)的值為0時(shí)，圖像中(x,y)位置上時(shí)間邊信息與空間邊信息都不可靠，與(3)相同。

(5) 當(dāng)FT(x,y)值為1而FS(x,y)的值為1時(shí)，時(shí)間邊信息不可靠而空間邊信息可靠性未知。若FT&S在(x,y)位置的值為0，則F(x,y)的值設(shè)為0；若FT&S值為1或者2，則F(x,y)的值為1。

由于利用了時(shí)空置信度模板，并考慮了各種可能情況，故本文提出的時(shí)空融合模版生成方法得到的融合邊信息更加接近實(shí)際的WZ幀。

3　實(shí)驗(yàn)結(jié)果及分析

本文的仿真實(shí)驗(yàn)平臺(tái)采用以基于LDPC碼的DCT域的Wyner-Ziv編碼系統(tǒng)[2]為基礎(chǔ)的多視角分布式視頻編解碼系統(tǒng)。實(shí)驗(yàn)采用ballroom、vassar與exit這三個(gè)序列，視頻序列的分辨率為176×144，格式為YUV420，長度為50幀。實(shí)驗(yàn)中，編碼結(jié)構(gòu)設(shè)為IPIPIPIP，幀率為20幀/秒。采用JPEG的幀內(nèi)編碼方式對左右視角與中間視角的K幀進(jìn)行編碼，WZ幀與K幀都采用JPEG量化碼表。本實(shí)驗(yàn)中出現(xiàn)的參數(shù)設(shè)為TB=500，TP=25。時(shí)間邊信息生成方法采用傳統(tǒng)的時(shí)間運(yùn)動(dòng)內(nèi)插補(bǔ)償[9]，空間邊信息生成方法采用傳統(tǒng)的視角預(yù)測視差補(bǔ)償[5]，對比算法采用在線的以時(shí)間主導(dǎo)融合方法[5]與時(shí)空補(bǔ)償融合方法[8]。

圖3給出了在三個(gè)算法在三個(gè)序列中的率失真(R-D)曲線。從圖中可以看出，本文的時(shí)空融合方法在不同序列、量化級別下都有一定程度的提升。在vassar序列中碼率為177.41 kbps時(shí)相比于時(shí)間主導(dǎo)融合方法，峰值信噪比的提升最大為0.79 dB。這主要是由于這個(gè)序列中空間邊信息的結(jié)果相對較好，而時(shí)間主導(dǎo)融合方法對空間邊信息利用較差。在exit序列中碼率為324.40 kbps時(shí)相比于時(shí)空補(bǔ)償融合模板，峰值信噪比提升最大為0.58 dB。這主要是由于這個(gè)序列的景物深度差異很大，時(shí)間邊信息與空間邊信息的結(jié)果都不太好，而時(shí)空補(bǔ)償融合模板沒有對時(shí)間邊信息與空間邊信息的可靠程度進(jìn)行區(qū)分。在ballroom序列中，三個(gè)算法效果相當(dāng)，本文的算法略優(yōu)。出現(xiàn)這種情況主要是由于該序列中時(shí)間邊信息與空間邊信息的結(jié)果都較為優(yōu)秀，不論采用哪種邊信息，結(jié)果差異不大，由于本文綜合分析了所有可能情況，因此效果相對最優(yōu)。

圖3　三種序列的R-D曲線

為了更加詳細(xì)比較上述三種融合方法的性能，表1給出了ballroom、vassar和exit視頻序列在不同量化系數(shù)和不同時(shí)空邊信息融合方法下WZ系統(tǒng)的平均PSNR與平均碼率。從表1可以看出，本文提出的基于置信度的時(shí)空邊信息融合方法在不同的量化系數(shù)下達(dá)到相同PSNR所需的平均碼率均小于時(shí)間主導(dǎo)融合方法與時(shí)空補(bǔ)償融合方法。這主要是由于本文的方法對時(shí)間邊信息與空間邊信息的可靠程度進(jìn)行了區(qū)分，并分析了所有可能性。在計(jì)算復(fù)雜度沒有明顯增加的情況下，能夠有效地降低MDVC系統(tǒng)的碼率，提高壓縮性能。

表1　ballroom、vassar和exit對應(yīng)的平均PSNR值和平均碼率

圖4給出了vassar序列的第二幀在量化參數(shù)Q=0.5的情況下采用不同融合模板得到的融合邊信息的視覺效果?？梢钥闯觯疚乃惴茏詈玫乇Ａ魣D像中汽車和門的邊框部分。時(shí)間主導(dǎo)融合方法沒有分析空間邊信息的可靠性，無法剔除空間邊信息中不可靠的部分。時(shí)空補(bǔ)償融合方法由于沒有引入對時(shí)間邊信息與空間邊信息可靠程度的分級，沒有選擇出時(shí)間邊信息與空間邊信息中最優(yōu)的部分。

圖4　vassar序列中第二幀在不同實(shí)驗(yàn)下視覺對比圖

4　結(jié)　語

本文針對現(xiàn)有時(shí)空邊信息融合中存在的問題，提出了一種基于置信度的時(shí)空邊信息融合方法。該方法利用邊信息生成階段得到的時(shí)間上的運(yùn)動(dòng)矢量與空間上的視差向量得到時(shí)空置信度模板，再結(jié)合時(shí)間邊信息可靠性模板與空間邊信息可靠性模板，得到最終的時(shí)空融合模板。在相同碼率下，相比于時(shí)間主導(dǎo)融合方法最高有0.79 dB的提升，相比于時(shí)空補(bǔ)償融合模板最高有0.58 dB的提升。此外，本文的算法能較好地保留圖像中的細(xì)節(jié)部分，主觀效果更加優(yōu)秀。

[1] Guo X,Lu Y,Wu F,et al.Distributed multi-view video coding[C]//Visual Communications and Image Processing,Florida,United States,April 17-21,Bellingham:SPIE,2006.

[2] Girod B,Aaron A M,Rane S,et al.Distributed video coding[J].Proceedings of the IEEE,2005,93(1):71-83.

[3] Hannuksela M M,Rusanovskyy D,Su W,et al.Multiview-video-plus-depth coding based on the advanced video coding standard[J].IEEE Transactions on Image Processing,2013,22(9):3449-3458.

[4] Xu Q,Xiong Z.Layered wyner-ziv video coding[J].IEEE Transactions on Image Processing,2006,15(12):3791-3803.

[5] Brites C,Pereira F.Multiview side information creation for efficient Wyner-Ziv video coding:Classifying and reviewing[J].Signal Processing:Image Communication,2015,30(1):1-36.

[6] Ouaret M,Dufaux F,Ebrahimi T.Multiview Distributed Video Coding with Encoder Driven Fusion[C]//European Conference on Signal Processing,Poznan,Poland September 3-7,Poznan:Eusipco Proceedings,2007:2100-2104.

[7] Maugey T,Miled W,Pesquet-Popescu B.Dense disparity estimation in a multi-view distributed video coding system[C]//IEEE International Conference on Acoustics,Speech and Signal Processing,Taipei,Taiwan,April 19-24,New York:IEEE,2009:2001-2004.

[8] Zhang Q,Liu Q,Li H.Distributed residual coding for multi-view video with joint motion vector projection and 3-D warping[C]//IEEE International Symposium on Circuits and Systems,Rio de Janeiro,May 15-18,New York:IEEE,2011:2905-2908.

[9] Brites C,Pereira F.Epipolar Geometry-based Side Information Creation for Multiview Wyner-Ziv Video Coding[J].IEEE Transactions on Circuits & Systems for Video Technology,2014,24(10):1771-1786.

[10] Abou-Elailah A,Dufaux F,Farah J,et al.Fusion of global and local motion estimation for distributed video coding[J].IEEE Transactions on Circuits and Systems for Video Technology,2013,23(1):158-172.

[11] Lee C,Lee C,Lee Y Y,et al.Power-constrained contrast enhancement for emissive displays based on histogram equalization[J].IEEE Transactions on Image Processing,2012,21(1):80-93.

[12] Ascenso J,Brites C,Pereira F.Content adaptive Wyner-Ziv video coding driven by motion activity[C]//IEEE International Conference on Image Processing,Atlanta,New York:IEEE,2006:605-608.

[13] Dufaux F.Support vector machine based fusion for multi-view distributed video coding[C]//17th International Conference on Digital Signal Processing,Corfu,July 6-8 2011.New York:IEEE,2011:1-7.

[14] Fu X,Liu J,Guo J,et al.Novel Side Information Generation Algorithm of Multiview Distributed Video Coding for Multimedia Sensor Networks[J].International Journal of Distributed Sensor Networks,2012,143(4):869-876.

TEMPORAL AND SPATIAL SIDE INFORMATION FUSION BASED ON CONFIDENCE LEVEL IN MULTI-VIEW DISTRIBUTED VIDEO CODING

Huang Bibo1Tang Zhenhua1,2,3*Qin Tuanfa1,2,3

1(School of Computer and Electronic Information,Guangxi University,Nanning 530004,Guangxi,China)2(GuangxiKeyLaboratoryofMultimediaCommunicationsandNetworkTechnology(CultivatingBase),GuangxiUniversity,Nanning530004,Guangxi,China)3(GuangxiCollegesandUniversitiesKeyLaboratoryofMultimediaCommunicationsandInformationProcessing,GuangxiUniversity,Nanning530004,Guangxi,China)

In current side information (SI) generation methods for multi-view distributed video coding (MDVC), the fusion of temporal and spatial SI fails to effectively select and extract the reliable parts of two SI. To address this issue, we propose a confidence level-based temporal and spatial SI fusion method. The method utilises the reliability mask of temporal and the spatial SI as well as spatiotemporal confidence mask to obtain the temporal and spatial fusion mask; then it uses fusion mask to select the optimal pixels from temporal and spatial SI for generating final fusion SI. Experimental results show that, under the condition of same bit rate, the peak signal to noise ratio (PSNR) obtained by this fusion method gains the improvement up to 0.79 dB than the temporal-leading fusion method, and the improvement up to 0.58 dB compared with the temporal-spatial compensating fusion mask. In addition, the reconstructed frame obtained can effectively preserve the details of the original image.

Multi-view distributed video codingSide information fusionConfidence level

2015-05-26。國家自然科學(xué)基金項(xiàng)目(61461006，6126 1023)；廣西自然科學(xué)基金項(xiàng)目(2013GXNSFBA019271)；廣西高校科學(xué)技術(shù)研究項(xiàng)目(YB2014322)。黃碧波，碩士生，主研領(lǐng)域：多視角分布式視頻編碼。唐振華，副教授。覃團(tuán)發(fā)，教授。

TP919.8

A

10.3969/j.issn.1000-386x.2016.09.032