多陣列攝像圖像調(diào)節(jié)的MVC顏色補(bǔ)償方法

羅桂娥，劉 毅

中南大學(xué) 電子科學(xué)與技術(shù)研究所，長(zhǎng)沙 410083

多陣列攝像圖像調(diào)節(jié)的MVC顏色補(bǔ)償方法

羅桂娥，劉 毅

中南大學(xué) 電子科學(xué)與技術(shù)研究所，長(zhǎng)沙 410083

1 引言

隨著圖像處理技術(shù)的飛速發(fā)展，多視點(diǎn)視頻編碼如今有了很廣泛的應(yīng)用，包括自由視點(diǎn)視頻、3D電視和視頻監(jiān)控等方面。在國(guó)際視頻組織下多視點(diǎn)視頻編碼標(biāo)準(zhǔn)得到了較快的發(fā)展，這種標(biāo)準(zhǔn)是對(duì)H.264/AVC編碼標(biāo)準(zhǔn)的延伸[1]。H.264/AVC編碼標(biāo)準(zhǔn)中的時(shí)間預(yù)測(cè)和幀間預(yù)測(cè)方式也應(yīng)用于多視點(diǎn)視頻編碼中以便提高編碼效率。然而，在多視點(diǎn)視頻編碼中，由于各個(gè)攝像機(jī)的性能參數(shù)很難做到完全一致，視點(diǎn)之間存在顏色的誤匹配，這會(huì)影響在多視點(diǎn)視頻編碼中的幀間預(yù)測(cè)?，F(xiàn)有的方案一般都是利用直方圖匹配的模式或者通過(guò)加性補(bǔ)償模式來(lái)進(jìn)行顏色補(bǔ)償[2]。直方圖匹配模式的一個(gè)最大缺點(diǎn)就是不可靠性，尤其是當(dāng)視點(diǎn)之間有很大的重合部分時(shí)；經(jīng)過(guò)補(bǔ)償后的圖像能夠在解碼過(guò)程中獲得，所以要獲得和原始圖像差不多的視覺(jué)圖像質(zhì)量也并不需要傳輸經(jīng)過(guò)顏色補(bǔ)償后的圖像信息?，F(xiàn)如今已有了一些方法用來(lái)提高編碼效率。如參照亮度補(bǔ)償（IC）方法，可以消除不同視點(diǎn)之間的亮度差異和累加誤差。

也有人提出了通過(guò)聯(lián)合使用亮度補(bǔ)和色度補(bǔ)償來(lái)消除采用Y、Cb、Cr通道的誤差[3]；Yamamoto等人提出了一種基于RGB空間非線性模型的顏色補(bǔ)償方法，該方法對(duì)每個(gè)像素進(jìn)行兩次轉(zhuǎn)換，首先從YUV到RGB模式，然后從RGB到Y(jié)UV模式，但這樣計(jì)算復(fù)雜度將非常高。上面這些方法都需要在編碼端找到最佳的參考圖像并且需要傳輸一些額外的信息到解碼端。

然而視點(diǎn)間的差異主要是由于攝像機(jī)內(nèi)部參數(shù)不一致引起的。在本文中，提出了一種顏色補(bǔ)償方法，該方法是在RGB顏色空間上建立顏色補(bǔ)償模型[4]，并進(jìn)一步擴(kuò)展到Y(jié)CbCr顏色空間。這是因?yàn)樵跀z像機(jī)內(nèi)部采用RGB顏色空間來(lái)表示顏色信息，而所使用的H.264/AVC編解碼視頻標(biāo)準(zhǔn)中只支持YCbCr格式的視頻。在時(shí)間域上相鄰視點(diǎn)間的顏色由于有些細(xì)微的變化而產(chǎn)生誤匹配，但是基于顏色補(bǔ)償?shù)男畔⒛軌驈慕獯a的圖像中得到。也就是說(shuō)，本文所提出的顏色補(bǔ)償方法不需要傳輸額外的信息。

2 顏色補(bǔ)償模塊

要記錄一個(gè)彩色圖像，每個(gè)攝像機(jī)必須要有3個(gè)傳感器才能捕獲每個(gè)顏色信息?，F(xiàn)在最通用的方法就是用RGB模式來(lái)記錄每個(gè)顏色的信息。因此，每個(gè)顏色信息都需要轉(zhuǎn)換成RGB模式。為了不失一般性，本文以兩臺(tái)攝像機(jī)為例來(lái)探討顏色不匹配的情況。如圖1所示，其中一臺(tái)攝像機(jī)中的視頻信息用來(lái)編碼[5]，稱(chēng)之為編碼視頻。相應(yīng)的另一臺(tái)攝像機(jī)作為參照相機(jī)，其視頻稱(chēng)為參考視頻。這里用fcod表示當(dāng)前編碼圖像，用fref表示視點(diǎn)間參考圖像。假設(shè)場(chǎng)景中一點(diǎn)ο在fref中對(duì)應(yīng)的點(diǎn)為p，在fcod中對(duì)應(yīng)的點(diǎn)為q。把p點(diǎn)和q點(diǎn)稱(chēng)為一組對(duì)應(yīng)點(diǎn)（Corresponding points）。

圖1 視點(diǎn)間參考圖像和當(dāng)前編碼圖像的對(duì)應(yīng)點(diǎn)

建立顏色補(bǔ)償模型的主要目的是在fref基礎(chǔ)上構(gòu)造一個(gè)經(jīng)過(guò)補(bǔ)償處理的視點(diǎn)[6]間參考圖像（記為），使得與fcod的相關(guān)性大于fref和fcod的相關(guān)性，提高視點(diǎn)間相關(guān)性的可利用性，從而提高fcod的編碼效率。對(duì)于圖像中任意一個(gè)像素點(diǎn)p在參考圖像中為p′，其RGB分量可表示為Rp、Gp和Bp，YCbCr分量可分別表示為Yp、Cbp和Crp。假設(shè)參考攝像機(jī)和編碼攝像機(jī)的發(fā)射系數(shù)差異可忽略不計(jì)，且兩臺(tái)攝像機(jī)的光電轉(zhuǎn)換屬性基本相同，這樣場(chǎng)景中某一點(diǎn)入射到兩個(gè)攝像機(jī)的光信號(hào)是相同的[7]，則輸出的數(shù)字信號(hào)p和q可近似表示為：

其中，視點(diǎn)ο經(jīng)過(guò)轉(zhuǎn)換后得到的模擬RGB信號(hào)記為r，g，b。kr，cod，kg，cod和kb，cod與kr，ref，kg，ref和kb，ref分別表示編碼攝像機(jī)和參考攝像機(jī)的RGB通道增益因子，F(xiàn)R(·)、FG(·)和FB(·)分別表示RGB分量的A/D轉(zhuǎn)換的特性函數(shù)。

其中，KR、KG和KB分別稱(chēng)為R、G、B分量的顏色補(bǔ)償因子，則值可以通過(guò)式（3）計(jì)算得到：

式（2）也可以表示如下的矩陣形式：

已知YCbCr顏色空間與RGB顏色空間的關(guān)系為：

經(jīng)過(guò)顏色補(bǔ)償后的視點(diǎn)間參考圖像f′ref中p′的YCbCr值可推導(dǎo)如下：

簡(jiǎn)潔起見(jiàn)，顏色補(bǔ)償模式等式（7）可以改寫(xiě)為：

其中，[Φ]是顏色空間轉(zhuǎn)換矩陣，可由KR、KG和KB計(jì)算得到。

3 顏色補(bǔ)償模式的實(shí)現(xiàn)

圖2給出了一個(gè)MVC預(yù)測(cè)結(jié)構(gòu)的示意圖[8]。該預(yù)測(cè)結(jié)構(gòu)在時(shí)間方向上，每個(gè)視點(diǎn)采用分層B幀預(yù)測(cè)結(jié)構(gòu)以有效去除時(shí)間冗余。在視點(diǎn)方向上，各視點(diǎn)之間采用幀內(nèi)預(yù)測(cè)結(jié)構(gòu)以去除視點(diǎn)間冗余。為了不失一般性，圖2中給出了3個(gè)視點(diǎn)的MVC參考預(yù)測(cè)結(jié)構(gòu)示意圖，其中V0是基本視點(diǎn)，V1和V2是非基本視點(diǎn)。對(duì)于每個(gè)視點(diǎn)，各GOP（圖像組）的最后一幅圖像只采用其他視點(diǎn)同時(shí)刻的圖像做參考，這些圖像稱(chēng)為Anchor圖像（如I0、P0）。GOP內(nèi)其他時(shí)刻的圖像稱(chēng)為Non-Anchor圖像。Anchor圖像有利于提高隨機(jī)訪問(wèn)性能和同步性能。Non-Anchor圖像的預(yù)測(cè)結(jié)構(gòu)由其所在視點(diǎn)決定，P視點(diǎn)的Non-Anchor圖像僅采用時(shí)間預(yù)測(cè)，B視點(diǎn)的Non-Anchor圖像既可以采用時(shí)間預(yù)測(cè)，也可以采用視點(diǎn)間預(yù)測(cè)[9]。

圖2 3個(gè)視點(diǎn)的MVC預(yù)測(cè)結(jié)構(gòu)示意圖

由式（3）可知，如果相關(guān)的像素值可得，則可以很容易得到顏色補(bǔ)償后的參數(shù)。但是，要得到這些相關(guān)的像素值，其計(jì)算復(fù)雜度較高。本文所提出的方法計(jì)算復(fù)雜度較低。在編碼過(guò)程中每個(gè)宏塊要找到最好的塊匹配其運(yùn)動(dòng)估計(jì)是一個(gè)必不可少的過(guò)程。如果相鄰視點(diǎn)的圖像被選做最佳匹配塊的話，則當(dāng)前宏塊和匹配塊的像素值可以作為相關(guān)的像素值來(lái)計(jì)算顏色補(bǔ)償參數(shù)。

為了進(jìn)一步降低復(fù)雜度，且根據(jù)攝像機(jī)RGB通道增益近似恒定或隨著時(shí)間變化緩慢的特性，本文提出對(duì)于一個(gè)GOP，僅在其Anchor圖像中利用解碼恢復(fù)塊及其最佳匹配塊計(jì)算KR、KG和KB。Non-Anchor圖像使用本GOP內(nèi)Anchor圖像計(jì)算得到的顏色補(bǔ)償因子。圖3給出了顏色補(bǔ)償方法的實(shí)現(xiàn)流程圖，其具體步驟如下：

第一步：RGB的顏色補(bǔ)償因子KR、KG和KB初始化。編碼視點(diǎn)中第一幅圖像時(shí)將KR、KG和KB置1。

第二步：Anchor圖像視點(diǎn)間參考圖像顏色補(bǔ)償。對(duì)于每個(gè)GOP，在對(duì)Anchor圖像編碼之前對(duì)其視點(diǎn)間參考圖像采用式（8）進(jìn)行顏色補(bǔ)償。此時(shí)Anchor圖像的顏色補(bǔ)償因子采用上一GOP中計(jì)算得到的值。如果當(dāng)前為第一個(gè)GOP，顏色補(bǔ)償因子采用初始值。

第三步：Anchor圖像編碼。利用補(bǔ)償后的視點(diǎn)間參考圖像對(duì)當(dāng)前Anchor圖像進(jìn)行編碼。

第四步：KR、KG和KB的計(jì)算和更新。Anchor圖像完成編碼后，提取其滿足對(duì)應(yīng)點(diǎn)選取條件的MB及其最佳匹配塊參與KR、KG和KB的計(jì)算，計(jì)算方法如下：

其中，N表示滿足對(duì)應(yīng)點(diǎn)選取條件的像素點(diǎn)數(shù)，表示解碼恢復(fù)塊的RGB分量，Rref，Gref，Bref表示參考圖像中最佳匹配塊的RGB分量。

第五步：Non-Anchor圖像的視點(diǎn)間參考圖像顏色補(bǔ)償。對(duì)于GOP其他時(shí)刻的Non-Anchor圖像編碼之前，根據(jù)第四步中式（9）計(jì)算得到的KR、KG和KB對(duì)其視點(diǎn)間參考圖像進(jìn)行顏色補(bǔ)償。

第六步：循環(huán)第二步到第五步，直至該視點(diǎn)所有的圖像編碼結(jié)束。

圖3 顏色補(bǔ)償方法流程圖

4 實(shí)驗(yàn)結(jié)果與性能分析

為了驗(yàn)證顏色補(bǔ)償方法的有效性，在JMVC8.3平臺(tái)上實(shí)現(xiàn)該方法，將它與由國(guó)際視頻編碼標(biāo)準(zhǔn)組織制定的多視點(diǎn)視頻編碼方案JMVM進(jìn)行比較。JMVM是在第77次MPEG會(huì)議上正式發(fā)布的MVC軟件參考模型，并將該模型作為后續(xù)技術(shù)提案的公共測(cè)試平臺(tái)來(lái)衡量各技術(shù)提案的編碼增益。該方法主要是使用分層B幀預(yù)測(cè)結(jié)構(gòu)獨(dú)立編碼各個(gè)視點(diǎn)。本實(shí)驗(yàn)使用的測(cè)試序列分別為Race1，Ballroom。

首先為了驗(yàn)證經(jīng)過(guò)顏色補(bǔ)償方法補(bǔ)償后的視點(diǎn)間參考圖像與當(dāng)前編碼圖像的相關(guān)性加強(qiáng)，圖4給出了Reac1與Ballroom序列的當(dāng)前編碼圖像、原始視點(diǎn)間參考圖像和補(bǔ)償后視點(diǎn)間參考圖像的主觀效果。由圖4可以看出，補(bǔ)償后的視點(diǎn)間參考圖像和當(dāng)前編碼圖像的相似性強(qiáng)于原始視點(diǎn)間參考圖像和當(dāng)前編碼圖像的相似性。本文提出的顏色補(bǔ)償方法是將視點(diǎn)間參考圖像調(diào)節(jié)至與當(dāng)前編碼圖像一致的狀態(tài)，當(dāng)前編碼圖像可以不作調(diào)整。

圖4 補(bǔ)償后視點(diǎn)間參考圖像、原始參考圖像與當(dāng)前編碼圖像主觀效果比較

圖5 顏色補(bǔ)償模式方法率失真曲線比較

本實(shí)驗(yàn)還將測(cè)試序列分別使用顏色補(bǔ)償模式方法與原有JMVM方法，并對(duì)兩種方法進(jìn)行比較，以驗(yàn)證顏色補(bǔ)償方法對(duì)JMVC編碼效率的貢獻(xiàn)。圖5、圖6給出了上述測(cè)試序列的率失真曲線。本方法對(duì)YUV分量都有不同程度的增益，本文用式（10）計(jì)算總體的PSNR，并使用Bjontegaard提出的計(jì)算平均DPSNR/Dbitrate的方法進(jìn)行評(píng)價(jià)，比較結(jié)果見(jiàn)表1，表中的值為提出方法得到的結(jié)果與JMVM方法得到的結(jié)果進(jìn)行差值而得到的。DPSNR為正值表明所提出方法得到的視頻質(zhì)量有了提高，Dbitrate為負(fù)值表明所提出方法編碼比特?cái)?shù)較JMVM有所減少。

圖6 JMVM方法率失真曲線比較

表1 顏色補(bǔ)償模式方法與JMVM方法率失真性能比較

5 小結(jié)

多視點(diǎn)視頻是由一組攝像機(jī)拍攝得到的視頻序列。通常情況下，各個(gè)攝像機(jī)的性能參數(shù)很難做到完全一致，從而引起不同視點(diǎn)的視頻圖像之間的顏色差異。與單視點(diǎn)視頻編碼標(biāo)準(zhǔn)不同，在去除時(shí)間冗余和幀內(nèi)冗余的同時(shí)，MVC還使用視點(diǎn)間參考圖像去除視點(diǎn)間冗余以提高編碼效率。然而，視點(diǎn)間參考圖像與當(dāng)前編碼圖像之間存在顏色差異，降低了MVC視點(diǎn)間預(yù)測(cè)的效率。因此，需要對(duì)視點(diǎn)間參考圖像進(jìn)行調(diào)節(jié)，提高視點(diǎn)間相關(guān)性的可利用性，從而有利于提高編碼效率。

本文提出了一種基于顏色空間轉(zhuǎn)換矩陣的MVC顏色補(bǔ)償方法。該方法在RGB顏色空間上建立顏色補(bǔ)償模型。考慮到現(xiàn)有視頻編碼標(biāo)準(zhǔn)只支持YCbCr顏色空間，因此該方法進(jìn)一步將顏色補(bǔ)償模型擴(kuò)展到Y(jié)CbCr顏色空間。實(shí)驗(yàn)結(jié)果表明，與原始視點(diǎn)間參考圖像相比，經(jīng)過(guò)補(bǔ)償后的視點(diǎn)間參考圖像與當(dāng)前編碼圖像更為相似，從而提高了MVC的編碼效率。此外，顏色補(bǔ)償模型參數(shù)可以分別從編碼端和解碼端推導(dǎo)得出，不需要將其寫(xiě)入碼流進(jìn)行傳輸，節(jié)省了傳輸比特?cái)?shù)。

[1]Bjontegaard G.Calculation of average PSNR differences between RD-curves（VCEG-M33）[EB/OL].[2011-10-20].http：// ftp1.itu.ch/av-arch/video-site/0104_Aus/.

[2]Chen Y，Chen J，Cai C.Luminance and chrominance correction for multi-view video using simplified color error model[C]// Proc Picture Coding Symp，Beijing，2006.

[3]姚慶棟，畢厚杰，王兆華.圖像編碼基礎(chǔ)[M].3版.北京：清華大學(xué)出版社，2006.

[4]Huo J，Yang H，Chang Y，et al.Weighted prediction for MVC using color compensation（JVT-X055）[EB/OL].[2011-10-20]. http：//ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/.

[5]Lee Y，Hur J，Kim D，et al.CE11：illumination compensation（JVT-U052）[EB/OL].[2011-10-20].http：//ftp3.itu.ch/av-arch/ jvt-site/2006_10_Hangzhou/.

[6]Merkle P，Smolic A，Mueller K，et al.Efficient prediction structures for multi-view video coding[J].IEEE Trans on Circuits Syst Video Technol，2007，17（11）：1461-1473.

[7]MPEG Video.Request for amendment 14496-10：2006 Amd.4 multiview video coding[C]//76th MPEG Meeting，2006.

[8]Pandit P，Vetro A，Chen Y.JMVM 4 software（JVT-W208）[EB/OL].[2011-10-20].http：//ftp3.itu.ch/av-arch/jvt-site/2007_ 04_SanJose/.

[9]王瓊?cè)A.3D顯示技術(shù)與器件[M].北京：科學(xué)出版社，2011.

LUO Gui’e,LIU Yi

Institute of Electronic Science and Technology,Central South University,Changsha 410083,China

Multi-view video is a kind of video sequence taken by a set of cameras.Generally,it is difficult for the performance parameter of each camera to totally agree with each other,which consequently causes color differences among video images of different viewpoints.A new color compensation model is proposed for the Multi-View Video Coding（MVC）,which can efficiently use information of inter-view of mutual independent coding to reduce the color mismatch caused by multi-arrays of camera shooting.This method can establish color compensation model in RGB color space and furthermore can extend it to YCbCr color space to suit for present video code standard.Compared to the previous inter-view reference images,the modified inter-view reference pictures are more similar to the present code image which consequently improves the coding efficiency of MVC.Moreover,the color compensation parameter can be derived in both encoder and decoder,therefore no additional data need to be transmitted to the decoder.The experimental results also show that the proposed method improves the coding efficiency of MVC and obtains a better video quality.

Multi-View Video Coding（MVC）;H.264/AVC;color compensation;diversity of cameras

多視點(diǎn)視頻是由一組攝像機(jī)拍攝得到的視頻序列。通常情況下，各個(gè)攝像機(jī)的性能參數(shù)很難做到完全一致，從而引起不同視點(diǎn)的視頻圖像之間產(chǎn)生顏色差異。提出了在多視點(diǎn)視頻編碼中使用一種新的顏色補(bǔ)償模式，這種模式能夠有效利用相互獨(dú)立編碼的幀間視頻的信息，從而減少由多陣列攝像而帶來(lái)的顏色誤匹配。該方法在RGB顏色空間上建立顏色補(bǔ)償模型，并進(jìn)一步將顏色補(bǔ)償模型擴(kuò)展到Y(jié)CbCr顏色空間以適用現(xiàn)有視頻編碼標(biāo)準(zhǔn)。與原始視點(diǎn)間參考圖像相比，經(jīng)過(guò)補(bǔ)償后的視點(diǎn)間參考圖像與當(dāng)前編碼圖像更為相似，從而提高了MVC的編碼效率。此外，顏色補(bǔ)償模型參數(shù)可以分別從編碼端和解碼端推導(dǎo)得出，不需要將其寫(xiě)入碼流。實(shí)驗(yàn)結(jié)果也表明提出的方法能夠提高編碼的效率和得到更好的視頻質(zhì)量。

多視點(diǎn)視頻編碼（MVC）；H.264/AVC；顏色補(bǔ)償；分布式攝像

A

TP391

10.3778/j.issn.1002-8331.1112-0414

LUO Gui’e,LIU Yi.Color compensation for Multi-Video Coding based on diversity of cameras.Computer Engineering and Applications,2013,49（18）：187-190.

羅桂娥（1962—），女，教授，主要研究方向?yàn)樾畔⑷诤霞夹g(shù)，數(shù)字圖像處理，智能儀器開(kāi)發(fā)；劉毅（1984—），男，碩士研究生，主要研究方向?yàn)槎嘁朁c(diǎn)視頻編碼。E-mail：254096973@qq.com

2011-12-20

2012-03-21

1002-8331（2013）18-0187-04

CNKI出版日期：2012-05-22 http://www.cnki.net/kcms/detail/11.2127.TP.20120522.1108.005.html