基于DVC的聯(lián)合信源信道碼率控制算法

朱順五，朱金秀，孟禎琪

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇常州213022）

0 引 言

目前分布式視頻編碼（DVC）碼率控制從結(jié)構(gòu)上主要是分為有反饋，無(wú)反饋以及由有反饋和無(wú)反饋相結(jié)合的混合碼率控制3種模式［1－5］，而從方法上分類(lèi)第一種是通過(guò)改變量化步長(zhǎng)來(lái)達(dá)到碼率控制，如文獻(xiàn)［6］提出根據(jù)目標(biāo)碼率約束，確定最優(yōu)量化矩陣，然后為每個(gè)比特面分配相應(yīng)數(shù)目的校驗(yàn)碼。文獻(xiàn)［7］提出根據(jù)圖像間相關(guān)性選取量化步長(zhǎng)和量化矩陣，然后為每個(gè)幀層分配碼率，來(lái)達(dá)到碼率控制的目的。第二種是根據(jù)圖像特性進(jìn)行碼率控制，如文獻(xiàn)［7，8］提出利用目標(biāo)碼率和目標(biāo)幀率進(jìn)行GOP層碼率分配，然后根據(jù)圖像間的相關(guān)性來(lái)選擇量化因子和量化矩陣，最后根據(jù)計(jì)算相關(guān)噪聲模型參數(shù)，選擇對(duì)應(yīng)的校驗(yàn)矩陣。文獻(xiàn)［9］提出利用相鄰系數(shù)帶的時(shí)間相關(guān)性，將已解碼的當(dāng)前幀的碼率作為下一幀的初始碼率，達(dá)到一個(gè)碼率控制的作用。第三種是利用條件熵來(lái)進(jìn)行碼率控制，如文獻(xiàn)［10－12］提出在變換域里，首先在編碼端生成一個(gè)粗糙邊信息，利用這個(gè)粗糙邊信息和原始WZ幀計(jì)算條件概率，計(jì)算條件熵，從而得到編碼端的初始碼率。最后一種是根據(jù)相關(guān)噪聲模型來(lái)進(jìn)行碼率控制，如文獻(xiàn)［13］提出使用相關(guān)噪聲模型分布參數(shù)估計(jì)運(yùn)動(dòng)量的大小，然后利用位平面的時(shí)間相關(guān)性確定解碼當(dāng)前位平面時(shí)編碼端需要傳送的初始碼率，從而使解碼反饋次數(shù)減小。文獻(xiàn)［14］提出在解碼端利用相關(guān)噪聲模型統(tǒng)計(jì)得到條件概率值，得出條件熵，然后利用條件熵進(jìn)行初始碼率估計(jì)，進(jìn)行碼率控制。由于實(shí)際的分布式視頻系統(tǒng)中存在邊信息質(zhì)量不一的情況，固定碼率的糾錯(cuò)碼不能很好的適應(yīng)這種場(chǎng)合。本文提出了一種基于DCT域信源信道相結(jié)合的碼率控制算法，在編碼端對(duì)圖像塊進(jìn)行分類(lèi)后，自適應(yīng)選擇不同的刪余矩陣來(lái)產(chǎn)生不同碼率的turbo碼。實(shí)驗(yàn)結(jié)果表明，本文提出的碼率控制算法比經(jīng)典DVC系統(tǒng)在率失真性能上有所提高。

1 本文提出的分布式視頻編解碼系統(tǒng)

圖1為本文提出的分布式視頻編碼流程圖，其中灰色部分是編碼端自適應(yīng)碼率控制的部分。首先，視頻幀在編碼端分為關(guān)鍵幀和WZ幀，其中關(guān)鍵幀采用傳統(tǒng)的H.264編解碼方式進(jìn)行傳輸，然后在解碼端利用運(yùn)動(dòng)補(bǔ)償內(nèi)插產(chǎn)生邊信息幀，對(duì)邊信息進(jìn)行DCT變換，2M級(jí)量化，分成M個(gè)比特面。WZ幀也經(jīng)過(guò)DCT變換，2M級(jí)量化，接著分成M個(gè)比特面進(jìn)入turbo編碼器分別進(jìn)行編碼，然后turbo解碼器根據(jù)校驗(yàn)碼和邊信息對(duì)每個(gè)比特面進(jìn)行解碼，最后利用解碼的碼流和邊信息進(jìn)行重構(gòu)，得到重構(gòu)幀。邊信息的質(zhì)量好壞會(huì)直接影響解碼端的解碼過(guò)程，對(duì)解碼端的碼率控制起到重要作用，因此本文在編碼端對(duì)圖像塊進(jìn)行分類(lèi)，自適應(yīng)的選擇刪余矩陣進(jìn)行碼率控制，具體步驟將在下一節(jié)進(jìn)行闡述。

圖1 本文提出的分布式視頻編解碼系統(tǒng)

2 提出的信源和信道相結(jié)合的碼率控制算法

2.1 基于時(shí)空相關(guān)性的塊分類(lèi)

在圖1所示分布式視頻編碼系統(tǒng)中，邊信息是原始WZ幀的預(yù)測(cè)幀，可以認(rèn)為邊信息幀和原始WZ幀之間存在一個(gè)虛擬信道，如果邊信息和原始WZ幀之間的差別越小，即信道的誤差越小，則解碼端只需少量的校驗(yàn)碼即可達(dá)到一個(gè)較好的糾錯(cuò)性能，反之，如果邊信息的生成質(zhì)量較差，即信道的誤差較大，則解碼端需要大量的校驗(yàn)碼來(lái)進(jìn)行糾錯(cuò)。由此可見(jiàn)邊信息的質(zhì)量直接影響著解碼端的碼率控制。本文利用時(shí)空相關(guān)性塊分類(lèi)的方法對(duì)邊信息的生成質(zhì)量進(jìn)行預(yù)判決，首先在編碼端對(duì)圖像塊進(jìn)行分類(lèi)，系統(tǒng)讀入圖像后，將圖像分成8＊8的像素塊，計(jì)算當(dāng)前非關(guān)鍵幀（WZ幀）與前一關(guān)鍵幀對(duì)應(yīng)像素塊的絕對(duì)誤差和，即SADα值

其中WZ2i，j和B2i－1，j分別表示當(dāng)前WZ幀和前一關(guān)鍵幀對(duì)應(yīng)的像素塊，WZ（i，j）為像素塊中的每個(gè)像素點(diǎn)值，m，n為像素塊的大小。SADα的值越小，則說(shuō)明圖像塊的相關(guān)性越強(qiáng)，反之SADα的值越大，則說(shuō)明圖像塊的相關(guān)性越弱。通過(guò)對(duì)視頻圖像中物體運(yùn)動(dòng)情況的研究發(fā)現(xiàn)，物體的邊緣區(qū)域往往就是視頻中做非線性運(yùn)動(dòng)的區(qū)域，而現(xiàn)有的經(jīng)典邊信息內(nèi)插法基于物體運(yùn)動(dòng)一致性的假設(shè)使得這些區(qū)域的邊信息生成質(zhì)量不夠理想，因此對(duì)WZ幀采用sobel邊緣檢測(cè)算子提取圖像的邊緣特征，并統(tǒng)計(jì)出每個(gè)像素塊的邊緣像素點(diǎn)之和，表示為NOEα。定義判斷矩陣Dα

Dα描述了圖像塊的運(yùn)動(dòng)特征和邊緣特征。設(shè)定閾值T1、T2，若該塊的SADα值小于T1，則認(rèn)為該塊運(yùn)動(dòng)平緩且不含邊緣，為SKIP模式塊Class1；若該塊的的SADα值大于T1但NOEα值小于T2，則認(rèn)為該塊運(yùn)動(dòng)劇烈但不處于邊緣，為低頻模式塊Class2；若該塊的的SADα值大于T1且NOEα值大于T2，則認(rèn)為該塊運(yùn)動(dòng)劇烈且包含邊緣，為高頻模式塊Class3

2.2 刪余矩陣與turbo碼率的數(shù)學(xué)關(guān)系分析

在基于turbo碼的編解碼系統(tǒng)中，turbo編碼器采用2個(gè)分量編碼器分別進(jìn)行編碼，即將原始序列N輸入到第一個(gè)分量碼編碼器進(jìn)行編碼，得到信息位V0和校驗(yàn)位V1，然后再將原始序列N經(jīng)過(guò)一個(gè)交織器進(jìn)行交織，并將交織信息作為原始信息輸入到第二個(gè)分量碼編碼器中，得到校驗(yàn)位信息V2，且V0、V1、V2位數(shù)相同，則turbo碼率R0為

即每一個(gè)信息比特對(duì)應(yīng)兩個(gè)校驗(yàn)比特，該碼率保留了所有的校驗(yàn)比特信息，也就是未進(jìn)行刪余處理時(shí)的turbo碼率。但是在實(shí)際的應(yīng)用中，往往受限于帶寬資源的影響，或者有時(shí)并不需要如此多的校驗(yàn)碼來(lái)對(duì)信息進(jìn)行糾錯(cuò)，所以經(jīng)常對(duì)校驗(yàn)碼進(jìn)行刪余處理來(lái)減少校驗(yàn)碼個(gè)數(shù)，提高系統(tǒng)效率。設(shè)刪余矩陣P0為

0表示相應(yīng)位置的校驗(yàn)碼被刪除，1表示保留相應(yīng)位置校驗(yàn)碼，即在兩個(gè)分量編碼器中輪流的保留奇偶位置的校驗(yàn)比特，使得每個(gè)分量編碼產(chǎn)生的校驗(yàn)比特?cái)?shù)變?yōu)樵瓉?lái)的一半，從而使得總校驗(yàn)比特?cái)?shù)變?yōu)樵瓉?lái)的一半，turbo碼率提升為1/2。

根據(jù)上述原理，可構(gòu)造一個(gè)刪余矩陣，將其每個(gè)分量編碼器的校驗(yàn)碼位數(shù)都刪余為最初的（1/2）n（n＝0，1，2……），這樣就可以得到不同碼率的turbo碼，設(shè)經(jīng)過(guò)刪余后的校驗(yàn)位V′1和V′2分別為

其中V1和V2分別為兩個(gè)分量編碼器經(jīng)過(guò)刪余前的校驗(yàn)位的個(gè)數(shù)，根據(jù)（4）式經(jīng)過(guò)刪余后turbo碼率R′0為

又因?yàn)閂0、V1、V2位數(shù)相同，綜上可得

2.3 基于塊類(lèi)型的刪余矩陣選擇

在分布式視頻編碼系統(tǒng)中，由于邊信息的生成質(zhì)量會(huì)對(duì)整個(gè)碼率控制過(guò)程產(chǎn)生重要影響，所以校驗(yàn)位的選擇可以根據(jù)邊信息的生成質(zhì)量來(lái)選擇。這樣不僅能夠保證圖像的解碼質(zhì)量，還能夠減少檢驗(yàn)碼的個(gè)數(shù)，節(jié)約系統(tǒng)帶寬，提高系統(tǒng)的整體效率。根據(jù)2.1節(jié)塊分類(lèi)情況可知，Class1類(lèi)塊運(yùn)動(dòng)平緩，邊信息質(zhì)量較好，即只需很小一部分糾錯(cuò)碼就可以對(duì)錯(cuò)誤的地方進(jìn)行修正；Class2類(lèi)運(yùn)動(dòng)劇烈，但不含邊緣，邊信息質(zhì)量一般，需要較多的校驗(yàn)碼對(duì)錯(cuò)誤信息進(jìn)行糾錯(cuò)；Class3類(lèi)運(yùn)動(dòng)劇烈且含邊緣，邊信息質(zhì)量最差，所以需要最多的校驗(yàn)碼流進(jìn)行錯(cuò)誤糾錯(cuò)。本文根據(jù)文獻(xiàn)［15－16］，利用不同turbo碼率情況下的最優(yōu)刪余矩陣進(jìn)行大量實(shí)驗(yàn)，最終確定3種不同類(lèi)型的turbo碼率R1以及在該碼率下的最優(yōu)刪余矩陣P1

其中

2.4 本文提出的碼率控制算法過(guò)程

綜上所述，文章提出的聯(lián)合信源信道的碼率控制算法流程框圖，如圖2所示，具體算法步驟如下:

圖2 聯(lián)合信源信道的碼率控制算法

步驟1 將視頻序列分為關(guān)鍵幀和非關(guān)鍵幀（WZ幀），并將圖像分為8＊8像素塊。

步驟2 對(duì)當(dāng)前WZ幀與前一關(guān)鍵幀進(jìn)行絕對(duì)誤差和（SAD）值計(jì)算。

步驟3 對(duì)WZ幀采用sobel邊緣檢測(cè)算子提取圖像的邊緣特征，并統(tǒng)計(jì)出每個(gè)像素塊的邊緣像素點(diǎn)之和，表示為NOEα。

步驟4 通過(guò)計(jì)算所得SAD值和邊緣特征NOEα進(jìn)行閾值判斷，將圖像塊分為3類(lèi)不同模式塊。

步驟5 建立刪余矩陣和turbo碼率的數(shù)學(xué)關(guān)系，對(duì)三類(lèi)不同模式塊選擇不同的刪余矩陣，以保留不同數(shù)目的校驗(yàn)碼，得到不同碼率的turbo碼。

步驟6 將經(jīng)過(guò)刪余矩陣的校驗(yàn)碼流存入緩存器中，解碼器利用緩存器中的校驗(yàn)碼進(jìn)行迭代解碼，達(dá)到閾值T＝10－3解碼退出。

3 實(shí)驗(yàn)結(jié)果與分析

將本文提出的聯(lián)合信源信道的碼率控制改進(jìn)算法引入到經(jīng)典的DISCOVER分布式視頻編碼系統(tǒng)中，然后通過(guò)仿真實(shí)驗(yàn)與DISCOVER［17］進(jìn)行率失真性能的比較，來(lái)驗(yàn)證該改進(jìn)算法的性能。本文選用hall＠15fps，foreman＠30fps，coastguard＠30fps作為視頻測(cè)試序列，格式為QCIF，GOP＝2，率失真的結(jié)果對(duì)比如圖3、圖4和圖5所示:在圖3中改進(jìn)算法與DISCOVER相比，在圖像性噪比基本不受影響的情況下，總碼率減少約為3.12%，這是因?yàn)閏oastguard序列運(yùn)動(dòng)較為劇烈，相關(guān)性較弱，需要進(jìn)行糾錯(cuò)的信息較多，需要的校驗(yàn)碼也最多，所以總碼率下降最少；在運(yùn)動(dòng)相對(duì)較平緩的foreman序列中（如圖4所示），總碼率減少約為6.56%；而在運(yùn)動(dòng)最平緩的hall序列中（如圖5所示），圖像相關(guān)性最強(qiáng)，故改進(jìn)算法總碼率減少接近10.45%。實(shí)驗(yàn)數(shù)據(jù)表明，改進(jìn)算法在運(yùn)動(dòng)越平緩的序列中效果越顯著，這是因?yàn)檫\(yùn)動(dòng)平緩的序列邊信息生成質(zhì)量較好，需要就行糾錯(cuò)的錯(cuò)誤信息越少，解碼所需校驗(yàn)比特也較少，所以在生成校驗(yàn)碼時(shí)，進(jìn)行刪余處理后刪除的校驗(yàn)位較多，總碼率減少最多；反之運(yùn)動(dòng)越劇烈的視頻序列，邊信息生成質(zhì)量較差，需要就行糾錯(cuò)的錯(cuò)誤信息越多，解碼所需校驗(yàn)比特也較多，故在生成校驗(yàn)碼時(shí)，進(jìn)行刪余處理后刪除的校驗(yàn)位較少，總碼率減少最少。

圖3 coastguard序列率失真性能對(duì)比

圖4 foreman序列率失真性能對(duì)比

4 結(jié)束語(yǔ)

本文提出一種信源和信道相結(jié)合的碼率控制算法，解決了傳統(tǒng)統(tǒng)一信道編碼帶來(lái)圖像質(zhì)量下降或系統(tǒng)復(fù)雜度高的問(wèn)題。該算法利用時(shí)空相關(guān)性對(duì)圖像塊分類(lèi)，并根據(jù)不同塊類(lèi)型在刪余處理時(shí)選擇不同的刪余矩陣，以得到不同的校驗(yàn)碼流，最后利用該校驗(yàn)碼流進(jìn)行解碼輸出。實(shí)驗(yàn)結(jié)果表明，與經(jīng)典的DISCOVER相比，應(yīng)用聯(lián)合信源和信道的編碼端碼率控制算法，在保證圖像質(zhì)量的基礎(chǔ)上，能夠有效減少生成的校驗(yàn)比特?cái)?shù)，從而減少了系統(tǒng)碼率。今后可繼續(xù)利用信源與信道之間的聯(lián)系，并結(jié)合turbo碼本身的一些特性，對(duì)分布式視頻編碼的編解碼做進(jìn)一步的研究。

圖5 hall序列率失真性能對(duì)比

［1］Kumar V，Sengupta S.Unidirectional encode rate control scheme for transform domain distribute video coding［C］//IEEE International Conference on Multimedia and Expo Workshops，2012:1－6.

［2］Rami Halloush，Hayber Radha.Practical distributed video coding based on source rate estimation［C］//44th Annual Conference on Information Sciences and Systems，2010:1－6.

［3］Brites C，Ascenso J.Evaluation a feedback channel based transform domain Wyner－Ziv video codec［J］.Signal Processing，Image communication，2008:267－297.

［4］Brites C，Pereira F.Probability updating for decoder and encoder rate control turbo based Wyner－Ziv video coding［C］//IEEE ICIP，2010:3737－3740.

［5］Sheng T，Zhu X，Hua G.Feedback free rate－allocation scheme for transform domain Wyner－Ziv video coding［J］.Multimedia Systems，2010，16（2）:127－137.

［6］QIN Hao，QU Bei，SONG Bin，et al.Rate control algorithm for the Wyner－Ziv frame for no－feedback distributed video coding［J］.Journal of Xidian University，2012，39（4）:1－6（in Chinese）.［秦浩，屈蓓，宋彬，等.無(wú)反饋分布式視頻編碼中Wyner－Ziv幀碼率控制算法［J］.西安電子科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2012，39（4）:1－6.］

［7］SONG Bin，YANG Mingming，QIN Hao，et al.No－feedback rate control algorithm for Wyner－Ziv video coding［J］.Journal on Communications，2011（12）:1－7（in Chinese）.［宋彬，楊明明，秦浩，等.Wyner－Ziv視頻編碼中無(wú)反饋速率控制算法研究［J］.通信學(xué)報(bào)，2011（12）:1－7.］

［8］Catarina Brites，Student Member.An efficient encoder rate control solution for transform domain Wyner－Ziv video coding［C］//IEEE Transactions on Circuits and Systems for Video Technology，2011:1－11.

［9］WANG Fengqin，F(xiàn)AN Yangyu，LIU Yuankui.Rate control for transform domain Wyner－Ziv video coding［J］.Journal of Beijing University of Posts and Telecommunications，2009:1－6（in Chinese）.［王鳳琴，樊養(yǎng)余，劉元魁.變換域Wyner－Ziv視頻編碼的碼率控制［J］.北京郵電大學(xué)學(xué)報(bào)，2009:1－6.］

［10］Brites C，Pereira F.Encoder rate control for transform domain Wyner－Ziv video coding［C］//Proceedings of IEEE International Conference Image Processing，2007:5－8.

［11］WANG Fengqin，F(xiàn)AN Yangyu，ZHAO Jiong，et al.Correlation noise model for transform domain Wynei－Ziv video coding［J］.Journal of Data Acquisition ＆Processing，2009:1－5（in Chinese）.［王鳳琴，樊養(yǎng)余，趙炯，等.基于變換域Wyner－Ziv視頻編碼的相關(guān)噪聲模型［J］.數(shù)據(jù)采集與處理，2009:1－5.］

［12］Areia J，Ascenso J，Brites C.Low complexity hybrid rate for control lower complexity wyner－Ziv video decoding［C］//Proceedings of the 16th European Signal Processing Confe－rence，2008:1－5.

［13］WANG Fengqin，F(xiàn)AN Yangyu，HUANG Aiping.Rate control for pixel domain Wyner－Ziv video coding［J］.Journal of Computer－Aided Design ＆Computer Graphics，2010（3）:1－5（in Chinese）.［王鳳琴，樊養(yǎng)余，黃愛(ài)萍.像素域Wyner－Ziv視頻編碼的碼率控制［J］.計(jì)算機(jī)輔助設(shè)計(jì)和圖形學(xué)學(xué)報(bào)，2010（3）:1－5.］

［14］Kubasov D，Lajnef K.A Hybrid encoder/decoder rate control for Wyner－Ziv video coding with a feedback channel［C］//Proceedings of IEEE 9th Workshop on Multimedia Signal Processing，2009:1－11.

［15］Douglas N，Laurence B.On the performance of Hybrid FEC/ARQ systems using rate compatible punctured turbo（RCPT）codes［C］//IEEE Transactions on Communications，2000:1－12.

［16］HUANG Chengjin.Research on turbo code with UEP ability in mobile communication［D］.Guangzhou:Sun Yat－sen University，2007:44－52（in Chinese）.［黃成進(jìn).移動(dòng)通信中具有不等差錯(cuò)（UEP）保護(hù)能力的Turbo碼技術(shù)研究［D］.廣州:中山大學(xué)，2007:44－52.］

［17］IST－FET.DIStributed COding for VideosERvices（DISCO－VER）［EB/OL］.［2005－09－01］.http://www.discoverdvc.org.