基于交替背景模型的HEVC編碼研究

張嘯云 王中元 黃震坤

(武漢大學計算機學院國家多媒體軟件工程研究中心 湖北 武漢 430072)

基于交替背景模型的HEVC編碼研究

張嘯云 王中元 黃震坤

(武漢大學計算機學院國家多媒體軟件工程研究中心 湖北 武漢 430072)

在電影、電視劇中，由于拍攝手法的模式化導致了視頻中存在大量的背景交替現(xiàn)象。這種背景交替過程中存在著類似監(jiān)控視頻的背景冗余。然而，目前并沒有一個方法可以針對性的提高這一類視頻的編碼效率。針對該現(xiàn)象，提出了以交替背景模型為基礎的HEVC編碼方式。在編碼過程中，自適應交替更新雙重背景，并利用交替背景對CU進行分類后減少不必要的模式選擇。實驗結(jié)果表明，基于交替背景模型的HEVC編碼方法成功提高了含有背景交替現(xiàn)象的影視作品的編碼效率，并不影響不含背景交替現(xiàn)象的視頻編碼效率。

HEVC 視頻編碼 背景提取 模式選擇 背景交替

0 引 言

對話場景在電影、電視劇中占據(jù)著非常大的比例。而表現(xiàn)對話的方式往往是搭建兩到多個分鏡分別拍攝，或者單獨拍攝后進行裁剪，很少會對鏡頭本身進行移動。這樣的拍攝方式使得視頻中的背景發(fā)生了交替，如圖1所示。

圖1 背景交替

圖1由左中右三幅小圖組成，左圖是視頻到達15分22秒時候的圖像，到達15分26秒時圖像切換到了中圖，整個背景發(fā)生了變化，直到15分33秒的時候，視頻的畫面又切到了右圖，并且很顯然的，圖像中的背景回到了左圖中的背景，背景完成了一次交替。

在這樣的環(huán)境下，視頻中存在著背景，只是由于交替變換使得無法被直接探測到。那么由于背景存在，視頻中自然也存在背景冗余帶來的數(shù)據(jù)冗余。

為了確定這種背景交替在全視頻中所占比例，本文選擇了三部影視作品來研究，分別是《愛情公寓》《羋月傳》和《瑯琊榜》。背景交替在各個影視作品中所占比例如表1所示。

表1 各影視作品中背景交替所占比例

由表1可見，這類影視作品中，由于表現(xiàn)對話的分鏡的存在而產(chǎn)生的背景交替過程在視頻總長度中所占平均比例達到了57.9%。倘若可以在不影響正常編碼的情況下，著重利用這一部分的背景冗余來提升這一部分的編碼效率，則對全片的編碼效率也會有很大的提升。

以往用來減少背景冗余的相關研究都是面向監(jiān)控視頻的，因為監(jiān)控視頻的特點就是背景不變且清晰可見。在現(xiàn)有的研究中，提升壓縮效率的方法主要分為以下幾類。首先是基于模型的編碼方法[1]，這類方法對感興趣的部位進行建模后編碼模型參數(shù)和其余部分。在復雜的場景中很難對模型進行精確的參數(shù)化，于是有了對象定位方法[2]，可以從背景環(huán)境中分離出前景并分別編碼[3]。再就是基于背景模型的方法，通過建造高質(zhì)量背景來提升監(jiān)控視頻的預測效率[4,5]。Paul等在文獻[6]中選擇建造高質(zhì)量關鍵幀，放入?yún)⒖剂斜碇羞M行長期參考以此提升預測效率從而提高編碼效率。而基于編碼的快速算法也有很多，文獻[7]中提出了多幀快速選擇的方式，利用相鄰塊的信息來減少不必要的參考幀搜索。文獻[8]通過前CU和子CU的SAD(絕對誤差和)來對當前CU進行運動估計，以此加速幀間預測。另外還有通過提前終止機制來加速模式選擇的方式[9]。文獻[10]通過自適應調(diào)整率失真代價的閾值將可以確定為skip模式的CU終止其余的模式選擇過程。Ma等人在文獻[11]中將CU分為FCU(前景CU)、BCU(背景CU)、MCU(混合CU)，通過省略FCU及BCU的CU劃分，縮小FCU、BCU的模式選擇范圍來大量減少編碼時間。文獻[12]通過顯著度對圖像進行劃分，并按照分類僅對部分區(qū)域進行運動估計，以此來減少編碼時間。也有將HEVC針對GPU(圖形處理器)進行優(yōu)化，以從硬件層面對編碼進行加速[13]。

上述基于監(jiān)控視頻的研究都建立在固定的背景下，著重關注編碼過程中快速預測及選擇的研究并未考慮視頻中背景存在所帶來的特殊性，然而本文所討論的視頻背景存在但是在切換。為解決背景交替切換的問題，本文建立了交替背景模型，通過設立交替背景并隨著編碼過程實時交替更新。之后通過建立出的交替背景對CU進行分類并縮減不必要的模式選擇。

1 交替背景模型

在監(jiān)控視頻中，由于背景清晰易提取，設立背景幀并在之后的編碼過程中用于參考以提高預測效率從而提高編碼效率是一個高效的方法。在背景交替的視頻中，同監(jiān)控視頻一樣存在背景，然而卻不只一個且交替更換。因此需要設立多個背景幀，并且同時只有一個背景幀處于激活狀態(tài)。對背景幀信息的更改只會作用于激活狀態(tài)的背景幀，不會影響非激活狀態(tài)的背景幀。令處于激活狀態(tài)的背景幀為BGcur，對應的處于非激活狀態(tài)的背景幀則為BGbuf。

交替背景模型是以幀為單位與編碼過程同步進行的，模型大致的流程如圖2所示。

圖2 基于交替背景模型的HEVC編碼流程圖

在開始編碼前先初始化背景幀。在開始編碼一幀圖像之后，首先判斷當前幀的背景信息，之后根據(jù)判斷的結(jié)果進行CU的分類與快速選擇。在結(jié)束了這一幀的編碼之后，根據(jù)之前判斷的當前幀的背景信息對背景幀進行更新。之后開始新一幀的圖像編碼，以此循環(huán)直到結(jié)束。

上述過程中，“判斷當前幀的背景信息”過程與“更新背景幀信息”過程為本文的核心，結(jié)合也較為緊密，在這里單獨說明。

圖3中，上方的虛線框代表“判斷當前幀的背景信息”過程中需要判斷的內(nèi)容；下方的虛線框代表“更新背景幀信息”過程中于上方的判斷相對應的更新過程。具體內(nèi)容將在下面小節(jié)中詳細說明。

圖3 “判斷當前幀的背景信息”過程與“更新背景幀信息”過程的聯(lián)系

1.1 初始化背景幀

由于交替背景環(huán)境下，事實存在的背景數(shù)量是大于一的，而在例如電視劇拍攝對話場景設置分鏡的時候是以兩人對話居多，有兩個鏡頭交替展現(xiàn)。因此這里設立背景幀數(shù)量為兩個。分別為BG1和BG2。

本文設立了三個標志位f0：背景存在標志位，置為1則表示當前幀存在背景，置為0則表示當前幀無背景；f1：背景幀BG1活動標志位，置為1則表示BG1處于激活狀態(tài)，置為0則表示BG1處于非激活狀態(tài)；f2：背景幀BG2活動標志位，置為1則表示BG2處于激活狀態(tài)，置為0則表示BG2處于非激活狀態(tài)。其中f1與f2兩個標志位中永遠有且只有一個為1，另一個為0。

由于解碼過程是接觸不到原始圖像的，背景幀只能通過重建圖像獲取數(shù)據(jù)，背景幀初始化時還沒有進行編碼，因此這里將背景幀初始化為0。f0默認為1，f1置為0，f2置為1。之后就可以進入到一幀的編碼過程中了。

1.2 判斷當前幀的背景信息

那么在背景交替過程中，至少對于其中一個背景幀，當前幀像素值與背景幀像素值相比變動較大的點數(shù)量應該較少；而在非背景交替過程中，像素值變動較大的點應該很多。于是按照如下方法判斷。

遍歷當前幀的每個像素值:

(1)

其中N是不屬于當前背景的像素個數(shù)，It(x,y)是坐標(x,y)的像素值，Bt(x,y)是坐標(x,y)的當前背景值。γlim是判斷像素不屬于背景的閾值。

同時計算不屬于活動背景的像素個數(shù)Ncur和不屬于非活動背景的像素個數(shù)Nbuf。之后按照下列過程更新背景信息。

IfNcur>λlim×xmax×ymaxthen

BGcur的標志位置為0

小農(nóng)水項目工程類型、數(shù)量多，分布面廣，工程建設涉及占地、配套資金落實等一系列問題，組織協(xié)調(diào)工作任務重、難度大，耗時耗力，而建設工期多為3個月左右，由于趕工期，有些工序難以按常規(guī)操作。如混凝土工程養(yǎng)護時間低于標準齡期，強度達不到設計要求；漿砌石結(jié)構勾縫不規(guī)范，砌筑質(zhì)量粗糙；排水溝斷面不規(guī)則，土體夯實度不夠，有些溝段路壩、樹木尚未徹底清除。

BGbuf的標志位置為1

IfNbuf>λlim×xmax×ymaxthen

f0置為0

結(jié)束遍歷

End if

End if

其中λlim為判斷當前幀已經(jīng)變換背景的閾值。在確定Ncur>λlim×xmax×ymax之后，可以認為當前幀已經(jīng)不屬于當前激活的背景BGcur了?？梢哉J為發(fā)生了背景交替現(xiàn)象，則將兩個背景幀的激活狀態(tài)互換。而在確定Nbuf>λlim×xmax×ymax之后，可以認為當前幀也不屬于非激活的背景BGbuf，則當前幀無法偵測到背景存在，因而置f0為0。

為了確定γlim和λlim的值本文選擇了三類背景變換點，分別選取不同的γlim，以此對比所對應的變動較大的像素點占全像素中的比例。并依次計算了每一類背景變換點下不同γlim下變動的像素占全像素比例的均值，如表2所示。

表2 各γlim下變動較大的像素占全像素的平均比例

其中，背景交替判斷的準確率直接影響結(jié)果，必須優(yōu)先重視，因而λlim應該低于背景交替點下的變動像素所占比；鏡頭的抖動屬于背景不變的范疇，誤判將打亂背景交替的格局，λlim應該高于鏡頭抖動點下的變動像素所占比；鏡頭移動屬于非背景交替環(huán)境，λlim應該盡量低于鏡頭移動點下的變動像素所占比，而由于場景在變動，變動造成的影響會累加，此處一兩個誤判不會有很大的影響，λlim在鏡頭移動點下的變動像素所占比值附近也是可以接受的值。

這里考慮到這種判斷方法的通用性，應該選擇三種背景變換點所對應數(shù)值相差最大的，可以適用于更多的視頻。因此γlim選為5，對應的λlim應該在43.6%與5.2%之前，折中選擇25%方便計算。

在判斷了當前幀是否存在背景，存在哪個背景之后，就可以根據(jù)這個信息對CU進行分類了。

1.3CU的分類與快速選擇

本文將CU定義為4種狀態(tài)，F(xiàn)CU(前景編碼單元)、B1CU(第一背景編碼單元)、B2CU(第二背景編碼單元)、OCU(正常編碼單元)。

對每一個CU進行遍歷，并計算Ncu為當前CU中不屬于激活背景BGcur的像素值。Ncu與2.1節(jié)中N的計算方式一樣，區(qū)別在于N的取值范圍是0到對應色度塊或灰度塊的大小，而Ncu的取值范圍是0到當前CU大小，其中CU的大小是從64×64到8×8以四叉樹結(jié)構依次變小[9]。

(2)

其中M是CU的尺寸大小，ω為判斷前景像素在CU中所占比例的閾值。這里Ncu對應的判斷像素不屬于背景的閾值γlim取5，ω的值取1/16[11]。

只有當背景存在的時候，才能正確判斷FCU、 B1CU與B2CU，否則當背景無法被偵測到時將出現(xiàn)大量的偽FCU，而這些FCU并不是真正的前景信息。

確定了CU種類之后，去掉不必要的預測和參考就可以達到快速選擇的效果了。OCU作為普通的預測單元都是不可省去的。B1CU和B2CU屬于優(yōu)質(zhì)背景CU，幀內(nèi)預測和AMP都是不必要的，選擇參考幀的時候也只用選擇對應的背景幀就可以了。FCU不像監(jiān)控視頻中的FCU可以被當做是穩(wěn)定的前景來處理，剛剛發(fā)生背景交替現(xiàn)象后的FCU是沒有合適的幀間預測對象的，因而這里把FCU也當做OCU處理。

在對每個CU進行分類、預測、編碼過后，就結(jié)束了這一幀的編碼過程?？梢詫Ρ尘皫M行更新了。

1.4 更新背景幀信息

由于每一幀圖像可能處在不同的背景中，也可能處于動態(tài)環(huán)境中，因此，此處背景幀的更新必須借助判斷當前幀的背景信息時得出的結(jié)果。

If f 0 == 1 then

用當前幀更新BGcur

Else

用當前幀替換BGcur

End if

當f 0為1時，當前幀存在背景BGcur，因而直接使用當前幀的數(shù)據(jù)對BGcur進行更新即可。而當f0為0時，由于不存在背景，需要假設當前幀是背景交替后的第一幀，因而需要用當前幀替換掉處于未激活狀態(tài)的背景幀。而在判斷背景時已經(jīng)進行過BGcur與BGbuf的對換，這里直接用當前幀替換BGcur即可。

(3)

其中tlim是判斷背景基本成型的閾值，由于tlim本身是設置好的參數(shù)常量，引入這個概念可以有效減少除法的計算量，并且在背景概念相對較弱的非監(jiān)控視頻中減少歷史背景信息所占權重。這里tlim我們設置為短時背景交替常出現(xiàn)的時間2s，也就是50幀。

在更新完背景幀數(shù)據(jù)之后，即可開始新一幀的編碼。以此循環(huán)完成基于交替背景模型的HEVC編碼。

2 實驗結(jié)果及分析

本實驗采用HEVC的參考編碼器HM16.7進行編碼。并且，由于一般用于編碼研究的HEVC標準測試序列與具有背景交替現(xiàn)象的影視作品相差較大，本文在此選取了幾段來自較有代表性的古裝劇《羋月傳》的視頻序列作為實驗對象，并進行實驗結(jié)果分析。

本文從《羋月傳》中選取了三段視頻miyue1.yuv、miyue2.yuv、miyue3.yuv，然后從HEVC標準測試序列中選取了三段視頻BasketballDrill.yuv、ChinaSpeed.yuv、BQSquare.yuv，選擇encoder_lowdelay_P_main.cfg作為配置文件，選擇QP為32進行編碼。并將結(jié)果與同環(huán)境下原版HEVC編碼結(jié)果對比，對比結(jié)果如表3所示。

表3 各視頻編碼對比

其中miyue1序列含有較為頻繁的背景交替過程，并且前景的變化也較少，無論是碼率的縮減，編碼時間的縮減，以及PSNR的提升，都有著出色的表現(xiàn)效果；miyue2序列有著正常頻率的背景交替，前景變化較多，也做到了縮減碼率，縮減編碼時間，提升PSNR的效果，有著不錯的表現(xiàn)；miyue3序列中鏡頭出現(xiàn)了頻繁的抖動，且幅度較大，大于了2.2節(jié)中提到的鏡頭抖動的幅度，因而造成了一定程度的背景的“誤判”，除了編碼時間有比較明顯的縮減，其他數(shù)據(jù)幾乎沒有變化；BasketballDrill雖然是標準序列，但是這個序列的背景變化不大，成功捕獲到高質(zhì)量的背景幀，對縮減編碼時間有一定的提升；BQSquare也是標準序列，背景和前景的變化都比較明顯，可以看到編碼的效果和HEVC原始編碼的效果相差不大，使用交替背景模型編碼成功規(guī)避了非交替背景的動態(tài)視頻；ChinaSpeed作為非交替背景的動態(tài)視頻也存在其特殊性，視頻中前景相對固定，背景在高速變換，因此也造成了一定程度的背景的“誤判”，可以看到編碼時間的縮減比BQSquare要高，整體編碼效果與HEVC原始編碼效果相差也不大，也成功做到了規(guī)避非交替背景的動態(tài)視頻。

由于上述編碼過程都是在單一QP下進行的，為了驗證交替背景模型對不同QP的適應性，本文選取miyue2與BQSquare兩個分別屬于交替背景環(huán)境與非交替背景環(huán)境的視頻分別在QP為22、27、32、37下進行編碼，并與HEVC原始編碼效果進行對比，對比結(jié)果如表4所示。

表4 各QP下視頻編碼對比

從表4可見，基于交替背景模型的HEVC編碼在各QP編碼含有交替背景過程的視頻時整體都有提升，并且隨著QP的提升，效果變明顯。在編碼不含背景交替過程的視頻時PSNR都有少量下降，但是數(shù)值很低且隨著QP增加而逐步縮小；碼率提升水平在1%左右，數(shù)值也很小且變動不大；編碼時間隨著QP的增加逐漸失去縮短的效果；但是總體上除了編碼時間，編碼的質(zhì)量和效率與原版HEVC幾乎沒有變化，編碼時間卻有不同程度的縮短，總體上實驗是成功的。

綜上，本文提出的基于交替背景模型的HEVC編碼可以有效提升含有交替背景視頻的編碼效率，提升程度與背景交替過程的表現(xiàn)有關，并隨著QP的提高而提高；同時基于交替背景模型的HEVC編碼在編碼不含交替背景過程的視頻時，編碼效率沒有變化很大，PSNR的下降在容忍范圍內(nèi)，使得本模型適用范圍更廣。

3 結(jié) 語

在影視作品中存在著大量的背景交替現(xiàn)象，這意味著影視作品中存在著與監(jiān)控視頻類似的背景冗余。針對這樣的現(xiàn)象，本文提出了基于交替背景模型的HEVC編碼方法。本文建立了雙背景并自適應交替更新，CU利用交替背景幀的信息進行分類和快速選擇，以求達到提高編碼效率的效果。經(jīng)過對不同視頻不同QP下的編碼實驗與HEVC原始編碼方法進行對比，得出結(jié)論：基于交替背景模型的HEVC編碼方式可以有效提升包含背景交替過程的視頻，與此同時并不會影響不含背景交替過程的視頻的編碼效果。然而本文的建立和更新背景幀的方式比較簡單，得到的背景幀相對普通。之后的研究將嘗試更優(yōu)質(zhì)的背景幀建立方法以追求更好的效果。

[1] Welsh W J. Model-based coding of videophone images[J]. Electronics & Communication Engineering Journal, 1991, 3(1):29-36.

[2] Martins I, Corte-Real L. A video coder using 3-D model based background for video surveillance applications[C]//Image Processing, 1998 International Conference on. IEEE, 1998:919-923.

[3] Venkatraman D, Makur A. A compressive sensing approach to object-based surveillance video coding[C]//2009 IEEE International Conference on Acoustics, Speech and Signal Processing, 2009:3513-3516.

[4] Jin X, Goto S. Encoder adaptable difference detection for low power video compression in surveillance system[J]. Signal Processing: Image Communication, 2011, 26(3):130-142.

[5] Zhang X, Huang T, Tian Y, et al. Background-Modeling-Based Adaptive Prediction for Surveillance Video Coding[J]. IEEE Transactions on Image Processing, 2014, 23(2):769-784.

[6] Paul M, Lin W, Lau C T, et al. Video coding using the most common frame in scene[C]//Acoustics Speech and Signal Processing, 2010 IEEE International Conference on, 2010:734-737.

[7]ShenL,LiuZ,AnP,etal.Low-ComplexityModeDecisionforMVC[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2011, 21(6):837-843.

[8]XiongJ,LiH,MengF,etal.FastHEVCInterCUDecisionBasedonLatentSADEstimation[J].IEEETransactionsonMultimedia, 2015, 17(12):2147-2159.

[9]YuQ,ZhangX,WangS,etal.EarlyterminationofcodingunitsplittingforHEVC[C]//2012Asia-PacificSignal&InformationProcessingAssociationAnnualSummitandConference(APSIPAASC).IEEE, 2012:1-4.

[10]LeeH,ShimHJ,ParkY,etal.EarlySkipModeDecisionforHEVCEncoderwithEmphasisonCodingQuality[J].IEEETransactionsonBroadcasting, 2015, 61(3):388-397.

[11]MaL,QiH,ZhuS,etal.AfastbackgroundmodelbasedsurveillancevideocodinginHEVC[C]//2014IEEEVisualCommunicationsandImageProcessingConference.IEEE, 2014:237-240.

[12]PodderPK,PaulM,MurshedM.FastModeDecisionintheHEVCVideoCodingStandardbyExploitingRegionwithDominatedMotionandSaliencyFeatures[J].PlosOne, 2016, 11(3):e0150673.

[13]LeeD,SimD,ChoK,etal.FastmotionestimationforHEVCongraphicsprocessingunit(GPU)[J].JournalofReal-TimeImageProcessing, 2015:1-14.

[14]WallendaelGV,LeuvenSV,CockJD,etal.ImprovedintramodesignalingforHEVC[C]//2011IEEEInternationalConferenceonMultimediaandExpo.IEEE, 2011:1-6.

[15]SullivanGJ,OhmJ,HanWJ,etal.OverviewoftheHighEfficiencyVideoCoding(HEVC)Standard[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2012, 22(12):1649-1668.

[16] 張賢國. 基于背景模型的監(jiān)控視頻編碼研究[D]. 北京：北京大學, 2013.

[17] 徐輝. 電影鏡頭的內(nèi)蘊——吉爾·德勒茲電影分鏡思想研究[J]. 鄭州大學學報(哲學社會科學版), 2011(1):85-90.

[18] 張俊，項欣光．基于局部邊界特性的HEVC幀內(nèi)快速預測算法[J]．計算機應用與軟件, 2015, 32(12):101-104.

[19] 張和仙. 下一代視頻編碼標準HEVC幀間預測優(yōu)化算法研究[D]. 西安：西安電子科技大學, 2013.

RESEARCH ON HEVC CODING BASED ON ALTERNATING BACKGROUND MODEL

Zhang Xiaoyun Wang Zhongyuan Huang Zhenkun

(NationalEngineeringResearchCenterforMultimediaSoftware,ComputerSchool,WuhanUniversity,Wuhan430072,Hubei,China)

In the film, TV series, due to the pattern of shooting techniques led to the existence of a large number of video background alternating phenomenon. This kind of background alternation process has the similar background redundancy of monitoring video, and, at present there is not a method to be able to improve the coding efficiency of this kind of video. Aiming at this phenomenon, the paper puts forward the HEVC coding method based on alternating background model. In the encoding process, adaptive alternately update the double background, and use alternate background to categorize the CU to reduce the unnecessary mode selection. The experimental results show that the HEVC coding method based on the alternating background model can improve the coding efficiency of the film and television works, which contains the background alternation, and does not affect the efficiency of the video coding without background alternation.

HEVC Video coding Background extraction Mode decision Background alternation

2016-02-24。國家自然科學

61172173);湖北省自然科學

基金項目(2015CFB406)。張嘯云，碩士生，主研領域：視頻編碼技術。王中元，教授。黃震坤，博士生。

TP37

A

10.3969/j.issn.1000-386x.2017.03.024