基于H.264的感興趣區(qū)域自適應(yīng)壓縮編碼技術(shù)

馬文琪，楊 華，尹海燕

（上海交通大學(xué)電子工程系圖像通信研究所，上海 200240）

基于H.264的感興趣區(qū)域自適應(yīng)壓縮編碼技術(shù)

馬文琪，楊 華，尹海燕

（上海交通大學(xué)電子工程系圖像通信研究所，上海 200240）

針對(duì)公安監(jiān)控中的需求，提出一種基于感興趣區(qū)域（ROI）的自適應(yīng)編碼算法，通過均值法背景建模技術(shù)提取ROI后，針對(duì)不同的空間區(qū)域采用分級(jí)編碼策略。同時(shí)采用一種基于鄰居宏塊的性能補(bǔ)償方案，減小ROI宏塊漏檢率，同時(shí)降低因采用分級(jí)編碼策略而產(chǎn)生的塊效應(yīng)影響。實(shí)驗(yàn)結(jié)果表明，該算法在保證ROI編碼質(zhì)量的前提下，能夠有效降低系統(tǒng)碼率。

H.264;分級(jí)編碼;ROI

在壓縮編碼中，視頻壓縮比和視頻質(zhì)量是一對(duì)矛盾，壓縮比越高，視頻損失越多，相應(yīng)的視頻質(zhì)量也就越差。但在公安監(jiān)控中，通常只對(duì)某一個(gè)特定區(qū)域感興趣（通常為目標(biāo)活動(dòng)區(qū)域），這一區(qū)域內(nèi)的圖像要盡可能清晰，其他部分圖像可以相對(duì)模糊一些。基于上述要求，基于感興趣區(qū)域的壓縮編碼技術(shù)應(yīng)運(yùn)而生，即在圖像中對(duì)感興趣區(qū)域進(jìn)行無損壓縮或近無損壓縮，而對(duì)背景區(qū)域進(jìn)行有損壓縮。這樣既可使得重構(gòu)圖像有較高的視頻質(zhì)量，又可得到較高的壓縮比，很好地解決了壓縮比和圖像質(zhì)量之間的矛盾。

感興趣區(qū)域壓縮編碼技術(shù)中有兩個(gè)關(guān)鍵的問題需要考慮:1）如何對(duì)感興趣區(qū)域（ROI）區(qū)域進(jìn)行提取;2）對(duì)ROI區(qū)域和背景區(qū)域分別采用怎樣的編碼策略。針對(duì)上述兩個(gè)問題，提出一種基于ROI提取和空間分級(jí)編碼的H.264改進(jìn)算法，在保證感興趣區(qū)域編碼質(zhì)量的前提下，降低編碼器的碼率。下面將對(duì)算法整體架構(gòu)，ROI提取算法及空間分級(jí)編碼策略進(jìn)行分別描述。

1 總體架構(gòu)

圖1為算法總體框圖，由3部分組成。ROI提取模塊用于提取監(jiān)控場(chǎng)景中感興趣的目標(biāo)區(qū)域，根據(jù)ROI結(jié)果給場(chǎng)景中不同的空間位置采用不同的編碼策略，進(jìn)而進(jìn)行相應(yīng)的編碼工作。H.264［1－2］為實(shí)際使用中非常成熟的編碼技術(shù)，下面重點(diǎn)對(duì)系統(tǒng)的前兩個(gè)模塊分別進(jìn)行介紹。

圖1 基于ROI自適應(yīng)編碼算法系統(tǒng)框圖

2 算法設(shè)計(jì)

2.1 ROI提取

ROI提取模塊用于提取監(jiān)控場(chǎng)景中感興趣的目標(biāo)區(qū)域，其在智能前端系統(tǒng)中的位置比較靈活，既可以是系統(tǒng)行為分析模塊中的處理結(jié)果，也可以在編碼器中直接串聯(lián)ROI提取模塊。通常公安監(jiān)控中所關(guān)注的異常行為（如盜竊、斗毆、違規(guī)車輛等）均發(fā)生在場(chǎng)景中的動(dòng)態(tài)目標(biāo)身上，即系統(tǒng)只需關(guān)注監(jiān)控場(chǎng)景中的動(dòng)態(tài)目標(biāo)。而靜止的物體（如背景，靜止的行人，車輛等）幾乎不會(huì)發(fā)生異常行為，且通過設(shè)置合理的GOP長(zhǎng)度及高質(zhì)量的I幀壓縮編碼參數(shù)，總可以得到靜止目標(biāo)的高質(zhì)量編碼圖像，因而本文中ROI提取采用基于背景建模的方法進(jìn)行目標(biāo)提取，所得到的前景區(qū)域即是ROI區(qū)域，記為R。

綜合前景提取效果和運(yùn)算復(fù)雜度情況，本文采用均值法背景建模技術(shù)提取ROI。

2.2 分級(jí)編碼策略

得到ROI區(qū)域后，即可對(duì)不同的空間區(qū)域采用不同級(jí)別的編碼策略［3－5］，這里將根據(jù)ROI的檢測(cè)結(jié)果，以宏塊為單位進(jìn)行QP分配:若當(dāng)前宏塊內(nèi)存在前景像素，則分配該宏塊較低的QP;否則，分配較高的QP，如式（1）所示

按照式（1）的分級(jí)編碼策略，系統(tǒng)在保證ROI編碼質(zhì)量的前提下，可以盡可能地降低碼率。同時(shí)解碼端可直接根據(jù)宏塊的QP值判決該宏塊是否屬于ROI，同時(shí)進(jìn)行相應(yīng)解碼，因此不需要單獨(dú)對(duì)ROI區(qū)域信息進(jìn)行編碼。

公安監(jiān)控中的目標(biāo)檢測(cè)要盡可能地做到寧錯(cuò)勿漏，即允許一定的誤判來降低漏檢率，且漏檢率越接近0越好。但由2.1節(jié)可知，ROI目標(biāo)的檢測(cè)率取決于背景建模的性能，而只采用背景建模總會(huì)存在一定的漏檢。

另外，由于ROI宏塊與非ROI宏塊采用不同的編碼策略，會(huì)在目標(biāo)邊界上產(chǎn)生數(shù)據(jù)不連續(xù)的情況，即塊效應(yīng)。雖然H.264本身提供去方塊濾波功能，但由于式（1）中ROI宏塊與非ROI宏塊的量化值差別較大，在目標(biāo)邊緣仍然會(huì)出現(xiàn)一定的塊效應(yīng)［2，6］，影響編碼器的主觀性能，而在非 ROI即背景區(qū)域出現(xiàn)塊效應(yīng)在監(jiān)控中則可以接受的，因而可以考慮將該塊效應(yīng)遷移至ROI區(qū)域附近的背景區(qū)域。

綜合以上兩方面的因素，提出一種性能補(bǔ)償方案，該方案基于如下思想:場(chǎng)景中每一個(gè)目標(biāo)所在的區(qū)域都是一個(gè)連續(xù)的ROI區(qū)域，漏檢的ROI宏塊往往出現(xiàn)在已檢測(cè)的ROI宏塊附近。因此對(duì)式（1）的分級(jí)編碼策略進(jìn)行改進(jìn)，不只考慮當(dāng)前宏塊與前景檢測(cè)結(jié)果R的交集是否為空，同時(shí)對(duì)當(dāng)前宏塊的鄰居也進(jìn)行判斷，只要有一個(gè)鄰居宏塊與R的交集不為空，就認(rèn)為該宏塊為ROI宏塊。鄰居宏塊可以選擇為該宏塊周圍8個(gè)鄰居的集合。改進(jìn)后的分級(jí)策略如式（2）所示

采用式（2）可以有效地減少漏判率，同時(shí)原來的ROI目標(biāo)邊緣的背景鄰居也會(huì)被認(rèn)為是ROI，雖然增加了一定的誤判，卻使得塊效應(yīng)出現(xiàn)在背景區(qū)域而非目標(biāo)邊緣，進(jìn)而提高了編碼器的主觀性能以滿足公安監(jiān)控的需求。

另外，由于I幀的編碼情況關(guān)系到整個(gè)編碼器的性能［2］，因而分級(jí)編碼策略并不應(yīng)用到I幀上，即I幀圖像所有區(qū)域均采用默認(rèn)QP（一般為23）。

3 測(cè)試結(jié)果

本文將采用公安監(jiān)控中常見的道路、廣場(chǎng)監(jiān)控序列對(duì)算法進(jìn)行測(cè)試，為驗(yàn)證算法在不同場(chǎng)景下的性能，這里將采用4種不同場(chǎng)景的視頻序列進(jìn)行算法測(cè)試。監(jiān)控場(chǎng)景如圖2所示。

圖2 測(cè)試視頻序列

算法在X264編碼參考軟件基礎(chǔ)上進(jìn)行實(shí)現(xiàn)，測(cè)試條件如表1所示。

表1 實(shí)驗(yàn)條件配置表

算法測(cè)試結(jié)果分兩個(gè)方面分別給出:碼率變化對(duì)比;ROI區(qū)域檢測(cè)率。

3.1 碼率變化測(cè)試結(jié)果

采用基于ROI的自適應(yīng)編碼技術(shù)，在保證ROI的編碼質(zhì)量的前提下，盡可能地降低碼率，從而有效節(jié)約存儲(chǔ)空間，因此有必要對(duì)碼率的節(jié)約情況進(jìn)行統(tǒng)計(jì)。表2是算法改進(jìn)前后4種視頻場(chǎng)景的碼率對(duì)比結(jié)果。

表2 算法改進(jìn)前后碼率對(duì)比結(jié)果

通過表2可以看出，采用基于ROI的自適應(yīng)壓縮編碼算法，可以有效地降低視頻壓縮所需碼率，進(jìn)而節(jié)約碼流存儲(chǔ)空間，采用該算法，碼率可以降低20%左右。

3.2 ROI目標(biāo)檢測(cè)率

由3.1中的碼率對(duì)比結(jié)果可以看出，采用基于ROI的自適應(yīng)壓縮編碼技術(shù)，可以有效地降低碼率，但一個(gè)重要前提即是公安監(jiān)控中所關(guān)注的目標(biāo)區(qū)域需要能夠準(zhǔn)確地檢測(cè)出來，并采用高質(zhì)量的壓縮參數(shù)進(jìn)行編碼。一般來說，公安監(jiān)控中所關(guān)注的異常行為（如盜竊、斗毆等）均發(fā)生在場(chǎng)景中的動(dòng)態(tài)目標(biāo)身上，即系統(tǒng)只需關(guān)注監(jiān)控場(chǎng)景中的動(dòng)態(tài)目標(biāo)。而靜止的物體（如背景、靜止的行人、車輛等）幾乎不會(huì)發(fā)生異常行為，且通過設(shè)置合理的GOP長(zhǎng)度及高質(zhì)量的I幀壓縮編碼參數(shù)，總可以得到靜止目標(biāo)的高質(zhì)量編碼圖像，因而本文將重點(diǎn)關(guān)注場(chǎng)景中動(dòng)態(tài)目標(biāo)的檢測(cè)情況。

在公安監(jiān)控中，一個(gè)重要準(zhǔn)則為寧錯(cuò)誤漏，即系統(tǒng)能夠檢測(cè)出場(chǎng)景中所有可疑目標(biāo)，然后對(duì)所檢測(cè)出來的這些目標(biāo)進(jìn)行逐一排查。因此這里更關(guān)注于ROI目標(biāo)的漏檢率，而對(duì)于誤檢率容忍度較高，因誤檢率只會(huì)造成一定的碼率增加，而不會(huì)對(duì)公安監(jiān)控中所關(guān)注的目標(biāo)造成影響，且3.1中的碼率結(jié)果對(duì)比已經(jīng)表明，該算法確實(shí)能夠有效降低碼率，因而在該部分，將只就ROI目標(biāo)的檢測(cè)率（1－漏檢率）進(jìn)行實(shí)驗(yàn)說明。

ROI目標(biāo)檢測(cè)率測(cè)試方法如圖3所示。

目標(biāo)檢測(cè)率分別以宏塊和場(chǎng)景中出現(xiàn)的目標(biāo)為單位進(jìn)行檢測(cè)。

以宏塊為單位時(shí)，若當(dāng)前宏塊內(nèi)有運(yùn)動(dòng)目標(biāo)（車輛、行人等，稱為ROI宏塊），則檢測(cè)該宏塊是否以高質(zhì)量的壓縮參數(shù)進(jìn)行編碼，若該宏塊確實(shí)被高質(zhì)量壓縮編碼，表明該ROI宏塊被正確檢測(cè);反之，則表明該ROI宏塊被漏檢。

圖3 目標(biāo)檢測(cè)示意圖

以目標(biāo)為單位時(shí)，若當(dāng)前目標(biāo)的大部分宏塊區(qū)域（90%以上）被正確檢測(cè)，則認(rèn)為該目標(biāo)被正確檢測(cè);反之，則表示該目標(biāo)被漏檢。

對(duì)圖2中的4個(gè)視頻場(chǎng)景100幀圖像中出現(xiàn)的動(dòng)態(tài)目標(biāo)進(jìn)行逐幀檢測(cè)，并統(tǒng)計(jì)該場(chǎng)景中ROI宏塊總數(shù)與實(shí)際檢測(cè)到的ROI宏塊總數(shù)，計(jì)算該場(chǎng)景的ROI宏塊檢測(cè)率和ROI目標(biāo)檢測(cè)率。宏塊檢測(cè)率計(jì)算公式如式（3）所示

檢測(cè)率結(jié)果如表3所示。

表3 目標(biāo)檢測(cè)率

需要說明的是，除場(chǎng)景（c）為黑夜場(chǎng)景，其余均為白天場(chǎng)景，對(duì)于白天場(chǎng)景，所有目標(biāo)信息均作為ROI宏塊，而對(duì)于夜晚監(jiān)控中主要關(guān)注車牌及抓拍瞬間的司機(jī)信息，只對(duì)該部分進(jìn)行ROI宏塊檢測(cè)，因?yàn)榧词共捎脗鹘y(tǒng)的編碼器，黑夜中的其余信息也很難進(jìn)行捕捉且無現(xiàn)實(shí)意義（如黑夜中黑色的汽車車身）。

且由表3信息可知該算法能夠準(zhǔn)確地檢測(cè)場(chǎng)景中的ROI目標(biāo)，能夠保證極低的宏塊漏檢率。漏檢的宏塊往往是因?yàn)槟繕?biāo)體積較大，目標(biāo)的特征較為一致，這樣的目標(biāo)在運(yùn)動(dòng)較為緩慢時(shí)，其小部分區(qū)域會(huì)被檢測(cè)為背景（如圖2b中的白色汽車車身），但這部分漏檢的宏塊信息易于得到，且往往不屬于目標(biāo)的重要區(qū)域，對(duì)公安的實(shí)際監(jiān)控應(yīng)用并無影響。

本算法目前已在實(shí)際的公安監(jiān)控系統(tǒng)進(jìn)行了應(yīng)用測(cè)試，其可靠性和正確性得到驗(yàn)證。

4 小結(jié)

本文針對(duì)公安監(jiān)控中的需求，提出一種基于ROI的自適應(yīng)編碼算法，通過均值法背景建模技術(shù)提取ROI后，針對(duì)不同的空間區(qū)域采用不同級(jí)別的編碼策略。同時(shí)為減小ROI宏塊漏檢率和降低因采用分級(jí)編碼策略而產(chǎn)生的塊效應(yīng)，本文采用一種基于鄰居宏塊的性能補(bǔ)償方案。實(shí)驗(yàn)結(jié)果表明，該算法在保證ROI編碼質(zhì)量的前提下，能夠有效降低系統(tǒng)碼率。

:

［1］THOMAS W，GARY J S，GISLE B，et al.Overview of the H.264/AVC video coding standard［J］.IEEE Trans.Circuits Syst.Video Technol.，2003，13:704－706.

［2］畢厚杰，王健.新一代視頻壓縮編碼標(biāo)準(zhǔn)——H.264/AVC［M］.2版.北京:中國(guó)廣播電視出版社，2009.

［3］LINO F，LUIS C，PEDRO A.H.264/SVC ROI encoding with spatial scalability［C］//Proc.International Conference on Signal Processing and Multimedia Applications.［S.l.］:INSTICC Press，2008:212－215.

［4］向科燏，于鴻洋，張萍.可分級(jí)視頻編碼的MPEG－2傳輸流封裝及其應(yīng)用［J］.電視技術(shù)，2011，35（21）:25－28.

［5］袁嘉晟，方志軍，葉金財(cái).基于運(yùn)動(dòng)矢量可分級(jí)的視頻編碼方法［J］.電視技術(shù)，2010，34（4）:19－21.

［6］孫立，王健，郭春輝，等.基于CUDA的H.264去方塊濾波的設(shè)計(jì)與實(shí)現(xiàn)［J］.電視技術(shù)，2010，34（5）:44－46.

Novel Adaptive H.264 Method Based on Region of Interest

MA Wenqi，YANG Hua，YIN Haiyan

（Institution of Image Communication and Information Processing，Department of EE，Shanghai Jiaotong University，Shanghai 200240，China）

To satisfy the requirement of the security monitor system，a novel adaptive H.264 method based on the Region of Interest（ROI）is proposed.The ROI is firstly extracted via background modeling method and then the frame is encoded with spatial scalability.Meanwhile，to decline the omission ratio of the ROI and reduce the influence of the blocking artifact，a compensation scheme based on the neighborhood macro blocks is applied.Experiment shows that the proposed encoding scheme could decrease the bitrate while keep the encoding quality in a proper level.

H.264;spatial scalability;ROI

TN919.8

A

【本文獻(xiàn)信息】馬文琪，楊華，尹海燕.基于H.264的感興趣區(qū)域自適應(yīng)壓縮編碼技術(shù)［J］.電視技術(shù)，2013，37（3）.

國(guó)家自然科學(xué)基金項(xiàng)目（61102099）;上海市科委項(xiàng)目（10231204002;11231203102）

責(zé)任編輯:時(shí) 雯

2012－07－23