鄭夜星,林其偉
(華僑大學(xué) 信息科學(xué)與工程學(xué)院,福建 泉州 362021)
隨著移動(dòng)通信的快速發(fā)展,移動(dòng)多媒體成為移動(dòng)通信發(fā)展的新熱點(diǎn),第三代移動(dòng)通信(3G)標(biāo)準(zhǔn)的制訂使得通過(guò)無(wú)線(xiàn)信道傳輸視頻信息成為可能??煞旨?jí)視頻編碼(Fine Granular Scalable,F(xiàn)GS)可以很好地解決由于網(wǎng)絡(luò)的異構(gòu)性帶來(lái)的帶寬波動(dòng)而引起的圖像質(zhì)量問(wèn)題。但是,F(xiàn)GS獲得的所有這些特性都是以犧牲編碼效率為代價(jià)的,為了提高FGS編碼效率,筆者提出一種新的算法,在增強(qiáng)層中引入一種快速的AdaBoost[1]人臉檢測(cè)算法,快速準(zhǔn)確地定位出視頻的感興趣區(qū)域,通過(guò)提升位平面,優(yōu)先傳輸感興趣區(qū)域(ROI),改善視頻的主觀(guān)視覺(jué)效果。在基本層引入基于增強(qiáng)層的單環(huán)FGS[2],有效提高了FGS的編碼效率,而且實(shí)現(xiàn)了較好的ROI效果。
AdaBoost是一種分類(lèi)器算法,是由Y.Freund[1]等人在1995年提出的。其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類(lèi)器 (弱分類(lèi)器),然后把這些弱分類(lèi)器集合起來(lái),構(gòu)成一個(gè)更強(qiáng)的最終分類(lèi)器(強(qiáng)分類(lèi)器)。算法流程圖如圖1所示。通過(guò)AdaBoost快速人臉檢測(cè)算法,能夠準(zhǔn)確定位出人臉的個(gè)數(shù)和人臉在視頻幀中的位置,以便在后期的編碼端能夠優(yōu)先編碼,進(jìn)行位平面提升,從而改善視頻的主觀(guān)質(zhì)量。
圖1 AdaBoost算法流程圖
通過(guò)上述AdaBoost快速人臉檢測(cè)算法,定位出人臉區(qū)域,并把它作為感興趣區(qū)域,引入到FGS視頻編碼器當(dāng)中?;贏daBoost的FGS視頻編碼方式能充分利用人的視覺(jué)特性,與其他感興趣區(qū)域算法相比,具有自適應(yīng)選擇,不易受到由于復(fù)雜背景、光線(xiàn)等條件的影響等優(yōu)點(diǎn)。但由于AdaBoost人臉檢測(cè)本身復(fù)雜度較高,引入FGS后,加大整體的復(fù)雜度,編碼時(shí)間也變長(zhǎng)。
AdaBoost人臉檢測(cè)算法僅僅針對(duì)圖像的感興趣區(qū)域來(lái)提高圖像的主觀(guān)質(zhì)量,沒(méi)有從根本上提高FGS的編碼效率[3-4],針對(duì)這一缺點(diǎn),筆者把基于AdaBoost的FGS與單環(huán)的FGS相結(jié)合,即把提高視頻的主觀(guān)質(zhì)量與客觀(guān)質(zhì)量相結(jié)合??紤]到AdaBoost的FGS編碼復(fù)雜度較高,本文采用復(fù)雜度最低的單環(huán)FGS,即把使用質(zhì)量更高的擴(kuò)張基本層圖像(基本層+增強(qiáng)層)作為基本層的參考,通過(guò)提高基本層運(yùn)動(dòng)補(bǔ)償?shù)男蕘?lái)降低基本層殘差圖像的能量,提高基本層的編碼效率。對(duì)于增強(qiáng)層,由于基本層殘差圖像能量的下降,殘差圖像量化前后的差值的能量也減小了,也就是說(shuō)增強(qiáng)層需要編碼的源信息能量降低了,故增強(qiáng)層的編碼效率相應(yīng)也得到提高。但該方法在比特率較低的情況下會(huì)產(chǎn)生預(yù)測(cè)漂移,故采用了根據(jù)網(wǎng)絡(luò)帶寬的動(dòng)態(tài)調(diào)整來(lái)重建高質(zhì)量參考所使用位平面?zhèn)€數(shù)的方法。其基本原理圖如圖2所示。
圖2 基于AdaBoost的單環(huán)FGS原理圖
之前有人提出了基于膚色的人臉區(qū)域FGS編碼[3]和基于H.264的自適應(yīng)選擇增強(qiáng)FGS視頻編碼[4],雖然也達(dá)到了自適應(yīng)的效果,但誤檢率較高,極易受到易受復(fù)雜背景、光線(xiàn)等條件影響。本文的方法引入了快速高效的AdaBoost人臉檢測(cè),大大提高了檢測(cè)率,同時(shí),將感興趣區(qū)域提升與單環(huán)算法相結(jié)合,更好地提高了視頻的客觀(guān)質(zhì)量與主觀(guān)質(zhì)量。
為了測(cè)試兩種算法的效果,進(jìn)行了仿真實(shí)驗(yàn)。實(shí)驗(yàn)中選擇了Carphone和Foreman QCIF序列,基本層碼率都為60 Kbit/s。增強(qiáng)層碼率范圍為60~240 Kbit/s,熵編碼方法為CABAC,不考慮B幀,編碼幀類(lèi)型為IPPP…,編碼30幀,幀率為30幀/秒(f/s),允許率失真優(yōu)化宏塊模式判決,量化參數(shù)為38。使用重建圖像序列亮度分量的平均峰值信噪比 (PSNRY)作為視頻質(zhì)量的客觀(guān)評(píng)價(jià)標(biāo)準(zhǔn)。實(shí)驗(yàn)分析中對(duì)采用AdaBoost人臉選擇提升算法的FGS所定義的ROI區(qū)域與整體區(qū)域進(jìn)行了比較。
實(shí)驗(yàn)一:采用基于AdaBoost的FGS編碼,結(jié)果如圖3所示。
圖3 Foreman與Carphone選擇區(qū)域與整體區(qū)域PSNR的比較
由圖3可以看出,采用基于AdaBoost人臉檢測(cè)FGS視頻編碼方法,人臉區(qū)域明顯比整體區(qū)域PSNR值高,平均高出了5 dB,而且增強(qiáng)層碼率越高,PSNR值差距也越大。這說(shuō)明了在碼率一定的情況下,人臉區(qū)域得到了選擇增強(qiáng),當(dāng)碼流截?cái)鄷r(shí),能優(yōu)先保證人臉部分的圖像質(zhì)量。但感興趣區(qū)域PSNR的提高在一定程度上降低了整體的效率,因此引入了單環(huán)算法。
實(shí)驗(yàn)二:基于AdaBoost的單環(huán)FGS編碼,結(jié)果如表1所示。PSNRe表示增強(qiáng)層的PSNR值,PSNRch表示選擇區(qū)域的PSNR值,t表示平均每幀編碼時(shí)間。
由表1可以看出,若只進(jìn)行單環(huán)算法,增強(qiáng)層上提高0.3~0.6 dB,而基于AdaBoost的單環(huán)FGS編碼算法,基本層提高較少,增強(qiáng)層提高0.1~0.2 dB,選擇區(qū)域提高0.1~0.3 dB,整個(gè)視頻質(zhì)量有所提高。這說(shuō)明單環(huán)算法能在一定程度上提高FGS的編碼效率,但又由于在編碼中提升了感興趣區(qū)域的位平面,導(dǎo)致整體編碼效率降低,因此引入單環(huán)后,各層上沒(méi)有很大程度的提高。而實(shí)驗(yàn)中兩種算法的平均每幀的編碼時(shí)間相近,這表明在第一種算法中引入單環(huán)并沒(méi)有增加編碼的復(fù)雜度,同時(shí)能提高編碼的整體效率。
綜上所述,將AdaBoost的快速人臉檢測(cè)引入FGS,能夠快速有效地定位出人臉,通過(guò)對(duì)人臉區(qū)域的位平面提升,優(yōu)先傳輸感興趣區(qū)域,很大程度上提高了感興趣區(qū)域的PSNR值,提高視頻的主觀(guān)效果,但在一定程度上減低了整體效率。通過(guò)引入單環(huán)算法,在幾乎不增加編碼時(shí)間的前提下提高了編碼的整體效率。實(shí)驗(yàn)證明該方法對(duì)人臉視頻序列,能自適應(yīng)地提高重建視頻的主觀(guān)質(zhì)量,能提高FGS編碼效率,對(duì)特定領(lǐng)域有一定的適用性。
[1]FREUND Y,SCHAPIRE R E.A decision-theoretic generalization of on-line learning and an application to boosting[EB/OL].[2009-10-25].http://www.ee.columbia.edu/~sfchang/course/svia-F03/papers/freund 95decisiontheoretic-adaboost.pdf.
[2]MIHAELA V D S,HAYDER R.Double-loop motion compensation fine granular scalablity[EB/OL].[2009-10-20].http://www.freepatentsonline.com/EP1323316.html.
[3]周孝,林其偉.基于人臉特征的自適應(yīng)選擇增強(qiáng)FGS視頻編碼[J].電視技術(shù),2008,32(8):23-25.
[4]YOO W H,CHA J H,JEONG W S,et al.A new selection method for H.264-based selective fine granular scalable video coding[EB/OL].[2009-10-20].http://www.google.cn/search?hl=zh-CN&newwindow=1&q=H.264+Based+Fine+Granular+Scalable+Video+Coding&btnG=Google+%E6%90%9C%E7%B4%A2&aq=f&oq=.