基于Surfacelet變換和運(yùn)動(dòng)估計(jì)的自適應(yīng)教學(xué)視頻壓縮

馬宏茹,李碩

(大連交通大學(xué) 信息學(xué)院，遼寧 大連 116028)*

近年來(lái)，隨著教學(xué)信息化的發(fā)展，移動(dòng)終端技術(shù)、網(wǎng)絡(luò)傳播技術(shù)以及視頻分享網(wǎng)站得到發(fā)展和普及，微課和MOOC(Massive Open Online Course)已經(jīng)作為一種新興教學(xué)模式，在短時(shí)間內(nèi)被廣泛地應(yīng)用到日常教學(xué)中[1-2].而教學(xué)信息化發(fā)展不僅帶來(lái)了學(xué)生學(xué)習(xí)模式的顛覆，教師的信息技術(shù)能力也受到了嚴(yán)峻的考驗(yàn)，因此教師信息化的培訓(xùn)十分重要[3].非信息技術(shù)專(zhuān)業(yè)教師對(duì)于文字教程的理解費(fèi)力耗時(shí)，并且學(xué)習(xí)與交互過(guò)程分離的培訓(xùn)效果不理想.由于信息量大、觀(guān)賞性好等特征，視頻作為教學(xué)工具的效果要優(yōu)于靜態(tài)文字，以屏幕錄制為基礎(chǔ)的培訓(xùn)視頻能實(shí)時(shí)地展示操作過(guò)程，在軟件工具培訓(xùn)課程中效果顯著[4].在視頻編碼中，傳統(tǒng)的編碼標(biāo)準(zhǔn)例如H.261/H.263，MPEG1，MPEG2，MPEG4都是采用幀內(nèi)DCT變換與運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償相結(jié)合的編碼方法.但是基于分塊DCT變換編碼在解鎖高壓縮比情況下分塊效應(yīng)明顯，而小波變換能夠更好地捕捉視頻幀圖像的非平穩(wěn)信息，因此，基于小波變換的視頻壓縮方法能夠獲得更高的壓縮比[5-6].雖然小波變換在邊緣處間斷點(diǎn)能夠有很好地識(shí)別，但對(duì)輪廓曲線(xiàn)的平滑度刻畫(huà)能力不足.Do 和 Vetterli 于2002年提出了Contourlet變換，比小波變換具有更好的方向性，Eslamihe 和 Bellbachir等將其應(yīng)用于壓縮編碼領(lǐng)域[7].Yue Lu 和 M NDo 于2007年提出了基于Surfacelet變換的三維變換，能夠?qū)θS或更高維信號(hào)進(jìn)行多尺度方向分解，捕捉信號(hào)的面狀奇異.文獻(xiàn)[8-9]中對(duì)Surfacelet變換、Contourlet變換、NSCT變換以及3D小波變換之后的圖像信息熵進(jìn)行比較，結(jié)果證明Surfacelet變換能夠使圖像系數(shù)的能量更加的集中.

視頻中的物體具有運(yùn)動(dòng)相關(guān)性，若逐幀進(jìn)行變換域編碼會(huì)出現(xiàn)幀間顫抖，影響視頻質(zhì)量，為解決這一問(wèn)題，現(xiàn)有的視頻編碼技術(shù)利用運(yùn)動(dòng)估計(jì)和補(bǔ)償來(lái)消除幀間相關(guān)性.文獻(xiàn)[10]采用了將視頻幀按順序等分成視頻幀組，在組間采用擴(kuò)展自適應(yīng)范圍搜索快速算法進(jìn)行估計(jì)，能夠根據(jù)視頻的運(yùn)動(dòng)特性，自適應(yīng)的確定搜索范圍.不過(guò)計(jì)算機(jī)屏幕視頻幀圖像是由各種不同類(lèi)型的內(nèi)容組成，現(xiàn)有的視頻方法大多針對(duì)自然視頻，沒(méi)有考慮內(nèi)容的不連續(xù)性[11-12].因此，本文提出了一種基于Surfacelet變換和運(yùn)動(dòng)估計(jì)的自適應(yīng)視頻壓縮方法，在充分考慮視頻的稀疏特性同時(shí)，采用根據(jù)內(nèi)容特點(diǎn)進(jìn)行自適應(yīng)視頻幀組分組的方法，再結(jié)合現(xiàn)有的運(yùn)動(dòng)估計(jì)方法進(jìn)行壓縮.針對(duì)不同類(lèi)型的教育視頻(微課、MOOC視頻、屏幕視頻)的仿真實(shí)驗(yàn)表明，本文提出的壓縮算法在保證較高壓縮比的情況下具有更好的視覺(jué)還原效果.

1 Surfacelet變換

Surfacelet變換能夠準(zhǔn)確地捕獲三維信號(hào)中的奇異面，是一種很好的時(shí)頻分析工具，與小波變換類(lèi)似，其變換子帶系數(shù)能量集中，子帶間存在一定的相關(guān)性.由于多維方向?yàn)V波器組可以對(duì)任意維度信號(hào)分解，迭代濾波器組可以獲得高效的樹(shù)狀結(jié)構(gòu)，因此N維的多方向?yàn)V波器組只有N倍的低冗余度[13].

1.1 三維方向?yàn)V波器組

1992年，Bamberger和 Smith 提出了方向?yàn)V波器組(DFB,Directional Filter Banks)，然而無(wú)論是DFB還是Contourlet變換都只能處理二維信號(hào).Yue Lu 和M.N.Do 為了處理高維信號(hào)，在2007年提出了多維方向?yàn)V波器組(NDBF,N-dimensional Directional Filter Banks)，不僅能夠處理三維信號(hào)，甚至可以應(yīng)用到更多維.我們對(duì)三維情況下的NDFB，即3D-DFB進(jìn)行分析，結(jié)構(gòu)如圖1所示.

圖1 3D-DFB結(jié)構(gòu)圖

其中，X(n)為具有n1，n2，n3三個(gè)維度的輸入信號(hào)，P(w)為三維沙漏濾波器，y(n)，Z(n)表示同樣具有n1，n2，n3三個(gè)維度的輸出信號(hào)，IRCl2為二維方向?yàn)V波器組.

視頻序列經(jīng)過(guò)三維濾波器P(w)得到輸出y(n)，然后對(duì)n1，n2進(jìn)行二維DFB分解，通過(guò)IRCl2獲得視頻序列的楔形子帶輸出Z(n).再對(duì)Z(n)基于n1，n3平面進(jìn)行二維DFB分解，同樣獲得視頻信號(hào)的楔形子帶.將以上兩個(gè)楔形子帶重合，就構(gòu)造了一個(gè)沿著n1軸方向的3D-DFB.沿n2，n3軸方向的塔形子帶用同樣的方式獲得.

1.2 多尺度分解

Surfacelet變換架構(gòu)如圖2所示.Surfacelet變換分解采用多尺度塔式結(jié)構(gòu)實(shí)現(xiàn)，Di(w)，Li(w)分別表示高通濾波器與低通濾波器，其中i=0，1.為了抑制由于進(jìn)行了上采樣而產(chǎn)生的頻域混疊問(wèn)題，多尺度塔形結(jié)構(gòu)使用抗混疊濾波器S(w)，只保留NDFB中S(w)部分的響應(yīng)，也對(duì)各個(gè)維度的一級(jí)Li(w)進(jìn)行1.5倍下采樣(2倍上采樣后再進(jìn)行3倍下采樣).對(duì)虛線(xiàn)框部分進(jìn)行N次迭代能達(dá)到更多級(jí)尺度分解的效果，使得Surfacelet變換在時(shí)域和頻域都有更好的細(xì)分效果.

圖2 Surfacelet變換結(jié)構(gòu)圖

濾波器的設(shè)置過(guò)程中，為了確保能夠完全去除頻域混疊問(wèn)題，嚴(yán)格的控制截止頻率響應(yīng)，對(duì)應(yīng)的完美的多尺度金字塔形狀結(jié)構(gòu)合成部分可以簡(jiǎn)化為：

因此Li(w)確定后即可獲得對(duì)應(yīng)的Di(w)，進(jìn)行信號(hào)重建.

2 基于Surfacelet域的自適應(yīng)運(yùn)動(dòng)估計(jì)算法

視頻幀之間存在著信息冗余，通過(guò)運(yùn)動(dòng)估計(jì)技術(shù)來(lái)去除幀間冗余，其估計(jì)的效果與編碼的質(zhì)量和效率有著直接的聯(lián)系[15].不過(guò)運(yùn)動(dòng)估計(jì)技術(shù)在基于多尺度變換域的視頻編碼中的應(yīng)用存在著一些問(wèn)題，多尺度變換的高頻子帶由于經(jīng)過(guò)了下采樣和平移操作，所以當(dāng)前幀與參考幀之間的高頻子帶一般不能通過(guò)運(yùn)動(dòng)估計(jì)獲得.為了克服這樣的局限，P.Cheng等人提出了一種基于下層低頻子帶的分層運(yùn)動(dòng)估計(jì)方法，有效地避免了下采樣操作和平移操作帶來(lái)的問(wèn)題，還確保了獲得的運(yùn)動(dòng)矢量的精度.其方案的主要思想是：先對(duì)最低頻子帶進(jìn)行運(yùn)動(dòng)估計(jì)，在參考預(yù)估計(jì)層的下一層低頻子帶運(yùn)動(dòng)估計(jì)獲得相應(yīng)的預(yù)測(cè)低頻子帶，再對(duì)其進(jìn)行一級(jí)小波分解，即可獲得三個(gè)高頻子帶的預(yù)測(cè)信息，迭代上述步驟，就可得到所有的高頻預(yù)測(cè)子帶.

2.1 自適應(yīng)視頻幀組選取

傳統(tǒng)的運(yùn)動(dòng)估計(jì)方法是將視頻幀按照編碼的順序，等分成視頻幀組(Group of Pictures,GOP)，按組進(jìn)行編碼.不過(guò)針對(duì)教學(xué)視頻中的屏幕教學(xué)視頻，幀之間的時(shí)域相關(guān)性與自然視頻中的運(yùn)動(dòng)相關(guān)性不同，若依舊按照等分的標(biāo)準(zhǔn)分組，會(huì)造成預(yù)測(cè)幀的估計(jì)不準(zhǔn)確，影響視頻質(zhì)量.因此，本文根據(jù)視頻幀之間的相關(guān)性，自適應(yīng)的對(duì)視頻幀分組，確保同一幀組內(nèi)的視頻幀運(yùn)動(dòng)相關(guān)性一致.

首先對(duì)每幀的空域像素值求差值Dt(x,y)并排序，選取Di(x,y)序列的中位數(shù)作為判斷閾值T，并將差值大于這一閾值的兩幀的后幀與視頻第一幀作為視頻幀組的關(guān)鍵幀F(xiàn)，其他幀作為非關(guān)鍵幀.

Dt(x,y)=ft(x,y)-ft-1(x,y)

T=Me(Di(x,y))

其中，Di(x,y)為排序后的差值序列，F(xiàn)1為視頻第一幀，F(xiàn)i為滿(mǎn)足閾值要求的后幀.

2.2 運(yùn)動(dòng)估計(jì)與補(bǔ)償

文獻(xiàn)[15]中已經(jīng)證明，高頻子帶對(duì)位移的變化敏感，因此低頻子帶與高頻子帶對(duì)位移產(chǎn)生的影響不同，通過(guò)低頻子帶間接的估計(jì)高頻子帶比直接對(duì)高頻子帶進(jìn)行運(yùn)動(dòng)估計(jì)具有很好的實(shí)驗(yàn)效果.因此，本文采用同樣的方式，對(duì)視頻幀的Surfacelet域子帶進(jìn)行估計(jì).首先通過(guò)全搜索方法對(duì)當(dāng)前幀與參考幀的Surfacelet域低頻子帶進(jìn)行估計(jì)，獲得運(yùn)動(dòng)向量，通過(guò)運(yùn)動(dòng)向量計(jì)算得到預(yù)測(cè)幀運(yùn)動(dòng)補(bǔ)償?shù)牡皖l子帶；對(duì)當(dāng)前幀進(jìn)行逆Surfacelet變換，并將之前獲得的運(yùn)動(dòng)向量作為整幀的運(yùn)動(dòng)向量，對(duì)預(yù)測(cè)幀進(jìn)行預(yù)測(cè)，將預(yù)測(cè)結(jié)果進(jìn)行Surfacelet分解，得到運(yùn)動(dòng)補(bǔ)償?shù)母哳l子帶.

3 視頻壓縮算法過(guò)程

本文提出了基于Surfacelet變換結(jié)合運(yùn)動(dòng)估計(jì)的自適應(yīng)教學(xué)視頻壓縮算法.由于視頻幀在幀內(nèi)與幀之間都存在相關(guān)性，所以將視頻信號(hào)作為三維信號(hào)的一種來(lái)進(jìn)行處理，利用Surfacelet變換對(duì)視頻信號(hào)的時(shí)域和空域信息做整理.相比一般視頻，教學(xué)視頻具有場(chǎng)景單一、畫(huà)面質(zhì)量清晰度高、課件圖像中存在大量文字等特性，且教學(xué)視頻在連續(xù)域有明確的方向性，因此需要在變換域下更多地關(guān)注多方向性和各向異性，而Surfacelet變換在捕捉視頻幀的方向性和奇異性方面具有潛在能力.充分考慮了兩種教學(xué)視頻與一般視頻的不同,采用自適應(yīng)分組運(yùn)動(dòng)估計(jì)來(lái)對(duì)視頻進(jìn)行估計(jì)和補(bǔ)償，保證視頻還原效果.基于Surfacelet變換結(jié)合運(yùn)動(dòng)估計(jì)的自適應(yīng)教學(xué)視頻壓縮算法的基本框架如圖3所示.

圖3 算法流程圖

視頻序列作為算法的輸入，由于考慮到不同類(lèi)型視頻的自身特點(diǎn)，首先進(jìn)行自適應(yīng)分組操作，將視頻序列分成不等分的視頻幀組.把每組的視頻幀序列作為一個(gè)三維信號(hào)，進(jìn)行Surfacelet變換，獲得不同子帶的Surfacelet變換系數(shù)，不同子帶具有不同的特性，低頻子帶包含大多數(shù)的能量，系數(shù)幅值較大，而且對(duì)位移變化敏感，高頻子帶系數(shù)幅值小，能量較低，對(duì)位移變化不敏感.

通過(guò)對(duì)低頻子帶進(jìn)行運(yùn)動(dòng)估計(jì)，獲得運(yùn)動(dòng)向量并補(bǔ)償?shù)玫筋A(yù)測(cè)幀的低頻子帶，再將得到的運(yùn)動(dòng)向量作為幀間的運(yùn)動(dòng)向量得到一個(gè)估計(jì)的參考幀，并對(duì)其進(jìn)行Surfacelet分解，獲得其高頻子帶，至此預(yù)測(cè)幀的低頻子帶與高頻子帶全部得到，逆變換求得預(yù)測(cè)幀.迭代此步驟直至所有視頻幀序列處理完畢.

4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文提出的壓縮算法具有很好的視頻還原效果，分別取兩種類(lèi)型的教學(xué)視頻的30幀進(jìn)行實(shí)驗(yàn)，并將通過(guò)本文方法獲得預(yù)測(cè)幀PSNR實(shí)驗(yàn)結(jié)果與通過(guò)文獻(xiàn)[14]與文獻(xiàn)[15]提出方法獲得的預(yù)測(cè)幀PSNR實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比.

本次實(shí)驗(yàn)的仿真環(huán)境在Matlab 2009a中進(jìn)行，實(shí)驗(yàn)的視頻素材為class和screan.其中class為攝像機(jī)錄制的公務(wù)員培訓(xùn)網(wǎng)課，screan為慕課網(wǎng)上屏幕錄制的計(jì)算機(jī)考研培訓(xùn)課程.通過(guò)自適應(yīng)視頻幀組選取結(jié)果，視頻class的關(guān)鍵幀為視頻序列的第1，14，23幀，視頻screan的關(guān)鍵幀為視頻的第1，5，16，21，27幀，分別取前三個(gè)關(guān)鍵幀的下一幀進(jìn)行實(shí)驗(yàn)，首先在壓縮比相同的情況下，兩種方法處理兩種視頻的結(jié)果如下，表1，表2分別為序列預(yù)測(cè)幀的PSNR和預(yù)測(cè)結(jié)果.

表1 視頻序列class和screan的PSNR對(duì)比

表2 視頻序列class和screan的預(yù)測(cè)幀對(duì)比

通過(guò)上述數(shù)據(jù)和預(yù)測(cè)結(jié)果的對(duì)比可以發(fā)現(xiàn)，文獻(xiàn)[14]的方法針對(duì)攝像機(jī)獲得的教學(xué)視頻進(jìn)行壓縮后，能夠獲得良好的復(fù)原效果，不過(guò)對(duì)于運(yùn)動(dòng)比較劇烈的屏幕視頻幀的還原效果一般；本文提出的方法無(wú)論對(duì)攝像機(jī)錄制的視頻序列還是對(duì)屏幕軟件錄制的視頻序列的還原效果都好于文獻(xiàn)[14]與文獻(xiàn)[15]所提出的方法.

5 結(jié)論

通過(guò)上述分析了解到由于教學(xué)視頻中，錄像教學(xué)視頻與屏幕錄制視頻的差異性，針對(duì)某一類(lèi)的視頻壓縮算法由于忽略了另一類(lèi)視頻的自身特性，在進(jìn)行視頻壓縮處理的時(shí)候效果往往不是很理想.本文充分的考慮了視頻幀空域的冗余性、不同類(lèi)型教學(xué)視頻的自身相關(guān)特性，結(jié)合多尺度變換和運(yùn)動(dòng)估計(jì)技術(shù)，提出了一種基于Surfacelet變換和運(yùn)動(dòng)估計(jì)的自適應(yīng)教學(xué)視頻壓縮方法.實(shí)驗(yàn)結(jié)果證明，對(duì)于錄像教學(xué)視頻以及屏幕錄制教學(xué)視頻，本文提出的方法對(duì)這兩類(lèi)視頻都能有很好的還原效果.然而考慮到算法的復(fù)雜性，本文在視頻幀組選擇的閾值選取采用視頻幀差的中位數(shù)，在以后的研究工作中應(yīng)致力于更加自適應(yīng)的選擇方法.