基于稠密矢量場(chǎng)及自適應(yīng)補(bǔ)償?shù)膸噬献儞Q

劉夢(mèng)可，周 軍，高志勇，陳 立

(上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)工程研究所,上海 200240)

基于稠密矢量場(chǎng)及自適應(yīng)補(bǔ)償?shù)膸噬献儞Q

劉夢(mèng)可，周 軍，高志勇，陳 立

(上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)工程研究所,上海 200240)

為了有效解決視頻幀率上變換中物體邊緣出現(xiàn)的模糊和塊效應(yīng)等問(wèn)題，結(jié)合運(yùn)動(dòng)估計(jì)，優(yōu)化了矢量化后處理和運(yùn)動(dòng)補(bǔ)償算法。在基于塊的運(yùn)動(dòng)估計(jì)中，結(jié)合運(yùn)動(dòng)的時(shí)空相關(guān)性優(yōu)化塊匹配算法，提高物體邊緣運(yùn)動(dòng)矢量的準(zhǔn)確性；通過(guò)基于像素塊相關(guān)性的插值算法，獲取像素矢量場(chǎng)，并保持物體結(jié)構(gòu)完整性；在運(yùn)動(dòng)補(bǔ)償時(shí)，結(jié)合矢量后處理的分類(lèi)信息，自適應(yīng)地進(jìn)行加權(quán)插值計(jì)算，提高內(nèi)插幀的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)方法相比，該方法在主觀和客觀質(zhì)量上都有較大的提升。

幀率上變換；塊匹配；雙邊濾波；自適應(yīng)加權(quán)插值

目前，主流的液晶顯示器的刷新頻率越來(lái)越高，如每秒240幀，而大多數(shù)視頻源的固有幀率較低或者由于信道帶寬限制等原因，視頻的幀率一般為30～60 f/s(幀/秒)，為了提高視頻顯示質(zhì)量，幀率上變換技術(shù)已經(jīng)成為必不可少的工具。另外，由于液晶面板較慢的響應(yīng)時(shí)間和采樣保持時(shí)間等固有缺陷，在快速運(yùn)動(dòng)的場(chǎng)景中，會(huì)出現(xiàn)明顯的運(yùn)動(dòng)模糊，殘影等問(wèn)題[1]，而幀率上變換技術(shù)可以有效地改善這些問(wèn)題。

幀率上變換算法，可以分為非運(yùn)動(dòng)補(bǔ)償類(lèi)算法和運(yùn)動(dòng)補(bǔ)償類(lèi)(MCI)算法。非運(yùn)動(dòng)補(bǔ)償類(lèi)算法不考慮物體的實(shí)際運(yùn)動(dòng)，僅僅對(duì)相鄰幀的像素進(jìn)行重復(fù)或者平均等操作，該類(lèi)算法容易會(huì)產(chǎn)生運(yùn)動(dòng)抖動(dòng)或者模糊。運(yùn)動(dòng)補(bǔ)償算法根據(jù)物體的運(yùn)動(dòng)信息進(jìn)行插值，分為運(yùn)動(dòng)估計(jì)(ME)和運(yùn)動(dòng)補(bǔ)償插值(MCI)兩個(gè)階段，主流的基于塊的運(yùn)動(dòng)估計(jì)算法能夠較好地匹配物體的結(jié)構(gòu)信息，并且有較低的時(shí)間復(fù)雜度[2]，因此常用于運(yùn)動(dòng)估計(jì)中；傳統(tǒng)的塊匹配算法選取SAD值最小的運(yùn)動(dòng)矢量(MV)作為最優(yōu)運(yùn)動(dòng)矢量，但是并不能確保獲取真實(shí)的MV[3]，如在一些平坦區(qū)域，周?chē)徲虻南袼乇容^接近，導(dǎo)致不同MV的SAD也比較接近，容易產(chǎn)生不連續(xù)的MV，而在運(yùn)動(dòng)物體遮蔽區(qū)域，由于其中一幀信息缺失，塊匹配失效等。當(dāng)宏塊含有多種運(yùn)動(dòng)時(shí)，運(yùn)動(dòng)估計(jì)并不準(zhǔn)確，會(huì)導(dǎo)致模糊的效果。運(yùn)動(dòng)補(bǔ)償算法通常對(duì)獲取的相應(yīng)像素取均值，但是由于人為的分塊及MV的不連續(xù)，很容易產(chǎn)生塊效應(yīng)，雖然重疊塊補(bǔ)償算法有效地改善了塊效應(yīng)問(wèn)題[4]，但是由于未考慮塊之間的結(jié)構(gòu)相關(guān)性，容易造成運(yùn)動(dòng)物體邊界的模糊。

針對(duì)上述算法出現(xiàn)的問(wèn)題，本文提出了一些新的解決方法。首先，針對(duì)遮蔽和暴露區(qū)域的信息缺失問(wèn)題，在塊匹配時(shí)，加入時(shí)間相關(guān)MV的懲罰值，獲取更加真實(shí)的MV；在得到圖像塊的MV后，根據(jù)4個(gè)相鄰塊的MV，由基于像素塊相關(guān)性的雙邊濾波算法，計(jì)算出每個(gè)像素的MV，從而有效地解決了圖像塊內(nèi)包含多個(gè)物體邊界的問(wèn)題；最后在運(yùn)動(dòng)補(bǔ)償中，根據(jù)運(yùn)動(dòng)估計(jì)得到的當(dāng)前MV的可信度值和時(shí)間相關(guān)MV的可信度值，對(duì)MV分類(lèi)，并在運(yùn)動(dòng)補(bǔ)償時(shí)，自適應(yīng)加權(quán)插值計(jì)算，有效地改善了遮蔽和暴露區(qū)域的運(yùn)動(dòng)匹配失效的問(wèn)題，并提高算法的魯棒性。

1 本文算法

1.1 算法整體框架

算法的框架圖如圖1所示。

圖1 算法整體框架圖

本文算法首先使用基于塊的單向運(yùn)動(dòng)估計(jì)，獲得每個(gè)宏塊的運(yùn)動(dòng)矢量(MV)，在塊匹配算法中，增加了時(shí)間和空間相關(guān)MV的懲罰值，獲取更加真實(shí)的MV；對(duì)獲取的矢量進(jìn)行細(xì)化處理，然后根據(jù)時(shí)間MV的可信度與當(dāng)前MV的可信度，對(duì)宏塊的MV進(jìn)行分類(lèi)標(biāo)記，作為運(yùn)動(dòng)補(bǔ)償?shù)膮?shù)用于內(nèi)插幀的計(jì)算。使用基于像素塊的雙邊濾波算法，獲取每個(gè)像素的MV，然后對(duì)矢量場(chǎng)進(jìn)行平滑處理。根據(jù)矢量的分類(lèi)信息，進(jìn)行自適應(yīng)插值計(jì)算，獲取更加準(zhǔn)確的圖像幀。

1.2 運(yùn)動(dòng)估計(jì)

傳統(tǒng)的運(yùn)動(dòng)估計(jì)的塊匹配算法使用塊的SAD(Sum of Absolute Difference)作為評(píng)價(jià)標(biāo)準(zhǔn)。SAD的計(jì)算為

(1)

式中：Bi,j表示當(dāng)前的塊，塊的大小為N×N；x和y是塊內(nèi)坐標(biāo)偏移量；v為運(yùn)動(dòng)矢量；vx和vy是運(yùn)動(dòng)矢量的橫縱坐標(biāo)；fn-1，fn+1為相鄰的兩個(gè)圖像幀，通過(guò)計(jì)算相鄰幀對(duì)應(yīng)塊的像素的差的絕對(duì)值的和獲取SAD，并選取SAD最小的MV作為最佳MV。

雖然SAD能夠很好地表示圖像的真實(shí)運(yùn)動(dòng)，但是在一些情景下，SAD并不是可靠的，首先，對(duì)于圖像的平坦區(qū)域，由于不同的MV對(duì)應(yīng)的SAD值差別不大，此時(shí)很容易產(chǎn)生不平滑的矢量場(chǎng)，而加入運(yùn)動(dòng)連續(xù)性相關(guān)的MV的懲罰值可以獲得較為平滑的矢量場(chǎng)，保持物體區(qū)域的整體結(jié)構(gòu)。

如圖2所示，當(dāng)運(yùn)動(dòng)物體向右運(yùn)動(dòng)，宏塊A在fn-1至fn+1過(guò)程出現(xiàn)遮蔽，宏塊A的信息在后一幀fn+1中缺失，因此塊匹配算法失效，該無(wú)效的MV很可能導(dǎo)致內(nèi)插幀中出現(xiàn)塊效應(yīng)等問(wèn)題。而該宏塊在前一個(gè)內(nèi)插過(guò)程中并未發(fā)生遮蔽，因此可以得到一個(gè)可靠的MVb(由fn-1與fn-3單向運(yùn)動(dòng)估計(jì)獲得)，根據(jù)運(yùn)動(dòng)矢量的時(shí)間相關(guān)性，在進(jìn)行塊匹配算法時(shí)，加入時(shí)間相關(guān)MV的懲罰值，可以使運(yùn)動(dòng)估計(jì)的MV更接近真實(shí)的MV，又可以有效減少塊匹配錯(cuò)誤造成的影響。

圖2 遮蔽區(qū)域運(yùn)動(dòng)示意圖

優(yōu)化后的塊匹配公式為

(2)

其中

(3)

fn-1(i+x+vx,j+y+vy)

(4)

式中：第一項(xiàng)為原始的SAD值，其計(jì)算如式(4)，為了提高塊中心像素MV的準(zhǔn)確性，在SAD計(jì)算時(shí)加入像素的權(quán)值因子λ(x,y)，其權(quán)值因子設(shè)計(jì)為高斯分布，塊中心像素的權(quán)值最大，越靠近邊緣越小，這樣可以使MV更接近中心區(qū)域的運(yùn)動(dòng)，為后續(xù)的雙向性插值方法提供更加準(zhǔn)確的MV。第二項(xiàng)為鄰域懲罰值，其中λ1是幅值因子，vi為與當(dāng)前塊相鄰的塊的參考MV，第三個(gè)分量是時(shí)間懲罰值，該分量的幅值因子f(Pt)的計(jì)算如式(3)，據(jù)時(shí)間MVt的懲罰值pt自適應(yīng)地調(diào)整，該式中σ是尺度參數(shù)，λ是幅值參數(shù)，當(dāng)時(shí)間MVt的可信度較小時(shí)，該幅值因子較小，該分量的權(quán)值較小，反之亦然。最終選取使最終懲罰值Penalty(Bi,j,v)最小的MV作為初始的MV。

1.3 遮蔽塊分析

由于遮蔽區(qū)域的塊的MV并不能真實(shí)地反映物體的運(yùn)動(dòng)情況，因此必須有效地標(biāo)記出遮蔽塊，并在運(yùn)動(dòng)補(bǔ)償時(shí)采用相應(yīng)的插值算法計(jì)算內(nèi)插幀。如圖2所示，對(duì)于運(yùn)動(dòng)的物體，在當(dāng)前的內(nèi)插過(guò)程中，某個(gè)塊發(fā)生遮蔽時(shí)，由于參考幀中相應(yīng)塊的信息缺失，該塊運(yùn)動(dòng)估計(jì)時(shí)塊匹配的SADcurrent值很可能比較大，但是該塊在前一個(gè)內(nèi)插過(guò)程未發(fā)生遮蔽，因此時(shí)間相關(guān)MV的SADtemporal值較小，可以根據(jù)當(dāng)前塊的當(dāng)前最優(yōu)MV和時(shí)間MV的可信度值區(qū)分遮蔽塊，并進(jìn)行標(biāo)記。

(5)

若當(dāng)前塊的懲罰值Penaltycurrent大于T1且時(shí)間MV的懲罰值Penaltytemporal小于T2時(shí)，將該區(qū)域MV標(biāo)記為L(zhǎng)1(遮蔽區(qū)域)，其他標(biāo)記為L(zhǎng)2(未遮蔽區(qū)域)。

1.4 像素矢量場(chǎng)計(jì)算

在基于塊的補(bǔ)償算法中，可能會(huì)出現(xiàn)宏塊中包含多個(gè)運(yùn)動(dòng)的情況，如宏塊中含有運(yùn)動(dòng)邊界，雖然通過(guò)矢量細(xì)化獲取更小塊的MV，從而改善塊效應(yīng)[5]，但是并不能保證細(xì)化后的基本塊中不包含多種運(yùn)動(dòng)。另外，分塊的存在不可避免地將圖像中的物體邊界分割在不同的區(qū)域，容易產(chǎn)生塊效應(yīng)等問(wèn)題。直接使用雙線性插值計(jì)算像素MV[6]，雖然可以改善圖像的塊效應(yīng)，但是容易造成邊緣模糊，本文算法對(duì)像素MV的求解方法進(jìn)行優(yōu)化。

如圖3所示，在相鄰的4個(gè)塊的中心像素點(diǎn)圍成的正方形區(qū)域中，由運(yùn)動(dòng)估計(jì)獲得的4個(gè)頂點(diǎn)的MV為MV1，MV2,MV3,MV4，為了保持同一物體內(nèi)像素MV的一致性，本文在雙線性插值的基礎(chǔ)上，加入像素塊相關(guān)性因子，求解每個(gè)像素的MV，即

(6)

式中：Wlocation是一個(gè)與當(dāng)前像素的位置相關(guān)的權(quán)值因子，其計(jì)算式如

(7)

式中：N為塊的大??；x和y為當(dāng)前像素在塊內(nèi)的坐標(biāo)；Wpixel是一個(gè)與當(dāng)前像素塊的灰度值有關(guān)的權(quán)值因子，它的大小與4個(gè)頂點(diǎn)的像素塊的灰度值相關(guān)，灰度值越接近，該值越大，這樣就可以使同一個(gè)物體內(nèi)部的像素MV保持統(tǒng)一，選取像素塊的像素做相關(guān)性計(jì)算，可以減少在紋理豐富區(qū)域的匹配錯(cuò)誤，提高算法的魯棒性，本算法中選用指數(shù)函數(shù)作為求權(quán)值方法，計(jì)算如下

(8)

式中：σ是尺度參數(shù)；λ是幅值參數(shù)；pixelj(x,y)為當(dāng)前像素塊的像素；pixeli(x,y)為頂點(diǎn)像素塊的像素。最后將獲取的MV做歸一化處理，得到了每個(gè)像素的MV。

圖3 像素MV計(jì)算示意圖

1.5 矢量場(chǎng)平滑

由于不平滑的矢量會(huì)導(dǎo)致內(nèi)插幀中出現(xiàn)明顯的塊效應(yīng)，在獲得整個(gè)圖像像素的矢量場(chǎng)后，需要對(duì)矢量場(chǎng)做一定的平滑處理，本算法中采用的高斯濾波函數(shù)，對(duì)矢量場(chǎng)進(jìn)行平滑，高斯濾波的函數(shù)為

(9)

本文中對(duì)濾波核的系數(shù)進(jìn)行歸一化處理，獲取如下濾波核的矩陣

(10)

由于單向運(yùn)動(dòng)估計(jì)會(huì)造成內(nèi)插幀中出現(xiàn)重疊或者空洞問(wèn)題，本文算法中，對(duì)于重疊的部分，選用SAD值較高的MV；對(duì)于空洞部分，使用中值濾波從鄰域MV獲取[7]。

1.6 自適應(yīng)加權(quán)運(yùn)動(dòng)補(bǔ)償

在獲取運(yùn)動(dòng)矢量之后，主流的計(jì)算內(nèi)插幀像素值的方法是，根據(jù)運(yùn)動(dòng)矢量獲取前后兩幀圖像的像素并求均值，雖然該方法對(duì)于運(yùn)動(dòng)物體的內(nèi)部區(qū)域能取得不錯(cuò)的效果，但是對(duì)于運(yùn)動(dòng)物體的邊緣，出現(xiàn)遮蔽的區(qū)域，由于運(yùn)動(dòng)物體只存在其中一個(gè)參考幀中，在另外一幀中缺失，因此直接采用均值運(yùn)動(dòng)補(bǔ)償，會(huì)導(dǎo)致內(nèi)插針的圖像失真。本文算法在運(yùn)動(dòng)估計(jì)的時(shí)候，由于加入了時(shí)間相關(guān)的懲罰因子，保證了遮蔽區(qū)域運(yùn)動(dòng)矢量更接近真實(shí)值，并在遮蔽分析中進(jìn)行了標(biāo)記，因此在遮蔽區(qū)域中，調(diào)整運(yùn)動(dòng)補(bǔ)償時(shí)前后幀像素的權(quán)值，可以有效提高內(nèi)插幀的質(zhì)量。

為了提高算法的魯棒性，避免遮擋區(qū)域邊緣不連續(xù)，對(duì)于遮蔽區(qū)域的內(nèi)插幀像素的計(jì)算，不是簡(jiǎn)單地賦值為前一幀或者后一幀像素，而是根據(jù)周?chē)鷫K中遮蔽點(diǎn)的個(gè)數(shù)，來(lái)決定前一幀和后一幀像素的加權(quán)系數(shù)。

如圖4所示，以當(dāng)前像素為中心，選取N×N的鄰域區(qū)域，統(tǒng)計(jì)每個(gè)像素周?chē)臉?biāo)記為遮蔽區(qū)域的像素的個(gè)數(shù)，并根據(jù)遮蔽像素的個(gè)數(shù)，確定前幀fn-1和后幀fn+1像素的加權(quán)值，計(jì)算如下

(11)

其中加權(quán)系數(shù)λ1的計(jì)算公式如下

(12)

圖4 自適應(yīng)插值系數(shù)計(jì)算

由于在遮蔽區(qū)域的邊界處，加權(quán)系數(shù)平滑的變化，可以使內(nèi)插幀的圖像較為平滑，避免出現(xiàn)突變的問(wèn)題。同時(shí)，該方法可以減少由于遮蔽分析不準(zhǔn)確導(dǎo)致的內(nèi)插幀中物體邊界不連續(xù)的問(wèn)題。

2 實(shí)驗(yàn)結(jié)果

本文算法選取YUV格式大小為CIF的視頻作為輸入，只對(duì)Y分量進(jìn)行處理，基本塊大小為8×8，T1為3 000，T2為 5 000， 選取bus，mobile，foreman，football作為測(cè)試序列，bus運(yùn)動(dòng)復(fù)雜，含有中速移動(dòng)和較多的遮蔽區(qū)域；mobile細(xì)節(jié)豐富，并有慢速移動(dòng)；foreman前景運(yùn)動(dòng)豐富，背景分明，football運(yùn)動(dòng)復(fù)雜。

本實(shí)驗(yàn)中，以原視頻序列中的奇數(shù)幀作為輸入序列，內(nèi)插結(jié)果與原始序列的偶數(shù)幀進(jìn)行比較。為了比較本文算法的效果，本文最終算法分別與基于SAD塊匹配的OBMC算法、含遮蔽分析及自適應(yīng)插值(AMC)的改進(jìn)算法進(jìn)行比較，當(dāng)圖像邊緣像素超出邊界時(shí)，統(tǒng)一采用圖像內(nèi)鏡像位置的值，本文采用PSNR作為客觀比較標(biāo)準(zhǔn)，統(tǒng)計(jì)前50幀的平均PSNR值，并得出如表1的PSNR值。結(jié)果表明該算法的客觀質(zhì)量有了一定的提升。

表1 不同算法的平均PSNR對(duì)比 dB

為了比較本文算法的主觀效果，本文選取了幾個(gè)典型的內(nèi)插幀，如圖5所示。

從圖中可以看出，基于SAD塊匹配的OBMC算法(圖5b)，在遮蔽區(qū)域會(huì)出現(xiàn)一些不連續(xù)或者重影等問(wèn)題，而對(duì)塊匹配算法進(jìn)行改進(jìn)并加入自適應(yīng)加權(quán)插值優(yōu)化后，內(nèi)插幀(圖5c)質(zhì)量得到了較大的改善。另外，從圖5e和圖5f的局部放大圖比較可以看到，基于像素塊相關(guān)性的雙線性插值法，有效地改善了物體邊緣。

3 結(jié)論

本文對(duì)基于塊的運(yùn)動(dòng)補(bǔ)償算法進(jìn)行了優(yōu)化，依據(jù)運(yùn)動(dòng)估計(jì)MV時(shí)間相關(guān)性改進(jìn)了塊匹配算法，獲取更加準(zhǔn)確的MV；通過(guò)分析時(shí)間相關(guān)MV和當(dāng)前MV的可信度值，將MV進(jìn)行分類(lèi)，標(biāo)記遮蔽區(qū)域；通過(guò)基于像素塊相關(guān)性的雙線性插值算法，計(jì)算出每個(gè)像素的MV，保持了運(yùn)動(dòng)物體整體一致性，避免產(chǎn)生明顯的塊效應(yīng)；另外，在內(nèi)插幀計(jì)算時(shí)，根據(jù)當(dāng)前像素周?chē)臉?biāo)記點(diǎn)個(gè)數(shù)，自適應(yīng)調(diào)整前后幀的權(quán)值系數(shù)，有效提高了遮蔽區(qū)域的圖像質(zhì)量，同時(shí)避免出現(xiàn)突變的像素點(diǎn)，提高了算法的魯棒性。實(shí)現(xiàn)結(jié)果表明，無(wú)論主觀還是客觀，本文算法取得明顯的改善。

[1] SHAY H N，NGUYEN T Q. LCD motion blur reduction：a signal processing approach[J].IEEE Trans. Image Processing，2008，17(2)：117-125.

[2] 王大偉，嚴(yán)俊，王彬，等. 視頻序列的運(yùn)動(dòng)估計(jì)技術(shù)綜述[J]. 電視技術(shù)，2012，36 (3)：20-23.[3] CETIN M. An adaptive true motion estimation algorithm for frame rate conversion of high definition video and its hardware implementations[J]. IEEE Trans. Consumers Electronics，2011，57(2)：923-931.

[4] CHOI B T， LEE S H， KO S J. New frame rate up-conversion using bi-directional motion estimation [J].IEEE Trans. Consumer Electronics，2000，46(3)： 603-609.

[5] HUANG A M，NGUYEN T Q. A multistage motion vector processing method for motion-compensated frame interpolation[J].IEEE Trans. Image Processing，2008，17(5)：694-708.

[6] Al-MUALLA M E. Motion field interpolation for frame rate conversion[C]//Proc. 2003 International Symposium， Circuits and Systems(ISCAS '03). [S.l.]：IEEE Press，2003：652-655

[7] DEMIN W，VINCENT A，BLANCHFIELD P，et al. Motion compensated frame rate up-conversion part II： new algorithms for frame interpolation[J]. IEEE Trans. Broadcasting，2010， 56 (2)： 142-149.

劉夢(mèng)可，碩士生，主研圖像處理及算法；

周 軍，副教授，主研三維圖像處理；

高志勇，博士生導(dǎo)師，主研高速圖像與視頻處理、數(shù)字電視；

陳 立，講師，主研高速圖像處理及IC設(shè)計(jì)。

責(zé)任編輯：時(shí) 雯

騰訊五千萬(wàn)元入股歡網(wǎng)科技

TCL集團(tuán)近日發(fā)布公告，公司旗下的智能電視運(yùn)營(yíng)平臺(tái)廣州歡網(wǎng)科技有限公司簽署增資協(xié)議，正式引入騰訊投資作為戰(zhàn)略投資者，繼續(xù)推進(jìn)騰訊與TCL TV+平臺(tái)的全面合作。

公告顯示，騰訊投資和天津誠(chéng)柏各出資5 000萬(wàn)元分別獲得增資后歡網(wǎng)科技7.143%的股權(quán)。增資完成后，TCL集團(tuán)和長(zhǎng)虹創(chuàng)新投資繼續(xù)各持有歡網(wǎng)科技27.394%股份為前二大股東，天津誠(chéng)柏持股比例增至20%。此次歡網(wǎng)科技引進(jìn)戰(zhàn)略投資者，騰訊的加盟無(wú)疑成為市場(chǎng)關(guān)注的焦點(diǎn)。作為國(guó)內(nèi)最大的互聯(lián)網(wǎng)綜合服務(wù)提供商之一，騰訊擁有雄厚的用戶基礎(chǔ)和強(qiáng)大的內(nèi)容生產(chǎn)能力，其獨(dú)特的行業(yè)優(yōu)勢(shì)地位和競(jìng)爭(zhēng)優(yōu)勢(shì)不言而喻。

Frame Rate Up-conversion Based on Dense Vector Field and Adaptive Compensation

LIU Mengke，ZHOU Jun，GAO Zhiyong，CHEN Li

(ImageCommunicationandNetworkTechnologyInstitute，ShanghaiJiaotongUniversity，Shanghai200240，China)

In order to solve problems such as edge blur and blocking artifacts in frame rate up-conversion， block matching (BM) algorithm and motion compensation (ME) algorithm are improved based on motion estimation. In the block-based motion estimation way， BM algorithm is optimized by adding motion information of temporal and spatial correlation，and reducing the blocking effect of moving objects. Pixel MV is applied in the MC and is calculated by bilateral filter based on correlation between pixel blocks， to maintain the structural integrity of the objects. In motion compensation， the classification information of the MV processing is used for adaptively weighted interpolation to improve the quality of the interpolated frame. Experimental results show that， the image quality is improved in the subjective and objective quality.

FRUC；BM；bilateral filter；adaptively weighted interpolation

【本文獻(xiàn)信息】劉夢(mèng)可，周軍，高志勇，等.基于稠密矢量場(chǎng)及自適應(yīng)補(bǔ)償?shù)膸噬献儞Q[J].電視技術(shù),2015，39(11).

國(guó)家科技重大專(zhuān)項(xiàng)項(xiàng)目(2013ZX01033001-002-002)；國(guó)家自然科學(xué)基金項(xiàng)目(61133009)；數(shù)字媒體處理與傳輸上海市重點(diǎn)實(shí)驗(yàn)室項(xiàng)目(STCSM 12DZ2272600)

TN911.73

A

10.16280/j.videoe.2015.11.003

2014-09-30