基于時(shí)空域方向自適應(yīng)結(jié)合的去隔行方法

張?濤，潘希豪，王?昊，雷志春

基于時(shí)空域方向自適應(yīng)結(jié)合的去隔行方法

張?濤1，潘希豪1，王?昊1，雷志春2

(1. 天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072；2. 天津大學(xué)微電子學(xué)院，天津 300072)

目前，隔行掃描廣泛應(yīng)用于電視廣播系統(tǒng)中，去隔行處理普遍采用多算法融合的方法，由于空域插值和時(shí)域插值的不準(zhǔn)確性以及各算法之間結(jié)合權(quán)值的不合理性，導(dǎo)致融合方法的去隔行處理效果并不理想．因此，本文在分析中心獨(dú)立插值算法和垂直時(shí)域?yàn)V波算法優(yōu)缺點(diǎn)的基礎(chǔ)上，提出了一種基于時(shí)空域方向自適應(yīng)結(jié)合的去隔行方法．本方法綜合考慮場(chǎng)內(nèi)相鄰像素之間的相似性和像素位置之間距離的關(guān)系，結(jié)合不同場(chǎng)之間的時(shí)域信息，使用更為合理的權(quán)值自適應(yīng)地將空域插值和時(shí)域插值結(jié)合在一起，以增強(qiáng)去隔行方法結(jié)果的準(zhǔn)確性和穩(wěn)定性．本方法基于雙邊濾波器的原理，以不依賴中心像素的方式進(jìn)行空域插值，采用垂直時(shí)域?yàn)V波算法，選擇合理的濾波系數(shù)進(jìn)行時(shí)域插值．仿真實(shí)驗(yàn)結(jié)果表明，本文所提的方法和現(xiàn)有去隔行方法相比較，在主觀和客觀上均有明顯的改善．主觀上與目前主流的去隔行方法相比，該方法能夠在一定程度上保護(hù)邊緣，減少邊緣模糊，處理后的圖像質(zhì)量較好．客觀上與其他方法相比，本文所提方法的PSNR值均高于其他算法，計(jì)算復(fù)雜度上，本文所提方法在運(yùn)算操作數(shù)和運(yùn)算時(shí)間上也相對(duì)較低．綜合算法的圖像質(zhì)量評(píng)價(jià)和計(jì)算復(fù)雜度而言，本文所提方法的圖像質(zhì)量較高，計(jì)算復(fù)雜度相對(duì)較低，比較適合于實(shí)時(shí)系統(tǒng)．

去隔行；雙邊濾波；中心獨(dú)立插值；垂直時(shí)域?yàn)V波；自適應(yīng)結(jié)合

隔行掃描格式被廣泛應(yīng)用在各種電視廣播系統(tǒng)中，在不增加額外帶寬的情況下，可有效地提高視頻幀率[1]．然而，對(duì)于快速運(yùn)動(dòng)的場(chǎng)景，隔行掃描幀會(huì)帶來邊緣閃爍、鋸齒現(xiàn)象和場(chǎng)間混疊等的問題[2]．為解決這些問題，人們提出了各種各樣的去隔行方法[3].現(xiàn)有去隔行方法可以分為兩類：運(yùn)動(dòng)補(bǔ)償方法和非運(yùn)動(dòng)補(bǔ)償方法．

運(yùn)動(dòng)補(bǔ)償方法是通過搜索運(yùn)動(dòng)信息，重建缺失的行信息，進(jìn)而實(shí)現(xiàn)去隔行的目的．Fan等[4]基于雙向插值、錯(cuò)誤運(yùn)動(dòng)矢量檢測(cè)、四路時(shí)間差分檢測(cè)等提出了運(yùn)動(dòng)補(bǔ)償去隔行方法．Mohammadi等[5]提出了基于五場(chǎng)運(yùn)動(dòng)補(bǔ)償信息的改進(jìn)去隔行算法．Pang等[6]基于人眼視覺系統(tǒng)提出了運(yùn)動(dòng)自適應(yīng)去隔行算法. Zhang等[7]提出了基于改進(jìn)的邊緣線平均(edge-based line average，ELA)插值的運(yùn)動(dòng)自適應(yīng)去隔行算法．實(shí)驗(yàn)表明這類方法能夠在特定情況下提供良好的效果，但計(jì)算復(fù)雜度較高，魯棒性較差．為提高魯棒性，Wang等[8]利用魯棒性運(yùn)動(dòng)檢測(cè)器結(jié)合了場(chǎng)間插值、邊緣自適應(yīng)和運(yùn)動(dòng)補(bǔ)償方法．Huang等[9]基于分層運(yùn)動(dòng)分析提出運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜兴惴ǎ啾冗\(yùn)動(dòng)補(bǔ)償方法，非運(yùn)動(dòng)補(bǔ)償方法的計(jì)算復(fù)雜度較低，并且視覺效果較好．

非運(yùn)動(dòng)補(bǔ)償方法可分為線性技術(shù)和非線性技?術(shù)[1]．線性技術(shù)主要有空域?yàn)V波、時(shí)域?yàn)V波和垂直時(shí)域?yàn)V波(vertical time filter，VTF)．Lee等提出了基于VTF的幀間相關(guān)去隔行算法[10]和運(yùn)動(dòng)自適應(yīng)VTF去隔行算法[11]．Lee等[12]而后在VTF之前應(yīng)用空域配準(zhǔn)，提出了一種高質(zhì)量的去隔行算法．這些方法在邊緣區(qū)域和運(yùn)動(dòng)區(qū)域的效果不好，因此，人們提出了非線性技術(shù)解決這些問題，非線性技術(shù)主要有基于邊緣的方法[13]和基于自適應(yīng)運(yùn)動(dòng)補(bǔ)償?shù)姆椒╗14]等．

近年來，有關(guān)圖像插值算法的研究廣泛應(yīng)用于圖像超分辨率重建[15]、醫(yī)學(xué)圖像識(shí)別診斷[16]、圖像去隔行[7, 17]等方面．其中，較為傳統(tǒng)的插值算法有鄰近插值和雙線性插值等，這些算法操作簡單，容易實(shí)現(xiàn)，但容易出現(xiàn)鋸齒邊緣等現(xiàn)象．為克服其缺點(diǎn)，Wang?等[18]提出基于改進(jìn)的邊緣定向圖像插值算法，這類方法能夠在較低復(fù)雜度的前提下，使得圖像的視覺效果更好．Zhang等[17]基于梯度引導(dǎo)插值和加權(quán)平均的方向估計(jì)提出了一種去隔行算法．還有一些學(xué)者使用深度學(xué)習(xí)[19]、模糊邏輯[20]、馬爾可夫隨機(jī)模型[21]等技術(shù)研究去隔行，提出相應(yīng)的算法，并取得較好的去隔行效果．

本文采用中心獨(dú)立插值(center independent interpolation，CII)算法[22]，操作簡單，同時(shí)以插值點(diǎn)為中心充分考慮周圍點(diǎn)對(duì)其的影響，分配不同的權(quán)重，充分考慮視頻內(nèi)幀間像素的相關(guān)性，穩(wěn)定性更強(qiáng)，魯棒性更好．本文首先對(duì)CII算法和VTF算法進(jìn)行改進(jìn)，然后對(duì)改進(jìn)的算法進(jìn)行自適應(yīng)加權(quán)，提出了一種改進(jìn)的CII和VTF自適應(yīng)結(jié)合的去隔行方法，使得最終的插值結(jié)果更穩(wěn)定、更準(zhǔn)確．

1?基于時(shí)空域方向自適應(yīng)結(jié)合的去隔行算法

本文所提出的算法框圖如圖1所示．本文結(jié)合CII算法和VTF算法，提出一種時(shí)空域方向插值自適應(yīng)結(jié)合的去隔行算法．首先，對(duì)CII算法和VTF算法進(jìn)行改進(jìn)，本文從以下3個(gè)方面改進(jìn)原始CII算法：①用新的表征像素之間距離關(guān)系的權(quán)值進(jìn)行計(jì)算；②為提高CII算法的插值精度，充分考慮空域信息，利用更多的相鄰像素之間的關(guān)系；③根據(jù)插值像素的方向，重新選擇調(diào)整因子．為更多地考慮相鄰場(chǎng)與當(dāng)前場(chǎng)之間的關(guān)系，重新選定合適的VTF[10]系數(shù)．對(duì)VTF算法處理后的結(jié)果使用中值濾波處理，消除圖像尾影和噪聲，然后對(duì)改進(jìn)的算法進(jìn)行自適應(yīng)加權(quán)，并從主觀和客觀對(duì)提出算法進(jìn)行評(píng)價(jià)．

圖1?算法整體框圖

1.1?改進(jìn)的CII算法

CII算法利用相鄰像素的相關(guān)性進(jìn)行插值，實(shí)現(xiàn)去隔行．如果中心對(duì)稱位置的相鄰像素具有相似的灰度級(jí)，則它們具有更高的權(quán)重．否則，它們具有較低的權(quán)重．CII算法計(jì)算復(fù)雜度較低，對(duì)于一般的去隔行問題，能夠提供較好的性能．但是所使用的相鄰像素個(gè)數(shù)較少，不能充分地利用空域信息進(jìn)行插值.并且表征像素之間距離關(guān)系的權(quán)值計(jì)算也有些偏差.另外，CII算法只使用當(dāng)前場(chǎng)的空域信息，并沒有使用時(shí)域信息，可能會(huì)由于噪聲等原因影響插值結(jié)果的穩(wěn)定性，使插值結(jié)果的準(zhǔn)確性降低．本文使用相鄰像素之間的距離關(guān)系代替相鄰像素與中心待插值像素之間的距離關(guān)系，考慮更多方向上的相鄰像素，充分利用空域特征，旨在提高CII插值算法的精度和穩(wěn)定性．

原始的CII算法是利用相鄰像素之間的像素值相似性以及相鄰像素與中心待插值像素之間的距離關(guān)系進(jìn)行空域插值．為了與相鄰像素之間的像素值相似性關(guān)系相匹配，改進(jìn)的CII插值算法采用相鄰像素之間的距離關(guān)系代替相鄰像素與中心待插值像素之間的距離關(guān)系，利用含有高斯核的權(quán)值函數(shù)表征相鄰像素之間的距離關(guān)系，即

從表1的對(duì)比數(shù)據(jù)中可以看出，采用相鄰像素之間的距離關(guān)系比采用相鄰像素之間像素值相似性關(guān)系更匹配，插值結(jié)果的準(zhǔn)確性更高．改進(jìn)的CII算法重建圖像序列的PSNR比原始CII算法重建圖像序列的PSNR平均高出0.264dB．

表1?改進(jìn)前后的CII算法獲得重建圖像序列的PSNR

Tab.1?PSNR ofimage sequences by the orginal and improved CII algorithm

原始CII算法進(jìn)行空域插值使用6個(gè)相鄰像素在3個(gè)方向(45°，90°和135°)上形成3個(gè)中心對(duì)稱像素對(duì)：對(duì)角線、垂直和反對(duì)角線．由于利用的空域信息較少，使得插值結(jié)果的精度受到一定影響．為了提高CII算法的插值精度，使用更多相鄰像素之間的關(guān)系．根據(jù)當(dāng)前場(chǎng)中相鄰原始像素到待插值像素之間的距離關(guān)系，增加2個(gè)方向(27°和153°)的4個(gè)相鄰像素，進(jìn)而更充分地利用空域信息，如圖2所示．

圖2?CII算法的權(quán)重計(jì)算方法

用含有高斯核的權(quán)值函數(shù)表征相鄰像素之間的像素值相似性關(guān)系，如式(2)所示．

中心對(duì)稱的相鄰像素之間距離是固定的．使用相鄰像素之間的距離關(guān)系代替相鄰像素與中心待插值像素之間的關(guān)系，根據(jù)式(1)，用含有高斯核的權(quán)值函數(shù)表征相鄰像素之間的距離關(guān)系，如式(3)所示.

在使用相鄰像素之間的距離關(guān)系替代相鄰像素與中心像素之間的距離關(guān)系的情況下，為驗(yàn)證在增加2個(gè)方向的有效性，分別利用3個(gè)方向(3×3_CII)、5個(gè)方向(5×5_CII)和7個(gè)方向(7×7_CII)的CII插值方法獲得重建圖像的PSNR，測(cè)試結(jié)果如表2所示．測(cè)試的視頻序列是6個(gè)分辨率為720×576的隔行掃描視頻序列．實(shí)驗(yàn)結(jié)果表明，5×5_CII插值算法獲得重建圖像序列的PSNR比3×3_CII的插值結(jié)果平均高0.378dB，7×7_CII插值算法獲得重建圖像序列的PSNR值比5×5_CII的插值結(jié)果平均高0.027dB．因此，當(dāng)使用7個(gè)方向插值方法時(shí)，重建圖像的序列的PSNR值沒有顯著提升，而算法的計(jì)算復(fù)雜度卻相對(duì)增加．實(shí)驗(yàn)結(jié)果表明，選取5個(gè)方向的相鄰像素已能夠充分利用空域信息，獲得更準(zhǔn)確的插值結(jié)果．

表2?3×3_CII算法、5×5_CII算法和7×7_CII算法獲得的重建圖像序列的PSNR

Tab.2?PSNRofimage sequences using 3×3_CII，5×5_CII and 7×7_CII algorithms

1.2?VTF算法

VTF算法主要是利用空域信息和時(shí)域信息進(jìn)行插值，該模型主要是利用前場(chǎng)圖像和當(dāng)前場(chǎng)圖像、后場(chǎng)圖像和當(dāng)前場(chǎng)圖像，以及當(dāng)前場(chǎng)圖像內(nèi)部相鄰像素之間的關(guān)系進(jìn)行插值，充分利用相鄰場(chǎng)之間的時(shí)域關(guān)系和場(chǎng)內(nèi)的空域關(guān)系．模型中插值結(jié)果的低頻部分主要由場(chǎng)內(nèi)垂直方向上的兩個(gè)相鄰像素獲得，高頻部分有兩個(gè)來源，分別從場(chǎng)內(nèi)垂直方向上的兩個(gè)相鄰像素和前后兩個(gè)相鄰場(chǎng)中對(duì)應(yīng)位置垂直方向的相鄰像素獲得[10]．在插值系數(shù)選取上，一般為當(dāng)前場(chǎng)中上下相鄰像素分配較大的系數(shù)，為相鄰場(chǎng)中相關(guān)像素分配較小的系數(shù)．

其插值定義如式(6)所示．

針對(duì)模型中插值系數(shù)的選取，因?yàn)楹罄m(xù)希望使用VTF算法中更多的時(shí)域信息提升CII算法插值(只利用了空域信息插值)的精度，所以這里更多地考慮了相鄰場(chǎng)與當(dāng)前場(chǎng)之間的關(guān)系．但是過多的時(shí)域信息可能會(huì)影響空域插值的作用，因此需要在一個(gè)適當(dāng)范圍內(nèi)提高時(shí)域信息使用量．權(quán)衡考慮使用式(8)中的插值系數(shù)．

另外，實(shí)驗(yàn)結(jié)果還表明，當(dāng)小車運(yùn)動(dòng)量較大時(shí)，VTF的插值結(jié)果會(huì)出現(xiàn)尾影，如圖4(c)中白車頂部的尾影．使用3×3的中值濾波對(duì)VTF插值處理后的結(jié)果進(jìn)行濾波處理，可以很好地抑制這兩種現(xiàn)象，如圖4(d)所示．

圖3?垂直時(shí)域?yàn)V波系數(shù)

（a）rally測(cè)試序列中的一幀圖像? （b）該幀圖像中小車部分的放大圖

（c）VTF去隔行算法處理結(jié)果（d）對(duì)圖(c)進(jìn)行3×3中值濾波處理后的結(jié)果

1.3?自適應(yīng)結(jié)合的去隔行方法

為了進(jìn)一步提高插值結(jié)果的準(zhǔn)確性和穩(wěn)定性，本文將改進(jìn)后的CII算法和VTF算法結(jié)合提出一種基于時(shí)空域方向插值自適應(yīng)結(jié)合的去隔行方法．一方面，由于改進(jìn)后的CII插值算法沒有充分利用時(shí)域信息，而VTF算法包含較多的時(shí)域信息，可以充分利用時(shí)域信息和空域信息，使得插值結(jié)果更為準(zhǔn)確．另一方面，由于噪聲、不規(guī)則運(yùn)動(dòng)以及不規(guī)則紋理等因素的影響，使相鄰像素之間的空域或時(shí)域關(guān)系減弱，需要改進(jìn)后的CII插值算法或改進(jìn)后的VTF插值算法提高插值結(jié)果的穩(wěn)定性．本文采取的自適應(yīng)權(quán)重定義如式(9)所示．

最終的插值結(jié)果如式(11)所示．

首先，權(quán)值是利用了CII插值算法分量權(quán)重的和自適應(yīng)選取的．其次，權(quán)值選取的主要依據(jù)是當(dāng)前場(chǎng)內(nèi)相鄰像素之間的像素值相似性．當(dāng)相鄰像素之間的像素值相似性較強(qiáng)時(shí)，分配給CII插值的權(quán)重較大，反之，分配給CII插值的權(quán)重較?。纾趫D像中物體的邊緣區(qū)域、細(xì)節(jié)豐富區(qū)域等空域關(guān)系較差的情況下，分配給空域插值CII算法的權(quán)重較少．

2?實(shí)驗(yàn)結(jié)果

本節(jié)主要討論測(cè)試結(jié)果的圖像質(zhì)量評(píng)價(jià)和計(jì)算復(fù)雜度，其中圖像質(zhì)量評(píng)價(jià)主要是從包括客觀質(zhì)量評(píng)價(jià)和主觀質(zhì)量評(píng)價(jià)兩個(gè)方面．

對(duì)比算法選取常用的去隔行方法：ELA[7]、5×5_CII、運(yùn)動(dòng)補(bǔ)償算法OverlappedMC[8]、運(yùn)動(dòng)自適應(yīng)垂直時(shí)域?yàn)V波算法5×3_MAVTF(塊大小為5×3)[10]、垂直時(shí)域?yàn)V波算法VTF[11]和AWI(3×3_CII算法和wiener插值算法的自適應(yīng)結(jié)合)[18]．對(duì)比算法既有時(shí)域插值去隔行算法，也包含空域插值去隔行算法．視頻測(cè)試序列選取典型的7個(gè)不同分辨率的YUV待測(cè)視頻序列，分別為akiyo，bus(352×288)，horsecab，rally(720×576)，Sailor-men(1280×720)，kimono(1920×1080)，europe(3840×2160)．這些視頻序列包括運(yùn)動(dòng)較為劇烈的場(chǎng)景和運(yùn)動(dòng)較為緩慢的場(chǎng)景．本文實(shí)驗(yàn)所使用的編譯環(huán)境是VS2013，實(shí)驗(yàn)數(shù)據(jù)是在i5-6400CPU主頻為2.70GHz的臺(tái)式計(jì)算機(jī)上仿真得到的．其中，客觀質(zhì)量評(píng)價(jià)采用PSNR進(jìn)行衡量．表3是采用上述去隔行方法處理不同測(cè)試序列所得到的平均PSNR值．從這些數(shù)據(jù)可以看出，本文所提方法可以得到較高的PSNR值，均高于對(duì)比算法，其中平均PSNR值比VTF算法高2.885dB，比5×5_CII算法提高了0.653dB．本文所提方法自適應(yīng)結(jié)合了5×5_CII算法和改進(jìn)的VTF算法，VTF算法和5×5_CII算法相互彌補(bǔ)，提高了插值結(jié)果的準(zhǔn)確性．

對(duì)于不同去隔行處理方法所得重建圖像的主觀質(zhì)量評(píng)價(jià)，針對(duì)上述測(cè)試視頻，觀察者測(cè)試時(shí)沒有處理算法的信息，在室內(nèi)單獨(dú)進(jìn)行觀察實(shí)驗(yàn)．實(shí)驗(yàn)結(jié)果表明，在視頻中運(yùn)動(dòng)較為快速的物體邊緣處，對(duì)比算法有或多或少的失真影響觀察者的視覺體驗(yàn)，所提算法在細(xì)節(jié)和物體邊緣處均有明顯的改善．這里通過放大horsecab圖中斑馬線部分來比較各個(gè)重建圖像的主觀質(zhì)量，如圖5所示．從這些重建圖像中可以看到，ELA、AWI和5×5_CI算法在斑馬線邊緣都有嚴(yán)重的褶皺(如圖5中(c)、(d)、(e)所示). OverlappedMC算法腐蝕了斑馬線的邊緣，同時(shí)在人臉和塔架區(qū)域造成了尾影(如圖5中(f)所示)．5×3_MAVTF算法在斑馬線的邊緣有輕微的褶皺，并且在斑馬線的中間白色區(qū)域有一些黑點(diǎn)(如圖5中(g)所示)．經(jīng)過分析，發(fā)現(xiàn)這些都是因?yàn)橄袼刂狄绯鲈斐傻模甐TF算法在斑馬線的中間白色區(qū)域有大量的黑點(diǎn)(紅色圓圈區(qū)域內(nèi)，如圖7(h)所示)，這些也都是像素值溢出造成的．而本文所提算法給出了最佳的效果，斑馬線邊緣基本沒有褶皺，斑馬線內(nèi)部沒有黑點(diǎn)，同時(shí)也很好地保護(hù)了邊緣區(qū)域，減少了邊緣區(qū)域的模糊．

表3?各種不同去隔行算法的PSNR比較

Tab.3?PSNRcomparison of different de-interlacing methods

（a）測(cè)試序列中的某一幀圖像 （b）斑馬線放大圖 （c）ELA算法

（d）AWI算法 （e）5×5_CII算法 （f）OverlappedMC算法

（g）5×3_MAVTF算法 （h）VTF算法 （i）本文方法

關(guān)于去隔行算法的計(jì)算復(fù)雜度，表4給出了各種去隔行算法重建一個(gè)缺失像素所需要的運(yùn)算操作數(shù)．表5給出了各種去隔行算法重建不同視頻中一幀圖像所需要運(yùn)行的時(shí)間．從表4給出的數(shù)據(jù)來看，由于OverlappedMC算法包含運(yùn)動(dòng)搜索過程，因而其重建一個(gè)缺失像素所需要的總的操作數(shù)是1092個(gè)，是這些算法中計(jì)算復(fù)雜度最高的．本文所提去隔行方法所需的總的操作數(shù)是88個(gè)，遠(yuǎn)低于OverlappedMC算法，但要略高于5×3_MAVTF算法和AWI算法．ELA算法和VTF算法的操作數(shù)是最少的．從表5給出的數(shù)據(jù)來看，OverlappedMC算法重建一幀圖像的時(shí)間最長，本文所提算法重建一幀圖像所需要的時(shí)間略高于VTF算法、5×3_MAVTF算法和AWI算法．ELA算法和5×5_CII算法重建的時(shí)間是最快的．實(shí)驗(yàn)測(cè)試數(shù)據(jù)表明，算法所運(yùn)行時(shí)間和相應(yīng)的操作數(shù)分析是一致的，操作數(shù)越多，算法所運(yùn)行的時(shí)間越長．

因此，綜合算法的圖像質(zhì)量評(píng)價(jià)和計(jì)算復(fù)雜度而言，本文所提算法的圖像質(zhì)量較高，計(jì)算復(fù)雜度相對(duì)較低，在實(shí)際應(yīng)用中，可對(duì)本文所提出的算法在處理時(shí)間上進(jìn)一步優(yōu)化，優(yōu)化后的算法可考慮應(yīng)用在實(shí)時(shí)系統(tǒng)中．

表4?各種不同去隔行算法對(duì)每個(gè)像素點(diǎn)所需的操作數(shù)

Tab.4?Numbers of various operations per pixel of different de-interlacing algoriths

表5?各種不同去隔行算法重建某一幀視頻圖像所需要的運(yùn)行時(shí)間

Tab.5?Running time of various de-interlacing algorithms for reconstructing one frame of different videos

3?結(jié)?語

本文提出的去隔行方法是利用權(quán)重自適應(yīng)地把改進(jìn)的CII算法和改進(jìn)的VTF算法相結(jié)合，利用CII算法的空域信息和VTF算法的時(shí)域信息，使得插值結(jié)果更穩(wěn)定，更準(zhǔn)確．與目前主流的去隔行方法相比，該方法能夠在一定程度上保護(hù)邊緣，減少邊緣的模糊，主觀上效果較好．客觀上，該方法的PSNR均高于其他算法，與傳統(tǒng)的CII算法相比，圖像質(zhì)量有0.4dB左右的提升，與運(yùn)動(dòng)自適應(yīng)VTF算法相比，圖像質(zhì)量有1dB左右的提升，同時(shí)在計(jì)算復(fù)雜度上，該方法的運(yùn)算操作數(shù)和運(yùn)算時(shí)間上也相對(duì)較低，比較適合于實(shí)時(shí)系統(tǒng)．目前主流的電視廣播系統(tǒng)為減少帶寬，仍采用隔行掃描技術(shù)，同時(shí)早期的視頻資料也有很多采用隔行掃描的方式進(jìn)行保存．視頻內(nèi)容多種多樣，為適應(yīng)多種場(chǎng)景的視頻序列去隔行處理，如何有效地將多種算法進(jìn)行融合并保持原有算法的優(yōu)勢(shì)，仍是需要深入研究的問題．

［1］ Lee K，Lee C. High quality spatially registered vertical temporal filtering for deinterlacing[J]. IEEE Transactions on Consumer Electronics，2013，59(1)：182-190.

［2］ 張?濤，陳有志，雷志春. 基于時(shí)空特性自適應(yīng)插值的混合去隔行方法[J]. 天津大學(xué)學(xué)報(bào)：自然科學(xué)與工程技術(shù)版，2018，51(1)：73-78.

Zhang Tao，Chen Youzhi，Lei Zhichun. Hybrid de-interlacing algorithm with adaptive interpolation based on temporal-spatial characteristics[J]. Journal of Tianjin University：Science and Technology，2018，51(1)：73-78(in Chinese).

［3］ Fan Y C. De-interlacing system and technology overview and discussion[C]// 2009 IEEE international Workshop on Imaging Systems and Techniques. Shenzhen，China，2009：287-290.

［4］ Fan Y，Lin H，Chiang A，et al. Motion compensated deinterlacing with efficient artifact detection for digital television displays[J]. Journal of Display Technology，2008，4(2)：218-228.

［5］ Mohammadi H. M，Langlois P，Savaria Y. A five-field motion compensated deinterlacing method based on vertical motion[J]. IEEE Transactions on Consumer Electronics，2007，53(3)：1117-1124.

［6］ Pang Z，Lei D，Chen D，et al. A motion adaptive deinterlacing method based on human visual system[C]// 2011 4th International Congress on Image and Signal Processing. Shanghai，China，2011：340-344.

［7］ Zhang X，Wang D. An efficient motion adaptive deinterlacing algorithm using improved edge-based line average interpolation[C]// IEEE International Conference on Signal Processing. Chengdu，China，2017：659-662.

［8］ Wang S B，Chang T S. Adaptive de-interlacing with robust overlapped block motion compensation[J]. IEEE Transactions on Circuits and Systems for Video Technology，2008，18(10)：1437-1440.

［9］ Huang Q，Zhao D，Ma S，et al. Deinterlacing using hierarchical motion analysis[J]. IEEE Transactions on Circuits & Systems for Video Technology，2010，20(5)：673-686.

［10］ Lee K，Lee C. Frame correlation based vertical temporal filtering for deinterlacing[C]//IASTED International Conference on Signal and Image Processing. Kailua-Kona，Hawaii，USA，2008，104-107.

［11］ Lee K，Lee J，Lee C. Deinterlacing with motion adap- tive vertical temporal filtering[J]. IEEE Transactions on Consumer Electronics，2009，55(2)：291-302.

［12］ Lee K，Lee C. High quality spatially registered vertical temporal filtering for deinterlacing[J]. IEEE Transactions on Consumer Electronics，2013，59(1)：182-190.

［13］ Yang R E，Che K，Li J. A motion adaptive de-interlacing algorithm based on edge-dependent interpolation[C]//Control and Decision Conference. Xuzhou，China，2010：910-913.

［14］ Yang X，F(xiàn)eng Z. 3D video frame interpolation via adaptive hybrid motion estimation and compensation[C]// IEEE International Conference on Acoustics，Speech and Signal Processing. Shanghai，China，2016：1691-1695.

［15］ Zhang Y F，F(xiàn)an Q L，Bao F X，et al. Single-image super-resolution based on rational fractal interpolation[J]. IEEE Transactions on Image Processing，2018，27(8)：3782-3797.

［16］ Xia Z，Wang X，Wang C，et al. Subpixel-based accurate and fast dynamic tumor image recognition[J]. Journal of Medical Imaging & Health Informatics，2018，8(5)：925-931.

［17］ Zhang H，Rong M. Deinterlacing algorithm using gradient-guided interpolation and weighted average of directional estimation[J]. Image Processing Iet，2014，9(6)：450-460.

［18］ Wang X，Chen Z，Bao X. An Improved edge-directed image interpolation algorithm[J]. International Journal of Image and Graphics，2012，12(4)：385-396.

［19］ Choi I，Baek S H，Min H K. Reconstructing interlaced high-dynamic-range video using joint learning[J]. IEEE Transactions on Image Processing，2017，26(11)：5353-5366.

［20］ Brox P，Baturone I，Sanchez-Solano S，et al. Edge-adaptive spatial video de-interlacing algorithms based on fuzzy logic[J]. IEEE Transactions on Consumer Electronics，2014，60(3)：375-383.

［21］ Li M，Nguyen T. A de-interlacing algorithm using Markov random field model[J]. IEEE Transactions on Image Processing，2007，16(11)：2633-2648.

［22］ Chen X D，Jeon G，Jechang J. A local adaptive weighted interpolation for deinterlacing[J]. Digital Signal Processing，2013，23(5)：1463-1469.

De-Interlacing Method Based on Adaptive Combination of Time-Domain and Space-Domain Directions

Zhang Tao1，Pan Xihao1，Wang Hao1，Lei Zhichun2

(1. School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China；2. School of Microelectronics，Tianjin University，Tianjin 300072，China)

Presently，interlaced scanning has been employed in most current broadcasting systems．Although fusion methods are commonly used for de-interlacing，they are not ideal，resulting in poor performance due to the inaccuracy of spatial interpolation，the inaccuracy of time-domain interpolation，and the unreasonableness of combining weights among algorithms．In this paper，we propose a de-interlacing method based on center-independent interpolation and vertical temporal filtering adaptively combining time-domain and space-domain directions．This method takes the similarity and the distance between adjacent pixels in the field into account，combines the time-domain information between different fields，and uses more reasonable weights to adaptively combine the spatial and time-domain interpolations．The result of the proposed method was more accurate and stable．This method is based on the principle of bilateral filtering．It does not rely on the central pixel，adopts the vertical time-domain filtering algorithm，and selects more reasonable filtering coefficients．Experimental results showed that the proposed method provides noticeable improvements over existing methods in terms of both subjective and objective evaluations．Subjectively，the proposed method had the best visual quality with fewer artifacts in the textural details．Objectively，the proposed method had larger PSNR than those of other algorithms，and low computational complexity with respect to operation number and operation time．Therefore，the proposed method is more suitable for real-time systems due to its better image quality and lower complexity．

de-interlacing；bilateral filtering；center-independent interpolation；vertical temporal filter；adaptively combination

TP391

A

0493-2137(2019)11-1211-08

10.11784/tdxbz201809038

2018-09-13；

2018-11-09.

張?濤（1975—??），男，博士，副教授，zhangtao@tju.edu.cn.

王?昊，wanghao47@tju.edu.cn.

天津市科技支撐計(jì)劃重點(diǎn)資助項(xiàng)目(16YFZCGX00760).

Supported by the Key Science and Technology Support Program of Tianjin，China(No.16YFZCGX00760).

(責(zé)任編輯：王曉燕)