一種高效視頻編碼插值濾波VLSI架構(gòu)設(shè)計(jì)

連曉聰，周 巍，段哲民，李 茸

(西北工業(yè)大學(xué)電子信息學(xué)院，西安710072)

1 概述

由聯(lián)合視頻編碼組制定的高效視頻編碼(High Efficiency Video Coding，HEVC)標(biāo)準(zhǔn)，比以前的編碼標(biāo)準(zhǔn)實(shí)現(xiàn)了更高的編碼效率［1］，尤其是在高分辨率和高幀率的視頻應(yīng)用中［2］。HEVC較高的編碼性能主要體現(xiàn)在自適應(yīng)內(nèi)插值濾波器、1/8像素運(yùn)動(dòng)估計(jì)、多參考幀內(nèi)預(yù)測(cè)、基于塊的自適應(yīng)環(huán)路濾波器等［3］。然而，這些先進(jìn)的視頻編碼技術(shù)在編碼進(jìn)程中需要更大的計(jì)算復(fù)雜度和內(nèi)存帶寬。因此，設(shè)計(jì)一個(gè)快速的編碼器超大規(guī)模集成電路(Very Large Scale Integration，VLSI)架構(gòu)對(duì)于實(shí)現(xiàn)實(shí)時(shí)視頻應(yīng)用是十分重要的。

運(yùn)動(dòng)估計(jì)［4］(Motion estimation，ME)是 HEVC中運(yùn)用相鄰幀的時(shí)間相關(guān)性最多的部分［5］，它也是編碼過程中消耗時(shí)間最長(zhǎng)的進(jìn)程。在HEVC中，一個(gè)全新的8抽頭的內(nèi)插值濾波器應(yīng)用于ME的分?jǐn)?shù)像素點(diǎn)預(yù)測(cè)中。對(duì)于亮度插值，其精確度是1/4像素，所以總共有15個(gè)位置的像素值需要被計(jì)算出來。對(duì)于8×8子塊的預(yù)測(cè)，最多需要16×16的參考像素。相比H．264/AVC標(biāo)準(zhǔn)中使用的6抽頭濾波器［6］，8抽頭濾波器在硬件實(shí)現(xiàn)時(shí)將花費(fèi)更多的面積。因此，設(shè)計(jì)一個(gè)高效的內(nèi)插值濾波器VLSI架構(gòu)對(duì)于實(shí)時(shí)實(shí)現(xiàn)高品質(zhì)的視頻是必要的。

本文設(shè)計(jì)一個(gè)內(nèi)插值濾波器VLSI架構(gòu)。為便于VLSI實(shí)現(xiàn)，提出一種快速內(nèi)插值濾波算法［7］，將所有的4×8，4×16和12×16預(yù)測(cè)單元從處理隊(duì)列中跳過。然后根據(jù)提出的快速算法，設(shè)計(jì)和實(shí)現(xiàn)內(nèi)插值濾波器VLSI架構(gòu)，提出一個(gè)可重新配置的濾波器，減少使用的加法器的數(shù)目，并設(shè)計(jì)單元塊復(fù)用的硬件結(jié)構(gòu)，以降低硬件的實(shí)現(xiàn)面積。

2 HEVC內(nèi)插值濾波算法

在最新的視頻編碼標(biāo)準(zhǔn)HEVC中［8］，一個(gè)全新的8抽頭內(nèi)插值濾波器應(yīng)用于分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)中［9］。對(duì)于亮度塊來說，精度是1/4像素，而對(duì)于色度塊，精度是1/8像素。本文的研究是對(duì)亮度塊的內(nèi)插值濾波器進(jìn)行的，對(duì)1/2像素點(diǎn)采用的8抽頭內(nèi)插值濾波器，而對(duì)于1/4像素點(diǎn)，采用的是7抽頭內(nèi)插值濾波器。

先進(jìn)行1/2像素點(diǎn)的內(nèi)插值濾波。圖1給出的是插值點(diǎn)的位置和參考像素點(diǎn)的位置，其中02像素點(diǎn)是對(duì)水平方向上的8個(gè)00像素點(diǎn)應(yīng)用式(2)進(jìn)行水平1/2插值得到的，20像素點(diǎn)是對(duì)垂直方向上的8個(gè)00像素點(diǎn)應(yīng)用式(2)進(jìn)行垂直1/2插值得到的，22像素點(diǎn)是經(jīng)水平1/2插值和垂直1/2插值后得到的。在完成1/2像素點(diǎn)的內(nèi)插值濾波之后，計(jì)算結(jié)果將被傳輸?shù)较乱荒K，經(jīng)哈達(dá)瑪變換后計(jì)算數(shù)據(jù)塊的預(yù)測(cè)殘差絕對(duì)值總和(SATD)，找到最佳的運(yùn)動(dòng)矢量(Motion Estimation，MV)［10］，再進(jìn)行 1/4像素點(diǎn)的內(nèi)插值濾波。在不同的運(yùn)動(dòng)矢量下需要得到的就是00，02，20，22像素點(diǎn)周圍的8個(gè)1/4像素點(diǎn)的插值結(jié)果。其中，01，03像素點(diǎn)分別是在水平方向上利用式(1)和式(3)對(duì)00像素點(diǎn)進(jìn)行插值得到的;10，11，12，13像素點(diǎn)分別是在垂直方向上應(yīng)用式(1)對(duì)00，01，02，03 像素點(diǎn)進(jìn)行插值得到的;21，23像素點(diǎn)分別是在垂直方向上應(yīng)用式(2)對(duì)01，03像素點(diǎn)進(jìn)行插值得到的;30，31，32，33像素點(diǎn)分別是在垂直方向上應(yīng)用式(3)對(duì)00，01，02，03像素點(diǎn)進(jìn)行插值得到的。

圖1 像素點(diǎn)的位置

對(duì)于8×8子塊的預(yù)測(cè)，最多需要16×16預(yù)測(cè)塊的參考像素值。相比于 H．264/AVC中使用的6抽頭內(nèi)插值濾波器，HEVC中使用的8抽頭內(nèi)插值濾波器需要消耗更多的面積。因此，設(shè)計(jì)一個(gè)高效的亮度插值的VLSI架構(gòu)對(duì)于實(shí)時(shí)實(shí)現(xiàn)視頻編碼是十分重要的。

3 架構(gòu)設(shè)計(jì)

3．1 快速內(nèi)插值濾波算法

HEVC中的幀間預(yù)測(cè)的預(yù)測(cè)單元(PU)有8種不同的分割塊［11］:4種對(duì)稱的分割塊(2N×2N，2N×N，N×2N，N×N)和4種非對(duì)稱的分割塊(2N×nU，2N ×nD，nL×2N，nR ×2N)。

在HEVC中幀間預(yù)測(cè)的PU塊中最大處理單元(LPU)為64×64塊，根據(jù)上述所描述的分割規(guī)則，每個(gè) LPU可以分割成21種 sub-PU，如表1所示。

表1 幀間預(yù)測(cè)PU塊的分割模式

從表1中可以看出，如果要對(duì)每種大小的塊分別設(shè)計(jì)插值濾波的硬件結(jié)構(gòu)，硬件的門數(shù)和面積是非常大的，所以，在VLSI架構(gòu)的設(shè)計(jì)中，要考慮通過將最小的單元塊拼接復(fù)用來實(shí)現(xiàn)較大塊的插值濾波操作［12］。但如果選擇寬度為4的塊為最小復(fù)用塊，對(duì)64×64塊要復(fù)用16次，結(jié)構(gòu)會(huì)很復(fù)雜，所以提出一種快速算法，如圖2所示。將4×8，4×16，12×16大小的PU從處理隊(duì)列中跳過，再用A，B，C 3種類型的濾波器進(jìn)行插值。

圖2 快速內(nèi)插值算法流程

針對(duì)本文提出的快速內(nèi)插值算法，對(duì)分辨率為416×240(A)，832 ×480(B)，1 280 ×720(C)，1 920×1 080(D)，2 560×1 600(E)的視頻序列進(jìn)行測(cè)試，得到的編碼性能及碼率的變化如表2所示。

表2 不同分辨率的視頻序列編碼性能及碼率

從表2可以看出，在對(duì)內(nèi)插值濾波器的算法進(jìn)行改進(jìn)之后，視頻編碼的峰值信噪比(detal_BR)［13］(改進(jìn)算法的PSNR–原始算法的PSNR)下降平均值為0．041 1 dB，對(duì)于編碼的性能改變不太明顯。同時(shí)比特率平均提高1．158%，并能節(jié)約10．06%的編碼時(shí)間，說明多數(shù)視頻序列在進(jìn)行內(nèi)插值操作時(shí)對(duì)于寬度為4的塊并不是很敏感，提出的快速算法能夠高效實(shí)時(shí)地完成內(nèi)插值濾波操作，并可以較大幅度地降低硬件的實(shí)現(xiàn)面積。

3．2 高性能內(nèi)插值濾波器VLSI架構(gòu)

基于上述提出的快速內(nèi)插值濾波算法，本文對(duì)內(nèi)插值濾波器VLSI架構(gòu)進(jìn)行設(shè)計(jì)，結(jié)構(gòu)框圖如圖3所示，將輸入數(shù)據(jù)進(jìn)行劃分，用8個(gè)處理模塊進(jìn)行處理，每個(gè)模塊處理寬度為8的數(shù)據(jù)塊(在圖3中標(biāo)示為“8×”)。單元塊的內(nèi)插值濾波結(jié)構(gòu)框圖如圖4所示。

圖3 內(nèi)插值濾波器整體的結(jié)構(gòu)框圖

圖4 單元塊的內(nèi)插值濾波架構(gòu)

首先對(duì)于水平濾波，設(shè)計(jì)有3組濾波器(Level1:H_F1/4，H_F2/4，H_F3/4)。其中在進(jìn)行第 1 輪1/2像素點(diǎn)濾波時(shí)，打開 H_F2/4，關(guān)閉H_F1/4和H_F3/4。在進(jìn)行第2輪1/4像素點(diǎn)濾波時(shí)，全部打開。對(duì)于垂直濾波，設(shè)計(jì)有4組濾波器(level2，僅在第2輪1/4像素點(diǎn)濾波時(shí)打開)，V_F1/4，V_F3/4分別對(duì)01，03位置進(jìn)行1/4，3/4垂直濾波，得到11，31和13，33像素點(diǎn)。此外還有另外4組濾波器(level3)，其中有2組根據(jù)1/2插值時(shí)確定的最優(yōu)MV進(jìn)行，僅在第2輪1/4像素點(diǎn)濾波打開。在 HOR=0時(shí)，V_F1/4，V_F3/4對(duì)00進(jìn)行1/4，3/4垂直濾波得到10，30像素點(diǎn);否則對(duì)02進(jìn)行1/4，3/4垂直濾波得到12，32像素點(diǎn)。另外2組在第1輪1/2像素點(diǎn)濾波時(shí)打開對(duì)00，02進(jìn)行1/2垂直濾波得到20，22像素點(diǎn);在第2輪1/4像素點(diǎn)濾波時(shí)，在1/2插值時(shí)確定的最優(yōu)MV的垂直分量不等于0的情況下，對(duì)01，03進(jìn)行2/4的垂直濾波得到21，23像素點(diǎn)。

3．3 內(nèi)插值濾波器計(jì)算模式的架構(gòu)設(shè)計(jì)

從式(1)～式(3)中內(nèi)插值濾波器插值系數(shù)可見，類型A和類型C的系數(shù)是對(duì)稱的。所以A型和C型濾波器的插值可以通過僅由反轉(zhuǎn)輸入的參考像素的順序而用相同的硬件架構(gòu)來實(shí)現(xiàn)。從公式中的系數(shù)可以看出，需要10個(gè)加法器來實(shí)現(xiàn)A型濾波器，9個(gè)加法器來實(shí)現(xiàn)B型濾波器。因此，8抽頭濾波器總共需要至少19個(gè)加法器實(shí)現(xiàn)硬件。本文所設(shè)計(jì)的最優(yōu)的A，B型濾波器硬件結(jié)構(gòu)如圖5(a)和圖5(b)所示。

圖5 內(nèi)插值濾波器的硬件架構(gòu)

a，b，c，d，e，f，g，h 為 8 個(gè)輸入?yún)⒖枷袼?，使?C型濾波器時(shí)，只要將它們的順序顛倒過來作為濾波器輸入。輸出Afir和輸出Bfir是A、B型濾波器的內(nèi)插結(jié)果。所提出的濾波器由19個(gè)加法器組成，與原有的3種類型的濾波器(29個(gè)加法器)可以節(jié)省10個(gè)加法器，面積降低30%以上。水平和垂直濾波器的結(jié)構(gòu)是相同的。

3．4 單元塊復(fù)用的數(shù)據(jù)分割

在得到輸入數(shù)據(jù)時(shí)，先要按寬度對(duì)數(shù)據(jù)進(jìn)行分割，以寬度為64的數(shù)據(jù)為例。由于在進(jìn)行插值濾波時(shí)使用的是8抽頭的內(nèi)插值濾波器，因此輸入數(shù)據(jù)的寬度應(yīng)為72，而分割給每個(gè)寬度為8復(fù)用塊的數(shù)據(jù)寬度都為16，有大量數(shù)據(jù)重疊。寬度為64的數(shù)據(jù)分割圖表示數(shù)據(jù)分割的情況如圖6和圖7所示，其中，對(duì)于1/4像素點(diǎn)的數(shù)據(jù)分割，在1/4水平插值時(shí)2組數(shù)字分別表示hor＜0/hor≥0;而對(duì)于3/4水平插值分別表示hor≤0/hor＞0。

圖6 1/2像素點(diǎn)的數(shù)據(jù)分割

圖7 1/4像素點(diǎn)的數(shù)據(jù)分割

在進(jìn)行完數(shù)據(jù)分割之后，就依次進(jìn)行水平插值和垂直插值。插值單元的結(jié)構(gòu)如圖8所示。這個(gè)插值濾波器可以支持大部分不同的塊尺寸。例如，一個(gè)16×16塊可以被劃分為2個(gè)8×16塊，對(duì)于64×64的PU，要復(fù)用這個(gè)基本的插值單元8次。由于進(jìn)行垂直插值需要8行水平插值的結(jié)果，因此使用了一個(gè)移位寄存器對(duì)水平插值的結(jié)果進(jìn)行處理，避免時(shí)序混亂。

圖8 8抽頭插值單元的結(jié)構(gòu)

4 實(shí)現(xiàn)結(jié)果

本文針對(duì)內(nèi)插值濾波器進(jìn)行的內(nèi)插值濾波算法優(yōu)化和硬件實(shí)現(xiàn)是基于HEVC參考編碼器HM8．1的編碼結(jié)構(gòu)進(jìn)行的。編碼器配置采用HM8．1的基本類(編碼配置文件為encoder_lowdelay_main．cfg)。實(shí)驗(yàn)中主要編碼參數(shù)如下:FramesToBeEncoded=500，F(xiàn)rame–Rate=50，SearchRange=64，其他參數(shù)為缺省設(shè)置。

本文所設(shè)計(jì)的硬件結(jié)構(gòu)通過Modelsim仿真進(jìn)行驗(yàn)證，總共通過了30萬PB驗(yàn)證了架構(gòu)的正確性。表3給出本文設(shè)計(jì)的架構(gòu)的實(shí)現(xiàn)結(jié)果，以及與其他方法的實(shí)現(xiàn)結(jié)果的比較。

表3 實(shí)驗(yàn)結(jié)果對(duì)比

最大工作頻率能夠達(dá)到193 MHz，在不使用RAM的情況下，實(shí)現(xiàn)面積為64．5千門。雖然與文獻(xiàn)［15］的HEVC方法相比，實(shí)現(xiàn)面積增大了接近一倍，但工作頻率能夠達(dá)到它的4倍，能很好地實(shí)現(xiàn)視頻的網(wǎng)絡(luò)傳輸。同時(shí)處理時(shí)間也能降低8%。與原始的HEVC方法相比，面積能夠降低30%，處理時(shí)間節(jié)約一半以上。本文所提出的并行8像素插值濾波結(jié)構(gòu)的優(yōu)勢(shì)就在于能夠在400 MHz的頻率下完成720 P視頻的實(shí)時(shí)傳輸，并能節(jié)約131 040 bit的RAM。同時(shí)，本文的設(shè)計(jì)完全能夠滿足3 840×2 160(4:2:0格式)視頻的實(shí)時(shí)傳輸。

5 結(jié)束語

本文設(shè)計(jì)了一個(gè)高效的內(nèi)插值濾波器VLSI架構(gòu)。為便于VLSI實(shí)現(xiàn)，首先對(duì)內(nèi)插值濾波器的算法進(jìn)行了改進(jìn)，將所有的4×8，4×16和12×16預(yù)測(cè)單元從處理隊(duì)列中跳過。在視頻編碼質(zhì)量PSNR只降低0．125 6%的基礎(chǔ)上，編碼時(shí)間減少10．06%。然后根據(jù)提出的改進(jìn)算法，設(shè)計(jì)和實(shí)現(xiàn)了內(nèi)插值濾波器VLSI架構(gòu)，提出一個(gè)可重新配置的濾波器，減少了使用的加法器的數(shù)目，并設(shè)計(jì)了單元塊復(fù)用的硬件結(jié)構(gòu)。通過采用以上方法，本文的設(shè)計(jì)僅使用64．5千門來實(shí)現(xiàn)，工作頻率能夠達(dá)到193 MHz，并能節(jié)約131 040 bit的RAM，可高效實(shí)時(shí)地完成視頻的編碼傳輸工作。

［1］ 沈燕飛，李錦濤，朱珍民，等．高效視頻編碼［J］．計(jì)算機(jī)學(xué)報(bào)，2013，36(11):2340-2355．

［2］ Bull D B，Delp E J，Takamura S，et al．Introduction to the Issue on Emerging Technologies for Video Compression［J］．IEEE Journal of Selected Topics in Signal Processing，2011，5(7):1277-1281．

［3］ Sullivan G J，Ohm J R，Han Woo-Jin，et al．Overview of the High Efficiency Video Coding(HEVC)Standard［J］．IEEE Transaction on Circuits and Systems for Video Technology，2012，22(12):1649-1668．

［4］ Favorskaya M，Pyankov D，Popov A．Motion Estimations Based on Invariant Moments for Frames Interpolation in Stereovision［J］．Procedia Computer Science，2013，22:1102-1111．

［5］ 李 元，何小海，鐘國韻，等．一種基于時(shí)域相關(guān)性的高性能視頻編碼快速幀間預(yù)測(cè)單元模式判決算法［J］．電子與信息學(xué)報(bào)，2013，35(10):2365-2370．

［6］ Ruiz G A，Michell J A．An Efficient VLSI Architecture of Fractional Motion Estimation in H．264 for HDTV［J］．Journal ofSignal Processing Systems，2011，62(3):443-457．

［7］ Rhee Chae Eun，Lee Kyujoong，Kim Tae Sung，et al．A Survey of Fast Mode Decision Algorithms for Interprediction and Their Applications to High Efficiency Video Coding［J］．IEEE Transactions on Consumer Electronics，2012，58(4):1375-1383．

［8］ Ohm J R，Sullivan G J．High Efficiency Video Coding:The Next Frontier in Video Compression［J］．IEEE Signal Processing Magazine，2013，30(1):152-158．

［9］ Ugur K，Alshin A，Alshina E，et al．Motion Compensated Prediction and Interpolation Filter Design in H．265/HEVC［J］．IEEE Journal of Selected Topics in Signal Processing，2013，7(6):946-956．

［10］ Lin Jianliang，Chen Yiwen，Huang Yuwen，et al．Motion Vector Coding in the HEVC Standard［J］．IEEE Journal of Selected Topics in Signal Processing，2013，7(6):957-968．

［11］ Kim Il-Koo，Min Jung-Hye，Lee T，etal．Block Partitioning Structure in the HEVC Standard［J］．IEEE Transactions on Circuits and Systems for Video Technology，2012，22(12):1697-1706．

［12］ Tanskanen J K，Niittylahti J T．Scalable Parallel Memory Architectures for Video Coding［J］．The Journal of VLSI Signal Processing，2004，38(2):173-199．

［13］ Lee B，Kim M．No-reference PSNR Estimation for HEVC Encoded Video［J］．IEEE Transactions on Brodcasting，2013，59(1):20-27．

［14］ Wang Shengzen，Lin Ting’an，Liu Tsu-Ming，et al．A New Motion Compensation Design for H．264/AVC Decoder［C］//Proceedings of IEEE International Symposium on Circuits and Systems．Washington D．C．，USA:IEEE Press，2005:4558-4561．

［15］ Guo Zhengyan，Zhou Dajiang，Guto S．An Optimized MC Interpolation Architecture for HEVC［C］//Proceedings of IEEE International Conference on Acoustics，Speech and Signal Processing．Washington D．C．，USA:IEEE Press，2012:1117-1120．