視頻壓縮1/2ME模塊設(shè)計

王明江，顏 琥，張愛平

(哈爾濱工業(yè)大學(xué)深圳研究生院微電子中心，深圳518055)

1 引言

近年來，隨著VLSI技術(shù)和寬帶數(shù)字網(wǎng)技術(shù)的發(fā)展，人們對數(shù)字視頻業(yè)務(wù)如可視電話、電視會議、安全監(jiān)視、高清晰度電視、視頻點播和數(shù)字化視頻光盤等應(yīng)用產(chǎn)生了越來越濃厚的興趣。但是，所有這些應(yīng)用都面臨一個重要的問題——通信帶寬或存儲空間不足，視頻數(shù)據(jù)的壓縮編碼正是解決這一問題的有效途徑。

2003年3月，由ISO/IEC與ITU－T組成的聯(lián)合視頻組(JVT)發(fā)布H.264標(biāo)準(zhǔn)，并將該標(biāo)準(zhǔn)正式納入MPEG－4作為MPEG－4標(biāo)準(zhǔn)的第10部分，稱為 H.264/AVC［1］。與早期的壓縮標(biāo)準(zhǔn) H.263、MPEG－2、MPEG－4相比，H.264在相同的視覺質(zhì)量下編碼比特率可以節(jié)省一倍［2］。由于采用了一系列的先進(jìn)編碼技術(shù)，H.264具有非常好的壓縮率，然而，它的運算復(fù)雜度也超過了以往任何的視頻編碼標(biāo)準(zhǔn)，高出其它視頻壓縮標(biāo)準(zhǔn)幾倍甚至十幾倍，需要消耗大量的時間和系統(tǒng)資源，因此實時編解碼器的實現(xiàn)面臨著巨大的挑戰(zhàn)。

表1給出了基于JVT官方公布的JM8.0參考軟件獲得的H.264編碼器中各個模塊編碼復(fù)雜程度的分析［3］。從中可以看出復(fù)雜度最高，最消耗時間和資源的部分是運動估計/補償，該模塊占去了系統(tǒng)80%以上的資源。尤其是在H.264/AVC的幀間編碼過程中，因為使用了可變塊匹配運動估計、多參考幀運動補償和拉格朗日率失真優(yōu)化等先進(jìn)的編碼技術(shù)，使得由整數(shù)像素運動估計(IME)和分?jǐn)?shù)像素運動估計(FME)組成的幀間運動估計過程占用了整個編碼器70%以上的編碼運算時間。其中FME運算量達(dá)到整個編碼的45%以上［4］。1/2ME是FME中最主要的部分。要達(dá)到30幀每秒的實時編碼要求，就必須優(yōu)化運動估計的算法、減小運動估計的運算量、通過硬件加速來縮短編碼運算時間［5］。

表1 基于JVT JM8.0的H.264編碼器復(fù)雜度分析［3］

2 算法分析

2.1 變尺寸塊運動估計模式選擇

根據(jù)變尺寸運動估計及模式選擇的算法思想，從減少算法復(fù)雜度、減少變尺寸塊選擇的計算量、能否映射出具體的硬件實現(xiàn)等幾個方面考慮，既保證一定的圖像編碼質(zhì)量，又能把芯片面積和功耗限定在一定范圍內(nèi)。如在塊模式種類引入方面，考慮到對于大尺寸視頻編碼，過細(xì)的塊劃分對視頻質(zhì)量改善作用很小，而運算量巨大，可以簡化模式種類，如只考慮16×16，16×8，8×16，8×8四種塊模式。

2.2 多參考幀選擇

H.264編碼器可從一組前面或后面的已編碼圖像中選取多個與當(dāng)前幀相關(guān)性較大的圖像作為幀間編碼的參考圖像。通過擴(kuò)大尋找匹配圖像塊的范圍，再經(jīng)過多次比較的結(jié)果，可使匹配后的預(yù)測精度顯著改進(jìn)。H.264允許最多采用16幀參考幀。實際上，對絕大多數(shù)圖像序列，采用5幀參考幀的運動預(yù)測就能獲得非常好的編碼效果。在采用全搜索算法或是快速全搜索算法的前提下，多參考幀技術(shù)的引入將使得運算量隨著參考幀數(shù)的增大而線性增加?？紤]到硬件實現(xiàn)的具體情況，對于1080P這樣的大尺寸視頻，引入3個以上的參考幀，在運算量規(guī)模和圖像數(shù)據(jù)存儲等方面都將是難以接受的，所以通常都是從減少參考幀數(shù)目的角度來考慮支持多參考幀。在本設(shè)計中，主要綜合衡量多參考幀技術(shù)所能帶來的編碼質(zhì)量增益和對應(yīng)運算量代價及硬件開銷兩個方面，對如何支持多參考幀技術(shù)做出取舍，如只支持3個以下的參考幀等。

2.3 率失真優(yōu)化模式選擇

H.264編碼過程中需要面臨如何在多種塊劃分方式中選擇最佳模式，在運動估計時如何選擇最佳運動矢量等問題，主要采用了基于率失真理論的率失真最優(yōu)化算法來在不同的模式中進(jìn)行取舍。先對每種可能的模式計算其比特數(shù)和失真，然后用一標(biāo)準(zhǔn)來綜合衡量該模式，最后選擇評價值最小的模式。高復(fù)雜度模式采用SAD，SATD，SSD等描述的失真和實際用到的碼率進(jìn)行模式選擇，而低復(fù)雜度模式針對不同的模式給出一個有傾向性的不同的初值SAD0，僅采用SAD來描述失真，不需要計算實際碼率。分析可知高復(fù)雜度模型盡管能夠獲得更好的編碼效果，但要求進(jìn)行大量的運算，而低復(fù)雜度模型不需要計算SAD外的其它值，進(jìn)行模式選擇操作較為簡單，便于硬件實現(xiàn)。

3 電路設(shè)計

1/2ME進(jìn)一步的在整數(shù)最佳點附近尋找最佳匹配點，其硬件架構(gòu)主要包括如下幾個主要組成部分:PE核心運算部件、片上緩沖存儲器、基于率失真的代價函數(shù)產(chǎn)生器、比較器、控制器等部分?？驁D如圖1所示。

圖1 分像素運動估計硬件架構(gòu)的系統(tǒng)框圖

IME 模塊在16×16，16×8，8×16，8×8四種塊模式中找出了最佳的塊模式及相應(yīng)的運動矢量，同時把1/2ME需要用到的插值數(shù)據(jù)及當(dāng)前塊數(shù)據(jù)存儲在緩存中，并把存儲的地址信息提供給1/2ME。本設(shè)計采用片上128b位寬的緩存，存儲單元以4×4塊大小為單位，實際的有效數(shù)據(jù)可能從4×4中任意一個位置開始，因此，IME模塊還提供了有效數(shù)據(jù)的起始位置。在整數(shù)搜索的時候，如果搜索到了圖像邊界，進(jìn)行1/2插值的時候，要對邊界像素進(jìn)行擴(kuò)展，因此，還提供邊界信息給1/2ME模塊。

1/2插值涉及兩個維度，同時進(jìn)行插值不僅控制難度大，而且將消耗大量資源。將二維插值分解成兩個一維插值，并考慮到處理一個宏塊要進(jìn)行4個8×8塊的處理，因此將兩個一維插值中間插入流水，不僅易于控制，結(jié)構(gòu)簡潔，而且縮短了宏塊的處理時間。

流水線如圖2所示，橫向插值模塊主要完成橫向插值工作，縱向插值模塊完成縱向插值，同時選取插值后最佳匹配點。當(dāng)前塊及參考塊數(shù)據(jù)都存儲在同一個存儲器中，而在進(jìn)行垂直插值時，首先要讀取當(dāng)前塊的數(shù)據(jù)，因此為了解決訪問沖突，在完成前一個8×8水平插值后，需要等待幾個周期，待當(dāng)前塊數(shù)據(jù)讀取結(jié)束后，再進(jìn)行下一個8×8塊的水平插值。

圖2 1/2ME流水圖

整個1/2ME的數(shù)據(jù)路徑如圖3所示。

圖3 1/2ME數(shù)據(jù)路徑圖

數(shù)據(jù)從前級緩存，進(jìn)入水平插值模塊，水平插值后的數(shù)據(jù)進(jìn)入到1/2ME內(nèi)部緩存，這是流水的第一級。從1/2ME內(nèi)部緩存出來的數(shù)據(jù)，經(jīng)垂直插值，進(jìn)入后級緩存;同時，當(dāng)前宏塊的數(shù)據(jù)也被讀出，進(jìn)行9個候選點的SAD計算及累加，最終比較得出最佳匹配點。第二級將給出一個當(dāng)前塊讀取結(jié)束信號，避免第一級的訪問沖突。

橫向插值控制模塊設(shè)計成一次處理一個8×8塊。1/2插值采用6抽頭濾波器，實際因邊界擴(kuò)展需要處理14×14像素。整個設(shè)計的存儲單位為一個4×4子塊數(shù)據(jù)大小，所以讀取一行14個像素值最多需要 5次訪問存儲(1，4，4，4，1)，最少 4次。同樣，總共14行像素，最多需要讀5輪，總共最多需要25次訪問存儲。

為充分利用帶寬，設(shè)計8個濾波器組，每周期可得到8個插值像素，插值像素和原像素仍以4×4的形式存于緩存中。模塊中設(shè)置14×7個像素大小的寄存器組，讀入的數(shù)據(jù)(塊四周的數(shù)據(jù))要根據(jù)邊界條件以及有效數(shù)據(jù)起始位置進(jìn)行裁剪再存入寄存器組。讀入的數(shù)據(jù)在寄存器組中按照一定的規(guī)則進(jìn)行左移和上移，使得濾波器組的輸入得到更新。濾波后的數(shù)據(jù)即時輸往內(nèi)部緩存。

參考像素垂直方向有效起始位置不同，開始得到有效濾波數(shù)據(jù)的時間也不同。濾波器組設(shè)計成一次處理4行數(shù)據(jù)，當(dāng)一次開始位置為0時，讀第一行的4×4塊(水平達(dá)到7個像素)就可以開始濾波。其它位置時，待第二行讀入(達(dá)到至少4行像素)時，才開始濾波。起始位置為0和3時，讀完數(shù)據(jù)的同時，整個插值也隨之結(jié)束。起始位置為1和2時，讀完數(shù)據(jù)后還需等待幾個周期，整個插值才結(jié)束，因此，加入幾個等待狀態(tài)。

縱向插值模塊控制和橫向插值模塊控制類似?？v向插值時數(shù)據(jù)垂直讀取，每一列需讀取4次，共5輪。在縱向插值模塊中，包含SAD的計算及累加模塊，同時進(jìn)行最佳點的選取。當(dāng)前塊數(shù)據(jù)存儲在前級緩存中，所以可以與插值數(shù)據(jù)同時讀取。當(dāng)前塊數(shù)據(jù)讀入后存儲在8×8像素大小的寄存器組中，待插值像素讀入后存儲在4×10的寄存器組中。參考像素寄存器組按一定的規(guī)則上移，使濾波器組的輸入得到更新。每插完一列，參考像素寄存器組都要更新。

插值濾波器同樣設(shè)置8個，一次插出的8個像素與讀入的經(jīng)水平插值后的像素組成4×4塊的形式，送往后級緩存。SAD計算累加器接收當(dāng)前塊及插值后的數(shù)據(jù)，一起完成9個候選點SAD的計算。9個候選點的SAD在整個插值結(jié)束時通過一個比較器得到最小值，與此對應(yīng)的位置點即為最佳匹配點。

半像素點通過對相應(yīng)的整像素點進(jìn)行6抽頭濾波得出，權(quán)重為(1/32，－5/32，5/8，5/8，－5/32，1/32)。1/2像素插值示意圖如圖4所示。大寫字母表示整數(shù)像素，小寫字母表示1/2插值像素。

以像素h為例，h由垂直的最近六個像素插值得到，即:

將輸入系數(shù)進(jìn)行變換，得到下式:

每個輸入系數(shù)都是2的整數(shù)次方，通過移位就能完成輸入與系列的相乘。對于負(fù)號項，采用取反加1來實現(xiàn)。因為有部分加數(shù)需要左移，所以其右端可以加上這邊需要添加的項。同樣，四舍五入的操作，即加上16的部分，也添加到左移項的右端。運用Wallace樹形式可得到濾波結(jié)果。

計算SAD的是1/2精度的數(shù)據(jù)，每周期產(chǎn)生4×4的數(shù)據(jù)中，相應(yīng)位置點的數(shù)據(jù)是2×2，即四個，因此，SAD模塊設(shè)計成每次生成4個像素的部分SAD值，進(jìn)行累加。對于求絕對值部分，直接用求差后的最高位，即符號位，作為選擇器的選擇信號來選通差值的原碼或者反碼，加1部分，轉(zhuǎn)移到累加器中進(jìn)行。累加器采用Wallace樹加法器外加一個寄存器實現(xiàn)(見圖5)。

多路比較選擇模塊是從9個SAD值中，選出SAD最小的一個，輸出相應(yīng)點的位置信息。設(shè)計中分兩級進(jìn)行比較，第一級使用三個3選1的比較器選出3個候選點，第二級再從這3個點中選出最小一個。對于這9個點，考慮到現(xiàn)實視頻中物體運動方向的概率，設(shè)置一定的優(yōu)先級。優(yōu)先級最高的是水平方向上的運動，接著是垂直方向上的運動，最后是四角沿45度方向的運動。

圖5 SAD累加器

4 結(jié)束語

本設(shè)計實現(xiàn)了視頻編碼中的1/2ME硬件加速模塊，提出了用兩級流水完成1/2精度插值的結(jié)構(gòu)，既提高了模塊的吞吐量，又簡化了控制結(jié)構(gòu)。設(shè)計出來的電路處理一個宏塊的時鐘周期小于150個，在Charted 0.13μm工藝下綜合后邏輯門為74.3K，最高工作頻率約160MHz，在1.20V的供電電壓下，功耗在10mW左右。本設(shè)計已應(yīng)用于本實驗室高清視頻編碼芯片中。

［1］Joint Video Team(JVT)of ITU－T VCEG and ISO/IEC MPEG.Draft ITU－T Recommendation and Final Draft InternationalStandard of Joint Video Specification(ITU－T Rec.H.264|ISO/IEC 14496 －10 AVC)［C］.7th Meeting，Pattaya，Thailand，2003.

［2］畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn) －H.264/AVC［M］.北京:人民郵電出版社，2005.

［3］J Zhang，Y He，S Yang，et al.Performance and Complexity Joint Optimization for H.264 Video Coding［C］.ISCAS’03.2003，4:520 －523.

［4］TC Chen，Y W Huang，L G Chen.Analysis and Design of Macroblock Pipelining for H.264/AVC VLSI Architecture［C］.ISCAS’04.2004，2:273 －276.

［5］梁亞玲，劉靜，杜明輝.H.264中塊運動估計及其發(fā)展趨勢［J］.電視技術(shù)，2005，(z1):40－43.