基于圖像行/列流水線的AVS快速模式判決的設(shè)計

馬 赫，張文軍，高志勇，陳 立

（上海交通大學，上海 200240）

1 AVS簡介

AVS是我國為了適應(yīng)數(shù)字電視廣播、數(shù)字存儲媒體、網(wǎng)絡(luò)流媒體、多媒體通信等應(yīng)用中對運動圖像壓縮技術(shù)的需要而自主制定的數(shù)字音視頻編解碼標準[1]。它采用了一系列技術(shù)來達到高效率的視頻編碼，包括幀內(nèi)預(yù)測、幀間預(yù)測、變換、量化和熵編碼等。幀間預(yù)測使用基于塊的運動預(yù)測來消除圖像間時域冗余，幀內(nèi)預(yù)測使用空間預(yù)測模式來消除圖像內(nèi)空域冗余；再通過對預(yù)測殘差進行變換和量化消除圖像視覺冗余；最后，運動矢量、預(yù)測模式、量化參數(shù)和變換系數(shù)經(jīng)熵編碼進行壓縮形成比特流。

在高清視頻越來越流行的今天，數(shù)字視頻編碼器的設(shè)計變得異常復雜：數(shù)據(jù)處理吞吐量大，外部存儲器訪問帶寬需求高，電路資源消耗大，實現(xiàn)復雜度高。同時，硬件編碼器對實時性的要求非常高，為了能夠?qū)崿F(xiàn)低成本和低功耗編碼，往往需要其工作頻率能夠做到150 MHz甚至更低。目前相關(guān)硬件實現(xiàn)方法，都是基于16×16宏塊級以及8×8塊級流水線。例如文獻[2]中提到，若假設(shè)流水線共有3級，那么在當前時刻T，流水線第1級處理N+1號塊，第2級處理N號塊，第3級處理N-1號塊；到了下一流水時刻T+1，則變成第1級處理N+2號塊，第2級處理N+1號塊，第3級處理N號塊，具體參見圖1所示。但是對于高清視頻處理，這種流水處理方式很難實現(xiàn)低系統(tǒng)時鐘頻率的編碼系統(tǒng)[3]。如需要降低編碼系統(tǒng)頻率，則要對算法作較大簡化，從而導致一定程度的失真，無法達到用戶欣賞高質(zhì)量視頻畫質(zhì)的要求。

圖1 常見塊級流水

由于模式判別在整個編碼流程中處理所需時間最多，因此本文提出了一種基于圖像像素塊行/列流水線的快速模式判決設(shè)計，通過將塊級流水合理拆分成行/列級流水，能夠以不到150 MHz的系統(tǒng)頻率滿足30 f/s（幀/秒）約1 920×1 080高清視頻圖像實時編碼的需求。

2 模式判別原理

與MPEG-2，MPEG-4及H.264視頻壓縮標準一樣，AVS也以16×16宏塊作為編碼的基本單元，每個宏塊由6個8×8的塊組成，其中4個亮度塊、2個色度塊。在編碼器中編碼模式的選擇是一個非常重要的環(huán)節(jié)，它直接影響到編碼的性能和碼率。所謂模式選擇是指當前宏塊的編碼有多種策略，具體包括幀內(nèi)模式以及幀間模式，每種模式又包括不同的大小劃分以及不同的預(yù)測方向。因此要根據(jù)視頻內(nèi)容及場景的變化，給每一個宏塊選擇一個最佳的編碼策略進行編碼。如亮度突變，則應(yīng)采用幀內(nèi)預(yù)測編碼，而當前后幀有較強相關(guān)性時可采取幀間編碼模式。編碼模式選擇應(yīng)該對視頻內(nèi)容及場景變化有良好的適應(yīng)性。

目前所研究的都是基于率失真優(yōu)化（RDO）的模式判決策略[4]。RDO是指，對于每個待編碼的宏塊，將其所有模式先后經(jīng)過幀內(nèi)/幀間預(yù)測、殘差計算、DCT、Q、IQ、IDCT、重構(gòu)以及失真計算模塊，最后得到失真Distortion；另一方面，通過zigzag掃描以及哥倫布指數(shù)編碼得到碼率R，計算代價函數(shù)RDcost=D+λ×R，選擇代價值最小的一種模式作為當前宏塊的最佳編碼模式，如圖2所示。

圖2 模式判別過程

RDO能用于解決每種模式編碼所用的比特數(shù)與圖像失真間的優(yōu)化問題。雖然RDO技術(shù)能有效提高編碼系統(tǒng)的性能和圖像質(zhì)量，但是由于模式眾多，在實時編碼的前提下，對所有編碼模式都做RDO選擇，其巨大的數(shù)據(jù)吞吐量是無法讓人接受的。因此如何合理有效地進行模式?jīng)Q策一直是國內(nèi)外研究的熱點。

通過文獻[5]可以發(fā)現(xiàn)，有些模式被選中的概率較小，而另外一些模式選中的概率則要大得多。對于這些概率較小的模式，完全可以通過直接計算SAD（原始塊同預(yù)測塊的殘差）的判斷方法來判斷，同時幾乎不會損失性能。因此這里采取RDO和SAD判據(jù)相結(jié)合的模式判別方法對模式進行決策[3]。其中，在I幀中不作任何簡化，一方面I幀是整個圖像組GOP的預(yù)測參考，對于編碼性能影響很大；另一方面影響整個編碼器實時編碼的數(shù)據(jù)吞吐瓶頸在于P/B幀，所以I幀每個宏塊的模式?jīng)Q策都根據(jù)RDO判據(jù)來選擇。在P/B幀中，從16×8，8×16，8×8，16×16四種模式中通過SAD判據(jù)預(yù)選出三種候選模式canmode1，canmode2，canmode3，同時也根據(jù)SAD判據(jù)為每個8×8塊選擇一種最優(yōu)的intra模式，再讓三種候選模式和skip/direct模式以及intra模式依次進入流水，通過RDO判據(jù)，選擇RDcost最小的一種模式。

另外不難發(fā)現(xiàn)，幀內(nèi)模式在整個模式選擇中占據(jù)了舉足輕重的地位。先不說I幀模式就是幀內(nèi)模式，即使是P/B幀，其幀內(nèi)模式也有很高的概率被選中。但是在硬件設(shè)計中，幀內(nèi)預(yù)測卻占用大量時鐘周期。幀內(nèi)預(yù)測時，由于預(yù)測當前塊時需要用到左邊塊、上邊塊或者右上塊最優(yōu)模式的重構(gòu)像素，所以幀內(nèi)預(yù)測存在塊級數(shù)據(jù)依賴。如果按照正常B00，B01，B10，B11，U，V的順序進行預(yù)測，就會導致流水阻塞。例如，B01塊的水平預(yù)測需要B00塊最優(yōu)模式重構(gòu)像素作為參考，而如果此時B00塊仍在流水處理中，那么重構(gòu)像素無法獲取，流水就不得不暫時處于等待狀態(tài)。同理，B10和B11塊的幀內(nèi)預(yù)測也會遇到類似問題，這樣將會極大降低流水線效率。而分析可知，色度塊預(yù)測在一個宏塊內(nèi)不存在數(shù)據(jù)依賴問題，因此可以將色度塊預(yù)測輪流間插在亮度塊的預(yù)測之中，按照B00，U，B01，B10，V，B11的順序預(yù)測，將大大減少流水阻塞的影響[6]。

本文采用了如圖3所示的硬件結(jié)構(gòu)，包括控制、幀內(nèi)預(yù)測、核心計算、SAD計算、重構(gòu)以及數(shù)據(jù)傳輸?shù)饶K。其中控制模塊產(chǎn)生控制信號，控制整體流程；幀內(nèi)預(yù)測模塊產(chǎn)生預(yù)測塊，進入核心計算模塊進行基于RDO的模式選擇；SAD計算模塊負責某些模式的簡化判斷；最后將最優(yōu)數(shù)據(jù)重構(gòu)以及通過數(shù)據(jù)傳輸模塊輸送到下一級。

圖3 模式判別結(jié)構(gòu)圖

3 行/列流水的設(shè)計及結(jié)果比較

本文在文獻[5]中提出的模式判別方法基礎(chǔ)上，將塊級流水拆分成了行列級流水。在傳統(tǒng)的塊級流水處理方案中，不可能做到每級流水模塊處理時間完全相等，必然會導致處理較快的模塊要等待處理慢的模塊處理完成。因此在流水線處理過程中，一級流水所需的時鐘數(shù)，是由流水線上所需時間最長的模塊來決定，而其余模塊就會有若干等待周期。本文在處理一個宏塊6個8×8塊過程中，雖然以8×8塊為單位進行模式選擇，但是采用了像元行/列流水的處理方式，每級流水都只需要一個時鐘，因此流水線可以做到每個時鐘都輸入和處理一個像元行/列，使得流水線中所有處理模塊的空轉(zhuǎn)周期降到最低。

行/列流水的處理關(guān)鍵是不能發(fā)生流水阻塞，即數(shù)據(jù)一旦進入流水線，必須能不間斷地向下一級流去，仿佛真正的流水一樣。本文將整個模式判別過程拆分成55級，每級所需的時間只有一個時鐘。這樣通過合理的拆分以及在每級流水間都增加緩存，保證了每一個時鐘數(shù)據(jù)都可由上一級輸入到下一級，實現(xiàn)了流水的連續(xù)性。

圖4和圖5分別給出了I幀和P/B幀模式判別的流水過程。需要注意的是，這里仍然以8×8塊為單位進行判斷，只是每個8×8塊在處理時細分成行/列級流水。另外，由于幀內(nèi)預(yù)測的塊間數(shù)據(jù)依賴，還是會產(chǎn)生當前塊需要預(yù)測時，所需的參考數(shù)據(jù)沒有生成的現(xiàn)象，不可避免地存在一定程度上的時鐘浪費。

圖4 I幀模式判別流水

圖5 P/B幀模式判別流水

本文對I幀和P/B幀的處理結(jié)果分別和文獻[5]進行了比較，見表1和表2。比較可以發(fā)現(xiàn)，本設(shè)計優(yōu)勢在于最大限度地排滿流水，減少了處理模塊的等待時間，提高硬件利用效率。因此在沒有損失系統(tǒng)性能的情況下大大減少模式判別過程所需的時鐘數(shù)，增加系統(tǒng)吞吐量。處理高清視頻所需的系統(tǒng)頻率縮減一半以上，可以輕松實現(xiàn)高清視頻實時編解碼的目的。

表1 I幀模式判別結(jié)果比較

表2 P/B幀模式判別結(jié)果比較

4 結(jié)束語

本文通過將模式判別過程中像素塊級流水拆分成基于像素的行/列級流水，大大減少了流水中的時鐘等待。不論是I幀還是P/B幀，它完成一個宏塊的模式判決過程都只需要不到400個時鐘周期，從而能夠以較低的系統(tǒng)頻率滿足30 f/s（幀/秒）的1 920×1 080高清視頻圖像實時編碼的需求。

[1]AVS工作組.AVS N1196信息技術(shù)——先進音視頻編碼[S].2005.

[2]邵文威.AVS視頻解碼器可變長解碼和反量化反變換模塊硬件設(shè)計與實現(xiàn)[D].濟南：山東大學，2010.

[3]孫楠，劉佩林.用于AVS視頻解碼器的高效分級流水線機制[J].電視技術(shù)，2006，30（11）：35-37.

[4]邵娟，張衛(wèi)寧，陳棟，等.AVS中B幀宏塊模式選擇快速方法[J].計算機工程與應(yīng)用，2011（5）：179-181.

[5]汪霄涵.基于率失真優(yōu)化模式?jīng)Q策的AVS編碼芯片設(shè)計研究[D].北京：北京大學，2010.

[6]朱相奎.AVS高清編碼器幀內(nèi)預(yù)測和環(huán)路濾波的FPGA設(shè)計與實現(xiàn)[D].北京：北京大學，2010.