一種視頻縮放插值算法的FPGA實(shí)現(xiàn)

樊凌雁，徐向陽(yáng)

(1.杭州電子科技大學(xué)微電子研究中心，浙江 杭州310018;2.杭州士蘭微電子股份有限公司設(shè)計(jì)所，浙江 杭州310012)

0 引 言

數(shù)字視頻信號(hào)處理的后端，經(jīng)過(guò)處理后的視頻信號(hào)需要支持不同分辨率的顯示器。故需要采用相應(yīng)的圖像縮放處理技術(shù)將輸入信號(hào)的分辨率進(jìn)行縮放處理以適應(yīng)不同顯示器的需要。在縮放處理過(guò)程中，讓視頻信號(hào)仍平滑顯示，要對(duì)像素進(jìn)行插值運(yùn)算[1-2]。目前圖像縮放處理通常采用的方法有最鄰近點(diǎn)法、雙線性內(nèi)插法、雙三次插值法和基于圖像邊緣的算法等[3-5]。這些插值算法多種多樣，各有優(yōu)缺點(diǎn)，如最鄰近點(diǎn)法、雙線性內(nèi)插法算法簡(jiǎn)單、容易實(shí)現(xiàn)，但是效果一般;基于圖像邊緣的算法在圖像邊緣區(qū)域做特殊處理，圖像邊緣清晰可見，但是算法實(shí)現(xiàn)復(fù)雜度高。在視頻處理的場(chǎng)合，為提高速度，需要采用硬件方法實(shí)現(xiàn)差值算法。目前在進(jìn)行硬件圖像處理過(guò)程中，因考慮實(shí)現(xiàn)復(fù)雜度的問(wèn)題，大多采用最鄰近點(diǎn)法和低次數(shù)的插值算法，圖像顯示的質(zhì)量較差[6]。為保證在高速進(jìn)行視頻處理過(guò)程中，同時(shí)達(dá)到圖像縮放處理的高質(zhì)量要求，本文提出了一種基于雙三次的視頻縮放插值的實(shí)現(xiàn)方法，針對(duì)不同的分辨率，將輸入信號(hào)進(jìn)行縮小或放大處理，來(lái)適應(yīng)后續(xù)顯示器的需要。并在FPGA 上得到實(shí)現(xiàn)，滿足視頻圖像縮放的要求。

1 雙三次方插值算法描述

雙線性算法插值目標(biāo)圖像中需要的像素值是由源圖像位置在它附近的2×2 區(qū)域4個(gè)鄰近像素通過(guò)加權(quán)平均計(jì)算得出的。相比于雙線性插值算法，對(duì)于放大后未知的像素點(diǎn)，以4點(diǎn)為例，雙三次插值算法將對(duì)其影響的范圍擴(kuò)大到鄰近的16個(gè)像素點(diǎn)，依據(jù)對(duì)待求點(diǎn)的遠(yuǎn)近影響進(jìn)行插值計(jì)算，是三次插值在二維空間上的擴(kuò)展，可得到較細(xì)致的影像。雙三次插值算法即克服了最鄰近插值算法出現(xiàn)的邊緣階梯現(xiàn)象，又消除了雙線性插值算法的邊緣模糊效應(yīng)，是一種插值效果較好但是運(yùn)算量大的插值算法。

雙三次插值算法的目標(biāo)像素如圖1所示。圖1中，空心圓代表低分辨率圖像中的像素，實(shí)心圓代表待插值的高分辨率像素，(i，j)是原圖像中像素的坐標(biāo)，(i+p，j+q)是待插值的高分辨率像素的坐標(biāo)。

圖1 雙三次插值算法的目標(biāo)像素

雙三次插值基于如下的三階多項(xiàng)式產(chǎn)生插值系數(shù):

式中，w為目標(biāo)插值點(diǎn)與周圍鄰近點(diǎn)的距離。

雙三次插值算法的插值公式如下:

式中，A，B，C代表3個(gè)矩陣:

式中，S(w)代表插值基函數(shù)，f(i，j)代表原圖像像素的灰度值，矩陣B 包含雙三次估計(jì)窗口的所有像素。

2 算法實(shí)現(xiàn)

雙三次插值硬件實(shí)現(xiàn)時(shí)，為降低計(jì)算復(fù)雜度，通常分解為水平和垂直處理的兩個(gè)一維的插值。整個(gè)處理分為4次水平處理和一次垂直處理兩個(gè)過(guò)程。

視頻縮放模塊的硬件實(shí)現(xiàn)模塊如圖2所示，視頻信號(hào)在縮放前，首先要先放入先入先出緩存器(FIFO)中緩存，然后進(jìn)行水平縮放，縮放后數(shù)據(jù)放入行緩沖區(qū)，在從緩沖區(qū)中取出數(shù)據(jù)進(jìn)行垂直縮放。最后經(jīng)過(guò)處理成特定的接口信號(hào)送入顯示器中顯示。

圖2 視頻縮放模塊框圖

無(wú)論是行處理還是列處理，目標(biāo)像素和源像素的距離決定了插值系數(shù)的大小，在具體硬件實(shí)現(xiàn)時(shí)，為了易于實(shí)現(xiàn)，插值系數(shù)采用分段處理，并且先進(jìn)行水平縮放再進(jìn)行垂直縮放。在FPGA實(shí)現(xiàn)時(shí)，采用如圖3所示的框圖實(shí)現(xiàn)水平縮放，垂直縮放的實(shí)現(xiàn)原理類似。

圖3 水平縮放的內(nèi)部實(shí)現(xiàn)框圖

圖3中，DFF表示移位寄存器，插值系數(shù)矩陣根據(jù)式(1)得到:

為了降低計(jì)算復(fù)雜度，距離系數(shù)事先計(jì)算好，采用矩陣形式存放在處理器的存儲(chǔ)器中，視頻信號(hào)輸出時(shí)，根據(jù)顯示器的分辨率，選擇調(diào)入不同的系數(shù)矩陣，實(shí)現(xiàn)不同的縮放比例。舉例來(lái)說(shuō)，如果輸入信號(hào)的分辨率為x，輸出信號(hào)的分辨率為y，則縮放比例:x/y=n(k/g)，n為整數(shù)，k ＜g，調(diào)入的系數(shù)矩陣即為k/g 帶入式(6)后得到。

舉例子說(shuō)明，如果縮放比例為0/16，縮放比例為整數(shù)，縮放系數(shù)為[0 255 0 0]/256，也就是對(duì)輸出信號(hào)有影響的就是當(dāng)前位的圖像灰度值;如果縮放比例為1/16，縮放系數(shù)為[-7 252 10 0]/256，除了當(dāng)前位，前一位和后一位的像素值影響輸出，影響比例由系數(shù)大小決定。

3 實(shí)驗(yàn)結(jié)果

視頻縮放模塊在某公司數(shù)字視頻信號(hào)處理芯片中應(yīng)用，用Verilog 語(yǔ)言對(duì)算法進(jìn)行描述，并在Xilinx公司提供的可編程邏輯器件集成開發(fā)環(huán)境Xilinx ISE10.1 中進(jìn)行編譯和綜合，目標(biāo)FPGA 芯片選為Virtex-4系列的XC4VSX-35，已通過(guò)FPGA 驗(yàn)證。因?yàn)椴捎昧嗽赗AM 中配置不同分辨率的系數(shù)，所以可以支持縮小放大32倍以內(nèi)的視頻信號(hào)，后續(xù)的顯示器支持標(biāo)準(zhǔn)視頻信號(hào)和高清視頻信號(hào)。

在VCS仿真測(cè)試中，通過(guò)測(cè)試現(xiàn)有的標(biāo)準(zhǔn)視頻信號(hào)和高清視頻信號(hào)之間的縮放，都滿足要求。水平放大的仿真結(jié)果如圖4所示。輸入視頻信號(hào)是720列，輸出到顯示器的視頻信號(hào)是1 280列，故放大倍數(shù)是16/9倍。圖4中，兩條白色光標(biāo)之間數(shù)據(jù)顯示了放大過(guò)程。器件輸入的數(shù)據(jù)計(jì)數(shù)信號(hào)是8 16，共9個(gè)像素點(diǎn)，對(duì)應(yīng)的輸出像素計(jì)數(shù)信號(hào)是7 22，共16個(gè)像素，完成了放大過(guò)程。視頻信號(hào)的水平縮小仿真結(jié)果如圖5所示。

圖4 水平放大(720列到1 280列)

圖5 水平縮小(1 280列到720列)

經(jīng)過(guò)FPGA實(shí)現(xiàn)算法的實(shí)際圖片放大效果如圖6、圖7所示，圖6為720×480的圖片，圖6采用本文算法放大為1 280×720 后如圖7所示，兩張圖片均采用30%顯示。

圖6 原圖720×480(30%顯示)

圖7 放大為1 280×720的圖(30%顯示)

4 結(jié)束語(yǔ)

本文針對(duì)視頻后處理信號(hào)，提出了一種視頻縮放插值算法的FPGA 硬件實(shí)現(xiàn)方案。在縮放插值算法實(shí)現(xiàn)時(shí)，采用插值矩陣存放插值系數(shù)，根據(jù)視頻輸入和輸出信號(hào)的縮放關(guān)系，調(diào)用對(duì)應(yīng)的插值系數(shù)，實(shí)現(xiàn)圖像縮放，保證插值效果，可支持多種分辨率的顯示器輸出。

[1]尤玉虎，周孝寬.數(shù)字圖像最佳插值算法研究[J].中國(guó)空間科學(xué)技術(shù)，2005，3(6):14-18.

[2]Kemal U，Alshin A，Alshina E，et al.Motion Compensated Prediction and Interpolation Filter Design in H.265/HEVC[J].2013，7(6):946-956.

[3]Sonka M，Hlavac V，Boyle.Image Processing，Analysis and Machine Vision[M].Canada:Thomson，2007:121-134.

[4]程光權(quán)，成禮智.基于小波的方向自適應(yīng)圖像插值[J].電子與信息學(xué)報(bào)，2009，3(2):265-269.

[5]任杰，劉家瑛，白蔚，等.基于隱式分段自回歸模型的圖像插值算法[J].軟件學(xué)報(bào)，2012，23(5):1 248-1 259.

[6]李開宇，張煥春，經(jīng)亞枝.基于FPGA 動(dòng)態(tài)可重構(gòu)的高速、高質(zhì)量的圖像放大[J].中國(guó)圖象圖形學(xué)報(bào)，2005，10(1):69-74.