基于FPGA實(shí)現(xiàn)固定倍率的圖像縮放

鄭 鑫，閆鈞華

（1.光電控制技術(shù)重點(diǎn)實(shí)驗(yàn)室 河南 洛陽 471009；2.南京航空航天大學(xué) 江蘇 南京 210016）

航空電子圖像處理系統(tǒng)為操作者提供各種圖像及字符信息，隨著傳感器、顯示器的性能指標(biāo)不斷提升，圖像處理系統(tǒng)的設(shè)計(jì)面臨越來越大的挑戰(zhàn)，其中圖像縮放的功能是圖像處理系統(tǒng)的關(guān)鍵技術(shù)要求。圖像縮放功能有兩種實(shí)現(xiàn)方案：1）軟件實(shí)現(xiàn)，其優(yōu)點(diǎn)是算法選擇靈活多樣，生成的畫面質(zhì)量較高，缺點(diǎn)是運(yùn)算時(shí)間長(zhǎng)。2）硬件實(shí)現(xiàn)，其優(yōu)點(diǎn)是分辨率高，實(shí)時(shí)性強(qiáng)，缺點(diǎn)是不易實(shí)現(xiàn)功能強(qiáng)大的優(yōu)秀算法。

近年來，F(xiàn)PGA技術(shù)發(fā)展迅速，片內(nèi)集成了PLL、硬件乘法器、存儲(chǔ)器，具有了實(shí)現(xiàn)優(yōu)秀算法的充足資源[1]。許多航空電子嵌入式圖像處理系統(tǒng)是由固定的視頻源和顯示設(shè)備組成，系統(tǒng)中圖像縮放的倍率是固定的。文中針對(duì)此展開重點(diǎn)研究，基于FPGA硬件，實(shí)現(xiàn)固定倍率的圖像縮放。

1 圖像縮放的算法

數(shù)字圖像的縮放是一個(gè)處理2維離散信號(hào)的過程。輸出圖像中任一個(gè)像素F（x，y），均可以在輸入圖像f（x，y）的像素矩陣中找到其對(duì)應(yīng)的位置，如圖1所示。

F（x，y）的值可以對(duì)其鄰域的原始圖像進(jìn)行二維卷積運(yùn)算得到。

圖1 輸入和輸出圖像像素的映射關(guān)系Fig.1 Pix mapping of input and output image

其中m×n為鄰域范圍，f（i，j）是輸入原始圖像，s（i，j）為系數(shù)函數(shù)。

因?yàn)閳D像中鄰近的像素存在著相關(guān)性，所以輸出圖像像素可以依據(jù)其在原始輸入圖像映射位置鄰域的像素?cái)?shù)據(jù)卷積得到。鄰域范圍內(nèi)各個(gè)像素的相關(guān)度由系數(shù)函數(shù)決定，鄰域的范圍決定了算法的運(yùn)算速度[2-3]。

基于FPGA硬件實(shí)現(xiàn)固定倍率的圖像縮放，為了降低FPGA設(shè)計(jì)的復(fù)雜性，提高圖像縮放算法的運(yùn)算速度，增強(qiáng)系統(tǒng)的實(shí)時(shí)性，將2維卷積運(yùn)算分解成2次1維卷積運(yùn)算，對(duì)輸入原始圖像像素先進(jìn)行行方向的卷積，再進(jìn)行列方向的卷積，從而得到輸出圖像像素。

2 圖像縮放的FPGA實(shí)現(xiàn)

2.1 基于FPGA實(shí)現(xiàn)圖像縮放的功能結(jié)構(gòu)

基于FPGA實(shí)現(xiàn)圖像縮放的功能結(jié)構(gòu)圖如圖2所示。

圖2 功能結(jié)構(gòu)圖Fig.2 Functional diagram

卷積計(jì)算模塊的硬件結(jié)構(gòu)由算法決定，每個(gè)點(diǎn)時(shí)鐘周期內(nèi)，對(duì)輸入原始圖像像素和系數(shù)先進(jìn)行行方向的卷積，再進(jìn)行列方向的卷積，從而得到輸出圖像像素。系數(shù)產(chǎn)生功能是依據(jù)控制模塊確定的狀態(tài)，產(chǎn)生算法要求的系數(shù)。輸入緩存由控制模塊不斷刷新，保證每一時(shí)鐘輸入給卷積計(jì)算模塊相應(yīng)的像素?cái)?shù)據(jù)。輸出緩存提供下一環(huán)節(jié)數(shù)據(jù)流接口。

控制模塊是核心邏輯部分，可以采用逆向映射方式（按照輸出像素的時(shí)間順序遞增，選擇對(duì)應(yīng)的輸入像素得到結(jié)果），也可以采用順向映射方式（直接在輸入像素的時(shí)序中產(chǎn)生輸出像素）[4-5]。

逆向映射方式工作在輸出圖像的時(shí)鐘域，控制模塊根據(jù)縮放倍率、分辨率和同步信號(hào)，確定輸入像素坐標(biāo)的增量大小，使得在每一時(shí)鐘周期輸入緩存中出現(xiàn)相應(yīng)的像素?cái)?shù)據(jù)。因?yàn)槟嫦蛴成浞绞叫枰馆敵鰰r(shí)鐘域與輸入時(shí)鐘域保持同步，所以需要大容量的輸入數(shù)據(jù)存儲(chǔ)空間，才能確保在每個(gè)時(shí)鐘周期提供相應(yīng)的輸入像素?cái)?shù)據(jù)[6]。順向映射方式輸入和輸出像素有很強(qiáng)的時(shí)序?qū)?yīng)關(guān)系，按照輸入像素的時(shí)序進(jìn)程實(shí)時(shí)確定輸出像素的時(shí)序，輸出圖像分辨率發(fā)生變化，但幀頻一致。圖像縮放過程中，輸入一個(gè)像素可能會(huì)輸出2個(gè)或3個(gè)像素，控制模塊可以采用輸出緩存、雙口RAM、變換時(shí)鐘域、增加數(shù)據(jù)總線寬度等方法達(dá)到這種同步。順向映射方式符合輸入圖像的時(shí)序，不需要大容量的數(shù)據(jù)存儲(chǔ)空間，具體根據(jù)圖像縮放算法的鄰域大小而定。

2.2 基于FPGA實(shí)現(xiàn)圖像縮放的方法

基于FPGA實(shí)現(xiàn)圖像縮放時(shí)，無論是逆向映射方式還是順向映射方式，控制模塊的設(shè)計(jì)都比較復(fù)雜。為了發(fā)揮FPGA的優(yōu)勢(shì)，大幅度降低設(shè)計(jì)難度，簡(jiǎn)化硬件結(jié)構(gòu)，文中把圖像縮放過程設(shè)計(jì)為一個(gè)單元體的循環(huán)過程，在單元體內(nèi)部，可以事先計(jì)算出卷積系數(shù)。例如，把每行720個(gè)像素，放大到768個(gè)像素，相當(dāng)于每輸入15個(gè)像素，輸出16個(gè)像素。此時(shí)可以把15個(gè)像素作為一個(gè)單元體，事先計(jì)算出每個(gè)輸入像素周期的卷積系數(shù)，在FPGA中設(shè)計(jì)一個(gè)包含15種情況的狀態(tài)機(jī)即可。單元體的像素?cái)?shù)量越少，事先計(jì)算卷積系數(shù)和狀態(tài)機(jī)設(shè)計(jì)的工作量就越少，因此像素的數(shù)量控制在20個(gè)以內(nèi)，必要時(shí)可以采用近似的整數(shù)比。當(dāng)輸出像素的數(shù)量與實(shí)際要求相差很小時(shí)，圖像邊緣部分增加或減少幾個(gè)像素對(duì)顯示效果影響甚微，因此各種圖像縮放倍率情況下，相應(yīng)個(gè)數(shù)的輸入像素都可以作為一個(gè)合適的單元體。

為論述方便，文中以將768×576的輸入圖像放大到1 024×768為例，說明基于FPGA實(shí)現(xiàn)對(duì)輸入原始圖像像素先進(jìn)行行方向的卷積，再進(jìn)行列方向的卷積，從而得到輸出圖像像素。

2.2.1 基于FPGA實(shí)現(xiàn)行方向的卷積

圖像在行方向的放大比例為3：4，即單元體為3個(gè)輸入像素和4個(gè)輸出像素，如圖3所示。

圖3 單元體示意圖Fig.3 Small unit drawing

輸入圖像的 AB空間中均勻分布X1、X2、X33個(gè)像素，放大后輸出圖像的這個(gè)空間將輸出Y0、Y1、Y2、Y34個(gè)像素。這個(gè)單元體的時(shí)序關(guān)系是：當(dāng)輸入X1像素時(shí)，輸出Y0像素；當(dāng)輸入X2像素時(shí)，輸出Y1像素；當(dāng)輸入X3像素時(shí)，輸出Y2和Y3像素。行方向的卷積公式為：

基于FPGA實(shí)現(xiàn)的源程序如下：

基于FPGA實(shí)現(xiàn)的仿真時(shí)序圖如圖4所示。

在本例中時(shí)鐘為輸入的點(diǎn)時(shí)鐘，為了在X3像素周期時(shí)輸出2個(gè)像素：Y2和 Y3，采用了擴(kuò)充數(shù)據(jù)總線的方式。

圖4 時(shí)序圖Fig.4 Waveform of timing result

2.2.2 基于FPGA實(shí)現(xiàn)列方向的卷積

數(shù)據(jù)流在行方向放大后寫入雙口RAM，然后從另一側(cè)端口讀出進(jìn)行列方向的放大。由于行方向的卷積算法，雙口RAM中至少應(yīng)存儲(chǔ)連續(xù)的3行輸入圖像像素?cái)?shù)據(jù)，其中2行輸入圖像像素?cái)?shù)據(jù)處于被讀出狀態(tài)，產(chǎn)生放大后的輸出圖像像素，另一行空間被寫入當(dāng)前的輸入圖像像素?cái)?shù)據(jù)，循環(huán)刷新。

列方向的單元體和行方向相同，也由3個(gè)輸入像素和4個(gè)輸出像素組成，每種狀態(tài)下也是同樣的卷積系數(shù)，只是圖像橫向的空間變換成圖像豎向的空間，因此基于FPGA實(shí)現(xiàn)列方向的卷積的方法與基于FPGA實(shí)現(xiàn)行方向的卷積的方法相同，此處不再贅述。

3 結(jié)束語

基于FPGA實(shí)現(xiàn)圖像縮放，需要根據(jù)圖像縮放的倍率確定包含適當(dāng)數(shù)量像素的單元體。在單元體內(nèi)部，根據(jù)圖像縮放算法確定每個(gè)輸出像素的計(jì)算公式和卷積系數(shù)，確定實(shí)現(xiàn)點(diǎn)時(shí)鐘倍頻效果的硬件方案。順向映射方式輸入和輸出處于幀同步狀態(tài)，由于輸出像素?cái)?shù)量多于輸入像素，輸出像素的點(diǎn)時(shí)鐘頻率要高于輸入像素。本文行方向的放大過程，點(diǎn)時(shí)鐘頻率平均增加1/3倍，列方向的放大過程，點(diǎn)時(shí)鐘頻率還要繼續(xù)增加1/3倍。實(shí)現(xiàn)倍頻效果可以采用更高頻的獨(dú)立時(shí)鐘，或者倍頻輸入點(diǎn)時(shí)鐘，再或者增加數(shù)據(jù)總線寬度。為節(jié)省數(shù)據(jù)存儲(chǔ)空間，當(dāng)對(duì)圖像放大時(shí)，先進(jìn)行列方向的放大，后進(jìn)行行方向的放大；當(dāng)對(duì)圖像縮小時(shí)，先進(jìn)行行方向的縮小，后進(jìn)行列方向的縮小。

基于FPGA實(shí)現(xiàn)圖像縮放功能實(shí)時(shí)性強(qiáng)、分辨率高。許多航空電子嵌入式圖像處理系統(tǒng)是由固定的視頻源和顯示設(shè)備組成，系統(tǒng)中圖像縮放的倍率是固定的。本文基于FPGA硬件實(shí)現(xiàn)固定倍率的圖像縮放，能夠大幅度降低設(shè)計(jì)難度，減少工作量。

基于FPGA硬件實(shí)現(xiàn)固定倍率的圖像縮放的方法已經(jīng)應(yīng)用于某款航空電子產(chǎn)品中，電路板的原有硬件沒有變動(dòng)，對(duì)電路板中FPGA重新進(jìn)行了設(shè)計(jì)，增加了新的內(nèi)容，應(yīng)用效果良好。

[1]王岳環(huán)，彭曉.基于FPGA的數(shù)字圖像實(shí)時(shí)放大設(shè)計(jì)[J].計(jì)算機(jī)工程與應(yīng)用，2005，41（8）：108-110.

WANG Yue-huan，PENG Xiao.The FPGA-based design of digital image real-time enlargment[J].Computer Engineering and Applications，2005，41（8）：108-110.

[2]張阿珍，劉政林，鄒雪城，等.基于雙三次插值算法的圖像縮放引擎的設(shè)計(jì)[J].到微電子學(xué)與計(jì)算機(jī)，2007，24（1）：49-51.

ZHANG A-zhen，LIU Zheng-lin，ZHOU Xue-cheng，et al.Design of image scaling engine based bicubic interpolation algorithm[J].MicroelectronicsandComputer，2007，24（1）：49-51.

[3]焦戩，張輝，胡廣書.基于FPGA的數(shù)字X射線圖像的實(shí)時(shí)縮放模塊[J].北京生物醫(yī)學(xué)工程，2007，26（2）：140-143.

JIAO Jian，ZHANG Hui，HU Guang-shu.A real-time image zooming module based on FPGA for X-ray imaging[J].Beijing Biomedical Engineering，2007，26（2）：140-143.

[4]胡小龍，馮彬.基于FPGA的高分辨實(shí)時(shí)監(jiān)控圖像縮放設(shè)計(jì)[J].液晶與顯示，2009，24（6）：882-885.

HU Xiao-long，F(xiàn)ENG Bin.Design on FPGA based highresolution and real-time monitoring image zooming[J].Chinese Journal of Liquid Crystals and Displays，2009，24（6）：882-885.

[5]孫紅進(jìn).FPGA實(shí)現(xiàn)的視頻圖像縮放顯示 [J].液晶與顯示，2010，25（1）：130-133.

SUN Hong-jin.FPGA realization of video image zooming display[J].Chinese Journal of Liquid Crystals and Displays，2010，25（1）：130-133.

[6]劉政林，鄒雪城，向祖權(quán)，等.定標(biāo)器的設(shè)計(jì)與實(shí)現(xiàn)[J].電子學(xué)報(bào)，2006，34（1）：185-188.

LIU Zheng-lin，ZHOU Xue-cheng，XIANG Zu-quan，et al.The design and implementation ofscaler [J].ACTA Electronica Sinica，2006，34（1）：185-188.