反走樣字符圖形疊加算法與FPGA快速實(shí)現(xiàn)

全穎，夏偉杰，周建江

(南京航空航天大學(xué) 電子信息工程學(xué)院，南京 211100)

?

反走樣字符圖形疊加算法與FPGA快速實(shí)現(xiàn)

全穎，夏偉杰，周建江

(南京航空航天大學(xué) 電子信息工程學(xué)院，南京 211100)

為了提高機(jī)載平視顯示系統(tǒng)中反走樣字符圖形與背景視頻疊加輸出的顯示效果，提出一種反走樣字符圖形與視頻疊加算法并通過(guò)FPGA快速實(shí)現(xiàn)。疊加過(guò)程中增加反走樣字符圖形背景融合計(jì)算，使反走樣字符圖形與背景視頻疊加后邊緣光滑過(guò)渡，系統(tǒng)使用兩片DDR3分別存儲(chǔ)視頻和圖形數(shù)據(jù)，兩者并行處理，提高系統(tǒng)整體性能，優(yōu)化背景融合算法DDR3實(shí)現(xiàn)流程，降低DDR3中斷復(fù)雜度。結(jié)果表明，該系統(tǒng)整體性能得到提高，疊加融合畫(huà)面效果良好，靈活性強(qiáng)，適用于機(jī)載座艙顯示系統(tǒng)。

視頻疊加；背景融合；反走樣；FPGA；DDR3

引 言

隨著機(jī)載座艙顯示系統(tǒng)的發(fā)展，對(duì)字符圖形與背景視頻疊加輸出時(shí)的顯示效果要求越來(lái)越高，尤其是反走樣字符圖形與背景視頻的疊加處理效果。常見(jiàn)的處理方式是采用字符圖形芯片直接生成反走樣字符圖形畫(huà)面，然后通過(guò)FPGA與采集的背景視頻進(jìn)行疊加處理[1]。由于無(wú)法區(qū)分芯片生成的反走樣字符圖形數(shù)據(jù)，只能進(jìn)行簡(jiǎn)單的疊加處理，疊加后的字符圖形與視頻交接邊緣鋸齒明顯，影響顯示效果。

本文設(shè)計(jì)一種基于FPGA的反走樣字符圖形與視頻疊加處理系統(tǒng)，使用單片F(xiàn)PGA實(shí)現(xiàn)字符圖形生成、視頻采集處理以及兩者疊加輸出功能。對(duì)于反走樣字符圖形，在與背景視頻疊加前先做背景融合處理，使反走樣字符圖形與視頻疊加后邊緣光滑過(guò)渡，明顯削弱邊緣鋸齒效應(yīng)。使用兩片DDR3并行存儲(chǔ)，加快了系統(tǒng)運(yùn)轉(zhuǎn)速度，為更高分辨率做準(zhǔn)備。整個(gè)系統(tǒng)采用單片F(xiàn)PGA實(shí)現(xiàn)，靈活性強(qiáng)，可以減少系統(tǒng)的體積和功耗。

1 字符圖形與視頻疊加系統(tǒng)框架設(shè)計(jì)

字符圖形與視頻疊加系統(tǒng)以Xilinx公司的Kintex-7 FPGA為核心[2]，實(shí)現(xiàn)視頻處理、字符圖形生成和視頻圖形疊加輸出等一系列功能。具體系統(tǒng)框圖如圖1所示，主要包括以下5個(gè)模塊:

① 主機(jī)接口模塊：通過(guò)PCIe總線接收來(lái)自CPU的視頻處理指令和字符圖形繪制指令，對(duì)各個(gè)指令進(jìn)行解析，提供給子模塊進(jìn)行處理。

② 視頻處理模塊：接收PAL和DVI兩種制式的視頻，選擇其中一路視頻進(jìn)行縮放、旋轉(zhuǎn)處理后存入視頻DDR3存儲(chǔ)單元。

③ 字符圖形生成模塊：根據(jù)繪圖指令繪制相應(yīng)字符和圖形，存入圖形DDR3存儲(chǔ)單元。

④ DDR3存儲(chǔ)控制模塊：實(shí)現(xiàn)DDR3的存儲(chǔ)中斷控制和中斷嵌套功能。

⑤ 疊加輸出模塊：將背景視頻數(shù)據(jù)和字符圖形數(shù)據(jù)疊加輸出，一路直接通過(guò)DVI接口輸出到顯示器，另一路經(jīng)過(guò)畸變校正[3]后輸出到平視顯示器。

圖1 字符圖形與視頻疊加系統(tǒng)框圖

2 反走樣字符圖形疊加算法研究

2.1 字符圖形與視頻疊加原理

字符圖形與視頻疊加是指以字符圖形為前景，視頻作為背景，將字符圖形的有效數(shù)據(jù)覆蓋在視頻之上輸出[4]。字符圖形與背景視頻疊加輸出時(shí)，當(dāng)圖形RGB數(shù)據(jù)為0時(shí)，表示該點(diǎn)沒(méi)有字符圖形輸出，則該點(diǎn)輸出背景視頻數(shù)據(jù),否則輸出字符圖形數(shù)據(jù)[5]。具體比較如下所示：

(1)

式中，G表示字符圖形RGB值，Gbk表示背景視頻RGB值，Gout表示最終DVI輸出的RGB值。

反走樣字符圖形與背景視頻疊加的Matlab仿真效果圖如圖2所示。

圖2 反走樣字符圖形與背景視頻直接疊加示意圖

其中反走樣斜線是采用wu反走樣方式[6]繪制的單線寬斜線，反走樣字符是用FreeType字體引擎提取的256級(jí)灰度值位圖[7]。從圖2中可以看出，反走樣斜線和字符與背景視頻直接疊加時(shí)，邊緣有明顯的鋸齒狀，影響顯示效果，不利于飛行員識(shí)別，降低了人機(jī)功效。所以在反走樣字符圖形與背景視頻疊加前，需要對(duì)反走樣字符圖形數(shù)據(jù)做背景融合處理，在反走樣點(diǎn)中加入視頻信息，再與背景視頻按照式(1)進(jìn)行疊加處理。

2.2 反走樣字符圖形背景融合算法

反走樣圖形以wu反走樣單線寬斜線為例，反走樣斜線繪制時(shí)每個(gè)點(diǎn)對(duì)應(yīng)的顯示顏色值為Gorig×(1-d)，Gorig為理想斜線顯示顏色，d為斜線繪制點(diǎn)到理想斜線的距離[8]。為了消除反走樣圖形與背景視頻疊加時(shí)的邊緣鋸齒效應(yīng)，在反走樣斜線繪制的顏色中需要加入背景視頻信息，兩者按一定的比例進(jìn)行融合，使得反走樣點(diǎn)顏色信息與背景視頻相關(guān)。反走樣圖形背景融合公式如下：

(2)

其中Gmix為反走樣圖形與背景視頻融合后的顏色值。

反走樣字符通過(guò)FreeType字體引擎提取，直接提取出反走樣字符每個(gè)點(diǎn)的顯示顏色，將字符每個(gè)點(diǎn)的顏色值與背景視頻作如下處理：

(3)

(4)

如果視頻數(shù)據(jù)或者字符圖形數(shù)據(jù)中有彩色數(shù)據(jù)信息，則需要將對(duì)應(yīng)的RGB值均按照式(2)或式(4)進(jìn)行計(jì)算，得到新的RGB三個(gè)分量的值。

將反走樣字符圖形分別按照式(2)、式(4)作背景融合處理，處理后的數(shù)據(jù)按照后文第3.1節(jié)所述方式與背景視頻疊加，背景融合后的疊加效果圖如圖3所示。經(jīng)過(guò)背景融合的反走樣字符圖形與視頻疊加后邊緣鋸齒明顯減弱，圖形和視頻之間光滑過(guò)渡，顯示效果明顯提高。

圖3 反走樣字符圖形背景融合后與視頻疊加示意圖

3 FPGA設(shè)計(jì)與快速實(shí)現(xiàn)

圖5 先背景融合再存儲(chǔ)DDR3用戶接口仲裁控制框圖

本設(shè)計(jì)采用兩片DDR3分別存儲(chǔ)視頻和字符圖形數(shù)據(jù)，兩者并行存儲(chǔ)和讀取數(shù)據(jù)，與使用單片DDR3相比，一幀畫(huà)面的存儲(chǔ)和讀取時(shí)間縮短為原來(lái)的50%，提高了系統(tǒng)的整體性能，可以處理更高分辨率的視頻圖形畫(huà)面。

硬件實(shí)現(xiàn)反走樣字符圖形背景融合計(jì)算與疊加時(shí)，需要同時(shí)用到兩片DDR3中的數(shù)據(jù)，降低兩片DDR3中斷復(fù)雜度并綜合實(shí)際字符圖形和視頻的存儲(chǔ)特點(diǎn)，是FPGA邏輯實(shí)現(xiàn)時(shí)主要考慮的問(wèn)題。

針對(duì)本系統(tǒng)，背景融合處理有兩種實(shí)現(xiàn)方案，方式一先對(duì)反走樣字符圖形數(shù)據(jù)作背景融合處理后再存入圖形DDR3；方式二先將反走樣字符圖形數(shù)據(jù)直接存入圖形DDR3，再與視頻疊加輸出前作背景融合處理，然后與背景視頻疊加輸出。

3.1 先背景融合再存儲(chǔ)

圖4為先背景融合計(jì)算再存儲(chǔ)的邏輯實(shí)現(xiàn)框圖。反走樣字符圖形數(shù)據(jù)先與從視頻DDR3讀出的背景視頻數(shù)據(jù)作融合計(jì)算，然后將計(jì)算結(jié)果存入圖形DDR3，疊加輸出時(shí)直接使用從圖形DDR3中讀出的數(shù)據(jù)與視頻疊加輸出[9]。

圖4 先背景融合再存儲(chǔ)邏輯實(shí)現(xiàn)框圖

使用先背景融合再存儲(chǔ)的方式對(duì)應(yīng)的DDR3讀寫(xiě)中斷如圖5所示。圖形中斷處理模塊中，按照中斷優(yōu)先級(jí)從高到底依次為：圖形輸出讀中斷處理、直接結(jié)果寫(xiě)中斷、插值結(jié)果寫(xiě)中斷。其中圖形輸出讀中斷則讀出字符圖形顏色值；直接結(jié)果寫(xiě)中斷對(duì)應(yīng)的是字符圖形數(shù)據(jù)中不反走樣點(diǎn)的顏色值寫(xiě)操作；插值結(jié)果寫(xiě)中斷對(duì)應(yīng)的是字符圖形數(shù)據(jù)中反走樣點(diǎn)經(jīng)過(guò)背景融合計(jì)算后的顏色值寫(xiě)操作。視頻中斷處理模塊，按照中斷優(yōu)先級(jí)從高到低依次為：視頻輸出讀中斷、視頻處理結(jié)果寫(xiě)中斷、讀背景視頻中斷。其中讀背景視頻中斷對(duì)應(yīng)背景融合計(jì)算時(shí)，需要從視頻DDR3中讀取相應(yīng)視頻數(shù)據(jù)的操作。

圖形生成模塊寫(xiě)請(qǐng)求對(duì)應(yīng)的中斷處理框圖如圖6所示，當(dāng)一幀圖形繪制結(jié)束后，圖形生成模塊發(fā)送圖形DDR3寫(xiě)請(qǐng)求，此時(shí)先執(zhí)行圖形直接結(jié)果寫(xiě)中斷，同時(shí)申請(qǐng)插值背景讀中斷。插值背景讀中斷每讀回一個(gè)視頻數(shù)據(jù)，則和對(duì)應(yīng)反走樣點(diǎn)做背景融合計(jì)算并存入新的FIFO，等所有反走樣點(diǎn)都作完背景融合計(jì)算后，再執(zhí)行插值結(jié)果寫(xiě)中斷。

圖6 圖形生成模塊寫(xiě)請(qǐng)求對(duì)應(yīng)的中斷處理框圖

先背景融合再存儲(chǔ)的優(yōu)點(diǎn)是所有存入圖形DDR3的數(shù)據(jù)都是有效數(shù)據(jù)，疊加輸出時(shí)無(wú)需作多余處理，直接輸出即可。缺點(diǎn)是兩片DDR3之間處理有交集，增加了各自中斷處理的復(fù)雜度；當(dāng)反走樣點(diǎn)較多，同時(shí)視頻處理結(jié)果寫(xiě)效率較低時(shí)，可能存在不能在一幀圖形處理時(shí)間內(nèi)將所有反走樣點(diǎn)都作背景融合處理并存入DDR3的情況；對(duì)于PAL格式的輸入視頻以DVI格式輸出時(shí)，需要進(jìn)行幀速率提升[10]處理，導(dǎo)致與反走樣字符圖形做背景融合的視頻數(shù)據(jù)和最后疊加輸出的視頻數(shù)據(jù)可能不是同一幀數(shù)據(jù)，疊加后邊緣還會(huì)存在明顯鋸齒。

3.2 先存儲(chǔ)再背景融合

圖8 先存儲(chǔ)再背景融合DDR3用戶接口仲裁控制框圖

圖7 先存儲(chǔ)再背景融合的邏輯實(shí)現(xiàn)框圖

使用先存儲(chǔ)再背景融合方式對(duì)應(yīng)的DDR3讀寫(xiě)中斷如圖8所示。圖形中斷處理模塊中，按照中斷優(yōu)先級(jí)從高到低依次為：圖形輸出讀中斷處理、直接結(jié)果寫(xiě)中斷、插值結(jié)果寫(xiě)中斷和插值系數(shù)寫(xiě)中斷。視頻中斷處理模塊，按照中斷優(yōu)先級(jí)從高到低依次為：視頻輸出讀中斷、視頻處理結(jié)果寫(xiě)中斷。一幀圖形繪制結(jié)束，圖形生成模塊發(fā)送圖形DDR3寫(xiě)請(qǐng)求，先執(zhí)行直接結(jié)果寫(xiě)中斷，然后執(zhí)行插值結(jié)果寫(xiě)中斷，最后執(zhí)行插值系數(shù)寫(xiě)中斷。視頻DDR3只需要完成視頻疊加輸出讀中斷和視頻處理結(jié)果寫(xiě)中斷即可，無(wú)需增加讀背景視頻的操作。

對(duì)比兩種方式，方式一中增加了背景視頻讀中斷處理，方式二中增加了插值系數(shù)寫(xiě)中斷，雖然中斷方式不同，但是兩者讀出或?qū)懭氲臄?shù)據(jù)個(gè)數(shù)是相同的，即兩片DDR3總吞吐量不變。方式二中兩片DDR3各自存儲(chǔ)數(shù)據(jù)，互不影響，可以加快存儲(chǔ)速度；而且在疊加輸出前進(jìn)行背景融合計(jì)算，可以保證和反走樣字符圖形作背景融合的數(shù)據(jù)就是將要疊加輸出的視頻數(shù)據(jù)，保證了疊加后的顯示效果。所以最終選擇先存儲(chǔ)再背景融合的方式用于硬件實(shí)現(xiàn)。

3.3 背景融合FPGA實(shí)現(xiàn)

經(jīng)過(guò)比較，選擇先存儲(chǔ)再背景融合的方式用于反走樣字符圖形背景融合計(jì)算硬件實(shí)現(xiàn)。硬件實(shí)現(xiàn)時(shí)，F(xiàn)PGA內(nèi)部邏輯時(shí)鐘為200 MHz，除了視頻采集模塊需要根據(jù)輸入視頻信號(hào)確定時(shí)鐘，其余模塊均使用200 MHz的處理時(shí)鐘。視頻輸入端輸入分辨率為720×576的PAL視頻信號(hào)，對(duì)其進(jìn)行縮放處理，放大至1280×1024分辨率，然后存入視頻DDR3中。一幀圖形繪制結(jié)束存入圖形DDR3中，疊加輸出時(shí)將疊加后的視頻信號(hào)按照1280×1024分辨率對(duì)應(yīng)的DVI視頻信號(hào)的VESA標(biāo)準(zhǔn)輸出到顯示器顯示，每秒輸出60幀畫(huà)面。圖9(a)為繪制的反走樣斜線與PAL輸入外視頻疊加輸出畫(huà)面；圖9(b)為繪制的反走樣字符與PAL輸入外視頻疊加輸出畫(huà)面；圖9(c)為繪制的標(biāo)準(zhǔn)測(cè)試畫(huà)面與PAL輸入的藍(lán)色視頻疊加輸出畫(huà)面。

圖9 反走樣字符圖形背景融合畫(huà)面測(cè)試結(jié)論

從實(shí)際顯示畫(huà)面中可以看出,反走樣字符圖形經(jīng)過(guò)背景融合后與視頻疊加輸出邊緣光滑，無(wú)明顯鋸齒，顯示效果良好；繪制標(biāo)準(zhǔn)畫(huà)面圖9(c)時(shí)，對(duì)應(yīng)每秒繪制60幀畫(huà)面，圖形DDR3一幀畫(huà)面的讀寫(xiě)時(shí)間約為6.19 ms，占一幀畫(huà)面實(shí)際預(yù)留處理時(shí)間(1/60=16.7 ms)的37%，表明在一幀時(shí)間內(nèi)，可以繪制更多的字符圖形或者繪制更高分辨率輸出的字符圖形畫(huà)面；現(xiàn)支持的最大輸出分辨率為1920×1080，適用于機(jī)載座艙顯示系統(tǒng)。

結(jié) 語(yǔ)

本文基于機(jī)載平視顯示系統(tǒng)項(xiàng)目，研究了反走樣字符圖形與視頻疊加時(shí)的背景融合算法，并通過(guò)FPGA快速實(shí)現(xiàn)與驗(yàn)證。增加反走樣字符圖形背景融合計(jì)算，有效解決了反走樣字符圖形與背景視頻疊加后邊緣鋸齒狀明顯的缺陷，使兩者交接邊緣光滑過(guò)渡。在FPGA實(shí)現(xiàn)時(shí)，使用兩片DDR3并行存儲(chǔ)視頻和圖形數(shù)據(jù)，DDR3處理時(shí)間縮短為單片DDR3工作時(shí)的50%；結(jié)合DDR3中斷仲裁控制，選擇采用先存儲(chǔ)再背景融合的方式實(shí)現(xiàn)反走樣字符圖形的背景融合計(jì)算，有效地降低了DDR3中斷復(fù)雜度，優(yōu)化了系統(tǒng)實(shí)現(xiàn)流程，便于硬件開(kāi)發(fā)；繪制標(biāo)準(zhǔn)測(cè)試畫(huà)面時(shí)，圖形DDR3一幀畫(huà)面處理時(shí)間占預(yù)留時(shí)間的37%，可以支持更高分辨率的字符圖形畫(huà)面繪制和視頻處理。

[1] 王旭東,王新賽,李堅(jiān).基于FPGA的視頻圖像疊加系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用,2007,33(11):38-40.

[2] 吳連慧,周建江,夏偉杰,等.基于 FPGA 的機(jī)載顯示系統(tǒng)架構(gòu)設(shè)計(jì)與優(yōu)化[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用,2014(8):31-34.

[3] 鄭春,周擁軍,溫永強(qiáng).大視場(chǎng)光學(xué)顯示設(shè)備圖像畸變校正算法[J].電光與控制,2011,18(5):23-27.

[4] 萬(wàn)鵬,楊大偉.基于FPGA的視頻疊加融合系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用,2013,39(9):44-46.

[5] 劉施.基于FPGA的圖像視頻疊加系統(tǒng)的研究[D].西安:西安電子科技大學(xué),2013.

[6] Wu X.An efficient antialiasing technique[J].Acm Siggraph Computer Graphics,1991,25(4):143-152.

[7] 沈夢(mèng)杰,周建江,韋小杰,等.基于背景融合的機(jī)載字符生成[J].電子技術(shù)應(yīng)用,2015,41(4):25-28.

[8] 張曉燕.基于FPGA的機(jī)載視頻處理與圖形生成系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].南京:南京航空航天大學(xué),2011.

[9] 吳連慧.機(jī)載平顯圖形生成與視頻處理算法研究及其FPGA實(shí)現(xiàn)[D].南京:南京航空航天大學(xué),2014.

[10] 張磊.幀速率上變換算法研究[D].上海:上海交通大學(xué),2010.

全穎(碩士研究生)，主要研究方向?yàn)闄C(jī)載信號(hào)處理、數(shù)字圖像處理及FPGA技術(shù)；夏偉杰(副教授)，主要研究方向?yàn)樾盘?hào)處理；周建江(教授)，研究方向?yàn)闄C(jī)載電子信息系統(tǒng)。

結(jié) 語(yǔ)

參考文獻(xiàn)

[1] 闞偉,董群,王東軍，等.氣固兩相流固體質(zhì)量流量測(cè)量技術(shù)[J].測(cè)量與設(shè)備,2007(12):90-92.

[2] 趙會(huì)芝.濃相固體流量計(jì)在氣力輸送中的應(yīng)用[J]. 石油化工自動(dòng)化, 2010, 46(1):65-66.

[3] 徐苓安.相關(guān)流量測(cè)量技術(shù)[M].天津：天津大學(xué)出版社, 1988.

[4] 傅曉林.離散卷積和相關(guān)運(yùn)算的快速傅立葉仿真研究[J]，重慶交逋學(xué)院學(xué)報(bào)，2003,22(4).

[5] 羅良玲,胡容華,黃雙江，等.互相關(guān)技術(shù)在動(dòng)平衡測(cè)試中的應(yīng)用[J].南昌大學(xué)學(xué)報(bào)：工科版,2000,22(4):25-28.

[6] 李良.氣固兩相流靜電相關(guān)流速測(cè)量研究[D].天津：天津大學(xué)，2008.

[7] 鄭君里.信號(hào)與系統(tǒng)(上冊(cè))[M].北京：高等教育出版社,2009:341-342.

[8] 徐文波,田耕.Xilinx FPGA開(kāi)發(fā)使用教程[M].2版.北京:清華大學(xué)出版社,2012:16-17.

[9] 加油.為你的USB設(shè)備“加把勁”[J].網(wǎng)絡(luò)與信息,2009,23(9):54-54.

(責(zé)任編輯：楊迪娜 收稿日期：2016-06-27)

Anti-aliased Character Graphics Overlay Algorithm and Fast Implementation on FPGA

Quan Ying,Xia Weijie,Zhou Jianjiang

(College of Electronic and Information Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing 211100,China)

In order to improve the display effect of anti-aliased symbol and video superposition in the airborne head-up display system,a kind of anti-aliased symbol and video overlay algorithm is proposed and is realized on FPGA.By adding the background fusion calculation,the adjacent edges of anti-aliased symbol and video is smooth.Two DDR3 are used to store the video and graphic data respectively,both parallel process to improve the overall performance of the system.Optimization of the implementation process of background fusion algorithm,the complexity of the DDR3 interrupt is reduced.The experiment results show that the overall performance of the system is improved,and the overlay fusion image has good effect and high flexibility,which is suitable for the display system of the airborne cockpit.

video superposition;background fusion;anti-aliased;FPGA;DDR3

TP302

A

?士然

2016-06-13)