基于FPGA的多路實(shí)時(shí)視頻處理系統(tǒng)設(shè)計(jì)

嚴(yán)飛丁兆東劉銀萍陳偉劉佳*

基于FPGA的多路實(shí)時(shí)視頻處理系統(tǒng)設(shè)計(jì)

嚴(yán)飛1，2，丁兆東1，劉銀萍1，3，陳偉1，劉佳1，2*

（1.南京信息工程大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210044；2.江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，江蘇 南京 210044；3.南京信息工程大學(xué) 大氣物理學(xué)院，江蘇 南京 210044）

基于FPGA平臺(tái)，采用雙線性插值縮放算法，實(shí)現(xiàn)了對(duì)多路實(shí)時(shí)視頻任意比例的縮放。進(jìn)行了DDR3的讀寫(xiě)邏輯設(shè)計(jì)，采用乒乓操作以及多通道讀寫(xiě)仲裁模塊，實(shí)現(xiàn)了實(shí)時(shí)的圖像緩存。采用Alpha疊加融合算法，實(shí)現(xiàn)了對(duì)多路視頻任意位置的漫游疊加，以及任意通道視頻透明度的調(diào)節(jié)。實(shí)驗(yàn)結(jié)果表明，本次設(shè)計(jì)的多路實(shí)時(shí)視頻處理系統(tǒng)，實(shí)現(xiàn)了最大分辨率為3 840×2 160、最低分辨率為100×100的縮放，能夠靈活改變疊加位置的大小和位置，圖像清晰、無(wú)閃屏、無(wú)錯(cuò)位情況的發(fā)生。

FPGA；雙線性插值；視頻縮放；圖像漫游

1 引言

視頻顯示技術(shù)發(fā)展到21世紀(jì)，同時(shí)顯示多個(gè)視頻的需求仍然存在，人們需要從單個(gè)顯示器獲得更多、更復(fù)雜的信息。因此，人們對(duì)圖像處理的效率、實(shí)時(shí)性、功耗以及處理設(shè)備的體積也有了更嚴(yán)格的要求［1］。當(dāng)前常用的嵌入式圖像處理平臺(tái)有ARM（Advanced RISC Machine）、數(shù)字信號(hào)處理（Digital Signal Processing，DSP）、專用集成電路（Application Specific Integrated Circuit，ASIC）以及現(xiàn)場(chǎng)可編程邏輯門陣列（FPGA）等。ARM平臺(tái)有較不錯(cuò)的處理能力，配合一系列的開(kāi)源處理算法，開(kāi)發(fā)比較方便，因此這種方式能夠滿足部分圖像應(yīng)用場(chǎng)景的需求。但是隨著高速處理視頻圖像需求的增加以及算法的日趨復(fù)雜，單靠微處理器已經(jīng)無(wú)法滿足實(shí)時(shí)性處理的要求。DSP是一種專門用于實(shí)現(xiàn)快速數(shù)字信號(hào)處理算法的微處理器，其中有一些固定的運(yùn)算模塊，使得其信號(hào)處理的速度優(yōu)于微處理器，適合操作性強(qiáng)和運(yùn)算量大的場(chǎng)合，但是由于DSP采用的是串行指令系統(tǒng)，使用起來(lái)有諸多限制。ASIC是為專門應(yīng)用場(chǎng)景下所設(shè)計(jì)的芯片，雖然在特定使用場(chǎng)景下功耗低、性能強(qiáng)，但是在其他使用場(chǎng)景時(shí)需要重新設(shè)計(jì)，適用性較差。FPGA由于可編程以及并行運(yùn)算的特性，相比于ASIC雖然功耗較高，但其可無(wú)限重復(fù)編程［2-5］，因此，采用FPGA作為核心處理器能夠滿足高分辨率、高幀率等性能需求。

針對(duì)傳統(tǒng)的實(shí)時(shí)視頻處理系統(tǒng)大多存在分辨率低、控制不靈活、視頻處理算法單一、實(shí)時(shí)性差等問(wèn)題［6-8］，本文設(shè)計(jì)了一款具有4通道高速并行處理能力的多路視頻實(shí)時(shí)處理系統(tǒng)，采用高清多媒體接口（High Definition Multimedia Interface，HDMI）的視頻作為視頻源，經(jīng)過(guò)FPGA處理，最終實(shí)現(xiàn)將4路視頻任意比例縮放、漫游、疊加融合成一路視頻顯示。這使得用戶可以實(shí)時(shí)觀察真實(shí)直觀、細(xì)節(jié)豐富的多路超高清影像數(shù)據(jù)，也符合市場(chǎng)需求。

2 系統(tǒng)設(shè)計(jì)

本設(shè)計(jì)發(fā)送卡和接收卡采用的FPGA芯片是由Xilinx生產(chǎn)的XC7K325系列的XC7K325-TFFG900，主要用來(lái)接收?qǐng)D像、處理圖像以及驅(qū)動(dòng)顯示器實(shí)時(shí)輸出顯示。

多路實(shí)時(shí)視頻處理系統(tǒng)采用一塊視頻發(fā)送卡對(duì)4路HDMI視頻數(shù)據(jù)進(jìn)行接收。系統(tǒng)上電后，首先將接收到的視頻數(shù)據(jù)進(jìn)行預(yù)處理，再根據(jù)串口接收到用戶的縮放參數(shù)、圖像裁剪參數(shù)，將處理后的視頻數(shù)據(jù)根據(jù)用戶命令參數(shù)進(jìn)行實(shí)時(shí)縮放處理，然后將縮放后的視頻數(shù)據(jù)根據(jù)用戶需要的視頻圖像大小進(jìn)行裁剪，通過(guò)讀寫(xiě)仲裁模塊按照一定的順序存儲(chǔ)到動(dòng)態(tài)內(nèi)存DDR3中，最后將讀出的每個(gè)通道的數(shù)據(jù)通過(guò)光纖發(fā)送模塊發(fā)送出去。視頻發(fā)送卡的內(nèi)部邏輯框圖如圖1所示。

圖1　視頻發(fā)送卡FPGA內(nèi)部邏輯框圖

接收卡通過(guò)4路光模塊接口接收到視頻數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行上采樣處理，再根據(jù)串口接收到用戶的旋轉(zhuǎn)角度參數(shù)，對(duì)接收到的4個(gè)通道數(shù)據(jù)進(jìn)行旋轉(zhuǎn)處理，然后通過(guò)多通道讀寫(xiě)仲裁模塊按照一定的順序存入到動(dòng)態(tài)內(nèi)存DDR3中，按照用戶選擇通道的數(shù)據(jù)從DDR3讀出對(duì)應(yīng)通道的有效數(shù)據(jù)，并對(duì)多通道視頻進(jìn)行疊加融合，最后進(jìn)行色彩空間轉(zhuǎn)換，并通過(guò)HDMI接口將融合后的一路數(shù)據(jù)在4K顯示器上顯示。視頻接收卡的內(nèi)部邏輯如圖2所示。

圖2　視頻接收卡FPGA內(nèi)部邏輯框圖

3 雙線性插值縮放算法實(shí)現(xiàn)

常規(guī)視頻縮放算法有最鄰近插值算法、雙線性插值算法、雙三次插值縮放算法。由MATLAB仿真效果可知［9］，最臨近插值算法效果差；雙線性插值法計(jì)算量和效果居于兩者之間；雙三次插值縮放算法效果最好、畫(huà)面細(xì)膩但計(jì)算量大；在既要保證效果的同時(shí)又要考慮視頻處理的實(shí)時(shí)性以及算法的復(fù)雜情況下，本次設(shè)計(jì)選用雙線性插值算法進(jìn)行基于FPGA的縮放邏輯設(shè)計(jì)［10-13］。

3.1　雙線性插值縮放算法邏輯設(shè)計(jì)

雙線性插值縮放算法的邏輯設(shè)計(jì)框圖如圖3所示。

圖3　雙線性插值算法邏輯設(shè)計(jì)圖

由于雙線性插值采用周圍4個(gè)像素點(diǎn)確定目標(biāo)像素點(diǎn)，因此至少緩存兩行以上的數(shù)據(jù)才能根據(jù)周圍像素點(diǎn)值計(jì)算目標(biāo)像素點(diǎn)的值［14-16］。本設(shè)計(jì)可以采用兩個(gè)RAM即可對(duì)目標(biāo)像素點(diǎn)周圍4個(gè)像素點(diǎn)進(jìn)行計(jì)算，但是為了提高處理速度，本設(shè)計(jì)采用4個(gè)雙口RAM進(jìn)行數(shù)據(jù)讀寫(xiě)的乒乓操作。且為防止處理效率低，第一次計(jì)算時(shí)必須保證4個(gè)RAM存滿才開(kāi)始進(jìn)行插值計(jì)算。

3.2　雙線性插值縮放計(jì)算

雙線性插值縮放計(jì)算流程如圖4所示。首先等待數(shù)據(jù)輸入，當(dāng)有效數(shù)據(jù)來(lái)臨時(shí)，將其存入RAM。本設(shè)計(jì)設(shè)定存滿4行視頻數(shù)據(jù)以后，系統(tǒng)才開(kāi)始進(jìn)行計(jì)算。最后將數(shù)據(jù)取整輸出。

圖4　實(shí)時(shí)視頻縮放流程圖

縮放算法的仿真波形如圖5所示。仿真波形是以1 280×1 024為輸入，縮小到960×768，根據(jù)輸入輸出水平像素點(diǎn)個(gè)數(shù)可以求出縮放比例、插值系數(shù)以及插值點(diǎn)與原圖像中像素點(diǎn)的水平距離和垂直距離。通過(guò)使用4個(gè)RAM實(shí)現(xiàn)對(duì)兩行數(shù)據(jù)的緩存，實(shí)現(xiàn)對(duì)插值像素點(diǎn)周圍4個(gè)像素點(diǎn)的緩存輸出。其中dOut為輸出數(shù)據(jù)，coeff為求得的插值系數(shù)，xScale、yScale為水平和垂直方向因子，inputXres、inputYres表示輸入水平、垂直方向像素點(diǎn)個(gè)數(shù)。outputXres、outputYres為輸出水平、垂直方向的像素點(diǎn)個(gè)數(shù)。

圖5　縮放算法的仿真波形

3.3　雙線性插值算法驗(yàn)證與分析

在保證以上測(cè)試模塊均正常工作情況下，進(jìn)一步對(duì)縮放模塊進(jìn)行驗(yàn)證。實(shí)際板上驗(yàn)證時(shí)，通過(guò)HDMI接口輸入的1 080P視頻數(shù)據(jù)作為視頻源，ILA在線邏輯分析儀的波形窗口的顯示如圖6所示。在傳輸有效像素信號(hào)時(shí)，行同步（hs）信號(hào)、幀同步（vs）信號(hào)、有效信號(hào)（de）均符合圖像傳輸時(shí)序定義。從在線邏輯仿真圖中可以看出，在有效信號(hào)（de）保持為高電平時(shí)，從起始點(diǎn)1 130到終止點(diǎn)1 230，每行數(shù)據(jù)僅輸出100個(gè)有效數(shù)據(jù)其余數(shù)據(jù)均為0，說(shuō)明實(shí)現(xiàn)了100×100縮放設(shè)計(jì)，接下來(lái)進(jìn)一步進(jìn)行板上驗(yàn)證。

圖6　100×100縮放在線邏輯分析儀的波形圖

如圖7所示，實(shí)際板上驗(yàn)證時(shí)采用視頻流為1 080P的HDMI輸入作為視頻源，經(jīng)過(guò)縮放、緩存、同步等操作，最后再通過(guò)HDMI接口輸出至顯示器上顯示。圖7（a）、（b）分別為3 840×2 160縮放效果圖以及100×100縮放效果圖。實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)雙線性插值圖像縮放能夠支持圖像進(jìn)行任意比例的縮放，但是在實(shí)際縮放效果觀察過(guò)程中可以發(fā)現(xiàn)，雖然理論上可以支持最低縮放到1×1分辨率，但是實(shí)際上板100×100效果已經(jīng)出現(xiàn)了比較嚴(yán)重的失真，縮放模塊滿足本次設(shè)計(jì)要求。

圖7　雙線性插值在FPGA上實(shí)現(xiàn)效果圖

4 實(shí)時(shí)圖像緩存實(shí)現(xiàn)

4.1　DDR讀寫(xiě)邏輯設(shè)計(jì)

本次設(shè)計(jì)視頻發(fā)送卡和接收卡的核心處理器均采用Xilinx公司的7系列FPGA，采用4片4G的鎂光DDR3作為內(nèi)存。由于均支持Xilinx官方的DDR3控制器MIG IP核，本設(shè)計(jì)直接通過(guò)調(diào)用MIG IP核控制DDR3，降低了開(kāi)發(fā)難度［17-22］。

為了簡(jiǎn)化操作，重新編寫(xiě)了面向用戶的讀寫(xiě)接口。讀寫(xiě)操作如圖8所示。在初始狀態(tài)下，首先判斷是否有讀寫(xiě)請(qǐng)求，當(dāng)兩個(gè)信號(hào)同時(shí)來(lái)臨時(shí)，優(yōu)先進(jìn)行寫(xiě)操作，防止讀出數(shù)據(jù)為空的情況出現(xiàn)。當(dāng)寫(xiě)請(qǐng)求信號(hào)為1時(shí)，首先判斷此時(shí)寫(xiě)命令app_cmd是否為0和DDR3返回響應(yīng)信號(hào)是否為高，只有在兩種條件同時(shí)滿足情況下，才開(kāi)始向DDR3中寫(xiě)入數(shù)據(jù)。其次判斷DDR3寫(xiě)完成信號(hào)是否拉高，若拉高則寫(xiě)結(jié)束并返回初始狀態(tài)，反之則繼續(xù)進(jìn)行寫(xiě)操作。讀操作處理流程也是如此。

圖8　用戶接口突發(fā)讀寫(xiě)流程圖

針對(duì)DDR3讀寫(xiě)測(cè)試，用戶接口讀寫(xiě)控制的邏輯仿真波形如圖9所示。其中app_wdf_rdy和app_wdf_wren同時(shí)為高，并且app_cmd為000時(shí)，開(kāi)始寫(xiě)入數(shù)據(jù)進(jìn)DDR3。當(dāng)app_cmd為001則開(kāi)始從DDR3讀出數(shù)據(jù)。當(dāng)初始化信號(hào)init_calib_complete拉高以后，在app_wdf_rdy、app_wdf_wren同時(shí)為高并且app_cmd為000時(shí)執(zhí)行寫(xiě)操作。本次測(cè)試的突發(fā)長(zhǎng)度設(shè)置為32，測(cè)試數(shù)據(jù)由計(jì)數(shù)器產(chǎn)生為0～127。在DDR3初始化完成以后，首先向DDR3中寫(xiě)入測(cè)試數(shù)據(jù)。從仿真圖中可以看出，每次向DDR3中突發(fā)寫(xiě)入32個(gè)數(shù)據(jù)，實(shí)現(xiàn)了對(duì)DDR3的突發(fā)寫(xiě)操作。

圖9　用戶接口讀寫(xiě)控制

當(dāng)控制器處于讀狀態(tài)，讀命令信號(hào)app_cmd為001并且讀數(shù)據(jù)有效信號(hào)app_rd_data_valid為高時(shí)，開(kāi)始從DDR3中讀出數(shù)據(jù)。由于讀出DDR3數(shù)據(jù)比寫(xiě)入DDR3的數(shù)據(jù)有一定的延遲，因此在實(shí)際觀察時(shí)要找到第一次讀出數(shù)位置，觀察是否錯(cuò)位。DDR3第一次讀出數(shù)據(jù)為0～31，第二次讀出數(shù)據(jù)為32～63，讀突發(fā)長(zhǎng)度為32。通過(guò)對(duì)比讀寫(xiě)數(shù)據(jù)可以看出，兩者保持一致，且讀寫(xiě)突發(fā)長(zhǎng)度滿足設(shè)定要求。且錯(cuò)誤信號(hào)error_num一直保持為0，說(shuō)明DDR3數(shù)據(jù)讀寫(xiě)正確。

4.2　讀寫(xiě)模塊乒乓操作實(shí)現(xiàn)

在本次設(shè)計(jì)中數(shù)據(jù)存儲(chǔ)模塊主要是指將DDR3區(qū)域劃分兩個(gè)區(qū)域，乒乓操作如圖10所示。對(duì)多路實(shí)時(shí)視頻圖像數(shù)據(jù)進(jìn)行處理具有數(shù)據(jù)量大的特點(diǎn)，乒乓操作可以有效地控制數(shù)據(jù)流的快速傳輸，提高數(shù)據(jù)處理速度，縮短處理時(shí)間，提高圖像顯示的實(shí)時(shí)性。其實(shí)現(xiàn)的基礎(chǔ)是數(shù)據(jù)的緩存，采用數(shù)據(jù)選擇器將數(shù)據(jù)流分成兩部分，兩個(gè)數(shù)據(jù)緩存器交替地進(jìn)行數(shù)據(jù)輸入處理，這樣既保證了數(shù)據(jù)的完整性，又有效地提高了數(shù)據(jù)處理速度，保證數(shù)據(jù)不出現(xiàn)混亂。

圖10　乒乓操作示意圖

系統(tǒng)處于寫(xiě)狀態(tài)時(shí)，寫(xiě)數(shù)據(jù)選擇單元會(huì)根據(jù)場(chǎng)同步信號(hào)找到一幀圖像數(shù)據(jù)的開(kāi)始點(diǎn)，然后緩存進(jìn)數(shù)據(jù)存儲(chǔ)模塊1。當(dāng)下一幀數(shù)據(jù)來(lái)到時(shí)則緩存進(jìn)數(shù)據(jù)存儲(chǔ)模塊2，如此反復(fù)進(jìn)行存儲(chǔ)模塊切換。系統(tǒng)處于讀狀態(tài)時(shí)，讀數(shù)據(jù)選擇單元會(huì)根據(jù)輸出視頻時(shí)序的場(chǎng)同步信號(hào)進(jìn)行存儲(chǔ)模塊切換并讀出數(shù)據(jù)。

4.3　多通道讀寫(xiě)仲裁模塊邏輯設(shè)計(jì)

本次邏輯設(shè)計(jì)最大可支持7個(gè)通道仲裁。以三通道讀寫(xiě)仲裁為例，其處理流程如圖11所示。當(dāng)數(shù)據(jù)開(kāi)始輸入時(shí)，首先判斷當(dāng)前通道條件S：讀請(qǐng)求和讀突發(fā)長(zhǎng)度是否都不為0，判斷是則進(jìn)行當(dāng)前通道數(shù)據(jù)處理并輸出當(dāng)前數(shù)據(jù)，反之跳轉(zhuǎn)到下一個(gè)通道判斷條件，對(duì)下一個(gè)通道數(shù)據(jù)進(jìn)行處理，依次判斷可實(shí)現(xiàn)多通道讀寫(xiě)仲裁，在多通道讀寫(xiě)仲裁模塊邏輯設(shè)計(jì)同樣如此。

圖11　多通道仲裁處理流程圖

5 視頻圖像疊加融合

視頻圖像疊加融合是將兩路視頻圖像信號(hào)中的一路作為背景，另一路為前景，在背景視頻圖中融入前景圖像，在同一終端上顯示多通道疊加圖像［23-26］。本次設(shè)計(jì)采用Alpha疊加融合算法，視頻圖像疊加融合模塊采用兩路視頻源疊加進(jìn)行測(cè)試，為了方便觀察，首先將背景的值設(shè)置為一個(gè)固定值24’h108080。其中背景視頻大小為1 920×1 080，前景視頻大小為100×100。Alpha融合疊加算法的ILA在線邏輯分析儀波形窗口如圖12所示。當(dāng)前景視頻處于有效數(shù)據(jù)范圍內(nèi)并且Alpha為16’hff時(shí)，全部顯示為前景，輸出融合視頻數(shù)據(jù)等于前景視頻的有效數(shù)據(jù)；當(dāng)前景視頻處于無(wú)效數(shù)據(jù)范圍內(nèi)并且Alpha為16’h00時(shí)，輸出融合視頻數(shù)據(jù)等于背景視頻有效數(shù)據(jù)24’h108080。

圖12　Alpha融合疊加在線邏輯分析儀的波形

Alpha融合疊加在FPGA上實(shí)現(xiàn)實(shí)際效果圖如圖13所示。其中圖13（a）為一路PC電腦桌面作為視頻源輸入，并將輸入的畫(huà)面進(jìn)行四通道復(fù)制。首先將輸入的1 080P視頻數(shù)據(jù)縮放至960×540大小，最后將4個(gè)通道數(shù)據(jù)進(jìn)行疊加融合輸出。實(shí)際上板驗(yàn)證的疊加效果圖a～d的Alpha值分別為16’h00，16’h40，16’h80，16’hff，其畫(huà)面對(duì)應(yīng)的透明度也依次降低。圖13（b）將兩路輸入的1 080P視頻縮放為兩路960×480大小的視頻，且將背景畫(huà)面的Alpha值設(shè)置為16’hff，前景畫(huà)面的Alpha值設(shè)置為16’h80，960×480的前景圖疊加在960×480背景圖上，其余區(qū)域均為黑色。根據(jù)疊加融合輸出效果圖可以看出，圖像清晰，無(wú)閃屏、無(wú)錯(cuò)位情況發(fā)生。另外可以通過(guò)串口設(shè)置參數(shù)，靈活改變疊加位置的大小和位置，滿足系統(tǒng)的設(shè)計(jì)需求。

(a)　4畫(huà)面融合疊加效果圖(a)　Four-picture fusion superimposed effect picture (b)　2畫(huà)面融合疊加效果圖(b)　Two-picture fusion superimposed effect picture

6 實(shí)驗(yàn)測(cè)試和功耗分析

片上總消耗主要由動(dòng)態(tài)功耗和靜態(tài)功耗組成。從表1可以計(jì)算出，視頻發(fā)送卡的片上總功耗為1.479 W，其中動(dòng)態(tài)功耗占93%。從表2可以計(jì)算出，視頻發(fā)送卡的片上總功耗為3.520 W，其中動(dòng)態(tài)功耗占95%。系統(tǒng)在設(shè)計(jì)過(guò)程中對(duì)于功耗的分析是十分必要的，若功耗過(guò)高則會(huì)造成芯片發(fā)熱甚至損壞，其次會(huì)導(dǎo)致FPGA內(nèi)部時(shí)序的不穩(wěn)定，導(dǎo)致冒險(xiǎn)與競(jìng)爭(zhēng)的出現(xiàn)。為了進(jìn)一步降低功耗以及提高系統(tǒng)的穩(wěn)定性可以從以下兩個(gè)方面進(jìn)行優(yōu)化。

表1視頻發(fā)送卡的片上功耗情況

Tab.1　On-chip power consumption of the video sending card

表2視頻接收卡的片上功耗情況

Tab.2　On-chip power consumption of the video receiving card

（1）資源優(yōu)化：以存儲(chǔ)器為例，在設(shè)置雙端口RAM時(shí)設(shè)置成NO CHANGE模式以及設(shè)置時(shí)鐘使能的情況下，可以實(shí)現(xiàn)對(duì)存儲(chǔ)器功耗的降低。

（2）算法優(yōu)化：首先要設(shè)計(jì)最優(yōu)的算法，使資源占用達(dá)到最少。比如流水線和狀態(tài)機(jī)結(jié)構(gòu)，需要根據(jù)實(shí)際情況進(jìn)行選擇，以達(dá)到面積和速度的平衡。

本次設(shè)計(jì)可以實(shí)現(xiàn)4K視頻的任意比例縮放、透明度調(diào)節(jié)以及4路視頻任意位置漫游、疊加與融合。首先進(jìn)行多通道縮放、漫游、旋轉(zhuǎn)以及疊加融合測(cè)試，其實(shí)際板上驗(yàn)證效果如圖14所示。為了方便觀察，本次選用比較有代表性的結(jié)果圖進(jìn)行展示。

(a)　四通道圖像漫游顯示效果(a)　Four-channel image roaming display effect (b)　四通道復(fù)制亮度調(diào)節(jié)對(duì)比顯示效果(b)　Four-channel copy brightness adjustment contrast display effect

測(cè)試多路視頻輸入采用筆記本作為視頻源，其分辨率為1 920×1 080@60 Hz；由于筆記本輸出分辨率的限制，單路視頻輸入測(cè)試時(shí)采用臺(tái)式電腦作為視頻源，其分辨率為3 840×2 160@30 Hz，最后均通過(guò)4K分辨率顯示器顯示。

圖14（a）將四通道輸入視頻縮放至不同大小，最后將4路視頻在沒(méi)有疊加的情況下進(jìn)行漫游輸出。圖14（b）將單通道分辨率為3 840×2 160@30 Hz的視頻源，復(fù)制為4路視頻進(jìn)行輸入。將4路視頻縮放至960×540大小以后，分別設(shè)置Alpha值為16’h00，16’h40，16’h80，16’hff，實(shí)現(xiàn)對(duì)畫(huà)面透明度由高到低的調(diào)節(jié)。由實(shí)驗(yàn)結(jié)果可知，本系統(tǒng)實(shí)現(xiàn)了高清4K視頻的任意比例縮放、多路高清視頻的任意位置漫游、任意位置疊加融合。在實(shí)際調(diào)試過(guò)程中，由于時(shí)鐘速率不匹配，顯示效果圖可能會(huì)出現(xiàn)未知顯示效果，因此需要對(duì)系統(tǒng)進(jìn)行時(shí)序約束，防止競(jìng)爭(zhēng)冒險(xiǎn)的出現(xiàn)。

7 結(jié)論

本文基于FPGA開(kāi)發(fā)平臺(tái)，實(shí)現(xiàn)了一種多路實(shí)時(shí)視頻處理系統(tǒng)。采用Vivado 2019.1作為軟件開(kāi)發(fā)平臺(tái)完成了雙線性插值縮放算法設(shè)計(jì)，實(shí)現(xiàn)了最大分辨率為3 840×2 160、最低分辨率為100×100的縮放，滿足了用戶特殊分辨率的需求。同時(shí)可以將多路視頻數(shù)據(jù)進(jìn)行任意位置漫游以及疊加融合，滿足了人們需要從單個(gè)顯示器獲得更多、更復(fù)雜的信息的需求。

本系統(tǒng)目前僅支持單一的HDMI輸入輸出接口，為滿足用戶的各種需求，應(yīng)當(dāng)增加接口種類，并合理增加一些拓展接口。目前本系統(tǒng)在硬件上僅支持4路視頻源輸入，應(yīng)該在硬件上設(shè)計(jì)增加更多的視頻輸入接口數(shù)量，并對(duì)硬件進(jìn)行信號(hào)完整性驗(yàn)證。為了滿足用戶多樣化需求可以在現(xiàn)有的基礎(chǔ)上增加多樣視頻算法，并優(yōu)化系統(tǒng)的整體延時(shí)。

［1］ BAILEY D G.基于FPGA的嵌入式圖像處理系統(tǒng)設(shè)計(jì)［M］.原魁，何文浩，肖晗，譯.北京：電子工業(yè)出版社，2013.

BAILEY D G.［M］. YUAN K， HE W H， XIAO H， trans. Beijing： Publishing House of Electronics Industry， 2013. （in Chinese）

［2］ 金永明，蔣韜.DP與DVI接口在4K顯示器上疊加顯示的電路設(shè)計(jì)［J］.山東工業(yè)技術(shù)，2016（14）：144-146.

JIN Y M， JIANG T. Circuit design of DP and DVI interface superimposed display on 4K display［J］.， 2016（14）： 144-146. （in Chinese）

［3］ RADICKE S， HAHN J U， WANG Q，. A parallel HEVC intra prediction algorithm for heterogeneous CPU+GPU platforms［J］.， 2016， 62（1）： 103-119.

［4］ KASSIM A A， CHUA K S， FONG F K，. DSP-based system for real-time video communications［J］.， 1999， 10（1）： 47-53.

［5］ KIM K， KOH J S， SUH K B，. An efficient frame memory interface of MPEG-2 video encoder ASIC chip［C］//1999. Los Angeles： IEEE， 1999： 58-59.

［6］ 嚴(yán)飛，宋振聲，劉銀萍，等.4K裸眼立體顯示系統(tǒng)設(shè)計(jì)［J］.液晶與顯示，2019，34（9）：862-870.

YAN F， SONG Z S， LIU Y P，. Design of 4K bare-eye stereoscopic display system［J］.， 2019， 34（9）： 862-870. （in Chinese）

［7］ 易子川，林躍，王利.基于FPGA的多路視頻實(shí)時(shí)處理系統(tǒng)［J］.華南師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，49（1）：51-55.

YI Z C， LIN Y， WANG L. Multi-channel real-time video processing system based on FPGA［J］.（）， 2017， 49（1）： 51-55. （in Chinese）

［8］ 郭昕.基于FPGA的多路超高清視頻實(shí)時(shí)處理系統(tǒng)設(shè)計(jì)［D］.上海：華東師范大學(xué)，2018.

GUO X. FPGA-based multi-channel ultra-high definition video real-time processing system design［D］. Shanghai： East China Normal University， 2018. （in Chinese）

［9］ 丁雪晶.實(shí)現(xiàn)圖像縮放功能的Matlab插值算法研究與比較［J］.湖北大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，40（4）：396-400，406.

DING X J. Research and comparison of Matlab interpolation algorithm for image scaling function［J］.（）， 2018， 40（4）： 396-400， 406. （in Chinese）

［10］ 李向軍.數(shù)字視頻系統(tǒng)接口應(yīng)用［J］.電視技術(shù)，2016，40（10）：37-40.

LI X J. Application of interfaces in digital video system［J］.， 2016， 40（10）： 37-40. （in Chinese）

［11］ 嚴(yán)飛，陸寶毅，劉銀萍，等.實(shí)時(shí)視頻流縮放系統(tǒng)設(shè)計(jì)［J］.液晶與顯示，2019，34（11）：1124-1130.

YAN F， LU B Y， LIU Y P，. Design of real-time video stream scaling system［J］.， 2019， 34（11）： 1124-1130. （in Chinese）

［12］ SINGH R， RADPOUR F， NARAYAN J，.-rapid isiheial pocessing of thin epitaxial dieleciric films on silicon and compound semi semiconductors［J］.， 1986， 75（1）： 681-690.

［13］ YUSIANTO R， MARIMIN， SUPRIHATIN，. Green logistics approach in bioethanol conversion from potato starch in central Java［C］//：. Jeju Island： IOP， 2019： 012100.

［14］ 張梁，王景存，梅鏢.視頻縮放在FPGA中的應(yīng)用和實(shí)現(xiàn)［J］.電子技術(shù)應(yīng)用，2016，42（6）：34-37.

ZHANG L， WANG J C， MEI B. Application and implementation of video scaling algorithm based on FPGA［J］.， 2016， 42（6）： 34-37. （in Chinese）

［15］ 岳鑫，肖晨.基于奇異值分解和雙三次插值的圖像縮放算法改進(jìn)［J］.西安郵電大學(xué)學(xué)報(bào)，2018，23（4）：72-77.

YUE X， XIAO C. Improvement of image scaling algorithm based on singular value decomposition and bicubic interpolation［J］.， 2018， 23（4）： 72-77. （in Chinese）

［16］ 于亞龍，穆遠(yuǎn)彪.插值算法的研究［J］.現(xiàn)代計(jì)算機(jī)（專業(yè)版），2014（5）：32-35.

YU Y L， MU Y B. Research on interpolation algorithm［J］.（）， 2014（5）： 32-35. （in Chinese）

［17］ 潘亮，穆仕博，何廣亮，等.FPGA的SDR/DDR3 SDRAM控制器設(shè)計(jì)［J］.單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2020，20（1）：52-55.

PAN L， MU S B， HE G L，. Design of SDR/DDR3 SDRAM controllers based on FPGA［J］.， 2020， 20（1）： 52-55. （in Chinese）

［18］ VERSEN M， ERNST W. Row hammer avoidance analysis of DDR3 SDRAM［J］.， 2020， 114： 113744.

［19］ 楊朋飛，聶亮.基于FPGA和DDR3的圖像采集系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)［J］.自動(dòng)化與儀表，2019，34（9）：37-40，51.

YANG P F， NIE L. Design and implementation of image acquisition system based on FPGA and DDR3［J］.， 2019， 34（9）： 37-40， 51. （in Chinese）

［20］ 齊佳碩，王洪巖.基于FPGA的SDRAM接口設(shè)計(jì)及實(shí)現(xiàn)［J］.電子測(cè)量技術(shù)，2018，41（19）：141-144.

QI J S， WANG H Y. Design and implementation of the SDRAM interface based on the FPGA［J］.， 2018， 41（19）： 141-144. （in Chinese）

［21］ 侯廣琦，魏平，白廷柱.多通道嵌入式高速圖像采集存儲(chǔ)系統(tǒng)的研究［J］.儀器儀表學(xué)報(bào)，2011，32（11）：2543-2548.

HOU G Q， WEI P， BAI T Z. Study of multi-channel high-speed embedded image capture and storage system［J］.， 2011， 32（11）： 2543-2548. （in Chinese）

［22］ 何雯，董威，茍輝.基于FPGA的高速視頻采集系統(tǒng)的設(shè)計(jì)［J］.國(guó)外電子測(cè)量技術(shù)，2016，35（5）：83-87.

HE W， DONG W， GOU H. Design of high-speed video acquisition system based on FPGA［J］.， 2016， 35（5）： 83-87. （in Chinese）

［23］ HALL A， LEGER D S， SINGH A，. The utility of computed tomography and diffusion-weighted magnetic resonance imaging fusion in cholesteatoma： illustration with a UK case series［J］.， 2020， 134（2）： 178-183.

［24］ KURALT M， GA?PER?I? R， FIDLER A. 3D computer-aided treatment planning in periodontology： a novel approach for evaluation and visualization of soft tissue thickness［J］.， 2020， 32（5）： 457-462.

［25］ MORGAN H L， BUTLER E， RITCHIE S，. Modeling superimposed preeclampsia using Ang Ⅱ （Angiotensin Ⅱ） infusion in pregnant stroke-prone spontaneously hypertensive rats［J］.， 2018， 72（1）： 208-218.

［26］ ULRICH R， SCHR?TER H， LEUTHOLD H，. Automatic and controlled stimulus processing in conflict tasks： superimposed diffusion processes and delta functions［J］.， 2015， 78： 148-174.

Design of multi-channel real-time video processing system based on FPGA

YAN Fei1，2，DING Zhao-dong1，LIU Yin-ping1，3，CHEN Wei1，LIU Jia1，2*

（1，，210044，；2（），210044，；3，，210044，）

Based on FPGA platform， the bilinear interpolation scaling algorithm is used to realize arbitrary scaling of multichannel real-time video. DDR3 read and write logic is designed. Using ping-pong operation and multi-channel read and write arbitration module， the real-time image cache is achieved. Alpha overlay fusion algorithm is used to realize roaming overlay at any position of multichannel video and adjust the video transparency of any channel. The experimental results show that the multi-channel real-time video processing system designed in this paper can realize the maximum resolution of 3 840×2 160 and the minimum resolution of 100×100， and can flexibly change the size and position of the stacking position. The image is clear， no flash screen and no dislocation.

FPGA； bilinear interpolation； video scaling； image roaming

TP274

A

10.37188/CJLCD.2022-0001

1007-2780（2022）07-0861-10

2022-01-01；

2022-02-17.

江蘇省產(chǎn)業(yè)前瞻與關(guān)鍵核心技術(shù)重點(diǎn)項(xiàng)目（No.BE2020006-2）；國(guó)家自然科學(xué)基金（No.61605083）

Supported by Jiangsu Provincial Key Research and Development Program （No.BE2020006-2）；National Natural Science Foundation of China（No.61605083）

，E-mail：liujia@nuist.edu.cn

嚴(yán)飛（1983—），男，江蘇南京人，博士，講師，2013年于中國(guó)科學(xué)院大學(xué)獲得博士學(xué)位，主要從事三維測(cè)量和信息顯示技術(shù)方面的研究。E-mail：fyan@nuist.edu.cn

劉佳（1981—），女，江蘇揚(yáng)州人，博士，教授， 2008年于東南大學(xué)獲得博士學(xué)位，主要從事虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)、人機(jī)交互及機(jī)器人技術(shù)方面的研究。E-mail：liujia@nuist.edu.cn