基于FPGA的多分辨率SDI傳輸系統(tǒng)設(shè)計(jì)

鄒冬月，劉得軍，劉嘉軒，高倩

（1.中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院，北京 102249；2.北京富力天創(chuàng)科技有限公司 北京 100085）

1 引言

隨著信息技術(shù)的飛速發(fā)展，視頻行業(yè)經(jīng)歷了由模擬到數(shù)字的演進(jìn)，行業(yè)內(nèi)推出了眾多可滿足不同應(yīng)用場景的數(shù)字視頻接口。串行數(shù)字接口（Serial Digital Interface，SDI）是一種由電影與電視工程師協(xié)會（SMPTE）制定的非壓縮數(shù)字視頻接口標(biāo)準(zhǔn)［1］。SDI接口具有高清實(shí)時(shí)、非壓縮、利用率高的特點(diǎn)，可充分保證圖像的原始性和完整性，因而廣泛應(yīng)用于展廳、廣播電臺等專業(yè)領(lǐng)域。根據(jù)傳輸帶寬的不同，SDI接口可分為SD-SDI、HD-SDI、3G-SDI和12G-SDI［2］，主要支持1280×720、1920×1080、3840×2160、4096×2160四種分辨率下不同刷新率的視頻傳輸［3-4］。

在實(shí)際應(yīng)用中，視頻源種類眾多。在視頻電子標(biāo)準(zhǔn)協(xié)會VESA-2008標(biāo)準(zhǔn)中，包含了640×350～2560×1600多達(dá)幾十種不同分辨率的視頻格式［5］。為實(shí)現(xiàn)多種分辨率視頻SDI高清傳輸，人們將視頻縮放算法和像素點(diǎn)擴(kuò)充方法引入至SDI顯示系統(tǒng)中。文獻(xiàn)［6］設(shè)計(jì)的大視場相機(jī)的嵌入式成像采集顯示系統(tǒng)，利用雙線性插值縮放算法將Camera Link接口輸入的2048×2048@100視頻實(shí)時(shí)轉(zhuǎn)換為3種低分辨率的視頻圖像，并采用像素點(diǎn)填充的方法，最終轉(zhuǎn)化成SDI制式顯示，利用該系統(tǒng)可實(shí)現(xiàn)大視場高分辨率視頻低分辨率SDI輸出顯示，但最終顯示的視頻未做裁剪處理，帶有黑色邊框，顯示效果欠佳。文獻(xiàn)［7］利用縮放算法，將Camera Link或千兆網(wǎng)口輸入的圖像轉(zhuǎn)換為標(biāo)清SDI輸出。文獻(xiàn)［8］進(jìn)行視頻無縫切換研究時(shí)，采用雙線性插值方法對輸入視頻圖像做縮放處理，將輸入視頻分辨率轉(zhuǎn)換為預(yù)設(shè)的1080P分辨率顯示，實(shí)現(xiàn)了480P、720P到1080P的視頻實(shí)時(shí)縮放，縮放后的視頻均以1080P格式傳輸，但該方法只能處理有限分辨率的視頻，靈活性較低。

以上方案多將縮放算法應(yīng)用于系統(tǒng)中，但縮放算法較復(fù)雜，處理時(shí)占用較多內(nèi)部資源，且多設(shè)備連用時(shí)，反復(fù)縮放會導(dǎo)致視頻圖像失真，無法將其應(yīng)用于對畫質(zhì)要求較高的場景中。為了克服以上方案的缺陷，本文提出了像素點(diǎn)擴(kuò)充與視頻裁剪相結(jié)合的方案。系統(tǒng)發(fā)送端可將任意分辨率的視頻擴(kuò)充成固定的符合SDI標(biāo)準(zhǔn)的視頻格式，接收端利用裁剪模塊還原視頻，實(shí)現(xiàn)原分辨率視頻點(diǎn)對點(diǎn)輸出。

2 多分辨率SDI傳輸系統(tǒng)設(shè)計(jì)

2.1 4K傳輸系統(tǒng)總體構(gòu)成

圖1多分辨率視頻傳輸處理系統(tǒng)工作流程圖Fig.1 Working flow chart of the multi-resolution video transmission processing system

圖1 是多分辨率視頻傳輸處理系統(tǒng)的工作流程圖。圖中白色方框部分為4K視頻傳輸主系統(tǒng)，分為發(fā)送端和接收端，系統(tǒng)包括視頻采集、緩存、處理、傳輸和顯示5部分。本設(shè)計(jì)基于賽靈思Kintex-7系列XC7K70TFBG676-2芯片開發(fā)，利用HDMI 2.0接口接收和顯示視頻信號，使用4.25G SFP+光電轉(zhuǎn)換模塊和單模光纖實(shí)現(xiàn)視頻數(shù)據(jù)在物理信道中的傳輸。

首先，系統(tǒng)發(fā)送端利用解碼芯片實(shí)現(xiàn)HDMI信號解碼，并將解碼后的像素?cái)?shù)據(jù)RGB、像素時(shí)鐘Pclk和行場同步信號傳輸至FPGA輸入I/O口。數(shù)據(jù)進(jìn)入FPGA后，視頻采集模塊對4K視頻流進(jìn)行色彩空間轉(zhuǎn)換、YC 4∶4∶4轉(zhuǎn)YC 4∶2∶2、像素時(shí)鐘和數(shù)據(jù)位寬處理等操作。之后，經(jīng)采集模塊處理后的數(shù)據(jù)傳輸至由DDR3和FIFO組成的緩存模塊中，完成4K四畫面視頻分割、時(shí)鐘轉(zhuǎn)換和數(shù)據(jù)緩存工作。最后，發(fā)送端將分割后的4路1080P視頻流組幀成SDI格式，經(jīng)由賽靈思GTX IP核進(jìn)行并串轉(zhuǎn)換后，送至光纖信道中進(jìn)行高速串行傳輸。

系統(tǒng)接收端進(jìn)行串并轉(zhuǎn)換、SDI解碼、標(biāo)識位解嵌和顯示處理，輸出20位YC視頻數(shù)據(jù)、像素時(shí)鐘Pclk_out和同步信號至FPGA輸出I/O。最后，利用HDMI專用編碼芯片實(shí)現(xiàn)LVDS至HDMI的信號轉(zhuǎn)換。

2.2 多分辨率SDI傳輸系統(tǒng)工作原理

為實(shí)現(xiàn)系統(tǒng)的多分辨率傳輸功能，系統(tǒng)在4K傳輸?shù)幕A(chǔ)上增加了分辨率檢測模塊、像素點(diǎn)擴(kuò)充模塊和裁剪模塊，以實(shí)現(xiàn)4K、1080P、1280P、1360P等多種分辨率自適應(yīng)傳輸，主要工作模塊如圖1中灰色模塊部分所示。系統(tǒng)通過分辨率檢測模塊確定接收的視頻源信息，當(dāng)檢測到4K視頻源時(shí)，視頻流進(jìn)入4K視頻處理系統(tǒng)，進(jìn)行四畫面分割操作。

當(dāng)檢測到的視頻流為1080P及以下時(shí)，則輸入至多分辨率處理系統(tǒng)，進(jìn)行像素點(diǎn)擴(kuò)充操作。該操作可將低于1080P的視頻流擴(kuò)充成符合SDI標(biāo)準(zhǔn)的1080P視頻流。選擇第一路3G-SDI通道傳輸，并關(guān)閉其他通道各模塊使能信號。為實(shí)現(xiàn)收發(fā)端信息準(zhǔn)確交互，系統(tǒng)在標(biāo)識位嵌入模塊將分辨率信息嵌入至視頻流消隱區(qū)特定位置，接收端裁剪模塊根據(jù)標(biāo)識位解嵌模塊提供的像素信息準(zhǔn)確恢復(fù)視頻流，并輸出對應(yīng)像素時(shí)鐘。

3 4K視頻傳輸系統(tǒng)關(guān)鍵模塊

3.1 4K視頻采集模塊

4K視頻流經(jīng)解碼芯片后，輸出6路位寬為8 bit，以雙路雙邊沿方式采樣的RGB 4∶4∶4視頻信號至FPGA入口。視頻采集模塊的工作原理圖如圖2所示，包括色彩空間轉(zhuǎn)換、YC 4∶4∶4轉(zhuǎn)YC 4∶2∶2、像素時(shí)鐘和數(shù)據(jù)位寬處理等操作，最終轉(zhuǎn)化為32 bit位寬的YC 4∶2∶2視頻數(shù)據(jù)。數(shù)據(jù)以297 MHz的時(shí)鐘頻率傳輸，每個(gè)時(shí)鐘周期下傳輸2個(gè)像素點(diǎn)數(shù)據(jù)。采用雙像素方式傳輸4K視頻數(shù)據(jù)，可降低數(shù)據(jù)傳輸?shù)臅r(shí)鐘頻率，避免FPGA在進(jìn)行高速數(shù)據(jù)傳輸時(shí)出現(xiàn)時(shí)序不收斂狀況。

圖2 視頻采集部分工作流程圖Fig.2 Working folw chart of video capture part

3.2 4K視頻分割模塊

本系統(tǒng)傳輸?shù)氖?K UHD視頻，總像素點(diǎn)數(shù)為4400×2250（行×列），有效像素點(diǎn)為3840×2160，行數(shù)和行像素點(diǎn)數(shù)均為1920×1080的2倍。為滿足多屏顯示拼接屏使用需求，本系統(tǒng)采用將4K視 頻 分 割成4路1920×1080P@60視 頻 的 方式傳輸。分割時(shí)采用SQD四畫面分割的方式［9］，將行列進(jìn)行等比四畫面均分。四畫面分割示意圖和位寬變化如圖3所示。

利用FPGA進(jìn)行邏輯實(shí)現(xiàn)時(shí)，首先要根據(jù)原始de使能信號生成行場計(jì)數(shù)器h_cntr和v_cntr。根據(jù)計(jì)數(shù)器的計(jì)數(shù)值和圖3所示規(guī)則進(jìn)行4路數(shù)據(jù)分配，并生成新的de_1～de_4信號。視頻數(shù)據(jù)只在de_1～de_4為高時(shí)分別存入4路FIFO中，并分別緩存至DDR3對應(yīng)地址空間。本系統(tǒng)利用賽靈思MIG IP核控制外部DDR3緩存芯片，DDR3的讀寫位寬為128 bit，讀寫時(shí)鐘為200 MHz。為保證視頻流穩(wěn)定傳輸，本設(shè)計(jì)選擇3幀循環(huán)存儲的方式，在DDR3內(nèi)部設(shè)計(jì)了12個(gè)地址空間［10］。利用兩級 深度分別 為2048和4096的異步FIFO作為中間件，實(shí)現(xiàn)跨時(shí)鐘域處理和位寬的轉(zhuǎn)換功能，協(xié)助DDR3完成4路數(shù)據(jù)流分割。最終，輸出4路位寬為16 bit的1920×1080P@60數(shù)據(jù)流。

圖3 4K視頻4畫面分割原理圖Fig.3 Schematic diagram of 4K video 4 screen split

3.3 3G-SDI編碼模塊

圖4一行SDI幀格式Fig.4 Video SDI line structure

圖4 所示為一行3G-SDI視頻數(shù)據(jù)幀格式，由圖4可知，標(biāo)準(zhǔn)SDI結(jié)構(gòu)中的有效視頻區(qū)域以SAV（Start of Active Video）為幀頭，以EAV（End of Active Video）為幀尾。4字節(jié)的SAV和EAV由3ffh、000h、000h和狀態(tài)字XYZ構(gòu)成。10 bitXYZ數(shù)據(jù)中包含3 bit狀態(tài)信息、3 bit固定信息、4 bit校驗(yàn)信息。本設(shè)計(jì)利用自編程邏輯在視頻流中插入EAV、SAV等時(shí)鐘定位信號，利用SMPTE SD/HD/3G-SDI 3.0 IP核 實(shí) 現(xiàn)NRZI編 碼、CRC校驗(yàn)、VPID、TRS、行號插入等復(fù)雜功能。

4 多分辨率視頻傳輸系統(tǒng)關(guān)鍵模塊

4.1 分辨率檢測模塊

分辨率檢測模塊根據(jù)輸入的有效區(qū)使能信號de生成像素點(diǎn)計(jì)數(shù)器p_cntr、行計(jì)數(shù)器l_cntr和消隱區(qū)計(jì)數(shù)器vb_cntr。利用FPGA進(jìn)行系統(tǒng)實(shí)現(xiàn)時(shí)，首先，系統(tǒng)在de上升沿時(shí)p_cntr開始計(jì)數(shù)，當(dāng)檢測到de下降沿時(shí)p_cntr停止計(jì)數(shù)，將該計(jì)數(shù)值傳遞至像素點(diǎn)數(shù)寄存器p_num中。同時(shí)，vb_cntr開始計(jì)數(shù)，l_cntr數(shù)值加一。由于最大行消隱區(qū)不超過1000像素點(diǎn)，當(dāng)vb_cntr計(jì)數(shù)到遠(yuǎn)大于1000時(shí)（本設(shè)計(jì)選擇8000作為判斷節(jié)點(diǎn)），系統(tǒng)已處于場消隱區(qū)，完成一幀計(jì)數(shù)工作，將l_cntr數(shù)值傳遞至行數(shù)寄存器l_num中。最終輸出p_num和l_num至其他模塊。

為使接收端能準(zhǔn)確判斷視頻流分辨率信息，規(guī)定將分辨率檢測模塊檢測出的分辨率信息嵌入至視頻流消隱行第四行的第10個(gè)像素點(diǎn)位置。接收端標(biāo)識位解嵌模塊在對應(yīng)位置提取此信息供裁剪模塊調(diào)用。表1給出了不同分辨率對應(yīng)標(biāo)識信息，同時(shí)也可根據(jù)使用需要增加其他分辨率不高于1080P的視頻源。

表1 分辨率對應(yīng)標(biāo)識信息Tab.1 Resolution corresponding to identification information

4.2 像素點(diǎn)擴(kuò)充模塊

像素點(diǎn)擴(kuò)充模塊可將任意分辨率視頻統(tǒng)一擴(kuò)充成符合SDI傳輸標(biāo)準(zhǔn)的1920×1080P@60視頻格式。模塊內(nèi)部由FIFO+DDR3結(jié)構(gòu)的組合緩存器和擴(kuò)充邏輯組成。利用FIFO解決了兩種分辨率視頻時(shí)鐘不同步的問題，使用DDR3保證了視頻流穩(wěn)定傳輸。

擴(kuò)充邏輯使用1920×1080P@60的148.5 MHz時(shí)鐘使能，并在該時(shí)鐘下進(jìn)行行場計(jì)數(shù)，產(chǎn)生0～2199的像素點(diǎn)計(jì)數(shù)器（1080P視頻的行總像素點(diǎn)數(shù)）、0～1124的行計(jì)數(shù)器（1080P視頻的和總行數(shù)）和0～1919范圍內(nèi)拉高的輸出使能信號De_out。擴(kuò)充邏輯根據(jù)視頻源格式檢測模塊的提供的分辨率標(biāo)識信息和行場計(jì)數(shù)器，生成FIFO的讀使能信號Rd_de。當(dāng)計(jì)數(shù)器計(jì)數(shù)在有效視頻時(shí)鐘周期內(nèi)時(shí)，Rd_de為1，模塊輸出有效視頻數(shù)據(jù)；計(jì)數(shù)在有效視頻區(qū)結(jié)束點(diǎn)到2199期間時(shí)，Rd_de為0，此時(shí)視頻流暫存于DDR3中，模塊填充全0像素?cái)?shù)據(jù)輸出。圖5是以1280×720P@60分辨率視頻為例的擴(kuò)充邏輯內(nèi)部信號時(shí)序圖。

圖5 擴(kuò)充邏輯信號時(shí)序圖Fig.5 Extended logic signal sequence diagram

4.3 裁剪模塊

接收端裁剪模塊可將1920×1080P@60 SDI格式信號還原成原始分辨率視頻，再輸出至HDMI編碼芯片。模塊內(nèi)部主要由FIFO、DDR3和裁剪邏輯組成。裁剪邏輯根據(jù)標(biāo)識位解嵌模塊提供的像素信息（表1）生成行場計(jì)數(shù)器，控制生成FIFO的讀取使能信號和像素時(shí)鐘。以1280×720P@60視頻為例，當(dāng)行計(jì)數(shù)器計(jì)數(shù)在1～720且像素點(diǎn)計(jì)數(shù)器的計(jì)數(shù)在1～1280時(shí)，使FIFO的讀使能和視頻的輸出使能信號拉高，輸出有效視頻流。在其他時(shí)鐘周期內(nèi)，使能信號拉低，視頻流暫存于DDR3中。同時(shí)，接收端按照表1的規(guī)則，利用鎖相環(huán)PLL輸出視頻源對應(yīng)的像素時(shí)鐘。裁剪后的視頻變化示意圖如圖6所示。

圖6 裁剪后視頻變化示意圖Fig.6 Schematic diagram of video change after clipping

5 測量實(shí)驗(yàn)與結(jié)果

5.1 實(shí)驗(yàn)環(huán)境

圖7為系統(tǒng)整體測試架構(gòu)圖。測試系統(tǒng)利用電視盒子和專用分辨率轉(zhuǎn)換盒配合，輸入不同分辨率的測試視視頻（RGB色域，10 bit色深）。通過可傳輸4K@60視頻的HDMI 2.0接口和HDMI連接線將測試視頻流傳輸至輸入板卡中。測試所用輸入輸出板卡為視頻開發(fā)板。輸入輸出板卡間利用4.25G SFP+光電轉(zhuǎn)換模塊和光纖進(jìn)行視頻信息傳輸。系統(tǒng)外接信號監(jiān)控電腦，利用Vivado的邏輯分析儀（ILA）和JTAG下載線，抓取輸入輸出各模塊關(guān)鍵信號，輔助進(jìn)行板級調(diào)試和模塊測試。

圖7系統(tǒng)整體測試架構(gòu)圖Fig.7 Overall system test architecture

5.2 系統(tǒng)模塊化測試

圖8 是四畫面分割模塊進(jìn)入FIFO之前的32位數(shù)據(jù)時(shí)序圖。從圖8可以看出，分割后的4路視頻流data_0、data_1、data_2、data_3分別對應(yīng)相應(yīng)的使能信號data_valid_0、data_valid_1、data_valid_2、data_valid_3。圖8展 示 了4K視 頻 第1079和1080行的數(shù)據(jù)流，展現(xiàn)了4路分割后的視頻流數(shù)據(jù)，仿真結(jié)果符合3.2節(jié)的設(shè)計(jì)規(guī)則，該模塊可完成視頻4路裁剪工作。

圖8 四畫面分割模塊時(shí)序仿真Fig.8 Timing simulation of four picture segmentation module

圖9展示了用于實(shí)現(xiàn)多分辨率傳輸功能的像素點(diǎn)填充模塊的仿真時(shí)序圖。輸入分辨率為1280×720P@60的測試源，圖中y/c_in為輸入視頻流，de_in為輸入使能信號，y/c_out_1080為擴(kuò)充后的視頻流。由圖9可知，0～1279為原像素點(diǎn)信息，1280～1919部分進(jìn)行了像素點(diǎn)填充（全0），輸出使能信號由原來的0～1279像素區(qū)間變?yōu)?～1919，故該模塊實(shí)現(xiàn)了像素點(diǎn)擴(kuò)充功能。

圖9 像素點(diǎn)填充模塊時(shí)序仿真Fig.9 Timing simulation of pixel filling module

5.3 系統(tǒng)功能測試

圖10 展示了4K視頻以4路1920×1080P@60視頻流展現(xiàn)的最終顯示效果，圖中上下左右4路均為分割后未拼接的1920×1080P@60視頻流，由圖可知，系統(tǒng)實(shí)現(xiàn)了4K@604路分割功能。同時(shí)，接收端的DDR3先緩存4路視頻，再同時(shí)取出，保證了4路視頻同步傳輸，確保終端顯示的4路視頻信號無卡頓和掉幀現(xiàn)象。

圖10 4K分割分割后的4路1080P視頻顯示Fig.104K segmented four channel 1080P video display

為體現(xiàn)系統(tǒng)的多分辨率傳輸特性，進(jìn)行多分辨系統(tǒng)功能測試時(shí)采用了與模塊測試不同分辨率的輸入源。圖11為系統(tǒng)傳輸單路非標(biāo)準(zhǔn)分辨率視頻時(shí)顯示效果圖。視頻源分辨率為1024×768，刷新率為60 Hz，利用系統(tǒng)第一路傳輸4K以下分辨率視頻。圖11（a）為發(fā)送端進(jìn)行像素點(diǎn)填充后，接收端并未進(jìn)行裁剪操作的顯示效果圖，圖中總分辨率為1920×1080P@60，左上部分為1024×768P@60的像素點(diǎn)數(shù)據(jù)，右下部分為填充過的黑場信息。圖11（b）為接收端進(jìn)行裁剪后最終顯示效果圖（利用裁剪模塊將填充后的黑場裁除），圖中展示的即為裁除后的原分辨率1024×768P@60視頻顯示效果。由圖11可知，多分辨率視頻傳輸系統(tǒng)可以實(shí)現(xiàn)低于1920×1080P@60分辨率視頻的擴(kuò)充和裁剪功能。

圖11 （a）1024×768P@60未裁剪前顯示圖；（b）1024×768P@60裁剪后顯示圖。Fig.11（a）1024×768P@60 display diagram before clipping；（b）1024×768P@60 display diagram after clipping.

6 結(jié)論

本文設(shè)計(jì)了基于FPGA的多分辨率自適應(yīng)SDI視頻傳輸系統(tǒng)。以4K視頻傳輸為基礎(chǔ)，增加了分辨率檢測模塊和像素點(diǎn)擴(kuò)充模塊，使低于1080P的多種分辨率視頻均能以1080P的格式在光纖信道中傳輸，突破了SDI只可傳輸固定分辨率的局限。同時(shí)，系統(tǒng)采用的像素點(diǎn)擴(kuò)充與裁剪相結(jié)合方法，避免了傳輸過程中對像素點(diǎn)的縮放處理，可充分保留原始像素信息，保證視頻的清晰度。經(jīng)實(shí)驗(yàn)驗(yàn)證，該系統(tǒng)能夠自適應(yīng)接收識別3840×2160P@60、1920×1080P@60、1280×720P@60和1024×768P@60等分辨率視頻。相較于縮放方法，本設(shè)計(jì)在多路環(huán)入環(huán)出的應(yīng)用場景下，視頻失真率更低、清晰度更高。本系統(tǒng)具有靈活性好、成本低、適用場景多樣的特點(diǎn)，可廣泛應(yīng)用于展會、會議室、多功能大廳等場所。