基于Hi3559 的多路HD-SDI 視頻傳輸系統(tǒng)

王 毅，張 禹，錢宏文

(中國電子科技集團(tuán)公司第五十八研究所，江蘇 無錫 214072)

0 引言

HD-SDI(高清數(shù)字接口)標(biāo)準(zhǔn)最早由電影與電視工程師協(xié)會(SMPTE)提出，協(xié)議規(guī)定了利用YCrCb 的色彩空間采用4：2：2 的采樣格式傳輸高清無壓縮的SDI 視頻信息[1]，HD-SDI 由亮度和色度兩個(gè)單元組成，每個(gè)單元分別為10 bit 的數(shù)據(jù)信息。SMPTE 通過制定標(biāo)準(zhǔn)的274M 和296M[2]，包含了常見的不同速率和分辨率的視頻格式。HD-SDI 主要用來傳輸1080P 或720P 的高清視頻信息[3]，速率為1.485 Gb/s 或1.485/1.001 Gb/s 兩種。串行數(shù)字接口的特點(diǎn)是采用了無損和非壓縮的傳輸原理，在同軸線纜上傳輸高清無損視頻，具有傳輸原理簡單可靠、視頻清晰度高、鏈路延遲小、實(shí)現(xiàn)容易等優(yōu)點(diǎn)。HD-SDI 視頻分辨率高，動(dòng)態(tài)范圍廣，在對比度、亮度、白平衡[4]等方面具有顯著的優(yōu)勢，在各種電視廣播、監(jiān)控安防和高清傳輸領(lǐng)域使用愈加廣泛。

Hi3559 作為華為海思推出的一款強(qiáng)大片上系統(tǒng)(System on Chip，SoC)芯片，不僅具有豐富的視頻和各種外圍接口，而且內(nèi)部集成了很多視頻圖像處理模塊，處理器支持不同格式視頻的編碼和解碼、圖形的畸變校正、去噪，以及鏡像、旋轉(zhuǎn)和色彩的增強(qiáng)等，可用于多路Sensor 視頻的輸入，內(nèi)部集成H.265 編解碼處理單元，能夠支持高清的RAW 原始碼流視頻的輸出，SoC 內(nèi)部含有高性能圖像信號處理器(Image Signal Processor，ISP)[5]，SoC 使用了低功耗的架構(gòu)和工藝技術(shù)，支持多路全景硬件拼接[6]，為使用者提供了高性能的硬件平臺。

近年，視頻監(jiān)控在國內(nèi)外發(fā)展很快，已廣泛應(yīng)用于汽車電子、工業(yè)現(xiàn)場和安防監(jiān)控領(lǐng)域。為了解決單個(gè)攝像頭在獲取監(jiān)控場景時(shí)存在的視場不夠的問題，多路攝像頭進(jìn)行視頻的采集和傳輸系統(tǒng)發(fā)展越來越來越重要。多路視頻傳輸系統(tǒng)能夠?qū)⒛繕?biāo)物體四周的場景進(jìn)行無盲區(qū)顯示[7]，在車載輔助駕駛、大型活動(dòng)現(xiàn)場、高清視頻監(jiān)控、全景地圖[8]等各種視頻監(jiān)控場所和領(lǐng)域有著廣泛的需求和應(yīng)用。

Hi3559 的視頻接口雖然支持多種Sensor 接口，但Sensor大多是基于移動(dòng)行業(yè)處理器接口(Mobile Industry Processor Interface，MIPI)接口，無法實(shí)現(xiàn)長距離傳輸，同時(shí)也沒有現(xiàn)成的可以同時(shí)對接多路HD-SDI 攝像頭的輸入方式。因此，本文設(shè)計(jì)開發(fā)了一種基于Hi3559+FPGA 的硬件設(shè)計(jì)方案，通過軟硬件的開發(fā)和驗(yàn)證，該設(shè)計(jì)實(shí)現(xiàn)了8路HD-SDI 視頻圖像的采集、傳輸和處理，最終通過使用顯示屏實(shí)現(xiàn)了8 路HD-SDI 視頻的實(shí)時(shí)監(jiān)控和整體顯示。

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)框架和工作流程

多路HD-SDI 視采集系統(tǒng)采用CPU+FPGA 硬件架構(gòu)實(shí)現(xiàn)，核心器件選用國產(chǎn)化器件，系統(tǒng)主要由國產(chǎn)化的CPU、國產(chǎn)FPGA、SDI 均衡器、DDR4、DDR3、SPI Flash、EMMC 以及時(shí)鐘和電源組成，系統(tǒng)整體框圖如圖1 所示。

圖1 多路HD-SDI 視頻傳輸系統(tǒng)框圖

傳輸系統(tǒng)的主要工作流程如下：

(1)均衡電路接收外部攝像頭的HD-SDI 格式視頻信號后發(fā)送給FPGA 的GTX 接口；

(2)FPGA 內(nèi)部通過IP 核進(jìn)行解串，獲取到標(biāo)準(zhǔn)的20 bit 的HD-SDI 視頻數(shù)據(jù)信息[9]；

(3)FPGA 將多路HD-SDI 視頻數(shù)據(jù)，通過LVDS 接口將有效的數(shù)據(jù)和效應(yīng)區(qū)數(shù)據(jù)信息統(tǒng)一發(fā)送給CPU(黑白按照8 bit 傳輸亮度信息Y，彩色時(shí)按照16 bit 傳輸亮度Y[10]和色度Cb/Cr[11])；

(4)Hi3559 的輸入接口通過識別固定的同步碼和解析行場信息，獲取到有效的視頻流數(shù)據(jù)和視頻的寬和高后，通過視頻處理子系統(tǒng)(Video Process Sub-System，VPSS)抓取相應(yīng)的視頻碼流。

(5)VPSS 接收到視頻流后通過內(nèi)部處理或傳遞給其他硬件單元進(jìn)行處理，處理完成后送入視頻輸出通道，利用視頻輸出接口HDMI 進(jìn)行輸出和顯示。

1.2 系統(tǒng)硬件構(gòu)成

CPU 選擇華為海思的Hi3559 處理器，主要用于完成多路視頻的接收和傳輸，以及后期的算法處理、視頻數(shù)據(jù)處理后的輸出，并且擴(kuò)展了2 路千兆以太網(wǎng)接口用于對外通信和數(shù)據(jù)的傳輸。

FPGA 選擇國產(chǎn)高性能的GCXC7K325T，該器件封裝小、資源多，具有強(qiáng)大、可靈活配置的邏輯編程資源，含有數(shù)字信號處理資源(DSP)、36K 的雙端口可配置RAM、內(nèi)建FIFO、10 個(gè)時(shí)鐘管理資源，內(nèi)含高精度模數(shù)轉(zhuǎn)換單元(ADC)，支持AES 和SM4 的加密，有16 個(gè)GTX 高速接口[12]，可配置IO 為500 個(gè)，可通過軟硬件配合選擇設(shè)置為多種不同的電平接口。本次設(shè)計(jì)主要通過GTX 和低電壓差分信號(Low-Voltage Differential Signaling，LVDS)進(jìn)行擴(kuò)展和傳輸，GTX 在系統(tǒng)中主要作用是接收均衡電路之后的視頻信息然后通過內(nèi)部IP 核進(jìn)行數(shù)據(jù)的解串，LVDS 接口主要是用于與Hi3559 之間進(jìn)行視頻數(shù)據(jù)的傳輸和交互。

均衡電路[13]采用TI 公司的LMH0387 均衡芯片，該芯片輸入輸出方式可配置，通過軟件配置既可以作為SDI視頻輸入時(shí)的均衡器，又可以作為SDI 視頻輸出時(shí)的線纜驅(qū)動(dòng)器。本次設(shè)計(jì)采用LMH0387 主要是為了用作輸入時(shí)接收攝像頭的HD-SDI 視頻信號，然后發(fā)送給FPGA的GTX 的RX。該電路即實(shí)現(xiàn)了單端轉(zhuǎn)差分和電平匹配，也增加了攝像頭視頻數(shù)據(jù)的接收距離。LMH0387 與FPGA 之間的視頻信息由高速接口進(jìn)行接收或發(fā)送，數(shù)據(jù)參考時(shí)鐘分開，采用交流耦合的方式對接，電平標(biāo)準(zhǔn)為LVDS (低電壓差分信號)，本次均衡電路設(shè)計(jì)原理圖如圖2 所示。

圖2 均衡電路設(shè)計(jì)原理圖

1.3 基于GTX 的SDI 接收模塊

目前在SDI 視頻傳輸和處理時(shí)，主要有兩種方式：(1)通過SDI 視頻解串芯片將高速非壓縮視頻[14]信號進(jìn)行解串，轉(zhuǎn)化為低速并行數(shù)字信號，然后發(fā)送給FPGA或者其他SoC 系統(tǒng)進(jìn)行接收和處理；(2)另外一種方式是通過FPGA 硬件的資源和高速收發(fā)器進(jìn)行解串，直接將不同速率的SDI 視頻信號通過同軸電纜傳輸，并且利用均衡芯片進(jìn)行均衡和串并轉(zhuǎn)化后對接到GTX 的RX接收，該設(shè)計(jì)方法相比解串芯片方式從硬件成本和板卡集成度上具有更大的優(yōu)勢，軟件一次開發(fā)，后期可以重復(fù)多次使用。因此，本次設(shè)計(jì)采用高速GTX 接口實(shí)現(xiàn)串并轉(zhuǎn)換，GTX 模塊設(shè)計(jì)框圖如圖3 所示。

圖3 GTX SDI 接收模塊框圖

控制模塊的主要功能包括GTX 收發(fā)器的主復(fù)位、GTX 內(nèi)部的PLL 復(fù)位、發(fā)送器復(fù)位、接收器復(fù)位以及HD-SDI 速率識別檢測(判斷HD-SDI 接收的數(shù)據(jù)速率是1.485 Gb/s 或者為1.485/1.001 Gb/s)。

根據(jù)HD-SDI 的協(xié)議標(biāo)準(zhǔn)，SDI 數(shù)據(jù)采用NRZ(歸零碼)編碼格式[14]。因?yàn)镾DI 的視頻數(shù)據(jù)中不包含時(shí)鐘信息，因而NRZ 數(shù)據(jù)碼流中很容易出現(xiàn)連續(xù)的“0”或“1”信息，連續(xù)的“0”或“1”會使得數(shù)據(jù)流信息含有的低頻分量所占比例變大，電平跳變的數(shù)量減少，以至于時(shí)鐘信息極少。為避免這種問題出現(xiàn)，HD-SDI 的信道編碼方式根據(jù)SMPTE 協(xié)的議規(guī)定，采用了非歸零碼[14]，非歸零碼主要通過利用多項(xiàng)式對視頻的數(shù)據(jù)流進(jìn)行加擾處理，加擾之后：

加擾后的串行數(shù)據(jù)流中連續(xù)“0”或“1”就變得很少[15]，電平跳變信息變得多樣，使得在接收端變得容易提取和獲得時(shí)鐘相關(guān)的信息，在調(diào)整圖像采樣后可輸出Y 分量和C 分量。接著，就是對兩個(gè)分量進(jìn)行序列檢測[16]，即提取分量中的定時(shí)基準(zhǔn)碼(TRS)。最后，利用提取的TRS 判斷視頻格式、分辨率及幀頻以及數(shù)據(jù)的穩(wěn)定性。在穩(wěn)定后，可從中提取有效的像素?cái)?shù)據(jù)。這就是SDI 信號傳輸?shù)幕驹砗徒獯a流程。

1.4 視頻傳輸接口設(shè)計(jì)

Hi3559 使用MIPI Rx 接口(Mobile Industry Processor Interface Receiver)作為視頻傳輸?shù)臄?shù)據(jù)通道，MIPI Rx 只完成接口的時(shí)序轉(zhuǎn)換，不處理圖像的數(shù)據(jù)格式。MIPI Rx可以支持MIPI D-PHY、LVDS、HiSPi 等串行視頻信號輸入，串行視頻接口可以提供更高的傳輸帶寬，增強(qiáng)傳輸?shù)姆€(wěn)定性。為設(shè)計(jì)使用的廣泛性，將MIPI Rx 配置為LVDS 功能作為Hi3559 與FPGA 之間的多路視頻傳輸?shù)臄?shù)據(jù)通道。

本次設(shè)計(jì)采用LVDS 電路，LVDS 只約束了電氣傳輸規(guī)范，沒有時(shí)序和數(shù)據(jù)格式方面的標(biāo)準(zhǔn)協(xié)議，LVDS 電路由于相比主流的MIPI 的CSI[17]具有更大的優(yōu)勢，它不需要FPGA 提供額外的IP 核和其他外圍電路，只需要進(jìn)行直流或者交流耦合對接，然后通過利用不同的同步碼信息來區(qū)別像素的行場消隱區(qū)和有效的數(shù)據(jù)區(qū)域。在LVDS 傳輸模式中，行場同步碼的信號是集成在視頻的數(shù)據(jù)流信息中進(jìn)行傳輸。

LVDS 模式下需要配置RAW DATA 類型、數(shù)據(jù)大小端、同步方式、WDR 類型和圖像寬高等寄存器。LVDS 模式依靠同步碼識別幀的行同步信息，根據(jù)RAW DATA 類型的不同，同步碼可以分為8/10/12/14/16 bit[5]，10 bit 的LVDS 同步碼如表1 所示。

表1 10 bit 的LVDS 同步碼列表

在同步碼中，第4 位由攝像頭的廠家決定，本次設(shè)計(jì)由FPGA 采集到SDI 攝像頭為YUV4:2:2 SP 數(shù)據(jù)格式，通過FPGA 將像素信息按RAW 數(shù)據(jù)格式重新排序?qū)UV4:2:2 數(shù)據(jù)偽裝成RWA 數(shù)據(jù)送海思處理。

根據(jù)SMPTE 292 的標(biāo)準(zhǔn)協(xié)議，在傳輸1 路標(biāo)準(zhǔn)的HD-SDI 視頻(1080P@25 Hz)總像素為：2 640×1 125×25×20 bit=1.485 Gbit，因此不影響輸出效果下，為了減少數(shù)據(jù)量并且提高傳輸?shù)男剩O(shè)計(jì)在采用LVDS 傳輸通道時(shí)，每個(gè)像素由8 bit 像素(彩色選擇16 bit)來表示，此時(shí)每秒的總像素為：2 640×1 125×25×8 bit=594 Mbit，因而采用2Lane 的LVDS 數(shù)據(jù)通道，在采用DDR 采樣傳輸時(shí)，參考時(shí)鐘應(yīng)該設(shè)計(jì)為148.5 MHz，每Lane 的數(shù)據(jù)速率為297 Mbit 即可實(shí)現(xiàn)8 bit 的LVDS 數(shù)據(jù)的傳輸。因此，本次設(shè)計(jì)采用2Lane 的LVDS 方案可以滿足HD-SDI系統(tǒng)傳輸帶寬的需求。其他配置模式下，LVDS 的時(shí)鐘和數(shù)據(jù)傳輸設(shè)計(jì)已經(jīng)過驗(yàn)證均可實(shí)現(xiàn)，如表2 所示。

表2 時(shí)鐘和數(shù)據(jù)傳輸方式配置

2 系統(tǒng)測試與驗(yàn)證

多路HD-SDI 視頻傳輸系統(tǒng)，利用8 路HD-SDI 攝像頭作為視頻源的輸入，將視頻采集程序燒錄FPGA內(nèi)，通過邏輯分析和仿真軟件可以判斷視頻信號是否鎖定和成功接收。GTX 獲得視頻信息后進(jìn)行解析和處理，然后再利用FPGA 增入相應(yīng)的同步碼信息進(jìn)行打包處理，通過LVDS 接口將視頻數(shù)據(jù)發(fā)送給CPU，通過串口調(diào)試輸入視頻同步的命令可以檢測8 路視頻的同步和格式，CPU 經(jīng)過接收和處理后將多路視頻采用九宮格的方式輸出至HDMI 接口，使用顯示屏進(jìn)行顯示。

HD-SDI 攝像頭按照標(biāo)準(zhǔn)的SDI 數(shù)據(jù)格式發(fā)送出相應(yīng)的數(shù)據(jù)信息，F(xiàn)PGA 接收通過同步碼信息識別有效信息的行起始和行結(jié)束，10 bit 同步碼的行起始的時(shí)序波形如圖4 所示，行結(jié)束時(shí)序波形如圖5 所示。

圖4 行起始(SAV=1)時(shí)序

圖5 行結(jié)束(EAV=1)時(shí)序

FPGA 通過GTX 成功識別和接收SDI 數(shù)據(jù)信息后，解析獲取有效的HD-SDI 視頻信息。將8 路1080P@25 Hz的HD-SDI 攝像頭作為輸入，利用本次開發(fā)的Hi3559 的多路HD-SDI 視頻傳輸系統(tǒng)平臺，驗(yàn)證將8 路HD-SDI視頻信號進(jìn)行同時(shí)采集、接收、傳輸、處理后將接收到的視頻圖像通過HDMI 顯示器進(jìn)行圖像顯示。通過該視頻采集系統(tǒng)處理后，正常8 路HD-SDI 視頻圖像處理后顯示結(jié)果如圖6 所示。

圖6 8 路HD-SDI 視頻圖像處理后顯示結(jié)果

3 結(jié)論

本次研究通過采用Hi3559+FPGA 架構(gòu)，設(shè)計(jì)完成了多路HD-SDI 高清視頻傳輸系統(tǒng)的開發(fā)和驗(yàn)證，該系統(tǒng)能夠在Hi3559 上實(shí)現(xiàn)8 路HD-SDI 視頻圖像的采集、傳輸、處理以及全景顯示。經(jīng)過開發(fā)和測試驗(yàn)證，該系統(tǒng)能夠滿足HD-SDI 視頻傳輸?shù)膮f(xié)議標(biāo)準(zhǔn)和速率要求，能夠支持長距離的傳輸，工作穩(wěn)定可靠。對于想要利用Hi3559 實(shí)現(xiàn)多路高清視頻的采集、遠(yuǎn)距離傳輸以及智能算法等方向具有較高的推廣和參考應(yīng)用價(jià)值。