基于FPGA的Camera Link轉(zhuǎn)HD－SDI接口轉(zhuǎn)換系統(tǒng)

陳東成，朱 明，郝志成，劉 劍

（1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033；2.中國(guó)科學(xué)院大學(xué)，北京 100049）

1 引 言

隨著計(jì)算機(jī)、多媒體和數(shù)字通信技術(shù)的快速發(fā)展，視頻技術(shù)得到了極大的推動(dòng)，視頻圖像已經(jīng)由原來的標(biāo)清發(fā)展到現(xiàn)在的全高清甚至超高清。然而各種相機(jī)、顯示設(shè)備和采集設(shè)備間的接口互聯(lián)問題也日益突出，兩種不同接口間互相轉(zhuǎn)換的設(shè)備還比較少。Camera Link接口相機(jī)是在各個(gè)領(lǐng)域應(yīng)用較為廣泛的一種相機(jī)，然而Camera Link相機(jī)輸出的圖像一般要用PCI采集卡才能觀測(cè)到圖像，這樣造成系統(tǒng)體積較大，成本高，不便于攜帶。并且由于Camera Link接口頻率較高，數(shù)據(jù)線位數(shù)較多，導(dǎo)致其傳輸?shù)挠行Ь嚯x只有幾米，不能滿足某些特殊環(huán)境下的要求［1－4］。

目前，有其他類型接口轉(zhuǎn)成Camera Link接口，如SDI轉(zhuǎn)Camera Link接口、模擬轉(zhuǎn)Camera Link接口，而沒有Camera Link接口轉(zhuǎn)其他接口。原因在于Camera Link接口相機(jī)輸出的圖像一般并不是標(biāo)準(zhǔn)PAL或NTSC制，每款相機(jī)的行場(chǎng)消隱時(shí)間均有所不同，對(duì)于其他格式視頻來說，Camera Link相機(jī)輸出的圖像相當(dāng)于非標(biāo)準(zhǔn)圖像，由非標(biāo)準(zhǔn)轉(zhuǎn)成標(biāo)準(zhǔn)圖像則會(huì)出現(xiàn)很多意想不到的問題［5－7］。

本文提出一種基于FPGA的Camera Link轉(zhuǎn)HD－SDI系統(tǒng)，該系統(tǒng)能將Camera Link相機(jī)輸出的圖像轉(zhuǎn)換成HD－SDI格式。但是該系統(tǒng)要求相機(jī)輸出的場(chǎng)周期必須絕對(duì)等于或略小于HD－SDI的場(chǎng)周期，這樣才能保證相機(jī)每輸出一幀圖像，轉(zhuǎn)換系統(tǒng)就轉(zhuǎn)換一幀，并且如果相機(jī)輸出場(chǎng)周期略小于HD－SDI場(chǎng)周期，那么系統(tǒng)必須定時(shí)丟幀，這樣才能保證后續(xù)數(shù)據(jù)輸出的流暢。這里選用的Camera Link相機(jī)輸出一幀圖像比HDSDI一幀的時(shí)間快47μs，因此每隔約708幀時(shí)間會(huì)累加出一幀圖像的時(shí)間，此時(shí)必須丟掉一幀數(shù)據(jù)才能保證轉(zhuǎn)換繼續(xù)進(jìn)行。

2 接口及標(biāo)準(zhǔn)

2.1 Camera Link接口

Camera Link接口由美國(guó)國(guó)家半導(dǎo)體公司（National Semiconductor）聯(lián)合其他視頻設(shè)備廠商，在NS公司的Channel－Link技術(shù)的基礎(chǔ)上共同推出的串行通信協(xié)議標(biāo)準(zhǔn)，旨在使相機(jī)、電纜和采集設(shè)備等視頻產(chǎn)品生產(chǎn)標(biāo)準(zhǔn)化，從而使視頻產(chǎn)品在不同領(lǐng)域更具有通用性。Camera Link標(biāo)準(zhǔn)可以使攝像機(jī)和圖像采集卡之間是是視頻信號(hào)傳輸更速度更高、更加簡(jiǎn)單，由于其低成本、高性能的特點(diǎn)，迅速得到了大量攝像機(jī)和采集卡生產(chǎn)廠商的支持。

2.2 SDI接口

SDI（Serial Digital Interface）是串行數(shù)字接口的簡(jiǎn)稱，最初是針對(duì)演播室環(huán)境提出的，對(duì)未經(jīng)壓縮的圖像數(shù)據(jù)用同軸電纜在不同設(shè)備間傳輸，現(xiàn)在已被世界上眾多數(shù)字視頻設(shè)備生產(chǎn)廠家普遍采納，并作為標(biāo)準(zhǔn)視頻接口。SDI是遵循SMPTE（Society of Motion Picture and Television Engineers）標(biāo)準(zhǔn)制定的，傳送4∶2∶2串行不壓縮數(shù)字信號(hào)，同時(shí)還可嵌入4～8路數(shù)字音頻信號(hào)。由于SDI傳輸?shù)氖谴行盘?hào)，有效傳輸距離可達(dá)數(shù)百米，遠(yuǎn)大于Camera Link等并行數(shù)字接口的有效傳輸距離，因此SDI接口在一些特殊應(yīng)用環(huán)境下的優(yōu)勢(shì)不言而喻［8］。

2.3 SMPTE標(biāo)準(zhǔn)

目前，SDI芯片生產(chǎn)廠商的串并、并串轉(zhuǎn)換芯片都按照SMPTE標(biāo)準(zhǔn)設(shè)計(jì)，攝像機(jī)、采集卡和監(jiān)視器生產(chǎn)廠商的設(shè)備也都按照SMPTE標(biāo)準(zhǔn)設(shè)計(jì)。SMPTE標(biāo)準(zhǔn)有標(biāo)清視頻、高清視頻以及全高清視頻。標(biāo)清視頻指滿足標(biāo)準(zhǔn)PAL的720×576i的或滿足NTSC的720×480i的視頻，如SMPTE 259M標(biāo)準(zhǔn)和SMPTE 125M標(biāo)準(zhǔn)；高清視頻為1280×720分辨率的，如SMPTE 296M標(biāo)準(zhǔn)；全高清視頻為1920×1080分辨率的，如SMPTE 274M標(biāo)準(zhǔn)。著名的SDI芯片生產(chǎn)廠商有美國(guó)的Texas Instrument公司和加拿大的Gennum公司。

為支持更高幀頻高清視頻的傳輸，SMPTE已經(jīng)制定出了雙連接 HD－SDI（SMPTE 372M）和3G－SDI（SMPTE 424M 和 SMPTE 425M），在120m的傳輸距離內(nèi)二者都提供3Gbps的總帶寬，3G－SDI已經(jīng)可以在單個(gè)鏈路通道傳輸3.125G的非壓縮高清視頻串行數(shù)字信號(hào)［9］。

這里我們選擇了一款TI公司的LMH0030并轉(zhuǎn)串芯片，該芯片所支持的視頻標(biāo)準(zhǔn)及參數(shù)如表1所示［10］。

表1 LMH0030芯片所支持視頻標(biāo)準(zhǔn)及參數(shù)Tab.1 Video sandard and parameters that LMH0030supports

3 系統(tǒng)分析

3.1 相機(jī)參數(shù)分析

這里使用的相機(jī)是UNIQ的UC－1830CL高分辨率彩色數(shù)字CCD相機(jī)，該相機(jī)輸出逐行掃描RGB圖像數(shù)據(jù)，輸出接口為Camera Link，圖像有效數(shù)據(jù)為1024pixel×1024pixel，圖像幀頻為30frames／s，圖像輸出為10bit LVDS數(shù)據(jù)，像素時(shí)鐘為45MHz。

圖1 像素時(shí)鐘時(shí)序圖Fig.1 Time sequence of pixel clock

圖2 行使能時(shí)序圖Fig.2 Time sequence of line enable

圖3 場(chǎng)使能時(shí)序圖Fig.3 Time sequence of vertical enable

由圖1可知，圖像數(shù)據(jù)在像素時(shí)鐘的下降沿有效；由圖2可知，每行共1432個(gè)像素時(shí)鐘，其中行消隱382個(gè)時(shí)鐘，數(shù)據(jù)1050個(gè)，有效數(shù)據(jù)1024個(gè)；由圖3可知，每場(chǎng)圖像共1046個(gè)行周期，其中場(chǎng)消隱共12個(gè)行周期，共1034行數(shù)據(jù)，有效數(shù)據(jù)1024行。結(jié)合表1可知，需將該相機(jī)輸出視頻轉(zhuǎn)換成30P的1920×1080的HD－SDI視頻圖像。

3.2 HD－SDI參數(shù)分析

對(duì)于滿足SMPTE 274M標(biāo)準(zhǔn)的HD－SDI的逐行掃描1080p視頻來說，圖像的分辨率為1920pixel×1080pixel，幀頻是30frame／s，圖像像素時(shí)鐘是74.25MHz，每幀圖像的包含2200×1125個(gè)像素時(shí)鐘，即行消隱280個(gè)像素，場(chǎng)消隱45個(gè)行周期。每行的時(shí)間為29.6296 μs，每場(chǎng)1125個(gè)數(shù)據(jù)行周期，因此每場(chǎng)時(shí)間為33.333ms［11］。圖4為 SMPTE 274M 標(biāo)準(zhǔn)圖像數(shù)據(jù)分布情況。

圖4 圖像數(shù)據(jù)分布Fig.4 Distribution of the image data

4 系統(tǒng)整體設(shè)計(jì)

4.1 緩存設(shè)計(jì)

這里因?yàn)樗孟鄼C(jī)的像素時(shí)鐘為45MHz，每行1432個(gè)像素，那么每行時(shí)間為31.8222μs，每場(chǎng)1046行，那么一場(chǎng)時(shí)間為33.286ms。

由于HD－SDI數(shù)據(jù)行周期和相機(jī)數(shù)據(jù)行周期并不相同，又由于HD－SDI數(shù)據(jù)和相機(jī)數(shù)據(jù)是不可間斷的，因此轉(zhuǎn)換過程中不可能實(shí)時(shí)逐行進(jìn)行，也就是直接用FIFO對(duì)相機(jī)輸入數(shù)據(jù)進(jìn)行行緩存是實(shí)現(xiàn)不了格式轉(zhuǎn)換的。必須對(duì)相機(jī)數(shù)據(jù)整幀緩存，即輸出必須要延時(shí)1幀才行，因而選用SDRAM對(duì)圖像進(jìn)行幀緩存，通常使用2片SDRAM對(duì)相機(jī)數(shù)據(jù)進(jìn)行乒乓操作即可實(shí)現(xiàn)正常輸出。但是由于相機(jī)一幀時(shí)間是33.286ms，HD－SDI一幀是33.333ms，即相機(jī)輸出一幀圖像比HD－SDI一幀圖像快47μs，如果使用兩片SDRAM對(duì)相機(jī)數(shù)據(jù)緩存，那么緩存過程就會(huì)發(fā)生沖突，即第1幀圖像還沒從SDRAM中讀出完成，相機(jī)的第3幀數(shù)據(jù)又要往同一片SDRAM中存儲(chǔ)，這時(shí)會(huì)出現(xiàn)讀寫沖突。這里采用3片SDRAM，當(dāng)然這樣也能完美解決格式轉(zhuǎn)換的問題，因?yàn)閮煞N視頻每幀會(huì)相差47μs，隨著時(shí)間的增長(zhǎng)，3片SDRAM都會(huì)被存滿，此時(shí)如果繼續(xù)存儲(chǔ)，那么又會(huì)發(fā)生讀寫沖突。因此每當(dāng)3片SDRAM存滿時(shí)，必須丟掉一幀數(shù)據(jù)，此時(shí)又回到最初的狀態(tài)。因?yàn)橐还灿?片SDRAM，以每幀47μs的速度累加，累加出一幀HD－SDI數(shù)據(jù)的時(shí)間時(shí)3片SDRAM 就存滿，共33.333ms，即約708幀圖像，此時(shí)必須丟一幀，但是HD－SDI輸出的速度并不會(huì)受到影響。

因?yàn)橄鄼C(jī)輸出的圖像分辨率為1024×1024，而 HD－SDI輸出的圖像分辨率為1920×1080，因此要將相機(jī)輸出的圖像嵌入到1080p的圖像中，這里將相機(jī)圖像嵌入到HD－SDI圖像中間部分，如圖5所示，HD－SDI輸出圖像左右各448個(gè)圖像數(shù)據(jù)上下各28行數(shù)據(jù)需要用戶自己編碼，可根據(jù)具體需要編碼特定文字或顏色顯示輸出。

圖5 HD－SDI輸出圖像效果圖Fig.5 Sketch map of HD－SDI output

4.2 顏色轉(zhuǎn)換設(shè)計(jì)

由于Camera Link相機(jī)輸出的是RGB數(shù)據(jù)，而HD－SDI所需要的數(shù)據(jù)時(shí)YCbCr數(shù)據(jù)，因此在視頻流格式轉(zhuǎn)換前要先將RGB圖像數(shù)據(jù)轉(zhuǎn)換成YCbCr數(shù)據(jù)［12］，在ITU－R BT.601標(biāo)準(zhǔn)中給出了RGB與YCbCr的轉(zhuǎn)換關(guān)系，如式（1）所示。

式（1）中R、G、B系數(shù)均是小數(shù)，而FPGA只能進(jìn)行整數(shù)的運(yùn)算，因此對(duì)式（1）進(jìn)行變換，由于FPGA不能直接做除法運(yùn)算，這里的除法運(yùn)算用移位實(shí)現(xiàn)，在計(jì)算完乘法和加法運(yùn)算后，對(duì)所得結(jié)果做右移10位操作，從而實(shí)現(xiàn)除法運(yùn)算，如式（2）所示。

4.3 輸出編碼

將RGB轉(zhuǎn)換成YCbCr后，按SMPTE 274M標(biāo)準(zhǔn)進(jìn)行編碼［13］，對(duì)于 LMH0030，輸入數(shù)據(jù)要20bit，這里將Y通道作為輸出的高10bit，Cb、Cr作為低10bit，按照4∶2∶2形式編碼輸出。編碼按圖6進(jìn)行。

圖6 編碼順序Fig.6 Coding sequence

其中EAV、SAV為圖像定時(shí)基準(zhǔn)碼，包含圖像的行場(chǎng)同步信息。定時(shí)基準(zhǔn)碼共4個(gè)字，前3個(gè)字是3FF、000、000，第4個(gè)字是1FV H P3P2 P1P000。其中F為奇偶場(chǎng)信息，在隔行掃描中第1場(chǎng)為0，第2場(chǎng)為1；V用于場(chǎng)消隱控制，在場(chǎng)消隱期間為1，其他為0；H用于行消隱控制，消隱期間為1，其他為0；P3P2P1P0為保護(hù)比特，值由F、V、H 決定，滿足式（3）：

在消隱期間，Y通道賦值為040H，Cb／Cr通道賦值為200H，有效數(shù)據(jù)期間賦值如圖5所示。

圖7為系統(tǒng)整體工作流程，DS90CR286采集到圖像數(shù)據(jù)輸出到FPGA，經(jīng)SDRAM緩存再到FPGA進(jìn)行處理，最終將FPGA編碼完成后的數(shù)據(jù)輸出到LMH0030，即可從 HD－SDI輸出端采集到轉(zhuǎn)換完成的圖像。

圖7 轉(zhuǎn)換系統(tǒng)的工作流程Fig.7 Flow of the converting system

5 實(shí)驗(yàn)結(jié)果

為驗(yàn)證該轉(zhuǎn)換系統(tǒng)的功能，用SDI采集卡采集系統(tǒng)輸出的圖像。圖8為用本文系統(tǒng)轉(zhuǎn)化得到的圖像，中間部分為Camera Link數(shù)據(jù)，旁邊為用戶自定義數(shù)據(jù)，用戶自定義數(shù)據(jù)中Y通道二進(jìn)制碼為0010110100，Cb、Cr通道二進(jìn)制碼為1000000000。

圖8 轉(zhuǎn)換完輸出的圖像Fig.8 Image converted from Camera Link

6 結(jié) 論

針對(duì)Camera Link相機(jī)接口復(fù)雜、傳輸距離有限、采集觀測(cè)數(shù)據(jù)麻煩等問題，設(shè)計(jì)了一種基于FPGA的Camera Link轉(zhuǎn)HD－SDI的接口轉(zhuǎn)換系統(tǒng)。該系統(tǒng)以FPGA為核心，用3片SDRAM對(duì)采集到的Camera Link數(shù)據(jù)進(jìn)行乒乓操作，每片SDRAM緩存一幀圖像數(shù)據(jù)，然后再輸出到FPGA，對(duì)RGB數(shù)據(jù)轉(zhuǎn)換成YCbCr格式，經(jīng)兩個(gè)行緩存FIFO乒乓操作，然后按SMPTE 274M標(biāo)準(zhǔn)編碼，輸出到LMH0030芯片中，從而得到HD－SDI輸出。結(jié)果表明，本文設(shè)計(jì)的轉(zhuǎn)換系統(tǒng)，能夠?qū)amera Link數(shù)據(jù)轉(zhuǎn)換成HD－SDI輸出，但是由于二者行、場(chǎng)時(shí)間的差異，導(dǎo)致輸出圖像延遲一幀，并且隨著時(shí)間的累加，每約708幀必須丟掉一幀數(shù)據(jù)。

［1］National Semiconductor.Specifications of thecamera link interface standard for digital cameras and frame grabbers［G］.2000.

［2］張超，李洪文，賈建祿，等.高幀頻多通道圖像采集與顯示［J］.液晶與顯示，2013，28（4）：593－597.Zhang C，Li H W，Jia J L，et al.High frame rate and multiple channels digital image acquisition and display［J］.Chinese Journal of Liquid Crystals and Displays，2013，28（4）：593－597.（in Chinese）

［3］李進(jìn)，呂增明，陶宏江，等.適于高速 CCD圖像數(shù)據(jù)光線傳輸?shù)募m錯(cuò)技術(shù)［J］.光學(xué) 精密工程，2012，20（11）：2549－2558.Li J，Lv Z M，Tao H J，et al.Error correction technology for CCD image using high speed optical fiber transmission［J］.Opt.Precision Eng.，2012，20（11）：2549－2558.

［4］劉霖，王平，劉秀娟，等.解決大幅面CCD相機(jī)三色分離的方法［J］.光學(xué) 精密工程，2012，20（10）：2260－2267.Liu L，Wang P，Liu X J，et al.Improved method to solve color separation for large format CCD camera ［J］.Opt.Precision Eng.，2012，20（10）：2260－2267.（in Chinese）

［5］楊振永，王延杰，孫海江，等.基于TMS320DM8168的SOC高清視頻處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］.液晶與顯示，2013，28（5）：765－769.Yang Z Y，Wang Y J，Sun H J，et al.Design and implementation of SOC high definition video processing system based on TMS320DM8168［J］.Chinese Journal of Liquid Crystals and Displays，2013，28（5）：765－769.（in Chinese）

［6］楊帆.基于FPGA的SDI接口的研究與開發(fā)［D］.天津：天津理工大學(xué)，2008.Yang F.The research and development of SDI based on FPGA ［D］.Tianjin：Tianjin University of Technology，2008.（in Chinese）

［7］魏江力，趙保軍，韓月秋.基于 DSP的多支式數(shù)字電視字幕卡硬件設(shè)計(jì)［J］.電視技術(shù)，2004（9）：47－52.Wei J L，Zhao B J，Han Y Q.DSP－based hardware design for multi－system DTV character generator PC card［J］.Video Engineering，2004（9）：47－52.（in Chinese）

［8］Society of Motion Picture and Television Engineers.Proposed SMPTE Standard for television 1920×1080image sample structure，digital representation and digital timing reference sequences for multiple picture rates［G］.2003.

［9］朱超.基于FPGA的SDI視頻格式轉(zhuǎn)換系統(tǒng)設(shè)計(jì)［D］.北京：中國(guó)科學(xué)院研究生院，2010.Zhu C.Design of SDI video format convertion system based on FPGA ［D］.Beijing：Graduate University of the Chinese Academy of Sciences，2010.（in Chinese）

［10］Texas Instrument.LMH0030SMPTE 292M／259Mdigital video serializer with video and ancillary data FIFOs and integrated cable driver［G］.2008.

［11］姜忠兵.基于SMPTE 274M 標(biāo)準(zhǔn)的高清視頻發(fā)生器設(shè)計(jì)與實(shí)現(xiàn) ［J］.電子設(shè)計(jì)工程，2012，20（17）：150－152.Jiang Z B.Design and implement of high－definition video generator based on SMPTE 274M ［J］.Electric Design Engineering，2012，20（17）：150－152.（in Chinese）

［12］封岸松，戰(zhàn)仕成，汪瑩.基于FPGA的 RGB到 YCbCr顏色空間轉(zhuǎn)換［J］.現(xiàn)代電子技術(shù)，2010，10：122－124.Feng A S，Zhan S C，Wang Y.Color space conversion from RGB to YcrCb based on FPGA ［J］.Modern Electric Technology，2010，10：122－124.（in Chinese）

［13］劉云川，龔向東.BT.656數(shù)字視頻流的處理及其硬件實(shí)現(xiàn)［J］.液晶與顯示，2013，28（2）：238－243.Liu Y C，Gong X D.Processing and hardware implement of BT.656digital video stream ［J］.Chinese Journal of Liquid Crystals and Displays，2013，28（2）：238－243.（in Chinese）