基于DSP+FPGA的Camera Link接口相機(jī)的圖像處理平臺設(shè)計

張向陽，程勇策，曲思潼

(中國電子科技集團(tuán)公司第三研究所，北京 100015)

責(zé)任編輯:任健男

光電傳感器發(fā)展至今，標(biāo)準(zhǔn)全電視信號的傳感器技術(shù)成熟穩(wěn)定，廣泛應(yīng)用在各個領(lǐng)域，隨著光電傳感器技術(shù)的發(fā)展，基于Camera Link接口的高幀頻數(shù)字相機(jī)的出現(xiàn)，它提高了成像能力，提升了傳輸帶寬，但是也存在一些工程應(yīng)用上的問題，一是基于Camera Link接口的各種相機(jī)都不能直接顯示，只能通過PC機(jī)配備專用的采集卡在屏幕上顯示，這樣的架構(gòu)不能滿足特定應(yīng)用的要求;二是傳輸距離短，有效傳輸距離在10 m以內(nèi)。

本系統(tǒng)設(shè)計采用基于DSP+FPGA的圖像處理平臺代替PC機(jī)，完成對基于Camera Link接口的高幀頻數(shù)字相機(jī)的圖像信號進(jìn)行實時的采集、VGA和PAL制式的顯示、信號處理等功能，并對 DSP［1－2］處理后圖像數(shù)據(jù)利用千兆以太網(wǎng)向上位機(jī)傳輸，實現(xiàn)降低硬件成本，提高系統(tǒng)集成能力，滿足對實時性和可靠性要求比較高的應(yīng)用需求。

1 系統(tǒng)架構(gòu)

系統(tǒng)以FPGA為中心，實現(xiàn)對相機(jī)的Camera Link接口的數(shù)據(jù)采集，并將數(shù)據(jù)實時通過VGA和PAL顯示。同時像機(jī)數(shù)據(jù)又送入DSP進(jìn)行圖像處理后，通過千兆網(wǎng)絡(luò)發(fā)送到計算機(jī)終端。系統(tǒng)架構(gòu)如圖1所示。

1.1 Camera Link 接口和相機(jī)

Camera Link標(biāo)準(zhǔn)是在NS提出的Channel Link技術(shù)標(biāo)準(zhǔn)的基礎(chǔ)上發(fā)展而來的，該接口具有開放式的接口協(xié)議，使得不同廠家既能保持產(chǎn)品的差異性，又能互相兼容。它在傳統(tǒng)LVDS傳輸數(shù)據(jù)的基礎(chǔ)上又加載了并轉(zhuǎn)串發(fā)送器和串轉(zhuǎn)并接收器，利用SER/DES(串行化/解串行化)技術(shù)以更高的速度發(fā)送數(shù)據(jù)。

Camera Link標(biāo)準(zhǔn)使用每條鏈路需要2根導(dǎo)線的LVDS傳輸技術(shù)。驅(qū)動器接收28個單端TTL/COMS數(shù)據(jù)信號和1個時鐘信號，28個數(shù)據(jù)信號以7∶1的比例被串行發(fā)送，也就是5對LVDS信號通道上分別傳輸4組LVDS數(shù)據(jù)流和1組LVDS時鐘信號，即完成28位數(shù)據(jù)的同步傳輸只需要5對線，如圖2所示。

本文以美國UNIQ公司生產(chǎn)的UP685相機(jī)為基礎(chǔ)機(jī)型，針對定制的UP685CL相機(jī)進(jìn)行Camera Link圖像采集、處理、顯示等功能設(shè)計。該相機(jī)的特性為:傳感器1/2”逐行掃描的CCD，有效像素659(H)×494(V)，像元大小9.9 μm，像素時鐘固定為 40 MHz，幀頻固定為 100 Hz，曝光時間1/62 000～1/100 s，支持外部電平觸發(fā)或軟件觸發(fā)，鏡頭接口C，供電電壓12 V，最大功耗6 W，數(shù)字視頻輸出格式采用CameraLink base格式［3］。

圖1 硬件平臺模塊框圖

圖2 CameraLink接口發(fā)送、接收的原理框圖

1.2 FPGA

根據(jù)本系統(tǒng)的運算性能和外設(shè)I/O的需求，選用CycloneIII系列的EP3C40F484C8芯片，它具有39 600個邏輯單元、2 340 kbit存儲單元，126 個乘法器、4 個 PLL，331 個外部獨立I/O，最高運行時鐘高達(dá)300 MHz，串行配置芯片存儲器選用EPCS64，2片IS61WV102416存儲器芯片SRAM 1 M×16 bit。由于輸入的數(shù)據(jù)量大、速率快，因此系統(tǒng)采用乒乓緩存機(jī)制，作為VGA顯示用的視頻數(shù)據(jù)緩存。

1.3 DSP

DSP采用TI公司的高速處理芯片TMS320C6455，主頻達(dá)到了1 GHz，1 ns的指令周期。每周期執(zhí)行8條32位指令，最大峰值速度達(dá)到8 000 MIntruction/s(兆指令/s)。TMS320CC6455［4］片內(nèi)是基于C64xx內(nèi)核的L1/L2存儲結(jié)構(gòu)，片上集成有大量的存儲空間。L1P為32 kbyte，L1D為32 kbyte，L2為2 Mbyte，比此前C64x存儲器的容量翻一番，其中L1P和L2都可直接映射到存儲空間。

TMS320C6455帶有的DDRII SDRAM存儲器接口，可以實現(xiàn)與32位存儲器件的無縫連接，板載DDR2 32 M×32 bit。TMS320C6455帶有一個10/100/1 000 Mbit/s以太網(wǎng)媒體訪問控制器(EMAC)，一個無縫外部存儲器接口(64 bit EMIFA)支持128 M×8 bit NOR Flash。DSP與FPGA采用EMIF和Mcbps連接，EMIF支持16 bit，32 bit，64 bit寬度，速度 100 MHz。

2 FPGA的實現(xiàn)

2.1 接口設(shè)計

2.1.1 轉(zhuǎn)換電路

對于接收到的LVDS串行數(shù)據(jù)，需要轉(zhuǎn)換成并行數(shù)據(jù)流，利用Camera Link接收器接收LVDS數(shù)據(jù)流并將其解串成CMOS/TTL數(shù)據(jù)。采用美國NS公司的Channel Link芯片DS90CR286A作為Camera Link接收器，Camera Link接口相機(jī)硬件連接如圖3所示。

2.1.2 數(shù)據(jù)流控制

圖3 Camera Link接口信號硬件連接圖

在基模式下，傳輸時鐘40 MHz，相機(jī)輸出的5路LVDS差分?jǐn)?shù)據(jù)，經(jīng)DS90CR286A轉(zhuǎn)換后，每個傳輸時鐘傳輸28位并行數(shù)據(jù)，其中有視頻數(shù)據(jù)24位(3個像素)，幀同步信號FVAL，行同步信號LVAL，數(shù)據(jù)同步信號DVAL，SPARE備用信號。在FPGA中將24 bit的視頻數(shù)據(jù)轉(zhuǎn)換成3個串行的字節(jié)數(shù)據(jù)，采用1片雙時鐘、輸入是32 bit數(shù)據(jù)、輸出是8 bit數(shù)據(jù)、64 byte深度的雙口RAM，作為視頻數(shù)據(jù)的緩沖存儲結(jié)構(gòu)，雙口RAM的邏輯框圖如圖4所示。

圖4 雙口RAM功能模塊圖

2.2 時序控制

2.2.1 VGA 時序控制

VGA的接口芯片采用AD公司的ADV7123KST140作為VGA視頻D/A轉(zhuǎn)換器，ADV7123KST140是3路高速、10 bit的視頻D/A轉(zhuǎn)換器，工業(yè)級芯片具有最大140 MHz的采樣速率。

設(shè)計中采用VGA顯示刷新頻率為60 Hz，高速相機(jī)的幀頻為100 Hz，為了達(dá)到幀率的匹配，F(xiàn)PGA在緩存存儲過程中進(jìn)行抽幀存儲，每5幀抽取3幀，依次存放到外接的2個SDRAM中，存儲掃描的時序如圖5所示。

1)數(shù)據(jù)抽幀存儲機(jī)制

(1)根據(jù)相機(jī)的幀同步信號FVAL進(jìn)行5分頻，得到控制信號RWControl，設(shè)立一個寫存儲器的狀態(tài)計數(shù)器Wr，狀態(tài)計數(shù)器Wr初始值為0，用控制信號RWControl的沿對狀態(tài)計數(shù)器Wr進(jìn)行清零工作。

(2)當(dāng)控制信號RWControl為低電平時，當(dāng)檢測到相機(jī)的幀同步信號FVAL上升沿后，狀態(tài)計數(shù)器Wr加1，抽取第1，3，5幀數(shù)據(jù)按照RAM2→RAM1→RAM2的順序依次寫入外掛的SDRAM中。

(3)當(dāng)控制信號RWControl為高電平時，當(dāng)檢測到相機(jī)的幀同步信號FVAL上升沿后，狀態(tài)計數(shù)器Wr加1，抽取第1，3，5幀數(shù)據(jù)按照RAM1→RAM2→RAM1的順序依次寫入外掛的SDRAM中。

2)數(shù)據(jù)讀取掃描機(jī)制

(1)根據(jù)相機(jī)的幀同步信號FVAL進(jìn)行5分頻再3倍頻，得到VGA幀同步信號。

(2)當(dāng)控制信號RWControl為低電平時，當(dāng)檢測到VGA幀同步信號上升沿后，按照RAM1→RAM2→RAM1的順序依次讀取外掛的SDRAM中。

(3)當(dāng)控制信號RWControl為高電平時，當(dāng)檢測到VGA幀同步信號上升沿后，按照RAM2→RAM1→RAM2的順序依次讀取外掛的SDRAM中。

圖5 視頻信號存儲掃描時序

3)數(shù)據(jù)存儲及掃描空間

(1)外掛的數(shù)據(jù)存儲的SDRAM的空間大小是1 Mbyte，將SDRAM按照視頻數(shù)據(jù)行、列進(jìn)行存儲，將SDRAM的地址線分為行、列地址空間，列地址空間0～1 023(A0～A9)，行地址空間0～1 023(A10～A19)，整個SDRAM可以存儲1 024行數(shù)據(jù)，每行1 024個8 bit的像素。

(2)VGA顯示器的分辨率是800×600，相機(jī)的分辨率是659×494，是視頻信號顯示在顯示器中間，所以視頻每一行視頻數(shù)據(jù)的存儲地址為70～728(A0～A9)，視頻行存儲地址為50～543(A10～A19)。

2.2.2 PAL 時序控制

PAL輸出接口采用INTERSIL公司的HI1171作為PAL制式視頻D/A轉(zhuǎn)換器，HI1171是8 bit的視頻D/A轉(zhuǎn)換器，工業(yè)級芯片具有最大40 MHz的采樣速率。

PAL模擬視頻的場同步信號VB是根據(jù)高速相機(jī)的幀同步信號FVAL同步后，用13 MHz外部輸入時鐘進(jìn)行計數(shù)產(chǎn)生，如圖6所示。

圖6 模擬視頻場同步信號時序

模擬視頻顯示的行同步和消隱信號的實現(xiàn)思路是根據(jù)模擬視頻場同步信號VB和13 MHz時鐘計數(shù)產(chǎn)生，計到某一個數(shù)值時，使輸出的信號翻轉(zhuǎn)(由低電平到高電平或者由高電平到低電平)，計數(shù)器的周期和翻轉(zhuǎn)的周期根據(jù)不同的參數(shù)而有所不同。這些時序是在FPGA中編程實現(xiàn)，同時也容易調(diào)整和修改。模擬視頻的奇偶行同步信號如圖7所示。

圖7 奇、偶行同步信號時序圖

模擬視頻顯示的行同步信號、視頻數(shù)據(jù)信號及時鐘信號的時序關(guān)系如圖8所示。時鐘的上升沿選通并向HI1171寫入數(shù)據(jù)。

圖8 行同步與視頻數(shù)據(jù)時序圖

2.3 DSP 數(shù)據(jù)接口

FPGA與DSP之間實時通過EMIF接口完成視頻數(shù)據(jù)的傳輸，數(shù)據(jù)線8位(D0～D7)，傳輸時鐘40 MHz，與相機(jī)的像素時鐘一致，傳輸?shù)囊曨l區(qū)域為256×128，如圖9所示。

3 DSP信號處理

圖9 傳輸顯示區(qū)域

DSP完成的主要工作包括數(shù)據(jù)傳遞、圖像預(yù)處理、目標(biāo)特征提取、目標(biāo)位置計算。數(shù)據(jù)傳遞是利用DMA模式完成FPGA與DSP內(nèi)部高速緩存之間的數(shù)據(jù)傳遞(見圖10)，圖像預(yù)處理是對灰度圖像進(jìn)行圖像分割，剔除圖像中大部分的背景信息，使目標(biāo)特征在圖像中更加明顯，目標(biāo)特征提取是在預(yù)處理后的視頻數(shù)據(jù)中，計算閾值門限，根據(jù)閾值門限進(jìn)行數(shù)據(jù)二值化，將目標(biāo)的特征信息提取出來，目標(biāo)位置計算是通過行列坐標(biāo)投影方式，計算出真實目標(biāo)的行列坐標(biāo)，并給出目標(biāo)在整個圖像中的位置信息。

圖10 FPGA與DSP之間讀寫時序

3.1 圖像分割

圖像分割是通過對相鄰兩行的圖像數(shù)據(jù)進(jìn)行處理，用當(dāng)前像素的灰度值與上一行像素灰度的均值進(jìn)行比較，得到新的像素灰度值，計算公式為

式中:avg為上一行像素的灰度均值;p(x，y)為處理前的像素灰度值;f(x，y)為處理后的像素灰度值。

3.2 閾值計算

對圖像分割處理后的圖像數(shù)據(jù)使用直方圖統(tǒng)計的方法，計算出圖像的平均灰度，最大灰度值與最小灰度值，采用可變閾值法，計算出在不同目標(biāo)極性條件下的閾值門限t。

3.3 數(shù)據(jù)二值化

根據(jù)得到的閾值門限進(jìn)行數(shù)據(jù)二值化，計算公式為

3.4 位置計算

將二值化后的數(shù)據(jù)進(jìn)行3×3數(shù)據(jù)濾波，濾波核根據(jù)實際需要進(jìn)行設(shè)置，剔除低于最小識別目標(biāo)的像素點，并采用行列投影的方式計算目標(biāo)的行列中心位置，列出目標(biāo)位置的矩陣，根據(jù)滿足最小識別目標(biāo)的大小及目標(biāo)特征信息，剔除假目標(biāo)，得到真實目標(biāo)的坐標(biāo)信息。

3.5 終端顯示

將視頻數(shù)據(jù)通過千兆網(wǎng)傳送給終端計算機(jī)，由客戶端軟件進(jìn)行圖像顯示。利用DSP6455片內(nèi)的千兆以太網(wǎng)接口模塊 EMAC/MDIO，結(jié)合片外的PHY芯片 Agere ETl01IC以及外圍電路，擴(kuò)展了以太網(wǎng)網(wǎng)絡(luò)通信接口，采用100 Mbit/s的傳輸速率，傳輸協(xié)議采用無連接的UDP協(xié)議，提高系統(tǒng)數(shù)據(jù)的實時性，數(shù)據(jù)格式采用自定義的UDP圖像數(shù)據(jù)結(jié)構(gòu)，每個UDP包發(fā)送一行視頻數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)中包括:包頭(4 byte，自定義數(shù)據(jù)內(nèi)容)，圖像幀號(2 byte)，圖像行號(2 byte)，圖像行數(shù)據(jù)(1行圖像數(shù)據(jù))，實現(xiàn)網(wǎng)絡(luò)化傳輸視頻數(shù)據(jù)。

4 仿真結(jié)果及結(jié)論

經(jīng)過仿真測試，F(xiàn)PGA內(nèi)部SDRAM的數(shù)據(jù)時序如圖11所示，仿真結(jié)果符合設(shè)計時序要求。

圖11 SDRAM_FIFO數(shù)據(jù)仿真圖

本設(shè)計的基于DSP+FPGA的Camera Link接口相機(jī)的圖像處理平臺能夠穩(wěn)定接收Camera Link接口的視頻數(shù)據(jù)，VGA視頻顯示穩(wěn)定，數(shù)據(jù)接口帶寬及FPGA控制時序滿足設(shè)計要求，在數(shù)據(jù)處理方面，DSP運算時間在幀周期的1/2左右，滿足圖像實時處理要求。

［1］江思敏，劉暢.TMS320C6000 DSP應(yīng)用開發(fā)教程［M］.北京:機(jī)械工業(yè)出版社，2005.

［2］江國強(qiáng).EDA技術(shù)及應(yīng)用［M］.2版.北京:電子工業(yè)出版社，2007.

［3］夏宇聞.Verilog數(shù)字系統(tǒng)設(shè)計教程［M］.北京:北京航空航天大學(xué)出版社，2003.

［4］TMS320C6455 Fixed －Point Digital Signal Processor［EB/OL］.［2013－04－20］.http://wenku.baidu.com/view/788c182e0722192e4536f6a0.html.