基于FPGA的高精度圖像采集系統(tǒng)設(shè)計*

李　華

(商洛學院電子信息與電氣工程學院,陜西 商洛 726000)

?

基于FPGA的高精度圖像采集系統(tǒng)設(shè)計*

李華*

(商洛學院電子信息與電氣工程學院,陜西 商洛 726000)

摘要:為了獲取更高精度的圖像,設(shè)計了一套基于FPGA結(jié)合高精度AD的CMOS圖像探測器圖像采集系統(tǒng)。首先通過串口配置圖像探測器和AD的寄存器,使其按照成像要求進行工作,然后將高速串行差分圖像輸入Xilinx FPGA,綜合運用差分轉(zhuǎn)換、高速數(shù)據(jù)解串、數(shù)據(jù)時鐘域轉(zhuǎn)換等設(shè)計方法,使圖像滿足系統(tǒng)應(yīng)用和存儲與顯示要求。實驗結(jié)果表明,當AD的輸出時鐘高達240 MHz時,系統(tǒng)能夠準確、平穩(wěn)的輸出30 MHz的14 bit高精度圖像。整個系統(tǒng)性能穩(wěn)定可靠、實時性強,具有較好的通用性。

關(guān)鍵詞:圖像采集;高精度;FPGA;AD

隨著科學技術(shù)的飛速發(fā)展,一方面,圖像傳感器的發(fā)展日新月異,特別是CMOS圖像傳感器因其體積小、功耗低、工作電壓單一、抗輻照能力強等優(yōu)點在數(shù)字成像領(lǐng)域得到了廣泛的應(yīng)用和發(fā)展;另一方面,隨著圖像探測器技術(shù)的發(fā)展和數(shù)據(jù)采集系統(tǒng)的廣泛應(yīng)用,人們對圖像采集系統(tǒng)的要求日益提高[1-2]。但是,目前的CMOS圖像探測器集成的AD一般為8 bit或10 bit,這樣的精度可以滿足一般的成像應(yīng)用,但是,如果應(yīng)用系統(tǒng)對圖像的精度要求比較高時,就顯得力不從心。因此,本文根據(jù)項目實際指標要求,需要采集更高精度的圖像,因此使用了外置TI公司的14 bit AD-LM98640,大大提高了系統(tǒng)的性能。值得一提的是,該型AD具有高等級產(chǎn)品,因此,設(shè)計也為以后的高端應(yīng)用,比如:航天應(yīng)用,奠定了基礎(chǔ)。

設(shè)計以Xilinx公司的FPGA-XC4VSX55為主控芯片,結(jié)合TI公司14 bit高精度AD-LM98640實現(xiàn)了對CMOS圖像探測器信號的采集。重點研究了高速AD的時序設(shè)計和后續(xù)圖像數(shù)據(jù)的處理,同時給出了相關(guān)時序設(shè)計的ModelSim仿真波形,最后還討論了系統(tǒng)的實際成像效果。

1　系統(tǒng)組成及工作原理

所設(shè)計的采集系統(tǒng)以FPGA為核心,用于產(chǎn)生LUPA4000圖像探測器的參數(shù)配置時序和驅(qū)動時序信號,同時還控制著AD的采樣和緩存器的讀寫,這樣的設(shè)計可以有效克服普通傳輸模塊速度跟不上的缺點,提高了整個系統(tǒng)的采集速度和精度。

圖1所示為采集系統(tǒng)采集一路圖像的原理框圖,系統(tǒng)給LUPA4000提供的時鐘是30 MHz。系統(tǒng)的具體工作過程為:設(shè)備上電后,首先由FPGA對LUPA4000探測器和LM98640的所有寄存器通過串行接口進行配置,配置完成后,這2個器件就會按照實際成像需要進行工作,LUPA4000開始輸出兩路模擬圖像數(shù)據(jù)給LM98640,并由LM98640進行采樣,由于本文設(shè)置LM98640工作在雙通道模式,因此,兩路數(shù)字圖像以四通道差分的形式輸出給FPGA。剩下的工作就是在FPGA內(nèi)對圖像數(shù)據(jù)進行處理來滿足系統(tǒng)應(yīng)用需要,首先對數(shù)據(jù)進行解差分得到1 bit串行信號,經(jīng)過串并轉(zhuǎn)換得到7 bit并行圖像數(shù)據(jù),再將兩通道并行數(shù)據(jù)拼接成一路14 bit圖像數(shù)據(jù)。由于LM98640采用的是8倍頻設(shè)計,所以此時的并行圖像數(shù)據(jù)處于240 MHz時鐘域,屬于高速處理的范疇,這是不利于后端應(yīng)用的,因此我們再將其通過片內(nèi)FIFO轉(zhuǎn)換到30 MHz系統(tǒng)時鐘域,用于存儲與顯示,或是在FPGA內(nèi)部進行其他應(yīng)用。

從以上設(shè)計過程可以看出,整個系統(tǒng)功能較多、時序復(fù)雜,特別是LM98640的像素時鐘更是高達240 MHz,這些都給FPGA設(shè)計帶來了較大的挑戰(zhàn)。

圖1　系統(tǒng)原理框圖

2　系統(tǒng)詳細設(shè)計

從圖1可以看出,整個采集系統(tǒng)的設(shè)計包括LUPA4000圖像探測器的時序設(shè)計、LM98640的時序設(shè)計、數(shù)據(jù)解差分設(shè)計、并串轉(zhuǎn)換設(shè)計、數(shù)據(jù)拼接設(shè)計和時鐘域轉(zhuǎn)換設(shè)計等。其中LUPA4000圖像探測器的設(shè)計相關(guān)文獻已經(jīng)進行了較詳細的介紹[3-4],因此,本文主要把重點放在其他功能,特別是LM98640高速數(shù)據(jù)的處理設(shè)計上。

2.1LM98640時序設(shè)計

LM98640是TI公司一款高性能、雙通道、14 bit、采用串行LVDS輸出的模擬前端圖像AD,數(shù)據(jù)處理能力最高達40 Msample/s,主要用于處理CCD/CMOS的模擬圖像,被廣泛應(yīng)用于高精度圖像處理系統(tǒng)中[5]。

LM98640采用了集成設(shè)計,因此在正常工作前要先使用串行接口對其寄存器進行配置,使其按照指定要求進行工作。串行接口共有4個,分別是SCLK,SEN,SDI和SDO,設(shè)計上要注意的是,當主時鐘INCLK的頻率小于20 MHz時,串行時鐘SCLK的頻率必須小于主時鐘INCLK,而當主時鐘INCLK的頻率大于20 MHz時,串行時鐘SCLK的頻率仍然要小于20 MHz。

配置寄存器的過程實質(zhì)上是連續(xù)寫LM98640的過程,首先,將SEN置低,然后發(fā)送寫命令,一條寫命令由16 bit串行數(shù)據(jù)組成,第1位是讀寫控制命令,0表示寫,第2位是器件地址,一般設(shè)為0,接下來的6 bit是寄存器地址,而最后8 bit是要寫入寄存器的值,每1 bit命令的寫入都是在SCLK的上升沿進行。圖2所示是本文根據(jù)成像需要配置40個寄存器時序的ModelSim仿真波形,其中,圖2(b)是圖2(a)標注處的放大,表示的是將寄存器0的值寫為0x04,對照器件手冊可以看出,本文設(shè)計完全滿足時序要求。

配置完寄存器,LM98640就可以按照設(shè)置進行工作采集圖像了,本設(shè)計使用了LM98640默認的采樣/保持模式,輸出上采用了2路4通道輸出形式,即同時輸出兩路14 bit并行數(shù)據(jù),13 bit至7 bit在一個通道,6 bit至0 bit在另一個通道。每一個模擬像素的轉(zhuǎn)化是以TXFRAME信號區(qū)分的,奇數(shù)像元的TXFRAME的寬度為3個時鐘,而偶數(shù)像元的TXFRAME寬度則是2個時鐘。這樣,從LM98640輸出的信號總共有6路差分數(shù)字信號,分別是像元標識TXFRAME,像元時鐘TXCLK,4路圖像數(shù)據(jù)TXOUT[3:0],這些信號由于格式、速率等原因,系統(tǒng)不能直接應(yīng)用,所以要將這些信號全部送入FPGA進行處理,以適應(yīng)存儲顯示等需要。

圖2　配置寄存器時序仿真波形。(b)是(a)標注處的放大

2.2解差分設(shè)計

不難看出,LUPA4000圖像探測器相當于LVDS發(fā)送器,而對于LVDS信號的解差分通常有2種方式:一種處理方式是選用專用的LVDS接收芯片,如:國家半導(dǎo)體公司的DS90LV032A;另外一種方式則是選用支持LVDS電平的FPGA,這樣就可以省去LVDS接收芯片,減小系統(tǒng)的體積和重量。為便于對不同類型的LVDS發(fā)送裝置進行檢測與維護,建立起實用、兼容的檢測平臺,同時也出于節(jié)省空間和重量方面的考慮,本文設(shè)計選用了第2種方案。本文使用的Xilinx公司的FPGA-XC4VSX55已經(jīng)很好的兼容了LVDS接口的設(shè)計,使用起來也非常簡單,只需設(shè)置和使用相應(yīng)的原語IBUFDS,并在約束文件里定義一下信號的屬性IOSTANDARD為LVDS_25,即可完成LVDS的接收。需要說明的是,由于像元時鐘頻率高達240 MHz,因此,解差分后要將時鐘放置在FPGA的時鐘全局總線上,才能供FPGA系統(tǒng)使用。

2.3其他設(shè)計

因為數(shù)據(jù)速率高,所以系統(tǒng)的讀數(shù)據(jù)操作比較復(fù)雜,本文在設(shè)計上采用了三段式狀態(tài)機的形式來實現(xiàn)[6],取得了較好的效果。具體過程為:當系統(tǒng)捕獲到像元標識信號TXFRAME后,狀態(tài)機由IDLE轉(zhuǎn)向DATA_OK,開始數(shù)據(jù)有效信號的產(chǎn)生,當連著捕獲到7個串行數(shù)據(jù)后,如果沒有了像元標識信號TXFRAME,說明沒有圖像數(shù)據(jù),轉(zhuǎn)向IDLE,同時數(shù)據(jù)有效信號結(jié)束,如果有像元標識信號TXFRAME,則接著產(chǎn)生數(shù)據(jù)有效信號,如此反復(fù)即完成了圖像數(shù)據(jù)和數(shù)據(jù)有效信號的對應(yīng),為下一步串并轉(zhuǎn)換提供了輸入。

當串行數(shù)據(jù)和數(shù)據(jù)有效信號產(chǎn)生以后,就可以進行串并轉(zhuǎn)換操作,本文串并轉(zhuǎn)換使用了移位寄存的方式進行,由一個串行移位寄存器和一個7 bit寬的并行寄存器組成,串行數(shù)據(jù)有效時,串行移位寄存器在時鐘的控制下,依次將接收到的數(shù)據(jù)存放在串行移位寄存器中,然后在計數(shù)電路產(chǎn)生的控制信號作用下,將數(shù)據(jù)存入并行寄存器,同時產(chǎn)生轉(zhuǎn)換完成標志信號,方便后續(xù)應(yīng)用。由于LM98640是14 bit AD,所以4個通道串并轉(zhuǎn)換完成后還要將兩通道7 bit數(shù)據(jù)進行拼接,從而完成了像元的AD轉(zhuǎn)換。

當?shù)玫讲⑿袛?shù)據(jù)后,已經(jīng)基本完成了數(shù)據(jù)的采集,但是,此時的并行數(shù)據(jù)仍然處在240 MHz時鐘域,為了應(yīng)用方便,還需要將其轉(zhuǎn)化到30 MHz時鐘域。所以本文設(shè)計使用了異步FIFO[7],由于Xilinx公司的FPGA提供了豐富的內(nèi)部存儲資源,因此,我們在FPGA內(nèi)部例化了一個FIFO來完成此功能。

到此,我們就完成了圖像數(shù)據(jù)的采集,用于存儲和顯示,或是其他應(yīng)用,數(shù)據(jù)采集過程的布局布線后仿真ModelSim波形如圖3所示。

圖3　數(shù)據(jù)采集功能布局布線后仿真波形

從圖3可以看出,TXFRM_P、TXFRM_N是差分的像元標識信號,TXCLK_P、TXCLK_N是差分像元時鐘,TXOUT_P[1:4]、TXFRM_N[1:4]是差分圖像數(shù)據(jù)。由于是仿真,為了便于說明問題,此處僅設(shè)置了8個像元。dataout0、dataout1、dataout2、dataout3是串并轉(zhuǎn)換完成得到的4個通道7 bit并行數(shù)據(jù),data_ch1、data_ch2是經(jīng)過拼接,并經(jīng)過FIFO得到的14 bit并行數(shù)據(jù),時鐘域為30 MHz。從仿真波形可以看出,本文設(shè)計完全滿足設(shè)計要求。

2.4FPGA約束技術(shù)

本文FPGA設(shè)計屬于高速設(shè)計,因此,除了遵循基本的設(shè)計原則,還要添加一定的時序約束來保證扇出(Fanout)、延時等能夠滿足時序要求。以本文使用的Xilinx公司FPGA為例,主要添加了2類約束[8],一是FROM:TO約束,來定義2個分組間路徑的要求,從而保證了布局布線后路徑能夠滿足建立保持時間關(guān)系。二是虛假路徑約束(TIG),用來對不需要約束的路徑即無關(guān)路徑進行說明,例如:例化的片內(nèi)FIFO,使時序分析時從該網(wǎng)線開始的路徑被忽略,減少競爭冒險發(fā)生的幾率。

3　實驗結(jié)果與分析

為了驗證本文圖像采集系統(tǒng)的效果,我們從2方面進行說明。一方面,第3節(jié)的時序仿真波形從理論上證明了設(shè)計的正確性;另一方面,本文系統(tǒng)設(shè)計完成后,結(jié)合光機系統(tǒng)進行了大量的實驗,圖4所示為室外拍攝到的分辨率標板成像效果,可以看出,圖像邊緣清晰、層次感強,充分證明了設(shè)計的可行性。

圖4　室外拍攝的分辨率標板圖像

4　結(jié)束語

使用FPGA來實現(xiàn)CMOS圖像探測器的驅(qū)動、信號采集、存儲的方案便于修改和優(yōu)化,非常靈活;同時可以將設(shè)計缺陷消滅在仿真階段,大大提高了設(shè)計的可靠性。該設(shè)計雖然是基于LM98640開發(fā)的系統(tǒng),但是TI公司的許多AD大同小異,采用的都是差分、串行輸出數(shù)據(jù)的形式,因此,本文設(shè)計只要稍加修改即可適用于其他應(yīng)用TI公司AD的系統(tǒng),具有非常好的通用性。

參考文獻:

[1]楊健鷙,劉霖.基于FPGA的面陣CCD圖像采集系統(tǒng)[J].電子器件,2013,36(1):49-53.

[2]沙濤,黎紹鑫,汪海洋,等.基于FPGA的高速CCD工業(yè)相機系統(tǒng)設(shè)計[J].電子器件,2013,36(1):28-32.

[3]黎向陽.基于LUPA4000的面陣CMOS圖像傳感器成像系統(tǒng)研究[D].西安:中國科學院西安光學精密機械研究所,2008.

[4]陳彥,張宏偉,林宏宇.基于FPGA的CMOS圖像傳感器LUPA-4000時序設(shè)計[J].航天器返回與遙感,2012,33(5):62-67.

[5]LM98640 Datasheet[R].

[6]夏宇聞.Verilog數(shù)字系統(tǒng)設(shè)計教程[M].北京:北京航空航天大學出版社,2003:129-145.

[7]王鑫,陳驥,曹久大,等.線陣CCD高速數(shù)據(jù)采集與實時處理系統(tǒng)[J].光電子·激光,2008,19(2):174-177.

[8]Timing Constraints User Guide[EB/OL].http://www.xilinx.com/support/documentation/sw_manuals/xilinx12_1/ug612.pdf.

李華(1980-),女,漢族,陜西西安人,商洛學院電子信息與電氣工程學院講師,從事基于可編程邏輯器件的圖像處理相關(guān)的研究與教學工作,主要研究方向為數(shù)字圖像處理,irico_zb@qq.com。

DesignofHighAccuracyImageAcquisitionSystemBasedonFPGA*

LIHua*

(School of Electronic Information and Electrical Engineering,Shangluo University,Shangluo Shanxi 726000,China)

Abstract:In order to obtain higher accuracy image,an improved CMOS image acquisition system is presented combined with FPGA and high resolution AD.Firstly,the serial interface is used to configure the CMOS sensor and AD according to the work environment.Then the serial LVDS image was processed to satisfy requirement of the system application and storage and display unit in the Xilinx FPGA using several methods such as de-LVDS,de-serial and clock domain convert.Experimental results proved,when clock of the serial LVDS image is 240 MHz,the system can output 14-bit,30 MHz image accurately and smoothly.The system has advantages of reliable and steady function,strong real-time and good universality.

Key words:image acquisition;high accuracy;FPGA;AD

doi:EEACC:6140C10.3969/j.issn.1005-9490.2014.05.009

中圖分類號:TP274

文獻標識碼:A

文章編號:1005-9490(2014)05-0840-04

收稿日期:2013-09-13修改日期:2013-10-10

項目來源:陜西省教育廳科研計劃項目(2013JK1057)