視頻圖像實時采集和顯示系統(tǒng)的FPGA設(shè)計

李興富

LI Xing-fu

（桂林航天工業(yè)高等?？茖W(xué)校，桂林 541004）

0 引言

視頻信息采集為視頻圖像處理、傳輸、顯示等提供提供原始的數(shù)字圖像數(shù)據(jù)，視頻采集系統(tǒng)的性能是影響視頻圖像系統(tǒng)性能的關(guān)鍵因素之一[1]。隨著人們對視頻圖像質(zhì)量的要求越來越高，對視頻采集系統(tǒng)的性能要求也將越來越高[2]。目前視頻采集系統(tǒng)常用的處理器包括通用處理器、DSP和FPGA。盡管通用處理器能夠處理許多任務(wù)，但是它們通常缺少執(zhí)行復(fù)雜數(shù)據(jù)處理任務(wù)所需要的帶寬，常因速度不夠快而不能滿足設(shè)計目標(biāo)[3]；DSP雖然內(nèi)部利用專用硬件實現(xiàn)數(shù)字信號處理中的常用算法，運(yùn)算速度很快，但其采用單指令執(zhí)行系統(tǒng)，并且僅對某些固定的運(yùn)算可以優(yōu)化，因此靈活性不夠； FPGA作為當(dāng)今主流的大規(guī)?？删幊碳呻娐?，采用硬連線邏輯實現(xiàn)數(shù)據(jù)處理和運(yùn)算，具有集成度高、速度快、性能穩(wěn)定、開發(fā)周期短、便于改進(jìn)升級等一系列優(yōu)點(diǎn)，還能實現(xiàn)視頻采集、圖像顯示的外圍邏輯控制，在視頻采集和圖像處理方面具有獨(dú)特優(yōu)勢。使用FPGA實現(xiàn)該類任務(wù)已成為很好的選擇[4]。

本文采用FPGA作為視頻圖像實時采集和顯示系統(tǒng)的核心控制器。首先對視頻圖像采集顯示系統(tǒng)的構(gòu)成、工作原理及技術(shù)現(xiàn)狀做了簡單介紹，然后敘述了各功能模塊和接口電路的設(shè)計方法和過程，重點(diǎn)介紹了FPGA應(yīng)用系統(tǒng)設(shè)計中一些難點(diǎn)問題的解決辦法。

1 系統(tǒng)的總體結(jié)構(gòu)及器件選擇

系統(tǒng)硬件框圖如圖1所示。其中，CMOS sensor為圖像傳感器，型號為MT9M111，用于實時接收視頻信號；LCD的型號為TD036THEA3，用于實時顯示視頻圖像； SDRAM采用ISSI公司的IS42S16400B，用于緩存視頻數(shù)據(jù)；FPGA采用CycloneII EP2C35F672C8 ，作為整個系統(tǒng)的控制核心。

圖1 系統(tǒng)總體結(jié)構(gòu)框圖

MT9M111是美光公司推出的集成CMOS傳感器和圖形處理器的SOC產(chǎn)品；130萬像素分辨率(1280H×1024V)，可以支持SXGA格式輸出；嵌入的可編程圖像處理器提供的功能包括色彩恢復(fù)和修補(bǔ)、自動曝光、白平衡、鏡頭陰影修正、增加清晰度、可編程灰度修正、黑暗電平失調(diào)修正、閃爍避免、連續(xù)調(diào)整濾光尺寸、平滑的數(shù)字變焦、快速自動曝光模式和不工作時缺陷修正等，可以通過兩線串行接口對其進(jìn)行配置。

EP2C35F672C8為Altera公司CycloneII系列FPGA芯片，在性能、功耗和性價比方面超越了第一代Cyclone系列?？梢詢?nèi)嵌各種IP核，實現(xiàn)強(qiáng)大的控制處理功能；內(nèi)嵌M4K存儲器塊，用于實現(xiàn)單端口RAM、雙端口RAM、ROM以及同步FIFO和異步FIFO； 除了支持LVTTL、LVCMOS、SSTL等標(biāo)準(zhǔn)的單端I/O外，還支持LVDS、RSDS、mini-LVDS、LVPECL等標(biāo)準(zhǔn)的差分信號；支持四個可編程鎖相環(huán)（PLL）和最多16個全局時鐘線，還有對時鐘管理和頻率合成的能力。價格也比較適中，所以很適合作為大批量產(chǎn)品的解決方案。是視頻處理低成本解決方案的理想選擇。

IS42S16400B是ISSI公司的SDRAM產(chǎn)品。包含67，108，864bits，可配置為具有同步接口的四塊DRAM。該SDRAM包括自動刷新模式、省電模式和掉電模式。所有信號在時鐘信號上升沿保存。所有輸入和輸出與LVTTL兼容。內(nèi)部塊之間交錯隱藏預(yù)充電時間，支持同步猝發(fā)數(shù)據(jù)傳輸方式。

TD036THEA3為3.6寸有源矩陣彩色TFT液晶顯示模塊，采用低溫多晶矽硅TFT技術(shù)，分辨率為320×240，數(shù)據(jù)格式為RGB565，具體顯示為QVGA模式，輸出像素時鐘為19.28MHz。

2 系統(tǒng)的FPGA設(shè)計

系統(tǒng)的FPGA設(shè)計模塊圖如圖2所示。I2C controler模塊用于通過I2C總線協(xié)議控制MT9M111的寄存器配置,使攝像頭按照配置的模式工作,輸出行場同步信號、像素時鐘、圖像數(shù)據(jù)。 Image Capture模塊檢測行場同步信號、生成寫使能信號，在像素時鐘的上升沿將視頻數(shù)據(jù)采集到寄存器中。RAW2RGB模塊將采集的數(shù)據(jù)轉(zhuǎn)換成RGB信號，SDRAM controler模塊用于控制數(shù)據(jù)的緩沖，將數(shù)據(jù)寫入SDRAM。LCM Controller模塊產(chǎn)生LCD控制信號，將SDRAM中的數(shù)據(jù)送到LCD上，這樣就完成了視頻圖像的實時采集與顯示。

設(shè)計中采用VerilogHDL進(jìn)行編程，可以在抽象層對電路進(jìn)行描述，而不必考慮特定的制造工藝，通過使用Altera公司QuartusII軟件的邏輯綜合工具能夠?qū)⒃O(shè)計自動轉(zhuǎn)換為任意一種制造工藝版圖。

圖2 FPGA模塊圖

2.1 I2C controler模塊設(shè)計

I2C controller模塊是通過編寫Verilog代碼自定義邏輯實現(xiàn)的。模塊圖如圖3所示。

圖3 I2C controller模塊

在該模塊中，由于需要把I2C總線接口的SCL和SDA信號在系統(tǒng)時鐘下同步，因此采用系統(tǒng)時鐘iCLK對SCL和SDA信號進(jìn)行三次緩沖，得到其上升沿和下降沿脈沖信號，便于狀態(tài)機(jī)處理；狀態(tài)機(jī)對I2C的讀/寫寄存器操作進(jìn)行說明，狀態(tài)包括器件地址部分、寄存器地址部分和數(shù)據(jù)部分。

2.2 圖像數(shù)據(jù)采集模塊設(shè)計

在程序設(shè)計過程中，首先需要檢測視頻圖像中幀標(biāo)志的有效起始和結(jié)束，在判斷到幀標(biāo)志有效后，需要繼續(xù)檢測視頻圖像中行的有效起始和結(jié)束標(biāo)志，在判斷到行標(biāo)志有效后，在像素時鐘上升沿把圖像的有效像素值存入存儲器；同時，在幀標(biāo)志的上升沿后，列計數(shù)器x_cnt清0，在行標(biāo)志有效期間，對列計數(shù)器進(jìn)行計數(shù)，記滿1280為一行數(shù)據(jù)，行計數(shù)器加1；最后，輸出數(shù)據(jù)的有效使能信號，供下一級圖像格式轉(zhuǎn)換模塊使用。

部分源代碼如下：

2.3 圖像格式轉(zhuǎn)換模塊設(shè)計

由于在MT9M111圖像傳感器的配置中，采用原始的Bayer輸出格式，使得其每次只產(chǎn)生一種顏色分量的響應(yīng)值，而FPGA后續(xù)設(shè)計需要4∶4∶4的RGB顏色，因此需要對顏色分量進(jìn)行處理。

本模塊設(shè)計需要大量的移位寄存器，如果全部采用FPGA內(nèi)部的觸發(fā)器串聯(lián)構(gòu)成的話，需要2560個10bit的觸發(fā)器，會導(dǎo)致LE中的觸發(fā)器資源緊張，可能會出現(xiàn)最終邏輯資源不夠用的情況。在Altera FPGA中，內(nèi)嵌的M512和M4K專用IP存儲模塊，可以被用來支持移位寄存器模式，不僅可以節(jié)省觸發(fā)器資源，同時也減少了布線資源。通過調(diào)用Altera的IP核生成器產(chǎn)生移位寄存器，數(shù)據(jù)寬度為10bits，抽頭數(shù)(Taps)為2，如圖4所示。

圖4 調(diào)用IP核生成移位寄存器

圖5 存儲器乒乓操作原理圖

2.4 圖像數(shù)據(jù)緩存控制模塊設(shè)計

由 于MT9M111工作時鐘為25MHZ，因此圖像數(shù)據(jù)的接收、格式轉(zhuǎn)換是在25MHZ時鐘頻率下進(jìn)行的。而FPGA板上輸入時鐘頻率為50MHZ，因此會產(chǎn)生異步時鐘域問題。設(shè)計中采用異步FIFO進(jìn)行數(shù)據(jù)緩沖。同理，由于液晶屏輸出像素時鐘頻率為19.28MHZ，SDRAM控制器使用的時鐘為輸入時鐘經(jīng)過FPGA內(nèi)部的PLL兩倍頻后的100MHZ，因此在SDRAM控制器與液晶屏顯示控制模塊之間也通過異步FIFO進(jìn)行數(shù)據(jù)緩沖。

為了滿足視頻圖像實時采集和顯示的需要，視頻數(shù)據(jù)的接收和顯示需同時進(jìn)行。而SDRAM作為單端口器件，不能同時進(jìn)行數(shù)據(jù)的寫入和讀出。要實現(xiàn)同時讀寫，必須采用乒乓操作來完成，原理如圖5所示。具體方法是通過設(shè)計SDRAM控制器接口和FIFO緩沖接口，輪流對一片SDRAM中的兩塊BANK進(jìn)行操作，當(dāng)傳感器發(fā)送數(shù)據(jù)至SDRAM時，寫入BANK0，此時顯示控制可以從BANK1取數(shù)據(jù)，并且傳感器發(fā)送一幀數(shù)據(jù)的時間與顯示器取出一幀數(shù)據(jù)的時間相同；當(dāng)傳感器繼續(xù)發(fā)送數(shù)據(jù)時，寫入BANK1，同時顯示控制可以從BANK0取數(shù)據(jù)，如此不斷循環(huán)。這樣就可以有效地利用和節(jié)省存儲器資源，并實現(xiàn)視頻圖像的實時采集和顯示。

2.5 顯示控制模塊設(shè)計

顯示控制模塊LCM Controller用于按照TD036THEA3液晶屏的時序要求，產(chǎn)生輸出幀和行控制信號，通過讀取FIFO中的數(shù)據(jù)，輸出RGB數(shù)據(jù)，完成液晶屏的顯示控制。其時鐘頻率為19.28MHZ，是通過對系統(tǒng)時鐘分頻得到的。

部分實現(xiàn)代碼如下：

圖6 Image capture模塊仿真測試時序圖

3 系統(tǒng)的測試

通過編寫測試代碼，采用Modelsim仿真工具對整個FPGA中的各個模塊進(jìn)行仿真測試。圖6為Image capture模塊的仿真測試時序圖，其他模塊的仿真測試方法類似，不再贅述。

Image capture模塊是系統(tǒng)中的關(guān)鍵部分，它根據(jù)MT9M111圖像傳感器輸入的行有效信號、幀有效信號，采集像素數(shù)據(jù)，提供給后續(xù)模塊進(jìn)行格式轉(zhuǎn)換、顯示輸出等。

如圖中所示，輸入時鐘頻率為25MHZ，在系統(tǒng)復(fù)位為高的情況下，當(dāng)幀有效標(biāo)志和行有效標(biāo)志均為高時，對輸入數(shù)據(jù)進(jìn)行采樣，同時x_cont計數(shù)器不斷加一；當(dāng)一行結(jié)束的時候，y_cont計數(shù)器加1，完成有效圖像數(shù)據(jù)的采樣。

通過對整個系統(tǒng)的實際測試，在50MHZ頻率下，達(dá)到的指標(biāo)如下：實時性：25幀/秒；最大功耗：3.5W。連續(xù)采集和顯示視頻圖像的質(zhì)量和穩(wěn)定性也很高。

4 結(jié)論

本文介紹了一種采用FPGA作為核心控制器同時實現(xiàn)外圍部件接口控制邏輯的視頻圖像實時采集和顯示系統(tǒng)實例。敘述了各功能模塊和接口電路的設(shè)計方法、測試方法。給出了異步時鐘處理、調(diào)用IP核生成移位寄存器、SDRAM存儲器乒乓式操作等FPGA應(yīng)用設(shè)計中的一些難點(diǎn)問題的處理方法。通過仿真測試和實際驗證，該系統(tǒng)在快速性、穩(wěn)定性及體積、功耗、成本等方面均具有較優(yōu)越的性能。表明，利用FPGA進(jìn)行視頻圖像信息采集和顯示系統(tǒng)設(shè)計，是降低產(chǎn)品體積、功耗，提高快速性、穩(wěn)定性的有效途徑。

[1]肖文才, 樊豐.視頻實時采集系統(tǒng)的FPGA設(shè)計[J].中國有線電視, 2006(2l)∶ 2104-2108.

[2]韓相軍, 關(guān)永, 王萬森.嵌入式視頻采集系統(tǒng)的設(shè)計與實現(xiàn)[J].微計算機(jī)信息, 2006, 22(1-2)∶ 26-28.

[3]Chris Roven.IP重用和嵌入式SOC開發(fā)的邏輯方法[J].電子產(chǎn)品世界, 2005(8)∶ 115-116.

[4]陳朗, 王瑞.MPEG-4系統(tǒng)中基于FPGA實現(xiàn)數(shù)據(jù)采集及預(yù)處理[J].微計算機(jī)信息, 2005, 2l(9-3)∶ 109-111.

[5]科夫曼.基于Verilog語言的實用FPGA設(shè)計[M].北京∶ 科學(xué)出版社, 2000.

[6]孫愷, 程世恒.NiosⅡ系統(tǒng)開發(fā)設(shè)計與應(yīng)用實例[M].北京∶ 北京航空航天大學(xué)出版社, 2007.

[7]高韜, 趙建濤.視頻壓縮理論及其技術(shù)發(fā)展.電子技術(shù)應(yīng)用[J], 2007 (11)∶ 3-6.

[8]尹德安, 李欣.基于FPGA的視頻采集控制設(shè)計[J].微計算機(jī)信息, 2006, 22(9-2)∶ 159-160.