四目立體測量圖像同步采集存儲(chǔ)系統(tǒng)的設(shè)計(jì)

王愛君，王宏濤，石東雨

南京航空航天大學(xué)機(jī)械電子工程系，江蘇南京 210016

四目立體測量圖像同步采集存儲(chǔ)系統(tǒng)的設(shè)計(jì)

王愛君，王宏濤，石東雨

南京航空航天大學(xué)機(jī)械電子工程系，江蘇南京 210016

運(yùn)用四目立體測量技術(shù)實(shí)現(xiàn)具有復(fù)雜曲面形狀物體的逆向設(shè)計(jì)，在航空、航天、汽車和造船等工業(yè)領(lǐng)域具有廣泛需求。設(shè)計(jì)了用于四目立體測量的圖像同步采集存儲(chǔ)系統(tǒng)，采用FPGA作為控制器，利用Camera Link接口連接攝像機(jī)和FPGA，觸發(fā)采集、傳輸圖像數(shù)據(jù)；采用外部動(dòng)態(tài)隨機(jī)存儲(chǔ)器SDRAM和FPGA內(nèi)部FIFO相結(jié)合緩存圖像數(shù)據(jù)；采用USB2.0接口芯片實(shí)現(xiàn)FPGA與計(jì)算機(jī)數(shù)據(jù)通信。利用軟件ModelSim完成系統(tǒng)各功能模塊時(shí)序邏輯仿真，實(shí)驗(yàn)結(jié)果表明系統(tǒng)能夠完成四目立體測量圖像同步采集存儲(chǔ)任務(wù)。

四目立體測量；FPGA；圖像采集；圖像存儲(chǔ)；數(shù)據(jù)通信

四目立體測量系統(tǒng)廣泛應(yīng)用于航空、航天、汽車及造船等工業(yè)領(lǐng)域［1-2］，系統(tǒng)使用4個(gè)位置相對固定的攝像機(jī)，分別從不同視角同時(shí)獲取同一物體的多幅圖像，利用視差原理計(jì)算出物體的三維信息，完成不同視角測量數(shù)據(jù)的自動(dòng)拼合，從而獲取具有復(fù)雜曲面形狀的物體三維外形輪廓數(shù)據(jù)。四目立體測量系統(tǒng)中有4個(gè)攝像機(jī)與計(jì)算機(jī)間需要進(jìn)行圖像數(shù)據(jù)通訊，數(shù)據(jù)存儲(chǔ)量大，對圖像采集的同步性和數(shù)據(jù)傳輸速度提出了很高要求。在此，針對四目立體測量系統(tǒng)設(shè)計(jì)并實(shí)現(xiàn)了一種圖像同步采集、存儲(chǔ)方法。

1 系統(tǒng)硬件組成

如圖1所示，系統(tǒng)主要由圖像采集模塊、圖像存儲(chǔ)模塊、通信模塊及外圍輔助模塊組成。系統(tǒng)主控制器選用Altera公司的Cyclone III系列FPGA芯片EP3C40F484C8；攝像機(jī)選用德國Basler區(qū)域掃描攝像機(jī)Aviator avA1000，該攝像機(jī)采用Camera Link標(biāo)準(zhǔn)接口［3］，支持串行LVDS格式信號。圖像采集模塊中每個(gè)攝像機(jī)均需要一個(gè)Camera Link接口電路與FPGA連接，接口電路中主要有DS90CR288、DS90LV047A及DS90LV019芯片，分別實(shí)現(xiàn)圖像數(shù)據(jù)采集、攝像機(jī)控制信號傳輸、攝像機(jī)與FPGA間的串行通信。圖像存儲(chǔ)模塊緩存測量過程中的圖像數(shù)據(jù)，測量過程中每個(gè)攝像機(jī)采集4張被測物體圖像，攝像機(jī)分辨率為1024×1024，每張圖片大小為3 M，故需要采集圖像數(shù)據(jù)量為4×4×3＝48 M；設(shè)計(jì)圖像數(shù)據(jù)采樣頻率為20 MHz，圖像數(shù)據(jù)經(jīng)接收芯片DS90CR288轉(zhuǎn)換為28位并行數(shù)據(jù)，其中24位為圖像數(shù)據(jù)，3位為同步信號，1位為保留位，則圖像數(shù)據(jù)傳輸速率為4×24×20＝1920 Mbps，SDRAM的最高數(shù)據(jù)帶寬為133×16＝2 128 Mbps，故選用三星公司SDRAM芯片K4S561632A，可以滿足采集要求，其存儲(chǔ)容量為4 M×16 Bit×4 Banks。通信模塊負(fù)責(zé)系統(tǒng)與計(jì)算機(jī)之間圖像數(shù)據(jù)的通訊，USB2.0接口芯片選用Cypress公司的EZ-USB FXZ系列芯片CY7C68013，該器件指令周期快、功耗小、性價(jià)比高，支持12 Mbps的全速傳輸和480 Mbps的高速傳輸。外圍輔助模塊設(shè)計(jì)JTAG在線調(diào)試接口和AS下載接口，為在線調(diào)試、程序下載提供了便利。

圖1 系統(tǒng)硬件結(jié)

2 圖像數(shù)據(jù)采集與存儲(chǔ)

2.1 圖像數(shù)據(jù)采集

根據(jù)攝像機(jī)觸發(fā)曝光時(shí)序圖，攝像機(jī)由外部采集開始觸發(fā)信號ExASTrig及外部幀開始觸發(fā)信號ExFSTrig共同控制觸發(fā)曝光。設(shè)計(jì)中將4個(gè)攝像機(jī)各自的觸發(fā)控制芯片DS90LV047A的輸入引腳DIN1及DIN2分別與FPGA通用I／O引腳相連，F(xiàn)P-GA通過DIN1引腳給4個(gè)攝像機(jī)提供ExFSTrig信號，通過DIN2引腳給4個(gè)攝像機(jī)提供ExASTrig信號。在攝像機(jī)觸發(fā)程序中FPGA首先給ExASTrig信號高電平，攝像機(jī)進(jìn)入“等待幀開始觸發(fā)”采集狀態(tài)，下一時(shí)鐘周期給ExFSTrig信號高電平，攝像機(jī)退出“等待幀開始觸發(fā)”采集狀態(tài)開始幀曝光和數(shù)據(jù)讀出，芯片DS90CR288接收圖像數(shù)據(jù)，當(dāng)幀同步信號FVAL、行同步信號LVAL及數(shù)據(jù)有效同步信號DVAL都為高電平時(shí)，圖像數(shù)據(jù)有效，可以進(jìn)行數(shù)據(jù)傳輸。由于FPGA采用并行設(shè)計(jì)思路，位于不同al-ways語句塊中的攝像機(jī)觸發(fā)控制程序在每個(gè)時(shí)鐘上升沿同時(shí)執(zhí)行，實(shí)現(xiàn)了4個(gè)攝像機(jī)同步觸發(fā)采集圖像數(shù)據(jù)。

2.2 圖像數(shù)據(jù)緩沖存儲(chǔ)

四目立體測量的圖像數(shù)據(jù)采集量大，因此設(shè)計(jì)了運(yùn)用SDRAM實(shí)現(xiàn)圖像數(shù)據(jù)緩沖存儲(chǔ)的功能［4-5］。SDRAM操作時(shí)序復(fù)雜，需要設(shè)計(jì)控制器控制數(shù)據(jù)讀取及存儲(chǔ)，圖2所示為SDRAM控制器結(jié)構(gòu)圖。

圖2 SDRAM控制器結(jié)構(gòu)

因數(shù)據(jù)接收芯片DS90CR288輸出的數(shù)據(jù)時(shí)鐘頻率與SDRAM讀寫頻率屬于不同時(shí)鐘域，故需要采用異步FIFO作為數(shù)據(jù)輸入與輸出的緩存。異步FIFO數(shù)據(jù)存儲(chǔ)部分在FPGA為雙口RAM，利用開發(fā)軟件Quartus II調(diào)用宏模塊生成雙口RAM，如圖3所示，其擁有相互獨(dú)立的讀時(shí)鐘和寫時(shí)鐘。

接口控制模塊通過狀態(tài)機(jī)設(shè)計(jì)方法［6］整體控制SDRAM不同狀態(tài)轉(zhuǎn)換，包含初始化操作狀態(tài)機(jī)、讀寫及自動(dòng)刷新操作狀態(tài)機(jī)，完成SDRAM初始化、定時(shí)刷新和讀寫等操作的控制。初始化由計(jì)數(shù)器控制在系統(tǒng)上電延時(shí)200 μs后，先由一個(gè)預(yù)充電指令完成對所有頁的預(yù)充電，然后執(zhí)行8個(gè)刷新指令，接著通過模式寄存器配置指令完成SDRAM的工作模式配置。刷新控制在程序中通過計(jì)數(shù)器來完成，當(dāng)?shù)竭_(dá)規(guī)定的計(jì)數(shù)周期200 μs時(shí)，向SDRAM發(fā)出刷新請求，直到SDRAM完成刷新操作，并發(fā)出刷新應(yīng)答信號，計(jì)數(shù)器重新賦值開始下一次的計(jì)數(shù)。初始化過程結(jié)束以后，讀寫控制部分接收并分析系統(tǒng)的讀寫信號和地址信息，進(jìn)入讀寫狀態(tài)機(jī)。

命令模塊包括初始化狀態(tài)寄存器init_state［4：0］和讀寫狀態(tài)寄存器work_state［3∶0］，分別用于完成SDRAM初始化和讀寫操作，經(jīng)過仲裁機(jī)制控制接口模塊將寄存器值傳送給命令模塊產(chǎn)生相應(yīng)的操作指令［7］。

數(shù)據(jù)路徑模塊負(fù)責(zé)在讀、寫命令期間處理數(shù)據(jù)的通路操作，DQ是雙向數(shù)據(jù)線，用來傳輸從SDRAM讀出數(shù)據(jù)和向SDRAM寫入數(shù)據(jù)，程序中由寄存器work_state［3∶0］控制讀寫狀態(tài)轉(zhuǎn)換，在讀出狀態(tài)下，由計(jì)數(shù)器cnt_clk［8∶0］控制連續(xù)讀出256字的數(shù)據(jù)到輸出FIFO中；在寫入狀態(tài)下，連續(xù)寫入數(shù)據(jù)到輸入FIFO中。圖4所示為SDRAM控制器寫數(shù)據(jù)仿真圖，從圖中可以看出，首先SDRAM控制器發(fā)出行有效命令（10011），選中了第0個(gè)邏輯塊的第0行，然后在2個(gè)時(shí)鐘周期后，發(fā)出寫命令（10100，圖中光標(biāo)位置），列地址為0，同時(shí)不加延遲地把第一個(gè)數(shù)據(jù)0x0000放在SDRAM的數(shù)據(jù)總線上，命令執(zhí)行一次，寫入8個(gè)16 bit數(shù)據(jù)。在寫命令時(shí)，地址線的值為0x400，其中4對應(yīng)A10，設(shè)置為1，表示允許自動(dòng)預(yù)充電，SDRAM在每次讀取操作后，邏輯為1的數(shù)據(jù)被讀取后會(huì)放電，很有可能會(huì)導(dǎo)致其邏輯值變?yōu)?，所以需要再寫入數(shù)據(jù)，保證讀取后值不丟失。

圖4 SDRAM控制器寫數(shù)據(jù)仿真波形圖

3 圖像數(shù)據(jù)通信

設(shè)定USB接口芯片CY7C68013工作在Slave FIFO模式，圖5所示為通信讀寫FIFO控制器。

rst為FPGA復(fù)位信號；clk為時(shí)鐘輸入信號；u_ flaga、u_flagb、u_flagc為USB接口，flaga_led、flagb_ led、flagc_led分別表示CY7C68013的端點(diǎn)FIFO FL-AGA、FLAGB、FLAGC的狀態(tài)；u_ifclk輸出時(shí)鐘提供芯片Slave FIFO模式下的工作時(shí)鐘；u_slwr為FIFO讀使能，u_slrd為FIFO寫使能；u_sloe為FIFO輸出使能，當(dāng)u_sloe無效時(shí)數(shù)據(jù)總線不能輸出有效數(shù)據(jù)，u_addr0和u_addr1為端點(diǎn)選擇信號，不同信號組合決定EP2、EP4、EP6和EP8其中一個(gè)緩沖器與FD總線連接；data為雙向數(shù)據(jù)線。根據(jù)通信時(shí)序編程，生成狀態(tài)機(jī)如圖6所示。

通信中固件程序運(yùn)行于CY7C68013內(nèi)部，完成接口數(shù)據(jù)傳輸功能，用于控制硬件完成預(yù)期設(shè)備功能，Cypress公司為FX2固件開發(fā)提供了固件程序框架及相關(guān)的庫文件，用戶在TD_Init（）、TD_Poll（）等函數(shù)中添加特定功能的代碼即可完成設(shè)計(jì)。USB設(shè)備驅(qū)動(dòng)程序處于設(shè)備端固件和主機(jī)應(yīng)用程序之間，負(fù)責(zé)對底層硬件進(jìn)行操作，主要作用是使操作系統(tǒng)能夠識(shí)別USB設(shè)備，并建立起主機(jī)和設(shè)備端之間的通訊［8］。

圖5 通信讀寫FIFO控制器

圖6通信控制器狀態(tài)機(jī)

4 實(shí)驗(yàn)

為驗(yàn)證系統(tǒng)SDRAM數(shù)據(jù)讀取與存儲(chǔ)功能，設(shè)計(jì)測試應(yīng)用程序在圖7所示實(shí)驗(yàn)平臺(tái)進(jìn)行測試實(shí)驗(yàn)，實(shí)驗(yàn)平臺(tái)由上位機(jī)、控制電路板、程序下載器及電源等構(gòu)成。測試開始前，將系統(tǒng)控制硬件平臺(tái)與計(jì)算機(jī)相連，安裝相應(yīng)驅(qū)動(dòng)程序，準(zhǔn)備工作完成后進(jìn)入測試主界面，按照如下步驟進(jìn)行測試：

圖7 實(shí)驗(yàn)平臺(tái)

1）在測試界面中輸入十六進(jìn)制測試圖像數(shù)據(jù)，點(diǎn)擊“發(fā)送”命令按鈕，F(xiàn)PGA中的DMA接口響應(yīng)上位機(jī)命令接收測試圖像數(shù)據(jù)，并將數(shù)據(jù)存儲(chǔ)內(nèi)部FIFO中。

2）FPGA數(shù)據(jù)控制模塊從FIFO中取出測試圖像數(shù)據(jù)，并根據(jù)SDRAM寫操作時(shí)序?qū)?shù)據(jù)寫入SDRAM，并向上位機(jī)發(fā)送數(shù)據(jù)存儲(chǔ)完成指令，如圖8所示。

3）點(diǎn)擊“接收”按鈕后，F(xiàn)PGA響應(yīng)上位機(jī)命令，根據(jù)SDRAM讀操作時(shí)序?qū)y試圖像數(shù)據(jù)從SDRAM中讀出，并存入內(nèi)部FIFO中，再由DMA接口自動(dòng)將測試圖像數(shù)據(jù)傳輸給上位機(jī)，如圖9所示。

圖8 數(shù)據(jù)發(fā)送測試界面

圖9 數(shù)據(jù)接收測試界面

通過以上實(shí)驗(yàn)過程可以看出，發(fā)送的測試圖像數(shù)據(jù)與接收的圖像數(shù)據(jù)相同，驗(yàn)證了所設(shè)計(jì)的圖像同步采集存儲(chǔ)系統(tǒng)可正確實(shí)現(xiàn)圖像采集及存儲(chǔ)。

5 結(jié)束語

四目立體測量技術(shù)是近年來興起的一種獲取物體三維輪廓信息的技術(shù)，可以廣泛應(yīng)用于航空、航天、汽車和造船等工業(yè)領(lǐng)域的產(chǎn)品逆向設(shè)計(jì)。本文設(shè)計(jì)了一種用于四目立體測量的圖像同步采集存儲(chǔ)系統(tǒng)，系統(tǒng)設(shè)計(jì)時(shí)選用FPGA作為主控制器、運(yùn)用Camera Link接口電路實(shí)現(xiàn)圖像采集、使用SDRAM芯片實(shí)現(xiàn)圖像存儲(chǔ)、采用USB2.0接口實(shí)現(xiàn)系統(tǒng)與計(jì)算機(jī)間圖像數(shù)據(jù)的通訊。

根據(jù)測量時(shí)所使用的攝像機(jī)的性能參數(shù)選取各芯片的參數(shù)，以達(dá)到圖像采集的數(shù)據(jù)量、圖像數(shù)據(jù)傳輸速率的要求。對所設(shè)計(jì)的圖像同步采集存儲(chǔ)系統(tǒng)的實(shí)驗(yàn)測試結(jié)果表明，系統(tǒng)實(shí)現(xiàn)了圖像采集、存儲(chǔ)和通訊過程的正確性，可應(yīng)用于四目立體測量解決實(shí)際工程問題。

［1］SHEN H，SHI Y，YAO Z.Numerical simulation of the laser forming of plates using two simultaneous scans［J］.Compu-tational Materials Science，2006，37（3）：239-245.

［2］MUSTAFAH Y M，NOOR R，HASBI H，et al.Stereo vision images processing for real-time object distance and size measurements［C］／／International Conference on Computer and Communication Engineering.Kuala Lumpur，Malaysia，2012：659-663.

［3］XU Zhiyue，CHEN Yanpeng，Xian ZHANG.Design of serial image acquisition system based on Camera Link［C］／／IEEE Conference on Industrial Electronics and Applications. Singapore，Singapore，2012：1804-1809.

［4］YAN Bei，SUN Yuefeng，DING Fengfeng，et al.Design of CMOS image acquisition system based on FPGA［C］／／6th IEEE Conference on Industrial Electronics and Applications.Beijing，China，2011：1726-1730.

［5］XU Guosheng.The study on real-time data processing based on CCD scanning and detecting device on FPGA［C］／／IEEE International Conference on Intelligent Computing and Intelligent Systems.Shanghai，China，2009：81-84.

［6］夏宇聞.Verilog數(shù)字系統(tǒng)設(shè)計(jì)教程［M］.北京：北京航空航天大學(xué)出版社，2008：114-170.

［7］王明富，楊世洪.大面陣CCD圖像實(shí)時(shí)顯示系統(tǒng)中的SDRAM控制器設(shè)計(jì)［J］.計(jì)算機(jī)應(yīng)用，2009，5（5）：1449-1451.

［8］ZHAO Yuhang，MA Muyan.The research for implementation of FPGA＇s interface based on USB 2.0 controller［C］／／6th International Conference on Wireless Communications Networ-king and Mobile Computing.Chengdu，China，2010：1-4.

The design of image synchronous acquisition and storage system within quad-nocular stereo measurement

WANG Aijun，WANG Hongtao，SHI Dongyu
College of Mechanical and Electrical Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China

Make use of techniques of quad-nocular stereo measurement to realize the reversal design of objects which have complex free surface，which is widely needed in many industrial fields such as aerospace，automobile and shipbuilding.In this paper，an image synchronous acquisition and storage system is designed for quad-nocular stere-o measurement in this paper.By using FPGA has been chosen as main controller，the system utilizes Camera Link data interface circuit is used to connect cameras with FPGA to trigger to acquire and transmit image data.SDRAM and inner FIFO of FPGA serve as buffer storage to store image data.USB2.0 interface chip is applied to realize data communication between FPGA and computer.The time sequence and logic simulation of every module of the system has been completed through ModelSim software，the experimental result shows the designed system can meet the re-quirement of synchronous acquisition and image storage.

quad-nocular stereo measurement；FPGA；image acquisition；image storage；data communication

10.3969／j.issn.1009-671X.201310021

TP271

A

1009-671X（2014）05-023-05

http：／／www.cnki.net／kcms／doi／10.3969／j.issn.1009-671X.201310021.html

2013-10-29.

日期：2014-09-22.

江蘇省自然科學(xué)基金資助項(xiàng)目（BK2009382）.

王愛君（1988-），男，碩士研究生；

王宏濤（1968-），女，教授，博士生導(dǎo)師.

王宏濤，E-mail：meehtwang＠nuaa.edu.cn.