熱成像傳感器動靜態(tài)成像系統(tǒng)設計

李金龍, 王喆垚

(清華大學 微電子研究所，北京 100084)

?

熱成像傳感器動靜態(tài)成像系統(tǒng)設計

李金龍, 王喆垚

(清華大學 微電子研究所，北京 100084)

摘要:為測試研究室開發(fā)的熱成像傳感器性能與成像質(zhì)量，設計了成像傳感器動靜態(tài)成像與圖像算法驗證系統(tǒng)。系統(tǒng)能夠捕獲成像傳感器靜態(tài)圖像，并能實時成像，具有通用性。數(shù)據(jù)的采集和處理應用FPGA+DSP開發(fā)板實現(xiàn)。數(shù)據(jù)傳輸基于CY7C68013芯片以塊同步數(shù)據(jù)傳輸方式，實現(xiàn)了無縫同步方式高速傳輸。基于VS2010編程環(huán)境和開源機器視覺庫編寫了接收、存儲以及處理圖像數(shù)據(jù)應用程序平臺。測試表明:系統(tǒng)能夠以40 Mbyte/s速率數(shù)據(jù)傳輸，用于實驗室開發(fā)的熱成像傳感器工作良好。

關鍵詞：實時； 圖像采集； 同步傳輸； 成像系統(tǒng)

0引言

熱成像圖像與可見光成像圖像不同，分辨率低，器件噪聲大，相關性強，辨識度低。目前關于新開發(fā)成像傳感器驗證基本是靜態(tài)成像的獲取，有關實時成像質(zhì)量和動態(tài)處理算法驗證應用不足，通用性差，成像質(zhì)量驗證環(huán)節(jié)與板級成像系統(tǒng)開發(fā)環(huán)節(jié)脫離,且傳感器原始成像圖像需要做很多算法研究和處理才能真正成像。因此，為實時、快捷地對一種成像傳感器成像質(zhì)量觀測和針對其成像進行算法研究，為板級成像系統(tǒng)研發(fā)做鋪墊，設計一種模塊化、通用型陣列成像及其算法驗證系統(tǒng)平臺非常有意義。

陣列傳感器成像系統(tǒng)設計，主要分三個方面：數(shù)據(jù)獲取與預處理、數(shù)據(jù)傳輸、圖像處理。主流數(shù)據(jù)獲取方案有嵌入式和非嵌入式兩種，前者主要是基于現(xiàn)場可編程門陣列(FPGA)建立以處理器為核心的可編程片上系統(tǒng)(SOPC)[1,2]。盡管系統(tǒng)搭建設計簡單，但要兼顧控制與處理，處理速率受限,而且芯片和外設資源有限，不適合實時成像與圖像算法的驗證。后者主要是基于數(shù)字信號處理器(DSP)或者FPGA+DSP分立架構(gòu)的成像采集架構(gòu)[3]。在數(shù)據(jù)傳輸方面，外設部件互連標準( PCI)總線[4]和通用串行總線(USB)[5]傳輸是論文中出現(xiàn)的兩種方式。相比前兩者，后者簡單方便、傳輸速率高及通用性好。數(shù)據(jù)處理通常在PC上實現(xiàn)，大致分為虛擬儀器實現(xiàn)和編程實現(xiàn)兩種[6]。相比虛擬儀器實現(xiàn)，編程設計實現(xiàn)后期處理數(shù)據(jù)靈活，針對性好。在整體系統(tǒng)組成和實現(xiàn)方面，有針對已有成像傳感器和設計用傳感器成像系統(tǒng)實現(xiàn)[7～9]，通用性和配置性較差，平臺性設計不足。基于這樣的需要，本文設計了熱成像傳感器成像質(zhì)量動態(tài)驗證和圖像算法研究的系統(tǒng)。

1硬件系統(tǒng)解決方案

硬件系統(tǒng)主要包括：陣列傳感器、DSP+FPGA開發(fā)板(以下簡稱“開發(fā)板”)、CY7C68013芯片以及PC，結(jié)構(gòu)如圖1。

圖1　硬件系統(tǒng)框架Fig 1　Framework of hardware system

其中，長方形方框的部分是成像傳感器高速采集處理成像系統(tǒng)，用于成像傳感器圖像數(shù)據(jù)的獲取、成像分析和動靜態(tài)圖像處理算法驗證。FPGA作為圖像實時采集系統(tǒng)主體與DSP之間互聯(lián)足夠數(shù)量的IO口。FPGA負責與傳感器接口，負責與CY7C68013芯片、LCD接口與驅(qū)動，負責與DSP的通信。DSP能對FPGA外圍設備和IO口的使用。

FPGA配置有兩個大小均為8MB的數(shù)據(jù)存儲器SRAM和一個大小512 kB的程序存儲器EEPROM。DSP配置有一個4M的16位的程序存儲器FLASH和一個4M的32位的數(shù)據(jù)存儲器SDRAM。FPGA采用EP2C70F672C8，其門數(shù)資源非常豐富，其現(xiàn)場可配置性非常適合信號處理和控制。DSP采用德州儀器的高速浮點型處理器TMS320C6713B，主頻可選配為225/300 MHz，具有強大的并行數(shù)字信號處理能力。

開發(fā)板與電腦之間數(shù)據(jù)傳輸采用CY7C68013芯片，該芯片將USB2.0收發(fā)器，SIE(串行接口引擎)，增強型8051微控制器以及GPIF(可編程外設接口)集成到一個芯片中，功耗低，功能全[5]。該芯片支持全速12 Mbps和高速480 Mbps傳輸，能夠滿足系統(tǒng)數(shù)據(jù)傳輸速率的要求。

實時圖像的接收和處理需要較高的運算速度和大的運算量，需要應用雙線程乃至多線程。PC上集成了豐富的軟硬件系統(tǒng)資源，適合多線程程序的開發(fā)，方便對圖像獲取和實時成像，便捷作為傳感器成像進行處理算法研究，適合作為成像傳感器成像質(zhì)量驗證平臺。

2系統(tǒng)軟件設計與實現(xiàn)

開發(fā)板與傳感器接口采用硬件語言進行模塊化設計，具有現(xiàn)場可配置性，適用于不同成像傳感器成像開發(fā)。開發(fā)板與CY7C68013芯片之間控制依據(jù)芯片固件程序設計為同步Bulk塊傳輸接口。固件程序?qū)⑿酒渲脼樵O備與PC進行數(shù)據(jù)傳輸。固件程序、USB設備驅(qū)動程序和應用程序根據(jù)圖像分辨率大小進行參數(shù)化設計，可根據(jù)圖像傳感器尺寸大小和行數(shù)據(jù)多少進行參數(shù)調(diào)整。

2.1傳感器數(shù)據(jù)采集與USB傳輸接口

本文對實驗室開發(fā)分辨率為160×120雙通道熱成像傳感器和一種的CMOS傳感器(用于系統(tǒng)驗證)進行了傳感器接口與CY7C68013芯片接口程序模塊設計。兩者僅在對傳感器時序產(chǎn)生與控制模塊有區(qū)別，其它完全相同。熱成像傳感器芯片要實現(xiàn)和CMOS傳感器一樣的數(shù)據(jù)采集，并進一步實現(xiàn)成像，除了芯片中各部分電路按逐行讀出控制設計時序工作外，還要設計芯片讀出電路輸出一些時序信號，如像素同步時鐘信號、行同步信號、幀同步信號等。

熱成像傳感器時序與控制模塊程序產(chǎn)生時序控制信號有時鐘clk、重置rst、行選時序WLPLUS(即行輸出有效信號)、行像素控制積分INTEG，ADC使能脈沖ADCEN,ADC數(shù)據(jù)轉(zhuǎn)移至鎖存器的脈沖CTRANS、列選時鐘BLPLUS、計數(shù)BLADD(該信號用于邏輯分析儀測試像素讀取同步性)以及其他一些讀出電路邏輯控制信號。熱成像傳感器讀出控制如下：每一行數(shù)據(jù)開始前，INTEG信號對行像素讀出單元積分放大器清零，然后對象元積分(INTEG高清零，低電平象元單元電流積分轉(zhuǎn)為模擬電壓)。積分放大器積分最后20個周期，ADCEN為高使能ADC進行D/A轉(zhuǎn)換。D/A轉(zhuǎn)換完畢，CTRANS為高電平5個時鐘周期將一行象元數(shù)據(jù)轉(zhuǎn)至鎖存器。數(shù)據(jù)轉(zhuǎn)移至鎖存器后，WLPLUS為高，120個BLPLUS周期對一整行像素數(shù)據(jù)逐一讀取。熱成像傳感器芯片會產(chǎn)生幀同步時鐘信號。依據(jù)芯片讀出電路工作原理，為保持同步性，將WLPLUS，PCLK(采集時鐘反相，時鐘上升沿芯片數(shù)據(jù)有效)分別作為采集控制信號作為行同步信號、像素采集同步信號輸出，與幀同步信號應用于數(shù)據(jù)采集。熱成像傳感器采集模塊產(chǎn)生的時序控制信號如圖2。

圖2　熱成像傳感器數(shù)據(jù)采集時序Fig 2　Data acquisition timing of thermal imaging sensor

模塊硬件語言程序配置FPGA內(nèi)部數(shù)據(jù)采集與傳輸結(jié)構(gòu)如圖3。

圖3　FPGA內(nèi)部數(shù)據(jù)采集與傳輸模塊結(jié)構(gòu)Fig 3　Structure of data acquisition and transmissionmodules in FPGA

該模塊中，傳感陣列輸出的場信號、行信號、像素時鐘、CY7C68013芯片使能接收信號以及8位有效像素數(shù)據(jù)為模塊輸入信號，芯片使能寫與控制信號、同步數(shù)據(jù)輸出信號、場中斷信號、時序控制信號、同步時鐘信號為輸出信號。其中場信號用于通知一幀數(shù)據(jù)開始和作為上傳數(shù)據(jù)信號觸發(fā)CY7C68013芯片中斷，行信號和觸發(fā)信號用于向USB寫數(shù)據(jù)使能，傳感器像素輸出時鐘為CY7C68013芯片同步時鐘信號，處理模塊輸出數(shù)據(jù)接CY7C68013芯片低8位數(shù)據(jù)線。由于固件程序?qū)Y7C68013芯片控制引腳配置為高電平有效，其它接口設置為低電平信號。

2.2固件程序與驅(qū)動程序

芯片公司為CY7C68013芯片提供固件編程框架，用戶只需在程序框架下根據(jù)實現(xiàn)目標設計自己的固件程序，該程序框架是一個自循環(huán)主程序框架和調(diào)用子程序。子程序有4個用戶函數(shù)和一個中斷處理函數(shù)：TD_Poll()，芯片配置函數(shù)TD_Init()，掛起函數(shù) TD_Suspend()，喚醒函數(shù)TD_Resume()以及ISR_EXTR0()。固件程序流程如圖4。

圖4　固件程序框架流程Fig 4　Framework flow chart of firmware program

根據(jù)成像傳感器數(shù)據(jù)非連續(xù)、數(shù)據(jù)量大、要求速率高的特點，編寫固件程序時有針對性地對芯片初始化函數(shù)，并設計中斷處理函數(shù)。芯片配置函數(shù)，將CY7C68013芯片配置為8位Bulk同步設備模式高速傳輸。中斷函數(shù)收到場信號變化觸發(fā)響應中斷，設置數(shù)據(jù)接收允許。該設計能夠使固件程序?qū)崿F(xiàn)辨別圖像開始和幀頻控制傳輸。修改中斷函數(shù)可以得到不同幀頻的圖像數(shù)據(jù)接收。驅(qū)動程序是固件程序和用戶應用程序之間的橋梁。驅(qū)動程序是在提供框架的基礎上對相關參數(shù)和設備描述進行修改完成。

2.3上位機應用程序

上位機程序設計是在添加并配置開源機器視覺庫的VS2010軟件開發(fā)環(huán)境上編寫的面向用戶的應用程序。為解決實時圖像采集和處理顯示，程序設計采用雙線程。首先MFC程序響應用戶開始消息啟動雙線程。圖像數(shù)據(jù)的接收基于提供的API(應用程序編程接口)庫，系統(tǒng)時間片輪到數(shù)據(jù)接收線程，程序異步接收USB設備上傳的數(shù)據(jù)。每接收一幀圖像存入申請的內(nèi)存隊列，然后隊列指針+1，同時將接收的一幀圖像數(shù)據(jù)傳遞給處理顯示線程，設置顯示線程Flag為真，使能顯示。時間片輪到圖像處理和顯示線程時，顯示線程對圖像數(shù)據(jù)處理然后顯示在位圖控件上。兩個線程交替進行。應用程序響應終止消息，則程序釋放申請內(nèi)存和其他資源，程序流程如圖5。

圖5　采集與處理程序流程圖Fig 5　Flow chart of collection and processing program

應用程序根據(jù)圖像傳感器分辨率大小設置異步等待時間和內(nèi)存隊列每一塊內(nèi)存大小，保證了應用程序采集與處理顯示準確穩(wěn)定。應用程序?qū)@示在圖像顯示控件上的圖像以位圖形式保存。應用程序?qū)崿F(xiàn)了圖像的高速實時接收和圖像處理顯示，支持熱成像傳感器靜態(tài)和動態(tài)圖像處理算法的研究。

3系統(tǒng)測試與結(jié)果

對系統(tǒng)進行測試，在FPGA模塊內(nèi)產(chǎn)生40 MHz的同步時鐘、8位循環(huán)加法計數(shù)器輸出數(shù)據(jù)以及傳輸協(xié)議信號給CY7C68013芯片，上位機程序能夠?qū)崟r接收并以40 Mbyte/s的速率保存數(shù)據(jù)。用帶有簡易鏡頭的CMOS傳感器對系統(tǒng)傳輸速率和穩(wěn)定性進行測試。系統(tǒng)能夠以30 fps的速率穩(wěn)定實現(xiàn)對圖像數(shù)據(jù)采集與處理顯示，CMOS傳感器獲得圖像如圖6。

圖6　系統(tǒng)捕獲CMOS傳感器圖像Fig 6　Image of CMOS sensor captured by system

系統(tǒng)應用于課題組開發(fā)的熱成像傳感器，獲取熱成像傳感器陣列原始圖像數(shù)據(jù)顯示如圖7。圖像大小為120×80(單通道)，是對熱成像傳感器成像數(shù)據(jù)顯示。

圖7　系統(tǒng)獲取熱成像傳感器的圖像Fig 7　Image of thermal imaging sensor acquired by system

系統(tǒng)數(shù)據(jù)獲取、成像、芯片圖像數(shù)據(jù)獲取正常，為下一階段對熱成像傳感器安裝光學系統(tǒng)后的圖像失效元補償、非均勻矯正與增強算法研究與系統(tǒng)開發(fā)提供了系統(tǒng)平臺。

4結(jié)論

相比傳統(tǒng)對開發(fā)傳感器功能和性能的測試，本文設計的傳感器成像質(zhì)量和圖像算法實時驗證系統(tǒng)方案有著實時觀測性、采集速率可調(diào)節(jié)性以及通用性的特點。該平臺實現(xiàn)了成像傳感器數(shù)據(jù)采集，靜態(tài)圖像捕獲和動態(tài)圖像實時顯示，并且支持對被測試傳感器原始圖像處理算法研究。系統(tǒng)方案設計簡潔高效，能夠作為新開發(fā)圖像傳感器成像特點和圖像算法研究系統(tǒng)平臺，在軟硬件設計方面為下一步圖像傳感器成像儀樣機設計工作做了一定鋪墊。

參考文獻:

[1]Lu Y Y,Wang J Z,Chang F W.Development of infrared real-time imaging system based on SOPC[C]∥The 2008 International Conference on Embedded Software and Systems,IEEE Computer Society,2008:63-68.

[2]Liu G,Li J,Ma H.Study of real-time infrared image enhancement algorithm based on FPGA[C]∥The 2009 International Confe-rence on Mechatronics and Automation,IEEE,2009:1882-1886.

[3]Wei H.Designing and development of multi-DSP real-time image processing system based on FPGA[C]∥The 2011 International Conference on Computer Science and Network Technology,IEEE,2011:1263-1265.

[4]Zhao Y,Liu J M,Zhang Q.Research of high speed sampling and processing of dynamic arc image[C]∥2008 International Confe-rence on Wavelet Analysis and Pattern Recognition,IEEE,2008:183-187.

[5]向文芳,邢濤,曹紅兵,等.高速數(shù)據(jù)采集系統(tǒng)的USB接口設計[J].計算機測量與控制,2011,19(10)：2567-2570.

[6]Zhang N,Lü J,Zhou Y,et al.Research on infrared imaging system of UIRFPA based on virtual instrument[C]∥The 10th International Conference on Electronic Measurement & Instruments.IEEE,2011:117-120.

[7]Li H,Zhang S C,Han C,et al.A near infrared imaging detection system based on davinci Platform[C]∥The 9th International Conference on Electronic Measurement & Instruments,IEEE,2009:4—154-4—159.

[8]Oren Dayakc.A low-cost uncooled infrared detector array and its camera electronics[D].AnKara:Middle East Technical University of Turkey,2011.

[9]Wang J,Peng L,Wei L.Design and implementation of a real-time image processing system with modularization and extendibi-lity[C]∥2008 International Conference on Audio,Language and Image Processing,IEEE,2008:798-802.

Design of dynamic and static states imaging system for thermal imaging sensor

LI Jin-long， WANG Zhe-yao

(Institute of Microelectronics,Tsinghua University,Beijing 100084,China)

Abstract:In order to test performance and imaging quality of the developed thermal imaging sensor,dynamic and static states imaging and image algorithm testing system is designed.The system can capture static image of imaging sensor and real-time imaging,and it has versatility.The board of FPGA + DSP is responsible for data acquisition and processing.By bulk synchronous data transmission mode based on CY7C68013 chip,seamless synchronization high-speed transmission of data is realized.An application program platform is developed to receive,save and process image data based on VS2010 programming environment and open source machine vision library.Test result shows that the system can transmit data at the speed of 40 Mbyte/s and the thermal imaging sensor for lab works well.

Key words:real-time; image acquisition; synchronous transmission; imaging system

DOI:10.13873/J.1000—9787(2016)03—0092—04

收稿日期：2015—07—02

中圖分類號：TN 362

文獻標識碼：A

文章編號：1000—9787(2016)03—0092—04

作者簡介:

李金龍(1989-)，男，河南杞縣人，碩士研究生，主要從事熱成像傳感器陣列成像系統(tǒng)與成像算法研究。