高速紅外TDI圖像采集系統(tǒng)設(shè)計(jì)

趙云峰，韓 冰，陳 忻，馬 貝，夏 暉，饒 鵬

高速紅外TDI圖像采集系統(tǒng)設(shè)計(jì)

趙云峰，韓 冰，陳 忻，馬 貝，夏 暉，饒 鵬

（中國(guó)科學(xué)院上海技術(shù)物理研究所，上海 200083）

圖像采集系統(tǒng)在紅外時(shí)間延遲積分（Time Delay Integration，TDI）相機(jī)開發(fā)前期的驗(yàn)證與測(cè)試階段發(fā)揮重要作用。介紹了一套以PXI硬件平臺(tái)和LabVIEW軟件平臺(tái)為基礎(chǔ)開發(fā)的圖像采集系統(tǒng)。該系統(tǒng)采用模塊化、多線程設(shè)計(jì)，具有高速數(shù)據(jù)采集和處理的能力。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)最高達(dá)到約120Mbps的數(shù)據(jù)采集率，可完成8級(jí)TDI圖像的高速實(shí)時(shí)處理與顯示。該系統(tǒng)實(shí)現(xiàn)了對(duì)新型640×8中波紅外數(shù)字式TDI探測(cè)器的數(shù)據(jù)獲取，對(duì)新型探測(cè)器的應(yīng)用有重要的技術(shù)支撐作用。

紅外TDI；圖像采集；LabVIEW；PXI

0 引言

TDI技術(shù)具有在不犧牲空間分辨率和成像系統(tǒng)工作速度的情況下獲得高靈敏度的特性，在空間紅外遙感領(lǐng)域應(yīng)用廣泛[1]。例如，EarthCARE衛(wèi)星上的多譜段成像儀、美國(guó)的中波TDI多光譜成像儀（MTIS）以及SBIRS HEO等預(yù)警衛(wèi)星均采用了紅外TDI技術(shù)[2-3]。

在紅外TDI系統(tǒng)開發(fā)前期的驗(yàn)證與測(cè)試階段，需要搭建圖像采集系統(tǒng)，以便進(jìn)行各項(xiàng)測(cè)試與成像實(shí)驗(yàn)[4]。大量的測(cè)試實(shí)驗(yàn)和較短的開發(fā)時(shí)間要求圖像采集系統(tǒng)需具備可靠性高、易于開發(fā)、擴(kuò)展性強(qiáng)和靈活性高的特點(diǎn)。PXI硬件平臺(tái)具有高帶寬低延時(shí)、可重配置和高可擴(kuò)展性的優(yōu)點(diǎn)。與PXI硬件平臺(tái)配套的LabVIEW軟件平臺(tái)使用圖形化語言編程，界面直觀友好，易于學(xué)習(xí)，包含大量圖像處理、數(shù)學(xué)運(yùn)算和測(cè)試測(cè)量的工具包，可方便、快速地搭建系統(tǒng)，極大地提高了編程效率[5-6]。因此，本文中的圖像采集系統(tǒng)以PXI硬件平臺(tái)和LabVIEW軟件平臺(tái)為基礎(chǔ)開發(fā)。該系統(tǒng)可采集LVDS信號(hào)，實(shí)時(shí)處理并顯示TDI圖像。

1 紅外TDI測(cè)試系統(tǒng)簡(jiǎn)介

紅外TDI成像測(cè)試系統(tǒng)的結(jié)構(gòu)圖如圖1所示，圖像采集系統(tǒng)是整個(gè)成像測(cè)試系統(tǒng)的后端部分。光學(xué)鏡頭、紅外探測(cè)器、前端電路板固定在一維掃描轉(zhuǎn)臺(tái)上，圖像采集系統(tǒng)控制轉(zhuǎn)臺(tái)掃描，探測(cè)器輸出信號(hào)經(jīng)前端電路板轉(zhuǎn)換后通過LVDS通道傳輸?shù)綀D像采集系統(tǒng)。實(shí)驗(yàn)中采用的新型中波紅外數(shù)字式TDI探測(cè)器的主要指標(biāo)如表1所示。

圖1 紅外TDI測(cè)試系統(tǒng)

表1 探測(cè)器技術(shù)指標(biāo)

2 圖像采集系統(tǒng)的硬件架構(gòu)

2.1 外部接口

圖像采集系統(tǒng)與外部有兩個(gè)接口：與一維轉(zhuǎn)臺(tái)之間通過RS232接口通信，以實(shí)現(xiàn)掃描控制；與前端電路板之間通過LVDS通道傳輸圖像數(shù)據(jù)。如圖2所示，圖像采集系統(tǒng)通過6個(gè)LVDS通道與前端連接，分別是1個(gè)50MHz時(shí)鐘信號(hào)CLK，4個(gè)并行的數(shù)據(jù)信號(hào)DATA1～DATA4和1個(gè)數(shù)據(jù)使能信號(hào)EN。每個(gè)數(shù)據(jù)通道在EN有效的14個(gè)時(shí)鐘周期內(nèi)傳輸1個(gè)14bit的圖像數(shù)據(jù)。由表1得，探測(cè)器的最大輸出數(shù)據(jù)率約為120Mbps。該接口可傳輸?shù)淖畲髷?shù)據(jù)率約為200Mbps，可滿足探測(cè)器的采集需求。

圖2 前端電路輸出的LVDS信號(hào)

2.2 內(nèi)部架構(gòu)

如圖3所示，圖像采集系統(tǒng)采用了PXI架構(gòu)，包括機(jī)箱、控制器、外設(shè)模塊3部分，控制器和外設(shè)模塊均通過PXI/PXI-e接口連接在機(jī)箱上。該系統(tǒng)中，機(jī)箱是NI PXIe-1073，控制器是裝有Windows XP操作系統(tǒng)和LabVIEW軟件的計(jì)算機(jī)，外設(shè)模塊是由NI PXI-7952R和NI 6583組成的FlexRIO模塊。該模塊是一款可重新配置的高性能儀器，可通過LabVIEW編程，提供靈活且可定制的輸入輸出接口。它提供32路單端和16路LVDS通道，時(shí)鐘率達(dá)200MHz，滿足了6路50MHz LVDS輸入信號(hào)的需求。同時(shí)，該模塊包含了一個(gè)Virtex-5 FPGA和128MB板載DRAM，具有高速實(shí)時(shí)的數(shù)據(jù)處理能力，可完成部分?jǐn)?shù)據(jù)采集和處理工作，減小了對(duì)控制器的運(yùn)算能力需求。

圖3 系統(tǒng)內(nèi)部硬件架構(gòu)

3 圖像采集系統(tǒng)的軟件實(shí)現(xiàn)

3.1 系統(tǒng)高速處理的需求

該圖像采集系統(tǒng)需具備高速數(shù)據(jù)處理的能力，其原因表現(xiàn)在以下3方面：

第一，TDI成像方式帶來數(shù)據(jù)量的大幅增長(zhǎng)。TDI技術(shù)是使視場(chǎng)沿某一方向掃描，將不同時(shí)刻的同一目標(biāo)所成的圖像信號(hào)累加起來，以提高信噪比。因此，在相同時(shí)間分辨率、空間分辨率和掃描視場(chǎng)的條件下， TDI相機(jī)的數(shù)據(jù)量是單線列掃描相機(jī)的倍（為TDI級(jí)數(shù)）。本系統(tǒng)的數(shù)據(jù)率達(dá)到同等條件下的640元單線列掃描相機(jī)的8倍，約為8×640×1680×14bps＝120Mbps。

第二，片外數(shù)字TDI的實(shí)現(xiàn)方式增加了系統(tǒng)的運(yùn)算量。本文的TDI方式是片外數(shù)字TDI。與模擬TDI和片上數(shù)字TDI不同，片外數(shù)字TDI的TDI操作在圖像采集系統(tǒng)中完成。本系統(tǒng)中，每秒因此增加的加法運(yùn)算量為7×640×1680＝7.5×106次。

第三，非均勻性校正、盲元補(bǔ)償?shù)炔僮髟黾恿讼到y(tǒng)的運(yùn)算量。本系統(tǒng)具備實(shí)時(shí)的非均勻性校正和盲元補(bǔ)償功能，這也會(huì)導(dǎo)致系統(tǒng)運(yùn)算量的增加。例如，本系統(tǒng)的非均勻性校正算法為兩點(diǎn)法[7]，校正每個(gè)像素需要一次加法操作和一次乘法操作。因此每秒增加的運(yùn)算量為8×640×1680＝8.6×106次加法和乘法操作。

總之，多種復(fù)雜的功能需求和高數(shù)據(jù)率對(duì)系統(tǒng)的處理能力提出要求，因此必須優(yōu)化設(shè)計(jì)系統(tǒng)的軟件架構(gòu)。

3.2 處理邏輯流程

該系統(tǒng)進(jìn)行圖像采集的流程圖如圖4所示。

圖像采集的整個(gè)流程包含多項(xiàng)操作，分別是：

1）設(shè)備初始化：設(shè)置FlexRIO的多個(gè)參數(shù)，使其初始化。

2）掃描控制：設(shè)置掃描轉(zhuǎn)臺(tái)的速度和角度，并控制其自動(dòng)往復(fù)掃描。

3）數(shù)據(jù)采集：從6路LVDS中采集到圖像數(shù)據(jù)，實(shí)現(xiàn)從比特流到數(shù)據(jù)流的轉(zhuǎn)化。

4）數(shù)據(jù)存儲(chǔ)：將采集到的數(shù)據(jù)存儲(chǔ)到計(jì)算機(jī)的磁盤中，以供后續(xù)分析。

5）解幀：前端電路輸出的數(shù)據(jù)中，每幀圖像數(shù)據(jù)（640×8個(gè)）前均加入了特定的8個(gè)14bit數(shù)據(jù)，即幀頭。解幀是指不斷從圖像數(shù)據(jù)中查找?guī)^，實(shí)現(xiàn)提取出每幀圖像的功能。

6）圖像預(yù)處理：對(duì)已解幀的圖像進(jìn)行背景減除、非均勻性校正、盲元補(bǔ)償?shù)葓D像預(yù)處理。這里采用的兩點(diǎn)法校正算法應(yīng)用廣泛，且計(jì)算量小，符合高速實(shí)時(shí)處理的要求。盲元補(bǔ)償采用了鄰域?yàn)V波補(bǔ)償?shù)姆椒ā?/p>

圖4 圖像采集流程圖

7）圖像處理：圖像處理的目的是為了得到未TDI的圖像和TDI后的圖像。未TDI的圖像的獲取過程是，直接對(duì)多幀圖像進(jìn)行圖像拼接操作，即將多幀圖像的特定列數(shù)據(jù)抽取出來，再拼成一幅圖像，拼接完成的圖像就是目標(biāo)的未TDI圖像。TDI后的圖像的獲取過程是，首先進(jìn)行TDI處理，然后將多列圖像拼接起來。

8）圖像顯示：在NI Vision工具包的支持下，將未TDI的圖像和進(jìn)行TDI的圖像實(shí)時(shí)顯示在程序前面板上。

3.3 多線程、模塊化設(shè)計(jì)實(shí)現(xiàn)高速處理

為了滿足系統(tǒng)的多種功能需求和高速數(shù)據(jù)處理能力需求，設(shè)計(jì)了模塊化、多線程的軟件架構(gòu)，如圖5所示。該系統(tǒng)包括兩個(gè)主要的VI，即FPGA VI和HOST VI。FPGA VI運(yùn)行在FlexRIO模塊的FPGA上，包括一個(gè)數(shù)據(jù)采集模塊。HOST VI運(yùn)行在計(jì)算機(jī)上，包括多個(gè)模塊。HOST VI的每個(gè)模塊都是一個(gè)單獨(dú)的循環(huán)體，完成相應(yīng)的功能。這種架構(gòu)的優(yōu)點(diǎn)有：第一，LabVIEW是一種自動(dòng)多線程編程語言，可把多個(gè)持續(xù)運(yùn)行的循環(huán)任務(wù)分配到多個(gè)線程中，充分利用多核計(jì)算機(jī)的并行處理能力；第二，每個(gè)模塊只完成特定功能，程序結(jié)構(gòu)簡(jiǎn)單，易于開發(fā)，方便閱讀和調(diào)試。值得注意的是，LabVIEW程序運(yùn)行過程中，循環(huán)體中的數(shù)據(jù)一般只在循環(huán)結(jié)束后才能傳遞到循環(huán)體外。為使圖像數(shù)據(jù)流在多個(gè)循環(huán)體之間傳遞，采用了隊(duì)列進(jìn)行數(shù)據(jù)同步，即A循環(huán)中產(chǎn)生的數(shù)據(jù)存入隊(duì)列，B循環(huán)將隊(duì)列中的數(shù)據(jù)取出進(jìn)行下一步處理。

圖5 模塊化、多線程的軟件架構(gòu)

FPGA VI上的數(shù)據(jù)采集模塊LVDS信號(hào)的采集與傳輸?？刂颇K負(fù)責(zé)整個(gè)采集過程的流程邏輯控制，初始化模塊控制數(shù)據(jù)采集模塊實(shí)現(xiàn)設(shè)備初始化，掃描控制模塊、數(shù)據(jù)存儲(chǔ)模塊、解幀模塊分別實(shí)現(xiàn)掃描控制、數(shù)據(jù)存儲(chǔ)、解幀的功能，圖像處理與顯示模塊實(shí)現(xiàn)圖像預(yù)處理、圖像處理和圖像實(shí)時(shí)顯示。

控制模塊在整個(gè)系統(tǒng)中處于核心地位，通過消息通知器實(shí)現(xiàn)指令流的傳輸。如圖6所示，它采用了循環(huán)事件結(jié)構(gòu)，完成控制其他模塊運(yùn)行狀態(tài)的功能。循環(huán)事件結(jié)構(gòu)是一種常用的LabVIEW程序結(jié)構(gòu)，常用于界面控制或全局控制。該模塊包括多個(gè)事件分支，程序前面板上“開始”或“停止”按鈕按下的動(dòng)作可觸發(fā)對(duì)應(yīng)事件分支，此時(shí)向消息通知器中發(fā)出對(duì)應(yīng)通知，其他模塊通過查詢通知器的狀態(tài)做出對(duì)應(yīng)的響應(yīng)。

圖6 控制模塊（循環(huán)事件結(jié)構(gòu)）程序框圖

HOST VI中的其他模塊均采用了狀態(tài)機(jī)結(jié)構(gòu)。狀態(tài)機(jī)結(jié)構(gòu)也是一個(gè)比較常用的結(jié)構(gòu)模式，能夠應(yīng)對(duì)可能出現(xiàn)的多種工作狀態(tài)和狀態(tài)轉(zhuǎn)移。例如，掃描控制模塊，其程序框圖如圖7所示。該模塊控制一維轉(zhuǎn)臺(tái)的自動(dòng)連續(xù)往復(fù)掃描，并可設(shè)置轉(zhuǎn)動(dòng)的角度、速度和轉(zhuǎn)動(dòng)次數(shù)。該模塊有init、idle、run和stop四個(gè)狀態(tài)分支，run分支下通過一個(gè)for循環(huán)完成掃描往復(fù)控制。

圖7 掃描控制模塊（狀態(tài)機(jī)結(jié)構(gòu)）程序框圖

總之，該系統(tǒng)的軟件設(shè)計(jì)采用了“循環(huán)事件結(jié)構(gòu)”和“狀態(tài)機(jī)結(jié)構(gòu)”的基本模塊，實(shí)現(xiàn)了模塊化設(shè)計(jì)；以命令通知器傳輸指令流，以隊(duì)列傳輸圖像數(shù)據(jù)流，實(shí)現(xiàn)了各個(gè)模塊間的通信與數(shù)據(jù)同步。這種模塊化、多線程的軟件架構(gòu)能夠充分滿足系統(tǒng)復(fù)雜功能的需求，將處理負(fù)荷分解到多個(gè)線程中，充分利用了多核計(jì)算機(jī)的強(qiáng)大處理能力，可滿足TDI圖像采集與處理的需求，也可作為一種通用架構(gòu)適用于紅外與可見成像測(cè)試系統(tǒng)的快速開發(fā)。

4 系統(tǒng)成像實(shí)驗(yàn)及結(jié)果

利用該圖像采集系統(tǒng)，進(jìn)行了一系列成像實(shí)驗(yàn)，完成了圖像采集系統(tǒng)各項(xiàng)功能的調(diào)試與檢測(cè)，并獲取了大量TDI成像的實(shí)驗(yàn)數(shù)據(jù)。實(shí)驗(yàn)計(jì)算機(jī)采用英特爾酷睿2 Q8400處理器，4GB內(nèi)存。多次實(shí)驗(yàn)中，該圖像采集系統(tǒng)均可以完成數(shù)據(jù)存儲(chǔ)、掃描控制、圖像實(shí)時(shí)處理與顯示的功能。當(dāng)探測(cè)器采用最高幀頻讀出時(shí)，CPU和內(nèi)存占用率均不超過50%，且未出現(xiàn)數(shù)據(jù)溢出等異?，F(xiàn)象。圖8(a)和(b)是外場(chǎng)成像實(shí)驗(yàn)中對(duì)同一區(qū)域未TDI和8級(jí)TDI的成像結(jié)果，可以看出TDI運(yùn)算后的圖像與未TDI的圖像相比，對(duì)比度更高，非均勻性更好，細(xì)節(jié)更清晰。對(duì)采集到的黑體輻射圖像進(jìn)行處理可得，TDI處理后，探測(cè)器的非均勻性從11%減小到9%，系統(tǒng)的噪聲等效溫差從57mK降為22mK。這表明數(shù)字TDI可以有效降低系統(tǒng)噪聲水平，提高系統(tǒng)靈敏度，同時(shí)對(duì)探測(cè)器的非均勻性也有一定改善。

但是，圖中的兩幅圖像仍有較高的非均勻性，即圖像存在較明顯的橫條紋，原因可能是系統(tǒng)采用了兩點(diǎn)法進(jìn)行非均勻性校正。兩點(diǎn)法假定探測(cè)器輸出與接收的輻射通量成線性關(guān)系，但這種線性模型過于簡(jiǎn)單，不符合實(shí)際情況。未來可采用更精確的校正算法，如多點(diǎn)校正法、多項(xiàng)式擬合校正算法以及神經(jīng)網(wǎng)絡(luò)法、卡爾曼濾波方法和高階統(tǒng)計(jì)量法等基于場(chǎng)景的非均勻性校正方法[8-9]，進(jìn)一步降低非均勻性。

總體來看，該圖像采集系統(tǒng)運(yùn)行可靠穩(wěn)定，效率較高，完成了預(yù)期的各項(xiàng)功能。

圖8 外場(chǎng)實(shí)驗(yàn)中的成像結(jié)果

5 結(jié)束語

本文從軟硬件架構(gòu)的角度闡述了構(gòu)建一個(gè)圖像采集系統(tǒng)的過程，并通過成像實(shí)驗(yàn)驗(yàn)證其功能。系統(tǒng)中運(yùn)用的“模塊化、多線程”架構(gòu)便于大型圖像采集系統(tǒng)的開發(fā)，能滿足多種復(fù)雜需求。開放式的軟件平臺(tái)LabVIEW和可重配置的硬件平臺(tái)PXI使得該系統(tǒng)具有易于開發(fā)，可靠性和可擴(kuò)展性高的特點(diǎn)和高速實(shí)時(shí)的數(shù)據(jù)采集和圖像處理能力，便于項(xiàng)目開發(fā)前期驗(yàn)證與檢測(cè)階段的大量調(diào)試工作?？傊?，該系統(tǒng)運(yùn)行平穩(wěn)高效，可滿足640×8中波紅外數(shù)字式TDI探測(cè)器數(shù)據(jù)采集的各項(xiàng)需求。不足之處在于，系統(tǒng)的非均勻性校正存在一定問題，這也是今后進(jìn)一步改進(jìn)的方向。

[1] 潘勝達(dá). 紅外TDI掃描相機(jī)信息處理關(guān)鍵技術(shù)研究[D]. 上海: 中科院上海技術(shù)物理研究所, 2013.

PAN Shengda. Study on the information processing technology of infrared TDI scanning camera[D]. Shanghai: Shanghai Institute of Technical Physics, CAS, 2013.

[2] Luis Gomez Rojasa, Mark Chang, Guy Baistera. The EarthCARE multi spectral imager thermal infrared optical unit detection system design[C]//, 2010,7826:1-9.

[3] N S Andreas. Space-based infrared system (SBIRS) system of systems[C]//, 1997(4): 429-438.

[4] 韓冰, 陳忻, 饒鵬, 等. ASIC技術(shù)在長(zhǎng)線列TDI紅外探測(cè)器中的應(yīng)用[J]. 紅外與激光工程, 2015, 44(6): 1733-1738.

HAN Bing, CHEN Xin, RAO Peng. Applications of ASIC in the long array column of infrared TDI detector[J]., 2015, 44(6) : 1733-1738.

[5] 阮奇楨. 我和LabVIEW:一個(gè)NI工程師的十年編程經(jīng)驗(yàn)[M]. 北京: 北京航空航天大學(xué)出版社, 2012.

RUAN Qizhen. LabVIEW and I: Ten years programming experience of an NI Engineer[M]. Beijing: Beihang University press, 2012, 8.

[6] Robert H Bishop. LabVIEW practical tutorial[M]. Beijing: Electronics Industry Press, 2014.

Robert H Bishop. LabVIEW實(shí)踐教程[M]. 北京: 電子工業(yè)出版社, 2014.

[7] 陳銳,談新權(quán). 紅外圖像非均勻性校正方法綜述[J].紅外技術(shù),2002, 24(1):1-3.

CHEN Rui. TAN Xinquan. Study on non-uniformity correction of infrared image[J]., 2002, 24(1): 1-3.

[8] 陳錢. 紅外圖像處理技術(shù)現(xiàn)狀及發(fā)展趨勢(shì)[J]. 紅外技術(shù), 2013, 35(6): 311-318.

CHEN Qian. The status and development trend of infrared image processing technology[J]., 2013, 35(6): 311-318.

[9] 王學(xué)偉, 李珂, 王世立. 紅外焦平面陣列的非均勻性研究[J]. 激光與紅外, 2012(10): 1131-1134.

WANG Xuewei, LI Ke, WANG Shili. Study of non-uniformity in infrared focal plane arrays[J]., 2012(10): 1131-1134.

The Design of a High Speed Infrared TDI Image Acquisition System

ZHAO Yunfeng，HAN Bing，CHEN Xin，MA Bei，XIA Hui，RAO Peng

(,,200083,)

Image acquisition system plays an important role in the validation and testing phase of the early development stage of infrared Time Delay Integration (TDI) cameras. An image acquisition system based on PXI hardware platform and LabVIEW software platform is introduced in this paper. The system, adopting multi-thread and modular design, has the capability of high speed data acquisition and data processing. Experiments show that the system can achieve a data acquisition rate up to 120Mbps, and can process and display 8-stage TDI images in real time. The system has achieved the data acquisition of a new 640×8 digital MWIR TDI detector, which provides important technical support for application of the new detectors.

Infrared TDI，image acquisition，LabVIEW，PXI

TN21

A

1001-8891(2016)11-0975-05

2015-12-02；

2016-05-30.

趙云峰（1989-），男，河南焦作人，博士研究生，主要從事紅外光電技術(shù)研究。E-mail：zhaoyf_08@163.com。

饒鵬（1977-），男，湖北武漢人，研究員，博士，主要從事光電系統(tǒng)工程方面的研究工作。E-mail：Peng_rao@mail.sitp.ac.cn。