LUX13HS的高幀頻實(shí)時(shí)成像系統(tǒng)設(shè)計(jì)

趙 陽(yáng)，孫宏海，楊 航，孫海超，趙 瑜

(1.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所， 長(zhǎng)春 130033；2.中國(guó)科學(xué)院大學(xué)， 北京 100049； 3.中科院航空光學(xué)成像與測(cè)量重點(diǎn)實(shí)驗(yàn)室， 長(zhǎng)春 130033)

高幀頻成像系統(tǒng)又稱高速相機(jī)，具有幀頻快、數(shù)據(jù)傳輸速率大的特點(diǎn)，對(duì)許多領(lǐng)域的研究工作具有重要的輔助作用。比如，在國(guó)防軍事領(lǐng)域可利用高速相機(jī)捕捉高速飛行的動(dòng)態(tài)目標(biāo)運(yùn)動(dòng)軌跡[1-2]。在科學(xué)研究中，高速相機(jī)可以記錄高速變化的實(shí)驗(yàn)過(guò)程，提供更高時(shí)間分辨率的實(shí)驗(yàn)數(shù)據(jù)[3-4]。高幀頻成像系統(tǒng)的核心是高速圖像傳感器。隨著固態(tài)圖像傳感器技術(shù)的發(fā)展，CMOS圖像傳感器因具有集成度高、工藝成熟等特點(diǎn)，內(nèi)部集成了多路AD轉(zhuǎn)換，可以實(shí)現(xiàn)并行傳輸，被廣泛應(yīng)用于高速成像系統(tǒng)設(shè)計(jì)中[5-6]。

目前，國(guó)內(nèi)外已經(jīng)開展了一些CMOS傳感器在高分辨率高幀率下的應(yīng)用研究工作。文獻(xiàn)[7]實(shí)現(xiàn)的相機(jī)成像幀頻為500 fps，分辨率為1 024×1 088，但最終存入的SD卡的儲(chǔ)存容量限制了拍攝時(shí)長(zhǎng)。文獻(xiàn)[8]將獲取到的分辨率為2 048×2 048、幀頻為150 fps的圖像存入由SATA控制器組成的磁盤陣列中，能實(shí)現(xiàn)長(zhǎng)時(shí)間拍攝與存儲(chǔ)，但是幀頻較低，不能即時(shí)處理。文獻(xiàn)[9-11]采用CameraLink、以太網(wǎng)等高速數(shù)據(jù)接口對(duì)CMOS傳感器捕獲到的圖像進(jìn)行實(shí)時(shí)傳輸，能解決拍攝時(shí)長(zhǎng)受限于相機(jī)自身存儲(chǔ)容量的問(wèn)題。但是，為了獲得好的成像效果，獲取數(shù)據(jù)后仍需對(duì)圖像進(jìn)行預(yù)處理，整個(gè)過(guò)程較為繁瑣，計(jì)算機(jī)在處理高速相機(jī)輸出的大量數(shù)據(jù)時(shí)也存在一定困難。一些圖像預(yù)處理與自動(dòng)調(diào)光的算法，如文獻(xiàn)[12]提出的多曝光融合算法、文獻(xiàn)[13-14]提出的區(qū)域加權(quán)調(diào)光算法和文獻(xiàn)[15]提到的指數(shù)平滑法能夠提升圖像視覺(jué)效果和相機(jī)工作環(huán)境適應(yīng)能力，但其硬件實(shí)現(xiàn)僅限于較低幀頻、低分辨率的相機(jī)。

采用LUXIMA公司生產(chǎn)的高速CMOS傳感器LUX13HS，在Xilinx Ultrascale系列FPGA上設(shè)計(jì)了CMOS傳感器成像控制單元、高幀頻圖像數(shù)據(jù)采集單元、緩存單元與傳輸單元，實(shí)現(xiàn)了一個(gè)具有自動(dòng)調(diào)光和圖像預(yù)處理功能的高幀頻成像系統(tǒng)。在分辨率為1 280×720時(shí)，成像幀頻達(dá)到1 666 fps，實(shí)時(shí)傳輸幀頻達(dá)到555 fps。

1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

將高幀頻成像系統(tǒng)分為高速成像模塊、主控模塊和高速接口模塊3個(gè)部分，系統(tǒng)結(jié)構(gòu)和相機(jī)整機(jī)實(shí)物如圖1所示。

圖1 高幀頻成像系統(tǒng)結(jié)構(gòu)框圖與系統(tǒng)實(shí)物圖

高速成像模塊由相機(jī)鏡頭、CMOS圖像傳感器LUX13HS及其相關(guān)電源構(gòu)成。CMOS圖像傳感器將經(jīng)過(guò)鏡頭成像的光信號(hào)轉(zhuǎn)化為電信號(hào)，輸出給主控模塊。主控模塊采用Xilinx公司的Kintex Ultrascale系列現(xiàn)場(chǎng)可編程門陣列XCU060，相機(jī)整體各芯片的驅(qū)動(dòng)時(shí)鐘及控制信號(hào)均由該模塊提供。同時(shí)，在主控模塊讀取圖像灰度信息與直方圖信息，自適應(yīng)控制曝光時(shí)長(zhǎng)，將圖像在DDR4中進(jìn)行緩存與幀采樣，進(jìn)一步預(yù)處理。處理后的圖像進(jìn)行并串轉(zhuǎn)換，經(jīng)由高速CameraLink接口實(shí)時(shí)傳輸。

FPGA頂層設(shè)計(jì)結(jié)構(gòu)如圖2所示。

圖2 FPGA頂層設(shè)計(jì)結(jié)構(gòu)框圖

2 CMOS圖像傳感器簡(jiǎn)介

2.1 LUX13HS圖像傳感器性能介紹

LUX13HS是LUXIMA公司開發(fā)的高幀頻CMOS圖像傳感器芯片。該芯片擁有100萬(wàn)像素，有效像素為1280×864，對(duì)應(yīng)432個(gè)行輸出地址，支持最大核心時(shí)鐘為166 MHz，滿幅下幀率可達(dá)到3 500 fps。在傳感器進(jìn)行開窗時(shí)，可減小讀出的圖像數(shù)據(jù)量，提高成像幀頻。表1列出了該傳感器的參數(shù)。

表1 LUX13HS圖像傳感器參數(shù)

LUX13HS將每個(gè)像素的低2位與高8位分開從不同輸出通道輸出，因此可以靈活選擇相機(jī)輸出圖像深度。

2.2 LUX13HS內(nèi)部結(jié)構(gòu)

LUX13HS單個(gè)像元由7個(gè)晶體管構(gòu)成，具有全局快門的功能，保證了所有像元能同時(shí)啟動(dòng)光積分，避免卷簾快門拍攝高速運(yùn)動(dòng)物體可能產(chǎn)生的果凍效應(yīng)。圖3(a)展示了LUX13HS的像元結(jié)構(gòu)，PD是光電探測(cè)器，SG是像素內(nèi)存，AB門上控制信號(hào)‘PD_n’為低時(shí)擦除PD上的光電荷，為高時(shí)允許進(jìn)行光積分。TX門上的‘TX_n’傳輸脈沖處于低電平使光電荷從PD上轉(zhuǎn)移到像素內(nèi)存SG上，‘TX2_n’作為第2傳輸脈沖，低電平從SG中移除電荷。RST上‘PRST_n’低電平會(huì)重置SG，但傳感器會(huì)在像素讀出時(shí)自動(dòng)重載，所以一般置為低電平。

LUX13HS內(nèi)部框圖如圖3(b)所示，傳感器擁有80個(gè)差分輸出端口，感光區(qū)域可以分成4個(gè)象限。結(jié)構(gòu)上分為頂部讀出模塊和底部讀出模塊兩個(gè)部分，每個(gè)讀出模塊包括采樣電路、放大器和帶有可讀逐次逼近寄存器的ADCs(模數(shù)轉(zhuǎn)換器)寄存器，具有相互獨(dú)立的控制信號(hào)和時(shí)鐘，使得頂部讀出模塊和底部讀出模塊可以同步輸出不同地址數(shù)據(jù)。傳感器外部I/O、內(nèi)部結(jié)構(gòu)、電源資源左右對(duì)稱，保證傳感器的高幀頻特性。

圖3 LUX13HS結(jié)構(gòu)圖

LUX13HS傳感器提供reduced工作方式。在這種工作狀態(tài)下，傳感器內(nèi)部核心時(shí)鐘變?yōu)檎ＤＪ降?/2，輸出端口減少為40個(gè)，當(dāng)可使用的I/O接口具有數(shù)量限制時(shí)可使用該模式。由于傳感器核心時(shí)鐘降低，不再受最高時(shí)鐘限制，因此該模式幀頻高于正常模式幀頻的1/2，可以達(dá)到 2 500 fps。

3 系統(tǒng)各功能模塊實(shí)現(xiàn)

3.1 高速成像模塊

CMOS圖像傳感器通過(guò)光電效應(yīng)的原理，將感受到的光信號(hào)轉(zhuǎn)化為光電荷，光電荷通過(guò)內(nèi)部的A/D變化為數(shù)字信號(hào)輸出。由FPGA對(duì)LUX13HS圖像傳感器提供驅(qū)動(dòng)時(shí)序，并進(jìn)行數(shù)據(jù)接收采集。

3.1.1CMOS圖像傳感器控制

LUX13HS圖像傳感器擁有Start Row控制信號(hào)(“st_row_n”)和Start Read控制信號(hào)(“st_read_n”)。Start Row信號(hào)讀取一個(gè)地址對(duì)應(yīng)的光電荷并進(jìn)行模數(shù)轉(zhuǎn)換，Start Read信號(hào)控制數(shù)據(jù)輸出。為了實(shí)現(xiàn)最大的數(shù)據(jù)吞吐，LUX13HS頂部和底部各有1個(gè)Start Row和Start Read控制信號(hào)，可以實(shí)現(xiàn)頂部與底部同時(shí)對(duì)不同地址進(jìn)行AD轉(zhuǎn)換和讀出。

LUX13HS控制行時(shí)序如圖4(a)所示，傳感器使用二進(jìn)制編碼進(jìn)行尋址，每個(gè)地址對(duì)應(yīng)兩行連續(xù)的像素?cái)?shù)據(jù)，在1 280×720分辨率下共使用360個(gè)地址。給定了一個(gè)行地址n后，需要6個(gè)時(shí)鐘等待地址穩(wěn)定，之后發(fā)送Start Row信號(hào)通過(guò)傳感器底部讀出模塊進(jìn)行模數(shù)轉(zhuǎn)換。底部AD轉(zhuǎn)換進(jìn)行到一半時(shí)，更改地址為n+1，地址穩(wěn)定后提供頂部Start Row信號(hào)，可以利用頂部讀出模塊對(duì)地址n+1對(duì)應(yīng)的行進(jìn)行AD采集。AD采樣結(jié)束后發(fā)送Start Read脈沖使傳感器輸出數(shù)據(jù)，實(shí)現(xiàn)了頂部讀出模塊和底部讀出模塊同時(shí)工作，DA采集和數(shù)據(jù)輸出同步進(jìn)行，保證CMOS傳感器高幀頻特性。FPGA實(shí)現(xiàn)行時(shí)序流程如圖4(b)所示。

圖4 LUX13HS圖像傳感器行時(shí)序圖及其實(shí)現(xiàn)流程框圖

圖5展示了CMOS傳感器幀時(shí)序，輸出每幀圖像數(shù)據(jù)之前將PD_n拉高，維持時(shí)間長(zhǎng)短決定了CMOS傳感器曝光時(shí)長(zhǎng)。曝光結(jié)束之前TX_n信號(hào)的低電平脈沖可以傳送出采集到的光電荷，之后再通過(guò)行時(shí)序控制每行地址對(duì)應(yīng)像素?cái)?shù)據(jù)輸出。

圖5 LUX13HS行時(shí)序圖

LUX13HS工作在Reduced模式下，主時(shí)鐘100 MHz，每個(gè)時(shí)鐘輸出4個(gè)像素?cái)?shù)據(jù)，頂部輸出模塊和底部輸出模塊同步輸出兩個(gè)地址對(duì)應(yīng)的4行數(shù)據(jù)。輸出完整一行圖像需要1 280÷4=320個(gè)周期，完整輸出一幀720行需要320×720÷4=57 600個(gè)時(shí)鐘周期。為了給光電荷從像元轉(zhuǎn)出以及清除上一次光積分的剩余電荷提供充足的時(shí)間，設(shè)置每幀60 000個(gè)時(shí)鐘周期進(jìn)行輸出。由此，可以計(jì)算出LUX13HS傳感器成像幀頻為100M÷60 000≈1 666 fps。

3.1.2CMOS傳感器偏置電壓供應(yīng)

為了使LUX13HS傳感器正常工作，需要提供17種偏置電壓，如表2所示。

表2 CMOS傳感器偏置電壓 V

其中VADL和VTXL可以接地實(shí)現(xiàn)，配置CMOS傳感器寄存器內(nèi)部產(chǎn)生VLN、VLNA和VLNC電壓。剩余偏置電壓通過(guò)Analog公司生產(chǎn)的多通道12位DAC芯片AD5674R提供，該芯片通過(guò)SPI協(xié)議進(jìn)行配置，具有高相對(duì)精度、低增益誤差和低溫漂特點(diǎn)，滿足CMOS傳感器對(duì)偏置電壓的要求。為了增強(qiáng)DAC輸出的帶載能力，降低輸出電阻并實(shí)現(xiàn)隔離，在DAC輸出和偏置電壓輸入之間加入跟隨器。

3.1.3CMOS圖像傳感器數(shù)據(jù)采集

圖6是FPGA數(shù)據(jù)采集與圖像信號(hào)恢復(fù)結(jié)構(gòu)，CH使用傳感器數(shù)據(jù)輸出通道，F(xiàn)RE代表時(shí)鐘頻率，虛線將圖示結(jié)構(gòu)分為CMOS傳感器時(shí)鐘域與FPGA內(nèi)部時(shí)鐘域。由FPGA為傳感器提供MCLKB和MCLKT時(shí)鐘信號(hào)與驅(qū)動(dòng)信號(hào)，CMOS傳感器輸出串行數(shù)據(jù)與伴隨數(shù)據(jù)的時(shí)鐘PCLK和DCLK，通過(guò)FPGA內(nèi)部iSerdes3進(jìn)行并串轉(zhuǎn)換。

圖6 FPGA數(shù)據(jù)采集與圖像信號(hào)恢復(fù)結(jié)構(gòu)框圖

LUX13HS同時(shí)輸出4行數(shù)據(jù)，每行數(shù)據(jù)單獨(dú)存入1個(gè)雙口Ram，利用乒乓緩存實(shí)現(xiàn)Ram的存取相互獨(dú)立并同時(shí)進(jìn)行。最后，多路選擇器選擇4行按先后次序輸出，恢復(fù)出圖像信號(hào)。

3.2 主控模塊

整個(gè)系統(tǒng)采用XCU060作為主控芯片，可依據(jù)不同的需求進(jìn)行編程，實(shí)現(xiàn)不同的硬件功能，最小化電路板的空間與整個(gè)系統(tǒng)的體積。在主控模塊實(shí)現(xiàn)的功能有：各芯片工作寄存器參數(shù)配置、邏輯時(shí)序控制、高速圖像數(shù)據(jù)采集與解碼、直方圖與灰度信息提取、圖像預(yù)處理與傳輸。由于圖像按行進(jìn)行讀取和傳輸，還需通過(guò)外部?jī)?chǔ)存器作為成像暫存器。系統(tǒng)引入DDR4芯片，總位寬64 bit，總?cè)萘繛? GB，數(shù)據(jù)傳輸速率最高為3 200 MT/s，可滿足系統(tǒng)實(shí)時(shí)傳輸性能要求。

3.2.1圖像數(shù)據(jù)跨時(shí)鐘域處理

在進(jìn)行圖像數(shù)據(jù)采集、DDR4存取與打包發(fā)送時(shí)，會(huì)遇到前后模塊位寬、時(shí)鐘不一致的情況。例如，在圖像從DDR4讀取打包發(fā)送的過(guò)程中，采用Vivado上MIG DDR4 IP核實(shí)現(xiàn)對(duì)DDR4的控制。IP核數(shù)據(jù)時(shí)鐘為300 MHz，位寬為512 bit，但CameraLink Full模式數(shù)據(jù)時(shí)鐘為80 MHz，位寬為64 bit，必須對(duì)數(shù)據(jù)進(jìn)行跨時(shí)鐘域處理。一般采用先存再取的方式時(shí)，存取等待時(shí)間會(huì)加長(zhǎng)行場(chǎng)之間的開銷時(shí)間，降低相機(jī)幀頻。所以采用乒乓緩存，同時(shí)對(duì)雙口Ram進(jìn)行讀寫操作，示意圖如圖7，n為一個(gè)偶數(shù)，表示Ram的地址總數(shù)。

圖7 Ram讀寫實(shí)現(xiàn)乒乓緩存過(guò)程示意圖

在初始化時(shí)，寫時(shí)鐘將一行圖像數(shù)據(jù)存入Ram地址0～(n/2-1)中，同時(shí)讀取(n/2)～(n-1)地址中的數(shù)據(jù)，實(shí)現(xiàn)讀寫同步進(jìn)行。在讀寫均完成之后，交換讀寫地址，從地址0～(n/2-1)中讀取剛寫入的一行數(shù)據(jù)，并將新的一行數(shù)據(jù)寫入地址(n/2)～(n-1)中。

3.2.2基于FPGA的圖像直方圖獲取

在獲取圖像直方圖信息與平均灰度信息時(shí)，如何做到通過(guò)FPGA實(shí)時(shí)提取一幀圖像數(shù)據(jù)信息并進(jìn)行處理傳輸是設(shè)計(jì)的重點(diǎn)。由于FPGA內(nèi)部?jī)?chǔ)存空間有限，因此通過(guò)DDR4對(duì)已經(jīng)提取過(guò)的數(shù)據(jù)進(jìn)行緩存，獲取到整個(gè)幀的像素統(tǒng)計(jì)數(shù)據(jù)后，再?gòu)腄DR4中提取對(duì)應(yīng)圖像進(jìn)一步處理傳輸。

FPGA通過(guò)譯碼器和計(jì)數(shù)器組成的結(jié)構(gòu)獲取圖像直方圖數(shù)據(jù)。譯碼器讀取一個(gè)像素值，并在對(duì)應(yīng)灰度級(jí)輸出口輸出1個(gè)高電平脈沖，計(jì)數(shù)器在檢測(cè)到高電平脈沖后加1。本設(shè)計(jì)中，F(xiàn)PGA將恢復(fù)出的圖像數(shù)據(jù)按行傳輸，多個(gè)像素同時(shí)輸出時(shí)，有可能會(huì)出現(xiàn)多個(gè)具有相同灰度值的像素。這種情況下，利用1個(gè)譯碼器只能輸出1個(gè)計(jì)數(shù)脈沖，會(huì)造成計(jì)數(shù)器計(jì)數(shù)錯(cuò)誤，根據(jù)DDR4輸入數(shù)據(jù)位寬設(shè)置譯碼器和計(jì)數(shù)器數(shù)量會(huì)耗費(fèi)大量FPGA邏輯資源，若減少同時(shí)輸出的像素個(gè)數(shù)，則為了保證實(shí)時(shí)傳輸需要提升像素頻率。綜合考慮性能要求，設(shè)定每時(shí)鐘向譯碼器傳輸8個(gè)像素，像素時(shí)鐘為200 MHz，圖6將8個(gè)像素輸入1個(gè)直方圖統(tǒng)計(jì)模塊，統(tǒng)計(jì)完一幀數(shù)據(jù)后再利用加法器獲取完整直方圖信息進(jìn)行儲(chǔ)存。對(duì)于256灰度級(jí)、1 280×720的圖像，共 921 600個(gè)像素。FPGA需要產(chǎn)生8×256=2 048個(gè)20位計(jì)數(shù)器，以進(jìn)行直方圖信息統(tǒng)計(jì)。

為了保證在一幀圖像進(jìn)行直方圖均衡化同時(shí)獲取下一幀圖片的信息，采用雙口Ram實(shí)現(xiàn)乒乓緩存，以灰度值作為Ram地址進(jìn)行存取。

3.2.3直方圖均衡化處理

直方圖均衡化是通過(guò)累計(jì)直方圖將圖像原直方圖變化成均勻分布的形式，可增加像素灰度動(dòng)態(tài)范圍與圖像對(duì)比度。直方圖均衡化的變換函數(shù)T(r)如式(1)所示。其中，r代表歸一化后的圖像原灰度值，s代表進(jìn)行直方圖均衡化以后的圖像灰度值，pr(r)代表隨機(jī)灰度值r的概率密度，T(r)即原圖像直方圖的累積分布函數(shù)。

在數(shù)字圖像處理中，像素值是離散化的，因此用各個(gè)灰度值出現(xiàn)頻率代替概率，變換函數(shù)T(rk)的離散形式可以表示為式(2)。其中k表示歸一化前的灰度值，rk代表歸一化后的灰度級(jí)，sk表示變換后的灰度值，N表示一幅圖像的總像素個(gè)數(shù)，ni代表灰度級(jí)為i對(duì)應(yīng)的像素個(gè)數(shù)。

(1)

(2)

FPGA實(shí)現(xiàn)乘除法以及浮點(diǎn)數(shù)運(yùn)算較為困難，因此直接將歸一化的像素值轉(zhuǎn)化為256灰度級(jí)圖像。原灰度值k與直方圖均衡化以后的灰度值t對(duì)應(yīng)關(guān)系見式(3)。一些設(shè)計(jì)通過(guò)乘法器和除法器IP核實(shí)現(xiàn)式(3)的計(jì)算[16]，但這樣會(huì)增加幀開銷時(shí)間與FPGA的邏輯資源占用。本設(shè)計(jì)采用移位運(yùn)算，乘以255可以將累計(jì)直方圖按位左移log2255≈8位實(shí)現(xiàn)，除以圖片總像素個(gè)數(shù)921 600可以通過(guò)將累計(jì)直方圖右移log2921 600≈20位實(shí)現(xiàn)。

(3)

利用Matlab將此種運(yùn)算方法與浮點(diǎn)運(yùn)算做比較，得到累計(jì)直方圖與均衡化后灰度值對(duì)應(yīng)關(guān)系如圖8(a)所示?？梢钥闯?，在灰度級(jí)較高的位置誤差會(huì)明顯增大，這是因?yàn)殡S著數(shù)據(jù)位數(shù)增加，較高位取值對(duì)數(shù)據(jù)值大小的影響增加。但是誤差與累計(jì)直方圖成正比，經(jīng)過(guò)擬合得到誤差函數(shù)為：

(4)

乘0.000 03通過(guò)將累計(jì)直方圖右移|log20.000 03|≈15位進(jìn)行計(jì)算。最終，均衡化后的灰度值由累計(jì)直方圖右移12位加右移15位得到。進(jìn)行誤差補(bǔ)償后，移位運(yùn)算得到的映射曲線與浮點(diǎn)運(yùn)算映射曲線相重合，誤差接近于0，如圖8(b)所示。此種運(yùn)算方式非常符合FPGA的運(yùn)算特性，也保證了計(jì)算的精度。

圖8 累計(jì)直方圖與均衡化后灰度值映射關(guān)系曲線

3.2.4自動(dòng)調(diào)光算法

CMOS傳感器獲取的圖像亮度取決于像元內(nèi)部光電荷積累的數(shù)量，而光電荷積累多少和當(dāng)前曝光量之間有如下關(guān)系：

Q=ηqΔneoATc

(5)

其中：η代表CMOS器件量子效率；q為電子電荷量； Δneo是入射光的光子流速率；A是器件的感光面積；Tc為積分時(shí)間?？梢缘贸?，在已經(jīng)選取好CMOS器件、并且光照條件固定的情況下，光電荷積累數(shù)量與積分時(shí)長(zhǎng)Tc成正比。因此，更改積分時(shí)間長(zhǎng)短是一種較為靈活的調(diào)光方法。

若已知前一幀圖像平均灰度值Rp與曝光時(shí)間Tp，為了達(dá)到目標(biāo)灰度值Ri，可以通過(guò)式(6)計(jì)算后一幀需設(shè)置曝光時(shí)間Ti。

(6)

在設(shè)定目標(biāo)平均灰度值時(shí)，應(yīng)注意不能設(shè)置為固定值，因?yàn)橄到y(tǒng)無(wú)法保證獲取到圖像灰度值剛好為某一確定值，否則可能會(huì)導(dǎo)致超調(diào)震蕩。只能將目標(biāo)灰度值選在一個(gè)范圍區(qū)間內(nèi)，當(dāng)幀平均灰度值落在取值區(qū)間內(nèi)時(shí)，即調(diào)整完成。經(jīng)測(cè)試區(qū)間取[Ri-15,Ri+15]時(shí)可以獲得較好的成像效果。

LUX13HS提供電子全局快門，通過(guò)信號(hào)AB_n高電平持續(xù)時(shí)鐘周期數(shù)控制曝光時(shí)長(zhǎng)。在上一幀圖片輸出時(shí)控制AB_n在一定范圍內(nèi)成高電平，可以開始曝光，曝光時(shí)間為N×TH，TH為1個(gè)周期時(shí)間，N為持續(xù)周期數(shù)。因此N越大，CMOS曝光時(shí)間越長(zhǎng)，且由于N可以選擇為小于幀持續(xù)周期數(shù)的任意1個(gè)正整數(shù)，可以實(shí)現(xiàn)無(wú)極調(diào)光。當(dāng)前獲取圖像平均灰度值落在區(qū)間右側(cè)時(shí)，逐漸減小N的取值，縮短曝光時(shí)長(zhǎng)。若當(dāng)前圖像平均灰度值落在區(qū)間左側(cè)，則增大N的取值，提高曝光時(shí)長(zhǎng)。

3.2.5幀采樣

LUX13HS工作在100 MHz的時(shí)鐘下，成像幀頻達(dá)到1 666 fps。由于傳輸接口傳輸速率限制，為了保證實(shí)時(shí)傳輸?shù)姆€(wěn)定性，必須進(jìn)行幀采樣。在FPGA從CMOS傳感器輸出數(shù)據(jù)并恢復(fù)出行場(chǎng)信號(hào)后，將數(shù)據(jù)緩存入DDR4，最多可存入2 GB/(1 280×720×8 bit)≈2 330幀。每存入3幀，讀寫仲裁模塊允許讀取寫入的第1幀，進(jìn)行3∶1采樣，存滿2 330幀后回到初始地址，繼續(xù)下個(gè)循環(huán)，保證圖像連續(xù)性。同時(shí)，在獲取圖像直方圖時(shí)，也只獲取連續(xù)寫入DDR4的3幀中第1幀圖像直方圖，用于從DDR4讀取時(shí)進(jìn)行直方圖均衡化。

3.3 高速接口模塊

高速傳輸接口傳輸帶寬保證了高速相機(jī)采集圖像數(shù)據(jù)的實(shí)時(shí)傳輸速率。目前常用的工業(yè)相機(jī)接口及其性能見表3。系統(tǒng)在進(jìn)行對(duì)比之后，選擇CameraLink接口Full模式進(jìn)行高速圖像傳輸。

表3 主流接口性能比較

CameraLink接口是一種抗干擾能力強(qiáng)、傳輸帶寬較高、應(yīng)用非常廣泛的接口，一般相機(jī)設(shè)計(jì)中，采用專用DS90CR287/DS90CR288A將FPGA輸出的28位并行數(shù)據(jù)轉(zhuǎn)化為4路串行差分信號(hào)傳輸[17-18]。若采用此種設(shè)計(jì)，F(xiàn)ull模式需要3個(gè)并串轉(zhuǎn)換芯片，極大增加了相機(jī)的體積，因此本系統(tǒng)采用FPGA的oSerdes3原語(yǔ)直接實(shí)現(xiàn)并串轉(zhuǎn)換。這種方式克服了并串轉(zhuǎn)換芯片帶寬對(duì)接口最大傳輸速率的限制，選擇合適的圖像采集裝置可以大幅提升數(shù)據(jù)傳輸速率[19]。CameraLink數(shù)據(jù)傳輸速率為80 MHz，每行和每幀的時(shí)間間隔為40個(gè)時(shí)鐘周期，每個(gè)時(shí)鐘傳輸8個(gè)像素。因此，對(duì)于1 280×720的圖像，能夠支持最大實(shí)時(shí)傳輸幀率達(dá)到555 fps。

3.4 相機(jī)控制

系統(tǒng)使用CameraLink接口的2個(gè)控制信號(hào)CC1和CC2，用于設(shè)置相機(jī)是否啟用直方圖均衡化功能和自動(dòng)調(diào)光功能。除此之外，CameraLink接口提供了兩個(gè)差分對(duì)信號(hào)，用于主機(jī)端與相機(jī)進(jìn)行串行通訊。SerTFG是相機(jī)發(fā)送至圖像采集卡的串行信號(hào)，SerTC用于相機(jī)接收主機(jī)發(fā)送的串行數(shù)據(jù)。串行數(shù)據(jù)一幀為10位，包含1個(gè)起始位和1個(gè)停止位，利用上位機(jī)可以靈活配置相機(jī)系統(tǒng)自動(dòng)調(diào)光目標(biāo)灰度值，F(xiàn)PGA根據(jù)給定灰度值自動(dòng)設(shè)置調(diào)光范圍。

4 系統(tǒng)測(cè)試

采用CameraLink圖像采集卡采集相機(jī)輸出的圖像數(shù)據(jù)。通過(guò)上位機(jī)顯示并實(shí)現(xiàn)串行通訊與控制，在FPGA內(nèi)部利用1個(gè)計(jì)數(shù)器計(jì)算LUX13HS傳感器的成像幀頻。

利用ILA調(diào)試核抓取計(jì)數(shù)器信號(hào)，觀察到CMOS傳感器每秒獲取了1 666幀圖像，上位機(jī)顯示實(shí)時(shí)傳輸幀頻約為555 fps。圖9展示了未啟用相機(jī)自動(dòng)調(diào)光與直方圖均衡功能和啟用后的圖像。可以看出，在過(guò)曝時(shí)啟用自動(dòng)調(diào)光能夠有效降低圖像亮度。在圖像暗部細(xì)節(jié)不清晰時(shí)，啟用直方圖均衡化可以顯著增強(qiáng)圖像對(duì)比度。

圖9 相機(jī)測(cè)試圖像

經(jīng)測(cè)試發(fā)現(xiàn)：本設(shè)計(jì)實(shí)現(xiàn)的高幀頻成像系統(tǒng)能夠滿足許多基本的工業(yè)成像應(yīng)用需求；自適應(yīng)調(diào)光和預(yù)處理功能在場(chǎng)景亮度均勻情況下，能使成像圖像呈現(xiàn)較好的顯示效果；實(shí)時(shí)傳輸功能在一定程度上解決了傳統(tǒng)高速相機(jī)拍攝時(shí)間短、后續(xù)處理工序復(fù)雜的問(wèn)題。但是，相機(jī)實(shí)時(shí)傳輸幀頻還有提升空間，緩存入DDR4的所有圖像由于接口帶寬限制無(wú)法全部傳出；采用平均灰度值作為自動(dòng)調(diào)光的反饋信號(hào)，在某些背景與目標(biāo)亮度差異較大的情況下可能無(wú)法獲得很好的調(diào)光效果。

5 結(jié)論

采用高速CMOS傳感器LUX13HS，提出了一種具有自動(dòng)調(diào)光、實(shí)時(shí)預(yù)處理功能的高幀頻成像系統(tǒng)設(shè)計(jì)方案。通過(guò)FPGA實(shí)現(xiàn)sensor控制、數(shù)據(jù)讀寫、傳輸、乒乓緩存、幀采樣，保證了成像幀率高達(dá)1 666，實(shí)時(shí)傳輸幀率達(dá)到555 fps。在打開自動(dòng)調(diào)光功能，設(shè)置合理參數(shù)，并啟用直方圖均衡化以后，獲得了良好的圖像效果，為后續(xù)研究提供了可行的高幀頻成像系統(tǒng)上的自動(dòng)調(diào)光與圖像預(yù)處理設(shè)計(jì)方案。通過(guò)提升CMOS傳感器時(shí)鐘頻率、更改高速傳輸接口(如CoaXPress或CameraLink HS)等方式，獲取更優(yōu)的實(shí)時(shí)傳輸性能。若采用較為復(fù)雜的加權(quán)灰度值作為自動(dòng)調(diào)光反饋信號(hào)，能夠進(jìn)一步提升相機(jī)對(duì)拍攝場(chǎng)景的適應(yīng)能力。