何舒文,王延杰,孫宏海,張雷,2,吳培,2
高動(dòng)態(tài)科學(xué)級(jí)CMOS相機(jī)系統(tǒng)的設(shè)計(jì)
何舒文1,2*,王延杰1,孫宏海1,張雷1,2,吳培1,2
(1.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,吉林長(zhǎng)春130033; 2.中國(guó)科學(xué)院大學(xué),北京100049)
為了滿足全局曝光模式下對(duì)高動(dòng)態(tài)范圍CMOS相機(jī)需求,基于CIS-2521 sCMOS器件設(shè)計(jì)出一個(gè)相機(jī)系統(tǒng),通過研究CIS-2521芯片像素讀出結(jié)構(gòu)特點(diǎn)和全局曝光模式下驅(qū)動(dòng)時(shí)序特點(diǎn),選用FPGA搭載DDR3作為處理架構(gòu),在FPGA內(nèi)部完成了成像參數(shù)控制,sCMOS驅(qū)動(dòng)時(shí)序,圖像數(shù)據(jù)采集,圖像預(yù)處理等SOPC片上一體化設(shè)計(jì),并對(duì)各個(gè)模塊功能進(jìn)行了介紹。設(shè)計(jì)的相機(jī)系統(tǒng)進(jìn)行成像測(cè)試,實(shí)現(xiàn)了連續(xù)輸出50幀/s,2 560×2 160像素,14 bit有效深度的高清晰度高動(dòng)態(tài)范圍圖像,基本滿足科學(xué)級(jí)成像條件的需求。
科學(xué)級(jí)CMOS;高動(dòng)態(tài);全局曝光;圖像處理
相比于科學(xué)級(jí)CCD器件,科學(xué)級(jí)CMOS圖像傳感器具有低功耗,低成本,高集成度,可控開窗,大面陣高幀頻等優(yōu)點(diǎn),有利于實(shí)現(xiàn)小體積低能耗的相機(jī)系統(tǒng)[1-2]。目前市面上科學(xué)級(jí)CMOS相機(jī)一般采用卷簾曝光模式,通過相關(guān)雙采樣技術(shù)對(duì)噪聲進(jìn)行抑制,一般輸出圖像數(shù)據(jù)有效深度達(dá)到12 bit以上,在獲取較高的圖像質(zhì)量同時(shí)還擁有較高的幀頻[3-4]。但是在一些科學(xué)觀測(cè)中(如高速運(yùn)動(dòng)物體觀測(cè)),仍然需要相機(jī)工作在傳統(tǒng)的全局曝光模式,此時(shí)由于相關(guān)雙采樣的失效,采集圖像中將出現(xiàn)明顯列向噪聲[5],成像質(zhì)量和相機(jī)動(dòng)態(tài)范圍受到極大影響,難以達(dá)到科學(xué)級(jí)相機(jī)的要求。為了獲取全局曝光模式下高質(zhì)量圖像,本設(shè)計(jì)中選用了CIS-2521科學(xué)級(jí)CMOS芯片,在分析其像素讀出特點(diǎn)的基礎(chǔ)上設(shè)計(jì)了其硬件驅(qū)動(dòng)電路,通過在FPGA內(nèi)完成數(shù)字域相關(guān)雙采樣和圖像預(yù)處理等算法,實(shí)現(xiàn)了全局曝光模式下高動(dòng)態(tài)范圍圖像數(shù)據(jù)的獲取。
CIS-2521是美國(guó)仙童公司開發(fā)的sCMOS圖像傳感器芯片,具有高靈敏度和低噪聲等特點(diǎn),適用于在極弱光條件下獲取高品質(zhì)的圖像。該芯片由一種5T結(jié)構(gòu)像元陣列組成,像素面陣分上下兩個(gè)區(qū)域,每個(gè)區(qū)域均有2 560(H)×1 080(V)像素。CIS-2521芯片內(nèi)具有豐富可編程控制功能,上下區(qū)域可獨(dú)立工作,內(nèi)部各有48個(gè)32 bit的寄存器,可通過JTAG接口分別設(shè)置寄存器的值,控制圖像積分時(shí)間,幀頻,增益,開窗讀出,曝光模式等。CIS-2521包含列級(jí)雙通道可調(diào)節(jié)增益放大器和ADC轉(zhuǎn)換器,可通過設(shè)置輸出不同增益下的圖像數(shù)據(jù)。CIS-2521的一些基本性能參數(shù)如下:
(1)像素尺寸6.50 μm×6.50 μm,像素?cái)?shù)2 560(H)×2 160(V)。
(2)全畫幅幀頻:卷簾模式(100 fps),全局模式(50 fps)。
(3)滿阱電荷>30 000e,最小讀出噪聲<2e,動(dòng)態(tài)范圍大于83.50 dB。
(4)峰值量子效率大于0.55,20℃時(shí)暗電流<35e/pixel/s
(5)列級(jí)可選增益放大器與雙11 bit列級(jí)ADC。
(6)可編程開窗大小讀出。
基于CIS-2521設(shè)計(jì)的高動(dòng)態(tài)科學(xué)級(jí)CMOS相機(jī)系統(tǒng)結(jié)構(gòu)圖如圖1所示,相機(jī)系統(tǒng)采用單電源12 V供電,在板上轉(zhuǎn)換為各個(gè)模塊所需電壓,選用FPGA搭載DDR3作為處理架構(gòu),其中FPGA主控芯片采用XILINX公司KINTEX7系列的XC7K325T,具有豐富的邏輯資源,可根據(jù)不同需求現(xiàn)場(chǎng)可編程[6-7],產(chǎn)生系統(tǒng)其余部件所需驅(qū)動(dòng)控制時(shí)序,DDR3采用4片MT41K128M16并聯(lián)而成,能夠滿足高速數(shù)據(jù)緩存的需求。系統(tǒng)工作流程為:FPGA上電加載配置程序,接收控制計(jì)算機(jī)的控制指令,通過SPI接口設(shè)置偏置電壓值,通過JTAG接口設(shè)置sCMOS工作模式,sCMOS接收外觸發(fā)信號(hào)后輸出圖像數(shù)據(jù),F(xiàn)PGA采集高速圖像數(shù)據(jù)緩存并進(jìn)行圖像預(yù)處理,轉(zhuǎn)換為標(biāo)準(zhǔn)Camera link接口數(shù)據(jù)輸出[8],控制計(jì)算機(jī)通過采集軟件采集圖像數(shù)據(jù)并顯示。
圖1 相機(jī)系統(tǒng)結(jié)構(gòu)框圖Fig.1Structure of the camera
所設(shè)計(jì)的相機(jī)由于采用SOPC的設(shè)計(jì)方案,大部分功能都在FPGA內(nèi)設(shè)計(jì)完成[8],F(xiàn)PGA內(nèi)功能框圖如圖2所示,主要由sCMOS控制模塊,通信控制模塊,圖像采集模塊,圖像處理模塊,高速緩存控制模塊組成,以下對(duì)各個(gè)模塊設(shè)計(jì)進(jìn)行介紹。
3.1通信控制模塊
圖2 FPGA內(nèi)部功能單元模塊組成Fig.2All function modules in FPGA
sCMOS相機(jī)系統(tǒng)與控制計(jì)算機(jī)的通信通過FPGA內(nèi)通信控制模塊完成。通信控制模塊接收控制計(jì)算機(jī)異步串口發(fā)出的所有控制信息和圖像處理命令信息并反饋各個(gè)模塊運(yùn)行狀態(tài)信息,這些信息包括相機(jī)寄存器初始值,相機(jī)積分時(shí)間,觸發(fā)曝光模式和曝光時(shí)間,輸出數(shù)據(jù)格式,幀相減,數(shù)據(jù)合成規(guī)則控制和濾波規(guī)則控制等。異步串口通信采用1位起始位,8位數(shù)據(jù)位,1位停止位的格式,波特率為115 200 bps,每一條命令由14字節(jié)組成,其中包括命令起始標(biāo)志,命令類型,控制信息和命令結(jié)束標(biāo)志。每一條控制命令通過FPGA片上通信解碼后寫入相應(yīng)模塊的命令緩存FIFO,再由各個(gè)模塊讀出命令信息進(jìn)行相應(yīng)的寄存器設(shè)置或者時(shí)序控制。
3.2sCMOS驅(qū)動(dòng)控制模塊
sCMOS的驅(qū)動(dòng)控制模塊包括4個(gè)部分功能實(shí)現(xiàn):偏置電壓設(shè)置,相機(jī)工作模式設(shè)置,觸發(fā)和積分時(shí)序產(chǎn)生,讀出數(shù)據(jù)時(shí)序控制。要使CIS-2521芯片正常上電工作,上電需滿足一定順序。正確的控制步驟為:(1)數(shù)字核電壓1.8 V供電。(2)通過JTAG配置相機(jī)內(nèi)各個(gè)寄存器的值。(3)模擬電源與數(shù)字3.3 V上電。(4)接收外觸發(fā)信號(hào)并產(chǎn)生相應(yīng)控制和讀出數(shù)據(jù)信號(hào)。設(shè)計(jì)中通過FPGA留出專門引腳控制其模擬電源部分不同電壓上電時(shí)刻。CIS-2521對(duì)模擬電壓精度和電流大小需求同樣較高,以模擬復(fù)位電壓為例,需求精確控制到2.739 V,該電壓10 mV的差異將導(dǎo)致從ADC讀出數(shù)據(jù)相差300(DN),設(shè)計(jì)中采用數(shù)字可編程控制電壓芯片LT1660,配合具有高輸出電流運(yùn)放芯片LMH6672為模擬復(fù)位電壓供電,在參考電壓為3.3 V時(shí),將模擬復(fù)位電壓控制在最小0.000 03 V數(shù)字可調(diào)。
相機(jī)工作模式的設(shè)置主要在對(duì)CIS-2521內(nèi)部寄存器設(shè)置上,在相機(jī)數(shù)字上電后初始化過程中,通過JTAG接口可對(duì)相機(jī)內(nèi)部48個(gè)32 bit寄存器進(jìn)行相應(yīng)的讀寫操作,CIS-2521芯片內(nèi)有相應(yīng)符合JTAG標(biāo)準(zhǔn)狀態(tài)機(jī)??稍O(shè)置的內(nèi)容包括相機(jī)的工作模式(卷簾曝光,全局曝光)的選擇,觸發(fā)模式(脈沖觸發(fā),電平觸發(fā)),開窗大小,數(shù)據(jù)讀出順序,帶寬配置和ADC工作模式設(shè)置等。通過JTAG接口設(shè)置相機(jī)寄存器的狀態(tài)時(shí)序如下圖所示,48個(gè)寄存器由6 bit尋址表示,在選擇對(duì)應(yīng)寄存器后將32 bit信息寫入。
圖3 sCMOS相機(jī)寄存器寫時(shí)序Fig.3Writing timing of sCMOS camera
sCMOS控制模塊正確配置偏置電壓和工作模式將處于等待觸發(fā)狀態(tài),卷簾快門工作模式下芯片可工作在FREE_RUN模式,直接輸出的數(shù)據(jù)即為兼容Camera link接口信號(hào),可通過簡(jiǎn)單處理直接輸出至控制計(jì)算機(jī)采集。本文設(shè)計(jì)內(nèi)容主要針對(duì)全局快門工作模式下的時(shí)序控制,CIS-2521像素結(jié)構(gòu)與觸發(fā)控制時(shí)序如圖4所示,TX2為高電平時(shí)直接將光電二極管復(fù)位到參考電平,為低電平時(shí)光電二極管開始積累電荷,TX1為高時(shí)電荷轉(zhuǎn)移到節(jié)電容Cfd被讀出。而為了消除Cfd上受M3復(fù)位信號(hào)引入的復(fù)位噪聲,在有效電荷轉(zhuǎn)移到Cfd之前,應(yīng)對(duì)Cfd上存在的噪聲電荷進(jìn)行讀出。表現(xiàn)為在讀出有效信號(hào)幀之前事先讀出一幀僅包含噪聲的復(fù)位幀。當(dāng)READ信號(hào)翻轉(zhuǎn)時(shí),根據(jù)DATA_DSEL的值決定讀出是復(fù)位幀還是數(shù)據(jù)幀。為了有效清空光電二極管殘余電荷并且不影響復(fù)位幀信號(hào)讀出,TX2在讀出信號(hào)空閑期間提供,即在CHARGE_TRANS低電平期間,以脈沖的形式復(fù)位光電二極管,TX2最后一個(gè)脈沖的下降沿開始時(shí)光電二極管開始積分,TX1脈沖上升沿到來(lái)時(shí)信號(hào)被轉(zhuǎn)移到節(jié)電容等待讀出。經(jīng)過正確時(shí)序控制的sCMOS器件將輸出幀有效FVAL,行有效LVAL控制信號(hào)以及對(duì)應(yīng)數(shù)據(jù)。
圖4 sCMOS像素結(jié)構(gòu)與觸發(fā)控制時(shí)序Fig.4Control timing and the pixel structure of sCMOS
3.3圖像數(shù)據(jù)采集模塊
圖像數(shù)據(jù)采集模塊用于將來(lái)自sCMOS的輸出數(shù)據(jù)緩存轉(zhuǎn)換成易于操作的數(shù)據(jù)模式,并根據(jù)所采集幀類型進(jìn)行下一步的數(shù)據(jù)分配,數(shù)據(jù)采集模塊數(shù)據(jù)流程圖如圖5所示。sCMOS感器分為兩個(gè)區(qū)域分別輸出時(shí)鐘頻率為287 MHz的22 bit格雷碼數(shù)據(jù),峰值速率達(dá)到1.54 GB/s,高速數(shù)據(jù)進(jìn)入FPGA內(nèi)后先經(jīng)過碼制轉(zhuǎn)換模塊將ADC輸出格雷碼數(shù)據(jù)轉(zhuǎn)換成易于操作的二進(jìn)制碼數(shù)據(jù),并將高位補(bǔ)0~32 bit,通過FPGA內(nèi)部高速FIFO進(jìn)行行緩存,將287 MHz時(shí)鐘下32 bit數(shù)據(jù)輸出轉(zhuǎn)換為100 MHz時(shí)鐘下256 bit數(shù)據(jù)輸出,sCMOS兩個(gè)區(qū)域進(jìn)入FIFO1,F(xiàn)IFO2的寫使能信號(hào)由各自區(qū)域輸出的LVAL得到,由于硬件電路的差異兩者可能有幾個(gè)像素時(shí)鐘延遲,為了同步處理兩個(gè)區(qū)域數(shù)據(jù),兩個(gè)FIFO的讀使能由片上控制模塊產(chǎn)生,滿足異步時(shí)鐘讀寫控制轉(zhuǎn)換。FIFO3的目的是為緩存一行已做同步處理數(shù)據(jù),通過判斷當(dāng)前幀是復(fù)位幀還是信號(hào)幀,將數(shù)據(jù)讀出發(fā)送給高速緩存控制模塊或者圖像處理模塊。
圖5 數(shù)據(jù)采集模塊數(shù)據(jù)流程圖Fig.5Diagram of data stream for data capturing module
3.4高速緩存控制模塊
sCMOS一幀圖像數(shù)據(jù)量為2 560×2 160×22 bit,約14.5 MB,直接在FPGA內(nèi)部緩存整幀處理將不能實(shí)現(xiàn),設(shè)計(jì)中采用4片DDR3顆粒作為外部存儲(chǔ)器,4片DDR3顆粒容量達(dá)1 GB,帶寬最高可達(dá)12.8 GB/s,本設(shè)計(jì)運(yùn)行時(shí)鐘為600 MHz,實(shí)際帶寬為9.6 GB/s,可以滿足對(duì)來(lái)自sCMOS的高速數(shù)據(jù)進(jìn)行高速緩存。對(duì)DDR3底層操作采用XILINX提供的IP核控制,對(duì)DDR3的操作涉及多次讀寫,包括讀寫復(fù)位幀數(shù)據(jù),讀寫處理后的數(shù)據(jù)幀數(shù)據(jù),為保證讀寫效率,本文設(shè)計(jì)中以行為單位,每次操作將讀或者寫一行數(shù)據(jù)。高速緩存控制模塊如圖6所示,其中命令解釋模塊用于將多個(gè)讀或?qū)懻?qǐng)求信號(hào)按照設(shè)定的優(yōu)先級(jí)做并串轉(zhuǎn)換,避免同時(shí)到來(lái)的請(qǐng)求沖突,按照串行命令選擇對(duì)應(yīng)需要存取的地址一同寫入命令地址FIFO,DDR3 IP核將逐一讀取FIFO中命令和地址交由IP核執(zhí)行直到命令地址FIFO為空為止,同時(shí)根據(jù)相應(yīng)命令將需要寫入的數(shù)據(jù)從WR_FIFO讀出或者將讀出的數(shù)據(jù)寫入RD_FIFO,讀寫的時(shí)刻和同步信號(hào)由需要讀寫的模塊提前產(chǎn)生,保證后續(xù)對(duì)數(shù)據(jù)處理時(shí)的及時(shí)供應(yīng)。
圖6 存儲(chǔ)模塊控制器結(jié)構(gòu)Fig.6Structure of controller for store module
3.5圖像處理模塊
圖像處理模塊是整個(gè)系統(tǒng)驅(qū)動(dòng)程序中的核心模塊,主要完成以下4個(gè)功能:(1)數(shù)字域相關(guān)雙采樣。(2)高動(dòng)態(tài)數(shù)據(jù)的合成。(3)圖像的預(yù)處理。(4)圖像輸出處理。圖像處理模塊結(jié)構(gòu)如圖7所示,為了保證圖像數(shù)據(jù)處理過程中可靠性,整個(gè)處理模塊工作在100 MHz的時(shí)鐘下,最終數(shù)據(jù)以80 MHz,64 bit格式經(jīng)Camera link接口輸出。
圖7 圖像處理模塊結(jié)構(gòu)圖Fig.7Diagram of image processing module
數(shù)字域相關(guān)雙采樣模塊產(chǎn)生讀取FIFO3和高速緩存控制模塊的請(qǐng)求,將FIFO3中實(shí)時(shí)到來(lái)的信號(hào)幀行數(shù)據(jù)與對(duì)應(yīng)存儲(chǔ)在DDR3中復(fù)位幀行數(shù)據(jù)讀出處理,為了保證兩行數(shù)據(jù)操作時(shí)的嚴(yán)格對(duì)齊,雙采樣模塊提前信號(hào)幀行數(shù)據(jù)一行時(shí)間將復(fù)位幀整行讀取緩存在高速緩存控制模塊的RD_FIFO中,當(dāng)信號(hào)幀有效行到來(lái)時(shí),將WR_FIFO與FIFO3同步讀出的512 bit數(shù)據(jù)進(jìn)行處理。數(shù)字域相關(guān)雙采樣實(shí)際操作為兩幀數(shù)據(jù)做減法,F(xiàn)PGA內(nèi)部實(shí)現(xiàn)時(shí)還應(yīng)該考慮信號(hào)接近飽和和信號(hào)較小時(shí),信號(hào)幀Isig直接與復(fù)位幀Irst相減會(huì)造成后續(xù)采集圖像失真的情況,在本設(shè)計(jì)中采用分3段處理的方式合成數(shù)字雙采樣后數(shù)據(jù)幀Idata。
數(shù)字相關(guān)雙采樣結(jié)果如圖8所示,從左往右依次為復(fù)位幀,信號(hào)幀,數(shù)據(jù)幀(為顯示高動(dòng)態(tài)范圍圖像文中圖像均做線性拉伸變換)。由數(shù)據(jù)幀可發(fā)現(xiàn)信號(hào)幀中的列向噪聲已經(jīng)基本去除,圖像質(zhì)量有較大改善,該區(qū)域內(nèi)圖像性噪比提高2.53 dB。
圖8 數(shù)字域相關(guān)雙采樣結(jié)果Fig.8Results of correlated double sampling in digital domain
經(jīng)過數(shù)字相關(guān)雙采樣模塊處理后的512 bit數(shù)據(jù)由16個(gè)32 bit像素組成,其中32 bit數(shù)據(jù)中包含來(lái)自高低增益通道各11 bit有效數(shù)據(jù),高增益通道輸出的數(shù)據(jù)具有更高的數(shù)據(jù)精度,低增益通道的輸出的數(shù)據(jù)可表示更大的動(dòng)態(tài)范圍。系統(tǒng)通過串口控制設(shè)置了3種讀出模式,模式一是原始高低通道數(shù)據(jù)選擇輸出,不做任何處理。模式二采用相機(jī)手冊(cè)中建議的方式設(shè)定閾值,在高增益通道數(shù)據(jù)IH小于某個(gè)值IT時(shí),選擇高增益通道數(shù)據(jù)IH輸出,而在大于IT時(shí)選擇低增益通道數(shù)據(jù)IL輸出。模式三設(shè)計(jì)了一種曲線擬合雙通道數(shù)據(jù),將高低增益通道數(shù)據(jù)合成為16 bit數(shù)據(jù)輸出。模式一輸出的優(yōu)點(diǎn)在于便于后續(xù)對(duì)原始數(shù)據(jù)的研究處理,模式二具有簡(jiǎn)單高效,可直觀觀察到高動(dòng)態(tài)范圍數(shù)據(jù),但是由于采用閾值的方式,在閾值周圍的灰度值會(huì)出現(xiàn)跳躍的現(xiàn)象[5]。模式三的輸出減小了灰度跳躍的影響,輸出圖像可視性較強(qiáng),考慮到易于FPGA內(nèi)部實(shí)現(xiàn),模式三的合成曲線規(guī)則設(shè)計(jì)為3段的形式,由公式(2)表述,[Ia,Ib]為數(shù)據(jù)銜接區(qū)間,其中k為高低通道增益之比,用于將高低增益通道數(shù)據(jù)量綱統(tǒng)一,考慮到由于各放大器差異k并非常數(shù),實(shí)際操作中取均值計(jì)算,當(dāng)選擇高通道增益為10倍。低通道增益為1倍時(shí),實(shí)測(cè)k均值約為9.54。輸出合成16 bit數(shù)據(jù)IHDR中實(shí)際有效數(shù)據(jù)位寬為14 bit。
經(jīng)模式三中方法合成的圖像如圖9所示。
由圖9可見原始的雙通道輸出圖像存在過暗或者過亮區(qū)域,經(jīng)過合成高動(dòng)態(tài)范圍圖像數(shù)據(jù),圖像整體可視性有較大提高,11階漸變條紋能夠清晰展示出來(lái)。
圖9 高動(dòng)態(tài)范圍圖像數(shù)據(jù)合成結(jié)果Fig.9Combining result of high dynamic range images
通過觀察采集的圖像,經(jīng)過數(shù)字域相關(guān)雙采樣處理和雙增益合成的圖像還存在較多隨機(jī)分布的亮點(diǎn)或者暗點(diǎn),以及少數(shù)壞點(diǎn)。圖像預(yù)處理模塊提供一些常用的濾波處理規(guī)則用于對(duì)圖像數(shù)據(jù)進(jìn)行處理,可通過通信控制模塊設(shè)置選擇中值濾波,均值濾波,或不做處理直接輸出的功能。經(jīng)過觀察采集圖像中包含大都為椒鹽噪聲類型,通過簡(jiǎn)單的一維1×3的中值濾波就能達(dá)到很好的輸出效果。經(jīng)過圖像預(yù)處理的數(shù)據(jù)流再次存入高速緩存區(qū)域供后續(xù)整幀讀出。
圖像輸出處理模塊主要功能是將在高速緩存區(qū)域的整幀數(shù)據(jù)逐行讀出,轉(zhuǎn)換成所需的輸出圖像數(shù)據(jù)格式輸出供控制計(jì)算機(jī)采集或者顯示用。本設(shè)計(jì)中將依據(jù)通信控制命令可裁剪輸出圖像大小,在80 MHz像素時(shí)鐘下以標(biāo)準(zhǔn)Camera_link Full模式信號(hào)輸出至控制計(jì)算機(jī)。
圖10 sCMOS相機(jī)實(shí)物圖Fig.10sCMOS camera
設(shè)計(jì)的相機(jī)系統(tǒng)如圖10所示,系統(tǒng)上電從配置芯片加載程序后,通過控制計(jì)算機(jī)端編寫的相機(jī)系統(tǒng)操作軟件如圖11所示,通過控制軟件發(fā)送控制指令,接收通過Camera link接口獲取圖像數(shù)據(jù)進(jìn)行顯示,系統(tǒng)在全畫幅模式(2 560×2 160)下對(duì)實(shí)際場(chǎng)景進(jìn)行了實(shí)時(shí)拍攝,幀頻為50 fps,輸出像素深度16 bit,通過操作界面可選擇不同增益通道信號(hào)幀,數(shù)據(jù)幀或者復(fù)位幀輸出,控制高動(dòng)態(tài)數(shù)據(jù)融合規(guī)則和圖像添加濾波效果。采集的測(cè)試圖像清晰,灰度層次分明,分辨率高,相機(jī)系統(tǒng)具有較高動(dòng)態(tài)范圍。
圖11 sCMOS相機(jī)系統(tǒng)成像結(jié)果Fig.11Imaging result of sCMOS camera
在分析了CIS-2521圖像傳感器的像素結(jié)構(gòu)特點(diǎn)的基礎(chǔ)上,依照信號(hào)完整性和電磁兼容的要求,采用高性能FPGA和高速DDR3圖像緩存器件,設(shè)計(jì)實(shí)現(xiàn)了適合sCMOS在全局曝光模式下的高動(dòng)態(tài)sCMOS成像硬件系統(tǒng),通過分析sCMOS時(shí)序設(shè)計(jì)了高幀頻全局電子快門成像驅(qū)動(dòng)控制程序,經(jīng)過實(shí)際成像測(cè)試表明所設(shè)計(jì)的高動(dòng)態(tài)相機(jī)系統(tǒng)工作穩(wěn)定,可操作性強(qiáng),輸出50幀/s,2 560× 2 160位寬16 bit圖像數(shù)據(jù),有效數(shù)據(jù)深度為14 bit,基本滿足全局曝光模式下高清高速高動(dòng)態(tài)范圍的CMOS相機(jī)需求,為下一步系統(tǒng)成像性能測(cè)試和性能改善奠定了硬件基礎(chǔ)。
[1]劉新明,劉文,劉朝暉.大面陣CMOS APS相機(jī)系統(tǒng)的設(shè)計(jì)[J].光子學(xué)報(bào),2009,38(12):3235-3239.
Liu X M,Liu W,Liu Z H.Design of a large area arrqy CMOS APS camera system[J].Acta Photonica Sinica,2009,38 (12):3235-3239.(in Chinese)
[2]羅通頂,李斌康,郭明安,等.科學(xué)級(jí)CCD遠(yuǎn)程圖像采集系統(tǒng)[J].光學(xué)精密工程,2013,21(2):496-502.
LuoT D,Li B K,Guo M A,et al.Remote image acquisition system with scientific grade CCD[J].Opt.Precision Eng.,2013,21(2):496-502.(in Chinese)
[3]張超,李洪文,賈建祿,等.高幀頻多通道圖像采集與顯示[J].液晶與顯示,2013,28(4):593-597.
Zhang C,Li H W,Jia J L,et al.High frame rate and multiple channels digital image acquisition and display[J].ChineseJournal of Liquid Crystals and Displays,2013,28(4):593-597.(in Chinese)
[4]楊東來(lái),胡曉東,李俊娜.基于CMOS圖像傳感器的多斜率積分模式[J].紅外與激光工程,2012,41(6):1499-1502.
Yang D L,Hu X D,Li J N,et al.Multiple slope integration based on CMOS image sensor[J].Infrared and Laser Engineering,2012,41(6):1499-1502.(in Chinese)
[5]Sungho S,Shinya I,Satoshi A,et al.Column-parallel correlated multiple sampling circuits for CMOS image sensors and their noise reduction effects[J].Sensors,2010,10(12):9139-9154.
[6]李曉晨,姚素英,黃碧珍,等.一種應(yīng)用于高動(dòng)態(tài)范圍CMOS圖像傳感器的曝光控制技術(shù)[J].傳感技術(shù)學(xué)報(bào),2013,26(3):328-332.
Li X C,Yao S Y,Huang B Z,et al.A novel high dynamic range exposure control for CMOS image sensor[J].Chinese Journal of Sensors and Actuators.2013,26(3):328-332.(in Chinese)
[7]韓紅霞,孫航,曹立華.基于FPGA的紅外相機(jī)時(shí)序構(gòu)造設(shè)計(jì)[J].液晶與顯示,2014,29(3):370-376.
Han H X,Sun H,Cao L H.IR camera sequence construction design based on FPGA[J].Chinese Journal of Liquid Crystals and Displays,2014,29(3):370-376.(in Chinese)
[8]孫宏海,李澤學(xué),紀(jì)華,等.半導(dǎo)體制冷型高幀頻CMOS數(shù)字?jǐn)z像機(jī)及其成像噪聲分析[J].光學(xué)精密工程,2008,16 (10):2038-2044.
Sun H H,Li Z X,Ji H,et al.High frame rate CMOS digital camera by semiconductor refrigeration and its imaging noise analysis[J].Opt.Precision Eng.,2008,16(10):2038-2044.(in Chinese)
Design of high dynamic scientific CMOS camera system
HE Shu-wen1,2*,WANG Yan-jie1,SUN Hong-hai1,ZHANG Lei1,2,WU Pei1,2
(1.Changchun Institute of Optics,F(xiàn)ine Mechanics and Physics,Chinese Academy of Sciences,Changchun 130033,China; 2.University of Chinese Academy of Sciences,Beijing 100049,China)
In order to meet the demands of high dynamic range for CMOS camera under the mode of global shutter,a camera system is designed based on CIS-2521 sCMOS image sensor device.By analyzing the readout structure characteristics of pixel of CIS-2521 chip and the driving timing under the mode of global shutter,we choose FPGA with DDR3 as the processing structure and complete the design of SOPC including the control of imaging parameters,driving timing of sCMOS,capturing the image data,image preprocessing and so on,and introduces the function of every module.The designed camera realizes the imaging output of 50 frames of 2 560 ×2 160 pixel and 14 bit depth with high sensitivity,high dynamic range per second by the imaging test,and it meets the requirement of scientific imaging.
scientific CMOS;high dynamics;global shutter;image processing
TP212
A
10.3788/YJYXS20153004.0729
何舒文(1988-),男,湖南郴州人,博士生,主要從事圖像處理、高速相機(jī)設(shè)計(jì)等方面的研究。E-mail: 250071113@qq.com
1007-2780(2015)04-0729-07
2014-09-26;
2014-10-20.
國(guó)家863計(jì)劃(No.2013AA7031010B)
*通信聯(lián)系人,E-mail:250071113@qq.com