基于FPGA的CMOS圖像傳感器LUPA-4000時(shí)序設(shè)計(jì)

陳彥 張宏偉 林宏宇

（北京空間機(jī)電研究所，北京 100076）

1 引言

近年來(lái)，隨著CMOS生產(chǎn)制造和工藝技術(shù)的不斷進(jìn)步，CMOS圖像傳感器在系統(tǒng)功耗、體積、質(zhì)量、成本、抗輻射性能以及可靠性等方面的優(yōu)勢(shì)越來(lái)越明顯，這也使CMOS技術(shù)在空間成像領(lǐng)域得到了越來(lái)越廣泛的應(yīng)用。LUPA-4000是CYPRESS公司基于N阱像素技術(shù)推出的一款全色大面陣CMOS圖像傳感器，相比于其它CMOS傳感器而言，LUPA-4000具有更高的響應(yīng)性能。本文對(duì)LUPA-4000這款傳感器進(jìn)行了分析研究，設(shè)計(jì)了其極限工作時(shí)鐘頻率66MHz下的驅(qū)動(dòng)時(shí)序，并充分開(kāi)發(fā)了該傳感器的輔助擴(kuò)展功能。測(cè)試結(jié)果表明，本文提出的時(shí)序設(shè)計(jì)性能良好、工作穩(wěn)定，能夠驅(qū)動(dòng)LUPA-4000這款器件正常工作，并且能很好地實(shí)現(xiàn)該傳感器所具備的各項(xiàng)功能。

2 LUPA-4000 CMOS圖像傳感器

本文提出的時(shí)序是針對(duì)CYPRESS公司生產(chǎn)的高靈敏度芯片LUPA-4000而設(shè)計(jì)的，它的作用是給LUPA-4000這款芯片提供正確的時(shí)序信號(hào)，以驅(qū)動(dòng)其在特定成像模式下完成光電轉(zhuǎn)換、模數(shù)轉(zhuǎn)換等過(guò)程并最終得到清晰正確的圖像。此外，該時(shí)序設(shè)計(jì)還正確實(shí)現(xiàn)了此芯片自帶的一些如多斜率積分等輔助擴(kuò)展功能。

LUPA-4000是一款有源圖像傳感器，它采用改進(jìn)了的6T式快照像素結(jié)構(gòu)，具有全局同步曝光和流水線讀出的能力。該芯片集成了模擬圖像信號(hào)的獲取、模數(shù)轉(zhuǎn)換和數(shù)字信號(hào)處理等功能，最大分辨率可達(dá)2 048×2 048像元，在最大分辨率下的最大幀速率為15幀/s，可以通過(guò)亞采樣和取ROI（Region Of Interest）區(qū)域來(lái)提高幀速率。該芯片集成了兩個(gè)10bitADC（模數(shù)轉(zhuǎn)換器），傳感器可以選擇一路輸出，也可以選擇兩路同時(shí)輸出。具體指標(biāo)如下：

1)2 048×2 048有效像元；

2)66MHz的像素輸出速率；

3)片上模數(shù)轉(zhuǎn)換器10位；

4)66dB的動(dòng)態(tài)范圍（單斜率模式），采用多斜率工作模式可達(dá)到90dB的動(dòng)態(tài)范圍；

5)集成2塊33MHz采樣率的ADC；

6)隨機(jī)編程窗口和亞采樣方式；

7)可編程像元讀出行列方向。

圖1 時(shí)序設(shè)計(jì)流程Fig.1 Timing flow diagram

3 LUPA-4000 CMOS芯片時(shí)序設(shè)計(jì)

如圖1所示，時(shí)序設(shè)計(jì)的整個(gè)流程為：系統(tǒng)上電后，產(chǎn)生內(nèi)部復(fù)位信號(hào)給整個(gè)系統(tǒng)復(fù)位，然后配置CMOS芯片內(nèi)部寄存器，判斷校時(shí)信號(hào)是否到來(lái)；如果到來(lái)，則根據(jù)串行接口發(fā)來(lái)的成像模式調(diào)整指令切換工作模式，并且產(chǎn)生每種成像模式下相應(yīng)的驅(qū)動(dòng)信號(hào)；接下來(lái)，輸出圖像幀頭和幀信息，最后輸出圖像數(shù)據(jù)。在整個(gè)過(guò)程中，程序隨時(shí)接收串行接口發(fā)來(lái)的控制指令來(lái)調(diào)整積分時(shí)間和成像模式，同時(shí)接收校時(shí)信號(hào)，并用該信號(hào)來(lái)校正系統(tǒng)時(shí)間。除了基本的驅(qū)動(dòng)時(shí)序之外，本設(shè)計(jì)還具有系統(tǒng)校時(shí)、積分時(shí)間調(diào)整、并行操作、多斜率積分、NDR等功能，并通過(guò)模式切換來(lái)實(shí)現(xiàn)各功能的不同組合，增加了器件使用的靈活性，有效提高了該傳感器的成像品質(zhì)。

3.1 系統(tǒng)校時(shí)功能設(shè)計(jì)

在某些對(duì)成像時(shí)間要求比較精確的場(chǎng)合，需要記錄成像開(kāi)始的準(zhǔn)確時(shí)刻，這就要求系統(tǒng)內(nèi)部的時(shí)間和外部的基準(zhǔn)時(shí)間保持嚴(yán)格同步。因此，需要給LUPA-4000 CMOS傳感器設(shè)計(jì)系統(tǒng)校時(shí)功能，即外部發(fā)送給系統(tǒng)一個(gè)時(shí)間同步信號(hào)，代表外部的基準(zhǔn)時(shí)間。當(dāng)該校時(shí)信號(hào)到來(lái)時(shí)，積分開(kāi)始，同時(shí)FPGA內(nèi)部用計(jì)數(shù)器開(kāi)始計(jì)時(shí)。設(shè)定一約定時(shí)間（下次時(shí)間同步信號(hào)應(yīng)該到來(lái)的時(shí)刻），該約定時(shí)間以系統(tǒng)內(nèi)部時(shí)鐘計(jì)時(shí)，到達(dá)約定時(shí)間后FPGA內(nèi)部計(jì)數(shù)器重新開(kāi)始計(jì)數(shù)。如果外部校時(shí)信號(hào)提前于約定時(shí)間到來(lái)，說(shuō)明系統(tǒng)內(nèi)部時(shí)間慢于外部時(shí)間，則FPGA內(nèi)部計(jì)數(shù)器提前清零并重新開(kāi)始計(jì)數(shù)；但如果FPGA內(nèi)部計(jì)數(shù)器到達(dá)了約定的時(shí)間而校時(shí)信號(hào)還未到來(lái)，則說(shuō)明系統(tǒng)內(nèi)部時(shí)間快于外部時(shí)間，則計(jì)數(shù)器停止工作，此時(shí)整個(gè)系統(tǒng)也停止工作，直到校時(shí)信號(hào)到來(lái)，計(jì)數(shù)器馬上從零開(kāi)始計(jì)數(shù)，整個(gè)系統(tǒng)重新開(kāi)始按照新的時(shí)間起點(diǎn)工作。如此往復(fù)，以達(dá)到校正系統(tǒng)時(shí)間的目的。

3.2 可調(diào)積分時(shí)間設(shè)計(jì)

為了提高CMOS相機(jī)對(duì)環(huán)境光照條件的適應(yīng)能力，在程序中增加了積分時(shí)間調(diào)節(jié)功能。該設(shè)計(jì)設(shè)置了5檔積分時(shí)間，通過(guò)三線串行接口指令來(lái)完成CMOS傳感器5檔積分時(shí)間的切換。當(dāng)成像目標(biāo)較亮?xí)r，積分時(shí)間調(diào)節(jié)至低檔；當(dāng)成像目標(biāo)較暗時(shí)，積分時(shí)間調(diào)節(jié)至高檔，有效增大了相機(jī)的動(dòng)態(tài)范圍。圖2為可調(diào)積分時(shí)間設(shè)計(jì)的仿真結(jié)果，圖中reset信號(hào)低電平的長(zhǎng)度表示積分時(shí)間的長(zhǎng)短，當(dāng)積分時(shí)間調(diào)節(jié)信號(hào)interg_step_reg由“100”調(diào)節(jié)至“101”時(shí)，積分信號(hào)reset的低電平的持續(xù)時(shí)間變長(zhǎng)，如圖所示，積分時(shí)間由t1增加至t2。

圖2 可調(diào)積分時(shí)間仿真結(jié)果Fig.2 The simulation result of adjustable integration time

3.3 積分、讀出并行設(shè)計(jì)

為了能夠觀測(cè)動(dòng)態(tài)物體并追蹤其所在位置，時(shí)序?qū)l的要求比較高。本時(shí)序設(shè)計(jì)充分利用了LUPA-4000這款器件積分和數(shù)據(jù)讀出可以并行操作的特性來(lái)提高幀頻。LUPA-4000傳感器芯片的時(shí)序包括兩個(gè)獨(dú)立的部分，第一部分對(duì)像素進(jìn)行操作，包括對(duì)像素積分時(shí)間和信號(hào)幅度的控制；另一部分是對(duì)像素信息讀出的操作，圖3是LUPA-4000積分和讀出并行操作示意圖。

圖3 圖像積分和讀出并行操作示意圖Fig.3 Image integration and data readout in parallel

3.4 多斜率積分設(shè)計(jì)

多斜率積分是LUPA-4000這款傳感器芯片自帶的輔助擴(kuò)展功能，該功能可以有效增大圖像的動(dòng)態(tài)范圍，從而使該芯片的成像品質(zhì)得到提高。以雙斜率積分為例，圖4為雙斜率積分模式的原理圖，圖中的綠線表示像元的模擬信號(hào)，當(dāng)像元達(dá)到飽和水平（saturation level）后，盡管曝光還在繼續(xù)，但像元信號(hào)已經(jīng)不再變化。如圖中像元P3和P4所示，這兩個(gè)像元信號(hào)在讀出開(kāi)始前已經(jīng)達(dá)到飽和，如果不進(jìn)行雙斜率積分的話，將讀出飽和信號(hào)，但如果在藍(lán)線時(shí)刻時(shí)序再給一個(gè)積分開(kāi)始信號(hào)（Double slope reset pulse），模擬信號(hào)重新開(kāi)始以第一次積分時(shí)的斜率積分，這樣，在像元讀出時(shí)，像元P3和P4的信號(hào)值就不再飽和，使得動(dòng)態(tài)范圍有效增大。值得注意的是，在二次積分時(shí)刻沒(méi)有達(dá)到雙斜率第二次積分信號(hào)水平線（Reset level 2）的信號(hào)（如圖中P1和P2）不受雙斜率積分信號(hào)的影響。

圖4 雙斜率積分原理Fig.4 The principle of double slope integration

圖5為雙斜率積分時(shí)序仿真結(jié)果，雙斜率積分是通過(guò)reset_ds信號(hào)來(lái)實(shí)現(xiàn)的。圖中reset信號(hào)的下降沿所對(duì)應(yīng)的T1時(shí)刻表示積分開(kāi)始時(shí)間，當(dāng)積分到T2時(shí)刻時(shí)，reset_ds信號(hào)的下降沿到來(lái)，此時(shí)如果像元信號(hào)達(dá)到了Reset level 2，則以Reset level 2為基準(zhǔn)，以reset_ds信號(hào)的下降沿到來(lái)之前的斜率重新開(kāi)始積分，否則，像元信號(hào)不受reset_ds信號(hào)的影響。

圖5 雙斜率積分時(shí)序仿真結(jié)果Fig.5 Simulation result of double slope integration timing

3.5 NDR設(shè)計(jì)

NDR（Non-destructive readout）功能也是LUPA-4000自帶的輔助擴(kuò)展功能之一。reset信號(hào)下降沿到來(lái)表示積分開(kāi)始，在reset信號(hào)積分的過(guò)程中可以分多次將圖像數(shù)據(jù)讀出，而不用等到reset信號(hào)的上升沿到來(lái)后再進(jìn)行此操作。這樣，可以在一次積分過(guò)程中獲得像元在多個(gè)積分時(shí)刻的圖像，當(dāng)物體較亮?xí)r，像素很快達(dá)到飽和，但較早時(shí)刻輸出的圖像積分時(shí)間較短，可以獲取到有用的圖像信號(hào)；當(dāng)成像物體較暗時(shí)，選取輸出時(shí)間較晚的圖像，由于其曝光時(shí)間比較長(zhǎng)，對(duì)暗物體的成像效果比較好。圖6為NDR時(shí)序的仿真結(jié)果，圖中reset每一次積分過(guò)程中，都有3次圖像讀出。如圖6所示，T1為積分開(kāi)始時(shí)間，T2為積分結(jié)束時(shí)間。在這段時(shí)間中，積分時(shí)間為t1時(shí)，第一次讀出圖像；積分時(shí)間為t2時(shí)，第二次讀出圖像；積分時(shí)間為t3時(shí)，第三次將圖像讀出，因?yàn)楸疚?.3節(jié)的積分、讀出并行設(shè)計(jì)，所以第三次圖像讀出是可以實(shí)現(xiàn)的。

圖6 NDR模式時(shí)序仿真結(jié)果Fig.6 Simulation result of NDR

4 實(shí)現(xiàn)及測(cè)試

本時(shí)序設(shè)計(jì)用FPGA（現(xiàn)場(chǎng)可編程門(mén)陣列）實(shí)現(xiàn)，用Verilog語(yǔ)言編程。該時(shí)序設(shè)計(jì)采用自頂向下的設(shè)計(jì)方法，把整個(gè)程序劃分為功能獨(dú)立的各個(gè)子模塊，在頂層程序中對(duì)各子模塊進(jìn)行調(diào)用。用Modelsim對(duì)程序進(jìn)行了功能仿真和布局布線后仿真，仿真結(jié)果正確。另外，還對(duì)該時(shí)序設(shè)計(jì)進(jìn)行了板級(jí)確認(rèn)測(cè)試，用示波器對(duì)傳感器的各驅(qū)動(dòng)信號(hào)進(jìn)行了測(cè)試，測(cè)試結(jié)果滿足設(shè)計(jì)要求且性能良好。

另外，由于LUPA-4000這款傳感器芯片具有優(yōu)良的響應(yīng)特性，該時(shí)序設(shè)計(jì)下的傳感器已成功應(yīng)用于某低照度條件下的成像相機(jī)，并對(duì)該相機(jī)進(jìn)行了夜間外景成像試驗(yàn)，拍攝到的圖像如圖7所示，從圖像可以看出，在本時(shí)序設(shè)計(jì)驅(qū)動(dòng)下，相機(jī)工作狀態(tài)良好，可得到清晰且層次分明的圖像。

圖7 夜間外景成像圖Fig.7 Photograph taken in evening

5 結(jié)束語(yǔ)

本文提出的LUPA-4000傳感器芯片的時(shí)序設(shè)計(jì)包含了系統(tǒng)校時(shí)功能、積分時(shí)間可調(diào)功能、并行操作功能、多斜率積分功能和NDR（Non-destructive readout）功能，這些功能增加了器件使用的靈活性，有效提高了該傳感器的成像品質(zhì)。該時(shí)序設(shè)計(jì)設(shè)計(jì)下的傳感器芯片適合空間暗目標(biāo)探測(cè)，并適用于空間動(dòng)態(tài)目標(biāo)的跟蹤。系統(tǒng)測(cè)試結(jié)果表明，該時(shí)序設(shè)計(jì)性能良好、工作穩(wěn)定。

（References）

[1] Cypress Semiconductor Corporation.LUPA-4000 datasheet[M].2007.

[2] SHANG YuanYuan,GUAN Yong,ZHANG Weigong,et al.A High Dynamic Range Complementary Metal-oxide-semiconductor(CMOS)Camera Using Multi-slope Response and An Image Reconstruction Algorithm[J].Measurement Science and Technology(S0957-0233),2009,20(10)∶104115.

[3] Jin H Z,Lu H,Cho S K,et al.Nonlinear Compensation for Non-contact Electronic Joystick with a Single Hall Sensor[J].Science,Measurement&Technology,IET,2008,2(1)∶9-17.

[4] Cho H S，Jeong M H，Han B S，et al.Development of a Portable Digital Radiographic System Based on FOP-coupled CMOS Image Sensor and Its Performance Evaluation[J].IEEE Transactions on Nuclear Science(S0018-9499),2005,52(5)：1766-1772.

[5] 劉靜,杜明輝.CMOS圖像傳感器關(guān)鍵技術(shù)及其新進(jìn)展[J].傳感器技術(shù),2004,3(1)∶9-1.LIU Jing，DU Minhui.The Key Technology and New Progress of CMOS Image Sensor[J].Sensor Technology，2004，3（1)∶9-1.(in Chinese)

[6] 孫航,胡靈博,于聯(lián)峰,等.Xilinx可編程邏輯器件應(yīng)用與系統(tǒng)設(shè)計(jì)[M].北京：電子工業(yè)出版社，2008.SUN Hang,HU Lingbo,YU Lianfeng,et al.Xilinx Programmable Logic Device Application and System Design[M].Beijing∶Publishing House of Electronics Industry,2008.(in Chinese)

[7] 王軍,李國(guó)宏.CMOS圖像傳感器在航天遙感中的應(yīng)用[J].航天返回與遙感,2008,29(2)∶42-47.WANG Jun,LI Guohong.The Application of CMOS Image Sensor in Space Remote Sensing[J].Spacecarft and Remote Sensing,2008，29(2)∶42-47.(in Chinese)

[8] 王慶有.光電傳感器應(yīng)用技術(shù)[M].北京：機(jī)械工業(yè)出版社,2007.WANG Qingyou.The Photoelectric Sensor Applications Technology[M].Beijing∶Mechanical Industry Press,2007.(in Chinese)