小型CMOS相機系統(tǒng)設計及其硬件實現(xiàn)

徐冬冬,張 宇,聶 婷,張星祥,任建岳

(1.中國科學院長春光學精密機械與物理研究所,吉林長春 130033; 2.中國科學院大學,北京 100049)

小型CMOS相機系統(tǒng)設計及其硬件實現(xiàn)

徐冬冬1,2,張 宇1,聶 婷1,2,張星祥1,任建岳1

(1.中國科學院長春光學精密機械與物理研究所,吉林長春 130033; 2.中國科學院大學,北京 100049)

采用MT9V032型CMOS數(shù)字圖像傳感器設計了一款完整的小型化、低功耗相機.基于初級像差理論,設計了焦距為12.95 mm、F數(shù)為5的光學系統(tǒng).該系統(tǒng)體積小、結(jié)構(gòu)緊湊,在空間頻率83線對每毫米處,各視場調(diào)制傳遞函數(shù)均優(yōu)于0.5;電子學系統(tǒng)以現(xiàn)場可編程門陣列作為時序控制平臺,控制CMOS輸出數(shù)字視頻信號,數(shù)字視頻信號通過差分芯片以低壓差分信號格式輸出到圖像采集卡,最后在計算機上成像.實驗結(jié)果表明,這種相機像質(zhì)良好、功耗低、移植性強、可靠性高.當時鐘為26.6 MHz時,幀頻為60幀/秒,并可通過調(diào)節(jié)內(nèi)部寄存器的值實現(xiàn)多種模式,特別適用于對相機體積以及成像質(zhì)量要求較高的場合.

光學設計;CMOS;像差;驅(qū)動電路;信噪比

對互補金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor transistor,CMOS)圖像傳感器的研究始于20世紀60年代.起初由于工藝水平的限制,CMOS一直沒有得到市場的重視.隨著CMOS工藝的進步以及設計水平的提升,信噪比、動態(tài)范圍、量子效率等問題得以解決,圖像的質(zhì)量顯著提高.與光電耦合器件(Charge-Coupled Device,CCD)相比,CMOS具有功耗低、成本低、集成度高、抗輻射能力強等明顯的優(yōu)勢.因此,CMOS已在諸多領(lǐng)域取代了CCD,成為理論研究與工程開發(fā)中的熱點話題[1-6].

筆者以CMOS為研究對象,基于現(xiàn)場可編程門陣列(Field Programmable Gata Array,FPGA)設計了一款分辨率為752 H×480 V,電路板大小為3 cm×2.2 cm的雙層小型化、低功耗相機,并重點介紹了相機的光學設計和電子學設計部分.針對光譜范圍為0.49～0.66μm的譜段,實現(xiàn)了折射式光學系統(tǒng)設計,所設計的像元角分辨率為4.6×10-4rad,為小型相機的光學系統(tǒng)設計提供一個可行性方案.電子學設計采用現(xiàn)場可編程門陣列作為主控制器[7-9],嚴格控制信號的時序關(guān)系.這種相機工作性能穩(wěn)定,在光線較暗的情況下可以保證很高的成像質(zhì)量,同時小型化、低功耗的成像系統(tǒng)非常適合對載荷的體積、重量以及功耗等方面有嚴格要求的場合.

1　MT9V032型CMOS成像系統(tǒng)工作原理

CMOS成像系統(tǒng)主要由光學鏡頭、CMOS圖像傳感器、現(xiàn)場可編程門陣列控制器、驅(qū)動電路等部分組成.CMOS成像系統(tǒng)的工作原理為:通過超高速集成電路硬件描述語言(Very High speed integrated circuit hardware Description Language,VHDL)對現(xiàn)場可編程門陣列編程產(chǎn)生CMOS所需的時序信號,經(jīng)過集成電路總線(Inter-Integrated Circuit,IIC)供給CMOS傳感器.CMOS安裝在光學鏡頭的焦平面上,在時序電路的驅(qū)動下,將光信號轉(zhuǎn)換成電信號,并通過內(nèi)部集成的模數(shù)轉(zhuǎn)換器(Analog to Digital Converter,ADC)將模擬信號轉(zhuǎn)換成數(shù)字信號,數(shù)字信號經(jīng)現(xiàn)場可編程門陣列緩存后,經(jīng)過差分驅(qū)動芯片輸出到圖像采集卡,最后顯示在成像設備上.

2　相機光學系統(tǒng)設計

CMOS選用鎂光公司生產(chǎn)的MT9V032[10]型圖像傳感器,根據(jù)傳感器像面尺寸、像元尺寸等參數(shù)以及應用需求,確定光學系統(tǒng)的設計參數(shù)(如表1).

表1　光學系統(tǒng)設計參數(shù)

圖1　光學系統(tǒng)結(jié)構(gòu)布局

圖2　調(diào)制傳遞函數(shù)曲線

光學系統(tǒng)結(jié)構(gòu)布局如圖1所示,所有鏡面均為球面.優(yōu)化后的系統(tǒng)調(diào)制傳遞函數(shù)如圖2所示.可見,該光學系統(tǒng)易于加工,結(jié)構(gòu)合理,體積小,成像質(zhì)量良好,滿足設計要求.

3　基于現(xiàn)場可編程門陣列的CMOS時序系統(tǒng)設計

3.1MT9V032結(jié)構(gòu)及時序分析

MT9V032是Aptina公司生產(chǎn)的36萬像素數(shù)字圖像傳感器,總像素為782 H×492 V,其中有效感光像元為752 H×480 V,像元尺寸為6.0μm×6.0μm.最高讀出頻率為26.6 MHz,擁有全局快門,支持漸進讀出模式以及隔行讀出模式,最高幀頻可達60幀/秒.同時,可實現(xiàn)自動曝光控制以及自動增益控制,在保持CMOS尺寸、價格以及集成度的前提下,實現(xiàn)了同樣分辨率CCD的成像質(zhì)量.

在垂直方向,MT9V032上部有8行暗像元,1行啞像元;下部有2行啞像元.在水平方向,左邊有26列暗像元,1列啞像元;右邊有2列啞像元.這些暗像元可以對暗電平進行監(jiān)控.8行暗像元用來實現(xiàn)自動暗電平調(diào)節(jié),還可通過將傳感器設置成原始數(shù)據(jù)輸出模式來讀出中間的4行暗像元.啞像元用來改善有效區(qū)域內(nèi)圖像的一致性.除此之外,還有1行和1列用來實現(xiàn)傳感器水平和垂直方向的鏡像讀出.

要實現(xiàn)MT9V032的時序電路,主要是通過集成電路總線進行寄存器配置.集成電路總線定義的傳輸碼由開始位、從機地址、應答位、信息位以及結(jié)束位組成.發(fā)送完開始位后,主機開始發(fā)送八位地址位.地址的最后一位為“0”,代表寫命令;最后一位為“1”,代表讀命令.表2為從機地址模式表.從表2中可知,通過兩個輸入管腳S_CTRL_ADR1和S_CTRL_ADR0,MT9V032可實現(xiàn)4種從機地址.如果收到地址信息,則從機會向主機發(fā)送應答位;反之,主機則會重新發(fā)送地址位直到從機向主機發(fā)送應答位.MT9V032內(nèi)部的寄存器有16位數(shù)據(jù),所以需要傳輸2次.傳輸完16位信息,寄存器地址自動增加,接著寫入下一個寄存器的16位地址.寫完所有寄存器信息之后,主機發(fā)送結(jié)束位,寫入停止.

表2　從機地址模式

3.2寄存器配置

3.2.1操作模式選擇

MT9V032內(nèi)部共有152個寄存器.由于系統(tǒng)保留的寄存器以及只讀寄存器不需要配置,因此只需配置其中的94個寄存器便可實現(xiàn)成像功能.通過對寄存器配置不同的值,可實現(xiàn)多種操作模式.MT9V032共有3種操作模式,分別為主機模式、快照模式以及從機模式.主機模式有并行和串行兩種操作方法,在并行過程中,曝光和讀出同時發(fā)生,使該模式的速度最快.與主機模式不同,快照模式接收外部觸發(fā)信號,并由觸發(fā)信號進行初始化控制.該模式可采集單獨的一幅或一系列圖像,通過對曝光時間進行更改以實現(xiàn)幀率的變化.傳感器的EXPOSURE,STFRM_OUT以及STLN_OUT管腳控制從機模式的曝光以及讀出.通過該模式,傳感器可讀出垂直消隱行.這3種模式可根據(jù)需要通過調(diào)節(jié)寄存器R0x07的值進行方便切換.

3.2.2信號路徑內(nèi)容設置

MT9V032的信號路徑由可編程增益、可編程模擬補償以及10位模數(shù)轉(zhuǎn)換器部分組成,下文將對這3個部分所需寄存器如何配置進行詳細說明.

當寄存器R0x80-R0x98的值發(fā)生變化時,數(shù)字增益將在下一幀圖像中發(fā)生變化.然而,模擬增益的變化則依賴于自動增益控制.如果將寄存器R0x AF的第2位設置成邏輯高電平,系統(tǒng)將實現(xiàn)自動增益控制,第n幀的增益變化將在第(n+1)幀體現(xiàn);如果自動增益控制失效,第n幀的變化將在第(n+2)幀中體現(xiàn).如果自動增益控制失效,則可通過編程更改增益.模擬增益公式為

其中,a為寄存器R0x35的低7位,步長為0.0625,增益范圍為1倍到4倍.在計算數(shù)字增益時,首先要通過寄存器R0x99-R0x A4將圖像分成25塊,然后分別計算每塊的數(shù)字增益.數(shù)字增益公式為

其中,b為寄存器R0x80-R0x98的低4位,增益范圍為0.25倍到3.75倍.

通過調(diào)整寄存器R0x4C,R0x42,R0x46,R0x47,R0x48的值可實現(xiàn)自動暗電平校準,校準結(jié)果可用于模擬補償.自動暗電平校準測量2行暗像元像素的平均值,然后利用該值與可接受的最低電平和最高電平進行比較.若低于最小值,補償電壓將通過寄存器R0x4C的最低位的值以一定補償進行自加;若平均值高于最大值,則進行相應的自減.補償電壓計算公式為

其中,c為寄存器R0x48的低7位,d為寄存器R0x48的第8位.模數(shù)轉(zhuǎn)換器的輸入電壓為

其中,e為像素輸出電壓.其余寄存器的值可根據(jù)需要調(diào)整.

3.3時序仿真

Altera公司CycloneⅣ系列現(xiàn)場可編程門陣列采用經(jīng)過優(yōu)化的60 nm低功耗工藝.與前一代產(chǎn)品相比,總功耗降低了30%,同時簡化了電源分配網(wǎng)絡,減少了電路板的設計面積,特別適合體積小、成本低、功耗低的系統(tǒng).芯片EP4CE15具有高達20個時鐘控制模塊、豐富的邏輯資源以及大量用戶I/O[11],在保證體積和功耗的前提下可實現(xiàn)復雜、嚴格的時序設計,完全滿足CMOS成像系統(tǒng)中時序產(chǎn)生、電路控制以及數(shù)據(jù)緩存等眾多要求.

系統(tǒng)在QuartusⅡ13.1開發(fā)環(huán)境下,使用硬件描述語言(VHDL)編寫時序程序,采用自上而下的模塊化編程方法.通過調(diào)節(jié)內(nèi)部寄存器的值,可實現(xiàn)多種模式間的切換.仿真采用Modelsim 10.2,圖3和圖4為部分仿真結(jié)果.

圖3　仿真開始階段

圖4　仿真結(jié)束階段

在時鐘信號保持高電平期間,輸出的數(shù)據(jù)從高電平變?yōu)榈碗娖?此時程序開始.程序開始后,輸入寫地址位,然后等待應答,收到應答后輸入首個寄存器地址,依次將各個寄存器的值寫入,寄存器全部寫完后,在應答后下一個時鐘信號高電平期間,拉高數(shù)據(jù)電平,程序結(jié)束.

4　小型化設計

為了滿足小型化板的設計要求,印刷電路板(Printed Circuit Board,PCB)應滿足小、輕、薄的設計特點[12].本系統(tǒng)采用兩塊大小均為3 cm×2.2 cm的6層印刷電路剛性板,厚度為1.2 mm,兩端通過連接器相連.前端電路板放置傳感器、電源芯片等,后端電路板放置現(xiàn)場可編程門陣列及其配置電路.

同時,對該系統(tǒng)進行了電磁兼容設計[13-14]:為了保證電源穩(wěn)定、降低電路阻抗以及縮短配線長度,采用內(nèi)層為電源層的多層電路板;為了避免數(shù)字信號與模擬信號之間相互干擾,將數(shù)字地與模擬地進行隔離,并通過0Ω電阻進行連接;為了濾除干擾,在所有電源管腳處連接了0.1μF的去耦電容.盡量采用直線連接,以避免T形連接線在連接部位反射.

5　實驗結(jié)果

本系統(tǒng)采用自主設計的光學鏡頭進行成像實驗,視頻數(shù)據(jù)經(jīng)過圖像采集卡傳輸?shù)缴衔粰C進行成像實驗.圖5為相機實物圖,從圖中可以看出系統(tǒng)體積特別小,長、寬、高只有3 cm、2.2 cm和4 cm,具有很強的靈活性以及便攜性.

成像系統(tǒng)不僅體積小,而且功耗低,所占用的資源特別少.系統(tǒng)使用了421個邏輯單元,只占總資源的3%;使用了39個邏輯寄存器,不到總資源的1%;使用了1個鎖相環(huán),占總數(shù)量的25%.因此,系統(tǒng)非常適用于對功耗有特殊要求的場合.

圖5　相機實物圖

圖6　MT9V032成像效果圖

為驗證成像系統(tǒng)的成像效果以及工作穩(wěn)定性,進行了相機室內(nèi)拍攝實驗.相機連續(xù)工作10 min,系統(tǒng)工作正常.當時鐘為26.6 MHz時,幀頻為60幀/秒.圖6為室內(nèi)拍攝效果圖,成像分辨率為752 H×480 V,由圖可知,相機拍攝清晰,內(nèi)容豐富,成像系統(tǒng)完全滿足設計要求.

6　總 結(jié)

筆者以現(xiàn)場可編程門陣列作為核心控制器件,使用MT9V032型圖像傳感器,設計并實現(xiàn)了一款功能完整的小型相機.采用易于加工、結(jié)構(gòu)合理、體積小的光學系統(tǒng),設計電路兼顧電磁兼容的同時選用性能高且功耗低的器件.實驗結(jié)果表明,該相機的成像質(zhì)量與同分辨率CCD成像系統(tǒng)的成像質(zhì)量相媲美,并可實現(xiàn)多種模式切換.

[1]劉術(shù)彬,朱樟明,趙揚,等.一種具有延遲校準功能的可編程多相位時鐘電路[J].西安電子科技大學學報,2014,41 (6):67-74. LIU Shubin,ZHU Zhangming,ZHAO Yang,et al.Programmable Multi-phase Clock Circuit with Delay Calibration[J]. Journal of Xidian University,2014,41(6):67-74.

[2]付敏,彭東林,魯進,等.基于時間參考點的差動式線陣CCD位移傳感器[J].光學精密工程,2014,22(4):957-962. FU Min,PENG Donglin,LU Jin,et al.Differential and Linear CCD Displacement Sensors Based on Time Reference Points[J].Optics and Precision Engineering,2014,22(4):957-962.

[3]賀小軍,曲宏松,張貴祥,等.掃描鏡穩(wěn)定度對TDI CCD測量精度的影響[J].中國光學,2014,7(4):665-671. HE Xiaojun,QU Hongsong,ZHANG Guixiang,et al.Impact of Scan Mirror Stability on TDI CCD System Measure Accuracy[J].Chinese Optics,2014,7(4):665-671.

[4]夏璞,劉學斌,閆鵬.偏振透霧成像系統(tǒng)的設計與實驗分析[J].西安電子科技大學學報,2014,41(2):104-109. XIA Pu,LIU Xuebin,YAN Peng.Design and Experiment of Polarization Dehazing Imaging System[J].Journal of Xidian University,2014,41(2):104-109.

[5]冷雪,張雪菲,李文明,等.全幀CCD相機時間延遲積分模式下的圖像缺損[J].光學精密工程,2014,22(2):467-473. LENG Xue,ZHANG Xuefei,LI Wenming,et al.Image Defect of Full-frame CCD in TDI Mode[J].Optics and Precision Engineering,2014,22(2):467-473.

[6]張健,張玲花,劉立國,等.全景式航空遙感器TDI CCD精密裝調(diào)必要性分析及實現(xiàn)方法[J].中國光學,2014,7(6): 996-1002. ZHANG Jian,ZHANG Linghua,LIU Liguo,et al.Necessity and Implement Method of Precise Assembling of TDI CCD in Sweep Aerial Remote Sensor[J].Chinese Optics,2014,7(6):996-1002.

[7]MOSHE B.A Digital Gigapixel Large-format Tile-scan Camera[J].IEEE Computer Graphics and Application,2011,31 (1):49-61.

[8]MOSHE B.High Resolution Large Format Tile-scan Camera:Design,Calibration,and Extended Depth of Field[C]// 2010 IEEE International Conference on Computational Photography.Piscataway:IEEE,2010:5585095.

[9]黃輝,周進.基于現(xiàn)場可編程門陣列的CCD相機自動調(diào)光[J].光學精密工程,2014,22(2):426-433. HUANG Hui,ZHOU Jin.Auto-exposure for CCD Camera Based on FPGA[J].Optics and Precision Engineering, 2014,22(2):426-433.

[10]APTINA IMAGING INC.MT9V032 Datasheet[EB/OL].[2015-04-10].http://www.aptina.com.

[11]ALERA.Cyclone IV Device Handbook[EB/OL].[2015-04-15].http://www.altera.com.

[12]于雷.結(jié)構(gòu)狀態(tài)監(jiān)測的通用型小型化系統(tǒng)研制與開發(fā)[D].重慶:重慶大學,2008.

[13]徐祥桐.基于AMD CPU的高速電路板設計[D].濟南:山東大學,2013.

[14]孫守紅,郭立紅,葛欣宏.瞬變電磁場輻照下液晶顯示模塊的電磁兼容預測[J].光學精密工程,2014,22(12): 3160-3166. SUN Shouhong,GUO Lihong,GE Xinhong.EMC Prediction of Liquid Crystal Display Module Under Transient Irradiation in Electromagnetic Field[J].Optics and Precision Engineering,2014,22(12):3160-3166.

(編輯:郭 華)

Design and hardware implementation of the small-size CMOS camera system

XU Dongdong1,2,ZHANG Yu1,NIE Ting1,2,ZHANG Xingxiang1,REN Jianyue1
(1.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Scienses,Changchun 130033,China;2.University of Chinese Academy of Sciences,Beijing 100049,China)

A camera with a small-size and low-power is designed,using a CMOS MT9V032 as the digital image sensor.Based on the primary aberration theory,the optical system with the small size and compact structure is designed whose focal length is 12.95 mm and whose F number is 5,and the modulation transfer functions(MTF)of all fields are better than 0.5 at the spatial frequency of 83 lp/mm;we use FPGA as the timing control platform for the electronic system and the digital video signal of the CMOS output which is delivered through the differential chip in the low voltage differential signal(LVDS)output format to the image acquisition card.Finally,we can see the image on the computer.Experimental results show that the designed CMOS camera has a good image quality,low power,portability,and high reliability,and that the frame rate is 60 frames/s when the clock is 26.6 MHz,and it could achieve a variety of modes by adjusting the values of the internal registers,which is particularly suitable for the high requirements occasion in the camera volume and high imaging quality.

optical design;complementary metal-oxide-semiconductor transistor;aberrations;driving circuit;signal-to-noise ratio

TN201;TN911.73;TN386.5

A

1001-2400(2016)04-0117-06

10.3969/j.issn.1001-2400.2016.04.021

2015-06-10 網(wǎng)絡出版時間：2015-10-21

國家高技術(shù)研究發(fā)展計劃資助項目(863-2-5-1-13B)

徐冬冬(1987-),男,中國科學院長春光學精密機械與物理研究所博士研究生,E-mail:1069292478@qq.com.

網(wǎng)絡出版地址：http://www.cnki.net/kcms/detail/61.1076.TN.20151021.1046.042.html