基于AM41V4傳感器的高清高速CMOS相機(jī)系統(tǒng)設(shè)計(jì)

李方寧，王延杰，張 濤，孫宏海

（1.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033；2.中國科學(xué)院大學(xué)，北京 100049）

1 引 言

隨著固態(tài)圖像傳感器技術(shù)的飛速發(fā)展，CMOS（互補(bǔ)金屬氧化物半導(dǎo)體Complementary Metal－Oxide Semiconductor）高清高速相機(jī)成為可能。攝像機(jī)也由當(dāng)初的硅靶型真空管攝像機(jī)，F(xiàn)PS（聚 焦 投 影 和 掃 描 Focus Projection and Scanning）攝像機(jī)，CCD（電荷耦合元件Chargecoupled Device）攝像機(jī)發(fā)展到當(dāng)前的CMOS攝像機(jī)，相機(jī)拍攝幀頻也由數(shù)十幀升高為數(shù)千幀。采用CMOS圖像傳感器的高分辨率高幀頻攝像設(shè)備也廣泛用于國防、科研和工業(yè)等領(lǐng)域：國防軍事中，CMOS相機(jī)可用于快速捕捉高速飛行目標(biāo)的運(yùn)動軌跡，滿足對其測試監(jiān)控的需求；科學(xué)研究中，CMOS相機(jī)將各種高速實(shí)驗(yàn)過程記錄下來，更好的為科研提供有用的實(shí)驗(yàn)數(shù)據(jù)；工業(yè)研發(fā)中，CMOS相機(jī)適用于各種行業(yè)的工藝研究，產(chǎn)品創(chuàng)新及測試環(huán)節(jié)，推動了生產(chǎn)力發(fā)展［1］。與傳統(tǒng)CCD圖像傳感器相比，CMOS圖像傳感器具有工藝簡單、集成度高、成本低、功耗低、捕捉速度高和開發(fā)周期短等顯著優(yōu)勢，通過綜合對比，CMOS圖像傳感器更適合應(yīng)用于高分辨率高幀頻相機(jī)系統(tǒng)［2］。

目前生產(chǎn)高清高速相機(jī)的大都是美國、加拿大、德國、瑞士等西方發(fā)達(dá)國家，他們對CMOS高清高速相機(jī)系統(tǒng)的開發(fā)具有豐富的經(jīng)驗(yàn)和大量成功的先例。國外的高清高速相機(jī)通常幀頻都達(dá)到1000fps以上，分辨率高達(dá)百萬像素以上。和國外相比，國內(nèi)自主研發(fā)的高清高速相機(jī)在產(chǎn)品種類和產(chǎn)品質(zhì)量兩方面都亟待提升，對高分辨率高幀頻的CMOS成像系統(tǒng)的開發(fā)也不容忽視，現(xiàn)在我國的高分辨率高幀頻攝像設(shè)備多通過進(jìn)口引入國內(nèi)［3－7］。為打破這一格局，國內(nèi)急需展開含自主知識產(chǎn)權(quán)的高分辨率高幀頻相機(jī)的研究，掌握包含傳輸、控制、存儲和處理在內(nèi)的核心技術(shù)，積累相機(jī)開發(fā)經(jīng)驗(yàn)，這對滿足將來我國在高清高速拍攝領(lǐng)域的需求具有積極推動意義。

本文對高速CMOS圖像傳感器AM41V4進(jìn)行了簡要介紹，并基于該傳感器設(shè)計(jì)了高分辨率高幀頻相機(jī)系統(tǒng)。

2 CMOS圖像傳感器

2.1 AM41V4的基本性能

AM41V4是美國ALEXIMA公司開發(fā)的一款針對高速機(jī)器視覺和運(yùn)動分析應(yīng)用的高分辨率高幀頻CMOS傳感器芯片。該芯片擁有2 368×1 728像素，有效像素為2 336×1 728，像元尺寸為7μm×7μm，滿幅分辨率下幀頻為500fps。同時AM41V4還具有ROI（感興趣區(qū)域讀取Region of Interesting）功能，在進(jìn)行開窗操作時，可以通過AM41V4的控制接口進(jìn)行設(shè)置，使其可以輸出我們指定窗口內(nèi)的圖像數(shù)據(jù)。采用ROI方式可以有效減小圖像數(shù)據(jù)大小，提高圖像輸出幀頻。

AM41V4的主要特征參數(shù)見表1。

表1 AM41V4圖像傳感器參數(shù)說明Tab.1 Performance specifications of AM41V4image sensors

2.2 AM41V4的內(nèi)部結(jié)構(gòu)

AM41V4像素內(nèi)采用了5T晶體管結(jié)構(gòu)（如圖1所示），具有全局快門模式。全局快門保證陣列中所有像素都能同時啟動和終止光積分，避免了拍攝高速運(yùn)動所產(chǎn)生的果凍效應(yīng)。

圖1 快門像素簡圖Fig.1 Simplified diagram of the shutter pixel

圖1中PD是光電探測器，F(xiàn)D為像素內(nèi)存，RST為CMOS晶體管。在AB門上加載‘PD＿n’信號，當(dāng)‘PD＿n’低置時，允許相機(jī)進(jìn)行曝光，當(dāng)其高時，光電探測器PD復(fù)位；在TX門上加載‘TX＿n’信號，當(dāng)‘TX＿n’低置時使電荷從光電探測器PD轉(zhuǎn)移到像素內(nèi)存FD；CMOS管RST上加置‘PRST＿n’信號，‘PRST＿n’低置時重置像素內(nèi)存FD，‘PRST＿n’與‘TX＿n’配合使用時可以重置像素內(nèi)存。所以，如果需要清除整個像素，如長時間的停頓后，將‘PD＿n’高置，‘TX＿n’和‘PRST＿n’低置，則能清除之前所積存下來的暗電流電荷像素。

AM41V4圖像傳感器的內(nèi)部框圖如圖2所示，主要由像素陣列，兩個列讀出模塊，一個四象限讀出控制體系及一些內(nèi)部產(chǎn)生的偏置電壓構(gòu)成。

AM41V4圖像傳感器的可讀像素為2 368×1 728，由2 336列有效像素陣列和32列暗陣列組成。AM41V4有16個端口，每個10位，共有160位數(shù)據(jù)輸出管腳。AM41V4的兩個列讀出塊分別位于芯片的頂部和底部，其中包括每列的采樣電路，放大電路，和帶有可讀SAR（逐次逼近寄存器Successive Approximation）的 ADCs（數(shù)字模擬轉(zhuǎn)換器 Analog to Digital Converter）寄存器，讀出的ADC數(shù)據(jù)暫時存儲在其中。將寄存器的讀出及傳感器控制驅(qū)動作為一個四象限讀出控制體系，這種四象限結(jié)構(gòu)使其能越過SAR ADCs寄存器進(jìn)行局部控制和局部數(shù)據(jù)的讀出，對于高速運(yùn)行的傳感器是來說是至關(guān)重要的。

圖2 AM41V4傳感器框圖Fig.2 AM41V4sensor block diagram

3 相機(jī)系統(tǒng)的總體方案設(shè)計(jì)

3.1 相機(jī)系統(tǒng)的性能指標(biāo)

相機(jī)系統(tǒng)承擔(dān)著試驗(yàn)過程中場景到電信號的轉(zhuǎn)換，是整個高清高速攝影系統(tǒng)中至關(guān)重要的組成部分，它的性能指標(biāo)直接影響到整個相機(jī)系統(tǒng)的應(yīng)用場合定位。

通過綜合分析國內(nèi)外相關(guān)產(chǎn)品參數(shù)，并結(jié)合AM41V4的性能參數(shù)，我們提出了本設(shè)計(jì)的性能指標(biāo)：

（1）相機(jī)分辨率為1 920×1 080像素；

（2）在1 920×1 080像素拍攝時幀頻為1 000幀；

（3）可由上位機(jī)軟件配置傳感器各項(xiàng)參數(shù)，選定圖像尺寸；

（4）可依具體的拍攝需求靈活改變工作模式。

3.2 相機(jī)系統(tǒng)架構(gòu)

基于圖像傳感器AM41V4的高清高速相機(jī)由相機(jī)采集模塊、相機(jī)控制存儲模塊以及相機(jī)接口模塊3部分組成，如圖3所示。

相機(jī)采集模塊主要有相機(jī)鏡頭和CMOS圖像傳感器構(gòu)成，CMOS傳感器收集通過鏡頭射入的光信號并將其轉(zhuǎn)換成數(shù)字信號供后續(xù)電路使用?？刂颇K采用FPGA（現(xiàn)場可編程門陣列Field Programmable Gate Arrays）作為系統(tǒng)核心控制，F(xiàn)PGA承擔(dān)為其他系統(tǒng)芯片提供驅(qū)動時序和控制信號的工作，從而使相機(jī)系統(tǒng)正常運(yùn)轉(zhuǎn)。加入高速大容量DDR3動態(tài)存儲器作為成像暫存器，配合HDMI高清接口可提供幀頻顯示功能。選擇光纖接口構(gòu)建相機(jī)接口模塊，可滿足相機(jī)高速實(shí)時傳輸?shù)男枨蟆?/p>

圖3 AM41V4相機(jī)結(jié)構(gòu)框圖Fig.3 Structure block diagram of AM41V4 CMOS camera

3.3 相機(jī)采集模塊

鏡頭和CMOS圖像傳感器構(gòu)成采集模塊，CMOS傳感器通過接受拍攝現(xiàn)場的光信息，利用光電效應(yīng)將光信號轉(zhuǎn)化成電信號，再通過CMOS內(nèi)部集成的A／D轉(zhuǎn)換器直接將拍攝所得的信息以數(shù)字信號形式傳送給控制模塊的FPGA［9］。

驅(qū)動時序是CMOS成像單元設(shè)計(jì)的重要一環(huán)。CMOS圖像傳感器AM41V4的滿幅像素陣列為2 368V×1 728H，根據(jù)這一特點(diǎn)，驅(qū)動時序分為行時序與幀時序。行時序控制每行2 368個像素?cái)?shù)據(jù)的輸出。

圖4 高幀頻AM41V4行時序圖Fig.4 Row timing of high frame rate AM41V4 sensor

由于AM41V4具有ROI功能，選取像素為2 336V×1 080H的感興趣區(qū)域圖像進(jìn)行驗(yàn)證，系統(tǒng)行時序中（見圖4），“st＿read＿n”和實(shí)際“data”輸出之間有4個時鐘周期的延遲。圖像每行有2 336個有效像素和32個暗像素，傳感器在每個時鐘周期輸出一組（16個）像素的數(shù)據(jù)，完成一行數(shù)據(jù)輸出需要2 368÷16＝148個時鐘周期，一個完整的行時序?qū)嶋H占用了148＋4＝152個時鐘周期，此時完成了一行數(shù)據(jù)的輸出，行時序結(jié)束。數(shù)據(jù)共有1 080行，因此1 080個行時序正好把一幀的圖像數(shù)據(jù)輸出完畢，構(gòu)成一個完整的幀時序。由行時序占用的時間與幀時序的構(gòu)成，可以算出完成一幀圖像所占用的時鐘周期數(shù)為N＝1 080行×152＝164 160個時鐘周期。在時鐘主頻170 MHz的時候一個完成的幀時序占用時間為t＝164 160÷170 000 000＝0.000 966s，即占用時間約為1ms。由此可以算出時鐘主頻為170MHz時傳感器的的分辨率為2 336V×1 080H，幀頻約為1 000fps，通過FPGA處理剪裁掉416列，得到標(biāo)準(zhǔn)高清像素1 920V×1 080H，此時幀頻仍為1 000fps，滿足高清高速標(biāo)準(zhǔn)。使用行時序構(gòu)成幀時序的設(shè)計(jì)方法借鑒了CMOS圖像傳感器的特點(diǎn)，有利于進(jìn)行設(shè)計(jì)，在實(shí)際電路中也有利于進(jìn)行仿真與調(diào)試。

圖5 高幀頻AM41V4幀時序圖Fig.5 Frame timing of high frame rate AM41V4 sensor

在FPGA驅(qū)動下AM41V4傳感器使用一個二進(jìn)制編碼進(jìn)行外部行尋址（row0－row10），地址對應(yīng)的有效像素為0～1 079。從像素中讀出信號時傳感器控制模塊產(chǎn)生一個內(nèi)部脈沖序列操作，這些操作包括讀出存儲在FD節(jié)點(diǎn)的信號，使用PRST＿n和TX＿n控制信號重置像素，使讀出的信號對應(yīng)重置的像素。為了讀取選定行像素和進(jìn)行像素信號AD轉(zhuǎn)換，需要發(fā)送一個Start Row控制信號（“st＿row＿n”）。讀出一個像素行并將其數(shù)字化需要使用一定數(shù)量的時鐘。這個時鐘數(shù)量與將移芯片中所有數(shù)字?jǐn)?shù)據(jù)輸出所需的時鐘數(shù)是相匹配的。所以，在第一行的像素信號數(shù)字化完成后，可以發(fā)送Start Read控制信號（“st＿read＿n”）來讀出數(shù)字?jǐn)?shù)據(jù)。同時，可以運(yùn)用Start Row脈沖到下一個選定行。

AM41V4供電要求比較復(fù)雜，偏置電壓較多，電壓說明見表2。

表2 AM41V4圖像傳感器電壓說明Tab.2 Power specifications of AM41V4image sensors

由于需要的偏置電壓較多，在系統(tǒng)電路設(shè)計(jì)中應(yīng)綜合考慮元器件管腳數(shù)量及位置分布情況，使得電源和地到相應(yīng)的管腳距離最短。

3.4 相機(jī)控制模塊

相機(jī)系統(tǒng)采用FPGA作為邏輯主控器件，F(xiàn)PGA采用 XILINX公司的 Kintex－7系列XC7K325T芯片，依據(jù)不同的需求進(jìn)行現(xiàn)場可編程，充分利用電路板空間，使相機(jī)系統(tǒng)小型化。FPGA是系統(tǒng)的“指揮中心”，用來調(diào)節(jié)整個相機(jī)系統(tǒng)的工作，F(xiàn)PGA需要為系統(tǒng)每個狀態(tài)提供邏輯控制，為狀態(tài)間的跳轉(zhuǎn)提供必要的控制信號，保證整個圖像數(shù)據(jù)流的完整通暢［8］。FPGA在邏輯上所要實(shí)現(xiàn)的功能有：各芯片及邏輯的時序控制、CMOS工作參數(shù)的配置、高速圖像數(shù)據(jù)的接收與緩存、DDR3的讀寫控制，HDMI顯示控制及相機(jī)接口的控制。FPGA的功能框圖見圖6。

圖6 FPGA功能框圖Fig.6 Frame timing of high frame rate AM41V4 sensor

前已述及，高幀頻CMOS成像系統(tǒng)最高工作幀頻為1 000fps，通過FPGA處理后的圖像大小為1 920V×1 080H 像素，數(shù)據(jù)速率約為20 Gbit／s，系統(tǒng)通過引入高速大容量DDR3動態(tài)存儲器作為成像暫存器，配合HDMI接口進(jìn)行幀頻顯示，從而進(jìn)行實(shí)時的監(jiān)測。

為滿足需求，DDR3芯片的選型主要基于兩點(diǎn)：內(nèi)部容量和工作頻率?？紤]到AM41V4的輸出數(shù)據(jù)率很高，為確保完整的接收和儲存高速的數(shù)據(jù)流，在選擇DDR3芯片時須注意頻率和帶寬參數(shù)。本設(shè)計(jì)最終選擇 Micron公司的MT8JTF12864HZ，其單片存儲容量為1GB，位寬64bit，數(shù)據(jù)傳輸速率最高為1 600Mb／s，可滿足系統(tǒng)幀頻實(shí)時監(jiān)控需求。

3.5 相機(jī)接口模塊

相機(jī)接口用來完成系統(tǒng)圖像數(shù)據(jù)的傳輸任務(wù)。由于相機(jī)圖像采集數(shù)據(jù)量很大，因此對相機(jī)接口的傳輸速度有很高的要求。工業(yè)攝像常用的接口類型如表3所示。

表3 工業(yè)相機(jī)接口比較Tab.3 Comparison of camera interfaces in industry

續(xù)表

通過相機(jī)接口特點(diǎn)的對比和本系統(tǒng)性能指標(biāo)的要求，系統(tǒng)選用光纖通道（Fiber channel）作為相機(jī)接口，使用SFP＋ （小型化可插拔光模塊Small form factor Pluggable）光模塊進(jìn)行光電轉(zhuǎn)換，變成光信號進(jìn)行傳輸。SFP＋模塊具有高密度、低功耗、更低系統(tǒng)構(gòu)造成本等顯著優(yōu)點(diǎn)，它遵循ANSI T11協(xié)議，可以滿足光纖通道的8.5 Gb的應(yīng)用［9］。本文相機(jī)系統(tǒng)實(shí)時傳輸圖像數(shù)據(jù)時理論帶寬值約20Gbps，由于光纖通道最大理論帶寬值為8.5Gbps，我們選用3個SFP＋光模塊來進(jìn)行數(shù)據(jù)轉(zhuǎn)換，再通過光纖進(jìn)行數(shù)據(jù)傳輸［10］，滿足相機(jī)實(shí)時傳輸高清高速圖像數(shù)據(jù)的要求。

4 系統(tǒng)測試及分析

系統(tǒng)在進(jìn)行測試試驗(yàn)中，選用轉(zhuǎn)動的風(fēng)扇作為高速運(yùn)動的目標(biāo)，3個風(fēng)扇葉上分別標(biāo)注進(jìn)行數(shù)字1、2、3標(biāo)注，圖7為相機(jī)實(shí)驗(yàn)環(huán)境。

圖7 相機(jī)系統(tǒng)測試環(huán)境Fig.7 Testing environment of camera system

系統(tǒng)測試過程中，相機(jī)系統(tǒng)可通過DDR3動態(tài)存儲器對前端CMOS拍攝的圖像進(jìn)行暫存，通過HDMI接口連接顯示設(shè)備，進(jìn)行拍攝過程中的實(shí)時監(jiān)控，同時，相機(jī)系統(tǒng)通過光纖通道實(shí)時傳輸獲取到的圖像數(shù)據(jù)，從而對高速運(yùn)動目標(biāo)進(jìn)行實(shí)時追蹤拍攝。圖8（a）、（b）為相機(jī)系統(tǒng)在不同時鐘主頻不同分辨率下實(shí)時拍攝高速運(yùn)動風(fēng)扇的圖像取樣。

圖8 不同條件下相機(jī)系統(tǒng)拍攝的圖像Fig.8 Images taken with the camera system under different conditions

圖8（a）為時鐘主頻140MHz，圖像分辨率2 336V×1 728H時拍攝的圖像取樣，此時的幀頻約500fps；圖8（b）為時鐘主頻170MHz，圖像分辨率1 920V×1 080H時拍攝的圖像取樣，此時的幀頻約1 000fps。

5 結(jié) 論

本設(shè)計(jì)將ALEXIMA公司的AM41V4型號CMOS圖像傳感器運(yùn)用在高速數(shù)字相機(jī)系統(tǒng)中，與國內(nèi)其他相機(jī)相比在分辨率、傳輸速度及高速實(shí)時顯示方面都有很大的提升：基于AM41V4傳感器芯片構(gòu)建的相機(jī)系統(tǒng)采用FPGA作為系統(tǒng)控制核心，光纖通道作為相機(jī)接口，在分辨率為1 920V×1 080時實(shí)時傳輸速度可達(dá)1 000幀／s，滿足高清高速相機(jī)標(biāo)準(zhǔn)；在高速相機(jī)內(nèi)部引入了高速大容量DDR3動態(tài)存儲器作為成像暫存器，配合HDMI高清顯示接口可以實(shí)現(xiàn)幀頻實(shí)時監(jiān)控功能。本系統(tǒng)可以根據(jù)用戶需求在不改變系統(tǒng)硬件的前提下進(jìn)行擴(kuò)展，使系統(tǒng)更加靈活，應(yīng)用范圍更加廣泛。

［1］ 蘇宛新.一種高幀頻CMOS圖像傳感器系統(tǒng)設(shè)計(jì)［J］.液晶與顯示，2013，28（6）：955－962.Su W X.Design of high frame frequency CMOS image sensor system ［J］.Chinese Journal of Liquid Crystals and Displays，2013，28（6）：955－962.（in Chinese）

［2］ 孫宏海，劉艷瀅.兩種高速CMOS圖像傳感器的應(yīng)用與測試［J］.中國光學(xué)，2011，4（5）：453－460.Sun H H，Liu Y Y.Application and test of two different high－speed digital CMOS image sensor［J］.Chinese Optical，2011，4（5）：453－460.（in Chinese）

［3］ 董巖，張濤，李清軍，等.基于PCI總線的CMOS圖像傳感器OV6620的驅(qū)動設(shè)計(jì)［J］.液晶與顯示，2010，25（3）：460－465.Dong Y，Zhang T，Li Q J，et al.Design of image aquision system based on PCI bus［J］.Chinese Journal of Liquid Crystals and Displays，2010，25（3）：460－465.（in Chinese）

［4］ BlossH S，Ernst J D.High－speed－camera based on a CMOS active sensor［J］.Proc.SPIE，2000，3968：31－38

［5］ HOLST G C.Electro－optical Imaging System Performance［M］.Bellingham：SPIE Optical Engineering Press，2006.

［6］ JANESICK J R.Photon Transfer：DN→λ［M］.Bellingham：SPIE Optical Engineering Press，2007.

［7］ 李豫東，汪波，郭旗，等.CCD 與 CMOS圖像傳感器輻射效應(yīng)測試系統(tǒng)［J］.光學(xué) 精密工程，2013，21（11）：2778－2784.Li Y D，Wang B，Guo Q，et al.Testing system for radiation effects of CCD and CMOS image sensors［J］.Optical and Precision Engineering，2013，21（11）：2778－2784.（in Chinese）

［8］ 彭進(jìn)業(yè)，金浩強(qiáng)，石劍虹，等.高速單像素相機(jī)數(shù)據(jù)采集系統(tǒng)［J］.光學(xué) 精密工程，2014，22（4）：837－843.Peng J Y，Jin H Q，Shi J H，et al.Data acquisition system for high speed single－pixel camera［J］.Optical and Precision Engineering，2014，22（4）：837－843.（in Chinese）

［9］ 李進(jìn)，呂增明，陶宏江，等.適于高速 CCD圖像數(shù)據(jù)光纖傳輸?shù)募m錯技術(shù)［J］.光學(xué) 精密工程，2012，20（11）：3548－3558.Li J，Lv Z M，Tao H J，et al.Error correction technology for CCD image using high speed optical fiber transmission［J］.Optical and Precision Engineering，2012，20（11）：3548－3558.（in Chinese）

［10］ 夏巧嬌，汪鼎文，張立國，等.高速多通道遙感相機(jī)快視系統(tǒng)的實(shí)現(xiàn)［J］.光學(xué) 精密工程，2013，21（1）：158－166.Xia Q J，Wang D W，Zhang L G，et al.Realization of fast－view system for high－speed multi－channel remote sensing camera［J］.Optical and Precision Engineering，2013，21（1）：158－166.（in Chinese）