高速CMOS 圖像傳感器及其應(yīng)用

竇潤(rùn)江 ，曹中祥，李全良，馮 鵬 ，劉力源 ，劉 劍 ，吳南健 ,

(1. 中國(guó)科學(xué)院半導(dǎo)體研究所半導(dǎo)體超晶格國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100083；2. 中國(guó)科學(xué)院大學(xué)材料與光電研究中心，北京 100049；3. 中國(guó)科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心，北京 100083)

高速CMOS 圖像傳感器能將人眼無法分辨的高速現(xiàn)象捕捉下來，廣泛應(yīng)用于科學(xué)研究、運(yùn)動(dòng)分析、工業(yè)機(jī)器視覺和航空航天等領(lǐng)域[1-7]．高速CMOS 圖像傳感器的像素性能決定了成像速度和質(zhì)量．近年來相關(guān)研究機(jī)構(gòu)提出了4 個(gè)晶體管(4 T)結(jié)構(gòu)、5 個(gè)晶體管(5 T)結(jié)構(gòu)以及8 個(gè)晶體管(8 T)結(jié)構(gòu)的高速CMOS 圖像傳感器像素[8-10]，這些像素采用具有低噪聲、低暗電流和高量子效率(quantum efficiency，QE)特點(diǎn)的掩埋型光電二極管(pinned photodiode，PPD)作為光電轉(zhuǎn)換器件[11-12]．但是由于高速圖像傳感器的像素通常采用大尺寸的PPD 結(jié)構(gòu)，使得像素的設(shè)計(jì)面臨如下兩個(gè)關(guān)鍵問題．首先，在大尺寸PPD 中，橫向電場(chǎng)較弱，電荷的轉(zhuǎn)移只能通過載流子的擴(kuò)散運(yùn)動(dòng)來完成，因此電荷的轉(zhuǎn)移速度較慢，限制了成像速度．其次，當(dāng)電荷傳輸管從導(dǎo)通狀態(tài)切換至關(guān)閉狀態(tài)時(shí)，電荷傳輸管傳輸溝通中部分電荷會(huì)反彈回PPD中，將導(dǎo)致圖像拖尾現(xiàn)象．另一方面，像素信號(hào)讀出電路是高速CMOS 圖像傳感器的核心模塊之一，讀出電路的性能決定了圖像傳感器的速度和質(zhì)量．設(shè)計(jì)面積小、功耗低的像素信號(hào)處理電路及其陣列需要面對(duì)各種設(shè)計(jì)挑戰(zhàn)．

針對(duì)上述問題，本文采用了具有梯度摻雜PPD和非均勻摻雜溝道傳輸管的像素結(jié)構(gòu)設(shè)計(jì)了像素陣列；采用結(jié)構(gòu)緊湊、功耗低的模擬預(yù)處理和逐次逼近型模數(shù)轉(zhuǎn)換器(SAR ADC)電路設(shè)計(jì)了列并行像素信號(hào)讀出電路陣列；采用0.18μm CMOS 工藝試制了一款高速低功耗CMOS 圖像傳感器芯片，并對(duì)芯片的性能指標(biāo)進(jìn)行了測(cè)試驗(yàn)證．本文基于此高速CMOS圖像傳感器芯片試制了高速相機(jī)，并應(yīng)用在高速目標(biāo)跟蹤系統(tǒng)中．針對(duì)高速相機(jī)采集的800×600 分辨率的8 位灰度圖像，本文采用訓(xùn)練好的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)，在較小的候選搜索區(qū)域?qū)蜻x目標(biāo)窗口進(jìn)行分類，進(jìn)而實(shí)現(xiàn)高速的目標(biāo)定位，使跟蹤系統(tǒng)實(shí)現(xiàn)了550 幀/s 的高速目標(biāo)跟蹤，使目標(biāo)保持在視場(chǎng)的中間．

1 高速CMOS圖像傳感器的設(shè)計(jì)

1.1 高速CMOS圖像傳感器的架構(gòu)

本文設(shè)計(jì)的高速CMOS 圖像傳感器芯片采用列并行信號(hào)處理電路的架構(gòu)，集成高速像素陣列、低功耗的像素信號(hào)讀出電路以及控制器等模塊，如圖1 所示．像素陣列大小為N×M，其中最上方的N1行和最下方的N1行為暗像素，有效像素為(N－2 N1)×M；M×1 個(gè)像素信號(hào)處理電路陣列分為奇、偶各(M/2)×1個(gè)，分別位于像素陣列的上方和下方，奇、偶列的像素輸出信號(hào)分別經(jīng)奇、偶像素信號(hào)處理電路陣列并行處理；奇、偶列像素信號(hào)處理電路陣列輸出的全并行數(shù)字?jǐn)?shù)據(jù)經(jīng)輸出模塊分別轉(zhuǎn)化為P×1 路的輸出通道，每個(gè)通道每個(gè)時(shí)鐘周期輸出一個(gè)像素的數(shù)據(jù)．

圖1 高速CMOS圖像傳感器的結(jié)構(gòu)Fig.1 Structure of high-speed CMOS image sensor

芯片控制器產(chǎn)生芯片正常工作需要的所有控制信號(hào)，并實(shí)現(xiàn)與芯片外的通信，如經(jīng)SPI 串行接口對(duì)像素的積分時(shí)間、工作模式等進(jìn)行配置．芯片控制器產(chǎn)生的像素陣列控制信號(hào)，控制像素復(fù)位、積分、電荷轉(zhuǎn)移及信號(hào)輸出等過程．芯片控制器產(chǎn)生的像素信號(hào)處理電路控制信號(hào)(如選通、啟動(dòng)等)，啟動(dòng)像素信號(hào)處理電路陣列工作．芯片控制器控制像素陣列和像素信號(hào)讀出電路陣列協(xié)同工作，像素信號(hào)讀出電路陣列對(duì)像素陣列輸出的信號(hào)逐行并行處理并輸出數(shù)字信號(hào)，量化后的數(shù)字信號(hào)經(jīng)數(shù)據(jù)輸出單元多路串行輸出．

1.2 高速CMOS圖像傳感器的像素

本文提出的4 T 高速像素[13]，其電路和版圖分別如圖2(a)和(b)所示，包括梯度參雜掩埋型光電二極管(GD-PPD)、非均勻摻雜溝道傳輸管(NUDC TG)、浮空擴(kuò)散(FD)節(jié)點(diǎn)、復(fù)位管(MRST)、源極跟隨器(MSF)和行選擇管(MSEL)．復(fù)位管耗盡GD-PPD 的N區(qū)并復(fù)位FD 節(jié)點(diǎn)，當(dāng)傳輸管打開時(shí)，GD-PPD 中的光生電子被轉(zhuǎn)移到FD 節(jié)點(diǎn)．在FD 節(jié)點(diǎn)處，光生電子轉(zhuǎn)換為電壓信號(hào)．電子電壓轉(zhuǎn)換后，源極跟隨器用于緩沖FD 節(jié)點(diǎn)的電壓．當(dāng)行選擇管接通時(shí)，緩沖的電壓信號(hào)被輸出像素陣列．

圖2 提出的像素電路圖及版圖示意Fig.2 Proposed pixel circuit and layout diagram of PPD

本文像素的橫向截面圖和電勢(shì)分布分別如圖3(a)和(b)所示．與傳統(tǒng)的PPD 像素相比，本文采用的如圖3(a)所示像素分別在PPD 的N 埋層和TG 的P 層都采用兩次摻雜工藝，并且對(duì)GD-PPD 和NUDC TG 的交疊區(qū)域進(jìn)行了優(yōu)化．

PPD 的N 埋層采用兩次N 摻雜，分別為第1 次形成N 區(qū)域以及第2 次形成N- 區(qū)域，最終形成GD-PPD．其中N 區(qū)域相比N- 區(qū)域，摻雜深度淺、摻雜濃度高，這樣在PPD 的整個(gè)N 埋層內(nèi)形成橫向和縱向的濃度梯度．從而在PPD 內(nèi)電荷向傳輸管傳輸過程中，由于N- 區(qū)域和N 區(qū)域之間的雜質(zhì)濃度梯度帶來的電勢(shì)梯度將有利于PPD 中的電荷快速轉(zhuǎn)移到傳輸管．圖3(b)為梯度摻雜PPD 像素工作過程

圖3 高速像素的結(jié)構(gòu)Fig.3 High-speed pixel structure

中電荷轉(zhuǎn)移示意圖．其中，由梯度摻雜帶來的橫向電場(chǎng)強(qiáng)度[14]可以表示為

式中：Ex為位置x 處的電場(chǎng)強(qiáng)度；k 為玻爾茲曼常數(shù)；T 為開氏溫度；e 為電子電量；Nd(x)為位置x 處的摻雜濃度；為位置x 處的雜質(zhì)濃度梯度．由式(1)可知，PPD 內(nèi)的橫向電場(chǎng)方向由N 區(qū)指向N-區(qū)，這樣N- 區(qū)內(nèi)的電子可以通過橫向電場(chǎng)漂移到N區(qū)．因此梯度摻雜的結(jié)構(gòu)可以有效增強(qiáng)PPD 內(nèi)的橫向電場(chǎng)強(qiáng)度，減少電荷轉(zhuǎn)移時(shí)間．

如圖3(a)所示，在TG 的溝道中，P- 和P 兩個(gè)摻雜層形成NUDC TG．其中P 區(qū)溝道摻雜濃度高，P- 區(qū)溝道摻雜濃度低．TG 溝道表面的電勢(shì)與-(VGVT(x))成正比，其中，VG是TG 的控制電壓，VT(x)是位置x 處的閾值電壓．對(duì)于提出的NUDC TG，VT是增加閾值調(diào)整注入后的電壓，調(diào)整后的閾值電壓[14]表達(dá)式為

式中：VT0是進(jìn)行閾值電壓調(diào)整注入之前的閾值，D1(x)為位置x 處閾值調(diào)整注入濃度，Cox為柵電容密度．由式(2)可知，摻雜濃度高的溝道區(qū)域閾值電壓高，P 區(qū)的閾值高于P- 區(qū)的閾值．因此靠近PPD 一側(cè)的溝道電勢(shì)始終高于靠近FD 一側(cè)的溝道電勢(shì)．在TG 由開啟狀態(tài)轉(zhuǎn)到關(guān)閉時(shí)，溝道內(nèi)的電荷只移向FD 節(jié)點(diǎn)．從而有效地減少由TG 溝道中的反彈電荷引起的圖像拖尾．

本文使用計(jì)算機(jī)輔助設(shè)計(jì)軟件對(duì)像素器件的摻雜濃度和電荷轉(zhuǎn)移特性進(jìn)行了仿真，得出最優(yōu)的工藝參數(shù)．

圖4(a)所示為像素的雜質(zhì)濃度分布圖，其中N區(qū)的長(zhǎng)度為L(zhǎng)N，N 區(qū)與傳輸管溝道的交疊長(zhǎng)度為L(zhǎng)0，P 區(qū)的長(zhǎng)度為L(zhǎng)P．

圖4(b)給出了仿真得到的PPD 內(nèi)殘留電荷隨N區(qū)離子注入劑量的變化．當(dāng)N 區(qū)離子注入劑量大于2.2×1012cm-2時(shí)，PPD 內(nèi)的殘留電荷急劇增加．因此，N 區(qū)的最佳離子注入劑量為2.2×1012cm-2，這時(shí)的電荷轉(zhuǎn)移時(shí)間是40 ns，能夠滿足高速圖像傳感器的要求．

圖4(c)給出了改變N 區(qū)的長(zhǎng)度LN時(shí)PPD 內(nèi)光電子電荷轉(zhuǎn)移特性的仿真結(jié)果，其中橫坐標(biāo)為電荷轉(zhuǎn)移時(shí)間，N 區(qū)和N- 區(qū)的離子注入濃度為固定值．由仿真結(jié)果可以看出，當(dāng)LN從1.4μm 增加到2.4μm時(shí)，電荷轉(zhuǎn)移時(shí)間逐漸減少．但是，當(dāng)繼續(xù)增加LN到2.9μm 時(shí)，轉(zhuǎn)移時(shí)間開始增加．因此，LN為2.4μm時(shí)，電荷轉(zhuǎn)移時(shí)間最?。?/p>

圖4(d)給出了溝道反彈電荷數(shù)量與P 區(qū)離子注入劑量的關(guān)系，其中P- 區(qū)的離子注入濃度為固定值．由圖中可以看出，當(dāng)離子注入劑量大于6.0×1012cm-2時(shí)，反彈電荷數(shù)量減少的速度明顯變慢．因此，P 區(qū)的最佳離子注入劑量為6.0×1012cm-2．

根據(jù)式(1)可知，GD-PPD 內(nèi)的橫向電場(chǎng)強(qiáng)度與N 埋層內(nèi)2 次離子注入?yún)^(qū)的濃度梯度成正比．采用高摻雜的N 區(qū)可以提高PPD 內(nèi)的橫向電場(chǎng)．然而，高摻雜的N 區(qū)可能會(huì)在靠近TG 的溝道區(qū)域引起電荷勢(shì)阱[15]，造成圖像拖尾．此外，隨著N 區(qū)摻雜濃度的增加，F(xiàn)D 區(qū)域與N 埋層之間的電勢(shì)差減小，導(dǎo)致溝道內(nèi)的電荷轉(zhuǎn)移速度下降．因此需要選取合適的N 區(qū)與傳輸管溝道的交疊長(zhǎng)度L0，使得N 區(qū)與傳輸管溝道形成有效的電子轉(zhuǎn)移路徑．本文中，L0選取0.26μm．

根據(jù)式(2)可知，傳輸管溝道內(nèi)P 區(qū)與P- 區(qū)的摻雜濃度差異的大小決定了溝道內(nèi)電勢(shì)梯度的大小.如果P 區(qū)與P- 區(qū)摻雜濃度差異越大，溝道內(nèi)靠近PPD 一側(cè)的溝道電勢(shì)與靠近FD 一側(cè)的溝道電勢(shì)差異也就越大，因此傳輸管溝道內(nèi)電荷向PPD 反彈越?。欢?，隨著P 區(qū)摻雜濃度增加，靠近PPD 一側(cè)的溝道電勢(shì)與靠近FD 一側(cè)的溝道電勢(shì)之間的電勢(shì)差會(huì)減小，會(huì)增加電荷轉(zhuǎn)移時(shí)間．因此，傳輸管溝道內(nèi)P 區(qū)摻雜需要進(jìn)行優(yōu)化設(shè)計(jì)使得減少電荷反彈的同時(shí)不影響PPD 內(nèi)電荷向FD 的傳輸．另外，圖4(a)中所示P 區(qū)長(zhǎng)度LP需要盡可能的短，因?yàn)槿绻鸓 區(qū)長(zhǎng)度過長(zhǎng)，P 區(qū)內(nèi)的溝道電荷也會(huì)向PPD 內(nèi)反彈．本文中，LP選取工藝設(shè)計(jì)規(guī)則允許的最小長(zhǎng)度0.26μm．

圖4 像素仿真Fig.4 Simulation of pixel

1.3 高速CMOS圖像傳感器的讀出電路

本文設(shè)計(jì)了一個(gè)適于高速CMOS 圖像傳感器的列并行像素信號(hào)讀出電路，其由模擬預(yù)處理電路和12 bit SAR ADC 及讀出控制單元構(gòu)成[16]，如圖5 所示．模擬預(yù)處理電路實(shí)現(xiàn)相關(guān)雙采樣(CDS)、可編程增益放大器(PGA)等功能．相關(guān)雙采樣對(duì)像素輸出的復(fù)位電壓和信號(hào)電壓VPIX進(jìn)行相減操作，減小固定模式噪聲(FPN)．可編程增益放大器，放大像素輸出的信號(hào)，增強(qiáng)圖像的對(duì)比度和圖像傳感器的動(dòng)態(tài)范圍．

圖5 像素信號(hào)讀出電路結(jié)構(gòu)Fig.5 Block diagram of pixel signal readout circuit

CMOS 圖像傳感器根據(jù)應(yīng)用的場(chǎng)合不同會(huì)改變輸出幀率，由于模擬預(yù)處理電路和SAR ADC 的工作時(shí)間是固定的，隨著幀率的減小，讀出電路的功耗線性減少．本文設(shè)計(jì)的模擬預(yù)處理電路和SAR ADC 都采用了開關(guān)功耗控制(SPC)技術(shù)，在其不工作時(shí)關(guān)斷二者的直流通路，以降低讀出電路的平均功耗．圖像傳感器的幀率降低，空閑時(shí)間變長(zhǎng)，關(guān)斷時(shí)間變長(zhǎng)，模擬預(yù)處理電路和SAR ADC 的平均功耗隨之降低；反之則二者的平均功耗增加．像素信號(hào)讀出電路控制器由圖像傳感器的芯片控制器觸發(fā)啟動(dòng)，啟動(dòng)后控制模擬預(yù)處理電路和SAR ADC 完成一次操作，之后等待下一次觸發(fā)信號(hào)啟動(dòng)．在空閑時(shí)間控制邏輯電路不發(fā)生翻轉(zhuǎn)，因而像素信號(hào)讀出電路的平均功耗隨等待時(shí)間的增加即幀率的下降而線性下降．于是，像素信號(hào)讀出電路的平均功耗隨著圖像傳感器幀率的降低而線性下降．

2 高速CMOS圖像傳感器芯片及測(cè)試

本文采用0.18μm CMOS 工藝制造設(shè)計(jì)和試制了一款高速低功耗列并行CMOS 圖像傳感器芯片，像素陣列大小為816×600，其中最上方的8 行和最下方的8 行為暗像素，有效像素為800×600；600×1個(gè)像素信號(hào)處理電路陣列分為奇、偶各300×1 個(gè)，芯片尺寸為20.5 mm×10.5 mm，芯片的電子顯微照片如圖6 所示．

圖6 高速CMOS圖像傳感器Fig.6 High-speed CMOS image sensor

為了測(cè)試高速圖像傳感器芯片，本文設(shè)計(jì)了在暗室環(huán)境下的光電測(cè)試系統(tǒng)和高速CMOS 成像系統(tǒng)，如圖7 所示．計(jì)算機(jī)通過USB 接口發(fā)送指令到光源控制器來控制光源頭的輸出強(qiáng)度．本文采用標(biāo)準(zhǔn)的線性LED 光源，光源頭搭配積分球在出光口處輸出均勻光．高速CMOS 成像系統(tǒng)置于升降臺(tái)上，使均勻光照射在傳感器的感光面板上．成像系統(tǒng)輸出的圖像數(shù)據(jù)通過USB 接口傳輸?shù)接?jì)算機(jī)．

圖7 光電測(cè)試系統(tǒng)Fig.7 Photoelectric test system

圖8 測(cè)試的電荷轉(zhuǎn)移特性和圖像拖尾特性Fig.8 Measured charge transfer characteristics and image lag characteristics

像素的圖像拖尾測(cè)試時(shí)序如圖8 所示．VSEL是行選擇管控制電壓，VRST是復(fù)位管控制電壓，VTG是傳輸管控制電壓．LED 表示LED 光源的控制信號(hào)．LED 光源只有在LED 控制信號(hào)高電平期間才打開．在一定的積分時(shí)間之后，PPD 內(nèi)產(chǎn)生一定數(shù)量的光生電荷，所產(chǎn)生的光生電荷在第i 幀被轉(zhuǎn)移．如果在第i 幀PPD 內(nèi)電荷沒有被完全轉(zhuǎn)移，那么殘留的電荷將在第i＋1 幀被轉(zhuǎn)移，在第i＋1 幀所測(cè)得的信號(hào)即為圖像拖尾．經(jīng)過測(cè)試，沒有采用優(yōu)化措施的像素圖像拖尾為7.1%，本文設(shè)計(jì)的高速像素圖像拖尾小于0.5%．

光強(qiáng)響應(yīng)用來表征圖像傳感器的靈敏度R，是通過對(duì)光響應(yīng)曲線的線性擬合求得[17-18]．固定傳感器的曝光時(shí)間texp，單位：s，改變光照強(qiáng)度E，單位：lx，以不同的光照強(qiáng)度條件下取得的圖像所有像素平均灰度值μy－μdark為縱坐標(biāo)(μdark為無光照條件下傳感器所有像素輸出的平均灰度值)，單位：DN(digital number)，輻照度 H 為橫坐標(biāo)，單位：lx·s，繪制光響應(yīng)曲線．對(duì)光響應(yīng)曲線的線性部分進(jìn)行線性擬合，擬合直線y(如式(3)所示)的斜率 a1即為靈敏度R．

時(shí)域暗噪聲 σy,dark是傳感器在積分時(shí)間最短條件下的暗噪聲值，單位：DN，即本底噪聲．在無光照、最短積分時(shí)間條件下，取多幀圖像S，計(jì)算所有像素輸出灰度值的時(shí)域方差(式(4))，并取均值(如式(5)所示)，即可得到時(shí)域暗噪聲[18]．

式中：L 為采集圖像的數(shù)量；M 和N 分別為圖像的行和列數(shù)；m 和n 為像素的坐標(biāo)索引．

動(dòng)態(tài)范圍DR，單位：dB，表現(xiàn)了圖像Hab,ab傳感器芯片可探測(cè)的信號(hào)范圍．根據(jù)式(6)計(jì)算得到[18]，其中，μy,sat是飽和灰度值，單位：DN，σy,dark是時(shí)域暗噪聲，單位：DN．

傳感器芯片的信噪比SNR 定義為輸出圖像的有效平均灰度值μy－μdark與噪聲σy的比值[18]，單位：dB．固定傳感器的曝光時(shí)間，改變光照強(qiáng)度，以不同的光照強(qiáng)度條件下取得的圖像所有像素平均灰度值μy－μdark為橫坐標(biāo)，噪聲σy(單位：DN)為縱坐標(biāo)，繪制光子轉(zhuǎn)移曲線(photon transfer curve，PTC)．PTC的頂點(diǎn)記為SNR 點(diǎn)，根據(jù)式(7)計(jì)算SNR．

圖 9(a)和(b)所示分別為測(cè)試得到的高速CMOS 圖像傳感器光響應(yīng)曲線和光子轉(zhuǎn)移曲線．根據(jù)式(7)計(jì)算得到信噪比約為45.8 dB．根據(jù)此頂點(diǎn)的位置確認(rèn)圖像傳感器光響應(yīng)曲線的飽和灰度值，選取飽和灰度值以內(nèi)0～70%范圍的光響應(yīng)曲線線段進(jìn)行線性擬合，得到擬合直線的斜率即靈敏度約11 V/(lx·s)．根據(jù)式(4)和式(5)計(jì)算得到時(shí)域暗噪聲的值約為1.075 6 DN．結(jié)合飽和灰度值，根據(jù)式(6)計(jì)算得到動(dòng)態(tài)范圍約65 dB．設(shè)置圖像傳感器芯片的增益和輸出幀率為最高時(shí)，使芯片的感光面板工作在飽和狀態(tài)一段時(shí)間以后，測(cè)試得到圖像傳感器芯片的總功耗約為830 mW．

圖9 CMOS圖像傳感器的光電測(cè)試曲線Fig.9 Photoelectric test curve of CMOS image sensor

本文對(duì)設(shè)計(jì)的高速CMOS 傳感器芯片做高速成像測(cè)試．設(shè)置芯片工作在1 000 幀/s 時(shí)拍攝的4 張連續(xù)原始圖像如圖10 所示，圖像的間隔時(shí)間為20 ms，清晰記錄下了高速旋轉(zhuǎn)的扇葉及硅膠模型與桌面碰撞的過程，可以看出圖像沒有明顯的拖尾現(xiàn)象．

如表1 所示，本文的高速CMOS 圖像傳感器與傳統(tǒng)結(jié)構(gòu)設(shè)計(jì)的高速CMOS 圖像傳感器[19-20]相比，雖然功耗比文獻(xiàn)[19]大，靈敏度比文獻(xiàn)[20]小，但在更高的分辨率下幀率分別提高了約6.6 倍和1.5 倍．

圖10 1 000 幀/s時(shí)圖像傳感器拍攝的原始圖像Fig.10 Raw images taken by image sensor at 1 000 frames per second

表1 與其他高速CMOS圖像傳感器的性能比較Tab.1 Performance comparison with other high-speed CMOS image sensors

3 高速CMOS相機(jī)及快速目標(biāo)跟蹤

基于設(shè)計(jì)的高速圖像傳感器芯片和FPGA，本文設(shè)計(jì)了模塊化的高速CMOS 相機(jī)，包括供電板、FPGA 處理板、CMOS 傳感器板和接口板，如圖11(a)所示．FPGA 處理板實(shí)現(xiàn)圖像傳感器的控制、數(shù)據(jù)格式轉(zhuǎn)換、圖像數(shù)據(jù)輸出等功能．接口板設(shè)計(jì)有USB3.0 接口和2 路SFP＋光纖接口，圖像傳感器的成像參數(shù)可以通過USB3.0 接口配置，也可以通過光纖接口在遠(yuǎn)端的主機(jī)配置．相機(jī)照片如圖11(b)所示，相機(jī)前面板上的鏡頭安裝法蘭兼容標(biāo)準(zhǔn)的C 卡口工業(yè)鏡頭．為保障高速相機(jī)長(zhǎng)時(shí)間的穩(wěn)定工作，相機(jī)內(nèi)部采用風(fēng)冷散熱，F(xiàn)PGA 芯片加裝散熱鋁片，散熱片上安裝風(fēng)扇，利用FPGA 內(nèi)部的內(nèi)核溫度監(jiān)控控制模塊控制風(fēng)扇的轉(zhuǎn)速．同時(shí)外殼的兩側(cè)和上下靠近傳感器板位置處都做開孔處理加強(qiáng)空氣的流動(dòng)，進(jìn)一步增強(qiáng)相機(jī)內(nèi)部的散熱．高速相機(jī)的所有模塊(不包括鏡頭)安裝后，質(zhì)量約590 g，尺寸112 mm×92 mm×90 mm(長(zhǎng)×寬×高)．

圖11 高速CMOS相機(jī)Fig. 11 High-speed CMOS camera

在工業(yè)機(jī)器人自動(dòng)分揀系統(tǒng)中，分揀的速度影響整個(gè)系統(tǒng)的效率，而且需要將一段時(shí)間內(nèi)的自動(dòng)分揀過程存儲(chǔ)起來，方便后期人工分析分揀過程和調(diào)試．本文將高速CMOS 相機(jī)應(yīng)用到工業(yè)機(jī)器人自動(dòng)分揀系統(tǒng)中，使系統(tǒng)可以實(shí)現(xiàn)高速目標(biāo)跟蹤的同時(shí)，實(shí)時(shí)地將高速圖像數(shù)據(jù)存儲(chǔ)到計(jì)算機(jī)的固態(tài)硬盤中，跟蹤子系統(tǒng)的照片如圖12(a)所示．高速相機(jī)固定在伺服電機(jī)構(gòu)成的二自由度轉(zhuǎn)臺(tái)上，2 路光纖通道同時(shí)分別輸出1 000 幀/s@816×600 的高速圖像數(shù)據(jù)，分別傳輸?shù)揭曈X處理器和數(shù)據(jù)存儲(chǔ)器．視覺處理器執(zhí)行基于卷積神經(jīng)網(wǎng)絡(luò)的高速目標(biāo)跟蹤算法，并控制二自由度轉(zhuǎn)臺(tái)的運(yùn)動(dòng)，使視覺目標(biāo)保持在視場(chǎng)的中心．?dāng)?shù)據(jù)存儲(chǔ)器通過光纖接口控制高速相機(jī)的工作，將接收到的高速圖像數(shù)據(jù)經(jīng)過PCIe 接口實(shí)時(shí)存儲(chǔ)到PC 的固態(tài)硬盤中．

高速視覺處理器是在一塊Arria10 FPGA 開發(fā)板上實(shí)現(xiàn)，可執(zhí)行基于卷積神經(jīng)網(wǎng)絡(luò)的高速目標(biāo)跟蹤算法．如圖12(b)給出了高速目標(biāo)跟蹤流程圖，它采用適用于硬件加速的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)，包括3 個(gè)卷積層(conv 1～3)、2 個(gè)最大池化層(Max Pooling 1～2)和一個(gè)全連接層(fc)，并在GPU 上完成網(wǎng)絡(luò)的參數(shù)訓(xùn)練．網(wǎng)絡(luò)的參數(shù)如4@28×28，表示這層網(wǎng)絡(luò)有4 個(gè)28×28 的卷積核，可以通過編程寫入視覺處理器的參數(shù)寄存器，通過訓(xùn)練不同的網(wǎng)絡(luò)參數(shù)，可以實(shí)現(xiàn)對(duì)不同跟蹤目標(biāo)的分類檢測(cè)．算法工作時(shí)，它將高速圖像切片(32×32)送入CNN 網(wǎng)絡(luò)，CNN 網(wǎng)絡(luò)對(duì)圖像切片進(jìn)行分類并打分，包括目標(biāo)和背景，分類為目標(biāo)的切片得分值最高的即為目標(biāo)的位置．

目標(biāo)跟蹤的結(jié)果如圖12(c)～(f)所示，可以看出，跟蹤系統(tǒng)基本可以保持目標(biāo)在視場(chǎng)的中心．經(jīng)過測(cè)試，此系統(tǒng)可實(shí)現(xiàn)550 幀/s@800×600 的高速目標(biāo)跟蹤，同時(shí)存儲(chǔ)到主機(jī)的高速圖像數(shù)據(jù)(1 000 幀/s@816×600，12 bit)完全正確．為進(jìn)一步驗(yàn)證高速相機(jī)的性能，使存儲(chǔ)系統(tǒng)持續(xù)工作了24 h 以上，經(jīng)過驗(yàn)證存儲(chǔ)的圖像數(shù)據(jù)完全正確．其中由于硬盤的容量限制(1.92 TB)，本文將圖像數(shù)據(jù)循環(huán)寫滿硬盤．

圖12 高速目標(biāo)跟蹤應(yīng)用Fig.12 High-speed target tracking application

4 結(jié) 語(yǔ)

本文采用一種適用于高速CMOS 圖像傳感器的新型像素器件，它具有梯度摻雜掩埋型光電二極管(GD-PPD)和非均勻摻雜傳輸管(NUDC TG)結(jié)構(gòu)，能夠有效減少光生電荷轉(zhuǎn)移時(shí)間和圖像拖尾．結(jié)合采用開關(guān)功耗控制技術(shù)的像素信號(hào)讀出電路，設(shè)計(jì)了一款高速低功耗列并行CMOS 圖像傳感器芯片．測(cè)試結(jié)果表明，提出的像素器件有效，能夠?qū)崿F(xiàn)快速的光生電荷轉(zhuǎn)移，減少了圖像拖尾．設(shè)計(jì)的CMOS 圖像傳感器能夠穩(wěn)定輸出最高1 000 幀/s@816×600 的圖像數(shù)據(jù)，并且在最高增益、最高輸出幀率的條件下工作時(shí)，功耗約為830 mW．