基于CIS 暗電平校正算法研究與實現(xiàn)

郭智慧 魏巍

（長春理工大學計算機科學技術學院 吉林省長春市 130022）

圖像傳感器是將光學圖像信息轉(zhuǎn)換成電信號的器件[1]。固態(tài)圖像傳感器主要有兩種：電荷耦合器件(Charge Couple Device, CCD)和互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor, CMOS)。

自20 世紀六、七十年代誕生以來，CMOS 圖像傳感器的發(fā)展遠遜于CCD 圖像傳感器。近年來，隨著CMOS 圖像傳感器設計技術和半導體制造技術的不斷發(fā)展，CMOS 圖像傳感器(CMOS Image Sensor, CIS)因其制造工藝所取得的成就，低成本、低電壓、低功耗，且集光敏器件、模擬讀出電路、數(shù)字控制系統(tǒng)、智能信號處理電路于一體的優(yōu)勢顯現(xiàn)，使得CMOS 圖像傳感器廣泛應用于數(shù)碼相機、安防監(jiān)控、汽車倒車影像、醫(yī)療影像等領域。但由于結(jié)構(gòu)上的差異，CIS 的暗電流始終高于同尺寸的CCD[2]。暗電流限制了CIS 的性能如動態(tài)范圍、靈敏度，引入固定模式噪聲(FPN, fixed pattern noise)和瞬時噪聲。因此，在在圖像處理階段，采用暗電平校正算法對其進行校正是很有必要的。

1 CMOS圖像傳感器芯片結(jié)構(gòu)

CMOS 圖像傳感器芯片是由像素陣列(Pixel Array)、可編程放大器(PGA)、圖像信號處理(ISP)、模數(shù)轉(zhuǎn)換(ADC)、時序控制(Timing Control)、行解碼(Row Decoder)和列解碼(Column Decoder)等模塊組成。如圖1 所示。

圖1： CMOS 圖像傳感器芯片架構(gòu)圖

像素陣列是CMOS 圖像傳感器的核心部分，作用是將光信號轉(zhuǎn)換為電信號，并且在行解碼和列解碼的驅(qū)動下尋址相應的像素單元。在時序的驅(qū)動下，將像素中的信號依次進行相關采樣，接著讀入到可編程放大器中。信號經(jīng)過可編程放大器放大后，進入到模數(shù)轉(zhuǎn)換器中，將模擬信號轉(zhuǎn)換為數(shù)字信號。然后進行相應的圖像信號處理包括暗電平校正、自動白平衡處理、顏色插值、顏色校正、噪點去除、圖像降噪、伽馬校正等。經(jīng)過處理后的圖像數(shù)據(jù)，最終由輸出接口進行輸出到存儲設備進行存儲或顯示設備中進行顯示。根據(jù)應用和設計的不同，CIS 輸出形式有：數(shù)字信號輸出、模擬信號（NTSC/PAL）輸出、兩者都可以輸出。

2 暗電流校正方法

2.1 暗電流產(chǎn)生原因

CMOS 圖像傳感器的一個重要特點是在像素陣列中采用了有源像素傳感器(Active Pixel Sensor, APS)。CIS的像素單元是采用基于PN 結(jié)的光電二極管，一個光電二極管作為一個像素，當光子入射到半導體材料中，光子被吸收而激發(fā)產(chǎn)生電子空穴對，稱為光生載流子。在受到光照時，光電二極管加反偏電壓，可將光信號轉(zhuǎn)換成電信號。理想情況下，在沒有入射光的圖像傳感器應該輸出為0，但實際上在不發(fā)生光電效應時，二極管由于熱激發(fā)也會形成電子空穴對，產(chǎn)生電流即暗電流。這是由讀出電路及ADC 本身偏移量的存在導致的[2]。

綜上，暗電流是指器件在反向偏壓下，沒有入射光時產(chǎn)生于反向偏置的感光二極管和寄生結(jié)的漏電流。如圖2 中，即使采用PPD 4 晶體管像素結(jié)構(gòu)能有效降低暗電流，但是余下的暗電流仍然不可忽略，如光電二極管的體區(qū)和外圍區(qū)、光電二極管和氧化層界面、轉(zhuǎn)移晶體管的柵極電荷和浮置擴散結(jié)點FD。鉗位光電二極管的體區(qū)和表面產(chǎn)生的暗電流是由重金屬和晶格缺陷等引起的。鉗位光電二極管的外圍區(qū)是指靠近其附近的淺槽隔離（STI）的側(cè)墻和邊緣區(qū)域，來自于該區(qū)域的暗電流是最主要來源。而來自于轉(zhuǎn)移晶體管的暗電流在此像素結(jié)構(gòu)可以得到很好的抑制[3]。來自浮置擴散結(jié)點FD 的暗電流在單幀模式是比較大的，然而在正常工作模式是可以忽略的。

圖2： 4T 有源像素結(jié)構(gòu)

2.2 暗電流校正方法

在設計CIS 芯片時采用了很多方法來消除CIS 的暗電流，如：

（1）通過改善像素結(jié)構(gòu)和調(diào)整版圖設計來減少暗電流；

（2）通過采用列相關全差分采樣電路來消除暗電流；

（3）提高幀速率；

（4）通過遮黑虛假感光晶體管；

（5）通過零偏置電壓技術降低暗電流；

（6）差分放大校正暗電流等。

通過以上優(yōu)化像素結(jié)構(gòu)、完善工藝、版圖優(yōu)化等[4][5]方法可以很好的校正暗電流。但是暗電流會隨著溫度的增加而增大，通常認為，暗電流與絕對溫度呈指數(shù)關系[7]：

式中，Ea為半導體的禁帶寬度；k 為波爾茲曼常數(shù)；T 為絕對溫度。且暗電流是隨著積分時間和傳感器增益等條件變化而變化的，由此暗電流不可能被完全消除。由殘余暗電流和工藝等原因?qū)е孪袼匦盘柕淖x出電路和ADC（analog to digital converter）不匹配從而引起了電壓/電平偏移，成為暗電平。該電平侵占了傳感器的動態(tài)范圍，降低了圖像的質(zhì)量。

3 暗電平校正算法

3.1 暗電平校正算法概述

殘余的暗電流、由PGA(programmable gain amplifier)引起的電壓偏移和由ADC 引起的暗電平偏移會降低圖像的質(zhì)量。因此，在圖像處理階段采用暗電平校正算法進行校正很有必要。

圖3 是簡化的CMOS 圖像傳感器結(jié)構(gòu)框圖。其中包括像素單元（pixel），相關雙采樣（CDS），可編程放大器（PGA），模數(shù)轉(zhuǎn)換（ADC）。

圖3： 簡化的CMOS 圖像傳感器結(jié)構(gòu)框圖

光信號入射到像素陣列，在像素單元內(nèi)轉(zhuǎn)換成電信號，然后經(jīng)CDS 電路采樣，采樣后再經(jīng)過PGA 放大器放大，最后經(jīng)過ADC 轉(zhuǎn)換成數(shù)字信號輸出。圖中ADC的輸出ADCout為：

ADCout=Data+Offset+Temp+FPN（2）

式（2）中Data 是由光信號激發(fā)而產(chǎn)生的電信號，是光學信息的真實反映；Offset 是由CDS、PGA 和ADC 引起的電平偏移量；Temp 是電路中瞬時噪聲總和；FPN 是由于半導體集成電路制造工藝偏差等原因?qū)е缕骷涠鸬墓潭Ｊ皆肼暋?/p>

暗電平校正即是要對讀出電路（CDS 和PGA）引起的電壓偏移和由ADC 引起的電平偏移進行校正，以提高傳感器的圖像質(zhì)量。暗電平校正的通常做法是，先獲取遮黑像素（黑行）的信號，然后從正常的圖像信號中減去該信號，即為傳感器所獲取的真正的由光激發(fā)而產(chǎn)生的電信號，從而消除暗電平的影響。

3.2 典型的暗電平校正算法

模擬端的暗電平校正是在模擬域進行校正即在ADC 之前進行的校正。圖4 是模擬端暗電平校正的結(jié)構(gòu)框圖，其中平均值計算單元(Averaging Unit)、數(shù)字比較模塊(Digital Comparator)、加/減計數(shù)模塊(Up/Down Counter)、DAC(Digital to Analog Converter) 和 暗電平鉗位模塊(Black Level Clamp Circuit)共同組成了暗電平校正模塊[6]。參考電壓產(chǎn)生模塊(Reference Voltage Generator)為ADC 和DAC 模塊提供參考電壓。

圖4： 模擬端暗電平校正框圖

校正過程為：首先CDS 采樣像素陣列中黑行的像素值，經(jīng)過PGA 放大器放大。經(jīng)過放大后的黑行信號值經(jīng)過ADC 轉(zhuǎn)為數(shù)字信號。在平均值計算單元中計算求出黑行電平的平均值。將此平均值與設置的目標值相減得到黑行暗電平值后再與設置的偏移電平值進行比較。加減計數(shù)器根據(jù)比較結(jié)果輸出相應的數(shù)字控制信號到DAC 中，將該數(shù)字信號轉(zhuǎn)換成模擬信號即暗電平后，供給暗電平鉗位電路模塊[6]。暗電平鉗位模塊將暗電平的值加到CDS采樣的圖像信號上，然后進行校正暗電平。

數(shù)字端暗電平校正既是在信號經(jīng)過模數(shù)轉(zhuǎn)換之后在數(shù)字域進行的校正。一個簡單有效的方法是設置閾值，依據(jù)此閾值進行校正像素陣列中的暗電平，位于該閾值以下的數(shù)字信號值視為暗電平。因此，閾值電壓的選取尤為重要，其值太大會侵占圖像的動態(tài)范圍，太小則在較黑暗的環(huán)境中圖像細節(jié)又不夠清晰。圖5 是簡化的數(shù)字端暗電平校正的結(jié)構(gòu)框圖，其中BLC(black level calibration)是暗電平校正模塊，接收經(jīng)過去除白點后的ADC 輸出的暗電平數(shù)據(jù)，然后從ADC 輸出的圖像信號中減去該值即可得到校正后的圖像信號。

圖5： 簡化的數(shù)字端暗電平校正框圖

以上BLC 模塊一般包括黑行均值計算模塊(Black line average)、目標值設置模塊(Target black level)和暗電平調(diào)節(jié)模塊(Offset adjust)三部分如圖6 所示。

圖6： BLC 模塊

黑行均值計算模塊接收黑行像素單元的像素值，求出其平均值BLA。將其與暗電平目標值TBL 相減后得到暗電平偏移量Offset。目標值由目標值設置模塊設置的一個較小的正的偏移量。之所以要設置一個目標值，是為在暗光環(huán)境中能夠使得圖像細節(jié)更加清晰且能夠校正正的暗電平偏移的同時也能夠校正負的暗電平偏移。

由于暗電平是隨著外界的溫度、光照強度、積分時間和傳感器的增益等因素變化而變化的，因此在視頻圖像中要實時消除其影響，BLC 模塊就得不斷判斷這些因素的變化，并據(jù)此做出相應調(diào)節(jié)。在時序的控制下，BLC 模塊接受來自黑行的信號，并計算出其平均值即黑行的平均電平。然后，在時序的驅(qū)動下，從正常圖像信號中減去黑行的平均電平，即可得到校正后的圖像。

綜上，模擬端的校正是在ADC 之前進行的校正，該方法的優(yōu)點是校正范圍較大，且通過這種滯回比較的方法可以較好抑制幀間或幀內(nèi)校正引起的閃爍噪聲。缺點是由ADC 引起的暗電平不能得到校正使得校正不準確。數(shù)字端暗電平校正是在采集的信號轉(zhuǎn)換成數(shù)字信號后進行的，其優(yōu)點是校正比較精確、不需要DAC，缺點是由于校正是在信號被放大之后進行的，所以校正范圍較小，在某些情況下易于到達飽和，導致動態(tài)范圍減小。

3.3 改進的暗電平校正算法

本文提出改進的暗電平校正算法，即數(shù)字和模擬相結(jié)合的校正方法，可以較好的避免以上的問題又不會使得電路面積增加太多。此方法先在模擬端進行粗略的校正后，在數(shù)字域再進行更加精確的校正。圖7 為模擬和數(shù)字相結(jié)合的暗電平校正框圖。暗電平校正模塊由平均值計算單元、數(shù)字比較模塊、加/減計數(shù)模塊、DAC 和暗電平鉗位模塊共同組成。其中加強了加/減計數(shù)模塊的功能，依據(jù)不同情況可以輸出不同的校正步長。如果暗電平較大且超出一定范圍，則首先進行模擬校正稱為粗校正。粗校正完成之后，再在數(shù)字域進行細校正。如果暗電平較小且低于某個范圍，就直接進行細校正。

圖7： 模擬和數(shù)字相結(jié)合的校正方法

該校正方法通過微控制器設置目標值、偏移電平值和校正步長。在計算出黑行的暗電平之后，與偏移電平值進行比較，判斷暗電平是正值還是負值。如果為正值，加/減計數(shù)器就輸出一個正的大步長。反之，加/減計數(shù)器就輸出一個負的大步長。接著DAC 將該校正信號轉(zhuǎn)換為模擬信號。然后暗電平鉗位模塊將其負值加到PGA 之前的校正點與CDS 采樣的圖像信號進行求和以校正暗電平。反復判斷校正之后，黑行暗電平值落入設置的偏移電平值范圍內(nèi)，暗電平鉗位模塊對校正的結(jié)果進行累計輸出以完成一次校正。然后重新計算黑行的暗電平以進行下一步的校正。

經(jīng)過幾輪往復的判斷校正之后，就實現(xiàn)了暗電平的快速精確地校正。但因為暗電平時刻受外界因 素影響，因此BLC 模塊就要時刻判斷這些變化進行調(diào)節(jié)。

3.4 測試方案

采用兩種測試方法：隨機測試和典型測試。典型測試就是讀入指定參數(shù)和圖像數(shù)據(jù)，進行計算、判斷和校正后，查看校正結(jié)果是否達到預期。通過多幅不同數(shù)據(jù)圖像，來判斷校正的正確性和準確性。

隨機測試是隨機產(chǎn)生的參數(shù)，這些參數(shù)是根據(jù)電平隨增益和溫度變化的線性模型產(chǎn)生的。溫度每增加5℃，暗電平增加一倍，增益增大一倍暗電平增大一倍。使用這些參數(shù)和數(shù)據(jù)進行校正后，利用自動比較的方式將校正前后的圖像數(shù)據(jù)進行比較，來判斷校正的準確性。

利用該暗電平模型模擬校正后，如圖8 是溫度緩慢升至42℃的校正結(jié)果，可以看出相較于改進算法的圖像，圖8(b)中的圖像模糊且亮度高，圖8(a)質(zhì)量好些。

圖8： 校正結(jié)果

4 總結(jié)

本文介紹了CMOS 圖像傳感器的構(gòu)成和工作原理，闡述了暗電流暗電平產(chǎn)生的原因。介紹分析了以往的暗電平校正方法，并在此基礎上提出了改進的暗電平校正算法。該方法在模擬域中校正的范圍較大，隨后在數(shù)字域進行校正，因此這種方法兼有校正范圍大、校正精度高的優(yōu)點，提高了圖像的質(zhì)量。