一種圖像傳感器灰度響應非線性現(xiàn)象校正方法

袁鵬程， 李俊山， 孫富禮， 王 燦

(上海無線電設備研究所，上海201109)

0 引言

目前圖像傳感器的集成工藝已經(jīng)非常成熟，超高速、超高分辨率的圖像傳感器已經(jīng)被廣泛應用在很多領域。然而由于制作工藝的局限，導致圖像傳感器各個像素的參數(shù)特性各不相同[1]，從而在同等條件的曝光下各個像素輸出的信號存在不一致性，這種不一致性導致了輸出圖像的不均勻性。其次，隨著曝光時間增加圖像傳感器的光子轉換曲線呈現(xiàn)出非線性，這種非線性現(xiàn)象降低了圖像傳感器動態(tài)范圍，導致輸出圖像對比度較差，因此對圖像傳感器進行校正處理是很有必要的。

大部分的圖像傳感器校正方法著重對圖像傳感器的非均勻性進行校正，對圖像傳感器非線性進行校正的方法多數(shù)是基于伽瑪校正或將伽瑪校正集成至電路中[2]，而伽瑪校正并不能很好地抑制圖像傳感器的非均勻性，且大多數(shù)方法僅針對某一類圖像傳感器進行校正，并不具備通用性。因此提高圖像對比度的方法大多還是基于較為經(jīng)典的數(shù)字圖像處理算法例如直方圖均衡、指數(shù)校正、對數(shù)校正(伽瑪校正)、二值化等方法[3-8]，然而這類圖像處理算法僅僅是對圖像進行校正而非圖像傳感器，這樣會導致校正算法并不能識別出照片灰度值中的噪聲部分，也就是說使用這些方法并不能校正圖像的非均勻性，并且這類算法每拍一張照片就需要對其進行處理，操作繁瑣。

針對以上問題，為了解決傳統(tǒng)圖像傳感器校正方法只是單一的對圖像傳感器非均勻性或者非線性進行校正且通用性較差的問題，本研究提出一種基于像素光子轉換特性的圖像傳感器校正方法，該方法可以抑制圖像傳感器的非均勻性、校正圖像傳感器的非線性現(xiàn)象、補償圖像傳感器的暗噪聲以及缺陷像素，從而提高圖像傳感器輸出圖像的均勻性以及對比度。

1 圖像傳感器非線性校正方法

在圖像傳感器中，每個像素都有對應的灰度響應曲線。

如圖1所示，如果將圖像傳感器的每個像素點的灰度響應曲線都繪制出來，就會出現(xiàn)一簇灰度響應曲線，由于這些曲線的不一致性，導致在相同的光照和曝光時間下，各個像素輸出的灰度值會有差異，最終輸出的圖像上會存在很多亮暗點。

圖1 均勻曝光下像素灰度響應曲線

除了像素點之間光子轉換曲線的不一致性以外，單個像素的灰度響應曲線并不是嚴格線性的。圖2為某科學級CCD 圖像傳感器的光子轉換曲線，圖中虛線表示的是該像素實際的灰度響應曲線?？梢钥吹剑撓袼卦谄毓饬?20 lx·ms之前基本都保持線性。然而隨著曝光時間增加，響應曲線逐漸偏離線性并且曝光時間越長該現(xiàn)象越嚴重，這是由于像素中捕獲電荷的電勢阱捕獲電荷的能力在接近飽和值得時候會降低，從而導致光電轉換效率降低，無法保持線性。這種轉換曲線的非線性現(xiàn)象會導致圖像傳感器的動態(tài)范圍降低，并且輸出的圖像對比度較差。而理想的圖像傳感器轉換曲線應該為圖中實線所示的一條一次函數(shù)，且每一個像素的轉換曲線都應如此。

圖2 圖像傳感器實際與理想光子轉換曲線對比圖

針對以上問題，本文提出一種基于像素光子轉換特性的圖像傳感器校正方法。首先將圖像傳感器均勻曝光，并采集從無光到飽和曝光之間i張曝光量等差遞增的圖像數(shù)據(jù)，然后繪制出圖像傳感器所有像素的灰度響應曲線，由圖2可以看出，每個像素的響應曲線基本可以分為兩段，分別是線性段與非線性段，可以用一個分段函數(shù)來描述單個像素的響應曲線

式中：Ei為第i 張照片所對應的曝光量(時間)，μEi為在曝光量Ei下該像素所輸出的灰度值;μmax為線性段像素輸出的最大的灰度值;a1、b1、a2、b2、c2為函數(shù)表達式的擬合系數(shù)。

對于一個圖像傳感器來說，由于存在多個像素且每個像素的響應曲線都不一樣，所以不同像素的擬合系數(shù)也各不一樣。假設一個M ×N 像素的圖像傳感器，那么其中的任意一個像素(m，n)的響應曲線可表示為

式中：Ei為曝光量;μEi[m][n]是曝光量Ei下圖像傳感器第(m，n)個像素對應的灰度值;μmax[m][n]是線性區(qū)域最大灰度值;a1[m][n]、b1[m][n]、a2[m][n]、b2[m][n]、c2[m][n] 是第(m，n)個像素灰度值和曝光時間的最小二乘擬合系數(shù)，這些系數(shù)可以結合等差遞增的圖像數(shù)據(jù)擬合求得并組成矩陣A、B 和C，如式(3)、(4)、(5)所示。

矩陣A、B、C 被稱為圖像傳感器的特征矩陣，利用這三個矩陣可以描述出圖像傳感器所有像素點的灰度響應曲線，并且特征矩陣也是校正算法中的關鍵素材。

假設使用圖像傳感器進行曝光并輸出一張圖像，那么可以得到該圖像對應的灰度值矩陣為

通過上述特征矩陣A、B、C 與式(2)，利用特征矩陣中對應像素的擬合系數(shù)可以反演出每個像素的當前灰度值所對應的曝光量或輻照時間

由于理想圖像傳感器的光子轉換曲線應該是一條線性的直線，那么可以將理想的圖像傳感器灰度響應曲線表達式定義為一個一次函數(shù)，將式(7)帶入理想的弧度轉換曲線中，即可計算出對應曝光下理想的灰度值矩陣，即理想的圖像

式中：k、Ub為適當?shù)某?shù)和常數(shù)矩陣，使傳感器的動態(tài)范圍最大，且每個像素的具有相同或相近的光電轉換曲線，可根據(jù)圖像實際情況設置不同的目標值。例如，一個最大灰度級數(shù)為x，飽和曝光量為Emax，則k=x/Emax，Ub為圖像的整體亮度參數(shù)，一般情況下為0，在輸出圖像整體較暗時可以增大該參數(shù)得到更清晰的圖像。

2 實驗與結果分析

2.1 圖像傳感器測試系統(tǒng)

由于本論文提出的校正方法需要將圖像傳感器置于均勻曝光環(huán)境下進行成像進而測試圖像傳感器的光子轉換曲線，因此本研究依照“1288測試標準”，搭建了一套圖像傳感器測試系統(tǒng)。裝置大致組成如圖3所示。

為了驗證校正算法的效果，本論文分別以一款科學級CCD 與科學級CMOS圖像傳感器作為實驗對象來驗證算法的正確性以及適應性。其中，CCD 圖像傳感器為五級實驗片，分辨率為1 024×1 024(100 萬像素)，片上有兩列缺陷像素。CMOS 圖像傳感器為一級片，分辨率為2 352×1 728(400萬像素)。

由于該測試裝置中CCD 驅動電路使用的AD 轉換芯片輸出為12 位，即最大輸出為4 096 DN。為了達到最好的校正效果，本實驗中將目標響應曲線設定為正比例函數(shù)Uideal=27.31E，該目標響應曲線在圖像傳感器達到最大曝光150 lx·ms時灰度輸出值為4 096，滿足12位AD 轉換芯片的最大輸出，且正比例函數(shù)是嚴格線性的。

2.2 像素灰度響應曲線校正結果

理想的像素灰度響應曲線應是一條一次函數(shù)，然而由于工藝的限制，每個像素的PTC 各不一樣，甚至會有較大的差別，這就導致了圖像的不一致性，以本實驗中的CCD 圖像傳感器為例，由圖5中校正前像素的灰度響應曲線圖可看出該圖像傳感器存在以下幾個缺陷，在曝光量為0 lx·ms時各個像素輸出灰度值并不為0，具有比較大的暗噪聲現(xiàn)象;絕大多數(shù)像素動態(tài)范圍沒有達到12位AD 的最大輸出僅有(500～3 500)DN;各個像素間呈現(xiàn)出了明顯的不均勻性;從曝光量為飽和曝光的一半開始，大部分響應曲線呈現(xiàn)出非線性現(xiàn)象，曲線趨于平緩，導致達到飽和光強是輸出灰度值范圍僅為(3 500～3 800)DN;并且存在少數(shù)的缺陷像素，這些像素的灰度響應曲線與多數(shù)像素存在較大的不一致性。

圖5 CCD 圖像傳感器500像素PTC校正前曲線

圖6 CCD 圖像傳感器500像素PTC校正后曲線

由圖5、6中校正后像素的灰度響應曲線前后對比可以看到，經(jīng)過校正后圖像傳感器的暗噪聲得到了有效抑制，各個像素在曝光量為0 lx·ms時幾乎沒有灰度輸出;圖像傳感器的一致性得到了明顯的改善，在飽和曝光下各像素灰度跨度約為100 DN，與校正前相比灰度跨度縮小60%;響應曲線非線性現(xiàn)象也得到了明顯校正，動態(tài)范圍由校正前的(500～3 500)DN 擴展為(0～4 096)DN，相比校正前提高36.5%;且缺陷像素得到很好的校正;非線性現(xiàn)象得到明顯校正。由響應曲線對比可看出，該校正方法可以同時校正圖像傳感器的不均勻性以及非線性現(xiàn)象，此外該校正方法對于缺陷像素同樣有較好的校正效果。

2.2 像素灰度響應曲線校正結果

為了驗證校正方法對圖像傳感器成像的非均勻性校正效果，實驗對CCD 以及CMOS圖像傳感器進行均勻曝光。圖7、8為CMOS圖像傳感器校正前均勻曝光的照片原圖及灰度統(tǒng)計直方圖。

圖7 CMOS圖像傳感器校正前均勻曝光圖像

圖8 CMOS圖像傳感器校正前均勻曝光灰度直方圖

校正前CMOS圖像傳感器具有較嚴重的非均勻性，由灰度直方圖中的統(tǒng)計數(shù)據(jù)可得，均勻曝光下CMOS 圖像傳感器的灰度分布跨度約為(636～771)DN。

圖9、10為CMOS圖像傳感器校正后在相同條件下均勻曝光的圖像與灰度直方圖，由左邊的均勻曝光照片可看出經(jīng)過校正后，CMOS圖像傳感器輸出圖像的非均勻性得到明顯改善。從右邊的灰度直方圖中可得，均勻曝光下CMOS圖像傳感器校正后的的灰度分布跨度約為(680～722)DN，相比與校正前像素的一致性提高68%。

圖9 CMOS圖像傳感器校正后均勻曝光圖像

圖10 CMOS圖像傳感器校正后均勻曝光灰度直方圖

然后將校正前后的CCD 圖像傳感器分別在相同條件下進行均勻曝光成像，得到了CCD 圖像傳感器校正前后的均勻曝光圖像以及像素灰度統(tǒng)計直方圖。

圖11為CCD 圖像傳感器校正前后均勻曝光圖像對比圖，其中左圖為校正前輸出圖像，右圖為校正后輸出圖像。由于CCD 圖像傳感器的噪聲性能相比于CMOS 圖像傳感器較好，所以CCD圖像傳感器的非均勻性并不是很嚴重。但是從左圖中可看出，該CCD 圖像傳感器有兩行缺陷像素，經(jīng)過校正后，兩行缺陷像素得到了較好校正。校正前后圖對比可看出校正后的圖像變暗了一些，這是因為校正后各像素輸出灰度中的暗噪聲部分被抑制，所以輸出灰度值減小。

圖11 CCD 圖像傳感器校正前后均勻曝光圖像對比圖

圖12、13分別為CCD 圖像傳感器校正前后均勻曝光像素直方圖對比圖，由圖12可看出，校正前CCD 圖像傳感器在均勻曝光下輸出圖像的灰度分布跨度約為(2 190～2 300)DN，將縱軸顯示范圍減小，放大直方圖的底部可看出部分像素的灰度與大部分像素相差較大，即為缺陷像素。校正后CCD 圖像傳感器在均勻曝光下輸出圖像統(tǒng)計直方圖如圖13所示，經(jīng)校正后可看出，圖像灰度整體由2 300 DN 減小至1 800 DN，即經(jīng)校正后暗噪聲的抑制量為500 DN;輸出圖像的灰度分布范圍約為(1 780～1 840)DN，相比與校正前像素的一致性提高45%。

圖12 CCD 圖像傳感器校正前均勻曝光灰度直方圖

2.4 實際拍攝圖像校正結果及適應性驗證

為了驗證校正方法對圖像傳感器成像的非線性校正效果，實驗使用校正前后的CCD 圖像傳感器在相同環(huán)境及相同曝光時間下對物體進行成像曝光，然后對比其輸出圖像的質量以及視覺效果，并且對輸出圖像的灰度分布進行直方圖統(tǒng)計，計算圖像傳感器動態(tài)范圍及圖像對比度的校正效果。圖14、15為CCD 圖像傳感器校正前拍攝石膏像及灰度直方圖。

圖14 CCD 圖像傳感器校正前拍攝實物圖

需要注意的是，在實際拍攝中，以塊黑色攝影布作為背景然后將石膏像放置在攝影布上作為拍攝對象且在右側放置了一個光源照射在拍攝對象上，然而由圖14中照片可看出，校正前圖像的對比度較低，石膏像以及背景的區(qū)分度并不明顯。由灰度直方圖中也可看出，照片的灰度分布范圍僅為(500～3 500)DN。

圖16、17為CCD 圖像傳感器校正后拍攝石膏像及灰度直方圖。由照片可看出，相比于校正前輸出的圖像，該圖像石膏像右側的高亮部分亮度增加，而背景的亮度下降，圖像整體對比度得到明顯改善。由灰度直方圖中也可看出，照片的灰度分布范圍擴展為(0～3 800)DN，相比于校正前提高26.7%。同時輸出圖像中的缺陷像素行也得到明顯校正。

圖17 CCD 圖像傳感器校正后拍攝實物灰度直方圖

為了驗證算法的適應性，實驗對其他物體拍攝了照片，并且輸出各圖像校正前后的像素灰度直方圖，計算圖像對比度的改善效果。

圖18、19為CCD 圖像傳感器校正前拍攝茶壺及灰度直方圖，該茶壺主體為黑色，茶壺上的花紋以紅色和白色為主。

由圖13中照片可看出，校正前圖像的對比度較低，尤其是茶壺上的花紋細節(jié)部分對比度不明顯。由灰度直方圖中可看出，照片的灰度分布范圍僅為(500～2 800)DN。

圖18 CCD 圖像傳感器校正前拍攝茶壺照片

圖19 CCD 圖像傳感器校正前拍攝茶壺灰度直方圖

圖20 CCD 圖像傳感器校正后拍攝茶壺照片

圖21 CCD 圖像傳感器校正后拍攝茶壺灰度直方圖

圖20、21為CCD 圖像傳感器校正后拍攝茶壺及灰度直方圖。由照片可看出，相比于校正前輸出的圖像，該圖像茶壺的主體更接近于真實物體的黑色，而茶壺上的反光效果及花紋細節(jié)更加明顯，照片整體對比度得到明顯改善。由灰度直方圖中也可看出，照片的灰度分布范圍擴展為(0～3 700)DN，相比于校正前提高50.7%，輸出圖像中的缺陷像素行同樣得到了校正。

3 結論

本論文針對傳統(tǒng)圖像傳感器校正方法只是單一的對圖像傳感器非均勻性或者非線性進行校正且通用性較差的問題，提出了一種基于像素光子轉換特性的圖像傳感器校正方法，設計了基于FPGA 時序控制的圖像數(shù)據(jù)采集電路采集實驗所需數(shù)據(jù)，針對一款CCD 及CMOS圖像傳感器進行校正。經(jīng)過實驗驗證，該校正方法可以同時校正圖像傳感器的不均勻性以及非線性現(xiàn)象，此外該校正方法對于缺陷像素同樣有明顯的校正效果。經(jīng)該方法校正后的圖像傳感器輸出圖像均勻性、對比度、像素分布范圍均有顯著提升，解決了傳統(tǒng)圖像傳感器校正方法只是單一的對圖像傳感器非均勻性或者非線性進行校正且通用性較差的問題，且該方法適用于CCD 圖像傳感器以及CMOS圖像傳感器，具有明顯的通用性。