基于最小二乘擬合的科學(xué)級(jí)CMOS傳感器非均勻性校正

閆蘇琪 ，楊世洪 ，王明富 ，洪裕珍

（1.中國(guó)科學(xué)院光電技術(shù)研究所四川成都610209；2.中國(guó)科學(xué)院大學(xué)北京100049）

科學(xué)級(jí)互補(bǔ)金屬氧化物半導(dǎo)體（scientific Complementary Metal Oxide Semiconductor，sCMOS）相比于傳統(tǒng)光電傳感器具有靈敏度高、線性度好以及分辨率高等突出優(yōu)點(diǎn)，而被廣泛應(yīng)用到各個(gè)領(lǐng)域[1]。由于不同列的列放大器內(nèi)部晶體管閾值電壓和自身偏置電壓不同會(huì)產(chǎn)生固定模式噪聲，其圖像中表現(xiàn)為豎直條紋。sCMOS芯片元信號(hào)的頂部和底部分別采用獨(dú)立的輸出，輸出后信號(hào)被雙列放大（低增益通道、高增益通道），并分別進(jìn)行A/D轉(zhuǎn)換[2]，因此對(duì)于高、低增益通道需要分別進(jìn)行非均勻性校正。本文以低增益通道為例進(jìn)行校正，其工作飽和度范圍（0，95%]。

鑒于CMOS圖像傳感器的響應(yīng)特性以及工程上要在硬件上實(shí)現(xiàn)且對(duì)實(shí)時(shí)性的要求，因此適宜選用計(jì)算量小、存儲(chǔ)參數(shù)小的校正方式[3]。其中基于兩點(diǎn)標(biāo)定的兩點(diǎn)法最大的缺點(diǎn)是應(yīng)用的動(dòng)態(tài)范圍小[4]。而基于最小二乘法兩點(diǎn)法以及二階多項(xiàng)式擬合法充分利用多個(gè)輻照度下的數(shù)據(jù)，使校正算法可適應(yīng)的動(dòng)態(tài)范圍更大，但仍可能存在在某輻照范圍內(nèi)校正效果比較差，甚至校正后圖像的均勻性變差的情況。因此提出通過(guò)基于最小二乘的分段線性校正算法，使在整個(gè)工作輻照度下都有較好的校正效果。

1 針對(duì)光電響應(yīng)線性度良好模型的非均勻性校正

1.1 校正原理

非均勻校正技術(shù)是改善圖像非均勻性的有效方法。非均勻性校正的目的就是通過(guò)校正使得圖像傳感器所有光敏單元在相同輻照度下表現(xiàn)出完全相同的光電轉(zhuǎn)換關(guān)系。目前常用的非均勻校正方法主要有基于標(biāo)定的校正方法和基于場(chǎng)景的校正方法[5]，由于sCMOS穩(wěn)定性比較好所以適用于基于標(biāo)定的校正方法，而后者雖然具有無(wú)需參考源自適應(yīng)校正的能力，但是其精確算法的硬件實(shí)現(xiàn)相當(dāng)困難，因而工程實(shí)際應(yīng)用中還是使用前者。

基于最小二乘法的曲線擬合，當(dāng)選取的用于曲線擬合的定標(biāo)點(diǎn)個(gè)數(shù)大于校正系數(shù)個(gè)數(shù)時(shí)，就導(dǎo)致在求取系數(shù)時(shí)存在非一致方程。非一致方程的最小二乘解有可能不是唯一的，但是不同的最小二乘解得到的Ax和Ax-y是唯一的[6]。非一致方程Ax=y的最小二乘解是非唯一的，存在通解形式為：

然而由于最小二乘解是只有在滿足Moore-Penrose條件時(shí)，可以得到Moore-Penrose逆矩陣A+，由性質(zhì)可以，廣義逆矩陣A+是唯一的，所以可得到唯一最小二乘解。

1.2 兩點(diǎn)校正法

兩點(diǎn)法不僅對(duì)暗電流做了補(bǔ)償還對(duì)增益做了校正，可以對(duì)線性度好的傳感器有很好的校正效果[7]。假設(shè)光電傳感器的光電響應(yīng)是線性的，那么每個(gè)像元的響應(yīng)可表示為：

式（2）中，x為像元所受輻照度，yij(x)為在輻照度為x的第i行、第j列像元的輸出響應(yīng)，本文用灰度值表示輸出響應(yīng)，lij為此像元的增益系數(shù)，mij為此像元的偏移量，每個(gè)像元有獨(dú)立的的增益系數(shù)和偏移量且不隨時(shí)間變化是固定的，因此校正公式可表示為：

式（3）中，kij和bij分別為兩點(diǎn)法的校正增益和校正偏移量。

基于兩點(diǎn)定標(biāo)的一般兩點(diǎn)法是取兩個(gè)輻照度x1、x2下的響應(yīng)確定一條直線，并假設(shè)該直線與理想光響應(yīng)曲線一致為絕對(duì)線性的[8]。得到單個(gè)像素單元的響應(yīng)yij(x1)、yij(x2)，所有像元的平均響應(yīng)輸出和。令，得到如式（3）的線性方程組，經(jīng)解方程組得到每個(gè)像素單元獨(dú)立的校正系數(shù)kij和bij，再代入式（2）即可對(duì)每個(gè)像元進(jìn)行校正，可得：

由最小二乘原理出，最可信賴值應(yīng)在使殘余誤差平方和為最小的條件下求得。因此，當(dāng)標(biāo)定點(diǎn)選取N=n，，即滿足殘差平方和最小的條件時(shí)，可得基于最小二乘的兩點(diǎn)法校正系數(shù)[9]。要使條件滿足，構(gòu)建函數(shù)如下：

1.3 多項(xiàng)式擬合法

多項(xiàng)式擬合校正算法主要針對(duì)光響應(yīng)線性度比較差，不適于線性擬合的情況[10]。相比于兩點(diǎn)法和多點(diǎn)法，該方法需要進(jìn)行更多的乘法運(yùn)算消耗更多的硬件資源。

每個(gè)像元的響應(yīng)可表示為：

式（7）表示像元的響應(yīng)可以用n階多項(xiàng)式來(lái)表示。

校正公式可表示為：

1.4 分段線性插值算法

兩點(diǎn)校正法基于光電傳感器的光電響應(yīng)曲線是線性模型，具有算法簡(jiǎn)單、易于工程上實(shí)時(shí)實(shí)現(xiàn)，而隨著非線性的程度加劇，兩點(diǎn)法的校正誤差變大[12]。為了在光電響應(yīng)曲線呈非線性時(shí)更好的對(duì)其非均勻性進(jìn)行校正，Milton等人提出多點(diǎn)法。多點(diǎn)法又稱為分段線性插值算法。因?yàn)樗邢裨诓煌毓饬繀^(qū)間均有不同的校正參數(shù)，就可以避免在整個(gè)曝光區(qū)間統(tǒng)一校正參數(shù)帶來(lái)局部誤差偏大的問(wèn)題，所以校正精度較高[13]。分段區(qū)間選取的越多，校正效果越好，但在劃分分段區(qū)間時(shí)并沒(méi)有一標(biāo)準(zhǔn)的理論依據(jù)，造成分段區(qū)間的選取只能靠反復(fù)性實(shí)驗(yàn)獲得，效率很低。

因此，本文提出基于最小二乘的分段線性校正算法，以各段擬合曲線的殘差平方和最小為依據(jù)，即可得到最佳擬合效果，從而獲得最佳分段點(diǎn)。針對(duì)如何確定擬合直線的條數(shù)，一種方法是根據(jù)具體的工程要求，人工的進(jìn)行設(shè)定；另一種方法是給定一個(gè)閾值，當(dāng)連續(xù)x個(gè)點(diǎn)擬合得到殘差平方和小于這個(gè)閾值，而連續(xù)x+1個(gè)點(diǎn)擬合得到的殘差平方和大于這個(gè)閾值，那么就可確定這連續(xù)的x個(gè)點(diǎn)作為一個(gè)分段區(qū)間，剩余點(diǎn)以同樣方法劃分分段區(qū)間[14]。因工程需要，用于存儲(chǔ)校正參數(shù)的空間有限，本文以分兩段為例，當(dāng)滿足下列條件時(shí)，得到兩組校正系數(shù)kij1、bij1，kij2、bij2。滿足N1+N2=N，

2 實(shí)驗(yàn)所用sCMOS圖像傳感器

本相機(jī)系統(tǒng)采用長(zhǎng)光辰芯光電公司生產(chǎn)的GSENSE2020s型sCMOS圖像傳感器。該sCMOS光電傳感器的分辨率為2048*2048、A/D轉(zhuǎn)換位寬是12 bit，即其灰度值范圍0～4 095，對(duì)于整個(gè)像素陣列的讀取方式是分4個(gè)通道同時(shí)逐行進(jìn)行讀取，因此在進(jìn)行非均勻性校正時(shí)需要考慮邊界處有沒(méi)有明顯的灰度差別，是否需要在各通道連接處進(jìn)行非均勻性校正。

評(píng)定經(jīng)均勻性校正處理前后的圖像的非均勻性指標(biāo):NU值大小、灰度直方圖分布，采用NU值來(lái)表征圖像傳感器的非均勻性[15]，其定義如下：

式（9）中，sd為輸出圖像信號(hào)的標(biāo)準(zhǔn)差，mu為均值。NU值的大小體現(xiàn)了圖像傳感器非均勻性的程度。

3 實(shí)驗(yàn)驗(yàn)證

3.1 光電響應(yīng)實(shí)驗(yàn)

為了確定使用何種方式進(jìn)行非均勻性校正，首先需要了解實(shí)驗(yàn)所用傳感器的光電響應(yīng)特性，因此使用積分球提供均勻光源進(jìn)行性能測(cè)試，本實(shí)驗(yàn)在相同曝光條件下，不同輻照度下各抓取20幀圖像并用20幀圖像所有像素平均值繪制光電響應(yīng)曲線。圖像傳感器光敏單元的光響應(yīng)曲線反映了該光敏單元輸出與輻照度之間的關(guān)系，是圖像傳感器的非均勻性的體現(xiàn)。經(jīng)分析仿真得到傳感器整體的光響應(yīng)曲線，由于相機(jī)工作所處的工作模式?jīng)Q定在讀取像元像素值時(shí)是分4個(gè)通道同時(shí)讀出的，因此同時(shí)繪制了4個(gè)通道的光響應(yīng)特性曲線，如圖1所示。

圖1 sCMOS傳感器光電響應(yīng)曲線

圖1中所示橫軸為傳感器所受輻照度，對(duì)于整個(gè)傳感器的曲線其縱軸表示整幅圖像的平均灰度值，而各通道曲線所對(duì)應(yīng)的縱軸表示各通道像元的平均灰度值。從圖中可以顯然得出以下幾點(diǎn)結(jié)論：實(shí)驗(yàn)所用光電傳感器的光響應(yīng)線性度比較好；在平均灰度值小于2 000的范圍內(nèi)各通道的光響應(yīng)特性幾乎一致，當(dāng)平均灰度值大于2 000時(shí)各通道的光響應(yīng)特性略有差異。

3.2 使用最小二乘法擬合光響應(yīng)曲線

從圖1得到的光響應(yīng)線性度很好的結(jié)論中，可以初步判斷可采用兩點(diǎn)法、分段線性插值或低階多項(xiàng)式擬合的方法進(jìn)行非均勻性校正。由于實(shí)驗(yàn)中所使用傳感器低增益通道正常工作輸出響應(yīng)范圍為飽和度0至95%，因此使用最小二乘法擬合這一范圍的光電響應(yīng)曲線。分別進(jìn)行一階線性擬合、分兩段線性擬合和二階多項(xiàng)式擬合，結(jié)果如表2所示。

表2中，根據(jù)殘余誤差平方和可以看出：使用兩點(diǎn)法擬合度明顯不如另外兩種方式；使用分兩段的線性擬合度與二階多項(xiàng)式擬合度差距很小。因此，可知使用兩點(diǎn)法進(jìn)行非均勻校正效果將最差，而是用另外兩種方式，校正效果將差別不大并且采用本文提出的算法校正效果很有可能優(yōu)于二階多項(xiàng)式擬合法。

表2 曲線擬合結(jié)果

3.3 校正效果比較分析

圖2兩幅圖中，橫軸均表示傳感器所受輻照度，其單位為L(zhǎng)x，縱軸均表示圖像非均勻度，單位%。分析兩幅圖可得到結(jié)論：經(jīng)本文提出的基于最小二乘的多點(diǎn)法（分段線性插值算法）相比于兩點(diǎn)標(biāo)定的一般兩點(diǎn)法在整個(gè)工作照度范圍下校正效果有明顯的提高；基于最小二乘的兩點(diǎn)法和基于最小二乘的二階多項(xiàng)式法擬合校正法在低照度下校正效果很差、甚至校正后的非均勻性變高，而本文提出的算法就可以改善這一問(wèn)題，使適應(yīng)性更強(qiáng)；因此所提出的優(yōu)化算法有明顯的優(yōu)勢(shì)。

圖3為經(jīng)本文提出的基于最小二乘的分段線性差值算法校正前后的對(duì)比圖，左側(cè)為未經(jīng)校正的灰度圖像，右側(cè)為經(jīng)校正后的。不經(jīng)校正前的圖像質(zhì)量明顯存在豎條紋以及一些人為疵點(diǎn)，而經(jīng)校正后的圖像從主觀上就可看出均勻性相當(dāng)好，因此針對(duì)非均勻性校正的研究仍然很有必要。所用器件低增益通道校正前的非均勻度為1.41%，表3為幾種校正算法的校正算法匯總情況，可以看出本文提出的算法相比其他幾種算法對(duì)平均非均勻性校正明顯更有優(yōu)勢(shì)。

圖2 校正前后非均勻度對(duì)比

圖3 校正前后的圖像

表3 幾種校正算法在整個(gè)工作照度下的平均校正效果

4 結(jié) 論

本文從非均勻性產(chǎn)生的原因出發(fā)，利用積分球產(chǎn)生均勻光源測(cè)試了sCMOS的光電響應(yīng)特性。根據(jù)光電響應(yīng)特性曲線，篩選出幾種適當(dāng)?shù)男Ｕ椒òǎ趦牲c(diǎn)標(biāo)定的一般兩點(diǎn)法、基于最小二乘的兩點(diǎn)法基于最小二乘的二階多項(xiàng)式擬合法進(jìn)行校正分析。并總結(jié)了幾種校正算法的原理以及優(yōu)缺點(diǎn)，提出了基于最小二乘法的分段線性插值算法，使在整個(gè)工作照度下都可獲得很好的非均勻校正效果。經(jīng)試驗(yàn)驗(yàn)證其算法相比其他幾種經(jīng)典算法，可適應(yīng)均勻性降低更大。同時(shí)計(jì)算量以及要存儲(chǔ)的參數(shù)很少，適宜于工程實(shí)現(xiàn)[16]，如FPGA實(shí)現(xiàn)。除此外，經(jīng)過(guò)調(diào)整對(duì)比度，讓看不出幾個(gè)通道間有明顯的非均勻性，因此沒(méi)有對(duì)通道間非均勻性進(jìn)行校正。

參考文獻(xiàn)：

[1]吳勝.SCMOS高速成像系統(tǒng)關(guān)鍵技術(shù)研究[D].重慶：重慶大學(xué)，2015.

[2]孫宏海，何舒文，吳培，等.高動(dòng)態(tài)科學(xué)級(jí)CMOS相機(jī)設(shè)計(jì)與成像分析[J].液晶與顯示，2017，32（3）:240-248.

[3]黃萬(wàn)偉.Xilinx FPGA應(yīng)用進(jìn)階[M].北京：電子工業(yè)出版社，2014.

[4]劉則洵，全先榮，任建偉，等.CCD相機(jī)輸出非均勻性線性校正系數(shù)的定標(biāo)[J].紅外與激光工程，2012，41（8）:2211-2215.

[5]呂雷，張學(xué)峰.基于FPGA的紅外圖像實(shí)時(shí)非均勻性校正[J].激光與紅外，2011，41（6）:641-643.

[6]張賢達(dá).矩陣分析與應(yīng)用[M].北京：清華大學(xué)出版社，2013.

[7]何火勝.紅外圖像兩點(diǎn)非均勻性校正算法工程實(shí)現(xiàn)[J].科技與創(chuàng)新，2014（12）:4-5.

[8]郭文豹，魏仲慧，何昕，等.CMOS圖像傳感器非均勻性實(shí)時(shí)校正算法研究[J].微電子學(xué)與計(jì)算機(jī)，2011，28（2）:171-174.

[9]陳偉杰.最小二乘法原理及其在實(shí)驗(yàn)曲線擬合中的應(yīng)用分析[J].遼寧科技學(xué)院學(xué)報(bào)，2014，16（4）:33-34.

[10]程旺，呂群波，趙娜.基于FPGA的科學(xué)級(jí)CMOS圖像傳感器非均勻性校正[J].半導(dǎo)體光電，2016（6）:873-875.

[11]黃英東，安建波.基于改進(jìn)多項(xiàng)式擬合的紅外焦平面非均勻性校正方法[J].紅外，2011，32（3）:29-33.

[12]夏玫，顧國(guó)華，陳錢(qián)，等.IRFPA兩點(diǎn)校正的定標(biāo)溫度選擇方法研究及實(shí)現(xiàn)[J].紅外技術(shù)，2011，33（3）:151-154.

[13]張紅輝，羅海波，余新榮，等.多點(diǎn)標(biāo)定的自適應(yīng)非均勻性校正方法[J].紅外與激光工程，2014，43（11）:3651-3654.

[14]田垅，劉宗田.最小二乘法分段直線擬合[J].計(jì)算機(jī)科學(xué)，2012，39（b06）:482-484.

[15]嚴(yán)奕，鄧若漢，陳永平，等.有源像素CMOS圖像傳感器非均勻性研究[J].科學(xué)技術(shù)與工程，2011，11（15）:3449-3455.

[16]梁超，馬天翔.基于黑體標(biāo)定的紅外圖像非均勻性校正系統(tǒng)設(shè)計(jì)[J].中國(guó)光學(xué)，2016，9（3）:385-393.