兩通道按列輸出CMOS圖像的非均勻性及校正方法

楊國鵬,周　欣,陳　東,胡昌苗

(1.武漢大學(xué) 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079;

2.中國天繪衛(wèi)星中心，北京 102102;

3.中國人民解放軍95899部隊，北京 100085;

4.中國科學(xué)院 遙感與數(shù)字地球研究所，北京 100101)

?

兩通道按列輸出CMOS圖像的非均勻性及校正方法

楊國鵬1，3*,周欣2,陳東3,胡昌苗4

(1.武漢大學(xué) 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079;

2.中國天繪衛(wèi)星中心，北京 102102;

3.中國人民解放軍95899部隊，北京 100085;

4.中國科學(xué)院 遙感與數(shù)字地球研究所，北京 100101)

為確保航空遙感圖像產(chǎn)品相對輻射質(zhì)量，提出了一種對兩通道按列輸出CMOS(互補金屬氧化物半導(dǎo)體)圖像的非均勻性進行校正的方法。以美國仙童公司CMOS探測器CIS2521F為例，通過實驗室積分球觀測試驗研究了暗電流噪聲、平均灰度、兩通道輸出等因素造成的圖像非均勻性；然后，基于實驗室積分球觀測數(shù)據(jù)，采用兩點線性法，校正了由按列放大輸出導(dǎo)致的列狀條帶噪聲；接著，通過優(yōu)化拼接線附近圖像灰度差異統(tǒng)計結(jié)果，校正了兩通道響應(yīng)不一致造成的圖像輻射差異。試驗表明，單通道圖像非均勻校正使積分球觀測圖像的平均非均勻度量值由4.4下降至2.4，兩通道圖像非均勻校正消除了兩通道圖像的目視差異。原始航空遙感圖像經(jīng)過非均勻性校正后，圖像灰度均勻，能夠滿足遙感圖像判讀要求。

遙感圖像；CMOS；圖像非均勻性；兩通道輸出；輻射校正

*Correspondingauthor,E-mail:imageren@qq.com

1　引　言

航空光學(xué)成像系統(tǒng)多采用CCD(Charge Coupled Device)探測器，這是因為CCD探測器的輸出相對穩(wěn)定、噪聲抑制良好，成像質(zhì)量較高，但通常其幀頻有限、成本偏高[1]。針對CCD成像質(zhì)量提升的研究很多，包括暗電流噪聲抑制、像元響應(yīng)非均勻性校正、絕對輻射定標(biāo)等[2,3]，經(jīng)校正后，CCD探測一般能滿足定量遙感應(yīng)用需求。CMOS(Complementary Metal-Oxide-Semiconductor)探測器具有低功耗、低成本、高集成度、可控開窗、大面陣、高幀頻等優(yōu)點[4,5]，有利于實現(xiàn)小體積低能耗的相機系統(tǒng)，隨著CMOS工藝技術(shù)的發(fā)展，其在新型遙感載荷中的應(yīng)用越來越多[6,7]。例如，美國仙童公司推出了具備低噪聲、高靈敏度、高幀頻等特點的面陣CMOS探測器CIS2521F，其可用于低照度環(huán)境下高質(zhì)量成像[8]。該型CMOS探測器的像元分辨率為2 560(H)×2 160(V)，像元大小為6.5 μm；持具有卷簾、全局兩種快門方式，在低照度環(huán)境下卷簾快門的讀出噪聲小于2e-RMS，全局快門的讀出噪聲小于5e-RMS；最大快門達100 frame/s；具有上下兩通道，采用列放大器增強，最終采用11位數(shù)據(jù)輸出。CMOS探測器通常采用相關(guān)雙采樣技術(shù)抑制噪聲[9]，但采用全局曝光模式時，相關(guān)雙采樣方法失效，圖像中將出現(xiàn)明顯的列向噪聲。何舒文等[5]對硬件驅(qū)動電路進行了優(yōu)化設(shè)計，通過在FPGA內(nèi)完成數(shù)字域相關(guān)雙采樣和圖像預(yù)處理等算法，實現(xiàn)了全局曝光模式下高動態(tài)范圍圖像數(shù)據(jù)的獲取。周彥平等[10]還研究了電子輻射劑量對CMOS圖像傳感器性能的影響。

為保證采用CMOS探測器的航空相機獲取的圖像質(zhì)量，本文將通過實驗室積分球觀測試驗和航空遙感試驗分析，研究了兩通道按列輸出CMOS探測器的非均勻性特點和圖像輻射校正方法。

2　非均勻性分析

本文采用積分球作為均勻場光源，首先分析了暗電流噪聲對成像的影響，然后分析了非均勻性隨圖像平均灰度值的變化特性，最后分析了兩通道輻射的非均勻性規(guī)律。

將CIS2521F安裝在光學(xué)系統(tǒng)均勻性良好的相機中，在實驗室內(nèi)觀測不同輻照度的積分球獲取數(shù)字量化(Digital Number，DN)值。積分球觀測圖像的非均勻性用VNU值表示，計算公式為：

(1)

其中：VNU為圖像非均勻性NU值，VAvg為圖像均值，Vij為像素(i,j)處DN值圖，M與N分別為圖像像素長寬。

探測器系統(tǒng)非均勻響應(yīng)依據(jù)多幅圖像的相關(guān)性來判斷。圖像間相關(guān)性采用相關(guān)系數(shù)表示，即：

(2)

其中：ρXY為圖像X與Y的相關(guān)系數(shù)，Cov(X,Y)為圖像X與Y的協(xié)方差，D(X)和D(Y)分別為圖像X、圖像Y的方差。

2.1暗電流特性分析

暗電流噪聲是影響成像非均勻性的重要因素，其通常會隨積分時間和CCD增益參數(shù)發(fā)生變化[11,12]。在實驗室暗場條件下，經(jīng)過多次觀測取均值，確定每個像元的暗電流。如圖1所示，實驗中設(shè)四檔增益(×1, ×2, ×10, ×30)，六檔積分時間(1,100,200,600,1 250,2 400,單位：μs)。由于積分時間較短，暗電流平均DN值隨積分時間變化幅度不大。在不同增益條件下獲取6組平場數(shù)據(jù)，其相關(guān)系數(shù)顯示它們的相關(guān)性很小，例如圖2為某暗電流平場數(shù)據(jù)的增強圖，通過圖像可以發(fā)現(xiàn)暗電流噪聲呈現(xiàn)明顯的橫向條紋，這種橫向條紋的位置及強弱都是隨機的，無法通過定標(biāo)消除。

圖1　暗電流平均DN值隨積分時間變化Fig.1　Dark current DN changed with integration time

圖2　暗電流平場數(shù)據(jù)增強圖Fig.2　Enhanced graph of flat avea data for dark current image

2.2灰度變化分析

實際成像過程中，圖像灰度值與入射能量，相機積分時間、相機增益有關(guān)。針對4組不同增益，利用具有相近DN值的多組數(shù)據(jù)統(tǒng)計平均相關(guān)系數(shù)，平均相關(guān)系數(shù)與平均DN值之間的關(guān)系如圖3所示?？梢姰?dāng)平均DN值為1 500與2 000左右時，各增益情況下均具有較高的相關(guān)系數(shù)，平均相關(guān)系數(shù)超過0.9，這表明此時存在規(guī)律性的系統(tǒng)噪聲。某積分球狀態(tài)下原始圖像局部增強效果如圖4所示，由于探測器采用按列放大輸出方式，導(dǎo)致圖像存在有規(guī)律的線狀條紋。

圖3　平均相關(guān)系數(shù)與平均DN值的關(guān)系Fig.3　Average correlation coefficient changed with average DN

圖4　某狀態(tài)下積分球觀測數(shù)據(jù)增強圖Fig.4　Enhanced graph of integrating sphere observation image

2.3兩通道特性分析

當(dāng)相機觀測積分球漏光時，兩通道圖像存在明顯的輻射差異，如圖5所示。通過分析發(fā)現(xiàn)如下規(guī)律：①存在光照條件差異時，兩通道輸出灰度會有明顯差異；②兩通道差異在拼接縫處非常均勻，接近某個固定數(shù)值；③不同成像條件下，兩通道數(shù)據(jù)的固定差值也不同。在實際成像中，由于兩通道觀測地表不同，成像幾何存在差異，導(dǎo)致兩通道存在輻射差異，有必要進行校正。由于拼接線處的輻射差異具有均一性，兩通道可以通過某改正值修正。由于地表復(fù)雜多樣性，只能通過成像數(shù)據(jù)來確定兩通道輻射差異值。

(a)實例一　　　　　　　　(b) 實例二(a)Example 1　　　　　　　(b)Example 2

(c) 實例三　　　　　　　　(d) 實例四(a)Example 3　　　　　　　(b)Example 4圖5　兩通道存在輻射差異的積分球觀測圖像Fig.5　Integrating sphere observation image with radiation difference between two channels

3　單通道非均勻性校正

在相同積分球輻照度和相機工作狀態(tài)下，重復(fù)觀測10組積分球數(shù)據(jù)，計算其均值圖像作為該狀態(tài)下去噪的參考圖像。設(shè)積分球輻照度為φ時均值圖像為V(φ)，像元灰度非均勻性校正模型：

VAvg(φ)=Vij(φ)+aij,

(3)

其中：VAvg(φ)為均值圖像V(φ)所有像素的均值，Vij(φ)為像素(i,j)處DN值圖，aij為像素(i,j)處的偏移量。

在獲取每個像元的偏移量aij后，既可對輻照度為φ的圖像進行輻射校正。為擴展像元輻射校正的適用范圍，采用兩點線性法校正[13]。在相同增益、相同積分時間下，如果發(fā)現(xiàn)在相鄰的兩個輻射亮度下存在系統(tǒng)噪聲，設(shè)相鄰輻照度分別為φ1與φ2，利用積分球在對應(yīng)輻照度下重復(fù)獲取M組數(shù)據(jù)，計算得到對應(yīng)的均值圖像V(φ1)與V(φ2)，可以建立以下像元非均勻性校正模型[14]：

VAvg(φ1)=aijVij(φ1)+bij,

(4)

VAvg(φ2)=aijVij(φ2)+bij,

(5)

其中：VAvg(φ1)與VAvg(φ2)為圖像V(φ1)與V(φ2)所有像素的均值，Vij(φ1)與Vij(φ2)為像素(i,j)處的DN值，aij與bij為像素(i,j)的偏移量。

利用式(6)與式(7)可以求出參數(shù)aij與bij。將各像元的增益aij與偏移bij組成增益與偏移矩陣，將各像元的實際響應(yīng)與各自增益相乘，再加上偏移量，實現(xiàn)對光照條件位于φ1與φ2之間的情況下，逐像元的響應(yīng)非均勻性校正。重復(fù)積分球觀測試驗獲取不同成像狀態(tài)下增益與偏移查找表，實現(xiàn)對特定相機系統(tǒng)噪聲的去除。

(6)

(7)

例如，增益檔位為×10、平均DN值為1 500左右的8幅平場數(shù)據(jù)，其相關(guān)系數(shù)都超過0.9，利用式(3)逐像元進行非均勻校正，校正前后NU值如表1所示，可見，平均NU值由4.4下降到2.4，校正效果明顯。某局部平場數(shù)據(jù)校正前后的結(jié)果如圖6所示，A為校正前局部增強效果，B為校正后圖像增強效果，A與B的像元灰度值三維顯示如C與D所示。由圖6可見，A有明顯的豎向條紋，B中豎向條紋已消除，說明由按列讀出放大器導(dǎo)致的非均勻性已得到校正，僅存在由暗電流導(dǎo)致的橫向條紋。針對增益檔位為×10時，平均DN值為2 000時的實驗結(jié)果類似。對于平均像元輸出值位于1 500到2 000的平場數(shù)據(jù)，則可以利用式(4)與式(5)進行非均勻校正。

表1　積分球觀測試驗觀測數(shù)據(jù)校正前后NU值比較

圖6　積分球觀測試驗數(shù)據(jù)像元非均勻性校正效果Fig.6　Pixel nonuniformity correction effect of integrating sphere test data

4　兩通道非均勻校正

依據(jù)2.3節(jié)的分析可知，假設(shè)兩通道接縫處的真實地表覆蓋連續(xù)，則成像幾何的光學(xué)特性相同，則可將兩通道接縫附近多行像素均值的差作為兩通道輻射校正值。實際成像中，可能存在像元響應(yīng)非均勻性、相機鏡頭灰塵、地物邊界差異等因素，從而導(dǎo)致上述假設(shè)不完全成立，這時拼接縫附近有很多像素灰度值的差異過大。為準(zhǔn)確估計兩通道輻射校正值并提升算法的魯棒性，不讓這些差異過大的像素點參與均值統(tǒng)計。確定兩通道輻射校正值后，對某一通道進行校正，即可消除輻射差異；如果拼接縫處存在細微邊界，則可通過羽化處理消除。

設(shè)從上至下兩通道拼接縫處的兩行分別為M、N，這里N=M+1，兩通道圖像非均勻性校正算法流程如下：

①統(tǒng)計第M-a行至第M行所有像素灰度值的均值Mean1，統(tǒng)計第N行至第N+a行所有像素灰度值的均值Mean2，初步計算兩通道輻射差異值Delat1=Mean1-Mean2，a的取值根據(jù)經(jīng)驗確定，例如a=5；

②計算第M-a行至第M行每個像素灰度值與在同一列上第N行像素灰度值的差b，如果b>c·Delat1，則將該像素對應(yīng)行所有像素標(biāo)記為零；如果b

③統(tǒng)計第M-a行至第M行標(biāo)記為1的像素灰度值的均值Mean1′，統(tǒng)計第N行至第N+a行所有像素灰度值的均值Mean2′，計算兩通道輻射差異值Delat1′=Mean1′-Mean2′；

④將第N行至最后一行所有像素灰度值增加Delat1′，對第M-d行至第N+d行的圖像進行羽化。d的取值根據(jù)經(jīng)驗確定，例如d=5。

利用安裝有CIS2521F的航空相機進行遙感試驗，采用本文方法對遙感圖像進行批處理。試驗結(jié)果分析表明，兩通道圖像非均勻校正方法簡單并且魯棒，兩通道圖像非均勻校正后，整幅圖像灰度均勻，上下通道無差異。其中，某兩幅遙感圖像兩通道校正效果如圖7所示，拼接縫處局部圖像兩通道校正效果如圖8所示。

(a)圖像一校正前　　　　(b)圖像一校正后(a)Image 1 before correction　(b)Image 1 after correction

(c)圖像二校正前　　　　(d)圖像二校正后(c)Image 2 before correction　(d)Image 2 after correction圖7　某兩幅遙感圖像兩通道校正效果Fig.7　Two remote sensing images comparison before and after radiation rectification between two channels

(a)拼接處校正前(a)Mosaic seam image before correction

(b)拼接處校正后(b)Mosaic seam image after correction圖8　拼接縫處局部圖像兩通道校正效果Fig.8　Local image of mosaic seam comparison before and after radiation rectification between two channels

5　結(jié)　論

本文以新型面陣CMOS探測器CIS2521F為例，通過實驗室積分球觀測試驗研究了兩通道按列輸出CMOS探測器的均勻性特點，首先分析了暗電流噪聲對成像質(zhì)量的影響，然后分析了非均勻性隨圖像平均灰度值的變化規(guī)律，最后通過統(tǒng)計分析了兩通道輻射非均勻性的規(guī)律。

針對某些狀態(tài)下單通道圖像存在系統(tǒng)非均勻性的特點，采用基于實驗室積分球觀測數(shù)據(jù)的兩點校正方法，經(jīng)積分球觀測數(shù)據(jù)驗證，校正后由按列放大輸出導(dǎo)致的非均勻性已消除，僅存在由暗電流導(dǎo)致的橫向隨機條紋。依據(jù)實驗室積分球觀測數(shù)據(jù)得到的兩通道非均勻性規(guī)律，提出了一種基于真實圖像拼接線附近灰度差異統(tǒng)計的非均勻校正方法，經(jīng)航空遙感圖像驗證，處理后整幅圖像灰度均勻，兩通道圖像已無灰度差異。

[1]羅通頂, 李斌康, 郭明安, 等．科學(xué)級CCD遠程圖像采集系統(tǒng)[J]．光學(xué) 精密工程, 2013, 21(2): 496-502.

LUO T D, LI B K, GUO M A,etal.．Remote image acquisition system with scientific grade CCD [J]．Opt.PrecisionEng., 2013, 21(2):496-502. (in Chinese)

[2]JANESICK J R.ScientificCharged-CoupledDevices[M]. SPIE Press，2001，3-8.

[3]HARALABIDIS P E,PILINIS C. Linear color camera model for a skylight colorimeter with emphasis on the imaging pipeline noise performance [J].JournalofElectronImaging，2005，14(4)：043005.

[4]劉新明, 劉文, 劉朝暉．大面陣CMOS APS相機系統(tǒng)的設(shè)計[J]．光子學(xué)報,2009,38(12):3235-3239．

LIU X M, LIU W, LIU ZH H．Design of a large area array CMOS APS camera system [J]．ActaPhotonicaSinica, 2009, 38(12): 3235-3239. (in Chinese)

[5]何舒文, 王延杰, 孫宏海,等．高動態(tài)科學(xué)級CMOS相機系統(tǒng)的設(shè)計[J]．液晶與顯示, 2015, 30 (4): 729-735.

HE SH W, WANG Y J, SUN H H,etal.. Design of high dynamic scientific CMOS camera system [J].ChineseJournalofLiquidCrystalsandDisplay, 2015, 30 (4): 729-735.(in Chinese)

[6]王征, 何云豐, 曹小濤, 等．基于FPGA的大面陣CMOS相機高速率電子學(xué)系統(tǒng)設(shè)計[J]．液晶與顯示, 2016, 31(2): 173-178.

WANG ZH, HE Y F, CAO X T,etal.. Design of large area array CMOS of high speed electronics camera system based on FPGA [J].ChineseJournalofLiquidCrystalsandDisplay. 2016, 31(2): 173-178.(in Chinese)

[7]孟慶宇, 董吉洪, 王棟,等. 輕小型立體相機光學(xué)系統(tǒng)研制[J]．紅外與激光工程, 2016, 45(4): 418002(1)-418002(8).

MENG Q Y, DONG J H, WANG D,etal.. Minitype optical system development of stereo camera [J].InfraredandLaserEngineering, 2016, 45(4): 418002(1)-418002(8).

[8]FAIRCHILD IMAGING, CIS2521 Megapixel Ultra Low Noise sCMOS Image Sensor, Fairchild Imaging [E]. http://www.fairchildimaging.com/ catalog/focal-plane-arrays/scmos/cis2521.

[9]SUNGHO S, SHINYA I, SATOSHI A,etal.．Column-parallel correlated multiple sampling circuits for CMOS image sensors and their noise reduction effects[J]．Sensors, 2010, 10(12):9139-9154.

[10]周彥平, 謝小龍, 劉洋,等. CMOS圖像傳感器電子輻照實驗的研究[J].紅外與激光工程, 2016,45(5):0520006(0)-0520006(4).

ZHOU Y P, XIE X L, LIU Y,etal.. Electron radiation experiment of CMOS image sensor [J].InfraredandLaserEngineering, 2016,45(5):0520006(0)-0520006(4).

[11]WIDENHORN R,DUNLAP J C,BODEGOM E. Exposure time dependence of dark current in CCD imagers [J].IEEETrans.ElectronDevices. 2010, 57(3): 581-587.

[12]WIDENHORN R,HARTWIG I,DUNLAP J C,etal.. Influence of illumination on dark current in charge-coupled device imagers [J]. 2009, 18(3):033015.

[13]BELLIA L,CESARANO A, MINICHIELLO F,etal.. Calibration procedures of a CCD camera for photometric Measurements[C].IMTC2003InstrumentationandMeasurementTechnologyConference,Vail,Colo., 2002.

[14]顧行發(fā), 田國良, 余濤, 等. 航天光學(xué)遙感器輻射定標(biāo)原理與方法[M]. 北京: 科學(xué)出版社. 2013, 128-142.

GU X F, TIAN G L, YU T,etal..TheCalibrationTheoryandMethodsforSpaceOpticalRemoteSensor[M]. Beijing:Science Press, 2013, 128-142 (in Chinese)

楊國鵬(1982-)，男，山東聊城人，博士，高級工程師，2007年、2010年于信息工程大學(xué)分別獲得碩士、博士學(xué)位，現(xiàn)為武漢大學(xué)測繪遙感信息工程國家重點實驗室博士后，主要從事遙感應(yīng)用、計算機視覺、機器學(xué)習(xí)方面的研究。E-mail: imageren@qq.com.

周欣(1983-)，女，河南澠池人，博士，高級工程師，2007年、2010年于信息工程大學(xué)分別獲得碩士、博士學(xué)位，主要從事攝影測量、航天遙感應(yīng)用等方面的研究。E-mail: hnswallowfly@163.com

(本欄目編輯：李自樂)

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

《光學(xué) 精密工程》 2016年　征訂單

《光學(xué) 精密工程》 2016年　征訂單

《光學(xué) 精密工程》 2016年　征訂單

注：此單只作訂單，不做報銷憑證。訂單填好，請一并將匯款寄出，款到即寄出正式發(fā)票。

郵局匯款：長春市東南湖大路3888號

《光學(xué) 精密工程》編輯部(收)

銀行帳戶：中國科學(xué)院長春光學(xué)精密機械與物理研究所

帳號：220801471908091001

開戶銀行：中國銀行吉林省分行營業(yè)部

聯(lián)系電話：(0431)86176855 傳真：(0431)84613409

聯(lián) 系 人：吳秀麗

Nonuniformity of CMOS image with double channels and column readout and its correction

YANG Guo-peng1,3*,ZHOU Xin2,CHEN Dong3,HU Chang-miao4

(1.StateKeyLaboratoryofInformationEngineeringinSurveyingMappingandRemoteSensing,WuhanUniversity,Wuhan430079,China; 2.THSatelliteCenterofChina,Beijing102102,China; 3.The95899PLAtroopoftheChinesePeople'sLiberationArmy,Beijing100085,China; 4.InstituteofRemoteSensingandDigitalEarth,ChineseAcademyofSciences,Beijing100101,China)

The CMOS image nonuniformity and its correction methods were researched to improve the relative radiation quality of aerial remote sensing image products. Taking the new CMOS image sensor CIS2521F as an example, the nonuniformity characteristics affected by dark current noise, average gay and double channel readout were researched through the experiments of the integrating sphere observation. Then, the two-point linear correction method based on the observation data was used to remove the column strip noise related to column amplifiers. Finally, a correction method based on the statistical gay difference near the mosaic seam was used to wipe off the mosaic phenomenon related to double channel readout. Experimental results indicate that the nonuniformity of the sphere image has changed from 4.4 into 2.4 after single channel correction, and the manual interpretation difference is disappeared after double channel correction. The remote sensing image after correction is uniformity and satisfies the interpretation requirement.

remote sensing image; Complementary Metal-oxide-semiconductor Tansistor(CMOS); image nonuniformity; double channels; radiation correction

2016-04-27；

2016-06-21.

裝備預(yù)研基金項目(No.9140A03031315JB09035)

1004-924X(2016)08-2087-07

TP751

A

10.3788/OPE.20162408.2087