基于像素級(jí)輻射自校準(zhǔn)的紅外圖像非均勻性校正改進(jìn)方法

王 杰，洪聞青，葛 朋，王曉東，潘 超

基于像素級(jí)輻射自校準(zhǔn)的紅外圖像非均勻性校正改進(jìn)方法

王 杰，洪聞青，葛 朋，王曉東，潘 超

（昆明物理研究所，云南 昆明 650223）

紅外成像系統(tǒng)中一直存在著非均勻性的問(wèn)題，針對(duì)紅外大動(dòng)態(tài)范圍成像等任務(wù)對(duì)改變成像系統(tǒng)積分時(shí)間的需要，提出了一種利用像素級(jí)輻射自校正技術(shù)的可變積分時(shí)間的非均勻性校正方法。通過(guò)輻射自校正為紅外探測(cè)器中的每個(gè)像元建立輻射響應(yīng)方程以估計(jì)出場(chǎng)景的輻射通量圖，利用線性校正模型對(duì)輻射通量圖進(jìn)行校正，實(shí)現(xiàn)任意積分時(shí)間下的非均勻性校正。該方法的有效性通過(guò)高分辨率碲鎘汞紅外探測(cè)器進(jìn)行了驗(yàn)證。

非均勻性校正；輻射自校準(zhǔn)；積分時(shí)間

0 引言

為解決紅外成像系統(tǒng)存在的非均勻性問(wèn)題，研究者們已經(jīng)提出了很多的非均勻性校正方法，例如兩點(diǎn)校正[1]、基于神經(jīng)網(wǎng)絡(luò)的方法和基于時(shí)域?yàn)V波的方法等[2-3]。然而其中絕大多數(shù)方法在設(shè)計(jì)時(shí)并未考慮積分時(shí)間這一因素，這些方法通常只適用于積分時(shí)間固定的應(yīng)用。針對(duì)紅外大動(dòng)態(tài)范圍成像[4]等任務(wù)對(duì)改變積分時(shí)間的需要，一些可變積分時(shí)間的非均勻性校正方法被提出。這類算法主要可分為兩種：一種通過(guò)建立精確的含積分時(shí)間等變量的紅外成像物理模型并求解模型參數(shù)實(shí)現(xiàn)[5-7]，比如Chen等人[5]建立了含有入射照度、積分時(shí)間、探測(cè)器暗電流和偏置電壓等變量的響應(yīng)模型，提出了可變積分時(shí)間的二維定標(biāo)非均勻性校正方法。另一種則不需要建立精確的解析模型，而是利用機(jī)器視覺(jué)中的輻射校準(zhǔn)方法來(lái)實(shí)現(xiàn)，例如Ochs等人[8]提出了基于像素級(jí)輻射自校準(zhǔn)的非均勻性校正方法，首先通過(guò)輻射自校準(zhǔn)來(lái)估計(jì)場(chǎng)景的輻射通量圖，再對(duì)輻射通量圖進(jìn)行非均勻性校正。

本文在Ochs等人提出的校正方法的基礎(chǔ)上，對(duì)該方法中的兩個(gè)關(guān)鍵的步驟進(jìn)行了改進(jìn)，主要體現(xiàn)在使用多組不同積分時(shí)間的黑體圖像序列進(jìn)行輻射自校準(zhǔn)以獲得更準(zhǔn)確的輻射響應(yīng)方程，以及利用進(jìn)行輻射自校準(zhǔn)過(guò)程所使用的多組圖像序列來(lái)計(jì)算非均勻性校正參數(shù)。

1 響應(yīng)模型

對(duì)于典型紅外成像系統(tǒng)，來(lái)自場(chǎng)景的紅外輻射被光學(xué)系統(tǒng)匯聚在紅外焦平面陣列上，經(jīng)過(guò)有效的積分（曝光），焦平面的像元中紅外光子經(jīng)由光電轉(zhuǎn)換及一系列電信號(hào)處理后被轉(zhuǎn)化為相應(yīng)的灰度值[9]。假設(shè)這些過(guò)程均為線性變換，且不考慮暗電流和噪聲等影響時(shí)，則對(duì)于紅外成像系統(tǒng)中的像元，輸出的灰度值Y與到達(dá)成像系統(tǒng)的紅外光的輻射通量F和積分時(shí)間int的關(guān)系可以表示為：

Y＝aFtint＋b(1)

式中：a為光學(xué)系統(tǒng)、光電轉(zhuǎn)換和電信號(hào)處理等引起的增益；b為電信號(hào)處理帶來(lái)的偏移。

如公式(1)所示，成像系統(tǒng)輸出的灰度值與積分時(shí)間的關(guān)系通常被認(rèn)為是線性的，因此能夠以較方便的方法估計(jì)出場(chǎng)景的輻射通量，通過(guò)對(duì)輻射通量進(jìn)行非均勻性校正處理來(lái)降低積分時(shí)間變化帶來(lái)的影響。這也是絕大多數(shù)積分時(shí)間可變的非均勻性校正方法[5-8]實(shí)現(xiàn)的基礎(chǔ)。雖然實(shí)際上在紅外探測(cè)器的整個(gè)動(dòng)態(tài)范圍內(nèi)，探測(cè)器輸出信號(hào)與積分時(shí)間是非線性的，如圖1所示。但是在探測(cè)器的某段動(dòng)態(tài)范圍內(nèi)，輸出信號(hào)與積分時(shí)間之間具有很高的線性度。對(duì)于本文所使用的紅外中波碲鎘汞探測(cè)器，在其15%～85%的動(dòng)態(tài)范圍內(nèi)，大多數(shù)像素關(guān)于積分時(shí)間的響應(yīng)非線性度[10]小于0.2%，可認(rèn)為在此范圍內(nèi)該探測(cè)器為線性響應(yīng)。

圖1 恒定輻照度時(shí)某像素輸出信號(hào)與積分時(shí)間的關(guān)系

2 基于像素級(jí)輻射自校準(zhǔn)的校正方法

輻射自校準(zhǔn)是一種估計(jì)場(chǎng)景輻射能量與場(chǎng)景圖像（歸一化）灰度之間映射關(guān)系＝()的方法，它假設(shè)可以通過(guò)階多項(xiàng)式建立的響應(yīng)方程來(lái)描述這種關(guān)系[11]。Ochs等人針對(duì)紅外成像系統(tǒng)的非均勻性的特點(diǎn)，提出了一種基于像素級(jí)輻射自校準(zhǔn)的非均勻性校正方法（以下簡(jiǎn)稱Ochs方法）。該方法為探測(cè)器的每一個(gè)像元建立這種映射關(guān)系，考慮到輻射能量與輻射通量的關(guān)系＝×，像素的響應(yīng)方程f可以表示為：

通常紅外成像系統(tǒng)使用固定的F數(shù)，對(duì)某一固定溫度的面源黑體采集種不同積分時(shí)間的圖像序列，可以得到不同圖像所對(duì)應(yīng)的輻射能量與積分時(shí)間比值之間的關(guān)系：

式中：和＋是圖像序列的編號(hào)，將公式(2)代入，得到：

根據(jù)公式(4)，可以得到像元的誤差方程，如公式(5)。結(jié)合約束f(1)＝1，通過(guò)最小化可以計(jì)算出響應(yīng)方程f的＋1個(gè)多項(xiàng)式系數(shù)a,n。

在獲得每個(gè)像素的響應(yīng)方程后，可以估計(jì)出場(chǎng)景的輻射能量圖，除以積分時(shí)間便能夠得到場(chǎng)景輻射通量圖的估計(jì)。由于光學(xué)系統(tǒng)的影響[8]，以及輻射自校準(zhǔn)方法計(jì)算出響應(yīng)方程所固有的不確定性[11]，還需要對(duì)獲得的輻射通量圖進(jìn)行校正。對(duì)輻射通量圖中像素的校正使用公式(6)所示的線性校正模型完成，并使用兩點(diǎn)校正方法計(jì)算出校正參數(shù)g和o，式中F*是校正后的輻射通量。

F*＝g×F＋o(6)

3 本文方法

3.1 像素級(jí)輻射自校準(zhǔn)方法

為了能夠獲得更準(zhǔn)確且更穩(wěn)定的結(jié)果，本文提出利用多個(gè)溫度點(diǎn)的黑體圖像序列來(lái)求解每個(gè)像素的響應(yīng)方程的多項(xiàng)式系數(shù)。該方法對(duì)種溫度的面源黑體分別采集J種積分時(shí)間的圖像（＝1,…,），在誤差方程(5)的基礎(chǔ)之上，可以得到新的誤差方程：

結(jié)合約束f(1)＝1，令誤差方程最小化可求出響應(yīng)方程的系數(shù)a,n。需要注意的是，選取黑體的溫度點(diǎn)時(shí)，其范圍最好能夠覆蓋實(shí)際觀測(cè)場(chǎng)景的溫度范圍。

3.2 校正參數(shù)計(jì)算方法

3.3 處理流程

本文提出的方法的處理流程如下：

1）分別對(duì)種溫度面源黑體采集J種積分時(shí)間的圖像，得到序列{Y,j}并做歸一化處理；

2）使用{Y,j}和積分時(shí)間{t,j}利用公式(7)計(jì)算出每個(gè)像元的響應(yīng)方程f；

3）使用響應(yīng)方程計(jì)算{Y,j}對(duì)應(yīng)的輻射通量圖序列{F,j}，并通過(guò)公式(8)獲得校正參數(shù){g,o}；

4）對(duì)于待校正圖像，先計(jì)算出待校正的輻射通量圖，再使用公式(6)得到校正后的輻射通量圖；

5）若僅需輸出圖像，將校正后的輻射通量圖乘以積分時(shí)間得到校正的圖像。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置及評(píng)價(jià)方式

實(shí)驗(yàn)采集圖像使用640×512中波紅外碲鎘汞焦平面陣列探測(cè)器組件和焦距30mm的F/4鏡頭，探測(cè)器工作在ITR模式，采樣ADC精度為14bit；高精度面源黑體使用HGH公司的DCN1000 N4，靶面尺寸為100mm×100mm。采集黑體圖像時(shí)，調(diào)整鏡頭與黑體靶面間的距離確保靶面能夠覆蓋鏡頭視場(chǎng)。

實(shí)驗(yàn)中以5℃為步長(zhǎng)，分別采集15℃～100℃共18個(gè)溫度點(diǎn)的黑體的圖像。在確定至少能夠覆蓋探測(cè)器15%～85%的動(dòng)態(tài)范圍時(shí)任意挑選積分時(shí)間，每個(gè)溫度點(diǎn)下分別采集8～15種積分時(shí)間的圖像各1張，一共產(chǎn)生198張黑體圖像。

本文中，針對(duì)面源黑體的圖像使用的偏移不均勻性NU[9,12]進(jìn)行評(píng)價(jià)，針對(duì)實(shí)際場(chǎng)景的圖像使用粗糙度[13]進(jìn)行評(píng)價(jià)。

另外，實(shí)驗(yàn)采集到的圖像均會(huì)預(yù)先進(jìn)行無(wú)效像元替換處理，所展示的紅外圖像均經(jīng)過(guò)了非線性的自動(dòng)增強(qiáng)處理。

4.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)分別使用兩點(diǎn)校正方法、Ochs方法和本文提出的方法處理圖像數(shù)據(jù)。光子型紅外探測(cè)器的響應(yīng)線性度較好，2階多項(xiàng)式模型足以擬合探測(cè)器的非線性性，因此Ochs方法和本文方法均使用2階多項(xiàng)式模型建立響應(yīng)方程。這3種方法中，兩點(diǎn)校正使用積分時(shí)間為3ms的20℃和75℃的圖像計(jì)算校正參數(shù)；Ochs方法使用35℃的圖像序列計(jì)算響應(yīng)方程，使用20℃和90℃的圖像來(lái)獲取校正參數(shù)；本文方法使用15℃、30℃、50℃和90℃的圖像數(shù)據(jù)計(jì)算響應(yīng)方程和校正參數(shù)。

這3種方法對(duì)198張黑體圖像進(jìn)行非均勻性校正處理后，校正后圖像的偏移不均勻性NU的統(tǒng)計(jì)數(shù)據(jù)如表1所示。表1中可以看出，本文方法校正后的黑體圖像的偏移不均勻性NU的均值，比未校正降低了98.3%，比兩點(diǎn)校正降低了93.5%，比Ochs方法降低了24.1%，校正后圖像NU的中值、最小值和最大值也均低于其他兩種方法。

表1 3種方法處理前后的黑體圖像的NU的統(tǒng)計(jì)數(shù)據(jù)

另外，實(shí)驗(yàn)還使用該熱像儀對(duì)一場(chǎng)景采集了4ms、9ms和12ms三種積分時(shí)間的圖像，兩點(diǎn)校正、Ochs方法和本文方法校正后的圖像如圖2所示。圖2中可以看出兩點(diǎn)校正后的圖像中存在亮點(diǎn)和暗點(diǎn)，且圖像的積分時(shí)間偏離標(biāo)定使用的積分時(shí)間（3ms）越多時(shí)亮點(diǎn)和暗點(diǎn)的數(shù)量越多；另外圖像的四周還存在過(guò)補(bǔ)償?shù)那闆r，導(dǎo)致圖像四周偏亮、中心偏暗，背景因?qū)Ρ榷炔蛔阋搽y以辨別。相對(duì)于兩點(diǎn)校正，Ochs方法和本文方法校正后的圖像的效果均有較明顯的提升，圖像中均沒(méi)有明顯的固定圖案噪聲，比如暗角、四周過(guò)補(bǔ)償、豎條紋、亮點(diǎn)和暗點(diǎn)等，圖像經(jīng)過(guò)增強(qiáng)后的對(duì)比度也更高。

為了能夠更客觀地評(píng)價(jià)3種方法的校正效果，分別計(jì)算了9幅圖像（增強(qiáng)之前）的粗糙度，如表2所示。3種方法中，本文方法校正后圖像的粗糙度數(shù)值也最小。

5 總結(jié)

本文提出了一種基于像素級(jí)輻射自校準(zhǔn)的紅外圖像非均勻性校正改進(jìn)方法。該方法通過(guò)對(duì)估計(jì)出的場(chǎng)景的輻射通量圖進(jìn)行校正，實(shí)現(xiàn)了可變積分時(shí)間的非均勻性校正。該方法在輻射自校準(zhǔn)的基礎(chǔ)上，利用多個(gè)溫度點(diǎn)下采集的面源黑體的不同積分時(shí)間的圖像，獲得了更準(zhǔn)確且更穩(wěn)定的像素級(jí)響應(yīng)方程的估計(jì)，可以得到更準(zhǔn)確的場(chǎng)景輻射通量的估計(jì)。該方法還將非均勻性校正參數(shù)的求解轉(zhuǎn)化為了線性最小二乘問(wèn)題，從而能夠充分利用采集到的多溫度點(diǎn)、多積分時(shí)間的圖像，實(shí)現(xiàn)更好的非均勻性校正效果。實(shí)驗(yàn)表明，本文方法能夠?qū)⒕€性響應(yīng)范圍內(nèi)的任意積分時(shí)間下的紅外圖像的非均勻性降低至較低的水平。

圖2 三種方法校正后的場(chǎng)景圖像

表2 三種方法處理前后的場(chǎng)景圖像的粗糙度r

[1] 蔡盛, 柏旭光, 喬彥峰. 基于標(biāo)定的IRFPA非均勻性校正方法綜述[J].紅外技術(shù), 2007, 29(10): 589-592. CAI Sheng, BAI Xuguang, QIAO Yanfeng. Summarize on the Nonuniformity Correction Algorithms for IRFPA Based on Calibration[J]., 2007, 29(10): 589-592.

[2] Scribner D A, Sarkady K A, Caulfield J T, et al. Nonuniformity correction for staring IR focal plane arrays using scene-based techniques[C]//, 1990, 1308: 224-233.

[3] 周永康, 朱尤攀, 趙德利, 等. 基于場(chǎng)景的紅外焦平面非均勻校正算法綜述[J]. 紅外技術(shù), 2018, 40(10): 952-960. ZHOU Yongkang, ZHU Youpan, ZHAO Deli, et al. A Review of Scene-based Nonuniformity Correction Algorithms for Infrared Focal Plane Arrays[J]., 2018, 40(10): 952-960.

[4] 洪聞青, 姚立斌, 姬榮斌, 等. 基于不同積分時(shí)間幀累加的紅外圖像超幀方法[J]. 光學(xué)精密工程, 2016, 24(6): 1490-1500. HONG Wenqing, YAO Libin, JI Rongbin, et al. A super-frame processing method for infrared image based on accumulation of different integration time frame[J]., 2016, 24(6): 1490-1500.

[5] CHEN N, ZHANG J, ZHONG S, et al. Nonuniformity Correction for Variable-Integration-Time Infrared Camera[J]., 2018, 10(6): 1-11.

[6] LIU M, LI S, LI L, et al. Infrared HDR image fusion based on response model of cooled IRFPA under variable integration time[J]., 2018, 94: 191-199.

[7] 白樂(lè), 賴雪峰, 韓維強(qiáng), 等. 適應(yīng)積分時(shí)間調(diào)整的紅外圖像非均勻性校正方法[J]. 光子學(xué)報(bào), 2020, 49(1): 0110002. BAI Le, LAI Xuefeng, HAN Weiqiang, et al. Infrared Image Nonuniformity Correction Method Adapted to Adjustment of Integration Time[J]., 2020, 49(1): 0110002

[8] Ochs M, Schulz A, Bauer H J. High dynamic range infrared thermography by pixelwise radiometric self calibration[J]., 2010, 53(2): 112-119.

[9] Rogalski A.[M]. Boca Raton, FL: CRC press, 2010.

[10] EMVA 1288 Working Group. EMVA Standard 1288–Standard for Characterization of Image Sensors and Cameras, Release 3.1[S]. [2020-04-20], 2016.

[11] Mitsunaga T, Nayar S K. Radiometric self calibration[C]//. 1999, 1999, 1: 374-380.

[12] Mooney J M, Sheppard F D, Ewing W S, et al. Responsivity nonuniformity limited performance of infrared staring cameras[J]., 1989, 28(11): 281151.

[13] Majeed M Hayat, Sergio N Torres, Ernest Armstrong, et al. Statistical algorithm for nonuniformity correction in focal-plane arrays[J]., 1999, 38: 772-780.

Improved Non-uniformity Correction Method by Pixel-wise Radiometric Self-calibration for Infrared Imaging

WANG Jie，HONG Wenqing，GE Peng，WANG Xiaodong，PAN Chao

(Kunming Institute of Physics, Kunming 650223, China)

Eliminating non-uniformity is a persistent challenge for infrared imaging systems, especially when the integration time varies. This paper describes a non-uniformity correction method with the ability to adapt to arbitrary changes in integration time by correcting the infrared radiation flux map of the scene, which is estimated by pixel-wise radiometric self-calibration.Multiple images of an extended blackbody, obtained with different integration times and blackbody temperatures,were used toobtain the parameters of both the correction model and radiometric calibration model. The correction effect of this method within a wide range of integration times was verified by a high-resolution HgCdTe medium-wave infrared imager.

non-uniformity correction, radiometric self-calibration, integration time

TN219

A

1001-8891(2021)03-0246-07

2020-12-17；

2021-03-03.

王杰（1992-），男，碩士研究生，工程師，主要從事紅外圖像處理方面的研究。E-mail：jaegerwang@outlook.com

洪聞青（1986-），男，博士，高級(jí)工程師，主要從事紅外成像系統(tǒng)方面的研究。E-mail：hongwenqing@aliyun.com