紅外成像系統(tǒng)非均勻性快速校正方法

李召龍，沈同圣，史浩然，婁樹理

(1. 海軍航空工程學(xué)院 控制工程系，山東 煙臺 264001；2. 國防科技信息中心，北京 100037)

紅外成像系統(tǒng)非均勻性快速校正方法

李召龍1，沈同圣2，史浩然1，婁樹理1

(1. 海軍航空工程學(xué)院 控制工程系，山東 煙臺 264001；2. 國防科技信息中心，北京 100037)

針對傳統(tǒng)基于場景的非均勻性校正方法計算量大的缺點，提出一種快速校正方法。通過對圖像序列進(jìn)行分析，得出非均勻性的表現(xiàn)形式可看作是在理想視頻上疊加一個固定圖案噪聲這一結(jié)論。首先對前 k 幀圖像求取均值，得到包含非均勻性而且背景灰度趨于一致的均值圖像；然后提取非均勻性噪聲矩陣，將原始非均勻性圖像與噪聲矩陣做差，便可實現(xiàn)非均勻性的快速校正。利用仿真圖像序列與實拍視頻對方法進(jìn)行驗證，實驗結(jié)果表明提出的方法能夠有效對非均勻性進(jìn)行校正，而且計算量較小，具有更快的校正速度。

非均勻性校正；固定噪聲圖案；均值圖像；噪聲矩陣

0 引 言

紅外成像系統(tǒng)具有靈敏度高、可獲取目標(biāo)更多信息及較高的幀頻等特點，在軍用及民用方面顯示出越來越重要的作用。盡管紅外成像技術(shù)已發(fā)展到較高水平，但由于制造工藝和使用環(huán)境的影響，紅外成像系統(tǒng)的非均勻性問題依然存在，在圖像上表現(xiàn)最為明顯的是固定圖案噪聲（Fixed Pattern Noise，F(xiàn)PN），這極大地降低了圖像質(zhì)量，嚴(yán)重的甚至使紅外探測器失去探測能力[1–2]。在工程應(yīng)用中，相應(yīng)的非均勻性校正技術(shù)（Non-uniformity Correction，NUC）是關(guān)鍵的圖像預(yù)處理技術(shù)。

校正方法主要分為兩大類：一類是輻射定標(biāo)法，主要包括一點法、兩點法和多點法。由于校正效果比較理想，上述方法在工程實踐中得到了廣泛應(yīng)用。但是 20 世紀(jì) 90 年代初，人們逐漸發(fā)現(xiàn)定標(biāo)類校正無法解決紅外成像系統(tǒng)的參數(shù)漂移問題。于是人們發(fā)展了基于場景的校正方法，比較經(jīng)典的有時域高通濾波法[3]、常數(shù)統(tǒng)計法[4]、神經(jīng)網(wǎng)絡(luò)法[5]、幀間配準(zhǔn)法[6]、代數(shù)法[7]等。上述基于場景的校正方法存在計算量大、收斂速度慢的缺點，在實際系統(tǒng)中應(yīng)用較少。針對上述問題，本文提出一種效果較好的非均勻性快速校正方法。利用固定圖案噪聲在圖像上表現(xiàn)出來的固定不變的特點，提取噪聲矩陣，從待校正圖像上減掉該噪聲矩陣，便可對非均勻性進(jìn)行較好的校正。該方法原理簡單，計算量小，實現(xiàn)容易，有利于在實際紅外成像系統(tǒng)中使用。

1 非均勻性表現(xiàn)形式

由于紅外成像系統(tǒng)響應(yīng)率及空間分辨率低于可見光 CCD 陣列，使得紅外圖像的對比度、清晰度低于可見光圖像。非均勻性對紅外圖像的影響尤為嚴(yán)重，如圖 1 所示。圖 1（a）和圖 1（b）是利用 JIR1161G 型長波非制冷熱像儀拍攝的未校正視頻中截取的兩幀。由于非均勻性的存在使得 2 幅圖像上表現(xiàn)出了強(qiáng)烈的條紋狀噪聲，這對圖像配準(zhǔn)、目標(biāo)識別、目標(biāo)跟蹤等后續(xù)處理都極其不利。通過對比可以看出，兩幀圖像間的非均勻性噪聲模式及強(qiáng)度基本一致。因此非均勻性的表現(xiàn)形式可以看作是在視頻上疊加一個固定的噪聲圖案，而且噪聲圖案在較短的時間內(nèi)可以認(rèn)為不變。基于這個考慮，在校正時可以首先提取固定噪聲圖案，然后將非均勻性圖像減掉此噪聲圖案，最終實現(xiàn)非均勻性的校正。

圖1 非均勻性示意圖Fig.1 Nonuniformity of IR imaging system

2 非均勻性校正方法

根據(jù)第 1 節(jié)中的分析得知：非均勻性的表現(xiàn)形式可看做是在理想視頻上疊加一個固定的噪聲圖案，而且噪聲圖案在較短的時間內(nèi)可以認(rèn)為不變。采用探測器線性響應(yīng)模型：焦平面陣列上第（ij）個探測單元在第 n 時刻的輸出響應(yīng) Yn（i，j）可表示為：

式中：Xn（i，j）為第 ij 個探測單元在第 n 時刻接收到的場景輻射；Gn（i，j）和 On（i，j）分別為探測單元的增益和偏置為探測單元理想輸出。Nu（i， j）為探測單元的非均勻性噪聲，模型中同一探測單元在不同時刻 n 的非均勻性噪聲 Nu（i，j）不變。

理想的紅外焦平面陣列（IRFPA）中每個探測單元響應(yīng)參數(shù)保持恒定，而且不同探測單元之間參數(shù)保持一致?？勺鋈缦录僭O(shè)：一是在足夠長的時間內(nèi)，陣列中不同探測單元受到的平均場景輻射相同。二是在一定時間內(nèi)，陣列中探測單元的平均輸出相同。基于上面 2 個假設(shè)，校正方法具體實施過程如下：

1）對第 k 幀圖像，求取前 k 幀圖像的均值圖像：

根據(jù)前面的 2 個假設(shè)，均值圖像中不同像素（ij）的理想輸出均值項相同。

2）統(tǒng)計均值圖像中不同灰度值的像素數(shù)量，取像素數(shù)目最多的灰度值（記為 Lgray）作為理想輸出均值項。獲得非均勻性噪聲矩陣：

矩陣 INu（i，j）中既有正值，也有負(fù)值。若矩陣中為負(fù)值，表示對應(yīng)圖像該位置的像素灰度值被非均勻性噪聲拉低；若矩陣中為正值，表示該位置的像素灰度值被非均勻性噪聲增高。

3）校正非均勻性圖像：

式中：Icorr（i，j）為校正后圖像；Inoise（i，j）為原始未校正圖像。

3 實驗結(jié)果與分析

3.1 仿真圖像序列實驗

為了使校正后的圖像能夠有標(biāo)準(zhǔn)圖像作為對比，對校正算法的綜合性能進(jìn)行較好的評估，首先利用仿真得到的 100 幀非均勻性圖像序列對校正方法進(jìn)行驗證。對仿真圖像進(jìn)行校正，校正結(jié)果如圖 2 所示。

圖2 仿真圖像序列校正結(jié)果Fig.2 Correction result of simulation images

圖 2 （a）所示圖像為理想圖像序列的第 86 幀。圖 2（b）是按照一定算法對理想圖像序列添加了固定圖案噪聲和散點噪聲之后的圖像?？梢钥吹綀D像中有明顯的條紋噪聲，這與真實紅外圖像的固定圖案噪聲樣式一致。圖 2（c）為均值圖像，較好地反映了圖像上的條紋噪聲。圖 2（d）為經(jīng)過本文方法校正后的圖

像。從圖像上看，無論是條紋噪聲還是散點噪聲都得到了較好的校正。

3.2 真實視頻實驗

利用實際采集的紅外非均勻性視頻對提出的校正方法進(jìn)行驗證，校正結(jié)果如圖 3 所示。視頻采集設(shè)備為 JIR1161G 型長波非制冷熱像儀。圖 3（a）和圖3（b）分別為視頻中截取的第 85 幀和第 307 幀。圖像質(zhì)量被條紋狀的非均勻性噪聲嚴(yán)重影響，建筑物上的窗口甚至被條紋噪聲淹沒而導(dǎo)致信息丟失。圖 3（c）和圖 3（d）分別為第 85 幀和第 307 幀對應(yīng)的均值圖像。均值圖像上的條紋狀噪聲的信息被完整的保留了下來，而背景灰度趨于一致。圖 3（e）和圖 3（f）分別為校正后的結(jié)果，通過圖像可以很直觀地看到，條紋噪聲被消除掉，而且原本淹沒在噪聲中的建筑物窗口信息也得到了較好的復(fù)原，校正效果比較理想。

圖3 非均勻性校正結(jié)果Fig.3 Experiment result of NU correction

為了對實驗結(jié)果進(jìn)行客觀定量的評價，采用國家標(biāo)準(zhǔn)定義來評估圖像的非均勻性[8]，即：

式中： 為系統(tǒng)輸出圖像的灰度均值；M 和 N 分別表示系統(tǒng)輸出圖像的行數(shù)和列數(shù)；Yij為圖像中（i，j）位置的像素灰度值。

圖 4 為校正前后非均勻性曲線對比。‘-*’表示的是未校正的視頻序列非均勻性隨幀數(shù)變化的曲線，‘-’表示的是校正之后的視頻序列非均勻性隨幀數(shù)變化的曲線。由于場景變化較為復(fù)雜，不同幀之間的非均勻性不是單調(diào)下降的，但是可以確定的是采用本文提出的校正方法校正的第 n 幀圖像比未校正的視頻第 n 幀非均勻性要小得多。

圖4 校正前后非均勻性曲線Fig.4 Nonuniformity curve before and after correction

4 結(jié) 語

傳統(tǒng)的基于場景的非均勻性校正方法存在計算量大，計算復(fù)雜的缺點。本文提出一種原理簡單、計算量小的校正方法，并利用仿真圖像序列及真實拍攝視頻對提出的方法進(jìn)行驗證，實驗結(jié)果表明本文提出方法能夠有效的對非均勻性進(jìn)行校正，而且本方法計算量較小，具有更快的校正速度。

[1]高思莉, 于洋, 湯心溢. 紅外焦平面陣列非線性響應(yīng)仿真[J].紅外與激光工程, 2008, 37(5): 770–772.

[2]張菲菲, 王文龍, 馬國銳, 等. 基于非局部均值濾波與神經(jīng)網(wǎng)絡(luò)的紅外焦平面陣列非均勻性校正算法[J]. 紅外技術(shù), 2015, 37(4): 265–271.

[3]SCRIBNER D A, SARKADY K A, KRUER M R, et al. Adaptive nonuniformity correction for IR focal-plane arrays using neural networks[C]//Proceedings of the SPIE 1541, Infrared Sensors: Detectors, Electronics, and Signal Processing. San Diego, CA: SPIE, 1991: 100–109.

[4]HARRIS J G, CHIANG Y M. Nonuniformity correction of infrared image sequences using the constant-statistics constraint[J]. IEEE Transactions on Image Processing, 1999, 8(8): 1148–1151.

[5]王嫻雅, 陳錢, 顧國華, 等. 基于BP神經(jīng)網(wǎng)絡(luò)的紅外焦平面非均勻性校正技術(shù)[J]. 光子學(xué)報, 2009, 38(6): 1504–1506.

[6]HARDIE R C, HAYAT M M, ARMSTRONG E, et al. Scenebased nonuniformity correction with video sequences and registration[J]. Applied Optics, 2000, 39(8): 1241–1250.

[7]RATLIFF B M, HAYAT M M, TYO J S. Generalized algebraic scene-based nonuniformity correction algorithm[J]. Journal of the Optical Society of America A, 2005, 22(2): 239–249.

[8]聶瑞杰, 李麗娟, 王朝林, 等. 一種凝視紅外成像系統(tǒng)聯(lián)合非均勻校正算法[J]. 紅外與激光工程, 2015, 44(8): 2339–2346.

Fast nonuniformity correction method for IR imaging system

LI Zhao-long1, SHEN Tong-sheng2, SHI Hao-ran1, LOU Shu-li1
(1. Department of Control Engineering, Naval Aeronautical and Astronautical University, Yantai 264001, China; 2. National Defense Science and Technology Information Center, Beijing 100037, China)

To solve the problem of the large calculation quantity when correcting the nonuniformity using the traditional scene-based method, a fast correction method was proposed. Through the analysis of the image sequences, the results showed that the nonuniformity can be seen as that a fixed pattern noise superimposed on the ideal video. Firstly, the mean image of the first k frames was obtained. Then the nonuniformity noise matrix was extracted. The original image could be corrected by subtracting the noise matrix. The method was validated by using simulated video and real video. Experimental results show that the method can correct the nonuniformity with smaller calculation quantity and faster speed.

nonuniformity correction；fixed pattern noise；mean image；noise matrix

TN911.73

A

1672 – 7619(2016)11 – 0148 – 03

10.3404/j.issn.1672 – 7619.2016.11.031

2016 – 01 – 15；

2016 – 03 – 02

國家自然科學(xué)基金資助項目(61303192)

李召龍(1987 – )，男，博士研究生，研究方向為光電制導(dǎo)、紅外物理與技術(shù)、紅外成像系統(tǒng)性能測試與仿真等。