紅外圖像校正與增強(qiáng)技術(shù)研究現(xiàn)狀

張寶輝，姚立斌，張巍偉，陳瑩妍，王潤(rùn)宇

?

紅外圖像校正與增強(qiáng)技術(shù)研究現(xiàn)狀

張寶輝，姚立斌，張巍偉，陳瑩妍，王潤(rùn)宇

（北方夜視科技集團(tuán)有限公司 南京研發(fā)中心，江蘇 南京 211106）

非均勻校正和視覺(jué)增強(qiáng)是紅外圖像處理的關(guān)鍵性技術(shù)，其主要是為了解決紅外系統(tǒng)在光學(xué)、焦平面、讀出電路等設(shè)計(jì)和工藝中存在的問(wèn)題。基于此，在非均勻校正方面，概述了近年來(lái)基于場(chǎng)景的非均勻校正技術(shù)和去除“鬼影”現(xiàn)象的發(fā)展現(xiàn)狀。在視覺(jué)增強(qiáng)方面，從灰度值的動(dòng)態(tài)壓縮角度闡述了傳統(tǒng)方法和紅外圖像細(xì)節(jié)增強(qiáng)技術(shù)的最新研究成果，以及640×512中波數(shù)字化焦平面探測(cè)器在增強(qiáng)方面采用的最新技術(shù)和成像效果；并從分辨率增強(qiáng)角度介紹了“微掃”技術(shù)在紅外系統(tǒng)分辨率增強(qiáng)方面的突破技術(shù)和相關(guān)產(chǎn)品。最后，對(duì)紅外圖像處理發(fā)展趨勢(shì)進(jìn)行了展望。

紅外圖像處理；非均勻校正；分辨率增強(qiáng)；視覺(jué)增強(qiáng)

0 引言

隨著紅外技術(shù)的不斷革新與發(fā)展，紅外成像技術(shù)在森林防火、醫(yī)療、行車(chē)輔助、電力監(jiān)測(cè)、軍事等領(lǐng)域越來(lái)越多地被應(yīng)用[1]。紅外成像系統(tǒng)包括紅外光學(xué)系統(tǒng)、紅外焦平面技術(shù)和紅外圖像處理系統(tǒng)，而紅外圖像處理系統(tǒng)作為最后端的處理系統(tǒng)，其處理之后的信號(hào)直接展示在最終顯示端，其處理方法和結(jié)果直接決定了系統(tǒng)的質(zhì)量。受前端的光學(xué)系統(tǒng)、紅外焦平面技術(shù)工藝、讀出電路等因素影響，面對(duì)同一輻射面源，不同像元最終輸出給紅外成像電路的值會(huì)有所不同，從而產(chǎn)生了紅外圖像的非均勻性和盲元。此外，紅外焦平面的設(shè)計(jì)動(dòng)態(tài)范圍較大，設(shè)計(jì)時(shí)為了滿足不同環(huán)境的適應(yīng)性，一般采用滿量程的高精度ADC進(jìn)行數(shù)據(jù)采集保證其精度。但日常使用環(huán)境的輻射強(qiáng)度基本集中在較小的范圍，這樣ADC采集到的信號(hào)也就集中在滿量程的小部分范圍。因此，未經(jīng)處理的圖像信號(hào)輸出顯示時(shí)，分辨率、對(duì)比度和人眼舒適度都很差，必須經(jīng)過(guò)相應(yīng)的處理后才能顯示。

目前，隨著焦平面工藝的改進(jìn)和成熟，焦平面的盲元現(xiàn)象已經(jīng)越來(lái)越少，而均勻性、對(duì)比度和分辨率等問(wèn)題，與紅外探測(cè)器材料、光學(xué)系統(tǒng)、讀出電路和成像電路設(shè)計(jì)等因素有關(guān)，很難單純地從工藝方面解決。國(guó)內(nèi)外學(xué)者針對(duì)這些問(wèn)題，開(kāi)展了多方面的研究和探索，取得了一定進(jìn)展，本文將針對(duì)這些進(jìn)展進(jìn)行分析和討論。

1 圖像非均勻校正技術(shù)

目前，針對(duì)紅外焦平面探測(cè)器輸出的非均勻性問(wèn)題，所采用的校正技術(shù)主要分為參考源標(biāo)定技術(shù)（Calibration-Based NUC, CBNUC）和場(chǎng)景算法校正技術(shù)（Scene-Bsed NUC, SBNUC）[2]。CBNUC技術(shù)主要是指在實(shí)驗(yàn)室內(nèi)利用均勻的黑體通過(guò)不同溫度對(duì)紅外系統(tǒng)進(jìn)行標(biāo)定，計(jì)算出不同像元在同一溫度下不同響應(yīng)的差異，從而進(jìn)行相應(yīng)的補(bǔ)償，其算法主要分為單溫度點(diǎn)校正、雙溫度點(diǎn)校正和多溫度點(diǎn)校正算法。CBNUC技術(shù)由于原理簡(jiǎn)單、校正效果明顯、技術(shù)相對(duì)成熟，在工程中被大量采用。但CBNUC校正方法缺點(diǎn)也很明顯，每臺(tái)熱像儀都需要在實(shí)驗(yàn)室中利用參考黑體標(biāo)定，這樣大大增加了熱像儀的工作量；同時(shí)，熱像儀的各種性能會(huì)隨著時(shí)間和環(huán)境而改變，之前標(biāo)定的參數(shù)也逐漸偏離真實(shí)值，導(dǎo)致校正效果越來(lái)越不理想。而基于場(chǎng)景的非均勻校正算法（SBNUC）正好能克服定標(biāo)法的不足，自適應(yīng)判定出場(chǎng)景中的非均勻成分，具有免維護(hù)的優(yōu)點(diǎn)，使其在紅外領(lǐng)域的應(yīng)用前景和市場(chǎng)非常廣闊，而近年來(lái)紅外圖像非均勻校正技術(shù)的研究方向也逐漸轉(zhuǎn)向了基于場(chǎng)景的校正算法。這類(lèi)算法整體上可以根據(jù)實(shí)現(xiàn)途徑分為兩大類(lèi)，一類(lèi)是基于統(tǒng)計(jì)類(lèi)的校正算法，另一類(lèi)是基于配準(zhǔn)的校正算法[3]。

1.1 基于統(tǒng)計(jì)類(lèi)的校正算法

在基于統(tǒng)計(jì)類(lèi)的校正算法中，比較典型的是時(shí)域高通濾波法，它的存儲(chǔ)量和計(jì)算量相對(duì)較小，因而得到了廣泛的應(yīng)用和研究，但是這種算法對(duì)場(chǎng)景隨機(jī)運(yùn)動(dòng)的依賴(lài)性較強(qiáng)，且容易被場(chǎng)景中強(qiáng)輻射所干擾，使得該算法的穩(wěn)定性和收斂速度不能兼顧，要取得較好的穩(wěn)定性就必須犧牲算法的收斂速度，而要想取得較快的收斂速度，則校正后的圖像會(huì)存在明顯的“鬼影”問(wèn)題。針對(duì)時(shí)域高通濾波算法所存在的問(wèn)題，許多學(xué)者做了廣泛的研究和改進(jìn)。目前比較常見(jiàn)的時(shí)域?yàn)V波改進(jìn)是空域低通和時(shí)域高通相結(jié)合的方法（Space Low-pass and Temporal High-pass, SLTH-NUC），算法首先利用空域?yàn)V波器（一般采用均值濾波）分離輸入圖像中的高低頻信號(hào)，在非均勻性的校正過(guò)程中只利用高頻部分來(lái)計(jì)算校正參數(shù)。為了減少對(duì)場(chǎng)景邊緣的影響，設(shè)定了一個(gè)閾值，當(dāng)高頻部分中某個(gè)像素值比該閾值大時(shí)，判定其處在場(chǎng)景的邊緣上，不用于非均勻性校正參數(shù)的計(jì)算中。該方法相對(duì)于原始算法收斂速度得到提高，并且“鬼影”現(xiàn)象得到一定抑制。文獻(xiàn)[4]中對(duì)這種方法進(jìn)一步改進(jìn)，提出了雙邊濾波時(shí)域高通法（Bilateral Filter and Temporal High-pass, BFTH-NUC），利用性能更好的雙邊濾波代替均值濾波，該濾波器對(duì)圖像的邊緣部分能夠起到更好的保護(hù)作用，所以能有效減少鬼影的出現(xiàn)，同時(shí)算法收斂速度也得到了提高。其對(duì)不同算法的校正效果如圖1所示。改進(jìn)后的BFTH-NUC算法，校正后的圖像明顯好于前幾種效果。

圖1 基于時(shí)域高通濾波的校正效果

基于恒定統(tǒng)計(jì)（Constant Statistics , CS）的非均勻校正算法也是統(tǒng)計(jì)類(lèi)校正算法的一種，其主要思想是假設(shè)紅外焦平面上各像元接收的輻射范圍一致，各像元的均值和標(biāo)準(zhǔn)偏差恒定，從而用于計(jì)算校正因子。文獻(xiàn)[2]中介紹了改進(jìn)的CS-NUC方法，通過(guò)縱向通道間的統(tǒng)計(jì)量均衡策略實(shí)現(xiàn)對(duì)條紋非均勻性的抑制，并引入遺忘因子通過(guò)幀間迭代實(shí)現(xiàn)非均勻性的動(dòng)態(tài)校正，有效地降低了算法對(duì)場(chǎng)景信息的要求，可快速有效地消除網(wǎng)格和條紋狀固定噪聲，且不受場(chǎng)景變動(dòng)的影響，提高紅外圖像質(zhì)量，其效果如圖2所示。

另一種基于統(tǒng)計(jì)類(lèi)的算法為基于神經(jīng)網(wǎng)絡(luò)的校正方法，其主要思想是尋找到一個(gè)“期望”圖像，通過(guò)校正圖像不斷趨近“期望”圖像來(lái)擺脫圖像的非均勻性。非均勻校正的增益和偏置參數(shù)采用最小均方（Least Mean Square, LMS）等算法進(jìn)行校正更新，依照校正圖像和“期望”圖像之間的均方誤差的梯度變化進(jìn)行計(jì)算。文獻(xiàn)[5]提出了一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)方法，采用了一種具有空間自適應(yīng)能力的LMS算法，根據(jù)場(chǎng)景變化的情況調(diào)整對(duì)應(yīng)的校正步長(zhǎng)大小。觀察像素點(diǎn)局部方差的變化情況，調(diào)整校正步長(zhǎng)，高方差的圖像區(qū)域采用較小的步長(zhǎng)，較平坦的圖像區(qū)域采用較大的步長(zhǎng)，并對(duì)LMS采用設(shè)置自適應(yīng)值進(jìn)行改良。該算法能夠快速實(shí)現(xiàn)收斂（一般在幾十幀圖像內(nèi)），同時(shí)能夠有效地抑制“鬼影”現(xiàn)象，如圖3所示，從圖中標(biāo)出的位置可以看出，經(jīng)過(guò)改進(jìn)后的基于神經(jīng)網(wǎng)絡(luò)的算法，在抑制“鬼影”方面取得很好的結(jié)果。

1.2 基于配準(zhǔn)的校正方法

基于統(tǒng)計(jì)的校正方法速度快，效果明顯，但在校正時(shí)需要統(tǒng)計(jì)的先驗(yàn)條件，如果實(shí)際的圖不滿足這些先驗(yàn)條件，會(huì)嚴(yán)重影響校正的圖像質(zhì)量。針對(duì)這些問(wèn)題，文獻(xiàn)[6]中提出了基于幀間匹配的最小均方誤差法，估計(jì)了相鄰兩幀之間的差異，并且以最小化均方誤差的方法對(duì)相鄰兩幀進(jìn)行匹配。這種方法可以減少累積的匹配誤差，并且計(jì)算比較簡(jiǎn)單，需要較少的存儲(chǔ)空間，能獲得時(shí)域上的非均勻性漂移參數(shù)，圖4給出了其校正效果。

文獻(xiàn)[7]中，提出了一種基于場(chǎng)景的空間投影估計(jì)和時(shí)域迭代非均勻性校正算法，主要是通過(guò)投影估計(jì)來(lái)估算全局位移，并且在連續(xù)多幀圖像中進(jìn)行迭代計(jì)算。算法首先為配準(zhǔn)準(zhǔn)則設(shè)計(jì)了一個(gè)新的投影估計(jì)方法，然后利用相鄰幀進(jìn)行迭代計(jì)算，以此來(lái)獲得較快的固定圖案噪聲（Fixed-Pattern Noise, FPN）收斂，同時(shí)在減少“鬼影”產(chǎn)生方面也取得了良好的效果。此外，文獻(xiàn)[8]給出了一種同時(shí)考慮全局和局部運(yùn)動(dòng)信息的算法，對(duì)紅外焦平面的非均勻性進(jìn)行補(bǔ)償。文獻(xiàn)[9]提出了一種考慮了環(huán)境溫度補(bǔ)償?shù)姆蔷鶆蛐孕Ｕ椒ǎ@種方法在校正了像元響應(yīng)非均勻性的同時(shí)對(duì)環(huán)境溫度的漂移進(jìn)行了補(bǔ)償，這些方法都取得了較好的效果。

圖2 基于恒定統(tǒng)計(jì)的校正效果

圖3 神經(jīng)網(wǎng)絡(luò)校正算法

基于場(chǎng)景的校正算法，能夠克服傳統(tǒng)標(biāo)定算法的缺點(diǎn)，大大降低紅外系統(tǒng)對(duì)標(biāo)定工作的依賴(lài)，成為近些年非均勻校正的主要研究方向。但由于算法是基于時(shí)域及空域等未知場(chǎng)景信息，因此難免會(huì)對(duì)圖像信號(hào)造成“誤傷”，產(chǎn)生“鬼影”現(xiàn)象，雖然許多學(xué)者和科研機(jī)構(gòu)對(duì)此展開(kāi)了大量的工作和研究，但還是達(dá)不到完全去除“鬼影”現(xiàn)象的要求。從近年來(lái)基于配準(zhǔn)校正算法的思路和時(shí)效性來(lái)看，基于場(chǎng)景的校正技術(shù)可與光機(jī)電技術(shù)相結(jié)合，更精確地計(jì)算圖像的位移等空間信息，從而降低甚至去除“鬼影”。

2 視覺(jué)增強(qiáng)技術(shù)

經(jīng)過(guò)非均勻校正后的紅外信號(hào)最終要在顯示終端進(jìn)行顯示，終端的顯示效果主要取決于圖像信號(hào)的灰度值和分辨率。對(duì)于紅外系統(tǒng)輸出信號(hào)而言，其灰度值動(dòng)態(tài)范圍一般大于顯示終端的動(dòng)態(tài)范圍，因此需要進(jìn)行動(dòng)態(tài)范圍調(diào)整。紅外圖像分辨率一般隨著焦平面的參數(shù)而固定，若要增強(qiáng)視覺(jué)效果，則必須后期提升系統(tǒng)的分辨率。

2.1 顯示動(dòng)態(tài)范圍壓縮

顯示動(dòng)態(tài)范圍調(diào)整技術(shù)，即紅外圖像增強(qiáng)技術(shù)，傳統(tǒng)的圖像增強(qiáng)處理方法根據(jù)其作用域的不同，可分為空域增強(qiáng)和頻域增強(qiáng)兩種?？沼蛟鰪?qiáng)是對(duì)圖像中的像素點(diǎn)直接操作，將每一個(gè)像素點(diǎn)作為處理對(duì)象，最后通過(guò)改變灰度值實(shí)現(xiàn)圖像增強(qiáng)，典型的算法有灰度變換、直方圖均衡化以及改進(jìn)的平臺(tái)直方圖等；頻域增強(qiáng)主要是對(duì)圖像所在的頻譜操作，再逆變換得到增強(qiáng)后的圖像。

自從美國(guó)FLIR公司首次在產(chǎn)品中使用了數(shù)字細(xì)節(jié)增強(qiáng)技術(shù)（Digital Detail Enhancement, DDE）[10]之后，近年來(lái)紅外圖像增強(qiáng)算法大多圍繞著數(shù)字增強(qiáng)技術(shù)進(jìn)行。文獻(xiàn)[11]提出了一種用于紅外成像系統(tǒng)的動(dòng)態(tài)范圍壓縮技術(shù)，如圖5所示。該技術(shù)通過(guò)采用雙邊濾波來(lái)分離圖像的細(xì)節(jié)部分和背景部分，然后對(duì)兩部分進(jìn)行單獨(dú)處理，最后通過(guò)一定的方法進(jìn)行綜合，得出增強(qiáng)后的圖像。通過(guò)實(shí)驗(yàn)驗(yàn)證，具有較好的增強(qiáng)效果，如圖5所示。

文獻(xiàn)[12]提出了一種高動(dòng)態(tài)范圍紅外圖像的顯示和細(xì)節(jié)增強(qiáng)方法，它同樣采用雙邊濾波和動(dòng)態(tài)范圍分割技術(shù)，將原始高動(dòng)態(tài)范圍圖像映射到8位圖像。該方法對(duì)梯度反轉(zhuǎn)有比較好的消除作用，使得圖像具有更好的視覺(jué)效果。如圖6所示。

文獻(xiàn)[13]提出了一種針對(duì)海上場(chǎng)景的高動(dòng)態(tài)范圍壓縮方法，該方法主要基于兩種技術(shù)：對(duì)比度增強(qiáng)和動(dòng)態(tài)范圍壓縮。前者增強(qiáng)了圖像的細(xì)節(jié)，后者減少了包含大量無(wú)關(guān)信息的灰度區(qū)間。并且考慮了一些海上場(chǎng)景的特殊情況，利用圖像的聚類(lèi)信息，通過(guò)一個(gè)合適的權(quán)重函數(shù)將每個(gè)聚類(lèi)的內(nèi)容信息映射到輸出圖像。該方法細(xì)節(jié)增強(qiáng)效果較好，并且克服了地平線的影響，可以比較容易看到感興趣的目標(biāo)。文獻(xiàn)[14]提出了一種基于梯度域的高動(dòng)態(tài)范圍紅外圖像的壓縮和細(xì)節(jié)增強(qiáng)方法，該方法利用了一個(gè)包含數(shù)據(jù)限制項(xiàng)和梯度限制項(xiàng)的能量函數(shù)。在數(shù)據(jù)限制項(xiàng)中，采用經(jīng)典的直方圖投影方法進(jìn)行初始的動(dòng)態(tài)范圍壓縮，得到希望的像素值，并且保持全局的對(duì)比度。在梯度限制項(xiàng)中，采用矩匹配方法獲得標(biāo)準(zhǔn)圖像，然后設(shè)計(jì)一個(gè)梯度增益因子函數(shù)去調(diào)整標(biāo)準(zhǔn)圖像的梯度值，獲得想要的梯度域。最后通過(guò)給出的能量函數(shù)可以獲得低動(dòng)態(tài)范圍的圖像。該方法可以較好地減少暈輪、梯度反轉(zhuǎn)、模糊和飽和現(xiàn)象。文獻(xiàn)[15]提出一種基于時(shí)域數(shù)字細(xì)節(jié)增強(qiáng)濾波的高動(dòng)態(tài)范圍紅外圖像的低對(duì)比度目標(biāo)增強(qiáng)算法，該算法采用導(dǎo)向?yàn)V波將原始圖像分為基本層和細(xì)節(jié)層，并且采用一種掩膜去避免噪聲的擴(kuò)大，最后的圖像采用一種自適應(yīng)的依賴(lài)于直方圖投影的方法，在時(shí)域上的直方圖限制可以避免幀間的全局亮度波動(dòng)，也取得了較好的效果。文獻(xiàn)[16]提出了一種針對(duì)紅外圖像shearlet變換的自適應(yīng)增強(qiáng)算法，該算法基于結(jié)構(gòu)信息線性增強(qiáng)了高頻分量的細(xì)節(jié)，并通過(guò)低頻分量的非均勻校正來(lái)提高全局對(duì)比度，最后將其轉(zhuǎn)換為空域圖像獲得增強(qiáng)圖像，可以在提高紅外圖像細(xì)節(jié)的同時(shí)減少噪聲產(chǎn)生的區(qū)域，其效果如圖7所示。

圖4 基于配準(zhǔn)的校正算法

圖5 動(dòng)態(tài)范圍壓縮技術(shù)增強(qiáng)效果

2016年昆明物理所最新研制了640×512中波數(shù)字化焦平面探測(cè)器，并在此平臺(tái)上，研制了增強(qiáng)算法FDR（Fine Detail Resolution）技術(shù)。該算法原理如圖8所示。

主要是利用濾波技術(shù)將14位紅外圖像進(jìn)行高低頻域?yàn)V波，由于圖像低頻部分主要包含圖像顯示的背景分量，而高頻部分主要含有圖像細(xì)節(jié)及噪聲分量。為了使所觀察物體在圖像中更為顯著，必須讓該物體與其周?chē)尘爱a(chǎn)生一定差異，因此在處理背景分量時(shí)利用顯著性算法進(jìn)行運(yùn)算，然后對(duì)其進(jìn)行灰度映射。在高頻處理部分，主要是濾除高頻部分的噪聲，然后對(duì)高頻細(xì)節(jié)進(jìn)行增強(qiáng)，最后與背景分量進(jìn)行融合，輸出8位顯示圖像。圖9為45 mm光學(xué)鏡頭焦距、25mm數(shù)字化焦平面在FPGA中實(shí)時(shí)成像的效果，該成像效果具有很好的細(xì)節(jié)特征和人眼舒適度。

2.2 顯示分辨率增強(qiáng)

紅外圖像信號(hào)顯示在終端除了灰度值的影響之外，圖像分辨率也是一項(xiàng)重要指標(biāo)，高分辨率的圖像能夠提供更多的場(chǎng)景及細(xì)節(jié)信息，最直接地提升系統(tǒng)分辨率的方法就是提高焦平面的分辨率，但是目前受到焦平面技術(shù)的限制，成本和技術(shù)難度較大。分辨率增強(qiáng)技術(shù)在此問(wèn)題下應(yīng)運(yùn)而生。從本質(zhì)上來(lái)講，提高圖像的空間分辨率就是要增加圖像所承載的信息量，由于單幀圖像所承載的信息量有限，必須利用多幀圖像信息提高系統(tǒng)圖像的分辨率，但同時(shí)帶來(lái)了幀間圖像匹配問(wèn)題。若單靠圖像處理算法進(jìn)行配準(zhǔn)，系統(tǒng)運(yùn)算量太大，實(shí)時(shí)性很難保障。因此目前工程應(yīng)用中主要利用“微掃”技術(shù)進(jìn)行分辨率增強(qiáng)。利用“微掃”技術(shù)擴(kuò)展分辨率主要分為兩種，一種是同一視場(chǎng)下的超分辨率技術(shù)，另一種則用不同視場(chǎng)的拼接提高系統(tǒng)的分辨率甚至可至360°全景，這兩種方式都是借助光學(xué)裝置，利用空間運(yùn)動(dòng)讓傳感器多次曝光，配準(zhǔn)后利用算法進(jìn)行拼接融合的過(guò)程。

圖6 高動(dòng)態(tài)范圍顯示和細(xì)節(jié)增強(qiáng)方法

圖7 Shearlet變換紅外細(xì)節(jié)增強(qiáng)效果

圖8 FDR技術(shù)原理

利用“微掃”技術(shù)提升紅外系統(tǒng)分辨率成本低、效果佳，甚至可以拓展和挖掘紅外系統(tǒng)的應(yīng)用價(jià)值和潛能，因此成為國(guó)內(nèi)外學(xué)者和公司逐漸重視的研究?jī)?nèi)容。早期的英國(guó)BAE SYSTEMS公司研發(fā)的2×2微掃描系統(tǒng)將輸出像素?cái)U(kuò)大了4倍；德國(guó)耶拿公司所研制的ProgRes C14 plus 通過(guò)“微掃”技術(shù)可以提供高達(dá)4080×3072像素的視頻；德國(guó)AEG和STANTRLAS共同開(kāi)發(fā)的掃描成像系統(tǒng)，將原來(lái)像素384×288提高到了768×576等。國(guó)內(nèi)相關(guān)學(xué)者和機(jī)構(gòu)也對(duì)此展開(kāi)了研究，取得了不少技術(shù)突破。文獻(xiàn)[17]提出了一種基于幀間塊匹配圖像增強(qiáng)算法，結(jié)合“微掃”和后端圖像處理技術(shù)，能很好地提高紅外系統(tǒng)分辨率。文獻(xiàn)[18]研究了自適應(yīng)虛擬電子微掃描技術(shù)，提高了紅外圖像的空間分辨率，如圖10。

文獻(xiàn)[19]分析了常用的掃描模型之間的調(diào)制傳遞函數(shù)（Modulation Transfer Function, MTF）的差別，驗(yàn)證了圓形模型在微掃設(shè)計(jì)中具有較好的MTF，為掃描型熱像設(shè)計(jì)提供了很好的參考意義。文獻(xiàn)[20]介紹了一種基于國(guó)產(chǎn)自研的超長(zhǎng)線長(zhǎng)波紅外線列探測(cè)器紅外預(yù)警系統(tǒng)的設(shè)計(jì)，系統(tǒng)利用1152×6的線列紅外，通過(guò)轉(zhuǎn)臺(tái)與“微掃”技術(shù)輸出1152×50000的高分辨率圖像，如圖11所示。

2013年，法國(guó)HGH紅外系統(tǒng)公司推出了Spynel-S 360紅外預(yù)警系統(tǒng)，如圖12所示。系統(tǒng)攜帶中波紅外制冷熱像儀，將紅外熱像儀的分辨率提升至3千萬(wàn)像素，展示周?chē)?60°無(wú)死角圖像[21]。

2016年，以色列Elbit Systems公司在展會(huì)上推出了新型便攜式紅外監(jiān)控預(yù)警系統(tǒng)SupervisIR，如圖13所示。該系統(tǒng)可以提供高廣域分辨率和可視范圍的紅外監(jiān)控，相當(dāng)于并排放置150個(gè)熱成像儀[22]，拓展和挖掘了紅外系統(tǒng)的應(yīng)用領(lǐng)域和潛能。

基于“微掃”的紅外分辨率增強(qiáng)技術(shù)是在不增加探測(cè)器像素尺寸和規(guī)模的條件下，通過(guò)增大成像系統(tǒng)的空間采樣頻率，從多幅圖像相互之間位移的時(shí)間序列來(lái)提高系統(tǒng)成像的分辨率。近年來(lái)，隨著紅外技術(shù)的發(fā)展，成像電路采集到的焦平面輸出信號(hào)精度會(huì)越來(lái)越高、動(dòng)態(tài)范圍會(huì)越來(lái)越大，因此成像電路采集到的紅外信號(hào)中包含的細(xì)節(jié)信息也會(huì)越來(lái)越多，在圖像處理時(shí)需要將這些細(xì)節(jié)信息更合理、更有效地展現(xiàn)在視頻顯示端，還要兼顧人眼的視覺(jué)特性、不同場(chǎng)景變化的適應(yīng)性，以及利用幀間冗余信息提升圖像分辨率及圖像質(zhì)量，擴(kuò)展或重新定義紅外系統(tǒng)的應(yīng)用。

圖9 FDR技術(shù)在不同場(chǎng)景中的效果

圖10 微掃技術(shù)提高圖像分辨率

圖11 國(guó)產(chǎn)自研的超長(zhǎng)線列紅外預(yù)警系統(tǒng)及成像效果

圖12 Spynel-S 360系統(tǒng)及成像效果

圖13 SupervisIR系統(tǒng)及成像效果

Fig.13 SupervisIR system and it’s imaging result

3 結(jié)束語(yǔ)

紅外圖像處理技術(shù)是整個(gè)紅外系統(tǒng)的輸出端與展示端，圖像處理技術(shù)的好壞直接影響整個(gè)紅外系統(tǒng)的性能。文章介紹了紅外圖像處理中的非均勻校正和視覺(jué)增強(qiáng)關(guān)鍵性技術(shù)的最新研究進(jìn)展?，F(xiàn)階段，基于場(chǎng)景的非均勻性校正技術(shù)，如何突破校正后圖像的“鬼影”現(xiàn)象；圖像增強(qiáng)方面，如何更好地與視覺(jué)系統(tǒng)結(jié)合，挖掘紅外信號(hào)中的可用信息并適當(dāng)合理地展現(xiàn)出來(lái)；圖像分辨率增強(qiáng)方面，如何結(jié)合紅外焦平面高幀頻技術(shù)，與光機(jī)電多學(xué)科結(jié)合，充分提升系統(tǒng)分辨率，實(shí)時(shí)展示超分辨率圖像，這些問(wèn)題將是目前紅外圖像處理中研究的主要內(nèi)容。

[1] 馮濤, 金偉其, 司俊杰. 非制冷紅外焦平面探測(cè)器及其技術(shù)發(fā)展動(dòng)態(tài)[J]. 紅外技術(shù), 2015, 37(3): 177-184.

FENG Tao, JING Weiqi, SI Junjie. Uncooled infrared FPA-A review and forecast[J].,2015, 37(3): 177-184.

[2] 曹揚(yáng), 金偉其, 劉崇亮, 等. 紅外焦平面陣列的自適應(yīng)非均勻性校正及硬件實(shí)現(xiàn)[J]. 光學(xué)精密工程, 2011, 19(12): 2985-2991.

CAO Yang, JING Weiqi, LIU Chongliang, et al. Adaptive nonuniformity correction and hardware implementation of IRFPA[J]., 2011, 19(12): 2985-2991.

[3] 潘科辰. 基于國(guó)產(chǎn)紅外焦平面陣列的非均勻性校正技術(shù)研究[D]. 南京: 南京理工大學(xué), 2016.

PAN Kechen. Research on the nonuniformity correction technology based on demestic IRFPA detector[D]. Nanjing: Nanjing University of Science and Technology, 2016.

[4] ZUO C, CHEN Q, GU G, et al. New temporal high-pass filter nonuniformity correction based on bilateral filter[J]., 2011, 18(2): 197-202.

[5] 陳芳林, 張寶輝, 汪貴華, 等. 改進(jìn)的神經(jīng)網(wǎng)絡(luò)非均勻性校正算法研究[J]. 科學(xué)技術(shù)與工程, 2016, 16(33): 215-220.

CHEN Fanglin, ZHANG Baohui, WANG Guihua, et al. Research on the nonuniformity correction based on improved neural net algorithm[J].2016, 16(33): 215-220.

[6] ZUO C, CHEN Q, GU G, et al. Scene-based nonuniformity correction algorithm based on interframe registration[J]., 2011, 28(6):1164-76.

[7] XU Honglie, CHEN Qian, SUI Xiubao, et al. Space projection estimator and temporal iteration scene-based non-uniformity correction algorithm[J]., 2015, 34(6): 710-714.

[8] Bae Y, Ra J B. Scene-based nonuniformity correction in infrared videos[C]//, 2012, 8399: 14.

[9] QU H M, GONG J T, HUANG Y, et al. New Non-uniformity correction approach for infrared focal plane arrays imaging[J]., 2013, 17(2): 213-218.

[10] FLIR Systems Inc. Digital detail enhancement, technical note [EB/OL]. [2013-06-12]. www.flir.com/uploadedfiles/Eurasia/MMC/Tech_Notes.

[11] Branchitta F, Diani M, Romagnoli M. New technique for the visualization of high dynamic range infrared images[J]., 2009, 48(9): 6401.

[12] ZUO C, CHEN Q, REN J. Display and detail enhancement for high-dynamic-range infrared images[J]., 2011, 50(12): 895-900.

[13] Rossi A, Acito N, Diani M, et al. High dynamic range compression for visualization of IR images in maritime scenarios[C]//:IX, 2012, 8541: 85410V.

[14] ZHANG F, XIE W, MA G, et al. High dynamic range compression and detail enhancement of infrared images in the gradient domain[J]., 2014, 67: 441-454.

[15] Frederic Garcia, Cedric Schockaert, Bruno Mirbach. Media-real-time visualization of low contrast targets from high-dynamic-range infrared images based on temporal digital detail enhancement filter[J]., 2015, 24(6): 061103..

[16] FAN Z, BI D, GAO S, et al. Adaptive enhancement for infrared image using shearlet frame[J]., 2016, 18(8): 085706.

[17] 白俊奇, 陳錢(qián), 屈惠明. 紅外凝視成像光學(xué)微掃描重建技術(shù)研究[J].紅外與毫米波學(xué)報(bào), 2008, 27(4): 257-260.

BAI Junqi, CHEN Qian, QU Huiming. Research on optical micros caning reconstruction for infrared staring imaging[J]., 2008, 27(4): 257-260.

[18] 隋修寶, 陳錢(qián), 陸紅紅. 紅外圖像空間分辨率提高方法研究[J]. 紅外與毫米波學(xué)報(bào), 2007, 26(5): 377-385.

SUI Xiubao, CHEN Qian, LU Honghong. Research on improving spatial resolution of infrared image[J]., 2007, 26(5): 377-385.

[19] SUN Mingjie, YU Kanglong. Effect of pixel active area shapes on microscanning based infrared super-resolution imaging [J]., 2015, 44(1): 48-52.

[20] 范宏波. 基于1152×6長(zhǎng)波線列探測(cè)器的高性能紅外搜索預(yù)警系統(tǒng)[J]. 紅外技術(shù), 2010, 32(1): 20-24.

FAN Hongbo. A high performance IRST system based on 1152×6 LWIR detectors[J]., 2010, 32(1): 20-24.

[21] KATIE SHEA. HGH Infrared Systems news. Debut of Spynel-S [EB/OL]. [2013-04-18]. https: //www.hgh-infrared.com/ News/News/ Debut-of- Spynel-S.

[22] Elbit Systems. Infrared Wide Area Persistent Surveillance System [EB/OL]. [2016-08-06]. http: //elbitsystems. com/pr-new/elbit-systems -introduces -supervisir/.

The Current Research Status of Infrared Image Correction and Enhancement

ZHANG Baohui，YAO Libin，ZHANG Weiwei，CHEN Yingyan，WANG Runyu

(,.,,211106,)

Non-uniformity correction(NUC) and vision enhancement are the key techniques of infrared image processing. They serve mainly to resolve the existed problems for infrared system in the design and technology of optics, FPA and circuitreading. In the respect of non-uniformity correction, recent advances on the technique of scenario-based non-uniformity correction, and ghosting artifact are reviewed. In the respect of vision enhancement, traditional method and the new technique of infrared image detail enhancement are expounded from the perspective of gray value dynamic compression, as well as the new imaging enhancement technique used in the MWIR 640×512 digital IRFPA detector. The breakthrough technique and related products of micro-scanning technique used in infrared system resolution enhancement are introduced. Finally, the development trends of infrared image processing are also presented．

infrared imageprocessing，non-uniformity correction，resolution improvement，vision enhancement

TN911.73

A

1001-8891(2017)06-0481-08

2017-06-02；

2017-06-06 .

張寶輝（1984-），男，陜西寶雞人，高級(jí)工程師，博士，主要從事紅外圖像處理方面的研究。E-mail：zbhmatt@163.com。

姚立斌（1968-），男，博士，研究員，博士研究生導(dǎo)師，主要研究方向?yàn)榛旌闲盘?hào)集成電路設(shè)計(jì)。