含運(yùn)動(dòng)目標(biāo)的紅外圖像非均勻校正算法*

侯良科，楊俊剛，鄧新蒲，吳 京

(國(guó)防科技大學(xué) 電子科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙410073)

0 引 言

紅外焦平面陣列(infrared focal plane arrays，IRFPA)廣泛應(yīng)用于紅外跟蹤和制導(dǎo)等領(lǐng)域，但是由于制造工藝和材料特性等方面的原因，各探元的響應(yīng)特性不一致，進(jìn)而引起的非均勻性嚴(yán)重影響了紅外成像的質(zhì)量［1］。為進(jìn)一步提高紅外探測(cè)器的成像質(zhì)量，必須提高非均勻性校正效果。

目前，國(guó)內(nèi)外常用的非均勻校正方法主要有定標(biāo)法和場(chǎng)景法。場(chǎng)景法能夠克服定標(biāo)法校正參數(shù)漂移的缺陷，并且具有自適應(yīng)實(shí)時(shí)校正的優(yōu)點(diǎn)，因此，逐漸成為研究的熱點(diǎn)。國(guó)內(nèi)外研究的場(chǎng)景法主要有:時(shí)域高通濾波法［2］、恒定統(tǒng)計(jì)法［3］、基于圖像配準(zhǔn)的非均勻校正算法［4～6］，以及神經(jīng)網(wǎng)絡(luò)法［7］等。文獻(xiàn)［5］中基于圖像配準(zhǔn)的非均勻校正方法的基本假設(shè)是:1)同一軌跡上探元的輻射響應(yīng)一致;2)同一軌跡上探元的增益和偏置不相關(guān)。上述兩個(gè)假設(shè)的基礎(chǔ)是場(chǎng)景運(yùn)動(dòng)是剛性的，而實(shí)際紅外圖像序列往往存在相對(duì)場(chǎng)景位移的運(yùn)動(dòng)目標(biāo)，運(yùn)動(dòng)目標(biāo)的存在使得場(chǎng)景運(yùn)動(dòng)軌跡上探元的輻射響應(yīng)不滿足上述假設(shè)(1)，這樣該類(lèi)算法的校正效果就大大降低，并且基于上述假設(shè)所進(jìn)行的場(chǎng)景估計(jì)會(huì)將運(yùn)動(dòng)目標(biāo)平均消除，這樣使得校正后的紅外圖像中運(yùn)動(dòng)目標(biāo)模糊甚至丟失。

本文提出含運(yùn)動(dòng)目標(biāo)的紅外圖像非均勻校正算法，首先通過(guò)幀間配準(zhǔn)分別得到場(chǎng)景和運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡，然后將前一幀運(yùn)動(dòng)目標(biāo)處的響應(yīng)替換為當(dāng)前幀對(duì)應(yīng)背景位置處的響應(yīng)，進(jìn)行非均勻校正，在校正結(jié)果中對(duì)各幀運(yùn)動(dòng)目標(biāo)進(jìn)行校正，最終得到全圖校正幀。仿真和實(shí)測(cè)場(chǎng)景實(shí)驗(yàn)表明:算法能夠大大提高校正效果，并且能夠很好地保留運(yùn)動(dòng)目標(biāo)的輻射信息。

1 基于圖像配準(zhǔn)的非均勻校正方法

就一般動(dòng)態(tài)范圍內(nèi)使用的IRFPA 而言，其響應(yīng)模型一般采用線性響應(yīng)模型為

其中，Yi(j)為觀測(cè)輸出值，Xi(j)為探元接收到的輻照度，a(j)為探元的增益，b(j)為探元的偏置，i=1，2，…，N 為幀計(jì)數(shù)，j=1，2，…，M 為探元計(jì)數(shù)。

基于圖像配準(zhǔn)的非均勻校正方法的流程如圖1 所示。

首先通過(guò)圖像配準(zhǔn)獲得場(chǎng)景運(yùn)動(dòng)軌跡，然后以同一軌跡上的場(chǎng)景響應(yīng)均值作為該處的場(chǎng)景估計(jì)，利用式(1)建立響應(yīng)方程組，通過(guò)最小二乘擬合得到增益和偏置估計(jì)，進(jìn)而求得校正幀。為描述幀間像素的軌跡跟蹤，第k 幀時(shí)用ti，j，k表示Xi(j)運(yùn)動(dòng)到的空間索引，即

不失一般性，假設(shè)增益均值為1，偏置均值為0，Xi(j)的估計(jì)由同一軌跡上觀測(cè)值Yi(j)的抽樣均值給出

記Xi(j)的估計(jì)誤差為ηi(j)，則式(1)可寫(xiě)成

故而上述方程組的增益和偏置的最小二乘估計(jì)為

其中

求得增益和偏置校正系數(shù)的最小二乘估計(jì)后即可求得相應(yīng)的校正幀

2 含運(yùn)動(dòng)目標(biāo)的紅外圖像非均勻校正算法

運(yùn)動(dòng)目標(biāo)的存在使得式(3)不能成立，故而處于運(yùn)動(dòng)目標(biāo)軌跡上的場(chǎng)景估計(jì)不合理，進(jìn)而使得求得的估計(jì)參數(shù)不合理。本文提出一種假設(shè)，即在相鄰多幀之內(nèi)運(yùn)動(dòng)目標(biāo)的輻射特性不變?；诖朔N假設(shè)，提出含運(yùn)動(dòng)目標(biāo)的紅外圖像非均勻校正算法，流程圖如圖2 所示。

圖2 含運(yùn)動(dòng)目標(biāo)的紅外圖像非均勻校正算法流程圖Fig 2 Flowchart of nonuniformity correction algorithm for infrared image with moving objects

以線型目標(biāo)為例，首先進(jìn)行幀間配準(zhǔn)，得到場(chǎng)景的運(yùn)動(dòng)軌跡;通過(guò)幀間配準(zhǔn)同時(shí)也可獲得運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡，記第i 幀的運(yùn)動(dòng)目標(biāo)的響應(yīng)值為Oi(li)，li表示線目標(biāo)第l 個(gè)像素在第i 幀的探元位置，l=1，2，3，…，L，其中，L 為線目標(biāo)在焦平面上所占的像元數(shù);然后進(jìn)行運(yùn)動(dòng)目標(biāo)替換，記第n－1 幀到第n 幀運(yùn)動(dòng)目標(biāo)相對(duì)于場(chǎng)景位移dn，在前一幀被運(yùn)動(dòng)目標(biāo)遮擋的場(chǎng)景在當(dāng)前幀未被遮擋，基于上文的假設(shè)，可將前一幀運(yùn)動(dòng)目標(biāo)處的響應(yīng)替換為當(dāng)前幀對(duì)應(yīng)空間位置處的響應(yīng)，替換公式為

運(yùn)動(dòng)目標(biāo)如圖3 所示。

圖3 運(yùn)動(dòng)目標(biāo)示意圖Fig 3 Diagram of moving objects

圖3 中，○，□，△表示場(chǎng)景，×表示運(yùn)動(dòng)目標(biāo)，根據(jù)替換式(7)可以得到第n－1 幀中被遮擋的3#，8#，13#像元的替換具體化為On－1(3)=Yn(5－1)=Yn(4)，On－1(8)=Yn(10－1)=Yn(9)和On－1(13)=Yn(15－1)=Yn(14)。

考慮到幀間配準(zhǔn)得到的運(yùn)動(dòng)目標(biāo)可能存在形變，故幀間運(yùn)動(dòng)目標(biāo)的替換范圍可以以其重心為基準(zhǔn)向周?chē)m當(dāng)擴(kuò)展(擴(kuò)展范圍視不同類(lèi)型目標(biāo)而不同)。

將幀間運(yùn)動(dòng)目標(biāo)替換之后得到的紅外序列圖像按照第1 節(jié)中所述方法進(jìn)行非均勻校正，得到場(chǎng)景校正幀。最后，由于當(dāng)前幀之前的所有幀的校正都未使用到運(yùn)動(dòng)目標(biāo)的輻射信息，故本文還提出需要對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行校正處理，利用之前得到的運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡提取出運(yùn)動(dòng)目標(biāo)，如圖3所示，分別記○，□，△的響應(yīng)為)和。對(duì)第n－2 幀中的1#探元進(jìn)行校正，建立如下方程組

將式(8)和式(9)帶入式(5)得到增益和偏置校正系數(shù)的最小二乘估計(jì)，即可求得校正后的響應(yīng)同理，可以實(shí)現(xiàn)對(duì)各幀的運(yùn)動(dòng)目標(biāo)的校正。

綜上所述，本文算法的具體處理步驟為:

1)進(jìn)行幀間配準(zhǔn)，獲得場(chǎng)景的運(yùn)動(dòng)軌跡和運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡;

2)進(jìn)行運(yùn)動(dòng)目標(biāo)替換，得到無(wú)運(yùn)動(dòng)目標(biāo)的序列圖像;

3)對(duì)第2 步得到的序列圖像按照第1 節(jié)所述的方法進(jìn)行處理，利用得到的增益和偏置校正系數(shù)對(duì)原始序列圖像進(jìn)行校正得到場(chǎng)景校正幀;

4)利用第1 步得到的運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡結(jié)合第3 步得到的結(jié)果對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行非均勻校正得到全圖校正幀。

3 實(shí)驗(yàn)與分析

3.1 模擬紅外序列圖像實(shí)驗(yàn)

采用規(guī)格為128×128 的模擬紅外序列圖像，圖中添加均值為0，標(biāo)準(zhǔn)差為0.01 的高斯噪聲，如圖4 所示，

圖4 模擬紅外序列圖像Fig 4 Simulation of infrared sequences images

圖中模擬運(yùn)動(dòng)目標(biāo)相對(duì)于場(chǎng)景每幀位移1 個(gè)像素，分別采用文獻(xiàn)［5］算法和本文算法進(jìn)行非均勻校正，為客觀評(píng)價(jià)校正效果，定義均方誤差(mean square error，MSE)，計(jì)算公式如下

其中，i 和j 分別為探元的橫坐標(biāo)和縱坐標(biāo)，M 和N 分別為探測(cè)器橫向和縱向最大探元數(shù)，Y(i，j)為原始圖像，^Y(i，j)為校正后的圖像。使用文獻(xiàn)［5］算法和本文算法進(jìn)行非均勻校正。不同算法校正后的MSE 如下圖5 所示，

圖5 不同算法校正后MSE 對(duì)比圖Fig 5 Comparison curve of MSE of different algorithms after correction

從圖5 可知，本文算法對(duì)于含運(yùn)動(dòng)目標(biāo)的紅外序列圖像的校正效果明顯優(yōu)于文獻(xiàn)［5］中基于圖像配準(zhǔn)的非均勻校正算法的校正效果。此外，在進(jìn)行運(yùn)動(dòng)目標(biāo)校正之后的效果也優(yōu)于未進(jìn)行運(yùn)動(dòng)目標(biāo)的校正效果，這是由于本文算法在進(jìn)行運(yùn)動(dòng)目標(biāo)替換非均勻校正之后，再利用運(yùn)動(dòng)目標(biāo)的輻射信息對(duì)每幀的運(yùn)動(dòng)目標(biāo)進(jìn)行校正，這樣就充分利用到了紅外序列圖像的輻射信息，從而提高了校正效果。

3.2 實(shí)測(cè)紅外序列圖像實(shí)驗(yàn)

采用美國(guó)空軍實(shí)驗(yàn)室公開(kāi)的規(guī)格為128×128 陣列的InSb IRFPA 多功能光電傳感器采集的紅外序列圖像［5］，截取24 幀進(jìn)行非均勻校正，如圖6 所示。

圖6 實(shí)測(cè)紅外圖像Fig 6 True infrared images

圖6 的公路中有一輛運(yùn)動(dòng)小車(chē)，分車(chē)頂、車(chē)身和車(chē)頭3 部分，約占20 個(gè)像素，小車(chē)在場(chǎng)景中快速運(yùn)動(dòng)。分別使用文獻(xiàn)［5］算法和本文算法進(jìn)行校正處理，校正效果如圖7所示。

圖7 不同算法校正效果對(duì)比圖Fig 7 Correction effect comparison diagrams of different algorithms

從圖中可以看出:就整體校正效果而言，文獻(xiàn)［5］算法和本文算法的校正效果基本一樣，因?yàn)檫\(yùn)動(dòng)小車(chē)對(duì)于整個(gè)場(chǎng)景的影響范圍只限于其軌跡所在的那條公路上。圖7(a)中沒(méi)有運(yùn)動(dòng)小車(chē)，這是由于文獻(xiàn)［5］算法在進(jìn)行場(chǎng)景估計(jì)時(shí)將運(yùn)動(dòng)小車(chē)的響應(yīng)與其軌跡所在公路的響應(yīng)進(jìn)行平均，從而消除了運(yùn)動(dòng)小車(chē)，這樣各幀都均攤了運(yùn)動(dòng)小車(chē)的輻射響應(yīng)，從而使得運(yùn)動(dòng)小車(chē)被淹沒(méi)。圖7(b)中保留了運(yùn)動(dòng)小車(chē)，由于只是進(jìn)行運(yùn)動(dòng)目標(biāo)替換，各幀進(jìn)行校正的時(shí)候小車(chē)處的校正參數(shù)是由其運(yùn)動(dòng)軌跡所在公路的輻射信息求得的，這樣校正結(jié)果中小車(chē)的輻射信息缺失，進(jìn)而造成小車(chē)的成像模糊。從圖7(c)中可以看出小車(chē)的3 個(gè)部分的輻射信息能夠明顯區(qū)分開(kāi)來(lái)，表明本文算法相較于傳統(tǒng)的基于圖像配準(zhǔn)的非均勻校正算法具有明顯的優(yōu)勢(shì)。

4 結(jié)束語(yǔ)

本文詳細(xì)闡述了含運(yùn)動(dòng)目標(biāo)的紅外圖像非均勻校正算法的理論基礎(chǔ)和工作原理，該算法很好地解決了傳統(tǒng)的基于圖像配準(zhǔn)非均勻校正算法對(duì)于運(yùn)動(dòng)目標(biāo)校正精度低，甚至丟失目標(biāo)信息的問(wèn)題，提高了此類(lèi)算法的校正效果。最后通過(guò)仿真和實(shí)測(cè)紅外圖像校正實(shí)驗(yàn)證明:本文算法能夠有效抑制運(yùn)動(dòng)目標(biāo)帶來(lái)的影響，并且提高運(yùn)動(dòng)目標(biāo)的成像質(zhì)量。

［1］ 徐田華，張小軍，趙亦工.基于圖像分割和配準(zhǔn)的紅外焦平面陣列非均勻校正算法［J］.紅外技術(shù)，2004，26(3):5－10.

［2］ Narendra P M.Reference-free nonuniformity compensation for IR imaging arrays［C］∥Proceedings of SPIE，1980:10－17.

［3］ Harris John G，Chiang Yuming.Nonuniformity correction using the constant-statistics constrain:Analog and digital implementations［C］∥Proceedings of the SPIE，1997:895－905.

［4］ Hardie R C，Hayat M M，Armstrong E E，et al.Scene-based nonuniformity correction with video sequences and registration［J］.Applied Optics，2000，39(8):11241－1250.

［5］ 季爾優(yōu)，顧國(guó)華，柏連發(fā)，等.前景重配準(zhǔn)的改進(jìn)幀間誤差最小化非均勻性校正算法［J］.紅外與激光工程，2014，43(5):1672－1678.

［6］ Ren Jianle，Chen Qian，Qian Weixian，et al.Multiframe registration based adaptive nonuniformity correction algorithm for infrared focal plan arrays［J］.Infrared Millim Waves，2014，33(2):122－128.

［7］ Scribner D A，Sarkady K A，Caufield J T，et al.Nonuniformity correction for staring IR focal plan arrays using scene-based techniques［C］∥Proceeding of SPIE，1990:224－233.