基于圖像配準(zhǔn)的非均勻性校正算法

李成立,呂俊偉,劉 亮,王佩飛

(海軍航空大學(xué),山東 煙臺(tái) 264001)

1 引 言

紅外成像系統(tǒng)因?yàn)樾旁氡雀?、探測(cè)能力強(qiáng)以及結(jié)構(gòu)簡(jiǎn)單等因素,被廣泛應(yīng)用到紅外制導(dǎo)導(dǎo)彈和紅外光電載荷上。但由于焦平面陣列各個(gè)探測(cè)單元的響應(yīng)存在非均勻性,所以在相同輻射條件下會(huì)產(chǎn)生固定圖案噪聲,嚴(yán)重影響紅外成像的質(zhì)量[1]。而且,當(dāng)溫度或者其他環(huán)境條件改變時(shí),剩余非均勻性會(huì)隨著時(shí)間發(fā)生緩慢的漂移[2]。所以在紅外制導(dǎo)導(dǎo)彈和紅外光電載荷使用之前要先對(duì)其成像系統(tǒng)進(jìn)行非均勻性校正(nonuniformity correction,NUC)。

基于場(chǎng)景的非均勻性校正可以解決時(shí)間漂移的問題[3],但當(dāng)場(chǎng)景保持靜止或者幀間位移不足時(shí),會(huì)把場(chǎng)景當(dāng)作非均勻性噪聲進(jìn)行校正,當(dāng)場(chǎng)景再次運(yùn)動(dòng)時(shí),圖像上就會(huì)產(chǎn)生“鬼影”。文獻(xiàn)[4]中指出對(duì)圖像邊緣像素估計(jì)不準(zhǔn)確是“鬼影”產(chǎn)生的原因,并根據(jù)該分析提出基于邊緣信息指導(dǎo)的自適應(yīng)非均勻性校正算法(edge directed neural network nonuniformity correction,ED-NN-NUC),但該方法依賴對(duì)邊緣提取的準(zhǔn)確性。文獻(xiàn)[5]中提出的空域低通時(shí)域高通算法(space low-pass and temporal high-pass filter,SLTH),只對(duì)圖像高頻部分進(jìn)行處理,降低了低頻部分場(chǎng)景信息對(duì)校正系數(shù)的影響,有效地抑制了“鬼影”。但是算法對(duì)邊緣和非均勻性噪聲的區(qū)分依賴于閾值的大小。文獻(xiàn)[6]中提出基于雙邊濾波器的時(shí)域高通濾波算法(bilateral filter-based temporal high-pass filter,BFTH),對(duì)“鬼影”的抑制效果較為明顯,但當(dāng)場(chǎng)景中出現(xiàn)運(yùn)動(dòng)速度較慢的高亮度區(qū)域時(shí),校正系數(shù)會(huì)出現(xiàn)錯(cuò)誤的更新,使得“鬼影”現(xiàn)象依然存在,降低了算法的校正精度。

基于相鄰兩幀紅外圖像之間差別較小,結(jié)合幀間配準(zhǔn)技術(shù),本文提出了一種基于圖像配準(zhǔn)的非均勻性校正算法。與高通濾波類算法相比,本文算法得到的殘差圖像更好地消除圖像中的場(chǎng)景信息,取得更好的非均勻性校正效果,對(duì)“鬼影”現(xiàn)象產(chǎn)生很好的抑制作用。

2 高通濾波類算法及其存在問題

在時(shí)間域上,非均勻性噪聲屬于低頻成分,而場(chǎng)景屬于高頻成分。時(shí)域高通濾波算法(temporal high pass filtering,THPF)通過濾除圖像中的低頻成分,從而實(shí)現(xiàn)非均勻校正,整個(gè)過程可以看做一個(gè)時(shí)域上的高通濾波,即:

Yn=Xn-fn

(1)

(2)

式中,Xn表示第n幀非均勻圖像;Yn為校正輸出,fn為校正系數(shù);是第n幀的低通輸出;M是預(yù)先設(shè)定的時(shí)間常數(shù)。THPF算法容易實(shí)現(xiàn),其不足之處在于場(chǎng)景存在連續(xù)多幀靜止或者高亮度區(qū)域時(shí)會(huì)影響校正效果,產(chǎn)生“鬼影”現(xiàn)象。

ZUO在文獻(xiàn)[6]中采用雙邊濾波器進(jìn)行圖像預(yù)處理。雙邊濾波器在處理圖像時(shí)具有更好的去噪保邊效果。其算法可表述為：

Yn=Xn-fn

(3)

(4)

(5)

圖1 圖像分離結(jié)果Fig.1 Image separation result

3 基于圖像配準(zhǔn)的非均勻性校正算法

3.1 本文算法描述

在計(jì)算校正系數(shù)fn的過程中,剩余邊緣及高亮度部分會(huì)通過與已有的校正系數(shù)fn-1進(jìn)行加權(quán)平均而得到衰減,但是并不能做到完全消除。圖1(c)為BFTH算法得到的校正系數(shù)fn,身體邊緣和高亮區(qū)域得到了很大的抑制,但是仍有殘余,這些殘留的信息會(huì)在校正后的圖像上形成“鬼影”?？梢钥闯?高通濾波類算法產(chǎn)生“鬼影”現(xiàn)象是由于大量不相關(guān)的場(chǎng)景信息的存在所導(dǎo)致的,為了克服高通濾波類算法存在的缺陷,本文提出一種基于圖像配準(zhǔn)的非均勻性校正算法,算法流程如圖2所示。

圖2 本文算法流程圖Fig.2 Block diagram of the proposed algorithm

算法步驟如下：

圖3 前后兩幀重疊區(qū)域示意圖Fig.3 Overlapped area of two frames

(4)利用式(7)對(duì)fn進(jìn)行迭代更新。

(5)利用式(6)校正當(dāng)前幀Xn,得到Y(jié)n。

算法可表述為：

Yn=Xn-fn

(6)

(7)

(8)

3.2 初值的選擇

(9)

用均方根誤差RMSE對(duì)各種濾波算法的效果進(jìn)行衡量,X1經(jīng)三種濾波器濾波后的RMSE如表1所示。

表1 首幀圖像濾波后的RMSETab.1 RMSE of first filtered frame

從表1中可以看出,當(dāng)采用三邊濾波器時(shí)得到的殘差圖像的RMSE最低,校正效果最理想。所以算法在實(shí)現(xiàn)時(shí),初值f1設(shè)置為三邊濾波器得到的殘差圖像。

3.3 M的選擇

在式(7)中,1/M表示的是校正系數(shù)fn的更新速率。隨著M取值的增大,fn受當(dāng)前幀的影響減小,更新速率變慢。將M設(shè)置為20、50、100、200四種情況,并計(jì)算校正結(jié)果的RMSE,以便考察其對(duì)算法收斂速率和校正能力的影響。將得到的RMSE曲線顯示在圖4中。

圖4 不同M值時(shí)校正結(jié)果的RMSEFig.4 RMSE of the correction results with different M

從圖中可以看出,當(dāng)M取值為10時(shí),雖然曲線收斂的最快,但是收斂后一直處于振蕩狀態(tài)中,校正效果不穩(wěn)定。隨著M取值的增大,曲線收斂速度逐漸變慢,但是曲線收斂后,校正效果趨于穩(wěn)定。在50、100、200三個(gè)值中,當(dāng)M取值為50時(shí),校正結(jié)果的RMSE最小,算法收斂速度也最快。所以在算法實(shí)現(xiàn)時(shí),可將M設(shè)置為50。更多的實(shí)驗(yàn)證明,M取值只要在30～60范圍內(nèi),算法都可以取得較快的收斂速度和較穩(wěn)定的校正效果。

4 校正實(shí)驗(yàn)及其結(jié)果分析

為了驗(yàn)證本文算法的校正效果,利用一段真實(shí)拍攝的帶有非均勻性的紅外視頻進(jìn)行測(cè)試。視頻使用1161型長(zhǎng)波非制冷熱像儀在關(guān)掉非均勻性校正的情況下拍攝,幀頻為30 f/s。序列1內(nèi)容為近距離拍攝的人在室內(nèi)行走的視頻,共有450幀。序列2內(nèi)容為在公路上的行駛汽車的視頻序列,共有350幀,分別用SLTH算法、BFTH算法和本文算法對(duì)視頻序列進(jìn)行非均勻性校正。校正時(shí),將M設(shè)置為50。

4.1 序列1的實(shí)驗(yàn)驗(yàn)證

為了直觀地顯示算法的校正結(jié)果,以視頻序列中的第238幀圖像為例,將其校正系數(shù)及校正結(jié)果進(jìn)行顯示。在第238幀中出現(xiàn)的人體目標(biāo)運(yùn)動(dòng)速度較小,導(dǎo)致其臉部區(qū)域在連續(xù)多幀中表現(xiàn)為高亮度區(qū)域。這些區(qū)域在更新校正系數(shù)時(shí)貢獻(xiàn)較大,所以在SLTH算法和BFTH算法生成的校正系數(shù)中包含一部分高亮度信息。另外由于身體邊緣部分在空域上表現(xiàn)為高頻,所以無論是SLTH算法還是BFTH算法,都不可能將邊緣對(duì)校正系數(shù)的影響完全消除。如圖5(a)(c)所示,在人的臉部有一片區(qū)域灰度值明顯偏高,而且殘留了身體的邊緣信息,最終在對(duì)應(yīng)的校正圖像上人的頭部和身體邊緣右方出現(xiàn)了亮度較低的鬼影,如圖5(b)(d)所示。本文對(duì)場(chǎng)景信息進(jìn)行配準(zhǔn)刪除,消除了場(chǎng)景信息對(duì)非均勻性校正的影響,本文得到的校正系數(shù)和校正結(jié)果如圖5(e)(f)所示,其校正結(jié)果中“鬼影”現(xiàn)象得到很好地抑制。

圖5 不同校正算法得到的校正系數(shù)及結(jié)果Fig.5 fn and results obtained with different algorithms

在處理真實(shí)的非均勻性圖像時(shí),一般來說不可能獲得理想的圖像來對(duì)校正算法進(jìn)行對(duì)比驗(yàn)證,也不可能得到均方根誤差RMSE。此時(shí),可用粗糙度[10]ρ來對(duì)非均勻性進(jìn)行衡量。粗糙度計(jì)算公式為：

(10)

式中,h1、h2為水平和垂直方向的差分濾波器;I為待分析圖像;‖f‖1表示f的l1范數(shù);*表示離散卷積。ρ的值越小,表示非均勻性程度越弱。ρ的值越大,表示非均勻性程度越強(qiáng)。

圖6 序列1校正后圖像的粗糙度曲線Fig.6 Roughness of sequences 1 corrected by three algorithms

統(tǒng)計(jì)序列1經(jīng)三種算法校正之后結(jié)果圖像的粗糙度,做出曲線如圖6所示。經(jīng)本文算法校正后的圖像的粗糙度曲線最低,即本文算法在此場(chǎng)景下校正效果良好,可以有效的去除場(chǎng)景中的非均勻性。

表2顯示了三種算法得到的450幀校正后圖像所有的平均粗糙度、總處理時(shí)間及處理速度。根據(jù)表2可知,本文算法校正結(jié)果的平均粗糙度是SLTH的78%,處理速度是BFTH算法的1.63倍。所以從校正效果和處理速度兩方面綜合考慮,本文算法要優(yōu)于SLTH和BFTH兩種算法。

表2 三種算法校正能力比較Tab.2 Comparison of the correction ability of three algorithms

4.2 序列2的實(shí)驗(yàn)驗(yàn)證

以視頻序列2中的第100幀非均勻性圖像為例,如圖7(a)所示,分別利用SLTH、BFTH和本文算法對(duì)其進(jìn)行非均勻性校正,校正結(jié)果圖像如圖7(b)(c)(d)所示?？梢钥闯?本文算法在此種場(chǎng)景下校正效果良好,非均勻性噪聲得到了很好的校正。

圖7 不同校正算法得到的校正結(jié)果Fig.7 Results obtained with different algorithms

統(tǒng)計(jì)序列2經(jīng)三種算法校正之后結(jié)果圖像的粗糙度,做出曲線如圖8所示。經(jīng)本文算法校正后的圖像的粗糙度曲線最低,即本文算法在此場(chǎng)景下校正效果良好,可以有效去除場(chǎng)景中的非均勻性。

圖8 序列2校正后圖像的粗糙度曲線Fig.8 Roughness of sequences 2 corrected by three algorithms

5 結(jié) 論

本文針對(duì)高通濾波類算法的缺陷,結(jié)合幀間配準(zhǔn)技術(shù),提出了一種基于圖像配準(zhǔn)的非均勻性校正新算法。與在SLTH算法和BFTH算法中利用經(jīng)過濾波器濾波后得到的殘差圖像迭代更新校正系數(shù)相比,本文算法得到的殘差圖像能更好地消除了圖像中的場(chǎng)景信息,有效的抑制了“鬼影”現(xiàn)象,取得更好的校正效果。

參考文獻(xiàn)：

[1] SHI Haoran,LI Zhaolong,SHEN Tongsheng.Research on nonuniformity correction of inf-rared focal plane array[J].Laser & Infrared,2016,46(2):204-208.(in Chinese)

史浩然,李召龍,沈同圣.紅外焦平面陣列非均勻性的校正方法研究[J].激光與紅外,2016,46(2):204-208.

[2] REN Jianle,CHEN Qian,QIAN Weixian,et al.Multiframe registration based adaptive non-uniformity correction algorithm for infrared focal plane arrays[J].J.Infrared Millim.Waves,2014,33(2):122-128.

[3] LI Zhaolong,HAN Yulong.Blind pixel detection and correction of IR imaging based on scene[J].Laser & Infrared,2017,47(4):465-469.(in Chinese)

李召龍,韓玉龍.基于場(chǎng)景的紅外成像系統(tǒng)盲元檢測(cè)及校正[J].激光與紅外,2017,47(4):465-469.

[4] Zhang Tianxu,Shi Yan.Edge-directed adaptive nonuniformity correction for staring infrared focal plane arrays[J].Optical Engineering,2006,45(1):016402.

[5] Qian Weixian,Chen Qian,Gu Guohua.Space low-pass and temporal high-pass nonunifor-mity correction algorithm[J].Optical Review,2010,17(1):24-29.

[6] Zuo Chao,Chen Qian,Gu Guohua,et al.New temporal high-pass filter nonuniformity corre-ction based on bilateral filter [J].Optical Re-view,2011,18(2):197-202.

[7] LIU N,QIU H.A time-domain projection-based registration-scene-based nonuniformity correction technology and its detailed hardw-are realization[J].Optical Review,2014,21(1):17-26.

[8] YU Shikong,Xiang Wei,Zhao Yaohong,et al.An adaptive nonuniformity correction algorithm for infrared focal plane array[J].Journal of Computer-Aided Design & Computer Graphics,2016,28(1):138-145.(in Chinese)

于世孔,向偉,趙耀宏,等.一種自適應(yīng)非均勻性校正算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2016,28(1):138-145.

[9] LI Jia,QIN Hanlin,YAN Xiang,et al.Temporal- spatial nonlinear filter based non-uniformity correction method for IR image sequence[J].Acta Photonica Sinica,2015,44(4):0410001-0410001-5.(in Chinese)

李佳,秦翰林,延翔,等.時(shí)空域非線性濾波紅外序列圖像非均勻性校正[J].光子學(xué)報(bào),2015,44(4):0410001-1-0410001-5.

[10] LI Zhaolong,SHEN Tongsheng,LOU Shu li.Scene-based nonuniformity correction based on bilateral filter with reduced ghosting[J].Infrared Physics & Technology,2016,77:360-365.