紅外和可見光圖像快速融合算法研究*

張振杰 李 巖 石 敏 賈 麗

（中國人民解放軍91977部隊 北京 100036）

1 引言

紅外和可見光圖像融合是多傳感器信息融合研究的重要方向，是圖像處理、計算機(jī)視覺、人工智能等領(lǐng)域要解決的重要問題。圖像融合是一種增強(qiáng)技術(shù)，對同一場景下不同傳感器獲取的圖像進(jìn)行處理，獲得一幅信息更豐富的圖像，便于后續(xù)處理和輔助決策。紅外圖像能夠通過物體的紅外輻射差異實現(xiàn)目標(biāo)的檢測，能夠全天候全天時工，但清晰度和空間分辨率低，場景細(xì)節(jié)獲取能力差；而可見光圖像具有較高的空間分辨率和豐富的場景細(xì)節(jié)信息[1]。紅外和可見光融合圖像既可保留目標(biāo)場景細(xì)節(jié)信息，又能凸顯目標(biāo)，廣泛應(yīng)用于偵察監(jiān)測、目標(biāo)識別和目標(biāo)跟蹤等領(lǐng)域。

紅外和可見光影像常用的融合方法是基于變換域，該方法的基本步驟是將圖像變化到特定的圖像表示域，然后利用融合規(guī)則對圖像表示系數(shù)進(jìn)行融合，最后利用逆變換得到融合圖像。主要算法有小波變換[2]、contourlet變換[3～4]、稀疏表示（SR）[5]等。

在現(xiàn)有算法研究的基礎(chǔ)上，本文提出了一種紅外和可見光圖像快速融合算法。相較于現(xiàn)有算法，提出的算法有更好的融合效果，同時提高了融合效率，拓展了融合算法的應(yīng)用范圍。

2 提出的圖像融合算法

本文針對紅外和可見光圖像融合問題，提出了一種基于顯著性檢測和雙尺度圖像分解的快速融合算法。首先基于視覺顯著性檢測算法將原始圖像分解為顯著性部分和冗余部分，利用雙尺度圖像分解算法將原始圖像分解為基礎(chǔ)層和細(xì)節(jié)層；接著通過雙尺度圖像分解算法將顯著性部分進(jìn)一步分解為基礎(chǔ)層和細(xì)節(jié)層；通過融合策略對原始圖像的顯著部分和細(xì)節(jié)層分別進(jìn)行融合處理，最終得到紅外和可見光圖像的融合圖像。

2.1 基于譜殘差的視覺顯著性檢測

基于譜殘差[6]的視覺顯著性檢測是基于空間頻域分析的方法，算法實現(xiàn)過程如式（1）所示，首先對圖像進(jìn)行傅里葉變換，得到幅值譜和相位譜，然后計算幅值譜的對數(shù)譜，進(jìn)而計算得到譜殘差，最后對譜殘差進(jìn)行傅里葉逆變換得到顯著圖。該算法與圖像中的目標(biāo)特征、種類和其他先驗知識無關(guān)，算法適用性強(qiáng)；算法簡單，實時性好。

其中，I(x)為空間域圖像，A(f)為幅度譜，P(f)為相位譜，L(f)為對數(shù)譜，hn(f)為均值濾波器，R(f)為譜殘差，g(x)為高斯濾波器。

2.2 雙尺度圖像分解

雙尺度圖像分解[7]可以將原始圖像I分解為基礎(chǔ)層Ib和細(xì)節(jié)層Id，即I=Ib+Id。其中，基礎(chǔ)層Ib包含了圖像的大部分信息，細(xì)節(jié)層Id為圖像的局部結(jié)構(gòu)信息。

基礎(chǔ)層可通過解算式的優(yōu)化問題得到：

其中，I為原始圖像，Ib為分解后的基礎(chǔ)層，gx=[-1 1]，gy=[-1 1]T，η為正則項參數(shù)。

從原始圖像I分解得到基本層Ib后，根據(jù)式（2）進(jìn)而可以得到細(xì)節(jié)層Id=I-Ib。

2.3 圖像融合

圖像融合可分為分解、融合策略和重構(gòu)三個過程。圖像分解是基于顯著性檢測和雙尺度分解將原始圖像分解為不同部分；融合策略分為局部信息融合和全局信息融合；將兩部分融合結(jié)果通過重構(gòu)得到最終的融合圖像。

1）圖像分解

對紅外圖像I1通過顯著性檢測得到顯著部分I1_s和冗余部分I1_r，結(jié)果如圖1所示；對可見光圖像I2通過顯著性檢測得到顯著部分I2_s和冗余部分I2_r，結(jié)果如圖2所示。

圖1 基于顯著性檢測的紅外圖像分解

圖2 基于顯著性檢測的可見光圖像分解

對紅外圖像I1通過雙尺度分解處理后得到基礎(chǔ)層和細(xì)節(jié)層，結(jié)果如圖3所示；對可見光圖像I2通過雙尺度分解處理后得到基礎(chǔ)層和細(xì)節(jié)層，結(jié)果如圖4所示。

圖3 基于雙尺度分解的紅外圖像分解

圖4 基于雙尺度分解的可見光圖像分解

對顯著圖I1_s和I2_s再次進(jìn)行雙尺度分解，得到，以及。

2）融合策略

融合策略可分為局部信息融合和全局信息融合。

局部信息的融合是對原始圖像的顯著部分和細(xì)節(jié)層的融合，融合策略如式（3）所示，融合結(jié)果如圖5（b）所示。

圖5 圖像重構(gòu)

全局信息的融合是對原始圖像的基礎(chǔ)層的融合，包含了原始圖像的大部分信息，融合策略如式（4）所示，融合結(jié)果如圖5（a）所示。

其中，w1和w2是權(quán)值參數(shù)，這里取0.5。

3）圖像重構(gòu)

將局部信息和全局信息進(jìn)行重構(gòu)，可得到最終融合圖像F，如式（5）所示，融合結(jié)果如圖5（c）所示。

3 實驗與分析

實驗所用的數(shù)據(jù)為21組不同環(huán)境條件下、不同分辨率、經(jīng)過嚴(yán)格配準(zhǔn)的紅外和可見光圖像，如圖6所示。

圖6 紅外和可見光圖像對

在算法性能上，比較了以下三種算法。

1）CSR[8]，基于卷積稀疏表示的圖像融合算法；

2）LatLRR[9]，Li提出基于 LatLRR的圖像融合算法；

3）Proposed method，本文提出的圖像融合算法。

算法的運行環(huán)境：Matlab R2017a，3.2 GHz Intel（R）Core（TM）CPU ，8 GB RAM。

對21組紅外和可見光圖像，分別采用CSR算法、Li提出的算法和文中提出的算法進(jìn)行融合處理。其中一組圖像的處理結(jié)果如圖7所示，圖中（a）～（c）分別為不同算法處理的融合圖像。

圖7 不同算法的圖像融合結(jié)果

為了進(jìn)一步驗證本文中提出算法的有效性，客觀地評價不同算法的融合結(jié)果，實驗中選取了四個圖像融合質(zhì)量評價指標(biāo)作為量化評判標(biāo)準(zhǔn)。這四個指標(biāo)分別為 Qabf[10]、Nabf[11]、SCD[12]和SSIMa[9]，Qabf、Nabf表示。對于這四個指標(biāo)，Qabf、SCD和SSIMa的值越大，Nabf越小，圖像融合效果越好。不同算法的圖像融合質(zhì)量評價指標(biāo)值如圖8所示，指標(biāo)均值如表1所示，不同算法的時間如圖9所示。

圖8 不同算法的圖像融合質(zhì)量評價指標(biāo)值對比

圖9 不同算法的時間對比

表1 不同算法的指標(biāo)參數(shù)均值對比

綜合實驗結(jié)果，可以得到以下結(jié)論。提出的算法Nabf、SCD和SSIMa指標(biāo)參數(shù)均優(yōu)于其他算法，提出的算法不僅有較好的融合效果，算法效率也得到大大提高，顯著優(yōu)于其他算法，能夠應(yīng)用于對實時性要求較高的場合。

4 結(jié)語

本文針對紅外和可見光圖像融合問題，提出了一種基于顯著性檢測和雙尺度圖像分解的快速融合算法。實驗結(jié)果表明提出的算法在融合效果方面優(yōu)于比較的算法，同時算法效率得到有效提高，能夠應(yīng)用于目標(biāo)跟蹤等實時性要求較高的場合。