基于分割增強(qiáng)與顯著性檢測(cè)的紅外可見(jiàn)光圖像融合

摘" 要： 為保留原紅外與可見(jiàn)光圖像中更多的細(xì)節(jié)信息，解決紅外與可見(jiàn)光圖像融合過(guò)程中小目標(biāo)不清晰、可見(jiàn)光圖像可視性差等問(wèn)題，提出一種將紅外圖像分割與增強(qiáng)可見(jiàn)光圖像與視覺(jué)顯著性檢測(cè)相結(jié)合的融合方法。首先，迭代法將原紅外圖像分割成目標(biāo)區(qū)域和背景區(qū)域，Retinex對(duì)原可見(jiàn)光圖像進(jìn)行強(qiáng)化處理，使其清晰度得到提高；然后，對(duì)紅外背景區(qū)域和增強(qiáng)可見(jiàn)光圖像進(jìn)行二尺度分解得到基礎(chǔ)層和細(xì)節(jié)層，針對(duì)兩個(gè)圖層的不同特點(diǎn)分別采用加權(quán)平均和顯著性檢測(cè)方法進(jìn)行第一層融合，得到的融合基礎(chǔ)層和融合細(xì)節(jié)層進(jìn)行第二層融合；最后，與紅外目標(biāo)區(qū)域進(jìn)行疊加運(yùn)算實(shí)現(xiàn)三層融合，實(shí)驗(yàn)結(jié)果表明，該方法能夠充分挖掘源圖像的有效信息，在小目標(biāo)清晰度方面優(yōu)于其他傳統(tǒng)算法。

關(guān)鍵詞： 圖像融合； 圖像分割； 圖像增強(qiáng)； 迭代閾值； 二尺度分解； 視覺(jué)顯著性

中圖分類號(hào)： TN919.8?34" " " " " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " " " 文章編號(hào)： 1004?373X（2024）11?0038?07

Infrared and visible image fusion based on segmentation enhancement

and saliency detection

YANG Ning， ZHANG Yuhua， LI Aihua， WANG Changlong

（Department of UAV Engineering， Shijiazhuang Campus of Army Engineering University of PLA， Shijiazhuang 050003， China）

Abstract： In order to preserve more details in the original infrared and visible images and improve the sharpness of the small objects and the visible image visibility in the fusion of infrared and visible images， a fusion method of segmenting infrared images and enhancing visible images combined with visual saliency detection is proposed. The original infrared image is segmented into object region and background region with the iterative method， and Retinex is used to enhance the original visible image to improve its sharpness. The infrared background region and the enhanced visible images are subjected to two?scale decomposition to obtain the basic layer and detailed layer. According to the different characteristics of the two layers， the weighted average and saliency detection methods are used to fuse them as the first layer， and the obtained fusion basic layer and fusion detailed layer are fused as the second layer， which is then subjected to superposition operation with infrared object area， so as to realize the three?layer fusion. Experimental results show that the proposed algorithm can fully mine the effective information of the original image and is superior to the other algorithms in terms of small object sharpness.

Keywords： image fusion; image segmentation; image enhancement; iterative threshold; two?scale decomposition; visual saliency

0" 引" 言

圖像融合技術(shù)利用不同圖像傳感器獲得的同一場(chǎng)景的冗余或互補(bǔ)信息合成新圖像，以提供更為明確的目標(biāo)和更豐富的細(xì)節(jié)[1]。其中，紅外和可見(jiàn)光圖像融合是圖像融合領(lǐng)域的重要分支，紅外傳感器能夠根據(jù)圖像的熱目標(biāo)特征捕捉場(chǎng)景中的隱藏目標(biāo)，但對(duì)背景信息的反映不夠；相比之下，可見(jiàn)光圖像可以以符合人類視覺(jué)特點(diǎn)的方式提供可觀的細(xì)節(jié)和明暗度，因此融合的紅外和可見(jiàn)光圖像能夠有效地綜合紅外目標(biāo)特征和可見(jiàn)光紋理細(xì)節(jié)，在軍事偵查、目標(biāo)跟蹤、智能交通等領(lǐng)域得到廣泛應(yīng)用[2?4]。

多尺度變換是圖像融合最常用的方法，包括金字塔變換、離散小波變換、非下采樣輪廓波變換等[5?8]，將原始圖像分解為不同尺度的高頻和低頻圖層，根據(jù)其不同特點(diǎn)采用不同的融合策略進(jìn)行融合，能夠取得良好的融合效果，但特殊條件下，尤其是目標(biāo)隱蔽條件下，融合圖像的目標(biāo)可視性不高。

隨著壓縮感知技術(shù)的興起，基于稀疏表示的方法[9?11]在一定程度上提高了融合圖像的視覺(jué)效果，但其細(xì)節(jié)信息保留能力及捕獲全局能力不足。為有效地提取源圖像的互補(bǔ)信息，文獻(xiàn)[12]提出了一種基于視覺(jué)顯著性的圖像融合方法，但僅使用顯著性檢測(cè)算法，無(wú)法解決融合過(guò)程中微小目標(biāo)不清晰和可見(jiàn)光源圖像對(duì)比度差的問(wèn)題。

針對(duì)上述問(wèn)題，本文提出一種基于分割增強(qiáng)與顯著性檢測(cè)的紅外可見(jiàn)光圖像融合算法。為保證小目標(biāo)在融合圖像中的清晰度，引入迭代閾值法分割出紅外圖像的目標(biāo)區(qū)域，同時(shí)對(duì)可見(jiàn)光圖像進(jìn)行Retinex增強(qiáng)，提高其可視性；二尺度分解得到紅外背景圖像和增強(qiáng)可見(jiàn)光圖像的基礎(chǔ)層和細(xì)節(jié)層，采用不同融合策略對(duì)基礎(chǔ)層和細(xì)節(jié)層進(jìn)行融合；最后加入紅外目標(biāo)區(qū)域，以達(dá)到突出小目標(biāo)，保留更多原始信息的目的。

1" 紅外圖像分割與可見(jiàn)光圖像增強(qiáng)

1.1" 迭代閾值法分割紅外圖像

紅外圖像目標(biāo)區(qū)域與背景具有較強(qiáng)的對(duì)比度，且目標(biāo)區(qū)域內(nèi)部灰度值比較均勻，使用閾值分割法分割目標(biāo)區(qū)域效果較好[13]。閾值分割技術(shù)的關(guān)鍵在于尋找合適的灰度閾值，將圖像的灰度級(jí)分為幾個(gè)部分，屬于同一個(gè)部分的像素是同一物體。其中迭代閾值法是比較有效的分割方法，通過(guò)迭代的方式求出分割的最佳閾值，具有一定的自適應(yīng)性。迭代閾值分割步驟如下：

1） 求出圖像的最大灰度值[Zmax]和最小灰度值[Zmin]，令初始閾值[T0=（Zmax+Zmin）2]；

2） 根據(jù)閾值[T]將圖像分割為前景區(qū)域和背景區(qū)域，分別求出兩者的平均灰度值[Zt]和[Zb]；

3） 求出新閾值[T=（Zt+Zb）2]；

4） 當(dāng)兩個(gè)灰度值[Zt]和[Zb]不再變化（或[T]不再變化），[T]即為閾值，否則轉(zhuǎn)步驟2）繼續(xù)迭代。

輸入三組不同的紅外圖像，分割處理后得到的目標(biāo)圖和背景圖如圖1所示。

1.2" Retinex增強(qiáng)可見(jiàn)光圖像

Retinex算法常用于圖像增強(qiáng)，其核心思想是在保留圖像細(xì)節(jié)信息的基礎(chǔ)上，調(diào)整圖像的對(duì)比度和亮度[14]。

Retinex模型不同于傳統(tǒng)的只能增強(qiáng)圖像某一類特征的方法，其可以在動(dòng)態(tài)范圍壓縮、邊緣增強(qiáng)和顏色恒長(zhǎng)三個(gè)方面達(dá)到平衡，對(duì)底照環(huán)境下可視性差的可見(jiàn)光圖像具有較好的增強(qiáng)效果。

Retinex理論認(rèn)為圖像由反映物體入射分量的照度圖像[P（x，y）]和反映物體反射信息的反射圖像[Q（x，y）]組成：

[I（x，y）=P（x，y）*Q（x，y）] （1）

同時(shí)，由于對(duì)數(shù)形式與人類在感知亮度的過(guò)程中屬性相似，因此將公式（1）轉(zhuǎn)換到對(duì)數(shù)域進(jìn)行處理，即：

[i（x，y）=p（x，y）+q（x，y）] （2）

在Retinex理論中，單尺度Retinex（SSR）是一種基于中心環(huán)繞的算法，其計(jì)算公式為：

[q（x，y）=logQ（x，y）=logI（x，y）-logP（x，y）=logI（x，y）-log[G（x，y）*I（x，y）]] （3）

式中“*”表示輸入圖像與高斯函數(shù)的卷積。

高斯函數(shù)表達(dá)式為：

[G（x，y）=γexp-x2+y22σ2] （4）

標(biāo)準(zhǔn)差[σ]對(duì)圖像增強(qiáng)效果有著顯著影響，[σ]較小時(shí)，增強(qiáng)圖像能夠保持較好的邊緣細(xì)節(jié)，但色彩較差；[σ]較大時(shí)，能夠保持較好的色彩平衡，但圖像細(xì)節(jié)較差，因此選擇合適的[σ]是SSR算法的關(guān)鍵。公式（4）中，[γ]須滿足以下條件：

[G（x，y）dxdy=1] （5）

SSR算法步驟如下：

1） 確定標(biāo)準(zhǔn)差[σ]，根據(jù)公式（5）確定[γ]；

2） 根據(jù)公式（3）求出[q（x，y）]；

3） 將[q（x，y）]由對(duì)數(shù)域轉(zhuǎn)換到實(shí)數(shù)域，得到[Q（x，y）]；

4） 對(duì)輸出圖像進(jìn)行亮度調(diào)整，以增強(qiáng)對(duì)比度和細(xì)節(jié)。

對(duì)于三組不同場(chǎng)景的可見(jiàn)光圖像，增強(qiáng)后的結(jié)果如圖2所示。

2" 融合框架

本文所提融合框架如圖3所示，將增強(qiáng)的可見(jiàn)光圖像和紅外背景圖像分別分解為基礎(chǔ)層和細(xì)節(jié)層，基礎(chǔ)層采用加權(quán)平均融合規(guī)則，細(xì)節(jié)層采用顯著性檢測(cè)融合規(guī)則，獲得的融合基礎(chǔ)層和融合細(xì)節(jié)層與紅外目標(biāo)圖像進(jìn)行重構(gòu)，得到最終的融合圖像。

2.1" 二尺度圖層分解

本文通過(guò)平均濾波器分解出紅外背景圖像[Ir_B]和增強(qiáng)的可見(jiàn)光圖像[h_Iv]的基礎(chǔ)層[Ir_B_b]和[h_Iv_b]：

[Ir_B_b（x，y）=Ir_B（x，y）*ω（x，y）h_Iv_b（x，y）=h_Iv（x，y）*ω（x，y）] （6）

式中：[ω]表示窗口大小為[k1×k1]的平均濾波器；“[*]”表示卷積。根據(jù)基礎(chǔ)層得到紅外背景圖像和增強(qiáng)可見(jiàn)光圖像的細(xì)節(jié)層[Ir_B_d]和[h_Iv_d]：

[Ir_B_d（x，y）=Ir_B（x，y）-Ir_B_b（x，y）h_Iv_d（x，y）=h_Iv（x，y）-h_Iv_b（x，y）] （7）

2.2" 顯著性檢測(cè)融合規(guī)則

視覺(jué)顯著性檢測(cè)[12]具有模擬人類視覺(jué)系統(tǒng)快速定位感興趣目標(biāo)的能力，本文引入這種視覺(jué)注意力機(jī)制以提取圖像中的重要信息。HOU Xiaodi從信息論角度提出了一種基于譜殘差提取圖像顯著信息的方法，由于大量圖像的log振幅譜接近于一條直線，因此可利用圖像的log振幅譜與平均log振幅譜的差值表示圖像的顯著部分，單幅灰度圖像的殘差譜可表示為：

[R（x，y）=In（x，y）-In（x，y）*μ（x，y）] （8）

式中：[In（x，y）]為對(duì)輸入圖像進(jìn)行二維離散傅里葉變換，再對(duì)幅值取對(duì)數(shù)后得到的log譜；[μ]表示窗口大小為[k2×k2]的平均濾波器。最終圖像的空間域顯著性映射可表示為：

[S（x，y）=G（x）*[iFFT（exp（R（x，y）+iA（x，y）））2]] （9）

式中：[S（x，y）]為圖像的顯著圖；[G（x）]為高斯卷積核；[FFT]表示二維離散傅里葉變換；[A（x，y）]表示原圖像的相位譜。

由于紅外和可見(jiàn)光圖像提供同一場(chǎng)景的互補(bǔ)信息，融合過(guò)程中需要將來(lái)自兩幅源圖像的視覺(jué)顯著部分集成到單個(gè)圖像中，因此需要通過(guò)構(gòu)建權(quán)重圖為不同圖像的不同信息分配權(quán)重，達(dá)到融合目標(biāo)。紅外背景區(qū)域的權(quán)重圖[φ1x，y]和增強(qiáng)可見(jiàn)光圖像的權(quán)重圖[φ2x，y]由式（10）給出：

[φ1x，y=S1x，yS1x，y+S2x，yφ2x，y=S2x，yS1x，y+S2x，y] （10）

紅外背景和增強(qiáng)可見(jiàn)光圖像的顯著圖和權(quán)重圖如圖4所示。

與圖像的基礎(chǔ)層信息相比，人類視覺(jué)系統(tǒng)對(duì)圖像的細(xì)節(jié)層信息更為敏感，因此，本文通過(guò)將權(quán)重圖[φ1]和[φ2]分別與細(xì)節(jié)層[Ir_B_d]和[h_Iv_d]相乘的方式，將紅外背景和可見(jiàn)光圖像細(xì)節(jié)層的重要信息整合到一張圖像中。

[Dx，y=φ1x，yIr_B_dx，y+φ2x，yh_Iv_dx，y] （11）

式中[Dx，y]為融合細(xì)節(jié)層。對(duì)于紅外背景和可見(jiàn)光圖像基礎(chǔ)層，采用加權(quán)平均融合：

[Bx，y=12Ir_B_bx，y+h_Iv_bx，y] （12）

式中[Bx，y]為融合基礎(chǔ)層。

3" 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的基于分割增強(qiáng)和視覺(jué)顯著性的紅外可見(jiàn)光圖像融合方法的融合質(zhì)量，基于Matlab平臺(tái)進(jìn)行大量實(shí)驗(yàn)，現(xiàn)列出其中三種不同場(chǎng)景的紅外和可見(jiàn)光圖像進(jìn)行說(shuō)明。本文融合部分的參數(shù)設(shè)置如下：Retinex增強(qiáng)算法中的高斯濾波器標(biāo)準(zhǔn)差[σ=250]；二尺度分解和譜殘差法中的平均濾波器窗口大小分別為[k1=35]，[k2=3]。選擇基于潛在低秩表示（LatLRR）的融合、基于顯著性的融合、基于對(duì)比度增強(qiáng)與多尺度邊緣保持融合和基于引導(dǎo)濾波的融合作為對(duì)比實(shí)驗(yàn)。

本文先從主觀上通過(guò)視覺(jué)觀察比較融合結(jié)果，不同方法融合的實(shí)驗(yàn)結(jié)果如圖5～圖7所示。

圖5c）中的紅外小目標(biāo)輪廓不清晰；顯著性方法的結(jié)果中圖像對(duì)比度不高；圖5e）整體清晰度不高，丟失了部分細(xì)節(jié)；采用引導(dǎo)濾波算法小目標(biāo)輪廓的清晰度有所提高，但圖像整體偏暗；本文方法得到的融合圖像小目標(biāo)輪廓更清晰，整體對(duì)比度有所提高，且細(xì)節(jié)保留較完整。其他兩種場(chǎng)景結(jié)果與圖5類似，說(shuō)明本文方法在視覺(jué)效果方面優(yōu)于其他方法。

為更客觀科學(xué)地驗(yàn)證本文方法的有效性，采用信息熵、結(jié)構(gòu)相似度和相關(guān)性三種評(píng)價(jià)指標(biāo)對(duì)融合結(jié)果進(jìn)行分析，上述評(píng)價(jià)指標(biāo)的值越大算法性能越好。評(píng)價(jià)結(jié)果如表1所示。由于結(jié)構(gòu)相似度和相關(guān)性依賴于輸入圖像，本文輸入圖像在融合前經(jīng)過(guò)了增強(qiáng)，因此上述兩種指標(biāo)的結(jié)果不如其他方法，但從視覺(jué)效果方面表現(xiàn)出較好的性能。融合圖像的信息熵較其他方法有較大提高，表明本文所提方法的融合結(jié)果保留了更多源圖像信息。

4" 結(jié)" 論

本文將紅外圖像分割與可見(jiàn)光圖像增強(qiáng)相結(jié)合，較好地提取紅外微小目標(biāo)的同時(shí)更好地挖掘了可見(jiàn)光圖像偏暗區(qū)域的細(xì)節(jié)信息，利用視覺(jué)注意力機(jī)制融合細(xì)節(jié)層，充分保留了紅外和可見(jiàn)光圖像的互補(bǔ)信息，融合后視覺(jué)效果更好。實(shí)驗(yàn)結(jié)果表明，本文所提出的方法與其他融合方法相比，能夠更好地突出紅外目標(biāo)，提供更豐富的背景細(xì)節(jié)和更高的清晰度，在視覺(jué)效果方面優(yōu)于其他傳統(tǒng)算法，具有一定的理論意義與實(shí)用價(jià)值。

參考文獻(xiàn)

[1] 潘瑜，鄭鈺輝，孫權(quán)森，等.基于PCA和總差變模型的圖像融合框架[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2011，23（7）：1200?1210.

[2] 陳天明，王俊琦，張星祥，等.基于特征提取的紅外與可見(jiàn)光圖像融合[J].激光與紅外，2016，46（3）：357?362.

[3] 楊桄，童濤，陸松巖，等.基于多特征的紅外與可見(jiàn)光圖像融合[J].光學(xué)精密工程，2014，22（2）：489?496.

[4] BILODEAU G A， TORABI A， MORIN F. Visible and infrared image registration using trajectories and composite foreground image [J]. Image and vision computing， 2011， 29（1）： 41?50.

[5] SCOTT J， PUSATERI M A. Laplacian based image fusion [C]// 39th IEEE Applied Imagery Pattern Recognition Workshop （AIPR）. New York： IEEE， 2010： 1?7.

[6] KIM Y， LEE C， HAN D， et al. Improved additive?wavelet image fusion [J]. IEEE geoscience and remote sensing letters， 2011， 8（2）： 263?267.

[7] XIONG J T， TAN R J， LI L C， et al. Image fusion algorithm for visible and PMMW images based on curvelet and improved PCNN [J]. IEEE 11th International Conference on Signal Processing （ICSP）. New York： IEEE， 2012： 903?907.

[8] LIU K， GUO L， CHEN J S. Contourlet transform for image fusion using cycle spinning [J]. Journal of systems engineering and electronics， 2011， 22（2）： 353?357.

[9] WANG R， DU L F. Infrared and visible image fusion based on random projection and sparse representation [J]. International journal of remote sensing， 2014， 35（5/6）： 1640?1652.

[10] WANG J， PENG J Y， FENG X Y， et al. Fusion method for infrared and visible images by using non?negative sparse representation [J]. Infrared physics amp; technology， 2014， 67： 477?489.

[11] LU X Q， ZHANG B H， ZHAO Y， et al. The infrared and visible image fusion algorithm based on target separation and sparse representation [J]. Infrared physics amp; technology， 2014， 67： 397?407.

[12] BAVIRISETTI D P， DHULI R. Two?scale image fusion of visible and infrared images using saliency detection [J]. Infrared physics amp; technology， 2016， 76： 52?64.

[13] 劉艷.紅外圖像中的閾值分割中算法研究[J].數(shù)字技術(shù)與應(yīng)用，2013（8）：114.

[14] 李紅，吳煒，楊曉敏，等.基于主特征提取的Retinex多譜段圖像增強(qiáng)[J].物理學(xué)報(bào)，2016，65（16）：61?76.

作者簡(jiǎn)介：楊" 寧（1997—），女，河北邢臺(tái)人，碩士研究生，主要研究方向?yàn)榧t外與可見(jiàn)光圖像融合。

張玉華（1978—），女，河北石家莊人，教授，博士生導(dǎo)師，主要研究方向?yàn)閳D像融合、目標(biāo)檢測(cè)。