基于區(qū)域間相似度的紅外與可見光圖像融合算法研究

任全會，孫逸潔，黃燦勝

基于區(qū)域間相似度的紅外與可見光圖像融合算法研究

任全會1，孫逸潔1，黃燦勝2

（1. 河南省智慧教育與智能技術(shù)應(yīng)用工程技術(shù)研究中心，河南 鄭州 451460；2. 廣西民族師范學(xué)院 數(shù)理與電子信息工程學(xué)院，廣西 崇左 532200）

針對傳統(tǒng)的紅外圖像與可見光圖像融合算法存在局部模糊、背景信息不完整的問題，文章提出了一種新的融合算法。使用邊緣檢測算子實(shí)現(xiàn)圖像輪廓的提取，同時還進(jìn)行基于能量的加權(quán)融合處理；使用區(qū)域間相似度的方法實(shí)現(xiàn)信號域的提取，最后根據(jù)過信號強(qiáng)度進(jìn)行圖像的融合。為了驗證算法的正確性，文章進(jìn)行了對比測試，同時還使用標(biāo)準(zhǔn)差、信息熵和平均梯度3個參數(shù)進(jìn)行了定量分析，本文方法和傳統(tǒng)的加權(quán)平均算法相比標(biāo)準(zhǔn)差最大提高106.3%，測試結(jié)果表明，本文提出的融合方法融合效果更好，具有一定的實(shí)用價值。

紅外圖像；融合算法；邊緣檢測；相似度

0 引言

紅外圖像已經(jīng)被廣泛地應(yīng)用到各個領(lǐng)域，在惡劣天氣和光線不好的環(huán)境下也可以展現(xiàn)出物體目標(biāo)，但是紅外圖像的缺點(diǎn)是對比度不高，地物輪廓不清晰?？梢姽鈭D像地物輪廓清晰，但是惡劣天氣和光線不好的環(huán)境下容易丟失目標(biāo)物體?？梢允褂脠D像融合的方式實(shí)現(xiàn)兩種圖像的信息互補(bǔ)，從而得到清晰度高和目標(biāo)可識別的融合圖像[1]。

兩種圖像融合能在像素級、特征級和決策級3個層次上實(shí)現(xiàn)[2]。現(xiàn)在研究的焦點(diǎn)是像素級層面上。國內(nèi)外學(xué)者也進(jìn)行了大量研究，研究方法也比較多，比如加權(quán)平均法、取大法、區(qū)域方差等。目前應(yīng)用比較廣泛的是多分辨率融合算法，小波變換算法、Contourlet變換、IHS變換等等，使用此類算法融合后的圖像會出現(xiàn)局部模糊的現(xiàn)象和吉布斯（Gibbs）現(xiàn)象[3]。為了解決此類問題，提出了一種新的紅外圖像和可見光圖像的融合算法，使用邊緣檢測算子實(shí)現(xiàn)圖像輪廓的提取，同時還進(jìn)行基于能量的加權(quán)融合處理；使用區(qū)域間相似度的方法實(shí)現(xiàn)信號域的提取，最后根據(jù)過信號強(qiáng)度進(jìn)行圖像的融合。

1 邊緣檢測算子的圖像輪廓處理算法

1.1 圖像輪廓的處理

兩幅圖像邊緣信號的模值相除可以得到：

1.2 基于能量的加權(quán)融合處理

假設(shè)判斷邊緣強(qiáng)度的臨界值是，其取值范圍是0～1，通過測試，當(dāng)＝0.65的時候效果最佳。如果＜，就能確定此信號屬于邊緣信號，通過一個重要的參數(shù)基于能量的加權(quán)融合進(jìn)行處理[5]；如果Q(,)≥Q(,)，融合的小波系數(shù)就可以表示成：(,)＝MAX×(,)＋MIN×(,)；如果Q(,)＜Q(,)，融合的小波系數(shù)就可以表示成：(,)＝MIN×(,)＋MAX×(,)。MAX和MIN表達(dá)式分別是：

MIN＝1－MIN(5)

因此，就可以把小波變換的區(qū)域能量表示成：

因此就可以得到兩幅圖像的能量表達(dá)式：

為了進(jìn)一步提高圖像的融合質(zhì)量，設(shè)(,)表示匹配度，此參數(shù)是以(,)位置為中心領(lǐng)域的，則：

如果≥，就能確定此信號不屬于邊緣信號，使用基于能量的算法，比較兩幅圖像的能量大小，圖像的能量值越小，表示此圖像的邊緣信息越不顯著[6]，具體表示成：

2 圖像區(qū)域信息處理算法

根據(jù)兩幅圖像融合的性質(zhì)，同時結(jié)合各個區(qū)域間的相關(guān)性，使用分類處理的方法進(jìn)行融合[7]。

文章引入一個重要的參數(shù)平均梯度特征，使用此參數(shù)把各個區(qū)域之間的相似度函數(shù)重新優(yōu)化，這樣就能夠提高保存圖像有效信號的效果[8]。區(qū)域相似度可以表示成：

區(qū)域中的均值可表示為：

參數(shù)平均梯度特征主要的功能就是可以客觀地反映出圖像的相對清晰程度[9]，可以準(zhǔn)確地描繪圖像的微弱變化細(xì)節(jié)，可以為圖像的科學(xué)融合提供重要的依據(jù)[10]，優(yōu)化后的表達(dá)式可以表示成：

式(12)和(13)中：Da(,)表示橫向的差分值；Db(,)表示縱向的差分值。

根據(jù)兩幅圖像區(qū)域間的相似度不同[11]，使用不同的方法進(jìn)行融合，這樣可以大大提高融合的效果，當(dāng)Sim(u,M,u,N)大于等于相似度閾值時[12]，使用區(qū)域信號強(qiáng)度這個參數(shù)實(shí)現(xiàn)圖像的融合，區(qū)域圖像的相關(guān)信號強(qiáng)度可以表示成：

式(14)和(15)中：D,M(,)和D,N(,)分別紅外圖像和可見光圖像在(,)處的細(xì)節(jié)分量；D表示正在檢測的圖像區(qū)域；(,)表示掩模矩陣，主要的功能是對|D,M(,)|和|D,N(,)|進(jìn)行線性濾波[13]。

如果Sim(u,M,u,N)小于相似度閾值，也就是說此時兩幅圖像的區(qū)域間的相似度不高時，使用基于能量的融合算法實(shí)現(xiàn)紅外圖像和可見光圖像的融合[14]。也就是說通過對比兩幅圖像的能量實(shí)現(xiàn)融合，如果紅外圖像的能量比可見光圖像的能量大，表明紅外圖像的邊緣信息更為突出；反之，就表明可見光圖像的邊緣信息更為突出，其函數(shù)表達(dá)式是：

3 測試結(jié)果和結(jié)論

為了驗證算法的正確性，使用小波融合算法、加權(quán)平均算法、IHS（Intensity，Hue，Saturation）變換算法和本文算法對兩組圖像進(jìn)行對比測試，文章進(jìn)行了兩組圖像的對比測試，圖1是一組帶有人物的待融合圖像，圖2是一組不帶人物的待融合圖像，采用測試的平臺是Matlab 2018a。小波融合算法，小波變換的固有特性使其在圖像處理中有如下優(yōu)點(diǎn)：完善的重構(gòu)能力，保證信號在分解過程中沒有信息損失和冗余信息；加權(quán)平均算法，權(quán)重系數(shù)可調(diào)，適用范圍廣，可消除部分噪聲，源圖像信息損失較少，但會造成圖像對比度的下降，需要增強(qiáng)圖像灰度；IHS變換算法，但空間分辨率較低，而全色圖像具有高空間分辨率，但光譜分辨率較低。

圖1 第一組待融合圖像

圖2 第二組待融合圖像

Fig.2 The second group of images to be fused

圖3 第一組圖像對比測試結(jié)果

圖4 第二組圖像對比測試結(jié)果

從測試結(jié)果可以看出這4種方法把源圖像的重要信息都有效保留，兩組圖像的使用加權(quán)平均算法和IHS變換算法得到的圖像比較暗并且比較模糊，使用小波融合算法得到的圖像亮度比較高，可以相對完整地包含有紅外圖像的目標(biāo)信息，并且也包含豐富的可見光圖像的背景信息，但是圖3和圖4的(a)～(c)都存在局部模糊的現(xiàn)象，背景信息缺失嚴(yán)重。通過仔細(xì)對比圖4中房屋下目標(biāo)人物可以看出，圖像(a)～(c)中的人物非常模糊，而本文方法則對此目標(biāo)任務(wù)得到了有效的保留。

為了進(jìn)一步驗證文章算法的優(yōu)越性，還使用參數(shù)標(biāo)準(zhǔn)差、信息熵和平均梯度進(jìn)行了定量測試分析，參數(shù)信息熵表征圖像的整體信息，標(biāo)準(zhǔn)差反映了圖像像素值與均值的離散程度，平均梯度表征圖像的清晰度，此3個參數(shù)越大就表明融合圖像的效果越好[15]。測試數(shù)據(jù)如表1和表2所示。

從3個參數(shù)的測試數(shù)據(jù)可以看出，本文方法的指標(biāo)和其它3種方法來比都得到明顯提高。第一組圖像的融合數(shù)據(jù)中，本文方法的標(biāo)準(zhǔn)差比加權(quán)平均算法的標(biāo)準(zhǔn)差提高了61.3%，第二組數(shù)據(jù)中更是提高了106.3%。這就充分說明，和其它方法相比，本文方法的圖像融合效果更好。

表1 第一組圖像融合數(shù)據(jù)

表2 第二組圖像融合數(shù)據(jù)

4 結(jié)論

文章論述了一種紅外圖像與可見光圖像融合算法，此算法使用兩種不同的方法對圖像的邊緣輪廓進(jìn)行處理，并且根據(jù)圖像相似度的不同使用不同的方法進(jìn)行融合。為了驗證本文方法的正確性，進(jìn)行了一系列的對比測試，從圖像對比測試可以看出，本文方法可以更多地保留源圖像的重要信息；從定量的3個參數(shù)的結(jié)果來看，特別是標(biāo)準(zhǔn)差，最多可以提高106.3%，和傳統(tǒng)的融合算法相比，此方法可以有效地解決局部模糊的現(xiàn)象和吉布斯現(xiàn)象，有效地提高了融合圖像的效果。本文算法優(yōu)勢明顯，具有較強(qiáng)的實(shí)用價值。

[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]., 2019, 45:153-178.

[2] LIU Y, CHEN X, Ward R K, et al. Medical image fusion via convolutional sparsity based morphological component analysis[J]., 2019, 26(3): 485-489.

[3] 蔡鎧利, 石振剛. 紅外圖像與可見光圖像融合算法研究[J]. 沈陽理工大學(xué)學(xué)報, 2016(3): 17-22.

CAI Kaili，SHI Zhengang. Research on Image Fusion Algorithm of Infrared and Visible Image[J]., 2016(3):17-22.

[4] 郝志成, 吳川, 楊航, 等. 基于雙邊紋理濾波的圖像細(xì)節(jié)增強(qiáng)方法[J].中國光學(xué), 2016, 9(4): 423-431.

HAO Zhicheng, WU Chuan, YANG Hang,et al.Image detail enhancement method based on multi-scale bilateral texture filter[J]., 2016, 9(4): 423-431.

[5] FU Z, WANG X, LI X, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]., 2017, 46(2): 357-362.

[6] DING S, ZHAO X, HUI X, et al. NSCT-PCNN image fusion based on image gradient motivation[J]., 2018, 12(4): 377-383.

[7] KOU F, LI Z, WEN C, et al. Edge-Preserving smoothing pyramid based multi-scale exposure fusion[J]., 2018, 53: 235-244.

[8] ZHOU Z, BO W, SUN L, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]., 2016, 30: 15-26.

[9] YANG B, LUO J, GUO L, et al. Simultaneous image fusion and demosaicing via compressive sensing[J]., 2016, 116(7): 447-454.

[10] ZHANG Y, BAI X, WANG T. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure[J]., 2017, 35: 81-101.

[11] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[12] YANG Y, QUE Y, HUANG S, et al. Multiple visual features measurement with gradient domain guided filtering for multisensor image fusion[J]., 2017, 66(4): 691-703.

[13] ZHANG L, ZENG G, WEI J. Adaptive region-segmentation multi-focus image fusion based on differential evolution[J]., 2018, 33(3): 32.

[14] YAN X, QIN HL, LI J, et al. Infrared and visible image fusion using multiscale directional nonlocal means filter[J]., 2015, 54(13): 4299-4308.

[15] CUI G M, FENG H J, XU Z H, et al. Detail preserved fusion of visible and infrared images using regional saliency extraction and multi-scale image decomposition[J]., 2015, 341: 199-209.

Infrared and Visible Image Fusion Algorithm Based on Regional Similarity

REN Quanhui1， SUN Yijie1，HUANG Cansheng2

(1.,451460,; 2.,,,532200,)

To address the problems of local blur and incomplete background information in the traditional fusion algorithm of infrared and visible images, a new fusion algorithm is proposed in this paper. The edge detection operator was used to extract the image contour, and weighted fusion based on energy was also executed. The similarity between regions was used to extract the signal domain. Finally, image fusion is performed according to the over-signal strength. To verify the correctness of the algorithm, a comparative test was conducted and a quantitative analysis was performed using three parameters: standard deviation, information entropy, and average gradient. Compared with the traditional weighted average algorithm, the standard deviation of this method was up to 106.3 %. The test results confirmed that the fusion method proposed in this study has a better fusion effect and practical value.

infrared image, fusion algorithm, edge detection, similarity

TN223

A

1001-8891(2022)05-0492-05

2021-08-29；

2021-11-23.

任全會（1978-），男，漢族，河南鄭州人，副教授，主要研究方向：電子系統(tǒng)設(shè)計和EDA技術(shù)。E-mail:hzkd_2006@163.com。

黃燦勝（1970-），男，漢族，廣西崇左人，高級實(shí)驗師，研究方向為人工智能。E-mail: 645948468@qq.com。

2022年度河南省重點(diǎn)研發(fā)與推廣專項（科技攻關(guān)）（222102320125）；2022年度河南省高等學(xué)校重點(diǎn)科研項目（22B510021）。