基于引導(dǎo)濾波權(quán)重與顯著信息優(yōu)化的紅外與可見光圖像融合

楊擎宇，宋泉宏，魏志飛，顧一凡

（上海機電工程研究所，上海 201109）

0 引 言

紅外與可見光傳感器能捕獲同一目標(biāo)的不同信息，紅外傳感器主要采集場景目標(biāo)的紅外熱輻射能量大小，受煙霧及風(fēng)沙影響較小，作用距離遠，但和可見光圖像相比，紅外圖像對比度低、分辨細節(jié)能力較差。因此融合紅外與可見光傳感器獲取的圖像可彌補紅外傳感器的不足，對于場景信息增強、圖像分辨率提升有重要意義，圖像融合技術(shù)在現(xiàn)代應(yīng)用技術(shù)和計算機視覺中起著越來越重要的作用［1］。

紅外與可見光圖像融合主流算法為基于多尺度變換的圖像融合。最早由Burt和Adelson 提出拉普拉斯金字塔融合算法［2］；針對拉普拉斯融合方法的不足，學(xué)者們提出基于小波變換的融合［3-4］，其在正交性、方向性等方面有更好的表現(xiàn)，但對于二維圖像中的特征信息處理欠佳；而后NSCT（non-subsampled contourlet transform）［5］、NSST（non-subsampled shearlet transform）［6］等方法被提出并被證實具備更優(yōu)的方向性及重構(gòu)效果，但算法復(fù)雜性高且融合過程會丟失信息，存在圖像失真的現(xiàn)象。近幾年為了改善傳統(tǒng)多尺度融合算法的缺陷，邊緣保持濾波器在圖像融合中逐步得到應(yīng)用，此類方法在去除偽影及噪聲并保持邊緣方面有出色的表現(xiàn)。Yadav 和Jain［7］使用基于雙邊濾波的融合方法獲取了更優(yōu)的融合效果，為了提升效率，研究人員又將引導(dǎo)濾波應(yīng)用在圖像融合中［8-9］，同時結(jié)合雙尺度分解完成融合，避免了多層分解帶來的信息冗余，但該方法融合權(quán)重系數(shù)選取對不同圖像適應(yīng)性不足，背景噪聲也未有效濾除。

為了解決上述問題，本文提出一種基于權(quán)重與顯著性信息優(yōu)化的引導(dǎo)濾波圖像融合方法。首先考慮到人類感官對于物體輪廓的敏感性，通過邊緣提取作為顯著性信息提取；隨后使用滑動窗口計算局部梯度優(yōu)化權(quán)重系數(shù)；最后選擇合適的細節(jié)層與基礎(chǔ)層融合系數(shù)，強化細節(jié)信息完成圖像融合。

1 算法介紹

圖像融合算法中常用的圖像多層分解融合執(zhí)行效率低且會導(dǎo)致信息冗余，而直接加權(quán)或進行主次成分替代的融合算法細節(jié)缺失嚴重，因此本文采用高斯濾波將紅外與可見光圖像分解為基礎(chǔ)層與細節(jié)層，提取邊緣作為顯著圖?？紤]到像素鄰域影響，通過滑動窗口計算顯著圖像素點局部梯度獲取權(quán)重圖；進一步由引導(dǎo)濾波去除偽影及可能的噪聲點，并將細節(jié)層與基礎(chǔ)層權(quán)重圖與各自圖層加權(quán)融合，得到最終的融合圖像。圖1給出了本文算法流程框架。

圖1 基于局部梯度與邊緣顯著提取的引導(dǎo)濾波圖像融合算法框架Fig.1 Guided filtering image fusion algorithm framework based on local gradient and edge saliency extraction

1.1 雙尺度分解

雙尺度分解將圖像分解為基礎(chǔ)層與細節(jié)層，通過高斯濾波對圖像做模糊化處理獲取基礎(chǔ)層，可表達為

式中：G為高斯濾波，根據(jù)經(jīng)驗值濾波窗口大小選擇為11×11，標(biāo)準差選擇為5；I表示光源圖；B為輸出基礎(chǔ)層；下標(biāo)k表示圖像類型，k＝1 表示紅外源圖，k＝2 表示可見光源圖。

細節(jié)層Dk則由輸入源圖減去基礎(chǔ)層獲得，即

1.2 顯著圖提取

基礎(chǔ)層與細節(jié)層的權(quán)重圖構(gòu)造由提取的圖像顯著性計算決定，傳統(tǒng)的顯著性信息提取算法（如FT（frequency-tuned salient region detection）算法）是將色彩進行轉(zhuǎn)變，經(jīng)過統(tǒng)計歐氏距離進一步得出顯著圖，由于需計算顯著性區(qū)域，其算法效率并不高。而對于人類感官，一般通過物體的基本輪廓信息便能判斷物體所屬類型，因此為了加快處理速度，可以通過提取邊緣直接作為顯著性信息。為了說明問題，本文對比了幾種具有代表性的邊緣提取算法與傳統(tǒng)顯著性信息提取算法的結(jié)果，如圖2所示。

圖2 顯著信息提取Fig.2 Extraction of saliency information

由圖2 可知，在晚間或者傍晚光線昏暗的可見光圖像中背景天空中存在大量白噪聲，而FT 及LC（luminance contrast）算法提取的顯著性信息并沒有剔除這種大片的背景噪聲；SR（spectral residual）算法對于圖像中細微對象和多紋理細節(jié)最為敏感，因而其提取的顯著性信息中同樣存在大量敏感噪聲點；Canny邊緣檢測算法將背景白噪聲誤判為多個小邊緣，其提取的邊緣圖并不適合作為顯著性信息；在觀察源圖（a）時，人類感官的注意力首先集中于梯度及對比度變化較大的房屋及屋頂邊緣，相比于Log 與中值濾波提取的顯著性信息，Sobel算法獲取的顯著圖更好地捕捉到了屋頂?shù)刃畔ⅰＭ瑫r選取大小為505×510 的圖像，統(tǒng)計十次運行時間的平均值，其中Sobel 算法效率最高，綜上Sobel 算法處理本文所選數(shù)據(jù)集效果更好，速度更快，因此本文采用Sobel 算法獲取邊緣信息T1和T2作為顯著性信息。

表1 不同算法顯著性提取時間對比Tab.1 Comparison of saliency extraction time of different algorithms

1.3 引導(dǎo)濾波

引導(dǎo)濾波（guided filtering，GF）是一種局部線性濾波器，其輸出圖像L 是中心在像素m 處的局部窗口對引導(dǎo)圖像P的線性變換［10］，可表達為

我的家鄉(xiāng)是一座古老的小鎮(zhèn)，那里緊靠一望無際的長陽湖，一條條清澈見底的小溪從小鎮(zhèn)歡快地流過，小溪之間是一片一片肥沃的田野。

式中：wm是邊長為（2r＋1）的正方形窗口；am和bm為線性系數(shù)，通過最小化輸入圖像Mi 與輸出圖像Ni 平方差來決定，即代價函數(shù)

式中：ε為正則化參數(shù)。

am和bm可進一步由線性回歸得到，即

式中：βm和φm分別是圖像Mi 在窗口wm的均值和方差；|w|為wm中的像素數(shù)量；是Ni 在窗口wm中的均值。由于不同的wm窗口計算輸出Qi時，其值都將發(fā)生變化，因此對系數(shù)am和bm的所有可能值進行平均，最終的濾波輸出為

引導(dǎo)濾波計算時間與濾波窗口大小的選擇無關(guān)，即與w無關(guān)，相比于雙邊濾波效率其融合效率更高。

1.4 基于滑動窗口的局部梯度濾波

紅外與可見光圖像蘊含的信息不同，可根據(jù)提取的源圖顯著性信息構(gòu)造權(quán)重圖作為最終融合的判斷依據(jù)，但由于噪聲影響，單純地對比單個像素顯著性高低的置信度不高，同時也忽略了鄰近像素的影響。因此，本文根據(jù)提取的紅外與可見光顯著圖，通過滑動窗口計算局部梯度并進行對比，以構(gòu)建權(quán)重圖，在充分考慮像素鄰域點的基礎(chǔ)上一定程度平滑了噪聲。

使用Sobel 算子計算源圖1 與源圖2 相同區(qū)域梯度

式 中：Δx＝為提取的顯著圖T1的3×3 區(qū)域；TS2為提取的顯著圖T2的3×3區(qū)域，得到的權(quán)重R1和R2為

初步構(gòu)建的權(quán)重圖由于圖像配準誤差等問題，存在偽影以及噪聲的影響，因此進一步使用引導(dǎo)濾波進行處理，在平滑噪聲、減輕偽影的同時保持邊緣細節(jié)。

式中：Bk為基礎(chǔ)層；Dk為細節(jié)層；為基礎(chǔ)層權(quán)重系數(shù)；為細節(jié)層權(quán)重系數(shù)。

1.5 細節(jié)層與基礎(chǔ)層融合策略

細節(jié)層與細節(jié)層權(quán)重圖融合為

基礎(chǔ)層與基礎(chǔ)層權(quán)重圖融合為

由于使用滑動窗口計算局部梯度與局部對比度優(yōu)化權(quán)重系數(shù)，并對權(quán)重圖進行引導(dǎo)濾波處理，導(dǎo)致部分細節(jié)信息的損失，為了強化細節(jié)信息，本文給細節(jié)層附屬一個加權(quán)系數(shù)n。

系數(shù)n小于1時無法起到強化細節(jié)的作用，而n過大時會導(dǎo)致圖像失真。通常細節(jié)層與基礎(chǔ)層融合時系數(shù)n取1～3，本文通過實驗綜合對比融合效果，為了在避免融合失真的同時增強細節(jié)，系數(shù)n取2.5。

2 實驗結(jié)果及分析

為驗證本文算法，本文從紅外與可見光圖像數(shù)據(jù)庫（已配準）中選取了3 組圖片［11］，分別為“Smoke”、“Jeep”、“Kaptein”?！癝moke”是典型的煙霧遮蔽場景，能驗證算法在復(fù)雜場景中煙霧遮蔽情況下的融合性能；“Jeep”包含大片天空云背景，主要考察算法在單一背景中特征的融合保留能力；“Kaptein”包含諸多紋理細節(jié)，是為了體現(xiàn)算法在減少細節(jié)損失及偽影的性能。同時選擇了以下具有代表性的5種經(jīng)典算法進行對比：基于雙樹復(fù)小波變換與稀疏表示的融合算法（DTWCT-SR）、基于引導(dǎo)濾波的圖像融合算法（GFF）、基于潛在低秩表示的融合算法（LatLRR）、基于梯度轉(zhuǎn)移和總變分最小化的融合算法（GTF）、基于多尺度奇異值分解的圖像融合（MSVD）。通過主觀、客觀、運行時間對本文算法的融合效果和快速性進行評價，所選擇的對比算法的參數(shù)均使用文獻［8］中參數(shù)。

2.1 主觀分析

圖3 為不同融合算法處理“Smoke”的實驗對比：圖3（c）、圖3（e）和 圖3（g）分 別 為DTWCT-SR、LatLRR 和MSVD 算法融合效果，融合后人物邊緣較為模糊，同時背景樹干部分細節(jié)也不易分辨；圖3（d）為GFF實驗結(jié)果，其背景樹干的諸多細節(jié)沒有很好的體現(xiàn)；圖3（f）為GTF 算法融合效果，煙霧輪廓完全丟失，人物邊緣模糊化較為嚴重；圖3（h）為本文算法融合效果，背景樹干的細節(jié)得到了極大的保留，且人物邊緣明顯。

圖3 不同算法融合“Smoke”效果圖Fig.3 Different fusion algorithms process the"Smoke"effect

圖4 為“Jeep”實驗結(jié)果，其中：GFF 算法效果圖中天空信息嚴重損失，丟失了云彩信息，說明GFF 算法受背景噪聲的影響較大；DTWCT-SR、LatLRR 與MSVD 算法效果圖中天空信息雖然得到了很好的保留，但整體對比度下降，紅外圖像中車輛及人的信息在融合后有較大的損失；GTF算法融合后圖像整體對比度得到提升，但車輛、人物以及房屋的細節(jié)特征被嚴重模糊；而本文算法在極大程度地保留了天空信息后，車輛、人物以及房屋的邊緣細節(jié)處理效果都明顯優(yōu)于其他算法。

圖4 不同算法融合“Jeep”效果圖Fig.4 Different fusion algorithms process the"Jeep"effect

圖5 為“Kaptein”融合結(jié)果：DTWCT-SR 算法在圖像邊緣處都存有黑色輪廓，尤其是人物周圍最為明顯，同時樹干部分存在重影；GFF 算法整體過度平滑，損失了灌木叢大量的枝葉細節(jié)信息，并且在明顯標(biāo)志物邊緣與天空背景的過度不夠自然；LatLRR 與MSVD算法則是存在較大的偽影問題；GTF算法效果欠佳，邊緣細節(jié)丟失嚴重，還存在偽影、天空失真的問題；而本文算法綜合權(quán)重了源圖信息，極大程度地分別保留了兩幅源圖中高價值信息，同時也不存在偽影以及邊緣非自然過渡的問題。

圖5 不同算法融合“Kaptein”效果圖Fig.5 Different fusion algorithms process the"Kaptein"effect

2.2 客觀評價

客觀分析方面則采用4種無參考圖像融合［12］質(zhì)量評價方式：信息熵（IE）［13］、平均梯度（AVG）、盲圖像質(zhì)量指標(biāo)（BIQI）以及互信息（NMI）［14］。信息熵主要評價融合后圖像信息量大小，熵指標(biāo)越高，圖像所含信息量越大，質(zhì)量越好；平均梯度可以反應(yīng)圖像的微小細節(jié)表達能力，主要評價圖像細節(jié)的融合質(zhì)量，平均梯度越大表明圖像越清晰；盲圖像質(zhì)量指標(biāo)用于判斷融合圖像失真程度，即信息融合后的信息損失情況，該值越小表示損失越小，圖像質(zhì)量越佳；互信息評價融合圖像從源圖像獲取的信息量大小，該值越大表示獲取信息越豐富。

表2給出了不同融合方法的客觀評價結(jié)果。IE指標(biāo)中本文方法雖然在“Jeep”圖像中略低于GTF 融合策略，但在“Smoke”、“Kaptein”兩組圖像上IE 指標(biāo)表現(xiàn)優(yōu)異，說明本文算法充分保留了源圖像有效信息。AVG 和BIBQ 指標(biāo)上本文算法表現(xiàn)均遠優(yōu)于DTWCT-SR、GFF、LRR、GTF、MSVD，說明本文算法融合后的圖像細節(jié)表達能力強，保留了更多源圖細節(jié)，融合質(zhì)量最高。對于“Jeep”圖像，NMI 評價指標(biāo)中GTF 算法指標(biāo)高于本文算法，這是由于GTF 融合時考慮了更多的紅外圖像信息，但GTF融合后的細節(jié)損失嚴重，而本文算法權(quán)衡考慮紅外與可見光圖像細節(jié)與梯度信息，更好地提取了源圖有效信息，且對于其他兩組圖像本文算法的NMI 指標(biāo)排列均為第一。綜上，相比于DTWCT-SR、GFF、LRR、GTF、MSVD這五種算法，本文算法性能更優(yōu)。

表2 融合效果客觀評價Tab.2 Objective evaluation of fusion effect

2.3 運行時間

取大小為505×510 的圖像，統(tǒng)計十次運行時間并取平均。對比各個融合算法運行時間（見表3），DTWCT-SR、GFF、和MSVD 融合算法計算時間較短，但上述算法融合后細節(jié)信息損失較多，整體對比度偏低；LatLRR 算法雖然效果不錯，但運行時間過長；本文算法運行時間略長于GTF 算法，這主要是由于采用滑動窗口增加了計算代價，但本文算法不受區(qū)域噪聲影響，細節(jié)信息得到強化，融合效果大幅提升，后續(xù)可針對性優(yōu)化，提升算法效率。

表3 計算代價對比Tab.3 Calculation cost comparison

3 結(jié)束語

本文提出了一種基于權(quán)重與顯著性信息優(yōu)化的引導(dǎo)濾波紅外與可見光圖像融合算法。提取目標(biāo)主體輪廓作為顯著性信息，避免區(qū)域噪聲影響，同時使用滑動窗口計算局部梯度優(yōu)化權(quán)重系數(shù)，減輕單個噪聲點的影響且提升權(quán)重圖置信度；借助引導(dǎo)濾波去除偽影及噪聲影響，并改變細節(jié)層與基礎(chǔ)層融合系數(shù)，強化融合細節(jié)信息。實驗結(jié)果表明，本文提出的融合算法在信息熵、平均梯度、盲圖像質(zhì)量及互信息指標(biāo)方面表現(xiàn)優(yōu)于常用的5 個具有代表性的融合算法，且融合方面后保留了更多的紋理細節(jié)信息，可視性更強。