基于導(dǎo)向濾波的圖像融合算法改進(jìn)研究

摘? 要：為了進(jìn)一步提高傳統(tǒng)導(dǎo)向濾波圖像融合算法在圖像處理過程中的效果，使得融合后的圖像能夠保留更多的細(xì)節(jié)信息，在傳統(tǒng)的導(dǎo)向濾波圖像融合法的基礎(chǔ)上，利用非線性的Sigmoid函數(shù)可以映射到[0，1]的特性，用其代替原有線性的加權(quán)平均，最后得到融合后的圖像。通過對實驗結(jié)果進(jìn)行對比分析發(fā)現(xiàn)，相較于傳統(tǒng)的導(dǎo)向濾波圖像融合算法，本文經(jīng)過對權(quán)重重新分配后能夠有效提高一些圖像的融合效果。

關(guān)鍵詞：導(dǎo)向濾波;Sigmoid函數(shù);圖像融合

中圖分類號：TP202? ? ?文獻(xiàn)標(biāo)識碼：A

Research on Improved Image Fusion Algorithm based on Guided Filtering

GUO Wanling

（School of Science， Zhejiang Sci-Tech University， Hangzhou 310018， China）

Wl-guo@foxmail.com

Abstract： In order to further improve the effect of the traditional guided filtering image fusion algorithm in the image processing process， the fused image can retain more details. Based on traditional guided filtering image fusion method， this paper proposes to replace the original linear weighted average with the non-linear Sigmoid function which can be mapped to the property between zero and one， and finally the fused image is obtained. The experimental results show that compared with the traditional guided filtering image fusion algorithm， the proposed algorithm can effectively improve the fusion effect of some images after redistributing the weights.

Keywords： guided filtering; Sigmoid function; image fusion

1? ?引言（Introduction）

圖像融合[1]廣泛應(yīng)用于醫(yī)學(xué)成像、遙感、計算機(jī)視覺和機(jī)器人技術(shù)等領(lǐng)域。在這些應(yīng)用中，良好的圖像融合方法既不能損壞圖像的輪廓及邊緣等重要信息，又要使圖像清晰，視覺效果好。近年來，研究者們就如何提取源圖像中的有效信息、避免重要信息損失，以及振鈴效應(yīng)等問題提出了許多融合規(guī)則[2-4]。

針對融合過程中出現(xiàn)邊緣輪廓和細(xì)節(jié)信息易損失的問題，基于小波變換和顯著性檢測的多聚焦圖像融合方法[5]，通過小波分解獲得包含圖像細(xì)節(jié)信息的高頻信息和決定圖像輪廓的低頻信息?；趯?dǎo)向濾波的融合算法（GFF）[6]則提出了一種利用源圖像作為引導(dǎo)圖的計算不同幅圖像的權(quán)重方法，在減少噪聲影響的同時提取相關(guān)圖像的細(xì)節(jié)。通過將現(xiàn)有的引導(dǎo)濾波和差分圖像兩種方法巧妙結(jié)合，有效地解決了傳統(tǒng)方法存在的偽影問題[7]。

大多數(shù)融合方法基本上都是通過設(shè)計局部濾波器來提取高頻細(xì)節(jié)，并與不同源圖像對比計算出清晰度信息從而獲取清晰的圖像。引入深度神經(jīng)網(wǎng)絡(luò)模型[8]的融合策略后，可以學(xué)習(xí)源圖像和焦點(diǎn)圖之間的直接映射，并有效提高多聚焦圖像邊緣融合效果。例如，用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)思路對聚焦區(qū)域像素點(diǎn)分類進(jìn)行多焦距圖像融合[9]，可將輸入的兩張圖像對應(yīng)像素點(diǎn)分類為聚焦點(diǎn)和非聚焦點(diǎn)。本文首先介紹了Sigmoid函數(shù)在機(jī)器學(xué)習(xí)中的廣泛應(yīng)用，隨后分析了傳統(tǒng)導(dǎo)向濾波圖像融合算法，利用非線性的Sigmoid函數(shù)代替線性的加權(quán)平均。實驗結(jié)果分析發(fā)現(xiàn)，一些改進(jìn)后的融合圖像效果更好。

2? ?Sigmoid函數(shù)（Sigmoid function）

Sigmoid函數(shù)最早用于模擬人口增長模型，是生物學(xué)中常見的S形曲線，其函數(shù)圖像如圖1所示;隨后從生物神經(jīng)網(wǎng)絡(luò)中得到啟發(fā)，因其函數(shù)特性廣泛用作神經(jīng)網(wǎng)絡(luò)激活函數(shù)。Sigmoid函數(shù)又稱S函數(shù)，是一個單調(diào)遞增的函數(shù)，具有良好的連續(xù)性，其數(shù)學(xué)表達(dá)式為：

在機(jī)器學(xué)習(xí)中，Sigmoid函數(shù)又稱為邏輯回歸函數(shù)，常用在分類問題上，如邏輯回歸模型分類器;它解決了分類函數(shù)的突然階躍問題，將輸出值映射到[0，1]且總和為1，使得結(jié)果變得更平滑。從概率的角度出發(fā)，它對于許多需要將實數(shù)轉(zhuǎn)換為概率的機(jī)器學(xué)習(xí)應(yīng)用程序也很有用。例如，在機(jī)器學(xué)習(xí)模型的最后一層加上S函數(shù)，將模型的輸出值轉(zhuǎn)換成概率分?jǐn)?shù)，這樣更容易處理和解釋。S函數(shù)作為人工神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)，給神經(jīng)元引入了非線性因素，使得神經(jīng)網(wǎng)絡(luò)可以任意逼近任何非線性函數(shù)，在深度學(xué)習(xí)中非常流行。由于在多層神經(jīng)網(wǎng)絡(luò)中的不同點(diǎn)上使用了S函數(shù)，神經(jīng)網(wǎng)絡(luò)可以被構(gòu)建成連續(xù)的層來獲取輸入示例的更復(fù)雜的特征。其良好的性質(zhì)也體現(xiàn)在圖像處理技術(shù)中，如圖像邊緣檢測中用S函數(shù)擬合圖像邊緣[10]，滿足影像檢測定位要求的同時提高了檢測速度。在多曝光圖像中用S函數(shù)擬合的融合算法[11]保留了圖像細(xì)節(jié)，并對動態(tài)目標(biāo)的影響具有良好的魯棒性。

本文構(gòu)造了一個S函數(shù)滿足對任意輸入值輸出概率為0—1，且所有輸入值概率總和為1。這里采用的數(shù)學(xué)形式為：

3? 改進(jìn)的導(dǎo)向濾波融合方法（Improved guided filtering fusion）

本文在傳統(tǒng)導(dǎo)向濾波融合方法（GFF）[6]的基礎(chǔ)上，利用非線性的連續(xù)光滑的S函數(shù)對融合過程中線性的加權(quán)平均進(jìn)行改進(jìn)。這里我們假定輸入的源圖像都是經(jīng)過預(yù)處理的圖像，該融合算法包括以下幾個步驟：

第一步：雙尺度分解，將源圖像、通過均值濾波器分解為基礎(chǔ)層（Base Layer）和，即利用某像素點(diǎn)周邊像素的平均值來達(dá)到平滑噪聲的效果;再用源圖像減去基礎(chǔ)層分別得到細(xì)節(jié)層（Detail Layer）和。計算公式分別為：

第二步：顯著性映射，提取源圖像中突出特征，保留圖像的邊緣輪廓信息。首先對源圖像用拉普拉斯濾波獲得高通圖像、;接著利用的絕對值的局部平均值獲得顯著映射、，計算公式如下：

第三步：引導(dǎo)濾波[4]，利用空間一致性解決融合圖像可能產(chǎn)生偽影這一現(xiàn)象。如果兩個相鄰像素具有相似的亮度或顏色，則傾向于具有相似的權(quán)重。這里的引導(dǎo)圖像參考輸入的源圖像，以充分利用鄰域像素之間的強(qiáng)相關(guān)性進(jìn)行權(quán)重優(yōu)化。計算公式如下：

第四步：在這一步中對權(quán)重圖歸一化后分別對基礎(chǔ)層和細(xì)節(jié)層進(jìn)行融合，這里本文用第二小節(jié)中構(gòu)造的S函數(shù)，即式（2），得到新的和。為了使得權(quán)重和為1，式（10）和式

（11）中的、為均值。式（12）和式（13）給出了權(quán)重圖與基礎(chǔ)層（細(xì)節(jié)層）的融合形式。

第五步：圖像融合，將融合后的基礎(chǔ)層和細(xì)節(jié)層結(jié)合得到融合圖像。

4? ?實驗結(jié)果分析（Experimental results and analysis）

由于近年來提出了越來越多的融合方法，融合算法的性能評估也變得多樣化。從主觀評估即融合圖像視覺上的直觀效果，到圖像信息熵以及基于視覺信息保真度的多分辨率圖像融合度量（VIFF）[12]等客觀的圖像融合性能度量都是評估不同融合方案質(zhì)量的方法。為了驗證本文方法的有效性，選取了多組多聚焦圖像作為實驗圖像，并從主客觀兩方面進(jìn)行評價。多組實驗結(jié)論表明該方法的可靠性，由于篇幅有限，本文列舉了三組圖像融合實驗。圖2為不同曝光度的兩幅源圖像進(jìn)行圖像融合實驗，圖3為不同焦距的兩幅源圖像進(jìn)行圖像融合實驗，圖4為動態(tài)場景的兩幅源圖像進(jìn)行圖像融合實驗，通過GFF融合算法和本文方法得到相應(yīng)的融合圖像。

從融合圖像結(jié)果來看，相較于GFF算法，本文的融合算法更能保留源圖像中的信息，但因此也導(dǎo)致圖像中出現(xiàn)較多的無用信息（含噪音）。對客觀評價度量VIFF值進(jìn)行分析發(fā)現(xiàn)，在一些圖像上本文融合效果較傳統(tǒng)GFF算法有所提高，表1列出了本文中三組實驗GFF算法和本文方法的VIFF值。VIFF值是一種新的圖像融合評估度量，比其他傳統(tǒng)的融合度量具有更低的計算復(fù)雜度，且具有更好的預(yù)測性能。

5? ?結(jié)論（Conclusion）

由于圖像融合是圖像處理中的一個重要問題，本文提出了一種改進(jìn)的導(dǎo)向濾波圖像融合算法，該方法在保留輸入圖像細(xì)節(jié)信息的基礎(chǔ)上，對傳統(tǒng)引導(dǎo)濾波利用S函數(shù)進(jìn)行改進(jìn)，取得了較好的融合效果。實驗證實改進(jìn)后的算法在一些圖像的視覺信息保真度上有所提高，說明了本文方法的有效性。在后續(xù)的研究工作中，將重點(diǎn)分析該方法在醫(yī)學(xué)成像、遙感等領(lǐng)域的圖像融合應(yīng)用，進(jìn)一步提升該方法的可靠性與實用性。

參考文獻(xiàn)（References）

[1] GOSHTASBY A A， NIKOLOV S. Image fusion： Advances in the state of the art[J]. Information Fusion， 2007， 8（2）：114-118.

[2] FARBMAN Z， FATTAL R， LISCHINSKI D， et al. Edge-preserving decompositions for multi-scale tone and detail manipulation[J]. ACM Transactions on Graphics， 2008， 27（3）：1-10.

[3] TOMASI C， MANDUCHI R. Bilateral filtering for gray and color images[C]// Institute of Electrical & Electronic Engineers. Sixth International Conference on Computer Vision. USA： IEEE Computer Society， 1998：839-846.

[4] HE K， SUN J， TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（6）：1397-1409.

[5] 朱世松，瞿佩云.基于小波變換和引導(dǎo)濾波的多聚焦圖像融合[J].測控技術(shù)，2020，39（09）：103-107.

[6] LI S， KANG X， HU J. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing， 2013， 22（7）：2864-2875.

[7] 成亞玲，柏智，譚愛平.基于引導(dǎo)濾波和差分圖像的多聚焦圖像融合方法[J].計算機(jī)應(yīng)用，2021，41（01）：220-224.

[8] 劉帆，陳澤華，柴晶.一種基于深度神經(jīng)網(wǎng)絡(luò)模型的多聚焦圖像融合方法[J].山東大學(xué)學(xué)報（工學(xué)版），2016，46（03）：7-13.

[9] LIU Y， CHEN X， PENG H， et al. Multi-focus image fusion with a deep convolutional neural network[J]. Information Fusion， 2017， 36：191-207.

[10] 張舞杰，李迪，葉峰.基于Sigmoid函數(shù)擬合的亞像素邊緣檢測方法[J].華南理工大學(xué)學(xué)報（自然科學(xué)版），2009，37（10）：39-43.

[11] 付爭方，朱虹，薛杉，等.基于Sigmoid函數(shù)擬合的多曝光圖像直接融合算法[J].儀器儀表學(xué)報，2015，36（10）：2321-2329.

[12] HAN Y， CAI Y， CAO Y， et al. A new image fusion performance metric based on visual information fidelity[J]. Information Fusion， 2013， 14（2）：127-135.

作者簡介：

郭萬嶺（1994-），女，碩士生.研究領(lǐng)域：圖像處理，壓縮感知.