基于引導(dǎo)濾波和差分圖像的多聚焦圖像融合方法

成亞玲，柏 智，譚愛平

（1.湖南工業(yè)職業(yè)技術(shù)學(xué)院信息工程學(xué)院，長沙 410208；2.湖南城市學(xué)院機械與電氣工程學(xué)院，湖南益陽 413000）

0 引言

光學(xué)成像設(shè)備的聚焦能力有限，造成一幅圖像中只有部分物體可以被聚焦。多聚焦圖像融合技術(shù)提取多幅局部對焦圖像的互補信息以合成單幅圖像。由于融合后的圖像含有更多的信息，更便于視覺系統(tǒng)理解。目前，多聚焦圖像融合技術(shù)［1-4］已被廣泛應(yīng)用于計算機視覺、臨床理療、軍事監(jiān)測等多個行業(yè)。本文針對傳統(tǒng)的多聚焦圖像空間域融合容易出現(xiàn)的邊緣模糊問題，提出一種基于引導(dǎo)濾波和差分圖像的多聚焦圖像融合方法。

縱觀近20 年，研究者提出了許多優(yōu)秀的多聚焦圖像融合算法，大致分為兩類：變換域融合算法和空間域融合算法。前一類算法主要對圖像的變換系數(shù)進行融合，隨后對融合后的變換系數(shù)進行反變換以獲得融合圖像。在此類算法中，常用的有小波變換［5-6］、曲波變換［7-9］等。另外，文獻［10-12］提出了基于非下采樣Contourlet 變換（Non-Subsampled Contourlet Transform，NSCT）的多聚焦圖像融合方法；文獻［13-15］提出了基于稀疏表示的圖像融合方法；文獻［16］提出了基于卷積稀疏表示的圖像融合方法；文獻［17］將多聚焦圖像融合任務(wù)作為二分類任務(wù)，采用卷積神經(jīng)網(wǎng)絡(luò)對源圖像進行分類。總的來說，上述算法均有其優(yōu)勢，在一定條件下能夠取得較好的融合結(jié)果，但由于此類算法依賴變換系數(shù)進行融合，變換系數(shù)的選擇決定著融合圖像的質(zhì)量，即此類方法的融合圖像存在明顯的人工效應(yīng)。另外，對圖像的分解和變換需要較大的計算量，造成此類方法難以實現(xiàn)實時處理。與變換域融合不同的是，空間域融合直接將融合規(guī)則應(yīng)用于圖像的像素點或圖像塊，故算法的實時性高、復(fù)雜度低。為了避免對像素點的相同操作，研究者提出了許多不同的空間域融合算法。文獻［18］采用引導(dǎo)濾波器測量源圖像的活躍水平；類似的；文獻［19］采用Laplace 濾波器測量源圖像的活躍水平以得到?jīng)Q策圖；文獻［20］采用區(qū)域識別和亞像素定位對圖像進行重建；文獻［21］將該方法應(yīng)用于視覺特征和紋理特征的融合。此類方法由于直接對像素值進行操作，其缺點是容易在融合圖像的邊緣產(chǎn)生偽影。

為了解決空間域融合的上述問題，本文提出一種基于引導(dǎo)濾波和差分圖像的多聚焦圖像融合方法。通過將現(xiàn)有的引導(dǎo)濾波和差分圖像兩種方法的巧妙結(jié)合，在保證算法實時性的同時，有效地解決了傳統(tǒng)方法存在的偽影問題。本文方法的簡要流程為：首先，將源圖像進行不同水平的引導(dǎo)濾波，并對濾波后圖像進行差分，獲得聚焦特征圖像；其次，利用聚焦特征圖像梯度能量（Energy of Gradient，EOG）信息，獲得初始決策圖；然后，對決策圖像進行優(yōu)化，去除噪點；接著，為了避免融合后的圖像存在邊緣驟變問題，對決策圖像進行引導(dǎo)濾波；最后，根據(jù)決策圖對多聚焦圖像進行融合，最終得到一幅信息豐富、整體對焦的融合圖像。

1 引導(dǎo)濾波

引導(dǎo)濾波器［22］是一種高效的邊緣保持濾波器，其濾波時間與濾波器尺寸相獨立，濾波器權(quán)重由引導(dǎo)圖像確定。設(shè)輸入圖像為P，在以中心為k的局部窗口ωk中，假設(shè)濾波器輸出結(jié)果O和引導(dǎo)圖像I為線性變換，則有：

其中：ωk是尺寸為(2r+1)×(2r+1)的矩形窗口，Ii表示i像素強度，線性系數(shù)ak和bk為ωk內(nèi)的常數(shù)，通過最小化輸出圖像O和輸入圖像P可以近似估算出ak和bk。最小化操作的誤差函數(shù)為：

其中：ε是自定義的參數(shù)，ak和bk通過如下的線性回歸公式計算，即

其中：μk和δk分別為輸入圖像I在窗口ωk內(nèi)的均值和方差；|ω|為窗口ωk內(nèi)的像素值序號是引導(dǎo)圖像P在窗口ωk內(nèi)的均值。濾波器輸出通過式（4）計算：

圖1 不同等級的引導(dǎo)濾波Fig.1 Guided filtering at different levels

2 本文方法

本文給出一種基于引導(dǎo)濾波和差分圖像的多聚焦圖像融合方法。該方法可以分為以下3步：

步驟1 對多聚焦圖像進行不同水平的引導(dǎo)濾波，并對濾波后圖像進行圖像差分，獲得圖像的聚焦特征圖；

步驟2 對聚焦特征圖進行圖像強度變化和圖像EOG 檢測，得到初始決策圖像；

步驟3 對初始決策圖像進行引導(dǎo)濾波等優(yōu)化，得到最終決策圖像并融合。

下面詳細描述具體的處理過程。

2.1 圖像引導(dǎo)濾波和圖像差分

如前文所述，當引導(dǎo)濾波器的引導(dǎo)圖像和輸入圖像相同時，引導(dǎo)濾波器是一種高效的保邊平滑濾波器；當引導(dǎo)圖像和輸入圖像不同時，引導(dǎo)濾波器可以將引導(dǎo)圖像中的特征注入到輸入圖像，從而使得濾波后的圖像具有引導(dǎo)圖像的部分特征。

首先對輸入的多幅多聚焦圖像進行不同水平的引導(dǎo)濾波。本文以兩幅圖像為例，若圖像多于兩幅，可以先融合兩幅圖像，然后將融合后的圖像同第三幅多聚焦圖像進行融合，以此類推。

給定輸入圖像I1和I2，通過進行引導(dǎo)濾波，得到第一次濾波后的圖像G1和G2。該過程如式（5）所示：

其中：GF(·)表示引導(dǎo)濾波操作，In表示第n幅圖像，表示第n幅圖像第1次引導(dǎo)濾波后的結(jié)果，r1和ε1分別表示引導(dǎo)濾波器引導(dǎo)濾波時需要選用的兩個參數(shù)，其中r1為濾波窗口半徑，ε1為歸一化截斷值，取值范圍為［0，1］，其值越大，平滑效果越明顯。由于在不同引導(dǎo)圖像下的引導(dǎo)濾波操作可以提取多聚焦圖像不同的特征，將第一次濾波后的兩幅圖片作為引導(dǎo)圖像，將多聚焦圖像I1和I2作為輸入圖像，再次進行引導(dǎo)濾波，該過程如式（6）所示：

其中：r2和r1含義相同，ε2和ε1含義相同。本文處理圖像的窗口半徑為r1=r2=2。截斷值方面，根據(jù)前文所述，其值的選取將影響對圖像的濾波效果：其值太小，平滑效果不明顯；太大則過度濾波，引起原圖像信息的丟失。為此，經(jīng)過不同值的測試，本文取ε1=ε2=0.1。通過對圖像進行不同的引導(dǎo)濾波操作，提取不同的多聚焦圖像特征。因為引導(dǎo)圖像的不同，濾波后的圖像在平滑程度以及邊緣保留上有不同的表現(xiàn)。在這個環(huán)節(jié)中，對濾波后的圖像進行差分，從而得到多聚焦圖像的聚焦特征圖，該過程可以用式（7）表示，即：最終得到聚焦特征圖。

2.2 梯度能量檢測及初始決策圖生成

在圖像差分的基礎(chǔ)上，采用局部聚焦檢測方法，對S1和S2進行檢測。具體來說，采用圖像EOG 來檢測聚焦特征圖像所反映的聚焦情況。EOG 描述了圖像梯度能量的變化情況，對EOG進行檢測的過程如式（8）所示：

其中：Ii=I(i+1，j)-I(i，j)和Ij=I(i，j+1)-I(i，j)分別表示圖像的水平梯度和縱向梯度，ω表示尺寸為n×n的局部窗口。

圖像的初始決策圖可以根據(jù)式（9）得到，即：

其中E1(i，j)和E2(i，j)分別表示第(i，j)點處圖像I1(i，j)和I2(i，j)的梯度能量，經(jīng)梯度能量信息檢測后得到的初始決策圖D1如圖2（c）所示。

2.3 決策圖優(yōu)化及融合

初始決策圖D1存在著許多的孔洞，造成空間存在不連續(xù)性，其原因在于，在某些區(qū)域聚焦和非聚焦產(chǎn)生了近似的效果，導(dǎo)致感興趣容積（Volume-Of-Interest，VOI）和EOG 不能區(qū)分出來。對此，本節(jié)對初始決策圖D1進行優(yōu)化。

首先，對初始決策圖D1進行形態(tài)學(xué)操作，去除狹小的縫隙和突出物，該過程如式（10）所示，即：

其中：Θ 表示腐蝕操作，⊕表示膨脹操作，B為盤狀結(jié)構(gòu)元，其大小為15。

隨后對V2進行空間一致性檢測，對小于閾值的孔洞區(qū)域進行移除，得到移除孔洞的決策圖，該過程如式（11）所示，即：

其中，T為V2中孔洞區(qū)域的閾值，小于此閾值的將移除。在本文中，T設(shè)置為決策圖像面積的1%，即T=0.01×H×W，其中H和W分別為決策圖像的高和寬。移除孔洞后的決策圖如圖2（d）所示。

為了保留多聚焦圖像的邊緣信息，避免因決策圖像在邊緣的像素值變化劇烈造成的融合圖像邊緣模糊現(xiàn)象，對進行了引導(dǎo)濾波操作，提取源圖像中的邊緣細節(jié)注入到最終決策圖像中。該過程表示為式（12），即：

其中，A為采用融合后的圖像，其具有源圖像I1和I2在邊緣部分突變較大的信息，引導(dǎo)濾波器將A中的邊緣信息提取到D2中。比起，D2充分保留了來自源圖像I1和I2的邊緣信息，并在邊緣上有一定的平滑作用，避免了因直接采用所導(dǎo)致的邊緣像素值突變的問題。濾波后的最終決策圖D2如圖2（e）所示。

最后，根據(jù)最終決策圖像D2對源圖像I1和I2進行融合得到融合圖像F，該過程如式（13）所示：

最終，融合后的圖像如圖2（f）所示。

圖2 源圖像-決策圖-融合圖像獲得過程Fig.2 Obtaining process of source image-decision map-fusion image

3 實驗結(jié)果及分析

3.1 實驗說明

為了驗證本文方法的有效性，重新設(shè)計實驗，對3 組經(jīng)典的多聚焦圖像進行融合，并與其他9 種主流的方法進行對比。這9 種方法分別是基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的方法［17］、基于卷積稀疏表示（Convolutional Sparse Representation，CSR）的方法［16］、基于曲波變換（CurVelet Transform，CVT）的方法［18］、基于快速圖像濾波（Fast Image Filtering，F(xiàn)IF）的方法［19］、基于引導(dǎo)濾波（Guide Filter，GF）的方法［18］、NSCT［11］、基于稀疏表示（Sparse Representation，SR）的方法［13］、基于NSCT 和SR 結(jié)合（NSCTSR）的方法［23］、基于二元樹復(fù)小波變換（Double Tree Complex Wavelet Transform，DTCWT）的方法［9］。對比實驗中的參數(shù)均設(shè)置為相關(guān)內(nèi)容文獻中的默認參數(shù)。

另外，引入客觀評價指標對融合結(jié)果的評價。本文采用互信息（Mutual Information，MI）、邊緣保持度（QAB/F）、功能互信息（Function Mutual Information，F(xiàn)MI）、視覺信息保真度（Visual Information Fidelity，VIF）作為客觀評價指標。MI 反映了融合圖像包含多聚焦圖像的信息量；QAB/F表示融合圖像包含多聚焦圖像邊緣的信息量；FMI 用來計算融合圖像的特征互信息量；VIF 是視覺信息保真度。上述4 個指標的值越大，代表融合效果越好。

3.2 主觀視覺效果

選取3組經(jīng)典的多聚焦圖像作為實驗圖像，并與其他9種多聚焦圖像融合算法得到的結(jié)果進行了比較。這3 組多聚焦圖像的實驗圖像分別如圖3～5所示。

圖3 Clock圖像融合Fig.3 Fusion of Clock images

圖3 為第一組多聚焦圖像Clock 的融合結(jié)果?？梢钥吹剑珻VT 和FIF 在融合圖像的邊緣產(chǎn)生了明顯的光環(huán)現(xiàn)象，SR 和DTCWT 存在圖像的失真，這是由于變換域的系數(shù)改變造成的融合圖像中存在人工效應(yīng)。本文方法在空間域進行活躍水平測量，得到了初始的決策圖進行圖像融合，有效地解決了上述問題，因此本文方法所取得的融合圖像，細節(jié)豐富，邊緣清晰，較好地保留了來自多聚焦圖像的信息。

圖4為第二組多聚焦圖像Lab的融合結(jié)果?？梢钥闯?，CSR和NSCT的融合結(jié)果存在對比度降低的問題，F(xiàn)IF的融合結(jié)果在鐘表周圍有偽影現(xiàn)象，融合效果不明顯，SR方法在“3M”標志周圍相比源圖像丟失了部分高頻細節(jié)。相較而言，本文提出的方法則較好地將多聚焦圖像的細節(jié)信息保存下來。

圖4 Lab圖像融合Fig.4 Fusion of Lab images

圖5 為第三組多聚焦圖像Pepsi 的融合結(jié)果。主觀看來，CVT和DTCWT的融合結(jié)果較為模糊，在桌子和杯子之間產(chǎn)生了明顯的偽影；GF 存在明顯的對比度下降，丟失了一部分來自原始圖像的細節(jié)；與之對比，本文提出的方法通過利用引導(dǎo)濾波器對決策圖像的邊緣進行處理，使得決策圖像的邊緣利用來自源圖像中的細節(jié)信息，更好地匹配決策圖像和源圖像在邊緣上的紋理，從而有效地解決了偽影和對比度下降的問題，取得了令人滿意的融合效果。

圖5 Pepsi圖像融合Fig.5 Fusion of Pepsi images

3.3 客觀指標評價

為了進一步驗證本文方法的有效性，下面對融合圖像進行客觀指標計算，結(jié)果如表1所示，其中加黑的數(shù)值表示該評價指標中的最大值，代表融合圖像效果最佳。通過對比可以看到，較之其他9種算法，本文方法幾乎在所有指標上均取得了令人滿意的結(jié)果，尤其在互信息MI的數(shù)值上，本文方法遠超過其他方法。該結(jié)果表明，通過本文方法所取得的融合圖像，能夠較好地保留了來自源圖像中的信息，避免了存在于其他方法中的互信息損失問題。此外，其他客觀指標計算結(jié)果證實了本文方法能夠有效地提取來自源圖像的梯度細節(jié)信息，具有更好的視覺效果。

表1 多聚焦圖像融合結(jié)果評價指標結(jié)果對比Tab.1 Comparison of evaluation indicators of multi-focus image fusion results

4 結(jié)語

針對傳統(tǒng)多聚焦圖像融合算法在融合圖像邊緣容易出現(xiàn)偽影、光環(huán)的問題，本文提出了一種基于引導(dǎo)濾波和差分圖像的多聚焦圖像融合方法。通過將現(xiàn)有的引導(dǎo)濾波和差分圖像方法的有機結(jié)合，在保證算法實時性的同時有效地克服了傳統(tǒng)方法存在的偽影問題。實驗環(huán)節(jié)從主觀視覺體驗和客觀指標評價上驗證了本文方法的有效性。

針對后續(xù)研究工作，將對本文方法中的源圖像活躍水平測量環(huán)節(jié)進行優(yōu)化，以使其能得到更好的決策圖像，從而改善融合效果。