一種基于無監(jiān)督學(xué)習(xí)的空間域圖像融合方法

王淑青， 蔡穎婧

(1 湖北工業(yè)大學(xué)湖北省電網(wǎng)智能控制與裝備工程技術(shù)研究中心，湖北 武漢 430068；2 湖北工業(yè)大學(xué)電氣與電子工程學(xué)院， 湖北 武漢 430068)

過去的幾十年里出現(xiàn)的多種圖像融合方法可以分為兩類: 變換域方法和空間域方法[1]。最經(jīng)典的是基于多尺度變換的變換域融合方法(MST)理論,如基于拉普拉斯算子的金字塔(LP)[2]和低通的比率金字塔(RP)[3]以及離散小波變換(DWT)[4],還有雙數(shù)復(fù)小波變換(DTCWT)[5]、曲波變換(CVT)和非下采樣輪廓波變換(NSCT)，以及稀疏表示(SR)和摳圖融合(IMF)[6-8]。這些方法的關(guān)鍵在于，可以在選定的變換域中通過分解系數(shù)來測量源圖像的活躍度。顯然，變換域的選擇在這些方法中起著至關(guān)重要的作用。

近年來，深卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像處理方面取得了巨大的成功。一些研究試圖使用大容量深卷積模型來測量活躍度。Liu等[9]首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于多聚焦圖像融合。Prabhakar[10]提出了一種基于CNN的無監(jiān)督曝光融合方法，稱為深度融合。Li和Wu[11]提出了DenseFuse來融合紅外圖像和可見光圖像，采用無監(jiān)督的編解碼器策略來獲取有用的特征，并按L1-norm融合。受深度融合的啟發(fā)，本文以無監(jiān)督編解碼器的方式訓(xùn)練網(wǎng)絡(luò)，并且將空間頻率作為融合規(guī)則來獲得源圖像的活躍度和決策圖，這與關(guān)鍵假設(shè)一致，即只有在景深范圍內(nèi)的對象才具有清晰的外觀。

1 圖像融合

首先，在訓(xùn)練階段，訓(xùn)練一個(gè)自動(dòng)編碼器網(wǎng)絡(luò)來提取高維特征。然后利用融合層在融合階段的深層特征計(jì)算出融合層的活躍度。最后，得到了融合兩個(gè)多焦點(diǎn)源圖像的決策圖。本文提出的算法只針對融合兩幅源圖像。

1.1 深層特征提取

從DenseFuse得到啟發(fā)，在訓(xùn)練階段舍去融合操作，只使用編碼器和解碼器對輸入圖像進(jìn)行重構(gòu)。在編碼器和解碼器的參數(shù)確定后，利用空間頻率從編碼器獲得的深層特征中計(jì)算活躍度。

編碼器由兩部分(C1和SEDense塊)組成。C1是編碼器網(wǎng)絡(luò)中的一個(gè)3×3卷積層。DC1、DC2和DC3是SEDense塊中的3×3個(gè)卷積層，每層的輸出通過級聯(lián)操作連接。為了精確地重建圖像，網(wǎng)絡(luò)中不存在池層。擠壓和激勵(lì)(SE)塊可以通過自適應(yīng)重新校準(zhǔn)channel-wise特征響應(yīng)來增強(qiáng)空間編碼，實(shí)驗(yàn)表明了這種結(jié)構(gòu)的影響。解碼器由C2、C3、C4和C5組成，用于重建輸入圖像。為了訓(xùn)練編碼器和解碼器，將損失函數(shù)L最小化，它結(jié)合了像素?fù)p失LP和結(jié)構(gòu)單線性度(SSIM)損失LSSIM。其中λ是一個(gè)常數(shù)，體現(xiàn)損失目標(biāo)的權(quán)重

L=λLssim+LP

(1)

像素?fù)p失LP表示輸出(O)和輸入(I)之間的歐氏距離。

LP=‖O-I‖2

(2)

SSIM損失Lssim表示O和I之間的結(jié)構(gòu)差異，其中SSIM表示結(jié)構(gòu)相似操作。

Lssm=1-SSIM(O,I)

(3)

1.2 利用深度特征進(jìn)行空間頻率計(jì)算

在本文中，編碼器為圖像中的每個(gè)像素提供高維深度特征。但原始的空間頻率是在單通道灰度圖像上計(jì)算的。因此對于深層特征，其修改了空間頻率計(jì)算方法。設(shè)F表示由編碼器塊驅(qū)動(dòng)的深度有限元。F(x,y)表示一個(gè)特征向量，(x,y)表示這些向量在圖像中的坐標(biāo)。本文使用下面的公式計(jì)算它的空間頻率，其中RF和CF分別是行向量頻率和列向量頻率。

(4)

(5)

(6)

其中r為核半徑。原始的空間頻率是基于塊的，而本文方法是基于像素的。于是可以比較兩個(gè)對應(yīng)的SF1和SF2的空間頻率，其中SFk中的k是源圖像的索引。

(7)

圖 1 詳細(xì)的融合策略

1.3 一致性驗(yàn)證

在連接部分可能有一些小的線或毛刺，并且一些相鄰的區(qū)域可能被不適當(dāng)?shù)臎Q定斷開。于是使用小型磁盤結(jié)構(gòu)元素交替打開和關(guān)閉操作符來處理決策映射。這樣既可以消除小的線或毛刺，平滑聚焦區(qū)域的連接部分，又將相鄰區(qū)域合并為一個(gè)整體區(qū)域。當(dāng)圓盤結(jié)構(gòu)的半徑等于空間頻率核半徑時(shí)，可以很好地檢測到小直線或毛刺，并能正確地連接相鄰區(qū)域。本文采用了與Liu等人相同的小區(qū)域去除策略并將小于區(qū)域閾值的區(qū)域反轉(zhuǎn)。本文通常將閾值設(shè)置為0.01×H×W，其中H和W分別為源圖像的高度和寬度。

在聚焦區(qū)域和非聚焦區(qū)域之間存在一些不需要的工件。與Nejati,Samavi和Shirani[12]類似，利用有效的保邊濾波、制導(dǎo)濾波提高初始決策圖的質(zhì)量，它可將制導(dǎo)圖像的結(jié)構(gòu)信息傳遞到輸入圖像的濾波結(jié)果中。采用初始融合圖像作為指導(dǎo)圖像來指導(dǎo)初始決策圖的濾波。在這項(xiàng)工作中,實(shí)驗(yàn)設(shè)置本地窗口半徑4和正規(guī)化參數(shù)ε為0.1,引導(dǎo)濾波算法。

1.4 融合

最后，利用所得到的決策圖D，和像素加權(quán)平均規(guī)則計(jì)算融合后的F。

F(x,y)=D(x,y)Img1(x,y)+(1-D(x,y))Img2(x,y)

(8)

輸入圖像表示為預(yù)先注冊的Imgk，其中k表示源圖像的索引。融合圖像的代表性可視化如圖2所示。

(a)近聚焦源圖像

(b)遠(yuǎn)聚焦源圖像

(c)融合結(jié)果圖 2 融合結(jié)果的可視化

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)中，使用38對多焦點(diǎn)圖像作為測試集進(jìn)行評估。由于無監(jiān)督策略，首先使用MS-COCO訓(xùn)練編解碼器網(wǎng)絡(luò)。該階段以82783幅圖像作為訓(xùn)練集，每次迭代使用40504幅圖像驗(yàn)證重建能力。所有的圖像都被調(diào)整為256×256，并轉(zhuǎn)換為灰度圖像。學(xué)習(xí)率設(shè)為1×10-4，每隔2個(gè)周期下降0.8倍。設(shè)置λ= 3與DenseFuse相同和優(yōu)化目標(biāo)函數(shù)對權(quán)重的網(wǎng)絡(luò)層。批次大小和年代分別為48和30。然后利用所獲得的參數(shù)對上述測試集進(jìn)行SF融合。

對該算法的實(shí)現(xiàn)源自于公開可用的Pytorch框架。網(wǎng)絡(luò)訓(xùn)練和測試是在一個(gè)使用4 NVIDIA 1080Ti GPU和44GB內(nèi)存的系統(tǒng)上進(jìn)行的。

2.2 目的圖像融合質(zhì)量指標(biāo)

該融合方法是與16個(gè)代表圖像融合方法相比,分別為拉普拉斯算子的金字塔(LP),低通的比率金字塔(RP)，非抽樣輪廓波變換(NSCT),離散小波變換(DWT), dual-tree復(fù)小波變換(DTCWT),稀疏表示(SR),曲波變換(CVT)),引導(dǎo)過濾(GF),多尺度加權(quán)梯度(MWG),密集的篩選(DSIFT),空間頻率(SF)的FocusStack,圖像消光融合(IMF),DeepFuse、DenseFuse (add和L1-norm融合策略)和CNN-Fuse。

為了客觀評價(jià)不同方法的融合性能，采用了Qg、Qm和Qcb三個(gè)融合質(zhì)量指標(biāo)。對于上述三個(gè)指標(biāo)，值越大表示融合性能越好。在本文中可以找到一個(gè)很好的全面的質(zhì)量度量調(diào)查。為了進(jìn)行公平的比較，使用了相關(guān)出版物中給出的這些度量的默認(rèn)參數(shù)。

2.3 與其他融合方法進(jìn)行比較

首先比較了基于視覺感知的不同融合方法的性能。本文主要以兩種方式提供了四個(gè)例子來說明不同方法之間的差異。

在圖3中，可視化了兩個(gè)融合的示例，例如“獅頭像”和“筆記本”圖像及其融合結(jié)果。在每張圖像中，聚焦和離焦部分邊界附近的區(qū)域被放大并顯示在左上角。在“獅頭像”的結(jié)果中，可以看到不同方法對獅頭像的邊界都進(jìn)行處理。DWT顯示“鋸齒狀”形狀，CVT、DSIFT、SR、DenseFuse、CNN顯示不需要的工件。對于DWT和DenseFuse，左上角屋檐的亮度也有異常的增加。而MWG中相同的區(qū)域是失焦的，表明該方法不能很好地檢測出聚焦區(qū)域。在“筆記本”的結(jié)果中，一排掛鐘位于聚焦和離焦的邊緣，可以看到除了SESF-Fuse外，所有的方法都顯示出平滑和模糊的結(jié)果。

圖 3 不同“獅頭像”與“筆記本”的可視化融合結(jié)果

為了更好的對比，圖4和圖5分別顯示了從每幅融合圖像中減去第一個(gè)源圖像得到的差分圖像，并將每幅差分圖像的值歸一化為0到1的范圍。如果近聚焦區(qū)域被完全檢測到，差分圖像將不會(huì)顯示出該區(qū)域的任何信息。因此，CVT、DSIFT、DWT和DenseFuse-1e3-L1-Norm不能很好地檢測出聚焦區(qū)域。SR, MWG和CN在嬰兒邊緣的區(qū)域表現(xiàn)的很好，因?yàn)槿匀豢梢钥吹浇劢箙^(qū)域的輪廓。此外，SESF-Fuse在近聚焦區(qū)域的中心或邊緣區(qū)域都有良好的性能。在圖5中，近焦點(diǎn)區(qū)域是石頭。與上述觀察結(jié)果相同，CVT、DSIFT、DWT、NSCT、DenseFuse不能很好地檢測到聚焦區(qū)域。除了石頭的邊界區(qū)域，MWG和CNN的效果都很好。

圖 4 不同融合方法下“嬰兒”的融合結(jié)果

圖 5 不同融合方法下“?！钡娜诤闲Ч?/p>

表1 與其他融合方法的比較

表1列出了使用上述三個(gè)指標(biāo)的不同融合方法的目標(biāo)性能?？梢钥吹剑贑NN的方法和所提出的方法在Qg和Qcb融合指標(biāo)的平均得分上明顯優(yōu)于其他15種方法。對于Qg指標(biāo)，CN- Fuse和SESF-Fuse的性能相當(dāng)。然而，CNN-Fuse是一種監(jiān)督方法，需要生成不同模糊程度的合成圖像來訓(xùn)練一個(gè)兩類圖像分類網(wǎng)絡(luò)。相比之下，本方法只需要訓(xùn)練一個(gè)不需要生成合成圖像數(shù)據(jù)的無監(jiān)督模型。對于Qm度量，SESF-Fuse的平均核比LP小，但是，所提出的方法的第一個(gè)數(shù)達(dá)到了最大值，這意味著它比其他方法具有更強(qiáng)的魯棒性。

綜合考慮以上主觀視覺質(zhì)量與客觀評價(jià)指標(biāo)的比較，提出的基于SESF - Fuse的融合方法總體上優(yōu)于其他方法，在多焦點(diǎn)圖像融合中表現(xiàn)出了最先進(jìn)的性能。

3 結(jié)論

本文提出了一種無監(jiān)督深度學(xué)習(xí)模型來解決多焦點(diǎn)圖像融合問題。首先訓(xùn)練一個(gè)無監(jiān)督的編解碼器網(wǎng)絡(luò)來獲取輸入圖像的深層特征，然后利用這些特征和空間頻率計(jì)算活躍度和決策圖進(jìn)行圖像融合。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的融合方法相比，該方法在客觀和主觀評價(jià)方面均取得了較好的融合性能。證明了無監(jiān)督學(xué)習(xí)與傳統(tǒng)圖像處理算法相結(jié)合的可行性。另外同樣的策略也適用于其他圖像融合任務(wù)，如多曝光融合、紅外融合和醫(yī)學(xué)圖像融合。