無監(jiān)督深度學(xué)習(xí)模型的多聚焦圖像融合算法

王長城，周冬明，劉琰煜，謝詩冬

云南大學(xué) 信息學(xué)院，昆明650504

由于光學(xué)鏡頭的景深有限，很難讓同一場景內(nèi)的不同的物體在一次拍攝內(nèi)全焦，因而多聚焦圖像融合已成為圖像處理領(lǐng)域的一個(gè)重要課題[1]。許多研究人員致力于設(shè)計(jì)融合算法，將同一場景的多個(gè)顯著特征不同的圖像整合成全聚焦融合圖像。融合圖像可用于進(jìn)一步的圖像處理任務(wù)，因此，多聚焦圖像融合技術(shù)在醫(yī)學(xué)成像、計(jì)算機(jī)視覺、遙感和數(shù)字成像領(lǐng)域有著廣泛的應(yīng)用[2]。

隨著深度學(xué)習(xí)的發(fā)展，越來越多的深度學(xué)習(xí)技術(shù)應(yīng)用于各種圖像融合任務(wù)，并取得了優(yōu)異的效果?；诰矸e神經(jīng)網(wǎng)絡(luò)（CNN）的多聚焦圖像融合方法[3]首先被提出，該算法以監(jiān)督學(xué)習(xí)的方式訓(xùn)練網(wǎng)絡(luò)對“聚焦”和“離焦”圖像進(jìn)行分類，以計(jì)算融合權(quán)重圖。之后，基于像素的CNN（P-CNN）[4]通過對多聚焦圖像中的“聚焦”和“離焦”像素進(jìn)行分類，對算法進(jìn)行了改進(jìn)。但是CNN的性能更多取決于帶標(biāo)簽的大型訓(xùn)練數(shù)據(jù)集的可用性，算法通過將用于圖像識別的基準(zhǔn)數(shù)據(jù)集模糊化模擬多聚焦圖像以解決數(shù)據(jù)集缺乏的問題，但生成的訓(xùn)練數(shù)據(jù)集脫離實(shí)際，很難實(shí)現(xiàn)優(yōu)越的融合效果。

Deepfuse[5]首先提出以無監(jiān)督學(xué)習(xí)的方式訓(xùn)練網(wǎng)絡(luò)來融合靜態(tài)多曝光圖像，Densefuse[6]以無監(jiān)督的方式訓(xùn)練網(wǎng)絡(luò)旨在融合紅外和可見圖像，它采用編碼器-解碼器網(wǎng)絡(luò)，編碼器網(wǎng)絡(luò)提取深度特征，解碼器融合特征獲得融合圖像。但由于無監(jiān)督端到端的學(xué)習(xí)運(yùn)用到多聚焦圖像融合上不能同時(shí)融合彩色圖像和灰色圖像，并且特征提取不夠全面，不夠有針對性，導(dǎo)致融合圖像易模糊。

基于以上原因，提出了基于無監(jiān)督深度學(xué)習(xí)模型和形態(tài)聚焦檢測的多聚焦圖像融合算法，通過無監(jiān)督學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)，解決缺乏帶標(biāo)簽的多聚焦圖像數(shù)據(jù)集問題，再利用形態(tài)聚焦檢測得到準(zhǔn)確的決策圖。實(shí)驗(yàn)結(jié)果表明，與其他7種代表性的多聚焦算法相比，該方法在主觀視覺和客觀指標(biāo)評價(jià)上都達(dá)到了最先進(jìn)的性能。

1 相關(guān)工作

在過去的幾十年中，各種圖像融合方法涌現(xiàn)，這些方法大致可以分為兩類：變換域方法和空間域方法。由于CNN的出現(xiàn)，基于CNN的算法變得流行起來。在這里，對傳統(tǒng)方法和基于CNN的圖像融合技術(shù)做簡要的概述。

變換域融合方法實(shí)現(xiàn)的關(guān)鍵是選擇不同的變換域，通過多尺度變換將源圖像變換到某個(gè)特征域，然后對多個(gè)輸入圖像的特征執(zhí)行加權(quán)融合，最后對融合特征進(jìn)行逆變換以生成融合圖像。典型的方法有：交叉雙邊濾波圖像融合（CBF）[7]，離散余弦諧波小波變換（DCHWT）[8]、非下采樣輪廓波變換（NSCT）[9]、剪切波變換（ST）[10]和曲線波變換（CVT）[11]。變換域方法整體實(shí)現(xiàn)比較簡單，但是變換域算法的融合策略或加權(quán)系數(shù)通常難以為得到最佳融合效果而優(yōu)化，生成的融合圖像對比度較低且比較模糊。

空間域融合方法大體分為兩類[12]：基于像素、基于塊或區(qū)域。早期的空間域融合方法大多根據(jù)設(shè)定的準(zhǔn)則將輸入圖像分解為小塊或區(qū)域，對相應(yīng)塊或區(qū)域進(jìn)行聚焦檢測，但融合的圖像往往會出現(xiàn)不良的偽像。而基于像素的多聚焦融合方法能夠從源圖像中提取細(xì)節(jié)而且能保持融合圖像的空間一致性，因此基于像素的空間域融合方法受到了廣泛的研究，例如引導(dǎo)濾波（GFF）[13]、多尺度加權(quán)梯度融合（MWGF）[14]，以及基于密集SIFT（DSIFT）[15]等多種方法已被提出。但基于空間域的方法往往對噪聲更為敏感，生成的融合圖像邊界易出現(xiàn)識別錯(cuò)誤。

CNN的出現(xiàn)為圖像融合領(lǐng)域帶來了新的發(fā)展。它作為數(shù)據(jù)驅(qū)動(dòng)的模型，相比傳統(tǒng)方法要更加穩(wěn)健，生成的融合圖像效果更好，細(xì)節(jié)信息更豐富。基于CNN的多聚焦圖像融合[3]算法將多聚焦圖像融合視為分類任務(wù)，利用CNN對隨機(jī)添加了高斯模糊的圖像塊進(jìn)行分類，并根據(jù)聚焦還是離焦的信息以此生成初始決策圖。P-CNN[4]同樣也是先通過將原始圖像集添加模糊來模擬多聚焦圖像進(jìn)行訓(xùn)練，但模型輸出的是每個(gè)像素離焦，聚焦或未知的概率，這些概率被用于確定融合權(quán)重圖。

基于CNN的融合算法在提取圖像特征方面優(yōu)于傳統(tǒng)方法，通過將清晰的圖片隨機(jī)模糊后作為訓(xùn)練集進(jìn)行網(wǎng)絡(luò)訓(xùn)練，利用卷積網(wǎng)絡(luò)不斷提取圖像的深度特征，最后將多層網(wǎng)絡(luò)獲得的特征圖整合得到融合圖像。整個(gè)融合過程全部在網(wǎng)絡(luò)中完成，這意味著網(wǎng)絡(luò)的訓(xùn)練難度很大，需要調(diào)整參數(shù)的數(shù)目多并且訓(xùn)練會花費(fèi)大量時(shí)長且不一定能得到理想的融合效果。本文提出基于無監(jiān)督深度卷積網(wǎng)絡(luò)的融合方法，將深度學(xué)習(xí)與傳統(tǒng)方法結(jié)合起來，它由特征提取模塊和聚焦檢測優(yōu)化模塊兩個(gè)部分組成，特征提取模塊是一個(gè)encoder-decoder網(wǎng)絡(luò)，它引入了注意力機(jī)制在容易獲取的無標(biāo)記數(shù)據(jù)集上訓(xùn)練，并將像素?fù)p失和多聚焦融合結(jié)構(gòu)相似性損失之和作為損失函數(shù)來實(shí)現(xiàn)無監(jiān)督學(xué)習(xí)，它通過訓(xùn)練學(xué)習(xí)將輸入的圖像輸出為圖像特征。而聚焦檢測優(yōu)化模塊則利用傳統(tǒng)方法對輸入的圖像特征進(jìn)行聚焦檢測并生成最終的決策圖。本文方法兼具深度學(xué)習(xí)與傳統(tǒng)方法兩者的優(yōu)點(diǎn)，融合圖像相較深度學(xué)習(xí)方法更易于訓(xùn)練和實(shí)現(xiàn)，而比起傳統(tǒng)方法能保有更多的細(xì)節(jié)信息，清晰度更高。

2 方法實(shí)現(xiàn)

本文提出的方法步驟大致如下：初始的源圖像先通過特征提取模塊提取圖像特征，再將提取到的圖像特征輸入聚焦檢測優(yōu)化模塊，生成決策圖并進(jìn)行優(yōu)化，最后優(yōu)化后的決策圖與源圖像相結(jié)合得到最終的融合圖像。算法流程圖如圖1所示，下面就各模塊的具體實(shí)現(xiàn)進(jìn)行詳細(xì)描述。

圖1 算法流程圖Fig.1 Algorithm flow chart

2.1 特征提取模塊

特征提取模塊主體為一個(gè)encoder-decoder網(wǎng)絡(luò)，它的具體結(jié)構(gòu)如圖2所示。encoder網(wǎng)絡(luò)由卷積層C1和SERes模塊[16]兩個(gè)部分組成，大小為3×3的卷積層C1用以提取粗糙圖像特征，SERes模塊由RC1、RC2和RC3這3個(gè)卷積網(wǎng)絡(luò)組成用以提取深度圖像特征。SERes模塊的網(wǎng)絡(luò)采用的是殘差網(wǎng)絡(luò)結(jié)構(gòu)[17]，用以解決傳統(tǒng)的卷積網(wǎng)絡(luò)或全連接網(wǎng)絡(luò)在信息傳遞的過程中存在的信息丟失，損耗等問題，通過直接將輸入信息繞道傳到輸出，保護(hù)信息的完整性，整個(gè)網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的那一部分，簡化了學(xué)習(xí)目標(biāo)和難度，有效提取深度特征。此外，encoder網(wǎng)絡(luò)引入了注意力機(jī)制，在每個(gè)卷積層中加入SE模塊，它能夠?qū)τ诿總€(gè)輸出通道，預(yù)測一個(gè)常數(shù)權(quán)重，并對每個(gè)通道進(jìn)行加權(quán)，強(qiáng)調(diào)有效信息，抑制無效信息，自適應(yīng)地重新校準(zhǔn)逐通道特征響應(yīng)，能增強(qiáng)空間編碼。盡管在訓(xùn)練過程中會增加較低的耗時(shí)，但encoder網(wǎng)絡(luò)性能得到了有效的提升。decoder網(wǎng)絡(luò)由C2、C3、C4和C5這4個(gè)卷積層組成，用于重建輸入圖像特征。

圖2 Encoder-decoder網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Encoder-decoder network structure

在整個(gè)網(wǎng)絡(luò)的訓(xùn)練階段，只考慮encoder-decoder網(wǎng)絡(luò)，在此嘗試訓(xùn)練encoder-decoder網(wǎng)絡(luò)以重建輸入圖像。在實(shí)驗(yàn)中，首先使用MS-COCO[18]訓(xùn)練encoderdecoder網(wǎng)絡(luò)，在訓(xùn)練階段，總計(jì)122 000多張圖片分為訓(xùn)練集和驗(yàn)證集兩個(gè)部分投入了實(shí)驗(yàn)，其中訓(xùn)練集約82 000多張圖，剩余的40 000多張圖像則作為驗(yàn)證集用來驗(yàn)證網(wǎng)絡(luò)迭代過程中的重建能力。圖像大小調(diào)整設(shè)置為256×256，并需轉(zhuǎn)換為灰度圖像，批次大小為48，訓(xùn)練輪次為30，學(xué)習(xí)率參數(shù)設(shè)置為1×10?4，然后每兩個(gè)訓(xùn)練輪次乘以0.8的系數(shù)。固定encoder-decoder網(wǎng)絡(luò)權(quán)重后，再通過多尺度形態(tài)聚焦檢測方法對獲得的深度特征測量活動(dòng)水平。

為了更有效地訓(xùn)練encoder-decoder網(wǎng)絡(luò)提取圖像特征，將損失函數(shù)L設(shè)置為像素?fù)p失Lp和結(jié)構(gòu)相似度損失Lssim與權(quán)重λ的加權(quán)組合，L如式（1）所示，像素?fù)p失Lp和結(jié)構(gòu)相似度損失Lssim分別由式（2）和式（3）表示，權(quán)重λ設(shè)置區(qū)間為[1，10]，在實(shí)驗(yàn)過程中發(fā)現(xiàn)，將λ設(shè)置為[3，5]時(shí)，網(wǎng)絡(luò)訓(xùn)練效果最好，本文設(shè)置λ值為3。此外，使用Adam優(yōu)化器對所有網(wǎng)絡(luò)層的權(quán)重調(diào)整以優(yōu)化目標(biāo)函數(shù)。像素?fù)p失Lp通過計(jì)算網(wǎng)絡(luò)的輸出O與輸入I之間的歐氏距離

結(jié)構(gòu)相似度損失Lssim計(jì)算網(wǎng)絡(luò)的輸出O與輸入I之間的結(jié)構(gòu)性差異，SSIM(*)表示結(jié)構(gòu)相似性操作，它表示輸入和輸出之間的結(jié)構(gòu)相似性，其中μO和μI分別代表O、I的平均值，σO和σI分別表示O、I的標(biāo)準(zhǔn)差，σOI代表O和I的協(xié)方差，而C1、C2分別為常數(shù)，避免分母出現(xiàn)為0的情況。

2.2 聚焦檢測優(yōu)化模塊

模塊的結(jié)構(gòu)如圖3所示，來自特征提取模塊的特征圖進(jìn)行多尺度形態(tài)聚焦檢測得到初始的決策圖，再通過形態(tài)濾波和小塊濾波等一致性檢測手段[19]進(jìn)行優(yōu)化，最后得到了能夠融合多聚焦源圖像的決策圖。

圖3 聚焦檢測模塊流程圖Fig.3 Flow chart of focus detection module

先進(jìn)行多尺度形態(tài)聚焦檢測，用RFM表示特征提取模塊的初始特征圖，利用形態(tài)梯度算子計(jì)算初始特征圖中的梯度特征。

式中，Bj為構(gòu)造的多尺度平盤結(jié)構(gòu)元素，個(gè)數(shù)j為(1,2,…,n)，而°和?分別表示膨脹和腐蝕算子，形態(tài)梯度為膨脹運(yùn)算與腐蝕運(yùn)算之差。

然后將不同尺度下的形態(tài)梯度整合成多尺度形態(tài)梯度。其中wj為尺度j下梯度的加權(quán)值，它的值為1/(2×j+1)。

最后將區(qū)域內(nèi)的多尺度形態(tài)梯度求和，構(gòu)建區(qū)域的多尺度形態(tài)聚焦測量。利用多尺度形態(tài)梯度的總和來描述該區(qū)域的聚焦測量，可以有效測量區(qū)域的銳度，并且降低噪聲的影響。

這時(shí)，GFM1和GFM2分別表示兩張多聚焦源圖像對應(yīng)的多尺度形態(tài)梯度和，然后通過式（7）獲得初始決策圖OFM。

得到初始決策圖之后，運(yùn)用一致性檢測手段對初始決策圖進(jìn)行處理，先進(jìn)行形態(tài)濾波處理。RSO(?)表示形態(tài)濾波處理運(yùn)算，其原理是利用小圓盤形狀的結(jié)構(gòu)元素對檢測到的聚焦區(qū)域進(jìn)行開閉運(yùn)算處理，從而對初始決策圖中的聚焦區(qū)域進(jìn)行微小調(diào)整。

得到調(diào)整后的決策圖ODM(x,y)再通過小塊濾波運(yùn)算處理決策圖中的小塊孤立區(qū)域，SBF(?)表示小塊濾波運(yùn)算，其原理基于小塊孤立區(qū)域面積與設(shè)定的閾值NUM的比較，如果面積小于設(shè)定的閾值NUM則判定為孤立區(qū)域進(jìn)而被濾除。經(jīng)多組實(shí)驗(yàn)發(fā)現(xiàn)實(shí)驗(yàn)的閾值NUM設(shè)置為1/40時(shí)，能有效地去除小的孤立區(qū)域。

經(jīng)調(diào)整優(yōu)化后得到最終的決策圖FDM(x,y)后，如式（10）利用像素級加權(quán)平均規(guī)則計(jì)算融合結(jié)果F(x,y)，IMG1和IMG2分別表示兩張輸入源圖像。

3 實(shí)驗(yàn)分析

網(wǎng)絡(luò)訓(xùn)練完成后，為了驗(yàn)證所提算法是否有效，將其與七種代表性圖像融合算法進(jìn)行了比較，包括多尺度聚焦測量和廣義隨機(jī)游走的多聚焦圖像融合（MSFM）[20]、通用圖像融合框架（IFCNN）[1]、非下采樣輪廓波變換（NSCT）[9]、多尺度加權(quán)梯度融合（MWGF）[14]、引導(dǎo)濾波（GFF）[13]、卷積神經(jīng)網(wǎng)絡(luò)（CNN）[3]和密集SIFT（DSIFT）[15]。使用從各自作者那里獲得的代碼來實(shí)現(xiàn)這些算法，并對來自公共基準(zhǔn)數(shù)據(jù)集[21]的30對多聚焦圖像進(jìn)行了廣泛的實(shí)驗(yàn)。在這30組圖像集中，本文選取了各一組彩色圖像，灰度圖像以及有復(fù)雜邊界的圖像進(jìn)行實(shí)驗(yàn)說明，并以定性和定量方式對算法進(jìn)行了評估。多聚焦圖像融合應(yīng)將每個(gè)源圖像中盡可能多的清晰銳利特征整合到融合圖像，因此首先從主觀視覺感知來定性比較不同融合方法的性能，為此，本實(shí)驗(yàn)部分通過融合圖像與差值圖這兩種方式來展示不同融合圖像的主觀視覺差異。

圖4 展示了各融合方法在彩色圖像集“小孩”上的融合結(jié)果，此外，將融合圖像的邊界區(qū)域局部放大置于各融合圖像的左下角以便更好地進(jìn)行比較。從圖像輪廓這角度進(jìn)行觀察，各方法融合效果較佳，各局部放大圖像中耳朵的輪廓都比較流暢，但圖4（i）耳朵的上半部分與背景部分出現(xiàn)混合，這一小部分虛化嚴(yán)重。從清晰度來看，圖4（c）、（d）、（e）、（f）、（g）局部放大部分相較于（h）、（j）要更模糊一些，此外圖4（e）的圖像亮度明顯有不正常的提高，圖像整體模糊。圖4（j）圖像清晰，圖像局部放大部分輪廓流暢，無不良偽影。

圖4 “小孩”圖像集各融合結(jié)果Fig.4 Fusion results of“child”image set

但僅從融合圖像觀察并不能有力印證提出方法的有效性，為了更直觀地從主觀視覺比較各方法圖像融合效果，圖5可視化了圖4中每個(gè)融合圖像減去第一張前景源圖像而獲得的差值圖像，并且每個(gè)差值圖像的值均被標(biāo)準(zhǔn)化為0到1的范圍。完全相減后，差值圖中被減去的部分越干凈，邊界輪廓越淺說明融合效果更好，反之，如果差值圖中被減去的部分仍然有圖像痕跡，邊界輪廓不準(zhǔn)確且分界明顯，則說明融合效果并不如意。將差值圖中的邊界局部放大進(jìn)行觀察，從圖5中可以看到，圖5（b）、（c）效果最差，邊界痕跡重，并且圖像右半部分都可以清楚看到被減去那一部分的輪廓形狀，圖5（d）邊界痕跡較重，并且邊界輪廓存在小的識別錯(cuò)誤，圖5（a）、（e）、（f）、（g）差值圖中被減去的部分很干凈，邊界輪廓準(zhǔn)確但較明顯，圖5（h）效果最好，邊界輪廓準(zhǔn)確且?guī)缀蹩床坏矫黠@的痕跡。從圖4和圖5兩組實(shí)驗(yàn)表明，本文提出的算法在“小孩”這組彩色圖像集上提供了最好的融合結(jié)果，聚焦區(qū)域附近的中心或邊界區(qū)域都表現(xiàn)優(yōu)異。

圖5 “小孩”圖像集各融合結(jié)果的差值圖Fig.5 Difference diagram of fusion results of“child”image set

在圖6中，可視化了灰色圖像集“書本”以及它的融合示例。在這組灰度融合圖像中，圖6（d）、（f）、（h）比較模糊，局部放大圖像中字母O的周邊出現(xiàn)了點(diǎn)狀的模糊斑點(diǎn)。圖6（c）整體較為清晰，但字母O圈內(nèi)存在灰色的小塊。圖6（e）在字母O內(nèi)同樣存在灰色小塊，并且字母亮度有不正常的提高。而圖6（i）中字母O左下方存在灰白色模糊，圖6（g）和圖（j）整體效果最好，局部放大圖內(nèi)字母清晰，書本輪廓流暢，無偽影。

圖6 “書本”數(shù)據(jù)集各融合結(jié)果Fig.6 Fusion results of“book”data set

另外同樣對該組灰度圖像的差值圖進(jìn)行觀察，圖7（a）輪廓清楚，但在局部放大區(qū)域中的“書本”輪廓周邊出現(xiàn)了大量的偽影，“書本”輪廓痕跡過重。圖7（b）中圖像左半部分存在灰白色點(diǎn)狀字母印記，并且局部放大區(qū)域較為模糊，有多余的邊界線條出現(xiàn)。圖7（c）整體模糊化，邊界模糊且出現(xiàn)多重偽影，而圖7（d）、（f）、（g）被減去的部分很干凈，但邊界部分明顯出現(xiàn)了識別錯(cuò)誤，部分輪廓完全虛化。圖7（e）整體較好，但局部放大區(qū)域中邊界存在偽影，圖7（h）邊界細(xì)淺，效果最為優(yōu)異。由圖6和圖7兩組圖像觀察表明，本文方法在“書本”這組灰色圖像集上融合結(jié)果很好，無論是聚焦中心還是邊界區(qū)域都表現(xiàn)優(yōu)異。

圖7 “書本”數(shù)據(jù)集各融合圖像的差值圖Fig.7 Difference diagram of each fused image in“book”data set

為了進(jìn)一步驗(yàn)證所提的算法在融合有復(fù)雜邊界的多聚焦圖像時(shí)，同樣有很好的融合效果，本文選取了一組邊界復(fù)雜的圖像進(jìn)行了融合實(shí)驗(yàn)，如圖8所示。從圖中可以清楚地看到圖8（d）、（e）、（g）、（h）的局部放大圖中“葉子”的邊緣部分出現(xiàn)了灰白色條狀偽影，并且圖8（h）中“葉子”邊緣已近乎虛化，沒有完整的輪廓。圖8（f）中局部放大部分尚可，但其右上角部分，圖像完全是模糊的，并沒有融合來自源圖像中的圖像信息。整體融合效果較好的為圖8（c）、（i）、（j），局部放大圖像“葉子”的輪廓清晰，視覺呈現(xiàn)效果好。

圖8 “葉子”數(shù)據(jù)集各融合結(jié)果Fig.8 Fusion results of“l(fā)eaves”data set

圖9 為圖8中各融合圖像的差值圖可視化展示，這組“葉子”圖像不同于前兩組圖像，其邊界更為復(fù)雜，因此能從差值圖中更直觀地觀察到各融合方法的有效性。圖9（a）、（b）、（c）、（d）右上角存在明顯的葉片紋絡(luò)，局部放大圖像中“葉子”輪廓虛化且存在大量點(diǎn)狀模糊。圖9（e）、（f）、（g）整體比較平滑，被減去的部分呈現(xiàn)效果好，但邊界部分灰白色的線條痕跡很重，圖9（h）邊界分明，輪廓流暢不模糊，效果最佳。由圖8和圖9結(jié)果圖像觀察表明，本文方法在融合有復(fù)雜邊界的多聚焦圖像時(shí)，同樣有優(yōu)異的融合效果。

圖9 “葉子”數(shù)據(jù)集各融合結(jié)果的差值圖Fig.9 Difference diagram of fusion results of“l(fā)eaves”data set

由于僅從主觀視覺觀察可能無法客觀，公正地區(qū)分不同圖像融合算法的性能。因此，進(jìn)一步利用9個(gè)常用指標(biāo)來定量評估算法在多聚焦圖像數(shù)據(jù)集上的性能。這9個(gè)指標(biāo)分別是AVG（平均梯度）、SEN（香農(nóng)熵）、STD（標(biāo)準(zhǔn)差）、PSNR（峰值信噪比）、SSIM（結(jié)構(gòu)相似性）、VIF（視覺信息保真度）、VIFP（基于像素的視覺信息保真度）、MIN（互信息）和QABF等。通過這9個(gè)指標(biāo)評估圖像融合結(jié)果可以有效并且全面地反映算法在整合視覺信息，結(jié)構(gòu)信息以及合并圖像細(xì)節(jié)方面的能力，因此選擇這9個(gè)指標(biāo)是合適的。在接下來的三個(gè)數(shù)值表中，討論了各算法在三組圖像數(shù)據(jù)上的評估結(jié)果。

表1 中，提出的方法與其他7種算法相比在9項(xiàng)指標(biāo)評估中均取得了最大值，表2與表3中本文方法也僅在PSNR、SSIM這兩項(xiàng)指標(biāo)上排名上稍落后于MSFM，在其他7項(xiàng)指標(biāo)中排名第一。總體來說，在定量評估算法性能這一客觀層次，本文方法相較其余7種算法有顯著的優(yōu)勢，本文方法泛化能力更強(qiáng)，可以保留相對較高的視覺信息保真度，能保有更多的細(xì)節(jié)和結(jié)構(gòu)信息并生成信息豐富的融合圖像。

表1 “小孩”數(shù)據(jù)集各方法評估指標(biāo)Table 1 Evaluation indexes of each method in“child”data set

表2 “書本”數(shù)據(jù)集各方法評估指標(biāo)Table 2 Evaluation indicators for each method of“book”data set

表3 “葉子”數(shù)據(jù)集各方法評估指標(biāo)Table 3 Evaluation indicators of each method in“l(fā)eaves”dataset

4 結(jié)束語

本文提出了一種新穎的多聚焦圖像融合算法，通過將深度學(xué)習(xí)與傳統(tǒng)方法相結(jié)合，成功地實(shí)現(xiàn)多聚焦圖像融合，并獲得了好的結(jié)果。算法首先通過以無監(jiān)督的方式訓(xùn)練引入了注意力機(jī)制的encoder-decoder網(wǎng)絡(luò)，以獲取輸入圖像的深層特征。然后再利用多尺度形態(tài)聚焦測量對圖像特征進(jìn)行聚焦檢測并生成決策圖以執(zhí)行圖像融合。此外，算法在多聚焦圖像集中的大量圖像上測試了模型的穩(wěn)定性，并進(jìn)行大量的定量和定性評估，實(shí)驗(yàn)充分表明了提出算法的有效性和優(yōu)越性。當(dāng)然，本文方法還有進(jìn)步的空間，在今后的工作中也會考慮優(yōu)化注意力機(jī)制來提升算法的有效性，或進(jìn)一步實(shí)現(xiàn)一個(gè)更有效的端到端的多聚焦圖像融合模型。