面向顯微影像的多聚焦多圖融合中失焦擴(kuò)散效應(yīng)消除方法

印 象，馬博淵，班曉娟，黃海友，王 宇，李松巖

1) 北京科技大學(xué)北京材料基因工程高精尖創(chuàng)新中心，北京 100083 2) 北京科技大學(xué)材料領(lǐng)域知識(shí)工程北京市重點(diǎn)實(shí)驗(yàn)室，北京 100083 3) 北京科技大學(xué)人工智能研究院，北京 100083 4) 北京科技大學(xué)順德研究生院，佛山 528300 5) 北京科技大學(xué)新材料技術(shù)研究院，北京100083 6) 北京理工大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，北京 100081 7) 鄭州大學(xué)醫(yī)學(xué)院臨床醫(yī)學(xué)系，鄭州 450052

由于光學(xué)鏡頭自由度的限制，在成像過程中很難在一個(gè)鏡頭內(nèi)將深度距離相差很大的物體全部聚焦[1]. 因此，通常采用基于圖像處理技術(shù)的多聚焦圖像融合方法[2]，將同一場(chǎng)景下聚焦不同目標(biāo)的多張圖像中各自的清晰區(qū)域進(jìn)行融合，最終獲得全清晰圖像[3].

隨著計(jì)算機(jī)硬件以及圖像處理技術(shù)的進(jìn)步，多種基于不同理論的多聚焦圖像融合方法如雨后春筍般涌現(xiàn)，通常多聚焦圖像融合方法可分為三大類：基于變換域的融合方法、基于空間域的融合方法、以及基于深度學(xué)習(xí)的融合方法.

基于變換域的融合方法通過多尺度變換理論設(shè)計(jì)清晰度評(píng)價(jià)標(biāo)準(zhǔn)，如拉普拉斯金字塔[4]、低通金字塔[5]、離散小波變換[6]等. 基于空間域的融合方法使用梯度信息測(cè)量清晰度水平，如空間頻率[7]、導(dǎo)向?yàn)V波[8]、多尺度加權(quán)梯度[9]和密集尺度不變特征變換算子[10]等.

近年來(lái)，隨著以深度學(xué)習(xí)[11]為代表的機(jī)器學(xué)習(xí)理論取得了革命性突破，深度學(xué)習(xí)方法開始被應(yīng)用于多聚焦圖像融合領(lǐng)域. Liu等首次將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network, CNN）引入到多聚焦圖像融合領(lǐng)域中，并提出了一種基于深度卷積網(wǎng)絡(luò)的圖像融合方法（CNN?Fuse），通過有監(jiān)督的深度學(xué)習(xí)模型識(shí)別圖像的聚焦區(qū)域[12]. Ma等提出一種基于擠壓?激勵(lì)與空間頻率的無(wú)監(jiān)督融合方法（SESF?Fuse），通過無(wú)監(jiān)督的訓(xùn)練策略獲得圖像的高維空間特征，并依托空間頻率方法提取高維空間特征的梯度表征清晰度，以此進(jìn)行圖像融合[13]，該方法避免了復(fù)雜且繁重的圖像標(biāo)注工作，可方便應(yīng)用于工程實(shí)踐.

盡管基于深度學(xué)習(xí)的多聚焦圖像融合方法在自然場(chǎng)景中的多聚焦圖像融合任務(wù)中取得了突破性進(jìn)展，但是大多數(shù)圖像融合方法僅針對(duì)兩張圖像融合任務(wù)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)[14?18]，因此在多張圖像融合應(yīng)用中僅能使用兩兩串行融合策略. 并且由于失焦擴(kuò)散效應(yīng)在自然場(chǎng)景中圖像融合應(yīng)用較為少見，因此極少有相關(guān)工作對(duì)該效應(yīng)帶來(lái)的融合質(zhì)量退化現(xiàn)象進(jìn)行處理.

1 多聚焦圖像融合方法在顯微成像分析中的應(yīng)用

多聚焦圖像融合方法常應(yīng)用于顯微成像場(chǎng)景下的圖像處理與分析任務(wù)中，圖1所示為集成電路的微觀多聚焦圖像融合任務(wù)，由于觀測(cè)物體表面高低不平，需通過調(diào)節(jié)顯微鏡焦距，以拍攝多張圖像獲得不同目標(biāo)的聚焦圖像，因此需要多聚焦圖像融合方法融合多張圖像中各自的清晰區(qū)域，最終獲得清晰的顯微場(chǎng)景下的融合結(jié)果，以便于研究人員清楚地觀測(cè)微觀結(jié)構(gòu).

圖1 顯微成像場(chǎng)景中多張多聚焦圖像融合技術(shù)路線（圖中紅色箭頭為失焦擴(kuò)散效應(yīng). 融合結(jié)果中的黃色虛線框?yàn)榉糯蠛蟮木植繀^(qū)域，以方便讀者查看）Fig.1 Flow chart of multiple multi-focus image fusion in a microscopic imaging scene (The red arrow in the figure shows the defocus spread effect. The yellow dotted line box in the fusion result is the enlarged local area, which is convenient for readers to view)

當(dāng)前，基于深度學(xué)習(xí)的多聚焦圖像融合方法，依托強(qiáng)大的特征表示能力，使其在融合質(zhì)量和速度上超過了以往的傳統(tǒng)融合方法，成為多聚焦圖像融合領(lǐng)域的主流選擇[19]. 但是，在實(shí)際應(yīng)用中依然存在多種挑戰(zhàn)亟待解決：

（1）多張多聚焦圖像融合效率低. 當(dāng)前，大多數(shù)圖像融合方法在模型設(shè)計(jì)時(shí)僅考慮了兩張圖像的融合情況，并簡(jiǎn)單地采用兩兩串行融合方法融合多張圖像，即當(dāng)圖像數(shù)目為N時(shí)，需要執(zhí)行2（N?1）次特征提取過程. 在實(shí)際的顯微成像分析應(yīng)用中，通常拍攝數(shù)十張融合圖像，使用簡(jiǎn)單的兩兩串行融合方法嚴(yán)重降低了多圖融合速度.

（2）失焦擴(kuò)散效應(yīng)嚴(yán)重降低融合質(zhì)量. 在實(shí)際應(yīng)用中，如果觀測(cè)目標(biāo)區(qū)域內(nèi)存在高度/深度差過大的凸起或凹陷，這些位置將會(huì)由于深度距離超過成像裝置景深，造成在調(diào)焦范圍內(nèi)無(wú)法聚焦全部位置，必然在該區(qū)域內(nèi)呈現(xiàn)持續(xù)的失焦?fàn)顟B(tài). 以圖1中紅色箭頭所指的深凹情況為例，失焦成像狀態(tài)下產(chǎn)生前景失焦擴(kuò)散效應(yīng)將影響到深凹區(qū)域的像素值分布，最終在融合結(jié)果中的背景深凹區(qū)域處產(chǎn)生失真的偽影效果[20]，如圖1中的黃色虛線框示意. 針對(duì)上述問題，通常采用基于硬件或軟件的解決方法. 基于硬件的優(yōu)化方法主要有以下兩種：第一是通過擴(kuò)大聚焦拍攝區(qū)間，即通過拍攝更多的不同焦距的圖像，以期找到背景深凹處的聚焦結(jié)果，最終形成清晰的融合結(jié)果. 這種方法會(huì)造成拍攝時(shí)間的延長(zhǎng)、電耗的增加和硬件運(yùn)作的磨損，最終降低成像效率甚至降低精密鏡頭的使用壽命. 第二是通過抑制成像中的光強(qiáng)以減弱深凹區(qū)域以外物體的失焦擴(kuò)散效應(yīng). 這種方法雖然可以減弱失焦擴(kuò)散效應(yīng)，但會(huì)造成整體上的亮度降低，最終導(dǎo)致整體成像質(zhì)量較差. 并且基于硬件的解決方法除上述缺陷外，還存在硬件改造成本高、技術(shù)升級(jí)難度大的問題. 因此，如何通過基于圖像處理的軟件方法緩解多聚焦圖像融合中的失焦擴(kuò)散效應(yīng)是本領(lǐng)域中研究的難點(diǎn).

針對(duì)以上顯微成像場(chǎng)景中多張多聚焦圖像融合問題，本文提出如下的相應(yīng)解決方案：

（1）本文提出一種最大特征圖空間頻率融合策 略 （Maximum spatial frequency in feature map,MSFIFM），在基于無(wú)監(jiān)督學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)中增加后處理模塊，如圖1所示，實(shí)驗(yàn)證明該策略顯著提高了多張圖像的多聚焦圖像融合速度.

（2）本文提出了一種矯正策略，可緩解失焦擴(kuò)散效應(yīng)對(duì)融合圖像質(zhì)量的影響，如圖1中黃色虛線框所示.

2 方法

2.1 基于深度學(xué)習(xí)和最大特征圖空間頻率的融合策略

在對(duì)所有待融合圖像進(jìn)行圖像配準(zhǔn)后[21?22]，采用傳統(tǒng)兩兩串行融合方法融合多張圖像時(shí)，當(dāng)待融合的圖像數(shù)目為N時(shí)，需要執(zhí)行2（N?1）次特征提取過程，而采用本文提出的最大特征圖空間頻率融合策略，僅需要執(zhí)行N次特征提取過程即可進(jìn)行多圖融合，因此提高了多張圖像融合效率.

本文在圖像特征提取時(shí)使用編碼器?解碼器結(jié)構(gòu)[13]，如圖 2（a）所示. 編碼器中 C1包含了一個(gè)3×3卷積層. DC1、DC2以及 DC3為密集鏈接模塊，分別包含一個(gè)3×3的卷積層，同時(shí)每個(gè)模塊的輸出與其他模塊跨層級(jí)聯(lián). SE為擠壓?激發(fā)模塊[23]，可以通過自適應(yīng)的特征通道維度校準(zhǔn)來(lái)增強(qiáng)有用的特征. 為了保證圖像重建的準(zhǔn)確性，在編碼器與解碼器中并沒有加入池化層. 解碼器中C2、C3、C4以及C5結(jié)構(gòu)與C1相同，用以重建輸入圖像.

圖2 本文方法的網(wǎng)絡(luò)結(jié)構(gòu)和執(zhí)行流程. （a）為網(wǎng)絡(luò)結(jié)構(gòu)；（b）為兩種多圖融合策略對(duì)比（左側(cè)為兩兩串行融合策略，右側(cè)為最大特征圖空間頻率融合策略）Fig.2 Network structure and implementation process of this method: (a) Network structure; (b) two fusion strategies (the left side is the one-by-one serial fusion strategy, and the right side is the MSFIFM strategy)

在訓(xùn)練過程中利用文獻(xiàn)[13]中的像素?fù)p失以及結(jié)構(gòu)相似性損失同時(shí)訓(xùn)練編碼器與解碼器. 像素?fù)p失與結(jié)構(gòu)相似性損失為圖像融合領(lǐng)域常用的損失函數(shù). 像素?fù)p失衡量了兩張圖像的距離，通過優(yōu)化像素?fù)p失可以使輸入輸出圖像在歐氏空間上具有更近的距離. 結(jié)構(gòu)相似性衡量了兩張圖像在亮度、對(duì)比度以及結(jié)構(gòu)相關(guān)性三個(gè)方面的相似程度，通過優(yōu)化結(jié)構(gòu)相似性損失可以降低輸出圖像視覺效果上的失真. 當(dāng)網(wǎng)絡(luò)訓(xùn)練完成后，在推理時(shí)僅利用編碼器部分實(shí)現(xiàn)圖像特征提取，并進(jìn)行多張圖像融合.

傳統(tǒng)的兩兩串行融合策略的流程如圖2（b）左側(cè)所示，其中圖像特征提取操作以及融合操作會(huì)因?yàn)椴煌乃惴ㄔO(shè)計(jì)而略有差異. 以利用編碼器進(jìn)行特征提取操作，并利用空間頻率融合[13]進(jìn)行融合操作為例，在融合多張圖像時(shí)首先選取圖像1與圖像2作為待融合圖像，分別利用編碼器提取特征后利用空間頻率融合得到融合圖像1，然后再將融合圖像1與圖像3作為待融合圖像，分別利用編碼器提取特征并利用空間頻率融合得到融合圖像2. 重復(fù)上述步驟直到所有待融合圖像都融合完畢，得到最終的融合結(jié)果圖像. 這種方式當(dāng)圖像數(shù)目為N時(shí)，需要執(zhí)行2（N?1）次特征提取過程.

本文提出的最大特征圖空間頻率融合策略的流程圖如圖2（b）右側(cè)所示. 在融合多張圖像時(shí)首先對(duì)每張待融合圖像分別提取特征并計(jì)算特征的空間頻率. 由于特征的空間頻率反映了待融合圖像的聚焦信息，因此我們先將待融合圖像中尺寸為(w,h)的特征空間頻率圖在通道維度拼接得到尺寸為(w,h,n)的拼接圖. 之后通過獲取拼接圖通道維度n個(gè)像素最大值的索引的方式得到最終的尺寸為(w,h)的融合決策圖，融合決策圖中不同位置像素值代表了待融合圖像中不同位置聚焦程度最高的圖像編號(hào). 最后利用融合決策圖對(duì)待融合圖像進(jìn)行加權(quán)求和，得到融合圖像. 這種方式當(dāng)圖像數(shù)目為N時(shí)，僅需要執(zhí)行N次特征提取過程，能夠有效提高多圖融合的效率.

2.2 面向顯微成像場(chǎng)景失焦擴(kuò)散效應(yīng)的矯正策略

失焦擴(kuò)散效應(yīng)具有以下主要特點(diǎn)[20]：（1）當(dāng)拍攝前景失焦，背景聚焦時(shí)會(huì)出現(xiàn)失焦擴(kuò)散效應(yīng)；（2）失焦擴(kuò)散效應(yīng)往往出現(xiàn)在聚焦邊界處，導(dǎo)致前景的偽影侵入背景區(qū)域造成邊界處背景模糊.

在進(jìn)行顯微成像場(chǎng)景下多張多聚焦圖像融合任務(wù)時(shí)，由于觀測(cè)目標(biāo)區(qū)域內(nèi)往往會(huì)存在高度/深度差過大的凸起或凹陷，這些位置將會(huì)由于深度距離超過成像裝置景深，造成在調(diào)焦范圍內(nèi)無(wú)法聚焦全部位置，因此必然會(huì)出現(xiàn)前景區(qū)域持續(xù)不同程度失焦?fàn)顟B(tài). 因此在進(jìn)行多圖融合時(shí)不管是利用兩兩串行融合策略還是本文提出的最大特征圖空間頻率融合策略都會(huì)在聚焦邊界處出現(xiàn)不同程度的失焦擴(kuò)散效應(yīng)，嚴(yán)重影響了融合結(jié)果圖像的質(zhì)量.

由于顯微成像場(chǎng)景背景深凹處往往具有較深的顏色，如圖1中紅色箭頭所示，因此失焦擴(kuò)散現(xiàn)象在顯微成像場(chǎng)景中往往表現(xiàn)為在融合圖像中原本失焦邊界處的深色背景區(qū)域中出現(xiàn)較亮的前景偽影，如圖1中放大區(qū)域所示. 針對(duì)這個(gè)特點(diǎn)本文提出了一種矯正策略，能夠有效去除顯微成像場(chǎng)景下的失焦擴(kuò)散效應(yīng).

本文提出的面向顯微成像場(chǎng)景失焦擴(kuò)散效應(yīng)的矯正策略流程如圖3所示. 首先利用待融合圖像的特征空間頻率圖（Spatial frequency of feature）在通道維度的最大值索引得到融合決策圖，由于決策圖反映出了不同待融合圖像的聚焦區(qū)域，而失焦擴(kuò)散現(xiàn)象往往發(fā)生在聚焦區(qū)域邊界，因此需要獲取每張待融合圖像的聚焦區(qū)域邊界作為候選區(qū)域以進(jìn)行進(jìn)一步矯正. 為此采用形態(tài)學(xué)的膨脹算法，對(duì)不同待融合圖像的決策圖進(jìn)行膨脹從而找到對(duì)應(yīng)的候選區(qū)域. 圖3中白色部分為該決策圖對(duì)應(yīng)待融合圖像的聚焦區(qū)域，黑色部分對(duì)應(yīng)失焦區(qū)域，橙色部分對(duì)應(yīng)候選區(qū)域. 利用公式(1)得到待融合圖像背景候選區(qū)域，

圖3 面向顯微成像場(chǎng)景失焦擴(kuò)散效應(yīng)的矯正策略流程Fig.3 Flow chart of rectification strategy for the defocus spread effect in the microscopic imaging scene

其中，BMi(x,y)為第i張待融合圖像的背景候選區(qū)域(x,y)位置處像素，Ii(x,y)為第i張待融合圖像(x,y)位置處像素，DMi(x,y)為第i張待融合圖像的決策圖中(x,y)位置處像素，Ci為第i張待融合圖像決策圖的候選區(qū)域像素集合.

由于顯微成像場(chǎng)景的失焦擴(kuò)散效應(yīng)往往表示為在聚焦邊界區(qū)域深色的背景一側(cè)存在亮色的前景偽影，因此利用公式（2）對(duì)每張待融合圖像的背景候選區(qū)域BMi進(jìn)行矯正，得到矯正融合背景區(qū)域.

其中，RM(x,y)為矯正融合背景區(qū)域(x,y)位置處像素，D為待融合圖像集合. 之后利用矯正融合背景區(qū)域根據(jù)公式（3）與（4）得到無(wú)失焦擴(kuò)散的融合結(jié)果.

其中，F(xiàn)′(x,y)為初始融合圖像(x,y)位置處像素，F(xiàn)(x,y)為無(wú)失焦擴(kuò)散的融合結(jié)果(x,y)位置處像素，其中T為決策閾值，由于矯正融合背景區(qū)域的計(jì)算存在一定的誤差，同時(shí)在顯微成像環(huán)境下圖像的背景深凹區(qū)域往往具有較深的顏色，因此可以認(rèn)為矯正融合背景區(qū)域中顏色越深的部分越有可能是真正的背景區(qū)域. 決策閾值T起到篩選融合背景區(qū)域的作用，T取值太小會(huì)導(dǎo)致矯正融合背景區(qū)域面積過小，使算法不能夠有效去除失焦擴(kuò)散現(xiàn)象；T取值太大則會(huì)導(dǎo)致，前背景邊界處前景一側(cè)受矯正融合背景區(qū)域中的噪聲影響產(chǎn)生偽影，因此綜合考慮決策閾值T取40.

3 實(shí)驗(yàn)

本文以顯微成像場(chǎng)景下多聚焦多圖融合為應(yīng)用背景，定量地分析了本文提出的基于深度學(xué)習(xí)和最大特征圖空間頻率融合策略所帶來(lái)的算法效率提升. 由于當(dāng)前并沒有較合適的評(píng)估指標(biāo)能夠評(píng)估融合圖像失焦擴(kuò)散效應(yīng)的程度，因此對(duì)于本文提出的面向顯微成像場(chǎng)景失焦擴(kuò)散效應(yīng)的矯正策略，主要采用主觀評(píng)估的方式，定性地分析了其去除失焦擴(kuò)散效果的性能.

3.1 實(shí)驗(yàn)參數(shù)

本文利用 MS?COCO 數(shù)據(jù)集[24]訓(xùn)練圖 2（a）所示的編碼器?解碼器網(wǎng)絡(luò)[25]. 其中訓(xùn)練集包含82783張圖像，驗(yàn)證集包含40504張圖像，所有圖像均被統(tǒng)一縮放為256×256像素并被轉(zhuǎn)換至灰度域. 學(xué)習(xí)率為 1×10?4. 損失函數(shù)中超參數(shù) λ=3，優(yōu)化器選用Adam[26]，批尺寸與訓(xùn)練輪數(shù)分別設(shè)置為48與30.

本文的算法實(shí)現(xiàn)基于PyTorch框架[27]和OpenCV代碼包[28]，并使用顯存共計(jì)44 GB的4塊NVIDIA 1080Ti GPU 來(lái)訓(xùn)練網(wǎng)絡(luò).

3.2 最大特征圖空間頻率融合策略性能分析

本文利用65張不同聚焦深度下的顯微場(chǎng)景下的微觀芯片圖像進(jìn)行實(shí)驗(yàn). 通過改變圖像的尺寸對(duì)比不同尺寸下多圖像融合時(shí)MSFIFM策略與兩兩串行融合策略的平均耗時(shí). 實(shí)驗(yàn)結(jié)果如表1所示.

表1 MSFIFM策略與兩兩串行融合策略平均耗時(shí)對(duì)比Table 1 Average time comparison between the MSFIFM and one-byone fusion strategies

從表1的實(shí)驗(yàn)結(jié)果可以看出，MSFIFM策略相比于兩兩串行融合策略在執(zhí)行效率上提高了30%以上，證明了MSFIFM策略在多圖融合時(shí)能夠充分降低算法運(yùn)行時(shí)間. 隨著圖像尺寸的增加，MSFIFM策略融合效率的提高也越加明顯，這主要是因?yàn)閳D像特征提取占據(jù)了大部分的耗時(shí)，而隨著圖像尺寸的增加，圖像特征提取的時(shí)間也會(huì)隨之增加，當(dāng)圖像數(shù)目為N時(shí)，兩兩串行融合策略需要執(zhí)行2（N?1）次特征提取過程，而MSFIFM策略有效降低了算法特征提取網(wǎng)絡(luò)的運(yùn)行次數(shù)僅需要執(zhí)行N次特征提取就能得到最終的融合結(jié)果，因此隨著待融合圖像尺寸的增大MSFIFM算法的融合效率提升也會(huì)越明顯.

MSFIFM策略與兩兩串行融合策略得到的融合圖像如圖4所示. 在“芯片1”對(duì)比圖的放大區(qū)域中可以看出，兩兩串行融合策略得到的融合結(jié)果相比于MSFIFM策略在前景部分存在帶狀模糊噪聲；在“芯片2”對(duì)比圖的放大區(qū)域中可以看出兩兩串行融合策略得到的融合結(jié)果相比于MSFIFM策略在前景區(qū)域存在較大面積的模糊；在“芯片3”對(duì)比圖中兩兩串行融合策略相比于MSFIFM策略在前背景聚焦邊界處存在更少的失焦擴(kuò)散偽影，但是并沒有很好地捕捉到整體前景的聚焦信息；這說明采用兩兩串行融合的方式不能很好的捕捉到待融合圖像中的清晰區(qū)域，這主要是因?yàn)樗惴ㄖ械奶卣魈崛【W(wǎng)絡(luò)在訓(xùn)練時(shí)不可避免地會(huì)存在一定的噪聲，而兩兩串行融合策略在融合N張圖像的時(shí)候相比于MSFIFM策略需要多運(yùn)行N?2次特征提取網(wǎng)絡(luò)，這就造成了決策圖的預(yù)測(cè)過程積累了更多的誤差，從而降低了最終的融合結(jié)果的可視化效果.

圖4 不同融合方式下芯片1、芯片2和芯片3的融合結(jié)果對(duì)比Fig.4 Visualization of fusion results of chip1, chip2, and chip3 with different fusion algorithms

3.3 面向顯微成像場(chǎng)景失焦擴(kuò)散效應(yīng)的矯正策略性能分析

本節(jié)主要從主觀評(píng)估以及算法運(yùn)行效率兩方面，對(duì)本文提出的面向顯微成像場(chǎng)景失焦擴(kuò)散效應(yīng)的矯正策略進(jìn)行分析. 主要對(duì)比了兩兩串行融合策略、MSFIFM策略以及另外兩種基于深度學(xué)習(xí)的多聚焦圖像融合算法，包括CNN Fuse[12]以及考慮了失焦擴(kuò)散效應(yīng)的MS-Lap[29]. 其中MS-Lap采用了基于優(yōu)化策略的方法，對(duì)比時(shí)每次融合最大迭代輪數(shù)取200，學(xué)習(xí)率取0.001.

圖4展示了兩兩串行融合策略、MSFIFM策略、MSFIFM策略+失焦擴(kuò)散效應(yīng)的矯正策略、CNN Fuse以及 MS?Lap下“芯片 1”、“芯片 2”和“芯片3”的融合結(jié)果對(duì)比.

由圖4主觀對(duì)比可以看出，利用MSFIFM策略+失焦擴(kuò)散效應(yīng)的矯正策略得到的融合結(jié)果相比于僅利用MSFIFM策略得到的融合結(jié)果具有更好的視覺效果，在“芯片1”的對(duì)比圖中利用MSFIFM策略得到的融合結(jié)果雖然效果要優(yōu)于兩兩串行融合策略，但是在放大區(qū)域中還是會(huì)存在較為明顯的失焦擴(kuò)散效應(yīng)，MSFIFM策略+失焦擴(kuò)散效應(yīng)矯正策略、CNN Fuse以及MS?Lap算法均取得了較為不錯(cuò)的效果. 在“芯片2”的對(duì)比圖中MS?Lap算法取得了較好的效果，CNN Fuse算法的融合結(jié)果在針腳根部存在一定的失焦擴(kuò)散現(xiàn)象，利用MSFIFM策略+失焦擴(kuò)散效應(yīng)的矯正策略得到的融合圖像相比于兩兩融合、僅利用MSFIFM策略以及CNN Fuse算法在失焦擴(kuò)散效應(yīng)上有很大的改善，但值得注意的是在右上角的針腳處出現(xiàn)了較為明顯的前景圖像預(yù)測(cè)錯(cuò)誤的問題，這主要是由于“芯片2”這一組圖像在拍攝時(shí)不但進(jìn)行了焦距的調(diào)節(jié)，還進(jìn)行了前景的縮放，這導(dǎo)致了背景區(qū)域計(jì)算時(shí)對(duì)應(yīng)的像素在前背景區(qū)域邊界處是非對(duì)齊的，進(jìn)而最后進(jìn)行矯正時(shí)一部分背景區(qū)域的像素覆蓋了前景區(qū)域造成了前景圖像的缺失. 可以通過在融合之前加入圖像對(duì)齊操作來(lái)緩解這種現(xiàn)象. 在“芯片3”的對(duì)比圖中，兩兩串行融合策略、MSFIFM策略以及CNN Fuse在放大區(qū)域中均出現(xiàn)了不同程度的失焦擴(kuò)散效應(yīng)，MSFIFM策略+失焦擴(kuò)散效應(yīng)矯正策略以及MSLap算法取得了較好的融合效果. 由以上對(duì)比可以看出，本文提出的MSFIFM策略+失焦擴(kuò)散效應(yīng)矯正策略能夠有效地去除顯微成像場(chǎng)景下的失焦擴(kuò)散效應(yīng)，MS-Lap算法在設(shè)計(jì)時(shí)考慮了針對(duì)失焦擴(kuò)散效應(yīng)進(jìn)行優(yōu)化，也取得了不錯(cuò)的效果.

表2為 CNN Fuse、MS-Lap以及 MSFIFM策略+失焦擴(kuò)散效應(yīng)矯正策略在“芯片1”、“芯片2”和“芯片3”三張圖像上的平均融合時(shí)間對(duì)比. 其中，MSFIFM策略+失焦擴(kuò)散效應(yīng)矯正策略以及MS-Lap方 法 運(yùn) 行 環(huán) 境 為 NVIDIA 1080Ti GPU，CNN Fuse運(yùn)行環(huán)境為 Intel(R) Core(TM) i7-6700HQ CPU. 由于MS-Lap為基于優(yōu)化策略的算法其融合速度主要受其迭代次數(shù)的影響，因此融合速度較慢. CNN Fuse僅提供了 MATLAB代碼，因此只能在CPU上運(yùn)行，導(dǎo)致其相比于其他兩種算法而言速度相對(duì)較慢. 而本文提出的MSFIFM策略+失焦擴(kuò)散效應(yīng)矯正策略在保證了融合圖像質(zhì)量的前提下相對(duì)于另外兩種算法在融合速度上有較為明顯的優(yōu)勢(shì)，更加適用于實(shí)際應(yīng)用環(huán)境.

表2 CNN Fuse、MS-Lap 以及本文算法平均融合時(shí)間對(duì)比Table 2 Average time comparison among CNN Fuse，MS-Lap and our method s

4 結(jié)論與展望

本文針對(duì)現(xiàn)有多聚焦圖像融合算法在進(jìn)行多圖融合時(shí)效率較低，以及在顯微成像場(chǎng)景下圖像融合時(shí)存在較嚴(yán)重失焦擴(kuò)散效應(yīng)的問題，提出了一種最大特征圖空間頻率融合策略（MSFIFM）. 實(shí)驗(yàn)證明，MSFIFM策略在多圖融合場(chǎng)景下能夠有效提高融合算法的效率. 同時(shí)提出了一種面向顯微成像場(chǎng)景下失焦擴(kuò)散效應(yīng)的矯正策略，能夠在保證融合圖像質(zhì)量的情況下，有效地降低融合結(jié)果中的失焦擴(kuò)散效應(yīng).

由于現(xiàn)實(shí)生活中存在很多自然場(chǎng)景的圖像，在利用多聚焦圖像融合算法融合后也會(huì)存在不同程度的失焦擴(kuò)散效應(yīng)，而當(dāng)前的算法中存在膨脹大小和判斷閾值兩個(gè)超參數(shù)，影響了算法在自然場(chǎng)景下的泛用性能. 因此在未來(lái)的研究中，本團(tuán)隊(duì)會(huì)進(jìn)一步研究自然場(chǎng)景下的失焦擴(kuò)散效應(yīng)的特點(diǎn)以及相應(yīng)的無(wú)參數(shù)優(yōu)化算法.

致謝

本文的計(jì)算工作得到了北京材料基因工程高精尖創(chuàng)新中心材料計(jì)算平臺(tái)的支持，同時(shí)感謝珠海博明視覺科技有限公司提供的實(shí)驗(yàn)數(shù)據(jù).

利益沖突

本文中部分工作已申請(qǐng)發(fā)明專利“一種顯微成像場(chǎng)景下失焦擴(kuò)散效應(yīng)消除方法及裝置”，專利公開號(hào)：CN111861915A.