基于迭代型形態(tài)成分分析的多聚焦圖像融合

王玲玲 劉宇

摘 要：為了提高多幅多聚焦圖像的融合質(zhì)量，提出一種基于迭代型形態(tài)成分分析的特征加權(quán)融合算法。該方法利用形態(tài)成分分析正交性和稀疏性的特點(diǎn)，改進(jìn)形成能夠有效對(duì)源圖像進(jìn)行多尺度分解的迭代型形態(tài)成分分析方法;然后采用移動(dòng)窗口計(jì)算方法對(duì)分解后的多尺度子圖提取四維特征向量，用以反映子圖的亮度、紋理規(guī)則性、光滑程度和隨機(jī)性。此外，提出以四維特征向量的特征值作為權(quán)值，設(shè)計(jì)適用于兩幅及以上多幅源圖情況下的以特征權(quán)重作為判別依據(jù)的融合規(guī)則，并運(yùn)用這一規(guī)則對(duì)復(fù)合子圖進(jìn)行逐層融合，最終通過多尺度逆變換得到融合圖像。實(shí)驗(yàn)結(jié)果證明，與已有多尺度融合算法相比，新方法融合得到的圖像具有更好的主觀感受和更高的客觀評(píng)價(jià)指標(biāo)值。

關(guān)鍵詞：多幅多聚焦圖像融合;迭代型形態(tài)成分分析;特征提取;特征權(quán)重

DOI：10. 11907/rjdk. 192035 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP317.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）005-0230-04

0 引言

隨著成像技術(shù)的日趨成熟，圖像在人們生產(chǎn)、生活中發(fā)揮著越來越重要的作用，已經(jīng)成為表示、存儲(chǔ)信息的重要手段。圖像處理及機(jī)器視覺相關(guān)研究成為熱點(diǎn)問題[1-3]。然而實(shí)際視覺圖像采集過程中，光學(xué)成像系統(tǒng)因受景深的限制，在鏡頭聚焦范圍以外的物體不能清楚地成像，會(huì)影響圖像后續(xù)處理。一種方案是通過一系列深度計(jì)算解決這一問題，如對(duì)焦深度法[4]和離焦深度法等，但這些方法需要大量人工，用于反復(fù)對(duì)相機(jī)各機(jī)位及拍攝參數(shù)進(jìn)行校準(zhǔn);另一種方案是多焦距圖像融合，即通過對(duì)同一場(chǎng)景以不同焦點(diǎn)部位進(jìn)行多次拍攝，從諸多拍攝結(jié)果中取得清晰部分，融合成新的各處都清晰的新圖像。

目前，多焦距圖像融合算法根據(jù)圖像處理域不同可分為兩類：空間域算法和變換域算法。第一類算法直接從源圖像獲取信息，將圖像分成若干區(qū)域，通過區(qū)域特征量度量對(duì)比度，選取對(duì)比度較高的區(qū)域形成融合結(jié)果。此類方法包括SF空間頻率算法（Spatial Frequency）[5]、EOG圖像梯度能量算法（Energy of Image Gradient）[6]、SML拉普拉斯能量和算法 （Sum-modified Laplacian）等，其優(yōu)勢(shì)在于計(jì)算量小、效率高，但易導(dǎo)致融合結(jié)果的塊邊緣產(chǎn)生裂痕。第二類算法首先對(duì)源圖像進(jìn)行域變換（多數(shù)變換方式具有多分辨率屬性），然后在不同層次的系數(shù)上選取清晰部分形成變換域上的融合結(jié)果，再通過逆變換還原融合圖像。常用的圖像變換方法有LP拉普拉斯金字塔算法 （Laplacian Pyramid）[7]、GRP梯度金字塔算法（Gradient Pyramid Transform）[8]、DWT離散小波變換算法（Discrete Wavelet Transform）[9]等。金字塔類算法的共性缺陷包括：無方向性、不穩(wěn)定以及時(shí)常丟失高頻信息，這些缺陷導(dǎo)致多尺度子圖在重構(gòu)結(jié)果中出現(xiàn)模糊現(xiàn)象。小波算法具有方向性、正交性等優(yōu)勢(shì)，優(yōu)于金字塔算法，但是也會(huì)存在混疊等問題，且小波基的選擇比較困難。

本文為了改善多聚焦融合算法結(jié)果質(zhì)量，提高融合精度和準(zhǔn)確度，提出了一種基于形態(tài)成分分析（MCA）的AMCA迭代型形態(tài)成分分析方法（Alternately Morphological Component Analysis）。該方法解決了原形態(tài)成分分析分解后紋理層信息缺乏的問題，利用子圖像特征權(quán)重作為判別依據(jù)的融合規(guī)則也比常用的均值規(guī)則、最大值規(guī)則等更符合圖像融合要求，更多地保留了細(xì)節(jié)信息，減少了對(duì)比度的缺失。

1 融合算法

1.1 算法概述

本文針對(duì)兩幅及以上多聚焦圖像融合問題提出了WFAMCA基于迭代型形態(tài)成分分析的特征加權(quán)融合算法 （Fusion Algorithm Based on Weighed Features Alternately Morphological Component Analysis）。該算法作為多尺度變換域融合算法的一種，主要包括解耦源圖獲得子圖集、從子圖集提取特征向量集、根據(jù)特征向量加權(quán)融合各層子圖、重構(gòu)融合后的各層子圖還原融合圖像等4個(gè)步驟，如圖1所示。

首先，對(duì)若干張?jiān)磮D片應(yīng)用改進(jìn)后的迭代型形態(tài)成分分析算法AMCA，將Q幅源圖分解為Q個(gè)K層子圖集;然后對(duì)各層子圖集進(jìn)行特征提取，得到[Q？K？4]的特征矩陣;再將特征矩陣作為融合規(guī)則的判別依據(jù)，完成不同源圖同層子圖的融合，得到K個(gè)融合后的子圖;最后，重構(gòu)K層融合后的子圖，得到最終融合結(jié)果。

1.2 圖像分解

多尺度圖像分解通常采用金字塔算法或小波變換算法等，但是此類算法對(duì)于源圖像的分解過程都是用同一基函數(shù)分離并表示所有子信號(hào)，因此只有少量信號(hào)落在表示函數(shù)的坐標(biāo)軸上，不利于信號(hào)分類處理。形態(tài)成分分析算法通過結(jié)合匹配追蹤算法[10]和基追蹤算法[11]，針對(duì)不同類型的子信號(hào)用不同的基函數(shù)模擬表示，使得大部分信號(hào)信息落在坐標(biāo)軸上，產(chǎn)生稀疏的原子表示集。MCA用一個(gè)迭代的閾值化解耦算法稀疏表示源信號(hào)分解后的若干子信號(hào)，能夠極大地提高分解質(zhì)量[12]。

形態(tài)成分分析算法用[L=Lt+Ln]線性表示源圖像，其中[Ln]為源圖像平滑層，[Lt]為源圖像紋理層。通過尋找能夠稀疏表示[Ln]的超完備字典[φn∈MN*qi]，同時(shí)該[φn]對(duì)信號(hào)[St]求解式（1）無稀疏解，可以認(rèn)為字典[φn]能夠從源圖像所有子信號(hào)中區(qū)別出信號(hào)[Ln]。同理，可找出能夠區(qū)分出紋理信號(hào)[Lt]的超完備字典[φt]。至此，MCA分解源圖像L信號(hào)層的問題轉(zhuǎn)化為式（2）求極稀疏解的問題。

迭代型形態(tài)成分分析將源圖像假設(shè)為子信號(hào)線性迭代表示情況下的信號(hào)分解，實(shí)施過程主要包括：在下一級(jí)形態(tài)成分分析過程中使用上一級(jí)形態(tài)成分分析分解出的平滑層作為本級(jí)源圖像輸入，并保留各級(jí)分解的紋理層信息及最后一級(jí)分解出的平滑層信息作為后續(xù)圖像特征提取時(shí)的輸入。多級(jí)分解后的信號(hào)可表示為[（Lt？，Ln）][（？=1，2，3，？，K）]，其中[？]為分解層數(shù)，[Ln]為第K層分解的平滑層子圖，即[LnK]。至此，源圖像信號(hào)被分解為K+1層子信號(hào)圖層。圖3展示了一組分解尺度K為4的迭代型形態(tài)成分分析分解實(shí)例?？梢钥吹?，與圖3（b）相比，圖3（f）的自然層更加平滑，紋理信息更少，邊緣和線條更為柔和，同時(shí)c、e、g層又比單獨(dú)的c層更完整地保留了大量高頻紋理信息。說明迭代型形態(tài)成分分析能夠?qū)⒃磮D像分解紋理層和平滑層剝離得更加徹底，從而取得待融合圖像的更多紋理信息，提升融合結(jié)果的準(zhǔn)確性。

1.3 圖像融合

分解后的子圖如果僅根據(jù)像素值應(yīng)用于融合規(guī)則將存在較大誤差，因此對(duì)于多級(jí)分解得到的子圖集，在融合前需要進(jìn)行特征提取工作。采用N*N的取樣窗口，從子圖左上角第一個(gè)像素點(diǎn)起作為窗口中心起點(diǎn)，按照由左至右、由上至下的順序遍巡整幅子圖。取樣窗口中心每移動(dòng)一個(gè)像素點(diǎn)，則計(jì)算一次特征向量值作為該中心像素點(diǎn)的特征向量，最終可得一個(gè)二維特征矩陣，用于后續(xù)融合。本文以窗口中心像素為基準(zhǔn)，選擇窗口內(nèi)像素點(diǎn)灰度均值、窗口內(nèi)像素點(diǎn)像素值平方差、窗口內(nèi)像素的像素方差及灰度熵4個(gè)特征作為特征向量元素。其中，灰度均值對(duì)應(yīng)圖像亮度指標(biāo);像素平方均值反映了窗口區(qū)域內(nèi)圖像紋理的規(guī)則性;像素方差對(duì)應(yīng)所選區(qū)域內(nèi)圖像能量和光滑程度;灰度熵反映取樣窗口內(nèi)像素的隨機(jī)性。如式（4）所示。

傳統(tǒng)的變換域圖像融合算法對(duì)源圖像信號(hào)進(jìn)行分解后，將絕對(duì)值最大/最小算法、均值算法等數(shù)學(xué)運(yùn)算直接應(yīng)用于子信號(hào)圖層的像素值上，這樣得到的融合結(jié)果缺乏具體的針對(duì)性，對(duì)圖像邊緣等特征的處理和對(duì)平滑自然信息的處理采用同一種方法不符合圖像的形成原理。本文對(duì)其進(jìn)行改進(jìn)，對(duì)包含不同類型信號(hào)的圖層采用基于特征矩陣的不同融合規(guī)則。

平滑層包含信息量較多，因此本文對(duì)于平滑層的自然信息設(shè)計(jì)了以特征向量作為權(quán)值的加權(quán)圖像融合規(guī)則。以平滑層子圖特征向量和決定該平滑層子圖的像素最終融合比例，如式（5）所示。

最后通過分解的逆過程重構(gòu)，將融合后的子圖層[pt？x，y，pnx，y][？=1，2，3，？，K]重構(gòu)得到融合結(jié)果。本文融合規(guī)則適用于兩幅及多幅源圖情況下的多聚焦圖像融合問題，突破了早期融合規(guī)則適用于AB兩幅源圖融合的局限性。

2 實(shí)驗(yàn)結(jié)果

本文算法參數(shù)設(shè)置取分解系數(shù)K=3，源圖像個(gè)數(shù)R=2，取樣窗口N=3，實(shí)驗(yàn)環(huán)境選擇MATLAB R2009a，取以下4組多聚焦圖像組合并用本文WFAMCA算法融合結(jié)果進(jìn)行展示，如圖4所示。這4組圖均是對(duì)同一場(chǎng)景的不同物體進(jìn)行對(duì)焦，圖4（a）組相機(jī)聚焦在畫面左側(cè)景物，圖4（b）組聚焦在畫面右側(cè)景物，未對(duì)焦的部分因物理相機(jī)景深限制呈現(xiàn)模糊狀態(tài)，分別將圖4中的（a）（b）兩組圖像作為本文融合算法的源文件輸入，得到圖4（c）為本文算法融合效果直觀圖。為了表述清晰，4組圖像分別命名為熱氣球、教室、盆栽、雜志，可以看到對(duì)比（a）（b）組中各自模糊部分，（c）組左右兩側(cè)都能清晰呈像。

圖4展示了本文算法在主觀標(biāo)準(zhǔn)方面的融合優(yōu)勢(shì)，為進(jìn)一步對(duì)比本文算法優(yōu)勢(shì)，選取4個(gè)具有代表性的算法融合結(jié)果與之比較，以展現(xiàn)本文算法客觀指標(biāo)方面的優(yōu)勢(shì)。用于比較的4種融合算法分別是：GRP梯度金字塔算法、MP形態(tài)金字塔算法（Morphological Pyramid based Algorithm）[13]、FSD抽樣濾波器層次金字塔算法（Hierarchical Pyramid based Algorithm）[14]和DWT D樣條曲線小波變換算法（Discrete Wavelet Transform with Daubechies Spline Wavelet based algorithm） [15] 。本文選擇5個(gè)用于量化客觀圖片融合效果好壞的比較指標(biāo)，分別是PSNR峰值信噪比[16]、MI互信息、SSIMF結(jié)構(gòu)相似指標(biāo)、（Q，[QW]）Piella指標(biāo)[17]。

3 結(jié)語

本文提出了一種用于兩幅及以上多聚焦源圖的基于迭代型形態(tài)成分分析的圖像融合算法。迭代型形態(tài)成分分析作為建立在形態(tài)成分分析之上的盲源信號(hào)分解方法，既避免了圖像域方法會(huì)產(chǎn)生塊效應(yīng)的缺點(diǎn)，又克服了變換域方法基函數(shù)單一、固定的缺點(diǎn)。同時(shí)改善了形態(tài)成分分析分解圖像信號(hào)分離不徹底、紋理層信息不全的情況，使得對(duì)源圖像分解后的信息之間耦合度更低。本融合算法的另一個(gè)特點(diǎn)在于融合過程不是使用傳統(tǒng)的絕對(duì)值最大法、平均法等，而是先從分解后的多尺度子圖上提取重要的圖像特征，再根據(jù)子圖特點(diǎn)進(jìn)行融合，該融合規(guī)則更符合人眼的視覺機(jī)制，并適用于多幅源圖的融合場(chǎng)景。實(shí)驗(yàn)結(jié)果也證明該方法具有較好的融合表現(xiàn)。在未來研究中希望能提高算法的分解與融合速度，并將融合算法擴(kuò)展至其它涉及圖像融合的領(lǐng)域。

參考文獻(xiàn)：

[1] 石桂名，魏慶濤，孟繁盛. 基于Canny 算子的圖像邊緣檢測(cè)算法[J]. 現(xiàn)代電子技術(shù)， 2015，38（12）： 92-93.

[2] 袁小翠，吳祿慎，陳華偉. 基于Otsu 方法的鋼軌圖像分割[J]. 光學(xué)精密工程， 2016，24（7）： 1772-1781.

[3] 崔笑宇，趙越，范群安，等. 單目立體視覺系統(tǒng)的棱鏡位置估計(jì)[J]. 東北大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2015，36（6）： 765-768.

[4] 陳健，王靈陽，陳德全，等. 基于對(duì)焦深度法的光學(xué)顯微鏡系統(tǒng)設(shè)計(jì)[J]. 應(yīng)用光學(xué)，2017，38（6）：979-984.

[5] JINJU J， SANTHI N， RAMAR K，et al.Spatial frequency discrete wavelet transform image fusion technique for remote sensing applications[J]. ?Engineering Science and Technology， an International Journal， 2019.

[6] TANG H， XIAO B， LI W， et al. Pixel convolutional neural network for multi-focus image fusion[J]. Information Sciences， 2018， 433： 125-141.

[7] DU J， LI W， XIAO B， et al. Union Laplacian pyramid with multiple features for medical image fusion[J]. Neurocomputing， 2016，194： 326-339.

[8] MAHFOOZ O， SHAH A. Revisiting far/near infrared pyramid-based fusion types for night vision using Matlab[J]. Pakistan Journal of Engineering， Technology & Science， 2015， 1（1）.

[9] GURUPRASAD S， KURIAN M Z， SUMA H N. A medical multi-modality image fusion of CT/PET with PCA， DWT methods[J]. Journal of Dental Materials & Techniques， 2013，4（2）：677-681.

[10] 廖瑞華，李勇帆，劉宏. 基于穩(wěn)健主成分分析與核稀疏表示的人臉識(shí)別[J]. 計(jì)算機(jī)工程，2016，42（2）：200-205.

[11] 申婧妮，王慧琴，吳萌，等. MCA 分解的唐墓室壁畫修復(fù)算法[J]. 計(jì)算機(jī)科學(xué)與探索，2017，11（11）：1826-1836.

[12] LI X，WANG L，WANG J，et al. Multi-focus image fusion algorithm based on multilevel morphological component analysis and support vector machine[J]. IET Image Processing，2017，11（10）： 919-926.

[13] ZHANG Y，BAI X，WANG T. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure[J]. ?Information fusion， 2017， 35： 81-101.

[14] CHEN Y，SANG N. Attention-based hierarchical fusion of visible and infrared images[J]. Optik， 2015，126（23）： 4243-4248.

[15] MISHRA D， PALKAR B.Image fusion techniques： a review[J]. International Journal of Computer Applications， 2015，130（9）： 7-13.

[16] 楊艷春，李嬌，王陽萍. 圖像融合質(zhì)量評(píng)價(jià)方法研究綜述[J]. 計(jì)算機(jī)科學(xué)與探索，2018，12（7）：1021-1035.

[17] 張小利，李雄飛，李軍. 融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J]. 自動(dòng)化學(xué)報(bào)，2014，40（2）： 306-315.

（責(zé)任編輯：孫 娟）