聯(lián)合字典魯棒稀疏表示的多聚焦圖像融合

楊 勇,吳嘉驊,黃淑英,闕 越

1(江西財(cái)經(jīng)大學(xué) 信息管理學(xué)院,南昌 330032) 2(江西財(cái)經(jīng)大學(xué) 軟件與通信工程學(xué)院,南昌 330032) E-mail:greatyangy@126.com

1 引 言

由于CCD設(shè)備中的光學(xué)透鏡的景深有限,光學(xué)成像系統(tǒng)通常無法獲得場景中所有目標(biāo)都聚焦的圖像.這一問題可以通過圖像融合技術(shù),更精確地來說是多聚焦圖像融合技術(shù)來解決,該技術(shù)能將具有不同焦點(diǎn)的多幅圖像融合成一幅所有對(duì)象均完全聚焦的圖像[1].融合結(jié)果可以更準(zhǔn)確、全面地描述圖像的場景,有效地提高了多聚焦圖像的利用率.

近十年來,多聚焦融合技術(shù)發(fā)展迅速,現(xiàn)有的融合技術(shù)通常分為空間域的方法和變換域的方法.空間域的方法擁有直接融合源圖像聚焦區(qū)域的優(yōu)點(diǎn),但是高度依賴于清晰度測量標(biāo)準(zhǔn)的選擇,比如圖像的梯度能量、標(biāo)準(zhǔn)差或空間頻率等[2,3].由于結(jié)構(gòu)信息不能由單個(gè)像素來表示,基于區(qū)域的融合方法可以有效地從源圖像中提取聚焦區(qū)域.Li利用摳圖技術(shù),來獲得每個(gè)源圖像的聚焦區(qū)域[4].然而,由于摳圖技術(shù)的性能不穩(wěn)定,該方法所得到的聚焦區(qū)域的邊界并非完全可靠.考慮到相鄰像素的灰度相似度與幾何相似度,Kumar使用了交叉雙邊濾波器對(duì)多聚焦圖像進(jìn)行融合[5].然而,這種技術(shù)的普適性不能令人滿意,因?yàn)樵摲椒ǖ臑V波窗口的大小不能自適應(yīng)地調(diào)整.近幾年來,許多基于梯度信息的空間域融合方法被提出[6-8].這些方法克服了融合圖像的塊效應(yīng),但是融合的結(jié)果不穩(wěn)定,邊緣的過渡也不自然.

基于變換域的融合方法通常將源圖像轉(zhuǎn)換到另一個(gè)頻率域進(jìn)行處理,這使得源圖像可以被有效地融合[9].這類融合方法的關(guān)鍵在于圖像多尺度分解工具的選取和融合規(guī)則的制定[10].然而,現(xiàn)有的方法并不能表征圖像的所有幾何特征.舉例來說,雖然小波變換[11]、輪廓波變換[12]、曲波變換[13]和剪切波變換[14]可以很好地表示各自的結(jié)構(gòu)信息,但也只能提取有限的方向信息,不能精確地提取完整的輪廓.這將導(dǎo)致偽吉布斯現(xiàn)象等影響圖像融合效果的副作用產(chǎn)生.雖然非下采樣輪廓波變換(NSCT)具有良好的平移不變性,避免了偽吉布斯現(xiàn)象[15],但這種融合方法的計(jì)算復(fù)雜度非常高,占用內(nèi)存較多,運(yùn)行時(shí)間過長,限制了該方法的實(shí)際應(yīng)用[16].此外,在圖像逆變換的過程中可能導(dǎo)致一些有用的源圖像信息丟失,對(duì)最終的圖像融合效果有一定的影響.

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNNs)是近年來十分熱門的一種深度學(xué)習(xí)模型,也是第一個(gè)在圖像領(lǐng)域各個(gè)方面真正獲得成功的深度架構(gòu)[17].文獻(xiàn)[18]首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于多聚焦圖像融合,該方法利用清晰圖像以及模糊圖像訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò),并通過該網(wǎng)絡(luò)得到融合決策圖.但由于該方法是對(duì)圖像塊進(jìn)行標(biāo)記訓(xùn)練,可能導(dǎo)致聚焦與非聚焦區(qū)域之間的邊界不準(zhǔn)確.與卷積神經(jīng)網(wǎng)絡(luò)類似,由于在圖像去噪、圖像分類、人臉識(shí)別等方向上的成功應(yīng)用,稀疏表示(SR)成為近年來計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一[19].在圖像融合領(lǐng)域,SR也得到了充分的應(yīng)用.文獻(xiàn)[20-23]提出了多種基于稀疏表示的圖像融合方法,通過建立特征與稀疏系數(shù)之間的關(guān)系來表示圖像的顯著信息.然而基于SR的傳統(tǒng)融合方法存在3個(gè)主要缺點(diǎn):1)對(duì)細(xì)節(jié)的保存能力有限;2)對(duì)圖像未配準(zhǔn)有很高的敏感性;3)稀疏系數(shù)無法準(zhǔn)確判別聚焦區(qū)域[24].而這3個(gè)問題在多聚焦圖像融合中是非常重要的.文獻(xiàn)[25]提出了一種魯棒稀疏表示模型(RSR)和多任務(wù)魯棒稀疏表示模型(MRSR).不同于傳統(tǒng)SR模型,RSR通過分解得到的重構(gòu)誤差作為圖像聚焦區(qū)域的判別依據(jù),得到的聚焦區(qū)域更加準(zhǔn)確.MRSR方法對(duì)RSR進(jìn)行了改進(jìn),該方法中每個(gè)圖像塊以及其相鄰區(qū)域的信息被協(xié)同地用于確定多聚焦圖像中的聚焦和非聚焦區(qū)域,這使得融合方法的魯棒性大大提高.然而上述兩種方法均使用單個(gè)源圖像構(gòu)建字典,容易導(dǎo)致字典的完備性不足.并且這兩種方法拋棄了RSR分解得到的稀疏系數(shù),僅使用重構(gòu)誤差作為判別依據(jù),這將使稀疏系數(shù)中包含的聚焦區(qū)域信息被忽略,容易將非聚焦區(qū)域誤判為聚焦區(qū)域.同時(shí),MRSR方法的計(jì)算復(fù)雜度高,對(duì)聚焦區(qū)域的邊界也未作進(jìn)一步處理[25].為解決以上問題,本文提出了一種基于RSR和形態(tài)學(xué)濾波相結(jié)合的多聚焦圖像融合新方法.與文獻(xiàn)[25]中的RSR融合方法不同,源圖像通過基于聯(lián)合字典的RSR模型得到稀疏系數(shù)和重構(gòu)誤差,并通過兩者共同判別圖像的聚焦區(qū)域,以此獲得初始的融合決策圖.接著使用形態(tài)學(xué)濾波與高斯濾波優(yōu)化初始決策圖,從而獲得最終的融合決策圖.通過此步驟,可以使聚焦區(qū)域的判別更為精確,同時(shí)使聚焦區(qū)域的邊緣過渡自然,有效地抑制融合圖像中塊效應(yīng)和偽影現(xiàn)象的產(chǎn)生.將本文方法與現(xiàn)有的多種融合方法進(jìn)行主觀與客觀實(shí)驗(yàn)對(duì)比,結(jié)果證明了本文方法的有效性.

2 魯棒稀疏表示模型

魯棒稀疏表示(RSR)可視為對(duì)SR模型的一種改進(jìn),該模型可以提高對(duì)非高斯噪聲的魯棒性.令Y=[y1,y2,…,yN]是一個(gè)大小為d×N的數(shù)據(jù)矩陣(即多聚焦圖像),該數(shù)據(jù)矩陣的每一列yi∈Rd相當(dāng)于一個(gè)數(shù)據(jù)向量(即一個(gè)圖像塊).假設(shè)該圖像部分地被誤差或噪聲E∈Rd×N所污染,再給出一個(gè)擁有M個(gè)原子的字典D∈Rd×M,RSR模型可以由如下公式所定義:

(1)

其中,矩陣X∈RM×N代表所求的稀疏系數(shù)矩陣,‖X‖0代表矩陣X的l0范數(shù),‖E‖2,0代表誤差矩陣E的l2,0范數(shù),D代表過完備字典,參數(shù)λ用來平衡上述兩個(gè)分量在等式(1)中的影響.由文獻(xiàn)[26]的研究可知,等式(1)所定義的RSR模型可以由如下優(yōu)化問題來代替:

(2)

J=‖X‖1+λ‖E‖2,1+[L,Y-DX-E]+

(3)

其中,L是拉格朗日函數(shù),用來消除公式(2)中的條件約束,μ>0是最后一項(xiàng)的懲罰參數(shù),運(yùn)算符[A,B]表示矩陣A和矩陣B的歐幾里得內(nèi)積.顯然公式(3)現(xiàn)在是不受約束的,并且可以利用如下公式,通過固定X和E中的一項(xiàng)來求另一項(xiàng)的方法迭代循環(huán)計(jì)算該函數(shù)的最小值,直至收斂.計(jì)算公式如下:

(4)

(5)

(6)

3 本文融合方法

本文基于RSR模型的融合框架可以分為如下四個(gè)步驟:

1)利用滑動(dòng)窗口取塊的方法,將源圖像A和B分別分解成圖像塊序列.通過聯(lián)合字典對(duì)圖像塊序列進(jìn)行魯棒稀疏表示,得到稀疏系數(shù)矩陣X和編碼殘差矩陣E;

2)分別對(duì)源圖像A、B中相同位置處圖像塊序列的稀疏系數(shù)矩陣X和編碼殘差矩陣E的二范數(shù)加權(quán)求和,通過比較兩者間的大小來得到初始的決策圖;

3)通過對(duì)初始決策圖進(jìn)行形態(tài)學(xué)濾波和高斯濾波優(yōu)化,得到融合使用的最終決策圖;

4)根據(jù)得到的最終決策圖對(duì)源圖像A、B進(jìn)行加權(quán)融合,得到最終的融合圖像.上述融合步驟如圖2所示.

3.1 聯(lián)合字典的構(gòu)建

(7)

(8)

在多聚焦圖像融合中,不同源圖像的聚焦區(qū)域雖然不一致,但還是具有一定的相關(guān)性.僅使用單幅圖像所構(gòu)建出來的字典并不能得到最稀疏的系數(shù),但是將不同源圖像生成的字典聯(lián)合成一個(gè)字典,就能使字典中的信息更加完備.因此,用聯(lián)合后的字典再對(duì)源圖像進(jìn)行魯棒稀疏表示,可以得到稀疏程度更高的稀疏系數(shù).為此,本文構(gòu)造了一種聯(lián)合字典,將源圖像IA和IB生成的兩個(gè)字典聯(lián)合成一個(gè)字典DAB,其中DAB=[DA,DB].再將DAB代回RSR模型中求解.

3.2 初始決策圖的獲得

傳統(tǒng)的稀疏表示模型利用稀疏系數(shù)矩陣X作為判別聚焦區(qū)域的依據(jù).而在RSR模型中,多聚焦圖像被分解為一個(gè)非聚焦(或模糊)的部分,又稱作重構(gòu)后的矩陣DX,加上一個(gè)包含細(xì)節(jié)的部分,又稱作重構(gòu)誤差矩陣E,如圖1所示.換句話說,在RSR模型中,重構(gòu)誤差矩陣E包含了多聚焦圖像中的高頻細(xì)節(jié)信息.因此,傳統(tǒng)的RSR方法以重構(gòu)誤差E來代替稀疏系數(shù)X對(duì)聚焦區(qū)域進(jìn)行判別.

圖1 lab圖像的RSR分解示意圖Fig.1 Illustration of RSR decomposition on lab

雖然DX代表著非聚焦部分,但事實(shí)上兩幅聚焦區(qū)域不同的圖像的DX并非完全相同,這說明DX中仍然包含著少許聚焦區(qū)域的信息.為此,本文將傳統(tǒng)SR和RSR的方法相結(jié)合,在判別聚焦區(qū)域時(shí),將DX也加入考慮,可以獲得更加精確的聚焦區(qū)域.在本文中,取DX與E的加權(quán)二范數(shù)和作為比較的依據(jù).詳細(xì)的步驟如下:

1)利用聯(lián)合字典DAB,通過如下算法1求解下列優(yōu)化問題,以此得到數(shù)據(jù)矩陣YA、YB的魯棒稀疏表示:

s.t.YA=DABXA+EA,diag(XA)=0

(9)

s.t.YB=DABXB+EB,diag(XB)=0

(10)

其中,XA、XB分別是源圖像A、B的稀疏系數(shù)矩陣,EA、EB分別是源圖像A、B的重構(gòu)誤差矩陣.約束條件diag(XA)=0與diag(XB)=0是為了避免EA、EB成為零矩陣[28].算法1如下:

算法1.通過LADMAP得到魯棒稀疏表示模型算法

輸入:數(shù)據(jù)矩陣Y,字典D,參數(shù)λ

輸出:稀疏系數(shù)X,重構(gòu)誤差E

初始化:X0=0,E0=L0=0,ρ=1.1,ε=0.05,μ=10-6,μmax=1010

WHILE 結(jié)果未收斂 DO

1.固定X并利用公式(4)更新E;

2.固定E并利用公式(5)更新X;

3.利用如下公式更新拉格朗日函數(shù)L

Lj+1=Lj+μj(Y-DXj+1-Ej+1)

4.利用如下公式更新μ

μj+1=min(μjρ,μmax)

5.檢查迭代條件是否成立

‖Y-DXj+1-Ej+1‖F(xiàn)/‖Y‖F(xiàn)<ε,

‖Xj+1-Xj‖∞<ε,‖Ej+1-Ej‖∞<ε

其中,‖.‖∞代表l∞范數(shù),其含義為矩陣?yán)锩恳恍性亟^對(duì)值之和的最大值.

END WHILE

(11)

3.3 基于形態(tài)學(xué)濾波和高斯濾波的決策圖優(yōu)化

在獲得初始決策圖時(shí),只是比較了單個(gè)圖像塊中的信息,而沒有將鄰近圖像塊內(nèi)的信息加入考慮.這使得初始決策圖中存在許多孤立的小塊(或者稱作“空穴”).這些“空穴”的存在說明部分聚焦區(qū)域未被正確地識(shí)別,或者部分非聚焦區(qū)域被誤判成聚焦區(qū)域.在文獻(xiàn)[25]中,通過引入了MRSR模型來解決該問題,但MRSR模型的計(jì)算復(fù)雜度比RSR模型高了許多,并且得到的融合決策圖中仍存在許多“空穴”.為了減少“空穴”對(duì)圖像融合的影響,同時(shí)降低計(jì)算的復(fù)雜度,本文通過兩個(gè)步驟對(duì)初始決策圖進(jìn)行優(yōu)化.首先,將決策圖中孤立的小區(qū)域進(jìn)行填充,填充過程如下:

M2=bwareaopen(M1,t)

(12)

式中,bwareaopen代表形態(tài)學(xué)濾波中的填充操作,代表濾波的閾值,M1為初始決策圖.該填充操作可以將二值圖像中少于t個(gè)像素的聯(lián)通區(qū)域移除,得到一個(gè)沒有“空穴”的新二值圖像.形態(tài)學(xué)濾波的優(yōu)化很好的消除了部分被誤判的區(qū)域,有效抑制了融合圖像中偽影的產(chǎn)生.在本文方法中,t值取10000可以得到最好的效果.

在使用二值圖像作為多聚焦融合權(quán)重圖時(shí),由于聚焦與非聚焦區(qū)域的過渡不平滑,常常導(dǎo)致圖像塊效應(yīng)在融合結(jié)果中出現(xiàn).因此本文使用高斯濾波對(duì)形態(tài)學(xué)濾波填充過的決策圖進(jìn)行進(jìn)一步優(yōu)化,得到最終的融合權(quán)重圖,即:

圖2 本文的融合框架Fig.2 Schematic diagram of the proposed fusion frame

MF=M2*Gsr,σ

(13)

式(13)中,*代表卷積操作,Gsr,σ代表高斯濾波函數(shù),r和σ分別為高斯濾波的參數(shù),本文取r=7,σ=1.2.

3.4 融合源圖像

獲得最終的融合權(quán)重圖后,對(duì)源圖像進(jìn)行加權(quán)得到最終的融合圖像,即:

IF=MFIA+(1-MF)IB

(14)

式(14)中,IF為最終的融合圖像.

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文所提出方法的有效性,本文選擇了6組廣泛應(yīng)用于研究的多聚焦圖像進(jìn)行對(duì)比實(shí)驗(yàn),包括lab、book、clock、flower、disk、paper.其中,lab、flower和disk大小均為320×240,book大小為400×300,clock大小為256×256,paper大小為322×234.如圖3所示,除book外,其余圖像均是未精確配準(zhǔn)的,圖3中第一排是聚焦于左側(cè)的圖像,第二排是對(duì)應(yīng)的聚焦于右側(cè)的圖像.本文方法與七種當(dāng)前主流的多聚焦圖像融合方法進(jìn)行了比較,包括圖像摳圖(IMF)[4]、引導(dǎo)濾波(GFF)[6]、多尺度權(quán)重梯度(MWGF)[7]、交叉雙邊濾波(CBF)[5]、自相似與深度信息(SSDI)[8]、NSCT結(jié)合稀疏表示(NSCT-SR)[21]和卷積神經(jīng)網(wǎng)絡(luò)(CNN)[18].本文對(duì)比實(shí)驗(yàn)中,七種方法的代碼均是作者在其主頁公布的,它們的參數(shù)選擇均與各文獻(xiàn)中保持一致,所有的實(shí)驗(yàn)均是在Matlab2014a上實(shí)現(xiàn)的,實(shí)驗(yàn)配置是3.20GHz的CPU和8GB的內(nèi)存.

圖3 六組多聚焦源圖像Fig.3 Six groups of multi-focus source images

4.1 融合圖像質(zhì)量評(píng)價(jià)

融合圖像的質(zhì)量評(píng)價(jià)主要包括主觀評(píng)價(jià)和客觀評(píng)價(jià)兩部分.由于融合技術(shù)地不斷提升,主觀評(píng)價(jià)的標(biāo)準(zhǔn)已經(jīng)很難體現(xiàn)不同融合方法得到的效果的差異.在本文中,將同時(shí)考慮融合圖像的主觀視覺效果和客觀定量評(píng)價(jià),其中客觀定量評(píng)價(jià)通過互信息(MI)[29]、邊緣信息保持度(QAB/F)[30]和結(jié)構(gòu)相似度(SSIM)[31]三種常用的圖像融合質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)來衡量.

4.2 融合的參數(shù)選擇

由于公式(1)中提到的參數(shù)λ以及滑動(dòng)取塊時(shí)窗口大小px×py對(duì)融合結(jié)果有著重要的影響,我們需要找到可以使融合結(jié)果達(dá)到最優(yōu)的參數(shù).在本小節(jié)中,我們使用六幅圖像的平均結(jié)果來測試不同參數(shù)對(duì)本文方法的影響.采用上一小節(jié)提到的三個(gè)質(zhì)量評(píng)價(jià)指標(biāo)來衡量不同參數(shù)得到的融合結(jié)果.

表1 不同參數(shù)下本文方法得到的融合結(jié)果Table 1 Fusion results obtained by different parameters

表1給出了不同參數(shù)下的融合結(jié)果.我們注意到,窗口尺寸px和py取8和12時(shí),得到的結(jié)果相近,但是當(dāng)px取12時(shí)計(jì)算復(fù)雜度大大降低,由表3可知,消耗時(shí)間只有px=8時(shí)的九分之一左右.因此綜合考慮各個(gè)因素,本文窗口尺寸px和py取12.從表1中還可以看到,當(dāng)λ取15時(shí),可以得到最優(yōu)的結(jié)果.因此在以下的實(shí)驗(yàn)中,取px=py=12,λ=15.

4.3 圖像融合實(shí)驗(yàn)

4.3.1 主觀視覺效果

圖4給出了不同方法的lab融合結(jié)果.值得注意的是,由于拍攝時(shí)差,lab圖中實(shí)驗(yàn)人員的頭部相互具有明顯的位移(如圖3(a)),這說明兩張?jiān)磮D像未完全配準(zhǔn).為了體現(xiàn)本文方法對(duì)未精確配準(zhǔn)圖像的魯棒性,本文給出了融合圖像與右聚焦源圖像的歸一化殘差圖.在殘差圖中,對(duì)應(yīng)源圖像聚焦區(qū)域的殘差特征越少,則代表源圖像聚焦區(qū)域所轉(zhuǎn)移到融合圖像中的信息越完整.相反,對(duì)于非聚焦區(qū)域則是應(yīng)該具有更豐富的細(xì)節(jié)信息.為了得到更清晰的對(duì)比,本文對(duì)殘差圖進(jìn)行了歸一化處理:

(13)

圖4 不同方法的lab融合圖像和對(duì)應(yīng)殘差圖Fig.4 Fused images and their relevant residues of different fusion methods on lab

4.3.2 客觀定量評(píng)價(jià)

為了進(jìn)一步驗(yàn)證本文方法的性能,本文對(duì)七種方法的結(jié)果進(jìn)行了客觀質(zhì)量評(píng)價(jià).利用MI、QAB/F和QY對(duì)融合結(jié)果進(jìn)行定量分析,評(píng)價(jià)結(jié)果如表2所示,其中粗體為所有方法中的最大值.從表2中可以直觀地看出,本文方法的MI和QY的值均是最大,除了book之外QAB/F的值也均為最大,并且book的QAB/F值也與最大值相近.MI的值均為最大值,說明本文方法所獲得的融合圖像轉(zhuǎn)移了更多來自源圖像的原始信息.QY的值均為最大值,說明本文方法可以很好的保留源圖像的結(jié)構(gòu)信息.QAB/F的對(duì)比也說明本文方法總體上可以很好的保留源圖像的邊緣信息.因此,綜合三個(gè)評(píng)價(jià)指標(biāo)的表現(xiàn)來看,本文方法在有效信息提取上明顯優(yōu)于其他七種主流方法.

表2 不同融合方法得到的客觀指標(biāo)對(duì)比Table 2 Objective comparison of different multi-focus image fusion methods

4.3.3 關(guān)于聯(lián)合字典與形態(tài)學(xué)濾波的對(duì)比試驗(yàn)

為了驗(yàn)證聯(lián)合字典與形態(tài)學(xué)濾波在本文方法中的有效性,本節(jié)將未使用聯(lián)合字典的魯棒稀疏表示融合方法和未使用形態(tài)學(xué)濾波處理的魯棒稀疏表示融合方法與本文方法進(jìn)行了對(duì)比.對(duì)上述6組圖進(jìn)行融合的平均評(píng)價(jià)指標(biāo)如表3所示.

表3 是否使用聯(lián)合字典與形態(tài)學(xué)濾波的對(duì)比Table 3 Comparison of using the joint dictionary or morphological filtering

其中 MF-RSR代表使用形態(tài)學(xué)濾波處理但不使用聯(lián)合字典的魯棒稀疏表示融合方法,JD-RSR代表使用聯(lián)合字典但不使用形態(tài)學(xué)濾波處理的魯棒稀疏表示融合方法.由表3可以看出,MF-RSR與JD-RSR兩種方法的MI、QAB/F與QY的值均低于本文方法.因此綜合三個(gè)評(píng)價(jià)指標(biāo)的表現(xiàn)來看,使用聯(lián)合字典對(duì)圖像進(jìn)行魯棒稀疏分解以及使用形態(tài)學(xué)濾波對(duì)決策圖進(jìn)行后處理可以有效提升融合圖像的質(zhì)量.

4.3.4 算法效率分析

表4給出了不同多聚焦圖像融合方法在六組融合實(shí)驗(yàn)中的平均耗時(shí).從表4中可以看出,GFF是目前效率最高的方法,可以做到實(shí)時(shí)性.IMF與MWGF是效率較高的兩種方法,分別只需要2.82秒和1.65秒.CBF、SSDI與NSCT-SR的耗時(shí)均超過了10秒,效率相對(duì)較低.CNN是最耗時(shí)的方法,這是由于CNN使用了卷積神經(jīng)網(wǎng)絡(luò),計(jì)算復(fù)雜度較高.但是CNN的融合效果與SSDI相近,并且優(yōu)于其余方法.本文方法由于使用了RSR模型,計(jì)算復(fù)雜度略高于傳統(tǒng)SR模型[25].但是本文方法在犧牲部分計(jì)算效率的基礎(chǔ)上,得到的融合效果明顯優(yōu)于上述方法,并且計(jì)算耗時(shí)少于CNN.相信通過優(yōu)化RSR模型的算法,可以進(jìn)一步地提升計(jì)算效率,滿足各種實(shí)際應(yīng)用的要求.

表4 不同融合方法的耗時(shí)對(duì)比Table 4 Comparison of time consuming in different fusion methods

5 結(jié) 論

本文提出一種基于魯棒稀疏表示和形態(tài)學(xué)濾波的多聚焦圖像融合方法.利用魯棒稀疏表示模型對(duì)源圖像進(jìn)行處理,得到稀疏系數(shù)和重構(gòu)誤差,再求解兩者的加權(quán)二范數(shù)和判別圖像的聚焦區(qū)域,以此來獲得初始的融合決策圖.為了減少融合圖像中偽影現(xiàn)象和塊效應(yīng)現(xiàn)象的產(chǎn)生,接著采用形態(tài)學(xué)濾波與高斯濾波對(duì)初始決策圖進(jìn)行優(yōu)化,從而獲得最終的融合決策圖.最后,本文方法與七種主流的融合方法進(jìn)行了對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明本文方法在視覺效果和定量指標(biāo)上均優(yōu)于其他方法.由于本文方法的計(jì)算效率并非最高,因此在下一步的工作中,將研究降低本文方法計(jì)算復(fù)雜度的優(yōu)化算法.同時(shí),還將考慮將本文方法應(yīng)用在其他圖像類型的融合技術(shù)上,如多模態(tài)醫(yī)學(xué)圖像融合和紅外與可見光圖像融合等.