基于提升靜態(tài)小波變換與聯(lián)合結(jié)構(gòu)組稀疏表示的多聚焦圖像融合

鄒佳彬，孫 偉

(中國礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221008)

0 引言

光學(xué)傳感器通常無法獲取同一場(chǎng)景內(nèi)不同景深的多個(gè)目標(biāo)都清晰的圖像，常用的解決方法是借助多個(gè)傳感器一次成像或單個(gè)傳感器多次成像得到聚焦在不同區(qū)域的多幅圖像[1]。多幅圖像之間往往存在著大量的冗余信息，不利于圖像的分析與處理，因此，多聚焦圖像融合方法得到了廣泛的研究，它將不同景深的多幅圖像進(jìn)行融合，降低圖像間信息的冗余度，得到便于后續(xù)處理的清晰圖像。目前，應(yīng)用于多聚焦圖像融合的算法很多?；诙喑叨确治龅膱D像融合技術(shù)，模擬了人類視覺系統(tǒng)由“粗”及“細(xì)”感知物體的方式，可以得到較好的融合結(jié)果，所以基于多尺度分析的圖像融合技術(shù)一直成為圖像融合領(lǐng)域的研究熱點(diǎn)。圖像經(jīng)多尺度變換分解后，能夠針對(duì)多方向、多尺度層采取不同融合策略，突出重要的細(xì)節(jié)特征信息，獲得更好的融合效果。小波變換作為一種圖像多尺度分解的工具，因具有良好的時(shí)域和頻域局部特性以及多分辨率特性，而在圖像融合領(lǐng)域中得到了廣泛應(yīng)用[2]。隨著小波變換相關(guān)理論的不斷成熟，傳統(tǒng)小波變換的缺陷如平移變性和較少的方向選擇性等隨之展現(xiàn)出來。于是Sweldens等[3]致力于研究具有更高性能的多尺度變換工具，提出了第二代提升小波變換，主要是關(guān)于張量積小波的提升方式。然而，傳統(tǒng)提升小波變換仍具有部分缺點(diǎn)如不具有平移不變性，在融合圖像時(shí)容易產(chǎn)生偽吉布斯現(xiàn)象[4]，使融合圖像失真嚴(yán)重。因此本文采用文獻(xiàn)[5]提出的提升靜態(tài)小波變換(Lifting Stationary Wavelet Transform, LSWT)作為多尺度變換工具，克服了傳統(tǒng)小波變換的平移變性等缺陷，得到具有平移不變性的多尺度變換圖像。

基于多尺度變換的圖像融合算法中，融合規(guī)則的選擇和設(shè)計(jì)決定了融合圖像質(zhì)量，因?yàn)閳D像經(jīng)多尺度變換可分解為低頻部分和高頻部分，而圖像的高頻部分由于分解層數(shù)的不同而存在著不同的尺度，針對(duì)高低頻子帶各自的物理特征，分別設(shè)計(jì)高頻子帶和低頻子帶的融合規(guī)則。通常情況下，低頻子帶包含了源圖像的主要能量，可以看成是源圖像的近似信息，系數(shù)的選擇大多采用直接平均法，該方法雖然簡(jiǎn)單，但在一定程度上降低了圖像的對(duì)比度，以及未考慮到人眼的視覺特征，從而使源圖像中的部分有用信息丟失；高頻子帶包含圖像的邊緣、輪廓等大多數(shù)細(xì)節(jié)信息，通常系數(shù)的選擇方案直接作用于高頻子帶系數(shù)，沒有考慮到局部區(qū)域里像素間的相關(guān)性，紋理細(xì)節(jié)得不到較好的保留。

近些年來，由于稀疏表示模型可以高效地提取源圖像的潛在信息，基于稀疏表示的圖像融合方法得到了十分廣泛的研究及應(yīng)用。文獻(xiàn)[6]將基于稀疏表示的融合方法直接應(yīng)用于灰度圖像，并研究了過完備字典對(duì)圖像融合質(zhì)量的影響；文獻(xiàn)[7]將稀疏模型與多尺度變換相結(jié)合，較好地解決了稀疏表示模型對(duì)圖像高頻子帶系數(shù)不能完好逼近的問題；文獻(xiàn)[8]提出了結(jié)合非下采樣輪廓波變換(Non-Subsampled Contourlet Transform, NSCT)與稀疏表示的多聚焦圖像融合方法，一定程度上克服了傳統(tǒng)稀疏表示方法容易造成圖像邊緣、紋理等細(xì)節(jié)趨于平滑的缺陷。隨著稀疏表示的深入研究，聯(lián)合稀疏表示(Joint Sparse Representation, JSR)模型被Baron等[9]提出，文獻(xiàn)[9]展現(xiàn)了三種聯(lián)合稀疏模型(Joint Sparsity Model, JSM)來描述信號(hào)之間的相關(guān)性，分別為JSM1、JSM2與JSM3。模型指出: 所有信號(hào)之間具有相關(guān)性，即具有相同的公共稀疏部分與各信號(hào)獨(dú)有的稀疏部分。肖新耀等[10]提出一種基于àtrous小波和聯(lián)合稀疏表示的遙感圖像融合方法；Li等[11]提出了聯(lián)合稀疏表示的多聚焦圖像融合方法；宗靜靜等[12]提出了聯(lián)合稀疏表示的醫(yī)學(xué)圖像融合及同步去噪算法。上述基于聯(lián)合稀疏表示模型的融合算法充分地利用圖像間的相關(guān)性，所得融合圖像的亮度、對(duì)比度較高，圖像紋理細(xì)節(jié)相對(duì)清晰，源圖像清晰部分特征得到較好的保留，但融合圖像中仍存在一定的塊狀效應(yīng)影響。

通常稀疏表示模型是將原始圖像先分塊，然后將圖像塊按列向量形式排列成矩陣，利用過完備字典進(jìn)行稀疏求解；然而當(dāng)基于塊的稀疏表示模型中采用圖像塊作為基本單元時(shí)，每個(gè)圖像塊在字典學(xué)習(xí)與稀疏編碼的過程中相互獨(dú)立，忽略了相似塊間的聯(lián)系，往往得到的稀疏系數(shù)不夠準(zhǔn)確，同時(shí)字典訓(xùn)練中計(jì)算復(fù)雜度較高。針對(duì)這種情況，Zhang等[13]指出根據(jù)圖像本身具有的非局部相似性，即相似圖像塊的像素值與結(jié)構(gòu)大致相同，采用相似性結(jié)構(gòu)組為基本單元，對(duì)結(jié)構(gòu)組進(jìn)行稀疏表示可以得到較好的處理結(jié)果。研究表明結(jié)構(gòu)組稀疏表示比傳統(tǒng)的基于圖像塊的稀疏表示模型計(jì)算速度快，塊狀效應(yīng)減少，同時(shí)圖像重構(gòu)以及降噪方面效果更加顯著。近年來，圖像的非局部相似性在壓縮感知以及圖像融合方面得到了廣泛的應(yīng)用。李祥燦[14]利用結(jié)構(gòu)組稀疏表示研究了自然圖像超分辨率重建算法；張曉等[15]提出基于結(jié)構(gòu)組稀疏表示的遙感圖像融合算法，將表征圖像結(jié)構(gòu)相似性的結(jié)構(gòu)組概念應(yīng)用到稀疏表示的圖像融合算法中，將結(jié)構(gòu)組作為字典與稀疏求解的基本單位，在結(jié)構(gòu)組內(nèi)采用奇異值分解方法學(xué)習(xí)組稀疏系數(shù)，采用通用分量替換融合框架進(jìn)行圖像融合，取得了較好的融合效果。

綜上所述，利用多尺度變換在圖像融合中的優(yōu)勢(shì)，本文選擇提升靜態(tài)小波變換(LSWT)作為多尺度變換工具，針對(duì)LSWT分解得到的高低頻子帶的各自特征選擇不同的融合方案。融合圖像低頻子帶系數(shù)時(shí)，由于低頻子帶稀疏性較差，傳統(tǒng)基于圖像塊的稀疏表示模型在圖像融合中容易產(chǎn)生塊效應(yīng)影響，字典建立復(fù)雜度高，因此，根據(jù)圖像本身具有的非局部相似性，選擇結(jié)構(gòu)組作為字典和稀疏求解基本單位；同時(shí)考慮到聯(lián)合稀疏表示模型能夠充分利用低頻子帶圖像之間的關(guān)聯(lián)性并可用較少的系數(shù)精確表示圖像特征，本文用結(jié)構(gòu)組代替聯(lián)合稀疏表示中的圖像塊作為字典和稀疏求解基本單位，得到聯(lián)合結(jié)構(gòu)組稀疏表示模型來指導(dǎo)融合，提高計(jì)算速度，增強(qiáng)降噪效果，降低塊效應(yīng)影響，使清晰部分得到更好的保留。LSWT分解得到的高頻子帶稀疏性較好，并且能夠體現(xiàn)圖像不同方向、不同角度的紋理等細(xì)節(jié)特征，因此低頻子帶融合規(guī)則不適用于高頻子帶。高頻子帶圖像可看成是由許多的像素點(diǎn)構(gòu)成，僅憑單個(gè)像素點(diǎn)不能清楚地表示出圖像紋理等細(xì)節(jié)，需要區(qū)域內(nèi)的像素點(diǎn)共同體現(xiàn)，又考慮到拉普拉斯能量和在融合高頻系數(shù)時(shí)表現(xiàn)出的高效性，能包含大部分的細(xì)節(jié)信息，因此，采用方向區(qū)域拉普拉斯能量和與匹配度相結(jié)合的自適應(yīng)融合算法指導(dǎo)融合。本文算法流程如圖1所示。

圖1 本文算法流程 Fig. 1 Flow chart of the proposed algorithm

1 提升靜態(tài)小波變換

為克服傳統(tǒng)小波變換以及第二代提升小波變換存在的不足，本文采用LSWT作為多尺度變換工具。通過在傳統(tǒng)提升小波變換的基礎(chǔ)上取消奇偶分裂環(huán)節(jié)并在相應(yīng)濾波器系數(shù)間插入一定個(gè)數(shù)的零來實(shí)現(xiàn)濾波器的延拓，便能得到具有平移不變性的提升靜態(tài)小波變換[4]。其分解與重構(gòu)過程如圖2所示。

圖2 提升靜態(tài)小波分解與重構(gòu)圖 Fig. 2 LSWT decomposition and recomposition diagram

圖2中：rl+1與tl+1分別為輸入信號(hào)rl經(jīng)LSWT第l+1層分解得到的低頻與高頻子帶系數(shù)；pl+1與ul+1為LSWT的預(yù)測(cè)與更新濾波器系數(shù)，表示如下：

(1)

(2)

其中：pi(i=0,1,…,I-1)與uj(j=0,1,…,J-1)分別為原提升小波變換的預(yù)測(cè)與更新濾波器系數(shù)；I、J分別為原預(yù)測(cè)算子p和更新算子u的系數(shù)個(gè)數(shù)。

2 聯(lián)合結(jié)構(gòu)組稀疏表示

2.1 結(jié)構(gòu)組的構(gòu)建

稀疏表示以壓縮傳感理論為基礎(chǔ)。稀疏表示的基本模型是用字典中少量原子的線性組合來描述信號(hào)，即大部分原子的系數(shù)絕對(duì)值都為零，只有少數(shù)原子的系數(shù)非零，圖像信息越稀疏，稀疏表示就越準(zhǔn)確[10]。傳統(tǒng)基于圖像塊的稀疏表示模型通常對(duì)不同的圖像塊分別進(jìn)行稀疏表示，例如傳統(tǒng)圖像編碼中采用的分塊離散余弦變換，然而字典訓(xùn)練與稀疏優(yōu)化求解的過程比較復(fù)雜，計(jì)算量大以及耗時(shí)長。近年來，圖像的結(jié)構(gòu)稀疏性或組稀疏性得到了廣泛的應(yīng)用。

為了提高圖像處理的運(yùn)行效率，通常需要對(duì)圖像的每一個(gè)結(jié)構(gòu)組進(jìn)行最佳稀疏表示，得到自適應(yīng)于每一個(gè)結(jié)構(gòu)組Vyk的最佳稀疏表示字典Dyk。

2.2 聯(lián)合稀疏表示

分布式壓縮感知(Distributed Compressed Sensing, DCS)由Baron等[9]于2009年提出，聯(lián)合稀疏表示模型來源于分布式壓縮感知理論，是其核心內(nèi)容。Baron等[9]提出了3種不同的聯(lián)合稀疏表示模型，在聯(lián)合稀疏表示模型JSM1中，Z={z1,z2，…,zF}表示F信號(hào)所組成的信號(hào)集合，其中zi∈Rn，假設(shè)給定的過完備字典為D∈Rn×m(n

zi=Dac+Dai+ni；i=1,2，…，n

(3)

其中：ac∈Rm與ai∈Rm分別為所有信號(hào)的公共稀疏系數(shù)和各自的獨(dú)立稀疏系數(shù)，Dac和Dai分別表示所有信號(hào)的公共信息部分和各自的獨(dú)立信息部分，ni表示信號(hào)噪聲。

信號(hào)整體的聯(lián)合稀疏表示(JSR)如式(4)所示：

Z=DJSRA+n

(4)

結(jié)合稀疏表示理論，稀疏系數(shù)A可以通過求解下面的優(yōu)化問題得到，即:

(5)

優(yōu)化問題式(5)是個(gè)無確定解析式的困難問題(Non-determined Polynomial hard, NP-hard)[16]，無法直接求解，很多逼近算法能夠有效地逼近最優(yōu)解?？紤]到正交匹配追蹤(Orthogonal Matching Pursuit, OMP)算法的快速特點(diǎn)，文獻(xiàn)[17]提出了正則的OMP——正則化正交匹配追蹤(Regularized Orthogonal Matching Pursuit, ROMP)稀疏分解算法，ROMP稀疏分解算法屬于貪婪系列，可較好地克服基追蹤(Basis Pursuit, BP)的高復(fù)雜度與OMP的低精度問題。

2.3 聯(lián)合結(jié)構(gòu)組稀疏表示框架

假設(shè)X={x1,x2} 表示2幅圖像所組成的信號(hào)集合，x1,2∈RM×N，結(jié)構(gòu)組聯(lián)合稀疏表示框架表示如下：

3)聯(lián)合結(jié)構(gòu)組矩陣Vxk中信號(hào)整體的聯(lián)合稀疏如下所示：

Vxk=DxkJSRAxk+nxk

(6)

結(jié)合稀疏表示理論，稀疏系數(shù)Axk可以通過求解下面的優(yōu)化問題得到，即：

(7)

4)采用ROMP稀疏分解算法求解上述優(yōu)化問題，可得每個(gè)聯(lián)合結(jié)構(gòu)組矩陣Vxk的稀疏系數(shù)Axk。

3 基于LSWT的多聚焦圖像融合框架

3.1 低頻子帶系數(shù)融合算法

LSWT得到的低頻子帯是圖像的近似描述，包含圖像的主要能量，但低頻子帶稀疏性較差。針對(duì)低頻子帶稀疏性較差這一缺點(diǎn)，考慮到聯(lián)合稀疏表示模型能夠充分利用低頻子帶圖像之間的關(guān)聯(lián)性以及結(jié)構(gòu)組可以有效地表征圖像本身具有的非局部相似性，本文選擇聯(lián)合結(jié)構(gòu)組稀疏表示模型來指導(dǎo)低頻子帶系數(shù)融合。低頻系數(shù)融合方法總體框架如下：

1)圖像LSWT分解。將兩幅源圖像進(jìn)行LSWT分解(本文采用2層分解)，得到低頻子帶系數(shù)I1與I2。

(8)

5)重構(gòu)。根據(jù)VFxk=DxkaFxk重構(gòu)得到融合圖像第k個(gè)結(jié)構(gòu)組矩陣VFxk，利用式(9)將每一個(gè)結(jié)構(gòu)組放回到重建圖像的對(duì)應(yīng)位置，并將全部結(jié)構(gòu)組進(jìn)行取均值處理，最終得到低頻子帶融合圖像I，其中./表示兩個(gè)向量之間對(duì)應(yīng)元素進(jìn)行除法的算子。

(9)

3.2 高頻子帶系數(shù)融合算法

源圖像經(jīng)LSWT分解后的高頻子帶中，高頻系數(shù)表示圖像細(xì)節(jié)的變化情況，直接地反映圖像的邊緣與紋理等細(xì)節(jié)信息分布情況。高頻系數(shù)值越大，代表著邊緣與紋理特征更加明顯，需要被更好地保留?？紤]到人類視覺系統(tǒng)特性,人眼對(duì)單個(gè)像素的灰度取值并不敏感，圖像清晰與否是由區(qū)域內(nèi)像素共同體現(xiàn)[18]，因此，本文采用了基于區(qū)域特征的融合規(guī)則。已知拉普拉斯能量和(Sum Modified-Laplacian, SML)能較好地反映圖像的邊緣化程度，可恰當(dāng)?shù)孛枋鰣D像的灰度變化信息，進(jìn)而反映空間細(xì)節(jié)，增強(qiáng)圖像可分辨性，相對(duì)于圖像的空間頻率、方差、以及圖像的區(qū)域能量等，SML 在融合圖像時(shí)處理高頻子帶系數(shù)表現(xiàn)出明顯的優(yōu)越性[19]，同時(shí)考慮到高頻系數(shù)呈現(xiàn)明顯的方向特性，因此將方向區(qū)域拉普拉斯能量和作為區(qū)域特征用于圖像融合中。

如果用fd,l(x,y)表示源圖像位于(x,y)處d(d為LSWT分解得到3個(gè)方向)方向，l(l=1,2,…，L)尺度高頻子帶細(xì)節(jié)系數(shù)，則待融合圖像高頻子帶各元素的拉普拉斯算子MLd,l以及方向區(qū)域拉普拉斯算子能量和(DRSMLd,l)表示如下：

MLd,l(x,y)=|2fd,l(x,y)-fd,l(x-step,y)-

fd,l(x+step,y)|+|2fd,l(x,y)-fd,l(x,y-step)-

fd,l(x,y+step)|

(10)

(11)

兩幅圖像A與B的高頻子帶中對(duì)應(yīng)元素的相關(guān)方向區(qū)域拉普拉斯能量和為：

(12)

其中：step表示系數(shù)間的可變距離，本文取step=1；Wd為窗口函數(shù)；a×b為窗口大小(例如3×3、5×5或7×7)。經(jīng)LSWT分解后的各高頻子帶系數(shù)的分布呈現(xiàn)出明顯的方向特征，分別表現(xiàn)為水平、垂直和對(duì)角方向，如果選用統(tǒng)一的窗口函數(shù)，則突顯不出區(qū)域的方向特性。據(jù)此可以對(duì)高頻子帶選取各自相關(guān)性較強(qiáng)的方向區(qū)域，而不使用統(tǒng)一區(qū)域模板，增強(qiáng)區(qū)域方向相關(guān)性[20]?？紤]到高頻子帶系數(shù)變化比較劇烈，窗函數(shù)在處理鄰域像素時(shí)應(yīng)能夠突出中心像素的作用，因而本文選取中心數(shù)值較大、周圍數(shù)值較小的窗函數(shù)。綜上所述，本文方向區(qū)域窗口模板Wd(a,b)如圖3所示，利用不同方向區(qū)域窗口模板生成各個(gè)高頻子帶的方向區(qū)域拉普拉斯能量和。

圖3 方向區(qū)域窗口模板 Fig. 3 Window template of directional region

計(jì)算兩幅圖像A，B中高頻子帶系數(shù)的區(qū)域匹配度為：

(13)

Td,lA,B反映了兩幅圖像位置(x,y)處d方向，l尺度高頻子帶區(qū)域能量的近似程度。當(dāng)A、B比較接近時(shí)，Td,lA,B趨向于1；而當(dāng)A、B差別很大時(shí)，Td,lA,B趨向0。本文加權(quán)融合規(guī)如下：

fd,lZ(x,y)=ωA(x,y)fd,lA(x,y)+ωB(x,y)fd,lB(x,y)

(14)

ωB(x,y)=1-ωA(x,y)；ωA(x,y)=

(15)

考慮到式中Td,lA,B為與T有關(guān)的閾值,定義自適應(yīng)閾值T如下：

T=0.5*(max(Td,lA,B)+min(Td,lA,B))

(16)

當(dāng)Td,lA,B≥T，表明兩幅圖像A、B差別較小，相關(guān)程度高，因此根據(jù)方向區(qū)域拉普拉斯能量和大小確定自適應(yīng)因子進(jìn)行圖像加權(quán)融合；當(dāng)Td,lA,B

4 實(shí)驗(yàn)結(jié)果分析

本文選取多聚焦圖像clock、pepsi、lab作為實(shí)驗(yàn)對(duì)象。圖4(a)與圖4(b)分別是已配準(zhǔn)的左聚焦clock圖像與右聚焦clock圖像，已配準(zhǔn)的左聚焦pepsi圖像與右聚焦pepsi圖像，圖4(c)為存在配準(zhǔn)誤差的左聚焦lab圖像與右聚焦lab圖像(學(xué)生頭部存在配準(zhǔn)誤差)。實(shí)驗(yàn)中采用LSWT對(duì)圖像進(jìn)行分解與重構(gòu)，分解層數(shù)為2，區(qū)域模板大小為3×3，實(shí)驗(yàn)源圖像如圖4所示。所有實(shí)驗(yàn)都是在Matlab R2008a平臺(tái)上進(jìn)行，硬件條件為英特爾雙核CPU、頻率3 GHz、內(nèi)存2 GB。

圖4 實(shí)驗(yàn)選用的多聚焦源圖像 Fig. 4 Multi-focus source images for experiment

為驗(yàn)證本文改進(jìn)算法的有效性，本文與其他4種算法進(jìn)行實(shí)驗(yàn)對(duì)比。算法1和算法2采用基于小波變換與提升靜態(tài)小波變換作為多尺度變換工具，低頻系數(shù)加權(quán)平均、高頻系數(shù)模值取大的融合算法，算法3采用文獻(xiàn)[7]提出的基于多尺度變換和稀疏表示的圖像融合方案；算法4采用文獻(xiàn)[10]提出的基于聯(lián)合稀疏表示的圖像融合方案，算法5采用本文所提出的融合方案，比較5種算法以此來驗(yàn)證本文融合算法的優(yōu)越性。圖5(a)～(e)為5種算法融合clock、pepsi、lab多聚焦源圖像的融合圖像；圖6(a)～(e)為圖5(a)～(e)融合圖像的局部細(xì)節(jié)放大圖；為更好地比較5種融合方法的融合效果，本文給出圖5中融合圖像與圖4相應(yīng)右聚焦源圖像之間的殘差結(jié)果，圖7(a)～(e)為圖5中clock、pepsi、lab的融合圖像與圖4(a)～(e)右聚焦源圖像的相應(yīng)殘差圖。

圖5 采用不同融合算法得到的融合圖像 Fig. 5 Fusion image obtained by different fusion algorithms

圖6 圖5的細(xì)節(jié)圖 Fig. 6 Details of Fig.5

圖7 圖4右聚焦源圖像與圖5的相應(yīng)殘差圖 Fig. 7 Difference images of Fig.5 and the right multi-focus source image of Fig.4

通過客觀評(píng)價(jià)指標(biāo)，可以定量地比較不同融合圖像的質(zhì)量。本文選取4個(gè)客觀評(píng)價(jià)指標(biāo)分別為：標(biāo)準(zhǔn)差(Standard Deviation, SD)、平均梯度(Average Gradient, AG)、互信息量(Mutual Information, MI)、邊緣信息保持度(QAB/F)。標(biāo)準(zhǔn)差表征了圖像像素分布程度，決定圖像對(duì)比度的高低；平均梯度指圖像的邊界或影線兩側(cè)附近灰度的明顯差異程度，可用來表示圖像清晰度；互信息用于衡量融合圖像包含源圖像信息量的大小；邊緣信息保持度表征源圖像中的邊緣細(xì)節(jié)信息注入到融合圖像的轉(zhuǎn)移量。一般情況下，4個(gè)客觀評(píng)價(jià)指標(biāo)越大，表示融合圖像質(zhì)量越高，圖像越清晰。表1為圖5中clock、pepsi、lab融合圖像相應(yīng)的客觀評(píng)價(jià)指標(biāo)。

表1 clock、pepsi、lab的圖像客觀評(píng)價(jià)指標(biāo)Tab. 1 Image objective evaluation index of clock,pepsi,lab

從圖5(a)、(b)融合圖像以及圖6(a)、(b)的細(xì)節(jié)圖像中可以看出，圖5(a)clock的大鬧鐘邊緣與pepsi的上方英文字母邊緣處出現(xiàn)波紋與虛假信息，存在偽影現(xiàn)象，圖像清晰度較差，針對(duì)存在配準(zhǔn)誤差的lab多聚焦圖像，圖5(a)lab的實(shí)驗(yàn)人員頭部出現(xiàn)更為嚴(yán)重的偽影現(xiàn)象。圖5(b)clock的大鬧鐘邊緣、pepsi的上方英文字母邊緣以及l(fā)ab的學(xué)生頭部邊緣處則此類現(xiàn)象得到緩解，邊緣較為清晰。其主要原因是采用傳統(tǒng)小波變換對(duì)圖像進(jìn)行分解和重構(gòu)時(shí)需要進(jìn)行采樣操作，使得傳統(tǒng)的小波變換不具有平移不變性，導(dǎo)致了融合圖像失真，邊緣存在偽影現(xiàn)象，使融合圖像的視覺效果較差。特別是對(duì)存在配準(zhǔn)誤差的lab多聚焦圖像進(jìn)行融合時(shí)，由于源圖像之間存在一定位移，沒有移不變功能的方法得到融合圖像在邊緣附近的偽吉布斯現(xiàn)象更為明顯。而LSWT對(duì)圖像進(jìn)行分解與重構(gòu)時(shí)因取消了奇偶分裂環(huán)節(jié)沒有對(duì)圖像進(jìn)行上下采樣操作，具有平移不變性，因此能較好地克服偽吉布斯現(xiàn)象并提高融合圖像質(zhì)量。根據(jù)殘差圖對(duì)比結(jié)果，能更直觀地看出上述2種方法的差異，圖7(b)clock、pepsi、lab圖像相比7(a)中圖像殘差較少，說明基于LSWT的融合算法在融合性能方面優(yōu)于基于傳統(tǒng)小波變換的融合算法。為了更客觀地評(píng)價(jià)兩種融合算法在多聚焦圖像融合中的性能，采用4個(gè)客觀評(píng)價(jià)指標(biāo)進(jìn)行定量比較，對(duì)比結(jié)果如表1所示，從中可以看出提升靜態(tài)小波變換方法可以消除由于傳統(tǒng)小波變換不具有平移不變性所產(chǎn)生的偽吉布斯現(xiàn)象，邊緣特征顯著提高，融合效果相對(duì)更好。

從圖5(b)～(e)以及局部細(xì)節(jié)圖6(b)～(e)的對(duì)比中可以看出，圖5(b)融合圖像相比圖5(c)～(e)的視覺效果較差，這是因?yàn)榉椒?中低頻系數(shù)取平均規(guī)則所獲得的融合圖像并不能有效提取源圖像信息并注入到融合圖像中，以及高頻系數(shù)模值取大規(guī)則直接作用于高頻子帶系數(shù)，沒有考慮到局部區(qū)域里像素間的方向性與相關(guān)性，融合圖像的紋理細(xì)節(jié)得不到較好的保留。圖5(c)clock的大鬧鐘與pepsi的上方英文字母邊緣比較模糊，存在一定的塊狀效應(yīng)，圖5(c)lab的學(xué)生頭部也存在此類現(xiàn)象，這是因?yàn)榉椒?采用基于稀疏表示的融合方法平滑了圖像的細(xì)節(jié)引起的。圖5(d)融合圖像在對(duì)比度方面相對(duì)于5(c)融合圖像相差不大，但虛影相對(duì)減少，紋理細(xì)節(jié)更清晰，主要是因?yàn)榉椒?中聯(lián)合稀疏表示模型充分利用圖像之間相關(guān)性，使得源圖像清晰特征得到了較好的保留。本文方法所得融合結(jié)果圖5(e)邊緣、紋理等細(xì)節(jié)更為清晰，對(duì)比度更高，圖像視覺效果最好，主要是因?yàn)楸疚牟捎媒Y(jié)構(gòu)組代替圖像塊作為聯(lián)合稀疏表示模型中的基本單元，消除了圖像的塊狀效應(yīng)影響，增強(qiáng)了圖像的自相似性，因而可以得到視覺效果更好的融合圖像。根據(jù)圖7中的殘差結(jié)果進(jìn)一步比較4種方法的融合性能，從中可以直觀地看到，方法2所得殘差圖的殘差像素最多，融合效果最差，方法3與方法4所得殘差圖效果有所提高，但仍存在一定的殘差像素，不能將源圖像清晰像素較好地轉(zhuǎn)移到融合圖像中，本文算法所得殘差圖的殘差像素在清晰區(qū)域幾乎為0，表明本文方法最為有效地融合了源圖像清晰像素，所得融合圖像效果最好。根據(jù)表1中4個(gè)客觀評(píng)價(jià)指標(biāo)對(duì)融合圖像進(jìn)行定量分析比較，本文算法評(píng)價(jià)指標(biāo)最優(yōu)，特別是互信息(MI)和邊緣信息保持度(QAB/F)指標(biāo)，從客觀的角度驗(yàn)證了本文算法得到的融合圖像在對(duì)比度、清晰度以及邊緣細(xì)節(jié)信息的保留等方面優(yōu)于其他幾種算法。因此綜合來看，本文算法所得融合圖像性能最優(yōu)越，最接近標(biāo)準(zhǔn)圖像。

表2為5種圖像融合算法處理clock、pepsi、lab源圖像的運(yùn)行時(shí)間對(duì)比。從表2中可以看出：本文算法相對(duì)于算法3與算法4，所用時(shí)間較少，因?yàn)楸疚乃惴ú捎媒Y(jié)構(gòu)組代替?zhèn)鹘y(tǒng)稀疏表示中的圖像塊作為字典和稀疏求解基本單位，顯著降低字典學(xué)習(xí)的計(jì)算復(fù)雜度，同時(shí)優(yōu)化了稀疏求解過程，因而運(yùn)行時(shí)間較少；但相比算法1與算法2，運(yùn)行時(shí)間較高，因?yàn)樗惴?和2均采用低頻系數(shù)加權(quán)平均、高頻系數(shù)模值取大的融合規(guī)則，對(duì)于低頻子帶細(xì)節(jié)系數(shù)，平均法雖然簡(jiǎn)單，但在一定程度上降低了圖像的對(duì)比度，使源圖像中的部分有用信息丟失；對(duì)于高頻子帶細(xì)節(jié)系數(shù)，沒有考慮區(qū)域特征，直接作用于高頻子帶細(xì)節(jié)系數(shù)，融合圖像質(zhì)量下降。綜合上述實(shí)驗(yàn)分析，本文算法在保證融合圖像質(zhì)量的情況下，運(yùn)行時(shí)間相對(duì)較少。

表2 各種融合算法的運(yùn)行時(shí)間對(duì)比Tab. 2 Running time comparison of a variety of fusion algorithm

5 結(jié)語

本文針對(duì)多聚焦圖像融合提出了基于LSWT與聯(lián)合結(jié)構(gòu)組稀疏表示的多聚焦圖像融合算法。采用的提升靜態(tài)小波變換克服了傳統(tǒng)的小波變換由于不具有平移不變性所導(dǎo)致的在圖像融合時(shí)邊緣處產(chǎn)生的“偽吉布斯”現(xiàn)象，在一定程度上抑制了圖像的失真現(xiàn)象。在提升靜態(tài)小波變換基礎(chǔ)上，本文提出的融合規(guī)則為：低頻系數(shù)采用基于聯(lián)合結(jié)構(gòu)組稀疏表示的融合算法，高頻系數(shù)采用方向區(qū)域拉普拉斯能量和與匹配度相結(jié)合的自適應(yīng)融合算法。實(shí)驗(yàn)結(jié)果表明本文算法運(yùn)行時(shí)間相對(duì)較少，并可以充分提取源圖像清晰部分信息并注入到融合圖像中，圖像邊緣、輪廓細(xì)節(jié)得到較好的保留，融合圖像效果更佳。下一步研究工作可以在本文方法的基礎(chǔ)上對(duì)彩色圖像進(jìn)行多聚焦融合理論分析，實(shí)現(xiàn)彩色圖像的實(shí)時(shí)融合。

參考文獻(xiàn)(References)

[1] 楊勇,萬偉國,黃淑英,等.稀疏表示和非下采樣shearlet變換相結(jié)合的多聚焦圖像融合[J].小型微型計(jì)算機(jī)系統(tǒng),2017,38(2):386-392.(YANG Y, WAN W G, HUANG S Y,et al. Spare representation and non-subsampled shearlet transform for multi-focus image fusion[J]. Journal of Chinese Computer Systems, 2017, 38(2): 386-392.)

[2] 周挺,胡斌.基于小波變換的自適應(yīng)多聚焦圖像融合算法[J].傳感技術(shù)學(xué)報(bào),2010,23(9):1272-1276.(ZHOU T, HU B. Adaptive algorithm of multi-focused image fusion based on wavelet transform[J]. Chinese Journal of Sensors and Actuators, 2010, 23(9): 1272-1276.)

[3] SWELDENS W. The lifting scheme: a construction of second generation wavelets [J]. SIAM Journal on Mathematical Analysis, 1998, 29(2): 511-546.

[4] 易正俊,李華鋒,宋瑞晶.改進(jìn)提升小波變換的空間頻率比圖像融合[J].光電工程,2009,36(7):65-70.(YI Z J, LI H F, SONG R J. Spatial frequency ratio image fusion method based on improved lifting wavelet transform [J].Opto-Electronic Engineering, 2009, 36(7): 65-70.)

[5] LEE C S, LEE C K, YOO K Y. New lifting based structure for undecimated wavelet transform [J]. Electronics Letters, 2000, 36(22): 1894-1895.

[6] ANG B, LI S. Pixel-level image fusion with simultaneous orthogonal matching pursuit [J]. Information Fusion, 2012,13(1): 10-19.

[7] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation [J]. Information Fusion, 2015, 24(1): 147-164.

[8] 歐陽寧,鄭雪英,袁華.基于NSCT和稀疏表示的多聚焦圖像融合[J].計(jì)算機(jī)工程與設(shè)計(jì),2017,38(1):177-182. (OUYANG N, ZHENG X Y, YUAN H. Multi-focus image fusion based on NSCT and sparse representation [J]. Computer Engineering and Design, 2017, 38(1): 177-182.)

[9] BARON D, DUARTE M F, WAKIN M B, et al. Distributed compressive sensing [C]// ICASSP 2009: Proceedings of the 2009 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2009: 2886-2889.

[10] 肖新耀,許寧,尤紅建.一種基于àtrous小波和聯(lián)合稀疏表示的遙感圖像融合方法[J].遙感技術(shù)與應(yīng)用,2015,30(5):1021-1026.(XIAO X Y, XU N, YOU H J. A method on remote sensing image fusion based on àtrous wavelet transform and joint sparse representation [J]. Remote Sensing Technology and Application, 2015,30(5): 1021-1026.)

[11] LI X, LI X, ZHAO H, et al. Fusing images using joint sparse representation [J]. ICIC Express Letters, 2014, 8(12): 1377-1379.

[12] 宗靜靜,邱天爽,郭冬梅.聯(lián)合稀疏表示的醫(yī)學(xué)圖像融合PHNT及同步去噪[J].中國生物醫(yī)學(xué)工程學(xué)報(bào),2016,35(2):133-140.(ZONG J J, QIU T S, GUO D M. Simultaneous medical image fusion and de-noising with joint sparse representation [J]. Chinese Journal of Biomedical Engineering, 2016, 35(2): 133-140.)

[13] ZHANG J, ZHOU D, GAO W. Group-based sparse representation for image restoration [J]. IEEE Transactions on Image Processing, 2014, 23(8): 3336-3351.

[14] 李祥燦.基于組稀疏表示的自然圖像超分辨率算法研究[D].南京:南京理工大學(xué),2014:28-35.(LI X C. Natural image super-resolution method research based on group sparse representation[D]. Nanjing: Nanjing University of Science and Technology, 2014:28-35.)

[15] 張曉,薛月菊,涂淑琴,等.基于結(jié)構(gòu)組稀疏表示的遙感圖像融合[J].中國圖象圖形學(xué)報(bào),2016,21(8):1106-1118. (ZHANG X, XUE Y J, TU S Q, et al. Remote sensing image fusion based on structural group sparse representation [J]. Journal of Image and Graphics, 2016, 21(8): 1106-1118.)

[16] NATARAJAN B K. Sparse approximate solutions to linear systems [J]. SIAM Journal on Computing, 1995, 24(2): 227-234.

[17] DONOHO D L, TSAIG Y, DRORI I, et al. Sparse solution of underdetermined systems of linear equations by stagewise orthogonal matching pursuit [J]. IEEE Transactions on Information Theory, 2012, 58(2): 1094-1121.

[18] 劉貴喜,楊萬海.基于小波分解的圖像融合算法及性能評(píng)價(jià)[J].自動(dòng)化學(xué)報(bào),2002,28(6):927-934.(LIU G X, YANG W H. A wavelet-decomposition-based image fusion scheme and its performance evaluation [J]. Acta Automatica Sinica, 2002, 28(6): 927-934.)

[19] 董紅霞,易正俊,葉曉斌.提升靜態(tài)小波特征對(duì)比度多聚焦圖像融合算法[J].計(jì)算機(jī)應(yīng)用研究,2012,29(2):56-61.(DONG H X, YI Z J, YE X B. Multi-focus image fusion scheme based on features contrast of lifting stationary wavelet [J]. Application Research of Computers, 2012, 29(2): 56-61.)

[20] 朱輝,江卓斌,胡斌杰.一種改進(jìn)的基于方向區(qū)域能量的多聚焦圖像融合算法[J].傳感器與微系統(tǒng),2011,30(9):131-138.(ZHU H, JIANG Z B, HU B J. An improved algorithm of multi-focused image fusion based on directional region-energy [J]. Transducer and Microsystem Technologies, 2011, 30(9): 131-138.)

This work is partially supported by the Primary Research & Development Plan of Shandong Province (2015GSF120009).

ZOUJiabin, born in 1992, M. S. candidate. His research interests include image processing, pattern recognition.

SUNWei, born in 1963, Ph. D., professor. His research interests include monitoring, optimization and advanced control of process and system, computer vision, machine learning.