基于四通道不可分提升小波的多聚焦圖像融合

劉 斌, 付忠旺

(湖北大學(xué)計算機(jī)與信息工程學(xué)院, 湖北 武漢 430062)

0 引 言

近年來,傳感器的技術(shù)發(fā)展迅速,其發(fā)展過程中延伸出一系列新的問題,如單一傳感器的信息量不能滿足實際應(yīng)用的需要。針對此問題,使用數(shù)據(jù)融合技術(shù)對多源數(shù)據(jù)進(jìn)行處理成為一種重要的解決方案。圖像融合是二維數(shù)據(jù)融合的核心。文獻(xiàn)[1]定義圖像融合為將兩幅或者多幅圖像使用一定的方法合成為一幅新圖像,新圖像具有更好的性能和特點(diǎn)。多聚焦圖像融合是圖像融合的重要分支,它將同一場景多個不同聚焦點(diǎn)的圖像合成為一個處處都清晰的圖像,可以很好地解決光學(xué)成像系統(tǒng)聚焦范圍有限導(dǎo)致的圖像局部不清晰的問題。

近十多年來,圖像融合方法如雨后春筍般涌現(xiàn),基于多分辨分析的融合方法以其具有良好的特性而成為這些方法的主流,它主要包含經(jīng)典的基于金字塔變換的融合方法和現(xiàn)代的基于小波變換的融合方法[2-5],而經(jīng)典的基于金字塔變換的融合方法因其具有較多的數(shù)據(jù)冗余性和不具有方向性而逐漸被改進(jìn)和發(fā)展。隨著小波理論的不斷發(fā)展,基于小波變換的融合方法層出不窮,展現(xiàn)了新的生命力?；谛〔ㄗ儞Q的融合方法包括傳統(tǒng)的基于張量積小波分解的圖像融合方法和基于不可分小波分解的圖像融合方法。比較而言,基于不可分小波的圖像融合方法在傳統(tǒng)基于張量積小波的融合方法只強(qiáng)調(diào)水平和垂直方向的基礎(chǔ)上實現(xiàn)了各向同性的效果。但是,不可分小波分解采用了大量的濾波器卷積運(yùn)算,算法的空間復(fù)雜度很高,而且算法的融合速度很慢。

一維提升小波利用Laurent多項式的帶余除法,把一維小波變換和多尺度分析的多相位矩陣分解為一系列2×2的右上三角矩陣和左下三角矩陣的乘積,從而把一維小波多尺度分析的卷積和下抽樣過程變?yōu)檫B續(xù)乘積來實現(xiàn),被稱為第2代小波[6],相對于第1代小波變換理論,第2代小波有以下優(yōu)點(diǎn):小波的構(gòu)造完全在時域內(nèi)進(jìn)行,無須傅里葉理論;建立了與Mallat算法功能相同的提升格式算法;運(yùn)算過程簡單,具有快速算法,計算更迅速;可實現(xiàn)即位運(yùn)算, 節(jié)省內(nèi)存;可實現(xiàn)整數(shù)到整數(shù)的變換,從而實現(xiàn)了基于小波的無損處理技術(shù)。這些特點(diǎn)在圖像處理與識別中得到了廣泛的應(yīng)用。

目前，二維提升小波的構(gòu)造依靠一維提升小波來實現(xiàn),通過一維提升小波的張量積得到的二維提升小波。這是二維小波變換的一種特殊的提升方式,不是一般的提升方案。那么,二維小波變換的提升能否像上述一維小波變換那樣,利用Euclidean除法把二維小波變換的多相位矩陣分解為上、下三角矩陣的乘積呢？答案是否定的。因為二元Laurent多項式不存在帶余除法,因而不能通過Euclidean除法解決二維小波變換提升的一般方案。通過查閱文獻(xiàn)所知,目前還沒有關(guān)于二維四通道不可分小波的提升方案的研究。本文試圖利用矩陣分解方法,找到二維四通道不可分小波的濾波器組,把其多相位矩陣進(jìn)行提升分解,并利用此原理對圖像融合中的源圖像進(jìn)行分解和重構(gòu)。

1 二維四通道不可分小波濾波器組的構(gòu)造

文獻(xiàn)[7]提出了高維不可分小波的構(gòu)造方法,其構(gòu)造的低通濾波器形式為

(1)

其相應(yīng)的s-1(s=det(A))個CQF濾波器的形式為

ξ∈Rd;j=1,2,…,s-1

(2)

設(shè)小波變換時的伸縮矩陣為A=[2,0;0,2],則具有緊支撐、正交性的2P×2P的濾波器組可表示為

{M0(x,y),M1(x,y),M2(x,y),M3(x,y)}=

(3)

式中,x=e-i ω1,y=e-i ω2;Uj(j=1,2,…,K)為正交陣,V/2=(V0,V1,V2,V3)/2為正交陣;D(x,y)=diag(1,x,y,xy);V1,V2,V3為4×1向量,V0=(1,1,1,1)T。

為構(gòu)造4×4的具有對稱性的濾波器組,取K=1,構(gòu)造

且取

構(gòu)造

可以驗證U1為中心對稱的正交矩陣,V/2為正交矩陣。這樣構(gòu)造出的濾波器組具有正交性、對稱性、緊支撐性。根據(jù)上述構(gòu)造方法可以設(shè)計出多組二維不可分小波濾波器組,通過實驗,選擇如下參數(shù)α1=-π/9,α2=-π/7,β1=-π/7,β2=π/8時的一組濾波器組的時域形式為

(4)

2 二維四通道不可分小波濾波器組的提升方案

2.1 二維四通道不可分小波多相位矩陣的提升方案

文獻(xiàn)[6]利用一元多項式的帶余除法,成功地將一維小波多相位矩陣分解為單位左下三角矩陣、單位右上三角矩陣以及對角線矩陣的連乘積,從而把一維小波變換進(jìn)行了提升,由于二元多項式不存在帶余除法,使得二維不可分小波不能像一維小波那樣利用帶余除法對其多相位矩陣進(jìn)行分解,在第1節(jié)設(shè)計的二維四通道不可分濾波器組的基礎(chǔ)上,對其多相位矩陣進(jìn)行了成功的提升分解。具體分解過程如下。

和一維多相位矩陣定義類似,也可以定義二維提升小波的多相位矩陣為

P(x,y)=

(5)

式中

(6)

根據(jù)上述定義,可以得到式(4)所表示的濾波器組的多相位矩陣為

P(x2,y2)=

(7)

分別把式(7)中的x2換成x,y2換成y,得多相位矩陣為

(8)

轉(zhuǎn)化為左上三角和右下三角表示為

(9)

令參數(shù)為

2.2 基于多相位矩陣提升方案的圖像分解與重構(gòu)

基于傅里葉變換理論和卷積理論的第一代小波對于圖像的分解所使用的方法是分別利用所設(shè)計的小波低通濾波器和小波高通濾波器分別對圖像進(jìn)行卷積,然后進(jìn)行下2抽樣;而重構(gòu)圖像時則是先進(jìn)行上2插值,然后分別使用重構(gòu)小波低通濾波器和小波高通濾波器進(jìn)行卷積。而有了多相位矩陣這個系統(tǒng)算子后,就可以把多相位矩陣直接作用于抽樣后的圖像子集上,得到分解子圖像,重構(gòu)時則使用其逆矩陣作用于子圖像上,得到重構(gòu)結(jié)果圖像。而從以上多相位矩陣的提升方案可以看出,多相位矩陣的作用可以分步進(jìn)行,即分別使用左下三角矩陣和右上三角矩陣連續(xù)作用于抽樣后的子集上,完成圖像的提升分解,從而得到圖像的低頻成份和高頻成份。另外,分析運(yùn)算的復(fù)雜性(第4節(jié))可知,這樣的上、下三角矩陣作用于圖像上可以大大節(jié)約運(yùn)算量,加速圖像分解和重構(gòu)速度。利用上述多相位矩陣對圖像分解和重構(gòu)的具體過程如下:

(1) 將原始圖像x0分解成4個子集x、y(1)、y(2)、y(3),確保其互不相交，即

(10)

(2) 進(jìn)行提升分解，即

(11)

分別使用Predict1和Predict2進(jìn)行預(yù)測,使用Update1和Update2進(jìn)行更新。圖1為提升小波變換分解過程中的一次預(yù)測更新過程,其中Predict代表Predict1或Predict2,Update代表Update1或Update2。

圖1 圖像的提升小波分解過程Fig.1 Lifting wavelet decomposition process of image

(3) 重構(gòu)形式，即

(12)

(4) 將近似信號x(m,n)和細(xì)節(jié)信號y(1)(m,n),y(2)(m,n),y(3)(m,n)合并成原始信號x0。

(13)

3 融合規(guī)則

對于小波分解后的低、高頻系數(shù)的融合,目前主要有基于單個像素的融合規(guī)則和基于區(qū)域的融合規(guī)則[10-15]。基于單個像素的融合規(guī)則有較快的計算速度,但沒有考慮圖像像素的相關(guān)性,眾所周知,圖像中的目標(biāo)是以區(qū)域的形式存在的,據(jù)此,對圖像作不可分提升小波分解后的低、高頻圖像都采用基于區(qū)域的融合規(guī)則。傳統(tǒng)的低頻圖像是采用加權(quán)平均的融合規(guī)則,這種融合策略會削弱圖像前景和背景的差別,從而會使對比度降低,為了突顯圖像中的目標(biāo)和特征,本文對分解后的低頻圖像采用的融合規(guī)則為區(qū)域方差取大的方式;而小波變換的高頻子圖像很好地體現(xiàn)了圖像中目標(biāo)的邊緣輪廓。據(jù)此,本文對圖像的高頻成份的融合規(guī)則采用基于區(qū)域能量取大的方式。圖2描述了本文方法的實現(xiàn)過程,以下為算法描述步驟。

步驟1使用本文構(gòu)造的P(x,y)對參加融合的兩幅圖像進(jìn)行逐層分解。

步驟2融合分解得到子圖像。

(1) 對于低頻部分,方差是一個反差(對比度)的測度,它能反映圖像中目標(biāo)與背景的差別,為了體現(xiàn)低頻信息中的圖像目標(biāo),提高融合結(jié)果圖像的對比度,這里采用局部方差取大的融合規(guī)則,設(shè)圖像A分解后的低頻子圖像為Aj,l(l表示低頻,j表尺度),圖像B分解后的低頻子圖像為Bj,l,Aj,l中以(m,n)為中心的3×3窗口的局部方差為δAj,l(m,n),而Bj,l中對應(yīng)位置窗口的局部方差為δBj,l(m,n),融合后低頻子圖Fj,l的像素在(m,n)點(diǎn)的值為

對所有的m,n

(14)

對所有的m,n

(15)

步驟3對所得結(jié)果進(jìn)行不可分提升小波的逆變換,重構(gòu)融合后的圖像。

圖2 本文方法的多聚焦圖像融合過程Fig.2 Process of multi-focus image fusion based on the proposed fusion method

4 實驗結(jié)果及分析

4.1 實驗結(jié)果

為了驗證本文方法的性能,對本文方法進(jìn)行了大量的實驗比較和分析研究,得到了一致的結(jié)論。圖3列出3對實際多聚焦圖像的融合結(jié)果,并展示其客觀評價。

圖3 3對多聚焦圖像Fig.3 Three pairs of multi-focus images

為了體現(xiàn)的本文融合方法的性能,把本文提出的基于二維四通道不可分小波的融合方法與張量積小波的融合方法、張量積提升小波的融合方法、輪廓波的融合方法進(jìn)行比較,4種方法采用相同的融合規(guī)則,圖像分解層數(shù)均為3層,為使得4種參與比較的方法的濾波器大小一致,基于張量積小波融合方法所選用的是Daubechies系列小波的第2個小波,即db2小波,張量積提升小波是db2小波的提升小波。實驗在Matlab 7.8中編程實現(xiàn)。圖4(a)、圖5(a)、圖6(a)為基于張量積小波融合方法的結(jié)果圖像,圖4(b)、圖5(b)、圖6(b)為基于張量積提升小波融合方法的結(jié)果圖像,圖4(c)、圖5(c)、圖6(c)為輪廓波融合方法的結(jié)果圖像,圖4(d)、圖5(d)、圖6(d)為本文方法的融合圖像,各種方法均對圖像進(jìn)行3層數(shù)分解。

從融合的視覺效果可以看出,本文方法融合結(jié)果圖像的左右兩邊都很清晰。為了更加清楚地比較4種方法的視覺效果,提取圖4、圖5、圖6中12幅結(jié)果圖像的邊緣,對它們的清晰度進(jìn)行對比。圖像邊緣信息越豐富,表明圖像細(xì)節(jié)信息更豐富,從而圖像越清晰。據(jù)此,使用能提取豐富邊緣信息的Canny算子提取各種融合結(jié)果圖像的邊緣圖。圖7(a)～7(d)分別是圖4(a)～4(d) 4幅圖像的邊緣圖,圖8(a)～8(d)分別是圖5(a)～5(d) 4幅圖像的邊緣圖,圖9(a)～9(d)分別是圖6(a)～6(d) 4幅圖像的邊緣圖。通過圖7～圖9中紅色圓圈標(biāo)記處的比較可以看出,本文方法的融合結(jié)果比張量積小波融合方法、張量積提升小波融合方法、輪廓波融合方法在結(jié)果圖像的邊緣處細(xì)節(jié)保持得更加完整,細(xì)節(jié)表現(xiàn)力更強(qiáng),從而圖像更清晰。

圖4 Pepsi融合結(jié)果圖像Fig.4 Fusion result image of Pepsi

圖5 Clock融合結(jié)果圖像Fig.5 Fusion result image of Clock

圖6 Book融合結(jié)果圖像Fig.6 Fusion result image of Book

圖7 Pepsi邊緣對比圖Fig.7 Edge contrast diagram of Pepsi

圖8 Clock邊緣對比圖Fig.8 Edge contrast diagram of Clock

圖9 Book邊緣對比圖Fig.9 Edge contrast diagram of Book

為了進(jìn)一步展示本文融合方法所得融合結(jié)果圖像的清晰度,對比本文方法與張量積小波融合方法、張量積提升小波融合方法、輪廓波融合方法的結(jié)果圖像的直方圖,直方圖的分布范圍越寬,圖像越清晰,分別求取本文融合方法結(jié)果圖像的直方圖與其他3種融合方法的直方圖的差,差值大于0,則表明本文方法所在灰度級的像素數(shù)比其他方法的相應(yīng)灰度級的像素數(shù)多,若差值直方圖在原圖像的最小值的左邊或最大值的右邊局部范圍出現(xiàn)正值偏多,則表明被減直方圖所對應(yīng)的圖像在最大值或最小值處的像素更多,從而拉開了諸多像素前景和背景的差距,從而圖像清晰度更高。以Pepsi融合圖像為例,圖10(a)、圖10(b)、圖10(c)分別是本文方法分別與其他3種方法融合結(jié)果圖像直方圖求差后所得的結(jié)果,可以看出本文方法與張量積小波融合方法、張量積提升小波融合方法和輪廓波融合方法所得結(jié)果圖像的直方圖的差在圖像最大值和最小值局部處(見圖10中紅色框處)有更多的像素分布。由此說明本文融合方法有較高的清晰度。

圖10 Pepsi直方圖差值對比圖Fig.10 Histogram difference contrast diagram of Pepsi

4.2 融合效果客觀評價

假設(shè)融合結(jié)果圖像用F表示,圖像大小為M行N列。為了衡量圖像的融合效果,本文采用以下幾個指標(biāo):

(1) 清晰度(image definition, ID)

清晰度是用來衡量圖像是否清晰的重要量化指標(biāo),定義式為

(16)

式中,ΔFx和ΔFy分別表示圖像F在x和y兩個方向的差分。ID越大,表示圖像越清晰。

(2) 熵(entropy, E)

熵反映圖像攜帶信息的豐富程度,定義式為

(17)

式中,L表示圖像的灰度級數(shù)；p(i)表示灰度級為i的像素的概率。E越大,表示圖像所含信息越多。

(3) 平均梯度(average gradient, AG)

平均梯度通過圖像微小細(xì)節(jié)反差變化的速率來實現(xiàn)對圖像的清晰程度的評價。定義式為

(18)

一般來說,AG越大,表示圖像的層次越多,圖像就越清晰。因此可以用AG來評價融合結(jié)果圖像在微小細(xì)節(jié)的表達(dá)能力上的差異。

(4)標(biāo)準(zhǔn)差(standard error, SD)

標(biāo)準(zhǔn)差反映圖像灰度相對于均值的離散情況,定義式為

(19)

SD越大,圖像的灰度級分布的就越分散,圖像的前景灰度值與背景灰度值相差就越大,圖像就越清晰。

表1、表2和表3分別列出了Pepsi融合圖像、Clock融合圖像和Book融合圖像這3組實驗的各項指標(biāo)的值。比較表1～表3中各列數(shù)據(jù)可以看出,第4行數(shù)據(jù)的值比第1行、第2行、第3行的值都大,從而說明本文提出的融合方法的各項指標(biāo)高于張量積小波融合方法、張量積提升小波融合方法以及輪廓波融合方法的各項相應(yīng)指標(biāo),因此本文方法的融合圖像有較高的清晰度和空間分辨率,融合效果更好。

表1 Pepsi圖像客觀性能比較

表2 Clock圖像的客觀性能比較

表3 Book圖像的客觀性能比較

與二維四通道不可分小波融合方法相比,本文提出的融合方法在速度上有著明顯的優(yōu)勢。對于這2種融合算法而言,包括分解、融合、重構(gòu)3個部分,分解與重構(gòu)互為逆過程,融合采用相同的融合規(guī)則,因此通過比較2種算法的1層分解過程的算法復(fù)雜度來確定2種方法的融合速度,多層分解可類似地計算其復(fù)雜度。分解和重構(gòu)過程中運(yùn)算主要包括乘法和加法兩種,因為加法的運(yùn)算量遠(yuǎn)小于乘法,所以以其中的乘法運(yùn)算量作為最終計算的復(fù)雜度,下面計算2種算法的算法復(fù)雜度。

假設(shè)源圖像大小為M×N,對于不可分小波而言[16],選擇L×L大小的濾波器組(矩陣)進(jìn)行卷積,可計算其算法復(fù)雜度為

On=4×L2×M×N

(20)

對于本文建議的不可分提升小波而言,按照式(11)計算算法復(fù)雜度,每進(jìn)行一次提升分別經(jīng)過2次預(yù)測更新,預(yù)測過程中可計算算法復(fù)雜度為Op=5×M×N,更新過程中因為三角化矩陣的更新算子的對角線全為1,所以更新的算法復(fù)雜度為Ou=3×M×N,因而一層提升分解方案的算法總的復(fù)雜度為Ol=8×M×N。以本文中的實驗方案為例,此時濾波器大小為4×4,即L=4,因此,On=64×M×N,是Ol大小的8倍,因而實現(xiàn)了不可分小波的快速提升,從而也提高了圖像融合的速度。

5 結(jié) 論

本文利用矩陣分解方法,設(shè)計了二維四通道不可分小波濾波器組,提出了其提升方案,并把它應(yīng)用于圖像融合中,提出了一種基于二維四通道不可分小波提升方案的多聚焦圖像的融合方法。從融合的視覺方面看,本文方法可以提取更多的細(xì)節(jié)信息,使得圖像更加清晰。從融合的客觀性能看,與張量積小波融合方法、張量積提升小波融合方法及輪廓波融合方法相比,本文方法有較高的清晰度、平均梯度、熵值和標(biāo)準(zhǔn)差;與提升之前的二維四通道不可分小波融合方法相比,本文方法有較快的融合速度。

[1] POHL C, VAN GENDEREN J L. Review article multisensor image fusion in remote sensing: concepts, methods and applications[J].International Journal of Remote Sensing,1998,19(5): 823-854.

[2] XU H, WANG Y, WU Y J, et al. Infrared and multi-type images fusion algorithm based on contrast pyramid transform[J]. Infrared Physics & Technology, 2016, 78: 133-146.

[3] 劉斌, 喬雙梁, 魏艷萍. 基于采樣三通道不可分小波的多光譜圖像融合[J]. 儀器儀表學(xué)報, 2015, 36(3): 645-653.

LIU B, QIAO S L, WEI Y P. Multi-spectral image fusion method based on subsampled three channel non-separable wavelets[J]. Chinese Journal of Scientific Instrument, 2015, 36(3): 645-653.

[4] 李凱,劉斌.非下采樣三通道不可分小波的多聚焦圖像融合[J].計算機(jī)工程與應(yīng)用, 2012, 48(17): 174-177.

LI K, LIU B. Multi-focus image fusion based on nonsubsampled three-channel non-separable wavelets[J]. Computer Engineering and Applications, 2012, 48(17): 174-177.

[5] ZHAO C, PU H, WANG B, et al. Fusion of hyperspectral and multispectral images: a novel framework based on generalization of pan-sharpening methods[J]. IEEE Trans.on Geoscience and Remote Sensing Letters, 2014, 11(8): 1418-1422.

[6] DAUBECHIES I, SWELDENS W. Factoring wavelet transforms into lifting steps[J]. Journal of Fourier Analysis and Applications, 1998, 4(3): 247-269.

[7] CHEN Q H, MICCHELLI A C, PENG S L, et al. Multivariate filter banks having matrix factorizations[J]. SIAM Journal on Matrix Analysis and Applications, 2003, 25(2): 517-531.

[8] XU X, WANG Y, CHEN S. Medical image fusion using discrete fractional wavelet transform[J]. Biomedical Signal Processing and Control, 2016, 27: 103-111.

[9] ZHANG Y, BAI X Z, WANG T. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure[J]. Information Fusion, 2016, 35: 81-101.

[10] 李光鑫,王珂.基于Contourlet變換的彩色圖像融合算法[J]. 電子學(xué)報, 2007, 35(1): 112-117.

LI G X, WANG K. Color image fusion algorithm using the contourlet transform[J].Acta Electronica Sinica,2007,35(1): 112-117.

[11] 徐小軍, 王友仁, 陳帥. 基于下采樣分?jǐn)?shù)階小波變換的圖像融合新方法[J]. 儀器儀表學(xué)報, 2014, 35(9): 2061-2069.

XU X J,WANG Y R, CHEN S. Novel image fusion method based on down sampling fractional wavelet transform[J]. Chinese Journal of Scientific Instrument,2014,35(9):2061-2069.

[12] VIVONE G, RESTAINO R, MURA M D, et al. Contrast and error-based fusion schemes for multispectral image pansharpening[J].IEEE Geoscience & Remote Sensing Letters,2014,11(5): 930-934.

[13] TAO G G, LI D P, LU G H. On image fusion based on different fusion rules of wavelet transform[J]. Aata Photonica Sinica, 2004, 33(2): 221-224.

[14] ZHAO J F, CUI G M, GONG X L, et al. Fusion of visible and infrared images using global entropy and gradient constrained regularization[J]. Infrared Physics & Technology, 2017, 81: 201-209.

[15] YU N N, QIU T S. Fusion technology of infrared and visible image in compressive sensing[J].Signal Processing,2012,28(5): 692-698.

[16] LIU B, LI K, LIU W J, et al. Construction method of three-channel non-separable symmetric wavelets with arbitrary dilation matrices and its applications in multispectral image fusion[J]. IET Image Processing,2013,7(7):679-685.