改進(jìn)對(duì)比度的有限離散剪切波圖像融合

焦慧平， 張 慧

(鄭州工程技術(shù)學(xué)院信息工程學(xué)院，鄭州 450000)

改進(jìn)對(duì)比度的有限離散剪切波圖像融合

焦慧平， 張 慧

(鄭州工程技術(shù)學(xué)院信息工程學(xué)院，鄭州 450000)

為了改善融合圖像的對(duì)比度，保留源圖像的豐富有效信息，借助有限離散剪切波(FDST)的優(yōu)良特性，提出了一種基于有限離散剪切波域的圖像融合算法。首先將源圖像經(jīng)過FDST分解，得到一系列高低頻子帶；然后采用改進(jìn)的像素加權(quán)與區(qū)域空間頻率相結(jié)合的融合方案對(duì)低頻系數(shù)進(jìn)行選取，高頻則引入?yún)^(qū)域平均梯度對(duì)比度的融合方法；再借助FDST逆變換對(duì)融合系數(shù)進(jìn)行重構(gòu)獲得融合圖像。通過對(duì)比試驗(yàn)結(jié)果表明：所提算法的融合結(jié)果在主觀視覺上對(duì)比度適中，圖像清晰自然，且各項(xiàng)客觀評(píng)價(jià)指標(biāo)均明顯改善；進(jìn)一步說明了改進(jìn)算法優(yōu)于其他算法，大大提升了圖像融合的質(zhì)量。

圖像融合； 有限離散剪切波； 區(qū)域空間頻率； 對(duì)比度； 區(qū)域平均梯度； 平移不變性

0 引言

圖像融合指對(duì)相同場景的多幅圖像采用合適的算法，將源圖像中的互補(bǔ)信息和冗余信息有效地融合到一幅圖像中，這種技術(shù)已經(jīng)廣泛地應(yīng)用于醫(yī)學(xué)、目標(biāo)識(shí)

1 有限離散剪切波變換

1.1 連續(xù)剪切波變換

假設(shè)伸縮矩陣Pp和剪切矩陣Ss分別為

。

(1)

?ψ∈L2(R2)，對(duì)ψ進(jìn)行伸縮、剪切和平移可得

。

(2)

(3)

。

(4)

?f∈(L2(R2)，連續(xù)剪切波變換和其Parseval等式表示為

。 (5)

定義小波函數(shù)ψ1∶R→R和沖擊函數(shù)ψ2∶R→R為

(6)

(7)

式中：

(8)

(9)

(10)

c0={(ω1,ω2)∈R2∶|ω1|<1,|ω2|<1} 。

(11)

圖1 頻域劃分圖Fig.1 Frequency domain division map

(12)

對(duì)低頻部分上的剪切波先使用加細(xì)函數(shù)φ

(13)

1.2 有限離散剪切波

。

(14)

有了這些記號(hào)剪切波變換就變成了

(15)

通過計(jì)算可得式(2)定義的連續(xù)剪切波變換去掉p-3/4在頻域中的表達(dá)形式為

(16)

(17)

離散剪切波就可表示為

(18)

2 圖像融合策略

設(shè)源圖像為IA和IB，采用FDST進(jìn)行圖像融合分為以下3個(gè)步驟：

2.1 低頻子帶融合策略

源圖像經(jīng)過有限離散剪切波分解得到的低頻子帶系數(shù)，代表了源圖像的整體特性，包含了源圖像的主要能量。以往采用傳統(tǒng)的融合策略(加權(quán)平均)使得融合后的圖像昏暗模糊，對(duì)比度下降，沒有達(dá)到較好的主觀視覺效果。因此本文結(jié)合像素點(diǎn)之間的相關(guān)性，引入了改進(jìn)的像素加權(quán)和區(qū)域空間頻率匹配度的策略，具體步驟如下：

1) 設(shè)低頻圖像為LA和LB，區(qū)域窗口大小為N×N，計(jì)算LA和LB在(i,j)點(diǎn)的區(qū)域空間頻率SA(i,j)和SB(i,j)為

(19)

j+n))2+(LB(i+m,j+n)-LB(i+m,j+n-1))2]/

(20)

式中,NA(i,j)和NB(i,j)為LA和LB在(i,j)點(diǎn)的區(qū)域窗口，LA(i+m,j+n),LA(i+m-1,j+n),LA(i+m,j+n-1),LB(i+m,j+n),LB(i+m-1,j+n),LB(i+m,j+n-1)為LA和LB在(i+m,j+n),(i+m-1,j+n),(i+m,j+n-1)點(diǎn)的灰度值。再計(jì)算與A和B相關(guān)的區(qū)域空間頻率匹配度,即

(21)

式中,LA(m,n),LA(m-1,n),LA(m,n-1)，LB(m,n),LB(m-1,n),LB(m,n-1)為LA和LB分別在(m,j+n),(m-1,j+n),(m,n-1)點(diǎn)的灰度值。

2) 計(jì)算LA和LB在(i,j)點(diǎn)的區(qū)域平均梯度GA(i,j),GB(i,j)以及權(quán)重矩陣ωA(i,j)，ωB(i,j)，即

(22)

(23)

。

(24)

3) 令T(0

(25)

式中,ωA(i,j)(LA(i,j)+LB(i,j))影響融合后圖像的亮度，ωB(i,j)|LA(i,j)+LB(i,j)|可以對(duì)細(xì)節(jié)信息更好地提取，ωA(i,j)和ωB(i,j)的值能夠影響子帶系數(shù)的占優(yōu)比例。

2.2 高頻子帶融合策略

(26)

(27)

(28)

(29)

3 仿真試驗(yàn)及結(jié)果分析

用不同的算法對(duì)多幅圖像進(jìn)行融合試驗(yàn)對(duì)比，并采用3種客觀指標(biāo)進(jìn)行評(píng)價(jià)[13]，分別如下所述。

1) 信息熵 (EN)。將一幅圖像表示成灰度直方圖的形式，則它的信息熵定義為

(30)

式中:pi表示灰度i的概率；L表示灰度級(jí)數(shù)。

2) 互信息量(MI)。設(shè)F為M×N的融合圖像，I為參考圖像，則它們之間的互信息量定義為

(31)

式中,pI,pF,pI,F分別是源圖像的概率密度、融合圖像的概率密度以及源圖像與融合圖像的聯(lián)合概率密度。

3) 邊緣相似度 (QAB/F)。設(shè)A,B為M×N的源圖像，F(xiàn)為融合圖像，邊緣相似度定義為

(32)

3.1 不同變換域下同一種融合策略的圖像融合

在不同變換域下利用同一種融合策略(低頻取平均值，高頻絕對(duì)值取較大)對(duì)多聚焦圖和紅外與可見光圖進(jìn)行融合對(duì)比試驗(yàn)，利用的變換域分別為：離散小波變換[5](DWT)、非下采樣輪廓波變換[9](NSCT)，雙樹復(fù)小波變換[10](DTCWT)和有限離散剪切波變換[12](FDST)，融合結(jié)果如圖2和圖3所示。

從圖2的多聚焦圖融合結(jié)果可以看出，由于DWT有移變性，導(dǎo)致融合后的圖像有偽影現(xiàn)象，使得融合結(jié)果失真，圖2d和圖2e效果有所改善，但圖像昏暗模糊，而圖2f的圖像清晰自然，區(qū)域特征明顯。從圖3的紅外與可見光圖的融合結(jié)果可以看出，圖3f與圖3c、圖3d、圖3e相比對(duì)比度有了較明顯的提高，表明了本文提出算法的有效性，對(duì)應(yīng)的客觀評(píng)價(jià)結(jié)果見表1。

圖2 不同變換域下采用同一種融合策略對(duì)多聚焦圖的融合結(jié)果Fig.2 Multi-focus image fusion results using identical fusion strategy in different wavelet domains

圖3 不同變換域下采用同一種融合策略對(duì)紅外與可見光圖的融合結(jié)果Fig.3 Infrared and visible image fusion results using identical fusion strategy in different wavelet domains

算法多聚焦圖(圖2)信息熵互信息量邊緣相似度DWT6．44655．47640．4854NSCT6．57355．91650．4846DTCWT6．54985．96840．4952FDST6．79186．08320．5243算法紅外與可見光圖(圖3)信息熵互信息量邊緣相似度DWT0．61511．91980．5728NSCT0．61761．96780．5875DTCWT0．62191．93570．5818FDST0．64582．02340．5947

從表1可以看出，在對(duì)多聚焦和紅外與可見光的融合結(jié)果中，F(xiàn)DST的熵值、互信息量和邊緣相似度均優(yōu)于DWT,NSCT和DTCWT，進(jìn)一步說明了有限離散剪切波變換優(yōu)于其他的變換域。

3.2 不同文獻(xiàn)算法的圖像融合

針對(duì)多聚焦圖像和遙感圖像，通過與不同文獻(xiàn)的融合算法的比較來說明本文算法的優(yōu)越性。文獻(xiàn)[14]是基于改進(jìn)對(duì)比度的小波變換對(duì)圖像進(jìn)行融合，用對(duì)比度作為高低頻系數(shù)選取的標(biāo)準(zhǔn)，記為SWT_C；文獻(xiàn)[15]是分?jǐn)?shù)階小波變換下低頻采用區(qū)域能量高頻采用區(qū)域方差匹配度的融合算法，記為FRWT_EV；文獻(xiàn)[16]是選取非下采樣輪廓波變換下低頻自適應(yīng)加權(quán)的融合策略，高頻選用區(qū)域方差的融合策略，記為NSCT_WV；FDST_ IC為本文提出的算法。融合結(jié)果如圖4和圖5所示。

圖4 采用不同文獻(xiàn)算法對(duì)多聚焦圖的融合結(jié)果Fig.4 Multi-focus image fusion results using different algorithms

圖4是采用不同的文獻(xiàn)算法對(duì)多聚焦圖的融合結(jié)果，從融合結(jié)果可以看出，圖4c不僅圖像昏暗，而且鐘表邊緣有偽影，圖4d 、圖4e和圖4f都較好地提取了圖像的有效互補(bǔ)信息，尤其是圖4f的大鐘和小鐘都清晰明亮，對(duì)比度恰到好處，且視覺效果更佳。圖5是采用不同文獻(xiàn)算法對(duì)遙感圖的融合結(jié)果，可以看出，雖然圖5c、圖5d 和圖5e都保留了源圖像的主要信息，但是對(duì)圖像細(xì)節(jié)紋理的刻畫并沒有圖5f好。說明了有限離散剪切波變換與本文的融合策略相結(jié)合是有很大優(yōu)勢(shì)的?？陀^評(píng)價(jià)指標(biāo)見表2。

圖5 采用不同文獻(xiàn)算法對(duì)遙感圖的融合結(jié)果Fig.5 Remote sensing image fusion results using different algorithms

算法多聚焦圖(圖4)信息熵互信息量邊緣相似度SWT＿C7．43540．68110．6419FRWT＿EV7．31980．67170．6735NSCT＿WV7．33450．68450．6971FDST＿IC7．54487．07170．7087算法遙感圖(圖5)信息熵互信息量邊緣相似度SWT＿C7．29844．43410．7943FRWT＿EV7．14614．34980．7816NSCT＿WV7．27544．39810．8024FDST＿IC7．31484．56120．8248

從表2可以看出，無論是多聚焦圖還是遙感圖的融合結(jié)果，F(xiàn)DST_IC的熵值、互信息量、邊緣相似度均比SWT_C，F(xiàn)RWT_EV和NSCT_WV對(duì)應(yīng)的評(píng)價(jià)指標(biāo)高，進(jìn)一步說明了本文算法的可取性。

4 結(jié)束語

由于有限離散剪切波具有完美的平移不變性與方向敏感性，在融合算法中引入了快速傅里葉變換，體現(xiàn)出了優(yōu)越的運(yùn)算效率，采用有限離散剪切波變換對(duì)已嚴(yán)格配準(zhǔn)的源圖像進(jìn)行融合實(shí)驗(yàn)，同時(shí)利用了新穎的融合策略對(duì)高低頻系數(shù)進(jìn)行融合處理，在低頻上采用改進(jìn)的像素加權(quán)與區(qū)域空間頻率相結(jié)合的融合方案，高頻則引入?yún)^(qū)域平均梯度對(duì)比度的融合方法,再借助FDST逆變換對(duì)融合系數(shù)重構(gòu)而獲得融合圖像。

通過對(duì)多幅圖像進(jìn)行仿真實(shí)驗(yàn)結(jié)果說明：提出的改進(jìn)對(duì)比度的有限離散剪切波圖像融合算法各項(xiàng)客觀指標(biāo)均是最優(yōu)，且清晰明亮，域特征明顯，充分說明了有限離散剪切波變換與本文融合策略相結(jié)合取得了可觀的融合效果。

[1] 孫曉龍,王正勇,符耀慶,等.基于改進(jìn)拉普拉斯能量和的快速圖像融合[J].計(jì)算機(jī)工程與應(yīng)用,2015,51(5):193-197.

[2] 黃智,付興武,劉萬軍.混合相似性權(quán)重的非局部均值去噪算法[J].計(jì)算機(jī)應(yīng)用,2016,36(2):556-562.

[3] 胡雪梅,賈振紅,覃錫忠,等.多尺度分割融合的遙感圖像變化檢測(cè)[J].計(jì)算機(jī)工程與設(shè)計(jì),2015,36(9):2452-2456.

[4] 王麗,苗鳳娟,陶佰睿,等.基于灰色關(guān)聯(lián)度的提升小波域圖像融合算法[J].電視技術(shù),2015,39(1):15-18.

[5] ZHANG H,CAO X.A way of image fusion based on wavelet transform[C]//IEEE 9th International Conference on Mobile Ad-hoc and Sensor Networks IEEE Computer Society,2013:498-501.

[6] 劉中意,張春,胡志宇.基于多聚焦紅外圖像的溫度測(cè)量及三維重構(gòu)[J].紅外技術(shù),2015,37(6):449-456.

[7] 李萍,張波,尚怡君.基于紅外圖像和特征融合的飛機(jī)目標(biāo)識(shí)別方法[J].電光與控制,2016,23(8):92-96.

[8] MANGALRAJ P,AGRAWAL A.Fusion of multi-sensor satellite images using non-subsampled contourlet transform[J].Procedia Computer Science,2015,54(1):713-720.

[9] 張蕾,金龍旭,韓雙麗,等.采用非采樣Contourlet變換與區(qū)域分類的紅外和可見光圖像融合[J].光學(xué)精密工程,2015,23(3):810-818.

[10] RANGASWAMY Y,RAJA K B,VENUGOPAL K R.FRDF:face recognition using fusion of DTCWT and FFT features[J].Procedia Computer Science,2015,54(1):809-817.

[11] GAO G,XU L,FENG D.Multi-focus image fusion based on non-subsampled shearlet transform[J].IET Image Processing,2013,7(6):633-639.

[12] HAUSER S,STEIDL G.Convex multiclass segmentation with shearlet regularization[J].International Journal of Computer Mathematics,2013,90(1):62-81.

[13] 廖斌,訚鵬,趙儉輝.基于場景傳輸漸進(jìn)估計(jì)的單幅圖像能見度快速復(fù)原[J].電子與信息學(xué)報(bào),2016,38(1)15-22.

[14] 王正林.基于對(duì)比度的小波圖像融合算法研究[J].激光與紅外,2014,44(9):1042-1044.

[15] 徐小軍,王友仁,陳帥.基于下采樣分?jǐn)?shù)階小波變換的圖像融合新方法[J].儀器儀表學(xué)報(bào),2014,35(9):2061-2069.

[16] 童濤,楊桄,譚海峰,等.基于NSCT變換的多傳感器圖像融合算法[J].地理與地理信息科學(xué),2013,29(2):22-25,59.

ImageFusionwithImprovedContrastBasedonFiniteDiscreteShearletDomain

JIAO Hui-ping, ZHANG Hui

(School of Information Engineering,Zhengzhou Institute of Technology,Zhengzhou 450000,China)

To improve the contrast of the fused image and preserve the rich and effective information of the source image,an image fusion algorithm based on Finite Discrete Shearlet (FDST) domain is proposed,with consideration of the excellent characteristics of FDST.Firstly,the source image is decomposed by FDST,and a series of high and low frequency subband coefficients are obtained.Then,the low frequency coefficients are selected by using the improved pixel weighting together with the regional spatial frequency;and the fusion method by the regional average gradient contrast is adopted for the selection of high frequency coefficients.Then,the fused image is obtained with the fusion coefficients reconstructed by inverse transform of FDST.The contrast experiment results show that:1) The fusion result of the algorithm is clear,natural and has appropriate contrast for human subjective vision perception;and 2) The objective evaluation quality indexes are improved compared with other fusion algorithms.It is confirmed that our algorithm is superior to other fusion algorithms,which greatly enhances the quality of image fusion.

image fusion; finite discrete shearlet; regional spatial frequency; contrast; regional average gradient; shift-invariant

焦慧平,張慧.改進(jìn)對(duì)比度的有限離散剪切波圖像融合[J].電光與控制，2017，24(7)：46-51.JIAO H P,ZHANG H.Image fusion with improved contrast based on finite discrete shearlet domain[J].Electronics Optics & Control,2017,24(7):46-51.

TP391.4

A

10.3969/j.issn.1671-637X.2017.07.010

2016-12-07

2017-01-15

國家自然科學(xué)基金(11326137)；鄭州市科技公關(guān)計(jì)劃項(xiàng)目(131PPTGG421)

焦慧平(1979 —)，女，河南鄢陵人，碩士，講師，研究方向?yàn)榛A(chǔ)數(shù)學(xué)與智能算法。別和遙感等領(lǐng)域[1-2]。對(duì)源圖像進(jìn)行多尺度分解后，可以從不同角度刻畫圖像的整體特性和細(xì)節(jié)信息，是目前最常用的圖像信息表示方式[3]。小波變換是對(duì)低頻段寬窗分析和在高頻段窄窗分析的理想工具[4-5]，在處理圖像信號(hào)時(shí)能夠突出細(xì)節(jié)信息，但是由一維小波張量積生成的二維小波對(duì)線或面的奇異性表現(xiàn)較差。為此，人們先后提出了多種方法[6-11]，對(duì)圖像的分解方式從平移變性到平移不變性的發(fā)展，從而對(duì)圖像信息的表征能力越來越強(qiáng)，但是隨著分解層數(shù)的增加，分解越來越細(xì)，在融合效果變好的同時(shí)時(shí)效性又變差，計(jì)算復(fù)雜度變高。為解決這個(gè)問題，文獻(xiàn)[12]提出了在有限維歐式空間中滿足Parseval框架的有限離散剪切波，由于它具有變換域優(yōu)良的特性，F(xiàn)DST在分解和重構(gòu)時(shí)借助了快速傅里葉變換，所以表現(xiàn)出了更佳的時(shí)效性。源圖像經(jīng)過多尺度分解得到一系列子帶系數(shù)，往往還需要合適的融合策略對(duì)系數(shù)進(jìn)行運(yùn)算選取，而傳統(tǒng)的融合策略(低頻取平均值，高頻絕對(duì)值取較大)降低了圖像的對(duì)比度，容易引入虛假信息。為解決這個(gè)問題，采用改進(jìn)的像素加權(quán)與區(qū)域空間頻率相結(jié)合的融合方案對(duì)低頻系數(shù)進(jìn)行選取，高頻則引入?yún)^(qū)域平均梯度對(duì)比度的融合方法，有效改善了圖像融合的質(zhì)量。