基于Shearlet 變換的多聚焦圖像融合方法

邱萬(wàn)山，何建忠

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200082)

圖像融合是信息融合［1］的一個(gè)重要分支，也是圖像理解和計(jì)算機(jī)視覺(jué)中的一項(xiàng)重要技術(shù)，其分為3 個(gè)層次，即像素級(jí)圖像融合［2］、特征級(jí)圖像融合及決策級(jí)圖像融合，在像素級(jí)圖像融合中，多聚焦圖像融合直接在原始數(shù)據(jù)上進(jìn)行融合，能保持盡可能多的現(xiàn)場(chǎng)數(shù)據(jù)，提供其他融合層次所不能提供的更豐富、可靠的信息，有利于對(duì)圖像的進(jìn)一步分析、處理與理解。

圖像融合算法在早期是基于空域的，直接對(duì)源圖像的像素灰度空間操作，實(shí)現(xiàn)簡(jiǎn)單，但效果欠佳。1983年，Burt P J 等人首先提出了金字塔變換［3］，開啟了多尺度分解的序幕，之后基于小波變換［4］，Contourlet 變換［5］等的變換方法相繼被提出。

1 Shearlet 變換

1.1 預(yù)備知識(shí)

Shearlet 變換［6－10］理論在2005 年提出，Glenn Easley等人將合成小波理論與傳統(tǒng)的仿射系統(tǒng)理論相結(jié)合，提出了一種新的多尺度幾何分析方法，通過(guò)對(duì)一個(gè)函數(shù)進(jìn)行伸縮、平移、旋轉(zhuǎn)生成一組基函數(shù)，使其和多分辨分析關(guān)聯(lián)起來(lái)，能在不同尺度、不同方向?qū)D像的細(xì)節(jié)信息進(jìn)行有效描述。

Shearlet 變換解決了小波變換主要適用于表示具有各向同性的奇異性對(duì)象，而對(duì)于各向異性的奇異性對(duì)象，如圖像中的邊界及線狀特征等并不能很好地表示的問(wèn)題。

而與Contourlet 變換相比，Shearlet 變換變換最突出的優(yōu)點(diǎn)就是在Shear 濾波器下，沒(méi)有方向數(shù)的約束，并且Shear 濾波器也可通過(guò)一個(gè)矩形式的窗函數(shù)表示。

Shearlet 變換不僅具有多尺度、良好的時(shí)頻局部特性，還具有多方向性，允許每個(gè)尺度上具有不同數(shù)目的方向分解，其基支撐區(qū)間能隨尺度長(zhǎng)寬比變化。其在圖像處理方面的應(yīng)用研究正在逐步擴(kuò)展，研究主要集中在圖像去噪［11］，邊緣檢測(cè)和圖像分割方面，本文基于Shearlet 變換進(jìn)行多聚焦圖像融合。

1.2 連續(xù)Shearlet 變換

Shearlet 變換根據(jù)合成小波理論衍生而來(lái)。當(dāng)維數(shù)n=2 時(shí)，具有合成膨脹的仿射系統(tǒng)定義為

式中，j，l∈Z，k∈Z2，ψ∈L2(R2)，A 和B 為2×2 的可逆矩陣，若ΨAB(Ψ)滿足Parseval 框架

則ΨAB(Ψ)的元素稱為合成小波。其中，Aj與尺度變換相關(guān)聯(lián)，Bl與面積不變的幾何變換相關(guān)聯(lián)，例如旋轉(zhuǎn)和剪切。與小波相類似，合成小波可構(gòu)造尺度、位置和方向變化的Parseval 框架，而Shearlet 是合成小波的一個(gè)特例。

1.3 離散Shearlet 變換

要將Shearlet 變換應(yīng)用于圖像融合，首先要進(jìn)行離散化，這主要分為兩個(gè)過(guò)程:首先在空間域進(jìn)行多尺度分解，然后在偽極網(wǎng)格系統(tǒng)中利用窗口函數(shù)的平移獲得不同方向的系數(shù)，令j(=1，2，…，M)表示圖像的分解尺度，l(=1，2，…，N)為分解方向數(shù)，低頻用j=0來(lái)表示，在文中簡(jiǎn)寫為j0。

離散化的具體過(guò)程如下:

步驟1 應(yīng)用拉普拉斯金字塔變換將圖像分解成低頻子帶fj0和高頻子帶fj。

步驟2 將高頻fj從直角坐標(biāo)系轉(zhuǎn)換到偽極網(wǎng)格坐標(biāo)系，并在偽極網(wǎng)格上計(jì)算離散傅里葉變換，將fj轉(zhuǎn)換至頻域上的fj。

步驟3 在偽極網(wǎng)格上構(gòu)建一個(gè)方向?yàn)V波器，再轉(zhuǎn)換到直角坐標(biāo)系，此時(shí)方向?yàn)V波器稱為Shear 濾波器。

步驟4 對(duì)高頻系數(shù)矩陣應(yīng)用一個(gè)Shear 濾波器，通過(guò)濾波器的多方向分解，得到高頻子帶頻域上的系數(shù)。

步驟5 對(duì)方向系數(shù)進(jìn)行傅里葉逆變換，得到低頻子帶系數(shù)Cj0和一系列高頻子帶系數(shù)Cj，l。

應(yīng)用于圖像融合中的具體步驟如下:首先對(duì)聚焦不同部分的兩幅圖像進(jìn)行配準(zhǔn);之后對(duì)配準(zhǔn)的圖像分別進(jìn)行Shearlet 分解，將圖像分解成一個(gè)低頻圖像和若干個(gè)高頻方向子帶圖像;然后分別對(duì)圖像的低頻圖像和高頻子帶圖像采用融合規(guī)則進(jìn)行融合處理;最后進(jìn)行Shearlet 逆變換，得到融合圖像。

2 融合系數(shù)選擇

圖像融合不僅涉及圖像變換所使用的變換方法，對(duì)變換后的系數(shù)進(jìn)行恰當(dāng)?shù)奶幚硪彩菦Q定圖像融合效果的關(guān)鍵因素?？紤]到人類視覺(jué)系統(tǒng)對(duì)細(xì)節(jié)信息比較敏感，而且圖像模糊或清晰的特征不能由某個(gè)像素的灰度值來(lái)體現(xiàn)的特性，所以在選擇系數(shù)時(shí)，需要考慮局部區(qū)域內(nèi)的多個(gè)像素點(diǎn)。本文采用Shearlet 變換和區(qū)域特性相結(jié)合的圖像融合方法。

圖像的低頻系數(shù)決定著圖像的整體特征，本文取兩幅源圖像分解系數(shù)中區(qū)域能量高的系數(shù)作為融合圖像的低頻系數(shù);對(duì)于高頻系數(shù)，由于在多聚焦圖像成像過(guò)程中，聚焦圖像具有豐富的高頻細(xì)節(jié)信息，而圖像的區(qū)域能量，清晰度、方差等函數(shù)在某種程度上都能反映圖像的高頻細(xì)節(jié)信息，因而能夠很好地體現(xiàn)多聚焦圖像的聚焦特性，以及地區(qū)分多聚焦圖像中的清晰區(qū)域和模糊區(qū)域。以往文獻(xiàn)根據(jù)某個(gè)評(píng)價(jià)函數(shù)采用單一規(guī)則判定圖像清晰區(qū)域和模糊區(qū)域，容易丟失圖像的細(xì)節(jié)信息，而且噪聲對(duì)圖片的污染信息也會(huì)對(duì)這些融合度量函數(shù)產(chǎn)生影響，本文結(jié)合能量，清晰度、方差3 種函數(shù)，使用多判決法得到融合圖像高頻子帶系數(shù)。

2.1 3 個(gè)聚焦評(píng)價(jià)函數(shù)

區(qū)域能量，區(qū)域清晰度、區(qū)域方差3 種函數(shù)的定義如下:

圖像區(qū)域能量為

圖像區(qū)域清晰度為

圖像區(qū)域方差為

其中，X=A，B，A 和B 是兩幅源圖像;YX(i，j)是(i，j)點(diǎn)處的像素值;M，N 是鄰域大小，本文選擇鄰域大小為是圖像X 在鄰域內(nèi)的均值。

2.2 多判決選擇法

對(duì)于高頻系數(shù)，本文結(jié)合區(qū)域能量、區(qū)域清晰度以及區(qū)域方差這3 個(gè)能描述圖像清晰度函數(shù)。

本文提出的融合規(guī)則如下:

首先分別對(duì)多聚焦圖像A 和B 進(jìn)行Shearlet 分解，對(duì)圖像的高頻子帶系數(shù)對(duì)應(yīng)計(jì)算其鄰域的清晰比、能量比和方差比，計(jì)算公式分別為

其中，CX，Ex，DX(X=A，B)分別表示整幅圖像的清晰度、能量和方差;R1(i，j)表示了圖像A，B 在該像素點(diǎn)的相對(duì)清晰度的高低，若R1(i，j)＞1，表明圖像A 在該點(diǎn)的清晰度比圖像B 高，反之，則圖像B 在該點(diǎn)的清晰度更高。R2(i，j)，R3(i，j)與R1(i，j)的表征意義相同。

然后對(duì)同一像素點(diǎn)的鄰域，計(jì)算得到R1、R2和R3的值，比較這3 個(gè)值，選擇這3 個(gè)值中大的一個(gè)所對(duì)應(yīng)的規(guī)則，作為此像素點(diǎn)的融合規(guī)則，得到融合圖像的像素點(diǎn)。

3 實(shí)驗(yàn)及分析

本文實(shí)驗(yàn)對(duì)多聚焦鐘表圖像，多聚焦實(shí)驗(yàn)室圖像采用Shearlet 變換結(jié)合多判決法進(jìn)行融合處理，Shearlet 變換中采用非下采樣拉普拉斯變換對(duì)圖像進(jìn)行多尺度分解，分解層數(shù)為4 層，采用Meyer 小波生成的Shear 濾波器對(duì)圖像進(jìn)行多尺度分解，分解方向數(shù)分別為6，6，10，10。為驗(yàn)證本文所用融合方法的有效性，實(shí)驗(yàn)分別采用清晰度判決，能量判決，方差判決和本文所用多判決法選擇融合系數(shù)。采用不同判決方法得到多聚焦鐘表融合圖像如圖1 所示。

圖1 鐘表聚焦圖像4 種方法融合效果

表1 基于不同融合規(guī)則的融合圖像評(píng)價(jià)結(jié)果

表2 基于不同融合規(guī)則融合圖像評(píng)價(jià)結(jié)果

圖2 實(shí)驗(yàn)室聚焦圖像4 種方法融合效果

實(shí)驗(yàn)表明兩組圖像融合效果中多判決方法所獲得的指標(biāo)多數(shù)指標(biāo)優(yōu)于單個(gè)融合規(guī)則。

4 結(jié)束語(yǔ)

從圖像的評(píng)價(jià)指標(biāo)來(lái)看，采用任何單一規(guī)則來(lái)選擇融合系數(shù)，均無(wú)較大差別，也沒(méi)有一種融合規(guī)則的融合效果要明顯高于另外兩種，而結(jié)合3 個(gè)規(guī)則，采用多規(guī)則判決法來(lái)選擇融合系數(shù)，避免了單一融合規(guī)則的缺點(diǎn)，所得到的融合圖像，大部分指標(biāo)都要優(yōu)于單一圖像，取得了比較好的結(jié)果，證明了此方法的有效性。

［1］ Artman H.Situation awareness and cooperation within and between hierarchical units in dynamic decision making［J］.Ergonomics，1999，42(11):1404－1417.

［2］ Daniel M M，Willsky A S.A multiresolution methodology for signal－level fusion and data assimilation with application to remotesensing［C］.Proceedings of the IEEE，1997，85(1):164－180.

［3］ Burt P J.Multiresolution image processing and analysis［M］.Berlin:Springer Verlag，1984.

［4］ Mallat S G.A Theory for multiresolution signal decomposition:the wavelet represeNtation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11(7):674－693.

［5］ Do M N，Vetterli M.The contourlet transform:an efficient directional multiresolution image representation［J］.IEEE Transactions on Image Processing，2005，14(12):2091－2106.

［6］ Easley G R，Labate D，Lim W Q.Sparse directional image representations using the discrete shearlet transform［J］.Applied and Computational Harmonic Analysis，2008，25(1):25－46.

［7］ Lü Li，Zhao Jia，Sun Hui.Multi－focus image fusion based on shearlet and local energy［C］.Dalian，China:Proceeding of the 2010 2nd International Conference on Signal Processing Systems，IEEE，2010.

［8］ Gao Guorong，Xu Luping，F(xiàn)eng Dongzhu.Multi－focus image fusion based on nonsubsampled shearlet transform［J］.IET Image Processing，2013，7(6):633－639.

［9］ Yang Bin，Li Shutao.Multifocus image fusion and restoration with sparse repressentation［J］.IEEE Transactions on Instrumentation and Measurement，2010，59(4):884－892.

［10］Guo Kanghui，Labate D.Optimally sparse multidimensional representation using shearlets［J］.SIAM Journal of Math Anal，2007，39(1):298－318.

［11］趙嘉，孫輝，鄧承志，等.基于粒子群優(yōu)化的Shearlet 自適應(yīng)圖像去噪［J］.小型微型計(jì)算機(jī)系統(tǒng)，2011，32(6):1147－1150.